KR20000075603A - 고해상도 정지 화상의 생성 방법 및 장치 - Google Patents

고해상도 정지 화상의 생성 방법 및 장치 Download PDF

Info

Publication number
KR20000075603A
KR20000075603A KR1019997007664A KR19997007664A KR20000075603A KR 20000075603 A KR20000075603 A KR 20000075603A KR 1019997007664 A KR1019997007664 A KR 1019997007664A KR 19997007664 A KR19997007664 A KR 19997007664A KR 20000075603 A KR20000075603 A KR 20000075603A
Authority
KR
South Korea
Prior art keywords
picture
motion
sequence
pictures
high resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1019997007664A
Other languages
English (en)
Other versions
KR100519871B1 (ko
Inventor
클레이호르스트리차드페.
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8229102&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20000075603(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20000075603A publication Critical patent/KR20000075603A/ko
Application granted granted Critical
Publication of KR100519871B1 publication Critical patent/KR100519871B1/ko
Assigned to 아이피지 일렉트로닉스 503 리미티드 reassignment 아이피지 일렉트로닉스 503 리미티드 권리의 전부이전등록 Assignors: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Assigned to 펜드래건 와이어리스 엘엘씨 reassignment 펜드래건 와이어리스 엘엘씨 권리의 전부이전등록 Assignors: 아이피지 일렉트로닉스 503 리미티드
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00098—Systems or arrangements for the transmission of the picture signal via a television channel, e.g. for a series of still pictures with or without sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

고해상도 정지 화상을 생성하기 위한 방법 및 장치를 보인다. 저해상도 화상의 시퀀스는 바람직하게는 부호화된 화상의 IPPP.. 시퀀스를 생성하는 MPEG 부호기에 의해 움직임 보상 예측 부호화된다. 영상 센서(1)의 움직임 또는 장면에서의 움직임에 기인한 연속된 화상 사이의 상대적으로 작은 차분은 서브 픽셀 정확도를 갖는 움직임 벡터(m)에서 명백하게 된다. 다음에, 고해상도 화상은 부호화된 화상 및 부호기에 의해 생성된 움직임 벡터로부터 생성된다(5). 본 발명은 특히 기록 매체(3)를 갖는 전자 정지 화상 카메라에 적용가능하다. MPEG 부호기(2)는 데이터 압축을 처리하며, 복호기(4)는 또한 원래의 움직임 비디오 시퀀스의 재생을 가능케한다.

Description

고해상도 정지 화상의 생성 방법 및 장치{Method and arrangement for creating a high-resolution still picture}
서두에서 정의한 바와 같이 고해상도 정지 화상을 생성하는 종래 기술의 방법은 유럽 특허 출원 EP-A-0 731 600에서 공개되었다. 이러한 종래기술의 방법에서, 저해상도 화상들 중 하나는 기준 화상으로서 선택되며, 기준 화상의 픽셀과 다른 화상의 각각 하나 사이의 상대적인 움직임은 서브-픽셀 정확도로 추정된다. 이렇게 추정된 움직임을 이용하여, 저해상도 화상은 고해상도 범위(high-resolution domain)로 스케일되고, 고해상도 화상을 형성하기 위하여 결합된다. 상대적인 움직임은 맵핑 변환의 형태로 나타난다.
본 발명은 저해상도 화상의 시퀀스를 수신하는 단계; 서브 픽셀 정확도를 갖는 상기 저해상도 화상의 시퀀스에서 움직임을 추정(estimating)하는 단계; 및 상기 저해상도 화상의 시퀀스 및 상기 추정된 움직임으로부터 고해상도 정지 화상을 생성하는 단계를 포함하는 고해상도 정지 화상을 생성하는 방법에 관한 것이다. 또한, 본 발명은 고해상도 정지 화상을 생성하기 위한 장치 예컨대, 전자 정지 화상 카메라에 관한 것이다.
도 1은 고해상도 화상을 생성하는 종래기술의 방법을 설명하는 다양한 화상을 보이는 도면.
도 2는 본 발명에 따른 고해상도 화상을 생성하는 방법을 수행하는 시스템의 블록도.
도 3 및 도 4는 도 2에 도시된 시스템의 동작을 설명하기 위한 다양한 화상을 보이는 도면.
본 발명의 목적은 실행(performance) 및 실제 구현을 통해 장점을 갖는 정지 화상 생성 방법을 제공하는 것이다.
이러한 목적을 위해, 본 발명에 따른 방법은, 화상의 시퀀스를 움직임 보상 예측 부호화하여 시퀀스의 연속적인 화상간의 움직임을 표시하는 움직임 벡터를 생성하는 부호화 단계; 상기 부호화된 화상을 복호하는 단계; 및 상기 복호화된 화상 및 상기 부호화 단계에서 생성된 움직임 벡터로부터 고해상도 화상을 생성하는 단계를 포함한다.
저해상도 화상의 시퀀스로부터 고해상도 화상의 생성은 서브-픽셀 움직임 정보의 이용 가능 정도에 의존한다. 연속적인 화상들 사이(각각의 화상 및 고정된 비교 화상간의 움직임 대신에)에서 움직임 보상 예측 부호화를 수행하는 것은 서브-픽셀을 갖는 움직임 벡터가 얻어질 확률을 증가시킨다. 그러므로 상기 방법의 실행도는 상당히 개선된다. 본 발명은 또한 움직임 보상 예측 부호화된 저해상도 화상의 시퀀스가 고해상도 정지 화상의 압축된 표시라는 이점을 갖는다. 따라서, 정지 화상은 효과적으로 저장되고 송신될 수 있다. 움직임 벡터가 저장된 데이터의 부분이기 때문에, 고해상도 정지 화상은 이때 필요로 하는 또다른 움직임 추정기 없이 얻어질 수 있다. 다른 이점은 재생상에서 유저가 고해상도 정지 화상의 생성을 선택하거나 또는 원래의 저해상도 비디오 시퀀스의 재생을 선택한다.
바람직하게는, 화상의 시퀀스를 부호화하는 단계가 부호화된 화상의 IPPP.. 시퀀스를 생성하도록 배치되는 MPEG 부호기의 사용을 포함한다. 비용면에서 효율적이고 고 압축비를 갖는 MPEG 부호기가 쉽게 이용된다.
본 발명의 실시예에서, 고해상도 정지 화상은 현재 복호화된 화상을 이전에 생성된 화상에 반복적으로 부가함으로써 생성되며, 상기 이전의 생성된 화상은 현재 복호화된 화상과 관련된 움직임 벡터에 따라 움직임 보상에 지배를 받는다. 그 때문에 정지 화상은 단일 화상 메모리에서 점차적으로 갱신될 수 있다.
본 발명은 또한 이미 이용가능한(수신되거나 기록된) 움직임 보상 예측 부호화된 저해상도 화상의 시퀀스 예컨대, MPEG 비트스트림으로부터 고해상도 정지 화상을 생성하는데 사용된다.
도 1은 고해상도 화상을 생성하는 종래기술의 방법을 설명하는 다양한 화상을 도시한다. 이 도면에서, 화상들(A1,A2및 A3)은 움직이는 물체의 3개의 연속적인 상태를 보인다. 화상들(B1,B2및 B3)은 저해상도 영상 센서로 생성된 것으로서 저해상도 그리드(grid)상의 대응하는 픽셀값을 표시한다. 이러한 설명 전체를 통하여, 픽셀들은 0-100 범위의 값을 가지며, 값 0은 다양한 화상 다이어그램에서 도시되지 않는다.
종래 기술에서, 움직임량은 고정된 비교 화상 및 이어지는 화상중 각각 하나 사이에서 계산된다. 도 1에 도시된 예에서, 화상(B1)은 비교 화상이다. 일예를 간결하게 위하여, 물체의 모든 픽셀들이 동일한 움직임량을 가지도록 가정되며, 따라서 단일 움직임 벡터는 각각의 이어지는 화상에 대해 얻어진다. 따라서, 움직임 벡터(m12)는 화상들(B1및 B2) 사이의 움직임량을 나타낸다. 그 벡터는 오른쪽으로 1 픽셀 그리고 위쪽으로 1/2 픽셀까지 움직임을 표시하는 값을 m12= (1,1/2)로 가정된다. 유사하게, 움직임 벡터(m13)는 화상(B1및 B3)사이의 움직임량을 나타낸다. 이러한 벡터는 값 m13= (1 1/2,1/2)로 가정된다.
화상들(C1,C2및 C3)은 고해상도 그리드상의 화상들(B1,B2 및 B3) 각각의 변형이다. 그것들은 업-샘플링(up-sampling)에 의해 얻어진다. 이러한 예에서, 움직임 추정이 절반 픽셀 정확도에서 수행되는데 있어서, 고해상도는 수평 및 수직 방향 모두에서 저해상도의 두배가 된다. 업-샘플링은 각 픽셀을 4번 반복함으로써 수행되어진다.
화상들(D1,D2및 D3)은 그들의 움직임 벡터에 대응하는 공간을 통하여 화상들(C1,C2및 C3)을 뒤로 움직이게 함으로써 얻어진다. 고해상도 범위에서 각각의 움직임 벡터들(m'12및 m'13)은 저해상도 범위에서 원래 움직임 벡터(m12및 m13)에 해상도 향상 인자 -2를 곱함으로써 얻어진다. 그러므로, 화상(C2)은 왼쪽으로 2개의 픽셀 그리고 아래쪽으로 1개의 픽셀로 방향 전환되며, 화상(C3)은 왼쪽으로 3개의 픽셀 그리고 아래쪽으로 1개의 픽셀로 방향 전환된다.
최종적으로, 화상(E)은 화상들(D1, D2및 D3)을 모두 합하고 그 합을 3(화상수)으로 나눈 결과이다. 알 수 있는 바와 같이, 화상(E)은 원래 물체의 고해상도 상세를 나타내기 시작한다. 다른 화상들이 이러한 방법으로 처리되면 될수록 더욱 유사해진다.
도 2는 본 발명에 따른 방법을 수행하는 시스템의 블록도를 도시한다. 그 시스템은 영상 센서(1), 움직임 보상 예측 부호기(2), 기록 매체(또는 송신 채널)(3), 움직임 보상 예측 복호기(4) 및 고해상도 화상을 생성하기 위한 처리 회로(5)를 구성한다. 영상 센서는 도 1에 도시된 화상들(A1, A2및 A3)에 대응하는 영상(Ai)을 수신하며 도 1에 도시된 화상들(B1, B2및 B3)에 대응하는 디지털화된 저해상도 화상(Bi)을 생성한다.
움직임 보상 예측 부호기(2)(바람직하게는 필립스 집적회로 SAA7650 과 같은 표준 MPEG 부호기)는 MPEG2 코딩 표준에 일치하여 화상을 부호화하여 압축한다. 부호기는 감산기(21), 가산기(22), 프레임 메모리(23), 움직임 추정기(24) 및 움직임 보상기(25)를 구성한다. 이산 코사인 변환기, 양자화기 및 가변 길이 부호기와 같은 본 발명을 이해하는데 필수적이지 않은 요소들은 생략된다. 부호기의 동작은 도 3을 참조하여 간단하게 설명된다. 이 도면에서, 입력 영상(A1, A2및 A3) 및 그들의 디지털 대응부(B1, B2및 B3)는 도 1에서와 동일하다.
시퀀스의 제 1 화상(B1)은 자율적으로 부호화된다. MPEG 코딩에서, 그러한 화상은 통상적으로 I-화상으로서 설명된다. 도 3에서, 화상(D1)은 자율적으로 부호화된 화상의 픽셀 값들을 보인다. 그 화상은 부호기의 출력으로 나타나며 프레임 메모리(23)에 저장된다.
다른 화상들(B2및 B3)은 예측대로 부호화된다. MPEG 코딩에서, 그들은 P-화상으로서 통상적으로 설명된다. 이들 화상들을 부호화하기 위하여, 움직임 추정기(24)는 현재 화상(Bi)과 이전에 저장된 부호화된 화상(Bi-1) 사이에 움직임량을 계산한다. 통상적으로, 상기 움직임 추정기는 16*16 픽셀 블록들에 기초하여 수행된다. 계산된 움직임 벡터를 사용하여, 움직임 보상기(25)는 차분 출력 화상(Di)을 형성하기 위하여 부호화될 화상(Bi)으로부터 감해지는 예측 화상(Ci)을 생성한다. 예측 영상(Ci)과 부호화된 차분(Di)은 가산기(22)에 의해 가산되고 프레임 메모리(23)내에 저장된다.
도 3에서 화상(C2)은 화상(B2)을 부호화하기 위한 움직임 보상 예측 화상이다. 종래 기술에서와 같이, 상관 움직임 벡터(m12)는 값(1,1/2)을 갖는다고 가정된다. 그러므로, 화상(B2)은 도 3에서의 D2로 도시되는 차분 화상의 형태로 부호화된다.
유사하게, 화상(C3)은 화상(B3)을 부호화하기 위한 움직임 보상 예측 화상이다. 움직임 벡터(m23)는 화상들(B2및 B3)간에 움직임량을 나타냄에 유의하여야 한다. 이것은 모든 움직임 벡터가 동일한 비교 화상(B1)에 대하여 계산되는 종래 기술과 대조적이다. 본 예로서, 움직임 벡터(m23)는 값(1/2, 0)을 갖는다. 화상(B3)은 차분 화상(D3)의 형태로 지금 부호화된다.
도 2를 참조하여, 움직임 벡터(m)에 따라 부호화된 화상(Di)은 기록 매체(3)상에 저장되거나 송신 채널을 통하여 전송된다. 다음에, 저해상도 화상의 원래 시퀀스가 움직임 보상 예측 복호기(4)에 의해 복호화된다. 다시, 이러한(MPEG) 복호기에 가장 관련된 요소 즉, 가산기(41), 프레임 메모리(42) 및 움직임 보상기(43)만이 도시되며 움직임 벡터(m)를 부호기에 의해 생성된 것으로서 수신한다.
원래 저해상도 화상들을 재현한 후에, 고해상도 정지 화상은 처리 회로(5)에 의해 반복적으로 생성된다. 도 2에 도시된 바와 같이, 이러한 처리 회로(5)는 업-샘플러(51), 멀티플라이어(52), 가산기(53), 프레임 메모리(54) 및 움직임 보상기(55)를 구성한다.
도 4는 처리 회로의 동작을 설명하는 다양한 화상들을 도시한다. 화상들(B1, B2및 B3)은 예측 복호기(4)에 의해 제공된 복호화된 저해상도 화상이다. 부호기에 의한 압축 결함을 갖는 인위 구조는 별개로 하여, 그것들은 도 1 및 도 3에 도시된 화상(B1, B2및 B3)에 대응한다. 화상들(E1, E2 및 E3)은 고해상도 범위에서 그들의 변형이다. 그 화상들은 픽셀 반복으로 업-샘플러(51)에 의해 제공된다.
제 1 반복 단계에서, 처리회로(5)는 제 1 고해상도 화상(G1)을 출력하며 그것을 프레임 메모리(54)로 보낸다. 제 1 화상이 I-화상이기 때문에, 출력 화상(G1)은 입력 화상(E1)과 동일하다.
제 2 반복 단계에서, 다음의 고해상도 화상(E2) 및 움직임 보상 이전 화상(F2)은 가산기(53)에 의해 가산된다. 움직임 보상 화상(F2)은 원래 움직임 벡터(m12)의 두배인 움직임 벡터 m'12= (2,1)에 따라서, 저장된 화상(G1)을 오른쪽으로 2개의 픽셀, 위쪽으로 하나의 픽셀만큼 방향전환함으로써 얻어진다. 화상(G2)은 이러한 반복 단계의 결과이다. 보여진 픽셀값들은 표준화 즉, 처리된 화상의 수인 2로 나누게 된다. 보여지는 바와 같이, 고해상도 상세는 수직 방향으로 나타나기 시작한다. 원래의 움직임 벡터(m12)는 수직 방향에서만 서브 픽셀 성분을 갖기 때문에, 수평 방향에서의 상세는 아직 나타나지 않는다. 출력 화상(G2)(적용될 표준 인자가 없는)이 프레임 메모리(54)에 저장된다.
제 3 반복 단계에서, 그 다음 고해상도 화상(E3) 및 움직임 보상 이전 화상(F3)이 가산된다. 후자는 움직임 벡터 m'23= (1,0)에 따라서 저장된 화상(G2)을 오른쪽으로 한 개의 픽셀만큼 방향전환함으로써 얻어진다. 화상(G3)은 이러한 반복 단계의 결과이다. 보여진 픽셀값은 처리된 화상의 수인 3으로 나눈 후에 얻어진다. 보여지는 바와 같이, 원래의 움직임 벡터(m23)는 수평 방향에서 서브 픽셀 성분을 갖기 때문에, 고해상도 상세는 또한 수평 방향에서 바로 나타나기 시작한다.
전술한 단계들은 복호화된 화상들의 시퀀스에서 각각 다른 화상에 대해 반복된다. 이어지는 P-화상들이 이러한 방법에서 처리되면 될수록, 출력 화상은 원래 물체와 더욱 유사해진다.
이해되는 바와 같이, 본 발명은 부호화 상태에서 얻어진 움직임 벡터가 정지 화상 생성 단계에서 이용되는 특별한 이점을 제공한다. 다른 움직임 추정기가 반드시 필요하지는 않다. 각 화상에 대한 메모리는 필요치 않다. 더욱이, 움직임 벡터는 고정된 비교 화상보다 인접한 앞선 화상에 적용된다. 그러므로, 연속되는 화상 사이에 움직임이 상대적으로 작기 때문에, 절반 픽셀 정확도(해상도 배가를 위해 필수적인)를 갖는 움직임 벡터를 얻는 확률은 종래 기술에서 보다 상당히 크다.
본 발명은 또한 정지 화상들이 압축된 저해상도 화상의 시퀀스로써 송신되거나 저장되도록 하며, 적절한 송신 또는 기록 용량을 필요로 한다. 광범위하게 이용되는 표준 성분(MPEG 부호기 및 복호기)이 사용될 수 있으며, 저해상도 화상의 시퀀스는 움직임 비디오의 형태로 선택적으로 재생될 수 있다.
요약하면, 고해상도 정지 화상을 생성하기 위한 방법 및 장치를 보인다. 저해상도 화상의 시퀀스는 바람직하게는 부호화된 화상의 IPPP.. 시퀀스를 생성하는 MPEG 부호기에 의해 움직임 보상 예측 부호화된다. 영상 센서의 움직임 또는 장면에서의 움직임에 기인한 연속된 화상 사이의 상대적으로 작은 차분은 서브 픽셀 정확도를 갖는 움직임 벡터에서 명백하게 된다. 다음에, 고해상도 화상은 부호화된 화상 및 부호기에 의해 생성된 움직임 벡터로부터 생성된다.
본 발명은 특히 기록 매체를 갖는 전자 정지 화상 카메라에 적용가능하다. MPEG 부호기는 데이터 압축을 처리하며, 복호기는 또한 원래의 움직임 비디오 시퀀스의 재생을 가능케한다.

Claims (13)

  1. 저해상도 화상의 시퀀스를 수신하는 단계;
    서브 픽셀 정확도를 갖는 상기 저해상도 화상의 시퀀스에서 움직임을 추정하는 단계; 및
    상기 저해상도 화상의 시퀀스 및 상기 추정된 움직임으로부터 고해상도 정지 화상을 생성하는 단계를 포함하는 고해상도 정지 화상의 생성 방법에 있어서,
    상기 화상의 시퀀스를 움직임 보상 예측 부호화하여, 상기 시퀀스의 연속적인 화상간의 움직임을 표시하는 움직임 벡터를 생성하는 부호화 단계;
    상기 부호화된 화상을 복호화하는 단계; 및
    상기 복호화된 화상 및 상기 부호화 단계에서 생성된 움직임 벡터로부터 고해상도 화상을 생성하는 단계를 포함하는 것을 특징으로 하는 고해상도 정지 화상의 생성 방법.
  2. 제 1 항에 있어서,
    상기 생성 단계는, 고해상도 범위에서, 이전에 생성된 화상에 현재 복호화된 화상을 반복적으로 가산하는 단계를 포함하며,
    상기 이전에 생성된 화상은 상기 현재 복호화된 화상에 관련된 상기 움직임 벡터에 따라 움직임 보상이 수행되는 고해상도 정지 화상의 생성 방법.
  3. 제 1 항에 있어서,
    상기 부호화된 화상을 기록 매체상에 저장하는 단계를 더 포함하는 고해상도 정지 화상의 생성 방법.
  4. 제 1 항에 있어서,
    상기 화상의 시퀀스를 부호화하는 단계는 복호화된 화상의 IPPP.. 시퀀스를 생성하도록 배치된 MPEG 부호기의 사용을 포함하는 고해상도 정지 화상의 생성 방법.
  5. 움직임 보상 예측 부호화된 화상의 형태로 수신된 저해상도 화상의 시퀀스와 상기 시퀀스의 연속적인 화상 사이의 움직임을 표시하는 움직임 벡터로부터 고해상도 정지 화상을 생성하는 방법에 있어서,
    상기 부호화된 화상을 복호화하는 단계; 및
    상기 복호화된 화상 및 상기 수신된 움직임 벡터로부터 상기 고해상도 화상을 생성하는 단계를 포함하는 고해상도 정지 화상을 생성하는 방법.
  6. 제 5 항에 있어서,
    상기 생성 단계는, 고해상도 범위에서, 이전에 생성된 화상에 현재 복호화된 화상을 반복적으로 가산하는 단계를 포함하며,
    상기 이전에 생성된 화상은 상기 현재 복호화된 화상에 관련된 상기 움직임 벡터에 따라 움직임 보상이 수행되는 고해상도 정지 화상을 생성하는 방법.
  7. 제 5 항에 있어서,
    상기 움직임 보상 예측 부호화된 화상 및 움직임 벡터의 시퀀스는 부호화된 화상의 IPPP.. 시퀀스를 포함하는 MPEG 비디오 비트스트림의 형태로 수신되는 고해상도 정지 화상을 생성하는 방법.
  8. 저해상도 화상의 시퀀스를 수신하기 위한 수단(1);
    서브 픽셀 정확도를 갖는 상기 저해상도 화상의 상기 시퀀스에서의 움직임을 추정하는 수단; 및
    상기 저해상도 화상의 시퀀스 및 상기 움직임 벡터로부터 상기 고해상도 정지 화상을 생성하기 위한 수단(5)을 포함하는 고해상도 정지 화상을 생성하는 장치에 있어서,
    상기 시퀀스의 연속적인 화상간의 움직임을 표시하는 움직임 벡터를 생성하기 위한 움직임 추정기(24)를 포함하며, 상기 화상의 시퀀스를 움직임 보상 예측 부호화하기 위한 부호기(2);
    상기 부호화된 화상을 복호화하기 위한 복호기(4)를 더 포함하며,
    상기 생성 수단(5)은 상기 복호화된 화상 및 상기 부호기(2)에 의해 생성된 상기 움직임 벡터로부터 상기 고해상도 화상을 생성하도록 배치된 것을 특징으로 하는 고해상도 정지 화상을 생성하는 장치.
  9. 제 8 항에 있어서,
    상기 생성 수단은, 상기 고해상도 범위에서, 이전에 형성된 화상에 현재 복호화된 화상을 반복적으로 가산하는 수단(53,54)을 포함하며,
    상기 이전에 생성된 화상은 상기 현재 복호화된 화상에 관련된 상기 움직임 벡터에 따라 움직임 보상(55)이 수행되는 고해상도 정지 화상을 생성하는 장치.
  10. 제 8 항에 있어서,
    상기 부호화된 화상을 저장하는 기록 매체(3)를 더 포함하는 고해상도 정지 화상을 생성하는 장치.
  11. 제 8 항에 있어서,
    상기 부호기(2)는 부호화된 화상의 IPPP.. 시퀀스를 생성하도록 배치된 MPEG 부호기인 고해상도 정지 화상을 생성하는 장치.
  12. 고해상도 정지 화상을 생성하는 장치에 있어서,
    움직임 보상 예측 부호화된 화상 형태의 저해상도 화상의 시퀀스와 상기 시퀀스의 연속적인 화상 사이의 움직임을 표시하는 움직임 벡터를 수신하는 수단;
    상기 부호화된 화상을 복호화하는 복호기(4); 및
    상기 복호화된 화상 및 상기 수신된 움직임 벡터로부터 상기 고해상도 화상을 생성하는 수단(5)을 포함하는 고해상도 정지 화상을 생성하는 장치.
  13. 제 10 항에 청구된 장치를 포함하는 영상 기록 및 재생 장치에 있어서,
    저해상도 화상을 얻기 위한 영상 센서(1)를 더 포함하는 영상 기록 및 재생 장치.
KR10-1999-7007664A 1997-12-22 1998-12-07 고해상도 정지 화상의 생성 방법 및 장치 Expired - Fee Related KR100519871B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP97204055.4 1997-12-22
EP97204055 1997-12-22
PCT/IB1998/001966 WO1999033024A1 (en) 1997-12-22 1998-12-07 Method and arrangement for creating a high-resolution still picture

Publications (2)

Publication Number Publication Date
KR20000075603A true KR20000075603A (ko) 2000-12-26
KR100519871B1 KR100519871B1 (ko) 2005-10-11

Family

ID=8229102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-7007664A Expired - Fee Related KR100519871B1 (ko) 1997-12-22 1998-12-07 고해상도 정지 화상의 생성 방법 및 장치

Country Status (6)

Country Link
US (1) US6349154B1 (ko)
EP (1) EP0961991B1 (ko)
JP (1) JP4863333B2 (ko)
KR (1) KR100519871B1 (ko)
DE (1) DE69824554T2 (ko)
WO (1) WO1999033024A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100773501B1 (ko) * 2001-04-17 2007-11-06 엘지전자 주식회사 디지털 카메라의 영상 저장장치 및 방법
WO2011021913A3 (ko) * 2009-08-21 2011-06-09 에스케이텔레콤 주식회사 차분 움직임 벡터의 정밀도를 고려한 움직임 벡터 부호화/복호화 방법 및 장치, 및 그를 위한 영상처리 장치 및 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020141501A1 (en) * 1998-11-20 2002-10-03 Philips Electronics North America Corporation System for performing resolution upscaling on frames of digital video
US6285804B1 (en) 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
EP1101358B1 (en) 1999-05-27 2009-07-01 IPG Electronics 503 Limited Encoding a video signal with high resolution encoding for regions of interest
US6956971B1 (en) * 1999-07-20 2005-10-18 Lg Electronics Inc. Terminal and method for transporting still picture
AU2194101A (en) * 1999-12-10 2001-06-18 Durand Technology Limited Improvements in or relating to applications of fractal and/or chaotic techniques
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
US7088467B1 (en) * 2001-07-06 2006-08-08 Hewlett-Packard Development Company, L.P. Digital video imaging with high-resolution still imaging capability
US7085323B2 (en) * 2002-04-03 2006-08-01 Stmicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3897684B2 (ja) * 2002-11-22 2007-03-28 キヤノン株式会社 画像記録方式
JP4099578B2 (ja) * 2002-12-09 2008-06-11 ソニー株式会社 半導体装置及び画像データ処理装置
US7394969B2 (en) * 2002-12-11 2008-07-01 Eastman Kodak Company System and method to compose a slide show
JP2005039794A (ja) * 2003-07-18 2005-02-10 Matsushita Electric Ind Co Ltd 表示処理方法及び表示処理装置
US7630528B2 (en) 2004-03-02 2009-12-08 Koninklijke Philips Electronics N.V. Motion compensation
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
EP1631089A1 (en) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and decoding apparatus
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
CN2804798Y (zh) * 2005-06-21 2006-08-09 吴东明 一种带磁性装置的水平尺
US20110102915A1 (en) * 2009-10-30 2011-05-05 Michael Pham Device to create high definition photos
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
WO2019010233A1 (en) 2017-07-05 2019-01-10 Red. Com, Llc PROCESSING VIDEO IMAGE DATA IN ELECTRONIC DEVICES
DE102019132514B3 (de) * 2019-11-29 2021-02-04 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät sowie Verfahren und Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JP2666662B2 (ja) * 1992-06-29 1997-10-22 日本ビクター株式会社 階層型符号化装置及び復号化装置
US5341174A (en) * 1992-08-17 1994-08-23 Wright State University Motion compensated resolution conversion system
JPH0715654A (ja) * 1993-06-28 1995-01-17 Ricoh Co Ltd 静止画像合成方法
JP3511625B2 (ja) * 1994-09-21 2004-03-29 ソニー株式会社 静止画像システム
JPH08214201A (ja) * 1994-11-28 1996-08-20 Canon Inc 撮像装置
US5696848A (en) 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6023535A (en) * 1995-08-31 2000-02-08 Ricoh Company, Ltd. Methods and systems for reproducing a high resolution image from sample data
US5825927A (en) * 1996-01-16 1998-10-20 Hitachi America, Ltd. Methods and apparatus for encoding video data in a manner that is well suited for decoding by regular or downconverting decoders
JPH1023426A (ja) * 1996-07-01 1998-01-23 Sony Corp 画像予測方法及び画像符号化方法
US5943445A (en) * 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100773501B1 (ko) * 2001-04-17 2007-11-06 엘지전자 주식회사 디지털 카메라의 영상 저장장치 및 방법
WO2011021913A3 (ko) * 2009-08-21 2011-06-09 에스케이텔레콤 주식회사 차분 움직임 벡터의 정밀도를 고려한 움직임 벡터 부호화/복호화 방법 및 장치, 및 그를 위한 영상처리 장치 및 방법

Also Published As

Publication number Publication date
EP0961991A1 (en) 1999-12-08
JP4863333B2 (ja) 2012-01-25
DE69824554D1 (de) 2004-07-22
DE69824554T2 (de) 2005-06-30
EP0961991B1 (en) 2004-06-16
WO1999033024A1 (en) 1999-07-01
KR100519871B1 (ko) 2005-10-11
US6349154B1 (en) 2002-02-19
JP2001515679A (ja) 2001-09-18

Similar Documents

Publication Publication Date Title
KR100519871B1 (ko) 고해상도 정지 화상의 생성 방법 및 장치
JP3856262B2 (ja) 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
KR100311294B1 (ko) 화상신호부호화방법및화상신호부호화장치및화상신호복호화방법및화상신호복호화장치
US5386234A (en) Interframe motion predicting method and picture signal coding/decoding apparatus
JP2897763B2 (ja) 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
JP2570384B2 (ja) 動画像信号の符号化・復号化方式
JP4815107B2 (ja) カラー平面間予測を利用した無損失映像符号化／復号化方法及び装置
US5943096A (en) Motion vector based frame insertion process for increasing the frame rate of moving images
JPH04177992A (ja) 階層性を有する画像符号化装置
JP2004208320A (ja) 並列補間及びサーチ・ハードウェアを備えた運動評価エンジン
JPH0537915A (ja) 画像信号符号化方法と画像信号符号化装置
JPH06197334A (ja) 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
US20040076233A1 (en) Motion vector coding method
KR19990072968A (ko) 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법
KR100415494B1 (ko) 화상인코딩방법및장치,기록장치,비디오신호인코딩장치,처리장치및방법,비디오데이터처리장치및방법
JP3348612B2 (ja) ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置
JP5230798B2 (ja) 符号化及び復号化方法、コーダ及びデコーダ
JP4284265B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US6038345A (en) Apparatus for encoding/decoding image data
JPH06113291A (ja) 画像符号化及び復号化装置
JPH0332185A (ja) 動画像符号化装置及び動画像復号化装置
JPH07203425A (ja) 動画像の符号化・復号化装置
JP2897649B2 (ja) 動き補償予測符号化装置
JP2000023096A (ja) データ符号化方法、復号化方法及び装置
JP3804237B2 (ja) 動き補償動画像符号化装置及びその方法

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20120924

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20130919

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20141001

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20141001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000