KR20090080452A - 영상 부호화/복호화 장치 및 방법 - Google Patents

영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20090080452A
KR20090080452A KR1020080006387A KR20080006387A KR20090080452A KR 20090080452 A KR20090080452 A KR 20090080452A KR 1020080006387 A KR1020080006387 A KR 1020080006387A KR 20080006387 A KR20080006387 A KR 20080006387A KR 20090080452 A KR20090080452 A KR 20090080452A
Authority
KR
South Korea
Prior art keywords
resolution
image
control signal
motion
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020080006387A
Other languages
English (en)
Other versions
KR101431543B1 (ko
Inventor
조대성
김현문
김대희
정재우
최웅일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080006387A priority Critical patent/KR101431543B1/ko
Priority to US12/285,785 priority patent/US8374248B2/en
Publication of KR20090080452A publication Critical patent/KR20090080452A/ko
Application granted granted Critical
Publication of KR101431543B1 publication Critical patent/KR101431543B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

해상도 가변 영상 부호화/복호화장치 및 방법이 제공된다. 영상 부호화장치는 해상도 제어신호에 따라서 제1 해상도의 현재영상과 제2 해상도의 현재영상에 대하여 움직임 예측 및 보상을 이용한 부호화처리를 수행하여 비트스트림을 생성하는 해상도 가변 부호화부, 및 일정 간격으로 해상도를 상기 제1 해상도 혹은 제2 해상도로 가변시키기 위한 상기 해상도 제어신호를 생성하는 제어부를 포함한다. 영상 복호화장치는 제1 해상도 혹은 제2 해상도의 부호화데이터로 이루어진 비트스트림을 해석하여 해상도 플래그에 대응하는 해상도 제어신호를 생성하는 해석부; 및 상기 해상도 제어신호에 따라서 제1 해상도의 부호화데이터와 제2 해상도의 부호화데이터에 대하여 움직임 보상을 이용한 복호화처리를 수행하여 복원영상을 생성하는 해상도 가변 복호화부로 이루어진다.

Description

영상 부호화/복호화 장치 및 방법{Apparatus and method of encoding/decoding video}
본 발명은 영상 부호화 및 복호화에 관한 것으로서, 보다 상세하게는 복수개의 프레임으로 이루어지는 영상 시퀀스에서 일정한 간격으로 프레임의 공간해상도를 가변시켜 부호화 처리를 수행하여 비트스트림을 생성하고, 생성된 비트스트림을 복호화하는 영상 부호화/복호화 장치 및 방법에 관한 것이다.
일반적인 동영상 부호화방식의 예로는, 국제 표준화기구인 ISO/IEC SC29/WG11 MPEG(Moving Picture Expert Group)에서 제정한 MPEG-1, MPEG-2 및 MPEG-4가 있고, 다른 국제 표준화기구인 ITU-T SG16/Q6 VCEG(Video Coding Expert Group)에서 제정한 H.261, H.262, 및 H.263을 들 수 있다. 두 기구 MPEG 및 VCEG의 공동 프로젝트인 JVT(Joint Video Team)가 제정한 MPEG-4 AVC/H.264는 현재 비디오 압축에서 대표적인 표준화 기술이다. 한편, 또 다른 국제 표준화기구인 SMPTE(The Society of Motion Picture and Television Engineers)에서는 VC-1 비디오 압축 표준화 기술을 제정한 바 있다.
이와 같은 표준화 기술에서는 부호화기에서는 복잡한 연산을 허용하더라도 복호화기에서는 연산의 복잡도를 줄여주는 방식을 채용하였다. 그런데, 높은 복잡도를 갖는 부호화기의 경우, 사용자가 컨텐츠를 직접 제작하거나 실시간으로 커뮤니케이션하는 환경에는 적합하지 않다. 왜냐하면, 부호화기에 있어서 움직임 예측 및 보상에 소요되는 연산량이 과도하게 많아 부호화 처리시 시간 지연이 발생하기 때문이다.
본 발명이 해결하고자 하는 기술적 과제는 영상 시퀀스에 대하여 일정 간격으로 해상도를 가변시켜 부호화하고, 적어도 두가지 이상의 해상도로 부호화된 데이터로 비트스트림을 생성하는 영상 부호화장치 및 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는 적어도 두가지 이상의 해상도로 부호화된 데이터를 포함하는 비트스트림을 복호화하는 영상 복호화장치 및 방법을 제공하는데 있다.
상기한 기술적 과제를 해결하기 위하여 본 발명의 일측면에 따른 영상 부호화장치는 해상도 제어신호에 따라서 제1 해상도의 현재영상과 제2 해상도의 현재영상에 대하여 움직임 예측 및 보상을 이용한 부호화처리를 수행하여 비트스트림을 생성하는 해상도 가변 부호화부; 및 일정 간격으로 해상도를 상기 제1 해상도 혹은 제2 해상도로 가변시키기 위한 상기 해상도 제어신호를 생성하는 제어부로 이루어진다.
상기한 기술적 과제를 해결하기 위하여 본 발명의 다른 측면에 따른 영상 부호화방법은 일정 간격으로 해상도를 상기 제1 해상도 혹은 제2 해상도로 가변시키기 위한 상기 해상도 제어신호를 생성하는 단계; 및 상기 해상도 제어신호에 따라서 제1 해상도의 현재영상과 제2 해상도의 현재영상에 대하여 움직임 예측 및 보상을 이용한 부호화처리를 수행하여 비트스트림을 생성하는 단계로 이루어진다.
상기한 다른 기술적 과제를 해결하기 위하여 본 발명의 다른 측면에 따른 영상 복호화장치는 제1 해상도 혹은 제2 해상도의 부호화데이터로 이루어진 비트스트림을 해석하여 해상도 플래그에 대응하는 해상도 제어신호를 생성하는 해석부; 및 상기 해상도 제어신호에 따라서 제1 해상도의 부호화데이터와 제2 해상도의 부호화데이터에 대하여 움직임 보상을 이용한 복호화처리를 수행하여 복원영상을 생성하는 해상도 가변 복호화부로 이루어진다.
상기한 다른 기술적 과제를 해결하기 위하여 본 발명의 다른 측면에 따른 영상 복호화방법은 제1 해상도 혹은 제2 해상도의 부호화데이터로 이루어진 비트스트림을 해석하여 해상도 플래그에 대응하는 해상도 제어신호를 생성하는 단계; 및 상기 해상도 제어신호에 따라서 제1 해상도의 부호화데이터와 제2 해상도의 부호화데이터에 대하여 움직임 보상을 이용한 복호화처리를 수행하여 복원영상을 생성하는 단계로 이루어진다.
본 발명의 실시예에 따른 영상 부호화방법 및 영상 복호화방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
본 발명의 실시예에 따른 영상 부호화/복호화 장치 및 방법에 따르면, 영상 시퀀스에 대하여 일정 간격으로 해상도가 가변시켜 부호화하여 적어도 두가지 이상의 해상도로 부호화된 데이터로 비트스트림을 생성하도록 구현함으로써, 감소된 해상도의 경우 움직임 예측에 소요되는 연산량을 획기적으로 감소시킬 수 있으므로 하나의 영상 시퀀스의 부호화처리에 필요한 전체 연산량을 감소시킬 수 있다.
이하, 본 발명의 실시예에 대하여 첨부된 도면을 참조하여 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화의 개념을 설명하는 도면이다.
도 1을 참조하면, 제1 해상도를 갖는 복수개의 프레임들로 이루어지는 영상 시퀀스가 입력되면(S110), 영상 시퀀스(110) 중에서 일부 프레임에 대하여 다운샘플링을 수행한다(S130). 다운샘플링 결과, 제1 해상도를 갖는 프레임은 제2 해상도로 변환되고, 제1 해상도를 갖는 복수의 프레임들과 제2 해상도를 갖는 복수의 프레임들로 이루어진 영상 시퀀스에 대하여 부호화가 수행된다(S150). 부호화 결과, 적어도 두가지 해상도에 대한 부호화 데이터를 포함하는 비트스트림이 생성된다. 한편, 하나의 기기에 영상 부호화장치와 복호화장치가 모두 구비되어, 복원 영상을 화면에 디스플레이할 필요가 있는 경우, 부호화 데이터를 복호화한 후 제2 해상도를 갖는 프레임에 대하여 업샘플링을 수행한다(S170). 업샘플링 결과, 제2 해상도를 갖는 프레임은 제1 해상도로 변환되고, 모든 프레임이 제1 해상도를 갖는 복원 영상 시퀀스는 순차적으로 화면상에 디스플레이된다(S190).
도 2a 및 도 2b는 서로 다른 해상도를 갖는 프레임간 움직임 예측방법을 설명하는 도면으로서, 도 2a는 영상 시퀀스가 IP 구조인 예를, 도 2b는 영상 시퀀스가 IBP 구조인 예를 각각 나타낸다.
도 2a를 참조하면, 제1 해상도를 갖는 I 프레임(I0, 211) 이후 두개의 P 프레임(R1, 212)(R2, 213)은 제1 해상도보다 낮은 제2 해상도를 가진다. 제2 해상도를 갖는 두개의 P 프레임(R1, 212)(R2, 213)와 제1 해상도를 갖는 P 프레임(P3, 214)은 I 프레임(211)을 참조영상으로 사용하여 단방향 움직임 예측을 수행한다. 제1 해상도를 갖는 P 프레임(214) 이후 다시 두개의 P 프레임(R4, 215)(R5, 216)은 제2 해상도를 가진다. 제2 해상도를 갖는 두개의 P 프레임(R4, 215)(R5, 216)와 제1 해상도를 갖는 P 프레임(P6, 217)은 P 프레임(214)을 참조영상으로 사용하여 단방향 움직임 예측을 수행한다.
도 2b를 참조하면, 제1 해상도를 갖는 I 프레임(I0, 231) 이후 두개의 B 프레임(R1, 232)(R2, 233)은 제1 해상도보다 낮은 제2 해상도를 가진다. 제2 해상도를 갖는 두개의 B 프레임(R1, 232)(R2, 233)은 I 프레임(231)과 제1 해상도를 갖는 P 프레임(P1, 234)을 참조영상으로 사용하여 양방향 움직임 예측을 수행한다. 한편, 제1 해상도를 갖는 P 프레임(P1, 234)은 I 프레임(231)을 참조영상으로 사용하여 단방향 움직임 예측을 수행한다. 제1 해상도를 갖는 P 프레임(234) 이후 다시 두개의 B 프레임(R3, 235)(R4, 236)은 제2 해상도를 가진다. 제2 해상도를 갖는 두개의 B 프레임(R3, 235)(R4, 236)은 P 프레임(234)과 제1 해상도를 갖는 P 프레임(P2, 237)을 참조영상으로 사용하여 양방향 움직임 예측을 수행한다. 한편, 제1 해상도를 갖는 P 프레임(P2, 237)은 P 프레임(234)을 참조영상으로 사용하여 단방향 움직임 예측을 수행한다.
도 3a 내지 도 3c는 본 발명의 실시예에 따른 영상 부호화장치의 구성을 나 타내는 블럭도이다.
도 3a에 도시된 영상 부호화장치는 제어부(301)와 해상도 가변 부호화부(303)로 이루어지며, 일체화시켜 하나의 프로세서(300)로 구현하는 것도 가능하다.
도 3a를 참조하면, 제어부(301)는 전반적인 부호화 과정을 제어하며, 특히 입력되는 현재영상이 원래의 해상도인 제1 해상도와 제1 해상도보다 낮은 제2 해상도 중 하나로 부호화처리될 수 있도록 해상도 가변 부호화부(303)를 제어한다. 여기서, 해상도는 공간 해상도와 비트 해상도 중 어느 하나에 해당될 수 있다.
해상도 가변 부호화부(303)는 제어부(301)로부터 제공되는 해상도 제어신호에 동기되어, 현재영상을 제1 해상도 혹은 제2 해상도로 부호화처리하고, 그 결과 제1 해상도로 처리된 프레임의 부호화데이터와 제2 해상도로 처리된 프레임의 부호화데이터로 이루어진 비트스트림을 생성한다.
도 3b에 도시된 영상 부호화장치는 영상 시퀀스에서 일정 간격으로 해상도를 제1 해상도에서 제2 해상도로 감소시키고, 제2 해상도의 현재 프레임 영상(이하, 현재영상이라 약함)에 대해서는 제1 해상도와 제2 해상도간에 움직임 예측을 수행하고, 제2 해상도로 움직임 보상을 수행하는 예이다. 일실시예에서 일정 간격은 IBP 구조의 영상 시퀀스의 경우 B 프레임에 대하여 해상도를 감소시키도록 설정할 수 있으나, 반드시 이에 한정되는 것은 아니다. 한편, IP 구조의 영상 시퀀스의 경우 일정 간격은 원래 해상도와 감소된 해상도의 비가 순차적으로 1:2가 되도록 설정하는 것도 가능하나, 반드시 이에 한정되는 것은 아니다. 도 3b의 영상 부호 화장치는 제어부(311), 해상도 변환부(313), 부호화부(315), 움직임 예측 및 보상부(317) 및 해상도 역변환부(319)로 이루어진다. 이들 구성요소는 필요에 따라서 적어도 하나 이상의 기능 모듈로 일체화될 수 있다,
도 3b를 참조하면, 제어부(311)는 도 3a의 제어부(301)에 대응하는 것으로서, 전반적인 부호화과정을 제어하고, 해상도 제어신호를 생성한다.
해상도 변환부(313)는 해상도 제어신호에 대응하여, 영상시퀀스 중 일정 간격으로 제1 해상도의 현재영상은 그대로 출력하거나, 제1 해상도의 현재영상을 제2 해상도로 변환시켜 출력한다. 제1 해상도의 현재영상 혹은 제2 해상도의 현재영상을 부호화부(315) 및 움직임 예측 및 보상부(317)로 제공한다.
부호화부(315)는 해상도 변환부(313)로부터 제공되는 제1 해상도의 현재영상과 제1 해상도의 이전프레임의 복원영상(이하, 이전복원영상이라 약함)에 대한 제1 해상도의 움직임 보상영상간의 레지듀 신호를 생성하고, 레지듀 신호에 대하여 이산여현변환(DCT), 양자화(Q) 및 엔트로피 부호화(EC)를 수행하여 제1 해상도를 갖는 프레임의 부호화데이터를 생성한다. 또한, 부호화부(315)는 해상도 변환부(313)로부터 제공되는 제2 해상도의 현재영상과 제1 해상도의 이전복원영상에 대한 제2 해상도의 움직임 보상영상간의 레지듀 신호를 생성하고, 레지듀 신호에 대하여 이산여현변환, 양자화 및 엔트로피 부호화를 수행하여 제2 해상도를 갖는 프레임의 부호화데이터를 생성한다. 여기서, 설명의 편이를 위하여 양자화과정 이후 생성된 데이터를 중간 부호화데이터, 엔트로피 부호화과정 이후 생성된 데이터를 최종 부호화데이터라 명명하기로 한다. 제1 해상도의 최종 부호화데이터와 제2 해 상도의 최종 부호화데이터는 결합되어 비트스트림을 생성한다.
움직임 예측 및 보상부(317)는 부호화부(315)에서 생성되는 제1 해상도 혹은 제2 해상도의 중간 부호화데이터에 대하여 역양자화(IQ) 및 역이산여현변환(IT)을 수행하여, 중간 복호화데이터를 생성한다. 움직임 예측 및 보상부(317)는 제1 해상도의 현재영상에 대하여 제1 해상도의 이전복원영상을 참조영상으로 하는 움직임 예측 및 보상을 수행하여, 제1 해상도의 움직임 보상영상을 생성한다. 한편, 움직임 예측 및 보상부(317)는 제2 해상도의 현재영상에 대하여 제1 해상도의 이전복원영상을 참조영상으로 하는 움직임 예측을 수행하고, 제2 해상도의 움직임 보상을 수행하여, 제2 해상도의 움직임 보상영상을 생성한다. 제1 해상도 혹은 제2 해상도의 움직임 보상영상은 부호화부(315)로 제공된다. 움직임 예측 및 보상부(317)는 제1 해상도의 중간 복호화데이터와 제1 해상도의 움직임 보상영상을 가산하여 제1 해상도의 최종 복호화데이터를 생성하거나, 제2 해상도의 중간 복호화데이터와 제2 해상도의 움직임 보상영상을 가산하여 제2 해상도의 최종 복호화데이터를 생성한다. 제1 해상도 혹은 제2 해상도의 최종 복호화데이터는 참조영상으로 사용하기 위하여 저장되며, 바람직하게는 제1 해상도의 최종 복호화데이터가 저장된다.
해상도 역변환부(319)는 해상도 제어신호에 대응하여, 제1 해상도의 최종 복호화데이터는 그대로 출력하고, 제2 해상도의 최종 복호화데이터는 해상도를 역변환하여 제1 해상도로 복원시켜 출력한다. 해상도 역변환부(319)를 통하여 제공되는 최종 복호화데이터는 출력영상으로 생성되어 디스플레이부(미도시)로 제공된다.
부호화부(315), 움직임 예측 및 보상부(315) 및 해상도 역변환부(319)의 그 출력에 제1 해상도 혹은 제2 해상도를 나타내는 해상도 플래그를 포함시키고, 이 경우 후단에서는 해상도 플래그를 참조하여 이원화된 처리를 수행할 수 있다. 해상도 플래그는 비트스트림 구성시 시퀀스 헤더, GOP(Group Of Pictures) 헤더, 픽쳐 헤더, 및 프레임 혹은 필드 헤더 중 적어도 하나에 포함될 수 있다.
도 3c에 도시된 영상 부호화장치는 영상 시퀀스에서 일정 간격으로 해상도를 제1 해상도에서 제2 해상도로 감소시키고, 제2 해상도의 현재영상에 대해서는 제1 해상도와 제2 해상도간에 움직임 예측을 수행하고, 제1 해상도로 움직임 보상을 수행하는 예이다. 도 3c의 영상 부호화장치는 제어부(331), 해상도 변환부(333), 부호화부(335), 해상도 역변환부(337) 및 움직임 예측 및 보상부(339)로 이루어진다. 마찬가지로, 이들 구성요소는 필요에 따라서 적어도 하나 이상의 기능 모듈로 일체화될 수 있다. 도 3b에 도시된 영상 부호화장치의 구성요소와 동일한 기능을 수행하는 제어부(331), 해상도 변환부(333) 및 부호화부(335)에 대해서는 그 설명을 생략하기로 한다.
도 3c를 참조하면, 해상도 역변환부(337)는 부호화부(335)에서 생성되는 제1 해상도 혹은 제2 해상도의 중간 부호화데이터에 대하여 역양자화 및 역이산여현변환을 수행하여, 중간 복호화데이터를 생성한다. 해상도 역변환부(337)는 해상도 제어신호에 대응하여, 제1 해상도의 중간 복호화데이터는 그대로 출력하고, 제2 해상도의 중간 복호화데이터는 해상도를 역변환하여 제1 해상도로 복원시켜 출력한다. 해상도 역변환부(337)를 통하여 제공되는 제1 해상도의 중간 복호화데이터는 움직임 예측 및 보상부(339)로 제공된다.
움직임 예측 및 보상부(339)는 해상도 역변환부(337)로부터 제공되는 제1 해상도의 중간 부호화데이터에 대하여 움직임 예측 및 보상을 수행하여 움직임 보상영상을 생성한다. 움직임 예측 및 보상부(339)는 제1 해상도의 현재영상에 대하여 제1 해상도의 이전복원영상을 참조영상으로 하는 움직임 예측 및 보상을 수행하여, 제1 해상도의 움직임 보상영상을 생성한다. 한편, 움직임 예측 및 보상부(339)는 제2 해상도의 현재영상에 대하여 제1 해상도의 이전복원영상을 참조영상으로 하는 움직임 예측을 수행하고, 제1 해상도의 움직임 보상을 수행하여 제1 해상도의 움직임 보상영상을 생성하고, 제1 해상도의 움직임 보상영상을 다운 샘플링 혹은 서브 샘플링하여 제2 해상도의 움직임 보상영상을 생성한다. 제1 해상도 혹은 제2 해상도의 움직임 보상영상은 부호화부(335)로 제공된다. 움직임 예측 및 보상부(339)는 제1 해상도의 현재영상에 대하여 제1 해상도의 중간 복호화데이터와 제1 해상도의 움직임 보상영상을 가산하여 제1 해상도의 최종 복호화데이터를 생성한다. 한편, 움직임 예측 및 보상부(339)는 제2 해상도의 현재영상에 대하여 제1 해상도의 중간 복호화데이터와 제1 해상도의 움직임 보상영상을 가산하여 제1 해상도의 최종 복호화데이터를 생성한다. 제1 해상도 혹은 제2 해상도의 현재영상 모두 제1 해상도의 최종 복호화데이터를 생성하고, 참조영상으로 사용하기 위하여 저장되며, 바람직하게는 제1 해상도의 현재영상에 대한 최종 복호화데이터가 저장된다.
도 4a 내지 도 4c는 본 발명의 실시예에 따른 영상 복호화장치의 구성을 나타내는 블럭도이다.
도 4a에 도시된 영상 복호화장치는 해석부(401)와 해상도 가변 복호화 부(403)로 이루어지며, 일체화시켜 하나의 프로세서(400)로 구현하는 것도 가능하다.
도 4a를 참조하면, 해석부(401)는 수신된 비트스트림을 해석하고, 비트스트림에 포함되어 있는 해상도 플래그를 참조하여 제1 해상도의 부호화데이터인지 제2 해상도의 부호화데이터인지 판단하고, 판단결과에 따른 해상도 제어신호를 출력한다. 즉, 해석부(401)는 전반적인 복호화 과정을 제어하며, 특히 비트스트림에 포함된 제1 해상도 혹은 제2 해상도의 부호화데이터에 대하여 제1 해상도 혹은 제2 해상도의 이원화된 복호화처리가 수행되도록 해상도 가변 복호화부(403)를 제어한다.
해상도 가변 복호화부(403)는 해석부(401)로부터 제공되는 해상도 제어신호에 동기되어, 제1 해상도의 부호화데이터는 제1 해상도로 복호화처리하고, 제2 해상도의 부호화데이터는 제2 해상도로 복호화처리하여, 복호화 결과에 따른 출력영상을 생성한다.
도 4b에 도시된 영상 복호화장치는 도 3b의 영상 부호화장치에 대응되는 것으로서, 해석부(411), 복호화부(413), 움직임 보상부(415) 및 해상도 역변환부(417)로 이루어진다. 이들 구성요소는 필요에 따라서 적어도 하나 이상의 기능 모듈로 일체화될 수 있다,
도 4b를 참조하면, 해석부(411)는 도 4a의 제어부(401)에 대응하는 것으로서, 전반적인 복호화과정을 제어하고, 해상도 제어신호를 생성한다.
복호화부(413)는 해상도 제어신호에 대응하여, 제1 해상도 혹은 제2 해상도 의 부호화데이터에 대하여 엔트로피 복호화(ED), 역양자화(IQ) 및 역이산여현변환(IDCT)을 수행하여 제1 해상도 혹은 제2 해상도의 중간 복호화데이터를 출력한다.
움직임 보상부(415)는 해상도 제어신호에 대응하여, 해석부(411)로부터 제공되는 움직임벡터와 이전복원영상을 이용하여 움직임 보상을 수행하여 제1 해상도 혹은 제2 해상도의 움직임 복원영상을 생성한다. 움직임 보상부(415)는 제1 해상도 혹은 제2 해상도의 중간 복호화데이터와 제1 해상도 혹은 제2 해상도의 움직임 복원영상을 가산하여 제1 해상도 혹은 제2 해상도의 최종 복호화데이터를 생성한다.
해상도 역변환부(417)는 해상도 제어신호에 대응하여, 제1 해상도의 최종 복호화데이터는 그대로 출력하고, 제2 해상도의 최종 복호화데이터는 제1 해상도로 역변환시켜 출력한다.
도 4c에 도시된 영상 복호화장치는 도 3c의 영상 부호화장치에 대응되는 것으로서, 해석부(431), 복호화부(433), 해상도 역변환부(435) 및 움직임 보상부(437)로 이루어진다. 이들 구성요소는 필요에 따라서 적어도 하나 이상의 기능 모듈로 일체화될 수 있다. 도 4b에 도시된 영상 복호화장치의 구성요소와 동일한 기능을 수행하는 해석부(431) 및 복호화부(433)에 대해서는 그 설명을 생략하기로 한다.
도 4c를 참조하면, 해상도 역변환부(435)는 해상도 제어신호에 대응하여, 제1 해상도의 중간 복호화데이터는 그대로 출력하고, 제2 해상도의 중간 복호화데이 터는 제1 해상도로 역변환시켜 출력한다.
움직임 보상부(447)는 해상도 제어신호에 대응하여, 해석부(431)로부터 제공되는 움직임벡터와 이전복원영상을 이용하여 움직임 보상을 수행하여, 해상도 역변환부(435)로부터 제공되는 제1 해상도의 부호화데이터에 대한 제1 해상도의 중간 복호화데이터와 제2 해상도의 부호화데이터에 대한 제1 해상도의 중간 복호화데이터 모두에 대하여 제1 해상도의 움직임 복원영상을 생성한다. 움직임 보상부(447)는 제1 해상도의 부호화데이터에 대한 제1 해상도의 중간 복호화데이터와 제2 해상도의 부호화데이터에 대한 제1 해상도의 중간 복호화데이터 각각에 대하여 제1 해상도의 움직임 복원영상을 가산하여 제1 해상도의 최종 복호화데이터를 생성한다.
도 5a 및 도 5b는 본 발명의 일실시예에 따른 영상 부호화장치의 구체적인 세부 블럭도를 나타낸 것으로서, 도 5a는 공간해상도를 제1 해상도와 제2 해상도로 가변시킬 경우의 영상 부호화장치를 나타내고, 도 5b는 제2 해상도로 가변된 현재영상에 대한 부호화 처리과정을 구체적으로 설명하는 도면이다.
도 5a에 도시된 영상 부호화장치는 절환부(511), 다운 샘플링부(513), 감산부(515), 변환부(517), 양자화부(519), 엔트로피 부호화부(521), 역양자화부(523), 역변환부(525), 가산부(527), 절환부(529), 업 샘플링부(531), 프레임 메모리(533), 움직임 예측부(535) 및 움직임 보상부(537)로 이루어진다. 여기서, 절환부(511), 다운 샘플링부(513), 절환부(529), 업 샘플링부(531)를 제외하고는 움직임 보상을 이용하는 일반적인 영상 부호화장치의 구성과 동일하므로 그 세부적인 설명을 생략하기로 한다.
도 5a를 참조하면, 절환부(511)는 해상도 제어신호에 따라 동작하며, 입력되는 제1 해상도의 현재영상을 다운 샘플링부(513) 혹은 감산부(515)로 제공한다.
다운 샘플링부(513)는 절환부(511)를 통해 제공된 제1 해상도의 현재영상을 다운 샘플링하여 제2 해상도의 현재영상을 생성하고, 제2 해상도의 현재영상을 감산부(515)로 제공한다.
절환부(529)는 해상도 제어신호에 따라 동작하며, 가산부(525)로부터 제공되는 제1 해상도의 최종 복호화데이터는 프레임메모리(533) 및 출력영상으로 제공하고, 가산부(525)로부터 제공되는 제2 해상도의 최종 복호화데이터는 업샘플링부(531)로 제공한다.
업 샘플링부(531)는 절환부(529)를 통해 제공된 제2 해상도의 최종 복호화데이터를 업 샘플링하여 제1 해상도의 최종 복호화데이터를 생성하고, 제1 해상도의 최종 복호화데이터는 출력영상으로 제공한다.
도 5b를 참조하면, 다운 샘플링부(563)에서는 제1 해상도의 현재영상(560)에 대하여 다운 샘플링을 수행하여 제2 해상도의 현재영상(564)를 제공한다. 감산부(565)는 제2 해상도의 현재영상(564)와 이전 참조영상으로 부터의 제2 해상도의 움직임 보상영상(588)간의 제2 해상도의 레지듀 영상(566)을 생성한다. 변환부(567)는 레지듀 영상(566)을 시간영역에서 주파수영역으로 변환하여 변환계수를 생성한다. 양자화부(569)는 변환계수에 대하여 양자화를 수행하고, 엔트로피 부호화부(571)는 양자화된 변환계수에 대하여 엔트로피 부호화를 수행한다. 역양자화부(573)는 양자화된 변환계수를 역양자화하여 변환계수를 복원한다. 역변환 부(575)는 복원된 변환계수에 대하여 역변환을 수행하여 제2 해상도의 레지듀 영상을 복원한다. 가산부(577)는 복원된 제2 해상도의 레지듀 영상(576)과 이전 참조영상으로 부터의 제2 해상도의 움직임 보상영상(588)을 가산하여 제2 해상도의 복원영상(578)을 생성한다. 업 샘플링부(581)는 제2 해상도의 복원영상(578)에 대하여 업 샘플링을 수행하여 제1 해상도의 최종 복원영상(582)을 생성한다.
한편, 움직임 예측부(585)에서는 제2 해상도의 현재영상(564)에 대하여 제1 해상도의 이전 복원영상(584)을 참조하여 움직임 예측을 수행하고, 움직임 보상부(587)에서는 제2 해상도로 움직임 보상을 수행하여 제2 해상도의 움직임 보상영상(588)을 제공한다.
도 5b에 있어서, 각 심볼들의 의미는 다음과 같다.
Figure 112008005053791-PAT00001
는 시간 t에 위치한 제1 해상도의 현재영상(560),
Figure 112008005053791-PAT00002
는 해상도가 1/4로 줄어든 즉, 제2 해상도의 현재영상(564),
Figure 112008005053791-PAT00003
는 시간 t-1에 위치한 제1 해상도의 이전복원영상(584),
Figure 112008005053791-PAT00004
는 이전 참조영상으로 부터의 움직임 보상영상(588),
Figure 112008005053791-PAT00005
는
Figure 112008005053791-PAT00006
과
Figure 112008005053791-PAT00007
차이를 구한 레지듀 영상(566),
Figure 112008005053791-PAT00008
는 레지듀 영상
Figure 112008005053791-PAT00009
의 복원영상(576),
Figure 112008005053791-PAT00010
는 줄어든 해상도 즉, 제2 해상도의 최종 복원영상(578),
Figure 112008005053791-PAT00011
는
Figure 112008005053791-PAT00012
를 원래의 해상도 즉, 제1 해상도로 복원한 영상(582)을 각각 나타낸다.
도 6은 본 발명의 일실시예에 따른 영상 복호화장치의 구체적인 세부 블럭도를 나타낸 것이다. 도 6의 영상 복호화장치는 엔트로피 복호화부(611), 역양자화부(613), 역변환부(615), 가산부(617), 절환부(619), 업샘플링부(621), 프레임 메모리(623) 및 움직임 보상부(625)로 이루어진다. 여기서, 절환부(619)와 업샘플링부(621)를 제외하고는 움직임 보상을 이용하는 일반적인 영상 복호화장치의 구성과 동일하므로 그 세부적인 설명을 생략하기로 한다.
도 6을 참조하면, 절환부(619)는 해상도 제어신호에 따라 동작하며, 가산부(617)로부터 제공되는 제1 해상도의 최종 복호화데이터는 프레임메모리(623) 및 출력영상으로 제공하고, 가산부(617)로부터 제공되는 제2 해상도의 최종 복호화데이터는 업샘플링부(621)로 제공한다.
업 샘플링부(621)는 절환부(619)를 통해 제공된 제2 해상도의 최종 복호화데이터를 업 샘플링하여 제1 해상도의 최종 복호화데이터를 생성하고, 제1 해상도의 최종 복호화데이터는 출력영상으로 제공한다.
도 7a 및 도 7b는 본 발명의 다른 실시예에 따른 영상 부호화장치의 구체적인 세부 블럭도를 나타낸 것으로서, 도 7a는 공간해상도를 제1 해상도와 제2 해상도로 가변시킬 경우의 영상 부호화장치를 나타내고, 도 7b는 제2 해상도로 가변된 현재영상에 대한 부호화 처리과정을 구체적으로 설명하는 도면이다.
도 7a에 도시된 영상 부호화장치는 절환부(711), 다운 샘플링부(713), 감산부(715), 변환부(717), 양자화부(719), 엔트로피 부호화부(721), 역양자화부(723), 역변환부(725), 절환부(727), 업샘플링부(729), 가산부(731), 절환부(733), 프레임 메모리(735), 움직임 예측부(737), 움직임 보상부(739), 절환부(741) 및 서브 샘플링부(743)로 이루어진다. 여기서, 절환부(711), 다운 샘플링부(713), 절환부(727), 업샘플링부(729), 절환부(733), 절환부(741) 및 서브 샘플링부(743)를 제외하고는 움직임 보상을 이용하는 일반적인 영상 부호화장치의 구성과 동일하므로 그 세부적인 설명을 생략하기로 한다.
도 7a를 참조하면, 절환부(711)는 해상도 제어신호에 따라 동작하며, 입력되는 제1 해상도의 현재영상을 다운 샘플링부(73) 혹은 감산부(715)로 제공한다.
다운 샘플링부(713)는 절환부(711)를 통해 제공된 제1 해상도의 현재영상을 다운 샘플링하여 제2 해상도의 현재영상을 생성하고, 제2 해상도의 현재영상을 감산부(715)로 제공한다.
절환부(727)는 해상도 제어신호에 따라 동작하며, 역변환부(727)로부터 제공되는 제1 해상도의 복원된 레지듀 영상은 가산부(731)로, 제2 해상도의 복원된 레지듀 영상은 업 샘플링부(729)로 제공한다.
업 샘플링부(729)는 절환부(727)를 통해 제공된 제2 해상도의 복원된 레지듀 영상을 업 샘플링하여 제1 해상도의 복원된 레지듀 영상을 생성하고, 제1 해상도의 복원된 레지듀 영상을 가산부(731)로 제공한다.
절환부(733)는 해상도 제어신호에 따라 동작하며, 가산부(731)로부터 제공되는 복원영상을 프레임 메모리(735)에 저장하면서 출력영상으로 제공하거나, 프레임 메모리(735)에 저장하지 않으면서 출력영상으로 제공한다.
절환부(741)는 해상도 제어신호에 따라 동작하며, 이전 참조영상으로 부터의 움직임 보상영상을 서브 샘플링부(743) 혹은 감산부(715)로 제공한다.
서브 샘플링부(743)는 절환부(741)를 통해 제공된 제1 해상도의 움직임 보상영상을 서브 샘플링하여 제2 해상도의 움직임 보상영상을 생성하고, 제2 해상도의 움직임 보상영상을 감산부(715)로 제공한다.
도 7b를 참조하면, 다운 샘플링부(763)에서는 제1 해상도의 현재영상(760)에 대하여 다운 샘플링을 수행하여 제2 해상도의 현재영상(764)를 제공한다. 감산부(765)는 제2 해상도의 현재영상(764)와 이전 참조영상으로 부터의 제2 해상도의 움직임 보상영상(794)간의 레지듀 영상(766)을 생성한다. 변환부(767)는 제2 해상도의 레지듀 영상(766)을 시간영역에서 주파수영역으로 변환하여 변환계수를 생성한다. 양자화부(769)는 변환계수에 대하여 양자화를 수행하고, 엔트로피 부호화부(771)는 양자화된 변환계수에 대하여 엔트로피 부호화를 수행한다. 역양자화부(773)는 양자화된 변환계수를 역양자화하여 변환계수를 복원한다. 역변환부(775)는 복원된 변환계수에 대하여 역변환을 수행하여 복원된 제2 해상도의 레지듀 영상(776)을 생성한다. 업 샘플링부(779)는 복원된 제2 해상도의 레지듀 영상(776)을 업 샘플링하여 복원된 제1 해상도의 레지듀 영상(780)을 생성한다. 가산부(781)는 복원된 제1 해상도의 레지듀 영상(780)과 이전 참조영상으로 부터의 제1 해상도의 움직임 보상영상(790)을 가산하여 제1 해상도의 복원영상(782)을 생성한다.
한편, 움직임 예측부(787)에서는 제2 해상도의 현재영상(764)에 대하여 제1 해상도의 이전 복원영상(786)을 참조하여 움직임 예측을 수행하고, 움직임 보상부(789)에서는 제1 해상도로 움직임 보상을 수행하여 제1 해상도의 움직임 보상영상(790)을 제공한다.
도 7b에 있어서, 추가된 각 심볼들의 의미는 다음과 같다.
Figure 112008005053791-PAT00013
는 이전 참조영상으로부터의 제1 해상도의 움직임 보상영상(790),
Figure 112008005053791-PAT00014
는
Figure 112008005053791-PAT00015
에서 해상도 변환한 제2 해상도의 움직임 보상영상(794),
Figure 112008005053791-PAT00016
는 해상도 변환한 제1 해상도의 복원된 레지듀 영상(780)를 각각 나타낸다.
도 8은 본 발명의 다른 실시예에 따른 영상 복호화장치의 구체적인 세부 블럭도를 나타낸 것이다. 도 8의 영상 복호화장치는 엔트로피 복호화부(811), 역양자화부(813), 역변환부(815), 절환부(817), 업샘플링부(819), 가산부(821), 절환부(823), 프레임 메모리(825) 및 움직임 보상부(827)로 이루어진다. 여기서, 절환부(817), 업샘플링부(819) 및 절환부(823)를 제외하고는 움직임 보상을 이용하는 일반적인 영상 복호화장치의 구성과 동일하므로 그 세부적인 설명을 생략하기로 한다.
도 8을 참조하면, 절환부(817)는 해상도 제어신호에 따라 동작하며, 역변환부(815)로부터 제공되는 제2 해상도의 복원된 레지듀 영상은 업 샘플링부(819)로 제공되고, 제1 해상도의 복원된 레지듀 영상은 가산부(821)로 제공된다.
업 샘플링부(819)는 절환부(817)를 통해 제공된 제2 해상도의 복원된 레지듀 영상을 업 샘플링하여 제1 해상도의 복원된 레지듀 영상을 생성하고, 제1 해상도의 복원된 레지듀 영상을 가산부(821)로 제공한다.
절환부(823)는 해상도 제어신호에 따라 동작하며, 가산부(821)로부터 제공되는 제1 해상도의 최종 복호화데이터는 프레임메모리(825) 및 출력영상으로 제공되거나, 출력영상으로만 제공된다.
도 9a는 정수 화소 단위의 움직임벡터 탐색과정의 일례를 나타낸다. 다음 수학식 1 내지 수학식 3에서와 같이 움직임 예측오차(SAD:Sum of Absolute Difference)가 최소가 되는 정수 단위 움직임 벡터(MV)를 구한다.
Figure 112008005053791-PAT00017
Figure 112008005053791-PAT00018
Figure 112008005053791-PAT00019
한편, 수학식 1 내지 수학식 3과 도 9a에 있어서 각각의 심벌은 다음과 같다.
Figure 112008005053791-PAT00020
는 현재영상내 수평 및 수직 방향의 블럭 크기,
Figure 112008005053791-PAT00021
는 이전 참조영상에서 정수단위의 수평, 수직 방향의 움직임 탐색 영역,
Figure 112008005053791-PAT00022
는 이전 참조영 상에서 정수단위의 수평, 수직 방향의 움직임 탐색 영역 크기, p, q 는 수평, 수직 방향의 움직임 벡터 후보, W, H 는 입력 영상의 수평, 수직 방향 크기를 각각 나타낸다.
도 9b는 1/4 화소 단위의 움직임 벡터 탐색 과정의 일례를 나타낸다.
수학식 1에서 구한 정수화소 단위 움직임 벡터 MV는 참조영상
Figure 112008005053791-PAT00023
이 16배 즉, 가로 4배 및 세로 4배로 해상도가 늘어난 참조영상
Figure 112008005053791-PAT00024
에서 1/4 화소 단위로 움직임을 표현하기 위해 다음과 같이 움직임 벡터를 4 화소 단위로 스케일링해서 표현한다.
Figure 112008005053791-PAT00025
1/2 화소단위의 움직임 탐색은 다음의 SAD 가 최소가 되는 움직임 벡터를 구한다.
Figure 112008005053791-PAT00026
Figure 112008005053791-PAT00027
Figure 112008005053791-PAT00028
1/4 화소단위의 움직임 탐색은 다음의 SAD 가 최소가 되는 움직임 벡터를 구한다.
Figure 112008005053791-PAT00029
Figure 112008005053791-PAT00030
Figure 112008005053791-PAT00031
수학식 4, 수학식 6, 및 수학식 9로부터 1/4 화소 단위의 최종 움직임 벡터는 다음과 같이 나타낼 수 있다.
Figure 112008005053791-PAT00032
도 10a은 1/2 화소 단위의 움직임 벡터 탐색 과정의 일례를 나타낸다.
참조영상
Figure 112008005053791-PAT00033
대비 입력 영상
Figure 112008005053791-PAT00034
의 해상도가 4배 작으므로 참조영상의 해상도 변화가 없어도 움직임 벡터는 1/2 화소단위로 표현된다. 수학식 12 내지 수학식 14에서와 같이 움직임 예측 오차(SAD)가 최소가 되는 정수 및 1/2 화소단위 움직임 벡터 MV를 구한다.
Figure 112008005053791-PAT00035
Figure 112008005053791-PAT00036
Figure 112008005053791-PAT00037
여기서
Figure 112008005053791-PAT00038
,는 현재 영상내 수평 및 수직 방향의 블럭 크기를 나타낸다.
도 10b는 1/4 화소 단위의 움직임 벡터 탐색 과정의 일례를 나타낸다.
수학식 12 내지 14에서 구한 1/2 화소단위 움직임 벡터 MV는 참조영상
Figure 112008005053791-PAT00039
이 4배 즉, 가로 2배 및 세로 2배로 해상도가 늘어난 참조영상
Figure 112008005053791-PAT00040
에서 1/4 화소 단위로 움직임을 표현하기 위해 다음과 같이 움직임 벡터를 4 화소 단위로 표현하기 위해 스케일링한다.
Figure 112008005053791-PAT00041
1/4 화소단위의 움직임 탐색은 다음의 SAD가 최소가 되는 움직임 벡터를 구한다.
Figure 112008005053791-PAT00042
Figure 112008005053791-PAT00043
Figure 112008005053791-PAT00044
도 9a 및 도 9b에서와 같이 현재영상과 참조영상의 해상도가 같은 실시예의 경우, 움직임 예측에 필요한 연산량은 다음과 같이 나타낼 수 있다.
우선 수학식 1 및 수학식 2의 정수단위 움직임 탐색에 필요한 연산량은 다음과 같다.
Figure 112008005053791-PAT00045
(operations/sec)
여기서 M은 화소당 SAD연산의 수이고 F는 프레임률 (frame rate)를 의미한 다.
그리고, 수학식 5 및 수학식 6의 1/2 화소단위 움직임 탐색에 필요한 연산량은 다음과 같다.
Figure 112008005053791-PAT00046
(operations/sec)
그리고, 수학식 8 및 수학식 9의 1/4 화소단위 움직임 탐색 연산량은 다음과 같다.
Figure 112008005053791-PAT00047
(operations/sec)
이를 모두 합하면 움직임 탐색 연산량은 다음과 같다.
Figure 112008005053791-PAT00048
(operations/sec)
한편, 도 10a 및 도 10b에서와 같이 현재영상의 해상도가 참조영상의 해상도보다 작은 실시예의 경우, 움직임 예측에 필요한 연산량은 다음과 같이 나타낼 수 있다. 우선, 수학식 12 및 수학식 13의 정수 및 1/2 화소단위 움직임 탐색에 필요한 연산량은 다음과 같다.
Figure 112008005053791-PAT00049
(operations/sec)
여기서 M은 화소당 SAD 연산의 수이고 F는 프레임률 (frame rate)를 의미한다.
그리고, 수학식 16 및 수학식 17의 1/4화소 단위 움직임 탐색에 필요한 연산량은 다음과 같다.
Figure 112008005053791-PAT00050
(operations/sec)
이를 모두 합하면 움직임 탐색 연산량은 다음과 같다.
Figure 112008005053791-PAT00051
(operations/sec)
도 9a 및 도 9b와 도 10a 및 도 10b에서의 움직임 탐색과정의 연산량을 비교하면, 움직임 예측의 기본단위인 블록의 크기가 같다고 가정하면 즉,
Figure 112008005053791-PAT00052
일 경우 다음과 같이 나타낼 수 있다.
Figure 112008005053791-PAT00053
입력영상의 해상도를 4배 즉, 가로 2배, 세로 2배로 줄이면, 움직임 예측에 의한 연산은 수학식 26과 같이 거의 4배 이상 줄일 수 있다.
도 11a는 참조영상에 대하여 1/2 화소단위의 움직임 보상을 수행하기 위하여 4배로 즉, 가로 2배 및 세로 2배로 해상도를 늘리기 위한 방법을 설명하는 도면으로서, 1/2 위치의 화소 h v 와 h h 는 주위의 수평 방향 및 수직 방향에 인접한 정수 화소 f를 이용하여 보간한다. 도 11b는 참조영상에 대하여 1/4 화소단위의 움직임 보상을 수행하기 위하여 16배로 즉, 가로 4배 및 세로 4배로 해상도를 늘리기 위한 방법을 설명하는 도면으로서, 우선 1/2 위치의 화소 h를 주위의 수직 혹은 수평 방향에 인접한 정수 화소 f 혹은 이전에 보간된 1/2 위치의 화소 h를 이용하여 보간한다. 1/4 위치의 화소 q는 1/2 화소 h가 보간된 후, 주위의 수직 혹은 수평 방향에 인접한 정수 화소 f 혹은 이전에 보간된 1/2위치의 화소 h를 이용하여 보간한다.
도 12a 및 도 12b는 도 5의 제1 실시예의 움직임 예측 및 보상 과정을 자세히 설명하는 것이다. 도 12a는 참조영상의 해상도 변환없이 1/2 화소단위 움직임 예측 후, 다시 현재영상의 해상도로 움직임 보상하는 과정이고, 도 12b는 참조 영상의 해상도를 4배로 증가하여 1/4 화소단위 움직임 예측 후, 다시 현재영상의 해상도로 움직임 보상하는 과정이다. 참조영상의 해상도 변환없이도 1/2 화소단위 움직임 추정 효과를 얻으며, 참조영상의 해상도를 4배만 증가하면 1/4 화소단위 움직임 예측 효과를 얻는다.
도 13a 및 도 13b는 도 7의 제2 실시예의 움직임 예측 및 보상 과정을 자세히 설명하는 것이다. 도 13a는 참조영상의 해상도 변환없이 1/2 화소단위 움직임 예측 후, 다시 참조영상의 해상도로 움직임 보상하는 과정이고, 도 13b는 참조영상의 해상도를 4배로 증가하여 1/4 화소단위 움직임 예측 후, 다시 참조영상의 해상도로 움직임 보상하는 과정이다. 참조영상의 해상도 변환없이도 1/2 화소단위 움직임 추정 효과를 얻으며, 참조영상의 해상도를 4배만 증가하면 1/4 화소단위 움직임 예측 효과를 얻는다.
본 발명의 실시예에 따른 영상 부호화방법 혹은 복호화방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어 들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 본 발명에 따른 영상 부호화 및 복호화의 개념을 설명하는 도면이다.
도 2a 및 도 2b는 서로 다른 해상도를 갖는 프레임간 움직임 예측방법을 설명하는 도면이다.
도 3a 내지 도 3c는 본 발명의 실시예에 따른 영상 부호화장치의 구성을 나타내는 블럭도이다.
도 4a 내지 도 4c는 본 발명의 실시예에 따른 영상 복호화장치의 구성을 나타내는 블럭도이다.
도 5a 및 도 5b는 본 발명의 일실시예에 따른 영상 부호화장치의 구체적인 세부 블럭도를 나타낸 것이다.
도 6은 본 발명의 일실시예에 따른 영상 복호화장치의 구체적인 세부 블럭도를 나타낸 것이다.
도 7a 및 도 7b는 본 발명의 다른 실시예에 따른 영상 부호화장치의 구체적인 세부 블럭도를 나타낸 것이다.
도 8은 본 발명의 다른 실시예에 따른 영상 복호화장치의 구체적인 세부 블럭도를 나타낸 것이다.
도 9a 및 도 9b는 현재영상과 참조영상이 서로 해상도가 같을 경우, 움직임 예측 방법을 도시한 것이다.
도 10a 및 도 10b는 현재영상보다 참조영상의 해상도가 클 경우, 움직임 예측 방법을 도시한 것이다.
도 11a 및 도 11b는 1/2 화소 및 1/4 화소 단위의 움직임 예측을 위한 참조 영상의 보간을 위한 주위 화소의 사용 방법을 도시한 것이다.
도 12a 및 도 12b는 참조영상에 비해 현재영상의 해상도가 적을 경우, 서로 다른 해상도를 갖는 두 영상간에 1/2 화소 혹은 1/4 화소 단위의 움직임 탐색 및 현재영상의 해상도로 움직임 보상 과정을 도시한 것이다.
도 13a 및 도 13b는 참조영상에 비해 현재영상의 해상도가 적을 경우, 서로 다른 해상도를 갖는 두 영상간에 1/2 화소 혹은 1/4 화소 단위의 움직임 탐색 및 참조영상의 해상도로 정수 화소 혹은 1/2 화소 단위의 움직임 보상 과정을 도시한 것이다.

Claims (20)

  1. 해상도 제어신호에 따라서 제1 해상도의 현재영상과 제2 해상도의 현재영상에 대하여 움직임 예측 및 보상을 이용한 부호화처리를 수행하여 비트스트림을 생성하는 해상도 가변 부호화부; 및
    일정 간격으로 해상도를 상기 제1 해상도 혹은 제2 해상도로 가변시키기 위한 상기 해상도 제어신호를 생성하는 제어부를 포함하는 영상 부호화장치.
  2. 제1 항에 있어서, 상기 제2 해상도의 현재영상에 대하여 상기 제1 해상도의 이전복원영상을 참조하여 움직임 예측을 수행하고, 상기 제2 해상도로 움직임 보상을 수행하는 영상 부호화장치.
  3. 제1 항에 있어서, 상기 제2 해상도의 현재영상에 대하여 상기 제1 해상도의 이전복원영상을 참조하여 움직임 예측을 수행하고, 상기 제1 해상도로 움직임 보상을 수행하는 영상 부호화장치.
  4. 제1 항에 있어서, IBP 구조의 영상 시퀀스의 경우, 상기 일정 간격은 B 프레임마다 상기 제2 해상도로 가변되도록 설정되는 영상 부호화장치.
  5. 제1 항에 있어서, 상기 해상도 제어신호에 대응되는 해상도 플래그는 시퀀스 헤더, GOP 헤더, 픽쳐 헤더, 프레임 혹은 필드 헤더 중 적어도 하나에 포함되어 상기 비트스트림으로 구성되는 영상 부호화장치.
  6. 일정 간격으로 해상도를 상기 제1 해상도 혹은 제2 해상도로 가변시키기 위한 상기 해상도 제어신호를 생성하는 단계; 및
    상기 해상도 제어신호에 따라서 제1 해상도의 현재영상과 제2 해상도의 현재영상에 대하여 움직임 예측 및 보상을 이용한 부호화처리를 수행하는 단계를 포함하는 영상 부호화방법.
  7. 제6 항에 있어서, 상기 제2 해상도의 현재영상에 대하여 상기 제1 해상도의 이전복원영상을 참조하여 움직임 예측을 수행하고, 상기 제2 해상도로 움직임 보상을 수행하는 영상 부호화방법.
  8. 제6 항에 있어서, 상기 제2 해상도의 현재영상에 대하여 상기 제1 해상도의 이전복원영상을 참조하여 움직임 예측을 수행하고, 상기 제1 해상도로 움직임 보상을 수행하는 영상 부호화방법.
  9. 제6 항에 있어서, IBP 구조의 영상 시퀀스의 경우, 상기 일정 간격은 B 프레임마다 상기 제2 해상도로 가변되도록 설정되는 영상 부호화방법.
  10. 제6 항에 있어서, 상기 해상도 제어신호에 대응되는 해상도 플래그는 시퀀스 헤더, GOP 헤더, 픽쳐 헤더, 프레임 혹은 필드 헤더 중 적어도 하나에 포함되어 상기 비트스트림으로 구성되는 영상 부호화방법.
  11. 제1 해상도 혹은 제2 해상도의 부호화데이터로 이루어진 비트스트림을 해석하여 해상도 플래그에 대응하는 해상도 제어신호를 생성하는 해석부; 및
    상기 해상도 제어신호에 따라서 제1 해상도의 부호화데이터와 제2 해상도의 부호화데이터에 대하여 움직임 보상을 이용한 복호화처리를 수행하여 복원영상을 생성하는 해상도 가변 복호화부를 포함하는 영상 복호화장치.
  12. 제11 항에 있어서, 상기 제2 해상도의 부호화데이터에 대하여 상기 제2 해상도로 움직임 보상을 수행하는 영상 복호화장치.
  13. 제11 항에 있어서, 상기 제2 해상도의 부호화데이터에 대하여 상기 제1 해상도로 움직임 보상을 수행하는 영상 복호화장치.
  14. 제11 항에 있어서, 상기 해상도 제어신호에 대응되는 해상도 플래그는 상기 비트스트림 중 시퀀스 헤더, GOP 헤더, 픽쳐 헤더, 프레임 혹은 필드 헤더 중 적어도 하나에 포함되는 영상 복호화장치.
  15. 제1 해상도 혹은 제2 해상도의 부호화데이터로 이루어진 비트스트림을 해석하여 해상도 플래그에 대응하는 해상도 제어신호를 생성하는 단계; 및
    상기 해상도 제어신호에 따라서 제1 해상도의 부호화데이터와 제2 해상도의 부호화데이터에 대하여 움직임 보상을 이용한 복호화처리를 수행하여 복원영상을 생성하는 단계를 포함하는 영상 복호화방법.
  16. 제15 항에 있어서, 상기 제2 해상도의 부호화데이터에 대하여 상기 제2 해상도로 움직임 보상을 수행하는 영상 복호화방법.
  17. 제15 항에 있어서, 상기 제2 해상도의 부호화데이터에 대하여 상기 제1 해상도로 움직임 보상을 수행하는 영상 복호화방법.
  18. 제15 항에 있어서, 상기 해상도 제어신호에 대응되는 해상도 플래그는 상기 비트스트림 중 시퀀스 헤더, GOP 헤더, 픽쳐 헤더, 프레임 혹은 필드 헤더 중 적어도 하나에 포함되는 영상 복호화방법.
  19. 제6 항 내지 제10 항 중 어느 한 항에 기재된 영상 부호화방법을 실행할 수 있는 컴퓨터로 읽을 수 있는 기록매체.
  20. 제15 항 내지 제18 항 중 어느 한 항에 기재된 영상 복호화방법을 실행할 수 있는 컴퓨터로 읽을 수 있는 기록매체.
KR1020080006387A 2008-01-21 2008-01-21 영상 부호화/복호화 장치 및 방법 Expired - Fee Related KR101431543B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080006387A KR101431543B1 (ko) 2008-01-21 2008-01-21 영상 부호화/복호화 장치 및 방법
US12/285,785 US8374248B2 (en) 2008-01-21 2008-10-14 Video encoding/decoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080006387A KR101431543B1 (ko) 2008-01-21 2008-01-21 영상 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090080452A true KR20090080452A (ko) 2009-07-24
KR101431543B1 KR101431543B1 (ko) 2014-08-21

Family

ID=40876491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080006387A Expired - Fee Related KR101431543B1 (ko) 2008-01-21 2008-01-21 영상 부호화/복호화 장치 및 방법

Country Status (2)

Country Link
US (1) US8374248B2 (ko)
KR (1) KR101431543B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101124723B1 (ko) * 2009-08-21 2012-03-23 에스케이플래닛 주식회사 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244290B1 (ko) 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
GB2479933B (en) * 2010-04-30 2016-05-25 Snell Ltd Motion estimation
US20130032099A1 (en) * 2011-08-04 2013-02-07 Chi-Hyun Han Frictional fluid heating device and method thereof
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
GB2506345A (en) * 2012-09-06 2014-04-02 British Broadcasting Corp Video encoding and decoding with chrominance sub-sampling
JP2014225718A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 画像処理装置および画像処理方法
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9609275B2 (en) * 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
CN116708789B (zh) * 2023-08-04 2023-10-13 湖南马栏山视频先进技术研究院有限公司 一种基于人工智能的视频分析编码系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100430328B1 (ko) * 1996-04-18 2004-07-14 노키아 모빌 폰즈 리미티드 비디오데이터엔코더및디코더
US6665344B1 (en) * 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US6895051B2 (en) * 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6628714B1 (en) * 1998-12-18 2003-09-30 Zenith Electronics Corporation Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
US6313813B1 (en) * 1999-10-21 2001-11-06 Sony Corporation Single horizontal scan range CRT monitor
US6907073B2 (en) * 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
JP3704107B2 (ja) * 2002-07-30 2005-10-05 株式会社東芝 映像データ再生装置及び映像データ再生方法
KR20050049964A (ko) * 2003-11-24 2005-05-27 엘지전자 주식회사 압축 동영상의 고속 해상도 변환 장치
KR100834750B1 (ko) * 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
KR100703740B1 (ko) * 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
KR100772878B1 (ko) * 2006-03-27 2007-11-02 삼성전자주식회사 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101124723B1 (ko) * 2009-08-21 2012-03-23 에스케이플래닛 주식회사 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법

Also Published As

Publication number Publication date
KR101431543B1 (ko) 2014-08-21
US20090185621A1 (en) 2009-07-23
US8374248B2 (en) 2013-02-12

Similar Documents

Publication Publication Date Title
KR101431543B1 (ko) 영상 부호화/복호화 장치 및 방법
KR100370076B1 (ko) 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
JP4275358B2 (ja) 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法
JP2005506815A (ja) 空間拡張可能圧縮のための方法及び装置
KR101090586B1 (ko) 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체
JP2006518568A (ja) ビデオ符号化
US7782955B2 (en) Transcoder and transcoding method operating in a transform domain for video coding schemes possessing different transform kernels
JP2005506815A5 (ko)
KR20100015651A (ko) 이차원 적응 내삽 필터의 필터 계수 결정 방법
JP2000059795A (ja) 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置
JPH09163373A (ja) 雑音低減装置
JP2006246474A (ja) カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化／復号化する方法およびその装置
KR20220024659A (ko) 비디오 처리에서의 적응적 해상도 변경
US20020150159A1 (en) Decoding system and method for proper interpolation for motion compensation
KR20020042166A (ko) 영상 변환 부호화 장치 및 방법
US7903731B2 (en) Methods and transcoders that estimate an output macroblock and motion vector for video transcoding
JP4209134B2 (ja) 圧縮ビットストリームをアップサンプリングする方法および装置
KR20050084396A (ko) 공간 스케일 능력를 갖는 디지털 필터
KR20080067922A (ko) 영상 축소 기능을 갖는 영상 복호화 방법 및 장치
JP2006511164A (ja) 弾性記憶
JP4318019B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2006279917A (ja) 動画像符号化装置、動画像復号装置及び動画像伝送システム
KR20210023911A (ko) 인트라 예측 방법 및 장치
JP2003348595A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR20150028832A (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200813

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200813