KR20140049092A - 동화상 부호화 장치 및 동화상 복호화 장치 - Google Patents

동화상 부호화 장치 및 동화상 복호화 장치 Download PDF

Info

Publication number
KR20140049092A
KR20140049092A KR1020147008944A KR20147008944A KR20140049092A KR 20140049092 A KR20140049092 A KR 20140049092A KR 1020147008944 A KR1020147008944 A KR 1020147008944A KR 20147008944 A KR20147008944 A KR 20147008944A KR 20140049092 A KR20140049092 A KR 20140049092A
Authority
KR
South Korea
Prior art keywords
unit
image
prediction
encoding
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147008944A
Other languages
English (en)
Other versions
KR101500914B1 (ko
Inventor
요시미 모리야
？이치 세키구치
가즈오 스기모토
고타로 아사이
도쿠미치 무라카미
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20140049092A publication Critical patent/KR20140049092A/ko
Application granted granted Critical
Publication of KR101500914B1 publication Critical patent/KR101500914B1/ko
Assigned to 자일렌 홀딩 에스.에이. reassignment 자일렌 홀딩 에스.에이. 권리의 전부이전등록 Assignors: 미쓰비시덴키 가부시키가이샤
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

부호화 제어부(3)가, 부호화 모드(7)에 따라 정해진 변환 블록 사이즈의 세트 중에서, 부호화 효율이 최적이 되는 하나의 변환 블록 사이즈를 최적 압축 파라미터(20a)에 포함시켜 변환ㆍ양자화부(19)에 지시하고, 변환ㆍ양자화부(19)가, 최적 예측 차분 신호(13a)를, 최적 압축 파라미터(20a)에 포함되는 변환 블록 사이즈의 블록으로 분할하여 변환 및 양자화 처리를 행하여, 압축 데이터(21)를 생성한다.

Description

동화상 부호화 장치 및 동화상 복호화 장치{VIDEO ENCODING DEVICE AND VIDEO DECODING DEVICE}
본 발명은, 동화상을 소정 영역으로 분할하여, 영역 단위로 부호화를 행하는 동화상 부호화 장치와, 부호화된 동화상을 소정 영역 단위로 복호하는 동화상 복호 장치에 관한 것이다.
종래, MPEG 및 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 영상 신호의 각 프레임을, 휘도 신호 16×16 화소와 대응하는 색차 신호 8×8 화소분을 합친 블록 데이터(매크로 블록이라고 부른다)를 단위로 하여, 움직임 보상 기술 및 직교 변환ㆍ변환 계수 양자화 기술에 근거하여 압축하는 방법이 채용되어 있다.
움직임 보상 기술이란, 비디오 프레임간에 존재하는 높은 상관을 이용하여 매크로 블록마다 시간 방향의 신호의 용장도를 삭감하는 기술이며, 과거에 부호화가 완료된 프레임을 참조 화상으로서 메모리 내에 축적하여 두고, 참조 화상 중의 소정의 탐색 범위 내에서, 움직임 보상 예측의 대상으로 되어 있는 현재 매크로 블록과 가장 차분 전력이 작은 블록 영역을 탐색하여, 현재 매크로 블록의 공간 위치와 참조 화상 중의 탐색 결과 블록의 공간 위치의 어긋남을 움직임 벡터로서 부호화하는 기술이다.
또한, 직교 변환ㆍ변환 계수 양자화 기술에서는, 상술한 움직임 보상 예측의 결과 얻어진 예측 신호를 현재 매크로 블록에서 차감하여 얻은 차분 신호를 직교 변환 및 양자화하는 것에 의해, 정보량의 압축을 실현하고 있다.
MPEG-4 Visual에서는, 움직임 보상 예측의 단위가 되는 블록 사이즈의 최소값은 8×8 화소이며, 직교 변환에도 8×8 화소 사이즈의 DCT(이산 코사인 변환)가 이용되고 있다. 이에 비하여, MPEG-4 AVC(Moving Picture Experts Group-4 Advanced Video Coding)(ITU-T H.264)에서는, 오브젝트의 경계 등, 공간 방향의 화소간 상관이 작은 영역에서도 효율적으로 부호화를 행하기 때문에, 8×8 화소보다 작은 블록 사이즈로의 움직임 보상 예측이 준비되고, 또한, 직교 변환은 8×8 화소와 4×4 화소의 정수 정밀도의 DCT를 매크로 블록 단위로 적응적으로 전환하여 압축 부호화할 수 있도록 되어 있다.
이러한 종래의 국제 표준 영상 부호화 방식에서는, 매크로 블록 사이즈가 고정되어 있는 것에 기인하여, 특히 화상의 해상도가 높아진 경우에, 고정의 매크로 블록 사이즈로는 매크로 블록이 커버하는 영역이 국소화되기 쉽다. 그러면, 주변 매크로 블록에서 같은 부호화 모드가 되거나, 같은 움직임 벡터가 할당되거나 하는 케이스가 발생한다. 이러한 케이스에서는, 예측 효율이 올라가지 않음에도 불구하고 부호화되는 부호화 모드 정보 및 움직임 벡터 정보 등의 오버헤드가 늘어나기 때문에, 부호화기 전체로서는 부호화 효율이 저하된다.
그러한 문제에 대하여, 화상의 해상도 또는 내용에 따라 매크로 블록 사이즈를 전환하도록 한 장치가 있었다(예컨대, 특허 문헌 1 참조). 특허 문헌 1에 따른 동화상 부호화 장치에서는, 매크로 블록 사이즈에 따라 선택 가능한 직교 변환 블록 사이즈 또는 직교 변환 블록 사이즈의 세트를 전환하여 압축 부호화할 수 있도록 되어 있다.
특허 문헌 1: 국제 공개 WO2007/034918호
그러나, 종래의 국제 표준 영상 부호화 방식 및 특허 문헌 1에 따른 발명에서는, 매크로 블록 내에서 복수의 직교 변환 블록 사이즈를 전환하여 변환할 수 없기 때문에, 특히 매크로 블록 내에 움직임 또는 무늬가 다른 오브젝트가 존재하는 경우에 부호화 효율이 저하된다고 하는 과제가 있었다.
본 발명은, 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 매크로 블록 내의 움직임 보상 예측의 단위가 되는 영역마다, 직교 변환 블록 사이즈를 적응적으로 전환하여 압축 부호화할 수 있는 동화상 부호화 장치 및 동화상 복호 장치를 얻는 것을 목적으로 한다.
본 발명에 따른 동화상 부호화 장치는, 입력 화상을 소정 사이즈의 복수 블록으로 분할한 매크로 블록 화상을, 부호화 모드에 따라 하나 이상의 블록으로 분할한 블록 화상을 출력하는 블록 분할부와, 블록 화상이 입력되면, 해당 블록 화상에 대하여, 프레임 내의 화상 신호를 이용하여 프레임 내 예측하여 예측 화상을 생성하는 인트라 예측부와, 블록 화상이 입력되면, 해당 블록 화상에 대하여, 1프레임 이상의 참조 화상을 이용하여 움직임 보상 예측을 행하여 예측 화상을 생성하는 움직임 보상 예측부와, 블록 분할부가 출력하는 블록 화상으로부터, 인트라 예측부 또는 움직임 보상 예측부 중 어느 한쪽이 출력하는 예측 화상을 차감하여 생성된 예측 차분 신호에 대하여, 변환 및 양자화 처리를 행하여 압축 데이터를 생성하는 변환ㆍ양자화부와, 압축 데이터를 엔트로피 부호화하여 비트스트림에 다중화하는 가변 길이 부호화부와, 블록 화상의 미리 정해진 변환 블록 사이즈의 세트 중에서, 소정의 변환 블록 사이즈를 변환ㆍ양자화부에 지시하는 부호화 제어부를 구비하고, 변환ㆍ양자화부는, 예측 차분 신호를, 부호화 제어부로부터 지시되는 변환 블록 사이즈의 블록으로 분할하여 변환 및 양자화 처리를 행하고, 압축 데이터를 생성하는 것이다.
본 발명에 따른 동화상 복호 장치는, 화상을 소정 사이즈의 복수 블록으로 분할한 매크로 블록 단위로 압축 부호화된 비트스트림을 입력으로 하여, 해당 비트스트림으로부터, 매크로 블록 단위로 부호화 모드를 엔트로피 복호함과 아울러, 해당 복호된 부호화 모드에 따라 분할된 블록 단위로 예측 파라미터, 변환 블록 사이즈를 지시하는 정보 및 압축 데이터를 엔트로피 복호하는 가변 길이 복호부와, 예측 파라미터가 입력되면, 해당 예측 파라미터에 포함되는 인트라 예측 모드와 프레임 내의 복호 완료된 화상 신호를 이용하여 예측 화상을 생성하는 인트라 예측부와, 예측 파라미터가 입력되면, 해당 예측 파라미터에 포함되는 움직임 벡터와, 해당 예측 파라미터에 포함되는 참조 화상 인덱스로 특정되는 참조 화상을 이용하여 움직임 보상 예측을 행하여 예측 화상을 생성하는 움직임 보상 예측부와, 변환 블록 사이즈를 지시하는 정보를 이용하여, 압축 데이터에 대하여 역양자화 및 역변환 처리를 행하고, 복호 예측 차분 신호를 생성하는 역양자화ㆍ역변환부와, 복호 예측 차분 신호에, 인트라 예측부 또는 움직임 보상 예측부 중 어느 한쪽이 출력하는 예측 화상을 가산하여 복호 화상 신호를 출력하는 가산부를 구비하고, 역양자화ㆍ역변환부는, 복호된 변환 블록 사이즈를 지시하는 정보에 근거하여 변환 블록 사이즈를 결정하여, 압축 데이터를 해당 변환 블록 사이즈의 블록 단위로 역변환 및 역양자화 처리하는 것이다.
본 발명에 의하면, 입력 화상을 소정 사이즈의 복수 블록으로 분할한 매크로 블록 화상을, 부호화 모드에 따라 하나 이상의 블록으로 분할한 블록 화상을 출력하는 블록 분할부와, 블록 화상이 입력되면, 해당 블록 화상에 대하여, 프레임 내의 화상 신호를 이용하여 프레임 내 예측하여 예측 화상을 생성하는 인트라 예측부와, 블록 화상이 입력되면, 해당 블록 화상에 대하여, 1프레임 이상의 참조 화상을 이용하여 움직임 보상 예측을 행하여 예측 화상을 생성하는 움직임 보상 예측부와, 블록 분할부가 출력하는 블록 화상으로부터, 인트라 예측부 또는 움직임 보상 예측부 중 어느 한쪽이 출력하는 예측 화상을 차감하여 생성된 예측 차분 신호에 대하여, 변환 및 양자화 처리를 행하여 압축 데이터를 생성하는 변환ㆍ양자화부와, 압축 데이터를 엔트로피 부호화하여 비트스트림에 다중화하는 가변 길이 부호화부와, 블록 화상의 미리 정해진 변환 블록 사이즈의 세트 중에서 소정의 변환 블록 사이즈를 변환ㆍ양자화부에 지시하는 부호화 제어부를 구비하고, 변환ㆍ양자화부는, 예측 차분 신호를, 부호화 제어부로부터 지시되는 변환 블록 사이즈의 블록으로 분할하여 변환 및 양자화 처리를 행하고, 압축 데이터를 생성하도록 했으므로, 매크로 블록 내의 움직임 보상 예측의 단위가 되는 영역마다, 변환 블록 사이즈를 적응적으로 전환하여 압축 부호화할 수 있는 동화상 부호화 장치 및 동화상 복호 장치를 얻을 수 있다.
도 1은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 구성을 나타내는 블록도이다.
도 2a는 시간 방향의 예측 부호화를 행하는 픽쳐의 부호화 모드의 일례를 나타내는 도면이다.
도 2b는 시간 방향의 예측 부호화를 행하는 픽쳐의 부호화 모드의 다른 예를 나타내는 도면이다.
도 3은 실시의 형태 1에 따른 동화상 부호화 장치의 움직임 보상 예측부의 내부 구성을 나타내는 블록도이다.
도 4는 부호화 모드에 따른 움직임 벡터의 예측값의 결정 방법을 설명하는 도면이다.
도 5는 부호화 모드에 따른 변환 블록 사이즈의 적응화의 일례를 나타내는 도면이다.
도 6은 부호화 모드에 따른 변환 블록 사이즈의 적응화의 다른 예를 나타내는 도면이다.
도 7은 실시의 형태 1에 따른 동화상 부호화 장치의 변환ㆍ양자화부의 내부 구성을 나타내는 블록도이다.
도 8은 본 발명의 실시의 형태 1에 따른 동화상 복호 장치의 구성을 나타내는 블록도이다.
도 9는 본 발명의 실시의 형태 2에 따른 동화상 부호화 장치의 가변 길이 부호화부의 내부 구성을 나타내는 블록도이다.
도 10은 2치화 테이블의 일례를 나타내는 도면이며, 갱신 전의 상태를 나타낸다.
도 11은 확률 테이블의 일례를 나타내는 도면이다.
도 12는 상태 천이 테이블의 일례를 나타내는 도면이다.
도 13은 컨텍스트 식별 정보의 생성 순서를 설명하는 도면이며, 도 13(a)는 2치화 테이블을 2진 트리 표현으로 나타낸 도면, 도 13(b)는 부호화 대상 매크로 블록과 주변 블록의 위치 관계를 나타내는 도면이다.
도 14는 2치화 테이블의 일례를 나타내는 도면이며, 갱신 후의 상태를 나타낸다.
도 15는 본 발명의 실시의 형태 2에 따른 동화상 복호 장치의 가변 길이 복호부의 내부 구성을 나타내는 블록도이다.
도 16은 본 발명의 실시의 형태 3에 따른 동화상 부호화 장치의 움직임 보상 예측부가 구비하는 보간 화상 생성부의 내부 구성을 나타내는 블록도이다.
이하, 본 발명의 실시의 형태에 대하여 도면을 참조하면서 상세히 설명한다.
실시의 형태 1.
본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력으로서 이용하여, 근접 프레임간에서 움직임 보상 예측을 행하고, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시한 후, 가변 길이 부호화를 행하여 비트스트림을 생성하는 동화상 부호화 장치와, 그 비트스트림을 복호하는 동화상 복호 장치에 대하여 설명한다.
도 1은, 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 구성을 나타내는 블록도이다. 도 1에 나타내는 동화상 부호화 장치는, 입력 영상 신호(1)의 각 프레임 화상을 매크로 블록 사이즈(4)의 복수 블록으로 분할한 매크로 블록 화상을, 부호화 모드(7)에 따라 하나 이상의 서브블록으로 분할한 매크로/서브블록 화상(5)을 출력하는 블록 분할부(2)와, 매크로/서브블록 화상(5)이 입력되면, 해당 매크로/서브블록 화상(5)에 대하여, 인트라 예측용 메모리(28)의 화상 신호를 이용하여 프레임 내 예측하여 예측 화상(11)을 생성하는 인트라 예측부(8)와, 매크로/서브블록 화상(5)이 입력되면, 해당 매크로/서브블록 화상(5)에 대하여, 움직임 보상 예측 프레임 메모리(14)의 참조 화상(15)을 이용하여 움직임 보상 예측을 행하여 예측 화상(17)을 생성하는 움직임 보상 예측부(9)와, 부호화 모드(7)에 따라 매크로/서브블록 화상(5)을 인트라 예측부(8) 또는 움직임 보상 예측부(9) 중 어느 한쪽에 입력하는 전환부(6)와, 블록 분할부(2)가 출력하는 매크로/서브블록 화상(5)으로부터, 인트라 예측부(8) 또는 움직임 보상 예측부(9) 중 어느 한쪽이 출력하는 예측 화상(11, 17)을 차감하여, 예측 차분 신호(13)를 생성하는 감산부(12)와, 예측 차분 신호(13)에 대하여, 변환 및 양자화 처리를 행하여 압축 데이터(21)를 생성하는 변환ㆍ양자화부(19)와, 압축 데이터(21)를 엔트로피 부호화하여 비트스트림(30)에 다중화하는 가변 길이 부호화부(23)와, 압축 데이터(21)를 역양자화 및 역변환 처리하여 국소 복호 예측 차분 신호(24)를 생성하는 역양자화ㆍ역변환부(22)와, 역양자화ㆍ역변환부(22)에 인트라 예측부(8) 또는 움직임 보상 예측부(9) 중 어느 한쪽이 출력하는 예측 화상(11, 17)을 가산하여 국소 복호 화상 신호(26)를 생성하는 가산부(25)와, 국소 복호 화상 신호(26)를 저장하는 인트라 예측용 메모리(28)와, 국소 복호 화상 신호(26)를 필터 처리하여 국소 복호 화상(29)을 생성하는 루프 필터부(27)와, 국소 복호 화상(29)을 저장하는 움직임 보상 예측 프레임 메모리(14)를 포함한다.
부호화 제어부(3)는, 각 부의 처리에 필요한 정보(매크로 블록 사이즈(4), 부호화 모드(7), 최적 부호화 모드(7a), 예측 파라미터(10), 최적 예측 파라미터(10a, 18a), 압축 파라미터(20), 최적 압축 파라미터(20a))를 출력한다. 이하, 매크로 블록 사이즈(4) 및 부호화 모드(7)의 상세를 설명한다. 그 밖의 정보의 상세는 후술한다.
부호화 제어부(3)는, 블록 분할부(2)에, 입력 영상 신호(1)의 각 프레임 화상의 매크로 블록 사이즈(4)를 지정함과 아울러, 부호화 대상의 매크로 블록마다, 픽쳐 타입에 따라 선택 가능한 모든 부호화 모드(7)를 지시한다.
또, 부호화 제어부(3)는 부호화 모드의 세트 중에서 소정의 부호화 모드를 선택 가능하지만, 이 부호화 모드의 세트는 임의이며, 예컨대 이하에 나타내는 도 2a 또는 도 2b의 세트 중에서 소정의 부호화 모드를 선택 가능하게 한다.
도 2a는, 시간 방향의 예측 부호화를 행하는 P(Predictive) 픽쳐의 부호화 모드의 예를 나타내는 도면이다. 도 2a에 있어서, mb_mode0~2는, 매크로 블록(M×L 화소 블록)을 프레임간 예측에 의해 부호화하는 모드(inter)이다. mb_mode0은 매크로 블록 전체에 대하여 하나의 움직임 벡터를 할당하는 모드이며, mb_mode1, 2는 각각 매크로 블록을 수평 또는 수직으로 등분하고, 분할된 각 서브블록에 각각 다른 움직임 벡터를 할당하는 모드이다.
mb_mode3은, 매크로 블록을 4분할하고, 분할된 각 서브블록에 서로 다른 부호화 모드(sub_mb_mode)를 할당하는 모드이다.
sub_mb_mode0~4는, 매크로 블록의 부호화 모드에서 mb_mode3이 선택되었을 때에, 해당 매크로 블록을 4분할한 각 서브블록(m×l 화소 블록)에 대하여 각각 할당되는 부호화 모드이며, sub_mb_mode0은 서브블록을 프레임 내 예측에 의해 부호화하는 모드(intra)이다. 그 이외에는 프레임간 예측에 의해 부호화하는 모드(inter)이며, sub_mb_mode1은 서브블록 전체에 대하여 하나의 움직임 벡터를 할당하는 모드, sub_mb_mode2, 3은 각각 서브블록을 수평 또는 수직으로 등분하고, 분할된 각 서브블록에 각각 다른 움직임 벡터를 할당하는 모드, sub_mb_mode4는 서브블록을 4분할하고, 분할된 각 서브블록에 서로 다른 움직임 벡터를 할당하는 모드이다.
또한, 도 2b는, 시간 방향의 예측 부호화를 행하는 P 픽쳐의 부호화 모드의 다른 예를 나타내는 도면이다. 도 2b에 있어서, mb_mode0~6은, 매크로 블록(M×L 화소 블록)을 프레임간 예측에 의해 부호화하는 모드(inter)이다. mb_mode0은 매크로 블록 전체에 대하여 하나의 움직임 벡터를 할당하는 모드이며, mb_mode1~6은 각각 매크로 블록을 수평, 수직 또는 대각 방향으로 분할하고, 분할된 각 서브블록에 각각 다른 움직임 벡터를 할당하는 모드이다.
mb_mode7은, 매크로 블록을 4분할하고, 분할된 각 서브블록에 서로 다른 부호화 모드(sub_mb_mode)를 할당하는 모드이다.
sub_mb_mode0~8은, 매크로 블록의 부호화 모드에서 mb_mode7이 선택되었을 때에, 해당 매크로 블록을 4분할한 각 서브블록(m×l 화소 블록)에 대하여 각각 할당되는 부호화 모드이며, sub_mb_mode0은 서브블록을 프레임 내 예측에 의해 부호화하는 모드(intra)이다. 그 이외는 프레임간 예측에 의해 부호화하는 모드(inter)이며, sub_mb_mode1은 서브블록 전체에 대하여 하나의 움직임 벡터를 할당하는 모드, sub_mb_mode2~7은 각각 서브블록을 수평, 수직 또는 대각 방향으로 분할하고, 분할된 각 서브블록에 각각 다른 움직임 벡터를 할당하는 모드, sub_mb_mode8은 서브블록을 4분할하고, 분할된 각 서브블록에 서로 다른 움직임 벡터를 할당하는 모드이다.
블록 분할부(2)는, 동화상 부호화 장치에 입력된 입력 영상 신호(1)의 각 프레임 화상을, 부호화 제어부(3)로부터 지정되는 매크로 블록 사이즈(4)의 매크로 블록 화상으로 분할한다. 또한 블록 분할부(2)는, 부호화 제어부(3)로부터 지정되는 부호화 모드(7)가 매크로 블록을 분할한 서브블록에 대하여 서로 다른 부호화 모드를 할당하는 모드(도 2a의 sub_mb_mode1~4 또는 도 2b의 sub_mb_mode1~8)를 포함하는 경우에는, 매크로 블록 화상을 부호화 모드(7)가 나타내는 서브블록 화상으로 분할한다. 따라서, 블록 분할부(2)로부터 출력하는 블록 화상은, 부호화 모드(7)에 따라 매크로 블록 화상 또는 서브블록 화상 중 어느 한쪽이 된다. 이하, 이 블록 화상을 매크로/서브블록 화상(5)이라고 부른다.
또, 입력 영상 신호(1)의 각 프레임의 수평 또는 수직 사이즈가 매크로 블록 사이즈(4)의 각각 수평 사이즈 또는 수직 사이즈의 정수배가 아닐 때에는, 입력 영상 신호(1)의 각 프레임에 대하여, 프레임 사이즈가 매크로 블록 사이즈의 정수배가 될 때까지 수평 방향 또는 수직 방향으로 화소를 확장한 프레임(확장 프레임)을 생성한다. 확장 영역의 화소의 생성 방법으로서 예컨대, 수직 방향으로 화소를 확장하는 경우에는 원래의 프레임의 하단의 화소를 반복하여 채우거나, 혹은, 고정의 화소값(그레이, 흑, 백 등)을 갖는 화소로 채우는 등의 방법이 있다. 수평 방향으로 화소를 확장하는 경우도 마찬가지로, 원래의 프레임의 우단의 화소를 반복하여 채우거나, 혹은, 고정의 화소값(그레이, 흑, 백 등)을 갖는 화소로 채우는 등의 방법이 있다. 입력 영상 신호(1)의 각 프레임에 대하여 생성된 프레임 사이즈가 매크로 블록 사이즈의 정수배인 확장 프레임은, 입력 영상 신호(1)의 각 프레임 화상을 대신하여 블록 분할부(2)에 입력된다.
또, 매크로 블록 사이즈(4) 및 입력 영상 신호(1)의 각 프레임의 프레임 사이즈(수평 사이즈 및 수직 사이즈)는, 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위 혹은 픽쳐 단위로 비트스트림에 다중화하기 위해, 가변 길이 부호화부(23)에 출력된다.
또, 매크로 블록 사이즈의 값을 직접 비트스트림에 다중화하지 않고, 프로파일 등으로 규정하도록 하더라도 좋다. 이 경우에는 시퀀스 단위로 프로파일을 식별하기 위한 식별 정보가 비트스트림에 다중화된다.
전환부(6)는, 부호화 모드(7)에 따라 매크로/서브블록 화상(5)의 입력 부분을 전환하는 스위치이다. 이 전환부(6)는, 부호화 모드(7)가 프레임 내 예측에 의해 부호화하는 모드(이하, 프레임 내 예측 모드라고 부른다)인 경우에는, 매크로/서브블록 화상(5)을 인트라 예측부(8)에 입력하고, 부호화 모드(7)가 프레임간 예측에 의해 부호화하는 모드(이하, 프레임간 예측 모드라고 부른다)인 경우에는 매크로/서브블록 화상(5)을 움직임 보상 예측부(9)에 입력한다.
인트라 예측부(8)는, 입력된 매크로/서브블록 화상(5)에 대하여, 매크로 블록 사이즈(4)로 지정되는 부호화 대상의 매크로 블록 또는 부호화 모드(7)로 지정되는 서브블록의 단위로 프레임 내 예측을 행한다. 또, 인트라 예측부(8)는, 부호화 제어부(3)로부터 지시되는 예측 파라미터(10)에 포함되는 모든 인트라 예측 모드에 대하여, 인트라 예측용 메모리(28) 내에 저장되어 있는 프레임 내의 화상 신호를 이용하여, 각각 예측 화상(11)을 생성한다.
여기서, 예측 파라미터(10)의 상세를 설명한다. 부호화 모드(7)가 프레임 내 예측 모드인 경우는, 부호화 제어부(3)가, 그 부호화 모드(7)에 대응하는 예측 파라미터(10)로서 인트라 예측 모드를 지정한다. 이 인트라 예측 모드에는, 예컨대 매크로 블록 또는 서브블록 내를 4×4 화소 블록 단위로 하여, 인트라 예측용 메모리(28) 내의 화상 신호의 단위 블록 주위의 화소를 이용하여 예측 화상을 생성하는 모드, 매크로 블록 또는 서브블록 내를 8×8 화소 블록 단위로 하여, 인트라 예측용 메모리(28) 내의 화상 신호의 단위 블록 주변의 화소를 이용하여 예측 화상을 생성하는 모드, 매크로 블록 또는 서브블록 내를 16×16 화소 블록 단위로 하여, 인트라 예측용 메모리(28) 내의 화상 신호의 단위 블록 주변의 화소를 이용하여 예측 화상을 생성하는 모드, 매크로 블록 또는 서브블록 내를 축소한 화상으로부터 예측 화상을 생성하는 모드 등이 있다.
움직임 보상 예측부(9)는, 움직임 보상 예측 프레임 메모리(14)에 저장되어 있는 1프레임 이상의 참조 화상 데이터 중에서 예측 화상 생성에 이용하는 참조 화상(15)을 지정하여, 이 참조 화상(15)과 매크로/서브블록 화상(5)을 이용하여, 부호화 제어부(3)로부터 지시되는 부호화 모드(7)에 따른 움직임 보상 예측을 행하고, 예측 파라미터(18)와 예측 화상(17)을 생성한다.
여기서, 예측 파라미터(18)의 상세를 설명한다. 부호화 모드(7)가 프레임간 예측 모드인 경우는, 움직임 보상 예측부(9)가, 그 부호화 모드(7)에 대응하는 예측 파라미터(18)로서 움직임 벡터, 각 움직임 벡터가 가리키는 참조 화상의 식별 번호(참조 화상 인덱스) 등을 구한다. 예측 파라미터(18)의 생성 방법의 상세는 후술한다.
감산부(12)는, 예측 화상(11) 또는 예측 화상(17) 중 어느 한쪽을 매크로/서브블록 화상(5)으로부터 차감하여, 예측 차분 신호(13)를 얻는다. 또, 예측 차분 신호(13)는, 예측 파라미터(10)가 지정하는 모든 인트라 예측 모드에 따라 인트라 예측부(8)가 생성하는 예측 화상(11) 전부에 대하여, 각각 생성된다.
예측 파라미터(10)가 지정하는 모든 인트라 예측 모드에 따라 각각 생성된 예측 차분 신호(13)는 부호화 제어부(3)에서 평가되고, 최적의 인트라 예측 모드를 포함하는 최적 예측 파라미터(10a)가 결정된다. 평가 방법으로서 예컨대, 예측 차분 신호(13)를 변환ㆍ양자화하여 얻어지는 압축 데이터(21)를 이용하여 후술하는 부호화 코스트 J2를 계산하고, 부호화 코스트 J2를 최소로 하는 인트라 예측 모드를 선택한다.
부호화 제어부(3)는, 인트라 예측부(8) 또는 움직임 보상 예측부(9)에 있어서 부호화 모드(7)에 포함되는 모든 모드에 대하여 각각 생성된 예측 차분 신호(13)를 평가하고, 평가 결과에 근거하여, 부호화 모드(7) 중에서 최적의 부호화 효율을 얻을 수 있는 최적 부호화 모드(7a)를 결정한다. 또한, 부호화 제어부(3)는, 예측 파라미터(10, 18) 및 압축 파라미터(20) 중에서 최적 부호화 모드(7a)에 대응하는 최적 예측 파라미터(10a, 18a) 및 최적 압축 파라미터(20a)를 결정한다. 각각의 결정 순서에 대해서는 후술한다.
또, 상술한 바와 같이, 프레임 내 예측 모드의 경우, 예측 파라미터(10) 및 최적 예측 파라미터(10a)에는 인트라 예측 모드가 포함된다. 한편, 프레임간 예측 모드의 경우, 예측 파라미터(18) 및 최적 예측 파라미터(18a)에는 움직임 벡터, 각 움직임 벡터가 가리키는 참조 화상의 식별 번호(참조 화상 인덱스) 등이 포함된다.
또한, 압축 파라미터(20) 및 최적 압축 파라미터(20a)에는, 변환 블록 사이즈, 양자화 스텝 사이즈 등이 포함된다.
이 결정 순서의 결과, 부호화 제어부(3)는, 부호화 대상의 매크로 블록 또는 서브블록에 대한 최적 부호화 모드(7a), 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a)를 가변 길이 부호화부(23)에 출력한다. 또한, 부호화 제어부(3)는, 압축 파라미터(20) 중 최적 압축 파라미터(20a)를 변환ㆍ양자화부(19) 및 역양자화ㆍ역변환부(22)에 출력한다.
변환ㆍ양자화부(19)는, 부호화 모드(7)에 포함되는 모든 모드에 대응하여 생성된 복수의 예측 차분 신호(13) 중, 부호화 제어부(3)가 결정한 최적 부호화 모드(7a)와 최적 예측 파라미터(10a, 18a)에 근거하여 생성된 예측 화상(11, 17)에 대응하는 예측 차분 신호(13)(이하, 최적 예측 차분 신호(13a)라 부른다)를 선택하고, 이 최적 예측 차분 신호(13a)에 대하여, 부호화 제어부(3)에서 결정된 최적 압축 파라미터(20a)의 변환 블록 사이즈에 근거하여 DCT 등의 변환 처리를 실시하는 것에 의해 변환 계수를 산출함과 아울러, 그 변환 계수를 부호화 제어부(3)로부터 지시되는 최적 압축 파라미터(20a)의 양자화 스텝 사이즈에 근거하여 양자화하고, 양자화 후의 변환 계수인 압축 데이터(21)를 역양자화ㆍ역변환부(22) 및 가변 길이 부호화부(23)에 출력한다.
역양자화ㆍ역변환부(22)는, 변환ㆍ양자화부(19)로부터 입력된 압축 데이터(21)를, 최적 압축 파라미터(20a)를 이용하여 역양자화하여, 역 DCT 등의 역변환 처리를 실시하는 것에 의해 예측 차분 신호(13a)의 국소 복호 예측 차분 신호(24)를 생성하고, 가산부(25)에 출력한다.
가산부(25)는, 국소 복호 예측 차분 신호(24)와, 예측 화상(11) 또는 예측 화상(17)을 가산하여 국소 복호 화상 신호(26)를 생성하고, 이 국소 복호 화상 신호(26)를 루프 필터부(27)에 출력함과 아울러 인트라 예측용 메모리(28)에 저장한다. 이 국소 복호 화상 신호(26)가, 프레임 내 예측용의 화상 신호가 된다.
루프 필터부(27)는, 가산부(25)로부터 입력된 국소 복호 화상 신호(26)에 대하여, 소정의 필터링 처리를 행하고, 필터링 처리 후의 국소 복호 화상(29)을 움직임 보상 예측 프레임 메모리(14)에 저장한다. 이 국소 복호 화상(29)이 움직임 보상 예측용의 참조 화상(15)이 된다. 루프 필터부(27)에 의한 필터링 처리는, 입력되는 국소 복호 화상 신호(26)의 매크로 블록 단위로 행하더라도 좋고, 1화면분의 매크로 블록에 상당하는 국소 복호 화상 신호(26)가 입력된 후에 1화면분 합쳐 행하더라도 좋다.
가변 길이 부호화부(23)는, 변환ㆍ양자화부(19)로부터 출력된 압축 데이터(21)와, 부호화 제어부(3)로부터 출력되는 최적 부호화 모드(7a)와, 최적 예측 파라미터(10a, 18a)와, 최적 압축 파라미터(20a)를 엔트로피 부호화하여, 그들의 부호화 결과를 나타내는 비트스트림(30)을 생성한다. 또, 최적 예측 파라미터(10a, 18a)와 최적 압축 파라미터(20a)는, 최적 부호화 모드(7a)가 가리키는 부호화 모드에 따른 단위로 부호화된다.
상술한 바와 같이, 본 실시의 형태 1에 따른 동화상 부호화 장치는, 부호화 제어부(3)와 연계하여 움직임 보상 예측부(9) 및 변환ㆍ양자화부(19)가 각각 동작하는 것에 의해, 최적의 부호화 효율을 얻을 수 있는 부호화 모드, 예측 파라미터, 압축 파라미터(즉, 최적 부호화 모드(7a), 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a))가 결정된다.
여기서, 부호화 제어부(3)에 의한 최적의 부호화 효율을 얻을 수 있는 부호화 모드, 예측 파라미터, 압축 파라미터의 결정 순서에 대하여, 1. 예측 파라미터, 2. 압축 파라미터, 3. 부호화 모드의 차례로 설명한다.
1. 예측 파라미터의 결정 순서
여기서는, 부호화 모드(7)가 프레임간 예측 모드일 때에, 그 프레임간 예측에 관한 움직임 벡터, 각 움직임 벡터가 가리키는 참조 화상의 식별 번호(참조 화상 인덱스) 등을 포함하는 예측 파라미터(18)를 결정하는 순서를 설명한다.
움직임 보상 예측부(9)에서는, 부호화 제어부(3)와 연계하여, 부호화 제어부(3)로부터 움직임 보상 예측부(9)에 지시되는 모든 부호화 모드(7)(예컨대 도 2a 또는 도 2b에 나타내는 부호화 모드의 세트)에 대하여 각각 예측 파라미터(18)를 결정한다. 이하, 그 상세한 순서에 대하여 설명한다.
도 3은, 움직임 보상 예측부(9)의 내부 구성을 나타내는 블록도이다. 도 3에 나타내는 움직임 보상 예측부(9)는, 움직임 보상 영역 분할부(40)와, 움직임 검출부(42)와, 보간 화상 생성부(43)를 포함한다. 또한, 입력 데이터로서는, 부호화 제어부(3)로부터 입력되는 부호화 모드(7)와, 전환부(6)로부터 입력되는 매크로/서브블록 화상(5)과, 움직임 보상 예측 프레임 메모리(14)로부터 입력되는 참조 화상(15)이 있다.
움직임 보상 영역 분할부(40)는, 부호화 제어부(3)로부터 지시되는 부호화 모드(7)에 따라, 전환부(6)로부터 입력되는 매크로/서브블록 화상(5)을 움직임 보상의 단위가 되는 블록으로 분할하고, 이 움직임 보상 영역 블록 화상(41)을 움직임 검출부(42)에 출력한다.
보간 화상 생성부(43)는, 움직임 보상 예측 프레임 메모리(14)에 저장되어 있는 1프레임 이상의 참조 화상 데이터 중에서 예측 화상 생성에 이용하는 참조 화상(15)을 지정하고, 움직임 검출부(42)가 지정된 참조 화상(15)상의 소정의 움직임 탐색 범위 내에서 움직임 벡터(44)를 검출한다. 또, 움직임 벡터의 검출은, MPEG-4 AVC 규격 등과 마찬가지로, 가상 샘플 정밀도의 움직임 벡터에 의해 행한다. 이 검출 방법은, 참조 화상이 갖는 화소 정보(정수 화소라 부른다)에 대하여, 정수 화소의 사이에 내삽(內揷) 연산에 의해 가상적인 샘플(화소)을 만들고, 그것을 예측 화상으로서 이용하는 것이며, MPEG-4 AVC 규격에서는 1/8 화소 정밀도의 가상 샘플을 생성하여 이용할 수 있다. 또, MPEG-4 AVC 규격에서는, 1/2 화소 정밀도의 가상 샘플은, 수직 방향 또는 수평 방향으로 6개의 정수 화소를 이용한 6탭의 필터에 의한 내삽 연산에 의해 생성된다. 1/4 화소 정밀도의 가상 샘플은, 인접하는 1/2 화소 또는 정수 화소의 평균값 필터를 이용한 내삽 연산에 의해 생성된다.
본 실시의 형태 1에 있어서의 움직임 보상 예측부(9)에 있어서도, 보간 화상 생성부(43)가, 움직임 검출부(42)로부터 지시되는 움직임 벡터(44)의 정밀도에 따른 가상 화소의 예측 화상(45)을 생성한다. 이하, 가상 화소 정밀도의 움직임 벡터 검출 순서의 일례를 나타낸다.
움직임 벡터 검출 순서 Ⅰ
보간 화상 생성부(43)는, 움직임 보상 영역 블록 화상(41)의 소정의 움직임 탐색 범위 내에 있는 정수 화소 정밀도의 움직임 벡터(44)에 대한 예측 화상(45)을 생성한다. 정수 화소 정밀도로 생성된 예측 화상(45)(예측 화상(17))은, 감산부(12)에 출력되고, 감산부(12)에 의해 움직임 보상 영역 블록 화상(41)(매크로/서브블록 화상(5))으로부터 차감되어 예측 차분 신호(13)가 된다. 부호화 제어부(3)는, 예측 차분 신호(13)와 정수 화소 정밀도의 움직임 벡터(44)(예측 파라미터(18))에 대하여 예측 효율의 평가를 행한다. 예측 효율의 평가는, 예컨대 아래의 식 (1)에서 예측 코스트 J1을 계산하고, 소정의 움직임 탐색 범위 내에서 예측 코스트 J1을 최소로 하는 정수 화소 정밀도의 움직임 벡터(44)를 결정한다.
Figure pat00001
여기서는 평가값으로서 D1, R1을 이용하는 것으로 한다. D1은 예측 차분 신호의 매크로 블록 내 또는 서브블록 내의 절대값합(SAD), R1은 움직임 벡터 및 이 움직임 벡터가 가리키는 참조 화상의 식별 번호의 추정 부호량, λ는 양수이다.
또, 평가값 R1을 구함에 있어서, 움직임 벡터의 부호량은, 도 2a 또는 도 2b의 각 모드에 있어서의 움직임 벡터의 값을 근방의 움직임 벡터의 값을 이용하여 예측하고, 예측 차분값을 확률 분포에 근거하여 엔트로피 부호화하는 것에 의해 구하거나, 그것에 상당하는 부호량 추정을 행하여 구한다.
도 4는, 도 2b에 나타내는 각 부호화 모드(7)의 움직임 벡터의 예측값(이하, 예측 벡터라 부른다)의 결정 방법을 설명하는 도면이다. 도 4에 있어서 mb_mode0, sub_mb_mode1 등의 직사각형 블록에서는, 그 좌측(위치 A), 위(위치 B), 우측 위(위치 C)에 위치하는 각각 부호화 완료된 움직임 벡터 MVa, MVb, MVc를 이용하여, 해당 직사각형 블록의 예측 벡터 PMV를 아래의 식 (2)에서 산출한다. median()는 미디언 필터 처리에 대응하고, 움직임 벡터 MVa, MVb, MVc의 중앙값을 출력하는 함수이다.
Figure pat00002
한편, 대각형 형상을 갖는 대각 블록 mb_mode1, sub_mb_mode2, mb_mode2, sub_mb_mode3, mb_mode3, sub_mb_mode4, mb_mode4, sub_mb_mode5의 경우는, 직사각형 블록과 같은 처리를 적용할 수 있도록 하기 위해, 대각형 형상에 따라 미디언값을 취하는 위치 A, B, C의 위치를 변경한다. 이에 의해, 예측 벡터 PMV를 산출하는 방법 자체는 변경하는 일 없이, 각 움직임 벡터 할당 영역의 형상에 따라 산출할 수 있어, Ⅰ평가값 R1의 코스트를 작게 억제할 수 있다.
움직임 벡터 검출 순서 Ⅱ
보간 화상 생성부(43)는, 상기 「움직임 벡터 검출 순서 Ⅰ」에서 결정한 정수 화소 정밀도의 움직임 벡터의 주위에 위치하는 하나 이상의 1/2 화소 정밀도의 움직임 벡터(44)에 대하여, 예측 화상(45)을 생성한다. 이하, 상기 「움직임 벡터 검출 순서 Ⅰ」과 같이, 1/2 화소 정밀도로 생성된 예측 화상(45)(예측 화상(17))이, 감산부(12)에 의해 움직임 보상 영역 블록 화상(41)(매크로/서브블록 화상(5))으로부터 차감되어, 예측 차분 신호(13)를 얻는다. 이어서 부호화 제어부(3)가, 이 예측 차분 신호(13)와 1/2 화소 정밀도의 움직임 벡터(44)(예측 파라미터(18))에 대하여 예측 효율의 평가를 행하고, 정수 화소 정밀도의 움직임 벡터의 주위에 위치하는 하나 이상의 1/2 화소 정밀도의 움직임 벡터 중에서 예측 코스트 J1을 최소로 하는 1/2 화소 정밀도의 움직임 벡터(44)를 결정한다.
움직임 벡터 검출 순서 Ⅲ
부호화 제어부(3)와 움직임 보상 예측부(9)는, 1/4 화소 정밀도의 움직임 벡터에 대해서도 마찬가지로, 상기 「움직임 벡터 검출 순서 Ⅱ」에서 결정한 1/2 화소 정밀도의 움직임 벡터의 주위에 위치하는 하나 이상의 1/4 화소 정밀도의 움직임 벡터 중에서 예측 코스트 J1을 최소로 하는 1/4 화소 정밀도의 움직임 벡터(44)를 결정한다.
움직임 벡터 검출 순서 Ⅳ
이하 마찬가지로, 부호화 제어부(3)와 움직임 보상 예측부(9)가, 소정의 정밀도가 되기까지 가상 화소 정밀도의 움직임 벡터의 검출을 행한다.
또, 본 실시의 형태에서는, 소정의 정밀도가 되기까지 가상 화소 정밀도의 움직임 벡터의 검출을 행하도록 했지만, 예컨대 예측 코스트에 대한 임계값을 정하여 두어, 예측 코스트 J1이 소정의 임계값보다 작아진 경우에는, 소정의 정밀도가 되기 전에 가상 화소 정밀도의 움직임 벡터의 검출을 중단하도록 하더라도 좋다.
또, 움직임 벡터는, 참조 프레임 사이즈로 규정되는 프레임 외의 화소를 참조하도록 하더라도 좋다. 그 경우에는 프레임 외의 화소를 생성할 필요가 있다. 프레임 외의 화소의 생성 방법의 하나로서, 화면 끝의 화소로 채우는 등의 방법이 있다.
또, 입력 영상 신호(1)의 각 프레임의 프레임 사이즈가 매크로 블록 사이즈의 정수배가 아닐 때에 입력 영상 신호(1)의 각 프레임을 대신하여 확장 프레임이 입력된 경우에는, 매크로 블록 사이즈의 정수배로 확장된 사이즈(확장 프레임의 사이즈)가 참조 프레임의 프레임 사이즈가 된다. 한편, 확장 영역의 국소 복호 부분을 참조하지 않고, 원래의 프레임에 대한 국소 복호 부분만을 프레임 내의 화소로서 참조하는 경우에는, 참조 프레임의 프레임 사이즈는 원래의 입력 영상 신호의 프레임 사이즈가 된다.
이와 같이, 움직임 보상 예측부(9)는, 매크로/서브블록 화상(5) 내를 부호화 모드(7)가 나타내는 움직임 보상의 단위가 되는 블록 단위로 분할한 움직임 보상 영역 블록 화상(41)에 대하여, 각각 결정된 소정 정밀도의 가상 화소 정밀도의 움직임 벡터와 그 움직임 벡터가 가리키는 참조 화상의 식별 번호를 예측 파라미터(18)로서 출력한다. 또한, 움직임 보상 예측부(9)는, 그 예측 파라미터(18)에 의해 생성되는 예측 화상(45)(예측 화상(17))을 감산부(12)에 출력하고, 감산부(12)에 의해 매크로/서브블록 화상(5)으로부터 차감되어 예측 차분 신호(13)를 얻는다. 감산부(12)로부터 출력되는 예측 차분 신호(13)는 변환ㆍ양자화부(19)에 출력된다.
2. 압축 파라미터의 결정 순서
여기서는, 상기 「1. 예측 파라미터의 결정 순서」에서 부호화 모드(7)마다 결정된 예측 파라미터(18)에 근거하여 생성되는 예측 차분 신호(13)를, 변환ㆍ양자화 처리할 때에 이용하는 압축 파라미터(20)(변환 블록 사이즈)를 결정하는 순서를 설명한다.
도 5는, 도 2b에 나타내는 부호화 모드(7)에 따른 변환 블록 사이즈의 적응화의 일례를 나타내는 도면이다. 도 5에서는, M×L 화소 블록으로서 32×32 화소 블록을 예로 이용한다. 부호화 모드(7)가 지정하는 모드가 mb_mode0~6일 때, 변환 블록 사이즈는 16×16 또는 8×8 화소 중 어느 한쪽을 적응적으로 선택 가능하다. 부호화 모드(7)가 mb_mode7일 때, 변환 블록 사이즈는 매크로 블록을 4분할한 16×16 화소 서브블록마다, 8×8 또는 4×4 화소 중에서 적응적으로 선택 가능하다.
또, 각각의 부호화 모드마다 선택 가능한 변환 블록 사이즈의 세트는, 부호화 모드에 따라 균등 분할되는 서브블록 사이즈 이하의 임의의 직사각형 블록 사이즈 중에서 정의할 수 있다.
도 6은, 도 2b에 나타내는 부호화 모드(7)에 따른 변환 블록 사이즈의 적응화의 다른 예를 나타내는 도면이다. 도 6의 예에서는, 부호화 모드(7)가 지정하는 모드가 전술한 mb_mode0, 5, 6일 때, 선택 가능한 변환 블록 사이즈로서 16×16, 8×8 화소에 더하여, 움직임 보상의 단위인 서브블록의 형상에 따른 변환 블록 사이즈를 선택 가능하다. mb_mode0의 경우에는, 16×16, 8×8, 32×32 화소 중에서 적응적으로 선택 가능하다. mb_mode5의 경우에는, 16×16, 8×8, 16×32 화소 중에서 적응적으로 선택 가능하다. mb_mode6의 경우에는, 16×16, 8×8, 32×16 화소 중에서 적응적으로 선택 가능하다. 또한, 도시는 생략하지만, mb_mode7의 경우에는 16×16, 8×8, 16×32 화소 중에서 적응적으로 선택 가능하며, mb_mode1~4의 경우에는, 직사각형이 아닌 영역에 대해서는 16×16, 8×8 화소 중에서 선택하고, 직사각형의 영역에 대해서는 8×8, 4×4 화소 중에서 선택한다고 하는 적응화를 행하더라도 좋다.
부호화 제어부(3)는, 도 5 및 도 6에 예시한 부호화 모드(7)에 따른 변환 블록 사이즈의 세트를 압축 파라미터(20)로 한다.
또, 도 5 및 도 6의 예에서는, 매크로 블록의 부호화 모드(7)에 따라 선택 가능한 변환 블록 사이즈의 세트를 미리 정하여 두고, 매크로 블록 단위 또는 서브블록 단위로 적응적으로 선택할 수 있도록 했지만, 마찬가지로 매크로 블록을 분할한 서브블록의 부호화 모드(7)(도 2b의 sub_mb_mode1~8 등)에 따라, 선택 가능한 변환 블록 사이즈의 세트를 미리 정하여 두고, 서브블록 단위 또는 서브블록을 더 분할한 블록 단위로 적응적으로 선택할 수 있도록 하더라도 좋다.
마찬가지로, 부호화 제어부(3)는, 도 2a에 나타내는 부호화 모드(7)를 이용하는 경우에는 그 부호화 모드(7)에 따른 변환 블록 사이즈의 세트를 미리 정하여 두고, 적응적으로 선택할 수 있도록 하여 두면 된다.
변환ㆍ양자화부(19)는, 부호화 제어부(3)과 연계하여, 매크로 블록 사이즈(4)로 지정되는 매크로 블록 단위로, 또는 해당 매크로 블록 단위를 부호화 모드(7)에 따라 더 분할한 서브블록 단위로, 변환 블록 사이즈 중에서 최적의 변환 블록 사이즈를 결정한다. 이하, 그 상세한 순서에 대하여 설명한다.
도 7은, 변환ㆍ양자화부(19)의 내부 구성을 나타내는 블록도이다. 도 7에 나타내는 변환ㆍ양자화부(19)는, 변환 블록 사이즈 분할부(50)와, 변환부(52)와, 양자화부(54)를 포함한다. 또한, 입력 데이터로서는, 부호화 제어부(3)로부터 입력되는 압축 파라미터(20)(변환 블록 사이즈 및 양자화 스텝 사이즈 등)와, 부호화 제어부(3)로부터 입력되는 예측 차분 신호(13)가 있다.
변환 블록 사이즈 분할부(50)는, 변환 블록 사이즈를 결정하는 대상인 매크로 블록 또는 서브블록마다의 예측 차분 신호(13)를, 압축 파라미터(20)의 변환 블록 사이즈에 따른 블록으로 변환하고, 변환 대상 블록(51)으로서 변환부(52)에 출력한다.
또, 압축 파라미터(20)로 하나의 매크로 블록 또는 서브블록에 대하여 복수의 변환 블록 사이즈가 선택 지정되어 있는 경우는, 각 변환 블록 사이즈의 변환 대상 블록(51)을 순차적으로, 변환부(52)에 출력한다.
변환부(52)는, 입력된 변환 대상 블록(51)에 대하여, DCT, DCT의 변환 계수를 정수로 근사한 정수 변환, 아다마르 변환(Hadamard transform) 등의 변환 방식에 따라 변환 처리를 실시하고, 생성한 변환 계수(53)를 양자화부(54)에 출력한다.
양자화부(54)는, 입력된 변환 계수(53)를, 부호화 제어부(3)로부터 지시되는 압축 파라미터(20)의 양자화 스텝 사이즈에 따라 양자화하고, 양자화 후의 변환 계수인 압축 데이터(21)를 역양자화ㆍ역변환부(22) 및 부호화 제어부(3)에 출력한다.
또, 변환부(52) 및 양자화부(54)는, 압축 파라미터(20)로 하나의 매크로 블록 또는 서브블록에 대하여 복수의 변환 블록 사이즈가 선택 지정되어 있는 경우에는 그들 모든 변환 블록 사이즈에 대하여 상술한 변환ㆍ양자화 처리를 행하여, 각각의 압축 데이터(21)를 출력한다.
양자화부(54)로부터 출력된 압축 데이터(21)는 부호화 제어부(3)에 입력되어, 압축 파라미터(20)의 변환 블록 사이즈에 대한 부호화 효율의 평가에 이용된다. 부호화 제어부(3)는, 부호화 모드(7)에 포함되는 부호화 모드 각각에 대하여 선택 가능한 모든 변환 블록 사이즈 각각에 대하여 얻어진 압축 데이터(21)를 이용하여, 예컨대 아래의 식 (3)에서 부호화 코스트 J2를 계산하고, 부호화 코스트 J2를 최소로 하는 변환 블록 사이즈를 선택한다.
Figure pat00003
여기서는 평가값으로서 D2, R2를 이용하는 것으로 한다. D2로서, 변환 블록 사이즈에 대하여 얻어진 압축 데이터(21)를 역양자화ㆍ역변환부(22)에 입력하고, 압축 데이터(21)를 역변환ㆍ역양자화 처리하여 얻어지는 국소 복호 예측 차분 신호(24)에 예측 화상(17)을 가산하여 얻어지는 국소 복호 화상 신호(26)와, 매크로/서브블록 화상(5)의 사이의 2승 왜곡합(distortion sum of squared difference) 등을 이용한다. R2로서, 변환 블록 사이즈에 대하여 얻어진 압축 데이터(21)와, 압축 데이터(21)에 관한 부호화 모드(7) 및 예측 파라미터(10, 18)를 가변 길이 부호화부(23)에서 실제로 부호화하여 얻어지는 부호량(또는 추정 부호량)을 이용한다.
부호화 제어부(3)는, 후술하는 「3. 부호화 모드의 결정 순서」에 의한 최적 부호화 모드(7a) 결정 후, 결정된 최적 부호화 모드(7a)에 대응하는 변환 블록 사이즈를 선택하여 최적 압축 파라미터(20a)에 포함시켜, 가변 길이 부호화부(23)에 출력한다. 가변 길이 부호화부(23)는 이 최적 압축 파라미터(20a)를 엔트로피 부호화한 후 비트스트림(30)에 다중화한다.
여기서, 변환 블록 사이즈는, 매크로 블록 또는 서브블록의 최적 부호화 모드(7a)에 따라 미리 정의된 변환 블록 사이즈 세트(도 5 및 도 6에 예시한다) 중에서 선택되므로, 변환 블록 사이즈 세트마다 그 세트 중에 포함되는 변환 블록 사이즈에 대하여 ID 등의 식별 정보를 할당하여 두고, 그 식별 정보를 변환 블록 사이즈의 정보로서 엔트로피 부호화하고, 비트스트림(30)에 다중화하면 된다. 이 경우, 복호 장치측에도 변환 블록 사이즈 세트의 식별 정보를 설정하여 둔다. 단, 변환 블록 사이즈 세트에 포함되는 변환 블록 사이즈가 하나인 경우에는, 복호 장치측에서 세트 중에서 변환 블록 사이즈를 자동적으로 결정 가능하므로, 부호화 장치측에서 변환 블록 사이즈의 식별 정보를 비트스트림(30)에 다중화할 필요는 없다.
3. 부호화 모드의 결정 순서
상기 「1. 예측 파라미터의 결정 순서」 및 「2. 압축 파라미터의 결정 순서」에 의해, 부호화 제어부(3)가 지시한 모든 부호화 모드(7)에 대하여 각각 예측 파라미터(10, 18) 및 압축 파라미터(20)가 결정되면, 부호화 제어부(3)는, 각각의 부호화 모드(7)와 그때의 예측 파라미터(10, 18) 및 압축 파라미터(20)를 이용하여 얻어지는 예측 차분 신호(13)를 더 변환ㆍ양자화하여 얻어지는 압축 데이터(21)를 이용하여, 부호화 코스트 J2가 작아지는 부호화 모드(7)를 위의 식 (3)에서 구하고, 그 부호화 모드(7)를 해당 매크로 블록의 최적 부호화 모드(7a)로서 선택한다.
또, 도 2a 또는 도 2b에 나타내는 부호화 모드에, 매크로 블록 또는 서브블록의 모드로서 스킵 모드를 더한 모든 부호화 모드 중에서, 최적 부호화 모드(7a)를 결정하도록 하더라도 좋다. 스킵 모드란, 부호화 장치측에서 인접하는 매크로 블록 또는 서브블록의 움직임 벡터를 사용하여 움직임 보상된 예측 화상을 국소 복호 화상 신호로 하는 모드이며, 부호화 모드 이외의 예측 파라미터나 압축 파라미터를 산출하여 비트스트림에 다중화할 필요가 없기 때문에, 부호량을 억제하여 부호화할 수 있다. 복호 장치측에서는, 부호화 장치측과 같은 순서로 인접하는 매크로 블록 또는 서브블록의 움직임 벡터를 사용하여 움직임 보상된 예측 화상을 복호 화상 신호로서 출력한다.
또, 입력 영상 신호(1)의 각 프레임의 프레임 사이즈가 매크로 블록 사이즈의 정수배가 아닐 때에 입력 영상 신호(1)의 각 프레임의 대신에 확장 프레임이 입력된 경우에는, 확장 영역을 포함하는 매크로 블록 또는 서브블록에 대해서는, 스킵 모드만을 선택하도록 제어하여, 확장 영역에 쓰는 부호량을 억제하도록, 부호화 모드를 결정하더라도 좋다.
부호화 제어부(3)는, 이상의 「1. 예측 파라미터의 결정 순서」, 「2. 압축 파라미터의 결정 순서」, 「3. 부호화 모드의 결정 순서」에 의해 결정된 최적의 부호화 효율을 얻을 수 있는 최적 부호화 모드(7a)를 가변 길이 부호화부(23)에 출력함과 아울러, 그 최적 부호화 모드(7a)에 대응하는 예측 파라미터(10, 18)를 최적 예측 파라미터(10a, 18a)로서 선택하고, 마찬가지로 최적 부호화 모드(7a)에 대응하는 압축 파라미터(20)를 최적 압축 파라미터(20a)로서 선택하여, 가변 길이 부호화부(23)에 출력한다. 가변 길이 부호화부(23)는, 최적 부호화 모드(7a), 최적 예측 파라미터(10a, 18a) 및 최적 압축 파라미터(20a)를 엔트로피 부호화하여, 비트스트림(30)에 다중화한다.
또한, 결정된 최적 부호화 모드(7a)와 최적 예측 파라미터(10a, 18a)와 최적 압축 파라미터(20a)에 근거하는 예측 화상(11, 17)으로부터 얻어지는 최적 예측 차분 신호(13a)는, 상술한 바와 같이, 변환ㆍ양자화부(19)에서 변환ㆍ양자화되어 압축 데이터(21)가 되며, 이 압축 데이터(21)는 가변 길이 부호화부(23)에서 엔트로피 부호화되고, 비트스트림(30)에 다중화된다. 또한, 이 압축 데이터(21)는 역양자화ㆍ역변환부(22), 가산부(25)를 거쳐 국소 복호 화상 신호(26)가 되며, 루프 필터부(27)에 입력된다.
다음으로, 본 실시의 형태 1에 따른 동화상 복호 장치를 설명한다.
도 8은, 본 발명의 실시의 형태 1에 따른 동화상 복호 장치의 구성을 나타내는 블록도이다. 도 8에 나타내는 동화상 복호 장치는, 비트스트림(60)으로부터, 매크로 블록 단위로 최적 부호화 모드(62)를 엔트로피 복호함과 아울러, 해당 복호된 최적 부호화 모드(62)에 따라 분할된 매크로 블록 또는 서브블록 단위로 최적 예측 파라미터(63), 압축 데이터(64), 최적 압축 파라미터(65)를 엔트로피 복호하는 가변 길이 복호부(61)와, 최적 예측 파라미터(63)가 입력되면, 해당 최적 예측 파라미터(63)에 포함되는 인트라 예측 모드와 인트라 예측용 메모리(77)에 저장된 복호 화상(74a)을 이용하여 예측 화상(71)을 생성하는 인트라 예측부(69)와, 최적 예측 파라미터(63)가 입력되면, 해당 최적 예측 파라미터(63)에 포함되는 움직임 벡터와, 해당 최적 예측 파라미터(63)에 포함되는 참조 화상 인덱스로 특정되는 움직임 보상 예측 프레임 메모리(75) 내의 참조 화상(76)을 이용하여 움직임 보상 예측을 행하여 예측 화상(72)을 생성하는 움직임 보상 예측부(70)와, 복호된 최적 부호화 모드(62)에 따라, 가변 길이 복호부(61)가 복호한 최적 예측 파라미터(63)를 인트라 예측부(69) 또는 움직임 보상 예측부(70) 중 어느 한쪽에 입력하는 전환부(68)와, 최적 압축 파라미터(65)를 이용하여, 압축 데이터(64)에 대하여 역양자화 및 역변환 처리를 행하여, 예측 차분 신호 복호값(67)을 생성하는 역양자화ㆍ역변환부(66)와, 예측 차분 신호 복호값(67)에, 인트라 예측부(69) 또는 움직임 보상 예측부(70) 중 어느 한쪽이 출력하는 예측 화상(71, 72)을 가산하여 복호 화상(74)을 생성하는 가산부(73)와, 복호 화상(74)을 저장하는 인트라 예측용 메모리(77)와, 복호 화상(74)을 필터 처리하여 재생 화상(79)을 생성하는 루프 필터부(78)와, 재생 화상(79)을 저장하는 움직임 보상 예측 프레임 메모리(75)를 포함한다.
가변 길이 복호부(61)는, 본 실시의 형태 1에 따른 동화상 복호 장치가 비트스트림(60)을 받으면, 그 비트스트림(60)을 엔트로피 복호 처리하여, 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위 혹은 픽쳐 단위로 매크로 블록 사이즈 및 프레임 사이즈를 복호한다. 또, 매크로 블록 사이즈가 비트스트림에 직접 다중화되지 않고 프로파일 등으로 규정되어 있는 경우에는, 시퀀스 단위로 비트스트림으로부터 복호되는 프로파일의 식별 정보에 근거하여, 매크로 블록 사이즈가 결정된다. 각 프레임의 복호 매크로 블록 사이즈 및 복호 프레임 사이즈를 바탕으로, 각 프레임에 포함되는 매크로 블록수가 결정되고, 프레임에 포함되는 각 매크로 블록의 최적 부호화 모드(62), 최적 예측 파라미터(63), 압축 데이터(64)(즉, 양자화 변환 계수 데이터), 최적 압축 파라미터(65)(변환 블록 사이즈 정보, 양자화 스텝 사이즈) 등을 복호한다.
또, 복호 장치측에서 복호한 최적 부호화 모드(62), 최적 예측 파라미터(63), 압축 데이터(64), 최적 압축 파라미터(65)는, 부호화 장치측에서 부호화한 최적 부호화 모드(7a), 최적 예측 파라미터(10a, 18a), 압축 데이터(21), 최적 압축 파라미터(20a)에 대응하는 것이다.
여기서, 최적 압축 파라미터(65)의 변환 블록 사이즈 정보는, 부호화 장치측에서 부호화 모드(7)에 따라 매크로 블록 또는 서브블록 단위로 미리 정의된 변환 블록 사이즈 세트 중에서 선택된 변환 블록 사이즈를 특정하는 식별 정보이며, 복호 장치측에서는 최적 부호화 모드(62)와 최적 압축 파라미터(65)의 변환 블록 사이즈 정보로부터 매크로 블록 또는 서브블록의 변환 블록 사이즈를 특정하게 된다.
역양자화ㆍ역변환부(66)는, 가변 길이 복호부(61)로부터 입력되는 압축 데이터(64) 및 최적 압축 파라미터(65)를 이용하여, 변환 블록 사이즈 정보에서 특정되는 블록 단위로 역양자화ㆍ역변환 처리를 행하여, 예측 차분 신호 복호값(67)을 산출한다.
또한, 가변 길이 복호부(61)는, 움직임 벡터의 복호시에, 이미 복호 완료된 주변 블록의 움직임 벡터를 참조하여 도 4에 나타내는 처리에 의해 예측 벡터를 결정하고, 비트스트림(60)으로부터 복호한 예측 차분값을 가산하는 것에 의해 움직임 벡터의 복호값을 얻는다. 가변 길이 복호부(61)는, 이 움직임 벡터의 복호값을 최적 예측 파라미터(63)에 포함시켜 전환부(68)에 출력한다.
전환부(68)는, 최적 부호화 모드(62)에 따라 최적 예측 파라미터(63)의 입력 부분을 전환하는 스위치이다. 이 전환부(68)는, 가변 길이 복호부(61)로부터 입력되는 최적 부호화 모드(62)가 프레임 내 예측 모드를 나타내는 경우에는, 마찬가지로 가변 길이 복호부(61)로부터 입력되는 최적 예측 파라미터(63)(인트라 예측 모드)를 인트라 예측부(69)에 출력하고, 최적 부호화 모드(62)가 프레임간 예측 모드를 나타내는 경우에는, 최적 예측 파라미터(63)(움직임 벡터, 각 움직임 벡터가 가리키는 참조 화상의 식별 번호(참조 화상 인덱스) 등)를 움직임 보상 예측부(70)에 출력한다.
인트라 예측부(69)는, 인트라 예측용 메모리(77)에 저장되어 있는 프레임 내의 복호 화상(프레임 내의 복호 완료된 화상 신호)(74a)을 참조하여, 최적 예측 파라미터(63)로 지시되는 인트라 예측 모드에 대응하는 예측 화상(71)을 생성하여 출력한다.
또, 인트라 예측부(69)에 의한 예측 화상(71)의 생성 방법은 부호화 장치측에 있어서의 인트라 예측부(8)의 동작과 같지만, 인트라 예측부(8)가 부호화 모드(7)에서 지시되는 모든 인트라 예측 모드에 대응하는 예측 화상(11)을 생성하는 것에 비하여, 이 인트라 예측부(69)는 최적 부호화 모드(62)에서 지시되는 인트라 예측 모드에 대응하는 예측 화상(71)만을 생성하는 점에서 다르다.
움직임 보상 예측부(70)는, 입력된 최적 예측 파라미터(63)로 지시되는 움직임 벡터, 참조 화상 인덱스 등에 근거하여, 움직임 보상 예측 프레임 메모리(75)에 저장되어 있는 1프레임 이상의 참조 화상(76)으로부터 예측 화상(72)을 생성하여 출력한다.
또, 움직임 보상 예측부(70)에 의한 예측 화상(72)의 생성 방법은 부호화 장치측에 있어서의 움직임 보상 예측부(9)의 동작 중, 복수의 참조 화상으로부터 움직임 벡터를 탐색하는 처리(도 3에 나타내는 움직임 검출부(42) 및 보간 화상 생성부(43)의 동작에 상당한다)를 제외한 것이며, 가변 길이 복호부(61)로부터 주어지는 최적 예측 파라미터(63)에 따라, 예측 화상(72)을 생성하는 처리만을 행한다. 움직임 보상 예측부(70)는, 부호화 장치와 마찬가지로, 움직임 벡터가 참조 프레임 사이즈로 규정되는 프레임 외의 화소를 참조하는 경우에는, 프레임 외의 화소를 화면 끝의 화소로 채우는 등의 방법으로 예측 화상(72)을 생성한다. 또, 참조 프레임 사이즈는, 복호 프레임 사이즈를 복호 매크로 블록 사이즈의 정수배가 되기까지 확장한 사이즈로 규정되는 경우와, 복호 프레임 사이즈로 규정되는 경우가 있으며, 부호화 장치와 같은 순서로 참조 프레임 사이즈를 결정한다.
가산부(73)는, 예측 화상(71) 또는 예측 화상(72) 중 어느 한쪽과, 역양자화ㆍ역변환부(66)로부터 출력되는 예측 차분 신호 복호값(67)을 가산하여 복호 화상(74)을 생성한다.
이 복호 화상(74)은, 이후의 매크로 블록의 인트라 예측 화상 생성을 위한 참조 화상(복호 화상(74a))으로서 이용하기 위해, 인트라 예측용 메모리(77)에 저장됨과 아울러, 루프 필터부(78)에 입력된다.
루프 필터부(78)는, 부호화 장치측의 루프 필터부(27)와 같은 동작을 행하여, 재생 화상(79)을 생성하고, 이 동화상 복호 장치로부터 출력한다. 또한, 이 재생 화상(79)은, 이후의 예측 화상 생성을 위한 참조 화상(76)으로서 이용하기 위해, 움직임 보상 예측 프레임 메모리(75)에 저장된다. 또, 프레임 내의 모든 매크로 블록을 복호 후에 얻어지는 재생 화상의 사이즈는, 매크로 블록 사이즈의 정수배의 사이즈이다. 부호화 장치에 입력된 영상 신호의 각 프레임의 프레임 사이즈에 대응하는 복호 프레임 사이즈보다 재생 화상의 사이즈가 큰 경우에는, 재생 화상에는 수평 방향 또는 수직 방향으로 확장 영역이 포함된다. 이 경우, 재생 화상으로부터 확장 영역 부분의 복호 화상이 제거된 복호 화상이 복호 장치로부터 출력된다.
또, 참조 프레임 사이즈가, 복호 프레임 사이즈로 규정되는 경우에는, 움직임 보상 예측 프레임 메모리(75)에 저장된 재생 화상의 확장 영역 부분의 복호 화상은 이후의 예측 화상 생성에 있어서 참조되지 않는다. 따라서, 재생 화상으로부터 확장 영역 부분의 복호 화상을 제거한 복호 화상을 움직임 보상 예측 프레임 메모리(75)에 저장하도록 하더라도 좋다.
이상에서, 실시의 형태 1에 따른 동화상 부호화 장치에 의하면, 매크로 블록의 부호화 모드(7)에 따라 분할한 매크로/서브블록 화상(5)에 대하여, 매크로 블록 또는 서브블록의 사이즈에 따라 복수의 변환 블록 사이즈를 포함하는 변환 블록의 세트를 미리 정하여 두고, 부호화 제어부(3)가, 변환 블록 사이즈의 세트 중에서, 부호화 효율이 최적이 되는 하나의 변환 블록 사이즈를 최적 압축 파라미터(20a)에 포함시켜 변환ㆍ양자화부(19)에 지시하고, 변환ㆍ양자화부(19)가, 최적 예측 차분 신호(13a)를, 최적 압축 파라미터(20a)에 포함되는 변환 블록 사이즈의 블록으로 분할하여 변환 및 양자화 처리를 행하여, 압축 데이터(21)를 생성하도록 구성했으므로, 변환 블록 사이즈의 세트가 매크로 블록 또는 서브블록의 사이즈에 상관없이 고정된 종래의 방법에 비하여, 동등한 부호량으로, 부호화 영상의 품질을 향상시키는 것이 가능하게 된다.
또한, 가변 길이 부호화부(23)가, 변환 블록 사이즈의 세트 중에서 부호화 모드(7)에 따라 적응적으로 선택된 변환 블록 사이즈를 비트스트림(30)에 다중화하도록 구성했으므로, 이것에 대응하여, 실시의 형태 1에 따른 동화상 복호 장치를, 가변 길이 복호부(61)가, 매크로 블록 또는 서브블록 단위로 비트스트림(60)으로부터 최적 압축 파라미터(65)를 복호하고, 역양자화ㆍ역변환부(66)가, 이 최적 압축 파라미터(65)에 포함되는 변환 블록 사이즈 정보에 근거하여 변환 블록 사이즈를 결정하여, 압축 데이터(64)를 해당 변환 블록 사이즈의 블록 단위로 역변환 및 역양자화 처리하도록 구성했다. 그 때문에, 동화상 복호 장치가 동화상 부호화 장치와 마찬가지로 정의된 변환 블록 사이즈의 세트 중에서 부호화 장치측에서 이용한 변환 블록 사이즈를 선택하여 압축 데이터를 복호할 수 있으므로, 실시의 형태 1에 따른 동화상 부호화 장치에서 부호화된 비트스트림을 바르게 복호하는 것이 가능하게 된다.
실시의 형태 2.
본 실시의 형태 2에서는, 상기 실시의 형태 1에 따른 동화상 부호화 장치의 가변 길이 부호화부(23)의 변형예와, 마찬가지로 상기 실시의 형태 1에 따른 동화상 복호 장치의 가변 길이 복호부(61)의 변형예를 설명한다.
우선, 본 실시의 형태 2에 따른 동화상 부호화 장치의 가변 길이 부호화부(23)를 설명한다.
도 9는, 본 발명의 실시의 형태 2에 따른 동화상 부호화 장치의 가변 길이 부호화부(23)의 내부 구성을 나타내는 블록도이다. 또, 도 9에 있어서 도 1과 동일하거나 또는 상당하는 부분에 대해서는 동일한 부호를 붙이고 설명을 생략한다. 또한, 본 실시의 형태 2에 따른 동화상 부호화 장치의 구성은 상기 실시의 형태 1과 같으며, 가변 길이 부호화부(23)를 제외한 각 구성 요소의 동작도 상기 실시의 형태 1과 같기 때문에, 도 1~도 8을 원용한다. 또한, 설명의 편의상, 본 실시의 형태 2에서는 도 2a에 나타내는 부호화 모드의 세트를 이용하는 것을 전제로 한 장치 구성 및 처리 방법으로 하지만, 도 2b에 나타내는 부호화 모드의 세트를 이용하는 것을 전제로 한 장치 구성 및 처리 방법에도 적용 가능한 것은 말할 것도 없다.
도 9에 나타내는 가변 길이 부호화부(23)는, 부호화 모드(7)(또는 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a))를 나타내는 다치 신호의 인덱스값과 2치 신호의 대응 관계를 지정한 2치화 테이블을 저장하는 2치화 테이블 메모리(105)와, 이 2치화 테이블을 이용하여, 부호화 제어부(3)가 선택한 다치 신호의 최적 부호화 모드(7a)(또는 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a))의 다치 신호의 인덱스값을 2치 신호(103)로 변환하는 2치화부(92)와, 컨텍스트 생성부(99)가 생성하는 컨텍스트 식별 정보(102), 컨텍스트 정보 메모리(96), 확률 테이블 메모리(97) 및 상태 천이 테이블 메모리(98)를 참조하여 2치화부(92)가 변환한 2치 신호(103)를 산술 부호화하여 부호화 비트열(111)을 출력하고, 해당 부호화 비트열(111)을 비트스트림(30)에 다중화시키는 산술 부호화 처리 연산부(104)와, 최적 부호화 모드(7a)(또는 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a))의 발생 빈도를 카운트하여 빈도 정보(94)를 생성하는 빈도 정보 생성부(93)와, 빈도 정보(94)에 근거하여 2치화 테이블 메모리(105)의 2치화 테이블의 다치 신호와 2치 신호의 대응 관계를 갱신하는 2치화 테이블 갱신부(95)를 포함한다.
이하에서는, 엔트로피 부호화되는 파라미터로서, 부호화 제어부(3)로부터 출력되는 매크로 블록의 최적 부호화 모드(7a)를 예로, 가변 길이 부호화부(23)의 가변 길이 부호화 순서를 설명한다. 마찬가지로 부호화 대상의 파라미터인 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a)에 대해서는, 최적 부호화 모드(7a)와 같은 순서로 가변 길이 부호화하면 되기 때문에 설명을 생략한다.
또, 본 실시의 형태 2의 부호화 제어부(3)는, 컨텍스트 정보 초기화 플래그(91), 종별 신호(100), 주변 블록 정보(101), 2치화 테이블 갱신 플래그(113)를 출력하는 것으로 한다. 각 정보의 상세는 후술한다.
초기화부(90)는, 부호화 제어부(3)로부터 지시되는 컨텍스트 정보 초기화 플래그(91)에 따라, 컨텍스트 정보 메모리(96)에 저장되어 있는 컨텍스트 정보(106)의 초기화를 행하여 초기 상태로 한다. 초기화부(90)에 의한 초기화 처리의 상세는 후술한다.
2치화부(92)는, 2치화 테이블 메모리(105)에 저장되어 있는 2치화 테이블을 참조하여, 부호화 제어부(3)로부터 입력되는 최적 부호화 모드(7a)의 종류를 나타내는 다치 신호의 인덱스값을 2치 신호(103)로 변환하고, 산술 부호화 처리 연산부(104)에 출력한다.
도 10은, 2치화 테이블 메모리(105)가 유지하는 2치화 테이블의 일례를 나타내는 도면이다. 도 10에 나타내는 「부호화 모드」는, 도 2a에 나타낸 부호화 모드(mb_mode0~3)에 스킵 모드(mb_skip : 부호화 장치측에서 인접하는 매크로 블록의 움직임 벡터를 사용하여 움직임 보상된 예측 화상을 복호 장치측에서 복호 화상에 이용하는 모드)를 더한 5종류의 부호화 모드(7)이며, 각 부호화 모드에 대응하는 「인덱스」값이 저장되어 있다. 또한, 이들 부호화 모드의 인덱스값은 각각 1~3비트로 2치화되고, 「2치 신호」로서 저장되어 있다. 여기서는, 2치 신호의 각 비트를 「빈(bin)」 번호라 부른다.
또, 상세는 후술하지만, 도 10의 예에서는, 발생 빈도가 높은 부호화 모드에 작은 인덱스값이 할당되어 있으며, 또한, 2치 신호도 1비트로 짧게 설정되어 있다.
부호화 제어부(3)가 출력하는 최적 부호화 모드(7a)는, 2치화부(92)에 입력됨과 아울러 빈도 정보 생성부(93)에도 입력된다.
빈도 정보 생성부(93)는, 이 최적 부호화 모드(7a)에 포함되는 부호화 모드의 인덱스값의 발생 빈도(부호화 제어부가 선택하는 부호화 모드의 선택 빈도)를 카운트하여 빈도 정보(94)를 작성하고, 후술하는 2치화 테이블 갱신부(95)에 출력한다.
확률 테이블 메모리(97)는, 2치 신호(103)에 포함되는 각 빈의 심볼값 「0」 또는 「1」 중 발생 확률이 높은 어느 하나의 심볼(MPS : Most Probable Symbol)과 그 발생 확률의 조합을 2개 이상 저장한 테이블을 유지하는 메모리이다.
도 11은, 확률 테이블 메모리(97)가 유지하는 확률 테이블의 일례를 나타내는 도면이다. 도 11에서는, 0.5~1.0의 사이의 이산적인 확률값(「발생 확률」)에 대하여, 각각 「확률 테이블 번호」를 할당하고 있다.
상태 천이 테이블 메모리(98)는, 확률 테이블 메모리(97)에 저장된 「확률 테이블 번호」와, 그 확률 테이블 번호가 나타내는 「0」 또는 「1」 중 MPS의 부호화 전의 확률 상태로부터 부호화 후의 확률 상태로의 상태 천이의 조합을 2개 이상 저장한 테이블을 유지하는 메모리이다.
도 12는, 상태 천이 테이블 메모리(98)가 유지하는 상태 천이 테이블의 일례를 나타내는 도면이다. 도 12의 「확률 테이블 번호」, 「LPS 부호화 후의 확률 천이」, 「MPS 부호화 후의 확률 천이」는 각각 도 11에 나타내는 확률 테이블 번호에 대응한다.
예컨대, 도 12 중에 박스로 둘러싸인 「확률 테이블 번호 1」의 확률 상태(도 11에서 MPS의 발생 확률 0.527)일 때에, 「0」 또는 「1」 중 발생 확률이 낮은 어느 하나의 심볼(LPS : Least Probable Symbol)을 부호화한 것에 의해, 확률 상태는 「LPS 부호화 후의 확률 천이」에서 확률 테이블 번호 0(도 11에서 MPS의 발생 확률 0.500)으로 천이하는 것을 나타낸다. 즉, LPS가 발생한 것에 의해, MPS의 발생 확률은 작아지고 있다.
반대로, MPS를 부호화하면, 확률 상태는 「MPS 부호화 후의 확률 천이」에서 확률 테이블 번호 2(도 11에서 MPS의 발생 확률 0.550)로 천이하는 것을 나타낸다. 즉, MPS가 발생한 것에 의해, MPS의 발생 확률은 커지고 있다.
컨텍스트 생성부(99)는, 부호화 제어부(3)로부터 입력되는 부호화 대상의 파라미터(최적 부호화 모드(7a), 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a))의 종별을 나타내는 종별 신호(100)와 주변 블록 정보(101)를 참조하여, 부호화 대상의 파라미터를 2치화하여 얻어지는 2치 신호(103)의 빈마다 컨텍스트 식별 정보(102)를 생성한다. 이 설명 중에서는, 종별 신호(100)는, 부호화 대상 매크로 블록의 최적 부호화 모드(7a)이다. 또한, 주변 블록 정보(101)는, 부호화 대상 매크로 블록에 인접하는 매크로 블록의 최적 부호화 모드(7a)이다.
이하, 컨텍스트 생성부(99)에 의한 컨텍스트 식별 정보의 생성 순서를 설명한다.
도 13(a)는, 도 10에 나타내◎ 2치화 테이블을 2진 트리 표현으로 나타낸 도면이다. 여기서는, 도 13(b)에 나타내는 굵은 테두리의 박스의 부호화 대상 매크로 블록과, 이 부호화 대상 매크로 블록에 인접하는 주변 블록 A, B를 예로 이용하여 설명한다.
도 13(a)에 있어서, 검은색 점을 노드, 노드 사이를 잇는 선을 패스라 부른다. 2진 트리의 종단 노드에는, 2치화 대상의 다치 신호의 인덱스가 할당되어 있다. 또한, 지면상의 위로부터 아래를 향해, 2진 트리의 깊이가 빈 번호에 대응하고, 루트 노드로부터 종단 노드까지의 각 패스에 할당된 심볼(0 또는 1)을 결합한 비트열이, 각 종단 노드에 할당된 다치 신호의 인덱스에 대응하는 2치 신호(103)가 된다. 2진 트리의 각 부모 노드(종단 노드가 아닌 노드)에 대하여, 주변 블록 A, B의 정보에 따라 하나 이상의 컨텍스트 식별 정보가 준비되어 있다.
예컨대, 도 13(a)에 있어서, 루트 노드에 대하여 C0, C1, C2의 3개의 컨텍스트 식별 정보가 준비되어 있는 경우에, 컨텍스트 생성부(99)는, 인접하는 주변 블록 A, B의 주변 블록 정보(101)를 참조하여, 아래의 식 (4)에서 C0, C1, C2의 3개의 컨텍스트 식별 정보 중 어느 하나를 선택한다. 컨텍스트 생성부(99)는, 선택한 컨텍스트 식별 정보를 컨텍스트 식별 정보(102)로서 출력한다.
Figure pat00004
위의 식 (4)는, 주변 블록 A, B를 매크로 블록 X로 한 경우에, 주변 블록 A, B의 부호화 모드가 "0"(mb_skip)이면 부호화 대상 매크로 블록의 부호화 모드도 "0"(mb_skip)이 될 확률이 높다고 하는 가정의 아래에서 준비된 식이다. 따라서, 위의 식 (4)에서 선택한 컨텍스트 식별 정보(102)도 같은 가정에 근거하는 것이다.
또, 루트 노드 이외의 부모 노드에는, 각각 하나의 컨텍스트 식별 정보(C3, C4, C5)가 할당되어 있다.
컨텍스트 식별 정보(102)로 식별되는 컨텍스트 정보에는, MPS의 값(0 또는 1)과, 그 발생 확률을 근사하는 확률 테이블 번호가 유지되어 있으며, 지금, 초기 상태에 있다. 이 컨텍스트 정보는 컨텍스트 정보 메모리(96)가 저장하고 있다.
산술 부호화 처리 연산부(104)는, 2치화부(92)로부터 입력되는 1~3비트의 2치 신호(103)를, 빈마다 산술 부호화하여 부호화 비트열(111)을 생성하고, 비트스트림(30)에 다중화시킨다. 이하, 컨텍스트 정보에 근거하는 산술 부호화 순서를 설명한다.
산술 부호화 처리 연산부(104)는, 우선, 컨텍스트 정보 메모리(96)를 참조하여, 2치 신호(103)의 빈 0에 대응하는 컨텍스트 식별 정보(102)에 근거하는 컨텍스트 정보(106)를 얻는다. 이어서, 산술 부호화 처리 연산부(104)는, 확률 테이블 메모리(97)를 참조하여, 컨텍스트 정보(106)에 유지되어 있는 확률 테이블 번호(107)에 대응하는 빈 0의 MPS 발생 확률(108)을 특정한다.
이어서 산술 부호화 처리 연산부(104)는, 컨텍스트 정보(106)에 유지되어 있는 MPS의 값(0 또는 1)과, 특정된 MPS 발생 확률(108)에 근거하여, 빈 0의 심볼값(109)(0 또는 1)을 산술 부호화한다. 이어서, 산술 부호화 처리 연산부(104)는, 상태 천이 테이블 메모리(98)를 참조하여, 컨텍스트 정보(106)에 유지되어 있는 확률 테이블 번호(107)와, 앞서 산술 부호화한 빈 0의 심볼값(109)에 근거하여, 빈 0의 심볼 부호화 후의 확률 테이블 번호(110)를 얻는다.
이어서 산술 부호화 처리 연산부(104)는, 컨텍스트 정보 메모리(96)에 저장되어 있는 빈 0의 컨텍스트 정보(106)의 확률 테이블 번호(즉, 확률 테이블 번호(107))의 값을, 상태 천이 후의 확률 테이블 번호(즉, 앞서 상태 천이 테이블 메모리(98)로부터 취득한, 빈 0의 심볼 부호화 후의 확률 테이블 번호(110))로 갱신한다.
산술 부호화 처리 연산부(104)는, 빈 1, 2에 대해서도 빈 0과 마찬가지로, 각각의 컨텍스트 식별 정보(102)로 식별되는 컨텍스트 정보(106)에 근거하는 산술 부호화를 행하여, 각 빈의 심볼 부호화 후에 컨텍스트 정보(106)의 갱신을 행한다.
산술 부호화 처리 연산부(104)는, 모든 빈의 심볼을 산술 부호화하여 얻어지는 부호화 비트열(111)을 출력하고, 가변 길이 부호화부(23)가 비트스트림(30)에 다중화한다.
상술한 바와 같이, 컨텍스트 식별 정보(102)로 식별되는 컨텍스트 정보(106)는, 심볼을 산술 부호화할 때마다 갱신된다. 즉, 그것은 각 노드의 확률 상태가 심볼 부호화마다 천이하여 가는 것을 의미한다. 그리고, 컨텍스트 정보(106)의 초기화, 즉, 확률 상태의 리셋은 상술한 초기화부(90)에 의해 행해진다.
초기화부(90)는, 부호화 제어부(3)의 컨텍스트 정보 초기화 플래그(91)에 의한 지시에 따라 초기화하지만, 이 초기화는 슬라이스의 선두 등에서 행해진다. 각 컨텍스트 정보(106)의 초기 상태(MPS의 값과 그 발생 확률을 근사하는 확률 테이블 번호의 초기값)에 대해서는, 미리 복수의 세트를 준비하여 두고, 어느 초기 상태를 선택할지를 부호화 제어부(3)가 컨텍스트 정보 초기화 플래그(91)에 포함시켜, 초기화부(90)에 지시하도록 하더라도 좋다.
2치화 테이블 갱신부(95)는, 부호화 제어부(3)로부터 지시되는 2치화 테이블 갱신 플래그(113)에 근거하여, 빈도 정보 생성부(93)에 의해 생성된, 부호화 대상 파라미터(여기서는 최적 부호화 모드(7a))의 인덱스값의 발생 빈도를 나타내는 빈도 정보(94)를 참조하여, 2치화 테이블 메모리(105)를 갱신한다. 이하, 2치화 테이블 갱신부(95)에 의한 2치화 테이블을 갱신하는 순서를 설명한다.
이 예에서는, 부호화 대상 파라미터인 최적 부호화 모드(7a)가 지정하는 부호화 모드의 발생 빈도에 따라, 발생 빈도가 가장 높은 부호화 모드를 짧은 부호어로 2치화할 수 있도록 2치화 테이블의 부호화 모드와 인덱스의 대응 관계를 갱신하고, 부호량의 저감을 도모한다.
도 14는, 갱신 후의 2치화 테이블의 일례를 나타내는 도면이며, 갱신 전의 2치화 테이블의 상태가 도 10에 나타내는 상태인 것으로 가정한 경우의 갱신 후 상태이다. 2치화 테이블 갱신부(95)는, 빈도 정보(94)에 따라, 예컨대 mb_mode3의 발생 빈도가 가장 높은 경우, 그 mb_mode3에 짧은 부호어의 2치 신호가 할당되도록 가장 작은 인덱스값을 할당한다.
또한, 2치화 테이블 갱신부(95)는, 2치화 테이블을 갱신한 경우에, 갱신한 2치화 테이블을 복호 장치측에서 식별할 수 있도록 하기 위한 2치화 테이블 갱신 식별 정보(112)를 생성하여, 비트스트림(30)에 다중화시킬 필요가 있다. 예컨대, 부호화 대상 파라미터마다 복수의 2치화 테이블이 있는 경우, 각 부호화 대상 파라미터를 식별할 수 있는 ID를 부호화 장치측 및 복호 장치측에 각각 미리 부여하여 두고, 2치화 테이블 갱신부(95)는, 갱신 후의 2치화 테이블의 ID를 2치화 테이블 갱신 식별 정보(112)로서 출력하고, 비트스트림(30)에 다중화시키도록 하더라도 좋다.
갱신 타이밍의 제어는, 부호화 제어부(3)가, 슬라이스의 선두에서 부호화 대상 파라미터의 빈도 정보(94)를 참조하여, 부호화 대상 파라미터의 발생 빈도 분포가 소정의 허용 범위 이상으로 커져 바뀌었다고 판정한 경우에, 2치화 테이블 갱신 플래그(113)를 출력하여 행한다. 가변 길이 부호화부(23)는, 2치화 테이블 갱신 플래그(113)를 비트스트림(30)의 슬라이스 헤더에 다중화하면 된다. 또한, 가변 길이 부호화부(23)는, 2치화 테이블 갱신 플래그(113)가 「2치화 테이블의 갱신 있음」을 나타내고 있는 경우에는, 부호화 모드, 압축 파라미터, 예측 파라미터의 2치화 테이블 중, 어느 2치화 테이블을 갱신했는지를 나타내는 2치화 테이블 갱신 식별 정보(112)를 비트스트림(30)에 다중화한다.
또한, 부호화 제어부(3)는, 슬라이스의 선두 이외의 타이밍에 2치화 테이블의 갱신을 지시하더라도 좋고, 예컨대 임의의 매크로 블록의 선두에서 2치화 테이블 갱신 플래그(113)를 출력하여 갱신 지시하더라도 좋다. 이 경우에는, 2치화 테이블 갱신부(95)가, 2치화 테이블의 갱신을 행한 매크로 블록 위치를 특정하는 정보를 출력하고, 가변 길이 부호화부(23)가 그 정보도 비트스트림(30)에 다중화할 필요가 있다.
또, 부호화 제어부(3)는, 2치화 테이블 갱신부(95)에 2치화 테이블 갱신 플래그(113)를 출력하여 2치화 테이블을 갱신시킨 경우에는, 초기화부(90)에 컨텍스트 정보 초기화 플래그(91)를 출력하여, 컨텍스트 정보 메모리(96)의 초기화를 행할 필요가 있다.
다음으로, 본 실시의 형태 2에 따른 동화상 복호 장치의 가변 길이 복호부(61)를 설명한다.
도 15는, 본 발명의 실시의 형태 2에 따른 동화상 복호 장치의 가변 길이 복호부(61)의 내부 구성을 나타내는 블록도이다. 또, 본 실시의 형태 2에 따른 동화상 복호 장치의 구성은 상기 실시의 형태 1과 같으며, 가변 길이 복호부(61)를 제외한 각 구성 요소의 동작도 상기 실시의 형태 1과 같기 때문에, 도 1~도 8을 원용한다.
도 15에 나타내는 가변 길이 복호부(61)는, 컨텍스트 생성부(122)가 생성하는 컨텍스트 식별 정보(126), 컨텍스트 정보 메모리(128), 확률 테이블 메모리(131), 및 상태 천이 테이블 메모리(135)를 참조하여 비트스트림(60)에 다중화된 최적 부호화 모드(62)(또는 최적 예측 파라미터(63), 최적 압축 파라미터(65))를 나타내는 부호화 비트열(133)을 산술 복호하여 2치 신호(137)를 생성하는 산술 복호 처리 연산부(127)와, 2치 신호로 나타내어진 최적 부호화 모드(62)(또는 최적 예측 파라미터(63), 최적 압축 파라미터(65))와 다치 신호의 대응 관계를 지정한 2치화 테이블(139)을 저장하는 2치화 테이블 메모리(143)와, 2치화 테이블(139)을 이용하여, 산술 복호 처리 연산부(127)가 생성한 2치 신호(137)를 다치 신호의 복호값(140)으로 변환하는 역 2치화부(138)를 포함한다.
이하에서는, 엔트로피 복호되는 파라미터로서, 비트스트림(60)에 포함되는 매크로 블록의 최적 부호화 모드(62)를 예로, 가변 길이 복호부(61)의 가변 길이 복호 순서를 설명한다. 마찬가지로 복호 대상의 파라미터인 최적 예측 파라미터(63), 최적 압축 파라미터(65)에 대해서는, 최적 부호화 모드(62)와 같은 순서로 가변 길이 복호하면 되기 때문에 설명을 생략한다.
또, 본 실시의 형태 2의 비트스트림(60)에는, 부호화 장치측에서 다중화된 컨텍스트 초기화 정보(121), 부호화 비트열(133), 2치화 테이블 갱신 플래그(142), 2치화 테이블 갱신 식별 정보(144)가 포함되어 있다. 각 정보의 상세는 후술한다.
초기화부(120)는, 슬라이스의 선두 등에서 컨텍스트 정보 메모리(128)에 저장되어 있는 컨텍스트 정보의 초기화를 행한다. 혹은, 초기화부(120)에, 컨텍스트 정보의 초기 상태(MPS의 값과 그 발생 확률을 근사하는 확률 테이블 번호의 초기값)에 대하여 미리 복수의 세트를 준비하여 두고, 컨텍스트 초기화 정보(121)의 복호값에 대응하는 초기 상태를 세트 중에서 선택하도록 하더라도 좋다.
컨텍스트 생성부(122)는, 복호 대상의 파라미터(최적 부호화 모드(62), 최적 예측 파라미터(63), 최적 압축 파라미터(65))의 종별을 나타내는 종별 신호(123)와 주변 블록 정보(124)를 참조하여, 컨텍스트 식별 정보(126)를 생성한다.
종별 신호(123)는, 복호 대상의 파라미터의 종별을 나타내는 신호이며, 복호 대상의 파라미터가 어느 것인지는, 가변 길이 복호부(61) 내에 유지하고 있는 신택스에 따라 판정한다. 따라서, 부호화 장치측과 복호 장치측에서 같은 신택스를 유지하고 있을 필요가 있으며, 여기서는 부호화 장치측의 부호화 제어부(3)가 그 신택스를 유지하고 있는 것으로 한다. 부호화 장치측에서는, 부호화 제어부(3)가 유지하고 있는 신택스에 따라, 다음에 부호화해야 할 파라미터의 종별과 그 파라미터의 값(인덱스값), 즉 종별 신호(100)를 가변 길이 부호화부(23)에 순차적으로 출력하여 가게 된다.
또한, 주변 블록 정보(124)는, 매크로 블록 또는 서브블록을 복호하여 얻어지는 부호화 모드 등의 정보이며, 이후의 매크로 블록 또는 서브블록의 복호를 위한 주변 블록 정보(124)로서 이용하기 위해 가변 길이 복호부(61) 내의 메모리(도시하지 않음)에 저장하여 두고, 필요에 따라 컨텍스트 생성부(122)에 출력된다.
또, 컨텍스트 생성부(122)에 의한 컨텍스트 식별 정보(126)의 생성 순서는 부호화 장치측에 있어서의 컨텍스트 생성부(99)의 동작과 같다. 복호 장치측의 컨텍스트 생성부(122)에 있어서도, 역 2치화부(138)에서 참조되는 2치화 테이블(139)의 빈마다 컨텍스트 식별 정보(126)를 생성한다.
각 빈의 컨텍스트 정보에는, 그 빈을 산술 복호하기 위한 확률 정보로서, MPS의 값(0 또는 1)과 그 MPS의 발생 확률을 특정하는 확률 테이블 번호가 유지되어 있다.
또한, 확률 테이블 메모리(131) 및 상태 천이 테이블 메모리(135)는, 부호화 장치측의 확률 테이블 메모리(97) 및 상태 천이 테이블 메모리(98)와 같은 확률 테이블(도 11) 및 상태 천이 테이블(도 12)을 저장하고 있다.
산술 복호 처리 연산부(127)는, 비트스트림(60)에 다중화된 부호화 비트열(133)을 빈마다 산술 복호하여 2치 신호(137)를 생성하고, 역 2치화부(138)에 출력한다.
산술 복호 처리 연산부(127)는, 우선, 컨텍스트 정보 메모리(128)를 참조하여, 부호화 비트열(133)의 각 빈에 대응하는 컨텍스트 식별 정보(126)에 근거하는 컨텍스트 정보(129)를 얻는다. 이어서, 산술 복호 처리 연산부(127)는, 확률 테이블 메모리(131)를 참조하여, 컨텍스트 정보(129)에 유지되어 있는 확률 테이블 번호(130)에 대응하는 각 빈의 MPS 발생 확률(132)을 특정한다.
이어서 산술 복호 처리 연산부(127)는, 컨텍스트 정보(129)에 유지되어 있는 MPS의 값(0 또는 1)과, 특정된 MPS 발생 확률(132)에 근거하여, 산술 복호 처리 연산부(127)에 입력된 부호화 비트열(133)을 산술 복호하고, 각 빈의 심볼값(134)(0 또는 1)을 얻는다. 각 빈의 심볼값을 복호 후, 산술 복호 처리 연산부(127)는, 상태 천이 테이블 메모리(135)를 참조하여, 부호화 장치측의 산술 부호화 처리 연산부(104)와 같은 순서로, 복호된 각 빈의 심볼값(134)과 컨텍스트 정보(129)에 유지되어 있는 확률 테이블 번호(130)에 근거하여, 각 빈의 심볼 복호 후(상태 천이 후)의 확률 테이블 번호(136)를 얻는다.
이어서 산술 복호 처리 연산부(127)는, 컨텍스트 정보 메모리(128)에 저장되어 있는 각 빈의 컨텍스트 정보(129)의 확률 테이블 번호(즉, 확률 테이블 번호(130))의 값을, 상태 천이 후의 확률 테이블 번호(즉, 앞서 상태 천이 테이블 메모리(135)로부터 취득한, 각 빈의 심볼 복호 후의 확률 테이블 번호(136))로 갱신한다.
산술 복호 처리 연산부(127)는, 상기 산술 복호의 결과 얻어진 각 빈의 심볼을 결합한 2치 신호(137)를, 역 2치화부(138)에 출력한다.
역 2치화부(138)는, 2치화 테이블 메모리(143)에 저장되어 있는 복호 대상 파라미터의 종별마다 준비된 2치화 테이블 중에서, 부호화시와 같은 2치화 테이블(139)을 선택하여 참조하고, 산술 복호 처리 연산부(127)로부터 입력된 2치 신호(137)로부터 복호 대상 파라미터의 복호값(140)을 출력한다.
또, 복호 대상 파라미터의 종별이 매크로 블록의 부호화 모드(최적 부호화 모드(62))일 때, 2치화 테이블(139)은 도 10에 나타낸 부호화 장치측의 2치화 테이블과 같다.
2치화 테이블 갱신부(141)는, 비트스트림(60)으로부터 복호된 2치화 테이블 갱신 플래그(142) 및 2치화 테이블 갱신 식별 정보(144)에 근거하여, 2치화 테이블 메모리(143)에 저장되어 있는 2치화 테이블의 갱신을 행한다.
2치화 테이블 갱신 플래그(142)는, 부호화 장치측의 2치화 테이블 갱신 플래그(113)에 대응하는 정보이며, 비트스트림(60)의 헤더 정보 등에 포함되어, 2치화 테이블의 갱신의 유무를 나타내는 정보이다. 2치화 테이블 갱신 플래그(142)의 복호값이 「2치화 테이블의 갱신 있음」을 나타내는 경우에는, 비트스트림(60)으로부터 2치화 테이블 갱신 식별 정보(144)가 더 복호되게 된다.
2치화 테이블 갱신 식별 정보(144)는, 부호화 장치측의 2치화 테이블 갱신 식별 정보(112)에 대응하는 정보이며, 부호화 장치측에서 갱신한 파라미터의 2치화 테이블을 식별하기 위한 정보이다. 예컨대, 상술한 바와 같이, 부호화 대상 파라미터마다 미리 복수의 2치화 테이블이 있는 경우, 각 부호화 대상 파라미터를 식별할 수 있는 ID 및 2치화 테이블의 ID를 부호화 장치측 및 복호 장치측에 각각 미리 부여하여 두고, 2치화 테이블 갱신부(141)는 비트스트림(60)으로부터 복호된 2치화 테이블 갱신 식별 정보(144) 중 ID값에 대응한 2치화 테이블을 갱신한다. 이 예에서는, 2치화 테이블 메모리(143)에 도 10과 도 14의 2종류의 2치화 테이블과 그 ID가 미리 준비되고, 갱신 전의 2치화 테이블의 상태가 도 10에 나타내는 상태인 것으로 가정한 경우, 2치화 테이블 갱신부(141)가 2치화 테이블 갱신 플래그(142) 및 2치화 테이블 갱신 식별 정보(144)에 따라 갱신 처리를 실시하면, 2치화 테이블 갱신 식별 정보(144)에 포함되는 ID에 대응한 2치화 테이블을 선택하게 되므로, 갱신 후의 2치화 테이블의 상태가 도 14에 나타내는 상태가 되어, 부호화 장치측의 갱신 후의 2치화 테이블과 같아진다.
이상에서, 실시의 형태 2에 따른 동화상 부호화 장치에 의하면, 부호화 제어부(3)가, 부호화 효율이 최적이 되는 최적 부호화 모드(7a), 최적 예측 파라미터(10a, 18a), 최적 압축 파라미터(20a)라고 하는 부호화 대상 파라미터를 선택하여 출력하고, 가변 길이 부호화부(23)의 2치화부(92)는, 2치화 테이블 메모리(105)의 2치화 테이블을 이용하여, 다치 신호로 나타내어지는 부호화 대상 파라미터를 2치 신호(103)로 변환하고, 산술 부호화 처리 연산부(104)가 2치 신호(103)를 산술 부호화하여 부호화 비트열(111)을 출력하고, 빈도 정보 생성부(93)가 부호화 대상 파라미터의 빈도 정보(94)를 생성하여, 2치화 테이블 갱신부(95)가 빈도 정보(94)에 근거하여 2치화 테이블의 다치 신호와 2치 신호의 대응 관계를 갱신하도록 구성했으므로, 2치화 테이블이 항상 고정인 종래의 방법에 비하여, 동등한 부호화 영상의 품질로, 부호량을 삭감할 수 있다.
또한, 2치화 테이블 갱신부(95)가, 2치화 테이블의 갱신의 유무를 나타내는 2치화 테이블 갱신 식별 정보(112) 및 갱신 후의 2치화 테이블을 식별하기 위한 2치화 테이블 갱신 식별 정보(112)를 비트스트림(30)에 다중화시키도록 구성했으므로, 이것에 대응하여, 실시의 형태 2에 따른 동화상 복호 장치를, 가변 길이 복호부(61)의 산술 복호 처리 연산부(127)가, 비트스트림(60)에 다중화된 부호화 비트열(133)을 산술 복호하여 2치 신호(137)를 생성하고, 역 2치화부(138)가, 2치화 테이블 메모리(143)의 2치화 테이블(139)을 이용하여, 2치 신호(137)를 다치 신호로 변환하여 복호값(140)을 취득하고, 2치화 테이블 갱신부(141)가, 비트스트림(60)에 다중화된 헤더 정보로부터 복호되는 2치화 테이블 갱신 플래그(142) 및 2치화 테이블 갱신 식별 정보(144)에 근거하여 2치화 테이블 메모리(143) 중 소정의 2치화 테이블을 갱신하도록 구성했다. 그 때문에, 동화상 복호 장치가 동화상 부호화 장치와 같은 순서로 2치화 테이블의 갱신을 행하여 부호화 대상 파라미터를 역 2치화할 수 있으므로, 실시의 형태 2에 따른 동화상 부호화 장치에서 부호화된 비트스트림을 바르게 복호하는 것이 가능하게 된다.
실시의 형태 3.
본 실시의 형태 3에서는, 상기 실시의 형태 1, 2에 따른 동화상 부호화 장치 및 동화상 복호 장치에 있어서, 움직임 보상 예측부(9)의 움직임 보상 예측에 의한 예측 화상의 생성 처리의 변형예를 설명한다.
우선, 본 실시의 형태 3에 따른 동화상 부호화 장치의 움직임 보상 예측부(9)를 설명한다. 또, 본 실시의 형태 3에 따른 동화상 부호화 장치의 구성은 상기 실시의 형태 1 또는 실시의 형태 2와 같으며, 움직임 보상 예측부(9)를 제외한 각 구성 요소의 동작도 같기 때문에, 도 1~도 15를 원용한다.
본 실시의 형태 3에 따른 움직임 보상 예측부(9)는, 가상 샘플 정밀도의 예측 화상 생성 처리에 따른 구성 및 동작이, 상기 실시의 형태 1, 2와는 다른 것 이외에는 같은 구성 및 동작이다. 즉, 상기 실시의 형태 1, 2에서는, 도 3에 나타내는 바와 같이, 움직임 보상 예측부(9)의 보간 화상 생성부(43)가 반화소(half-pixel) 또는 1/4 화소 등의 가상 화소 정밀도의 참조 화상 데이터를 생성하고, 이 가상 화소 정밀도의 참조 화상 데이터에 근거하여 예측 화상(45)을 생성할 때에, MPEG-4 AVC 규격과 같이 수직 방향 또는 수평 방향으로 6개의 정수 화소를 이용한 6탭 필터(6-tap filter)에 의한 내삽 연산 등에 의해 가상 화소를 만들어 예측 화상을 생성한 것에 비하여, 본 실시의 형태 3에 따른 움직임 보상 예측부(9)에서는, 움직임 보상 예측 프레임 메모리(14)에 저장되는 정수 화소 정밀도의 참조 화상(15)을 초해상 처리(super resolution process)에 의해 확대하는 것에 의해, 가상 화소 정밀도의 참조 화상(207)을 생성하고, 이 가상 화소 정밀도의 참조 화상(207)에 근거하여 예측 화상을 생성한다.
다음으로, 본 실시의 형태 3에 따른 움직임 보상 예측부(9)를, 도 3을 원용하여 설명한다.
상기 실시의 형태 1, 2와 마찬가지로, 본 실시의 형태 3의 보간 화상 생성부(43)도, 움직임 보상 예측 프레임 메모리(14)로부터 1프레임 이상의 참조 화상(15)을 지정하고, 움직임 검출부(42)가 지정된 참조 화상(15)상의 소정의 움직임 탐색 범위 내에서 움직임 벡터(44)를 검출한다. 움직임 벡터의 검출은, MPEG-4 AVC 규격 등과 마찬가지로, 가상 화소 정밀도의 움직임 벡터에 의해 행한다. 이 검출 방법은, 참조 화상이 갖는 화소 정보(정수 화소라 부른다)에 대하여, 정수 화소의 사이에 내삽 연산에 의해 가상적인 샘플(화소)을 만들고, 그것을 참조 화상으로서 이용하는 것이다.
가상 화소 정밀도의 참조 화상을 생성하기 위해서는, 정수 화소 정밀도의 참조 화상을 확대(고해상도의 참조 화상을 생성)하여 가상 화소로 이루어지는 샘플 플레인(plane)을 생성할 필요가 있다. 그래서, 본 실시의 형태 3의 보간 화상 생성부(43)에서는, 가상 화소 정밀도의 움직임 탐색용 참조 화상이 필요한 경우, 「W. T. Freeman, E. C. Pasztor and O. T. Carmichael, "Learning Low-Level Vision", International Journal of Computer Vision, vol. 40, no. 1, 2000」에 개시된 초해상 기술을 이용하여, 가상 화소 정밀도의 참조 화상을 생성한다. 이하의 설명에서는, 움직임 보상 예측부(9)에 있어서, 움직임 보상 예측 프레임 메모리(14)에 저장되는 참조 화상 데이터로부터 가상 화소 정밀도의 참조 화상(207)을 초해상 생성하고, 그것을 이용하여 움직임 검출부(42)가 움직임 벡터 탐색 처리를 행하는 구성에 대하여 말한다.
도 16은, 본 발명의 실시의 형태 3에 따른 동화상 부호화 장치의 움직임 보상 예측부(9)의 보간 화상 생성부(43)의 내부 구성을 나타내는 블록도이다. 도 16에 나타내는 보간 화상 생성부(43)는, 움직임 보상 예측 프레임 메모리(14) 중의 참조 화상(15)을 확대 처리하는 화상 확대 처리부(205)와, 참조 화상(15)을 축소 처리하는 화상 축소 처리부(200)와, 화상 축소 처리부(200)로부터 고주파 영역 성분의 특징량을 추출하는 고주파 특징 추출부(201a)와, 참조 화상(15)으로부터 고주파 영역 성분의 특징량을 추출하는 고주파 특징 추출부(201b)와, 특징량 사이의 상관값을 계산하는 상관 계산부(202)와, 상관값과 고주파 성분 패턴 메모리(204)의 사전 학습 데이터로부터 고주파 성분을 추정하는 고주파 성분 추정부(203)와, 추정한 고주파 성분을 이용하여 확대 화상의 고주파 성분을 보정하여, 가상 화소 정밀도의 참조 화상(207)을 생성하는 가산부(206)를 포함한다.
도 16에 있어서, 움직임 보상 예측 프레임 메모리(14)에 저장되어 있는 참조 화상 데이터 중에서, 움직임 탐색 처리에 이용하는 범위의 참조 화상(15)이 보간 화상 생성부(43)에 입력되면, 이 참조 화상(15)이 화상 축소 처리부(200), 고주파 특징 추출부(201b) 및 화상 확대 처리부(205)에 각각 입력된다.
화상 축소 처리부(200)는, 참조 화상(15)으로부터 종횡 1/N(N은 2, 4 등, 2의 거듭제곱값) 사이즈의 축소 화상을 생성하여, 고주파 특징 추출부(201a)에 출력한다. 이 축소 처리는, 일반적인 화상 축소 필터에 의해 실현한다.
고주파 특징 추출부(201a)는, 화상 축소 처리부(200)가 생성한 축소 화상으로부터, 에지 성분 등의 고주파 성분에 관한 제 1 특징량을 추출한다. 제 1 특징량으로서, 예컨대 국소 블록 내의 DCT 또는 Wavelet 변환 계수 분포를 나타내는 파라미터 등을 이용할 수 있다.
고주파 특징 추출부(201b)는, 고주파 특징 추출부(201a)와 같은 고주파 특징 추출을 행하여, 참조 화상(15)으로부터, 제 1 특징량과는 주파수 성분 영역이 다른, 제 2 특징량을 추출한다. 제 2 특징량은 상관 계산부(202)에 출력됨과 아울러, 고주파 성분 추정부(203)에도 출력된다.
상관 계산부(202)는, 고주파 특징 추출부(201a)로부터 제 1 특징량이 입력되고, 고주파 특징 추출부(201b)로부터 제 2 특징량이 입력되면, 참조 화상(15)과 그 축소 화상의 사이의 국소 블록 단위에 있어서의, 특징량 베이스의 고주파 성분 영역의 상관값을 계산한다. 이 상관값으로서는, 예컨대 제 1 특징량과 제 2 특징량의 사이의 거리가 있다.
고주파 성분 추정부(203)는, 고주파 특징 추출부(201b)로부터 입력되는 제 2 특징량과, 상관 계산부(202)로부터 입력되는 상관값에 근거하여, 고주파 성분 패턴 메모리(204)로부터 고주파 성분의 사전 학습 패턴을 특정하고, 가상 화소 정밀도의 참조 화상(207)이 구비하여야 하는 고주파 성분을 추정하여 생성한다. 생성한 고주파 성분은, 가산부(206)에 출력된다.
화상 확대 처리부(205)는, 입력된 참조 화상(15)에 대하여, MPEG-4 AVC 규격에 의한 반화소 정밀도 샘플의 생성 처리와 마찬가지로, 수직 방향 또는 수평 방향으로 6개의 정수 화소를 이용한 6탭의 필터에 의한 내삽 연산, 또는 쌍선형(bilinear) 필터 등의 확대 필터 처리를 실시하여, 참조 화상(15)을 종횡 N배 사이즈로 확대한 확대 화상을 생성한다.
가산부(206)는, 화상 확대 처리부(205)로부터 입력되는 확대 화상에, 고주파 성분 추정부(203)로부터 입력되는 고주파 성분을 가산하여, 즉 확대 화상의 고주파 성분을 보정하여, 종횡 N배 사이즈로 확대된 확대 참조 화상을 생성한다. 보간 화상 생성부(43)는, 이 확대 참조 화상 데이터를, 1/N을 1로 하는 가상 화소 정밀도의 참조 화상(207)으로서 이용한다.
또, 보간 화상 생성부(43)는, N=2로 하여 반화소(1/2 화소) 정밀도의 참조 화상(207)을 생성한 후, 1/4 화소 정밀도의 가상 샘플(화소)을, 인접하는 1/2 화소 또는 정수 화소의 평균값 필터를 이용한 내삽 연산에 의해 생성하도록 구성하더라도 좋다.
또한, 보간 화상 생성부(43)는, 도 16에 나타내는 구성에 더하여, 화상 확대 처리부(205)가 출력하는 확대 화상에 고주파 성분 추정부(203)가 출력하는 고주파 성분을 가산할지 여부를 전환하여, 가상 화소 정밀도의 참조 화상(207)의 생성 결과를 제어하도록 구성하더라도 좋다. 이 구성의 경우에는, 화상 패턴이 특이한 경우 등, 어떤 이유로 고주파 성분 추정부(203)에 의한 추정 정밀도가 나쁠 때에, 그 부호화 효율에 대한 악영향을 억제하는 효과가 있다.
또, 고주파 성분 추정부(203)가 출력하는 고주파 성분을 가산부(206)에 있어서 가산할지 여부를 선택적으로 정하는 경우는, 가산한 경우와 가산하지 않는 경우의 두 케이스의 예측 화상(45)을 생성하여 움직임 보상 예측을 행하고, 그 결과를 부호화하여 효율이 좋은 쪽을 결정한다. 그리고, 가산했는지 여부를 나타내는 가산 처리의 정보는, 제어 정보로서 비트스트림(30)에 다중화한다.
혹은, 보간 화상 생성부(43)가, 비트스트림(30)에 다중화하는 다른 파라미터로부터 독자적으로 결정하여, 가산부(206)의 가산 처리를 제어하더라도 좋다. 다른 파라미터로부터 결정하는 예로서는, 예컨대 도 2a 또는 도 2b에 나타내는 부호화 모드(7)의 종별을 이용하는 것을 생각할 수 있다. 매크로 블록 내의 움직임 보상 영역 블록 분할이 미세한 것을 나타내는 부호화 모드가 선택된 경우는, 움직임이 격렬한 화상 패턴일 확률이 높다. 따라서, 보간 화상 생성부(43)는 초해상의 효과가 낮다고 간주하고, 고주파 성분 추정부(203)가 출력한 고주파 성분을 가산부(206)에 있어서 가산하지 않도록 제어한다. 한편, 매크로 블록 내의 움직임 보상 영역 블록의 사이즈가 큰 것을 나타내는 부호화 모드 또는 블록 사이즈가 큰 인트라 예측 모드가 선택된 경우는, 비교적 정지한 화상 영역일 확률이 높다. 따라서, 보간 화상 생성부(43)는 초해상의 효과가 높다고 간주하고, 고주파 성분 추정부(203)가 출력한 고주파 성분을 가산부(206)에 있어서 가산하도록 제어한다.
다른 파라미터로서 부호화 모드(7)를 이용하는 것 이외에도, 움직임 벡터의 크기, 주변 영역을 고려한 움직임 벡터장의 변동이라고 하는 파라미터를 이용하더라도 좋다. 움직임 보상 예측부(9)의 보간 화상 생성부(43)가, 파라미터의 종류를 복호 장치측과 공유하여 판단하는 것에 의해, 직접 비트스트림(30)에 가산 처리의 제어 정보를 다중화하지 않더라도 좋고, 압축 효율을 높일 수 있다.
또, 움직임 보상 예측 프레임 메모리(14)에 저장되는 참조 화상(15)을, 움직임 보상 예측 프레임 메모리(14)에 저장하기 전에 상술한 초해상 처리에 의해 가상 화소 정밀도의 참조 화상(207)으로 하고 나서 그 후에 저장하도록 구성하더라도 좋다. 이 구성의 경우, 움직임 보상 예측 프레임 메모리(14)로서 필요하게 되는 메모리 사이즈는 증가하지만, 움직임 벡터 탐색 및 예측 화상 생성의 도중에 연속하여 초해상 처리를 행할 필요가 없어져, 움직임 보상 예측 처리 그 자체의 처리 부하를 저감할 수 있고, 또한, 프레임 부호화 처리와 가상 화소 정밀도의 참조 화상(207)의 생성 처리를 병렬 처리시키는 것이 가능하게 되어, 처리를 고속화할 수 있다.
이하, 도 3을 원용하여, 가상 화소 정밀도의 참조 화상(207)을 이용한 가상 화소 정밀도의 움직임 벡터 검출 순서의 일례를 나타낸다.
움직임 벡터 검출 순서 Ⅰ'
보간 화상 생성부(43)는, 움직임 보상 영역 블록 화상(41)의 소정의 움직임 탐색 범위 내에 있는 정수 화소 정밀도의 움직임 벡터(44)에 대한 예측 화상(45)을 생성한다. 정수 화소 정밀도로 생성된 예측 화상(45)(예측 화상(17))은, 감산부(12)에 출력되고, 감산부(12)에 의해 움직임 보상 영역 블록 화상(41)(매크로/서브블록 화상(5))으로부터 차감되어 예측 차분 신호(13)가 된다. 부호화 제어부(3)는, 예측 차분 신호(13)와 정수 화소 정밀도의 움직임 벡터(44)(예측 파라미터(18))에 대하여 예측 효율의 평가를 행한다. 이 예측 효율의 평가는 상기 실시의 형태 1에서 설명한 위의 식 (1)에 의해 행하면 되므로, 설명은 생략한다.
움직임 벡터 검출 순서 Ⅱ'
보간 화상 생성부(43)는, 상기 「움직임 벡터 검출 순서 Ⅰ」에서 결정한 정수 화소 정밀도의 움직임 벡터의 주위에 위치하는 1/2 화소 정밀도의 움직임 벡터(44)에 대하여, 도 16에 나타내는 보간 화상 생성부(43) 내부에서 생성되는 가상 화소 정밀도의 참조 화상(207)을 이용하여 예측 화상(45)을 생성한다. 이하, 상기 「움직임 벡터 검출 순서 Ⅰ」과 마찬가지로, 1/2 화소 정밀도로 생성된 예측 화상(45)(예측 화상(17))이, 감산부(12)에 의해 움직임 보상 영역 블록 화상(41)(매크로/서브블록 화상(5))으로부터 차감되어, 예측 차분 신호(13)를 얻는다. 이어서 부호화 제어부(3)가, 이 예측 차분 신호(13)와 1/2 화소 정밀도의 움직임 벡터(44)(예측 파라미터(18))에 대하여 예측 효율의 평가를 행하고, 정수 화소 정밀도의 움직임 벡터의 주위에 위치하는 하나 이상의 1/2 화소 정밀도의 움직임 벡터 중에서 예측 코스트 J1을 최소로 하는 1/2 화소 정밀도의 움직임 벡터(44)를 결정한다.
움직임 벡터 검출 순서 Ⅲ'
부호화 제어부(3)와 움직임 보상 예측부(9)는, 1/4 화소 정밀도의 움직임 벡터에 대해서도 마찬가지로, 상기 「움직임 벡터 검출 순서 Ⅱ」에서 결정한 1/2 화소 정밀도의 움직임 벡터의 주위에 위치하는 하나 이상의 1/4 화소 정밀도의 움직임 벡터 중에서 예측 코스트 J1을 최소로 하는 1/4 화소 정밀도의 움직임 벡터(44)를 결정한다.
움직임 벡터 검출 순서 Ⅳ'
이하 마찬가지로, 부호화 제어부(3)와 움직임 보상 예측부(9)가, 소정의 정밀도가 되기까지 가상 화소 정밀도의 움직임 벡터의 검출을 행한다.
이와 같이, 움직임 보상 예측부(9)는, 매크로/서브블록 화상(5) 내를 부호화 모드(7)가 나타내는 움직임 보상의 단위가 되는 블록 단위로 분할한 움직임 보상 영역 블록 화상(41)에 대하여, 각각 결정된 소정 정밀도의 가상 화소 정밀도의 움직임 벡터와 그 움직임 벡터가 가리키는 참조 화상의 식별 번호를 예측 파라미터(18)로서 출력한다. 또한, 움직임 보상 예측부(9)는, 그 예측 파라미터(18)에 의해 생성되는 예측 화상(45)(예측 화상(17))을 감산부(12)에 출력하고, 감산부(12)에 의해 매크로/서브블록 화상(5)으로부터 차감되어 예측 차분 신호(13)를 얻는다. 감산부(12)로부터 출력되는 예측 차분 신호(13)는 변환ㆍ양자화부(19)에 출력된다. 이 이후는, 상기 실시의 형태 1에 있어서 설명한 처리와 같기 때문에, 설명을 생략한다.
다음으로, 본 실시의 형태 3에 따른 동화상 복호 장치를 설명한다.
본 실시의 형태 3에 따른 동화상 복호 장치의 구성은, 상기 실시의 형태 1, 2의 움직임 보상 예측부(70)에 있어서의 가상 화소 정밀도의 예측 화상 생성 처리에 따른 구성 및 동작이 다른 것 이외에는, 상기 실시의 형태 1, 2의 동화상 복호 장치와 같기 때문에, 도 1~도 16을 원용한다.
상기 실시의 형태 1, 2에서는, 움직임 보상 예측부(70)에 있어서 반화소 또는 1/4 화소 등의 가상 화소 정밀도의 참조 화상에 근거하여 예측 화상을 생성할 때에 MPEG-4 AVC 규격과 같이, 수직 방향 또는 수평 방향으로 6개의 정수 화소를 이용한 6탭의 필터에 의한 내삽 연산 등에 의해 가상 화소를 만들어 예측 화상을 생성한 것에 비하여, 본 실시의 형태 3의 움직임 보상 예측부(70)에서는, 움직임 보상 예측 프레임 메모리(75)에 저장되는 정수 화소 정밀도의 참조 화상(76)을 초해상 처리에 의해 확대하는 것에 의해, 가상 화소 정밀도의 참조 화상을 생성한다.
본 실시의 형태 3의 움직임 보상 예측부(70)는, 상기 실시의 형태 1, 2와 마찬가지로, 입력된 최적 예측 파라미터(63)에 포함되는 움직임 벡터, 각 움직임 벡터가 가리키는 참조 화상의 식별 번호(참조 화상 인덱스) 등에 근거하여, 움직임 보상 예측 프레임 메모리(75)에 저장된 참조 화상(76)으로부터 예측 화상(72)을 생성하여 출력한다.
가산부(73)는, 움직임 보상 예측부(70)로부터 입력된 예측 화상(72)을, 역양자화ㆍ역변환부(66)로부터 입력되는 예측 차분 신호 복호값(67)에 가산하여, 복호 화상(74)을 생성한다.
또, 움직임 보상 예측부(70)에 의한 예측 화상(72)의 생성 방법은 부호화 장치측에 있어서의 움직임 보상 예측부(9)의 동작 중, 복수의 참조 화상으로부터 움직임 벡터를 탐색하는 처리(도 3에 나타내는 움직임 검출부(42) 및 보간 화상 생성부(43)의 동작에 상당한다)를 제외한 것이며, 가변 길이 복호부(61)로부터 주어지는 최적 예측 파라미터(63)에 따라, 예측 화상(72)을 생성하는 처리만을 행한다.
여기서, 예측 화상(72)을 가상 화소 정밀도로 생성하는 경우는, 움직임 보상 예측 프레임 메모리(75)상의, 참조 화상의 식별 번호(참조 화상 인덱스)로 지정되는 참조 화상(76)에 대하여, 움직임 보상 예측부(70)가 도 16에 나타낸 처리와 같은 처리를 행하여 가상 화소 정밀도의 참조 화상을 생성하고, 복호한 움직임 벡터를 이용하여 예측 화상(72)을 생성한다. 이때, 부호화 장치측에 있어서, 도 16에 나타내는 고주파 성분 추정부(203)가 출력하는 고주파 성분을 확대 화상에 가산할지 여부를 선택적으로 정한 경우에는, 복호 장치측에서, 가산 처리의 유무를 나타내는 제어 정보를 비트스트림(60)으로부터 추출하거나, 또는 다른 파라미터로부터 독자적으로 결정하거나 하여, 움직임 보상 예측부(70) 내부에서의 가산 처리를 제어한다. 다른 파라미터로부터 결정하는 경우애는, 상술한 부호화 장치측과 마찬가지로 부호화 모드(7), 움직임 벡터의 크기, 주변 영역을 고려한 움직임 벡터장의 변동 등을 이용할 수 있고, 움직임 보상 예측부(70)가 파라미터의 종류를 부호 장치측과 공유하여 판단하는 것에 의해, 부호 장치측에서 직접 비트스트림(30)에 가산 처리의 제어 정보를 다중화하지 않더라도 좋게 되어, 압축 효율을 높일 수 있다.
또, 움직임 보상 예측부(70)에 있어서 가상 화소 정밀도의 참조 화상을 생성하는 처리는, 부호화 장치측으로부터 출력된 최적 예측 파라미터(18a)(즉 복호 장치측의 최적 예측 파라미터(63))에 포함되는 움직임 벡터가 가상 화소 정밀도를 가리키는 경우에만 실시하더라도 좋다. 이 구성의 경우에는, 움직임 보상 예측부(9)가 움직임 벡터에 따라, 움직임 보상 예측 프레임 메모리(14)의 참조 화상(15)을 이용하는지 또는 보간 화상 생성부(43)에서 가상 화소 정밀도의 참조 화상(207)을 생성하여 이용하는지를 전환하여, 참조 화상(15) 또는 가상 화소 정밀도의 참조 화상(207)으로부터 예측 화상(17)을 생성한다.
혹은, 움직임 보상 예측 프레임 메모리(75)에 저장하기 전의 참조 화상에 대하여 도 16에 나타내는 처리를 실시하여, 확대 처리 및 고주파 성분을 보정한 가상 화소 정밀도의 참조 화상을 움직임 보상 예측 프레임 메모리(75)에 저장하도록 구성하더라도 좋다. 이 구성의 경우는, 움직임 보상 예측 프레임 메모리(75)로서 준비해야 할 메모리 사이즈가 증가하지만, 움직임 벡터가 같은 가상 샘플 위치의 화소를 가리키는 횟수가 많은 경우에 도 16에 나타내는 처리를 중복하여 실시할 필요가 없기 때문에, 연산량을 삭감할 수 있다. 또한, 움직임 벡터가 가리키는 변위의 범위가 미리 복호 장치측에 알려져 있으면, 움직임 보상 예측부(70)가 그 범위에만 한정하여 도 16에 나타내는 처리를 행하도록 구성하더라도 좋다. 움직임 벡터가 가리키는 변위의 범위는, 예컨대 비트스트림(60)에 움직임 벡터가 가리키는 변위의 범위를 나타내는 값의 범위(value range)를 다중하여 전송하거나, 운용상, 부호화 장치측과 복호 장치측에서 서로 결정하여 설정하거나 하여, 복호 장치측에 알려져 있게 하면 된다.
이상에서, 실시의 형태 3에 따른 동화상 부호화 장치에 의하면, 움직임 보상 예측부(9)가, 움직임 보상 예측 프레임 메모리(14) 중의 참조 화상(15)을 확대 처리함과 아울러 그 고주파 성분을 보정하여, 가상 화소 정밀도의 참조 화상(207)을 생성하는 보간 화상 생성부(43)를 갖고, 움직임 벡터에 따라 참조 화상(15)을 이용할지 또는 가상 화소 정밀도의 참조 화상(207)을 생성하여 이용할지를 전환하여 예측 화상(17)을 생성하도록 구성했으므로, 미세한 에지 등의 고주파 성분을 많이 포함하는 입력 영상 신호(1)를 고압축하는 것과 같은 경우라도, 움직임 보상 예측에 의해 생성하는 예측 화상(17)을, 고주파 성분을 많이 포함하는 참조 화상으로부터 생성할 수 있게 되어, 효율적으로 압축 부호화하는 것이 가능하게 된다.
또한, 실시의 형태 3에 따른 동화상 복호 장치도, 움직임 보상 예측부(70)가, 동화상 부호화 장치와 같은 순서로 가상 화소 정밀도의 참조 화상을 생성하는 보간 화상 생성부를 갖고, 비트스트림(60)에 다중화된 움직임 벡터에 따라 움직임 보상 예측 프레임 메모리(75)의 참조 화상(76)을 이용할지 또는 가상 화소 정밀도의 참조 화상을 생성하여 이용할지를 전환하여 예측 화상(72)을 생성하도록 구성했으므로, 실시의 형태 3에 따른 동화상 부호화 장치에서 부호화된 비트스트림을 바르게 복호하는 것이 가능하게 된다.
또, 상기 실시의 형태 3에 있어서의 보간 화상 생성부(43)에서는, 상술한 W. T. Freeman et al.(2000)에 개시된 기술을 바탕으로 한 초해상 처리에 의해 가상 화소 정밀도의 참조 화상(207)을 생성했지만, 초해상 처리 자체는 그 기술로 한정하는 것은 아니고, 다른 임의의 초해상 기술을 적용하여 가상 화소 정밀도의 참조 화상(207)을 생성하도록 구성하더라도 좋다.
또한, 상기 실시의 형태 1~3에 따른 동화상 부호화 장치를 컴퓨터로 구성하는 경우, 블록 분할부(2), 부호화 제어부(3), 전환부(6), 인트라 예측부(8), 움직임 보상 예측부(9), 움직임 보상 예측 프레임 메모리(14), 변환ㆍ양자화부(19), 역양자화ㆍ역변환부(22), 가변 길이 부호화부(23), 루프 필터부(27), 인트라 예측용 메모리(28)의 처리 내용을 기술하고 있는 동화상 부호화 프로그램을 컴퓨터의 메모리에 저장하고, 컴퓨터의 CPU가 메모리에 저장되어 있는 동화상 부호화 프로그램을 실행하도록 하더라도 좋다.
마찬가지로, 실시의 형태 1~3에 따른 동화상 복호 장치를 컴퓨터로 구성하는 경우, 가변 길이 복호부(61), 역양자화ㆍ역변환부(66), 전환부(68), 인트라 예측부(69), 움직임 보상 예측부(70), 움직임 보상 예측 프레임 메모리(75), 인트라 예측용 메모리(77), 루프 필터부(78)의 처리 내용을 기술하고 있는 동화상 복호 프로그램을 컴퓨터의 메모리에 저장하고, 컴퓨터의 CPU가 메모리에 저장되어 있는 동화상 복호 프로그램을 실행하도록 하더라도 좋다.
(산업상이용가능성)
본 발명에 따른 동화상 부호화 장치 및 동화상 복호 장치는, 매크로 블록 내의 움직임 보상 예측의 단위가 되는 영역마다, 변환 블록 사이즈를 적응적으로 전환하여 압축 부호화할 수 있는 동화상 부호화 장치 및 동화상 복호 장치를 얻을 수 있기 때문에, 동화상을 소정 영역으로 분할하여, 영역 단위로 부호화를 행하는 동화상 부호화 장치와, 부호화된 동화상을 소정 영역 단위로 복호하는 동화상 복호 장치에 이용하는 것에 적합하다.
1 : 입력 영상 신호 2 : 블록 분할부
3 : 부호화 제어부 4 : 매크로 블록 사이즈
5 : 매크로/서브블록 화상 6 : 전환부
7 : 부호화 모드 7a : 최적 부호화 모드
8 : 인트라 예측부 9 : 움직임 보상 예측부
10 : 예측 파라미터 10a : 최적 예측 파라미터
11 : 예측 화상 12 : 감산부
13 : 예측 차분 신호 13a : 최적 예측 차분 신호
14 : 움직임 보상 예측 프레임 메모리 15 : 참조 화상
17 : 예측 화상 18 : 예측 파라미터
18a : 최적 예측 파라미터 19 : 변환ㆍ양자화부
20 : 압축 파라미터 20a : 최적 압축 파라미터
21 : 압축 데이터 22 : 역양자화ㆍ역변환부
23 : 가변 길이 부호화부 24 : 국소 복호 예측 차분 신호
25 : 가산부 26 : 국소 복호 화상 신호
27 : 루프 필터부 28 : 인트라 예측용 메모리
29 : 국소 복호 화상 30 : 비트스트림
40 : 움직임 보상 영역 분할부 41 : 움직임 보상 영역 블록 화상
42 : 움직임 검출부 43 : 보간 화상 생성부
44 : 움직임 벡터 45 : 예측 화상
50 : 변환 블록 사이즈 분할부 51 : 변환 대상 블록
52 : 변환부 53 : 변환 계수
54 : 양자화부 60 : 비트스트림
61 : 가변 길이 복호부 62 : 최적 부호화 모드
63 : 최적 예측 파라미터 64 : 압축 데이터
65 : 최적 압축 파라미터 66 : 역양자화ㆍ역변환부
67 : 예측 차분 신호 복호값 68 : 전환부
69 : 인트라 예측부 70 : 움직임 보상 예측부
71 : 예측 화상 72 : 예측 화상
73 : 가산부 74, 74a : 복호 화상
75 : 움직임 보상 예측 프레임 메모리 76 : 참조 화상
77 : 인트라 예측용 메모리 78 : 루프 필터부
79 : 재생 화상 90 : 초기화부
91 : 컨텍스트 정보 초기화 플래그 92 : 2치화부
93 : 빈도 정보 생성부 94 : 빈도 정보
95 : 2치화 테이블 갱신부 96 : 컨텍스트 정보 메모리
97 : 확률 테이블 메모리 98 : 상태 천이 테이블 메모리
99 : 컨텍스트 생성부 100 : 종별 신호
101 : 주변 블록 정보 102 : 컨텍스트 식별 정보
103 : 2치 신호 104 : 산술 부호화 처리 연산부
105 : 2치화 테이블 메모리 106 : 컨텍스트 정보
107 : 확률 테이블 번호 108 : MPS 발생 확률
109 : 심볼값 110 : 확률 테이블 번호
111 : 부호화 비트열 112 : 2치화 테이블 갱신 식별 정보
113 : 2치화 테이블 갱신 플래그 120 : 초기화부
121 : 컨텍스트 초기화 정보 122 : 컨텍스트 생성부
123 : 종별 신호 124 : 주변 블록 정보
126 : 컨텍스트 식별 정보 127 : 산술 복호 처리 연산부
128 : 컨텍스트 정보 메모리 129 : 컨텍스트 정보
130 : 확률 테이블 번호 131 : 확률 테이블 메모리
132 : MPS 발생 확률 133 : 부호화 비트열
134 : 심볼값 135 : 상태 천이 테이블 메모리
136 : 확률 테이블 번호 137 : 2치 신호
138 : 역 2치화부 139 : 2치화 테이블
140 : 복호값 141 : 2치화 테이블 갱신부
142 : 2치화 테이블 갱신 플래그 143 : 2치화 테이블 메모리
144 : 2치화 테이블 갱신 식별 정보 200 : 화상 축소 처리부
201a, 201b : 고주파 특징 추출부 202 : 상관 계산부
203 : 고주파 성분 추정부 204 : 고주파 성분 패턴 메모리
205 : 화상 확대 처리부 206 : 가산부
207 : 가상 화소 정밀도의 참조 화상

Claims (7)

  1. 입력 화상을 소정 사이즈의 복수 블록으로 분할한 매크로 블록 화상을, 부호화 모드에 따라 하나 이상의 블록으로 분할한 블록 화상을 출력하는 블록 분할부와,
    상기 블록 화상이 입력되면, 상기 블록 화상에 대하여, 프레임 내의 화상 신호를 이용하여 프레임 내 예측하여 예측 화상을 생성하는 인트라 예측부와,
    상기 블록 화상이 입력되면, 상기 블록 화상에 대하여, 1 프레임 이상의 참조 화상을 이용해서 움직임 보상 예측을 행하여 예측 화상을 생성하는 움직임 보상 예측부와,
    상기 블록 분할부가 출력하는 블록 화상으로부터, 상기 인트라 예측부 또는 상기 움직임 보상 예측부 중 어느 한쪽이 출력하는 예측 화상을 차감하여 생성된 예측 차분 신호에 대하여, 변환 및 양자화 처리를 행하여 압축 데이터를 생성하는 변환ㆍ양자화부와,
    상기 압축 데이터를 엔트로피 부호화하여 비트스트림에 다중화하는 가변 길이 부호화부와,
    상기 블록 화상의 미리 정해진 변환 블록 사이즈의 세트 중에서, 소정의 변환 블록 사이즈를 상기 변환ㆍ양자화부에 지시하는 부호화 제어부
    를 구비하고,
    상기 변환ㆍ양자화부는, 상기 예측 차분 신호를, 상기 부호화 제어부로부터 지시되는 변환 블록 사이즈의 블록으로 분할하여 변환 및 양자화 처리를 행하여, 압축 데이터를 생성하는 것
    을 특징으로 하는 동화상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 부호화 제어부는, 상기 블록 화상의 부호화 모드마다 고정된 변환 블록 사이즈의 세트 중에서, 소정의 변환 블록 사이즈를 상기 변환·양자화부에 지시하고,
    상기 가변 길이 부호화부는 상기 변환 블록 사이즈를 지시하는 정보를 엔트로피 부호화하여 비트스트림에 다중화하는 것
    을 특징으로 하는 동화상 부호화 장치.
  3. 제 2 항에 있어서,
    상기 블록 분할부가 출력하는 블록 화상의 부호화 모드에 따라, 상기 블록 화상을 상기 인트라 예측부 또는 상기 움직임 보상 예측부 중 어느 한쪽에 입력하는 전환부와,
    상기 블록 분할부가 출력하는 블록 화상으로부터, 상기 인트라 예측부 또는 상기 움직임 보상 예측부 중 어느 한쪽이 출력하는 예측 화상을 차감하여, 예측 차분 화상을 생성하는 감산부를 구비하는 것
    을 특징으로 하는 동화상 부호화 장치.
  4. 제 2 항에 있어서,
    상기 부호화 제어부는, 변환 블록 사이즈의 세트에 포함되는 하나 이상의 변환 블록 사이즈 각각을 상기 변환ㆍ양자화부에 지시하여 각각의 압축 데이터를 취득하여 부호화 효율을 평가하고, 해당 평가 결과에 근거하여 상기 변환 블록 사이즈의 세트 중에서 하나의 변환 블록 사이즈를 선택하고,
    상기 변환ㆍ양자화부는, 예측 차분 신호를 상기 부호화 제어부가 지시한 상기 변환 블록 사이즈의 세트에 포함되는 하나 이상의 변환 블록 사이즈 각각 및 해당 세트 중에서 선택된 상기 하나의 변환 블록 사이즈로 분할하여, 변환 및 양자화 처리를 행하여 각각의 압축 데이터를 생성하고,
    상기 가변 길이 부호화부는, 상기 세트 중에서 선택된 상기 하나의 변환 블록 사이즈를 특정하는 정보 및 그 압축 데이터를, 블록 화상의 블록 단위로 엔트로피 부호화하여 비트스트림에 다중화하는 것
    을 특징으로 하는 동화상 부호화 장치.
  5. 화상을 소정 사이즈의 복수 블록으로 분할한 매크로 블록 단위로 압축 부호화된 비트스트림을 입력으로 하여, 상기 비트스트림으로부터, 상기 매크로 블록 단위로 부호화 모드를 엔트로피 복호함과 아울러, 상기 복호된 부호화 모드에 따라 분할된 블록 단위로 예측 파라미터, 변환 블록 사이즈를 지시하는 정보 및 압축 데이터를 엔트로피 복호하는 가변 길이 복호부와,
    상기 예측 파라미터가 입력되면, 상기 예측 파라미터에 포함되는 인트라 예측 모드와 프레임 내의 복호 완료된 화상 신호를 이용하여 예측 화상을 생성하는 인트라 예측부와,
    상기 예측 파라미터가 입력되면, 상기 예측 파라미터에 포함되는 움직임 벡터와, 상기 예측 파라미터에 포함되는 참조 화상 인덱스로 특정되는 참조 화상을 이용하여 움직임 보상 예측을 행해서 예측 화상을 생성하는 움직임 보상 예측부와,
    상기 변환 블록 사이즈를 지시하는 정보를 이용하여, 상기 압축 데이터에 대해 역양자화 및 역변환 처리를 행하여, 복호 예측 차분 신호를 생성하는 역양자화·역변환부와,
    상기 복호 예측 차분 신호에, 상기 인트라 예측부 또는 상기 움직임 보상 예측부 중 어느 한쪽이 출력하는 예측 화상을 가산하여 복호 화상 신호를 출력하는 가산부
    를 구비하되,
    상기 역양자화·역변환부는, 상기 복호된 변환 블록 사이즈를 지시하는 정보에 근거하여 변환 블록 사이즈를 결정하여, 상기 압축 데이터를 상기 변환 블록 사이즈의 블록 단위로 역변환 및 역양자화 처리하는 것
    을 특징으로 하는 동화상 복호 장치.
  6. 제 5 항에 있어서,
    상기 변환 블록 사이즈를 지시하는 정보는 상기 블록 화상의 부호화 모드마다 고정된 변환 블록 사이즈의 세트 중에서 변환 블록 사이즈를 특정하는 식별 정보인 것
    을 특징으로 하는 동화상 복호 장치.
  7. 제 6 항에 있어서,
    상기 복호된 부호화 모드에 따라, 상기 가변 길이 복호부가 복호한 예측 파라미터를 상기 인트라 예측부 또는 상기 움직임 보상 예측부 중 어느 한쪽에 입력하는 전환부를 구비하는 것
    을 특징으로 하는 동화상 복호 장치.
KR1020147008944A 2010-04-09 2011-03-31 동화상 복호 장치 Active KR101500914B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010090534 2010-04-09
JPJP-P-2010-090534 2010-04-09
PCT/JP2011/001953 WO2011125313A1 (ja) 2010-04-09 2011-03-31 動画像符号化装置および動画像復号装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034944A Division KR20140010192A (ko) 2010-04-09 2011-03-31 화상 부호화 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147022232A Division KR101540899B1 (ko) 2010-04-09 2011-03-31 화상 부호화 장치

Publications (2)

Publication Number Publication Date
KR20140049092A true KR20140049092A (ko) 2014-04-24
KR101500914B1 KR101500914B1 (ko) 2015-03-10

Family

ID=44762284

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020147035021A Ceased KR20150013776A (ko) 2010-04-09 2011-03-31 동화상 부호화 장치 및 동화상 복호 장치
KR1020127028737A Active KR101389163B1 (ko) 2010-04-09 2011-03-31 화상 복호 장치
KR1020147022232A Active KR101540899B1 (ko) 2010-04-09 2011-03-31 화상 부호화 장치
KR1020137034944A Ceased KR20140010192A (ko) 2010-04-09 2011-03-31 화상 부호화 장치
KR1020147008944A Active KR101500914B1 (ko) 2010-04-09 2011-03-31 동화상 복호 장치
KR1020177001857A Active KR101817481B1 (ko) 2010-04-09 2011-03-31 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기억 매체

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020147035021A Ceased KR20150013776A (ko) 2010-04-09 2011-03-31 동화상 부호화 장치 및 동화상 복호 장치
KR1020127028737A Active KR101389163B1 (ko) 2010-04-09 2011-03-31 화상 복호 장치
KR1020147022232A Active KR101540899B1 (ko) 2010-04-09 2011-03-31 화상 부호화 장치
KR1020137034944A Ceased KR20140010192A (ko) 2010-04-09 2011-03-31 화상 부호화 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177001857A Active KR101817481B1 (ko) 2010-04-09 2011-03-31 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기억 매체

Country Status (14)

Country Link
US (6) US20130028326A1 (ko)
EP (2) EP3101897B1 (ko)
JP (8) JPWO2011125313A1 (ko)
KR (6) KR20150013776A (ko)
CN (4) CN108462874B (ko)
BR (1) BR112012025206B1 (ko)
CA (1) CA2795425C (ko)
ES (1) ES2899780T3 (ko)
MX (3) MX353107B (ko)
PL (1) PL3101897T3 (ko)
RU (7) RU2523071C1 (ko)
SG (3) SG10202001623RA (ko)
TW (4) TWI765223B (ko)
WO (1) WO2011125313A1 (ko)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299637B (zh) * 2011-01-12 2016-06-29 三菱电机株式会社 图像编码装置、图像译码装置、图像编码方法以及图像译码方法
JP2013012995A (ja) * 2011-06-30 2013-01-17 Sony Corp 画像処理装置および方法
US8571092B2 (en) * 2011-10-14 2013-10-29 Texas Instruments Incorporated Interconnect coding method and apparatus
WO2013056129A1 (en) 2011-10-14 2013-04-18 Advanced Micro Devices, Inc. Region-based image compression
JP6034010B2 (ja) * 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
EP2775716A4 (en) * 2011-10-31 2015-06-17 Mitsubishi Electric Corp MOTION DEVICE FOR MOTION PICTURES DECODER FOR MOTION PICTURES, MOTION PROCEDURE FOR MOTION PICTURES AND DECODING PROCESS FOR MOTION PICTURES
CN103096053B (zh) 2011-11-04 2015-10-07 华为技术有限公司 一种变换模式的编解码方法和装置
CN103108177B (zh) * 2011-11-09 2016-11-23 华为技术有限公司 图像编码方法及图像编码装置
TWI658725B (zh) * 2011-12-28 2019-05-01 JVC Kenwood Corporation 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
JP5551837B2 (ja) * 2012-01-19 2014-07-16 三菱電機株式会社 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
RU2632409C1 (ru) * 2012-04-15 2017-10-04 Самсунг Электроникс Ко., Лтд. Способ обновления параметров для энтропийного кодирования и декодирования уровня коэффициентов преобразования, а также устройство энтропийного кодирования и устройство энтропийного декодирования уровня коэффициентов преобразования с его использованием
CA2871668A1 (en) * 2012-04-24 2013-10-31 Lyrical Labs Video Compression Technology, LLC Macroblock partitioning and motion estimation using object analysis for video compression
KR101436369B1 (ko) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
US10356437B2 (en) 2013-07-22 2019-07-16 Renesas Electronics Corporation Moving image encoding apparatus including padding processor for adding padding data to moving image and operation method thereof
JP5719410B2 (ja) * 2013-07-25 2015-05-20 日本電信電話株式会社 画像符号化方法、画像符号化装置及び画像符号化プログラム
KR20150133825A (ko) * 2013-09-09 2015-11-30 닛본 덴끼 가부시끼가이샤 영상 부호화 장치, 영상 부호화 방법 및 프로그램
US9534469B2 (en) 2013-09-27 2017-01-03 Baker Hughes Incorporated Stacked tray ball dropper for subterranean fracking operations
JP6147368B2 (ja) * 2014-02-03 2017-06-14 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
KR102264840B1 (ko) * 2014-11-27 2021-06-15 삼성전자주식회사 비디오 프레임 인코딩 회로, 그것의 인코딩 방법 및 그것을 포함하는 비디오 데이터 송수신 장치
FR3029333A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
CN106331722B (zh) * 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US10123045B2 (en) * 2015-07-24 2018-11-06 Qualcomm Incorporated Modification to block size for transform mode in display stream compression
CN115278229B (zh) 2015-11-11 2024-12-10 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
US10142635B2 (en) 2015-12-18 2018-11-27 Blackberry Limited Adaptive binarizer selection for image and video coding
US20170180757A1 (en) * 2015-12-18 2017-06-22 Blackberry Limited Binarizer selection for image and video coding
KR102411911B1 (ko) * 2015-12-24 2022-06-22 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US10560702B2 (en) 2016-01-22 2020-02-11 Intel Corporation Transform unit size determination for video coding
JP6408724B2 (ja) * 2016-01-25 2018-10-17 京セラ株式会社 通信方法及び無線端末
KR102824987B1 (ko) * 2016-10-12 2025-06-26 삼성전자주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
JP6965887B2 (ja) * 2016-09-12 2021-11-10 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム
JP6700489B2 (ja) * 2016-09-30 2020-05-27 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． インター予測を介する画像符号化および復号のための方法および装置
EP3968637A1 (en) * 2016-11-21 2022-03-16 Panasonic Intellectual Property Corporation of America Devices and methods for image coding and decoding using a block size dependent split ratio
US9959586B1 (en) * 2016-12-13 2018-05-01 GoAnimate, Inc. System, method, and computer program for encoding and decoding a unique signature in a video file as a set of watermarks
RU2722394C1 (ru) * 2017-03-21 2020-05-29 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ преобразования в системе кодирования изображений и устройство для его осуществления
CN109391814B (zh) 2017-08-11 2023-06-06 华为技术有限公司 视频图像编码和解码的方法、装置及设备
EP3657793A4 (en) 2017-12-06 2021-03-17 Fujitsu Limited MODE INFORMATION ENCODING AND DECODING METHOD, DEVICE AND ELECTRONIC DEVICE
CN110035287B (zh) * 2018-01-12 2023-05-09 富士通株式会社 对统一转换单元模式进行分组标识的方法、装置和电子设备
US11238046B2 (en) * 2018-02-19 2022-02-01 Nippon Telegraph And Telephone Corporation Information management device, information management method, and information management program
KR102516233B1 (ko) 2018-04-02 2023-03-30 엘지전자 주식회사 움직임 벡터에 기반한 영상 코딩 방법 및 그 장치
US10986354B2 (en) * 2018-04-16 2021-04-20 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
TWI692939B (zh) * 2018-08-14 2020-05-01 鈺創科技股份有限公司 過濾訊號的數位濾波器
EP3857896A4 (en) 2018-11-22 2021-12-01 Beijing Bytedance Network Technology Co. Ltd. COORDINATION PROCESS FOR INTER-PREDICTION BASED ON SUB-BLOCKS
TWI737141B (zh) 2019-01-31 2021-08-21 聯發科技股份有限公司 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置
CN113366845B (zh) 2019-01-31 2024-08-16 寰发股份有限公司 视频编码中结合帧间和帧内预测的方法和装置
WO2020156549A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer access methods for intra block copy in video coding
SG11202107959WA (en) 2019-02-02 2021-08-30 Beijing Bytedance Network Technology Co Ltd Buffer management for intra block copy in video coding
CN121967699A (zh) 2019-02-03 2026-05-01 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
CN121173966A (zh) 2019-02-14 2025-12-19 北京字节跳动网络技术有限公司 解码器侧细化工具的选择性应用
US10939107B2 (en) 2019-03-01 2021-03-02 Sony Corporation Embedded codec circuitry for sub-block based allocation of refinement bits
CN113545068B (zh) 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
HUE073560T2 (hu) 2019-03-03 2026-01-28 Huawei Tech Co Ltd Kódoló, dekódoló és transzformációs folyamat során alkalmazott kapcsolódó eljárások
KR20240132530A (ko) 2019-03-04 2024-09-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사의 구현 형태
JP2022068378A (ja) * 2019-03-08 2022-05-10 ソニーグループ株式会社 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
WO2020182093A1 (en) 2019-03-08 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
KR20210145754A (ko) 2019-04-12 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 산출
WO2020211770A1 (en) 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Temporal prediction of parameters in non-linear adaptive loop filter
CN113748676B (zh) 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
WO2020211810A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. On adaptive loop filtering for video coding
PH12021552544A1 (en) 2019-04-18 2022-07-04 Beijing Bytedance Network Tech Co Ltd Restriction on applicability of cross component mode
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
CN113728647B (zh) 2019-05-01 2023-09-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
WO2020224629A1 (en) 2019-05-08 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
SG11202112279WA (en) 2019-05-11 2021-12-30 Beijing Bytedance Network Technology Co Ltd Selective use of coding tools in video processing
WO2020233660A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax-based motion candidate derivation in sub-block merge mode
SG11202112517QA (en) 2019-05-22 2021-12-30 Beijing Bytedance Network Technology Co Ltd Matrix-based intra prediction using upsampling
WO2020238837A1 (en) 2019-05-25 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Coding of block vectors for intra block copy-coded blocks
CN114051735B (zh) 2019-05-31 2024-07-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
CN113906758B (zh) 2019-05-31 2025-06-20 字节跳动有限公司 调色板模式与帧内块复制预测
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
US11973948B2 (en) * 2019-06-19 2024-04-30 Sony Group Corporation Image processing device and method
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
JP7436527B2 (ja) 2019-06-25 2024-02-21 北京字節跳動網絡技術有限公司 動きベクトルの差に関する制限
KR102612765B1 (ko) 2019-06-28 2023-12-13 바이트댄스 아이엔씨 변환 스킵 모드에서 양자화 파라미터를 수정하는 기술
JP7328373B2 (ja) 2019-06-28 2023-08-16 バイトダンス インコーポレイテッド スクリーンコンテンツ符号化におけるクロマイントラモードの導出
CN117294841A (zh) 2019-07-06 2023-12-26 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
CN114128280B (zh) 2019-07-07 2023-11-14 北京字节跳动网络技术有限公司 色度残差缩放的信令通知
EP3997879A4 (en) 2019-07-09 2023-03-22 Alibaba Group Holding Limited RESOLUTION-ADAPTIVE VIDEO CODING
KR102635519B1 (ko) 2019-07-10 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 샘플 식별
KR102695788B1 (ko) 2019-07-11 2024-08-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 비트스트림 적합 제약
CN114128258B (zh) 2019-07-14 2023-12-22 北京字节跳动网络技术有限公司 视频编解码中的变换块尺寸的限制
EP3997869A4 (en) 2019-08-10 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
KR102808776B1 (ko) 2019-08-13 2025-05-15 두인 비전 컴퍼니 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
EP4000266A4 (en) 2019-08-20 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. Residual coding for transform skipped blocks
CN117714683A (zh) 2019-09-02 2024-03-15 北京字节跳动网络技术有限公司 基于色彩格式的视频区分割
BR112022004606A2 (pt) 2019-09-12 2022-05-31 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador
EP4014495A4 (en) 2019-09-14 2022-11-02 ByteDance Inc. CHROMINANCE QUANTIFICATION PARAMETER IN VIDEO CODING
WO2021052491A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
KR102649584B1 (ko) 2019-09-21 2024-03-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 인트라 모드에 기초한 크기 제한
KR102735189B1 (ko) 2019-09-23 2024-11-28 두인 비전 컴퍼니 리미티드 가상 파이프라인 데이터 유닛에 기초한 인트라 블록 복사 가상 버퍼의 설정
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
WO2021072177A1 (en) 2019-10-09 2021-04-15 Bytedance Inc. Cross-component adaptive loop filtering in video coding
CN114556918B (zh) 2019-10-12 2025-08-12 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
CN114631321B (zh) 2019-10-18 2024-04-12 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
EP4035379A4 (en) 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
KR20260003392A (ko) 2019-10-28 2026-01-06 두인 비전 컴퍼니 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
WO2021083257A1 (en) 2019-10-29 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Cross-component adaptive loop filter
CN115280774B (zh) 2019-12-02 2025-08-19 抖音视界有限公司 视觉媒体处理的方法、装置及非暂时性计算机可读存储介质
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
MX2022007503A (es) 2019-12-27 2022-07-04 Beijing Bytedance Network Tech Co Ltd Se?alizacion de tipos de corte en encabezados de imagenes de video.
KR102750625B1 (ko) 2020-01-05 2025-01-09 두인 비전 컴퍼니 리미티드 비디오 코딩을 위한 일반적인 제약 정보
WO2021143896A1 (en) 2020-01-18 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Adaptive colour transform in image/video coding
KR102819451B1 (ko) 2020-02-05 2025-06-13 두인 비전 컴퍼니 리미티드 로컬 이중 트리용 팔레트 모드
CN115362673B (zh) 2020-02-14 2025-12-02 抖音视界有限公司 视频比特流中的并置图片指示
WO2021180022A1 (en) 2020-03-07 2021-09-16 Beijing Bytedance Network Technology Co., Ltd. Handling of transform skip mode in video coding
EP4104428A4 (en) 2020-03-16 2023-05-03 ByteDance Inc. DIRECT ACCESS POINT ACCESS UNIT IN SCALABLE VIDEO ENCODING
WO2021188527A1 (en) 2020-03-17 2021-09-23 Bytedance Inc. Using video parameter set in video coding
WO2021185306A1 (en) 2020-03-18 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update
KR102850346B1 (ko) 2020-03-19 2025-08-25 바이트댄스 아이엔씨 레퍼런스 픽처 순서에 대한 제약들
WO2021188801A1 (en) 2020-03-20 2021-09-23 Bytedance Inc. Coding of neighboring subpictures
WO2021190436A1 (en) 2020-03-21 2021-09-30 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling
KR20220157950A (ko) 2020-03-23 2022-11-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 머지 및 어파인 모션 벡터 예측 모드에 대한 예측 리파인먼트
BR112022020449A2 (pt) 2020-04-10 2022-11-29 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processar dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
JP7525639B2 (ja) 2020-04-19 2024-07-30 北京字節跳動網絡技術有限公司 変換スキップ残差コーディング
CN115812304A (zh) 2020-06-20 2023-03-17 抖音视界有限公司 具有不同的编解码块大小的层间预测
EP4173290A4 (en) 2020-06-30 2024-01-10 Beijing Bytedance Network Technology Co., Ltd. BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING
CN111968151B (zh) * 2020-07-03 2022-04-05 北京博雅慧视智能技术研究院有限公司 一种运动估计精细搜索方法及装置
WO2022037700A1 (en) 2020-08-21 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Coding mode dependent selection of transform skip mode
US11962936B2 (en) * 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams
CN116601953A (zh) 2020-11-24 2023-08-15 抖音视界有限公司 编解码视频中的位置相关系数重新排序
US11750778B2 (en) 2021-09-30 2023-09-05 Coretronic Corporation Method for adjusting pixel values of blending image and projection system thereof
CN118433388B (zh) * 2024-07-03 2024-10-22 深圳金三立视频科技股份有限公司 基于动态感知的视频动态编码压缩方法
US12341538B1 (en) * 2024-11-26 2025-06-24 Nintendo Co., Ltd. Compressing entropy tables with interpolative coding

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107345A (en) 1990-02-27 1992-04-21 Qualcomm Incorporated Adaptive block size image compression method and system
FR2756399B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
US6600836B1 (en) 2000-01-28 2003-07-29 Qualcomm, Incorporated Quality based image compression
DE10022331A1 (de) * 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur Transformationscodierung von Bewegtbildsequenzen
AU2002335743A1 (en) 2001-09-14 2003-04-01 The Regents Of The University Of Michigan Audio distributor
CN1285216C (zh) * 2001-11-16 2006-11-15 株式会社Ntt都科摩 图像编码方法和装置、图像译码方法和装置
JP2003189313A (ja) * 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 画面間予測符号化方法および画面間予測復号化方法
CN1225904C (zh) * 2002-04-12 2005-11-02 精工爱普生株式会社 在压缩域视频处理中降低存储器要求和实施有效的逆运动补偿的方法和设备
JP4090862B2 (ja) * 2002-04-26 2008-05-28 松下電器産業株式会社 可変長符号化方法および可変長復号化方法
JP2003318740A (ja) * 2002-04-23 2003-11-07 Matsushita Electric Ind Co Ltd 可変長符号化方法および可変長復号化方法
JP2003319400A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
JP2003324731A (ja) * 2002-04-26 2003-11-14 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
US6975773B1 (en) * 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
JP4238553B2 (ja) 2002-10-08 2009-03-18 日本電気株式会社 携帯電話装置および表示装置の画像表示方法
JP3679083B2 (ja) * 2002-10-08 2005-08-03 株式会社エヌ・ティ・ティ・ドコモ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP2004135252A (ja) * 2002-10-09 2004-04-30 Sony Corp 符号化処理方法、符号化装置及び復号化装置
US7835438B2 (en) 2003-12-22 2010-11-16 Nec Corporation Method and device for encoding moving picture using reference frequency of reference frame
US20050249278A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving image coding method, moving image decoding method, moving image coding device, moving image decoding device, moving image coding program and program product of the same
US7894530B2 (en) * 2004-05-07 2011-02-22 Broadcom Corporation Method and system for dynamic selection of transform size in a video decoder based on signal content
CN100401780C (zh) * 2004-05-07 2008-07-09 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
US8179962B2 (en) 2004-09-08 2012-05-15 Panasonic Corporation Motion image encoding method and motion image decoding method
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR101349599B1 (ko) 2005-09-26 2014-01-10 미쓰비시덴키 가부시키가이샤 동화상 복호 장치
JP2007243427A (ja) * 2006-03-07 2007-09-20 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置
US20070286277A1 (en) * 2006-06-13 2007-12-13 Chen Xuemin Sherman Method and system for video compression using an iterative encoding algorithm
JP2008022383A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像符号化装置
AU2006346583B2 (en) * 2006-07-28 2011-04-28 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
US8565314B2 (en) * 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US20080170793A1 (en) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP4635016B2 (ja) * 2007-02-16 2011-02-16 株式会社東芝 情報処理装置およびインター予測モード判定方法
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
JP4364919B2 (ja) * 2007-04-20 2009-11-18 三菱電機株式会社 動画像復号化装置
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
JP4821723B2 (ja) * 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
JP4922101B2 (ja) * 2007-08-21 2012-04-25 株式会社東芝 情報処理装置およびインター予測モード判定方法
JP2009055236A (ja) * 2007-08-24 2009-03-12 Canon Inc 映像符号化装置及び方法
US20090274213A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for computationally efficient intra prediction in a video coder
US8908763B2 (en) 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
KR101549823B1 (ko) * 2008-09-02 2015-09-04 삼성전자주식회사 적응적 이진화를 이용한 영상 부호화, 복호화 방법 및 장치
JP4937224B2 (ja) * 2008-09-30 2012-05-23 株式会社東芝 画像符号化装置
CA2742390C (en) * 2008-10-03 2015-05-12 Qualcomm Incorporated Video coding using transforms bigger than 4x4 and 8x8
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
WO2010041857A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
CN102308580B (zh) 2009-02-05 2016-05-04 汤姆森特许公司 用于自适应模式视频编码和解码的方法和装置
AU2009339348B2 (en) 2009-02-09 2015-05-28 Robert Bosch Gmbh Method for using a computer network
WO2010116869A1 (ja) * 2009-04-08 2010-10-14 シャープ株式会社 動画像符号化装置および動画像復号装置

Also Published As

Publication number Publication date
US20180255297A1 (en) 2018-09-06
JP7126309B2 (ja) 2022-08-26
JP7126308B2 (ja) 2022-08-26
RU2015151397A (ru) 2017-06-06
KR20150013776A (ko) 2015-02-05
KR20140010192A (ko) 2014-01-23
EP2557792A1 (en) 2013-02-13
TWI601415B (zh) 2017-10-01
KR20140110074A (ko) 2014-09-16
RU2523071C1 (ru) 2014-07-20
TW201143458A (en) 2011-12-01
KR101540899B1 (ko) 2015-07-30
US20180278931A1 (en) 2018-09-27
JP2015029348A (ja) 2015-02-12
JP6605063B2 (ja) 2019-11-13
TWI765223B (zh) 2022-05-21
CA2795425A1 (en) 2011-10-13
HK1257212A1 (zh) 2019-10-18
TW201739254A (zh) 2017-11-01
RU2663374C1 (ru) 2018-08-03
RU2627101C2 (ru) 2017-08-03
RU2012147595A (ru) 2014-06-10
JP7126310B2 (ja) 2022-08-26
US20130028326A1 (en) 2013-01-31
SG10201502226SA (en) 2015-05-28
CA2795425C (en) 2018-01-09
RU2734871C1 (ru) 2020-10-23
SG184528A1 (en) 2012-11-29
SG10202001623RA (en) 2020-04-29
JPWO2011125313A1 (ja) 2013-07-08
CN108462874B (zh) 2022-06-07
KR101817481B1 (ko) 2018-02-21
EP3101897A1 (en) 2016-12-07
RU2014116111A (ru) 2015-10-27
CN106998473A (zh) 2017-08-01
RU2699049C1 (ru) 2019-09-03
TW201613355A (en) 2016-04-01
US20170171543A1 (en) 2017-06-15
US20190306496A1 (en) 2019-10-03
US10390011B2 (en) 2019-08-20
US10554970B2 (en) 2020-02-04
JP2020017970A (ja) 2020-01-30
US10412385B2 (en) 2019-09-10
CN107046644B (zh) 2020-03-24
JP2016129405A (ja) 2016-07-14
RU2573222C2 (ru) 2016-01-20
KR20170013397A (ko) 2017-02-06
JP7129958B2 (ja) 2022-09-02
WO2011125313A1 (ja) 2011-10-13
JP2020017971A (ja) 2020-01-30
MX2012011695A (es) 2012-11-16
ES2899780T3 (es) 2022-03-14
EP2557792A4 (en) 2014-08-13
JP2020017972A (ja) 2020-01-30
TWI688267B (zh) 2020-03-11
MX353107B (es) 2017-12-19
EP3101897B1 (en) 2021-10-20
TW202025764A (zh) 2020-07-01
RU2716032C1 (ru) 2020-03-05
CN108462874A (zh) 2018-08-28
US10469839B2 (en) 2019-11-05
CN107046644A (zh) 2017-08-15
PL3101897T3 (pl) 2022-02-21
US9973753B2 (en) 2018-05-15
JP2018137773A (ja) 2018-08-30
MX353109B (es) 2017-12-19
KR101389163B1 (ko) 2014-04-28
KR101500914B1 (ko) 2015-03-10
US20180139442A9 (en) 2018-05-17
JP2020017973A (ja) 2020-01-30
BR112012025206A2 (pt) 2017-06-27
BR112012025206B1 (pt) 2022-04-12
TWI520617B (zh) 2016-02-01
CN102934438A (zh) 2013-02-13
CN106998473B (zh) 2020-03-24
US20190306497A1 (en) 2019-10-03
KR20130028092A (ko) 2013-03-18

Similar Documents

Publication Publication Date Title
KR101389163B1 (ko) 화상 복호 장치
WO2011125314A1 (ja) 動画像符号化装置および動画像復号装置
JP2011223319A (ja) 動画像符号化装置および動画像復号装置
HK1257212B (en) Video encoding device and video decoding device
HK1238453A1 (en) Video encoding device and video decoding device
HK1238833A1 (en) Video encoding device and video decoding device
HK1180507A (en) Video encoding device and video decoding device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

A107 Divisional application of patent
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20190219

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20200219

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 12