KR20170087961A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체 - Google Patents

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체 Download PDF

Info

Publication number
KR20170087961A
KR20170087961A KR1020177020122A KR20177020122A KR20170087961A KR 20170087961 A KR20170087961 A KR 20170087961A KR 1020177020122 A KR1020177020122 A KR 1020177020122A KR 20177020122 A KR20177020122 A KR 20177020122A KR 20170087961 A KR20170087961 A KR 20170087961A
Authority
KR
South Korea
Prior art keywords
picture
coding
parameter set
block
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177020122A
Other languages
English (en)
Other versions
KR101847365B1 (ko
Inventor
아키라 미네자와
가즈오 스기모토
노리미치 히와사
？이치 세키구치
šœ이치 세키구치
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49327576&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20170087961(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20170087961A publication Critical patent/KR20170087961A/ko
Application granted granted Critical
Publication of KR101847365B1 publication Critical patent/KR101847365B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

가변 길이 부호화부(13)가, 루프 필터부(11)에서 결정한 최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스를 가변 길이 부호화함과 아울러, 최대 사이즈의 부호화 블록마다의 각 클래스의 오프셋 값에 관한 파라미터를 트런케이티드·유너리 부호에 의한 2치화 처리에 근거하여 가변 길이 부호화한다.

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체{MOVING IMAGE ENCODING DEVICE, MOVING IMAGE DECODING DEVICE, MOVING IMAGE ENCODING METHOD, MOVING IMAGE DECODING METHOD AND STORAGE MEDIUM}
본 발명은, 동화상을 고효율로 부호화하는 동화상 부호화 장치 및 동화상 부호화 방법과, 고효율로 부호화되어 있는 동화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법에 관한 것이다.
종래, MPEG이나 ITU－T H.26x 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을, 16×16 화소 블록으로 이루어지는 매크로 블록의 단위로 분할하여, 움직임 보상 예측을 실시한 후, 예측 오차 신호를 블록 단위로 직교 변환·양자화하는 것에 의해 정보 압축을 행하도록 하고 있다.
단, 압축율이 높아지면, 움직임 보상 예측을 행할 때에 이용하는 예측 참조 화상의 품질이 저하하는 것에 기인하여, 압축 효율이 방해되는 문제가 있다.
그 때문에, MPEG－4 AVC/H.264의 부호화 방식(비특허 문헌 1을 참조)에서는, 루프내 디블록킹 필터의 처리를 실시함으로써, 직교 변환 계수의 양자화에 따라 발생하는 예측 참조 화상의 블록 왜곡을 제거하도록 하고 있다.
여기서, 도 21은 비특허 문헌 1에 개시되어 있는 동화상 부호화 장치를 나타내는 구성도이다.
이 동화상 부호화 장치에서는, 블록 분할부(101)가 부호화 대상의 화상 신호를 입력하면, 그 화상 신호를 매크로 블록 단위로 분할하여, 매크로 블록 단위의 화상 신호를 분할 화상 신호로서 예측부(102)에 출력한다.
예측부(102)는, 블록 분할부(101)로부터 분할 화상 신호를 수신하면, 매크로 블록내의 각 색 성분의 화상 신호를 프레임내 또는 프레임간에 예측하여, 예측 오차 신호를 산출한다.
특히, 프레임간에 움직임 보상 예측을 실시하는 경우, 매크로 블록 자체, 또는, 매크로 블록을 더 세세하게 분할한 서브 블록의 단위로 움직임 벡터를 탐색한다.
그리고, 그 움직임 벡터를 이용하여, 메모리(107)에 의해 저장되어 있는 참조 화상 신호에 대한 움직임 보상 예측을 실시함으로써 움직임 보상 예측 화상을 생성하고, 그 움직임 보상 예측 화상을 나타내는 예측 신호와 분할 화상 신호의 차분을 구함으로써 예측 오차 신호를 산출한다.
또한, 예측부(102)는, 예측 신호를 얻을 때에 결정한 예측 신호 생성용 파라미터를 가변 길이 부호화부(108)에 출력한다.
또한, 예측 신호 생성용 파라미터에는, 예를 들면, 프레임내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등의 정보가 포함된다.
압축부(103)는, 예측부(102)로부터 예측 오차 신호를 수신하면, 그 예측 오차 신호에 대한 DCT(이산 코사인 변환) 처리를 실시함으로써 신호 상관을 제거한 후, 양자화함으로써 압축 데이터를 얻는다.
국소 복호부(104)는, 압축부(103)로부터 압축 데이터를 수신하면, 그 압축 데이터를 역양자화하여, 역DCT 처리를 실시함으로써, 예측부(102)로부터 출력된 예측 오차 신호에 상당하는 예측 오차 신호를 산출한다.
가산기(105)는, 국소 복호부(104)로부터 예측 오차 신호를 수신하면, 그 예측 오차 신호와 예측부(102)로부터 출력된 예측 신호를 가산하여, 국소 복호 화상을 생성한다.
루프 필터(106)는, 가산기(105)에 의해 생성된 국소 복호 화상을 나타내는 국소 복호 화상 신호에 중첩되어 있는 블록 왜곡을 제거하고, 왜곡 제거 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(107)에 저장한다.
가변 길이 부호화부(108)는, 압축부(103)로부터 압축 데이터를 수신하면, 그 압축 데이터를 엔트로피 부호화하여, 그 부호화 결과인 비트 스트림을 출력한다.
또한, 가변 길이 부호화부(108)는, 비트 스트림을 출력할 때, 예측부(102)로부터 출력된 예측 신호 생성용 파라미터를 비트 스트림으로 다중화하여 출력한다.
여기서, 비특허 문헌 1에 개시되어 있는 방식에서는, 루프 필터(106)가, DCT의 블록 경계의 주변 화소에 대해서, 양자화의 거칠기, 부호화 모드, 움직임 벡터의 편차 정도 등의 정보에 근거하여 평활화 강도를 결정하고, 블록 경계에 발생하는 왜곡의 저감을 도모하고 있다.
이에 의해, 참조 화상 신호의 품질이 개선된 이후의 부호화에 있어서의 움직임 보상 예측의 효율을 높일 수 있다.
한편, 비특허 문헌 1에 개시되어 있는 방식에서는, 고 압축율로 부호화할수록, 신호의 고주파 성분이 없어져 버려, 화면 전체가 과도하게 평활화되어 영상이 희미해져 버린다고 하는 문제가 있다.
이 문제를 해결하기 위해서, 비특허 문헌 2에서는, 루프 필터(106)로서, 화면을 복수의 블록으로 분할하고, 그 분할된 블록 단위로 블록내의 각 화소를 클래스 분류하고, 클래스마다 원화상 신호인 부호화 대상의 화상 신호와, 그 화상 신호에 대응하는 참조 화상 신호의 제곱 오차 왜곡을 최소화하는 오프셋 값을 가산하는 적응 오프셋 처리(화소 적응 오프셋 처리)가 제안되어 있다.
(선행 기술 문헌)
(비특허 문헌)
비특허 문헌 1 : MPEG－4 AVC(ISO/IEC 14496－10)/ITU－T H.264 규격
비특허 문헌 2 : "CE13： Sample Adaptive Offset with LCU-Independent Decoding", JCT-VC Document JCTVC-E049, March 2011, Geneva, CH.
종래의 동화상 부호화 장치는 이상과 같이 구성되어 있으므로, 화면을 분할한 블록 단위로 클래스 수만큼의 오프셋을 부호화할 필요가 있다. 따라서, 화소 적응 오프셋 처리로 고정밀의 왜곡 보상 처리를 행하기 위해서, 화면을 세세한 블록으로 분할할수록, 오프셋의 부호화에 필요로 하는 부호량이 증대하여, 부호화 효율이 저하해 버리는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 오프셋의 부호화에 필요로 하는 부호량을 삭감하여, 부호화 효율을 높일 수 있는 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 동화상 부호화 장치는, 입력 화상과 예측 화상의 차분 화상의 변환 처리를 실시하여 얻어지는 상기 차분 화상의 변환 계수를 양자화하고, 양자화 후의 변환 계수를 압축 데이터로서 출력하는 화상 압축 수단과, 상기 압축 데이터로부터 복호된 차분 화상과 상기 예측 화상의 가산 결과인 국소 복호 화상에 필터 처리를 실시하는 필터링 수단과, 상기 압축 데이터 및 상기 필터링 수단에 의해 필터 처리가 실시될 때에 이용되는 필터 파라미터를 가변 길이 부호화하여, 상기 압축 데이터 및 상기 필터 파라미터의 부호화 데이터가 다중화된 부호화 비트 스트림을 생성하는 가변 길이 부호화 수단을 구비하며, 상기 필터링 수단이, 최대 사이즈의 부호화 블록 단위로 클래스의 분류 수법을 결정하고, 상기 분류 수법을 이용하여, 해당 최대 사이즈의 부호화 블록내의 각 화소의 클래스 분류를 실시하고, 최대 사이즈의 부호화 블록 단위로 클래스마다의 오프셋 값을 산출하여, 상기 오프셋 값을 대응하는 클래스에 속하는 화소의 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고, 상기 가변 길이 부호화 수단이, 상기 화상 압축 수단에 의해 변환 계수를 양자화하는 때에 이용하는 양자화 매트릭스를 생성하기 위한 양자화 매트릭스 파라미터 및 상기 필터링 수단에 의해 결정된 최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스를 가변 길이 부호화함과 아울러, 각 클래스의 오프셋 값에 관한 파라미터를 트런케이티드·유너리(truncated unary) 부호에 의한 2치화 처리에 근거하여 가변 길이 부호화하고, 상기 오프셋 값의 최대치가 상기 국소 복호 화상의 비트 심도에 의해서 정해지도록 한 것이다.
본 발명에 의하면, 필터링 수단이, 최대 사이즈의 부호화 블록 단위로 클래스의 분류 수법을 결정하고, 상기 분류 수법을 이용하여, 상기 블록내의 각 화소의 클래스 분류를 실시하고, 클래스마다의 오프셋 값을 산출하고, 그 오프셋 값을 대응하는 클래스에 속하는 화소의 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고, 가변 길이 부호화 수단이, 필터링 수단에 의해 결정된 최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스를 가변 길이 부호화함과 아울러, 최대 사이즈의 부호화 블록마다의 각 클래스의 오프셋 값에 관한 파라미터를 트런케이티드·유너리 부호에 의한 2치화 처리에 근거하여 가변 길이 부호화하도록 구성했으므로, 오프셋의 부호화에 필요로 하는 부호량을 삭감하여, 부호화 효율을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로우차트이다.
도 3은 본 발명의 실시 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 4는 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로우차트이다.
도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 6의 (a)는 분할 후의 부호화 블록 및 예측 블록의 분포를 나타내고, (b)는 계층 분할에 의해 부호화 모드 m(Bn)가 할당되는 상황을 나타내는 설명도이다.
도 7은 부호화 블록 Bn내의 각 예측 블록 Pi n이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 8은 li n=mi n=4인 경우의 예측 블록 Pi n내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 예측 블록 Pi n내의 좌상 화소를 원점으로 하는 상대 좌표를 나타내는 설명도이다.
도 10은 양자화 매트릭스의 일례를 나타내는 설명도이다.
도 11은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 12는 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 13은 화소 적응 오프셋 처리를 실시하는 경우의 클래스 분류 방법의 하나인 BO 수법을 나타내는 설명도이다.
도 14는 화소 적응 오프셋 처리를 실시하는 경우의 클래스 분류 방법의 하나인 EO 수법을 나타내는 설명도이다.
도 15은 부호화 비트 스트림의 일례를 나타내는 설명도이다.
도 16은 화소 적응 오프셋 처리의 클래스 분류 수법의 인덱스를 나타내는 설명도이다.
도 17은 화소 적응 오프셋 처리의 클래스마다의 오프셋 값의 조합 테이블의 일례를 나타내는 설명도이다.
도 18은 시퀀스 레벨 헤더가 복수 부호화되어 있는 부호화 비트 스트림의 일례를 나타내는 설명도이다.
도 19는 화소 적응 오프셋 처리의 클래스마다의 오프셋 값의 조합 테이블을 비트 심도마다 전환하는 일례를 나타내는 설명도이다.
도 20은 화소 적응 오프셋 처리의 클래스마다의 오프셋 값의 조합 테이블의 오프셋의 조합 수를 하나의 테이블로 비트 심도마다 전환하는 일례를 나타내는 설명도이다.
도 21은 비특허 문헌 1에 개시되어 있는 동화상 부호화 장치를 나타내는 구성도이다.
도 22는 IDR 픽쳐를 포함하는 픽쳐 구조의 일례를 나타내는 설명도이다.
도 23은 CRA 픽쳐를 포함하는 픽쳐 구조의 일례를 나타내는 설명도이다.
도 24는 IDR 픽쳐 또는 CRA 픽쳐로부터 개시하는 복호 처리에 있어서의 적응 파라미터 세트의 무효화 처리를 나타내는 부호화 비트 스트림의 설명도이다.
도 25는 부호화 대상 심볼의 범위가 0 내지 5인 경우의 truncated unary 부호를 나타내는 설명도이다.
도 26은 unary 부호를 나타내는 설명도이다.
도 27은 적응 파라미터 세트의 신택스(syntax)의 일례를 나타내는 설명도이다.
도 28은 도 24의 부호화 비트 스트림내의 데이터의 순서가 복호측에서 변경되었을 경우의 설명도이다.
이하, 본 발명을 보다 상세하게 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대해, 첨부 도면을 따라 설명한다.
(실시 형태 1)
도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 1에 있어서, 슬라이스 분할부(14)는 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라서 1 이상의 "슬라이스"라고 하는 부분 화상으로 분할하는 처리를 실시한다. 슬라이스의 분할 단위는, 후술하는 부호화 블록 단위까지 세세하게 할 수 있다. 또한, 슬라이스 분할부(14)는 슬라이스 분할 수단을 구성하고 있다.
블록 분할부(1)는 슬라이스 분할부(14)에 의해 분할된 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록인 최대 부호화 블록으로 분할함과 아울러, 부호화 제어부(2)에 의해 결정된 상한의 계층 수에 이를 때까지, 그 최대 부호화 블록을 계층적으로 각 부호화 블록으로 분할하는 처리를 실시한다.
즉, 블록 분할부(1)는 슬라이스를 부호화 제어부(2)에 의해 결정된 분할에 따라 각 부호화 블록으로 분할하고, 그 부호화 블록을 출력하는 처리를 실시한다. 또한, 각 부호화 블록은 예측 처리 단위가 되는 1개 내지 복수의 예측 블록으로 분할된다.
또한, 블록 분할부(1)는 블록 분할 수단을 구성하고 있다.
부호화 제어부(2)는 부호화 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층 수를 결정함으로써, 각각의 부호화 블록의 사이즈를 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 선택 가능한 1 이상의 부호화 모드(예측 처리 단위를 나타내는 예측 블록의 사이즈 등이 상이한 1 이상의 인트라 부호화 모드, 예측 블록의 사이즈 등이 상이한 1 이상의 인터 부호화 모드) 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 적용하는 부호화 모드를 선택하는 처리를 실시한다. 선택 수법의 예로서는, 선택 가능한 1 이상의 부호화 모드 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 선택하는 수법이 있다.
또한, 부호화 제어부(2)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드에서 부호화 블록에 대한 인트라 예측 처리를 행할 때에 이용하는 인트라 예측 파라미터를 상기 인트라 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드에서 부호화 블록에 대한 인터 예측 처리를 행할 때에 이용하는 인터 예측 파라미터를 상기 인터 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 변환·양자화부(7) 및 역양자화·역변환부(8)에 인가하는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다. 예측 차분 부호화 파라미터에는, 부호화 블록에 있어서의 직교 변환 처리 단위가 되는 직교 변환 블록의 분할 정보를 나타내는 직교 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝 사이즈를 규정하는 양자화 파라미터 등이 포함된다.
또한, 부호화 제어부(2)는 부호화 파라미터 결정 수단을 구성하고 있다.
전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.
인트라 예측부(4)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인트라 부호화 모드가 선택되었을 경우, 그 부호화 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인터 부호화 모드가 선택되었을 경우, 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 1 프레임 이상의 국소 복호 화상을 예측 처리 단위인 예측 블록 단위로 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 참조할 프레임 번호 등의 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 예측 블록 단위로 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
또한, 인트라 예측부(4), 인트라 예측용 메모리(10), 움직임 보상 예측부(5) 및 움직임 보상 예측 프레임 메모리(12)로 예측 수단이 구성되어 있다.
감산부(6)는 블록 분할부(1)로부터 출력된 부호화 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하고, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호를 변환·양자화부(7)에 출력하는 처리를 실시한다. 또한, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.
변환·양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예를 들면, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정의 학습 계열에 대해서 기저 설계가 이루어지고 있는 KL 변환 등의 직교 변환 처리)를 직교 변환 블록 단위로 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 직교 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.
또한, 변환·양자화부(7)는 화상 압축 수단을 구성하고 있다.
변환·양자화부(7)는 변환 계수를 양자화할 때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여, 변환 계수의 양자화 처리를 실시하도록 해도 좋다.
여기서, 도 10은 8×8 DCT의 양자화 매트릭스의 일례를 나타내는 설명도이다.
도면 중의 숫자는, 각 변환 계수의 양자화 스텝 사이즈의 스케일링 값을 나타내고 있다. 스케일링 값이 0인 계수는 양자화 스텝 사이즈가 0으로 되기 때문에 "양자화 없음"과 등가로 된다.
예를 들면, 부호화 비트 레이트를 억제하기 위해서, 도 10에 나타낸 바와 같이, 고역의 변환 계수일수록, 양자화 스텝 사이즈를 큰 값으로 스케일링함으로써, 복잡한 화상 영역 등에서 발생하는 고역의 변환 계수를 억제하여 부호량을 억제하면서, 주관 품질에 크게 영향을 주는 저역의 계수의 정보를 저하시키지 않고 부호화할 수 있다.
이와 같이, 변환 계수마다의 양자화 스텝 사이즈를 제어하고자 하는 경우에는 양자화 매트릭스를 이용하면 좋다.
또한, 양자화 매트릭스는, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화이거나 인터 부호화)마다 독립하고 있는 매트릭스를 사용할 수 있고, 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택할지, 새로운 양자화 매트릭스를 이용할지를 각각 선택할 수 있다.
따라서, 변환·양자화부(7)는, 각 직교 변환 사이즈에 대해서 색 신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 여부를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.
또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 바와 같은 양자화 매트릭스의 각 스케일링 값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용할 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능해진다.
그리고, 변환·양자화부(7)는, 설정한 양자화 매트릭스 파라미터를 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
역양자화·역변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 변환·양자화부(7)로부터 출력된 압축 데이터를 역양자화함과 아울러, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또한, 변환·양자화부(7)가 양자화 매트릭스를 이용하여, 양자화 처리를 실시하고 있는 경우에는, 역양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응하는 역양자화 처리를 실시한다.
가산부(9)는 역양자화·역변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(1)로부터 출력된 부호화 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.
또한, 역양자화·역변환부(8) 및 가산부(9)로 국소 복호 화상 생성 수단이 구성되어 있다.
인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.
루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대해서, 소정의 필터 처리를 실시하고, 필터 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블록킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는 (화소 적응 오프셋) 처리, 위너(Wiener) 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기의 디블록킹 필터 처리, 화소 적응 오프셋 처리 및 적응 필터 처리의 각각에 대해, 처리를 행할지 여부를 결정하고, 각 처리의 유효 플래그를 부호화해야 할 적응 파라미터 세트의 일부 및 슬라이스 레벨 헤더의 일부로서 가변 길이 부호화부(13)에 출력한다. 또한, 상기의 필터 처리를 복수 사용할 때에는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.
일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상하지만, 한편으로 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드 오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라 상이하다. 따라서, 동화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라 사용하는 필터 처리를 결정하면 좋다.
또한, 루프 필터부(11)는 필터링 수단을 구성하고 있다.
여기서, 디블록킹 필터 처리에서는, 블록 경계에 걸치는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
화소 적응 오프셋 처리에서는, 먼저, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우에도 클래스 분류 방법의 하나로서 정의하여, 미리 준비되어 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.
다음에, 선택한 클래스 분류 수법에 따라, 블록내의 각 화소를 클래스 분류하여, 클래스마다 부호화 왜곡을 보상하는 오프셋 값을 산출한다.
마지막으로, 국소 복호 화상의 휘도값에 대해서, 그 오프셋 값을 가산하는 처리를 행함으로써 국소 복호 화상의 화상 품질을 개선한다.
따라서, 화소 적응 오프셋 처리에서는, 블록 분할 정보, 각 블록의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 각 클래스의 오프셋 값을 특정하는 오프셋 정보를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
또한, 화소 적응 오프셋 처리에 있어서, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행해도 좋다. 이 경우, 상기의 블록 분할 정보가 불필요하게 되어, 블록 분할 정보에 필요로 하는 부호량분만큼 부호량을 삭감할 수 있다.
적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하여, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 상기 국소 복호 화상의 필터 처리를 실시한다.
그리고, 클래스마다 설계한 필터를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
클래스 분류 수법으로서는, 화상을 공간적으로 등간격으로 구획하는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다.
또한, 적응 필터 처리에서 사용하는 클래스 수는, 미리 동화상 부호화 장치 및 동화상 복호 장치에 공통의 값으로 하여 설정해도 좋고, 부호화해야 할 적응 파라미터 세트의 일부로 해도 좋다.
전자와 비교하여 후자 쪽이, 사용하는 클래스 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 상승하지만, 한편으로 클래스 수를 부호화하기 때문에, 그 만큼의 부호량이 증가한다.
또한, 적응 필터 처리의 클래스 분류 및 필터 설계·처리를 화상 전체에 대해서는 아니고, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록마다 행해도 좋다.
즉, 고정 사이즈의 블록내를 분할한 복수의 소블록 단위로 화상의 국소적인 특성(분산 등)에 따라 클래스 분류하여, 클래스마다 필터 설계 및 필터 처리를 행하도록 하고, 고정 사이즈의 블록마다, 각 클래스의 필터를 적응 파라미터 세트의 일부로서 부호화하도록 해도 좋다.
이와 같이 함으로써, 화상 전체에 대해서 클래스 분류 및 필터 설계·처리를 실시하는 경우보다도, 국소적인 성질에 따른 고정밀의 필터 처리를 실현할 수 있다.
또한, 화소 적응 오프셋 처리 및 적응 필터 처리를 행하는 경우에는, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 영상 신호가 루프 필터부(11)에 입력되도록, 도 1의 동화상 부호화 장치를 변경할 필요가 있다.
움직임 보상 예측 프레임 메모리(12)는 루프 필터부(11)의 필터 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.
가변 길이 부호화부(13)는 변환·양자화부(7)로부터 출력된 압축 데이터와 부호화 제어부(2)의 출력 신호(최대 부호화 블록내의 블록 분할 정보, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여 부호화 데이터를 생성한다.
또한, 가변 길이 부호화부(13)는, 도 15에 예시한 바와 같이, 부호화 비트 스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트를 부호화하여, 픽쳐 데이터와 함께 부호화 비트 스트림을 생성한다.
또한, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.
단, 픽쳐 데이터는 1 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 상기 슬라이스내에 있는 상기 부호화 데이터를 통합한 것이다.
시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호값의 비트 심도, 시퀀스 단위로서의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블록킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 통합한 것이다.
픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그 등, 픽쳐 단위로 설정하는 헤더 정보를 통합한 것이다.
슬라이스 레벨 헤더는, 상기 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올 인트라(all intra) 부호화, 인터 부호화 등), 상기 슬라이스에서 사용하는 적응 파라미터 세트의 인덱스 및 상기 인덱스가 나타내는 적응 파라미터 세트를 이용한 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블록킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등의 슬라이스 단위의 파라미터를 통합한 것이다.
적응 파라미터 세트는, 적응 필터 처리, 화소 적응 오프셋 처리, 디블록킹 필터 처리에 관한 파라미터(필터 파라미터) 및 양자화 매트릭스에 관한 파라미터(양자화 매트릭스 파라미터)가 존재하는지 여부의 플래그를 각각 갖고, 상기 플래그가 "유효"인 파라미터만 대응하는 파라미터를 가지는 파라미터 세트이다. 또한, 적응 파라미터 세트는 부호화 비트 스트림으로 다중화되어 있는 복수의 적응 파라미터 세트를 식별하기 위한 인덱스(aps＿id)도 가진다.
여기서, 가변 길이 부호화부(13)는, 도 18과 같이, 시퀀스의 전환 시에 새로운 시퀀스 레벨 헤더(시퀀스 레벨 헤더 2)를 부호화하는 경우, 본 시퀀스 레벨 헤더보다 전에 부호화되어 있는 적응 파라미터 세트를 모두 무효로 한다.
따라서, 도 18에 있어서, 픽쳐 데이터 30의 부호화에 적응 파라미터 세트 2를 참조한다고 하는 시퀀스 레벨 헤더에 걸친 적응 파라미터 세트의 참조는 금지된다.
즉, 새로운 시퀀스 레벨 헤더(시퀀스 레벨 헤더 2)를 부호화한 후의 픽쳐로, 적응 파라미터 세트내의 파라미터를 이용하는 경우에는, 그 파라미터를 새로운 적응 파라미터 세트로서 부호화할 필요가 있다. 따라서, 상기 적응 파라미터 세트의 무효화 처리 등에 의해 과거의 적응 파라미터 세트를 일절 사용할 수 없는 경우에 새롭게 부호화하는 적응 파라미터 세트는, 양자화 매트릭스 등의 파라미터가 과거의 적응 파라미터 세트를 참조하지 않는, 상기 적응 파라미터 세트만으로 모든 파라미터를 복호할 수 있는 적응 파라미터 세트가 된다.
이와 같이, 시퀀스의 전환 시에 시퀀스 레벨 헤더에 의해, 적응 파라미터 세트를 초기화함으로써, 동화상 복호 장치에 있어서, 새로운 시퀀스 레벨 헤더가 복호되기 전의 부호화 비트 스트림에 에러가 생겼을 때에, 그 스트림내에 있는 적응 파라미터 세트를 참조하는 것에 의한 복호 에러를 회피할 수 있어, 에러 내성을 높일 수 있다.
단, 시퀀스 레벨 헤더에 적응 파라미터 세트의 초기화 플래그 aps＿reset＿flag를 가지도록 구성하여 에러 내성을 높이도록 해도 좋다. 구체적으로는, 초기화 플래그 aps＿reset＿flag가 "유효"인 경우에만 적응 파라미터 세트를 초기화하고, 초기화 플래그 aps＿reset＿flag가 "무효"인 경우에는 적응 파라미터 세트를 초기화하지 않도록 한다. 이와 같이 시퀀스 레벨 헤더의 파라미터의 하나로서 적응 파라미터 세트의 초기화 플래그를 가지도록 함으로써 적응적인 초기화 처리를 실시할 수 있고, 에러 내성을 높일 필요가 있을 때에만 초기화함으로써 적응 파라미터 세트의 초기화에 의한 부호화 효율의 저하를 억제할 수 있다.
또한, 동화상 복호 장치에서 부호화 비트 스트림의 선두로부터가 아니고, 도중으로부터 복호를 개시해도 소정의 픽쳐 이후에는 항상 정확하게 영상 재생을 할 수 있는 랜덤 액세스성을 보증하는 특수한 픽쳐로서 IDR(instantaneous decoding refresh) 픽쳐와 CRA(clean random access) 픽쳐가 있다.
도 22는 IDR 픽쳐를 포함하는 픽쳐 구조의 예를 나타내고 있다. 단, 도 22에서는 표시순 및 부호화(복호)순의 최초의 값을 0으로 하고 있다.
IDR 픽쳐는 인트라 부호화 픽쳐이며, IDR 픽쳐로부터 복호를 개시했을 경우에도, IDR 픽쳐보다 후에 부호화되는 픽쳐(도 22에 있어서의 회색의 픽쳐)에 대해서 도 22에 나타내는 움직임 보상시의 참조 픽쳐의 제한을 행함으로써, IDR 픽쳐 및 IDR 픽쳐 이후에 복호되는 픽쳐를 항상 정확하게 복호할 수 있도록 하는 픽쳐이다.
다음에, 도 23은 CRA 픽쳐를 포함하는 픽쳐 구조의 예를 나타내고 있다. 단, 도 23에서는 표시순 및 부호화(복호)순의 최초의 값을 0으로 하고 있다.
CRA 픽쳐는 인트라 부호화 픽쳐이며, CRA 픽쳐로부터 복호를 개시했을 경우에도, CRA 픽쳐보다 후에 부호화되고, 또한, 표시순으로도 CRA 픽쳐보다 후가 되는 픽쳐(도 23에 있어서의 회색의 픽쳐)에 대해서 도 23에 나타내는 움직임 보상시의 참조 픽쳐의 제한을 행하고, 또한, CRA 픽쳐보다 먼저 부호화되고, 또한, 표시순으로는 CRA 픽쳐보다 후가 되는 픽쳐의 존재를 금지함으로써, CRA 픽쳐 및 CRA 픽쳐 이후에 표시되는 픽쳐를 항상 정확하게 복호할 수 있도록 하는 픽쳐이다.
여기서, IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 행하는 경우, 적응 파라미터 세트에 대해서는 상기 픽쳐보다 전에 부호화된 적응 파라미터 세트 모두를 가지고 있지 않으면, 상기에서 IDR 픽쳐나 CRA 픽쳐로 정확하게 복호할 수 있다고 한 픽쳐를 정확하게 복호할 수 없게 될 가능성이 생긴다(이들 정확하게 복호할 수 있다고 한 픽쳐가 IDR 픽쳐나 CRA 픽쳐보다 전에 부호화된 적응 파라미터 세트를 참조할 가능성이 있기 때문임). 따라서, IDR 픽쳐나 CRA 픽쳐의 부호화 데이터보다 전의 부호화 비트 스트림이 길어지면 길어질수록, 많은 적응 파라미터 세트를 복호하지 않으면 안 되게 되거나, IDR 픽쳐나 CRA 픽쳐의 부호화 데이터보다 전의 부호화 비트 스트림의 에러에 의해 적응 파라미터 세트를 복호할 수 없어 픽쳐를 정확하게 복호할 수 없다고 하는 에러 내성의 저하가 생기기 때문에, 적응 파라미터 세트의 파라미터의 일부로서, 부호화 완료된 적응 파라미터 세트를 무효로 하는 플래그 previous＿aps＿clear＿flag를 갖게 한다. 가변 길이 부호화부(13)는, previous＿aps＿clear＿flag가 "유효"인 경우, 그 적응 파라미터 세트보다 전에 부호화된 적응 파라미터 세트를 무효로 하고, previous＿aps＿clear＿flag가 "무효"인 경우에는, 상기 무효화 처리는 실시하지 않는다.
도 24는 일부의 적응 파라미터 세트의 무효화 처리를 나타내는 부호화 비트 스트림의 예를 나타내고 있다. 단, 도 24의 픽쳐 데이터 31은 시퀀스 레벨 헤더 2, 픽쳐 레벨 헤더 3, 적응 파라미터 세트 21을 참조하여 부호화(복호) 처리를 행하는 것으로 한다. 일반적으로, 이와 같이 픽쳐 데이터와 관련하는 헤더 정보를 통합한 픽쳐 액세스의 단위를 액세스 유닛이라고 칭한다.
도 24의 적응 파라미터 세트에 대해, 적응 파라미터 세트 21만 플래그 previous＿aps＿clear＿flag를 "유효"로 함으로써, 적응 파라미터 세트 1로부터 적응 파라미터 세트 20까지가 무효화되고, 부호화순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 불가가 된다. 따라서, IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 행하는 경우에는, 도 24의 시퀀스 레벨 헤더 2로부터 복호하면 충분하게 된다.
한편, 랜덤 액세스시의 고속의 복호 처리나 높은 에러 내성을 필요로 하지 않는 경우에는 플래그 previous＿aps＿clear＿flag를 항상 "무효"로 하여 적응 파라미터 세트의 무효화를 행하지 않도록 하면 좋다. 따라서, 플래그 previous＿aps＿clear＿flag에 의해 적응적인 적응 파라미터 세트의 무효화 처리를 실현할 수 있다.
상기 예에서는, 적응 파라미터 세트내의 플래그 previous＿aps＿clear＿flag에 의해, 랜덤 액세스를 위한 적응적인 적응 파라미터 세트의 무효화 처리를 실현하고 있지만, 시퀀스 레벨 헤더 또는, NAL 유닛이라 불리는 유닛내에, IDR 픽쳐 또는 CRA 픽쳐를 부호화(복호)할 때에 일부의 적응 파라미터 세트를 무효화하는 플래그 part＿aps＿clear＿flag를 갖게 함으로써, 랜덤 액세스를 위한 적응적인 적응 파라미터 세트의 무효화 처리를 실현해도 좋다. 단, NAL 유닛은, 도 15에 있어서의 슬라이스 데이터나 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 헤더 등을 저장하는 유닛으로, 유닛내에 저장되어 있는 데이터가, 슬라이스 데이터인지, 헤더 정보인지라고 하는 것을 식별하는 식별 정보를 가지는 유닛이며, 슬라이스 데이터인 경우에는, 이 식별 정보에 의해, IDR 픽쳐 혹은 CRA 픽쳐인지도 식별할 수 있다.
구체적으로는, IDR 픽쳐 또는 CRA 픽쳐의 부호화 시에, 플래그 part＿aps＿clear＿flag가 "유효"이면, 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐의 하나 전의 픽쳐의 픽쳐 데이터보다 전에 있는 적응 파라미터 세트를 무효로 함으로써, 플래그 previous＿aps＿clear＿flag의 경우와 마찬가지의 랜덤 액세스를 위한 적응적인 적응 파라미터 세트의 무효화 처리를 실현한다. 즉, 도 24의 예의 경우, 시퀀스 레벨 헤더 2, 또는, 픽쳐 데이터 31의 NAL 유닛내에 있는 플래그 part＿aps＿clear＿flag를 "유효"로 함으로써, 픽쳐 데이터 31의 부호화 시에 픽쳐 데이터 31의 하나 전의 픽쳐 데이터인 픽쳐 데이터 30보다 전에 있는 적응 파라미터 세트를 무효로 하기 때문에, 부호화순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 불가가 된다. 즉, IDR 픽쳐나 CRA 픽쳐의 픽쳐 데이터를 포함하는 액세스 유닛보다 전의 적응 파라미터 세트가 무효화되어, 참조는 불가가 된다. 따라서, IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 행하는 경우에는, 도 24의 시퀀스 레벨 헤더 2로부터 복호하면 충분하게 된다.
또한, 상기의 설명에서는, 플래그 part＿aps＿clear＿flag가 "유효"인 경우에 적응 파라미터 세트의 무효화 처리를 행하도록 하고 있지만, 상기 플래그를 마련하지 않고, IDR 픽쳐 또는 CRA 픽쳐의 부호화 시에 항상 적응 파라미터 세트의 무효화 처리를 행하도록 해도 좋다. 이와 같이 함으로써, 상기 플래그의 부호화에 필요로 하는 부호량분의 부호량이 삭감되고, 또한, 부호화 처리 시에 상기 플래그를 참조하는 처리가 불필요해져, 동화상 부호화 장치가 간이화된다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 다른 방법으로서, 적응 파라미터 세트내에 aps＿group＿id라고 하는 파라미터를 가지는 동화상 부호화 장치를 구성하는 것도 생각할 수 있다.
상기 동화상 부호화 장치에서는, 도 27에 나타낸 바와 같이, 적응 파라미터 세트내에 상기 파라미터를 마련하고, 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐를 부호화할 때에, 상기 IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터가 참조하는 적응 파라미터 세트가 가지는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 한다.
예를 들면, 도 24의 경우, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 aps＿group＿id를 0으로 하고, 적응 파라미터 세트 21 이후에는 aps＿group＿id를 1로 함으로써, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조할 때에, 적응 파라미터 세트 21의 aps＿group＿id(=1)와는 상이한 aps＿group＿id(=0)를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20을 무효화한다. 따라서, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되지 않는다.
이와 같이, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트의 aps＿group＿id의 값을 변경하도록 부호화함으로써 적응 파라미터 세트의 참조가 제한되고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터를 포함하는 액세스 유닛으로부터 복호를 개시하면, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다. 또한, aps＿group＿id는 0 또는 1만을 가지는 플래그로 해도 좋고, 그 경우에는, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트가 가지는 상기 플래그의 값을 0으로부터 1, 혹은, 1로부터 0으로 전환하도록 함으로써, 마찬가지의 적응 파라미터 세트의 무효화 처리를 실현할 수 있다.
상기 aps＿group＿id를 도입하는 수법을 이용함으로써, 부호화 비트 스트림을 복수의 회선으로 분배하여 송신하는 등의 이유에 의해, 동화상 복호 장치측에서 수취하는 부호화 비트 스트림내의 데이터의 순서가, 동화상 부호화 장치측에서 부호화한 순번으로부터 바뀌어 버렸을 경우에 있어서도, 정확하게 복호할 수 있다. 구체적으로는, 도 24의 순서로 부호화한 부호화 비트 스트림이, 도 28에 나타낸 바와 같이, 동화상 복호 장치측에서는 적응 파라미터 세트 21, 22가 픽쳐 데이터 30보다 먼저 복호하도록 바뀌어 있어도, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조했을 때에, 적응 파라미터 세트 21과 상이한 aps＿group＿id(=0)를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20을 적절히 무효화할 수 있다.
또한, 상기 aps＿group＿id를 도입하는 수법에 있어서, 에러 내성보다도 부호화 효율을 우선하는 경우, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트의 aps＿group＿id의 값을 전환하지 않도록 부호화함으로써, 적응 파라미터 세트는 무효화되지 않아도 되기 때문에, 참조 가능한 적응 파라미터 세트가 제한되는 것에 의한 부호화 효율의 저하를 회피할 수 있다.
또한, 적응 파라미터 세트내에 aps＿group＿id를 가지는 동화상 부호화 장치에 대해, IDR 픽쳐 또는 CRA 픽쳐 이외의 픽쳐를 복호할 때에도 참조하는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 하도록 동화상 부호화 장치를 구성해도 좋다. 이와 같이 함으로써, 적응 파라미터 세트의 aps＿group＿id의 변경의 타이밍을 임의로 행하는 것에 의한 적응 파라미터 세트의 적응적인 무효화 처리를 행할 수 있어, 적응적인 에러 내성 처리를 실현할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 다른 방법으로서, IDR 픽쳐 또는 CRA 픽쳐를 부호화할 때에, 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐가 참조하는 적응 파라미터 세트의 인덱스(aps＿id)보다 작은 인덱스를 가지는 적응 파라미터 세트를 무효화하도록 동화상 부호화 장치를 구성해도 좋다.
즉, 도 24, 도 28의 예에 있어서 부호화순으로 적응 파라미터 세트의 인덱스가 할당되어 있는 경우, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조했을 때에, 적응 파라미터 세트 21의 인덱스보다 작은 인덱스를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20이 무효화된다. 따라서, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되는 것이 없고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31을 포함하는 액세스 유닛으로부터 복호를 개시하면, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다.
또한, 가변 길이 부호화부(13)는, 양자화 매트릭스 파라미터를 적응 파라미터 세트로서 부호화하는 것이 아니라, 픽쳐 단위로 변경 가능한 파라미터로서, 픽쳐 레벨 헤더내에서 부호화하도록 구성해도 좋다. 이와 같이 함으로써, 양자화 매트릭스 파라미터와 필터 파라미터를 독립한 단위로 부호화할 수 있다. 이 경우, 상기에서 설명한 시퀀스 레벨 헤더에 의한 적응 파라미터 세트 초기화 처리나, IDR, CRA 픽쳐에 따른 적응 파라미터 세트의 무효화 처리와 마찬가지의 처리가 양자화 매트릭스 파라미터에도 실시된다.
또한, 가변 길이 부호화부(13)는, 루프 필터부(11)에서 사용하는 필터 파라미터를 적응 파라미터 세트로서 부호화하는 것이 아니라, 슬라이스 단위로 사용하는 필터 파라미터를 직접 슬라이스 레벨 헤더 등의 슬라이스 데이터로 부호화하도록 구성해도 좋다. 이와 같이 함으로써, 슬라이스 간에 중복하는 필터 파라미터가 존재하지 않는 경우, 루프 필터부(11)에서 사용하는 필터 파라미터를 위해서 슬라이스 레벨 헤더의 하나인 슬라이스의 복호 처리시에 참조하는 적응 파라미터 세트의 인덱스를 부호화할 필요가 없어지기 때문에, 인덱스의 부호량을 삭감할 수 있어, 부호화 효율을 개선할 수 있다.
도 1의 예에서는, 동화상 부호화 장치의 구성요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12) 및 가변 길이 부호화부(13)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하여, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.
도 2는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로우차트이다.
도 3은 본 발명의 실시 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 3에 있어서, 가변 길이 복호부(31)는 도 1의 동화상 부호화 장치에 의해 생성된 부호화 비트 스트림을 입력하면, 그 비트 스트림으로부터 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트, 슬라이스 레벨 헤더 등의 각 헤더 정보를 복호함과 아울러, 그 비트 스트림으로부터, 계층적으로 분할되어 있는 각각의 부호화 블록의 분할 상황을 나타내는 블록 분할 정보를 가변 길이 복호한다.
이 때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 적응 파라미터 세트내의 양자화 매트릭스 파라미터로부터, 상기 적응 파라미터 세트의 양자화 매트릭스를 특정한다. 구체적으로는, 각 직교 변환 사이즈의 색 신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인 (새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우에는, 상기 적응 파라미터 세트에 포함되는 상기 매트릭스 중의 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우에는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용할 양자화 매트릭스로서 특정한다.
또한, 가변 길이 복호부(31)는, 각 헤더 정보를 참조하여, 슬라이스 데이터에 포함되는 최대 복호 블록(도 1의 동화상 부호화 장치의 「최대 부호화 블록」에 상당하는 블록)을 특정하고, 블록 분할 정보를 참조하여, 최대 복호 블록을 계층적으로 분할하여 복호 처리를 행하는 단위인 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정하고, 각각의 복호 블록에 따른 압축 데이터, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터 및 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 복호하는 처리를 실시한다. 또한, 가변 길이 복호부(31)는 가변 길이 복호 수단을 구성하고 있다.
역양자화·역변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 직교 변환 블록 단위로 역양자화함과 아울러, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 도 1의 역양자화·역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또한, 역양자화·역변환부(32)는 차분 화상 생성 수단을 구성하고 있다.
여기서, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보가, 상기 슬라이스에서 양자화 매트릭스를 이용하여, 역양자화 처리를 실시하는 것을 나타내고 있는 경우, 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
구체적으로는, 각 헤더 정보로부터 특정되는 상기 슬라이스에서 참조하는 적응 파라미터 세트의 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.
인트라 예측부(34)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 복호 블록에 따른 부호화 모드가 인트라 부호화 모드인 경우, 그 복호 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
움직임 보상부(35)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 복호 블록에 따른 부호화 모드가 인터 부호화 모드인 경우, 상기 복호 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
또한, 인트라 예측부(34), 인트라 예측용 메모리(37), 움직임 보상부(35) 및 움직임 보상 예측 프레임 메모리(39)로 예측 수단이 구성되어 있다.
가산부(36)는 역양자화·역변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하여, 도 1의 가산부(9)로부터 출력된 국소 복호 화상과 동일한 복호 화상을 산출하는 처리를 실시한다. 또한, 가산부(36)는 복호 화상 생성 수단을 구성하고 있다.
인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 저장하는 기록 매체이다.
루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대해서, 소정의 필터 처리를 실시하고, 필터 처리 후의 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블록킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는 (화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블록킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대해, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 상기 슬라이스에서 행하는지 여부를 특정한다.
또한, 도 1의 동화상 부호화 장치에 있어서, 루프 필터부(38)에서 사용하는 필터 파라미터를 헤더 정보의 하나인 적응 파라미터 세트의 일부로서 부호화하는 것이 아니라, 슬라이스 단위로 사용하는 필터 파라미터를 각각 직접 슬라이스 데이터로 부호화하고 있는 경우에는, 가변 길이 복호부(31)는 슬라이스 데이터로부터 루프 필터부(38)에서 사용하는 필터 파라미터를 복호한다.
이 때, 2개 이상의 필터 처리를 실시하는 경우에 있어서, 동화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있으면, 도 12에 나타낸 바와 같이 루프 필터부(38)가 구성된다.
또한, 루프 필터부(38)는 필터링 수단을 구성하고 있다.
여기서, 디블록킹 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 블록 경계에 걸치는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경하는 정보가 존재하는 경우, 그 변경 정보에 근거하여, 디블록킹 필터 처리를 실시한다. 변경 정보가 없는 경우에는, 미리 정해진 수법에 따라 행한다.
화소 적응 오프셋 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 그 적응 파라미터 세트에 포함되는 블록 분할 정보에 근거하여 복호 화상을 분할하고, 그 블록 단위로, 그 적응 파라미터 세트에 포함되는 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는" 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라 클래스 분류한다.
또한, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.
그리고, 블록 단위의 각 클래스의 오프셋 값을 특정하는 오프셋 정보(적응 파라미터 세트에 포함되어 있는 오프셋 정보)를 참조하여, 복호 화상의 휘도값에 오프셋을 가산하는 처리를 실시한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 화소 적응 오프셋 처리에 있어서, 블록 분할 정보는 부호화하지 않고, 항상 화상을 고정 사이즈의 블록 단위(예를 들면, 최대 부호화 블록 단위)로 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록 단위로 화소 적응 오프셋 처리를 실시한다.
적응 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 그 적응 파라미터 세트에 포함되는 클래스마다의 필터를 이용하여, 도 1의 동화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 적응 필터 처리에 있어서, 상기의 클래스 분류 및 필터 설계·처리를 화상 전체에 대해서가 아니고, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록마다 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록마다, 각 클래스에서 이용하는 필터를 복호하여 상기 클래스 분류 및 필터 처리를 행한다.
또한, 가변 길이 복호부(31)는, 도 18과 같이, 시퀀스의 전환을 위해서 부호화 비트 스트림의 도중에 새로운 시퀀스 레벨 헤더(시퀀스 레벨 헤더 2)가 삽입되어 있는 경우, 새로운 시퀀스 레벨 헤더를 복호하는 시점에서 이미 복호되어 있는 적응 파라미터 세트를 모두 무효로 한다.
따라서, 도 18에 있어서, 픽쳐 데이터 30의 복호시에 적응 파라미터 세트 2를 참조한다고 하는 시퀀스 레벨 헤더에 걸친 적응 파라미터 세트의 참조는 발생하지 않는다. 또한, 상기 적응 파라미터 세트의 무효화 처리 등에 의해 과거의 적응 파라미터 세트를 일절 사용할 수 없는 경우에 복호되는 적응 파라미터 세트는, 양자화 매트릭스 등의 파라미터가 과거의 적응 파라미터 세트를 참조하지 않는, 상기 적응 파라미터 세트만으로 모든 파라미터를 복호할 수 있는 적응 파라미터 세트로 된다.
이 제한에 의해, 새로운 시퀀스 레벨 헤더보다 전의 부호화 비트 스트림에 에러가 생겼을 때에 그 비트 스트림내에 있는 적응 파라미터 세트를 참조하는 것에 의한 복호 에러를 회피할 수 있어, 에러 내성을 높일 수 있다.
단, 동화상 부호화 장치가 시퀀스 레벨 헤더에 적응 파라미터 세트의 초기화 플래그 aps＿reset＿flag를 가지도록 구성되어 있는 경우에는, 가변 길이 복호부(31)에 의해 복호된 플래그 aps＿reset＿flag가 "유효"인 경우만 적응 파라미터 세트를 초기화하고, 플래그 aps＿reset＿flag가 "무효"인 경우에는 적응 파라미터 세트를 초기화하지 않도록 한다. 이와 같이 함으로써, 적응 파라미터 세트의 초기화 플래그 aps＿reset＿flag에 의한 적응적인 초기화 처리를 행하는 동화상 부호화 장치에서 생성된 스트림을 정확하게 복호할 수 있다.
또한, 동화상 부호화 장치가 적응 파라미터 세트의 파라미터의 일부로서, 복호가 완료된 적응 파라미터 세트를 무효로 하는 플래그 previous＿aps＿clear＿flag를 가지도록 구성되어 있는 경우에는, 가변 길이 복호부(31)에 의해 복호된 previous＿aps＿clear＿flag가 "유효"인 경우, 가변 길이 복호부(31)는, 그 적응 파라미터 세트보다 전에 복호된 적응 파라미터 세트를 무효로 하고, previous＿aps＿clear＿flag가 "무효"인 경우에는, 상기 무효화 처리는 실시하지 않는다.
즉, 도 24의 부호화 비트 스트림의 예에 있어서, 동화상 부호화 장치의 가변 길이 부호화부(13)가 적응 파라미터 세트 21의 플래그 previous＿aps＿clear＿flag를 "유효"로 부호화하고 있으면, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20까지가 무효화되고, 부호화순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 행해지지 않기 때문에, IDR 픽쳐 또는 CRA 픽쳐인 픽쳐 데이터 31을 포함하는 액세스 유닛의 선두인 시퀀스 레벨 헤더 2로부터의 복호로 IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 실현할 수 있다.
혹은, 동화상 부호화 장치가 시퀀스 레벨 헤더 또는 NAL 유닛내에, IDR 픽쳐 또는 CRA 픽쳐를 복호할 때에 일부의 적응 파라미터 세트를 무효화하는 플래그 part＿aps＿clear＿flag를 갖게 함으로써 랜덤 액세스를 위한 적응 파라미터 세트의 무효화 처리를 실현하도록 구성되어 있는 경우에는, IDR 픽쳐 또는 CRA 픽쳐의 복호 시에 가변 길이 복호부(31)에 의해 복호된 플래그 part＿aps＿clear＿flag가 "유효"이면, 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐의 하나 전의 픽쳐의 픽쳐 데이터보다 전에 있는 적응 파라미터 세트를 무효로 한다. 즉, 도 24의 예의 경우, 동화상 부호화 장치의 가변 길이 부호화부(13)가 시퀀스 레벨 헤더 2 또는, 픽쳐 데이터 31의 NAL 유닛내에 있는 플래그 part＿aps＿clear＿flag를 "유효"로 부호화하고 있으면, 픽쳐 데이터 31의 복호 시에 픽쳐 데이터 31의 하나 전의 픽쳐 데이터인 픽쳐 데이터 30보다 전에 있는 적응 파라미터 세트를 무효로 하기 때문에, 복호순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 행해지지 않고, 시퀀스 레벨 헤더 2로부터의 복호로 IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 실현할 수 있다.
단, 동화상 부호화 장치가 상기 플래그를 마련하지 않고, IDR 픽쳐 또는 CRA 픽쳐의 부호화 시에, 항상 적응 파라미터 세트의 무효화 처리를 행하도록 구성되어 있는 경우, IDR 픽쳐 또는 CRA 픽쳐의 복호 시에, 가변 길이 복호부(31)가 항상 상기 적응 파라미터 세트의 무효화 처리를 행하도록 동화상 복호 장치를 구성함으로써, 상기 동화상 부호화 장치에서 생성된 부호화 비트 스트림을 정확하게 복호할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 방법으로서, 동화상 부호화 장치가 적응 파라미터 세트내에 aps＿group＿id라고 하는 파라미터를 가지도록 구성되어 있는 경우, 동화상 복호 장치의 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐를 복호할 때에, 상기 IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터가 참조하는 적응 파라미터 세트가 가지는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 한다.
예를 들면, 도 24의 경우, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 aps＿group＿id를 0으로 하고, 적응 파라미터 세트 21 이후에는 aps＿group＿id를 1로 하도록 동화상 부호화 장치가 부호화함으로써, 동화상 복호 장치의 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조할 때에, 적응 파라미터 세트 21의 aps＿group＿id(=1)와는 상이한 aps＿group＿id(=0)를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20을 무효화하기 때문에, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되는 것이 없고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31을 포함하는 액세스 유닛의 선두인 시퀀스 레벨 헤더 2로부터 복호를 개시함으로써, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다.
또한, 상기 aps＿group＿id를 도입하는 수법에 있어서, 동화상 부호화 장치가 에러 내성보다도 부호화 효율을 우선하여, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트의 aps＿group＿id의 값의 전환을 행하지 않도록 부호화하고 있는 경우, 동화상 복호 장치에 있어서도, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터가 적응 파라미터 세트를 참조할 때에, 참조하는 적응 파라미터 세트가 가지는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트가 존재하지 않기 때문에, 적응 파라미터 세트는 무효화되지 않고 정확하게 복호할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐 이외의 픽쳐를 복호할 때에도 참조하는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 하도록 동화상 부호화 장치가 구성되어 있는 경우, 동화상 복호 장치의 가변 길이 복호부(31)가 픽쳐를 복호할 때에 참조하는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 한다. 이와 같이 함으로써, 적응 파라미터 세트의 aps＿group＿id의 변경의 타이밍을 임의로 행하는 것에 의한 적응 파라미터 세트의 적응적인 무효화 처리를 실현하는 동화상 부호화 장치에서 생성된 스트림을 정확하게 복호할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 다른 방법으로서, 동화상 부호화 장치의 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐를 부호화할 때에, 적응 파라미터 세트의 인덱스(aps＿id)에 의해 IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 행하도록 구성되어 있는 경우, 동화상 복호 장치의 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐가 참조하는 적응 파라미터 세트를 참조했을 때에, 상기 적응 파라미터 세트의 인덱스(aps＿id)보다 작은 인덱스를 가지는 적응 파라미터 세트를 무효화한다.
즉, 도 24, 도 28의 예에 있어서 부호화순으로 적응 파라미터 세트의 인덱스가 할당되어 있는 경우, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조했을 때에, 적응 파라미터 세트 21의 인덱스보다 작은 인덱스를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20이 무효화된다. 따라서, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되는 것이 없고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31을 포함하는 액세스 유닛으로부터 복호를 개시하면, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다.
또한, 동화상 부호화 장치에 있어서, 양자화 매트릭스 파라미터를 적응 파라미터 세트로서 부호화하는 것이 아니라, 픽쳐 단위로 변경 가능한 파라미터로서, 픽쳐 레벨 헤더내에서 부호화하도록 구성되어 있는 경우, 상기에서 설명한 시퀀스 레벨 헤더에 의한 적응 파라미터 세트 초기화 처리나, IDR, CRA 픽쳐에 따른 적응 파라미터 세트의 무효화 처리와 마찬가지의 처리가 양자화 매트릭스 파라미터에도 실시된다.
움직임 보상 예측 프레임 메모리(39)는 루프 필터부(38)의 필터 처리 후의 복호 화상을 저장하는 기록 매체이다.
또한, 일반적으로 동화상 복호 장치에는, 메모리 용량 등의 회로 규모를 규정하기 위한 제약을 나타내는 것으로서, 프로파일과 레벨이 규정되어 있는 것이 있다. 프로파일은 동화상 복호 장치의 사양(가변 길이 복호부, 역양자화·역변환부, 인트라 예측부, 움직임 보상부, 루프 필터부 등의 구성 내용)을 규정하는 것이고, 레벨은 최대 입력 화상 사이즈나 프레임 메모리 수, 취할 수 있는 움직임 벡터의 범위 등의 동화상 복호 장치의 필요 메모리 용량이나 연산량에 영향을 주는 설정값을 제한하는 것이다. 한편, 루프 필터부(38)에 있어서의 화소 적응 오프셋 처리의 픽쳐 당의 오프셋 수나, 적응 필터 처리의 픽쳐 당의 필터 수는 화상의 공간 해상도가 높을수록 최적인 수는 커지기 때문에, 화소 적응 오프셋 처리의 픽쳐 당의 최대 오프셋 수나, 적응 필터 처리의 픽쳐 당의 최대 필터 수는 레벨로 규정되는 최대 입력 화상 사이즈에 따라 규정하도록 해도 좋다. 이와 같이 함으로써, 적절한 최대 오프셋 수나 최대 필터 수를 적응적으로 규정할 수 있다.
도 3의 예에서는, 동화상 복호 장치의 구성요소인 가변 길이 복호부(31), 역양자화·역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역양자화·역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하여, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.
도 4는 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로우차트이다.
다음에 동작에 대해 설명한다.
이 실시 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료된 근방 화소로부터의 인트라 예측 또는 근접 프레임간에서의 움직임 보상 예측을 실시하고, 얻어진 예측 차분 신호에 대해서 직교 변환·양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 부호화 비트 스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 부호화 비트 스트림을 복호하는 동화상 복호 장치에 대해 설명한다.
도 1의 동화상 부호화 장치는, 영상 신호의 공간·시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하고, 프레임내·프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.
일반적으로, 영상 신호는, 공간·시간적으로 신호의 복잡성이 국소적으로 변화하는 특성을 가지고 있다. 공간적으로 보면, 임의의 영상 프레임상에서는, 예를 들면, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 가지는 도안도 있으면, 인물이나 세세한 텍스쳐(texture)를 포함하는 회화 등, 작은 화상 영역내에서 복잡한 텍스쳐 패턴을 가지는 도안도 혼재하는 경우가 있다.
시간적으로 보아도, 하늘이나 벽은 국소적으로 시간 방향의 도안의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체(rigid body)·비강체(non-rigid body)의 운동을 하기 때문에, 시간적인 변화가 크다.
부호화 처리는, 시간·공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 상기 파라미터의 부호량을 작게 할 수 있다.
한편, 시간적·공간적으로 변화가 큰 화상 신호 패턴에 대해서, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오류가 증가해 버리기 때문에, 예측 차분 신호의 부호량이 증가해 버린다.
따라서, 시간적·공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하고, 예측에 이용하는 파라미터의 데이터량을 증대시켜, 예측 차분 신호의 전력·엔트로피를 저감하는 쪽이 바람직하다.
이 실시 형태 1에서는, 이러한 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하여, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.
도 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호외, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평·수직 2 차원의 디지털 샘플(화소) 열로 구성되는 임의의 영상 신호로 한다.
단, 각 화소의 계조는, 8 비트라도 좋고, 10 비트나 12 비트 등의 계조라도 좋다.
이하의 설명에서는, 편의상, 특별히 배제하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대해서, 서브 샘플링된 4： 2： 0 포맷의 신호를 취급하는 경우에 대해 서술한다.
또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭한다.
이 실시 형태 1에서는, 「픽쳐」는 순차적으로 주사(프로그래시브 스캔)된 영상 프레임 신호로서 설명을 행하지만, 영상 신호가 인터레이스(interlace) 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이어도 좋다.
먼저, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.
우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽쳐(현재 픽쳐)의 슬라이스 분할 상태를 결정함과 아울러, 픽쳐의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층 수의 상한을 결정한다(도 2의 스텝 ST1).
최대 부호화 블록의 사이즈의 결정 방법으로서는, 예를 들면, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽쳐에 대해서 동일한 사이즈를 결정해도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡성의 차이를 파라미터로서 정량화하여, 움직임이 심한 픽쳐에는, 작은 사이즈를 결정하는 한편, 움직임이 적은 픽쳐에는, 큰 사이즈를 결정하도록 해도 좋다.
분할 계층 수의 상한의 결정 방법으로서는, 예를 들면, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽쳐에 대해서 동일한 계층 수를 결정하는 방법이나, 입력 화상의 영상 신호의 움직임이 심한 경우에는, 계층 수를 깊게 하여, 보다 세세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층 수를 억제하도록 설정하는 방법 등이 있다.
또한, 상기 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층 수의 상한은 시퀀스 레벨 헤더 등으로 부호화해도 좋고, 부호화하지 않고 동화상 복호 장치측도 동일한 결정 처리를 행하도록 해도 좋다. 전자는 헤더 정보의 부호량이 증가하지만, 동화상 복호 장치측에서 상기 결정 처리를 행하지 않아도 되기 때문에, 동화상 복호 장치의 처리 부하를 억제할 수 있고, 또한, 동화상 부호화 장치측에서 최적인 값을 탐색하여 전송할 수 있다. 후자는 반대로, 동화상 복호 장치측에서 상기 결정 처리를 행하기 때문에, 동화상 복호 장치의 처리 부하가 증가하지만, 헤더 정보의 부호량은 증가하지 않는다.
또한, 부호화 제어부(2)는, 이용 가능한 1 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(스텝 ST2).
즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 먼저 결정한 분할 계층 수의 상한에 이를 때까지, 계층적으로 부호화 블록 사이즈를 가지는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.
부호화 모드에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭함)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭함)가 있고, 부호화 제어부(2)는, 상기 픽쳐에서 이용 가능한 모든 부호화 모드, 또는, 그 서브세트 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.
단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은, 예측 처리를 행하는 단위인 1개 내지 복수의 예측 블록으로 더 분할되고, 예측 블록의 분할 상태도 부호화 모드 중에 정보로서 포함된다. 즉, 부호화 모드는, 어떠한 예측 블록 분할을 가지는 인트라 또는 인터 부호화 모드인지를 식별하는 인덱스이다.
부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예를 들면, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.
또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 직교 변환 블록 분할 상태를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.
단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우에는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.
또한, 부호화 모드가 인트라 부호화 모드인 부호화 블록에 있어서는, 상세한 것은 후술하지만, 인트라 예측 처리를 행할 때에 예측 블록에 인접하는 부호화 완료된 화소를 이용하므로, 예측 블록 단위로 부호화를 행할 필요가 있기 때문에, 선택 가능한 변환 블록 사이즈는 예측 블록의 사이즈 이하로 제한된다.
부호화 제어부(2)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 차분 부호화 파라미터를 변환·양자화부(7), 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다.
또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라서 인트라 예측부(4)에 출력한다.
또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라서 움직임 보상 예측부(5)에 출력한다.
슬라이스 분할부(14)는, 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라 1 이상의 부분 화상인 슬라이스로 분할한다.
블록 분할부(1)는, 슬라이스 분할부(14)로부터 각 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 또한, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록으로 계층적으로 분할하여, 그 부호화 블록을 출력한다.
여기서, 도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 5에 있어서, 최대 부호화 블록은, 「제 0 계층」이라고 기록되어 있는 휘도 성분이 (L0, M0)의 사이즈를 가지는 부호화 블록이다.
최대 부호화 블록을 출발점으로서, 쿼드트리(quadtree) 구조로 별도로 결정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.
깊이 n에 있어서는, 부호화 블록은 사이즈 (Ln, Mn)의 화상 영역이다.
단, Ln과 Mn은, 동일해도 좋고, 상이해도 좋지만, 도 5에서는, Ln=Mn인 경우를 나타내고 있다.
이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Ln, Mn)라고 정의한다.
쿼드트리 분할을 행하기 때문에, 항상, (Ln＋1, Mn＋1)=(Ln/2, Mn/2)가 성립한다.
또한, RGB 신호 등, 모든 색 성분이 동일 샘플 수를 가지는 컬러 영상 신호 (4： 4： 4 포맷)에서는, 모든 색 성분의 사이즈가 (Ln, Mn)로 되지만, 4： 2： 0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Ln/2, Mn/2)로 된다.
이후, 제 n 계층의 부호화 블록을 Bn으로 나타내고, 부호화 블록 Bn에서 선택 가능한 부호화 모드를 m(Bn)으로 나타내는 것으로 한다.
복수의 색 성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)는, 색 성분마다, 각각 개별의 모드를 이용하도록 구성되어도 좋고, 모든 색 성분에 대해 공통의 모드를 이용하도록 구성되어도 좋다. 이후, 특별히 배제하지 않는 한, YUV 신호, 4： 2： 0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 나타내는 것으로 하여 설명을 행한다.
부호화 블록 Bn은, 도 5에 나타낸 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 1개 내지 복수의 예측 블록으로 분할된다.
이후, 부호화 블록 Bn에 속하는 예측 블록을 Pi n(i는, 제 n 계층에 있어서의 예측 블록 번호)이라고 표기한다. 도 5에는 P0 0과 P1 0의 예를 나타내고 있다.
부호화 블록 Bn내의 예측 블록의 분할이, 어떻게 되어 있는지는, 부호화 모드 m(Bn) 중에 정보로서 포함된다.
예측 블록 Pi n은, 모두 부호화 모드 m(Bn)에 따라 예측 처리가 행해지지만, 예측 블록 Pi n마다, 개별의 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.
부호화 제어부(2)는, 최대 부호화 블록에 대해서, 예를 들면, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.
도 6(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.
도 6(b)는, 도 6(a)의 예에 대해, 계층 분할에 의해 부호화 모드 m(Bn)가 할당되는 상황을 쿼드트리 그래프로 나타낸 것이다. 도 6(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bn)가 할당된 노드(부호화 블록)이다.
이 쿼드트리 그래프의 정보는 부호화 모드 m(Bn)와 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트 스트림으로 다중화된다.
전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인트라 부호화 모드인 경우(m(Bn)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 인트라 예측부(4)에 출력한다.
한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인터 부호화 모드인 경우(m(Bn)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 움직임 보상 예측부(5)에 출력한다.
인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인트라 부호화 모드이며(m(Bn)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 수신하면(스텝 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bn내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하고, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST4).
또한, 동화상 복호 장치가 인트라 예측 화상 PINTRAi n과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트 스트림으로 다중화된다.
인트라 예측부(4)의 처리 내용의 상세한 것은 후술한다.
움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인터 부호화 모드이며(m(Bn)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 수신하면(스텝 ST3), 그 부호화 블록 Bn내의 각 예측 블록 Pi n과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bn내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 PINTERi n을 생성한다(스텝 ST5).
또한, 동화상 복호 장치가 인터 예측 화상 PINTERi n과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 PINTERi n의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트 스트림으로 다중화된다.
또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트 스트림으로 다중화된다.
감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bn을 수신하면, 그 부호화 블록 Bn내의 예측 블록 Pi n으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n 중 어느 한쪽을 감산하고, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호 ei n을 변환·양자화부(7)에 출력한다(스텝 ST6).
변환·양자화부(7)는, 감산부(6)로부터 예측 차분 신호 ei n을 수신하면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보를 참조하여, 그 예측 차분 신호 ei n에 대한 직교 변환 처리(예를 들면, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정의 학습 계열에 대해서 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 직교 변환 블록 단위로 실시하여, 변환 계수를 산출한다.
또한, 변환·양자화부(7)는, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 직교 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST7). 이 때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여 양자화 처리를 실시하도록 해도 좋다.
양자화 매트릭스는, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화나 인터 부호화)마다 독립하고 있는 매트릭스를 사용할 수 있고, 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택할지, 새로운 양자화 매트릭스를 이용할지를 각각 선택할 수 있다.
따라서, 변환·양자화부(7)는, 각 직교 변환 사이즈에 대해서 색 신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 여부를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.
또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 바와 같은 양자화 매트릭스의 각 스케일링 값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용하는 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능해진다.
그리고, 변환·양자화부(7)는, 설정한 양자화 매트릭스 파라미터를 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
역양자화·역변환부(8)는, 변환·양자화부(7)로부터 압축 데이터를 수신하면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 그 압축 데이터를 역양자화한다.
변환·양자화부(7)가 양자화 처리에 양자화 매트릭스를 이용하고 있는 경우에는, 역양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응한 역양자화 처리를 실시한다.
또한, 역양자화·역변환부(8)는, 직교 변환 블록 단위로 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리(예를 들면, 역DCT, 역DST, 역KL 변환 등)를 실시하고, 감산부(6)로부터 출력된 예측 차분 신호 ei n에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(스텝 ST8).
가산부(9)는, 역양자화·역변환부(8)로부터 국소 복호 예측 차분 신호를 수신하면, 그 국소 복호 예측 차분 신호와 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n 중 어느 한쪽을 가산함으로써, 국소 복호 화상을 산출한다(스텝 ST9).
또한, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.
이 국소 복호 화상이, 이후의 인트라 예측 처리 시에 이용되는 부호화 완료된 화상 신호로 된다.
루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 수신하면, 그 국소 복호 화상에 대해서, 소정의 필터 처리를 실시하고, 필터 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(스텝 ST10).
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블록킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는 (화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기의 디블록킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대해, 처리를 행하는지 여부를 결정하고, 각 처리의 유효 플래그를 부호화해야 할 적응 파라미터 세트의 일부 및 슬라이스 레벨 헤더의 일부로서 가변 길이 부호화부(13)에 출력한다. 또한, 상기의 필터 처리를 복수 사용할 때에는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.
일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상하지만, 한편으로 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드 오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 동화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라 사용하는 필터 처리를 결정하면 좋다.
여기서, 디블록킹 필터 처리에서는, 블록 경계에 가해지는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
화소 적응 오프셋 처리에서는, 먼저, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우에도 클래스 분류 방법의 하나로서 정의하고, 미리 준비되어 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.
다음에, 선택한 클래스 분류 수법에 따라 블록내의 각 화소를 클래스 분류하여, 클래스마다 부호화 왜곡을 보상하는 오프셋 값을 산출한다.
마지막으로, 국소 복호 화상의 휘도값에 대해서, 그 오프셋 값을 가산하는 처리를 행함으로써 국소 복호 화상의 화상 품질을 개선한다.
클래스 분류 수법으로서는, 국소 복호 화상의 휘도값의 크기로 분류하는 수법(BO 수법이라고 부름)이나, 에지의 방향마다 각 화소의 주위의 상황(에지부인지 여부 등)에 따라 분류하는 수법(EO 수법이라고 부름)이 있다.
이러한 수법은, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있고, 도 16에 나타낸 바와 같이, 오프셋 처리를 행하지 않는 경우에도 클래스 분류 방법의 하나로서 정의하여, 이러한 수법 중, 어느 수법으로 클래스 분류를 행할지를 나타내는 인덱스를 상기 블록 단위로 선택한다.
여기서, 도 13은 BO 수법을 나타내는 설명도이다.
BO 수법에서는, 먼저, 국소 복호 화상의 휘도값을 MBO개의 그룹으로 등분할한다. 단, MBO은 (휘도값의 최대치)－(휘도값의 최소치)＋1의 약수가 되는 정수이며, 도 13의 예에서는, MBO=32로 하고 있다.
다음에, 블록내의 각 화소를, 상기 화소의 휘도값에 따라, MBO개의 그룹 중의 대응하는 그룹으로 분류한다.
그리고, 오프셋을 부가하는 그룹이 되는 클래스를 결정하기 위해서, 클래스의 선두 위치를 나타내는 bo＿start＿position을 결정한다.
도 13에 나타낸 바와 같이, bo＿start＿position이 나타내는 그룹으로부터 차례로 클래스 0, 클래스 1, 클래스 2,···, 클래스 LBO－1으로 결정한다. 단, LBO은 클래스 수를 나타내는 정수이며, 도 13의 예에서는, LBO=4로 하고 있다.
bo＿start＿position은 부호화해야 할 적응 파라미터 세트의 일부이며, 화상 품질 개선 효과가 가장 높아지도록, 각 클래스에 속하는 화소에 가산하는 오프셋 값과 함께 bo＿start＿position을 결정한다.
또한, 정수 MBO은, 값이 클수록, 세세한 단위로 오프셋을 설정할 수 있기 때문에 화상 품질 개선 효과는 향상되지만, bo＿start＿position이 취할 수 있는 범위가 커지기 때문에, bo＿start＿position의 부호화에 필요로 하는 부호량이 증가한다.
정수 LBO은, 값이 클수록, 오프셋의 개수가 증가하기 때문에 화상 품질 개선 효과는 향상되지만, 오프셋의 부호화에 필요로 하는 부호량이 증가한다.
따라서, 정수 MBO, LBO의 값은, 화상 품질 개선 효과와 부호량의 트레이드 오프를 고려하여, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 적절한 값으로 설정된다.
또한, 정수 MBO, LBO의 값은, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비하는 정수가 아니고, 부호화해야 할 적응 파라미터 세트의 일부로 해도 좋다. 그 경우, 정수 MBO, LBO를 적응적으로 설정할 수 있기 때문에 화상 품질 개선 효과가 상승하지만, 한편으로 부호화해야 할 정보가 증가하기 때문에, 부호량은 증가한다.
다음에, 도 14는 EO 수법을 나타내는 설명도이다.
도 14의 c는 오프셋 처리 대상 화소, a, b는 c에 인접하는 화소를 나타내고 있다.
도 14에 나타낸 바와 같이, 클래스 분류 수법은 a, b, c가 나열되는 방향별로 4 가지가 있고, 수법 1로부터 차례로, 도 16에 나타내는 EO 수법 1로부터 EO 수법 4에 대응하고 있다.
각 분류 수법은, 도 14에 나타내는 클래스 분류 조건에 따라 블록내의 각 화소를 5 가지의 클래스로 분류하여, 클래스에 속하는 화소에 가산하는 오프셋 값을 결정한다.
각 클래스에 속하는 화소에 가산하는 오프셋 값에 대해서는, 도 17에 예시한 바와 같이, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로, 각 클래스의 오프셋 값을 결정한 테이블을 준비하고, 사용하는 오프셋 값의 조합을 나타내는 인덱스를 오프셋 정보로서 선택하도록 한다.
이와 같이 함으로써, 취할 수 있는 오프셋 값은 제한되어 버리지만, 상기 테이블로 준비하는 클래스마다의 오프셋 값의 조합을 적절히 설정해 둠으로써, 오프셋 값을 그대로 부호화하는 것보다도, 오프셋 정보의 부호화에 필요로 하는 부호량을 삭감하면서, 고정밀의 왜곡 보상 처리를 실현할 수 있다.
또한, 가변 길이 부호화부(13)에 의한 상기 인덱스의 부호화 수법으로서는, 취할 수 있는 인덱스의 범위는 미리 준비한 테이블로부터 알 수 있기 때문에, 도 25에 나타내는 truncated unary 부호(트런케이티드·유너리 부호)와 같이 부호화 대상 심볼의 값의 범위를 고려한 2치화 수법을 이용함으로써 효율이 좋은 부호화가 가능해진다. 단, 도 25는 부호화 대상 심볼의 값의 범위를 0으로부터 5로 설정했을 경우의 예이다.
이 때, 미리 준비하는 테이블은, 모든 클래스 분류 수법에서 공통이라도 좋고, 클래스 분류 수법에 따라 준비하는 테이블을 나누어도 좋다.
예를 들면, BO 수법과 EO 수법에서는, 처리가 완전히 상이하므로, 각각 다른 테이블을 준비함으로써 적응적인 화상 품질 개선을 실현할 수 있다.
또한, EO 수법은, EO 수법 1, 2와, EO 수법 3, 4에서, 화소 a, b, c의 거리가 상이하기 때문에, EO 수법 1, 2용의 테이블과, EO 수법 3, 4용의 테이블을 각각 준비함으로써 적응적인 화상 품질 개선을 실현할 수 있다.
단, 준비할 테이블이 많아지면, 그 테이블을 유지하기 위한 메모리의 용량도 증가한다. 따라서, 동화상 부호화 장치 및 동화상 복호 장치에서 준비할 수 있는 메모리 용량에 의해 준비할 수 있는 테이블 수는 제한된다.
또한, 각 테이블이 가지는 인덱스 수(각 클래스의 오프셋의 조합 수)를 증대시킴으로써 고정밀의 화상 품질 개선을 실현할 수 있지만, 선택 가능한 테이블의 인덱스 수가 증가하는 것에 의해 인덱스의 부호화에 필요로 하는 부호량이 증가한다. 따라서, 인덱스 수는, 화상 품질 개선 효과와 부호량의 트레이드 오프를 고려하여, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 설정된다.
또한, 미리 준비하는 테이블은 색 신호마다 준비해도 좋다. 이와 같이 함으로써, 신호 특성이 상이한 색 신호마다 적절한 테이블을 준비할 수 있어, 화상 품질 개선 효과를 향상할 수 있다.
또한, 모든 오프셋을 테이블 참조로 하지 않고, 예를 들면, EO 수법만, 상기와 같이 테이블 참조로 하여, BO 수법의 오프셋은, 오프셋 값 그 자체를 부호화하도록 해도 좋다.
일반적으로 EO 수법에서는, 에지부의 약간의 노이즈를 제거하는 효과가 있어, 최적인 오프셋 값은 작은 값으로 치우치기 쉽다. 한편, BO 수법에서는, 임의의 일정한 휘도값내의 신호의 직류분을 보정하는 효과가 있어, 반드시 최적인 오프셋 값이 작은 값으로 치우치는 것은 아니다.
따라서, 최적인 오프셋 값에 편향이 있는 클래스 분류 수법만을 테이블 참조로 하고, 최적인 오프셋 값에 편향이 없는 클래스 분류 수법에 대해서는, 오프셋 값 그 자체를 부호화하도록 함으로써, 보다 높은 화상 품질 개선 효과를 얻을 수 있다.
또한, 가변 길이 부호화부(13)에 의한 상기 오프셋 값의 부호화 수법으로서는, 미리 취할 수 있는 오프셋 값의 범위를 동화상 부호화 장치 및 동화상 복호 장치 공통으로 설정해 둠으로써, 도 25에 나타내는 truncated unary 부호와 같이 부호화 대상 심볼의 값의 범위를 고려한 2치화 수법을 이용함으로써 효율이 좋은 부호화가 가능해진다. 한편, 미리 취할 수 있는 오프셋 값의 범위를 설정하지 않는 경우에는, 도 26에 나타내는 unary 부호와 같은 부호화 대상 심볼의 값의 범위를 고려하지 않고 2치화할 수 있는 부호를 이용한다.
또한, 부호화 처리시의 휘도 신호 또는 색차 신호의 신호값의 비트 심도에 의해, 테이블을 전환하도록 해도 좋다.
8 비트시의 오프셋 값 1에 대응하는 9 비트에서의 오프셋 값은 2이다. 그러나, 8 비트시에 최적인 오프셋 값이 1이어도, 9 비트에서 최적인 오프셋 값은 2가 아니고, 1 등일 가능성도 있다.
따라서, 도 19에 예시한 바와 같이, 신호값의 비트 심도마다 테이블을 준비함으로써, 화상 품질 개선 효과를 높일 수 있다.
또한, 도 20에 예시한 바와 같이, 하나의 테이블만을 이용하는 것으로 하여, 8 비트의 경우에는, 인덱스 0뿐이고(0 비트), 9 비트의 경우에는, 인덱스 0, 1(1 비트), 10 비트의 경우에는 인덱스 0∼4(2 비트)를 선택사항으로 하도록 함으로써, 준비할 테이블 수를 삭감하여, 테이블을 유지하는 메모리를 삭감할 수 있다.
또한, 도 19 및 도 20의 예에서는, 8 비트의 경우, 인덱스 0뿐이기 때문에, 인덱스를 부호화할 필요가 없다. 이와 같이 함으로써, 인덱스의 부호화에 필요로 하는 부호량분만큼 부호화 효율을 개선할 수 있다.
또한, 화소 적응 오프셋 처리는, 상기 복수의 클래스 분류 수법과 최적인 오프셋 값의 조합 중에서, 최적인 클래스 분류 수법 및 오프셋 값을 선택함으로써 최적인 왜곡 보상 처리를 실현할 수 있다.
이상으로부터, 화소 적응 오프셋 처리는, 블록의 분할 정보, 블록 단위의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 오프셋 정보를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다. 또한, 화소 적응 오프셋 처리는, 블록 단위의 클래스 분류 수법을 나타내는 인덱스가 BO 수법을 나타내는 인덱스인 경우, 클래스의 선두 위치를 나타내는 bo＿start＿position도 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
또한, 상기 화소 적응 오프셋 처리에 있어서, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하여, 그 블록마다 클래스 분류 수법을 선택하여 클래스마다의 적응 오프셋 처리를 행하도록 해도 좋다.
이 경우, 상기 블록 분할 정보가 불필요하게 되어, 블록 분할 정보에 필요로 하는 부호량분만큼 부호량을 삭감할 수 있다.
또한, 적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 상기 국소 복호 화상의 필터 처리를 실시한다.
그리고, 클래스마다 설계한 필터를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
여기서, 클래스 분류 수법으로서는, 화상을 공간적으로 등간격으로 구획하는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다. 또한, 적응 필터 처리에서 사용하는 클래스 수는, 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통의 값으로 설정해도 좋고, 부호화해야 할 적응 파라미터 세트의 일부로 해도 좋다.
전자와 비교하여 후자가, 사용하는 클래스 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 상승하지만, 한편으로 클래스 수를 부호화하기 위해서, 그 만큼의 부호량이 증가한다.
또한, 상기 적응 필터 처리의 클래스 분류 및 필터 설계·처리를 화상 전체에 대해서가 아니고, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록마다 행하도록 해도 좋다.
즉, 고정 사이즈의 블록내를 분할한 복수의 소블록 단위로 화상의 국소적인 특성(분산 등)에 따라 클래스 분류하고, 클래스마다 필터 설계 및 필터 처리를 행하도록 하여, 고정 사이즈의 블록마다 각 클래스의 필터를 적응 파라미터 세트의 일부로서 부호화한다.
이와 같이 함으로써, 화상 전체에 대해서 클래스 분류 및 필터 설계·처리를 실시하는 경우보다도, 국소적인 성질에 따른 고정밀의 필터 처리를 실현할 수 있다.
스텝 ST3∼ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bn에 대한 처리가 완료할 때까지 반복 실시되고, 모든 부호화 블록 Bn에 대한 처리가 완료하면, 스텝 ST13의 처리로 이행한다(스텝 ST11, ST12).
가변 길이 부호화부(13)는, 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록내의 블록 분할 정보(도 6(b)를 예로 하는 쿼드트리 정보), 부호화 모드 m(Bn) 및 예측 차분 부호화 파라미터와 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여, 그들의 부호화 결과를 나타내는 부호화 데이터를 생성한다(스텝 ST13).
또한, 가변 길이 부호화부(13)는, 도 15에 예시한 바와 같이, 부호화 비트 스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트를 부호화하여, 픽쳐 데이터와 함께 부호화 비트 스트림을 생성한다.
단, 픽쳐 데이터는 1 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 상기 슬라이스내에 있는 상기 부호화 데이터를 통합한 것이다.
시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호값의 비트 심도, 시퀀스 단위로서의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블록킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 통합한 것이다.
픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그 등의 픽쳐 단위로 설정하는 헤더 정보를 통합한 것이다.
슬라이스 레벨 헤더는, 상기 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올 인트라 부호화, 인터 부호화 등), 상기 슬라이스에서 사용하는 적응 파라미터 세트의 인덱스 및 상기 인덱스가 나타내는 적응 파라미터 세트를 이용한 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블록킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등이라고 하는 슬라이스 단위의 파라미터를 통합한 것이다.
적응 파라미터 세트는, 적응 필터 처리, 화소 적응 오프셋 처리, 디블록킹 필터 처리에 관한 파라미터(필터 파라미터)와, 양자화 매트릭스에 관한 파라미터(양자화 매트릭스 파라미터)를 가지는 파라미터 세트이며, 부호화 비트 스트림으로 다중화되어 있는 복수의 적응 파라미터 세트를 식별하기 위해서, 각 적응 파라미터 세트는 인덱스(aps＿id)를 가지고 있다.
그리고, 각 적응 파라미터 세트는, 적응 필터 처리, 화소 적응 오프셋 처리, 디블록킹 필터 처리에 관한 각각의 필터 파라미터와, 양자화 매트릭스 파라미터가 각각 존재하고 있는지 여부를 나타내는 플래그(present＿flag)를 가지고 있고, 각 존재 플래그가 "유효"인 경우에는, 그에 대응하는 파라미터를 가지고 있다.
따라서, 적응 파라미터 세트는, 각 파라미터가 있는지 여부를 자유롭게 설정할 수 있다.
각 슬라이스는, 슬라이스 레벨 헤더내에 슬라이스의 복호 처리시에 참조하는 적응 파라미터 세트의 인덱스(aps＿id)를 적어도 1개 이상 가지고 있고, 대응하는 적응 파라미터 세트를 참조하여, 양자화 처리·역양자화 처리나 루프 필터 처리를 실시한다.
또한, 적응 파라미터 세트를 부호화하여 부호화 비트 스트림으로 다중화할 때, 동일한 인덱스(aps＿id)를 가지는 적응 파라미터 세트가 이미 부호화 비트 스트림에 존재하는 경우에는, 그 인덱스를 가지는 적응 파라미터 세트가, 상기의 부호화 대상의 적응 파라미터 세트로 치환된다.
따라서, 새로운 적응 파라미터 세트를 부호화할 때, 이미 부호화된 적응 파라미터 세트가 불필요한 경우에는, 그 불필요한 적응 파라미터 세트의 인덱스로 부호화함으로써, 적응 파라미터 세트의 오버라이트 갱신이 가능하게 되어, 보존해야 하는 적응 파라미터 세트의 수를 증대시키지 않아도 되기 때문에, 사용할 메모리의 용량을 억제할 수 있다.
또한, 가변 길이 부호화부(13)는, 도 18과 같이 시퀀스의 전환 시에 새로운 시퀀스 레벨 헤더(시퀀스 레벨 헤더 2)를 부호화하는 경우, 본 시퀀스 레벨 헤더보다 전에 부호화되어 있는 적응 파라미터 세트를 모두 무효로 한다.
따라서, 도 18에 있어서, 픽쳐 데이터 30의 부호화에 적응 파라미터 세트 2를 참조한다고 하는 시퀀스 레벨 헤더에 걸친 적응 파라미터 세트의 참조는 금지된다.
즉, 새로운 시퀀스 레벨 헤더(시퀀스 레벨 헤더 2)를 부호화한 후의 픽쳐로, 적응 파라미터 세트내의 파라미터를 이용하는 경우에는, 그 파라미터를 새로운 적응 파라미터 세트로서 부호화할 필요가 있다. 따라서, 상기 적응 파라미터 세트의 무효화 처리 등에 의해 과거의 적응 파라미터 세트를 일절 사용할 수 없는 경우에 새롭게 부호화하는 적응 파라미터 세트는, 양자화 매트릭스 등의 파라미터가 과거의 적응 파라미터 세트를 참조하지 않는, 상기 적응 파라미터 세트만으로 모든 파라미터를 복호할 수 있는 적응 파라미터 세트가 된다.
이와 같이, 시퀀스의 전환 시에 시퀀스 레벨 헤더에 의해, 적응 파라미터 세트를 초기화함으로써, 동화상 복호 장치에 있어서, 새로운 시퀀스 레벨 헤더가 복호되기 전의 부호화 비트 스트림에 에러가 생겼을 때에, 그 스트림내에 있는 적응 파라미터 세트를 참조하는 것에 의한 복호 에러를 회피할 수 있어, 에러 내성을 증대시킬 수 있다.
단, 시퀀스 레벨 헤더에 적응 파라미터 세트의 초기화 플래그 aps＿reset＿flag를 가지도록 구성하여 에러 내성을 높이도록 해도 좋다. 구체적으로는, 초기화 플래그 aps＿reset＿flag가 "유효"인 경우만 적응 파라미터 세트를 초기화하고, 초기화 플래그 aps＿reset＿flag가 "무효"인 경우에는 적응 파라미터 세트를 초기화하지 않도록 한다. 이와 같이 시퀀스 레벨 헤더의 파라미터의 하나로서 적응 파라미터 세트의 초기화 플래그를 가지도록 함으로써 적응적인 초기화 처리를 실시할 수 있고, 에러 내성을 높일 필요가 있을 때에만 초기화함으로써 적응 파라미터 세트의 초기화에 의한 부호화 효율의 저하를 억제할 수 있다.
또한, IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 행하는 경우, 복호 처리의 고속화의 실현이나 에러 내성 향상을 위해, 적응 파라미터 세트의 파라미터의 일부로서, 부호화 완료된 적응 파라미터 세트를 무효로 하는 플래그 previous＿aps＿clear＿flag를 갖게 한다. 가변 길이 부호화부(13)는, previous＿aps＿clear＿flag가 "유효"인 경우, 그 적응 파라미터 세트보다 전에 부호화된 적응 파라미터 세트를 무효로 하고, previous＿aps＿clear＿flag가 "무효"인 경우에는, 상기 무효화 처리는 실시하지 않는다.
도 24는 일부의 적응 파라미터 세트의 무효화 처리를 나타내는 부호화 비트 스트림의 예를 나타내고 있다. 단, 도 24의 픽쳐 데이터 31은, 시퀀스 레벨 헤더 2, 픽쳐 레벨 헤더 3, 적응 파라미터 세트 21을 참조하여 부호화(복호) 처리를 행하는 것으로 한다. 일반적으로, 이와 같이 픽쳐 데이터와 관련하는 헤더 정보를 통합한 픽쳐 액세스의 단위를 액세스 유닛이라고 칭한다. 도 24의 적응 파라미터 세트에 대해, 적응 파라미터 세트 21만 플래그 previous＿aps＿clear＿flag를 "유효"로 함으로써, 적응 파라미터 세트 1로부터 적응 파라미터 세트 20까지가 무효화되어, 부호화순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 불가가 된다. 따라서, IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 행하는 경우에는, 도 24의 시퀀스 레벨 헤더 2로부터 복호하면 충분하게 된다.
한편, 랜덤 액세스시의 고속의 복호 처리나 높은 에러 내성을 필요로 하지 않는 경우에는 플래그 previous＿aps＿clear＿flag를 항상 "무효"로 하여 적응 파라미터 세트의 무효화를 행하지 않도록 하면 좋다. 따라서, 플래그 previous＿aps＿clear＿flag에 의해 적응적인 적응 파라미터 세트의 무효화 처리를 실현할 수 있다.
상기 예에서는 적응 파라미터 세트내의 플래그 previous＿aps＿clear＿flag에 의해, 랜덤 액세스를 위한 적응적인 적응 파라미터 세트의 무효화 처리를 실현하고 있지만, 시퀀스 레벨 헤더 또는 NAL 유닛내에, IDR 픽쳐 또는 CRA 픽쳐를 부호화(복호)할 때에 일부의 적응 파라미터 세트를 무효화하는 플래그 part＿aps＿clear＿flag를 갖게 함으로써 랜덤 액세스를 위한 적응적인 적응 파라미터 세트의 무효화 처리를 실현해도 좋다.
구체적으로는, IDR 픽쳐 또는 CRA 픽쳐의 부호화 시에 플래그 part＿aps＿clear＿flag가 "유효"이면, 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐의 하나 전의 픽쳐의 픽쳐 데이터보다 전에 있는 적응 파라미터 세트를 무효로 함으로써, 플래그 previous＿aps＿clear＿flag의 경우와 마찬가지의 랜덤 액세스를 위한 적응적인 적응 파라미터 세트의 무효화 처리를 실현한다. 즉, 도 24의 예의 경우, 시퀀스 레벨 헤더 2 또는, 픽쳐 데이터 31의 NAL 유닛내에 있는 플래그 part＿aps＿clear＿flag를 "유효"로 함으로써, 픽쳐 데이터 31의 부호화 시에 픽쳐 데이터 31의 하나 전의 픽쳐 데이터인 픽쳐 데이터 30보다 전에 있는 적응 파라미터 세트를 무효로 하기 때문에, 부호화순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 불가가 된다. 즉, IDR 픽쳐나 CRA 픽쳐의 픽쳐 데이터를 포함하는 액세스 유닛보다 전의 적응 파라미터 세트가 무효화되어, 참조는 불가가 된다. 따라서, IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 행하는 경우에는, 도 24의 시퀀스 레벨 헤더 2로부터 복호하면 충분하게 된다.
또한, 상기의 설명에서는, 플래그 part＿aps＿clear＿flag가 "유효"인 경우에 적응 파라미터 세트의 무효화 처리를 행하도록 하고 있지만, 상기 플래그를 마련하지 않고, IDR 픽쳐 또는 CRA 픽쳐의 부호화 시에, 항상 적응 파라미터 세트의 무효화 처리를 행하도록 해도 좋다. 이와 같이 함으로써, 상기 플래그의 부호화에 필요로 하는 부호량분의 부호량이 삭감되고, 또한, 부호화 처리 시에 상기 플래그를 참조하는 처리가 불필요해져, 동화상 부호화 장치가 간이화된다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 다른 방법으로서, 적응 파라미터 세트내에 aps＿group＿id라고 하는 파라미터를 가지는 동화상 부호화 장치를 구성하는 것도 생각할 수 있다.
상기 동화상 부호화 장치에서는, 도 27에 나타낸 바와 같이, 적응 파라미터 세트내에 상기 파라미터를 마련하여, 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐를 부호화할 때에, 상기 IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터가 참조하는 적응 파라미터 세트가 가지는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 한다.
예를 들면, 도 24의 경우, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 aps＿group＿id를 0으로 하고, 적응 파라미터 세트 21 이후에는 aps＿group＿id를 1로 함으로써, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조할 때에, 적응 파라미터 세트 21의 aps＿group＿id(=1)와는 상이한 aps＿group＿id(=0)를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20을 무효화한다. 따라서, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되지 않는다.
이와 같이, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트의 aps＿group＿id의 값을 변경하도록 부호화함으로써 적응 파라미터 세트의 참조가 제한되고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터를 포함하는 액세스 유닛으로부터 복호를 개시하면, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다. 또한, aps＿group＿id는 0 또는 1만을 가지는 플래그로 해도 좋고, 그 경우에는, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트가 가지는 상기 플래그의 값을 0으로부터 1, 혹은, 1로부터 0으로 전환하도록 함으로써, 마찬가지의 적응 파라미터 세트의 무효화 처리를 실현할 수 있다.
상기 aps＿group＿id를 도입하는 수법을 이용함으로써, 부호화 비트 스트림을 복수의 회선으로 분배하여 송신하는 등이라고 하는 이유에 의해, 동화상 복호 장치측에서 수취하는 부호화 비트 스트림내의 데이터의 순서가, 동화상 부호화 장치측에서 부호화한 순서로부터 바뀌어 버렸을 경우에 있어서도, 정확하게 복호할 수 있다. 구체적으로는, 도 24의 순서로 부호화한 부호화 비트 스트림이, 도 28에 나타낸 바와 같이, 동화상 복호 장치측에서는 적응 파라미터 세트 21, 22가 픽쳐 데이터 30보다 먼저 복호하도록 바뀌어 있어도, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조했을 때에, 적응 파라미터 세트 21과 상이한 aps＿group＿id(=0)를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20을 적절히 무효화할 수 있다.
또한, 상기 aps＿group＿id를 도입하는 수법에 있어서, 에러 내성보다 부호화 효율을 우선하는 경우, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트의 aps＿group＿id의 값을 전환하지 않도록 부호화함으로써, 적응 파라미터 세트는 무효화되지 않아도 되기 때문에, 참조 가능한 적응 파라미터 세트가 제한되는 것에 의한 부호화 효율의 저하를 회피할 수 있다.
또한, 적응 파라미터 세트내에 aps＿group＿id를 가지는 동화상 부호화 장치에 대해, IDR 픽쳐 또는 CRA 픽쳐 이외의 픽쳐를 복호할 때에도 참조하는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 하도록 동화상 부호화 장치를 구성해도 좋다. 이와 같이 함으로써, 적응 파라미터 세트의 aps＿group＿id의 변경의 타이밍을 임의로 행하는 것에 의한 적응 파라미터 세트의 적응적인 무효화 처리를 행할 수 있어, 적응적인 에러 내성 처리를 실현할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 다른 방법으로서, IDR 픽쳐 또는 CRA 픽쳐를 부호화할 때에, 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐가 참조하는 적응 파라미터 세트의 인덱스(aps＿id)보다 작은 인덱스를 가지는 적응 파라미터 세트를 무효화하도록 동화상 부호화 장치를 구성해도 좋다.
즉, 도 24, 도 28의 예에 있어서 부호화순으로 적응 파라미터 세트의 인덱스가 할당되어 있는 경우, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조했을 때에, 적응 파라미터 세트 21의 인덱스보다 작은 인덱스를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20이 무효화된다. 따라서, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되는 것이 없고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31을 포함하는 액세스 유닛으로부터 복호를 개시하면, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다.
또한, 가변 길이 부호화부(13)는, 양자화 매트릭스 파라미터를 적응 파라미터 세트로서 부호화하는 것이 아니라, 픽쳐 단위로 변경 가능한 파라미터로서, 픽쳐 레벨 헤더내에서 부호화하도록 구성해도 좋다. 이와 같이 함으로써, 양자화 매트릭스 파라미터와 필터 파라미터를 독립한 단위로 부호화할 수 있다. 이 경우, 상기에서 설명한 시퀀스 레벨 헤더에 의한 적응 파라미터 세트 초기화 처리나, IDR, CRA 픽쳐에 따른 적응 파라미터 세트의 무효화 처리와 마찬가지의 처리가 양자화 매트릭스 파라미터에도 실시된다.
또한, 가변 길이 부호화부(13)는, 루프 필터부(11)에서 사용하는 필터 파라미터를 적응 파라미터 세트로서 부호화하는 것이 아니라, 슬라이스 단위로 사용하는 필터 파라미터를 직접 슬라이스 레벨 헤더 등의 슬라이스 데이터로 부호화하도록 구성해도 좋다. 이와 같이 함으로써, 슬라이스 간에 중복하는 필터 파라미터가 존재하지 않는 경우, 루프 필터부(11)에서 사용하는 필터 파라미터를 위해서 슬라이스 레벨 헤더의 하나인 슬라이스의 복호 처리시에 참조하는 적응 파라미터 세트의 인덱스를 부호화할 필요가 없어지기 때문에, 인덱스의 부호량을 삭감할 수 있어, 부호화 효율을 개선할 수 있다.
다음에, 인트라 예측부(4)의 처리 내용을 상세하게 설명한다.
도 7은 부호화 블록 Bn내의 각 예측 블록 Pi n이 선택 가능한 인트라 예측 파라미터인 인트라 예측 모드의 일례를 나타내는 설명도이다. 단, NI는 인트라 예측 모드 수를 나타내고 있다.
도 7에서는, 인트라 예측 모드의 인덱스 값과, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 도 7의 예에서는, 선택 가능한 인트라 예측 모드의 개수가 증가함에 따라, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계되어 있다.
인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 Pi n의 인트라 예측 파라미터를 참조하여, 그 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하고, 인트라 예측 화상 PINTRAi n을 생성하지만, 여기에서는, 휘도 신호에 있어서의 예측 블록 Pi n의 인트라 예측 신호를 생성하는 인트라 처리에 대해 설명한다.
예측 블록 Pi n의 사이즈를 li n×mi n 화소로 한다.
도 8은 li n=mi n=4인 경우의 예측 블록 Pi n내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 8에서는, 예측 블록 Pi n 상의 부호화 완료된 화소 (2×li n＋1)개와, 왼쪽의 부호화 완료된 화소 (2×mi n)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다 많아도 좋고 적어도 좋다.
또한, 도 8에서는, 예측 블록 Pi n의 근방의 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용해도 좋다.
예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스 값이 0(평면(Planar) 예측)인 경우에는, 예측 블록 Pi n 상에 인접하는 부호화 완료된 화소와 예측 블록 Pi n의 왼쪽에 인접하는 부호화 완료된 화소를 이용하여, 이들 화소와 예측 블록 Pi n내의 예측 대상 화소의 거리에 따라 내삽한 값을 예측값으로 하여 예측 화상을 생성한다.
예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스 값이 2(평균치(DC) 예측)인 경우에는, 예측 블록 Pi n 상에 인접하는 부호화 완료된 화소와 예측 블록 Pi n의 왼쪽에 인접하는 부호화 완료된 화소의 평균치를 예측 블록 Pi n내의 화소의 예측값으로 하여 예측 화상을 생성한다.
인트라 예측 모드의 인덱스 값이 0(평면 예측)과 2(평균치 예측) 이외인 경우에는, 인덱스 값이 나타내는 예측 방향 벡터 υp=(dx, dy)에 근거하여, 예측 블록 Pi n내의 화소의 예측값을 생성한다.
도 9에 나타낸 바와 같이, 예측 블록 Pi n의 좌상 화소를 원점으로 하여 예측 블록 Pi n내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.
Figure pat00001
참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측값으로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.
도 8의 예에서는, 참조 화소는 정수 화소 위치에 없기 때문에, 참조 화소에 인접하는 2 화소로부터 내삽한 것을 예측값으로 한다. 또한, 인접하는 2 화소만이 아니고, 인접하는 2 화소 이상의 화소로부터 보간 화소를 생성하여 예측값으로 해도 좋다.
보간 처리에 이용하는 화소를 많게 함으로써 보간 화소의 보간 정밀도를 향상시키는 효과가 있는 한편, 보간 처리에 필요로 하는 연산의 복잡도가 증가하므로, 연산 부하가 커도 높은 부호화 성능을 요구하는 동화상 부호화 장치인 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.
이상으로 서술한 처리에 의해, 예측 블록 Pi n내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여, 인트라 예측 화상 PINTRAi n을 출력한다.
또한, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터(인트라 예측 모드)는, 비트 스트림으로 다중화하기 위해서 가변 길이 부호화부(13)에 출력된다.
또한, 앞서 설명한 MPEG－4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측시에 참조 화상에 대해서 실시되는 평활화 처리와 마찬가지로, 인트라 예측부(4)에 있어서, 예측 블록 Pi n의 중간 예측 화상을 생성할 때의 참조 화소를, 예측 블록 Pi n에 인접하는 부호화 완료된 화소를 평활화 처리한 화소로 하도록 구성했을 경우에도, 상술의 예와 마찬가지의 중간 예측 화상에 대한 필터 처리를 행할 수 있다.
예측 블록 Pi n의 색차 신호에 대해서도, 휘도 신호와 마찬가지의 순서로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
단, 색차 신호로 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)는 휘도 신호와 상이해도 좋다. 예를 들면, YUV 신호 4： 2： 0 포맷의 경우, 색차 신호(U, V 신호)는, 휘도 신호(Y 신호)에 대해서 해상도를 수평 방향, 수직 방향 모두 1/2로 축소한 신호이며, 휘도 신호에 비해 화상 신호의 복잡성이 낮고 예측이 용이하므로, 선택 가능한 인트라 예측 파라미터는 휘도 신호보다도 적은 수로 하여 인트라 예측 파라미터를 부호화하는데 필요로 하는 부호량의 삭감이나, 예측 처리의 저 연산화를 도모해도 좋다.
다음에, 도 3의 동화상 복호 장치의 처리 내용을 구체적으로 설명한다.
가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치에 의해 생성된 부호화 비트 스트림을 입력하면, 그 비트 스트림에 대한 가변 길이 복호 처리를 실시하고(도 4의 스텝 ST21), 프레임 사이즈의 정보 등의 1 프레임 이상의 픽쳐로 구성되는 시퀀스 단위의 헤더 정보(시퀀스 레벨 헤더) 및 픽쳐 단위의 헤더 정보(픽쳐 레벨 헤더), 적응 파라미터 세트로서 부호화된 루프 필터부(38)에서 사용하는 필터 파라미터나 양자화 매트릭스 파라미터를 복호한다.
이 때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 적응 파라미터 세트내의 양자화 매트릭스 파라미터로부터, 상기 적응 파라미터 세트의 양자화 매트릭스를 특정한다. 구체적으로는, 각 직교 변환 사이즈의 색 신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인 (새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우에는, 상기 적응 파라미터 세트에 포함되는 상기 매트릭스 중의 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우에는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용할 양자화 매트릭스로서 특정한다.
그리고, 픽쳐 단위의 데이터를 구성하는 슬라이스 데이터로부터, 슬라이스 분할 정보 등의 슬라이스 단위의 헤더 정보(슬라이스 레벨 헤더)를 복호하고, 각 슬라이스의 부호화 데이터를 복호한다. 이 때, 각 슬라이스에서 이용하는 적응 파라미터 세트는, 슬라이스 레벨 헤더내에 존재하는 적응 파라미터 세트의 인덱스(aps＿id)를 참조함으로써 특정한다.
단, 도 1의 동화상 부호화 장치에 있어서, 루프 필터부(38)에서 사용하는 필터 파라미터를 적응 파라미터 세트로서 부호화하는 것이 아니라, 슬라이스 단위로 사용하는 필터 파라미터를 직접 슬라이스 데이터로 부호화하고 있는 경우에는, 슬라이스 데이터로부터 루프 필터부(38)에서 사용하는 필터 파라미터를 복호한다.
또한, 가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층 수의 상한을 동화상 부호화 장치와 마찬가지의 순서로 결정한다(스텝 ST22).
예를 들면, 최대 부호화 블록 사이즈나 분할 계층 수의 상한이 영상 신호의 해상도에 따라 결정되었을 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 동화상 부호화 장치와 마찬가지의 순서로 최대 부호화 블록 사이즈를 결정한다.
최대 부호화 블록 사이즈 및 분할 계층 수의 상한이, 동화상 부호화 장치측에서 시퀀스 레벨 헤더 등으로 다중화되어 있는 경우에는, 상기 헤더로부터 복호한 값을 이용한다.
이후, 동화상 복호 장치에서는, 상기 최대 부호화 블록 사이즈를 최대 복호 블록 사이즈라고 칭하고, 최대 부호화 블록을 최대 복호 블록이라고 칭한다.
가변 길이 복호부(31)는, 결정된 최대 복호 블록 단위로, 도 6에서 나타내어지는 바와 같은 최대 복호 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정한다(스텝 ST23).
다음에, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 근거하여, 복호 블록을 1개 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하여, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(스텝 ST24).
즉, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.
한편, 복호 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(스텝 ST24).
또한, 가변 길이 복호부(31)는, 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보에 근거하여, 직교 변환 블록마다 압축 데이터(변환·양자화 후의 변환 계수)를 복호한다(스텝 ST24).
전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인트라 부호화 모드이면(m(Bn)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.
한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인터 부호화 모드이면(m(Bn)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.
인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인트라 부호화 모드(m(Bn)∈INTRA)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 수취하고, 도 1의 인트라 예측부(4)와 마찬가지의 순서로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 복호 블록 Bn내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST26).
움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인터 부호화 모드(m(Bn)∈INTER)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 수취하고, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터 처리 후의 복호 화상을 참조하면서, 그 움직임 벡터와 인터 예측 파라미터를 이용한 복호 블록 Bn내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여 인터 예측 화상 PINTERi n을 생성한다(스텝 ST27).
역양자화·역변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 수취하면, 도 1의 역양자화·역변환부(8)과 마찬가지의 순서로, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 그 압축 데이터를 역양자화한다.
이 때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 헤더 정보가, 상기 슬라이스에서 양자화 매트릭스를 이용하여, 역양자화 처리를 실시하는 것을 나타내고 있는 경우에는, 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
이 때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화나 인터 부호화)마다 사용하는 양자화 매트릭스를 특정한다.
구체적으로는, 슬라이스 레벨 헤더로부터 특정되는 상기 슬라이스에서 참조하는 적응 파라미터 세트의 양자화 매트릭스를 상기 슬라이스에서 사용하는 양자화 매트릭스로 설정한다.
또한, 역양자화·역변환부(32)는, 직교 변환 블록 단위로 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 도 1의 역양자화·역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(스텝 ST28).
가산부(36)는, 역양자화·역변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 PINTERi n 중 어느 한쪽을 가산하여 복호 화상을 산출하고, 그 복호 화상을 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(스텝 ST29).
이 복호 화상이, 이후의 인트라 예측 처리 시에 이용되는 복호 완료된 화상 신호로 된다.
루프 필터부(38)는, 모든 복호 블록 Bn에 대한 스텝 ST23∼ST29의 처리가 완료하면(스텝 ST30), 가산부(36)로부터 출력된 복호 화상에 대해서, 소정의 필터 처리를 실시하고, 필터 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(스텝 ST31).
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블록킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는 (화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블록킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대해, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 상기 슬라이스에서 처리를 행하는지 여부를 특정한다.
이 때, 2개 이상의 필터 처리를 행하는 경우에, 동화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있는 경우에는, 도 12에 나타낸 바와 같이 루프 필터부(38)가 구성된다.
여기서, 디블록킹 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 블록 경계에 걸치는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경하는 정보가 존재하는 경우에는, 그 변경 정보에 근거하여, 디블록킹 필터 처리를 실시한다. 변경 정보가 없는 경우에는, 미리 정해진 수법에 따라 행한다.
화소 적응 오프셋 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 그 적응 파라미터 세트에 포함되는 블록 분할 정보에 근거하여 분할하고, 그 블록 단위로, 그 적응 파라미터 세트에 포함되는 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는" 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라 클래스 분류한다.
또한, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.
그리고, 루프 필터부(38)는, 블록 단위의 각 클래스의 오프셋 값을 특정하는 적응 파라미터 세트에 포함되는 오프셋 정보를 참조하여, 복호 화상의 휘도값에 오프셋을 가산하는 처리를 행한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 화소 적응 오프셋 처리에 있어서, 블록 분할 정보는 부호화하지 않고, 항상 화상을 고정 사이즈의 블록 단위(예를 들면, 최대 부호화 블록 단위)로 분할하고, 그 블록마다 클래스 분류 수법을 선택하여 클래스마다의 적응 오프셋 처리를 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록 단위로 화소 적응 오프셋 처리를 실시한다.
적응 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 그 적응 파라미터 세트에 포함되는 클래스마다의 필터를 이용하여, 도 1의 동화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 적응 필터 처리에 있어서, 상기의 클래스 분류 및 필터 설계·처리를 화상 전체에 대해서가 아니고, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록마다 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록마다, 각 클래스에서 이용하는 필터를 복호하여 상기 클래스 분류 및 필터 처리를 행한다.
이 루프 필터부(38)에 의한 필터 처리 후의 복호 화상이, 움직임 보상 예측용의 참조 화상으로 되고, 또한, 재생 화상으로 된다.
또한, 가변 길이 복호부(31)는, 도 18과 같이, 시퀀스의 전환을 위해서 부호화 비트 스트림의 도중에 새로운 시퀀스 레벨 헤더(시퀀스 레벨 헤더 2)가 삽입되어 있는 경우, 새로운 시퀀스 레벨 헤더를 복호하는 시점에서 이미 복호되어 있는 적응 파라미터 세트를 모두 무효로 한다.
따라서, 도 18에 있어서, 픽쳐 데이터 30의 복호시에 적응 파라미터 세트 2를 참조한다고 하는 시퀀스 레벨 헤더에 걸친 적응 파라미터 세트의 참조는 발생하지 않는다. 또한, 상기 적응 파라미터 세트의 무효화 처리 등에 의해 과거의 적응 파라미터 세트를 일절 사용할 수 없는 경우에 복호되는 적응 파라미터 세트는, 양자화 매트릭스 등의 파라미터가 과거의 적응 파라미터 세트를 참조하지 않는, 상기 적응 파라미터 세트만으로 모든 파라미터를 복호할 수 있는 적응 파라미터 세트가 된다.
이 제한에 의해, 새로운 시퀀스 레벨 헤더보다 전의 부호화 비트 스트림에 에러가 생겼을 때에 그 비트 스트림내에 있는 적응 파라미터 세트를 참조하는 것에 의한 복호 에러를 회피할 수 있어, 에러 내성을 높일 수 있다.
단, 동화상 부호화 장치가 시퀀스 레벨 헤더에 적응 파라미터 세트의 초기화 플래그 aps＿reset＿flag를 가지도록 구성되어 있는 경우에는, 가변 길이 복호부(31)에 의해 복호된 플래그 aps＿reset＿flag가 "유효"인 경우만 적응 파라미터 세트를 초기화하고, 플래그 aps＿reset＿flag가 "무효"인 경우에는 적응 파라미터 세트를 초기화하지 않도록 한다. 이와 같이 함으로써, 적응 파라미터 세트의 초기화 플래그 aps＿reset＿flag에 의한 적응적인 초기화 처리를 행하는 동화상 부호화 장치에서 생성된 스트림을 정확하게 복호할 수 있다.
또한, 동화상 부호화 장치가 적응 파라미터 세트의 파라미터의 일부로서, 복호가 완료된 적응 파라미터 세트를 무효로 하는 플래그 previous＿aps＿clear＿flag를 가지도록 구성되어 있는 경우에는, 가변 길이 복호부(31)에 의해 복호된 previous＿aps＿clear＿flag가 "유효"인 경우, 가변 길이 복호부(31)는, 그 적응 파라미터 세트보다 전에 복호된 적응 파라미터 세트를 무효로 하고, previous＿aps＿clear＿flag가 "무효"인 경우에는, 상기 무효화 처리는 실시하지 않는다.
즉, 도 24의 부호화 비트 스트림의 예에 있어서, 동화상 부호화 장치의 가변 길이 부호화부(13)가 적응 파라미터 세트 21의 플래그 previous＿aps＿clear＿flag를 "유효"로 부호화하고 있으면, 적응 파라미터 세트 1로부터 적응 파라미터 세트 20까지가 무효화되고, 부호화순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 행해지지 않기 때문에, IDR 픽쳐 또는 CRA 픽쳐인 픽쳐 데이터 31을 포함하는 액세스 유닛의 선두인 시퀀스 레벨 헤더 2로부터의 복호로 IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 실현할 수 있다.
혹은, 동화상 부호화 장치가 시퀀스 레벨 헤더 또는, NAL 유닛내에 IDR 픽쳐 또는 CRA 픽쳐를 복호할 때에 일부의 적응 파라미터 세트를 무효화하는 플래그 part＿aps＿clear＿flag를 갖게 함으로써 랜덤 액세스를 위한 적응 파라미터 세트의 무효화 처리를 실현하도록 구성되어 있는 경우에는, IDR 픽쳐 또는 CRA 픽쳐의 복호 시에 가변 길이 복호부(31)에 의해 복호된 플래그 part＿aps＿clear＿flag가 "유효"이면, 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐의 하나 전의 픽쳐의 픽쳐 데이터보다 전에 있는 적응 파라미터 세트를 무효로 한다. 즉, 도 24의 예의 경우, 동화상 부호화 장치의 가변 길이 부호화부(13)가 시퀀스 레벨 헤더 2 또는, 픽쳐 데이터 31의 NAL 유닛내에 있는 플래그 part＿aps＿clear＿flag를 "유효"로 부호화하고 있으면, 픽쳐 데이터 31의 복호 시에 픽쳐 데이터 31의 하나 전의 픽쳐 데이터인 픽쳐 데이터 30보다 전에 있는 적응 파라미터 세트를 무효로 하기 때문에, 복호순으로 IDR 픽쳐 또는 CRA 픽쳐 이후의 픽쳐에서는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 참조는 행해지지 않고, 시퀀스 레벨 헤더 2로부터의 복호로 IDR 픽쳐나 CRA 픽쳐에 의한 랜덤 액세스를 실현할 수 있다.
단, 동화상 부호화 장치가 상기 플래그를 마련하지 않고, IDR 픽쳐 또는 CRA 픽쳐의 부호화 시에, 항상 적응 파라미터 세트의 무효화 처리를 행하도록 구성되어 있는 경우, IDR 픽쳐 또는 CRA 픽쳐의 복호 시에, 가변 길이 복호부(31)가 항상 상기 적응 파라미터 세트의 무효화 처리를 행하도록 동화상 복호 장치를 구성함으로써, 상기 동화상 부호화 장치에서 생성된 부호화 비트 스트림을 정확하게 복호할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 방법으로서, 동화상 부호화 장치가 적응 파라미터 세트내에 aps＿group＿id라고 하는 파라미터를 가지도록 구성되어 있는 경우, 동화상 복호 장치의 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐를 복호할 때에, 상기 IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터가 참조하는 적응 파라미터 세트가 가지는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 한다.
예를 들면, 도 24의 경우, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20의 aps＿group＿id를 0으로 하고, 적응 파라미터 세트 21 이후에는 aps＿group＿id를 1로 하도록 동화상 부호화 장치가 부호화함으로써, 동화상 복호 장치의 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조할 때에, 적응 파라미터 세트 21의 aps＿group＿id(=1)와는 상이한 aps＿group＿id(=0)를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20을 무효화하기 때문에, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되는 것이 없고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31을 포함하는 액세스 유닛의 선두인 시퀀스 레벨 헤더 2로부터 복호를 개시함으로써, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다.
또한, 상기 aps＿group＿id를 도입하는 수법에 있어서, 동화상 부호화 장치가 에러 내성보다 부호화 효율을 우선하여, IDR 픽쳐 또는 CRA 픽쳐에 따라 적응 파라미터 세트의 aps＿group＿id의 값의 전환을 행하지 않도록 부호화하고 있는 경우, 동화상 복호 장치에 있어서도, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터가 적응 파라미터 세트를 참조할 때에, 참조하는 적응 파라미터 세트가 가지는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트가 존재하지 않기 때문에, 적응 파라미터 세트는 무효화되지 않고 정확하게 복호할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐 이외의 픽쳐를 복호할 때에도 참조하는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 하도록 동화상 부호화 장치가 구성되어 있는 경우, 동화상 복호 장치의 가변 길이 복호부(31)는 픽쳐를 복호할 때에 참조하는 aps＿group＿id와는 상이한 값의 aps＿group＿id를 가지는 적응 파라미터 세트를 무효로 한다. 이와 같이 함으로써, 적응 파라미터 세트의 aps＿group＿id의 변경의 타이밍을 임의로 행하는 것에 의한 적응 파라미터 세트의 적응적인 무효화 처리를 실현하는 동화상 부호화 장치에서 생성된 스트림을 정확하게 복호할 수 있다.
또한, IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 실현하는 다른 방법으로서, 동화상 부호화 장치의 가변 길이 부호화부(13)가 IDR 픽쳐 또는 CRA 픽쳐를 부호화할 때에, 적응 파라미터 세트의 인덱스(aps＿id)에 의해 IDR 픽쳐 또는 CRA 픽쳐에 의한 적응 파라미터 세트의 무효화 처리를 행하도록 구성되어 있는 경우, 동화상 복호 장치의 가변 길이 복호부(31)는, IDR 픽쳐 또는 CRA 픽쳐가 참조하는 적응 파라미터 세트를 참조했을 때에, 상기 적응 파라미터 세트의 인덱스(aps＿id)보다 작은 인덱스를 가지는 적응 파라미터 세트를 무효화한다.
즉, 도 24, 도 28의 예에 있어서 부호화순으로 적응 파라미터 세트의 인덱스가 할당되어 있는 경우, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31이 적응 파라미터 세트 21을 참조했을 때에, 적응 파라미터 세트 21의 인덱스보다 작은 인덱스를 가지는 적응 파라미터 세트 1 내지 적응 파라미터 세트 20이 무효화된다. 따라서, 적응 파라미터 세트 1 내지 적응 파라미터 세트 20은 픽쳐 데이터 31 이후의 픽쳐 데이터로부터 참조되는 것이 없고, 동화상 복호 장치는, IDR 픽쳐 또는 CRA 픽쳐의 픽쳐 데이터 31을 포함하는 액세스 유닛으로부터 복호를 개시하면, 소정의 픽쳐 이후에는 항상 정확하게 복호할 수 있다.
또한, 동화상 부호화 장치에 있어서, 양자화 매트릭스 파라미터를 적응 파라미터 세트로서 부호화하는 것이 아니라, 픽쳐 단위로 변경 가능한 파라미터로서, 픽쳐 레벨 헤더내에서 부호화하도록 구성되어 있는 경우, 상기에서 설명한 시퀀스 레벨 헤더에 의한 적응 파라미터 세트 초기화 처리나, IDR, CRA 픽쳐에 따른 적응 파라미터 세트의 무효화 처리와 마찬가지의 처리가 양자화 매트릭스 파라미터에도 실시된다.
이상으로 명백한 바와 같이, 이 실시 형태 1에 의하면, 루프 필터부(11)가, 국소 복호 화상을 복수의 블록으로 분할하여, 블록 단위로 클래스의 분류 수법을 선택하고, 그 분류 수법을 이용하여, 상기 블록내의 각 화소의 클래스 분류를 실시하는 한편, 각 클래스의 오프셋 값의 조합에 대응하는 인덱스를 나타내는 테이블을 참조하여, 클래스 분류를 실시하고 있는 각 화소의 화소 값에 가산하는 오프셋 값의 조합에 대응하는 인덱스를 특정함과 아울러, 그 오프셋 값을 상기 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고, 가변 길이 부호화부(13)가, 루프 필터부(11)에 의해 선택된 블록 단위의 클래스의 분류 수법을 나타내는 인덱스와, 루프 필터부(11)에 의해 특정된 오프셋 값의 조합에 대응하는 인덱스를 필터 파라미터로서 부호화하도록 구성했으므로, 오프셋 정보의 부호화에 필요로 하는 부호량을 삭감하면서, 고정밀의 왜곡 보상 처리를 실현할 수 있는 효과를 얻는다.
또한, 이 실시 형태 1에 의하면, 동화상 복호 장치의 루프 필터부(38)의 화소 적응 오프셋 처리의 클래스마다의 오프셋 값을 특정하기 위한 테이블을 갖고, 복호된 테이블의 인덱스 정보와 상기 테이블로부터 오프셋 값을 특정하도록 함으로써, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스마다의 오프셋 값을 테이블화하고 있는 동화상 부호화 장치에서 부호화된 비트 스트림을 정확하게 복호할 수 있는 효과를 얻는다.
(실시 형태 2)
상기 실시 형태 1에서는, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스마다의 오프셋 값의 조합을 테이블화함으로써 오프셋 정보의 부호화에 필요로 하는 부호량을 삭감하는 고정밀의 왜곡 보상 처리를 나타냈지만, 이 실시 형태 2에서는, 테이블을 이용하지 않고 오프셋 정보의 부호화에 필요로 하는 부호량을 삭감하는 수법에 대해 설명한다.
이 실시 형태 2에서는, 상기 실시 형태 1의 루프 필터부(11) 및 루프 필터부(38)의 화소 적응 오프셋 처리에 있어서의 각 클래스에 속하는 화소에 가산하는 오프셋 값의 산출 수법과, 부호화해야 할 오프셋 정보만이 상이하기 때문에, 그 점에 대해 설명한다.
EO 수법에서의 각 클래스의 오프셋 산출 처리를 하기와 같이 정의한다.
Figure pat00002
단, OFFSETz는, 클래스 z에서의 오프셋 값, X는 오프셋 값을 결정하는 파라미터를 나타내고,［n］는 실수 n의 정수 부분을 나타내고 있다.
이와 같이 정의함으로써, 각 클래스의 오프셋 값을 부호화할 필요가 없고, 파라미터 X만을 오프셋 정보로서 부호화하면 좋기 때문에, 부호량을 삭감할 수 있다.
또한, 상기 실시 형태 1의 클래스마다의 오프셋 값의 조합을 나타내는 테이블을 이용하는 경우에 비해, 테이블에 필요로 하는 메모리를 필요로 하지 않는 이점이 있다. 또한, BO 수법에 대해서도, 마찬가지로 하나의 파라미터만으로 각 클래스의 오프셋 값을 정의해도 좋다. 하기에 클래스 수 LBO를 3으로 했을 경우의 일례를 나타내고 있다.
Figure pat00003
단, Y는 오프셋 값을 결정하는 파라미터,［n］는 실수 n의 정수 부분을 나타내고 있다.
이 때, 가변 길이 부호화부(13)에 의한 상기 X, Y의 부호화 수법으로서는, 미리 취할 수 있는 값의 범위를 동화상 부호화 장치 및 동화상 복호 장치 공통으로 설정해 둠으로써, 도 25에 나타내는 truncated unary 부호와 같이 부호화 대상 심볼의 값의 범위를 고려한 2치화 수법을 이용함으로써 효율이 좋은 부호화가 가능해진다. 한편, 미리 취할 수 있는 범위를 설정하지 않는 경우에는, 도 26에 나타내는 unary 부호와 같은 부호화 대상 심볼의 값의 범위를 고려하지 않고 2치화할 수 있는 부호를 이용한다.
또한, 상기에서는 EO 수법, BO 수법 모두 하나의 파라미터만으로 각 클래스의 오프셋 값을 정의하고 있지만, 어느 한쪽은, 각 클래스의 오프셋 값 자체를 오프셋 정보로서 부호화하도록 해도 좋다.
이 때, 가변 길이 부호화부(13)에 의한 상기 오프셋 값의 부호화 수법으로서는, 미리 취할 수 있는 오프셋 값의 범위를 동화상 부호화 장치 및 동화상 복호 장치 공통으로 설정해 둠으로써, 도 25에 나타내는 truncated unary 부호와 같이 부호화 대상 심볼의 값의 범위를 고려한 2치화 수법을 이용함으로써 효율이 좋은 부호화가 가능해진다. 한편, 미리 취할 수 있는 오프셋 값의 범위를 설정하지 않는 경우에는, 도 26에 나타내는 unary 부호와 같은 부호화 대상 심볼의 값의 범위를 고려하지 않고 2치화할 수 있는 부호를 이용한다.
일반적으로 EO 수법은 화상의 에지부의 노이즈를 평활화하는 효과가 있고, 각 클래스의 화소 a, b, c의 관계로부터 클래스 간에서의 오프셋 값의 상관 관계가 높지만, BO 수법에 관해서는 EO 수법 정도의 명확한 클래스 간의 상관을 가지지 않는다. 따라서, EO 수법만 파라미터 X로 오프셋을 정의하고, BO 수법은 각 클래스의 오프셋 값 자체를 오프셋 정보로서 부호화하도록 한 쪽이, 오프셋 정보의 부호화에 필요로 하는 부호량이 증가하지만 높은 화상 품질 개선 효과를 얻을 수 있기 때문에 적절한 경우가 있다.
또한, 각 클래스의 오프셋 산출식은 색 신호마다 준비해도 좋다. 이와 같이 함으로써, 신호 특성이 상이한 색 신호마다 적절한 각 클래스의 오프셋 산출식을 준비할 수 있어, 화상 품질 개선 효과를 향상할 수 있다.
또한, 상기의 파라미터 X나 Y의 후보를 테이블로 준비해도 좋다. 이와 같이 함으로써, 파라미터 X나 Y가 취할 수 있는 값이 제한되어 버리지만, 테이블에 준비하는 후보값을 적절히 설정할 수 있는 경우에는, 파라미터 X나 Y의 부호화에 필요로 하는 부호량을 삭감하면서 고정밀의 왜곡 보상 처리를 실현할 수 있다.
그 밖에도, EO 수법은 상기 실시 형태 1의 오프셋 산출 수법 및 부호화, BO 수법은 실시 형태 2의 오프셋 산출 수법 및 부호화(혹은 EO 수법과 BO 수법이 역)와 같이, 양 실시 형태를 조합해도 좋다.
이상으로 명백한 바와 같이, 이 실시 형태 2에 의하면, 루프 필터부(11)가, 국소 복호 화상을 복수의 블록으로 분할하여, 블록 단위로 클래스의 분류 수법을 선택하고, 그 분류 수법을 이용하여, 상기 블록내의 각 화소의 클래스 분류를 실시하는 한편, 클래스 분류를 실시하고 있는 각 화소의 화소 값에 가산하는 오프셋 값을 산출하는 파라미터를 결정함과 아울러, 그 파라미터로부터 오프셋 값을 산출하여, 그 오프셋 값을 상기 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고, 가변 길이 부호화부(13)가, 루프 필터부(11)에 의해 선택된 블록 단위의 클래스의 분류 수법을 나타내는 인덱스와, 루프 필터부(11)에 의해 결정된 오프셋 값을 산출하는 파라미터를 필터 파라미터로서 부호화하도록 구성했으므로, 오프셋 정보의 부호화에 필요로 하는 부호량을 삭감하면서, 고정밀의 왜곡 보상 처리를 실현할 수 있는 효과를 얻는다.
또한, 이 실시 형태 2에 의하면, 동화상 복호 장치의 루프 필터부(38)의 화소 적응 오프셋 처리의 클래스마다의 오프셋 값을 하나의 파라미터로부터 특정하도록 함으로써, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스마다의 오프셋 값을 하나의 파라미터로 정의하도록 한 동화상 부호화 장치에서 부호화된 비트 스트림을 정확하게 복호할 수 있는 효과를 얻는다.
또한, 본원 발명은 그 발명의 범위내에 있어서, 각 실시 형태의 자유로운 조합, 혹은 각 실시 형태의 임의의 구성요소의 변형, 혹은 각 실시 형태에 있어서 임의의 구성요소의 생략이 가능하다.
(산업상의 이용 가능성)
본 발명은, 오프셋 정보의 부호화에 필요로 하는 부호량을 삭감하면서, 고정밀의 왜곡 보상 처리를 실현할 필요가 있는 것에 적합하다.
1 : 블록 분할부(블록 분할 수단)
2 : 부호화 제어부(부호화 파라미터 결정 수단)
3 : 전환 스위치
4 : 인트라 예측부(예측 수단)
5 : 움직임 보상 예측부(예측 수단)
6 : 감산부(차분 화상 생성 수단)
7 : 변환·양자화부(화상 압축 수단)
8 : 역양자화·역변환부(국소 복호 화상 생성 수단)
9 : 가산부(국소 복호 화상 생성 수단)
10 : 인트라 예측용 메모리(예측 수단)
11 : 루프 필터부(필터링 수단)
12 : 움직임 보상 예측 프레임 메모리(예측 수단)
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
14 : 슬라이스 분할부(슬라이스 분할 수단)
31 : 가변 길이 복호부(가변 길이 복호 수단)
32 : 역양자화·역변환부(차분 화상 생성 수단)
33 : 전환 스위치
34 : 인트라 예측부(예측 수단)
35 : 움직임 보상부(예측 수단)
36 : 가산부(복호 화상 생성 수단)
37 : 인트라 예측용 메모리(예측 수단)
38 : 루프 필터부(필터링 수단)
39 : 움직임 보상 예측 프레임 메모리(예측 수단)
101 : 블록 분할부
102 : 예측부
103 : 압축부
104 : 국소 복호부
105 : 가산기
106 : 루프 필터
107 : 메모리
108 : 가변 길이 부호화부

Claims (5)

  1. 입력 화상과 예측 화상의 차분 화상의 변환 처리를 실시하여 얻어지는 상기 차분 화상의 변환 계수를 양자화하고, 양자화 후의 변환 계수를 압축 데이터로서 출력하는 화상 압축 수단과,
    상기 압축 데이터로부터 복호된 차분 화상과 상기 예측 화상의 가산 결과인 국소 복호 화상에 필터 처리를 실시하는 필터링 수단과,
    상기 압축 데이터, 적응 파라미터 세트 및 상기 필터링 수단에 의해 필터 처리가 실시될 때에 이용되는 필터 파라미터를 가변 길이 부호화하여, 상기 압축 데이터 및 상기 필터 파라미터의 부호화 데이터가 다중화된 부호화 비트 스트림을 생성하는 가변 길이 부호화 수단을 구비하며,
    상기 필터링 수단은, 최대 사이즈의 부호화 블록 단위로 클래스의 분류 수법을 결정하고, 상기 분류 수법을 이용하여, 해당 최대 사이즈의 부호화 블록내의 각 화소의 클래스 분류를 실시하고, 최대 사이즈의 부호화 블록 단위로 클래스마다의 오프셋 값을 산출하여, 상기 오프셋 값을 대응하는 클래스에 속하는 화소의 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고,
    상기 가변 길이 부호화 수단은, 상기 화상 압축 수단에 의해 변환 계수를 양자화하는 때에 이용하는 양자화 매트릭스를 생성하기 위한 양자화 매트릭스 파라미터 및 상기 필터링 수단에 의해 결정된 최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스를 가변 길이 부호화함과 아울러, 각 클래스의 오프셋 값에 관한 파라미터를 트런케이티드·유너리(truncated unary) 부호에 의한 2치화 처리에 근거하여 가변 길이 부호화하고,
    상기 적응 파라미터 세트는, 상기 양자화 매트릭스 파라미터가 존재하는 것을 나타내는 플래그와 상기 양자화 매트릭스 파라미터를 포함하는 파라미터의 세트인
    것을 특징으로 하는 화상 부호화 장치.
  2. 부호화 비트 스트림으로 다중화된 부호화 데이터로부터 압축 데이터, 필터 파라미터 및 적응 파라미터 세트를 가변 길이 복호하는 가변 길이 복호 수단과,
    상기 가변 길이 복호 수단에 의해 가변 길이 복호된 상기 적응 파라미터 세트에 포함되는 양자화 매트릭스 파라미터를 이용하여, 상기 압축 데이터로부터 얻어지는 블록의 변환 계수를 역양자화하고, 역양자화 후의 변환 계수를 역변환하여, 차분 화상을 생성하는 차분 화상 생성 수단과,
    상기 차분 화상과 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단과,
    상기 필터 파라미터를 이용하여, 상기 압축 데이터로부터 복호된 복호 화상에 필터 처리를 실시하는 필터링 수단을 구비하며,
    상기 가변 길이 복호 수단은, 상기 부호화 데이터로부터 필터 파라미터로서, 최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스를 가변 길이 복호함과 아울러, 트런케이티드·유너리 부호에 의해 2치화 처리된 각 클래스의 오프셋 값에 관한 파라미터를 가변 길이 복호하고,
    상기 필터링 수단은, 상기 인덱스를 이용하여, 각 최대 사이즈의 부호화 블록의 클래스의 분류 수법을 특정하고, 상기 최대 사이즈의 부호화 블록 단위로 특정한 클래스의 분류 수법에 따른 각 화소의 클래스 분류를 실시하고, 상기 오프셋 값을 대응하는 클래스에 속하는 화소의 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고,
    상기 적응 파라미터 세트는, 상기 양자화 매트릭스 파라미터가 존재하는 것을 나타내는 플래그와 상기 양자화 매트릭스 파라미터를 포함하는 파라미터의 세트인
    것을 특징으로 하는 화상 복호 장치.
  3. 화상 압축 수단이, 입력 화상과 예측 화상의 차분 화상의 변환 처리를 실시하여 얻어지는 상기 차분 화상의 변환 계수를 양자화하고, 양자화 후의 변환 계수를 압축 데이터로서 출력하는 화상 압축 스텝과,
    필터링 수단이, 상기 압축 데이터로부터 복호된 차분 화상과 상기 예측 화상의 가산 결과인 국소 복호 화상에 필터 처리를 실시하는 필터링 처리 스텝과,
    가변 길이 부호화 수단이, 상기 압축 데이터, 적응 파라미터 세트 및 상기 필터링 처리 스텝에서 필터 처리가 실시될 때에 이용되는 필터 파라미터를 가변 길이 부호화하여, 상기 압축 데이터 및 상기 필터 파라미터의 부호화 데이터가 다중화된 부호화 비트 스트림을 생성하는 가변 길이 부호화 처리 스텝을 구비하며,
    상기 필터링 처리 스텝에서는, 최대 사이즈의 부호화 블록 단위로 클래스의 분류 수법을 결정하고, 상기 분류 수법을 이용하여, 해당 최대 사이즈의 부호화 블록내의 각 화소의 클래스 분류를 실시하고, 클래스마다의 오프셋 값을 산출하여, 상기 오프셋 값을 대응하는 클래스에 속하는 화소의 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고,
    상기 가변 길이 부호화 처리 스텝에서는, 상기 화상 압축 스텝에서 변환 계수를 양자화하는 때에 이용하는 양자화 매트릭스를 생성하기 위한 양자화 매트릭스 파라미터 및 상기 필터링 처리 스텝에서 결정된 최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스를 가변 길이 부호화함과 아울러, 각 클래스의 오프셋 값에 관한 파라미터를 트런케이티드·유너리 부호에 의한 2치화 처리에 근거하여 가변 길이 부호화하고,
    상기 적응 파라미터 세트는, 상기 양자화 매트릭스 파라미터가 존재하는 것을 나타내는 플래그와 상기 양자화 매트릭스 파라미터를 포함하는 파라미터의 세트인
    것을 특징으로 하는 화상 부호화 방법.
  4. 가변 길이 복호 수단이, 부호화 비트 스트림으로 다중화된 부호화 데이터로부터 압축 데이터, 필터 파라미터 및 적응 파라미터 세트를 가변 길이 복호하는 가변 길이 복호 처리 스텝과,
    차분 화상 생성 수단이, 상기 가변 길이 복호 수단에 의해 가변 길이 복호된 상기 적응 파라미터 세트에 포함되는 양자화 매트릭스 파라미터를 이용하여, 상기 압축 데이터로부터 얻어지는 블록의 변환 계수를 역양자화하고, 역양자화 후의 변환 계수를 역변환하여, 차분 화상을 생성하는 차분 화상 생성 스텝과,
    복호 화상 생성 수단이, 상기 차분 화상과 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 스텝과,
    필터링 수단이, 상기 필터 파라미터를 이용하여, 상기 압축 데이터로부터 복호된 복호 화상에 필터 처리를 실시하는 필터링 처리 스텝을 구비하며,
    상기 가변 길이 복호 처리 스텝에서는, 상기 부호화 데이터로부터 필터 파라미터로서, 최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스를 가변 길이 복호함과 아울러, 트런케이티드·유너리 부호에 의해 2치화 처리된 각 클래스의 오프셋 값에 관한 파라미터를 가변 길이 복호하고,
    상기 필터링 처리 스텝에서는, 상기 인덱스를 이용하여, 각 최대 사이즈의 부호화 블록의 클래스의 분류 수법을 특정하고, 상기 최대 사이즈의 부호화 블록 단위로 특정한 클래스의 분류 수법에 따른 각 화소의 클래스 분류를 실시하고, 상기 오프셋 값을 대응하는 클래스에 속하는 화소의 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하고,
    상기 적응 파라미터 세트는, 상기 양자화 매트릭스 파라미터가 존재하는 것을 나타내는 플래그와 상기 양자화 매트릭스 파라미터를 포함하는 파라미터의 세트인
    것을 특징으로 하는 화상 복호 방법.
  5. 입력 화상과 예측 화상의 차분 화상의 변환 처리를 실시하여 상기 차분 화상의 변환 계수를 양자화하여 이루어지는 양자화 후의 변환 계수가 압축 데이터로서 가변 길이 부호화된 데이터와,
    상기 예측 화상과 상기 압축 데이터로부터 복호된 차분 화상의 가산 결과인 국소 복호 화상에 필터 처리를 실시하는 때에 이용되는 필터 파라미터가 가변 길이 부호화된 데이터와,
    적응 파라미터 세트가 가변 길이 부호화된 데이터
    를 포함한 부호화 비트 스트림을 기록한 기록 매체로서,
    상기 필터 처리는, 최대 사이즈의 부호화 블록 단위로 클래스의 분류 수법을 결정하고, 상기 분류 수법을 이용하여, 해당 최대 사이즈의 부호화 블록내의 각 화소의 클래스 분류를 실시하고, 클래스마다의 오프셋 값을 산출하여, 상기 오프셋 값을 대응하는 클래스에 속하는 화소의 화소 값에 가산하는 화소 적응 오프셋 처리를 실시하는 처리이고,
    가변 길이 부호화된 상기 데이터는,
    상기 차분 화상의 변환 계수를 양자화하는 때에 이용하는 양자화 매트릭스를 생성하기 위한 양자화 매트릭스 파라미터가 가변 길이 부호화된 데이터와,
    최대 사이즈의 부호화 블록 단위의 클래스의 분류 수법을 나타내는 인덱스가 가변 길이 부호화된 데이터와,
    각 클래스의 오프셋 값에 관한 파라미터가 트런케이티드·유너리(truncated unary) 부호에 의한 2치화 처리에 근거하여 가변 길이 부호화된 데이터를 포함하고,
    상기 적응 파라미터 세트는, 상기 양자화 매트릭스 파라미터가 존재하는 것을 나타내는 플래그와 상기 양자화 매트릭스 파라미터를 포함하는 파라미터의 세트인
    것을 특징으로 하는 부호화 비트 스트림을 기록한 기록 매체.
KR1020177020122A 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체 Active KR101847365B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2012-092038 2012-04-13
JP2012092038 2012-04-13
JPJP-P-2012-101227 2012-04-26
JP2012101227 2012-04-26
PCT/JP2013/060221 WO2013154008A1 (ja) 2012-04-13 2013-04-03 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157014958A Division KR101764037B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187009076A Division KR101950657B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20170087961A true KR20170087961A (ko) 2017-07-31
KR101847365B1 KR101847365B1 (ko) 2018-04-09

Family

ID=49327576

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020147031356A Active KR101612217B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR1020157014958A Active KR101764037B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR1020187009076A Active KR101950657B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR1020197003742A Active KR102024518B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR1020177020122A Active KR101847365B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020147031356A Active KR101612217B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR1020157014958A Active KR101764037B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR1020187009076A Active KR101950657B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR1020197003742A Active KR102024518B1 (ko) 2012-04-13 2013-04-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체

Country Status (11)

Country Link
US (1) US10009616B2 (ko)
EP (1) EP2838259A4 (ko)
JP (5) JP6226863B2 (ko)
KR (5) KR101612217B1 (ko)
CN (5) CN108718412B (ko)
CA (5) CA2868255C (ko)
MX (3) MX363952B (ko)
RU (5) RU2638743C1 (ko)
SG (4) SG10201607842VA (ko)
TW (5) TWI542200B (ko)
WO (1) WO2013154008A1 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2838259A4 (en) * 2012-04-13 2015-12-16 Mitsubishi Electric Corp APPARATUS FOR CODING MOVEMENT PICTURES, DEVICE FOR DECODING MOVEMENT PICTURES, METHOD FOR CREATING MOVEMENT IMAGES AND METHOD FOR DECODING MOVEMENT PICTURES
US10863184B2 (en) * 2012-08-15 2020-12-08 Texas Instruments Incorporated Fast intra-prediction mode selection in video coding
US10142638B2 (en) * 2013-10-11 2018-11-27 Electronics And Telecommunications Research Institute Method for encoding/decoding image and device using same
KR102276914B1 (ko) * 2013-10-24 2021-07-13 삼성전자주식회사 비디오 인코딩 장치 그리고 이의 구동 방법
JP6147368B2 (ja) * 2014-02-03 2017-06-14 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
EP3111645A1 (en) * 2014-02-26 2017-01-04 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
US10666975B2 (en) * 2014-04-23 2020-05-26 Sony Corporation Image processing apparatus and image processing method
ES2844525B1 (es) * 2015-09-11 2022-07-05 Kt Corp Metodo para decodificar un video
RU2616178C1 (ru) * 2016-03-28 2017-04-12 Федеральное государственное бюджетное образовательное учреждение высшего образования "Тульский государственный университет" (ТулГУ) Способ кодирования-декодирования цифровых статических видеоизображений
KR102009634B1 (ko) * 2016-05-04 2019-08-12 한국항공대학교산학협력단 영상 보정 정보 부호화 및 복호화 방법 및 장치
JP6792351B2 (ja) * 2016-06-01 2020-11-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
US20210289204A1 (en) * 2016-07-14 2021-09-16 Samsung Electronics Co., Ltd. Method for encoding/decoding image and apparatus therefor
CN107770541A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 设截断值对一组编码参数进行编码的数据压缩方法和装置
KR102782925B1 (ko) * 2016-11-02 2025-03-19 삼성전자주식회사 전자 장치, 그의 영상 압축 방법 및 비일시적 컴퓨터 판독가능 기록매체
EP3979639A1 (en) 2017-03-22 2022-04-06 Industry-University Cooperation Foundation Hanyang University Tile partitions
WO2019069970A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
CN117336496A (zh) * 2017-10-06 2024-01-02 松下电器（美国）知识产权公司 编码装置、解码装置以及非暂时性计算机可读介质
KR20190056888A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 비디오 부호화 장치 및 방법
EP3720129A4 (en) * 2017-11-29 2021-08-25 Electronics and Telecommunications Research Institute IMAGE ENCODING / DECODING METHOD AND DEVICE WITH APPLICATION FOR IN-LOOP FILTRATION
EP3737098A4 (en) * 2018-01-02 2021-06-09 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE FOR IT AND DECODING METHOD AND DEVICE FOR IT
AU2018204786B2 (en) * 2018-06-29 2025-05-29 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
JP2020098986A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP7182006B2 (ja) 2018-12-20 2022-12-01 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ピクチャにおける均一なセグメントスプリットを使用したビデオコーディングのための方法および装置
JP7285857B2 (ja) 2019-01-16 2023-06-02 テレフオンアクチーボラゲット エルエム エリクソン（パブル） リマインダをもつ均一なタイルスプリットを含むビデオコーディング
JP7444159B2 (ja) * 2019-02-27 2024-03-06 ソニーグループ株式会社 画像処理装置及び画像処理方法
DK4064706T3 (da) * 2019-03-11 2023-07-24 Dolby Laboratories Licensing Corp Signalering af information relateret til blændevinkel
EP3939317B1 (en) 2019-03-11 2024-10-23 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
CN110113603A (zh) * 2019-04-22 2019-08-09 屠晓 高清视频处理终端
CN118714300A (zh) * 2019-05-15 2024-09-27 现代自动车株式会社 影像解码方法
TWI896545B (zh) 2019-06-20 2025-09-11 日商索尼股份有限公司 影像處理裝置及影像處理方法
CN119676451A (zh) 2019-06-22 2025-03-21 皇家飞利浦有限公司 用于对图像信号进行编码/解码的方法及其装置
CN112135130B (zh) * 2019-06-24 2024-03-22 财团法人工业技术研究院 视频编译码方法及其图像处理装置
CN112514381A (zh) * 2019-06-25 2021-03-16 Oppo广东移动通信有限公司 图像编解码方法、编码器、解码器以及存储介质
CN114365497A (zh) * 2019-07-08 2022-04-15 Lg电子株式会社 基于缩放列表参数的视频或图像编码
KR20250126151A (ko) 2019-07-08 2025-08-22 엘지전자 주식회사 스케일링 리스트 데이터 기반 영상 또는 비디오 코딩
KR20250114576A (ko) 2019-07-08 2025-07-29 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
US11190793B2 (en) * 2019-07-09 2021-11-30 Qualcomm Incorporated Memory constraint for adaptation parameter sets for video coding
WO2021026255A1 (en) 2019-08-06 2021-02-11 Dolby Laboratories Licensing Corporation Canvas size scalable video coding
JP7377953B2 (ja) * 2019-08-19 2023-11-10 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ アクセスユニットデリミタおよび適応パラメータセットの使用
GB2586516B (en) * 2019-08-23 2022-07-06 Imagination Tech Ltd Random accessible image data compression
JP7358136B2 (ja) 2019-09-17 2023-10-10 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム
JP7358135B2 (ja) * 2019-09-17 2023-10-10 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム
JP7200074B2 (ja) * 2019-09-20 2023-01-06 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
US12200190B2 (en) * 2019-09-23 2025-01-14 Interdigtal Vc Holdings, Inc. Switching logic for bi-directional optical flow
CN113261279B (zh) * 2019-09-24 2024-04-26 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及存储介质
WO2021056216A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及计算机存储介质
CN121486575A (zh) * 2019-09-24 2026-02-06 Oppo广东移动通信有限公司 图像编解码方法、编码器、解码器以及存储介质
US11475601B2 (en) * 2019-10-21 2022-10-18 Google Llc Image decoding during bitstream interruptions
EP4074045B1 (en) * 2019-12-10 2026-04-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for encoding and decoding pictures and associated apparatus and systems
KR20260010760A (ko) * 2019-12-19 2026-01-21 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 컴포넌트 예측 방법, 인코더, 디코더 및 저장 매체
JP2021158633A (ja) * 2020-03-30 2021-10-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN118075462A (zh) * 2023-03-10 2024-05-24 杭州海康威视数字技术股份有限公司 图像重建方法、装置、设备及存储介质
WO2025105869A1 (ko) * 2023-11-15 2025-05-22 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2025193987A1 (en) * 2024-03-15 2025-09-18 Tencent America LLC On improvement of transform kernel derivation

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913667B2 (en) * 1999-11-09 2014-12-16 Broadcom Corporation Video decoding system having a programmable variable-length decoder
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
KR101136629B1 (ko) * 2004-01-30 2012-04-23 파나소닉 주식회사 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램
US7606429B2 (en) * 2005-03-25 2009-10-20 Ati Technologies Ulc Block-based image compression method and apparatus
KR100718134B1 (ko) * 2005-07-21 2007-05-14 삼성전자주식회사 비트율에 적응적인 영상 데이터 이진 산술 부호화/복호화장치 및 방법
WO2007065351A1 (fr) * 2005-12-05 2007-06-14 Huawei Technologies Co., Ltd. Procede de binarisation et dispositif associe
KR101406156B1 (ko) * 2006-02-02 2014-06-13 톰슨 라이센싱 움직임 보상 예측을 위한 적응 가중 선택 방법 및 장치
BRPI0714233A2 (pt) 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US8326064B2 (en) * 2007-01-22 2012-12-04 Nec Corporation Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
CN101389021B (zh) * 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
CN101478672B (zh) * 2008-01-04 2012-12-19 华为技术有限公司 视频编码、解码方法及装置和视频处理系统
WO2009110160A1 (ja) 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化／復号化方法及び装置
US7876257B2 (en) * 2008-04-28 2011-01-25 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for compressing SAR signals
JP4656452B2 (ja) * 2008-05-20 2011-03-23 ソニー株式会社 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム
JP2010130522A (ja) * 2008-11-28 2010-06-10 Canon Inc 動画像符号化装置及び動画像符号化方法
CN105872541B (zh) * 2009-06-19 2019-05-14 三菱电机株式会社 图像编码装置、图像编码方法及图像解码装置
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN101656880B (zh) * 2009-08-25 2011-10-12 中国农业大学 图像编码方法和图像编码装置
EP2991353B1 (en) * 2009-10-01 2017-03-08 SK Telecom Co., Ltd. Apparatus for encoding image using split layer
JP5513221B2 (ja) 2010-04-01 2014-06-04 岡本化学工業株式会社 保護層形成用組成物およびそれを用いた感光性平版印刷版
JP2011223302A (ja) 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
WO2012045269A1 (en) * 2010-10-05 2012-04-12 Mediatek Inc. Method and apparatus of region-based adaptive loop filtering
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
SI4075799T1 (sl) * 2011-06-14 2024-06-28 Lg Electronics Inc Naprava za kodiranje in dekodiranje informacij o sliki
KR101826215B1 (ko) * 2011-06-23 2018-03-22 후아웨이 테크놀러지 컴퍼니 리미티드 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
US9432700B2 (en) * 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
US9338451B2 (en) * 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
EP2838259A4 (en) * 2012-04-13 2015-12-16 Mitsubishi Electric Corp APPARATUS FOR CODING MOVEMENT PICTURES, DEVICE FOR DECODING MOVEMENT PICTURES, METHOD FOR CREATING MOVEMENT IMAGES AND METHOD FOR DECODING MOVEMENT PICTURES

Also Published As

Publication number Publication date
KR20180037309A (ko) 2018-04-11
JP2020065277A (ja) 2020-04-23
JP6758125B2 (ja) 2020-09-23
JP6226863B2 (ja) 2017-11-08
CA2997462A1 (en) 2013-10-17
EP2838259A4 (en) 2015-12-16
MX2014012311A (es) 2014-11-14
CA3043099C (en) 2019-10-15
KR101950657B1 (ko) 2019-02-20
CN108737834A (zh) 2018-11-02
CN108737834B (zh) 2020-12-15
EP2838259A1 (en) 2015-02-18
JP2016226035A (ja) 2016-12-28
JP2021093732A (ja) 2021-06-17
TW201404176A (zh) 2014-01-16
TWI650008B (zh) 2019-02-01
SG11201406036RA (en) 2014-11-27
MX2019003608A (es) 2019-06-17
SG10201808973XA (en) 2018-11-29
CA3017184A1 (en) 2013-10-17
CA2868255A1 (en) 2013-10-17
MX388034B (es) 2025-03-19
KR101612217B1 (ko) 2016-04-12
HK1202196A1 (en) 2015-09-18
CA2997462C (en) 2018-11-13
RU2586029C1 (ru) 2016-06-10
HK1256575A1 (zh) 2019-09-27
JP7055230B2 (ja) 2022-04-15
CN108718412A (zh) 2018-10-30
HK1258150A1 (zh) 2019-11-08
SG10201607842VA (en) 2016-11-29
RU2638743C1 (ru) 2017-12-15
TWI583183B (zh) 2017-05-11
CN108737835B (zh) 2020-12-15
KR101847365B1 (ko) 2018-04-09
CA3043099A1 (en) 2013-10-17
CA3017184C (en) 2019-07-02
TWI706669B (zh) 2020-10-01
TW202103492A (zh) 2021-01-16
CN108696755A (zh) 2018-10-23
TW201720159A (zh) 2017-06-01
TWI717309B (zh) 2021-01-21
SG10201800588QA (en) 2018-02-27
JP2018121352A (ja) 2018-08-02
MX347522B (es) 2017-04-27
CN108737835A (zh) 2018-11-02
TW201921944A (zh) 2019-06-01
US10009616B2 (en) 2018-06-26
RU2707928C1 (ru) 2019-12-02
US20160021379A1 (en) 2016-01-21
WO2013154008A1 (ja) 2013-10-17
RU2719449C1 (ru) 2020-04-17
TWI542200B (zh) 2016-07-11
JPWO2013154008A1 (ja) 2015-12-17
CA2960238C (en) 2019-05-14
MX363952B (es) 2019-04-08
TW201620307A (zh) 2016-06-01
KR20150003286A (ko) 2015-01-08
CN108696755B (zh) 2020-11-06
KR20150069038A (ko) 2015-06-22
JP6820115B2 (ja) 2021-01-27
JP6835448B2 (ja) 2021-02-24
HK1256576A1 (zh) 2019-09-27
CN108718412B (zh) 2020-10-16
CN104221383A (zh) 2014-12-17
KR20190017061A (ko) 2019-02-19
KR101764037B1 (ko) 2017-08-01
RU2683183C1 (ru) 2019-03-26
CA2868255C (en) 2018-04-17
KR102024518B1 (ko) 2019-09-24
CN104221383B (zh) 2018-09-11
CA2960238A1 (en) 2013-10-17

Similar Documents

Publication Publication Date Title
KR101847365B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
US9621916B2 (en) Apparatus for encoding a moving picture
US9451279B2 (en) Method for decoding a moving picture
KR101647242B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
HK1260985A1 (en) Image encoding device, image decoding device, and methods thereof
HK1260985B (en) Image encoding device, image decoding device, and methods thereof
HK1258150B (en) Image encoding device, image decoding device, and methods thereof
HK1256576B (en) Image encoding device, image decoding device, and methods thereof
HK1256575B (en) Image encoding device, image decoding device, and methods thereof

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 9