KR20170098967A - 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체 - Google Patents

화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체 Download PDF

Info

Publication number
KR20170098967A
KR20170098967A KR1020177022964A KR20177022964A KR20170098967A KR 20170098967 A KR20170098967 A KR 20170098967A KR 1020177022964 A KR1020177022964 A KR 1020177022964A KR 20177022964 A KR20177022964 A KR 20177022964A KR 20170098967 A KR20170098967 A KR 20170098967A
Authority
KR
South Korea
Prior art keywords
block
filter
unit
prediction
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177022964A
Other languages
English (en)
Other versions
KR102157481B1 (ko
Inventor
아키라 미네자와
가즈오 스기모토
가즈유키 미야자와
유스케 이타니
료지 하토리
요시미 모리야
노리미치 히와사
？이치 세키구치
šœ이치 세키구치
도쿠미치 무라카미
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Priority to KR1020207025986A priority Critical patent/KR102272564B1/ko
Publication of KR20170098967A publication Critical patent/KR20170098967A/ko
Application granted granted Critical
Publication of KR102157481B1 publication Critical patent/KR102157481B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

루프 필터부(11)가, 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록 단위로, 가산부(9)에 의해 생성된 국소 복호 화상의 클래스 분류를 실시함과 아울러, 각 클래스에 속하는 국소 복호 화상마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시하고, 가변 길이 부호화부(13)가, 루프 필터부(11)에 의해 설계된 각 클래스에 속하는 국소 복호 화상에 이용하는 필터 및 각 최대 부호화 블록의 클래스 번호를 필터 파라미터로서 부호화한다.

Description

화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체{IMAGE DECODING DEVICE, IMAGE CODING DEVICE, IMAGE DECODING METHOD, IMAGE CODING METHOD AND STORAGE MEDIUM}
본 발명은, 동화상을 고효율로 부호화를 행하는 화상 부호화 장치 및 화상 부호화 방법과, 고효율로 부호화되어 있는 동화상을 복호하는 화상 복호 장치 및 화상 복호 방법에 관한 것이다.
종래, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을, 16×16 화소 블록으로 이루어지는 매크로 블록의 단위로 분할하여, 움직임 보상 예측을 실시한 후, 예측 오차 신호를 블록 단위로 직교 변환ㆍ양자화하는 것에 의해 정보 압축을 행하도록 하고 있다.
단, 압축률이 높아지면, 움직임 보상 예측을 실시할 때에 이용하는 예측 참조 화상의 품질이 저하하는 것에 기인하여, 압축 효율이 감소되는 문제가 있다.
그 때문에, MPEG-4 AVC/H.264의 부호화 방식(비특허 문헌 1을 참조)에서는, 루프 내 블로킹 필터의 처리를 실시하는 것에 의해, 직교 변환 계수의 양자화에 따라 발생하는 예측 참조 화상의 블록 왜곡을 제거하도록 하고 있다.
특히, 프레임 사이에서 움직임 보상 예측을 실시하는 경우, 매크로 블록 자체, 또는, 매크로 블록을 더 잘게 분할한 서브 블록의 단위로 움직임 벡터를 탐색한다.
그리고, 그 움직임 벡터를 이용하여, 메모리(107)에 의해 저장되어 있는 참조 화상 신호에 대한 움직임 보상 예측을 실시하는 것에 의해 움직임 보상 예측 화상을 생성하고, 그 움직임 보상 예측 화상을 나타내는 예측 신호와 분할 화상 신호의 차분을 구하는 것에 의해 예측 오차 신호를 산출한다.
또한, 예측부(102)는, 예측 신호를 얻을 때에 결정한 예측 신호 생성용 파라미터를 가변 길이 부호화부(108)에 출력한다.
또, 예측 신호 생성용 파라미터에는, 예컨대, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임 사이의 움직임의 양을 나타내는 움직임 벡터 등의 정보가 포함된다.
압축부(103)는, 예측부(102)로부터 예측 오차 신호를 받으면, 그 예측 오차 신호에 대한 DCT(이산 코사인 변환) 처리를 실시하는 것에 의해 신호 상관을 제거한 후, 양자화하는 것에 의해 압축 데이터를 얻는다.
국소 복호부(104)는, 압축부(103)로부터 압축 데이터를 받으면, 그 압축 데이터를 역 양자화하여, 역 DCT 처리를 실시하는 것에 의해, 예측부(102)로부터 출력된 예측 오차 신호에 상당하는 예측 오차 신호를 산출한다.
가산기(105)는, 국소 복호부(104)로부터 예측 오차 신호를 받으면, 그 예측 오차 신호와 예측부(102)로부터 출력된 예측 신호를 가산하여, 국소 복호 화상을 생성한다.
루프 필터(106)는, 가산기(105)에 의해 생성된 국소 복호 화상을 나타내는 국소 복호 화상 신호에 중첩되어 있는 블록 왜곡을 제거하고, 왜곡 제거 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(107)에 저장한다.
가변 길이 부호화부(108)는, 압축부(103)로부터 압축 데이터를 받으면, 그 압축 데이터를 엔트로피 부호화하고, 그 부호화 결과인 비트스트림을 출력한다.
또, 가변 길이 부호화부(108)는, 비트스트림을 출력할 때, 예측부(102)로부터 출력된 예측 신호 생성용 파라미터를 비트스트림에 다중화하여 출력한다.
여기서, 비특허 문헌 1에 개시되어 있는 부호화 방식에서는, 루프 필터(106)가, DCT의 블록 경계의 주변 화소에 대하여, 양자화의 입도(granularity), 부호화 모드, 움직임 벡터의 변화 정도 등의 정보에 근거하여 평활화 강도를 결정하여, 블록 경계에 발생하는 왜곡의 저감을 도모하고 있다.
이것에 의해, 참조 화상 신호의 품질이 개선되어, 이후의 부호화에 있어서의 움직임 보상 예측의 효율을 높일 수 있다.
한편, 비특허 문헌 1에 개시되어 있는 부호화 방식에서는, 높은 압축률로 부호화할수록, 신호의 고주파 성분이 없어져 버려, 화면 전체가 과도하게 평활화되어 영상이 희미해져 버린다고 하는 문제가 있다.
이 문제를 해결하기 위해, 이하의 특허 문헌 1에서는, 루프 필터(106)로서 위너 필터(Wiener Filter)를 적용하고, 원래의 화상 신호인 부호화 대상의 화상 신호와, 이것에 대응하는 참조 화상 신호의 제곱 오차 왜곡이 최소화되도록, 루프 필터(106)를 구성하는 기술을 제안하고 있다.
도 22는 특허 문헌 1에 개시되어 있는 화상 부호화 장치에 있어서, 위너 필터에 의한 참조 화상 신호의 품질 개선의 원리를 나타내는 설명도이다.
도 22에 있어서, 신호 s는, 도 21의 블록 분할부(101)에 입력되는 부호화 대상의 화상 신호에 상당하는 신호이고, 신호 s'는, 도 21의 가산기(105)로부터 출력되는 국소 복호 화상 신호, 또는, 비특허 문헌 1에 있어서의 루프 필터(106)에 의한 블록 경계에 발생하는 왜곡이 저감된 국소 복호 화상 신호에 상당하는 신호이다.
다시 말해, 신호 s'는, 신호 s에 부호화 왜곡(잡음) e가 중첩된 신호이다.
위너 필터는, 이 부호화 왜곡(잡음) e를 제곱 오차 왜곡의 규범에서 최소화하도록, 신호 s'에 대하여 실시되는 필터로서 정의되고, 일반적으로, 신호 s'의 자기 상관 행렬 Rs's'와 신호 s, s'의 상호 상관 벡터 Rss'에 의해, 하기의 식(1)로부터 필터 계수 w를 구할 수 있다. 행렬 Rs's', Rss'의 크기는, 구해지는 필터의 탭의 수에 대응한다.
Figure pat00001
필터 계수 w의 위너 필터를 실시하는 것에 의해, 품질 개선이 이루어진 신호 s햇(전자 출원의 관계상, 알파벳 문자에 붙어 있는 「＾」를 햇이라고 표기한다)이, 참조 화상 신호에 상당하는 신호로서 얻어진다.
또, 특허 문헌 1에서는, 움직임 정보나 화상의 국소적인 신호 특성에 따라 프레임을 영역 분류(클래스 분류)하고, 클래스마다 최적의 위너 필터를 설계하는 것에 의해 화상의 국소성에 따른 높은 정확도의 왜곡 보상을 실현하고 있다.
(선행 기술 문헌)
(특허 문헌)
(특허 문헌 1) 국제 공개 제 2008/010929호 공보
(비특허 문헌)
(비특허 문헌 1) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
종래의 화상 부호화 장치는 이상과 같이 구성되어 있으므로, 부호화 대상의 화상의 국소성에 따른 높은 정확도의 왜곡 보상을 실현할 수 있다. 그러나, 클래스 분류에 대해서는 움직임 정보나 화상의 국소적인 신호 특성에 따른 정해진 수법으로 행해지기 때문에, 부호화 대상의 화상에 따라서는 필터 처리의 효과가 크게 상이하고, 필터 처리에 의한 왜곡 보상 효과를 거의 볼 수 없는 화상이 발생하여 버리는 일이 있는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 화상 품질의 개선 정확도를 높일 수 있는 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법 및 화상 부호화 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 화상 복호 장치는, 비트스트림에 다중화된 부호화 데이터로부터 계층적으로 분할되어 있는 각각의 부호화 블록에 관한 압축 데이터를 가변 길이 복호함과 아울러, 부호화 데이터로부터 최대 사이즈의 부호화 블록마다의 필터 파라미터를 가변 길이 복호하는 가변 길이 복호 수단과, 부호화 블록에 대한 예측 처리를 실시하여 예측 화상을 생성하는 예측 수단과, 압축 데이터로부터 차분 화상을 생성하는 차분 화상 생성 수단과, 차분 화상과 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단과, 복호 화상에 대하여 필터 파라미터를 이용한 필터 처리를 실시하고, 필터 처리 후의 복호 화상을 출력하는 필터링 수단을 구비하고, 가변 길이 복호 수단은, 최대 사이즈의 부호화 블록마다 마련된 플래그로서, 복호 대상의 최대 사이즈의 부호화 블록의 필터 파라미터가 위쪽 또는 왼쪽에 인접하는 최대 사이즈의 부호화 블록의 필터 파라미터와 동일한지 여부를 나타내는 플래그를 가변 길이 복호하고, 플래그가 동일한 것을 나타내는 경우, 위쪽 또는 왼쪽에 인접하는 최대 사이즈의 부호화 블록의 필터 파라미터를 복호 대상의 최대 사이즈의 부호화 블록의 필터 파라미터로 설정하도록 한 것이다.
본 발명에 의하면, 비트스트림에 다중화된 부호화 데이터로부터 계층적으로 분할되어 있는 각각의 부호화 블록에 관한 압축 데이터를 가변 길이 복호함과 아울러, 부호화 데이터로부터 최대 사이즈의 부호화 블록마다의 필터 파라미터를 가변 길이 복호하는 가변 길이 복호 수단과, 부호화 블록에 대한 예측 처리를 실시하여 예측 화상을 생성하는 예측 수단과, 압축 데이터로부터 차분 화상을 생성하는 차분 화상 생성 수단과, 차분 화상과 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단과, 복호 화상에 대하여 필터 파라미터를 이용한 필터 처리를 실시하고, 필터 처리 후의 복호 화상을 출력하는 필터링 수단을 구비하고, 가변 길이 복호 수단은, 최대 사이즈의 부호화 블록마다 마련된 플래그로서, 복호 대상의 최대 사이즈의 부호화 블록의 필터 파라미터가 위쪽 또는 왼쪽에 인접하는 최대 사이즈의 부호화 블록의 필터 파라미터와 동일한지 여부를 나타내는 플래그를 가변 길이 복호하고, 플래그가 동일한 것을 나타내는 경우, 위쪽 또는 왼쪽에 인접하는 최대 사이즈의 부호화 블록의 필터 파라미터를 복호 대상의 최대 사이즈의 부호화 블록의 필터 파라미터로 설정하도록 구성했으므로, 화상 품질의 개선 정확도를 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 동화상 복호 장치를 나타내는 구성도이다.
도 4는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로차트이다.
도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 6(a)는 분할 후의 부호화 블록 및 예측 블록의 분포를 나타내고, 도 6(b)는 계층 분할에 의해 부호화 모드 m(Bn)이 할당되는 상황을 나타내는 설명도이다.
도 7은 부호화 블록 Bn 내의 각 예측 블록 Pi n이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 8은 li n=mi n=4의 경우의 예측 블록 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 예측 블록 Pi n 내의 왼쪽 상단 화소를 원점으로 하는 상대 좌표를 나타내는 설명도이다.
도 10은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 11은 적응 필터 처리에 있어서의 최대 부호화 블록 단위의 클래스 분류의 일례를 나타내는 설명도이다.
도 12는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 13은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 루프 필터부에서 적응 필터 처리를 행하는 경우의 일례를 나타내는 플로차트이다.
도 14는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 루프 필터부에서 적응 필터 처리를 행하는 경우의 일례를 나타내는 플로차트이다.
도 15는 적응 필터 처리에 있어서의 부호화 블록 단위의 필터 처리의 유무의 일례를 나타내는 설명도이다.
도 16은 적응 필터 처리의 최대 부호화 블록 단위의 클래스 번호의 Move-To-Front를 이용한 부호화 처리를 나타내는 설명도이다.
도 17은 적응 필터 처리에 있어서의 최대 부호화 블록 단위의 필터 처리의 유무의 일례를 나타내는 설명도이다.
도 18은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 가변 길이 부호화부에 의해 생성되는 비트스트림의 일례를 나타내는 설명도이다.
도 19는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 루프 필터부에서 적응 필터 처리를 행하는 경우의 일례를 나타내는 플로차트이다.
도 20은 화소 적응 오프셋 처리를 행하는 경우의 클래스 분류 수법의 일부를 나타내는 설명도이다.
도 21은 비특허 문헌 1에 개시되어 있는 화상 부호화 장치를 나타내는 구성도이다.
도 22는 위너 필터에 의한 참조 화상 신호의 품질 개선의 원리를 나타내는 설명도이다.
도 23은 적응 필터 처리 또는 화소 적응 오프셋 처리에 있어서의 최대 부호화 블록 단위의 인덱스의 부호화의 일례를 나타내는 설명도이다.
실시의 형태 1.
도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치를 나타내는 구성도이다.
도 1에 있어서, 블록 분할부(1)는 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록인 최대 부호화 블록으로 분할함과 아울러, 부호화 제어부(2)에 의해 결정된 상한의 계층수에 이르기까지, 그 최대 부호화 블록을 계층적으로 각 부호화 블록으로 분할하는 처리를 실시한다.
즉, 블록 분할부(1)는 입력 화상을 부호화 제어부(2)에 의해 결정된 분할에 따라 각 부호화 블록으로 분할하여, 그 부호화 블록을 출력하는 처리를 실시한다. 또한, 각 부호화 블록은 예측 처리 단위가 되는 1개 내지 복수의 예측 블록으로 분할된다.
또, 블록 분할부(1)는 블록 분할 수단을 구성하고 있다.
부호화 제어부(2)는 부호화 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 것에 의해, 각각의 부호화 블록의 사이즈를 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 선택 가능한 1개 이상의 부호화 모드(예측 처리 단위를 나타내는 예측 블록의 사이즈 등이 상이한 1개 이상의 인트라 부호화 모드, 예측 블록의 사이즈 등이 상이한 1개 이상의 인터 부호화 모드) 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 적용하는 부호화 모드를 선택하는 처리를 실시한다.
선택 수법의 일례로서, 선택 가능한 1개 이상의 부호화 모드 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 선택하는 수법이 있다.
또한, 부호화 제어부(2)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드로 부호화 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 상기 인트라 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드로 부호화 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 상기 인터 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 변환ㆍ양자화부(7) 및 역 양자화ㆍ역 변환부(8)에 주는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다. 예측 차분 부호화 파라미터에는, 부호화 블록에 있어서의 직교 변환 처리 단위가 되는 직교 변환 블록의 분할 정보를 나타내는 직교 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝 사이즈를 규정하는 양자화 파라미터 등이 포함된다.
또, 부호화 제어부(2)는 부호화 제어 수단을 구성하고 있다.
전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.
인트라 예측부(4)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인트라 부호화 모드가 선택된 경우, 그 부호화 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
또, 인트라 예측부(4) 및 인트라 예측용 메모리(10)로 인트라 예측 수단이 구성되어 있다.
움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인터 부호화 모드가 선택된 경우, 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 1프레임 이상의 국소 복호 화상을 예측 처리 단위인 예측 블록 단위로 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 참조하는 프레임 번호 등의 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 예측 블록 단위로 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
또, 움직임 보상 예측부(5) 및 움직임 보상 예측 프레임 메모리(12)로 움직임 보상 예측 수단이 구성되어 있다.
감산부(6)는 블록 분할부(1)에서 출력된 부호화 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호를 변환ㆍ양자화부(7)에 출력하는 처리를 실시한다. 또, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.
변환ㆍ양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 직교 변환 블록 단위로 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 직교 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.
또, 변환ㆍ양자화부(7)는 화상 압축 수단을 구성하고 있다.
역 양자화ㆍ역 변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역 양자화함과 아울러 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다.
가산부(9)는 역 양자화ㆍ역 변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(1)로부터 출력된 부호화 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.
또, 역 양자화ㆍ역 변환부(8) 및 가산부(9)로 국소 복호 화상 생성 수단이 구성되어 있다.
인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.
루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리 중 하나의 처리를 행하도록 구성하더라도 좋고, 도 10에 나타내는 바와 같이, 2개 이상의 필터 처리를 행하도록 구성하더라도 좋다.
일반적으로, 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편으로 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있기 때문에, 동화상 부호화 장치가 허용하는 처리 부하에 따라서 구성을 결정하면 된다.
또, 루프 필터부(11)는 필터링 수단을 구성하고 있다.
여기서, 화소 적응 오프셋 처리는, 최초로, 최대 부호화 블록 단위로, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 미리 준비하고 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.
다음으로, 선택한 클래스 분류 수법에 의해 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 대상 화상과 국소 복호 화상의 사이의 휘도값의 제곱 오차합이 최소가 되는 오프셋값을 산출한다.
마지막으로, 국소 복호 화상의 휘도값에 대하여, 그 오프셋값을 가산하는 처리를 행하는 것에 의해 국소 복호 화상의 화상 품질을 개선한다.
따라서, 화소 적응 오프셋 처리는, 최대 부호화 블록 단위의 클래스 분류 수법을 나타내는 인덱스, 최대 부호화 블록 단위의 각 클래스의 오프셋값을 필터 파라미터의 일부로서 가변 길이 부호화부(13)에 출력한다.
또한, 적응 필터 처리는, 도 11에 나타내는 바와 같이, 최대 부호화 블록 단위로 필터 처리를 행하지 않는 경우도 포함하여 클래스 분류(그룹 분류)를 행하고(도 11의 예에서는, 클래스 번호 0이 "필터 처리 없음"을 나타내고 있다), 각 클래스(그룹)에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시한다.
그리고, 상기의 클래스(그룹)의 수(필터수), 각 클래스(그룹)에 속하는 국소 복호 화상의 필터, 최대 부호화 블록 단위의 클래스(그룹)의 식별 정보인 클래스 번호(필터 번호)를 필터 파라미터의 일부로서 가변 길이 부호화부(13)에 출력한다.
또, 화소 적응 오프셋 처리 및 적응 필터 처리를 행하는 경우에는, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 영상 신호가 루프 필터부(11)에 입력되도록 도 1의 동화상 부호화 장치를 변경할 필요가 있다.
또한, 화소 적응 오프셋 처리와 적응 필터 처리를 함께 이용하는 수법으로서, 도 10에 나타내는 형태가 아닌, 최대 부호화 블록 단위로 화소 적응 오프셋 처리와 적응 필터 처리의 어느 한쪽을 최적 선택하도록 하더라도 좋다. 이와 같이 하는 것에 의해 최대 부호화 블록마다의 필터 처리의 연산량을 억제하면서 높은 정확도의 필터 처리를 실현할 수 있다. 다만, 이와 같이 구성한 경우는, 최대 부호화 블록 단위의 화소 적응 오프셋 처리를 행할지 적응 필터 처리를 행할지의 선택 정보를 필터 파라미터의 일부로서 가변 길이 부호화부(13)에 출력한다.
움직임 보상 예측 프레임 메모리(12)는 루프 필터부(11)의 필터 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.
가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)의 출력 신호(최대 부호화 블록 내의 블록 분할 정보, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)와, 루프 필터부(11)로부터 출력된 필터 파라미터를 가변 길이 부호화하여 비트스트림을 생성하는 처리를 실시한다. 또, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.
도 1의 예에서는, 동화상 부호화 장치의 구성 요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12) 및 가변 길이 부호화부(13)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.
도 2는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 동화상 복호 장치를 나타내는 구성도이다.
도 3에 있어서, 가변 길이 복호부(31)는 도 1의 동화상 부호화 장치에 의해 생성된 비트스트림을 입력하면, 그 비트스트림으로부터, 계층적으로 분할되어 있는 각각의 부호화 블록의 분할 상황을 나타내는 블록 분할 정보를 가변 길이 복호한다.
또한, 가변 길이 복호부(31)는 블록 분할 정보를 참조하여, 최대 복호 블록(도 1의 동화상 부호화 장치의 「최대 부호화 블록」에 상당하는 블록) 단위로, 최대 복호 블록을 계층적으로 분할하여 복호 처리를 행하는 단위인 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정하고, 각각의 복호 블록에 관한 압축 데이터, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터 및 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 복호함과 아울러, 최대 복호 블록마다의 루프 필터부(38)에서 이용하는 필터 파라미터를 가변 길이 복호하는 처리를 실시한다. 또, 가변 길이 복호부(31)는 가변 길이 복호 수단을 구성하고 있다.
역 양자화ㆍ역 변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 직교 변환 블록 단위로 역 양자화함과 아울러 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또, 역 양자화ㆍ역 변환부(32)는 차분 화상 생성 수단을 구성하고 있다.
전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.
인트라 예측부(34)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 복호 블록에 관한 부호화 모드가 인트라 부호화 모드인 경우, 그 복호 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
또, 인트라 예측부(34) 및 인트라 예측용 메모리(37)로 인트라 예측 수단이 구성되어 있다.
움직임 보상부(35)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 복호 블록에 관한 부호화 모드가 인터 부호화 모드인 경우, 상기 복호 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
또, 움직임 보상부(35) 및 움직임 보상 예측 프레임 메모리(39)로 움직임 보상 예측 수단이 구성되어 있다.
가산부(36)는 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하여, 도 1의 가산부(9)로부터 출력된 국소 복호 화상과 동일한 복호 화상을 산출하는 처리를 실시한다. 또, 가산부(36)는 복호 화상 생성 수단을 구성하고 있다.
인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 저장하는 기록 매체이다.
루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리 중 하나의 처리를 행하도록 구성하더라도 좋고, 도 12에 나타내는 바와 같이, 2개 이상의 필터 처리를 행하도록 구성하더라도 좋지만, 동화상 부호화 장치의 루프 필터부(11)에서 행해지는 필터 처리와 동일한 필터 처리를 행하도록 구성하지 않으면 안 된다.
또, 루프 필터부(38)는 필터링 수단을 구성하고 있다.
여기서, 화소 적응 오프셋 처리는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터에 포함되는 최대 복호 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하고, 그 인덱스가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 인덱스가 아닌 경우, 최대 복호 블록 단위로 블록 내의 각 화소를 클래스 분류한다.
다음으로, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터에 포함되어 있는 클래스마다의 오프셋값을 해당 클래스에 속하는 화소의 휘도값에 가산하는 처리를 행하는 것에 의해 복호 화상의 화상 품질을 개선한다.
또한, 적응 필터 처리는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터(클래스(그룹)수(필터수), 각 클래스(그룹)에 속하는 국소 복호 화상의 필터, 최대 복호 블록 단위의 클래스(그룹)의 식별 정보인 클래스 번호(필터 번호))를 참조하고, 그 클래스 번호가 나타내는 클래스(그룹)가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 클래스(그룹)가 아닌 경우, 그 클래스 번호에 대응하는 필터를 이용하여, 그 클래스(그룹)에 속하는 복호 화상의 필터 처리를 행한다.
움직임 보상 예측 프레임 메모리(39)는 루프 필터부(38)의 필터 처리 후의 복호 화상을 저장하는 기록 매체이다.
또한, 루프 필터부(38)의 필터 처리 전체의 연산량을 억제하면서 화소 적응 오프셋 처리와 적응 필터 처리를 함께 이용하는 수법으로서, 최대 부호화 블록 단위로 화소 적응 오프셋 처리와 적응 필터 처리의 어느 한쪽을 최적 선택하도록 동화상 부호화 장치의 루프 필터부(11)가 구성되어 있는 경우, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터에 포함되어 있는 최대 복호 블록 단위의 화소 적응 오프셋 처리를 행할지 적응 필터 처리를 행할지의 선택 정보를 참조하여, 최대 복호 블록마다 화소 적응 오프셋 처리나 적응 필터 처리를 실시한다.
도 3의 예에서는, 동화상 복호 장치의 구성 요소인 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역 양자화ㆍ역 변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.
도 4는 본 발명의 실시의 형태 1에 의한 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로차트이다.
다음으로 동작에 대하여 설명한다.
이 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료된 근방 화소로부터의 인트라 예측 또는 근접 프레임 사이에서의 움직임 보상 예측을 실시하여, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 비트스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 비트스트림을 복호하는 동화상 복호 장치에 대하여 설명한다.
도 1의 동화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하여, 프레임 내ㆍ프레임 사이 적응 부호화를 행하는 것을 특징으로 하고 있다.
일반적으로, 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 영상 프레임상에서는, 예컨대, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 패턴도 있지만, 인물이나 미세한 텍스처를 포함하는 회화 등, 작은 화상 영역 내에서 복잡한 텍스처 패턴을 갖는 패턴도 혼재하는 일이 있다.
시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.
부호화 처리는, 시간ㆍ공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다.
한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오류가 증가하여 버리기 때문에, 예측 차분 신호의 부호량이 증가하여 버린다.
따라서, 시간적ㆍ공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하여, 예측에 이용하는 파라미터의 데이터량을 늘리고, 예측 차분 신호의 전력ㆍ엔트로피를 저감하는 것이 바람직하다.
이 실시의 형태 1에서는, 이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하고, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.
도 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호로 한다.
단, 각 화소의 계조는, 8비트라도 좋고, 10비트나 12비트 등의 계조라도 좋다.
이하의 설명에서는, 편의상, 특별히 언급하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 서브 샘플된 4:2:0 포맷의 신호를 다루는 경우에 대하여 말한다.
또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 「픽처」라고 칭한다.
이 실시의 형태 1에서는, 「픽처」는 순차 주사(프로그레시브 스캔)된 영상 프레임 신호로서 설명을 행하지만, 영상 신호가 인터레이스 신호인 경우, 「픽처」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.
최초로, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.
우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽처(커런트 픽처)의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 결정한다(도 2의 단계 ST1).
최대 부호화 블록의 사이즈의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽처에 대하여 동일한 사이즈를 정하더라도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여, 움직임이 격렬한 픽처에는, 작은 사이즈를 정하는 한편, 움직임이 적은 픽처에는, 큰 사이즈를 정하도록 하더라도 좋다.
분할 계층수의 상한의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽처에 대하여 동일한 계층수를 정하는 방법이나, 입력 화상의 영상 신호의 움직임이 격렬한 경우에는, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층수를 억제하도록 설정하는 방법 등이 있다.
또한, 부호화 제어부(2)는, 이용 가능한 1개 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(단계 ST2).
즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 미리 정한 분할 계층수의 상한에 이르기까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.
부호화 모드에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭한다)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭한다)가 있고, 부호화 제어부(2)는, 해당 픽처에서 이용 가능한 모든 부호화 모드, 또는, 그 부분집합 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.
단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은, 예측 처리를 행하는 단위인 1개 내지 복수의 예측 블록으로 더 분할되고, 예측 블록의 분할 상태도 부호화 모드 중에 정보로서 포함된다. 즉, 부호화 모드는 어떠한 예측 블록 분할을 갖는 인트라 모드 또는 인터 부호화 모드인지를 식별하는 인덱스이다.
부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.
또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 직교 변환 블록 분할 상태를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.
단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.
또한, 부호화 모드가 인트라 부호화 모드인 부호화 블록에 있어서는, 상세한 것은 후술하지만, 인트라 예측 처리를 행할 때에 예측 블록에 인접하는 부호화 완료된 화소를 이용하는 것으로부터, 예측 블록 단위로 부호화를 행할 필요가 있기 때문에, 선택 가능한 변환 블록 사이즈는 예측 블록의 사이즈 이하로 제한된다.
부호화 제어부(2)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 차분 부호화 파라미터를 변환ㆍ양자화부(7), 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다.
또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라 인트라 예측부(4)에 출력한다.
또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라 움직임 보상 예측부(5)에 출력한다.
블록 분할부(1)는, 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록에 계층적으로 더 분할하여, 그 부호화 블록을 출력한다.
여기서, 도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 5에 있어서, 최대 부호화 블록은, 「제 0 계층」이라고 기재되어 있는 휘도 성분이 (L0, M0)의 사이즈를 갖는 부호화 블록이다.
최대 부호화 블록을 출발점으로 하여, 사지 트리 구조로 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.
깊이 n에 있어서는, 부호화 블록은 사이즈 (Ln, Mn)의 화상 영역이다.
단, Ln과 Mn은, 동일하더라도 좋고, 상이하더라도 좋지만, 도 5에서는, Ln=Mn의 케이스를 나타내고 있다.
이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Ln, Mn)으로 정의한다.
사지 트리 분할을 행하기 때문에, 항상, (Ln+1, Mn+1)=(Ln/2, Mn/2)가 성립한다.
또, RGB 신호 등, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Ln, Mn)이 되지만, 4:2:0 포맷을 다루는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Ln/2, Mn/2)가 된다.
이후, 제 n 계층의 부호화 블록을 Bn으로 나타내고, 부호화 블록 Bn에서 선택 가능한 부호화 모드를 m(Bn)으로 나타내는 것으로 한다.
복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)은, 색성분마다, 각각 개별의 모드를 이용하도록 구성되더라도 좋고, 모든 색성분에 대하여 공통의 모드를 이용하도록 구성되더라도 좋다. 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.
부호화 블록 Bn은, 도 5에 나타내는 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 1개 내지 복수의 예측 블록으로 분할된다.
이후, 부호화 블록 Bn에 속하는 예측 블록을 Pi n(i는, 제 n 계층에 있어서의 예측 블록 번호)으로 표기한다. 도 5에는 P0 0과 P1 0의 예를 나타내고 있다.
부호화 블록 Bn 내의 예측 블록의 분할이, 어떻게 이루어져 있는지는, 부호화 모드 m(Bn) 중에 정보로서 포함된다.
예측 블록 Pi n은, 모두 부호화 모드 m(Bn)에 따라서 예측 처리가 행해지지만, 예측 블록 Pi n마다, 개별 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.
부호화 제어부(2)는, 최대 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.
도 6(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록 내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.
도 6(b)는 도 6(a)의 예에 대하여, 계층 분할에 의해 부호화 모드 m(Bn)이 할당되는 상황을 사지 트리 그래프로 나타낸 것이다. 도 6(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bn)이 할당된 노드(부호화 블록)이다.
이 사지 트리 그래프의 정보는 부호화 모드 m(Bn)과 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인트라 부호화 모드인 경우(m(Bn)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 인트라 예측부(4)에 출력한다.
한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인터 부호화 모드인 경우(m(Bn)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 움직임 보상 예측부(5)에 출력한다.
인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인트라 부호화 모드이고(m(Bn)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 받으면(단계 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bn 내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(단계 ST4).
또, 동화상 복호 장치가 인트라 예측 화상 PINTRAi n과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
인트라 예측부(4)의 처리 내용의 상세한 것은 후술한다.
움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인터 부호화 모드이고(m(Bn)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 받으면(단계 ST3), 그 부호화 블록 Bn 내의 각 예측 블록 Pi n과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bn 내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 PINTERi n을 생성한다(단계 ST5).
또, 동화상 복호 장치가 인터 예측 화상 PINTERi n과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 PINTERi n의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bn을 받으면, 그 부호화 블록 Bn 내의 예측 블록 Pi n으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n의 어느 한쪽을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호 ei n을 변환ㆍ양자화부(7)에 출력한다(단계 ST6).
변환ㆍ양자화부(7)는, 감산부(6)로부터 예측 차분 신호 ei n을 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보를 참조하여, 그 예측 차분 신호 ei n에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 직교 변환 블록 단위로 실시하여, 변환 계수를 산출한다.
또한, 변환ㆍ양자화부(7)는, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 직교 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역 양자화ㆍ역 변환부(8) 및 가변 길이 부호화부(13)에 출력한다(단계 ST7).
역 양자화ㆍ역 변환부(8)는, 변환ㆍ양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 그 압축 데이터를 역 양자화한다.
또한, 역 양자화ㆍ역 변환부(8)는, 직교 변환 블록 단위로 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리(예컨대, 역 DCT, 역 DST, 역 KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 ei n에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(단계 ST8).
가산부(9)는, 역 양자화ㆍ역 변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n의 어느 한쪽을 가산하는 것에 의해, 국소 복호 화상을 산출한다(단계 ST9).
또, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.
이 국소 복호 화상이, 이후의 인트라 예측 처리를 할 때에 이용되는 부호화 완료된 화상 신호가 된다.
루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 받으면, 그 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(단계 ST10).
루프 필터부(11)의 처리 내용의 상세한 것은 후술한다.
단계 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bn에 대한 처리가 완료될 때까지 반복 실시되고, 모든 부호화 블록 Bn에 대한 처리가 완료되면, 단계 ST13의 처리로 이행한다(단계 ST11, ST12).
가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록 내의 블록 분할 정보(도 6(b)를 예로 하는 사지 트리 정보), 부호화 모드 m(Bn) 및 예측 차분 부호화 파라미터와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)와, 루프 필터부(11)로부터 출력된 필터 파라미터를 가변 길이 부호화하여, 그들의 부호화 결과를 나타내는 비트스트림을 생성한다(단계 ST13).
가변 길이 부호화부(13)에 의한 필터 파라미터의 가변 길이 부호화 처리의 상세한 것에 대해서는 후술한다.
다음으로, 인트라 예측부(4)의 처리 내용을 상세하게 설명한다.
도 7은 부호화 블록 Bn 내의 각 예측 블록 Pi n이 선택 가능한 인트라 예측 파라미터인 인트라 예측 모드의 일례를 나타내는 설명도이다. 단, NI는 인트라 예측 모드의 수를 나타내고 있다.
도 7에서는, 인트라 예측 모드의 인덱스값과, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 도 7의 예에서는, 선택 가능한 인트라 예측 모드의 개수가 증가함에 따라서, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계되어 있다.
인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 Pi n의 인트라 예측 파라미터를 참조하여, 그 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성하지만, 여기서는, 휘도 신호에 있어서의 예측 블록 Pi n의 인트라 예측 신호를 생성하는 인트라 처리에 대하여 설명한다.
예측 블록 Pi n의 사이즈를 li n×mi n 화소로 한다.
도 8은 li n=mi n=4의 경우의 예측 블록 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 8에서는, 예측 블록 Pi n의 위의 부호화 완료된 (2×li n+1)개의 화소와, 왼쪽의 부호화 완료된 (2×mi n)개의 화소를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다 많더라도 적더라도 좋다.
또한, 도 8에서는, 예측 블록 Pi n의 근방의 1행 또는 1열의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용하더라도 좋다.
예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 0(평면(Planar) 예측)인 경우에는, 예측 블록 Pi n의 위에 인접하는 부호화 완료된 화소와 예측 블록 Pi n의 왼쪽에 인접하는 부호화 완료된 화소를 이용하여, 이들 화소와 예측 블록 Pi n 내의 예측 대상 화소의 거리에 따라 내삽한 값을 예측값으로 하여 예측 화상을 생성한다.
예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 2(평균치(DC) 예측)인 경우에는, 예측 블록 Pi n의 위에 인접하는 부호화 완료된 화소와 예측 블록 Pi n의 왼쪽에 인접하는 부호화 완료된 화소의 평균치를 예측 블록 Pi n 내의 화소의 예측값으로 하여 예측 화상을 생성한다.
인트라 예측 모드의 인덱스값이 0(평면 예측)과 2(평균치 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 υp=(dx, dy)에 근거하여, 예측 블록 Pi n 내의 화소의 예측값을 생성한다.
도 9에 나타내는 바와 같이, 예측 블록 Pi n의 왼쪽 상단 화소를 원점으로 하여, 예측 블록 Pi n 내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.
Figure pat00002
참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측값으로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.
도 8의 예에서는, 참조 화소는 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2화소로부터 내삽한 것을 예측값으로 한다. 또, 인접하는 2화소만이 아니고, 인접하는 2화소 이상의 화소로부터 보간 화소를 생성하여 예측값으로 하더라도 좋다.
보간 처리에 이용하는 화소를 많게 하는 것에 의해 보간 화소의 보간 정확도를 향상시키는 효과가 있는 한편, 보간 처리에 요하는 연산의 복잡도가 증가하는 것으로부터, 연산 부하가 크더라도 높은 부호화 성능을 요구하는 동화상 부호화 장치의 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.
이상에 말한 처리에 의해, 예측 블록 Pi n 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여, 인트라 예측 화상 PINTRAi n을 출력한다.
또, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터(인트라 예측 모드)는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력된다.
또, 앞서 설명한 MPEG-4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측시에 참조 화상에 대하여 실시되는 평활화 처리와 마찬가지로, 인트라 예측부(4)에 있어서, 예측 블록 Pi n의 중간 예측 화상을 생성할 때의 참조 화소를, 예측 블록 Pi n에 인접하는 부호화 완료된 화소를 평활화 처리한 화소로 하도록 구성한 경우에도, 상술한 예와 동일한 중간 예측 화상에 대한 필터 처리를 행할 수 있다.
예측 블록 Pi n의 색차 신호에 대해서도, 휘도 신호와 동일한 순서로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
단, 색차 신호에서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)는 휘도 신호와 상이하더라도 좋다. 예컨대, YUV 신호 4:2:0 포맷의 경우, 색차 신호(U, V 신호)는, 휘도 신호(Y 신호)에 대하여 해상도를 수평 방향, 수직 방향 함께 1/2로 축소한 신호이고, 휘도 신호와 비교하여, 화상 신호의 복잡성이 낮고, 예측이 용이한 것으로부터, 선택 가능한 인트라 예측 파라미터는 휘도 신호보다 적은 수로 하여 인트라 예측 파라미터를 부호화하는데 요하는 부호량의 삭감이나, 예측 처리의 저연산화를 도모하더라도 좋다.
다음으로, 루프 필터부(11)의 처리 내용을 상세하게 설명한다.
루프 필터부(11)는, 가산부(9)에 의해 산출된 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리 중 하나의 처리를 행하도록 구성하더라도 좋고, 도 10에 나타내는 바와 같이, 2개 이상의 필터 처리를 행하도록 구성하더라도 좋다.
일반적으로, 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편으로 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있기 때문에, 동화상 부호화 장치가 허용하는 처리 부하에 따라서 구성을 결정하면 된다.
여기서, 화소 적응 오프셋 처리는, 최초로, 최대 부호화 블록 단위로 소정의 수법으로, 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 대상 화상과 국소 복호 화상의 사이의 휘도값의 제곱 오차합이 최소가 되는 오프셋값을 산출한다.
그리고, 각 클래스의 오프셋값을 해당 클래스에 속하는 화소(국소 복호 화상의 화소)의 휘도값에 가산하는 처리를 행하는 것에 의해 국소 복호 화상의 화상 품질을 개선한다.
클래스 분류를 행하는 소정의 수법으로서는, 국소 복호 화상의 휘도값의 크기로 분류하는 수법이나, 도 20에 나타내는 바와 같은 에지의 방향마다, 각 화소의 주위의 상황(에지부인지 여부 등)에 따라 분류하는 수법이 있고, 이들 수법은, 미리 화상 부호화 장치 및 화상 복호 장치 공통으로 준비되어 있고, 오프셋 처리를 행하지 않는 경우도 클래스 분류 수법의 하나로서 정의하여, 부호화측에서는, 이들 수법 중에서, 어느 수법을 이용하여, 클래스 분류를 행할지를 상기 블록 단위로 선택한다.
또한, 픽처 전체에서 화소 적응 오프셋 처리를 행하지 않는 경우와, 상기에서 결정한 화소 적응 오프셋 처리를 행하는 경우를 비교하여, 어느 쪽이 좋은지 선택한다.
따라서, 화소 적응 오프셋 처리는, 픽처 레벨의 화소 적응 오프셋 처리의 유무 정보와, 이 유무 정보가 "있음"을 나타내는 경우는, 최대 부호화 블록 단위의 클래스 분류 수법을 나타내는 인덱스, 최대 부호화 블록 단위의 각 클래스의 오프셋값을 필터 파라미터의 일부로서 가변 길이 부호화부(13)에 출력한다.
다음으로, 적응 필터 처리를 구체적으로 설명한다.
도 13은 적응 필터 처리의 일례를 나타내는 플로차트이다.
도 13의 예에서는, 최대 부호화 블록 단위의 적응 필터 처리를 실시하기 위해, 단계 ST102~ST106의 필터 선택 및 필터 처리를 각 최대 부호화 블록에 대하여 실행한다(단계 ST101).
단계 ST102~ST106의 필터 선택 및 필터 처리에 대하여 설명한다.
우선, 현재의 처리 대상의 최대 부호화 블록에 대하여, 필터 처리를 실시하지 않는 경우의 코스트 C0을 필터 번호 0의 경우로서 산출한다(단계 ST102).
코스트의 정의로서는, 하기에 나타내는 예가 있다.
Figure pat00003
단, D는 블록 내에 있어서의 부호화 대상의 화상 신호와, 필터 처리 후의 국소 복호 화상 신호 사이의 제곱 오차합, λ는 상수이다.
또한, R은 사용하는 필터를 선택하기 위한 필터 번호와, 그 필터 번호에 대응하는 필터의 계수를 부호화할 때에 요하는 부호량이다.
여기서는, 코스트를 식(3)으로 나타내고 있지만, 예컨대, 제곱 오차합 D만을 코스트로 하더라도 좋다. 이와 같이 하는 것에 의해, 코스트로서의 정확성은 저하하지만, 코스트의 산출 부하가 감소한다.
또한, D는 제곱 오차합이 아니고, 보다 연산 부하가 낮은 오차의 절대치합이더라도 좋다.
코스트를 어떠한 식으로 정의할지는, 동화상 부호화 장치가 허용하는 연산 부하에 따라서 결정하면 된다.
또, 필터 처리를 실시하지 않는 경우의 코스트 C0의 경우, D는 부호화 대상의 화상 신호와 필터 처리를 행하고 있지 않은 국소 복호 화상 신호 사이의 제곱 오차합이 되고, 필터에 요하는 부호량 R은 0이 된다.
다음으로, 처리 대상의 최대 부호화 블록 내의 화소를 대상으로 하여, 부호화 대상의 화상 신호와 국소 복호 화상 신호 사이의 제곱 오차합을 최소화하는 위너 필터를 식(1)에 따라서 산출하고(단계 ST103), 블록 내의 화소에 대하여, 필터 처리를 실시한 경우의 코스트 Cnew를 산출한다(단계 ST104). 여기서, 위너에 의한 필터 처리는 하기의 식(4)로 나타난다.
Figure pat00004
단, x0은 필터 처리 대상 화소, xl(l=0, 1, 2, …, L-1)은 필터의 참조 화소(필터 처리 대상 화소를 포함한다), L은 필터의 참조 화소수이다.
또한, S(x)는 화소 x의 휘도값, S'(x)는 화소 x에 있어서의 필터 처리 후의 휘도값, am(m=0, 1, 2, …, L)은 필터 계수를 나타내고 있다.
또, aL은 오프셋 계수를 나타내고, 항상 aL=0으로 하여 오프셋 계수를 무효로 하더라도 좋다. 이와 같이 하는 것에 의해, 필터 성능은 저하하지만, 부호화할 필터 계수가 삭감되어, 필터 계수의 부호화에 요하는 부호량을 삭감할 수 있다.
또한, 현재의 처리 대상의 최대 부호화 블록에서 설계한 필터 이외에 사용할 수 있는 필터(필터 번호 1, 2, …, numbl로 설정된 필터)를 이용하여, 필터 처리를 실시한 경우의 코스트 C1, C2, …, Cnumbl을 산출한다(단계 ST105).
단, numbl은 현재의 처리 대상의 최대 부호화 블록에서 설계한 필터 이외에 사용할 수 있는 필터의 수를 나타내고 있다.
현재의 처리 대상의 최대 부호화 블록에서 설계한 필터 이외에 사용할 수 있는 필터의 예로서는, 이미 필터 처리를 실시한 최대 부호화 블록에서 사용한 필터나, 부호화 처리를 행하기 전에 미리 준비한 필터 등을 들 수 있다.
다음으로, 지금까지 산출한 각 코스트 Cnew, C0, C1, C2, …, Cnumbl 중에서, 최소가 되는 코스트를 특정하고, 그 코스트에 따른 필터 처리를 현재의 처리 대상의 최대 부호화 블록에서의 필터 처리로 결정한다(단계 ST106).
그때, 결정한 필터 처리가, 현재의 처리 대상의 최대 부호화 블록에서 설계한 필터(코스트 Cnew)인 경우, 이 설계한 필터를 다음의 처리 대상의 최대 부호화 블록에서 사용할 수 있는 numbl+1번째의 필터(필터 번호 numbl+1)로서 설정하고, 사용할 수 있는 필터수 numbl을 1 가산한다.
그리고, 다음의 처리 대상의 최대 부호화 블록의 필터 선택 및 필터 처리로 이행한다(단계 ST107). 또, 상기에서 설정하고 있는 필터 번호를 클래스 번호로 정의하고, 그 필터의 수를 클래스수라 칭한다.
이상의 처리를 모든 최대 부호화 블록에 대하여 실시하고, 마지막으로 픽처 전체에서 적응 필터 처리를 행하지 않는 경우와, 상기에서 결정한 최대 부호화 블록 단위의 적응 필터 처리를 행하는 경우를 비교하고, 최적인 것을 선택한다.
따라서, 적응 필터 처리는, 픽처 레벨의 적응 필터 처리의 유무 정보와, 이 유무 정보가 "있음"을 나타내는 경우는, 클래스수, "필터 처리 없음"을 포함하는 최대 부호화 블록 단위의 클래스 번호, 각 클래스의 필터 계수를 필터 파라미터의 일부로서 가변 길이 부호화부(13)에 출력한다.
또, 적응 필터 처리의 예로서는, 도 13 이외에도 도 14에 나타내는 예 등을 생각할 수 있다.
도 14의 예에 있어서도, 각 최대 부호화 블록에서의 필터 처리의 선택 수법이 상이할 뿐이고, 도 11에 나타내는 바와 같이, 최대 부호화 블록 단위의 사용하는 필터를 나타내는 클래스 번호와, 각 클래스 번호에 대응하는 필터를 가변 길이 부호화부(13)에 출력하는 필터 파라미터로 하는 점은 동일하다.
즉, 도 14의 예에서는, 미리 픽처 내에서 사용하는 필터를 준비하여 두고(단계 ST108), 각 최대 부호화 블록에 대하여, 필터 처리를 행하지 않는 경우의 코스트 C0(단계 ST110)과, 미리 준비한 필터를 이용한 경우의 코스트 C1, C2, …, Cnumbl(단계 ST111)을 산출하여, 코스트가 최소가 되는 최적의 필터 처리를 선택한다(단계 ST112).
그리고, 단계 ST110~ST112까지의 처리를 픽처 내의 모든 최대 부호화 블록에 대하여 실시하는 것에 의해(단계 ST109, ST113), 각 최대 부호화 블록에서의 필터 처리를 결정한다.
도 13의 예와 비교하여, 도 14의 예에서는, 미리 준비한 필터 세트만을 사용하기 때문에, 최대 부호화 블록 단위의 필터 설계의 처리가 불필요하게 된다. 이 때문에, 필터의 최적성은 저하하지만, 처리 부하를 경감할 수 있다.
따라서, 필터 처리의 화질 개선 효과보다 처리 부하를 중시하는 경우는, 도 14의 예를 이용하면 된다.
또한, 상기 예에서는, 최대 부호화 블록 단위로 최적의 필터 처리를 결정하고 있지만, 최대 부호화 블록보다 작은 영역 단위에서 생각하면, 필터 처리에 의해 부호화 대상 화상과 국소 복호 화상의 사이의 휘도값의 제곱 오차합이 증가하여 버리는 경우가 존재할 가능성이 있다.
따라서, 도 15에 나타내는 바와 같이, 최대 부호화 블록을 분할한 부호화 블록 단위로 필터 처리를 실시할지 여부를 선택하도록 하더라도 좋다.
이와 같이 하는 것에 의해, 부호화 대상 화상과 국소 복호 화상의 사이의 휘도값의 제곱 오차가 증가하여 버리는 화소수를 줄일 수 있기 때문에, 높은 정확도의 필터 처리를 실현할 수 있다. 본 처리를 행하는 경우에는, 부호화 블록 단위의 필터 처리의 유무 정보도 필터 파라미터로서 부호화할 필요가 있다.
또, 본 부호화 블록 단위의 필터의 온ㆍ오프 처리는, 화소 적응 오프셋 처리에 도입하더라도, 적응 필터 처리에 도입한 경우와 동일한 효과를 얻을 수 있다.
또한, 상기 예에서는, 최대 부호화 블록 단위로 최적의 필터 처리를 1개 결정하고 있지만, 최대 부호화 블록 단위 내의 작은 블록 단위로 국소적 성질(분산 등의 휘도값의 흩어진 정도, 에지의 방향) 등에 따라 그룹 분류를 행하고, 그 그룹마다 필터를 설계하여, 필터 처리를 행하도록 하더라도 좋다. 이와 같이 하는 것에 의해, 최대 부호화 블록 단위로 그룹수만큼의 필터를 부호화할 필요가 있기 때문에 필터에 요하는 부호량은 증가하지만, 보다 작은 영역 단위로 최적의 필터를 이용하는 것이 가능하게 되기 때문에, 높은 정확도의 필터 처리를 실현할 수 있다. 본 처리를 행하도록 동화상 부호화 장치를 구성하는 경우는, 동화상 복호 장치측에서도 동화상 부호화 장치와 동일한 그룹 분류를 행하도록 구성할 필요가 있다.
또한, 화소 적응 오프셋 처리와 적응 필터 처리를 함께 이용하는 수법으로서, 도 10에 나타내는 형태가 아닌, 최대 부호화 블록 단위로 화소 적응 오프셋 처리와 적응 필터 처리의 어느 한쪽을 최적 선택하도록 하더라도 좋다. 이와 같이 하는 것에 의해 최대 부호화 블록마다의 필터 처리의 연산량을 억제하면서 높은 정확도의 필터 처리를 실현할 수 있다. 단, 이와 같이 구성한 경우는, 최대 부호화 블록 단위의 화소 적응 오프셋 처리를 행할지 적응 필터 처리를 행할지의 선택 정보를 필터 파라미터의 일부로서 가변 길이 부호화부(13)에 출력하여 부호화한다.
또한, 상기 예에서는 최대 부호화 블록 단위로 화소 적응 오프셋 처리의 클래스 분류 수법 선택, 적응 필터 처리의 클래스 선택을 행하는 것에 대하여 설명했지만, 임의의 블록 사이즈 단위로 행할 수 있도록 하더라도 좋다. 이와 같이 하는 것에 의해, 패턴이 복잡하지 않은 화상에서는 최대 부호화 블록보다 큰 블록 사이즈로 행하는 것에 의해 화질 개선 성능을 너무 저하시키는 일 없이 부호화할 블록 단위의 선택 정보를 삭감할 수 있다. 한편, 패턴이 복잡한 화상에서는 최대 부호화 블록보다 작은 블록 사이즈로 행하는 것에 의해 부호화할 블록 단위의 선택 정보는 증가하지만, 복잡한 패턴의 변화에 추종한 처리가 가능하게 되기 때문에 큰 화질 개선 효과를 얻을 수 있다. 또, 상기와 같이 임의의 블록 사이즈 단위로 화소 적응 오프셋 처리의 클래스 분류 수법 선택, 적응 필터 처리의 클래스 선택을 행하도록 하는 경우, 상기 블록 사이즈를 필터 파라미터의 일부로서 가변 길이 부호화부(13)에 출력하여 부호화한다.
다음으로, 필터 파라미터의 가변 길이 부호화 처리의 상세한 것에 대하여 설명한다.
가변 길이 부호화부(13)에서는, 루프 필터부(11)로부터 출력된 필터 파라미터를 가변 길이 부호화한다.
필터 파라미터로서는, 화소 적응 오프셋 처리에 필요한 파라미터로서, 픽처 레벨의 화소 적응 오프셋 처리의 유무 정보와, 그 유무 정보가 "처리 있음"인 경우는, 최대 부호화 블록 단위의 클래스 분류 수법을 나타내는 인덱스와, 최대 부호화 블록 단위의 각 클래스의 오프셋값이 있다.
또한, 적응 필터 처리에 필요한 파라미터로서, 픽처 레벨의 적응 필터 처리의 유무 정보와, 그 유무 정보가 "처리 있음"인 경우는, 클래스수, 최대 부호화 블록 단위의 사용하는 필터를 나타내는 클래스 번호와, 각 클래스 번호에 대응하는 필터 계수가 있다.
특히, 적응 필터 처리의 최대 부호화 블록 단위의 클래스 번호의 가변 길이 부호화는, 도 16에 나타내는 Move-To-Front를 이용한 부호화 처리를 실시한다.
Move-To-Front란, 클래스 번호를 부호화한 후에, 그 클래스 번호를 가장 작은 부호화 인덱스(인덱스 0)에 할당하고, 그 외의 클래스 번호는 대응하는 부호화 인덱스를 1 가산하는 처리이다.
이와 같이 최대 부호화 블록마다 부호화 인덱스를 갱신하는 것에 의해, 클래스 번호에 공간적 상관이 존재하는 경우는, 부호화 인덱스의 발생 확률이 0 근방으로 치우쳐, 이 발생 빈도 확률에 따른 가변 길이 부호화를 실시하는 것에 의해 높은 부호화 효율로 부호화할 수 있다.
또한, 상기 부호화 인덱스의 가변 길이 부호화에 골롬(Golomb) 부호를 이용하는 경우, 부호화 인덱스의 최대치는 복호 처리에 불필요하다. 즉, 골롬 부호를 이용하는 경우, 클래스수는 필요 없기 때문에 부호화하지 않더라도 좋다. 따라서, 골롬 부호를 이용하면 클래스수의 부호화에 요하는 부호량을 삭감할 수 있다. 또한, 알파 부호(Unary 부호)나, 감마 부호, 델타 부호 등을 이용한 경우에도 마찬가지로 부호화 인덱스의 최대치는 복호 처리에 불필요하기 때문에, 클래스수의 부호화는 불필요하게 된다.
혹은, 최대 부호화 블록마다 부호화시에 선택 가능한 필터 인덱스수(도 13의 numbl)로 가변 길이 부호화의 확률 모델을 매회 설계하여 엔트로피 부호화를 행하더라도 좋다. 이와 같이 하는 것에 의해, 실제로 선택 가능한 필터만의 발생 확률에 근거하여 부호화할 수 있기 때문에, 보다 고효율의 부호화를 실시할 수 있다. 또, 이 경우도 클래스수를 부호화할 필요는 없어, 부호량을 억제할 수 있다.
최대 부호화 블록 단위의 클래스 번호(필터 번호)의 부호화 수법으로서는, 도 17에 나타내는 바와 같이, 먼저 최대 부호화 블록 단위의 필터 처리의 유무 정보를 부호화하고, 또한, 그 유무 정보가 "필터 처리 있음"을 나타내는 경우는, 상기에서 설명한 클래스 번호의 부호화를 실시하도록 하더라도 좋다. 이와 같이 하는 것에 의해, 필터 처리 없음의 경우의 각 클래스의 발생 확률과, 필터 처리 있음의 경우의 각 클래스의 발생 확률이 크게 상이한 경우에, 가변 길이 부호화의 확률 모델의 설계를 간단화할 수 있다.
또한, 화소 적응 오프셋 처리의 최대 부호화 블록 단위의 클래스 분류 수법을 나타내는 인덱스의 부호화에 대해서도, 상기 적응 필터 처리의 최대 부호화 블록 단위의 클래스 번호의 부호화와 마찬가지로, Move-To-Front를 이용하면, 인덱스의 발생 확률을 0 근방으로 치우치기 쉽게 하고, 이 발생 빈도 확률에 따른 가변 길이 부호화를 실시하는 것에 의해 높은 부호화 효율로 부호화할 수 있다.
적응 필터 처리의 최대 부호화 블록 단위의 클래스 번호(클래스 인덱스)의 부호화와, 화소 적응 오프셋 처리의 최대 부호화 블록 단위의 클래스 분류 수법을 나타내는 인덱스의 부호화에 대해서는, 상기의 Move-To-Front를 이용하는 부호화 수법 외에도, 최대 부호화 블록 단위로 주위의 블록(예컨대, 위와 왼쪽의 블록)과 동일한지 여부를 나타내는 플래그와, 플래그가 "동일하다"를 나타내는 경우는, 어느 블록과 동일한지를 나타내는 인덱스, 플래그가 "동일하지 않다"를 나타내는 경우는, 부호화 대상의 인덱스를 부호화하는 수법도 생각할 수 있다.
그 밖에도, 도 23에 나타내는 바와 같이, 위의 블록과 동일한 인덱스인지 여부를 나타내는 플래그와, 오른쪽으로 동일한 인덱스가 몇 블록 계속되는지를 나타내는 파라미터(run-length)를 부호화하도록 하고, 부호화 대상 블록이 왼쪽의 블록과 동일한 인덱스가 아니고, 위의 블록과도 동일한 인덱스가 아닌 경우, 즉, 부호화 대상 블록의 왼쪽의 블록에서 run-length가 종료되고 있고 위의 블록과 동일한 인덱스인지 여부를 나타내는 플래그가 "동일하지 않다"를 나타내는 경우만, 부호화 대상의 인덱스를 부호화하는 수법도 생각할 수 있다.
이들 수법도 Move-To-Front를 이용하는 부호화 수법과 마찬가지로, 부호화 대상 블록의 왼쪽의 블록과의 인덱스에 공간적 상관이 존재하는 경우는 높은 부호화 효율을 실현할 수 있다. 또한, 이들 수법은 Move-To-Front를 이용하는 부호화 수법과는 상이하게, 부호화 대상 블록 위의 블록과의 인덱스에 공간적 상관이 존재하는 경우에 대해서도 높은 부호화 효율을 실현할 수 있다.
또, 헤더 정보에 픽처 단위로 사용할 수 있는 화소 적응 오프셋 처리의 최대 오프셋수나 적응 필터 처리의 최대 클래스수를 부호화하도록 하더라도 좋다. 이와 같이 하는 것에 의해, 복호측에서도 픽처당 복호하지 않으면 안 되는 최대의 오프셋수나 필터수를 알 수 있기 때문에, 리얼타임 복호 장치를 실현하기 위한 제한을 헤더 정보에서 규정할 수 있게 된다.
여기서, 도 18은 가변 길이 부호화부(13)에 의해 생성되는 비트스트림을 나타내고 있다.
비트스트림에서는, 시퀀스 레벨 헤더와 픽처 레벨 헤더가 픽처 데이터의 앞에 적어도 하나는 삽입되어 있고, 각 픽처의 복호에 필요한 파라미터를 참조할 수 있게 되어 있다.
또한, 픽처 데이터는, 적어도 1개 이상의 슬라이스로 나누어져 부호화 되어 있고, 슬라이스는 최대 부호화 블록을 분할한 부호화 블록 단위로 구성할 수 있다.
그리고, 픽처 레벨 헤더와 마찬가지로, 가변 길이 부호화된 필터 파라미터는, 필터 파라미터 세트로서, 픽처 데이터의 앞에 적어도 1개는 삽입되어 있다.
각 슬라이스는, 슬라이스 헤더에 어느 필터 파라미터 세트를 참조하는지를 나타내는 인덱스를 갖는 것에 의해, 각 슬라이스에서 루프 필터부(11)의 처리에 필요한 파라미터를 참조할 수 있게 되어 있다.
또한, 적응 필터 처리와 화소 적응 오프셋 처리는, 도 15에 나타내는 바와 같이, 최대 부호화 블록을 분할한 부호화 블록 단위로 필터 처리를 실시하는지 여부를 선택하도록 적응 필터 처리를 정의하고 있는 경우, 이 부호화 블록 단위의 필터 처리의 유무 정보를 가변 길이 부호화하여 비트스트림에 다중한다. 부호화된 부호화 블록 단위의 필터 처리의 유무 정보는, 도 18의 슬라이스 단위로, 각 슬라이스가 갖는 부호화 블록의 범위의 필터 처리의 유무 정보를 슬라이스 헤더에 다중한다. 또는, 그 밖의 필터 파라미터와 함께 필터 파라미터 세트로서 비트스트림에 다중하더라도 좋다.
다음으로, 도 3의 동화상 복호 장치의 처리 내용을 구체적으로 설명한다.
가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치에 의해 생성된 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여(도 4의 단계 ST21), 1프레임 이상의 픽처로 구성되는 시퀀스 단위, 혹은, 픽처 단위로 프레임 사이즈의 정보를 복호한다.
그때, 필터 파라미터 세트로서 부호화된 루프 필터부(38)에서 사용하는 필터 파라미터를 복호한다.
필터 파라미터로서는, 화소 적응 오프셋 처리에 필요한 파라미터로서, 픽처 레벨의 화소 적응 오프셋 처리의 유무 정보와, 그 유무 정보가 “처리 있음"인 경우는, 최대 복호 블록 단위의 클래스 분류 수법을 나타내는 인덱스와, 최대 복호 블록 단위의 각 클래스의 오프셋값이 있다.
적응 필터 처리에 필요한 파라미터로서, 픽처 레벨의 적응 필터 처리의 유무 정보와, 그 유무 정보가 "처리 있음"인 경우는, 클래스수와, 최대 복호 블록 단위의 사용하는 필터를 나타내는 클래스 번호와, 각 클래스 번호에 대응하는 필터 계수가 있다.
단, 최대 복호 블록 단위의 사용하는 필터를 나타내는 클래스 번호의 부호화를 골롬 부호나 알파 부호(Unary 부호), 감마 부호, 델타 부호 등을 이용하여 행하고 있거나, 각 최대 복호 블록에서 선택할 수 있는 클래스수만으로 확률 모델을 설계하여 엔트로피 부호화를 행하고 있거나 하는 경우는 클래스수가 불명이더라도 복호할 수 있기 때문에, 동화상 부호화 장치에서 클래스수를 부호화할 필요는 없고, 이와 같이 동화상 부호화 장치가 클래스수를 부호화하고 있지 않은 경우는 동화상 복호 장치에 있어서도 클래스수의 복호는 행하지 않는다.
또한, 가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 동화상 부호화 장치와 동일한 순서로 결정한다(단계 ST22).
예컨대, 최대 부호화 블록 사이즈나 분할 계층수의 상한이 영상 신호의 해상도에 따라 결정된 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 동화상 부호화 장치와 동일한 순서로 최대 부호화 블록 사이즈를 결정한다.
최대 부호화 블록 사이즈 및 분할 계층수의 상한이, 동화상 부호화 장치측에서 비트스트림에 다중화되고 있는 경우에는, 비트스트림으로부터 복호한 값을 이용한다.
이후, 동화상 복호 장치에서는, 상기 최대 부호화 블록 사이즈를 최대 복호 블록 사이즈라고 칭하고, 최대 부호화 블록을 최대 복호 블록이라고 칭한다.
가변 길이 복호부(31)는, 결정된 최대 복호 블록 단위로, 도 6에서 나타나는 바와 같은 최대 복호 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정한다(단계 ST23).
다음으로, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드를 복호한다.
가변 길이 복호부(31)는, 그 부호화 모드에 포함되는 정보에 근거하여, 복호 블록을 1개 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하고, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(단계 ST24).
즉, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.
한편, 복호 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(단계 ST24).
또한, 가변 길이 복호부(31)는, 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보에 근거하여, 직교 변환 블록마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다(단계 ST24).
전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인트라 부호화 모드이면(m(Bn)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.
한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인터 부호화 모드이면(m(Bn)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.
인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인트라 부호화 모드(m(Bn)∈INTRA)인 경우(단계 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 받아, 도 1의 인트라 예측부(4)와 동일한 순서로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 복호 블록 Bn 내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(단계 ST26).
움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인터 부호화 모드(m(Bn)∈INTER)인 경우(단계 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 받아, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터 처리 후의 복호 화상을 참조하면서, 그 움직임 벡터와 인터 예측 파라미터를 이용한 복호 블록 Bn 내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여 인터 예측 화상 PINTERi n을 생성한다(단계 ST27).
역 양자화ㆍ역 변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 받으면, 도 1의 역 양자화ㆍ역 변환부(8)와 동일한 순서로, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 그 압축 데이터를 역 양자화한다.
또한, 역 양자화ㆍ역 변환부(32)는, 직교 변환 블록 단위로 역 양자화 후의 압축 데이터인 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 1의 역 양자화ㆍ역 변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(단계 ST28).
가산부(36)는, 역 양자화ㆍ역 변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 PINTERi n의 어느 한쪽을 가산하여 복호 화상을 산출하고, 그 복호 화상을 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(단계 ST29).
이 복호 화상이, 이후의 인트라 예측 처리시에 이용되는 복호가 완료된 화상 신호가 된다.
루프 필터부(38)는, 모든 복호 블록 Bn에 대한 단계 ST23~ST29의 처리가 완료되면(단계 ST30), 가산부(36)로부터 출력된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(단계 ST31).
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리 중 하나의 처리를 행하도록 구성하더라도 좋고, 도 12에 나타내는 바와 같이, 2개 이상의 필터 처리를 행하도록 구성하더라도 좋지만, 동화상 부호화 장치의 루프 필터부(11)에서 행해지는 필터 처리와 동일한 필터 처리를 행하도록 구성하지 않으면 안 된다.
여기서, 화소 적응 오프셋 처리는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터에 포함되는 최대 복호 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 미리 준비된 클래스 분류 수법 중에서, 그 인덱스에 대응하는 클래스 분류 수법을 특정하고, 그 클래스 분류 수법을 이용하여, 최대 복호 블록 단위로 블록 내의 각 화소를 클래스 분류한다.
그리고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터에 포함되는 클래스마다의 오프셋값을 해당 클래스에 속하는 화소(복호 화상의 화소)의 휘도값에 가산하는 처리를 행한다.
또한, 적응 필터 처리는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터(클래스수(필터수), 각 클래스에 속하는 국소 복호 화상의 필터, 블록 단위의 클래스의 식별 정보인 클래스 번호(필터 번호))를 참조하여, 그 클래스 번호가 나타내는 클래스가 "오프셋 처리를 행하지 않는다"를 나타내는 클래스가 아닌 경우, 그 클래스 번호에 대응하는 필터를 이용하여, 그 클래스에 속하는 복호 화상의 필터 처리를 행한다.
여기서, 도 19는 적응 필터 처리의 플로차트의 일례를 나타내고 있다.
도 19의 예에서는, 최대 복호 블록 단위의 적응 필터 처리를 실시하기 위해, 단계 ST222~ST224의 필터 처리를 각 최대 복호 블록에 대하여 실행한다(단계 ST221).
단계 ST222~ST224의 필터 처리에 대하여 설명한다.
우선, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터에 포함되는 최대 복호 블록 단위의 클래스 번호로부터, 처리 대상의 최대 복호 블록에 대하여 필터 처리를 실시하는지 여부를 판정한다(단계 ST222).
필터 처리를 행하는 경우는, 상기의 클래스 번호에 대응하는 필터를 이용하여, 블록 내의 화소에 대한 필터 처리를 실시한다(단계 ST223). 그리고 다음의 최대 복호 블록으로 이행한다(ST224).
이상의 처리를 모든 최대 복호 블록에 대하여 실시하고, 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다.
또한, 루프 필터부(38)의 필터 처리 전체의 연산량을 억제하면서 화소 적응 오프셋 처리와 적응 필터 처리를 함께 이용하는 수법으로서, 최대 부호화 블록 단위로 화소 적응 오프셋 처리와 적응 필터 처리의 어느 한쪽을 최적 선택하도록 동화상 부호화 장치의 루프 필터부(11)가 구성되어 있는 경우, 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터에 포함되어 있는 최대 복호 블록 단위의 화소 적응 오프셋 처리를 행할지 적응 필터 처리를 행할지의 선택 정보를 참조하여, 최대 복호 블록마다 화소 적응 오프셋 처리나 적응 필터 처리를 실시한다.
또한, 상기 예에서는 최대 복호 블록 단위의 화소 적응 오프셋 처리의 클래스 분류 수법 선택 정보, 적응 필터 처리의 클래스 선택 정보를 복호하여 루프 필터 처리를 행하는 것에 대하여 설명했지만, 블록 사이즈와, 그 블록 사이즈 단위의 화소 적응 오프셋 처리의 클래스 분류 수법 선택 정보, 적응 필터 처리의 클래스 선택 정보가 부호화되도록 동화상 부호화 장치가 구성되어 있는 경우는, 가변 길이 복호부(31)에 의해 상기 블록 사이즈와, 그 블록 사이즈 단위의 화소 적응 오프셋 처리의 클래스 분류 수법 선택 정보, 적응 필터 처리의 클래스 선택 정보를 가변 길이 복호하고, 루프 필터부(38)는 이들 파라미터에 근거하여 상기 블록 사이즈 단위의 루프 필터 처리를 실시한다.
또, 슬라이스 헤더에 최대 복호 블록을 분할한 복호 블록 단위로 필터 처리를 실시하는지 여부의 정보가 부호화되어 있는 경우는, 가변 길이 복호부(31)에 의해 상기 정보를 복호하고, 단계 ST223의 처리는, 필터 처리를 행한다고 하는 정보를 갖는 복호 블록에만 필터 처리를 실시한다.
이 루프 필터부(38)에 의한 필터 처리 후의 복호 화상이, 움직임 보상 예측용 참조 화상이 되고, 또한, 재생 화상이 된다.
이상에서 분명한 바와 같이, 이 실시의 형태 1에 의하면, 동화상 부호화 장치의 루프 필터부(11)가, 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록 단위로, 가산부(9)에 의해 생성된 국소 복호 화상의 클래스 분류를 실시함과 아울러, 각 클래스에 속하는 국소 복호 화상마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시하고, 가변 길이 부호화부(13)가, 루프 필터부(11)에 의해 설계된 각 클래스에 속하는 국소 복호 화상에 이용하는 필터 및 각 최대 부호화 블록의 클래스 번호를 필터 파라미터로서 부호화하도록 구성했으므로, 사용자가 소정의 블록 사이즈 단위로, 임의의 수법으로 임의의 클래스수의 클래스 분류를 행하여, 각 클래스에 속하는 영역마다 필터 처리를 행할 수 있기 때문에, 부호화 대상 화상에 따른 클래스 분류가 가능하고, 화상 품질의 개선 정확도를 높일 수 있는 효과를 얻는다.
이 실시의 형태 1에 의하면, 동화상 복호 장치의 가변 길이 복호부(31)에 의해 가변 길이 복호된 필터 파라미터를 참조하여, 각 클래스에 속하는 필터를 이용하여 필터 처리를 행하도록 구성했으므로, 동화상 부호화 장치측에서 최적의 클래스 분류를 구하여 부호화하는 것에 의해, 화상 품질의 개선 정확도를 높일 수 있는 효과를 얻는다.
또, 본원 발명은 그 발명의 범위 내에 있어서, 실시의 형태의 임의의 구성 요소의 변형, 또는 실시의 형태의 임의의 구성 요소의 생략이 가능하다.
본 발명에 따른 동화상 부호화 장치 및 동화상 부호화 방법은, 동화상을 고효율로 부호화를 행할 필요가 있는 것에 적합하고, 본 발명에 따른 동화상 부호화 장치 및 동화상 부호화 방법은, 고효율로 부호화되어 있는 동화상을 복호할 필요가 있는 것에 적합하다.
1 : 블록 분할부(블록 분할 수단)
2 : 부호화 제어부(부호화 제어 수단)
3 : 전환 스위치
4 : 인트라 예측부(인트라 예측 수단)
5 : 움직임 보상 예측부(움직임 보상 예측 수단)
6 : 감산부(차분 화상 생성 수단)
7 : 변환ㆍ양자화부(화상 압축 수단)
8 : 역 양자화ㆍ역 변환부(국소 복호 화상 생성 수단)
9 : 가산부(국소 복호 화상 생성 수단)
10 : 인트라 예측용 메모리(인트라 예측 수단)
11 : 루프 필터부(필터링 수단)
12 : 움직임 보상 예측 프레임 메모리(움직임 보상 예측 수단)
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
31 : 가변 길이 복호부(가변 길이 복호 수단)
32 : 역 양자화ㆍ역 변환부(차분 화상 생성 수단)
33 : 전환 스위치
34 : 인트라 예측부(인트라 예측 수단)
35 : 움직임 보상부(움직임 보상 예측 수단)
36 : 가산부(복호 화상 생성 수단)
37 : 인트라 예측용 메모리(인트라 예측 수단)
38 : 루프 필터부(필터링 수단)
39 : 움직임 보상 예측 프레임 메모리(움직임 보상 예측 수단)
101 : 블록 분할부
102 : 예측부
103 : 압축부
104 : 국소 복호부
105 : 가산기
106 : 루프 필터
107 : 메모리
108 : 가변 길이 부호화부

Claims (5)

  1. 부호화 데이터로부터, 필터 파라미터에 관한 정보를 복호함과 아울러, 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록에 대한 복수의 필터 처리의 여부 정보를 복호하는 복호 수단과,
    상기 여부 정보가 상기 복수의 필터 처리를 하지 않는 것을 나타내는 경우, 상기 필터 파라미터를 이용하여, 상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록 중 상기 여부 정보가 복수의 필터 처리를 하지 않는 것을 나타내는 부호화 블록을 제외한 상기 최대 사이즈의 부호화 블록에 대한 상기 복수의 필터 처리를 실시하고, 상기 복수의 필터 처리 후의 복호 화상을 출력하는 필터링 수단
    을 구비한 것을 특징으로 하는 화상 복호 장치.
  2. 픽처에 대한 최대 사이즈의 부호화 블록을 결정하는 부호화 파라미터 결정 수단과,
    상기 픽처를 상기 최대 사이즈의 부호화 블록으로 분할함과 아울러, 상기 부호화 블록을 분할하는 블록 분할 수단과,
    상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록 중 복수의 필터 처리를 하지 않는 부호화 블록을 제외한 상기 최대 사이즈의 부호화 블록에 대하여 복수의 필터 처리를 행하는 필터링 수단과,
    상기 복수의 필터 처리의 필터 파라미터에 관한 정보와, 상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록에 대한 상기 복수의 필터 처리의 여부 정보를 부호화하는 부호화 수단
    을 구비한 것을 특징으로 하는 화상 부호화 장치.
  3. 부호화 데이터로부터, 필터 파라미터에 관한 정보를 복호함과 아울러, 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록에 대한 복수의 필터 처리의 여부 정보를 복호하는 단계와,
    상기 여부 정보가 상기 복수의 필터 처리를 하지 않는 것을 나타내는 경우, 상기 필터 파라미터를 이용하여, 상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록 중 상기 여부 정보가 복수의 필터 처리를 하지 않는 것을 나타내는 부호화 블록을 제외한 상기 최대 사이즈의 부호화 블록에 대한 상기 복수의 필터 처리를 실시하고, 상기 복수의 필터 처리 후의 복호 화상을 출력하는 단계
    를 갖는 화상 복호 방법.
  4. 픽처에 대한 최대 사이즈의 부호화 블록을 결정하는 단계와,
    상기 픽처를 상기 최대 사이즈의 부호화 블록으로 분할함과 아울러, 상기 부호화 블록을 분할하는 단계와,
    상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록 중 복수의 필터 처리를 하지 않는 부호화 블록을 제외한 상기 최대 사이즈의 부호화 블록에 대하여 복수의 필터 처리를 행하는 단계와,
    상기 복수의 필터 처리의 필터 파라미터에 관한 정보와, 상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록에 대한 상기 복수의 필터 처리의 여부 정보를 부호화하는 단계
    를 갖는 화상 부호화 방법.
  5. 픽처에 대하여, 복수의 필터 처리를 행하여 부호화된 비트스트림을 기억하는 컴퓨터 판독 가능한 기억 매체로서,
    상기 픽처로부터 분할된 최대 사이즈의 부호화 블록의 사이즈를 나타내는 정보와,
    상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록의 사이즈를 나타내는 정보와,
    상기 복수의 필터 처리의 필터 파라미터에 관한 정보와,
    상기 최대 사이즈의 부호화 블록으로부터 분할된 부호화 블록에 대한 상기 복수의 필터 처리의 여부 정보
    를 포함하는 비트스트림을 기억하는 컴퓨터 판독 가능한 기억 매체.
KR1020177022964A 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체 Active KR102157481B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207025986A KR102272564B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-009128 2012-01-19
JP2012009128 2012-01-19
PCT/JP2013/050207 WO2013108684A1 (ja) 2012-01-19 2013-01-09 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147023477A Division KR20140111039A (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법 및 화상 부호화 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020187032318A Division KR102021257B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR1020207025986A Division KR102272564B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체

Publications (2)

Publication Number Publication Date
KR20170098967A true KR20170098967A (ko) 2017-08-30
KR102157481B1 KR102157481B1 (ko) 2020-09-18

Family

ID=48799110

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020147023477A Ceased KR20140111039A (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법 및 화상 부호화 방법
KR1020197025975A Active KR102113985B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR1020187032318A Active KR102021257B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR1020177022964A Active KR102157481B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR1020147022930A Active KR101647242B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR1020207025986A Active KR102272564B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020147023477A Ceased KR20140111039A (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법 및 화상 부호화 방법
KR1020197025975A Active KR102113985B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR1020187032318A Active KR102021257B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020147022930A Active KR101647242B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR1020207025986A Active KR102272564B1 (ko) 2012-01-19 2013-01-09 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체

Country Status (14)

Country Link
US (1) US20150023420A1 (ko)
EP (1) EP2806639A4 (ko)
JP (4) JP5551837B2 (ko)
KR (6) KR20140111039A (ko)
CN (1) CN104067623A (ko)
BR (1) BR112014016291A8 (ko)
CA (3) CA3001027A1 (ko)
HK (1) HK1199589A1 (ko)
IN (1) IN2014CN04356A (ko)
MX (2) MX386291B (ko)
RU (5) RU2577320C1 (ko)
SG (5) SG10201912258SA (ko)
TW (4) TWI665908B (ko)
WO (1) WO2013108684A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6034010B2 (ja) * 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
KR102276914B1 (ko) * 2013-10-24 2021-07-13 삼성전자주식회사 비디오 인코딩 장치 그리고 이의 구동 방법
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
JP6824034B2 (ja) * 2014-03-31 2021-02-03 ソニー株式会社 画像復号装置および方法
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
KR20180050333A (ko) 2015-09-29 2018-05-14 엘지전자 주식회사 영상 코딩 시스템에서 필터링 방법 및 장치
JP6634936B2 (ja) * 2016-04-05 2020-01-22 富士通株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、画像復号プログラムおよび画像伝送システム
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
IL268630B2 (en) 2017-02-23 2023-09-01 Magic Leap Inc Display system with variable power reflector
US11057619B2 (en) 2019-03-23 2021-07-06 Lg Electronics Inc. Image coding method and apparatus based on intra prediction using MPM list
US10764507B1 (en) * 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
US10708624B1 (en) * 2019-05-30 2020-07-07 Ati Technologies Ulc Pre-processing for video compression
TWI753467B (zh) * 2019-06-24 2022-01-21 財團法人工業技術研究院 視訊編解碼方法及其影像處理裝置
CN115589484B (zh) * 2019-12-06 2024-12-24 杭州海康威视数字技术股份有限公司 滤波方法、装置及设备
CN113808157B (zh) * 2021-11-18 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、及计算机设备
CN116385414B (zh) * 2023-04-10 2023-11-07 哈尔滨耐是智能科技有限公司 零部件多尺度缺陷特征提取方法、计算设备及存储介质
CN119514391B (zh) * 2025-01-21 2025-05-09 交通运输部天津水运工程科学研究所 一种船舶与固定结构物的碰撞模拟方法和系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW256896B (ko) * 1991-07-19 1995-09-11 Sony Co Ltd
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
JP3639517B2 (ja) * 2000-10-04 2005-04-20 三洋電機株式会社 動画像復号化装置および動画像復号化方法
JP4114494B2 (ja) * 2002-03-07 2008-07-09 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
JP4361435B2 (ja) * 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
US8340175B2 (en) * 2005-04-13 2012-12-25 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
KR100745765B1 (ko) * 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
BRPI0714233A2 (pt) 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
RU2427976C2 (ru) * 2006-07-28 2011-08-27 Кабусики Кайся Тосиба Способ и устройство для кодирования и декодирования изображения
JP4931214B2 (ja) * 2007-01-24 2012-05-16 キヤノン株式会社 画像処理装置及びその方法
CN101677400B (zh) * 2008-09-19 2012-08-15 华为技术有限公司 编码、解码方法和编码器、解码器及编解码系统
JP2010130522A (ja) * 2008-11-28 2010-06-10 Canon Inc 動画像符号化装置及び動画像符号化方法
CN102119409A (zh) * 2009-05-19 2011-07-06 松下电器产业株式会社 描绘装置以及描绘方法
JP5361998B2 (ja) * 2009-05-29 2013-12-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US20100329361A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
US20110194613A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
CN102265611A (zh) * 2010-03-15 2011-11-30 联发科技（新加坡）私人有限公司 在混合视频编码中具有多个滤波器的本地环路内滤波
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
RU2523071C1 (ru) * 2010-04-09 2014-07-20 Мицубиси Электрик Корпорейшн Устройство кодирования движущихся изображений и устройство декодирования движущихся изображений
JP5676744B2 (ja) * 2010-04-13 2015-02-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エントロピー符号化
TWI508534B (zh) * 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
WO2011158657A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US20120029435A1 (en) * 2010-07-30 2012-02-02 Miriam Gutierrez Del Rio Ng/og support systems
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012142966A1 (en) * 2011-04-21 2012-10-26 Mediatek Inc. Method and apparatus for improved in-loop filtering
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
CN105049864A (zh) * 2011-06-28 2015-11-11 三星电子株式会社 根据像素分类使用偏移调整的视频解码方法及其设备
US20130013616A1 (en) * 2011-07-08 2013-01-10 Jochen Lothar Leidner Systems and Methods for Natural Language Searching of Structured Data
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bross B et al: "WD4: Working Draft 4 of High-Efficiency Video Coding", JTCVC-F803, 2011.11.20. *
Ching-Yeh Chen et al.,"Non-CE8: Sample Adaptive Offset with LCU-based Snytax", JCTVC-G831, 2011.11.30. *

Also Published As

Publication number Publication date
JP2017092980A (ja) 2017-05-25
BR112014016291A2 (pt) 2017-06-13
KR20200108111A (ko) 2020-09-16
SG10201604926WA (en) 2016-08-30
JP5815795B2 (ja) 2015-11-17
TW201808007A (zh) 2018-03-01
JP5551837B2 (ja) 2014-07-16
SG10201912258SA (en) 2020-02-27
RU2658178C1 (ru) 2018-06-19
CA2961818A1 (en) 2013-07-25
CA2961818C (en) 2020-06-09
CN104067623A (zh) 2014-09-24
EP2806639A4 (en) 2016-06-01
KR20190105135A (ko) 2019-09-11
SG10201912254WA (en) 2020-02-27
RU2577320C1 (ru) 2016-03-20
TWI665908B (zh) 2019-07-11
KR101647242B1 (ko) 2016-08-09
EP2806639A1 (en) 2014-11-26
TWI586148B (zh) 2017-06-01
JPWO2013108684A1 (ja) 2015-05-11
CA2862805A1 (en) 2013-07-25
KR20140111039A (ko) 2014-09-17
MX2014008781A (es) 2014-10-23
KR102157481B1 (ko) 2020-09-18
SG10201906914WA (en) 2019-09-27
JP2015228709A (ja) 2015-12-17
KR102272564B1 (ko) 2021-07-02
SG11201403454PA (en) 2014-08-28
TWI608728B (zh) 2017-12-11
US20150023420A1 (en) 2015-01-22
TW201342934A (zh) 2013-10-16
KR20140117557A (ko) 2014-10-07
BR112014016291A8 (pt) 2017-07-04
CA3001027A1 (en) 2013-07-25
WO2013108684A1 (ja) 2013-07-25
HK1199589A1 (en) 2015-07-03
JP6082073B2 (ja) 2017-02-15
TW201534108A (zh) 2015-09-01
IN2014CN04356A (ko) 2015-09-04
TW201731292A (zh) 2017-09-01
KR20180123191A (ko) 2018-11-14
MX386291B (es) 2025-03-18
KR102021257B1 (ko) 2019-09-11
JP2014187704A (ja) 2014-10-02
CA2862805C (en) 2019-02-12
KR102113985B1 (ko) 2020-05-22
RU2616598C1 (ru) 2017-04-18
RU2703229C1 (ru) 2019-10-15
TWI489837B (zh) 2015-06-21
RU2684570C1 (ru) 2019-04-09

Similar Documents

Publication Publication Date Title
KR101647242B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR101950657B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR101669388B1 (ko) 부호화 데이터가 기록된 기록 매체
US9451279B2 (en) Method for decoding a moving picture
KR101749855B1 (ko) 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
KR20150029001A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR20140049095A (ko) 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0601 Decision of rejection after re-examination

St.27 status event code: N-2-6-B10-B17-rex-PX0601

X601 Decision of rejection after re-examination
A107 Divisional application of patent
J201 Request for trial against refusal decision
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PJ0201 Trial against decision of rejection

St.27 status event code: A-3-3-V10-V11-apl-PJ0201

J301 Trial decision

Free format text: TRIAL NUMBER: 2018101004561; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20181107

Effective date: 20200312

PJ1301 Trial decision

St.27 status event code: A-3-3-V10-V15-crt-PJ1301

Decision date: 20200312

Appeal event data comment text: Appeal Kind Category : Appeal against decision to decline refusal, Appeal Ground Text : 2017 7022964

Appeal request date: 20181107

Appellate body name: Patent Examination Board

Decision authority category: Office appeal board

Decision identifier: 2018101004561

PS0901 Examination by remand of revocation

St.27 status event code: A-6-3-E10-E12-rex-PS0901

S901 Examination by remand of revocation
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

St.27 status event code: A-3-4-F10-F13-rex-PS0701

A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6