KR20140092409A - 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램 - Google Patents

영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램 Download PDF

Info

Publication number
KR20140092409A
KR20140092409A KR1020147017332A KR20147017332A KR20140092409A KR 20140092409 A KR20140092409 A KR 20140092409A KR 1020147017332 A KR1020147017332 A KR 1020147017332A KR 20147017332 A KR20147017332 A KR 20147017332A KR 20140092409 A KR20140092409 A KR 20140092409A
Authority
KR
South Korea
Prior art keywords
pcm
block size
bit stream
block
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147017332A
Other languages
English (en)
Other versions
KR101519488B1 (ko
Inventor
게이이치 조노
유조 센다
준지 다지메
히로후미 아오키
겐타 센자키
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46145598&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140092409(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20140092409A publication Critical patent/KR20140092409A/ko
Application granted granted Critical
Publication of KR101519488B1 publication Critical patent/KR101519488B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S358/00—Facsimile and static presentation processing
    • Y10S358/906—Hand-held camera with recorder in a single unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

영상 부호화 장치는 영상 블록을 변환하는 변환 수단(11)과, 변환 수단(11)이 변환한 화상 블록의 변환 데이터를 엔트로피 부호화하는 엔트로피 부호화 수단(12)과, 화상 블록을 PCM 부호화하는 PCM 부호화 수단(13)과, 외부 설정되는 블록 사이즈의 블록으로 엔트로피 부호화 수단(12) 또는 PCM 부호화 수단(13)의 출력 데이터를 선택하는 다중화 데이터 선택 수단(14)과, 외부 설정되는 블록 사이즈의 블록으로 PCM 헤더를 비트스트림에 매립하는 대중화 수단(15)을 구비한다.

Description

영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램{VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, VIDEO DECODING METHOD, AND PROGRAM}
본 발명은 PCM 부호화를 이용하는 영상 부호화 장치 및 영상 복호 장치에 관한 것이다.
특허문헌 1에서는, 영상 부호화 장치나 영상 복호 장치에 있는 일정한 처리 시간을 보증하기 위해서, 변환 처리 및 엔트로피 부호화 처리를 행하지 않는 블록 타입을 나타내는 정보를 출력 비트스트림에 매립하는 영상 부호화 방법이 제안되어 있다.
변환 처리 및 엔트로피 부호화 처리를 행하지 않는 블록 타입의 일례로서, 비특허문헌 1에 기재되어 있는 Pulse Code Modulation(PCM)이 있다. 블록 타입이란, 블록에 이용한 부호화의 종류(후술하는 인트라 예측, 인터 예측, PCM)이다.
비특허문헌 1에 기재되어 있는 영상 부호화 장치는, 도 14에 나타내는 바와 같이 구성된다. 이하, 도 14에 나타나는 영상 부호화 장치를 일반적인 영상 부호화 장치라고 부른다.
도 14를 참조하여, 디지털화된 영상의 각 프레임을 입력으로 하여 비트스트림을 출력하는, 일반적인 영상 부호화 장치의 구성과 동작을 설명한다.
도 14에 나타난 영상 부호화 장치는, 변환/양자화기(102), 엔트로피 부호화기(103), 역변환/역양자화기(104), 버퍼(105), 예측기(106), PCM 부호화기(107), PCM 복호기(108), 다중화 데이터 선택기(109), 다중화기(110), 스위치(121), 및 스위치(122)를 구비한다.
도 14에 나타내는 영상 부호화 장치는, 각 프레임을 매크로블록(MB:Macro Block)이라고 불리는 16×16화소 사이즈의 블록으로 분할하고, 프레임의 좌상(左上)에서부터 순서대로 각 MB를 부호화한다. 비특허문헌 1에 기재되어 있는 AVC에 있어서는, 각 MB를 4×4화소 사이즈의 블록으로 더 블록 분할하고, 각 4×4화소 사이즈의 블록을 부호화한다.
도 15는 프레임의 공간 해상도가 QCIF(Quarter Common Intermediate Format)인 경우의 블록 분할의 예를 나타내는 설명도이다. 이하, 설명의 간략화를 위해, 휘도의 화소값에만 착목해서 각 유닛의 동작을 설명한다.
블록으로 분할된 입력 영상은, 예측기(106)로부터 공급되는 예측 신호가 감해져서, 변환/양자화기(102)에 입력된다. 예측 신호에는 인트라 예측 신호와 프레임간 예측 신호의 2종류가 있다. 각각의 예측 신호를 설명한다.
인트라 예측 신호는, 버퍼(105)에 저장된 현재의 픽쳐와 표시 시각이 동일한 재구축 픽쳐의 화상에 의거하여 생성되는 예측 신호이다. 비특허문헌 1의 8.3.1 Intra_4×4 prediction process for luma samples, 8.3.2 Intra_8×8 prediction process for luma samples, 및 8.3.3 Intra_16×16 prediction process for luma samples를 인용하면, 3종류의 블록 사이즈의 인트라 예측, 즉 Intra_4×4, Intra_8×8, Intra_16×16이 있다.
Intra_4×4와 Intra_8×8은, 도 16의 (a)와 (c)를 참조하면, 각각 4×4블록 사이즈와 8×8블록 사이즈의 인트라 예측인 것을 알 수 있다. 단, 도면의 동그라미(○)는 인트라 예측에 이용하는 참조 화소, 즉, 현재의 픽쳐와 표시 시간이 동일한 재구축 픽쳐의 화소를 나타낸다.
Intra_4×4의 인트라 예측에서는 재구축한 주변 화소를 그대로 참조 화소로 해서, 도 16의 (b)에 나타내는 9종류의 방향으로 참조 화소를 패딩(외삽(外揷))해서 예측 신호가 형성된다. Intra_8×8의 인트라 예측에서는, 도 16의 (c)의 우화살표의 아래에 기재된 로우 패스 필터(1/2, 1/4, 1/2)에 의해 재구축 픽쳐의 화상의 주변 화소를 평활화한 화소를 참조 화소로 하여, 도 16의 (b)에 나타내는 9종류의 방향으로 참조 화소를 외삽해서 예측 신호가 형성된다.
한편, Intra_16×16은 도 17의 (a)를 참조하면, 16×16블록 사이즈의 인트라 예측인 것을 알 수 있다. 도 16과 마찬가지로 도면의 동그라미(○)는 인트라 예측에 이용하는 참조 화소, 즉, 현재의 픽쳐와 표시 시각이 동일한 재구축 픽쳐의 화소를 나타낸다. Intra_16×16의 인트라 예측에서는, 재구축 화상의 주변 화소를 그대로 참조 화소로 하여, 도 17의 (b)에 나타내는 4종류의 방향으로 참조 화소를 외삽해서 예측 신호가 형성된다.
이하, 인트라 예측 신호를 이용하여 부호화되는 MB 및 블록을 각각 인트라 MB 및 인트라 블록이라고 하고, 인트라 예측의 블록 사이즈를 인트라 예측 블록 사이즈라고 하며, 외삽의 방향을 인트라 예측 방향이라고 한다. 또한, 인트라 예측 블록 사이즈 및 인트라 예측 방향은, 인트라 예측에 관한 예측 파라미터이다.
프레임간 예측 신호는, 버퍼(105)에 저장된 현재의 픽쳐와 표시 시각이 상이한 재구축 픽쳐의 화상으로 생성되는 예측 신호이다. 이하, 프레임간 예측 신호를 이용하여 부호화되는 MB 및 블록을 각각 인터 MB 및 인터 블록이라고 한다. 인터 예측의 블록 사이즈(인터 예측 블록 사이즈)로서, 예를 들면 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 및 4×4를 선택할 수 있다.
도 18은 16×16의 블록 사이즈를 예로 한 프레임간 예측의 예를 나타내는 설명도이다. 도 18에 나타내는 움직임 벡터 MV=(mvx, mvy)는, 부호화 대상 블록에 대한 참조 픽쳐의 프레임간 예측 블록(프레임간 예측 신호)의 평행 이동량을 나타내는 프레임간 예측의 예측 파라미터이다. AVC에 있어서는, 부호화 대상 블록의 부호화 대상 픽쳐에 대한 프레임간 예측 신호의 참조 픽쳐의 방향을 나타내는 프레임간 예측 방향에 더하여, 부호화 대상 블록의 프레임간 예측에 이용하는 참조 픽쳐를 동정(同定)하기 위한 참조 픽쳐 인덱스도 프레임간 예측의 예측 파라미터이다. AVC에 있어서는, 버퍼(105)에 저장된 복수매의 참조 픽쳐를 프레임간 예측에 이용할 수 있기 때문이다.
또한, 프레임간 예측의 보다 상세한 설명이 비특허문헌 1의 8.4 Inter prediction process에 기재되어 있다.
또한, 인트라 MB로만 부호화된 픽쳐는 I 픽쳐라고 불린다. 인트라 MB 뿐만 아니라 인터 MB도 포함해서 부호화된 픽쳐는 P 픽쳐라고 불린다. 프레임간 예측으로 1매의 참조 픽쳐뿐만 아니라, 또한 동시에 2매의 참조 픽쳐를 이용하는 인터 MB를 포함해서 부호화된 픽쳐는 B 픽쳐라고 불린다. 또한, B 픽쳐에 있어서, 부호화 대상 블록의 부호화 대상 픽쳐에 대한 프레임간 예측 신호의 참조 픽쳐의 방향이 과거인 프레임간 예측을 전방향 예측, 부호화 대상 블록의 부호화 대상 픽쳐에 대한 프레임간 예측 신호의 참조 픽쳐의 방향이 미래인 프레임간 예측을 후방향 예측, 과거와 미래를 포함하는 프레임간 예측을 쌍방향 예측이라고 각각 부른다. 또한, 프레임간 예측 방향(인터 예측 방향)은, 프레임간 예측의 예측 파라미터이다.
변환/양자화기(102)는 예측 신호가 감해진 화상(예측 오차 화상)을 주파수 변환한다.
또한, 변환/양자화기(102)는 소정의 양자화 스텝 폭(Qs)으로, 주파수 변환한 예측 오차 화상(주파수 변환 계수)을 양자화한다. 이하, 양자화된 주파수 변환 계수를 변환 양자화값이라고 부른다.
엔트로피 부호화기(103)는 예측 파라미터와 변환 양자화값을 엔트로피 부호화한다. 예측 파라미터란, 상술한 블록 타입(인트라 예측, 인터 예측, 및, PCM), 인트라 예측 블록 사이즈, 인트라 예측 방향, 인터 예측 블록 사이즈, 및 움직임 벡터 등, MB 및 블록의 예측에 관련된 정보이다.
역변환/역양자화기(104)는 양자화 스텝 폭(Qs)으로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(104)는 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 추가되어서 스위치(122)에 공급된다.
다중화 데이터 선택기(109)는 부호화 대상의 MB에 대응하는 엔트로피 부호화기(103)의 입력 데이터량을 감시한다. MB의 처리 시간 내에 엔트로피 부호화기(103)가 그 입력 데이터를 엔트로피 부호화 가능할 경우에는, 다중화 데이터 선택기(109)는 엔트로피 부호화기(103)의 출력 데이터를 선택하고, 선택된 데이터를 스위치(121)를 통해서 다중화기(110)에 공급시킨다. 또한, 다중화 데이터 선택기(109)는 역변환/양자화기(104)의 출력 데이터를 선택하고, 선택된 데이터를 스위치(122)를 통해서 버퍼(105)에 공급시킨다.
엔트로피 부호화기(103)가 MB의 처리 시간 내에 엔트로피 부호화를 할 수 없을 경우에는, 다중화 데이터 선택기(109)는 PCM 부호화기(107)가 MB의 영상을 PCM 부호화한 출력 데이터를 선택하고, 선택된 데이터를 스위치(121)를 통해서 다중화기(110)에 공급시킨다. 또한, 다중화 데이터 선택기(109)는 PCM 부호화기(107)의 출력 데이터를 PCM 복호기(108)가 PCM 복호한 출력 데이터를 선택하고, 선택된 데이터를 스위치(122)를 통해서 버퍼(105)에 공급시킨다.
버퍼(105)는 스위치(122)를 통해서 공급되는 재구축 화상을 저장한다. 1프레임 분의 재구축 화상을 재구축 픽쳐라고 부른다.
다중화기(110)는 엔트로피 부호화기(103)와 PCM 부호화기(107)의 출력 데이터를 다중화하고, 다중화 결과를 출력한다.
상술한 동작에 의거하여, 영상 부호화 장치에 있어서의 다중화기(110)는 비트스트림을 생성한다.
일본국 특개2004-135251호 공보
ISO/IEC 14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010 W.-J. Chen, X. Wang, and M. Karczewicz, "CE5 Improved coding of inter prediction mode with LCEC," JCTVC-D370. S. Liu, Y.-W. Huang, S. Lei, "Remove Partition Size NxN," JCTVC-D432.
상술한 일반적 기술은, 변환 처리 및 엔트로피 부호화 처리를 행하지 않는 PCM을 MB에서 이용함으로써, 영상 부호화 장치나 영상 복호 장치에 있는 일정한 처리 시간을 보증한다.
그러나, 상술한 일반적 기술은, 부호화 유닛 사이즈(CU 사이즈)가 고정인 MB를 이용한 영상 부호화에 의거하고 있다. 그러므로, 비특허문헌 2에 기재된 바와 같이, CU 사이즈가 가변인, 도 19에 나타내는 쿼드 트리(quadtree) 구조의 부호화 유닛(Coding Tree Block(CTB))을 이용한 영상 부호화(이하, Test Model under Consideration 방식(TMuC 방식)이라고 부름)에 상술한 일반적 기술을 적용하고, 모든 계층(즉, 모든 depth)의 CTB로 PCM을 나타내는 정보(PCM 헤더)를 출력 비트스트림에 매립하면, 비트스트림에 포함되는 PCM 헤더의 비트수의 비율이 높아져, 압축 영상의 품질이 저하되는 과제가 있다.
또한, 최대의 CTB를 Largest Coding Tree Block(LCTB), 최소의 CTB를 Smallest Coding Tree Block(SCTB)이라고 부른다. 또한, 본 명세서에서는 CTB의 블록을 Coding Unit(CU:부호화 유닛)이라고 부른다. 또한, TMuC 방식에 있어서는, CU에 대한 예측 유닛으로서 Prediction unit(PU)이라고 하는 개념(도 20 참조)이 도입되어 있다. 도 20은 PU를 설명하기 위한 설명도이지만, 인트라 예측 블록 사이즈로서 도 20에 나타난 형상 중 정방형만이 서포트되어 있다.
또한, 비특허문헌 3에는 인터 예측의 시그널링의 개량이 기재되어 있다. 비특허문헌 4에는, 인터 예측 및 인트라 예측의 시그널링의 개량이 기재되어 있다.
상술한 일반적 기술의 과제를 해결하기 위해서, 영상 부호화 장치나 영상 복호 장치에 있는 일정한 처리 시간을 보증하기 위해서, PCM을 고계층의 CU로 선택 가능하면 되는 점에 착목한다. 고계층의 CU는 도 19에서 알 수 있는 바와 같이, depth의 값이 작은 CU이다. 그 블록 사이즈가 크기 때문에 고계층 CU의 프레임당 개수가 적다. 고계층의 CU는 개수가 적기 때문에, 비트스트림에 포함되는 PCM 헤더의 비트수의 비율을 낮게 할 수 있다.
본 발명에서는, PCM 부호화에 의거한 영상 부호화에 있어서, PCM 헤더를 전송하는 CU의 depth를 제한함으로써 과제를 해결한다. 즉, 본 발명에서는, PCM 헤더를 전송하는 CU 사이즈를 소정의 사이즈로 제한한다.
본 발명에 의한 영상 부호화 장치는, 화상 블록을 변환하는 변환 수단과, 변환 수단이 변환한 화상 블록의 변환 데이터를 엔트로피 부호화하는 엔트로피 부호화 수단과, 화상 블록을 PCM 부호화하는 PCM 부호화 수단과, 외부 설정되는 블록 사이즈의 블록으로 엔트로피 부호화 수단 또는 PCM 부호화 수단의 출력 데이터를 선택하는 다중화 데이터 선택 수단과, 외부 설정되는 블록 사이즈의 블록으로 PCM 헤더를 비트스트림에 매립하는 다중화 수단을 구비하는 것을 특징으로 한다.
본 발명에 의한 영상 복호 장치는, PCM 블록 사이즈 정보를 포함하는 비트스트림을 다중화 해제하는 다중화 해제 수단과, 다중화 해제 수단이 다중화 해제한 PCM 블록 사이즈 정보에 의거하여 PCM 헤더를 판독하는 PCM 블록 사이즈를 결정하는 PCM 블록 사이즈 결정 수단과, PCM 블록 사이즈 결정 수단이 결정한 PCM 블록 사이즈의 블록으로 PCM 헤더를 비트스트림으로부터 판독하는 PCM 헤더 판독 수단과, 비트스트림에 포함되는 화상의 변환 데이터를 엔트로피 복호하는 엔트로피 복호 수단과, 엔트로피 복호 수단이 엔트로피 복호한 변환 데이터를 역변환하는 역변환 수단과, 비트스트림에 포함되는 화상의 PCM 데이터를 PCM 복호하는 PCM 복호 수단과, PCM 헤더 판독 수단이 판독한 PCM 헤더에 의거하여 엔트로피 복호 수단 및 PCM 복호 수단을 제어하는 복호 제어 수단을 구비하는 것을 특징으로 한다.
본 발명에 의한 영상 부호화 방법은, 화상 블록을 변환한 변환 데이터를 엔트로피 부호화한 데이터 또는 화상 블록을 PCM 부호화한 데이터를, 외부 설정되는 블록 사이즈의 단위에서 선택하고, 외부 설정되는 블록 사이즈의 블록에서 PCM 헤더를 비트스트림에 매립하는 것을 특징으로 한다.
본 발명에 의한 영상 복호 방법은, PCM 블록 사이즈 정보를 포함하는 비트스트림을 다중화 해제하고, 다중화 해제한 PCM 블록 사이즈 정보에 의거하여 PCM 헤더를 판독하는 PCM 블록 사이즈를 결정하며, 결정한 PCM 블록 사이즈의 블록으로 PCM 헤더를 비트스트림으로부터 판독하고, 판독한 PCM 헤더에 의거하여 엔트로피 복호 처리 및 PCM 복호 처리를 제어하며, 엔트로피 복호 처리를 제어할 경우에, 비트스트림에 포함되는 화상의 변환 데이터를 엔트로피 복호하여, 엔트로피 복호한 변환 데이터를 역변환하며, PCM 복호 처리를 제어할 경우에, 비트스트림에 포함되는 화상의 PCM 데이터를 PCM 복호에 의해 복호하는 것을 특징으로 한다.
본 발명에 의한 영상 부호화 프로그램은, 컴퓨터에, 화상 블록을 변환한 변환 데이터를 엔트로피 부호화한 데이터 또는 화상 블록을 PCM 부호화한 데이터를, 외부 설정되는 블록 사이즈의 단위로 선택하는 선택 처리와, 외부 설정되는 블록 사이즈의 블록으로 PCM 헤더를 비트스트림에 매립하는 다중화 처리를 실행시키는 것을 특징으로 한다.
본 발명에 의한 영상 복호 프로그램은, 컴퓨터에, PCM 블록 사이즈 정보를 포함하는 비트스트림을 다중화 해제하는 다중화 해제 처리와, 다중화 해제한 PCM 블록 사이즈 정보에 의거하여 PCM 헤더를 판독하는 PCM 블록 사이즈를 결정하는 PCM 블록 사이즈 결정 처리와, 결정한 PCM 블록 사이즈의 블록으로 PCM 헤더를 비트스트림으로부터 판독하는 PCM 헤더 판독 처리와, 판독한 PCM 헤더에 의거하여 엔트로피 복호 처리 및 PCM 복호 처리를 제어하는 처리를 실행시키고, 엔트로피 복호 처리를 제어할 경우에, 비트스트림에 포함되는 화상의 변환 데이터를 엔트로피 복호하여, 엔트로피 복호한 변환 데이터를 역변환하는 처리를 실행시키고, PCM 복호 처리를 제어할 경우에, 비트스트림에 포함되는 화상의 PCM 데이터를 PCM 복호에 의해 복호하는 처리를 실행시키는 것을 특징으로 한다.
본 발명에 의하면, PCM 헤더를 시그널링하는 부호화 유닛 사이즈가 소정의 사이즈로 제한되므로, 영상 부호화 장치에 있는 일정한 처리 시간을 보증하면서, 비트스트림에 포함되는 PCM 헤더의 비트수의 비율을 낮게 억제해서, 압축 영상의 품질을 유지할 수 있다.
또한, 본 발명에 의하면, 소정의 사이즈를 영상 복호 장치에 시그널링하기 위한 PCM 부호화 유닛 사이즈 정보를 비트스트림에 매립함으로써, 영상 부호화 장치와 영상 복호 장치의 상호 운용성을 높일 수 있다.
도 1은 제 1 실시형태의 영상 부호화 장치의 블록도.
도 2는 PU 신택스에 있어서의 PCM 헤더를 나타내는 리스트 1의 설명도.
도 3은 시퀀스 파라미터 세트에 있어서의 PCM 부호화 유닛 사이즈 정보를 나타내는 리스트 2의 설명도.
도 4는 PCM 헤더 기입의 동작을 나타내는 플로차트.
도 5는 제 2 실시형태의 영상 복호 장치의 블록도.
도 6은 PCM 헤더 판독의 동작을 나타내는 플로차트.
도 7은 픽쳐 파라미터 세트에 있어서의 PCM 부호화 유닛 사이즈 정보를 나타내는 리스트 3의 설명도.
도 8은 슬라이스 헤더에 있어서의 PCM 부호화 유닛 사이즈 정보를 나타내는 리스트 4의 설명도.
도 9는 제 3 실시형태에 있어서의 PU 신택스에 있어서의 PCM 헤더를 나타내는 리스트 1의 설명도.
도 10은 제 3 실시형태에 있어서의 PCM 헤더 판독의 동작을 나타내는 플로차트.
도 11은 본 발명에 의한 영상 부호화 장치 및 영상 복호 장치의 기능을 실현 가능한 정보 처리 시스템의 구성예를 나타내는 블록도.
도 12는 본 발명에 의한 영상 부호화 장치의 주요부를 나타내는 블록도.
도 13은 본 발명에 의한 영상 복호 장치의 주요부를 나타내는 블록도.
도 14는 일반적인 영상 부호화 장치의 블록도.
도 15는 블록 분할의 예를 나타내는 설명도.
도 16은 예측의 종류를 설명하기 위한 설명도.
도 17은 예측의 종류를 설명하기 위한 설명도.
도 18은 16×16의 블록 사이즈를 예로 한 프레임간 예측의 예를 나타내는 설명도.
도 19는 CTB를 설명하기 위한 설명도.
도 20은 PU를 설명하기 위한 설명도.
실시형태 1
제 1 실시형태에서는, 외부 설정되는 CU 사이즈로, 엔트로피 부호화 수단 또는 PCM 부호화 수단의 출력 데이터를 선택하는 수단, 상기 외부 설정되는 CU 사이즈로 PCM 헤더를 비트스트림에 매립하는 수단, 및 상기의 외부 설정되는 CU 사이즈를 영상 복호 장치에 시그널링하기 위한, PCM 부호화 유닛 사이즈에 관한 정보를 비트스트림에 매립하는 수단을 구비하는 영상 부호화 장치를 나타낸다.
구체예를 나타내면서 설명하기 위해서, 본 실시형태에서는, PCM 헤더를 비트스트림에 매립하는 CU 사이즈를, 외부로부터 설정되는 PCM 부호화 유닛 사이즈(pcmCodingUnitSize) 이상으로 한다. 또한, 이용 가능한 부호화 유닛 사이즈를 128, 64, 32, 16 및 8로 하고, pcmCodingUnitSize를 16으로 한다. 또한, PCM 부호화 유닛 사이즈에 관한 정보는 후술하는 바와 같이, PCM 부호화 유닛 사이즈를 최소 부호화 유닛 사이즈로 나눈 값인 "2"를 베이스로 하는 log(대수)로 한다. 따라서, 본 실시형태에서는 PCM 헤더를 비트스트림에 매립하는 CU 사이즈에 대응하는 블록 사이즈가 128×128, 64×64, 32×32 및 16×16이 된다. 또한, 비트스트림에 매립되는 CU 사이즈에 관한 정보의 구체적인 수치는 1(=log2(16/8))이 된다.
도 1에 나타내는 바와 같이, 본 실시형태의 영상 부호화 장치는, 도 14에 나타난 일반적인 영상 부호화 장치와 마찬가지로, 변환/양자화기(102), 엔트로피 부호화기(103), 역변환/역양자화기(104), 버퍼(105), 예측기(106), PCM 부호화기(107), PCM 복호기(108), 다중화 데이터 선택기(109), 다중화기(110), 스위치(121), 및 스위치(122)를 구비한다. 도 1에 나타내는 본 실시형태의 영상 부호화 장치에서는, 도 14에 나타내는 영상 부호화 장치와는 달리, pcmCodingUnitSize 이상의 CU 사이즈로 PCM 헤더를 전송하기 위해서 pcmCodingUnitSize가 다중화 데이터 선택기(109)에 공급되어 있고, pcmCodingUnitSize를 영상 복호 장치에 시그널링하기 위해서, pcmCodingUnitSize가 다중화기(110)에도 공급되어 있다.
CU 사이즈의 입력 영상은, 예측기(106)로부터 공급되는 예측 신호가 감해져서 변환/양자화기(102)에 입력된다.
변환/양자화기(102)는 예측 신호가 감해진 화상(예측 오차 화상)을 주파수 변환한다.
또한, 변환/양자화기(102)는 양자화 스텝 폭(Qs)으로, 주파수 변환한 예측 오차 화상(주파수 변환 계수)을 양자화한다.
엔트로피 부호화기(103)는 CU의 사이즈를 시그널링하는 split_coding_unit_flag(도 19 참조), 예측기(106)로부터 공급되는 예측 파라미터, 및 변환/양자화기(102)로부터 공급되는 변환 양자화값을 엔트로피 부호화한다. 예측 파라미터란, 블록 타입(인트라 예측, 인터 예측, 및 PCM), 인트라 예측 블록 사이즈, 인트라 예측 방향, 인터 예측 블록 사이즈, 및 움직임 벡터 등, 부호화 대상(CU)의 예측에 관련된 정보이다.
또한, 본 실시형태의 엔트로피 부호화기(103)는 다중화 데이터 선택기(109)를 통해서 외부 설정되는 pcmCodingUnitSize에 의거하여, 부호화 대상(CU)의 사이즈가 pcmCodingUnitSize 이상이며, 또한 그 예측 모드가 인트라 예측일 경우, PCM 부호화의 ON/OFF를 나타내는 pcm_flag 신택스를 OFF로서 엔트로피 부호화한다.
역변환/역양자화기(104)는 양자화 스텝 폭(Qs)으로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(104)는 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 추가되어서 스위치(122)에 공급된다.
다중화 데이터 선택기(109)는, pcmCodingUnitSize 이상인 부호화 대상(CU)에 대응하는 엔트로피 부호화기(103)의 입력 데이터량을 감시한다. pcmCodingUnitSize 이상의 부호화 대상(CU)의 처리 시간 내에 엔트로피 부호화기(103)가 그 입력 데이터를 엔트로피 부호화할 수 있을 경우, 다중화 데이터 선택기(109)는 엔트로피 부호화기(103)의 출력 데이터를 선택하고, 선택된 데이터를 스위치(121)를 통해서 다중화기(110)에 공급시킨다. 또한, 다중화 데이터 선택기(109)는 역변환/양자화기(104)의 출력 데이터를 선택하고, 선택된 데이터를 스위치(122)를 통해서 버퍼(105)에 공급시킨다.
엔트로피 부호화기(103)가 부호화 대상(CU)의 처리 시간 내에 입력 데이터를 엔트로피 부호화할 수 없을 경우, 다중화 데이터 선택기(109)는, 우선 pcmCodingUnitSize 이상인 CU가 PCM 부호화에 의해 부호화된 것을 나타내는 정보를 엔트로피 부호화기(103)가 엔트로피 부호화해서 출력하게 한다. 구체적으로는, 다중화 데이터 선택기(109)는, 엔트로피 부호화기(103)가 CU의 PU 헤더에 있어서, 블록 타입을 나타내는 mode_table_idx 신택스 또는 pred_mode 신택스를 인트라 예측으로서 엔트로피 부호화해서 출력하게 하고, 또한 PCM 부호화의 ON/OFF를 나타내는 pcm_flag 신택스를 ON으로서 엔트로피 부호화해서 출력하게 한다.
계속해서, 엔트로피 부호화기(103)의 출력 비트를 바이트 얼라인먼트한다. 구체적으로는, 엔트로피 부호화기(103)가 소정량의 pcm_alignment_zero_bit 신택스를 다중화기(110)에 공급한다. 또한, 이후의 부호화를 위해, 엔트로피 부호화기(103)의 부호화 엔진을 초기화한다.
부호화 엔진을 초기화한 후, PCM 부호화기(107)는 CU의 입력 영상을 PCM 부호화에 의해 부호화한다. PCM 부호화기(107)의 휘도의 출력 데이터 pcm_sample_luma[i]는 입력 영상의 휘도의 화소 비트 길이 bit_depth_luma가 된다. 단, i(0≤i≤255)는 CU의 블록 내의 래스터 스캔순으로의 인덱스이다. 마찬가지로, PCM 부호화기(107)의 색차의 출력 데이터 pcm_sample_chroma[i](i:0≤i≤128)는 입력 영상의 색차의 화소 비트 길이 bit_depth_chroma가 된다.
CU의 입력 영상을 PCM 부호화에 의해 부호화한 후, PCM 복호기(108)는 pcm_sample_luma[i] 및 pcm_sample_chroma[i]를 PCM 복호에 의해 복호한다.
PCM 복호 후, 다중화 데이터 선택기(109)는 PCM 부호화기(107)의 출력 데이터를 선택하고, 선택된 데이터를 스위치(121)를 통해서 다중화기(110)에 공급시킨다.
마지막으로, 다중화 데이터 선택기(109)는 PCM 복호기(108)의 출력 데이터를 선택하고, 선택된 데이터를 스위치(122)를 통해서 버퍼(105)에 공급시킨다.
또한, 상술한 mode_table_idx 신택스, pred_mode 신택스, pcm_flag 신택스, 및 pcm_alignment_zero_bit 신택스는, 비특허문헌 1의 Specification of syntax functions, categories, and descriptors 및 비특허문헌 2의 4.1.10 Prediction unit syntax의 표기를 따르면, 도 2에 나타내는 리스트1에 나타내는 바와 같이 시그널링할 수 있다. 리스트1에 있어서, pcm_alignment_zero_bit 신택스의 시그널링 조건이 되는 변수 pcm_unit_flag는, PCM 부호화 ON의 pcm_flag 신택스가 시그널링되었을 경우에만 ON이다. 그렇지 않을 경우, 변수 pcm_unit_flag를 OFF로 한다. 리스트1에 있어서, "if(currPredUnitSize >= pcmCodingUnitSize)"의 조건에 따라, pcmCodingUnitSize 이상의 사이즈인 CU의 PU 헤더에 있어서만, pcm_flag 신택스가 시그널링되는 것이, 본 실시형태의 특징이다.
다중화기(110)는 PCM 부호화 유닛 사이즈에 관한 정보(max_pcm_coding_unit_hierarchy_depth), 및 엔트로피 부호화기(103)와 PCM 부호화기(107)의 출력 데이터를 다중화해서 출력한다. 비특허문헌 2의 4.1.2 Sequence parameter set RBSP syntax의 표기를 따르면, 도 3에 나타내는 리스트2에 나타나는 바와 같이, 시퀀스 파라미터 세트의 log2_min_coding_unit_size_minus3 신택스와 max_coding_unit_hierarchy_depth 신택스에 후속시켜서, max_pcm_coding_unit_hierarchy_depth 신택스(PCM 부호화 유닛 사이즈를 최소 부호화 유닛 사이즈로 나눈 값의 "2"를 베이스로 하는 log(대수), 본 실시형태에 있어서는 1)를 다중화한다. 또한, max_pcm_coding_unit_hierarchy_depth를, min_pcm_coding_unit_hierarchy_depth라고도 한다. 단, log2_min_coding_unit_size_minus3 신택스 및 max_coding_unit_hierarchy_depth 신택스는, 각각 SCU 사이즈(MinCodingUnitSize) 및 LCU 사이즈(MaxCodingUnitSize)를 결정하기 위한 정보이다. MinCodingUnitSize와 MaxCodingUnitSize는 이하와 같이 각각 계산된다.
MinCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3)
MaxCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3 + max_coding_unit_hierarchy_depth)
또한, max_coding_unit_hierarchy_depth 신택스와 MinCodingUnitSize에는 이하의 관계가 있다.
max_pcm_coding_unit_hierarchy_depth=log2(pcmCodingUnitSize/MinCodingUnitSize)
상술한 동작에 의거하여, 본 발명의 영상 부호화 장치는 비트스트림을 생성한다.
다음으로, 본 발명의 특징인 PCM 헤더 기입의 동작을 도 4의 플로차트를 참조해서 설명한다.
부호화 대상(CU)의 처리 시간 내에서 엔트로피 부호화할 수 없을 경우, 도 4에 나타내는 바와 같이, 스텝 S101에서, 엔트로피 부호화기(103)는 블록 타입을 인트라 예측으로서 엔트로피 부호화한다. 즉, 엔트로피 부호화기(103)는 mode_table_idx 신택스 또는 pred_mode 신택스를 인트라 예측으로서 엔트로피 부호화한다. 또한, 스텝 S102에서 엔트로피 부호화기(103)는 PCM 헤더를 엔트로피 부호화한다. 구체적으로는, pcm_flag 신택스를 ON으로서 엔트로피 부호화한다. 또한, 스텝 S103에서 엔트로피 부호화기(103)는 소정량의 pcm_alignment_zero_bit 신택스를 다중화기(110)에 공급함으로써 출력 비트를 바이트 얼라인먼트한다. 즉, 엔트로피 부호화기(103)는 소정량의 pcm_alignment_zero_bit 신택스를 출력한다. 또한, 엔트로피 부호화기(103)는 부호화 엔진을 초기화한다. 그리고, 스텝 S104에서 PCM 부호화기(107)는 CU의 입력 영상을 PCM 부호화에 의해 부호화한다.
본 실시형태의 영상 부호화 장치는, 외부 설정되는 부호화 유닛 사이즈로 엔트로피 부호화 수단 또는 PCM 부호화 수단의 출력 데이터를 선택하는 다중화 데이터 선택 수단과, 외부 설정되는 부호화 유닛 사이즈로 PCM 헤더를 비트스트림에 매립하는 다중화 수단을 구비한다. 따라서, 영상 부호화 장치에 있는 일정한 처리 시간을 보증하면서, 비트스트림에 포함되는 PCM 헤더의 비트수의 비율을 낮게 억제해서 압축 영상의 품질을 유지할 수 있다.
또한 다중화 수단은, 외부 설정된 CU 사이즈를 영상 복호 장치에 시그널링하기 위한 PCM 부호화 유닛 사이즈 정보를 비트스트림에 매립하지만, CU 사이즈 정보는 LCU 또는 SCU의 depth값을 기준으로 하는 depth값의 차분 등으로 표현할 수 있다. 예를 들면, LCU의 depth(LCU_depth)값을 기준으로 할 경우, 소정 depth값의 CU 사이즈는 LCU 사이즈의 1/2( depth - LCU _ depth )로 표현할 수 있다(블록 사이즈로 환산하면 1/4( depth - LCU _ depth )). SCU의 depth(SCU_depth)값을 기준으로 할 경우, 소정 Depth값의 CU 사이즈는 SCU 사이즈의 2( SCU _ depth - depth )배로 표현할 수 있다(블록 사이즈로 환산하면 4( SCU _ depth - depth )배).
상기와 같은 특징을 갖는 다중화 수단을 구비함으로써, 본 발명은 영상 부호화 장치와 영상 복호 장치의 상호 운용성을 높일 수 있다.
또한, 본 실시형태의 영상 부호화 장치는 영상 복호에 관해서도 마찬가지로 PCM 헤더를 비트스트림으로부터 판독하여, 엔트로피 복호 수단과 PCM 복호 수단을 전환할 수 있도록, PCM 헤더가 존재하는 부호화 유닛 사이즈에 관한 정보를 비트스트림에 매립하는 수단을 구비한다. 따라서, 영상 부호화 장치와 영상 복호 장치의 상호 운용성을 높일 수 있다.
실시형태 2
제 2 실시형태에서는, 제 1 실시형태의 영상 부호화 장치가 생성한 비트스트림을 복호하는 영상 복호 장치를 나타낸다.
본 실시형태의 영상 복호 장치는, 비트스트림에 다중화된 PCM 부호화 유닛 사이즈 정보를 다중화 해제하는 수단, 다중화 해제한 PCM 부호화 유닛 사이즈 정보에 의거하여 PCM 헤더를 판독하는 소정의 블록 사이즈를 결정하는 블록 사이즈 수단, 블록 사이즈 수단이 결정한 부호화 유닛 사이즈로 PCM 헤더를 비트스트림으로부터 판독하는 판독 수단, 및 판독 수단이 판독한 PCM 헤더에 의거하여 엔트로피 복호 수단 및 PCM 복호 수단을 제어하는 복호 제어 수단을 구비하는 것을 특징으로 한다.
도 5에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치는 다중화 해제기(201), 복호 제어기(202), PCM 복호기(203), 엔트로피 복호기(204), 역변환/역양자화기(206), 예측기(207), 버퍼(208), 및 스위치(221)와 스위치(222)를 구비한다.
다중화 해제기(201)는 입력되는 비트스트림을 다중화 해제해서, PCM 부호화 유닛 사이즈 정보, 및 엔트로피 부호화 또는 PCM 부호화된 영상 비트스트림을 추출한다. 다중화 해제기(201)는 도 3에 나타내는 리스트2에 나타나는 바와 같이, 시퀀스 파라미터에 있어서, log2_min_coding_unit_size_minus3 신택스와 max_coding_unit_hierarchy_depth 신택스에 후속하는 max_pcm_coding_unit_hierarchy_depth 신택스를 다중화 해제한다. 또한, 다중화 해제기(201)는 다중화 해제한 신택스의 값을 이용하여, PCM 헤더인 pcm_flag가 전송되는 PCM 부호화 유닛 사이즈 pcmCodingUnitSize를 이하와 같이 결정한다.
pcmCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3 + max_pcm_coding_unit_hierarchy_depth)
즉, 본 실시형태의 다중화 해제기(201)는 다중화 해제한 PCM 부호화 유닛 사이즈 정보에 의거하여 PCM 헤더를 판독하는 부호화 유닛의 블록 사이즈를 결정하는 역할도 맡고 있다.
엔트로피 복호기(204)는 영상 비트스트림을 엔트로피 복호한다.
엔트로피 복호 대상의 부호화 유닛(CU)이 PCM 부호화 CU가 아닐 경우, 엔트로피 복호기(204)는 CU의 예측 파라미터 및 변환 양자화값을 엔트로피 복호하고, 역변환/역양자화기(206) 및 예측기(207)에 공급한다.
또한, CU가 PCM 부호화인 경우는, split_coding_unit_flag(도 19 참조)를 엔트로피 복호해서 CU 사이즈를 확정한 후에, 그 PU 헤더에 있어서 PCM 부호화 ON의 pcm_flag 신택스를 엔트로피 복호했을 경우이다. 즉, 본 실시형태의 엔트로피 복호기(204)는 pcmCodingUnitSize 이상의 사이즈인 CU로 pcm_flag 신택스를 포함하는 PCM 헤더를 비트스트림으로부터 판독하는 역할도 맡고 있다.
역변환/역양자화기(206)는 양자화 스텝 폭으로, 휘도 및 색차의 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(206)는 역양자화한 주파수 변환 계수를 역주파수 변환한다.
역주파수 변환 후, 예측기(207)는 엔트로피 복호한 예측 파라미터에 의거하여, 버퍼(208)에 저장된 재구축 픽쳐의 화상를 이용하여 예측 신호를 생성한다.
예측 신호 생성 후, 역변환/역양자화기(206)로 역주파수 변환된 재구축 예측 오차 화상은, 예측기(207)로부터 공급되는 예측 신호가 추가되어서 스위치(222)에 공급된다.
예측 신호가 추가된 후, 복호 제어기(202)는 스위치(222)를 전환해서, 예측 신호가 추가된 재구축 예측 오차 화상을 재구축 화상으로서 버퍼(208)에 공급시킨다.
CU가 PCM 부호화일 경우, 복호 제어기(202)는 엔트로피 복호기(204)의 복호 엔진을 초기화시킨다.
다음으로, 복호 제어기(202)는 엔트로피 복호 도중의 영상 비트스트림을 바이트 얼라인먼트시킨다. 복호 제어기(202)는 바이트 얼라인먼트할 때까지 영상 비트스트림으로부터 pcm_alignment_zero_bit를 판독시킨다.
계속해서, 복호 제어기(202)는 스위치(221)를 전환해서 바이트 얼라인먼트한 영상 비트스트림을 PCM 복호기(203)에 공급시킨다.
PCM 복호기(203)는 바이트 얼라인먼트한 영상 비트스트림으로부터, CU의 블록 사이즈에 대응하는 만큼의, PCM 부호화된 휘도 데이터 pcm_sample_luma[i] 및 색차 데이터 pcm_sample_chroma[i]를 PCM 복호한다.
PCM 복호 후, 복호 제어기(202)는 스위치(222)를 전환해서, PCM 복호한 부호화 유닛의 화상을 재구축 화상으로서 버퍼(208)에 공급시킨다. 다음 매크로블록의 복호를 위해, 복호 제어기(202)는 스위치(221)를 엔트로피 복호기(204)로 전환한다.
그리고, 버퍼(208)에 저장된 재구축 픽쳐가 복호 화상으로서 출력된다.
상술한 동작에 의거하여 본 실시형태의 영상 복호 장치는 복호 화상을 생성한다.
다음으로, 본 발명의 특징인 PCM 헤더 판독의 동작을 도 6의 플로차트를 참조해서 설명한다.
CU가 PCM 부호화인 경우는, 도 6에 나타내는 바와 같이, 엔트로피 복호기(204)는 스텝 S201에서, split_coding_unit_flag를 엔트로피 복호해서 CU의 사이즈를 확정한다. 또한, 스텝 S202에서 엔트로피 복호기(204)는 블록 타입을 엔트로피 복호한다. 즉, 엔트로피 복호기(204)는 mode_table_idx 신택스 또는 pred_mode 신택스를 엔트로피 복호한다. 또한, 스텝 S203, S204에서, 엔트로피 복호기(204)는 블록 타입이 인트라 예측이며, 또한 CU 사이즈가 pcmCodingUnitSize 이상의 사이즈일 경우에만, pcm_flag 신택스를 엔트로피 복호한다. 그리고, pcm_flag 신택스가 ON일 경우, 스텝 S205에서, 엔트로피 복호기(204)는 복호 엔진을 초기화한다. 또한, 엔트로피 복호기(204)는 다중화 해제기(201)로부터 소정량의 pcm_alignment_zero_bit 신택스를 판독함으로써 영상 비트스트림을 바이트 얼라인먼트한다. PCM 복호기(203)는 바이트 얼라인먼트한 영상 비트스트림으로부터, CU의 블록 사이즈에 대응하는 만큼의, PCM 부호화된 휘도 데이터 pcm_sample_luma[i] 및 색차 데이터 pcm_sample_chroma[i]를 PCM 복호에 의해 복호한다. 또한, CU가 PCM 부호화 CU가 아닐 경우(스텝 S203), 또는 엔트로피 복호기(204)가 PU 헤더에 있어서 PCM 부호화 ON의 pcm_flag 신택스를 엔트로피 복호하지 않았을 경우(스텝 S204)에는, 엔트로피 복호기(204)는 후속하는 CU의 예측 파라미터 및 변환 양자화 값을 엔트로피 복호하여, 역변환/역양자화기(206) 및 예측기(207)에 공급한다.
본 실시형태의 영상 복호 장치는, 다중화 해제한 PCM 부호화 유닛 사이즈 정보에 의거하여, 결정된 PCM 부호화 유닛 사이즈의 부호화 유닛으로 PCM 헤더를 비트스트림으로부터 판독하고, 엔트로피 복호 수단과 PCM 복호 수단을 전환할 수 있다. 이에 따라, 영상 복호 장치에 있는 일정한 처리 시간을 보증하면서, 영상 품질이 유지된 PCM 헤더의 비트수의 비율이 낮은 비트스트림을 복호할 수 있다.
또한, 영상 부호화 장치는 제 1 실시형태에서 이용된 PCM 부호화 유닛 사이즈 정보(max_pcm_coding_unit_hierarchy_depth)를, 도 7에 나타내는 리스트3이나 도 8에 나타내는 리스트4에 나타나 있는 바와 같이, 픽쳐 파라미터 세트나 슬라이스 헤더에 있어서 다중화할 수 있다. 마찬가지로, 영상 복호 장치는 픽쳐 파라미터 세트나 슬라이스 헤더로부터 max_pcm_coding_unit_hierarchy_depth 신택스를 다중화 해제할 수 있다.
또한, max_pcm_coding_unit_hierarchy_depth 신택스를, 최대 부호화 유닛 사이즈(MaxCodingUnitSize)를 PCM 부호화 유닛 사이즈(pcmCodingUnitSize)로 나눈 값인 "2"를 베이스로 하는 log(대수)로 해도 된다. 즉, 하기의 식을 이용해도 된다.
max_pcm_coding_unit_hierarchy_depth=log2(MaxCodingUnitSize/pcmCodingUnitSize)
이 경우, 영상 복호 장치에 있어서, PCM 부호화 유닛 사이즈는 max_pcm_coding_unit_hierarchy_depth 신택스에 의거하여 이하와 같이 계산할 수 있다.
pcmCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3 + max_coding_unit_hierarchy_depth - max_pcm_coding_unit_hierarchy_depth)
또한, 영상 부호화 장치는 mode_table_idx 신택스 또는 pred_mode 신택스에 pcm_flag 신택스를 연결해서 부호화할 수 있다. 예를 들면, PCM 부호화 유닛 사이즈 이상의 사이즈인 CU에 있어서, mode_table_idx = 0(부호어 1)을 인터 예측, mode_table_idx = 1(부호어 00)을 pcm_flag = OFF의 인트라 예측, 및 mode_table_idx = 2(부호어 01)을 PCM으로서 설정할 수 있다. PCM 부호화 유닛 사이즈보다도 작은 사이즈의 CU에 있어서, mode_table_idx = 0(부호어 0)을 인터 예측, 그리고 mode_table_idx = 1(부호어 1)을 pcm_flag = OFF의 인트라 예측으로서 설정할 수 있다.
이 경우, 영상 복호 장치는 PCM 부호화 유닛 사이즈 이상의 사이즈인 CU에 있어서, 부호어 1(mode_table_idx = 0)을 인터 예측, 부호어 00(mode_table_idx = 1)을 pcm_flag = OFF의 인트라 예측, 그리고 부호어 01(mode_table_idx = 2)을 PCM으로서 해석한다. PCM 부호화 유닛 사이즈보다도 작은 사이즈의 CU에 있어서, 부호어 0(mode_table_idx = 0)을 인터 예측, 그리고 부호어 1(mode_table_idx = 1)을 pcm_flag = OFF의 인트라 예측으로서 해석한다.
실시형태 3
상기의 각 실시형태에서는, 영상 부호화 장치나 영상 복호 장치에 있는 일정한 처리 시간을 보증하기 위해서, 고계층의 CU로 PCM이 선택된다. 그러나, PCM이 화소간 상관이 낮은 화상 블록으로 선택되는 경향이 있는 것, 즉, PCM이 소영역으로 분할된 저계층의 CU로 선택되는 경향이 있는 것에 착목했을 경우에는, PCM이 선택되는 CU 사이즈를 소정의 사이즈 이하로 한정하는 것도 의미가 있다. 상기의 착목에 의거해도, 비트스트림에 있어서의 PCM 헤더의 비트수의 비율을 낮게 할 수 있다. 또한, 낮은 계층의 CU란, 도 19에서 알 수 있는 바와 같이, depth의 값이 큰 CU이다.
제 3 실시형태에서는, 영상 부호화 장치는 PCM이 선택되는 CU 사이즈를 소정의 사이즈 이하로 한정한다. 또한, 영상 부호화 장치의 구성은 도 1에 나타난 구성과 같다.
PCM이 선택되는 CU 사이즈를 소정의 사이즈 이하로 한정할 경우에는, 일례로서, PCM 헤더를 비트스트림에 매립하는 CU 사이즈를, 외부로부터 설정되는 PCM 부호화 유닛 사이즈(pcmCodingUnitSize) 이하로 설정한다. 또한, 이용 가능한 부호화 유닛 사이즈를 128, 64, 32, 16 및 8로 하고, pcmCodingUnitSize를 16으로 한다.
영상 부호화 장치에 있어서, 다중화 데이터 선택기(109)는 pcmCodingUnitSize 이하의 부호화 대상(CU)에 대응하는 엔트로피 부호화기(103)의 입력 데이터량을 감시한다. pcmCodingUnitSize 이하의 부호화 대상(CU)의 처리 시간 내에 엔트로피 부호화기(103)가 그 입력 데이터를 엔트로피 부호화할 수 있을 경우, 다중화 데이터 선택기(109)는 엔트로피 부호화기(103)의 출력 데이터를 선택하고, 선택된 데이터를 스위치(121)를 통해서 다중화기(110)에 공급시킨다. 부호화 대상(CU)의 처리 시간 내에 엔트로피 부호화기(103)가 입력 데이터를 엔트로피 부호화할 수 없을 경우, 다중화 데이터 선택기(109)는, 우선 pcmCodingUnitSize 이하의 CU가 PCM 부호화인 것을 나타내는 정보를 엔트로피 부호화기(103)가 엔트로피 부호화해서 출력하게 한다. 구체적으로는, 다중화 데이터 선택기(109)는 CU의 PU 헤더에 있어서, 블록 타입을 나타내는 mode_table_idx 신택스 또는 pred_mode 신택스를 엔트로피 부호화기(103)가 인트라 예측으로서 엔트로피 부호화해서 출력하게 하고, 또한 PCM 부호화의 ON/OFF를 나타내는 pcm_flag 신택스를 ON으로서 엔트로피 부호화해서 출력하게 한다.
본 실시형태에서는, 영상 부호화 장치는, 상술한 mode_table_idx 신택스, pred_mode 신택스, pcm_flag 신택스, 및 pcm_alignment_zero_bit 신택스를, 비특허문헌 1의 Specification of syntax functions, categories, and descriptors 및 비특허문헌 2의 4.1.10 Prediction unit 신택스의 표기를 따르면, 도 9에 나타내는 리스트1에 나타내는 바와 같이 시그널링 할 수 있다. 도 9에 나타내는 리스트1에 있어서, pcm_alignment_zero_bit 신택스의 시그널링 조건이 되는 변수 pcm_unit_flag는, PCM 부호화 ON의 pcm_flag 신택스가 시그널링되었을 경우에만 ON이다. 그렇지 않을 경우, 변수 pcm_unit_flag를 OFF로 한다. 리스트1에 있어서, "if(currPredUnitSize <= pcmCodingUnitSize)"의 조건에 따라 pcmCodingUnitSize 이하의 사이즈인 CU의 PU 헤더에 있어서만, pcm_flag 신택스가 시그널링되는 것이 본 실시형태의 특징이다. 영상 부호화 장치의 그 외의 처리는, 제 1 실시형태에 있어서의 처리와 같다. 또한, 본 실시형태에서의 리스트 1의 내용은, 제 1 실시형태에 있어서의 도 2에 나타난 리스트 1의 내용과 같다.
실시형태 4
제 4 실시형태에서는, 제 3 실시형태의 영상 부호화 장치가 생성한 비트스트림을 복호하는 영상 복호 장치를 나타낸다.
제 4 실시형태의 영상 복호 장치의 구성은 도 5에 나타난 구성과 같다. 그러나, 제 4 실시형태의 영상 복호 장치는 도 10의 플로차트에 나타내는 바와 같이, PCM 헤더 판독의 동작을 행한다. CU가 PCM 부호화인 경우는, 엔트로피 복호기(204)는 스텝 S201에서, split_coding_unit_flag를 엔트로피 복호해서 CU의 사이즈를 확정한다. 또한, 스텝 S202에서 엔트로피 복호기(204)는 블록 타입을 엔트로피 복호한다. 즉, 엔트로피 복호기(204)는 mode_table_idx 신택스 또는 pred_mode 신택스를 엔트로피 복호한다. 또한, 스텝 S203B, S204에서 엔트로피 복호기(204)는, 블록 타입이 인트라 예측이며, 또한 CU 사이즈가 pcmCodingUnitSize 이하의 사이즈일 경우에만, pcm_flag 신택스를 엔트로피 복호한다. 그리고, pcm_flag 신택스가 ON일 경우, 스텝 S205에서 엔트로피 복호기(204)는 복호 엔진을 초기화한다. 또한 엔트로피 복호기(204)는 다중화 해제기(201)로부터 소정량의 pcm_alignment_zero_bit 신택스를 판독함으로써 영상 비트스트림을 바이트 얼라인먼트한다. PCM 복호기(203)는 바이트 얼라인먼트한 영상 비트스트림으로부터, CU의 블록 사이즈에 대응하는 만큼의, PCM 부호화된 휘도 데이터 pcm_sample_luma[i] 및 색차 데이터 pcm_sample_chroma[i]를 PCM 복호한다. 영상 복호 장치의 그 외의 처리는, 제 2 실시형태에 있어서의 처리와 같다.
또한, PCM이 선택되는 CU 사이즈를 소정의 사이즈 이하로 한정할 경우에는, 영상 복호 장치에 있어서, 엔트로피 복호기(204)는 pcmCodingUnitSize 이하의 사이즈인 CU로 pcm_flag 신택스를 포함하는 PCM 헤더를 비트스트림으로부터 판독하는 역할도 맡고 있다.
본 실시형태에서는, 영상 복호 장치에 있는 일정한 처리 시간을 보증하면서, 영상 품질이 유지된 PCM 헤더의 비트수의 비율이 낮은 비트스트림을 복호할 수 있다.
또한, 제 3 실시형태의 영상 부호화 장치는 mode_table_idx 신택스 또는 pred_mode 신택스에 pcm_flag 신택스를 연결해서 부호화할 수 있다. 예를 들면, PCM 부호화 유닛 사이즈 이하의 사이즈인 CU에 있어서, mode_table_idx = 0(부호어 0)을 pcm_flag = OFF의 인트라 예측, mode_table_idx = 1(부호어 10)을 인터 예측, 그리고 mode_table_idx = 2(부호어 11)를 PCM으로서 설정할 수 있다. PCM 부호화 유닛 사이즈보다도 큰 사이즈인 CU에 있어서, mode_table_idx = 0(부호어 0)을 pcm_flag = OFF의 인트라 예측, mode_table_idx = 1(부호어 1)을 인터 예측으로서 설정할 수 있다.
이 경우, 제 4 실시형태의 영상 복호 장치는 PCM 부호화 유닛 사이즈 이하의 사이즈인 CU에 있어서, 부호어 0(mode_table_idx = 0)을 pcm_flag = OFF의 인트라 예측, 부호어 10(mode_table_idx = 1)을 인터 예측, 부호어 11(mode_table_idx = 2)을 PCM으로서 해석한다. PCM 부호화 유닛 사이즈보다도 큰 사이즈인 CU에 있어서, 영상 복호 장치는 부호어 0(mode_table_idx = 0)을 pcm_flag = OFF의 인트라 예측, 부호어 1(mode_table_idx = 1)을 인터 예측으로서 해석한다.
mode_table_idx 신택스의 예와 마찬가지로, pred_mode 신택스에 pcm_flag 신택스를 연결해서 부호화할 수 있다.
또한, 상술한 실시형태에 있어서, PCM 부호화 유닛 사이즈를 최대 부호화 유닛 사이즈로 한정할 경우, PCM 블록 사이즈 정보를 명시적으로 비트스트림에 매립하지 않아도 된다. 그 경우, 최대 부호화 유닛 사이즈에 관한 정보가 암묵적으로 PCM 블록 사이즈 정보를 포함하고 있기 때문이다.
또한, 상술한 실시형태에 있어서, PCM 부호화 유닛 사이즈를 최소 부호화 유닛 사이즈로 한정할 경우, PCM 블록 사이즈 정보를 명시적으로 비트스트림에 매립하지 않아도 된다. 그 경우, 최소 부호화 유닛 사이즈에 관한 정보가 암묵적으로 PCM 블록 사이즈 정보를 포함하고 있기 때문이다.
상술한 mode_table_idx 신택스의 예와 마찬가지로, pred_mode 신택스에 pcm_flag 신택스를 연결해서 부호화할 수 있다. 예를 들면, 비특허문헌 3에 기재되어 있는 바와 같이, 인트라 슬라이스에 있어서는 신택스와 부호어를 이하와 같이 대응시킬 수 있다(단, 비특허문헌 4에 기술되어 있듯이, 최소 부호화 유닛 이외의 부호화 유닛으로 N×N 파티션(인트라 예측 및 인터 예측)이 존재하지 않는 것을 가정함).
[PCM 부호화를 포함하는 최소 부호화 유닛에서의 신택스와 부호어의 대응]
신택스 부호어
Intra 2N×2N 1
Intra N×N 01
PCM 00
[PCM 부호화를 포함하는 최소 부호화 유닛 이외의 CU에서의 신택스와 부호어의 대응]
신택스 부호어
Intra 2N×2N 1
PCM 0
[PCM 부호화를 포함하지 않는 최소 부호화 유닛에서의 신택스와 부호어의 대응]
신택스 부호어
Intra 2N×2N 1
Intra N×N 0
[PCM 부호화를 포함하지 않는 최소 부호화 유닛에서의 신택스와 부호어의 대응]
신택스 부호어
Intra 2N×2N 없음
또한, "PCM 부호화를 포함하는 CU"란 PCM 부호화 유닛 사이즈인 CU이며, "PCM 부호화를 포함하지 않는 CU"란 PCM 부호화 유닛 사이즈가 아닌 CU이다. 이 경우, 영상 복호 장치는, 예를 들면 인트라 슬라이스의 PCM 부호화를 포함하는 최소 부호화 유닛에 있어서는, 부호어 1을 2N×2N의 인트라 예측, 부호어 01을 N×N의 인트라 예측, 부호어 00을 PCM으로서 해석한다.
마찬가지로, 비(非)인트라 슬라이스에 있어서는, 신택스와 부호어를 이하와 같이 대응시킬 수 있다.
[모든 CU에서 공통이 되는 신택스와 부호어의 대응]
신택스 부호어
Split 1
Skip 01
Inter 2N×2N_MRG 001
Inter 2N×2N 0001
Others 0000
[Others에 후속하는 PCM 부호화를 포함하는 최소 부호화 유닛에서의 신택스와 부호어의 대응]
신택스 부호어
Inter 2N×N 0
Inter N×2N 01
Inter N×N 001
Intra 2N×2N 0001
Intra N×N 00001
PCM 00000
[Others에 후속하는 PCM 부호화를 포함하는 최소 부호화 유닛 이외의 CU에서의 신택스와 부호어의 대응]
신택스 부호어
Inter 2N×N 0
Inter N×2N 01
Intra 2N×2N 001
PCM 000
[Others에 후속하는 PCM 부호화를 포함하지 않는 최소 부호화 유닛에서의 신택스와 부호어의 대응]
신택스 부호어
Inter 2N×N 0
Inter N×2N 01
Inter N×N 001
Intra 2N×2N 0001
Intra N×N 0000
[Others에 후속하는 PCM 부호화를 포함하지 않는 최소 부호화 유닛 이외의 CU에서의 신택스와 부호어의 대응]
신택스 부호어
Inter 2N×N 0
Inter N×2N 01
Intra 2N×2N 00
이 경우, 영상 복호 장치는, 예를 들면 PCM 부호화를 포함하는 최소 부호화 유닛에 있어서는, Others에 후속하는, 부호어 0을 2N×N의 인터 예측, 부호어 01을 N×2N의 인터 예측, 부호어 001을 N×N의 인터 예측, 부호어 0001을 2N×2N의 인트라 예측, 부호어 00001을 N×N의 인트라 예측, 그리고, 부호어 00000을 PCM으로서 해석한다.
또한, 인트라 슬라이스란 인트라 예측으로 부호화된 부호화 유닛으로만 구성되는 슬라이스이고, 비인트라 슬라이스란 인터 예측으로 부호화된 부호화 유닛을 포함하는 슬라이스이다.
또한, 상기의 각 실시형태를 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하다.
도 11에 나타내는 정보 처리 시스템은, 프로세서(1001), 프로그램 메모리(1002), 영상 데이터를 저장하기 위한 기억 매체(1003) 및 비트스트림을 저장하기 위한 기억 매체(1004)를 구비한다. 기억 매체(1003)와 기억 매체(1004)는 별개의 기억 매체여도 되고, 동일한 기억 매체로 이루어지는 기억 영역이어도 된다. 기억 매체로서 하드디스크 등의 자기 기억 매체가 이용된다.
도 11에 나타난 정보 처리 시스템에 있어서, 프로그램 메모리(1002)에는 도 1, 도 5에 각각 나타난 각 블록(버퍼의 블록을 제외함)의 기능을 실현하기 위한 프로그램이 저장된다. 그리고, 프로세서(1001)는 프로그램 메모리(1002)에 저장되어 있는 프로그램에 따라 처리를 실행함으로써, 도 1, 도 5에 각각 나타난 영상 부호화 장치 또는 영상 복호 장치의 기능을 실현한다.
도 12는 본 발명에 의한 영상 부호화 장치의 주요부를 나타내는 블록도이다. 도 12에 나타내는 바와 같이, 본 발명에 의한 영상 부호화 장치는, 화상 블록을 변환하는 변환 수단(11)(일례로서, 도 1에 나타내는 변환/양자화기(102))과, 변환 수단(11)이 변환한 화상 블록의 변환 데이터를 엔트로피 부호화하는 엔트로피 부호화 수단(12)(일례로서, 도 1에 나타내는 엔트로피 부호화기(103))과, 화상 블록을 PCM 부호화에 의해 부호화하는 PCM 부호화 수단(13)(일례로서, 도 1에 나타내는 PCM 부호화기(107))과, 외부 설정되는 블록 사이즈의 블록으로 엔트로피 부호화 수단(12)(일례로서, 도 1에 나타내는 엔트로피 부호화기(103)) 또는 PCM 부호화 수단(13)의 출력 데이터를 선택하는 다중화 데이터 선택 수단(14)(일례로서, 다중화 데이터 선택기(109) 및 스위치(121))과, 외부 설정되는 블록 사이즈의 블록으로 PCM 헤더를 비트스트림에 매립하는 다중화 수단(15)(일례로서, 도 1에 나타내는 다중화기(110))을 구비한다.
도 13은 본 발명에 의한 영상 복호 장치의 주요부를 나타내는 블록도이다. 도 13에 나타내는 바와 같이, 본 발명에 의한 영상 복호 장치는 PCM 블록 사이즈 정보를 포함하는 비트스트림을 다중화 해제하는 다중화 해제 수단(21)(일례로서, 도 5에 나타내는 다중화 해제기(201))과, 다중화 해제 수단(21)이 다중화 해제한 PCM 블록 사이즈 정보에 의거하여 PCM 헤더를 판독해서 PCM 블록 사이즈를 결정하는 PCM 블록 사이즈 결정 수단(22)(일례로서, 도 5에 나타내는 다중화 해제기(201))과, PCM 블록 사이즈 결정 수단(22)이 결정한 PCM 블록 사이즈의 블록으로 PCM 헤더를 비트스트림으로부터 판독하는 PCM 헤더 판독 수단(23)(일례로서, 도 5에 나타내는 엔트로피 복호기(204))과, 비트스트림에 포함되는 화상의 변환 데이터를 엔트로피 복호하는 엔트로피 복호 수단(24)(일례로서, 도 5에 나타내는 엔트로피 복호기(204))과, 엔트로피 복호 수단(24)이 엔트로피 복호한 변환 데이터를 역변환하는 역변환 수단(25)(일례로서, 도 5에 나타내는 역변환/역양자화기(206))과, 비트스트림에 포함되는 화상의 PCM 데이터를 PCM 복호하는 PCM 복호 수단(26)(일례로서, 도 5에 나타내는 PCM 복호기(203))과, PCM 헤더 판독 수단(23)이 판독한 PCM 헤더에 의거하여 엔트로피 복호 수단(24) 및 PCM 복호 수단(26)을 제어하는 복호 제어 수단(27)(일례로서, 도 5에 나타내는 복호 제어기(202))을 구비한다.
상기의 실시형태의 일부 또는 전부는, 이하의 부기한 바와 같이도 기재될 수 있지만, 본 발명의 구성은 이하의 구성에 한정되지 않는다.
(부기 1) 외부 설정되는 블록 사이즈가 최대 부호화 유닛 사이즈에 대응하는 블록 사이즈의 1/4N 이상일 경우, 또는 외부 설정되는 블록 사이즈가 최소 부호화 유닛 사이즈에 대응하는 블록 사이즈의 4N배 이상일 경우에, 다중화 수단이, PCM 블록 사이즈 정보로서 N에 관한 정보를 비트스트림에 매립하는 영상 부호화 장치.
(부기 2) 블록 사이즈가 최대 부호화 유닛 사이즈에 대응하는 블록 사이즈의 1/4N 이상일 경우, 또는 블록 사이즈가 최소 부호화 유닛 사이즈에 대응하는 블록 사이즈의 4N배 이상일 경우에, 다중화 해제 수단이, PCM 블록 사이즈 정보로서 N에 관한 정보를 취득하는 영상 복호 장치.
(부기 3) 외부 설정되는 블록 사이즈가 최대 부호화 유닛 사이즈에 대응하는 블록 사이즈의 1/4N 이하일 경우, 또는 외부 설정되는 블록 사이즈가 최소 부호화 유닛 사이즈에 대응하는 블록 사이즈의 4N배 이하일 경우에, 다중화 수단이, PCM 블록 사이즈 정보로서 N에 관한 정보를 비트스트림에 매립하는 영상 부호화 장치.
(부기 4) 블록 사이즈가 최대 부호화 유닛 사이즈에 대응하는 블록 사이즈의 1/4N 이하일 경우, 또는 블록 사이즈가 최소 부호화 유닛 사이즈에 대응하는 블록 사이즈의 4N배 이하일 경우에, 다중화 해제 수단이, PCM 블록 사이즈 정보로서 N에 관한 정보를 취득하는 영상 복호 장치.
이상, 실시형태 및 실시예를 참조해서 본원 발명을 설명했지만, 본원 발명은 상기 실시형태 및 실시예에 한정되는 것은 아니다. 본원 발명의 구성이나 상세한 내용에는, 본원 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
이 출원은 2010년 11월 26일에 출원된 일본특허출원 제2010-264320호 및 2011년 2월 9일에 출원된 일본특허출원 제2011-026331호를 기초로 하는 우선권을 주장하고, 그 개시의 모두를 여기에 포함한다.
1 변환 수단
12 엔트로피 부호화 수단
13 PCM 부호화 수단
14 다중화 데이터 선택 수단
15 다중화 수단
21 다중화 해제 수단
22 블록 사이즈 결정 수단
23 PCM 헤더 판독 수단
24 엔트로피 복호 수단
25 역변환 수단
26 PCM 복호 수단
27 복호 제어 수단
102 변환/양자화기
103 엔트로피 부호화기
104 역변환/역양자화기
105 버퍼
106 예측기
107 PCM 부호화기
108 PCM 복호기
109 다중화 데이터 선택기
110 다중화기
121 스위치
122 스위치
201 다중화 해제기
202 복호 제어기
203 PCM 복호기
204 엔트로피 복호기
206 역변환/역양자화기
207 예측기
208 버퍼
221 스위치
222 스위치
1001 프로세서
1002 프로그램 메모리
1003 기억 매체
1004 기억 매체

Claims (17)

  1. 화상 블록을 변환하는 변환 수단과,
    상기 변환 수단이 변환한 화상 블록의 변환 데이터를 엔트로피 부호화하는 엔트로피 부호화 수단과,
    화상 블록을 PCM 부호화에 의해 부호화하는 PCM 부호화 수단과,
    복수의 블록 사이즈 중에서 하나의 블록 사이즈의 블록으로, 상기 엔트로피 부호화 수단 또는 PCM 부호화 수단의 출력 데이터를 선택하는 다중화 데이터 선택 수단과,
    상기 블록 사이즈의 블록으로, PCM 헤더를 비트스트림에 매립하는 다중화 수단을 구비하는 영상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 다중화 수단은 상기 블록 사이즈를 시그널링하기 위한 PCM 블록 사이즈 정보를 상기 비트스트림에 매립하는 영상 부호화 장치.
  3. 제 2 항에 있어서,
    상기 블록 사이즈는 최대 부호화 유닛 사이즈에 대응하는 블록 사이즈의 1/4N(N: 정수) 이상인 영상 부호화 장치.
  4. 제 2 항에 있어서,
    상기 블록 사이즈는 최소 부호화 유닛 사이즈에 대응하는 블록 사이즈의 4N(N: 정수)배 이상인 영상 부호화 장치.
  5. 제 2 항에 있어서,
    상기 블록 사이즈는 최대 부호화 유닛 사이즈에 대응하는 블록 사이즈의 1/4N(N: 정수) 이하인 영상 부호화 장치.
  6. 제 2 항에 있어서,
    상기 블록 사이즈는 최소 부호화 유닛 사이즈에 대응하는 블록 사이즈의 4N(N: 정수)배 이하인 영상 부호화 장치.
  7. 화상 블록을 변환한 변환 데이터를 엔트로피 부호화한 데이터 또는 상기 화상 블록을 PCM 부호화한 데이터를, 복수의 블록 사이즈 중에서 하나의 블록 사이즈로 선택하고,
    상기 블록 사이즈의 블록으로, PCM 헤더를 상기 비트스트림에 매립하는 영상 부호화 방법.
  8. 컴퓨터에,
    화상 블록을 변환한 변환 데이터를 엔트로피 부호화한 데이터 또는 상기 화상 블록을 PCM 부호화한 데이터를, 복수의 블록 사이즈 중에서 하나의 블록 사이즈로 선택하는 선택 처리와,
    상기 블록 사이즈의 블록으로, PCM 헤더를 비트스트림에 매립하는 다중화 처리를 실행시키기 위한 영상 부호화 프로그램.
  9. 비트스트림으로부터 PCM 블록 사이즈 정보를 추출하고,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최대값을 결정하며,
    그 블록이 상기 PCM 블록 사이즈의 최대값 이하의 값을 갖는 PCM 헤더를 상기 비트스트림으로부터 판독하고,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하며,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하고,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 상기 화상의 PCM 데이터를 PCM 복호에 의해 복호하는 영상 복호 방법.
  10. 비트스트림으로부터 PCM 블록 사이즈 정보를 추출하는 추출 수단과,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최대값을 결정하는 PCM 블록 사이즈 결정 수단과,
    그 블록이 상기 PCM 블록 사이즈의 최대값 이하인 값을 갖는 PCM 헤더를 상기 비트스트림으로부터 판독하는 PCM 헤더 판독 수단과,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하는 복호 제어 수단과,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하는 엔트로피 복호 수단과,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 상기 화상의 PCM 데이터를 PCM 복호에 의해 복호하는 PCM 복호 수단을 구비하는 영상 복호 장치.
  11. 컴퓨터에,
    비트스트림으로부터 PCM 블록 사이즈 정보를 추출하는 추출 처리와,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최대값을 결정하는 PCM 블록 사이즈 결정 처리와,
    그 블록이 상기 PCM 블록 사이즈의 최대값 이하의 값을 갖는 PCM 헤더를 상기 비트스트림으로부터 판독하는 PCM 헤더 판독 처리와,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하는 복호 제어 처리를 실행시키고,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하는 엔트로피 복호 처리를 실행시키고,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 상기 화상의 PCM 데이터를 PCM 복호하는 PCM 복호 처리를 실행시키기 위한 영상 복호 프로그램.
  12. 비트스트림으로부터 PCM 블록 사이즈 정보를 추출하고,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최소값을 결정하며,
    상기 비트스트림으로부터 판독된 부호화 유닛의 블록 사이즈를 지정하는 정보인 split_coding_unit_flag를 상기 비트스트림으로부터 판독하고,
    상기 split_coding_unit_flag에 의거하여, 상기 부호화 유닛의 블록 사이즈를 결정하며,
    상기 부호화 유닛의 블록 사이즈가 상기 PCM 블록 사이즈의 최소값 이상인 경우에, 상기 부호화 유닛의 PCM 헤더를 상기 비트스트림으로부터 판독하고,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하며,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하고,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림을 바이트 얼라인먼트하고, 바이트 얼라인먼트된 비트스트림에 포함되는 상기 화상의 PCM 부호화된 휘도 데이터 및 색차 데이터를 PCM 복호하는 영상 복호 방법.
  13. 비트스트림으로부터 PCM 블록 사이즈 정보를 추출하는 추출 수단과,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최소값을 결정하는 PCM 블록 사이즈 결정 수단과,
    상기 비트스트림으로부터 판독된 부호화 유닛의 블록 사이즈를 지정하는 정보인 split_coding_unit_flag를 상기 비트스트림으로부터 판독하는 수단과,
    상기 split_coding_unit_flag에 의거하여, 상기 부호화 유닛의 블록 사이즈를 결정하는 수단과,
    상기 부호화 유닛의 블록 사이즈가 상기 PCM 블록 사이즈의 최소값 이상인 경우에, 상기 부호화 유닛의 PCM 헤더를 상기 비트스트림으로부터 판독하는 PCM 헤더 판독 수단과,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하는 복호 제어 수단과,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하는 엔트로피 복호 수단과,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림을 바이트 얼라인먼트하고, 바이트 얼라인먼트된 비트스트림에 포함되는 상기 화상의 PCM 부호화된 휘도 데이터 및 색차 데이터를 PCM 복호에 의해 복호하는 PCM 복호 수단을 포함하는 영상 복호 장치.
  14. 컴퓨터에,
    비트스트림으로부터 PCM 블록 사이즈 정보를 추출하는 추출 처리와,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최소값을 결정하는 PCM 블록 사이즈 결정 처리와,
    상기 비트스트림으로부터 판독된 부호화 유닛의 블록 사이즈를 지정하는 정보인 split_coding_unit_flag를 상기 비트스트림으로부터 판독하는 처리와,
    상기 split_coding_unit_flag에 의거하여, 상기 부호화 유닛의 블록 사이즈를 결정하는 처리와,
    상기 부호화 유닛의 블록 사이즈가 상기 PCM 블록 사이즈의 최소값 이상인 경우에, 상기 부호화 유닛의 PCM 헤더를 상기 비트스트림으로부터 판독하는 PCM 헤더 판독 처리와,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하는 복호 제어 처리를 실행시키고,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하는 엔트로피 복호 처리를 실행시키고,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림을 바이트 얼라인먼트하고, 바이트 얼라인먼트된 비트스트림에 포함되는 상기 화상의 PCM 부호화된 휘도 데이터 및 색차 데이터를 PCM 복호에 의해 복호하는 PCM 복호 처리를 실행시키는 영상 복호 프로그램.
  15. 비트스트림으로부터 PCM 블록 사이즈 정보를 추출하고,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최소값을 결정하며,
    상기 비트스트림으로부터 판독된 부호화 유닛의 블록 사이즈를 지정하는 정보인 split_coding_unit_flag를 상기 비트스트림으로부터 판독하고,
    상기 split_coding_unit_flag에 의거하여, 상기 부호화 유닛의 블록 사이즈를 결정하며,
    상기 부호화 유닛의 블록 타입을 상기 비트스트림으로부터 판독하고,
    상기 부호화 유닛의 블록 타입에 의해 설정되는 정보가, 상기 부호화 유닛이 인트라 예측되며 상기 부호화 유닛의 블록 사이즈가 상기 PCM 블록 사이즈의 최소값 이상임을 나타내는 정보인 경우에, 상기 부호화 유닛의 PCM 헤더를 상기 비트스트림으로부터 판독하며,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하고,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하며,
    상기 변환 데이터를 역변환하고,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림을 바이트 얼라인먼트하고, 바이트 얼라인먼트된 비트스트림에 포함되는 상기 화상의 PCM 부호화된 휘도 데이터 및 색차 데이터를 PCM 복호에 의해 복호하며,
    상기 PCM 블록 사이즈의 최소값은 소정의 사이즈 이상인 영상 복호 방법.
  16. 비트스트림으로부터 PCM 블록 사이즈 정보를 추출하는 추출 수단과,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하기 위한 PCM 블록 사이즈의 최소값을 결정하는 PCM 블록 사이즈 결정 수단과,
    상기 비트스트림으로부터 판독된 부호화 유닛의 블록 사이즈를 지정하는 정보인 split_coding_unit_flag를 상기 비트스트림으로부터 판독하는 수단과,
    상기 split_coding_unit_flag에 의거하여, 상기 부호화 유닛의 블록 사이즈를 결정하는 수단과,
    상기 부호화 유닛의 블록 타입을 상기 비트스트림으로부터 판독하는 수단과,
    상기 부호화 유닛의 블록 타입에 의해 설정되는 정보가, 상기 부호화 유닛이 인트라 예측되며 상기 부호화 유닛의 블록 사이즈가 상기 PCM 블록 사이즈의 최소값 이상임을 나타내는 정보인 경우에, 상기 부호화 유닛의 PCM 헤더를 상기 비트스트림으로부터 판독하는 PCM 헤더 판독 수단과,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하는 복호 제어 수단과,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하는 엔트로피 복호 수단과,
    상기 변환 데이터를 역변환하는 역변환 수단과,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림을 바이트 얼라인먼트하고, 바이트 얼라인먼트된 비트스트림에 포함되는 상기 화상의 PCM 부호화된 휘도 데이터 및 색차 데이터를 PCM 복호하는 PCM 복호 수단을 포함하고,
    상기 PCM 블록 사이즈의 최소값은 소정의 사이즈 이상인 영상 복호 장치.
  17. 컴퓨터에,
    비트스트림으로부터 PCM 블록 사이즈 정보를 추출하는 추출 처리와,
    상기 PCM 블록 사이즈 정보에 의거하여, PCM 헤더를 판독하는 PCM 블록 사이즈의 최소값을 결정하는 PCM 블록 사이즈 결정 처리와,
    상기 비트스트림으로부터 판독된 부호화 유닛의 블록 사이즈를 지정하는 정보인 split_coding_unit_flag를 상기 비트스트림으로부터 판독하는 처리와,
    상기 split_coding_unit_flag에 의거하여, 상기 부호화 유닛의 블록 사이즈를 결정하는 처리와,
    상기 부호화 유닛의 블록 타입을 상기 비트스트림으로부터 판독하는 처리와,
    상기 부호화 유닛의 블록 타입에 의해 설정되는 정보가, 상기 부호화 유닛이 인트라 예측되며 상기 부호화 유닛의 블록 사이즈가 상기 PCM 블록 사이즈의 최소값 이상임을 나타내는 정보인 경우에, 상기 부호화 유닛의 PCM 헤더를 상기 비트스트림으로부터 판독하는 PCM 헤더 판독 처리와,
    상기 PCM 헤더에 의거하여, 엔트로피 복호 처리 및 PCM 복호 처리를 제어하는 복호 제어 처리를 실행시키고,
    상기 엔트로피 복호 처리를 제어할 경우에, 상기 비트스트림에 포함되는 화상의 변환 데이터를 판독하는 엔트로피 복호 처리, 및 상기 변환 데이터를 역변환하는 역변환 처리를 실행시키고,
    상기 PCM 복호 처리를 제어할 경우에, 상기 비트스트림을 바이트 얼라인먼트하고, 바이트 얼라인먼트된 비트스트림에 포함되는 상기 화상의 PCM 부호화된 휘도 데이터 및 색차 데이터를 PCM 복호하는 PCM 복호 처리를 실행시키고,
    상기 PCM 블록 사이즈의 최소값은 소정의 사이즈 이상인 영상 복호 프로그램.
KR1020147017332A 2010-11-26 2011-11-22 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 기록 매체 Active KR101519488B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2010-264320 2010-11-26
JP2010264320 2010-11-26
JPJP-P-2011-026331 2011-02-09
JP2011026331 2011-02-09
PCT/JP2011/006509 WO2012070232A1 (ja) 2010-11-26 2011-11-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137011315A Division KR101454418B1 (ko) 2010-11-26 2011-11-22 영상 복호 장치, 영상 복호 방법 및 컴퓨터 판독 가능한 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147035950A Division KR101616667B1 (ko) 2010-11-26 2011-11-22 영상 복호 장치, 영상 복호 방법 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20140092409A true KR20140092409A (ko) 2014-07-23
KR101519488B1 KR101519488B1 (ko) 2015-05-12

Family

ID=46145598

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020157013129A Active KR101629153B1 (ko) 2010-11-26 2011-11-22 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020137011315A Active KR101454418B1 (ko) 2010-11-26 2011-11-22 영상 복호 장치, 영상 복호 방법 및 컴퓨터 판독 가능한 기록 매체
KR1020147017332A Active KR101519488B1 (ko) 2010-11-26 2011-11-22 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 기록 매체
KR1020167014673A Active KR101671156B1 (ko) 2010-11-26 2011-11-22 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020147035950A Active KR101616667B1 (ko) 2010-11-26 2011-11-22 영상 복호 장치, 영상 복호 방법 및 기록 매체

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020157013129A Active KR101629153B1 (ko) 2010-11-26 2011-11-22 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020137011315A Active KR101454418B1 (ko) 2010-11-26 2011-11-22 영상 복호 장치, 영상 복호 방법 및 컴퓨터 판독 가능한 기록 매체

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020167014673A Active KR101671156B1 (ko) 2010-11-26 2011-11-22 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020147035950A Active KR101616667B1 (ko) 2010-11-26 2011-11-22 영상 복호 장치, 영상 복호 방법 및 기록 매체

Country Status (14)

Country Link
US (5) US10154267B2 (ko)
EP (6) EP2688298B1 (ko)
JP (6) JP5321753B2 (ko)
KR (5) KR101629153B1 (ko)
CN (6) CN105872557B (ko)
AU (1) AU2011333238B2 (ko)
BR (3) BR112013012814B1 (ko)
CA (2) CA2819014C (ko)
ES (5) ES2608788T3 (ko)
HK (3) HK1221844A1 (ko)
MX (4) MX2013005652A (ko)
PL (3) PL3057321T3 (ko)
RU (5) RU2606306C2 (ko)
WO (1) WO2012070232A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013012814B1 (pt) 2010-10-26 2019-10-08 Nec Corporation Dispositivo de decodificação de vídeo e método de decodificação de vídeo
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MY184301A (en) 2011-02-22 2021-03-31 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
BR112012021600B1 (pt) 2011-02-22 2021-02-09 Tagivan Ii Llc método de filtragem de desbloqueio para filtrar uma pluralidade de blocos incluídos em uma imagem, método e aparelho de codificação para codificar uma imagem
CN103703774B (zh) 2011-07-19 2017-06-20 太格文-Ii有限责任公司 滤波方法、解码方法、以及编码方法
US20150181213A1 (en) * 2012-06-26 2015-06-25 Nec Corporation Video encoding device, video decoding device, video encoding method, video decoding method, and program
JP6315911B2 (ja) * 2013-07-09 2018-04-25 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9774879B2 (en) 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
JP5850272B2 (ja) * 2014-01-10 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR102402881B1 (ko) 2015-06-05 2022-05-27 한화테크윈 주식회사 감시 시스템
JP6670670B2 (ja) * 2015-06-08 2020-03-25 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 適応色変換を用いた映像符号化方法およびシステム
US10390020B2 (en) 2015-06-08 2019-08-20 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
KR102282454B1 (ko) 2015-07-13 2021-07-27 한화테크윈 주식회사 감시 시스템
JP6115620B2 (ja) * 2015-11-25 2017-04-19 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP6115619B2 (ja) * 2015-11-25 2017-04-19 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
WO2017141594A1 (ja) 2016-02-18 2017-08-24 株式会社デンソー ヘッドアップディスプレイ装置
KR102477660B1 (ko) 2016-04-06 2022-12-14 한화테크윈 주식회사 감시 시스템
CN114339229B (zh) * 2016-05-04 2024-04-12 夏普株式会社 用于对变换数据进行编码的系统和方法
JP6299901B2 (ja) * 2017-03-03 2018-03-28 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP6332502B2 (ja) * 2017-03-03 2018-05-30 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
WO2020101385A1 (ko) * 2018-11-14 2020-05-22 엘지전자 주식회사 비디오 데이터를 처리하기 위한 방법 및 장치
PH12021551130A1 (en) 2018-11-22 2022-03-21 Beijing Bytedance Network Tech Co Ltd Pulse code modulation technique in video processing
DE102019121204A1 (de) 2019-02-27 2020-08-27 Schaeffler Technologies AG & Co. KG Torsionsschwingungsdämpfer mit einer Rotationsachse für einen Antriebsstrang
JP2022068379A (ja) * 2019-03-08 2022-05-10 シャープ株式会社 画像復号装置
WO2020215338A1 (zh) * 2019-04-26 2020-10-29 深圳市大疆创新科技有限公司 视频编解码的方法和装置
AU2022202470A1 (en) * 2022-04-13 2023-11-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tensor
WO2025077859A1 (en) * 2023-10-12 2025-04-17 Mediatek Inc. Methods and apparatus of propagating models for extrapolation intra prediction model inheritance in video coding

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4922537A (en) 1987-06-02 1990-05-01 Frederiksen & Shu Laboratories, Inc. Method and apparatus employing audio frequency offset extraction and floating-point conversion for digitally encoding and decoding high-fidelity audio signals
US6549666B1 (en) 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
US6119091A (en) 1998-06-26 2000-09-12 Lsi Logic Corporation DVD audio decoder having a direct access PCM FIFO
KR100336280B1 (ko) * 1999-05-21 2002-05-13 유혁 중간 데이터 기반의 비디오/오디오 스트리밍 방법
KR100644498B1 (ko) 1999-08-25 2006-11-10 마츠시타 덴끼 산교 가부시키가이샤 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치
EP1087627A3 (en) 1999-09-24 2004-02-18 SANYO ELECTRIC Co., Ltd. Autostereoscopic image display device
GB0119243D0 (en) 2001-08-07 2001-10-03 Pharma Mar Sa Antitumoral analogs of ET-743
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
JP4240283B2 (ja) 2002-10-10 2009-03-18 ソニー株式会社 復号装置及び復号方法
US7688895B2 (en) * 2003-07-22 2010-03-30 Lsi Corporation Method and/or circuit for binary arithmetic decoding decisions before termination
US7362804B2 (en) 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US20050187742A1 (en) 2004-02-19 2005-08-25 Collodi David J. Physics engine
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
KR100945985B1 (ko) * 2004-12-28 2010-03-09 닛본 덴끼 가부시끼가이샤 동화상 부호화 방법 및 이것을 이용한 장치와, 컴퓨터프로그램
KR100695158B1 (ko) * 2005-08-03 2007-03-14 삼성전자주식회사 영상 부호화장치 및 방법과 그 복호화장치 및 방법
US7983335B2 (en) * 2005-11-02 2011-07-19 Broadcom Corporation AVC I—PCM data handling and inverse transform in a video decoder
WO2007108661A1 (en) * 2006-03-22 2007-09-27 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding the compensated illumination change
KR20070098428A (ko) * 2006-03-30 2007-10-05 엘지전자 주식회사 비디오 신호 디코딩/인코딩 방법 및 장치
EP1852849A1 (en) * 2006-05-05 2007-11-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream
JP4584871B2 (ja) * 2006-06-09 2010-11-24 パナソニック株式会社 画像符号化記録装置および画像符号化記録方法
CN101198051B (zh) 2006-12-07 2011-10-05 深圳艾科创新微电子有限公司 基于h.264的熵解码器的实现方法及装置
JP5045950B2 (ja) * 2006-12-14 2012-10-10 日本電気株式会社 映像符号化方法、映像符号化装置および映像符号化プログラム
WO2008126135A1 (ja) * 2007-03-20 2008-10-23 Fujitsu Limited 動画像符号化方法及び装置並びに動画像復号装置
CN101822063A (zh) * 2007-08-16 2010-09-01 诺基亚公司 用于编码和解码图像的方法和装置
EP2197215A4 (en) * 2007-09-06 2011-03-23 Nec Corp VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, VIDEO DECODING METHOD, AND VIDEO ENCODING OR DECODING PROGRAM
EP2048886A1 (en) 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
JP2009100125A (ja) * 2007-10-15 2009-05-07 Toshiba Corp 符号化装置
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
CN101340584B (zh) * 2008-08-11 2010-09-29 中国科学院计算技术研究所 一种视频解码方法和装置
JP5116704B2 (ja) * 2009-02-02 2013-01-09 パナソニック株式会社 画像符号化装置及び画像符号化方法
US9288494B2 (en) * 2009-02-06 2016-03-15 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
JP2010193398A (ja) 2009-02-20 2010-09-02 Canon Inc 画像符号化装置及び画像符号化方法
TWI433542B (zh) * 2009-05-25 2014-04-01 晨星半導體股份有限公司 反量化處理方法與裝置
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101664125B1 (ko) * 2009-09-22 2016-10-10 삼성전자주식회사 랜덤 액세스 가능한 영상 인코딩 시스템 및 방법
US20110292247A1 (en) * 2010-05-27 2011-12-01 Sony Corporation Image compression method with random access capability
RS55152B1 (sr) * 2010-07-09 2017-01-31 Samsung Electronics Co Ltd Metod i uređaj za entropijsko kodiranje/dekodiranje koeficijenta transformacije
JP5057314B2 (ja) 2010-09-01 2012-10-24 国立大学法人東京工業大学 歩容評価システム及び歩容評価方法
JP5707412B2 (ja) * 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
WO2012042893A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US20120087411A1 (en) 2010-10-12 2012-04-12 Apple Inc. Internal bit depth increase in deblocking filters and ordered dither
BR112013012814B1 (pt) * 2010-10-26 2019-10-08 Nec Corporation Dispositivo de decodificação de vídeo e método de decodificação de vídeo
KR102295680B1 (ko) * 2010-12-08 2021-08-31 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치

Also Published As

Publication number Publication date
EP3057322A1 (en) 2016-08-17
EP3057322B1 (en) 2018-06-20
CN105872557B (zh) 2018-12-04
RU2015117981A (ru) 2015-10-27
JP2013179689A (ja) 2013-09-09
JP5900694B2 (ja) 2016-04-06
HK1221844A1 (zh) 2017-06-09
MX338475B (es) 2016-04-18
ES2608788T3 (es) 2017-04-17
KR20130095287A (ko) 2013-08-27
CN105611296B (zh) 2018-08-14
EP2645714A3 (en) 2013-11-06
EP3057321B1 (en) 2018-06-20
RU2562432C2 (ru) 2015-09-10
RU2606306C2 (ru) 2017-01-10
US11310510B2 (en) 2022-04-19
US10742991B2 (en) 2020-08-11
JP5958634B2 (ja) 2016-08-02
MX341942B (es) 2016-09-08
BR112013012814B1 (pt) 2019-10-08
KR101454418B1 (ko) 2014-10-28
MX353197B (es) 2018-01-05
KR101616667B1 (ko) 2016-04-28
PL3057323T3 (pl) 2018-11-30
BR122015017252A2 (pt) 2019-05-14
US20160249055A1 (en) 2016-08-25
CA2897373A1 (en) 2012-05-31
EP2688298B1 (en) 2016-09-21
EP3057323A1 (en) 2016-08-17
JPWO2012070232A1 (ja) 2014-05-19
JP5900693B2 (ja) 2016-04-06
CN105872557A (zh) 2016-08-17
EP2688298A4 (en) 2014-06-25
BR112013012814A2 (pt) 2019-01-15
KR20150014990A (ko) 2015-02-09
JP5900414B2 (ja) 2016-04-06
RU2013128978A (ru) 2015-01-10
EP2645714A2 (en) 2013-10-02
KR20160066015A (ko) 2016-06-09
AU2011333238B2 (en) 2015-06-11
US10154267B2 (en) 2018-12-11
EP2645714B1 (en) 2016-06-29
US20220232223A1 (en) 2022-07-21
EP3379831A1 (en) 2018-09-26
JP2016040932A (ja) 2016-03-24
HK1221843A1 (zh) 2017-06-09
CA2819014C (en) 2016-12-13
KR101519488B1 (ko) 2015-05-12
PL3057321T3 (pl) 2018-12-31
CN103647974B (zh) 2017-05-31
MX2013005652A (es) 2013-09-13
US20220191510A1 (en) 2022-06-16
CN105611296A (zh) 2016-05-25
CN103229503A (zh) 2013-07-31
CN103647974A (zh) 2014-03-19
CN105681804B (zh) 2018-11-02
US20200322615A1 (en) 2020-10-08
AU2011333238A1 (en) 2013-05-02
KR20150063594A (ko) 2015-06-09
JP2016187207A (ja) 2016-10-27
JP6183502B2 (ja) 2017-08-23
JP2016028522A (ja) 2016-02-25
HK1186030A1 (zh) 2014-02-28
CN105611297A (zh) 2016-05-25
EP2688298A1 (en) 2014-01-22
ES2688379T3 (es) 2018-11-02
ES2589702T3 (es) 2016-11-15
WO2012070232A1 (ja) 2012-05-31
US11659188B2 (en) 2023-05-23
RU2644131C1 (ru) 2018-02-07
KR101629153B1 (ko) 2016-06-09
US20130223514A1 (en) 2013-08-29
PL3057322T3 (pl) 2018-12-31
BR122015017252B1 (pt) 2019-10-08
CN105681804A (zh) 2016-06-15
CA2897373C (en) 2017-11-14
HK1221842A1 (zh) 2017-06-09
EP3057321A1 (en) 2016-08-17
EP3057323B1 (en) 2018-07-04
ES2687421T3 (es) 2018-10-25
RU2633170C1 (ru) 2017-10-11
KR101671156B1 (ko) 2016-10-31
RU2647682C1 (ru) 2018-03-16
BR122015017254B1 (pt) 2019-10-08
BR122015017254A2 (pt) 2019-03-19
JP5321753B2 (ja) 2013-10-23
US11659189B2 (en) 2023-05-23
ES2688086T3 (es) 2018-10-30
CN103229503B (zh) 2016-06-29
CN105611297B (zh) 2018-09-07
CA2819014A1 (en) 2012-05-31
JP2016028523A (ja) 2016-02-25

Similar Documents

Publication Publication Date Title
US11659189B2 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program
AU2016250410B2 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and program
AU2015202105B2 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and program

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A107 Divisional application of patent
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20180418

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 11