KR20140096143A - 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치 - Google Patents

기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치 Download PDF

Info

Publication number
KR20140096143A
KR20140096143A KR1020147017034A KR20147017034A KR20140096143A KR 20140096143 A KR20140096143 A KR 20140096143A KR 1020147017034 A KR1020147017034 A KR 1020147017034A KR 20147017034 A KR20147017034 A KR 20147017034A KR 20140096143 A KR20140096143 A KR 20140096143A
Authority
KR
South Korea
Prior art keywords
block
geometric
macroblock
superblock
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147017034A
Other languages
English (en)
Other versions
KR101579394B1 (ko
Inventor
오스카 디보라 에스코다
펭 와인
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140096143A publication Critical patent/KR20140096143A/ko
Application granted granted Critical
Publication of KR101579394B1 publication Critical patent/KR101579394B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

기하학적으로 분할된 수퍼 블록을 비디오 인코딩 및 디코딩하는 방법 및 장치가 제공된다. 장치는 픽처의 적어도 일부분에 대해 이미지 데이터를 인코딩하는 인코더(300)를 포함한다. 이 이미지 데이터는 픽처 블록 분할들에 기하학적 분할들을 적용하는 기하학적 분할에 의해 형성된다. 이 픽처 블록 분할들은 하향식 분할 및 상향식 트리 결합 중 적어도 하나로부터 획득된다.

Description

기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치{METHODS AND APPARATUS FOR VIDEO ENCODING AND DECODING GEOMETRICALLY PARTITIONED SUPER BLOCKS}
<관련 출원들의 상호-참조>
본 출원은 2007년 10월 16일자로 출원된 미국 가특허 출원 제60/980,297호를 기초로 우선권을 주장하며, 이 미국 출원은 전체 내용이 참조로 본 명세서에 포함된다.
본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로서, 보다 상세하게는 기하학적으로 분할된 수퍼 블록(geometrically partitioned super block)들을 비디오 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.
현재의 비디오 코딩 표준들 중 몇몇에서는 트리-구조의 매크로블록 분할(Tree-structured macroblock partitioning)이 채택되어 있다. ITU-T(International Telecommunication Union, Telecommunication Sector) H.261 권고안(이후부터, "H.261 권고안"이라고 함), ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-1(Moving Picture Experts Group-1) 표준(이후부터, "MPEG-1 표준"이라고 함), 및 ISO/IEC MPEG-2(Moving Picture Experts Group-2) 표준/ITU-T H.262 권고안(이후부터, "MPEG-2 표준"이라고 함)은 16x16 매크로블록 (MB) 분할만을 지원한다. ISO/IEC MPEG-4(Moving Picture Experts Group-4) 파트 2(Part 2) SP(simple profile) 또는 ITU-T H.263(+) 권고안은 16x16 매크로블록에 대한 16x16 분할 및 8x8 분할 둘다를 지원한다. ISO/IEC MPEG-4(Moving Picture Experts Group-4) 파트 10(Part 10) AVC(Advanced Video Coding) 표준/ITU-T H.264 권고안(이후부터, "MPEG-4 AVC 표준"이라고 함)은 트리-구조의 계층적 매크로블록 분할(tree-structured hierarchical macroblock partition)을 지원한다. 16x16 매크로블록은 16x8, 8x16, 또는 8x8 크기의 매크로블록 분할들로 분할될 수 있다. 8x8 분할은 서브-매크로블록(sub-macroblock)이라고도 한다. 서브 매크로블록은 또한 8x4, 4x8, 및 4x4 크기의 서브-매크로블록 분할들로 나누어질 수 있다.
예측(predictive)(P) 프레임 또는 양방향 예측(bi-predictive)(B) 프레임이 인코딩되는지의 여부에 따라, 트리-기반 분할(tree-based partition)을 사용하는 다른 예측 구성들이 가능하다. 이들 예측 구성은 MPEG-4 AVC 표준 인코더 및/또는 디코더에서 이용가능한 코딩 모드(coding mode)를 정의한다. P 프레임들은 제1 기준 프레임 목록으로부터 전방향 시간 예측(forward temporal prediction)을 가능하게 하는 반면, B 프레임들은, 블록 분할들에서의 역방향/전방향/양방향 예측을 위해, 최대 2개의 기준 프레임 목록을 사용할 수 있게 한다. 예를 들어, P 프레임 및 B 프레임에 대한 이들 코딩 모드의 예로는 이하의 것들이 있다.
P-프레임:
Figure pat00001
B-프레임:
Figure pat00002
여기서, "FWD"는 전방향 예측 목록(forward prediction list)으로부터의 예측을 나타내고, "BKW"는 역방향 예측 목록(backward prediction list)으로부터의 예측을 나타내며, "BI"는 전방향 목록 및 역방향 목록 둘다로부터의 양방향 예측을 나타내고, "FWD-FWD"는 전방향 예측 목록으로부터의 2개의 예측을 나타내고, "FWD-BKW"는 전방향 예측 목록으로부터의 제1 예측 및 역방향 예측 목록으로부터의 제2 예측을 나타낸다.
또한, 인트라 프레임(intra frame)은 16x16, 8x8 및/또는 4x4 블록에서의 예측 코딩 모드를 가능하게 하며, 대응하는 매크로블록 코딩 모드로는 INTRA4x4, INTRA16x16, 및 INTRA8x8이 있다.
MPEG-4 AVC 표준에서의 프레임 분할(frame partition)은 MPEG-2 표준과 같은 이전의 비디오 인코딩 표준들에서 통상적으로 사용되는 간단하고 균일한 블록 분할(block partition)보다 더 효율적이다. 그러나, 트리-기반 프레임 분할이 일부 코딩 시나리오들에서 2차원(2D) 데이터의 기하학적 구조(geometric structure)를 포착할 수 없는 것으로 인해 비효율적이기 때문에 단점이 없는 것은 아니다. 이러한 제한들을 해결하기 위해, 2차원 비디오 데이터를 그의 2차원 기하 형태(two-dimensional geometry)를 고려함으로써 더 잘 표현하고 코딩하는 종래 기술의 방법(이후부터, "종래 기술의 방법"이라고 함)이 소개되었다. 종래 기술의 방법은 인터 예측(inter prediction)(INTER16x16GEO, INTER8x8GEO) 및 인트라 예측(intra prediction)(INTRA16x16GEO, INTRA8x8GEO) 둘다에 대한 새로운 일련의 모드에서 웨지 분할(wedge partition)(즉, 블록을 임의적인 선 또는 곡선으로 분리되어 있는 2개의 영역으로 분할)을 이용한다.
종래 기술의 방법의 한 구현에서, MPEG-4 AVC 표준은 기하학적 분할 모드(geometric partition mode)를 포함시키기 위한 기초로서 사용된다. 블록 내에서의 기하학적 분할은 선(line)의 음 해법(implicit formulation)에 의해 모델링된다. 도 1을 참조하면, 이미지 블록의 예시적인 기하학적 분할이 전반적으로 참조 번호(100)로 나타내어져 있다. 이미지 블록 전체가 전반적으로 참조 번호(120)로 나타내어져 있고, 대각선(150)의 양측에 위치하는 이미지 블록(120)의 2개의 분할이 각각 전반적으로 참조 번호(130) 및 참조 번호(140)로 나타내어져 있다.
따라서, 분할이 다음과 같이 정의된다.
Figure pat00003
여기서, ρ, θ는 각각 f(x,y)에 대한 직교 방향으로 원점부터 경계선 f(x,y)까지의 거리, 및 f(x,y)에 대한 직교 방향과 수평 좌표축(x) 사이의 각도를 나타낸다.
이 해법으로부터 곧바로, 보다 고차의 기하학적 파라미터들을 갖는 f(x,y)에 대한 더 복잡한 모델도 역시 생각된다.
각각의 블록 픽셀 (x,y)는 다음과 같이 분류된다.
Figure pat00004
코딩을 위해, 가능한 분할들(또는 기하학적 모드들)의 사전(dictionary)이 선험적으로 정의된다. 이것은 다음과 같이 정식으로 정의될 수 있다.
Figure pat00005
여기서, Δρ 및 Δθ는 선택된 양자화[파라미터 분해능(parameter resolution)] 스텝이다. θ 및 ρ에 대한 양자화된 인덱스(quantized index)가 엣지(edge)를 코딩하기 위해 전송되는 정보이다. 그러나, 코딩 절차에서 16x8 및 8x16 모드가 사용되는 경우, 각도 0 및 90은, ρ = 0의 경우에, 가능한 엣지들의 세트로부터 제거될 수 있다.
종래 기술의 방법 내에서, 기하 형태-적응적 움직임 보상 모드(geometry-adaptive motion compensation mode)의 경우, 최상의 구성을 찾기 위해, 각각의 분할에 대한 θ 및 ρ 그리고 움직임 벡터(motion vector)에 대한 검색이 수행된다. 모든 θ 및 ρ 쌍에 대해, 전역 검색(full search) 전략이 2 단계로 행해지며, 여기서 최상의 움직임 벡터가 검색된다. 기하 형태-적응적 인트라 예측 모드(geometry-adaptive intra prediction mode) 내에서, 최상의 구성을 찾기 위해, 각각의 분할에 대한 θ 및 ρ 그리고 최상의 예측자(best predictor)(양방향 예측 또는 통계 등)에 대한 검색이 수행된다.
도 2를 참조하면, 기하 형태-적응적 직선(geometry adaptive straight line)으로 분할된 예시적인 INTER-P 이미지 블록이 전반적으로 참조 번호(200)로 나타내어져 있다. 이미지 블록 전체가 전반적으로 참조 번호(220)로 나타내어져 있고, 이미지 블록(220)의 2개의 분할이 각각 전반적으로 참조 번호(230) 및 참조 번호(240)로 나타내어져 있다.
P 모드의 경우에 블록의 예측 보상이 다음과 같이 나타내어질 수 있다.
Figure pat00006
여기서,
Figure pat00007
은 현재의 예측을 나타내고,
Figure pat00008
및
Figure pat00009
은 각각 분할(P1) 및 분할(P2)에 대한 블록 움직임 보상된 기준(block motion compensated reference)이다. 각각의 MASKP(x,y)는 각각의 분할에서의 각각의 픽셀 (x,y)에 대한 기여 가중치(contribution weight)를 포함한다. 분할 경계(partition boundary) 상에 있지 않은 픽셀들은 일반적으로 어떤 연산도 필요로 하지 않는다. 실제로, 마스크 값(mask value)은 1 또는 0이다. 분할 경계의 근방에 있는 픽셀들만이 양쪽 기준으로부터의 예측 값들을 결합시키면 된다.
따라서, 기하 형태-적응적 블록 분할을 사용하는 비디오 및 이미지 코딩이 비디오 코딩 효율을 향상시키는 유망한 방법인 것으로 알려져 왔다. 기하 형태-적응적 블록 분할은 더 정확한 픽처 예측(picture prediction)을 가능하게 하며, 여기서 인터 예측자(inter predictor) 및/또는 인트라 예측자(intra predictor)와 같은 국소 예측 모델(local prediction model)이 픽처의 구조에 따라 조정될 수 있다. 그러나, HD(High Definition) 비디오 및 이미지에 대한 코딩 이득(coding gain)이 여전히 개선될 필요가 있다.
예를 들어, 인터 프레임 예측에서의 기하 형태-적응적 블록 분할은 저 해상도 내지 중간 해상도 비디오 콘텐츠에 대해 큰 코딩 효율 향상을 나타낸다. 예로서, 기하학적으로 분할된 블록은 움직임 엣지(motion edge)가 존재하는 경우에 블록들의 예측을 향상시키는 데 특히 양호하다. 그러나, HD 비디오 콘텐츠의 경우, 기하학적 모드(geometric mode)에 의해 달성되는 이득이 제한되고, 기하학적 모드가 요구하는 복잡도와 균형을 이루지 못한다. 한가지 가능한 이유는 HD 콘텐츠가 더 큰 신호 구조(signal structure)를 갖는 반면, 기존의 비디오 코딩 표준들에서 사용되는 매크로블록(MB) 크기가 16x16 크기로 고정되어 있기 때문이다(이에 따라 HD의 증가된 객체 크기에 맞춰 제대로 스케일링되지 않음).
따라서, 기하 형태-적응적 매크로블록 분할이 HD 코딩에서, 적어도 인코딩되는 HD 콘텐츠의 유형의 대부분에 대해 별로 효과가 없을 수 있다. 실제로, 훨씬 더 큰 신호 영역에 비해 충분한 정보를 압축할 수 없다. 예를 들어, 비트율-왜곡(rate-distortion)의 관점에서 볼 때, 블록들 중 단지 작은 비율만이 감소된 R-D 비용(R-D cost)을 갖게 되기 때문에, 모든 기하학적으로 분할된 인터 블록(inter block)에 의해 도입되는 코딩 이득이 "균일한" 움직임을 갖는 훨씬 더 많은 블록의 양에 의해 결국 평균화되어 사라진다.
HD 비디오 코딩을 위한 확대된 블록 크기
MPEG-4 AVC 표준의 한계를 극복하기 위해 HD 콘텐츠 압축에 대해 다른 연구 노력이 행해져왔다. 이것의 명확한 예가 매크로블록 크기를 증가시키는 것에 대한 연구이다. 16x16보다 큰 매크로블록 크기를 가능하게 하는 것의 이점에 대한 결과가 있었다. MPEG-4 AVC 표준 비디오 코덱을 보완하기 위해 32x32, 32x16 및 16x32와 같은 확장된 분할 블록 모드들이 사용되어 왔다. 이러한 확장된 분할 블록 모드들의 사용과 관련한 효율 결과들은 확대된 매크로블록 크기를 사용할 때 비교적 큰 이득이 달성될 수 있다는 것을 나타내었다.
지금까지, 확대된 블록 크기의 사용과 관련한 연구는 간단하고 균일한 4-트리 분할(quad-tree partition)만을 포함한다. 4-트리 분할(quad-tree partitioning)은 HD 콘텐츠에 대해 저해상도 콘텐츠에 대해서와 동일한 한계를 제공한다. 4-트리 분할은 2차원(2D) 비디오 및/또는 이미지 데이터의 기하학적 구조를 포착하지 못한다.
기하학적으로 분할된 수퍼 블록들을 비디오 인코딩 및 디코딩하는 방법 및 장치에 관한 본 발명에 의해 종래 기술의 이들 및 기타 결점 및 단점이 해결된다.
본 발명의 일 양태에 따르면, 장치가 제공된다. 이 장치는 픽처의 적어도 일부분에 대해 이미지 데이터를 인코딩하는 인코더를 포함한다. 이 이미지 데이터는 픽처 블록 분할들(picture block partitions)에 기하학적 분할들(geometric partitions)을 적용하는 기하학적 분할(geometric partitioning)에 의해 형성된다. 이 픽처 블록 분할들은 하향식 분할(top-down partitioning) 및 상향식 트리 결합(bottom-up tree joining) 중 적어도 하나로부터 획득된다.
본 발명의 다른 양태에 따르면, 방법이 제공된다. 이 방법은 픽처의 적어도 일부분에 대해 이미지 데이터를 인코딩하는 단계를 포함한다. 이 이미지 데이터는 픽처 블록 분할들(picture block partitions)에 기하학적 분할들(geometric partitions)을 적용하는 기하학적 분할(geometric partitioning)에 의해 형성된다. 이 픽처 블록 분할들은 하향식 분할(top-down partitioning) 및 상향식 트리 결합(bottom-up tree joining) 중 적어도 하나로부터 획득된다.
본 발명의 또 다른 양태에 따르면, 장치가 제공된다. 이 장치는 픽처의 적어도 일부분에 대해 이미지 데이터를 디코딩하는 디코더를 포함한다. 이 이미지 데이터는 픽처 블록 분할들(picture block partitions)에 기하학적 분할들(geometric partitions)을 적용하는 기하학적 분할(geometric partitioning)에 의해 형성된다. 이 픽처 블록 분할들은 하향식 분할(top-down partitioning) 및 상향식 트리 결합(bottom-up tree joining) 중 적어도 하나로부터 획득된다.
본 발명의 또 다른 양태에 따르면, 방법이 제공된다. 이 방법은 픽처의 적어도 일부분에 대해 이미지 데이터를 디코딩하는 단계를 포함한다. 이 이미지 데이터는 픽처 블록 분할들(picture block partitions)에 기하학적 분할들(geometric partitions)을 적용하는 기하학적 분할(geometric partitioning)에 의해 형성된다. 이 픽처 블록 분할들은 하향식 분할(top-down partitioning) 및 상향식 트리 결합(bottom-up tree joining) 중 적어도 하나로부터 획득된다.
본 발명의 이들 및 기타 양태, 특징 및 이점이 첨부 도면과 관련하여 기술된 예시적인 실시예들에 대한 이하의 상세한 설명으로부터 명백하게 될 것이다.
본 발명이 이하의 예시적인 도면들을 참조하면 더 잘 이해될 것이다.
도 1은 이미지 블록의 예시적인 기하학적 분할(geometric partitioning)을 나타낸 도면이다.
도 2는 기하 형태-적응적 직선(geometry adaptive straight line)에 의해 분할된 예시적인 INTER-P 이미지 블록을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 본 발명이 적용될 수 있는 예시적인 인코더의 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 본 발명이 적용될 수 있는 예시적인 디코더의 블록도이다.
도 5a는 본 발명의 일 실시예에 따른, 다수의 매크로블록이 얻어지는 상향식 및 하향식 방법을 사용하는 예시적인 수퍼 블록 및 서브-블록 결합형 트리-기반 프레임 분할(combined super block and sub-block tree-based frame partitioning)을 나타낸 도면이다.
도 5b는 본 발명의 일 실시예에 따른, 도 5a의 트리-기반 분할(500)로부터 형성되는 예시적인 수퍼 블록 및 서브-블록을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, 매크로블록들의 합집합(union)으로부터 형성되는 예시적인 수퍼 블록을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 수퍼 블록의 디블로킹 영역들(deblocking areas)을 관리하는 예시적인 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른, 수퍼 블록의 디블로킹 영역들(deblocking areas)을 관리하는 다른 예시적인 방법을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른, MPEG-4 AVC 표준에 따른 라스터 스캔 순서(raster scan ordering)의 예 및 지그-재그 스캔 순서(zig-zag scan ordering)의 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른, 픽처의 예시적인 분할을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, 예시적인 비디오 인코딩 방법을 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따른, 예시적인 비디오 디코딩 방법을 나타낸 흐름도이다.
본 발명은 기하학적으로 분할된 수퍼 블록(geometrically partitioned super block)들을 비디오 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.
이 설명은 본 발명에 대해 기술한다. 따라서, 당업자라면, 본 명세서에 명시적으로 기술되거나 도시되어 있지 않지만, 본 발명을 구현하고 본 발명의 사상 및 범위 내에 포함되는 다양한 구성들을 도출할 수 있다는 것을 잘 알 것이다.
본 명세서에 상술되는 모든 예 및 조건적 화법은 기술을 발전시키기 위해 발명자들이 기여한 개념들 및 본 발명을 이해하는 데 도움을 주도록 교육적 목적을 위한 것이며, 이러한 구체적으로 상술된 예들 및 조건들로 제한되는 것으로 해석되어서는 안 된다.
게다가, 본 발명의 원리, 양태 및 실시예는 물론 본 발명의 구체적인 예를 기술하는 본 명세서의 모든 설명이 본 발명의 구조적 균등물 및 기능적 균등물 둘다를 포괄하는 것으로 보아야 한다. 또한, 이러한 균등물이 현재 공지된 균등물은 물론 장래에 개발되는 균등물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소도 포함하는 것으로 보아야 한다.
따라서, 예를 들어, 당업자라면 본 명세서에 제공된 블록도가 본 발명을 구현하는 예시적인 회로의 개념도를 나타낸다는 것을 잘 알 것이다. 마찬가지로, 임의의 플로우차트, 흐름도, 상태 천이도, 의사코드 등이 사실상 컴퓨터 판독가능 매체에 표현되고, 따라서 컴퓨터 또는 프로세서(이러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 상관없음)에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 잘 알 것이다.
도면에 도시된 다양한 요소들의 기능이 전용 하드웨어는 물론 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어를 사용하여 제공될 수 있다. 프로세서에 의해 제공될 때, 이들 기능은 하나의 전용 프로세서에 의해, 하나의 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 게다가, "프로세서" 또는 "제어기"라는 용어의 명시적 사용이 소프트웨어를 실행할 수 있는 하드웨어만을 말하는 것으로 해석되어서는 안 되며, 디지털 신호 처리기(DSP), 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장 장치를 제한 없이 암시적으로 포함할 수 있다.
기타 종래의 하드웨어(conventional hardware) 및/또는 커스텀 하드웨어(custom hardware)도 역시 포함될 수 있다. 마찬가지로, 도면들에 도시된 임의의 스위치는 단지 개념적인 것이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 문맥으로부터 보다 구체적으로 이해되는 바와 같이 특정의 기법이 구현자에 의해 선택될 수 있다.
본 발명의 청구항들에서, 지정된 기능을 수행하는 수단으로서 표현된 임의의 요소는, 예를 들어, a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 그 기능을 수행하도록 소프트웨어를 실행하는 적절한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 비롯하여, 그 기능을 수행하는 임의의 방식을 포괄하는 것으로 보아야 한다. 이러한 청구항들에 의해 정의된 본 발명은 다양한 인용된 수단들에 의해 제공된 기능들이 청구항들이 요구하는 방식으로 결합되어 합해진다는 사실에 자리잡고 있다. 따라서, 그 기능들을 제공할 수 있는 어떤 수단이라도 본 명세서에 제공된 기능들과 등가인 것으로 간주된다.
본 명세서에서 본 발명의 "일 실시예" 또는 "실시예"라고 하는 것은 이 실시예와 관련하여 기술된 특정의 특징, 구조, 특성 등이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 따라서, 본 명세서에 걸쳐 여러 곳에서 나타나는 "일 실시예에서" 또는 "실시예에서"라는 구문들이 모두 동일한 실시예를 말하는 것은 아니다. 게다가, "다른 실시예에서"라는 구문은 기술된 실시예의 발명 대상이 다른 실시예와 전체적으로 또는 부분적으로 결합되는 것을 배제하지 않는다.
"및/또는"과 "~중 적어도 하나"라는 용어의 사용(예를 들어, "A 및/또는 B"와 "A와 B 중 적어도 하나"의 경우)이 첫번째로 열거된 옵션(A)만의 선택, 또는 두번째로 열거된 옵션(B)만의 선택, 또는 양쪽 옵션(A 및 B) 둘다의 선택을 포괄하는 것으로 보아야 한다는 것을 잘 알 것이다. 추가의 예로서, "A, B 및/또는 C"와 "A, B 및 C 중 적어도 하나"의 경우에, 이러한 구문은 첫번째로 열거된 옵션(A)만의 선택, 또는 두번째로 열거된 옵션(B)만의 선택, 또는 세번째로 열거된 옵션(C)만의 선택, 또는 첫번째 및 두번째로 열거된 옵션(A 및 B)만의 선택, 또는 첫번째 및 세번째로 열거된 옵션(A 및 C)만의 선택, 또는 두번째 및 세번째로 열거된 옵션(B 및 C)만의 선택, 또는 3개의 옵션(A 및 B 및 C) 모두의 선택을 포괄하는 것으로 보아야 한다. 당업자라면 알 수 있는 바와 같이, 이런 해석은 열거된 더 많은 항목들에 대해서도 확장될 수 있다.
게다가, 본 발명의 하나 이상의 실시예가 본 명세서에서 MPEG-4 AVC 표준과 관련하여 기술되어 있지만, 본 발명이 이 표준으로만 제한되지 않고 따라서 본 발명의 사상을 유지하면서 다른 비디오 코딩 표준들, 권고안들 및 이들의 확장(MPEG-4 AVC 표준의 확장을 포함함)과 관련하여 이용될 수 있다는 것을 잘 알 것이다.
또한, 본 명세서에서 사용되는 바와 같이, "수퍼 블록"이라는 구문이, 예를 들어, MPEG-2 표준에서 8보다 큰 블록 크기 및 MPEG-4 AVC 표준에서 4보다 큰 블록 크기를 갖는 블록을 말한다. 물론, 본 발명이 이들 표준으로만 제한되지 않는다는 것을 잘 알 것이며, 따라서 이 기술 및 관련 기술에 통상의 지식을 가진 자라면 본 명세서에 제공된 본 발명의 개시 내용을 바탕으로 다른 비디오 코딩 표준들 및 권고안들과 관련하여 수퍼 블록에 대해 포함될 수 있는 서로 다른 블록 크기들을 이해하고 용이하게 확인할 것이다.
게다가, 본 명세서에서 사용되는 바와 같이, "기본 분할 크기(base partitioning size)"라는 구문은 일반적으로 MPEG-4 AVC 표준에서 정의되는 매크로블록(macroblock)을 말한다. 물론, 앞서 살펴본 바와 같이, 본 발명은 MPEG-4 AVC 표준으로만 제한되지 않으며, 따라서 이 기술 및 관련 기술에 통상의 지식을 가진 자에게는 즉각 명백한 바와 같이, "기본 분할 크기"가, 본 발명의 사상을 유지하면서, 다른 코딩 표준들 및 권고안들에서 다를 수 있다.
게다가, 본 명세서에 기술된 디블로킹 필터링(deblocking filtering)이, 본 발명의 사상을 유지하면서, 인코딩 및/또는 디코딩 루프 내에서 또는 이 루프 밖에서 수행될 수 있다는 것을 잘 알 것이다.
도 3을 참조하면, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더가 전반적으로 참조 번호(300)로 나타내어져 있다.
비디오 인코더(300)는 결합기(combiner)(385)의 비반전 입력과 신호 통신을 하는 출력을 갖는 프레임 순서화 버퍼(frame ordering buffer)(310)를 포함한다. 결합기(385)의 출력은 기하학적 수퍼 블록 확장(geometric and super block extension)을 갖는 변환기 및 양자화기(325)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 변환기 및 양자화기(325)의 출력은 기하학적 수퍼 블록 확장을 갖는 엔트로피 코더(entropy coder)(345)의 제1 입력 및 기하학적 수퍼 블록 확장을 갖는 역변환기 및 역양자화기(350)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 엔트로피 코더(345)의 출력은 결합기(390)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(390)의 출력은 출력 버퍼(335)의 제1 입력에 연결되어 신호 통신을 한다.
기하학적 수퍼 블록 확장을 갖는 인코더 제어기(305)의 제1 출력은 프레임 순서화 버퍼(310)의 제2 입력, 기하학적 수퍼 블록 확장을 갖는 역변환기 및 역양자화기(inverse transformer and inverse quantizer)(350)의 제2 입력, 픽처-타입 결정 모듈(picture-type decision module)(315)의 입력, 기하학적 수퍼 블록 확장을 갖는 매크로블록-타입(MB-타입) 결정 모듈(MB-type decision module)(320)의 제1 입력, 기하학적 수퍼 블록 확장을 갖는 인트라 예측 모듈(intra prediction module)(360)의 제2 입력, 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(deblocking filter)(365)의 제2 입력, 기하학적 수퍼 블록 확장을 갖는 움직임 보상기(motion compensator)(370)의 제1 입력, 기하학적 수퍼 블록 확장을 갖는 움직임 추정기(motion estimator)(375)의 제1 입력, 및 기준 픽처 버퍼(reference picture buffer)(380)의 제2 입력에 연결되어 신호 통신을 한다.
기하학적 수퍼 블록 확장을 갖는 인코더 제어기(305)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(330)의 제1 입력, 기하학적 수퍼 블록 확장을 갖는 변환기 및 양자화기(325)의 제2 입력, 기하학적 수퍼 블록 확장을 갖는 엔트로피 코더(345)의 제2 입력, 출력 버퍼(335)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 입력에 연결되어 신호 통신을 한다.
SEI 삽입기(330)의 출력은 결합기(390)의 제2 비반전 입력에 연결되어 신호 통신을 한다.
픽처-타입 결정 모듈(315)의 제1 출력은 프레임 순서화 버퍼(310)의 제3 입력에 연결되어 신호 통신을 한다. 픽처-타입 결정 모듈(315)의 제2 출력은 기하학적 수퍼 블록 확장을 갖는 매크로블록-타입 결정 모듈(320)의 제2 입력에 연결되어 신호 통신을 한다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 출력은 결합기(390)의 제3 비반전 입력에 연결되어 신호 통신을 한다.
기하학적 수퍼 블록 확장을 갖는 역양자화기 및 역변환기(350)의 출력은 결합기(319)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(319)의 출력은 기하학적 수퍼 블록 확장을 갖는 인트라 예측 모듈(360)의 제1 입력 및 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(365)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(365)의 출력은 기준 픽처 버퍼(380)의 제1 입력에 연결되어 신호 통신을 한다. 기준 픽처 버퍼(380)의 출력은 기하학적 수퍼 블록 확장을 갖는 움직임 추정기(375)의 제2 입력 및 기하학적 수퍼 블록 확장을 갖는 움직임 보상기(370)의 제3 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 움직임 추정기(375)의 제1 출력은 기하학적 수퍼 블록 확장을 갖는 움직임 보상기(370)의 제2 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 움직임 추정기(375)의 제2 출력은 기하학적 수퍼 블록 확장을 갖는 엔트로피 코더(345)의 제3 입력에 연결되어 신호 통신을 한다.
기하학적 수퍼 블록 확장을 갖는 움직임 보상기(370)의 출력은 스위치(397)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 인트라 예측 모듈(360)의 출력은 스위치(397)의 제2 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 매크로블록-타입 결정 모듈(320)의 출력은 스위치(397)의 제3 입력에 연결되어 신호 통신을 한다. 스위치(397)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교한 것임)이 기하학적 수퍼 블록 확장을 갖는 움직임 보상기(370) 또는 기하학적 수퍼 블록 확장을 갖는 인트라 예측 모듈(360)에 의해 제공되는지를 판정한다. 스위치(397)의 출력은 결합기(319)의 제2 비반전 입력 및 결합기(385)의 반전 입력에 연결되어 신호 통신을 한다.
프레임 순서화 버퍼(310)의 제1 입력 및 기하학적 수퍼 블록 확장을 갖는 인코더 제어기(305)의 입력은, 입력 픽처를 수신하기 위해, 인코더(100)의 입력으로서 이용가능하다. 게다가, SEI(Supplemental Enhancement Information) 삽입기(330)의 제2 입력은, 메타데이터를 수신하기 위해, 인코더(300)의 입력으로서 이용가능하다. 출력 버퍼(335)의 출력은, 비트스트림을 출력하기 위해, 인코더(300)의 출력으로서 이용가능하다.
도 4를 참조하면, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더가 전반적으로 참조 번호(400)로 나타내어져 있다.
비디오 디코더(400)는 기하학적 수퍼 블록 확장을 갖는 엔트로피 디코더(445)의 제1 입력에 연결되어 신호 통신을 하는 출력을 갖는 입력 버퍼(410)를 포함한다. 기하학적 수퍼 블록 확장을 갖는 엔트로피 디코더(445)의 제1 출력은 기하학적 수퍼 블록 확장을 갖는 역변환기 및 역양자화기(450)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 역변환기 및 역양자화기(450)의 출력은 결합기(425)의 제2 비반전 입력에 연결되어 신호 통신을 한다. 결합기(425)의 출력은 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(465)의 제2 입력 및 기하학적 수퍼 블록 확장을 갖는 인트라 예측 모듈(460)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(465)의 제2 출력은 기준 픽처 버퍼(480)의 제1 입력에 연결되어 신호 통신을 한다. 기준 픽처 버퍼(480)의 출력은 기하학적 수퍼 블록 확장을 갖는 움직임 보상기(470)의 제2 입력에 연결되어 신호 통신을 한다.
기하학적 수퍼 블록 확장을 갖는 엔트로피 디코더(445)의 제2 출력은 기하학적 수퍼 블록 확장을 갖는 움직임 보상기(470)의 제3 입력 및 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(465)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 엔트로피 디코더(445)의 제3 출력은 기하학적 수퍼 블록 확장을 갖는 디코더 제어기(405)의 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 디코더 제어기(405)의 제1 출력은 기하학적 수퍼 블록 확장을 갖는 엔트로피 디코더(445)의 제2 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 엔트로피 디코더(405)의 제2 출력은 기하학적 수퍼 블록 확장을 갖는 역변환기 및 역양자화기(450)의 제2 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 디코더 제어기(405)의 제3 출력은 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(465)의 제3 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 디코더 제어기(405)의 제4 출력은 기하학적 수퍼 블록 확장을 갖는 인트라 예측 모듈(460)의 제2 입력, 기하학적 수퍼 블록 확장을 갖는 움직임 보상기(470)의 제1 입력, 및 기준 픽처 버퍼(480)의 제2 입력에 연결되어 신호 통신을 한다.
기하학적 수퍼 블록 확장을 갖는 움직임 보상기(470)의 출력은 스위치(497)의 제1 입력에 연결되어 신호 통신을 한다. 기하학적 수퍼 블록 확장을 갖는 인트라 예측 모듈(460)의 출력은 스위치(497)의 제2 입력에 연결되어 신호 통신을 한다. 스위치(497)의 출력은 결합기(425)의 제1 비반전 입력에 연결되어 신호 통신을 한다.
입력 버퍼(410)의 입력은, 입력 비트스트림을 수신하기 위해, 디코더(400)의 입력으로서 이용가능하다. 기하학적 수퍼 블록 확장을 갖는 디블로킹 필터(465)의 제1 출력은, 출력 픽처를 출력하기 위해, 디코더(400)의 출력으로서 이용가능하다.
앞서 살펴본 바와 같이, 본 발명은 기하학적으로 분할된 수퍼 블록(geometrically partitioned super block)들을 비디오 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.
일 실시예에서, 보다 큰 블록 크기, 즉 수퍼 블록의 분할에 기초한 새로운 기하 형태-적응적 분할 프레임워크(geometry-adaptive partitioning framework)를 제안한다. 상세하게는, 이것은, 더 큰 포맷 크기의 콘텐츠를 갖는 픽처들(pictures)에서의 중복성(redundancy)을 활용하는 것에 더 잘 적응되어 있는 블록 분할들을 제공하여 콘텐츠 해상도가 증가할 때 기하학적으로 분할된 블록들의 성능 손실을 감소시킴으로써, HD(high definition) 비디오 콘텐츠에 대한 코딩 효율을 향상시킬 수 있다.
일 실시예에서, 기하학적 분할(geometric partitioning)은 32x32, 64x64 등과 같은 수퍼-매크로블록(super-macroblock) 크기(예를 들어, 도 5a, 도 5b, 및 도 6 참조)로 도입된다.
도 5a를 참조하면, 다수의 매크로블록이 얻어지는 상향식 및 하향식 방법을 사용하는 예시적인 수퍼 블록 및 서브-블록 결합형 트리-기반 프레임 분할(combined super block and sub-block tree-based frame partitioning)이 전반적으로 참조 번호(500)로 나타내어져 있다. 매크로블록이 전반적으로 참조 번호(510)로 나타내어져 있다. 도 5b를 참조하면, 도 5a의 트리-기반 분할(500)로부터 형성된 예시적인 수퍼 블록 및 서브-블록이 각각 전반적으로 참조 번호(550) 및 참조 번호(560)로 나타내어져 있다. 도 6을 참조하면, 예시적인 수퍼 블록이 전반적으로 참조 번호(600)로 나타내어져 있다. 수퍼 블록(600)은 매크로블록(510)의 합집합으로부터 형성된다. 좌측 상부 매크로블록[수퍼 블록(600) 내에 있음]이 전반적으로 참조 번호(610)로 나타내어져 있다.
수퍼-매크로블록 기하학적 분할(super-macroblock geometric partitioning)이 독립적으로(즉, 그 자체만으로) 사용될 수 있거나, 4-트리 분할(quad-tree partitioning)에 기초한 수퍼-매크로블록의 다른 간단한 분할들의 사용과 결합될 수 있다. 예를 들어, 일 실시예에서, 인터 예측(inter prediction)을 위한 나머지 정규의 MPEG-4 AVC 표준 코딩 모드들과 함께, lnter32x32GEO, Inter32x32, Inter32x16 및 Inter16x32 모드를 사용할 수 있다. 이상의 파티션 크기 및 코딩 모드가 단지 예시적인 것이며, 따라서 본 명세서에 제공된 본 발명의 개시 내용이 주어진 경우, 당업자라면 본 발명의 사상을 유지하면서 이들 및 기타 다양한 분할 크기 및 코딩 모드는 물론 인코딩 및 디코딩과 관련한 기타 변동들을 상정하게 될 것임을 잘 알 것이다. 따라서, 예를 들어, 당업자라면 보다 큰 콘텐츠 크기에 대해 기하학적 분할을 사용하여 인트라 코딩 모드(intra coding mode)들을 일반화하는 유사한 방식들이 명백히 본 발명의 사상 내에 속한다는 것을 잘 알 것이다.
따라서, 본 명세서에 기술된 하나 이상의 실시예가 32x32의 특정의 수퍼 블록 크기와 관련하여 그리고 MPEG-4 AVC 표준과 관련하여 기술되어 있지만, 본 발명이 그에 한정되지 않고 본 발명의 사상을 유지하면서 다른 수퍼 블록 크기 및 다른 비디오 코딩 표준, 권고안, 및 그의 확장과 관련하여 사용될 수 있다.
따라서, 일 실시예에서, 표 1에 나타낸 모드들에 부가하여, 새로운 수퍼 블록 모드, INTER32x32GEO를 추가한다.
매크로블록 모드 서브-매크로블록 모드
SKIP/DIRECT16x16 DIRECT8x8(InterB)
INTER16x16 INTER8x8
INTER16x8 INTER8x4
INTER8x16 INTER4x8
INTER16x16GEO INTER8x8GEO
INTER8x8Sub INTER4x4
INTER32x32GEO의 경우, 보다 작은 크기의 기하학적으로 분할된 블록에서와 같이, 분할 엣지(partition edge)를 기술하는 데 필요한 정보를 전송할 필요가 있다. 일 실시예에서, 분할 엣지는 한 쌍의 파라미터(θ 및 ρ)에 의해 판정될 수 있다. 각각의 분할에 대해, 적절한 예측자(predictor)가 인코딩된다. 즉, P-프레임의 경우, 2개의 움직임 벡터(수퍼 블록의 각각의 분할에 대해 하나씩)가 인코딩된다. B-프레임의 경우, 전방향 예측(forward prediction), 역방향 예측(backward prediction) 또는 양방향 예측(bi-prediction)과 같은 각각의 분할에 대한 예측 모드가 인코딩된다. 이 정보는 코딩 모드와 별도로 또는 그와 함께 코딩될 수 있다. B-프레임의 경우에, 모든 기하학적 분할에서 사용될 예측 모드에 따라, 하나의 움직임 벡터 또는 2개의 움직임 벡터가 코딩된 블록의 나머지 정보와 함께 인코딩된다. 유의할 점은, 엣지 정보 및/또는 움직임 정보가 관련 정보를 명시적으로 전송하는 것에 의해 또는 인코더/디코더에서 그 정보를 암시적으로 도출하는 것에 의해 인코딩될 수 있다는 것이다. 실제로, 일 실시예에서, 주어진 블록의 엣지 정보가 이미 인코딩/디코딩된 이용가능한 데이터로부터 도출되도록 및/또는 분할들 중 적어도 하나의 분할의 움직임 정보가 이미 인코딩/디코딩된 이용가능한 데이터로부터 도출되도록 암시적 도출 규칙(implicit derivation rule)이 정의될 수 있다.
움직임 정보의 효율적인 명시적 코딩은 이미 인코딩/디코딩된 이용가능한 데이터를 사용하여 예측 모델에 기초한 움직임 예측의 사용을 필요로 한다. 수퍼-매크로블록에 대한 기하학적으로 분할된 코딩 모드의 움직임 벡터 예측의 경우에, INTER16x16GEO와 유사한 방식이 사용될 수 있다. 즉, 분할들에서의 움직임 벡터가 각각의 분할의 이용가능한 4x4 서브-블록 움직임 이웃들로부터 예측되고, 각각의 목록에 대해 분할의 형상에 의존한다. 엣지 분할이 가로지르는(cross) 이웃하는 4x4 서브-블록이 주어진 경우, 생각되는 움직임 벡터는 4x4 서브-블록과 가장 많이 중첩하는 분할로부터의 움직임 벡터이다.
잔차 코딩( Residual Coding )
기하학적으로 분할된 블록 모드를 사용하는 예측 이후에 남아 있는 잔차 신호(residual signal)가 변환, 양자화 및 엔트로피 인코딩된다. MPEG-4 AVC 표준의 프레임워크에서, 모든 인코딩된 매크로블록에서 8x8 및 4x4 크기의 변환을 선택할 수 있다. 똑같은 것이 기하학적으로 분할된 수퍼-매크로블록에 적용될 수 있다. 그러나, 일 실시예에서, 수퍼-매크로블록에서 더 효율적인 기하 형태-적응적 코딩 모드로 달성되는 더 평탄한 잔차를 더 잘 처리하기 위해 더 큰 변환을 사용할 가능성을 포함할 수 있다. 모든 수퍼-매크로블록, 수퍼-매크로블록 내의 모든 매크로블록 분할, 및 수퍼-매크로블록 내의 매크로블록 분할들 내의 서브-매크로블록 분할 중 적어도 하나에 대해 변환의 크기를 선택할 수 있게 할 수 있다. 일 실시예에서, 선택들에 대한 가능한 변환은 4x4, 8x8, 및 16x16이다. 궁극적으로, 다른 실시예에서, 32x32 변환까지도 생각할 수 있다. 다른 예에서, 4x4 및 8x8 변환을 지원하는 MPEG-4 AVC 표준에서의 기존의 구문(syntax)을 재사용할 수 있다. 그러나, 가능한 변환들의 세트를 4x4 및 8x8 변환 대신에, 구문(syntax)의 의미(semantics)를 변경함으로써, 8x8 및 16x16 변환으로 변경할 수 있다. 구체적으로 말하면, MPEG-4 AVC 표준에서, 이하의 구문 의미(syntax semantics)가 기술되어 있다.
transform _ size _8x8_ flag가 1인 것은, 현재의 매크로블록에 대해, 잔차 8x8 블록에 대한 디블로킹 필터 프로세스 이전에 변환 계수 디코딩 프로세스(transform coefficient decoding process) 및 픽처 구성 프로세스(picture construction process)가 루마 샘플들(luma samples)에 대해 호출될 것이라는 것을 지정한다. transform_size_8x8_flag가 0인 것은, 현재의 매크로블록에 대해, 잔차 4x4 블록에 대한 디블로킹 필터 프로세스 이전에 변환 계수 디코딩 프로세스 및 픽처 구성 프로세스가 루마 샘플들(luma samples)에 대해 호출될 것이라는 것을 지정한다. transform_size_8x8_flag가 비트스트림에 존재하지 않을 때, transform_size_8x8_flag는 0인 것으로 추정된다.
의미(semantics)를 다음과 같이 변경할 수 있다.
transform _ size _8x8_ flag가 1인 것은, 현재의 매크로블록에 대해, 잔차 8x8 블록에 대한 디블로킹 필터 프로세스 이전에 변환 계수 디코딩 프로세스(transform coefficient decoding process) 및 픽처 구성 프로세스(picture construction process)가 루마 샘플들(luma samples)에 대해 호출될 것이라는 것을 지정한다. transform_size_8x8_flag가 0인 것은, 현재의 매크로블록에 대해, 잔차 16x16 블록에 대한 디블로킹 필터 프로세스 이전에 변환 계수 디코딩 프로세스 및 픽처 구성 프로세스가 루마 샘플들(luma samples)에 대해 호출될 것이라는 것을 지정한다. transform_size_8x8_flag가 비트스트림에 존재하지 않을 때, transform_size_8x8_flag는 1인 것으로 추정된다.
디블로킹 필터링
루프내 디블로킹 필터링(in-loop de-blocking filtering)은 예측의 블록 구조에 의해서는 물론 잔차 코딩 MPEG-4 AVC 표준 변환에 의해서도 도입되는 블로킹 아티팩트(blocking artifact)를 감소시킨다. 루프내 디블로킹 필터링은 인코딩된 비디오 데이터는 물론 블록 경계에 걸쳐 있는 픽셀들 간의 국소 세기차(local intensity difference)에도 기초하여 필터링 강도(filtering strength)를 조정한다. 일 실시예에서, 수퍼-매크로블록이 기하학적으로 분할되는 경우, INTER32x32GEO 코딩 모드(즉, 4개의 16x16 매크로블록의 합집합의 기하학적 분할)를 가질 수 있으며, 이 경우 잔차 신호를 코딩하는 데 서로 다른 변환 크기가 사용될 수 있다. 일 실시예에서, 디블로킹 필터링은 기하학적으로 분할된 수퍼-매크로블록에 사용하도록 구성되어 있다. 실제로, 매크로블록 경계 대신에, 수퍼-매크로블록 경계가 블록상 아티팩트(blocky artifact)를 제공할 가능성이 있는 위치로 생각된다. 동시에, 변환 경계는 블로킹 아티팩트(blocking artifact)가 나타날 수 있는 위치이다. 따라서, 더 큰 크기의 변환(16x16 변환 등)이 사용되는 경우, 16x16 블록 변환 경계는, 모든 4x4 및/또는 8x8인 블록 경계들 대신에, 블로킹 아티팩트를 나타낼 수 있다.
예시적인 실시예에서, INTER32x32GEO 및 기타 모드에 대한 필터 강도 결정 프로세스를 조정함으로써 루프내 디블로킹 필터 모듈이 확장된다. 이 프로세스는 이제 내부 수퍼 블록 분할(internal super block partition)의 특정의 형상을 고려하여 필터 강도를 결정할 수 있어야만 한다. 필터링할 수퍼 블록 경계의 일부에 따라, 필터 강도 결정 프로세스는, 다른 MPEG-4 AVC 모드에서 행해지는 바와 같이 4x4 블록에 따르지 않고, 분할 형상(도 7에 예시됨)에 따라 적절한 움직임 벡터 및 기준 프레임을 획득한다. 도 7을 참조하면, 수퍼 블록의 디블로킹 영역을 관리하는 예시적인 방식이 전반적으로 참조 번호(700)로 나타내어져 있다. 움직임 벡터(MVP0) 및 P0로부터의 기준 프레임들로 계산되는 디블로킹 세기가 전반적으로 참조 번호(710)로 나타내어져 있다. 움직임 벡터(MVP1) 및 P1으로부터의 기준 프레임들로 계산되는 디블로킹 세기가 전반적으로 참조 번호(720)로 나타내어져 있다. 수퍼 블록(730)은 기하학적 분할(INTER32x32GEO 모드)을 사용하여 4개의 매크로블록(731, 732, 733, 734)으로 형성된다.
특정의 픽처 위치에 대한 디블로킹 세기를 설정하는 데 예측 정보(예를 들어, 움직임 벡터, 기준 프레임, 및/또는 기타)가 고려된다. 위치가 주어지면, 필터링될 변환 블록 측면과 가장 많이 중첩하는 분할을 선택함으로써 예측 정보가 추출된다. 그러나, 코너 블록들에서의 계산을 단순화시키는 제2 대안의 방법은 전체 변환 블록이 필터링될 양쪽 블록 경계의 가장 큰 부분을 포함하는 분할로부터의 움직임 및 기준 프레임 정보를 갖도록 고려하는 것을 포함한다.
디블로킹 루프내 필터링(deblocking in-loop filtering)을 기하학적으로 분할된 수퍼 블록 분할을 사용하는 것과 결합시키는 방법의 다른 예는 INTER32x32GEO 및 기타 모드와 같은 코딩 모드에 대해 수퍼 블록 경계를 통한 어느 정도의 필터링을 항상 허용하는 것이다. 동시에, 디블로킹 필터링이, 수퍼 블록 기하학적 모드에서, 수퍼-매크로블록의 경계 상에 있지 않은 변환 블록들에 적용되거나 적용되지 않을 수 있다(예를 들어, 도 8 참조). 도 8을 참조하면, 수퍼 블록의 디블로킹 영역을 관리하는 다른 예시적인 방식이 전반적으로 참조 번호(800)로 나타내어져 있다. 도 8의 예는 INTER32x32GEO 수퍼-매크로블록 모드에 관한 것이며, 수퍼-매크로블록(810)을 형성하는 매크로블록들(810)은 물론 잔차를 위한 변환 블록들(820)의 위치도 나타낸다. 게다가, 영역(830, 840)은 각각 디블로킹 필터링 세기가 1인 것과 디블로킹 필터링 세기가 0인 것에 대응한다. 예측 분할들 간의 기하학적 경계가 참조 번호(860)로 나타내어져 있다.
코딩 모드 시그널링
기하학적으로 분할된 수퍼-매크로블록 코딩 모드는 다른 코딩 모드들에 대해 독특한 시그널링을 필요로 한다. 한 예에서, INTER32x32GEO의 일반적인 사용이 전송될 수 있는 새로운 상위 레벨 구문 요소(예를 들어, inter32x32geo_ enable), 예컨대 비제한적으로 슬라이스 레벨, 픽처 레벨, 시퀀스 레벨 및/또는 SEI(Supplemental Enhancement Information) 메시지를 추가함으로써 인에이블 및/또는 디스에이블된다. 디코더에서, inter32x32geo_enable이 1인 경우, 기하학적으로 분할된 수퍼-매크로블록의 사용이 인에이블된다. 그렇지 않고, inter32x32geo_enable이 0인 경우, 기하학적으로 분할된 수퍼 블록의 사용이 디스에이블된다.
기하학적 분할을 갖는 수퍼-매크로블록의 사용이 인에이블되는 경우에 관한 실시예에서, INTER32x32GEO 수퍼-매크로블록 모드를 더 잘 대처하기 위해, 매크로블록들을 통한 스캔 순서가 간단한 래스터-스캔 순서에서 지그-재그 순서로 변경된다. 도 9를 참조하면, MPEG-4 AVC 표준에 따른 라스터 스캔 순서의 예 및 본 발명의 일 실시예에 따른 지그-재그 스캔 순서의 예가 각각 전반적으로 참조 번호(900) 및 참조 번호(950)로 나타내어져 있다. 매크로블록이 참조 번호(910)로 나타내어져 있다. 스캔 순서를 라스터 스캔 순서에서 지그-재그 스캔 순서로 이와 같이 변경하는 것은 정규의 INTER16x16GEO 및 다른 MPEG-4 AVC 표준 코딩 모드(매크로블록 및 서브-매크로블록 레벨에 있음)와 함께 INTER32x32GEO(수퍼-매크로블록 레벨에 있는 코딩 모드)을 적응적으로 사용하는 것에 더 잘 대처한다. 도 10을 참조하면, 픽처의 예시적인 분할이 전반적으로 참조 번호(1000)로 나타내어져 있다. 분할(1000)과 관련하여, 기하학적으로 분할된 수퍼-매크로블록(예를 들어, INTER32x32GEO)(1010)은, 픽처의 일부 영역들이 종래의 매크로블록 구조를 사용하여 인코딩되는 것과 동시에, 16x16 매크로블록들[예를 들어, INTER16x16 매크로블록(1030) 및 INTER16x16GEO 매크로블록(1040)]의 합집합을 인코딩하는 데 사용된다. 도 10에서, 하부 행에 있는 블록들은 종래의 매크로블록 구조에 대응한다.
inter32x32geo_enable이 0인 경우, 라스터 스캔 순서를 사용하여 매크로블록 기반으로 코딩하는 데 표 1에 열거된 모드들만이 고려된다.
일반성을 잃지 않고, inter32x32geo_flag에 대한 많은 다른 이름들이 고려될 수 있고 본 발명의 사상 내에 속한다.
수퍼-매크로블록 기하학적 분할을 언제 어디서 사용할지를 디코더로 전달하기 위해, 본 발명에 따르면, 부가의 정보 및/또는 구문이 생성되고, 발생되어, 예를 들어, 슬라이스 데이터(slice data) 내에 삽입될 수 있다.
일 실시예에서, 수퍼-매크로블록 분할이 수행됨에도 불구하고, 매크로블록 시그널링 구조가 유지된다. 이것으로 인해 MPEG-4 AVC 표준으로부터의 모드와 같은 이미 존재하는 매크로블록 타입 코딩 모드는 물론 기하 형태-적응적 블록 분할을 갖는 궁극적인 확장에 대한 임의의 코딩 모드를 재사용할 수 있게 되며, 이 경우 INTER16x16GEO, INTER8x8GEO, INTRA16x16GEO 및 INTRA8x8GEO 중 적어도 하나가 선택가능한 모드로서 MPEG-4 AVC 표준에 의해 사용되는 모드의 목록에 추가된다(예를 들어, 표 1 참조). 이것은, 기존의 코덱의 일부가 재사용될 수 있기 때문에, 새로운 코덱의 구조를 단순화시킨다.
이러한 매크로블록-기반 시그널링 프레임워크 및 매크로블록 스캔 순서의 변경이 주어진 경우(도 9 참조), 본 발명의 일 실시예에서, 매크로블록 레벨에서 플래그(예를 들어, inter32x32geo_flag)를 추가함으로써, 기하학적으로 분할된 수퍼-매크로블록이 슬라이스 및/또는 픽처의 주어진 위치에서 재사용되어야 한다는 것을 신호할 수 있다. 이 플래그의 사용은 INTER16x16GEO 모드를 갖는 매크로블록으로 제한될 수 있다. 이것은, 이 플래그를 사용하여 단순히 1 또는 0을 신호함으로써, 도입된 코딩 모드 INTER32x32GEO를 신호하는 데 이러한 모드 코딩 구조를 재사용하는 것을 가능하게 한다. 게다가, 수퍼-매크로블록이 매크로블록 분할에 대해 계층적 구조로 되어 있고, 우리의 예에서, 수퍼-매크로블록이 2x2 매크로블록으로 이루어져 있기 때문에, (x,y) 좌표(x는 짝수이고 y는 짝수임)를 갖는 위치에 있는 매크로블록들만이 inter32x32geo_flag 플래그를 전달하면 된다. 이 경우에, 슬라이스에서 상부 최좌측의 매크로블록이 (0,0) 매크로블록인 것으로 가정한다.
이것에 기초하여, 짝수-짝수 (x,y) 좌표[예를 들어, (2,2)]를 갖는 매크로블록이 INTER16x16GEO 타입이고 inter32x32geo_flag이 1로 설정되어 있는 경우, 이러한 경우는 매크로블록들 (2,2), (2,3), (3,2) 및 (3,3)이 기하학적 분할을 갖는 수퍼-매크로블록 내에 그룹화되어 있다는 것을 나타낸다. 이러한 경우에, 기하학적 정보(기하학적 분할에 대한 각도 또는 위치 등)와 관련된 매크로블록(2,2)의 구문이 수퍼-매크로블록의 기하학적 정보를 전송하는 데 재사용될 수 있다. 궁극적으로, 일 실시예에서, 기하학적 파라미터가 코딩되는 해상도가, 가능한 최상의 코딩 효율을 달성하기 위해, inter32x32geo_flag에 따라 변경될 수 있다. 똑같은 것이 움직임 정보 및 수퍼-매크로블록 예측에 적용된다. 이것에 따라, (2,2) 매크로블록이 코딩 모드 및 수퍼-매크로블록 데이터의 예측을 판정하는 데 필요한 모든 정보를 포함하기 때문에, 매크로블록 (2,3), (3,2), (3,3)에서 모드 정보도 예측 정보도 전송될 필요가 없다. 본 발명의 일 실시예에서, 이러한 매크로블록들에서 잔차만 전송되면 된다. 그러나, 당업자라면 이 방식이 잔차 데이터가 매크로블록 (2,2)의 매크로블록 데이터 구조 내에서 모두 전송되도록 수정될 수 있고 여전히 본 발명의 범위 내에 속한다는 것을 잘 알 것이다. inter32x32geo_flag에 따라 매크로블록 레벨에서 잔차 코딩(residual coding)의 구조를 변경하기만 하면 된다. inter32x32geo_flag가 1인 경우, 잔차 수퍼 블록(residual super block)이 인코딩된다(즉, 32x32 잔차). 그렇지 않고, inter32x32geo_flag가 0인 경우, 단일 매크로블록 잔차가 인코딩된다.
본 발명의 일 실시예에서, inter32x32geo_flag에 따라, 잔차 변환(residual transform)의 크기도 역시 수정될 수 있다(예를 들어, 8x8 또는 16x16 등). 또한, 본 발명의 일 실시예에서, inter32x32geo_flag에 따라, transform_size_8x8_flag의 의미(semantics)를 수정할 수 있다. 예를 들어, inter32x32geo_flag=1인 경우, transform_size_8x8_flag=1이면, 8x8 변환이 사용 중이고, 그렇지 않고 transform_size_8x8_flag=0이면 16x16 변환이 사용 중이다.
본 발명의 다른 실시예에서, 기하학적 수퍼-매크로블록 모드(예를 들어, INTER32x32GEO)가 사용됨에도 불구하고, transform_size이 여전히 모든 매크로블록에서 수정될 수 있다.
이상에서의 정의 및 설명에 기초하여, 당업자라면, 기하학적 수퍼-매크로블록 모드가 사용되는지 여부에 따라, CBP[MPEG-4 AVC 표준에서의 코딩된 블록 패턴(coded block pattern)] 및/또는 변환 크기와 같은 잔차 관련 구문 및 의미의 다양한 서로 다른 구현들을 예상할 수 있다. 이것의 예에서, CBP의 새로운 정의가 수퍼-매크로블록 레벨에서 구현될 수 있으며, 그에 의해 단일 비트를 사용하여 수퍼-매크로블록 레벨에서 전체 제로 잔차(full zero residual)를 시그널링하는 것을 가능하게 한다. 본 명세서에 제공된 본 발명의 개시 내용을 바탕으로, CBP에 관한 이전의 변동이, 본 발명의 사상을 유지하면서, 당업자에 의해 생각될 수 있는 많은 구현들 중 단지 하나에 불과하다는 것을 잘 알 것이다.
inter32x32geo_flag이 0인 경우에, 매크로블록 (2,2)이 INTER16x16GEO 매크로블록에 대해 정의된 대로 정규적으로 코딩된다. 매크로블록들 (2,3), (3,2), (3,3)이 정규적으로 코딩되고, 일 실시예에서, 표 1에 정의된 모드들일 수 있는 모든 매크로블록 레벨 모드들에 대한 사전-확립된 정의들을 따른다.
짝수-짝수 위치에 있는 매크로블록이 INTER16x16GEO 코드워드(codeword)를 사용하여 코딩되지 않은 경우에, 데이터에 inter32x32geo_flag가 삽입되지 않으며, 상기 예와 관련하여, 매크로블록들 (2,2), (2,3), (3,2) 및 (3,3)이, 일 실시예에서, 표 1에 정의된 정규의 코딩 모드를 사용하여 매크로블록 레벨에서 개별적으로 인코딩된다.
일 실시예에서, 예시적인 인코더는 수퍼-매크로블록 INTER32x32GEO의 코딩 효율 비용을 수퍼-매크로블록의 동일한 위치에 임베디드된 4개의 16x16 매크로블록의 총 코딩 효율 비용과 비교하고, 이어서 인코더는 어느 쪽이든 더 낮은 코딩 비용을 갖는, INTER32x32GEO 또는 4개의 매크로블록 코딩 모드를 최저 비용을 갖는 코딩 전략으로 선택한다.
표 2는 매크로블록 계층에 대한 MPEG-4 표준 구문 요소를 나타낸다. 표 3은 기하학적으로 분할된 매크로블록 및 수퍼-매크로블록을 지원할 수 있는 예시적인 수정된 매크로블록 계층 구조를 나타낸다. 일 실시예에서, 기하학적 정보는 코딩 프로시저 mb_pred(mb_type) 내에서 처리된다. 이 예시적인 수정된 매크로블록 구조는 inter32x32geo_enable이 1인 것으로 가정한다. 일 실시예에서, 구문 요소 isMacroblocklnGEOSuperMacroblock은, 각각의 수퍼-매크로블록 그룹이 디코딩되기 전에, 슬라이스 레벨에서 0으로 초기화될 수 있다.
Figure pat00010
Figure pat00011
도 11을 참조하면, 예시적인 비디오 인코딩 방법이 전반적으로 참조 번호(1100)로 나타내어져 있다. 방법(1100)은 수퍼-매크로블록에 대한 기하 형태-적응적 분할들을 매크로블록 크기의 코딩 모드(macroblock sized coding mode)와 결합시킨다.
방법(1100)은 제어를 루프 한계(loop limit) 블록(1110)으로 넘기는 시작 블록(1105)을 포함한다. 루프 한계 블록(1110)은 모든 수퍼 블록 i에 대한 루프를 시작하고, 제어를 루프 한계 블록(1115)으로 넘긴다. 루프 한계 블록(1115)은 수퍼 블록 i 내의 모든 매크로블록 j에 대한 루프를 시작하고, 제어를 기능(function) 블록(1120)으로 넘긴다. 기능 블록(1120)은 최상의 매크로블록 코딩 모드를 찾아내고, 제어를 기능 블록(1125)으로 넘긴다. 기능 블록(1125)은 최상의 코딩 모드 및 그의 코딩 비용을 저장하고, 제어를 루프 한계 블록(1130)으로 넘긴다. 루프 한계 블록(1130)은 수퍼 블록 i 내의 모든 매크로블록 j에 대한 루프를 종료하고, 제어를 기능 블록(1135)으로 넘긴다. 기능 블록(1135)은 GEO 수퍼 블록 모드(예를 들어, INTER32x32GEO)를 테스트하고, 제어를 기능 블록(1140)으로 넘긴다. 기능 블록(1140)은 GEO 수퍼 블록 모드 코딩 비용을 저장하고, 제어를 결정 블록(1145)으로 넘긴다. 결정 블록(1145)은 GEO 수퍼 블록 모드 코딩 비용이 수퍼 블록 그룹 내의 모든 매크로블록 비용의 합산보다 작은지 여부를 판정한다. 그러한 경우, 제어가 기능 블록(1150)으로 넘어간다. 그렇지 않은 경우, 제어가 루프 한계 블록(1160)으로 넘어간다.
기능 블록(1150)은 수퍼 블록 그룹을 GEO 수퍼 블록으로서 인코딩하고, 제어를 루프 한계 블록(1155)으로 넘긴다. 루프 한계 블록(1155)은 모든 수퍼 블록 i에 대한 루프를 종료하고, 제어를 종료 블록(1199)으로 넘긴다.
루프 한계 블록(1160)은 수퍼 블록 i 내의 모든 매크로블록 j에 대한 루프를 시작하고, 제어를 기능 블록(1165)으로 넘긴다. 기능 블록(1165)은 최상의 코딩 모드에 따라 현재의 매크로블록 j를 인코딩하고, 제어를 루프 한계 블록(1170)으로 넘긴다. 루프 한계 블록(1170)은 수퍼 블록 i 내의 모든 매크로블록 j에 대한 루프를 종료하고, 제어를 루프 한계 블록(1155)으로 넘긴다.
도 12를 참조하면, 예시적인 비디오 디코딩 방법이 전반적으로 참조 번호(1200)로 나타내어져 있다. 방법(1200)은 수퍼-매크로블록에 대한 기하 형태-적응적 분할들을 매크로블록 크기의 코딩 모드(macroblock sized coding mode)와 결합시킨다.
방법(1200)은 제어를 루프 한계 블록(1210)으로 넘기는 시작 블록(1205)을 포함한다. 루프 한계 블록(1210)은 모든 수퍼 블록 그룹 i에 대한 루프를 시작하고, 제어를 루프 한계 블록(1215)으로 넘긴다. 루프 한계 블록(1215)은 수퍼 블록 i 내의 모든 매크로블록 j에 대한 루프를 시작하고, 제어를 결정 블록(1220)으로 넘긴다. 결정 블록(1220)은 이것이 GEO 인코딩된 수퍼 블록인지 여부를 판정한다. 그러한 경우, 제어가 기능 블록(1125)으로 넘어간다. 그렇지 않은 경우, 제어가 루프 한계 블록(1235)으로 넘어간다.
기능 블록(1125)은 수퍼 블록 그룹을 GEO 수퍼 블록으로서 디코딩하고, 제어를 루프 한계 블록(1230)으로 넘긴다. 루프 한계 블록(1230)은 모든 수퍼 블록 i에 대한 루프를 종료하고, 제어를 종료 블록(1199)으로 넘긴다.
루프 한계 블록(1235)은 수퍼 블록 i 내의 모든 매크로블록 j에 대한 루프를 시작하고, 제어를 기능 블록(1240)으로 넘긴다. 기능 블록(1240)은 현재의 매크로블록 j를 디코딩하고, 제어를 루프 한계 블록(1245)으로 넘긴다. 루프 한계 블록(1245)은 수퍼 블록 i 내의 모든 매크로블록 j에 대한 루프를 종료하고, 제어를 루프 한계 블록(1230)으로 넘긴다.
이제부터 본 발명의 많은 부수적인 이점들/특징들 중 몇몇에 대한 설명이 제공될 것이며, 이들 중 몇몇은 이상에서 언급하였다. 예를 들어, 한가지 이점/특징은 픽처의 적어도 일부분에 대해 이미지 데이터를 인코딩하는 인코더를 갖는 장치이다. 이 이미지 데이터는 픽처 블록 분할들(picture block partitions)에 기하학적 분할들(geometric partitions)을 적용하는 기하학적 분할(geometric partitioning)에 의해 형성된다. 이 픽처 블록 분할들은 하향식 분할(top-down partitioning) 및 상향식 트리 결합(bottom-up tree joining) 중 적어도 하나로부터 획득된다.
다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 여기서 기하학적 분할이 이미지 데이터를 인코딩하는 데 사용되는 주어진 비디오 코딩 표준 또는 비디오 코딩 권고안의 기본 분할 크기보다 큰 분할 크기에서 사용될 수 있다.
또 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 여기서 이 인코더는 기본 분할 크기보다 큰 분할 크기를 갖는 기하학적 분할들 중 적어도 하나를 기본 분할 크기를 갖는 기본 분할과 결합시킨다. 기본 분할은 픽처 블록 분할들 중 적어도 하나의 적어도 일부분에 대응한다.
또 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 여기서 이 인코더는 그 일부분에 대한 엣지 정보 및 움직임 정보 중 적어도 하나를 암시적으로 코딩하는 것 및 명시적으로 코딩하는 것 중 적어도 하나를 행한다.
게다가, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 여기서 적어도 일부분에 대응하는 잔차가 분할 경계와 교차할 수 있는 적어도 하나의 가변 크기 변환을 사용하여 코딩된다.
게다가, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 이 인코더는 기하학적 분할을 고려하여 디블로킹 필터링을 수행하는 디블로킹 필터를 더 포함한다.
또한, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 여기서, 이 인코더는 상위 구문 레벨, 시퀀스 레벨, 픽처 레벨, 슬라이스 레벨, 및 블록 레벨 중 적어도 하나에서 기하학적 분할의 사용을 신호한다.
또한, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 여기서, 이 인코더는 암시적 데이터 및 명시적 데이터 중 적어도 하나를 사용하여 픽처 블록 분할들 중 적어도 하나에 대한 국소 수퍼 블록 관련 정보를 신호한다.
본 발명의 이들 및 기타 특징들 및 이점들은 본 명세서에서의 개시 내용에 기초하여 당업자에 의해 용이하게 확인될 수 있다. 본 발명의 개시 내용이 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합으로 구현될 수 있다는 것을 잘 알 것이다.
가장 양호하게는, 본 발명의 개시 내용이 하드웨어와 소프트웨어의 조합으로서 구현된다. 게다가, 소프트웨어는 프로그램 저장 장치에 유형으로 구현되는 애플리케이션 프로그램으로서 구현될 수 있다. 이 애플리케이션 프로그램은 임의의 적당한 아키텍처를 포함하는 기계에 업로드되어 이 기계에 의해 실행될 수 있다. 양호하게는, 이 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM), 및 입/출력(I/O) 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현된다. 이 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령어 코드(microinstruction code)도 포함할 수 있다. 본 명세서에 기술된 다양한 프로세스 및 기능이, CPU에 의해 실행될 수 있는, 마이크로명령어 코드의 일부이거나 애플리케이션 프로그램의 일부이거나, 이들의 임의의 조합일 수 있다. 또한, 부가의 데이터 저장 장치 및 인쇄 장치와 같은 다양한 다른 주변 장치들이 컴퓨터 플랫폼에 연결되어 있을 수 있다.
또한, 첨부 도면에 도시된 시스템 구성요소들 및 방법들 중 일부가 양호하게는 소프트웨어로 구현되기 때문에, 시스템 구성요소들 또는 프로세스 기능 블록들 간의 실제 연결이 본 발명이 프로그램되는 방식에 따라 다를 수 있다는 것을 잘 알 것이다. 본 명세서의 개시 내용을 살펴보고, 당업자라면 본 발명의 이들 및 유사한 구현들 또는 구성들을 생각할 수 있을 것이다.
예시적인 실시예들이 첨부 도면을 참조하여 본 명세서에 기술되어 있지만, 본 발명이 이들 정확한 실시예로 제한되지 않고 다양한 변경 및 수정이 본 발명의 범위 또는 사상을 벗어나지 않고 당업자에 의해 행해질 수 있다는 것을 잘 알 것이다. 모든 이러한 변경 및 수정이 첨부된 청구항들에 기술된 본 발명의 범위 내에 포함되는 것으로 보아야 한다.

Claims (1)

  1. 픽처의 적어도 일부분에 대해 이미지 데이터를 인코딩하는 인코더(300)를 포함하는 장치.
KR1020147017034A 2007-10-16 2008-10-15 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치 Expired - Fee Related KR101579394B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US98029707P 2007-10-16 2007-10-16
US60/980,297 2007-10-16
PCT/US2008/011756 WO2009051719A2 (en) 2007-10-16 2008-10-15 Methods and apparatus for video encoding and decoding geometically partitioned super blocks

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107008244A Division KR101566564B1 (ko) 2007-10-16 2008-10-15 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140096143A true KR20140096143A (ko) 2014-08-04
KR101579394B1 KR101579394B1 (ko) 2015-12-21

Family

ID=40469927

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020147017034A Expired - Fee Related KR101579394B1 (ko) 2007-10-16 2008-10-15 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
KR1020157031116A Expired - Fee Related KR101681443B1 (ko) 2007-10-16 2008-10-15 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
KR1020107008244A Expired - Fee Related KR101566564B1 (ko) 2007-10-16 2008-10-15 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020157031116A Expired - Fee Related KR101681443B1 (ko) 2007-10-16 2008-10-15 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
KR1020107008244A Expired - Fee Related KR101566564B1 (ko) 2007-10-16 2008-10-15 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치

Country Status (7)

Country Link
US (1) US20100208827A1 (ko)
EP (1) EP2213098A2 (ko)
JP (2) JP5526032B2 (ko)
KR (3) KR101579394B1 (ko)
CN (1) CN101822064A (ko)
BR (1) BRPI0818649A2 (ko)
WO (1) WO2009051719A2 (ko)

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2010018992A2 (en) * 2008-08-12 2010-02-18 Lg Electronics Inc. Method of processing a video signal
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
JP5800396B2 (ja) * 2009-04-14 2015-10-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
US12568248B2 (en) * 2009-06-07 2026-03-03 Lg Electronics Inc. Method and apparatus for decoding a video signal
US9100648B2 (en) 2009-06-07 2015-08-04 Lg Electronics Inc. Method and apparatus for decoding a video signal
US9635368B2 (en) 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
US9106910B2 (en) 2009-06-23 2015-08-11 Orange Method of coding and decoding images, corresponding device for coding and decoding and computer program
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
CN104869417A (zh) * 2009-07-01 2015-08-26 汤姆森特许公司 用于视频编码器和解码器的方法和装置
WO2011001078A1 (fr) * 2009-07-03 2011-01-06 France Telecom Prédiction d'un vecteur mouvement d'une partition d'image courante de forme géometrique ou de taille différente de celle d'au moins une partition d'image de référence voisine, codage et décodage utilisant une telle prédiction
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101456498B1 (ko) 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101487686B1 (ko) * 2009-08-14 2015-01-30 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
EP2509319A4 (en) * 2009-12-01 2013-07-10 Humax Co Ltd METHOD AND DEVICE FOR CODING / DECODING HIGH-RESOLUTION PICTURES
KR20110061468A (ko) * 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
USRE47243E1 (en) 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
KR101700358B1 (ko) 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101457396B1 (ko) 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US8995527B2 (en) 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
CN102939751B (zh) * 2010-03-31 2016-03-16 法国电信 通过向前运动补偿、对应的流和计算机程序实施预测的用于对图像序列进行编码和解码的方法和装置
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
AU2016201399B2 (en) * 2010-04-13 2016-11-17 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
TWI575887B (zh) 2010-04-13 2017-03-21 Ｇｅ影像壓縮有限公司 在樣本陣列多元樹細分中之繼承技術
KR101626688B1 (ko) 2010-04-13 2016-06-01 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
RS63059B1 (sr) 2010-04-13 2022-04-29 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
AU2015202094B2 (en) * 2010-04-13 2016-11-17 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
CA3007527C (en) * 2010-04-13 2020-06-23 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
CN103281527B (zh) * 2010-04-15 2015-12-23 华为技术有限公司 图像编解码方法及相关装置
KR101813189B1 (ko) * 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
JP2013526199A (ja) * 2010-04-26 2013-06-20 パナソニック株式会社 予測誤差から導出されるブロック形状を用いた予測符号化
US9020043B2 (en) * 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
CN106067982A (zh) * 2010-06-07 2016-11-02 数码士有限公司 解码高分辨率图像的方法和装置
KR101292093B1 (ko) * 2010-07-02 2013-08-08 (주)휴맥스 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법
CA2808587C (en) 2010-08-17 2017-02-14 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
MX338309B (es) * 2010-09-03 2016-04-12 Sony Corp Dispositivo de codificacion, metodo de codificacion, dispositivo de descodificacion, y metodo de descodificacion.
CN103222265B (zh) 2010-09-30 2017-02-08 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CA2937202C (en) 2010-12-17 2019-11-26 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US20120183064A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Codeword assignment for intra chroma mode signaling for hevc
US9232227B2 (en) 2011-01-14 2016-01-05 Sony Corporation Codeword space reduction for intra chroma mode signaling for HEVC
CN102611884B (zh) 2011-01-19 2014-07-09 华为技术有限公司 图像编解码方法及编解码设备
AU2012221588B2 (en) 2011-02-22 2015-12-17 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
KR102030977B1 (ko) 2011-02-22 2019-10-10 타지반 투 엘엘씨 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
US8718389B2 (en) 2011-04-13 2014-05-06 Huawei Technologies Co., Ltd. Image encoding and decoding methods and related devices
JP6070553B2 (ja) * 2011-06-28 2017-02-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、並びに記録媒体
LT3661201T (lt) 2011-07-19 2021-04-12 Tagivan Ii Llc Filtravimo būdas, vaizdo dekodavimo būdas, vaizdo kodavimo būdas, vaizdo dekodavimo aparatas, vaizdo kodavimo aparatas ir vaizdo kodavimo/dekodavimo aparatas
KR102588425B1 (ko) * 2011-11-11 2023-10-12 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
EP3468184B1 (en) 2011-11-11 2022-07-27 GE Video Compression, LLC Effective wedgelet partition coding using prediction
PT2777283T (pt) 2011-11-11 2018-04-18 Ge Video Compression Llc Predição eficaz utilizando codificação de partição
WO2013068562A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding
CN103118250B (zh) * 2011-11-16 2017-09-26 中兴通讯股份有限公司 一种帧内划分标志的编解码方法及装置
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
CN102970533A (zh) * 2012-11-13 2013-03-13 鸿富锦精密工业（深圳）有限公司 影像切割系统及方法
CN102970532A (zh) * 2012-11-13 2013-03-13 鸿富锦精密工业（深圳）有限公司 影像切割系统及方法
WO2015133838A1 (ko) * 2014-03-05 2015-09-11 엘지전자(주) 폴리곤 유닛 기반 영상 인코딩/디코딩 방법 및 이를 위한 장치
CN104935927A (zh) * 2014-03-17 2015-09-23 上海京知信息科技有限公司 一种基于流水线的hevc视频序列编解码加速方法
KR102445242B1 (ko) * 2014-03-19 2022-09-21 삼성전자주식회사 경계 필터링을 수반한 비디오 부호화 및 비디오 복호화 방법 및 장치
CN104935921B (zh) * 2014-03-20 2018-02-23 寰发股份有限公司 发送从模式组中选择的一个或多个编码模式的方法和设备
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
KR101675120B1 (ko) * 2015-03-11 2016-11-22 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
EP3375188B1 (en) 2015-11-10 2025-12-31 InterDigital Madison Patent Holdings, SAS Coding Systems and Methods in a Superblock-Based Video Coding Environment
CN115118968B (zh) * 2015-11-20 2025-05-20 韩国电子通信研究院 用于对图像进行编/解码的方法
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
CN116915997A (zh) 2016-04-29 2023-10-20 世宗大学校产学协力团 视频信号编码/解码方法和设备
KR102365937B1 (ko) * 2016-04-29 2022-02-22 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
KR102897241B1 (ko) * 2016-04-29 2025-12-08 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
US10805607B2 (en) 2016-04-29 2020-10-13 Industry Academy Cooperation Foundation Of Sejong University Video signal encoding/decoding method and apparatus
CN109565592B (zh) 2016-06-24 2020-11-17 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
CN109565595B (zh) 2016-06-24 2021-06-22 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
MX2022004795A (es) 2016-10-12 2022-12-16 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
KR101768209B1 (ko) 2016-11-03 2017-08-16 삼성전자주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
JP7184488B2 (ja) 2017-04-21 2022-12-06 株式会社半導体エネルギー研究所 画像処理方法および受像装置
WO2019001733A1 (en) 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. ENCODER, DECODER, COMPUTER PROGRAM, AND COMPUTER PROGRAM PRODUCT FOR PROCESSING A FRAME OF A VIDEO SEQUENCE
KR101857800B1 (ko) 2017-08-08 2018-05-14 삼성전자주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN117478880A (zh) 2017-10-16 2024-01-30 数字洞察力有限公司 用于将图像编码/解码的方法和存储比特流的记录介质
CN118214857A (zh) * 2017-10-26 2024-06-18 英迪股份有限公司 用于基于非对称子块的图像编码/解码的方法及装置
CN118042128A (zh) 2017-11-16 2024-05-14 松下电器（美国）知识产权公司 图像编码装置、编码方法和非暂时性存储介质
JP2021514162A (ja) 2018-02-22 2021-06-03 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおけるブロック分割構造による映像デコーディング方法及び装置
KR101917656B1 (ko) 2018-05-03 2018-11-12 삼성전자주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US10708625B2 (en) * 2018-06-12 2020-07-07 Alibaba Group Holding Limited Adaptive deblocking filter
CN117528077A (zh) * 2018-10-27 2024-02-06 华为技术有限公司 图像预测方法及装置
KR102608615B1 (ko) 2018-11-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보 저장을 위한 표 유지
CN112997489B (zh) 2018-11-06 2024-02-06 北京字节跳动网络技术有限公司 具有几何分割的帧间预测的边信息信令
WO2020098802A1 (en) * 2018-11-15 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Merge with mvd for affine
JP6835177B2 (ja) * 2018-11-30 2021-02-24 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2020114404A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Pruning method in different prediction mode
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
CN113647104B (zh) * 2019-01-28 2025-01-07 Op方案有限责任公司 在以自适应区域数量进行的几何分区中的帧间预测
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
CN113812165B (zh) 2019-05-09 2023-05-23 北京字节跳动网络技术有限公司 对hmvp表的改进
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
KR20220016839A (ko) * 2019-06-04 2022-02-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 기하학적 분할 모드 코딩을 갖는 모션 후보 리스트
CN114128258B (zh) 2019-07-14 2023-12-22 北京字节跳动网络技术有限公司 视频编解码中的变换块尺寸的限制
US11570434B2 (en) * 2019-08-23 2023-01-31 Qualcomm Incorporated Geometric partition mode with harmonized motion field storage and motion compensation
EP4022906B1 (en) * 2019-08-30 2025-10-08 Huawei Technologies Co., Ltd. Method and apparatus of high-level signaling for non-rectangular partitioning modes
CN117499625A (zh) * 2019-09-01 2024-02-02 北京字节跳动网络技术有限公司 视频编解码中预测权重的对准
WO2021052491A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
CN112204986A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码的方法和装置
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
CN118890491A (zh) * 2019-10-05 2024-11-01 北京字节跳动网络技术有限公司 基于级别的视频编解码工具的信令通知
CN114556918B (zh) 2019-10-12 2025-08-12 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
US11533498B2 (en) 2019-11-21 2022-12-20 Tencent America LLC Geometric partitioning mode in video coding
US11317094B2 (en) * 2019-12-24 2022-04-26 Tencent America LLC Method and apparatus for video coding using geometric partitioning mode
MX2022007503A (es) 2019-12-27 2022-07-04 Beijing Bytedance Network Tech Co Ltd Se?alizacion de tipos de corte en encabezados de imagenes de video.
EP4055826B1 (en) * 2019-12-30 2025-06-04 Sharp Kabushiki Kaisha Device and method for coding video data
US11546592B2 (en) 2020-01-08 2023-01-03 Tencent America LLC Flexible block partitioning for chroma component
CN115136601A (zh) * 2020-02-07 2022-09-30 抖音视界有限公司 几何分割模式
WO2021180022A1 (en) 2020-03-07 2021-09-16 Beijing Bytedance Network Technology Co., Ltd. Handling of transform skip mode in video coding
CN114586366B (zh) * 2020-04-03 2025-09-05 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器及存储介质
WO2021196228A1 (zh) * 2020-04-03 2021-10-07 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及存储介质
WO2022037700A1 (en) 2020-08-21 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Coding mode dependent selection of transform skip mode
CN116601953A (zh) 2020-11-24 2023-08-15 抖音视界有限公司 编解码视频中的位置相关系数重新排序
US20250211783A1 (en) * 2022-03-21 2025-06-26 Wilus Institute Of Standards And Technology Inc. Video signal processing method based on template matching, and device therefor
US20250211776A1 (en) * 2022-06-07 2025-06-26 Hyundai Motor Company Method and apparatus for encoding/decoding image and recording medium storing bitstream
CN117021809B (zh) * 2023-08-15 2024-06-25 深圳市大满包装有限公司 一种基于数码印刷的二维防伪码印刷调控方法及系统
US20250113053A1 (en) * 2023-10-03 2025-04-03 Alibaba (China) Co., Ltd. Template matching-based motion refinement in video coding
US20250350737A1 (en) * 2024-05-13 2025-11-13 Op Solutions, Llc Systems and methods for encoding with non-rectangular partitioning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277968A (ja) * 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3925663A1 (de) * 1989-08-03 1991-02-07 Thomson Brandt Gmbh Digitales signalverarbeitungssystem
US5021891A (en) * 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
JP2500439B2 (ja) * 1993-05-14 1996-05-29 日本電気株式会社 動画像の予測符号化方式
US5982441A (en) * 1996-01-12 1999-11-09 Iterated Systems, Inc. System and method for representing a video sequence
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
WO1999056461A1 (en) * 1998-04-29 1999-11-04 Sensormatic Electronics Corporation Video compression in information system
GB0016838D0 (en) * 2000-07-07 2000-08-30 Forbidden Technologies Plc Improvements relating to representations of compressed video
US7266247B2 (en) * 2002-09-30 2007-09-04 Samsung Electronics Co., Ltd. Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
AU2006320064B2 (en) * 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
WO2007079782A1 (en) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable picture coding with particular transform coefficient scan path
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277968A (ja) * 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法

Also Published As

Publication number Publication date
CN101822064A (zh) 2010-09-01
US20100208827A1 (en) 2010-08-19
WO2009051719A2 (en) 2009-04-23
KR20100074192A (ko) 2010-07-01
WO2009051719A3 (en) 2009-07-09
KR101579394B1 (ko) 2015-12-21
KR101566564B1 (ko) 2015-11-05
JP5526032B2 (ja) 2014-06-18
JP2011501566A (ja) 2011-01-06
BRPI0818649A2 (pt) 2015-04-07
KR20150127736A (ko) 2015-11-17
KR101681443B1 (ko) 2016-11-30
JP2014132792A (ja) 2014-07-17
JP6251627B2 (ja) 2017-12-20
EP2213098A2 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
KR101579394B1 (ko) 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
JP7576073B2 (ja) ビデオエンコーダおよびデコーダについての大きなブロックにつきイントラ予測を信号伝達する方法および装置
KR101927386B1 (ko) 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
AU2007351295B2 (en) Time-varying image encoding method and device, and time-varying image decoding device
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
US20110249743A1 (en) Super-block for high performance video coding
WO2009051668A2 (en) Methods and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
CN109076237A (zh) 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
SE1651051A1 (sv) Method for inducing a merge candidate block and device using same
CN103004197A (zh) 用于对图像编码的设备和方法
KR102422711B1 (ko) 비디오 복호화에서의 분할 블록 복호화 방법
CA2895856C (en) Video encoding and decoding apparatus and method using quantization in sub-blocks

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A16-div-PA0104

St.27 status event code: A-0-1-A10-A18-div-PA0104

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U12-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Not in force date: 20181216

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20181216

St.27 status event code: N-4-6-H10-H13-oth-PC1903