KR20130000334A - 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 - Google Patents
스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 Download PDFInfo
- Publication number
- KR20130000334A KR20130000334A KR1020120064635A KR20120064635A KR20130000334A KR 20130000334 A KR20130000334 A KR 20130000334A KR 1020120064635 A KR1020120064635 A KR 1020120064635A KR 20120064635 A KR20120064635 A KR 20120064635A KR 20130000334 A KR20130000334 A KR 20130000334A
- Authority
- KR
- South Korea
- Prior art keywords
- layer
- prediction
- picture
- information
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 인터 레이어 예측 방법 및 장치에 관한 것으로서, 본 발명에 따른 인터 레이어 예측 방법은, 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지를 결정하는 단계 및 인터레이어 예측을 적용하는 경우에, 참조 레이어의 정보로부터 생성한 일반화된 참조 정보를 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 참조 레이어의 정보는, 상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 참조 블록의 부호화 정보 및 레지듀얼 정보일 수 있다.
Description
본 발명은 영상 정보의 처리에 관한 것으로서, 더 구체적으로는 스케일러블 비디오 코딩(Scalable Video Coding: SVC, 이하 'SVC'라 함)을 이용한 비디오 인코딩 방법 및 비디오 디코딩 방법과 이들을 이용한 장치에 관한 것이다.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.
예컨대, 단말의 성능과 컴퓨팅 능력(computing ability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 사용자에게 기업이 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.
이와 같이, 이종의 통신망과 다양한 기능/종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 레이트 등을 다양하게 지원하는 스케일러빌러티(scalability)은 비디오 포맷의 중요한 기능이 되고 있다.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 인코딩과 디코딩이 가능하도록 스케일러빌러티 기능을 제공하는 것이 필요하다.
본 발명의 일 기술적 목적은 비디오 인코딩 및 비디오 디코딩을 효율적으로 수행할 수 있는 방법 및 장치를 제공하는 것이다,
본 발명의 다른 기술적 목적은 다양한 환경에서 다양한 비디오 서비스를 제공할 수 있는 방법 및 장치를 제공하는 것이다,
본 발명의 또다른 기술적 목적은 이용자의 요구 또는 목적에 따라서 시간, 공간 및/또는 화질의 측면에서 다양한 비디오 서비스가 가능한 방법 및 장치를 제공하는 것이다.
본 발명의 또다른 기술적 목적은 동일 전송(simulcast)과 대비하여 비트율의 이득을 가져오면서 다양한 화질, 해상도, 사이즈 및/또는 프레임 레이트 등을 가지는 비디오 서비스가 가능한 방법 및 장치를 제공하는 것이다.
(1) 본 발명의 일 실시형태는 인터 레이어 예측 방법으로서, 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지를 결정하는 단계 및 인터레이어 예측을 적용하는 경우에, 참조 레이어의 정보로부터 생성한 일반화된 참조 정보를 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 참조 레이어의 정보는, 상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 참조 블록의 부호화 정보 및 레지듀얼 정보일 수 있다.
(2) (1)에서, 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지는 인터 레이어 예측을 지시하는 플래그 정보를 기반으로 결정될 수 있다.
(3) (1)에서, 상기 부호화 정보는, 상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 블록에 대한 움직임 벡터 정보, 참조 픽처 정보, 움직임 벡터 예측자 후보 정보, 머지 후보 정보, 인트라 예측 모드 중 적어도 하나를 포함할 수 있다.
(4) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 픽처이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 픽처를 상기 현재 블록의 참조 픽처로서 이용할 수 있다.
(5) (4)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용될 수 있다.
(6) (4)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.
(7) (4)에서, 상기 일반화된 참조 픽처는, 상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처일 수 있다.
(8) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 블록이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 할 수 있다.
(9) (8)에 있어서, 상기 일반화된 참조 블록은, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.
(10) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 픽처이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 픽처를 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용할 수 있다.
(11) (10)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용될 수 있다.
(12) (10)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.
(13) (10)에서, 상기 일반화된 참조 픽처는, 상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처일 수 있다.
(14) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 블록이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 할 수 있다.
(15) (14)에서, 상기 일반화된 참조 블록은, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.
(16) (14)에서, 상기 참조 블록이 인트라 예측된 경우에, 상기 일반화된 참조 블록은, 상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록을 기반으로 생성될 수 있다.
(17) (14)에서, 상기 참조 블록이 인트라 예측된 경우에, 상기 일반화된 참조 블록은, 상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록과 상기 레지듀얼 정보를 기반으로 생성될 수 있다.
(18) 본 발명의 다른 실시형태는 스케일러블 인코딩 장치로서, 베이스 레이어의 입력 영상에 대한 예측을 수행하는 베이스 레이어 인코딩부, 인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하는 인핸스먼트 레이어 인코딩부 및 상기 인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며, 인터레이어 예측을 적용하는 경우에, 상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며, 상기 인핸스먼트 레이어 인코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.
(19) 본 발명의 또 다른 실시형태는 스케일러블 디코딩 장치로서, 베이스 레이어의 영상에 대한 예측을 수행하는 베이스 레이어 디코딩부, 인핸스먼트 레이어의 영상에 대한 예측을 수행하는 인핸스먼트 레이어 디코딩부 및 상기 인핸스먼트 레이어의 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며, 인터 레이어 예측을 적용하는 경우에, 상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며, 상기 인핸스먼트 레이어 디코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.
본 발명에 의하면, 다양한 환경에서 다양한 비디오 서비스를 효율적으로 제공할 수 있다.
본 발명에 의하면, 이용자의 다양한 요구 또는 이용 목적에 따라서 시간, 공간 및/또는 화질의 측면에서 다양한 비디오 서비스를 제공할 수 있다.
본 발명에 의하면, 다양한 환경에서 다양한 서비스를 제공할 수 있는 스케일러블 비디오 코딩(Scalable Video Coding)을 효율적으로 수행할 수 있다.
본 발명에 의하면, 동일 전송(simulcast)과 대비하여 비트율의 이득을 가져오면서 다양한 화질, 해상도, 사이즈 및/또는 프레임 레이트 등을 가지는 비디오 서비스를 제공할 수 있다.
도 1은 인코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 2는 디코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 3은 인트라 예측 모드의 일 예를 개략적으로 나타낸 것이다.
도 4는 싱글 레이어(single layer) 인코딩에 의한 트랜스코딩(transcodig)의 일 예를 개략적으로 설명하는 도면이다.
도 5는 SVC를 채용한 예로서 멀티 레이어 인코딩에 의한 스케일러블 비디오 부호화가 이용되는 일 예를 개략적으로 설명하는 도면이다.
도 6은 SVC를 적용하는 인코딩 장치의 일 예를 개략적으로 설명하는 도면이다.
도 7은 SVC를 적용하는 디코딩 장치의 일 예를 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 9는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 10은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 11은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 12는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 13은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 14는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 픽처 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다.
도 15는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 블록 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다.
도 16은 본 발명에 따라서 수행되는 인터 레이어 예측을 개략적으로 설명하는 플로우 차트이다.
도 2는 디코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 3은 인트라 예측 모드의 일 예를 개략적으로 나타낸 것이다.
도 4는 싱글 레이어(single layer) 인코딩에 의한 트랜스코딩(transcodig)의 일 예를 개략적으로 설명하는 도면이다.
도 5는 SVC를 채용한 예로서 멀티 레이어 인코딩에 의한 스케일러블 비디오 부호화가 이용되는 일 예를 개략적으로 설명하는 도면이다.
도 6은 SVC를 적용하는 인코딩 장치의 일 예를 개략적으로 설명하는 도면이다.
도 7은 SVC를 적용하는 디코딩 장치의 일 예를 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 9는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 10은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 11은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 12는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 13은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다.
도 14는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 픽처 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다.
도 15는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 블록 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다.
도 16은 본 발명에 따라서 수행되는 인터 레이어 예측을 개략적으로 설명하는 플로우 차트이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
도 1은 인코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(125), 감산기(130), 변환부(135), 양자화부(140), 엔트로피 인코딩부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 픽처 버퍼(190)를 포함한다.
인코딩 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 인코딩을 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 모드인 경우 스위치(125)가 인트라로 전환되고, 인터 모드인 경우 스위치(125)가 인터로 전환된다. 인코딩 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 인코딩할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 인코딩된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록에 대응하는 영역을 찾아 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 픽처 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(130)는 입력 블록과 생성된 예측 블록의 차분에 의해 레지듀얼 블록(residual block)을 생성할 수 있다. 변환부(135)는 레지듀얼 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 인코딩부(150)는, 양자화부(140)에서 산출된 값들 또는 인코딩 과정에서 산출된 인코딩 파라미터 값 등을 기초로, 양자화된 계수를 확률 분포에 따라 엔트로피 인코딩하여 비트스트림(bitstream)을 출력할 수 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 픽처 버퍼(190)에 저장될 수 있다.
도 2는 디코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 2를 참조하면, 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 픽처 버퍼(270)를 포함한다.
디코딩 장치(200)는 인코딩 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 디코딩을 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
디코딩 장치(200)는 입력 받은 비트스트림으로부터 복원된 레지듀얼 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 레지듀얼 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 디코딩부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 디코딩한다. 엔트로피 디코딩에 의해, 양자화된 (변환) 계수가 생성될 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 레지듀얼 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 인코딩된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 레지듀얼 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나를 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 픽처 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
상술한 바와 같이, 인코딩 장치 및 디코딩 장치는 영상(video) 인코딩/디코딩을 위해 현재 블록에 대한 예측을 수행한다.
예측은 인코딩 장치/디코딩 장치, 구체적으로 인코딩 장치/디코딩 장치의 예측부에서 수행될 수 있다. 인코딩 장치의 예측부는, 예컨대 도 1의 인터 예측부(110), 인트라 예측부(120) 등을 포함할 수 있다. 디코딩 장치의 예측부는, 예컨대 도 2의 인트라 예측부(240), 인터 예측부(250) 등을 포함할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction)인 경우에, 예측부는 현재 블록의 인트라 예측 모드에 따라서, 이전에 인코딩된 현재 픽처 내의 픽셀(참조 샘플)을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 예측부는 참조 샘플로부터 현재 블록에 대한 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
도 3은 인트라 예측 모드의 일 예를 개략적으로 나타낸 것이다. 인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 도 3의 예에서는, 예측 모드 2부터 예측 모드 34까지 33개의 방향성 예측 모드를 도시하고 있다. 비방향성 모드는 DC 예측 모드 및 플레너 모드(Planar 모드) 등을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수도 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다. 참조 픽처 내의 영역은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다.
인터 예측의 경우에, 예측부는 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다. 예측부는, 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.
참조 픽처의 정보를 이용하기 위해, 현재 블록의 주변 블록들의 정보를 이용할 수 있다. 예컨대, 스킵(skip) 모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction) 등을 통해, 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다.
디코딩 장치의 예측부는 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보를 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도할 수 있다.
예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수도 있다. 예컨대, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수도 있고, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수도 있다.
현재 픽처에 대하여, 예측을 위하여 사용되는 픽처들로 참조 픽처 리스트를 구성할 수 있으며, 참조 픽처 인덱스는 참조 픽처 리스트에서 특정 참조 픽처를 지시할 수 있다.
P 픽처는 각 블록의 샘플 값을 예측하기 위해 적어도 하나의 움직임 벡터 및 참조 픽처 인덱스를 이용한 인터 예측 또는 인트라 예측을 이용해서 인코딩/디코딩될 수 있는 픽처이다. B 픽처는 각 블록의 샘플 값을 예측하기 위해 적어도 두 개의 움직임 벡터들과 참조 픽처 인덱스들을 이용한 인터 예측 또는 인트라 예측을 이용해서 인코딩/디코딩될 수 있는 픽처이다. P 픽처와 B 픽처 외에, 인트라 예측이 적용되는 I 픽처가 있다.
인터 예측에 있어서, 스킵 모드의 경우에 예측부는, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서, 스킵 모드의 경우에, 인코딩 장치는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 디코딩 장치에 전송하지 않는다.
또한, 머지 모드의 경우에, 예측부는 주변 블록의 움직임 정보를 그대로 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 인코딩 장치는 머지 모드를 적용하는지에 관한 정보와 어떤 블록의 움직임 정보를 이용할지에 관한 정보, 레지듀얼 정보 등을 디코딩 장치에 전송할 수 있다. 디코딩 장치는 예측 블록과 인코딩 장치로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다.
AMVP의 경우에, 인코딩 장치는 주변 블록들의 움직임 정보를 이용하여 현재 블록의 움직임 벡터를 예측하고, (1) 어떤 주변 블록의 움직임 정보를 이용하는지에 관한 정보, (2) 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이, (3) 참조 픽처를 지시하는 참조 픽처 인덱스 등을 디코딩 장치에 전송할 수 있다. 디코딩 장치는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 인코딩 장치로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 디코딩 장치는 유도한 움직임 벡터와 인코딩 장치로부터 수신한 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
한편, 통신 및 영상 기술의 발달에 따라서, 영상 정보를 이용하는 다양한 기기가 서로 다른 성능을 가지고 이용되고 있다. 핸드폰과 같은 기기들은 비교적 낮은 해상도의 동영상을 비트 스트림 기반으로 재생하기도 한다. 이에 비하여, PC(Personal Computer)와 같은 기기들은 비교적 높은 해상도의 동영상을 재생할 수 있다.
따라서, 다양한 성능의 기기들에 최적의 동영상 서비스를 제공하기 위한 방법이 고려될 필요가 있다. 이에 대한 해법 중 하나가 스케일러블 비디오 코딩(Scalable Video Coding: SVC, 이하, 'SVC'라 함)이다.
일반적으로, 스케일러블 비디오 코딩에서는, 유효한 비디오 영상을 재생할 수 있는 서브 비트스트림이 비디오 비트스트림의 일부에 의해서도 구성될 수 있다. 이때, 서브 비트스트림은 해당 콘텐츠에 대한 기본 스트림으로서, 서브 비트스트림에 의해서는 전체 비트스트림에 의해 복원(reconstruction)되는 영상보다는 낮은 품질, 적은 사이즈 및/또는 낮은 프레임 레이트의 영상이 복원될 수 있다.
도 4는 싱글 레이어(single layer) 인코딩에 의한 트랜스코딩(transcodig)의 일 예를 개략적으로 설명하는 도면이다. 싱글 레이어 인코딩은 스케일러빌러티 기능(scalability function)을 제공하지 않는 비디오 시퀀스의 인코딩을 의미한다.
도 4의 예에서는, 원본 콘텐츠(410)가 품질, 해상도에 따라서 각각의 인코더/트랜스코더(transcoder)로부터 싱글 레이어 인코딩되어서 각 단말에 전송된다. 예컨대, 고품질 인코더/트랜스코더(420)로부터는 높은 품질의 콘텐츠가 전송되고, 저품질 인코더/트랜스코더(430)로부터 낮은 품질의 콘텐츠가 전송되며, 저해상도 인코더/트랜스코더(440)로부터 낮은 해상도의 콘텐츠가 전송된다.
높은 품질의 콘텐츠를 수신해서 이용하는 단말 1(450)은 HD TV, UHD TV 등과 같은 TV 장치일 수 있다. 낮은 품질의 콘텐츠를 수신해서 이용하는 단말 2(460)은 TV보다 작은 화면을 가지거나, TV보다 정보 처리 속도가 느린 저사양의 PC 등일 수 있다. 낮은 해상도의 콘텐츠를 수신해서 이용하는 단말 3(470)은 작은 화면의 이동 전화 등일 수 있다. 각 단말의 성능에 따라서 상술한 예와 다른 콘텐츠를 수신해서 이용할 수 있음은 물론이다.
한편, 인코딩된 비트스트림이 복수의 레이어를 포함할 수도 있다.
스케일러블 인코딩은 인코딩된 비트스트림의 일부만을 디코더가 선택적으로 디코딩할 수 있게 한다. 코딩된 비트스트림은 복수의 레이어로 배열될 수 있는데, 기본이 되는 베이스 레이어(base layer)와 하나 이상의 인핸스먼트 레이어(enhancement layer)를 포함할 수 있다.
도 5는 SVC를 채용한 예로서 멀티 레이어 인코딩에 의한 스케일러블 비디오 부호화가 이용되는트랜스코딩의 일 예를 개략적으로 설명하는 도면이다.
멀티 레이어 인코딩은 복수 계층의 비디오 시퀀스를 인코딩함으로써 스케일러빌러티(scalability)를 제공한다. 스케일러블 시스템에서, 가장 낮은 혹은 가장 기본되는 품질의 비디오 데이터를 가지는 레이어를 베이스 레이어라고도 한다. 또한, 더 높은 품질의 비디오 데이터를 가지는 레이어를 인핸스먼트 레이어(enhancement layer)라고도 한다.
일반적인 스케일러빌러티(Scalability)로는 시간에 관한(temporal), 공간에 관한(spatial), 품질에 관한(Quality) 스케일러빌러티가 있다. 시간적 스케일러빌러티는 프레임 레이트(frame rate)에 관한 스케일러빌러티이다. 공간적 스케일러빌러티는 픽처 사이즈 또는 해상도에 관한 스케일러빌러티이다. 또한, 질적 스케일러빌러티는 영상의 신뢰도(fidelity)에 관한 것이라고 할 수 있다.
도 5의 예에서, 원본 콘텐츠(510)는 스케일러블(scalable) 인코더(520)에 의해 인코딩된다.
스케일러블 인코더(520)는 상술한 시간적, 공간적, 질적 스케일러빌러티를 지원한다. 스케일러블 인코더(520)는 원본 콘텐츠(510)를 인코딩하여 멀티 레이어의 비트스트림(530)을 생성한다.
멀티 레이어는 기본적인 영상 정보를 포함하는 베이스 레이어와 베이스 레이어보다 품질(정확도, 크기 및/또는 프레임 레이트(frame rate) 등)이 더 향상된 영상에 대한 정보를 포함하는 인핸스먼트 레이어(enhancement layer)로 구성될 수 있다.
단말의 디코딩 장치가 베이스 레이어를 수신해서 영상을 디코딩하는 경우에는, 기본적인 영상이 디코딩된다. 예컨대, 기본 사이즈, 기본 품질 및/또는 기본 프레임 레이트의 영상이 디코딩된다.
단말의 디코딩 장치가 인핸스먼트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면, 더 큰 사이즈, 더 좋은 품질 및/또는 더 높은 프레임 레이트의 영상을 디코딩할 수 있다. 예컨대, 공간적 스케일러빌러티가 지원되는 경우에, 단말의 디코딩 장치가 인핸스먼트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면, 더 높은 해상도의 영상 또는 더 큰 사이즈의 영상을 획득할 수 있다. 시간적 스케일러빌러티가 지원되는 경우에, 단말의 디코딩 장치가 인핸스먼트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면 높은 프레임 레이트의 영상을 획득할 수 있다. 질적 스케일러빌러티가 지원되는 경우에, 단말의 디코딩 장치가 인핸스트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면 높은 신뢰도(fidelity)의 영상을 획득할 수 있다.
도 5를 참조하면, 스케일러블 인코더(520)는 복수의 레이어(레이어 1, 레이어 2, 레이어 3)로 배열된 비트스트림(530)을 출력한다. 추출기(extractor, 540)는 비트스트림(530)으로부터 각 단말 혹은 네트워크의 요구에 따라 필요한 레이어를 추출하여 전송한다.
레이어 1이 베이스 레이어라고 가정하자. 단말 3(570)이 셀 폰 등의 기본적인 품질의 영상을 처리하는 단말인 경우에, 단말 3(570)은 베이스 레이어인 레이어 1만으로 구성된 스트림을 수신하여 디코딩할 수 있다.
단말 2(560)과 단말 3(550)이 TV나 PC 등과 같이 고품질의 영상을 처리할 수 있는 단말인 경우에, 단말 2(560)과 단말 1(550)은 지원되는 성능 또는 원하는 영상 타입에 따라서, 인핸스먼트 레이어(레이어 2, 레이어 3) 중 적어도 하나를 베이스 레이어(레이어 1)과 함께 수신하여 디코딩 할 수 있다.
하위 레이어(참조 레이어)를 이용하여 인핸스먼트 레이어의 데이터 값을 결정 혹은 예측하는 방법을 인터 레이어(inter layer) 예측이라고 한다. 이때, 예측의 기반이 되는 레이어를 참조 레이어라고 한다.
인터 레이어 예측에서는 베이스 레이어와 같은 하위 레이어의 정보를 최대한 활용하여 인핸스먼트 레이어의 정보를 예측한다. 따라서, 인핸스먼트 레이어의 예측을 위해 전송하거나 처리하는 정보의 양을 크게 줄일 수 있다. 예컨대, 하위 레이어와 상위 레이어에서 처리되는 픽처 사이즈가 다를 경우에는 복원된(reconstructed) 하위 레이어의 정보를 업샘플링하여 상위 레이어, 예컨대 인핸스먼트 레이어의 정보를 복원하는데 이용할 수 있다.
인터 레이어 예측 방법으로는 인터 레이어 텍스처(texture) 예측, 인터 레이어 움직임(motion) 예측, 인터 레이어 레지듀얼(residual) 예측 등이 있다.
도 6은 SVC를 적용하는 인코딩 장치의 일 예를 개략적으로 설명하는 도면이다. 도 6을 참조하면, SVC 인코딩 장치(600)는 베이스 레이어 인코더(630), 인터-레이어 예측부(650), 인핸스먼트 레이어 인코더(670)를 포함한다.
베이스 레이어 인코더(630)와 인핸스먼트 레이어 인코더(670)에는 해당 레이어의 인코딩을 위한 비디오 스트림(610, 620)이 입력된다. 베이스 레이어 인코더(630)에는 낮은 해상도의 비디오 스트림(610)이 입력되고, 인핸스먼트 레이어 인코더(670)에는 높은 해상도의 비디오 스트림(620)이 입력된다.
베이스 레이어 인코더(630)는 도 1에서 설명한 인코딩 방법으로 베이스 레이어에 대한 인코딩을 수행할 수 있다. 베이스 레이어 인코더(630)에서 수행된 인코딩 정보는 인터 레이어 예측부(650)에 전달(640)된다.
인터 레이어 예측부(650)에서는 상술한 바와 같이, 베이스 레이어 인코더(630)에서 복원된 비디오 정보를 업샘플링해서 인핸스먼트 레이어 인코더(670)에 전달(660)할 수 있다. 이때, 인터 레이어 예측부(650)는 베이스 레이어 인코더(630)에서 복원된 비디오에 대해 디블록킹 필터링을 수행해서 인핸스먼트 레이어 인코더(670)에 전달할 수도 있다.
인터 레이어 예측부(650)를 통해 전달되는 베이스 레이어의 정보는, 베이스 레이어에서 참조되는 블록이 인트라 예측된 경우에는, 인트라 예측에 사용될 화소값일 수 있고, 베이스 레이어에서 참조되는 블록이 인터 예측된 경우에는 인터 예측에 사용될 움직임 정보와 레지듀얼 정보일 수 있다.
인핸스먼트 레이어 인코더(670) 역시 도 1에서 설명한 인코딩 방법으로 인핸스먼트 레이어에 대한 인코딩을 수행할 수 있다. 다만, 인핸스먼트 레이어 인코더(670)는 높은 해상도의 비디오 시퀀스 정보와 인터 레이어 예측부(650)에서 전달된 베이스 레이어의 정보를 기반으로 인핸스먼트 레이어에 대한 인코딩을 수행할 수 있다.
베이스 레이어의 정보를 기반으로 하는 업샘플링은 인핸스먼트 레이어 인코더(670)에서 수행될 수도 있고, 인터 레이어 예측부(650)에서 수행될 수도 있다.
여기서는, 베이스 레이어 인코더(630)로 입력되는 비디오 스트림은 낮은 해상도의 비디오 스트림이고, 인핸스먼트 레이어 인코더(670)로 입력되는 높은 해상도의 비디오 스트림인 것으로 설명하였다. 하지만, 본 발명에서는 이에 한정하지 않고, 베이스 레이어 인코더(630)로 입력되는 비디오 스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 높은 품질의 비디오 스트림이고 인핸스먼트 레이어 인코더(670)로 입력되는 비디오 스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 낮은 품질 혹은 기본 품질의 비디오 스트림일 수 있다.
도 7은 SVC를 적용하는 디코딩 장치의 일 예를 개략적으로 설명하는 도면이다. 도 7을 참조하면, SVC 디코딩 장치(700)는 베이스 레이어 디코더(740), 인터 레이어 예측부(760) 및 인핸스먼트 레이어 디코더(780)를 포함한다.
인코딩 장치로부터 전송되는 비트 스트림(710)은 베이스 레이어 디코더(740)에 대한 비트 스트림으로서 낮은 해상도의 비디오 정보를 갖는 비트 스트림(720)과 인핸스먼트 레이어 디코더(780)에 대한 비트 스트림으로서 높은 해상도의 비디오 정보를 갖는 비트 스트림(730)을 포함한다.
베이스 레이어 디코더(740)와 인핸스먼트 레이어 디코더(780)에는 해당 레이어의 디코딩을 위한 비트 스트림(720, 730)이 각각 입력된다. 즉, 베이스 레이어 디코더(740)에는 낮은 해상도의 비디오에 대한 비트 스트림(720)이 입력되고, 인핸스먼트 레이어 디코더(780)에는 높은 해상도의 비디오에 대한 비트 스트림(730)이 입력된다.
베이스 레이어 디코더(740)는 도 2에서 설명한 디코딩 방법으로 베이스 레이어에 대한 디코딩을 수행할 수 있다. 베이스 레이어 디코더(740)에서 복원된 베이스 레이어 비디오 정보는 인터 레이어 예측부(760)에 전달(750)된다.
인터 레이어 예측부(760)에서는 상술한 바와 같이, 베이스 레이어 디코더(740)에서 복원된 비디오 정보를 업샘플링해서 인핸스먼트 레이어 디코더(780)에 전달(770)할 수 있다. 이때, 인터 레이어 예측부(760)는 베이스 레이어 디코더(740)에서 복원된 비디오에 대해 디블록킹 필터링을 수행해서 인핸스먼트 레이어 디코더(780)에 전달할 수도 있다.
인터 레이어 예측부(760)를 통해 전달되는 베이스 레이어의 정보는, 베이스 레이어에서 참조되는 블록이 인트라 예측된 경우에는, 인트라 예측에 사용될 화소값일 수 있고, 베이스 레이어에서 참조되는 블록이 인터 예측된 경우에는 인터 예측에 사용될 움직임 정보와 레지듀얼 정보일 수도 있다.
인핸스먼트 레이어 디코더(780) 역시 도 2에서 설명한 디코딩 방법으로 베이스 레이어에 대한 디코딩을 수행할 수 있다. 다만, 인핸스먼트 레이어 디코더(780)는 인터 레이어 예측부(760)에서 전달된 베이스 레이어의 정보와 높은 해상도의 비디오 시퀀스 정보를 기반으로 인핸스먼트 레이어에 대한 디코딩을 수행할 수 있다.
베이스 레이어의 정보를 기반으로 하는 업샘플링은 인핸스먼트 레이어 디코더(780)에서 수행될 수도 있고, 인터 레이어 예측부(760)에서 수행될 수도 있다.
여기서는 베이스 레이어 디코더(740)로 입력되는 비트스트림은 낮은 해상도의 비트스트림이고, 인핸스먼트 레이어 디코더(780)로 입력되는 높은 해상도의 비트스트림인 것으로 설명하였다. 하지만, 본 발명에서는 이에 한정하지 않고, 베이스 레이어 디코더(740)로 입력되는 비트스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 높은 품질의 비트스트림이고 인핸스먼트 레이어 디코더(780)로 입력되는 비트스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 낮은 품질 혹은 기본 품질의 비트스트림일 수 있다.
도 6과 도 7에서는 레이어가 베이스 레이어와 인핸스먼트 레이어의 두 레이어로 구성된 예를 설명하였으나, 본 명세서에서 설명하는 방법과 장치는 이에 한정되지 않으며, 인핸스먼트 레이어가 복수의 계측 레이어로서 높은 레이어와 낮은 레이어로 구성된 경우에도 적용될 수 있다. 이 경우, 높은 레이어에 대한 인코딩 장치 및 디코딩 장치는 낮은 레이어에 대한 정보를 기반으로 높은 레이어에 대한 인코딩과 디코딩을 수행할 수 있다.
도 6과 도 7에서는 베이스 레이어 인코더와 베이스 레이어 디코더로부터 인터 레이어 예측부로 전달되는 정보, 인터 레이어 예측부로부터 인핸스먼트 레이어 인코더와 인핸스먼트 레이어 디코더로 전달되는 정보로서, 단일 정보가 전송되는 것으로 설명하였다. 이는 설명의 편의를 위한 것으로서, 도 6의 경우에, 지원되는 스케일러빌러티에 따라서, 베이스 레이어 인코더, 인터 레이어 예측부, 인핸스먼트 레이어 인코더 내에서 특정 스케일러빌러티를 지원하는 처리 유닛 간에 해당 스케일러빌러티를 지원하기 위한 정보가 전달될 수 있다. 예컨대, 도 6의 베이스 레이어 인코더, 인터 레이어 예측부, 인핸스먼트 레이어 인코더 내에서 시간적 스케일러빌러티를 처리하는 유닛 간에는 시간적 스케일러빌러티를 처리하기 위한 정보를 송수신하고, 공간적 스케일러빌러티를 처리하는 유닛 간에는 공간적 스케일러빌러티를 처리하기 위한 정보를 송수신하며, 질적 스케일러빌러티를 처리하는 유닛 간에는 질적 스케일러빌러티를 처리하기 위한 정보를 송수신한다. 정보를 취합 또는 통합 처리하는 유닛에는 각 정보들의 일부 또는 전부가 전송될 수 있으며, 정보를 취합 또는 통합 처리하는 유닛으로부터 각 정보들이 함께 또는 개별적으로 전송될 수도 있다.
도 7의 예에서도, 지원되는 스케일러빌러티에 따라서, 베이스 레이어 디코더-인터 레이어 예측부-인핸스먼트 레이어 디코더 내에서 특정 스케일러빌러티를 지원하는 유닛 간에 해당 스케일러빌러티를 지원하기 위한 정보가 전달될 수 있다. 예컨대, 도 7의 베이스 레이어 디코더, 인터 레이어 예측부, 인핸스먼트 레이어 디코더 내에서 시간적 스케일러빌러티를 처리하는 유닛 간에는 시간적 스케일러빌러티를 처리하기 위한 정보를 송수신하고, 공간적 스케일러빌러티를 처리하는 유닛 간에는 공간적 스케일러빌러티를 처리하기 위한 정보를 송수신하며, 질적 스케일러빌러티를 처리하는 유닛 간에는 질적 스케일러빌러티를 처리하기 위한 정보를 송수신한다. 정보를 취합 또는 통합 처리하는 유닛에는 각 정보들의 일부 또는 전부가 전송될 수 있으며, 정보를 취합 또는 통합 처리하는 유닛으로부터 각 정보들이 함께 또는 개별적으로 전송될 수도 있다.
한편, 인터 레이어 예측에는, 단일 루프(single loop) 예측 방법과 다중 루프(multi loop) 예측 방법이 있다.
단일 루프 예측 방법의 경우에, 인코딩 장치/디코딩 장치는 인코딩된 멀티 레이어의 비트열을 디코딩함에 있어서, 디코딩 대상이 되는 현재 레이어를 제외한, 하위 레이어들 중 참조 가능한 레이어들을 완전히 디코딩하지 않는다. 인코딩 장치/디코딩 장치는 현재 레이어의 디코딩 대상 블록(현재 블록) 또는 디코딩 대상 픽처(현재 픽처)를 디코딩하기 위해 참조 가능한 하위 레이어(참조 레이어)의 부호화 정보(움직임 정보, 인트라 모드 정보) 및 레지듀얼 신호(레지듀얼 정보)만을 디코딩하여 이용한다. 이때, 참조 가능하도록 디코딩되는 부호화 정보는 움직임 벡터(Motion Vector: MV), 참조 픽처 인덱스, 움직임 정보 예측 후보 인덱스, 움직임 정보 통합 후보 인덱스, 등과 같은 움직임 정보 및/또는 인트라 예측 모드를 포함할 수 있다.
다중 루프 예측 방법의 경우에, 인코딩 장치/디코딩 장치는 인코딩된 멀티 레이어의 비트열을 디코딩함에 있어서, 디코딩 대상이 되는 현재 레이어를 포함하여, 하위 레이어들 중 참조 가능한 레이어들을 완전히 디코딩한다. 인코딩 장치/디코딩 장치는 참조 레이어(들)을 완전히 디코딩하여 얻은 텍스처 정보를 기반으로 참조 가능한 하위 레이어들을 완전히 디코딩하고, 디코딩된 정보를 기반으로 현재 레이어의 디코딩 대상 블록(현재 블록) 또는 디코딩 대상 픽처(현재 픽처)를 디코딩한다.
다중 루프 예측 방법을 이용하는 경우에는 전체 참조 가능한 하위 레이어들을 모두 복원해서 현재 레이어에 대한 예측을 수행하므로, 복잡도가 크게 증가한다.
단일 루프 예측 방법을 이용하는 경우에는 복잡도가 감소하는 대신, 이용 가능한 정보 또는 가능한 인터 레이어 예측이 제한된다. 단일 루프 방식을 채택한 인터 레이어 인트라 예측의 경우에는, 하위 레이어(참조 레이어)에 위치하는, 현재 블록의 동일 위치(co-located) 블록의 부호화 정보를 디코딩하여 현재 블록을 인터 레이어 예측할 수 있다. 반면에, 복잡도를 낮추기 위해 단일 루프 방식을 채택한 경우에, 현재 블록을 예측하기 위해 필요한 참조 픽처들을 각 레이어마다 모두 디코딩하기는 어렵다. 따라서, 일정한 부호화 정보(움직임 벡터, 참조 픽처 인덱스, AMVP 후보 인덱스, 머지 후보 인덱스, 인트라 예측 모드 등)와 레지듀얼 신호만을 이용하여 현재 레이어에 대한 인터 레이어 예측을 수행한다.
예컨대, 단일 루프 방식의 인터 레이어 예측에 있어서는, 현재 블록에 대하여 움직임 추정(Motion Estimation: ME)를 수행하지 않고, 참조 레이어에서 현재 픽처에 대응하는 픽처 내 동일 위치(co-located) 블록의 움직임 정보(움직임 벡터, 레지듀얼 정보, 참조 픽처 인덱스, AMVP 후보 인덱스, 머지 후보 인덱스 등)를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 이때, 인코딩 장치는 RDO를 고려하여 최선의 모드를 선택할 수도 있다.
이하, 단일 루프 예측 방법을 이용한 인터 레이어 예측에 관하여 도면을 참조하여 구체적으로 설명한다.
도 8은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 8에서는 멀티 레이어 인코딩 장치에 있어서, 베이스 레이어에 대한 인코딩 장치의 일 예를 도시하고 있다.
도 8의 변환부(810), 인터 예측부(820), 인트라 예측부(830), 양자화부(840), 역양자화부(850), 역변환부(860), 엔트로피 인코딩부(870), 필터부(880), 픽처 버퍼(890)는 도 1에서 설명한 바와 같은 인코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.
예컨대, 변환부(810)는 입력 영상과 인터 예측부(820) 또는 인트라 예측부(830)로부터 예측된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)를 DST 또는 DCT 할 수 있다. 양자화부(840)는 DST 또는 DCT 변환된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)을 양자화 한다. 역양자화부(850)는 양자화부(840)로부터 양자화된 값을 다시 역양자화 한다. 역변환부(860)는 역양자화된 값을 IDCT(Inverse DCT) 또는 IDST(Inverse DST) 하여 역변환한다. 엔트로피 인코딩부(870)는 양자화부(840)로부터 양자화된 값을 CABAC 또는 CAVLC 등을 이용하여 엔트로피 인코딩한다.
인터 예측부(820)는 인코딩 장치(800)가 인터 모드로 인코딩을 수행하는 경우에, 픽처 버퍼(890)에 저장된 참조 픽처를 기반으로 현재 블록에 대한 예측(인터 예측)을 수행한다. 인트라 예측부(830)는 인코딩 장치(800)가 인트라 모드로 인코딩을 수행하는 경우에, 현재 픽처 내의 주변 블록들을 기반으로 현재 블록에 대한 예측(인트라 예측)을 수행한다. 인터 예측부에서 수행하는 인터 예측과 인트라 예측부에서 수행하는 인트라 예측의 구체적인 내용은 도 1에서 설명한 바 있다.
픽처 버퍼(890)는 디코딩된 영상을 저장하며, 필터부(880)는 픽처 버퍼(890)에 영상을 저장하기 전에, 영상에 인-루프 필터를 적용할 수 있다.
도 8을 참조하면, 베이스 레이어에 대한 인코딩 장치(800)에서 처리된 영상 정보는 인터 레이어 예측부로 전송된다. 예컨대, 인트라 예측부(830)에서 출력되는 영상 정보(ⓐ), 인터 예측부(820)에서 출력되는 영상 정보(ⓒ), 역변환부(860)에서 역변환된 정보(ⓓ)가 인터 레이어 예측부로 전달된다. 디코딩되어 복원된 영상 정보(ⓑ)는 필터부(880)를 거쳐서 인루프 필터들(디블록킹 필터, SAO, ALF 등) 중에서 적어도 하나가 적용된 뒤에 인터 레이어 예측부에 전달될 수 있다. 이때, 영상 정보(ⓑ)는 인루프 필터를 거치지 않고 인터 레이어 예측부에 전달될 수도 있다.
도 9는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 9에서는 멀티 레이어 인코딩 장치에 있어서, 인터 레이어 예측부의 일 예를 도시하고 있다.
인터 레이어 예측부(900)는 일반화된 참조 픽처 생성부(910), 일반화된 참조 블록 생성부(920), 예측부(925)를 포함한다. 예측부(925)는 텍스처 예측부(930), 공간적 확대부(940), 움직임 예측부(950), 스케일 확대부(960), 레지듀얼 예측부(970), 공간적 확대부(980)를 포함한다.
인터 레이어 예측부(900)에 입력되는 정보로서 도 9에 도시된 영상 정보(ⓐ, ⓑ, ⓒ, ⓓ)는 베이스 레이어 인코딩 장치로부터 전송되는 정보로서 도 8에 도시된 영상 정보(ⓐ, ⓑ, ⓒ, ⓓ)와 동일하다.
인터 레이어 예측부는 입력되는 정보(ⓐ, ⓑ, ⓒ, ⓓ)를 기반으로 인터 레이어 예측에 필요한 예측 정보를 생성한다.
구체적으로, 텍스처 예측부(930)는 베이스 레이어 인코딩 장치로부터 전달되는 영상 정보(ⓑ)를 기반으로 텍스처 예측을 통해 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대응하는 참조 레이어 블록들의 디코딩된 텍스처 정보를 획득할 수 있다. 텍스처 예측은, 인핸스먼트 레이어(현재 레이어)의 현재 블록에 대응하는 참조 레이어(베이스 레이어)의 블록으로부터 픽셀 값을 획득하는 과정이다.
공간적 확대부(940)는 텍스처 예측부(930)에서 획득한 참조 레이어 블록들의 디코딩된 텍스처 정보를 인핸스먼트 레이어(현재 레이어)의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다.
움직임 예측부(950)는 베이스 레이어 인코딩 장치로부터 전달되는 정보(ⓒ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대응되는 참조 레이어 블록들의 움직임 정보 및 인트라 예측 모드를 획득할 수 있다.
스케일 확대부(960)는 움직임 예측부(950)에서 획득한 참조 레이어 블록들의 움직임 정보를 인핸스먼트 레이어(현재 레이어)에 대응하여 조정할 수 있다. 예컨대, 움직임 예측부(950)에서 획득한 움직임 벡터는 인핸스먼트 레이어의 사이즈에 맞춰 스케일링될 수 있다. AMVP 후보 또는 머지 후보 등은 인핸스먼트 레이어에서 대응하는 AMVP 후보 또는 머지 후보로 매핑될 수 있다.
레지듀얼 예측부(970)는 베이스 레이어 인코딩 장치로부터 전달되는 영상 정보(ⓓ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대응되는 참조 레이어 블록들의 레지듀얼 정보를 획득할 수 있다.
공간적 확대부(980)는 레지듀얼 예측부(970)에서 획득한 참조 레이어의 레지듀얼 정보를 인핸스먼트 레이어의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다.
일반화된 참조 픽처 생성부(910)는 예측부(925)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 인코딩 장치의 픽처 버퍼로부터 전달되는 디코딩? 베이스 레이어의 영상 정보(ⓐ), 인핸스먼트 레이어 인코딩 장치의 픽처 버퍼로부터 전달되는 디코딩된 인핸스먼트 레이어의 영상 정보(①)를 기반으로 일반화된 참조 픽처를 생성한다. 예측부(925)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 픽처 생성부(910)로 전달한다.
일반화된 참조 블록 생성부(920)는 예측부(925)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 인코딩 장치의 픽처 버퍼로부터 전달되는 디코딩? 베이스 레이어의 영상 정보(ⓐ)를 기반으로 일반화된 참조 블록을 생성한다. 예측부(925)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 블록 생성부(920)로 전달한다.
이때, 일반화된 참조 픽처 생성부(910)과 일반화된 참조 블록 생성부(920)로 전달되는 정보는 인핸스먼트 레이어에 특성에 맞춰 스케일링 또는 확대될 수 있다.
일반화된 참조 픽처 또는 일반화된 참조 블록은 참조 레이어의 슬라이스 타입을 반영하여 생성될 수 있다.
예컨대, 참조 레이어가 I 슬라이스인 경우, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 참조 레이어를 복원한 텍스처를 생성할 수 있다.
또한, 참조 레이어가 P 슬라이스 또는 B 슬라이스이고 참조 레이어의 블록이 인터 예측된 경우에 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 움직임 정보들과 인핸스먼트 레이어의 참조 영상들을 이용하여 예측 신호를 생성할 수 있다.
참조 레이어의 블록이 인트라 예측된 경우에, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 해당 인트라 예측 모드를 사용하여 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 이용할 수 있다.
이렇게 생성된 예측 신호들이 일반화된 참조 픽처/블록으로서 사용할 수 있다. 또한, 이렇게 생성된 예측 신호들에 참조 레이어의 업샘플링된 레지듀얼 신호를 더해서 일반화된 참조 픽처 또는 참조 블록으로 사용할 수도 있다.
구체적으로, 인터 레이어 예측에 있어서 단일 루프 방식을 적용하는 경우의 일반화된 참조 픽처는, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 레이어의 움직임 정보와 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 픽처에 대한 참조 픽처들로부터 움직임 보상을 통해 구한 예측 신호들로 구성된 픽처이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 픽처를 구성하는데 포함될 수 있다.
한편, 상기 예측 신호들로 구성되는 픽처에 픽처 향상을 더 수행하여 얻은 픽처를 일반화된 참조 픽처로 할 수도 있다. 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다. 또한, 상기 예측 신호들로 구성된 픽처 또는 예측 신호에 레지듀얼 정보를 더하여 얻은 신호들로 구성된 픽처에 픽처 향상을 수행해서 일반화된 참조 픽처로 이용할 수도 있다.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 픽처로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다
일반화된 참조 픽처는 인핸스먼트 레이어(현재 레이어)의 현재 인코딩 대상 픽처(블록)에 대한 참조 픽처 리스트에 추가되어 상기 인코딩 대상 픽처(블록)의 인터 예측에 이용될 수 있다. 또한, 일반화된 참조 픽처는 참조 픽처 리스트에 추가되지 않고, 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 픽처(블록)에 대한 참조 픽처로서 지정되어 사용될 수도 있다.
인터 레이어 예측에 있어서 단일 루프 방식이 적용되는 경우의 일반화된 참조 블록은, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 계층의 움직임 정보와 인핸스 먼트 레이어(현재 레이어)의 부호화 대상 픽처에 대한 참조 픽처로부터 움직임 보상을 통해 얻은 예측 신호들로 구성된 블록이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 블록을 구성하는데 포함될 수 있다.
한편, 상기 예측 신호들로 구성되는 블록에 픽처 향상을 더 수행하여 얻은 블록을 일반화된 참조 픽처로 할 수도 있다. 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 블록을 일반화된 참조 블록으로 이용할 수도 있다.
더 나아가, 상기 예측 신호들로 구성된 블록 또는 상기 예측 신호에 레지듀얼 정보를 더하여 얻은 블록에 픽처 향상이 수행된 블록을 일반화된 참조 블록으로 할 수도 있다.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 블록으로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 블록으로 이용할 수도 있다
일반화된 참조 블록은 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대한 예측 신호로 사용될 수 있다. 일반화된 참조 블록 생성부(920)는 현재 레이어의 인코딩 대상 블록의 크기가 N X N인 경우에, 디코딩된 참조 레이어의 픽처로부터 생성된 N X N 크기의 블록을 일반화된 참조 블록으로 획득할 수 있다. 인핸스먼트 레이어의 인코딩 장치는 일반화된 참조 블록을 현재 블록에 대한 예측 블록으로 해서, 인핸스먼트 레이어의 원본 블록과의 차이(레지듀얼 신호)를 인코딩할 수 있다.
일반화된 참조 픽처 생성부(910)에서 생성된 일반화된 참조 픽처 정보(②)와 일반화된 참조 블록 생성부(920)에서 생성된 일반화된 참조 블록 정보(③, ④)는 인핸스먼트 레이어 인코딩 장치에 전달된다. 일반화된 참조 블록 생성부(920)으로부터 출력되는 일반화된 참조 블록 정보(③, ④)는 서로 동일한 정보일 수 있다.
도 10은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 10에서는 멀티 레이어 인코딩 장치에 있어서, 인핸스먼트 레이어 인코딩 장치의 일 예를 도시하고 있다.
인핸스먼트 레이어 인코딩 장치(1000)는 변환부(1010), 인트라 예측부(1020), 인터 예측부(1030), 양자화부(1040), 역양자화부(1050), 역변환부(1060), 필터부(1070), 픽처 버퍼(1080), 엔트로피 인코딩부(1090)를 포함한다.
도 10의 변환부(1010), 인트라 예측부(1020), 인터 예측부(1030), 양자화부(1040), 역양자화부(1050), 역변환부(1060), 필터부(1070), 픽처 버퍼(1080), 엔트로피 인코딩부(1090)는 도 8에서 설명한 바와 같은 인코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.
예컨대, 변환부(1010)는 입력 영상과 인터 예측부(820) 또는 인트라 예측부(830)로부터 예측된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)를 DST 또는 DCT 할 수 있다. 인핸스먼트 레이어 인코딩 장치(1000)에 입력되는 입력 영상은 베이스 레이어 인코딩 장치(800)에 입력되는 입력 영상보다 더 높은 화질, 더 큰 사이즈, 더 높은 해상도 및/또는 더 높은 프레임 레이트의 영상에 대한 정보로서, 전체 영상 스트림의 일부 또는 전부로 구성된 영상 스트림일 수 있다. 양자화부(1040)는 DST 또는 DCT 변환된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)을 양자화 한다. 역양자화부(1050)는 양자화부(1040)로부터 양자화된 값을 다시 역양자화 한다. 역변환부(1060)는 역양자화된 값을 IDCT(Inverse DCT) 또는 IDST(Inverse DST) 하여 역변환한다. 엔트로피 인코딩부(1090)는 양자화부(1040)로부터 양자화된 값을 CABAC 또는 CAVLC 등을 이용하여 엔트로피 인코딩한다.
픽처 버퍼(1080)는 디코딩된 영상을 저장하며, 필터부(1070)는 픽처 버퍼(880)에 영상을 저장하기 전에, 영상에 인-루프 필터를 적용할 수 있다.
인트라 예측부(1020)는 인코딩 장치(800)가 인트라 모드로 인코딩을 수행하는 경우에, 현재 픽처 내의 주변 블록들을 기반으로 현재 블록에 대한 예측(인트라 예측)을 수행한다. 인터 예측부(1030)는 인코딩 장치(1000)가 인터 모드로 인코딩을 수행하는 경우에, 참조 픽처를 기반으로 현재 블록에 대한 예측(인터 예측)을 수행한다. 인터 예측부에서 수행하는 인터 예측과 인트라 예측부에서 수행하는 인트라 예측의 구체적인 내용은 도 1에서 설명한 바 있다.
도 10을 참조하면, 베이스 레이어에 대한 인코딩 장치에서 처리된 영상 정보는 인터 레이어 예측부를 거쳐 인핸스먼트 레이어에 대한 인코딩 장치(1000)로 전송된다. 예컨대, 인터 레이어 예측부의 일반화된 참조 픽처 생성부로부터 생성된 일반화된 참조 픽처에 대한 정보(②)가 픽처 버퍼(1080)로 전달된다. 인터 레이어 예측부의 일반화된 참조 블록 생성부로부터 생성된 일반화된 참조 블록에 대한 정보(③, ④)가 인트라 예측부(1020)와 인터 예측부(1030)에 전달된다.
인트라 예측부(1020)는 도시된 바와 같이, 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(③)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 이용할 수 있다. 또한, 인트라 예측부(1020)는 인핸스먼트 레이어의 주변 참조 샘플들을 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인트라 예측을 수행할 수도 있다.
인터 예측부(1030)는 도시된 바와 같이, 인터 예측부(1030)는 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(④)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 사용할 수 있다. 인터 예측부(1030)는 또한 픽처 버퍼(1080)에 저장된 베이스 레이어의 영상 정보(②)를 이용하여 움직임 예측을 수행할 수도 있다.
여기서는 인핸스먼트 레이어의 인코딩 장치(1000)에서 인핸스먼트 레이어의 입력 영상에 대한 인터 예측을 수행하는 인터 예측부(1030)와 인핸스먼트 레이어의 입력 영상에 대한 인트라 예측을 수행하는 인트라 예측부(1030)가 인터 레이어 예측부로부터 전달되는 정보를 기반으로 하는 예측까지 수행하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 인핸스먼트 레이어의 인코딩 장치는 인터 예측부(1030) 및/또는 인트라 예측부(1120)와는 별도의 예측부를 구비하고, 상기 별도의 예측부가 인터 레이어 예측부로부터 전송되는 정보(③, ④)를 기반으로 하는 예측을 수행하도록 할 수도 있다. 이 경우에, 인터 예측부(1030), 인트라 예측브(1020) 및 별도의 예측부로 입력되는 정보 및 출력되는 정보는 스위치를 구비하여 선택될 수 있도록 할 수 있다.
도 11은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 11에서는 멀티 레이어 디코딩 장치에 있어서, 베이스 레이어 디코딩 장치의 일 예를 도시하고 있다.
도 11을 참조하면, 베이스 레이어 디코딩 장치(1100)는 엔트로피 디코딩부(1110), 역양자화부(1120), 역변환부(1130), 필터부(1140), 픽처 버퍼(1150), 인터 예측부(1160), 인트라 예측부(1170)를 포함한다.
엔트로피 디코딩부(1110), 역양자화부(1120), 역변환부(1130), 필터부(1140), 픽처 버퍼(1150), 인터 예측부(1160), 인트라 예측부(1170)는 도 2에서 설명한 바와 같은 디코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.
예컨대, 엔트로피 디코딩부(1110)는 비트스트림을 수신해서 CABAC, CAVLC 등과 같은 방법으로 엔트로피 디코딩을 수행할 수 있다. 역양자화부(1120)는 엔트로피 디코딩부(1110)로부터 획득한 양자화된 변환 계수를 역양자화 할 수 있다. 역변환부(1130)는 양자화된 변환 계수에 적용된 변환 방법에 따라서 역양자화를 수행한다. 예컨대, 양자화된 변환 계수가 DCT에 의한 것이면, IDCT를 이용하여 역양자화를 수행하며, 양자화된 변환 계수가 DST에 의한 것이면, IDST를 이용하여 역양자화를 수행할 수 있다.
픽처 버퍼부(1150)는 복호화된 영상 정보를 저장하며, 필터부(1140)는 픽처 버퍼(1150)에 저장되기 전에 복원된 영상(픽처)에 인-루프 필터를 적용할 수 있다.
인터 예측부(1160)는 현재 블록에 대하여 디코딩 장치(1100)가 인터 예측을 수행하는 경우에, 픽처 버퍼부(1150)에 저장된 참조 픽처를 기반으로 인터 예측을 수행한다. 인트라 예측부(1170)는 현재 블록에 대하여 디코딩 장치(1100)가 인트라 예측을 수행하는 경우에, 주변 블록의 정보를 기반으로 현재 블록에 대한 인트라 예측을 수행한다. 인터 예측 및 인트라 예측의 구체적인 내용은 상술한 바와 같다.
도 11을 참조하면, 베이스 레이어에 대한 디코딩 장치(1100)에서 처리된 영상 정보는 인터 레이어 예측부로 전송된다. 예컨대, 인트라 예측부(1170)에서 출력되는 영상 정보(ⓗ), 인터 예측부(1160)에서 출력되는 영상 정보(ⓕ), 역변환부(1130)에서 역변환된 정보(ⓖ)가 인터 레이어 예측부로 전달된다. 디코딩되어 복원된 영상 정보(ⓔ)는 필터부(880)로부터 인루프 필터들(디블록킹 필터, SAO, ALF 등) 중에서 적어도 하나가 적용된 뒤에 인터 레이어 예측부에 전달될 수 있다. 이때, 영상 정보(ⓔ)는 인루프 필터를 거치지 않고 인터 레이어 예측부에 전달될 수도 있다.
도 12는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 12에서는 멀티 레이어 디코딩 장치에 있어서, 인터 레이어 예측부의 일 예를 도시하고 있다.
멀티 레이어 디코딩 장치의 인터 레이어 예측부(1200)는 일반화된 참조 블록 생성부(1210), 일반화된 참조 픽처 생성부(1220), 예측부(1225)를 포함한다. 예측부(1225)는 텍스처 예측부(1230), 공간적 확대부(1240), 움직임 예측부(1250), 스케일 확대부(1260), 레지듀얼 예측부(1270), 공간적 확대부(1280)를 포함한다.
인터 레이어 예측부(1200)에 입력되는 정보로서 도 12에 도시된 영상 정보(ⓔ, ⓕ, ⓖ, ⓗ)는 베이스 레이어 디코딩 장치로부터 전송되는 정보로서 도 11에 도시된 영상 정보(ⓔ, ⓕ, ⓖ, ⓗ)와 동일하다.
인터 레이어 예측부는 입력되는 정보(ⓔ, ⓕ, ⓖ, ⓗ)를 기반으로 인터 레이어 예측에 필요한 예측 정보를 생성한다.
구체적으로, 텍스처 예측부(1230)는 베이스 레이어 디코딩 장치로부터 전달되는 영상 정보(ⓔ)를 기반으로 텍스처 예측을 통해 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대응하는 참조 레이어 블록들의 디코딩된 텍스처 정보를 획득할 수 있다. 텍스처 예측은, 인핸스먼트 레이어(현재 레이어)의 현재 블록에 대응하는 참조 레이어(베이스 레이어)의 블록으로부터 픽셀 값을 획득하는 과정이다.
공간적 확대부(1240)는 텍스처 예측부(1230)에서 획득한 참조 레이어 블록들의 디코딩된 텍스처 정보를 인핸스먼트 레이어(현재 레이어)의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다.
움직임 예측부(1250)는 베이스 레이어 디코딩 장치로부터 전달되는 정보(ⓕ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대응되는 참조 레이어 블록들의 움직임 정보 및 인트라 예측 모드를 획득할 수 있다.
스케일 확대부(1260)는 움직임 예측부(1250)에서 획득한 참조 레이어 블록들의 움직임 정보를 인핸스먼트 레이어(현재 레이어)에 대응하여 조정할 수 있다. 예컨대, 움직임 예측부(1250)에서 획득한 움직임 벡터는 인핸스먼트 레이어의 사이즈에 맞춰 스케일링될 수 있다. AMVP 후보 또는 머지 후보 등은 인핸스먼트 레이어에서 대응하는 AMVP 후보 또는 머지 후보로 매핑될 수 있다.
레지듀얼 예측부(1270)는 베이스 레이어 디코딩 장치로부터 전달되는 영상 정보(ⓖ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대응되는 참조 레이어 블록들의 레지듀얼 정보를 획득할 수 있다.
공간적 확대부(1280)는 레지듀얼 예측부(1270)에서 획득한 참조 레이어의 레지듀얼 정보를 인핸스먼트 레이어의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다.
일반화된 참조 블록 생성부(1210)는 예측부(1225)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩? 베이스 레이어의 영상 정보(ⓗ)를 기반으로 일반화된 참조 블록을 생성한다. 예측부(1225)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 블록 생성부(1210)로 전달한다.
일반화된 참조 픽처 생성부(1220)는 예측부(1225)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩? 베이스 레이어의 영상 정보(ⓗ), 인핸스먼트 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩된 인핸스먼트 레이어의 영상 정보(⑧)를 기반으로 일반화된 참조 픽처를 생성한다. 예측부(1225)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 픽처 생성부(1220)로 전달한다.
이때, 일반화된 참조 픽처 생성부(1220)와 일반화된 참조 블록 생성부(1210)로 전달되는 정보는 인핸스먼트 레이어에 특성에 맞춰 스케일링 또는 확대될 수 있다.
일반화된 참조 픽처 또는 일반화된 참조 블록은 참조 레이어의 슬라이스 타입을 반영하여 생성될 수 있다.
예컨대, 참조 레이어가 I 슬라이스인 경우, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 참조 레이어를 복원한 텍스처를 생성할 수 있다.
또한, 참조 레이어가 P 슬라이스 또는 B 슬라이스이고 참조 레이어의 블록이 인터 예측된 경우에 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 움직임 정보들과 인핸스먼트 레이어의 참조 영상들을 이용하여 예측 신호를 생성할 수 있다.
참조 레이어의 블록이 인트라 예측된 경우에, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 해당 인트라 예측 모드를 사용하여 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 이용할 수 있다.
이렇게 생성된 예측 신호들이 일반화된 참조 픽처/블록으로서 사용할 수 있다. 또한, 이렇게 생성된 예측 신호들에 참조 레이어의 업샘플링된 레지듀얼 신호를 더해서 일반화된 참조 픽처 또는 참조 블록으로 사용할 수도 있다.
구체적으로, 인터 레이어 예측에 있어서 단일 루프가 적용되는 경우의 일반화된 참조 블록은, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 계층의 움직임 정보와 인핸스 먼트 레이어(현재 레이어)의 디코딩 대상 픽처에 대하여 참조 픽처로부터 움직임 보상을 통해 얻은 예측 신호들로 구성된 블록이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 블록을 구성하는데 포함될 수 있다.
한편, 상기 예측 신호들로 구성되는 블록에 픽처 향상을 더 수행하여 얻은 블록을 일반화된 참조 픽처로 할 수도 있다. , 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 블록을 일반화된 참조 블록으로 이용할 수도 있다.
더 나아가, 상기 예측 신호들로 구성된 블록 또는 상기 예측 신호에 레지듀얼 정보를 더하여 얻은 블록에 픽처 향상이 수행된 블록을 일반화된 참조 블록으로 할 수도 있다.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 블록으로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 블록으로 이용할 수도 있다.일반화된 참조 블록은 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대한 예측 신호로 사용될 수 있다. 일반화된 참조 블록 생성부(920)는 현재 레이어의 디코딩 대상 블록의 크기가 N X N인 경우에, 디코딩된 참조 레이어의 픽처로부터 생성된 N X N 크기의 블록을 일반화된 참조 블록으로 획득할 수 있다. 인핸스먼트 레이어의 디코딩 장치는 레지듀얼 신호와 일반화된 참조 블록을 합하여 인핸스먼트 레이어의 원본 블록을 복원할 수 있다.
일반화된 참조 픽처 생성부(1220)는 예측부(1225)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩? 베이스 레이어의 영상 정보(ⓗ), 인핸스먼트 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩된 인핸스먼트 레이어의 영상 정보(⑧)를 기반으로 일반화된 참조 픽처를 생성한다. 예측부(1225)는 상술한 바와 같이, 공간적 확대부(1240)을 통해 보간된 베이스 레이어의 텍스처 정보, 스케일 확대부(1260)를 통해 스케일링된 베이스 레이어의 움직임 정보, 공간적 확대부(1280)를 통해 보간된 베이스 레이어의 레지듀얼 정보를 일반화된 참조 픽처 생성부(1220)로 전달한다.
인터 레이어 예측에 있어서 단일 루프를 적용하는 경우에, 일반화된 참조 픽처는, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 레이어의 움직임 정보와 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 픽처에 대한 참조 픽처들로부터 움직임 보상을 통해 구한 예측 신호들로 구성된 픽처이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 픽처를 구성하는데 포함될 수 있다.
또한, 상기 예측 신호들로 구성되는 픽처에 픽처 향상을 더 수행하여 얻은 픽처를 일반화된 참조 픽처로 할 수도 있다. 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다. 또한, 상기 예측 신호들로 구성된 픽처 또는 예측 신호에 레지듀얼 정보를 더하여 얻은 신호들로 구성된 픽처에 픽처 향상을 수행해서 일반화된 참조 픽처로 이용할 수도 있다.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 픽처로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다.
일반화된 참조 픽처는 인핸스먼트 레이어(현재 레이어)의 현재 인코딩 대상 픽처(블록)에 대한 참조 픽처 리스트에 추가되어 상기 인코딩 대상 픽처(블록)의 인터 예측에 이용될 수 있다. 또한, 일반화된 참조 픽처는 참조 픽처 리스트에 추가되지 않고, 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 픽처(블록)에 대한 참조 픽처로서 지정되어 사용될 수도 있다.일반화된 참조 픽처 생성부(1220)에서 생성된 일반화된 참조 픽처 정보(⑦)와 일반화된 참조 블록 생성부(1210)에서 생성된 일반화된 참조 블록 정보(⑤, ⑥)는 인핸스먼트 레이어 디코딩 장치에 전달된다.
도 13은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 13서는 멀티 레이어 디코딩 장치에 있어서, 인핸스먼트 레이어 디코딩 장치의 일 예를 도시하고 있다.
도 13을 참조하면, 인핸스먼트 레이어 디코딩 장치(1300)는 엔트로피 디코딩부(1310), 역양자화부(1320), 역변환부(1330), 필터부(1340), 픽처 버퍼(1350), 인터 예측부(1360), 인트라 예측부(1370)를 포함한다.
엔트로피 디코딩부(1310), 역양자화부(1320), 역변환부(1330), 필터부(1340), 픽처 버퍼(1350), 인터 예측부(1360), 인트라 예측부(1370) 역시 도 2에서 설명한 바와 같은 디코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.
예컨대, 엔트로피 디코딩부(1310)는 비트스트림을 수신해서 CABAC, CAVLC 등과 같은 방법으로 엔트로피 디코딩을 수행할 수 있다. 인핸스먼트 디코딩 장치(1300)에 입력되는 비트스트림은 베이스 레이어 디코딩 장치에 입력되는 비트스트림보다 더 높은 화질, 더 큰 사이즈, 더 높은 해상도 및/또는 더 높은 프레임 레이트의 영상에 대한 정보로서, 전체 비트스트림의 일부 또는 전부로 구성된 비트스트림일 수 있다. 역양자화부(1320)는 엔트로피 디코딩부(1310)로부터 획득한 양자화된 변환 계수를 역양자화 할 수 있다. 역변환부(1330)는 양자화된 변환 계수에 적용된 변환 방법에 따라서 역양자화를 수행한다. 예컨대, 양자화된 변환 계수가 DCT에 의한 것이면, IDCT를 이용하여 역양자화를 수행하며, 양자화된 변환 계수가 DST에 의한 것이면, IDST를 이용하여 역양자화를 수행할 수 있다.
픽처 버퍼부(1350)는 복호화된 영상 정보를 저장하며, 필터부(1340)는 픽처 버퍼(1350)에 저장되기 전에 복원된 영상(픽처)에 인-루프 필터를 적용할 수 있다.
인터 예측부(1360)는 현재 블록에 대하여 디코딩 장치(1300)가 인터 예측을 수행하는 경우에, 픽처 버퍼부(1350)에 저장된 참조 픽처를 기반으로 인터 예측을 수행한다. 인트라 예측부(1370)는 현재 블록에 대하여 디코딩 장치(1300)가 인트라 예측을 수행하는 경우에, 주변 블록의 정보를 기반으로 현재 블록에 대한 인트라 예측을 수행한다. 인터 예측 및 인트라 예측의 구체적인 내용은 상술한 바와 같다.
도 13을 참조하면, 베이스 레이어에 대한 디코딩 장치(1100)에서 처리된 영상 정보는 인터 레이어 예측부(1200)를 통해 인핸스먼트 레이어 디코딩 장치(1300)로 전송된다. 예컨대, 인터 레이어 예측부의 일반화된 참조 픽처 생성부로부터 생성된 일반화된 참조 픽처에 대한 정보(⑦)가 픽처 버퍼(1350)에 전달된다. 또한, 인터 레이어 예측부의 일반화된 참조 블록 생성부로부터 생성된 일반화된 참조 블록에 대한 정보(⑤, ⑥)가 인트라 예측부(1370)와 인터 예측부(1360)에 전달된다.
인트라 예측부(1370)는 도시된 바와 같이, 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(⑤)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 이용할 수 있다. 또한, 인트라 예측부(1370)는 인핸스먼트 레이어의 주변 참조 샘플들을 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인트라 예측을 수행할 수도 있다. 일반화된 참조 블록을 이용할 것인지 현재 레이어 내에서 인트라 예측을 수행할 것인지에 관해서는 인코딩 장치로부터 전송되는 지시 혹은 정보를 기반으로 결정할 수 있다.
인터 예측부(1030)는 도시된 바와 같이, 인터 예측부(1360)는 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(⑥)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 사용할 수 있다. 인터 예측부(1360)는 또한 픽처 버퍼(1350)에 저장된 베이스 레이어의 영상 정보(⑦)를 이용하여 움직임 예측을 수행할 수도 있다. 어떤 정보를 기반으로 현재 블록에 대한 예측을 수행할 것인지는 인코딩 장치와 디코딩 장치 사이에 미리 정해져 있을 수도 있고, 인코딩 장치로부터 지시될 수도 있다.
여기서는 인핸스먼트 레이어의 디코딩 장치(1300)에서 인핸스먼트 레이어의 입력 영상에 대한 인터 예측을 수행하는 인터 예측부(1360)와 인핸스먼트 레이어의 입력 영상에 대한 인트라 예측을 수행하는 인트라 예측부(1370)가 인터 레이어 예측부로부터 전달되는 정보를 기반으로 하는 예측까지 수행하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 인핸스먼트 레이어의 디코딩 장치는 인터 예측부(1360) 및/또는 인트라 예측부(1367)와는 별도의 예측부를 구비하고, 상기 별도의 예측부가 인터 레이어 예측부로부터 전송되는 정보(⑤, ⑥)를 기반으로 하는 예측을 수행하도록 할 수도 있다. 이 경우에, 인터 예측부(1360), 인트라 예측브(1370) 및 별도의 예측부로 입력되는 정보 및 출력되는 정보는 스위치를 구비하여 선택될 수 있도록 할 수 있다.
도 14는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 픽처 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다.
도 14를 참조하면, 일반화된 참조 픽처 생성부(1400)는 움직임 보상부(1410)와 픽처 향상부(1420)를 포함한다.
움직임 보상부(1410)는 인터 레이어 예측부(도 9의 925, 도 12의 1225)로부터 베이스 레이어(참조 레이어)의 부호화 정보, 레지듀얼 정보를 입력받는다. 이때, 부호화 정보는 베이스 레이어가 B 슬라이스 또는 P 슬라이스인 경우에는 베이스 레이어의 움직임 정보를 포함할 수 있다. 또한, 부호화 정보는 베이스 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 베이스 레이어의 인트라 예측 모드 정보를 포함할 수 있다.
구체적으로, 단일 루프 방식이 적용되는 일반화된 참조 픽처 생성부(1400)에서 움직임 보상부(1410)는 인핸스먼트 레이어에서의 현재 블록에 대응하는, 베이스 레이어(참조 레이어)에서의 현재 블록에 대한 움직임 정보와 레지듀얼 정보를 수신하여, 움직임 보상을 수행한다.
움직임 보상부(1410)에 입력되는 베이스 레이어의 움직임 정보와 레지듀얼 정보는 상술한 바와 같이, 인터 레이어 예측부에서 스케일링 또는 확대(업샘플링)되어서 입력될 수 있다.
또한, 움직임 보상부(1410)는 움직임 정보 외에 베이스 레이어의 인트라 예측 모드를 입력받아서 움직임 보상을 수행할 수도 있다. 상술한 바와 같이, 베이스 레이어(참조 레이어)의 블록이 인트라 예측된 경우에, 움직임 보상부(1410)는 해당 인트라 예측 모드를 사용하여 해당 블록에 대한 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 픽처 버퍼(1430)로부터 입력받아 이용하거나 인트라 예측된 블록의 주변 블록 샘플로서, 일반화된 참조 픽처를 생성하는 과정에서 움직임 보상된 블록의 샘플을 이용할 수 있다.
단일 루프 방식이 적용되는 일반화된 참조 픽처 생성부(1400)에서, 픽처 향상부(1420)는 움직임 보상부(1410)로부터 출력된 픽처를 인핸스먼트 레이어(현재 레이어)의 입력 원본 픽처와 동일하거나 유사하도록 만드는 과정(픽처 향상)을 수행할 수 있다.
구체적으로 픽처 향상부(1420)는 움직임 보상된 픽처를 입력받아 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 또한 픽처 향상부(1420)는 베이스 레이어의 영상 정보(텍스처 정보) 및 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보를 입력 받아서, 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 픽처 향상의 기반이 되는 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보는 인핸스먼트 레이어의 원본 영상일 수도 있다.
픽처 향상의 방법으로서, 픽처 향상부(1420)는 입력된 영상 정보(텍스처 정보)에 ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset) 중 적어도 하나를 적용할 수 있다. 디코딩 장치의 경우에는, 픽처 향상부(1420)에서 적용되는 픽처 향상 방법과 필터 계수 등이 인코딩 장치에서 결정되어 시그널링 될 수도 있다.
도 15는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 블록 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다.
도 15를 참조하면, 일반화된 참조 블록 생성부(1500)는 움직임 보상부(1510)와 픽처 향상부(1520)를 포함한다.
움직임 보상부(1510)는 인터 레이어 예측부(도 9의 925, 도 12의 1225)로부터 베이스 레이어(참조 레이어)의 부호화 정보, 레지듀얼 정보를 입력받는다. 이때, 부호화 정보는 베이스 레이어가 B 슬라이스 또는 P 슬라이스인 경우에는 베이스 레이어의 움직임 정보를 포함할 수 있다. 또한, 부호화 정보는 베이스 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 베이스 레이어의 인트라 예측 모드 정보를 포함할 수 있다.
구체적으로, 단일 루프 방식이 적용되는 일반화된 참조 블록 생성부(1500)에서 움직임 보상부(1510)는 인핸스먼트 레이어에서의 현재 블록에 대응하는, 베이스 레이어(참조 레이어)에서의 현재 블록에 대한 움직임 정보와 레지듀얼 정보를 수신하여, 움직임 보상을 수행한다.
움직임 보상부(1510)에 입력되는 베이스 레이어의 움직임 정보와 레지듀얼 정보는 상술한 바와 같이, 인터 레이어 예측부에서 스케일링 또는 확대(업샘플링)되어서 입력될 수 있다.
또한, 움직임 보상부(1510)는 움직임 정보 외에 베이스 레이어의 인트라 예측 모드를 입력받아서 움직임 보상을 수행할 수도 있다. 상술한 바와 같이, 베이스 레이어(참조 레이어)의 블록이 인트라 예측된 경우에, 움직임 보상부(1510)는 해당 인트라 예측 모드를 사용하여 해당 블록에 대한 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 픽처 버퍼(1530)로부터 입력받아 이용하거나 인트라 예측된 블록의 주변 블록 샘플로서, 일반화된 참조 픽처를 생성하는 과정에서 움직임 보상된 블록의 샘플을 이용할 수 있다.
단일 루프 방식이 적용되는 일반화된 참조 블록 생성부(1500)에서, 픽처 향상부(1520)는 움직임 보상부(1510)로부터 출력된 블록을 인핸스먼트 레이어(현재 레이어)의 입력 원본 블록과 동일하거나 유사하도록 만드는 과정(픽처 향상)을 수행할 수 있다.
구체적으로 픽처 향상부(1520)는 움직임 보상된 블록을 입력받아 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 또한 픽처 향상부(1520)는 베이스 레이어의 영상 정보(텍스처 정보) 및 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보를 입력 받아서, 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 픽처 향상의 기반이 되는 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보는 인핸스먼트 레이어의 원본 영상일 수도 있다.
픽처 향상의 방법으로서, 픽처 향상부(1520)는 입력된 영상 정보(텍스처 정보)에 ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset) 중 적어도 하나를 적용할 수 있다. 디코딩 장치의 경우에는, 픽처 향상부(1520)에서 적용되는 픽처 향상 방법과 필터 계수 등이 인코딩 장치에서 결정되어 시그널링 될 수도 있다.
픽처 향상부(1520)에서 복원된 픽처는 도 12 및 도 13에서 설명한 바와 같이, 인핸스먼트 레이어의 인터 예측부(1540) 또는 인트라 예측부(1550)에 전달된다.
도 16은 본 발명에 따라서 수행되는 인터 레이어 예측을 개략적으로 설명하는 플로우 차트이다. 여기서는 설명의 편의를 위해, 멀티 레이어 인코딩 장치 및 멀티 레이어 디코딩 장치(이하, '인코딩 장치/디코딩 장치')가 인핸스먼트 레이어의 현재 블록에 대한 예측 방법을 결정하는 것으로 설명한다.
도 16을 참조하면, 인코딩 장치/디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대하여 인터 레이어 예측을 수행할 것인지를 결정한다(S1610). 이 경우에, 인코딩 장치는 RDO 및/또는 데이터 전송 비용 등을 고려하여 인터 레이어 예측을 수행할 것인지, 인핸스먼트 레이어 내에서 싱글 레이어 예측을 수행할 것인지를 결정할 수 있다. 인코딩 장치는 인터 레이어 예측을 수행할 것인지 싱글 레이어 예측을 수행할 것인지를 지시하는 플래그(flag)를 디코딩 장치에 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 플래그가 지시하는 바에 따라서 인핸스먼트 레이어의 현재 블록에 대하여 인터 레이어 예측을 수행할 것인지 싱글 레이어 예측을 수행할 것인지를 결정할 수 있다. 예컨대, 인터 레이어 예측을 수행할 것인지를 지시하는 플래그가 interLayerPred_flag 라면, interLayerPred_flag 의 값이 1인 경우에 디코딩 장치는 인터 레이어 예측을 수행하고, interLayerPred_flag 의 값이 0인 경우에 디코딩 장치는 싱글 레이어 예측을 수행할 수도 있다. 여기서는 1의 값을 가지는 플래그가 인터 레이어 예측을 지시하는 것으로 설명하였으나, 0의 값을 가지는 플래그가 인터 레이어 예측을 지시하도록 설정할 수 있음은 물론이다.
인터 레이어 예측을 수행하지 않는 경우에는, 인핸스먼트 레이어의 현재 블록에 대하여, 인핸스먼트 레이어 내에서 예측을 수행할 수 있다(S1620). 예컨대, 인핸스먼트 레이어의 현재 블록을 포함하는 슬라이스 타입이 인트라 슬라이스(I-slice)인 경우에는, 인핸스먼트 레이어 내에서 현재 인코딩 또는 디코딩의 대상이 되는 블록(현재 블록)의 주변에 위치하는 복원된 참조 블록(주변 블록)에 기반하여, 인트라 예측을 수행함으로써 현재 블록에 대한 예측을 수행할 수 있다. 이때, 인핸스먼트 레이어의 현재 블록에 적용할 수 있는 인트라 예측 모드의 예는 도 3에서 설명한 바와 같다. 인코딩 장치/디코딩 장치는 도 3에 도시된 바와 같은 방향성 예측 모드 또는 비방향성 예측 모드 중 어느 하나를 이용하여 인핸스먼트 레이어에 대한 인트라 예측을 수행하고, 예측 블록을 생성할 수 있다.
인코딩 장치는 인핸스먼트 레이어의 현재 블록에 사용될 인트라 예측 모드에 관한 정보를 디코딩 장치에 전송하고, 디코딩 장치는 인코딩 장치로부터 수신한 정보가 지시하는 인트라 예측 모드에 따라서 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.
또한, 인핸스먼트 레이어의 현재 블록을 포함하는 슬라이스 타입이 인터 슬라이스(P-slice, B-slice 등)이고, 인핸스먼트 레이어 내에서 싱글 레이어 예측이 수행되는 경우에, 인코딩 장치/디코딩 장치는 동일한 인핸스먼트 레이어 내의 참조 픽처들을 기반으로 현재 블록에 대한 인터 예측을 수행할 수 있다. 이때, 인코딩 장치/디코딩 장치는 현재 블록에 대하여, 상술한 바와 같이 스킵(skip) 모드, 머지(merge) 모드, AMVP 등과 같은 인터 예측 방법 중 어느 하나를 이용하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
인코딩 장치는 인핸스먼트 레이어의 현재 블록에 사용될 인터 예측 방법에 관한 정보를 디코딩 장치에 전송하고, 디코딩 장치는 인코징 장치로부터 수신한 정보가 지시하는 인터 예측 방법에 따라서 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.
한편, 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 정보로부터 생성한 일반화된 참조 픽처 또는 일반화된 참조 블록에 기반하여, 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다(S1630). 이때 수행되는 인터 레이어 예측 방법은 인핸스먼트 레이어의 슬라이스 타입에 따라서 상이할 수 있다.
인핸스먼트 레이어의 슬라이스 타입에 따라서, 인코딩 장치/디코딩 장치에서 수행되는 인터 레이어 예측을 살펴보면:
-인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인트라 슬라이스(I-slice)이고 인터 레이어 예측이 적용되는 경우
인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 디코딩된 픽처 정보를 이용하여 생성되는 일반화된 참조 픽처 또는 일반화된 참조 블록을 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.
이때, 레이어 간의 픽처 사이즈가 다른 경우에는 참조 레이어의 디코딩된 픽처를 획득한 후, 참조 레이어의 디코딩된 픽처를 인핸스먼트 레이어의 픽처 사이즈에 맞춰 업샘플링(up-sampling)을 수행해서 일반화된 참조 픽처 또는 일반화된 참조 블록을 생성할 수도 있다. 업샘플링은 예컨대, 도 9 또는 도 12에서 설명한 바와 같이 인터 레이어 예측부에서 수행될 수 있다.
업샘플링은 고정된 필터 계수를 사용하는 고정형 필터, 슬라이스, 픽처, 블록에 따라서 적응적으로 필터 계수를 달리하는 적응형 필터 중에서 적어도 하나를 이용하여 수행될 수 있다.
일반화된 참조 픽처를 이용하는 경우.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인트라 슬라이스이고 일반화된 참조 픽처를 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 일반화된 참조 픽처(참조 레이어의 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처)를 포함하는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트를 구성할 수 있다. 인코딩 장치/디코딩 장치는 인핸스 먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함된 일반화된 참조 픽처를 참조 픽처로서 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인터 예측을 수행할 수 있다.
일반화된 참조 픽처를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 경우에, 상술한 바와 같은 AMVP, 머지 모드, 스킵 모드 등의 인터 예측 방법을 사용할 수 있다.
인터 레이어 예측을 수행하는 경우에, 일반화된 참조 픽처(참조 레이어의 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처)를 참조 픽처 리스트에 추가하지 않고서도, 일반화된 참조 픽처를 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용할 수도 있다. 현재 블록의 참조 픽처로서 일반화된 참조 픽처가 사용되는 경우에, 인코딩 장치는 일반화된 참조 픽처를 현재 블록에 대한 참조 픽처로서 지시하는 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처가 일반화된 참조 픽처임을 지시하는 정보를 인코딩 장치로부터 수신하면, 일반화된 참조 픽처를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인터 예측을 수행할 수 있다.
여기서는 설명의 편의를 위해, 일반화된 참조 픽처를 참조 레이어의 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처로서 설명하였으나, 도 14에서 설명한 같이, 베이스 레이어의 디코딩된 픽처에 픽처 향샹(picture enhancement)를 수행하여 일반화된 참조 픽처를 생성할 수도 있다.
픽처 향상은 상술한 바와 같이 참조 픽처로 사용되는 디코딩된 픽처와 원본 픽처 사이의 오차를 최소화하는 방법이다. 다시 말하자면, 픽처 향상은 참조 레이어를 기반으로 생성된 일반화된 참조 픽처와 원본 픽처 사이 오차의 최소화라고 할 수 있다. 이때, 원본 픽처는 인핸스먼트 레이어의 인코딩 장치에 입력되는 픽처를 의미한다.
예컨대, 인코딩 장치는 원본 픽처와 일반화된 참조 픽처 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 픽처를 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 적용하여 일반화된 참조 픽처를 생성할 수 있다.
일반화된 참조 블록을 이용하는 경우.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인트라 슬라이스이고 일반화된 참조 블록을 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 베이스 레이어(참조 레이어)의 디코딩된 픽처를 기반으로 생성한 일반화된 참조 블록으로부터 인핸스먼트 레이어의 현재 블록에 대한 예측 신호들(예측 블록)을 얻을 수 있다.
이때, 참조 레이어(베이스 레이어)와 인핸스먼트 레이어 간에 픽처의 사이즈가 상이하면, 참조 레이어로부터 획득한 디코딩된 픽처에 대하여 업샘플링을 수행할 수 있다. 업샘플링은 예컨대, 도 9 또는 도 12에서 설명한 바와 같이 인터 레이어 예측부에서 수행될 수 있다.
업샘플링은 고정된 필터 계수를 사용하는 고정형 필터, 슬라이스, 픽처, 블록에 따라서 적응적으로 필터 계수를 달리하는 적응형 필터 중에서 적어도 하나를 이용하여 수행될 수 있다.
인터 레이어 예측을 수행하는 함에 있어서, 인핸스먼트 레이어의 현재 블록에 대응되는 참조 레이어(베이스 레이어)의 일반화된 참조 블록으로부터 구한 픽셀 값들을 인핸스먼트 레이어의 현재 블록에 대한 예측 신호(예측 블록)으로 할 수 있다. 이때, 일반화된 참조 블록은 참조 레이어(베이스 레이어)로부터 획득한 디코딩된 픽처를 업샘플링하여 얻은 블록일 수도 있고, 업샘플링하지 않고 얻은 블록일 수도 있다.
인핸스먼트 레이어의 현재 블록은 쿼드 트리 구조에 따른 다양한 블록 크기로 인코딩/디코딩 될 수 있다. 예컨대, 인핸스먼트 레이어의 현재 블록은 CU, PU, TU 중 어느 한 단위로 인코딩/디코딩, 예측 또는 변환될 수 있다. 이 경우에, 일반화된 참조 블록은 인핸스먼트 레이어의 현재 블록 크기에 대응하도록 참조 레이어(베이스 레이어)의 픽셀들로 구성될 수도 있고, 인핸스먼트 레이어의 현재 블록 크기에 대응하도록 업샘플링될 수도 있다.
일반화된 참조 블록이 인핸스먼트 레이어의 인코딩/디코딩 대상 블록(현재 블록)의 원본에 더 가까워질 수 있도록 참조 레이어(베이스 레이어)로부터 획득되는 디코딩된 영상에 대하여도 픽처 향상을 추가적으로 수행할 수 있다. 이 경우에, 픽처 향상은 참조 레이어를 기반으로 생성된 일반화된 참조 블록과 인핸스먼트 레이어의 현재 블록(원본 블록) 사이 오차의 최소화라고 할 수 있다.
인코딩 장치는 원본 픽처와 일반화된 참조 블록 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 블록(decoded block) 또는 업샘플링되지 않은 디코딩 블록에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 블록을 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 블록 또는 업샘플링되지 않은 디코딩 블록에 적용하여 일반화된 참조 블록을 생성할 수 있다.
-인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인터 슬라이스(P-slice, B-slice 등)이고 인터 레이어 예측이 적용되는 경우
인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 부호화 정보 및 레지듀얼 정보를 이용하여 생성된 일반화된 참조 픽처 또는 일반화된 참조 블록을 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수도 있다.
이때, 참조 레이어(베이스 레이어)로부터 획득할 수 있는 부호화 정보는 움직임 벡터, 참조 픽처 인덱스, AMVP 후보 인덱스, 머지 후보 인덱스 등의 움직임 정보 및 인트라 예측 모드 정보를 포함한다.
레이어 간(예컨대, 베이스 레이어(참조 레이어)와 인핸스먼트 레이어 사이) 픽처의 사이즈가 상이한 경우에, 인코딩 장치/디코딩 장치는 참조 레이어로부터 획득한 움직임 정보를 인핸스먼트 레이어의 픽처 사이즈에 맞게 업샘플링할 수 있다.
일반화된 참조 픽처를 사용하는 경우.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인터 슬라이스이고 일반화된 참조 픽처를 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 부호화 정보 및 레지듀얼 정보를 이용하여 생성된 일반화된 참조 픽처를 기반으로 인핸스먼트 레이어의 인코딩 또는 디코딩 대상 블록(현재 블록)에 대한 예측을 수행할 수 있다.
참조 레이어로부터 획득한 움직임 정보와 인핸스먼트 레이어 내의 참조 픽처들을 이용한 움직임 보상(motion compensation)을 통해 생성된 예측 블록을 기반으로 인코딩 장치/디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대한 일반화된 참조 픽처를 생성할 수 있다.
참조 레이어(베이스 레이어)의 참조 블록이 인트라 예측에 의해 인코딩된 경우에는, 참조 블록에 적용된 인트라 예측 모드와 이미 복원된(움직임 보상된) 주변 샘플을 이용하여 생성한 예측 신호들(예측 픽처)을 일반화된 참조 픽처로서 이용할 수 있다. 이때, 상기 예측 신호에 참조 레이어의 레지듀얼 신호을 더하여 생성되는 픽처를 일반화된 참조 픽처로서 이용할 수도 있다.
또한, 참조 레이어(베이스 레이어)의 픽처 사이즈와 인핸스먼트 레이어의 픽처 사이즈가 상이한 경우에는, 참조 레이어의 예측 신호들(예측 블록) 및/또는 레지듀얼 신호들(레지듀얼 블록)을 업샘플링한 후 일반화된 참조 픽처를 생성할 수도 있다.
일반화된 참조 픽처를 포함하는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트를 구성해서, 인핸스먼트 레이어의 현재 블록에 대한 인터 레이어 예측을 수행할 수 있다. 참조 픽처 리스트에 포함된 일반화된 참조 픽처는 인핸스먼트 레이어의 현재 블록에 대하여 인터 예측을 수행하는 경우에 참조 픽처로서 이용될 수 있다.
이때, 상술한 바와 같은 AMVP, 머지 모드, 스킵 모드 등의 인터 예측 방법을 사용하여, 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.
일반화된 참조 픽처를 참조 픽처 리스트에 포함시키는 경우에, 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트 내에서 소정의 참조 픽처를 일반화된 참조 픽처로 대체할 수도 있다. 또한, 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 일반화된 참조 픽처를 단순히 추가할 수도 있다.
뿐만 아니라, 일반화된 참조 픽처를 참조 픽처 리스트에 추가하지 않고, 일반화된 참조 픽처를 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용할 수도 있다. 현재 블록의 참조 픽처로서 일반화된 참조 픽처가 사용되는 경우에, 인코딩 장치는 일반화된 참조 픽처를 현재 블록에 대한 참조 픽처로서 지시하는 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처가 일반화된 참조 픽처임을 지시하는 정보를 인코딩 장치로부터 수신하면, 일반화된 참조 픽처를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인터 예측을 수행할 수 있다.
인핸스먼트 레이어의 슬라이스 타입이 인터 슬라이스인 경우에도, 인핸스먼트 레이어의 슬라이스 타입이 인트라 슬라이스인 경우와 마찬가지로, 픽처 향상(picture enhancement)를 추가적으로 수행할 수 있다. 예컨대, 인코딩 장치는 원본 픽처와 일반화된 참조 픽처 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 픽처를 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 적용하여 일반화된 참조 픽처를 생성할 수 있다.
일반화된 참조 블록을 사용하는 경우.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인터 슬라이스이고 일반화된 참조 블록을 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 부호화 정보 및 레지듀얼 정보를 이용하여 생성한 일반화된 참조 블록으로부터 인핸스먼트 레이어의 인코딩 또는 디코딩 대상 블록(현재 블록)에 대한 예측 신호들(예측 블록)을 얻을 수 있다.
인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)로부터 구한 움직임 정보와 인핸스먼트 레이어 내의 참조 픽처들을 기반으로 움직임 보상을 수행하여 얻은 예측 신호들(예측 블록)로 일반화된 참조 블록을 생성할 수 있다.
참조 레이어(베이스 레이어)의 참조 블록이 인트라 예측에 의해 인코딩된 경우에는, 참조 블록에 적용된 인트라 예측 모드와 이미 복원된(움직임 보상된) 주변 샘플을 이용하여 생성한 예측 신호들(예측 블록)을 일반화된 참조 블록으로서 이용할 수 있다. 이때, 상기 예측 신호에 참조 레이어의 레지듀얼 신호을 더하여 생성되는 픽처를 일반화된 참조 픽처로서 이용할 수도 있다.
일반화된 참조 블록을 이용하는 경우에도, 인코딩 장치/디코딩 장치는 픽처 향상(picture enhancement)를 추가적으로 수행할 수 있다. 인코딩 장치는 원본 픽처와 일반화된 참조 블록 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 블록(decoded block) 또는 업샘플링되지 않은 디코딩 블록에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 블록을 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 블록 또는 업샘플링되지 않은 디코딩 블록에 적용하여 일반화된 참조 블록을 생성할 수 있다.
인코딩 장치/디코딩 장치는 일반화된 참조 블록을 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로서 이용할 수 있다.
인코딩 장치/디코딩 장치는 상술한 바와 같이 인핸스먼트 레이어의 현재 블록에 대한 싱글 레이어 예측 또는 인터 레이어 예측의 결과를 기반으로 인핸스먼트 레이어의 현재 픽처를 복원하거나 인코딩할 수 있다(S1650).
인코딩 장치는 상술한 바와 같이, 예측 결과를 기반으로 생성한 레지듀얼 블록(레지듀얼 신호)를 변환, 양자화, 엔트로피 인코딩하여 디코딩 장치로 전송할 수 있다. 이때, 인코딩 장치는 베이스 레이어 인코딩 장치와 인핸스먼트 레이어 인코딩 장치로부 출력되는 비트스트림을 멀티플레서를 이용해서 다중화하여 전송할 수도 있다.
디코딩 장치 역시, 상술한 바와 같이, 예측에 의해 생성된 예측 블록(예측 신호)과 레지듀얼 블록(레지듀얼 신호)를 기반으로 인핸스먼트 레이어에 의해 지원되는 고화질, 고해상도, 큰 사이즈 및/또는 높은 프레임 레이트의 픽처(또는 비디오)를 복원할 수 있다. 인코딩 장치로 입력되는 비트스트림은 디멀티플렉서에 의해 베이스 레이어와 인핸스먼트 레이어로 분리되어, 각각 베이스 레이어 인코딩 장치와 인핸스먼트 레이어 인코딩 장치에 입력될 수 있다.
상술한 설명에서는, 멀티 레이어 인코딩/디코딩에 있어서 베이스 레이어를 참조 레이어로서, 인핸스먼트 레이어를 인코딩 또는 디코딩 대상 레이어로서 설명하였으나, 이는 설명의 편의를 위해, 두 개의 레이어로 구성된 멀티 레이어 인코딩/디코딩을 가정함에 따른 것이다. 이는 본 발명의 일 예로서, 본 발명은 더블 레이어 구성에 한정되지 않는다. 3이상의 본 발명에서 인코딩 또는 디코딩 대상 레이어는 자신보다 하위의 레이어들 중 적어도 하나를 참조 레이어로 해서 인터 레이어 예측되거나, 인코딩 또는 디코딩 대상 레이어 내에서 싱글 레이어 예측될 수 있다.
상술한 설명에서는, SVC를 수행하기 위해 하위 레이어로부터 획득한 정보를 사이즈에 관하여 업샘플링하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 업샘플링과 같이 상위 레이어의 비디오 정보에 맞춰 하위 레이어의 비디오 정보를 향상(enhancement)시키는 것은 픽처 사이즈뿐만 아니라, 화질, 해상도, 프레이 레이트에 대해서도 동일하게 수행될 수 있다.
상술한 설명에서는 일반화된 참조 픽처와 일반화된 참조 블록을 사용하는 경우를 나누어 설명하였으나, 이는 설명의 편의를 위한 것이다. 일반화된 참조 픽처와 일반화된 참조 블록은 인터 레이어 예측을 위하여 함께 사용될 수도 있고, 어느 하나만 사용될 수도 있다. 일반화된 참조 픽처와 일반화된 참조 블록 중 어느 하나만 사용되는 경우에, 인코딩 장치와 디코딩 장치는 일반화된 참조 블록 생성부와 일반화된 참조 픽처 생성부 중 필요한 구성만을 구비할 수도 있다.
또한, 상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 예컨대, 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다.
Claims (19)
- 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지를 결정하는 단계; 및
인터레이어 예측을 적용하는 경우에, 참조 레이어의 정보로부터 생성한 일반화된 참조 정보를 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계를 포함하며,
상기 참조 레이어의 정보는,
상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 참조 블록의 부호화 정보 및 레지듀얼 정보인 것을 특징으로 하는 인터 레이어 예측 방법. - 제1항에 있어서, 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지는 인터 레이어 예측을 지시하는 플래그 정보를 기반으로 결정되는 것을 특징으로 하는 인터 레이어 예측 방법.
- 제1항에 있어서, 상기 부호화 정보는,
상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 블록에 대한 움직임 벡터 정보, 참조 픽처 정보, 움직임 벡터 예측자 후보 정보, 머지 후보 정보, 인트라 예측 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 인터 레이어 예측 방법. - 제1항에 있어서,
상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 픽처이며,
상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
상기 일반화된 참조 픽처를 상기 현재 블록의 참조 픽처로서 이용하는 것을 특징으로 하는 인터 레이어 예측 방법. - 제4항에 있어서, 상기 일반화된 참조 픽처는,
상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용되는 것을 특징으로 하는 인터 레이어 예측 방법. - 제4항에 있어서, 상기 일반화된 참조 픽처는,
상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법. - 제4항에 있어서, 상기 일반화된 참조 픽처는,
상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처인 것을 특징으로 하는 인터 레이어 예측 방법. - 제1항에 있어서,
상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 블록이며,
상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 하는 것을 특징으로 하는 인터 레이어 예측 방법. - 제8항에 있어서, 상기 일반화된 참조 블록은,
상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법. - 제1항에 있어서,
상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 픽처이며,
상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
상기 일반화된 참조 픽처를 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용하는 것을 특징으로 하는 인터 레이어 예측 방법. - 제10항에 있어서, 상기 일반화된 참조 픽처는,
상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용되는 것을 특징으로 하는 인터 레이어 예측 방법. - 제10항에 있어서, 상기 일반화된 참조 픽처는,
상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법. - 제10항에 있어서, 상기 일반화된 참조 픽처는,
상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처인 것을 특징으로 하는 인터 레이어 예측 방법. - 제1항에 있어서,
상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 블록이며,
상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 하는 것을 특징으로 하는 인터 레이어 예측 방법. - 제14항에 있어서, 상기 일반화된 참조 블록은,
상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법. - 제14항에 있어서, 상기 참조 블록이 인트라 예측된 경우에,
상기 일반화된 참조 블록은,
상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록을 기반으로 생성되는 것을 특징으로 하는 인터 레이어 예측 방법. - 제14항에 있어서, 상기 참조 블록이 인트라 예측된 경우에,
상기 일반화된 참조 블록은,
상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록과 상기 레지듀얼 정보를 기반으로 생성되는 것을 특징으로 하는 인터 레이어 예측 방법. - 베이스 레이어의 입력 영상에 대한 예측을 수행하는 베이스 레이어 인코딩부;
인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하는 인핸스먼트 레이어 인코딩부; 및
상기 인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며,
인터레이어 예측을 적용하는 경우에,
상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며,
상기 인핸스먼트 레이어 인코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 스케일러블 인코딩 장치. - 베이스 레이어의 영상에 대한 예측을 수행하는 베이스 레이어 디코딩부;
인핸스먼트 레이어의 영상에 대한 예측을 수행하는 인핸스먼트 레이어 디코딩부; 및
상기 인핸스먼트 레이어의 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며,
인터 레이어 예측을 적용하는 경우에,
상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며,
상기 인핸스먼트 레이어 디코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 스케일러블 디코딩 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/125,974 US9686544B2 (en) | 2011-06-15 | 2012-06-15 | Method for coding and decoding scalable video and apparatus using same |
| PCT/KR2012/004778 WO2012173440A2 (ko) | 2011-06-15 | 2012-06-15 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20110057906 | 2011-06-15 | ||
| KR1020110057906 | 2011-06-15 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200067143A Division KR20200069272A (ko) | 2011-06-15 | 2020-06-03 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20130000334A true KR20130000334A (ko) | 2013-01-02 |
Family
ID=47833933
Family Applications (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120064634A Ceased KR20120138712A (ko) | 2011-06-15 | 2012-06-15 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020120064635A Ceased KR20130000334A (ko) | 2011-06-15 | 2012-06-15 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020200067144A Ceased KR20200068623A (ko) | 2011-06-15 | 2020-06-03 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020200067143A Ceased KR20200069272A (ko) | 2011-06-15 | 2020-06-03 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020210065506A Ceased KR20210061991A (ko) | 2011-06-15 | 2021-05-21 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020210065505A Ceased KR20210063290A (ko) | 2011-06-15 | 2021-05-21 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020220095953A Ceased KR20220113326A (ko) | 2011-06-15 | 2022-08-02 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120064634A Ceased KR20120138712A (ko) | 2011-06-15 | 2012-06-15 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
Family Applications After (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200067144A Ceased KR20200068623A (ko) | 2011-06-15 | 2020-06-03 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020200067143A Ceased KR20200069272A (ko) | 2011-06-15 | 2020-06-03 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020210065506A Ceased KR20210061991A (ko) | 2011-06-15 | 2021-05-21 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020210065505A Ceased KR20210063290A (ko) | 2011-06-15 | 2021-05-21 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| KR1020220095953A Ceased KR20220113326A (ko) | 2011-06-15 | 2022-08-02 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (8) | US9686544B2 (ko) |
| EP (2) | EP2723079A4 (ko) |
| KR (7) | KR20120138712A (ko) |
| CN (6) | CN108391135B (ko) |
| WO (1) | WO2012173439A2 (ko) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014107577A1 (en) * | 2013-01-04 | 2014-07-10 | Intel Corporation | Inter layer motion data inheritance |
| WO2014116047A1 (ko) * | 2013-01-23 | 2014-07-31 | 삼성전자 주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| WO2014129873A1 (ko) * | 2013-02-25 | 2014-08-28 | 엘지전자 주식회사 | 스케일러빌러티를 지원하는 멀티 레이어 구조의 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치 |
| WO2014129872A1 (ko) * | 2013-02-25 | 2014-08-28 | 삼성전자 주식회사 | 메모리 대역폭 및 연산량을 고려한 스케일러블 비디오 부호화 장치 및 방법, 스케일러블 비디오 복호화 장치 및 방법 |
| WO2014163418A1 (ko) * | 2013-04-04 | 2014-10-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| KR20140121355A (ko) * | 2013-04-04 | 2014-10-15 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| WO2014171768A1 (ko) * | 2013-04-17 | 2014-10-23 | 주식회사 윌러스표준기술연구소 | 비디오 신호 처리 방법 및 장치 |
| WO2015016578A1 (ko) * | 2013-07-30 | 2015-02-05 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015016534A1 (ko) * | 2013-07-30 | 2015-02-05 | 주식회사 케이티 | 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치 |
| WO2015016535A1 (ko) * | 2013-07-30 | 2015-02-05 | 주식회사 케이티 | 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치 |
| WO2015034216A1 (ko) * | 2013-09-03 | 2015-03-12 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015034215A1 (ko) * | 2013-09-03 | 2015-03-12 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015060614A1 (ko) * | 2013-10-22 | 2015-04-30 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015060616A1 (ko) * | 2013-10-22 | 2015-04-30 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015083986A1 (ko) * | 2013-12-03 | 2015-06-11 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| US9762909B2 (en) | 2013-07-30 | 2017-09-12 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US9894369B2 (en) | 2013-07-30 | 2018-02-13 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US10616607B2 (en) | 2013-02-25 | 2020-04-07 | Lg Electronics Inc. | Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor |
| KR20210149673A (ko) * | 2013-04-04 | 2021-12-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9100621B2 (en) * | 2010-12-08 | 2015-08-04 | Lg Electronics Inc. | Intra prediction in image processing |
| US20130107962A1 (en) | 2011-10-26 | 2013-05-02 | Intellectual Discovery Co., Ltd. | Scalable video coding method and apparatus using inter prediction mode |
| US20150043639A1 (en) * | 2012-03-20 | 2015-02-12 | Samsung Electronics Co., Ltd. | Method and device for coding scalable video on basis of coding unit of tree structure, and method and device for decoding scalable video on basis of coding unit of tree structure |
| US9380307B2 (en) * | 2012-11-19 | 2016-06-28 | Qualcomm Incorporated | Method and system for intra base layer (BL) transform in video coding |
| US9942545B2 (en) * | 2013-01-03 | 2018-04-10 | Texas Instruments Incorporated | Methods and apparatus for indicating picture buffer size for coded scalable video |
| CN103916673B (zh) * | 2013-01-06 | 2017-12-22 | 华为技术有限公司 | 基于双向预测的编码方法、解码方法和装置 |
| EP2804374A1 (en) | 2013-02-22 | 2014-11-19 | Thomson Licensing | Coding and decoding methods of a picture block, corresponding devices and data stream |
| EP2804375A1 (en) | 2013-02-22 | 2014-11-19 | Thomson Licensing | Coding and decoding methods of a picture block, corresponding devices and data stream |
| KR102177831B1 (ko) | 2013-04-05 | 2020-11-11 | 삼성전자주식회사 | 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치 |
| KR20140122189A (ko) * | 2013-04-05 | 2014-10-17 | 한국전자통신연구원 | 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치 |
| CN105122801A (zh) * | 2013-04-17 | 2015-12-02 | 韦勒斯标准与技术协会公司 | 视频信号处理方法及装置 |
| CN105122800A (zh) * | 2013-04-17 | 2015-12-02 | 韦勒斯标准与技术协会公司 | 视频信号处理方法及装置 |
| US9648326B2 (en) * | 2013-07-02 | 2017-05-09 | Qualcomm Incorporated | Optimizations on inter-layer prediction signalling for multi-layer video coding |
| KR102222311B1 (ko) * | 2013-07-09 | 2021-03-04 | 한국전자통신연구원 | 영상의 복호화 방법 및 이를 이용하는 장치 |
| US9510001B2 (en) | 2013-07-09 | 2016-11-29 | Electronics And Telecommunications Research Institute | Video decoding method and apparatus using the same |
| JP6261215B2 (ja) * | 2013-07-12 | 2018-01-17 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| EP3021590A4 (en) * | 2013-07-12 | 2017-03-29 | Sony Corporation | Image coding device and method |
| CN105379276A (zh) | 2013-07-15 | 2016-03-02 | 株式会社Kt | 可伸缩视频信号编码/解码方法和装置 |
| KR20150009466A (ko) * | 2013-07-15 | 2015-01-26 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015009021A1 (ko) * | 2013-07-15 | 2015-01-22 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| KR20150009468A (ko) * | 2013-07-15 | 2015-01-26 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| US9818422B2 (en) * | 2013-08-30 | 2017-11-14 | The Regents Of The University Of California | Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks |
| CN105519115A (zh) * | 2013-09-10 | 2016-04-20 | 株式会社Kt | 用于对可扩展视频信号进行编码/解码的方法及装置 |
| KR20150033576A (ko) * | 2013-09-24 | 2015-04-01 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015060642A1 (ko) * | 2013-10-22 | 2015-04-30 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015060641A1 (ko) * | 2013-10-22 | 2015-04-30 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| KR20150050409A (ko) | 2013-10-29 | 2015-05-08 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| US10432928B2 (en) | 2014-03-21 | 2019-10-01 | Qualcomm Incorporated | Using a current picture as a reference for video coding |
| CN104469369B (zh) * | 2014-11-17 | 2017-10-31 | 何震宇 | 一种利用解码端信息提高svc性能的方法 |
| KR20170101983A (ko) * | 2014-12-31 | 2017-09-06 | 노키아 테크놀로지스 오와이 | 스케일러블 비디오 코딩 및 디코딩을 위한 계층 간 예측 |
| US20160227235A1 (en) * | 2015-02-02 | 2016-08-04 | Yaniv Frishman | Wireless bandwidth reduction in an encoder |
| CN115134594B (zh) | 2015-06-05 | 2024-07-23 | 杜比实验室特许公司 | 用于执行帧间预测的图像编解码方法、比特流存储方法 |
| CN109076252B (zh) * | 2016-02-16 | 2022-07-01 | 弗劳恩霍夫应用研究促进协会 | 使用自适应流传输协议取回视频的设备及其方法 |
| CN114286091B (zh) * | 2016-09-05 | 2024-06-04 | 罗斯德尔动力有限责任公司 | 图像编码和解码方法、比特流存储介质及数据传输方法 |
| EP3301925A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method for local inter-layer prediction intra based |
| WO2018070632A1 (ko) * | 2016-10-11 | 2018-04-19 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 디코딩 방법 및 장치 |
| KR20190112723A (ko) * | 2017-02-03 | 2019-10-07 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
| KR102393736B1 (ko) | 2017-04-04 | 2022-05-04 | 한국전자통신연구원 | 영상 부호화 및 복호화 장치 |
| GB2569547B (en) | 2017-12-19 | 2021-05-12 | Samsung Electronics Co Ltd | Reconstruction of original images from modified images |
| WO2020130577A1 (ko) * | 2018-12-18 | 2020-06-25 | 엘지전자 주식회사 | 이차 변환에 기반한 영상 코딩 방법 및 그 장치 |
| CN111491168A (zh) * | 2019-01-29 | 2020-08-04 | 华为软件技术有限公司 | 视频编解码方法、解码器、编码器和相关设备 |
| JP7692827B2 (ja) | 2019-06-21 | 2025-06-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び復号装置 |
| US20230055497A1 (en) * | 2020-01-06 | 2023-02-23 | Hyundai Motor Company | Image encoding and decoding based on reference picture having different resolution |
| US20230141312A1 (en) * | 2020-04-14 | 2023-05-11 | V-Nova International Limited | Transformed coefficient ordering for entropy coding |
| EP3989587A1 (en) * | 2020-10-21 | 2022-04-27 | Axis AB | Image processing device and method of pre-processing images of a video stream before encoding |
| CA3142044A1 (en) * | 2020-12-14 | 2022-06-14 | Comcast Cable Communications, Llc | Methods and systems for improved content encoding |
| US11595665B2 (en) | 2021-02-11 | 2023-02-28 | Qualcomm Incorporated | Upsampling reference pixels for intra-prediction in video coding |
| CN115134597B (zh) * | 2021-03-29 | 2025-09-05 | 华为技术有限公司 | 增强层编解码方法和装置 |
| EP4422176A4 (en) * | 2021-11-23 | 2024-11-20 | Huawei Technologies Co., Ltd. | VIDEO CODING METHOD AND ASSOCIATED APPARATUS |
| US12363325B2 (en) | 2022-10-26 | 2025-07-15 | Electronics And Telecommunications Research Institute | Method and apparatus for image encoding, and method and apparatus for image decoding |
Family Cites Families (87)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| US7929610B2 (en) * | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
| US20070140349A1 (en) * | 2004-03-01 | 2007-06-21 | Koninklijke Philips Electronics, N.V. | Video encoding method and apparatus |
| WO2006044370A1 (en) * | 2004-10-13 | 2006-04-27 | Thomson Licensing | Method and apparatus for complexity scalable video encoding and decoding |
| DE102004059978B4 (de) * | 2004-10-15 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium |
| US20060153294A1 (en) * | 2005-01-12 | 2006-07-13 | Nokia Corporation | Inter-layer coefficient coding for scalable video coding |
| KR100885443B1 (ko) * | 2005-04-06 | 2009-02-24 | 엘지전자 주식회사 | 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법 |
| KR100703774B1 (ko) * | 2005-04-13 | 2007-04-06 | 삼성전자주식회사 | 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치 |
| JP4528694B2 (ja) * | 2005-08-12 | 2010-08-18 | 株式会社東芝 | 動画像符号化装置 |
| US8879635B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| JP4534935B2 (ja) * | 2005-10-04 | 2010-09-01 | 株式会社日立製作所 | トランスコーダ、記録装置及びトランスコード方法 |
| CN101317459A (zh) * | 2005-10-11 | 2008-12-03 | 诺基亚公司 | 用于可伸缩视频编码的有效解码图像缓存管理 |
| KR100763194B1 (ko) * | 2005-10-14 | 2007-10-04 | 삼성전자주식회사 | 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치 |
| BRPI0616745A2 (pt) * | 2005-10-19 | 2011-06-28 | Thomson Licensing | codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável |
| KR100750145B1 (ko) * | 2005-12-12 | 2007-08-21 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
| US7956930B2 (en) * | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
| US8457201B2 (en) * | 2006-01-09 | 2013-06-04 | Lg Electronics Inc. | Inter-layer prediction method for video signal |
| JP2009522974A (ja) * | 2006-01-09 | 2009-06-11 | ノキア コーポレイション | 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 |
| JP5227187B2 (ja) * | 2006-01-09 | 2013-07-03 | トムソン ライセンシング | マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置 |
| US8315308B2 (en) * | 2006-01-11 | 2012-11-20 | Qualcomm Incorporated | Video coding with fine granularity spatial scalability |
| US8619865B2 (en) * | 2006-02-16 | 2013-12-31 | Vidyo, Inc. | System and method for thinning of scalable video coding bit-streams |
| WO2007111450A1 (en) * | 2006-03-24 | 2007-10-04 | Electronics And Telecommunications Research Institute | Coding method of reducing interlayer redundancy using mition data of fgs layer and device thereof |
| US8320450B2 (en) * | 2006-03-29 | 2012-11-27 | Vidyo, Inc. | System and method for transcoding between scalable and non-scalable video codecs |
| KR100781524B1 (ko) * | 2006-04-04 | 2007-12-03 | 삼성전자주식회사 | 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치 |
| KR101311656B1 (ko) * | 2006-05-05 | 2013-09-25 | 톰슨 라이센싱 | 스케일러블 비디오 코딩을 위한 간략화된 레이어간 모션 예측 |
| US8369417B2 (en) * | 2006-05-19 | 2013-02-05 | The Hong Kong University Of Science And Technology | Optimal denoising for video coding |
| US8422555B2 (en) * | 2006-07-11 | 2013-04-16 | Nokia Corporation | Scalable video coding |
| US8275045B2 (en) * | 2006-07-12 | 2012-09-25 | Qualcomm Incorporated | Video compression using adaptive variable length codes |
| US8320460B2 (en) * | 2006-09-18 | 2012-11-27 | Freescale, Semiconductor, Inc. | Dyadic spatial re-sampling filters for inter-layer texture predictions in scalable image processing |
| US9014280B2 (en) * | 2006-10-13 | 2015-04-21 | Qualcomm Incorporated | Video coding with adaptive filtering for motion compensated prediction |
| JP2009540666A (ja) * | 2006-11-09 | 2009-11-19 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号のデコーディング／エンコーディング方法及び装置 |
| CN101888555B (zh) * | 2006-11-17 | 2013-04-03 | Lg电子株式会社 | 用于解码/编码视频信号的方法及装置 |
| KR20090004658A (ko) * | 2007-07-02 | 2009-01-12 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| KR20090004660A (ko) * | 2007-07-02 | 2009-01-12 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| KR20090004661A (ko) * | 2007-07-04 | 2009-01-12 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| CN101163241B (zh) * | 2007-09-06 | 2010-09-29 | 武汉大学 | 一种视频序列编解码系统 |
| US8938009B2 (en) * | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
| US8848787B2 (en) * | 2007-10-15 | 2014-09-30 | Qualcomm Incorporated | Enhancement layer coding for scalable video coding |
| KR20150126728A (ko) * | 2007-10-19 | 2015-11-12 | 톰슨 라이센싱 | 조합된 공간 및 비트 심도 확장성 |
| CN101198064A (zh) * | 2007-12-10 | 2008-06-11 | 武汉大学 | 一种分辨率分层技术中的运动矢量预测方法 |
| CA2650151C (en) * | 2008-01-17 | 2013-04-02 | Lg Electronics Inc. | An iptv receiving system and data processing method |
| KR101460608B1 (ko) * | 2008-03-04 | 2014-11-14 | 삼성전자주식회사 | 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치 |
| US7930515B2 (en) | 2008-07-29 | 2011-04-19 | International Business Machines Corporation | Virtual memory management |
| US8213503B2 (en) * | 2008-09-05 | 2012-07-03 | Microsoft Corporation | Skip modes for inter-layer residual video coding and decoding |
| US8660176B2 (en) * | 2008-09-26 | 2014-02-25 | Qualcomm Incorporated | Resolving geometric relationships among video data units |
| US8634457B2 (en) * | 2008-09-26 | 2014-01-21 | Qualcomm Incorporated | Determining availability of video data units |
| US8724697B2 (en) * | 2008-09-26 | 2014-05-13 | Qualcomm Incorporated | Locating motion vectors for video data units |
| US9078007B2 (en) * | 2008-10-03 | 2015-07-07 | Qualcomm Incorporated | Digital video coding with interpolation filters and offsets |
| US8483285B2 (en) * | 2008-10-03 | 2013-07-09 | Qualcomm Incorporated | Video coding using transforms bigger than 4×4 and 8×8 |
| US8265152B2 (en) * | 2008-10-10 | 2012-09-11 | Arecont Vision, Llc. | System and method for low-latency processing of intra-frame video pixel block prediction |
| US20100098156A1 (en) * | 2008-10-16 | 2010-04-22 | Qualcomm Incorporated | Weighted prediction based on vectorized entropy coding |
| KR101590500B1 (ko) * | 2008-10-23 | 2016-02-01 | 에스케이텔레콤 주식회사 | 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체 |
| WO2010085361A2 (en) * | 2009-01-26 | 2010-07-29 | Thomson Licensing | Frame packing for video coding |
| KR101557504B1 (ko) * | 2009-04-13 | 2015-10-07 | 삼성전자주식회사 | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 |
| US20120044322A1 (en) * | 2009-05-01 | 2012-02-23 | Dong Tian | 3d video coding formats |
| US9069713B2 (en) * | 2009-06-05 | 2015-06-30 | Qualcomm Incorporated | 4X4 transform for media coding |
| CN101873484B (zh) * | 2009-08-13 | 2012-05-30 | 杭州海康威视软件有限公司 | 分层视频编码中编码模式选择方法及装置 |
| KR101066117B1 (ko) * | 2009-11-12 | 2011-09-20 | 전자부품연구원 | 스케일러블 영상 코딩 방법 및 장치 |
| KR20110065089A (ko) * | 2009-12-09 | 2011-06-15 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| US8410959B2 (en) * | 2010-04-09 | 2013-04-02 | Qualcomm, Incorporated | Variable length codes for coding of video data |
| US9225961B2 (en) * | 2010-05-13 | 2015-12-29 | Qualcomm Incorporated | Frame packing for asymmetric stereo video |
| KR20120000485A (ko) * | 2010-06-25 | 2012-01-02 | 삼성전자주식회사 | 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법 |
| GB2483294B (en) * | 2010-09-03 | 2013-01-02 | Canon Kk | Method and device for motion estimation of video data coded according to a scalable coding structure |
| US8923395B2 (en) * | 2010-10-01 | 2014-12-30 | Qualcomm Incorporated | Video coding using intra-prediction |
| US9008175B2 (en) * | 2010-10-01 | 2015-04-14 | Qualcomm Incorporated | Intra smoothing filter for video coding |
| CN103155559B (zh) * | 2010-10-12 | 2016-01-06 | 杜比实验室特许公司 | 用于帧兼容视频传输的联合层优化 |
| US9008181B2 (en) * | 2011-01-24 | 2015-04-14 | Qualcomm Incorporated | Single reference picture list utilization for interprediction video coding |
| US9930366B2 (en) * | 2011-01-28 | 2018-03-27 | Qualcomm Incorporated | Pixel level adaptive intra-smoothing |
| US20120236115A1 (en) * | 2011-03-14 | 2012-09-20 | Qualcomm Incorporated | Post-filtering in full resolution frame-compatible stereoscopic video coding |
| US9641866B2 (en) * | 2011-08-18 | 2017-05-02 | Qualcomm Incorporated | Applying partition-based filters |
| US10070152B2 (en) * | 2011-08-24 | 2018-09-04 | Texas Instruments Incorporated | Sample adaptive offset (SAO) parameter signaling |
| AU2011236109B2 (en) * | 2011-10-18 | 2015-02-19 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit |
| US20130188719A1 (en) * | 2012-01-20 | 2013-07-25 | Qualcomm Incorporated | Motion prediction in svc using motion vector for intra-coded block |
| WO2013156679A1 (en) * | 2012-04-16 | 2013-10-24 | Nokia Corporation | Method and apparatus for video coding |
| US10205961B2 (en) * | 2012-04-23 | 2019-02-12 | Qualcomm Incorporated | View dependency in multi-view coding and 3D coding |
| US9344718B2 (en) * | 2012-08-08 | 2016-05-17 | Qualcomm Incorporated | Adaptive up-sampling filter for scalable video coding |
| US10448032B2 (en) * | 2012-09-04 | 2019-10-15 | Qualcomm Incorporated | Signaling of down-sampling location information in scalable video coding |
| US9906786B2 (en) * | 2012-09-07 | 2018-02-27 | Qualcomm Incorporated | Weighted prediction mode for scalable video coding |
| US10136143B2 (en) * | 2012-12-07 | 2018-11-20 | Qualcomm Incorporated | Advanced residual prediction in scalable and multi-view video coding |
| US10021414B2 (en) * | 2013-01-04 | 2018-07-10 | Qualcomm Incorporated | Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures |
| US9467707B2 (en) * | 2013-03-05 | 2016-10-11 | Qualcomm Incorporated | Parallel processing for video coding |
| US20140301463A1 (en) * | 2013-04-05 | 2014-10-09 | Nokia Corporation | Method and apparatus for video coding and decoding |
| US9674530B1 (en) * | 2013-04-30 | 2017-06-06 | Google Inc. | Hybrid transforms in video coding |
| GB2516424A (en) * | 2013-07-15 | 2015-01-28 | Nokia Corp | A method, an apparatus and a computer program product for video coding and decoding |
| US10284876B2 (en) * | 2013-07-18 | 2019-05-07 | Samsung Electronics Co., Ltd | Intra scene prediction method of depth image for interlayer video decoding and encoding apparatus and method |
| US9641851B2 (en) * | 2014-04-18 | 2017-05-02 | Qualcomm Incorporated | Conformance window information in multi-layer coding |
| US10455242B2 (en) * | 2015-03-04 | 2019-10-22 | Qualcomm Incorporated | Signaling output indications in codec-hybrid multi-layer video coding |
-
2012
- 2012-06-15 CN CN201810093972.8A patent/CN108391135B/zh active Active
- 2012-06-15 CN CN201810093971.3A patent/CN108391137B/zh active Active
- 2012-06-15 EP EP12801420.6A patent/EP2723079A4/en not_active Ceased
- 2012-06-15 US US14/125,974 patent/US9686544B2/en active Active
- 2012-06-15 WO PCT/KR2012/004777 patent/WO2012173439A2/ko not_active Ceased
- 2012-06-15 KR KR1020120064634A patent/KR20120138712A/ko not_active Ceased
- 2012-06-15 CN CN201280039873.2A patent/CN103765899B/zh active Active
- 2012-06-15 CN CN201810093965.8A patent/CN108337522B/zh active Active
- 2012-06-15 CN CN201810094072.5A patent/CN108391136B/zh active Active
- 2012-06-15 EP EP21195537.2A patent/EP3958569A1/en not_active Withdrawn
- 2012-06-15 US US14/125,840 patent/US9686543B2/en active Active
- 2012-06-15 CN CN201810093944.6A patent/CN108337521B/zh active Active
- 2012-06-15 KR KR1020120064635A patent/KR20130000334A/ko not_active Ceased
-
2017
- 2017-05-03 US US15/585,687 patent/US10142648B2/en active Active
-
2018
- 2018-10-22 US US16/166,712 patent/US10819991B2/en active Active
-
2020
- 2020-06-03 KR KR1020200067144A patent/KR20200068623A/ko not_active Ceased
- 2020-06-03 KR KR1020200067143A patent/KR20200069272A/ko not_active Ceased
- 2020-09-11 US US17/018,245 patent/US11412240B2/en active Active
-
2021
- 2021-05-21 KR KR1020210065506A patent/KR20210061991A/ko not_active Ceased
- 2021-05-21 KR KR1020210065505A patent/KR20210063290A/ko not_active Ceased
-
2022
- 2022-06-29 US US17/852,523 patent/US11838524B2/en active Active
- 2022-08-02 KR KR1020220095953A patent/KR20220113326A/ko not_active Ceased
-
2023
- 2023-10-23 US US18/492,046 patent/US12262034B2/en active Active
-
2025
- 2025-02-13 US US19/053,357 patent/US20250184507A1/en active Pending
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014107577A1 (en) * | 2013-01-04 | 2014-07-10 | Intel Corporation | Inter layer motion data inheritance |
| US10368089B2 (en) | 2013-01-23 | 2019-07-30 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus, and video decoding method and apparatus |
| WO2014116047A1 (ko) * | 2013-01-23 | 2014-07-31 | 삼성전자 주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| WO2014129873A1 (ko) * | 2013-02-25 | 2014-08-28 | 엘지전자 주식회사 | 스케일러빌러티를 지원하는 멀티 레이어 구조의 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치 |
| WO2014129872A1 (ko) * | 2013-02-25 | 2014-08-28 | 삼성전자 주식회사 | 메모리 대역폭 및 연산량을 고려한 스케일러블 비디오 부호화 장치 및 방법, 스케일러블 비디오 복호화 장치 및 방법 |
| US10616607B2 (en) | 2013-02-25 | 2020-04-07 | Lg Electronics Inc. | Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor |
| US10440371B2 (en) | 2013-04-04 | 2019-10-08 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device |
| KR20140121355A (ko) * | 2013-04-04 | 2014-10-15 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| KR20220103661A (ko) * | 2013-04-04 | 2022-07-22 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| US10440372B2 (en) | 2013-04-04 | 2019-10-08 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device |
| US9924180B2 (en) | 2013-04-04 | 2018-03-20 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device |
| US10499067B2 (en) | 2013-04-04 | 2019-12-03 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device |
| US12177461B2 (en) | 2013-04-04 | 2024-12-24 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device |
| US10432950B2 (en) | 2013-04-04 | 2019-10-01 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device |
| KR20230161912A (ko) * | 2013-04-04 | 2023-11-28 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| US11778206B2 (en) | 2013-04-04 | 2023-10-03 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device |
| KR20230034281A (ko) * | 2013-04-04 | 2023-03-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| WO2014163418A1 (ko) * | 2013-04-04 | 2014-10-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| KR20210013254A (ko) * | 2013-04-04 | 2021-02-03 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| KR20210149673A (ko) * | 2013-04-04 | 2021-12-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
| WO2014171768A1 (ko) * | 2013-04-17 | 2014-10-23 | 주식회사 윌러스표준기술연구소 | 비디오 신호 처리 방법 및 장치 |
| WO2015016535A1 (ko) * | 2013-07-30 | 2015-02-05 | 주식회사 케이티 | 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치 |
| US10148950B2 (en) | 2013-07-30 | 2018-12-04 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US9894357B2 (en) | 2013-07-30 | 2018-02-13 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US9769478B2 (en) | 2013-07-30 | 2017-09-19 | Kt Corporation | Scalable video signal encoding/decoding method and apparatus |
| US9762910B2 (en) | 2013-07-30 | 2017-09-12 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US9762909B2 (en) | 2013-07-30 | 2017-09-12 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| WO2015016578A1 (ko) * | 2013-07-30 | 2015-02-05 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015016534A1 (ko) * | 2013-07-30 | 2015-02-05 | 주식회사 케이티 | 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치 |
| US10148952B2 (en) | 2013-07-30 | 2018-12-04 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US10148949B2 (en) | 2013-07-30 | 2018-12-04 | Kt Corporation | Scalable video signal encoding/decoding method and apparatus |
| US9894369B2 (en) | 2013-07-30 | 2018-02-13 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US10154259B2 (en) | 2013-07-30 | 2018-12-11 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| US10200702B2 (en) | 2013-07-30 | 2019-02-05 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| WO2015034216A1 (ko) * | 2013-09-03 | 2015-03-12 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| US10425650B2 (en) | 2013-09-03 | 2019-09-24 | Kt Corporation | Multi-layer video signal encoding/decoding method and apparatus |
| WO2015034215A1 (ko) * | 2013-09-03 | 2015-03-12 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015060616A1 (ko) * | 2013-10-22 | 2015-04-30 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| US10045019B2 (en) | 2013-10-22 | 2018-08-07 | Kt Corporation | Method and device for encoding/decoding multi-layer video signal |
| US10051267B2 (en) | 2013-10-22 | 2018-08-14 | Kt Corporation | Method and device for encoding/decoding multi-layer video signal |
| US10602136B2 (en) | 2013-10-22 | 2020-03-24 | Kt Corporation | Method and apparatus for encoding/decoding multilayer video signal |
| US10602168B2 (en) | 2013-10-22 | 2020-03-24 | Kt Corporation | Method and apparatus for encoding/decoding multilayer video signal |
| US10602137B2 (en) | 2013-10-22 | 2020-03-24 | Kt Corporation | Method and device for encoding/decoding multi-layer video signal |
| US10602169B2 (en) | 2013-10-22 | 2020-03-24 | Kt Corporation | Method and device for encoding/decoding multi-layer video signal |
| US10057589B2 (en) | 2013-10-22 | 2018-08-21 | Kt Corporation | Method and device for encoding/decoding multi-layer video signal |
| US10045036B2 (en) | 2013-10-22 | 2018-08-07 | Kt Corporation | Method and device for encoding/decoding multi-layer video signal |
| US10045020B2 (en) | 2013-10-22 | 2018-08-07 | Kt Corporation | Method and apparatus for encoding/decoding multilayer video signal |
| US9979974B2 (en) | 2013-10-22 | 2018-05-22 | Kt Corporation | Method and apparatus for encoding/decoding multilayer video signal |
| CN105659598A (zh) * | 2013-10-22 | 2016-06-08 | 株式会社Kt | 用于对多层视频信号进行编码/解码的方法和装置 |
| WO2015060614A1 (ko) * | 2013-10-22 | 2015-04-30 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015083986A1 (ko) * | 2013-12-03 | 2015-06-11 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| WO2015083985A1 (ko) * | 2013-12-03 | 2015-06-11 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11838524B2 (en) | Method for coding and decoding scalable video and apparatus using same | |
| KR102209109B1 (ko) | 영상 부호화/복호화 방법 및 장치 | |
| US20140247883A1 (en) | Scalable video encoding and decoding method and apparatus using same | |
| KR20130107861A (ko) | 인터 레이어 인트라 예측 방법 및 장치 | |
| WO2013147557A1 (ko) | 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치 | |
| KR20130037194A (ko) | 비디오 부호화/복호화 방법 및 그 장치 | |
| WO2012173440A2 (ko) | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 | |
| WO2013051899A2 (ko) | 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치 | |
| KR20150054751A (ko) | 영상 복호화 방법 및 이를 이용하는 장치 | |
| KR20210013254A (ko) | 영상 부호화/복호화 방법 및 장치 | |
| KR102506469B1 (ko) | 영상 부호화/복호화 방법 및 장치 | |
| WO2013051896A1 (ko) | 비디오 부호화/복호화 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20120615 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| AMND | Amendment | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20170607 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20120615 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190522 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20200302 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20190522 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| X091 | Application refused [patent] | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20200302 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20190822 Comment text: Amendment to Specification, etc. Patent event code: PX09012R01I Patent event date: 20170607 Comment text: Amendment to Specification, etc. |
|
| E601 | Decision to refuse application | ||
| E801 | Decision on dismissal of amendment | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20200429 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20190522 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| PE0801 | Dismissal of amendment |
Patent event code: PE08012E01D Comment text: Decision on Dismissal of Amendment Patent event date: 20200429 Patent event code: PE08011R01I Comment text: Amendment to Specification, etc. Patent event date: 20200402 Patent event code: PE08011R01I Comment text: Amendment to Specification, etc. Patent event date: 20190822 Patent event code: PE08011R01I Comment text: Amendment to Specification, etc. Patent event date: 20170607 |
|
| A107 | Divisional application of patent | ||
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20200603 Patent event code: PA01071R01D |