KR20130129338A - 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치 - Google Patents

영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
KR20130129338A
KR20130129338A KR1020130125869A KR20130125869A KR20130129338A KR 20130129338 A KR20130129338 A KR 20130129338A KR 1020130125869 A KR1020130125869 A KR 1020130125869A KR 20130125869 A KR20130125869 A KR 20130125869A KR 20130129338 A KR20130129338 A KR 20130129338A
Authority
KR
South Korea
Prior art keywords
information
parameter set
layer
activated
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020130125869A
Other languages
English (en)
Other versions
KR101640583B1 (ko
Inventor
강정원
이하현
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49635785&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20130129338(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20130129338A publication Critical patent/KR20130129338A/ko
Application granted granted Critical
Publication of KR101640583B1 publication Critical patent/KR101640583B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of El Displays (AREA)

Abstract

본 발명에 따른 영상 디코딩 방법은 수신된 픽처를 디코딩하는 단계와; 디코딩된 픽처를 DPB(decoded picture buffer)에 참조 픽처로 표시하는 단계와; 상기 디코딩된 픽처의 다음 픽처에 대한 슬라이스 헤더를 파싱하는 단계와; 상기 슬라이스 헤더에 포함되어 있는 참조 픽처 정보에 기초하여 상기 디코딩된 픽처가 참조 픽처인지 비 참조 픽처인지 여부를 표시하는 단계를 포함할 수 있다.

Description

영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치{VIDEO INFORMATION DECODING METHOD, VIDEO DECODING METHOD AND APPARATUS USING THE SAME}
본 발명은 비디오 부호화 및 복호화 처리에 관한 것으로서, 보다 상세하게는 비트스트림 내 비디오의 정보를 디코딩하는 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.
본 발명의 기술적 과제는 계층적 비트스트림 내 추출 및 스케일러빌리티 정보를 기술하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 유연한 방식으로 다양한 종류의 비트스트림의 스케일러빌리티 정보를 표현하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 계층적 비트스트림 내 추출 및 스케일러빌리티 정보를 패킷 레벨에서의 적응적으로 변환 가능하게 제공하는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시예에 따른 영상 디코딩 방법은 수신된 픽처를 디코딩하는 단계와; 디코딩된 픽처를 DPB(decoded picture buffer)에 참조 픽처로 표시하는 단계와; 상기 디코딩된 픽처의 다음 픽처에 대한 슬라이스 헤더를 파싱하는 단계와; 상기 슬라이스 헤더에 포함되어 있는 참조 픽처 정보에 기초하여 상기 디코딩된 픽처가 참조 픽처인지 비 참조 픽처인지 여부를 표시하는 단계를 포함할 수 있다.
인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛의 NAL 유닛 헤더를 파싱하는 단계를 더 포함하고, 상기 NAL 유닛 헤더는 상기 NAL 유닛이 인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1비트의 플래그 정보를 포함하지 않을 수 있다.
상기 NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 상기 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함할 수 있다.
상기 NAL 유닛에서, 전제 비트스트림에서 비 참조 픽처인지 또는 참조 픽쳐인지 여부를 나타내는 플래그 정보에 사용되었던 1비트는 상기 계층 식별 정보를 시그널링 하기 위하여 사용될 수 있다.
본 발명의 다른 실시예에 따른 영상 인코딩 장치는 해당 슬라이스가 참조하는 참조 픽처 정보를 포함하는 슬라이스 헤더를 인코딩하는 인코딩부와; 상기 슬라이스 헤더를 포함하는 비트스트림을 전송하는 전송부를 포함할 수 있다.
상기 인코딩부는 인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛의 NAL 유닛 헤더를 인코딩하고, 상기 NAL 유닛 헤더는 상기 NAL 유닛이 인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1비트의 플래그 정보를 포함하지 않을 수 있다.
상기 NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 상기 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함할 수 있다.
상기 인코딩부는 전제 비트스트림에서 비 참조 픽처인지 또는 참조 픽쳐인지 여부를 나타내는 플래그 정보에 사용되었던 1비트를 상기 계층 식별 정보의 인코딩에 사용할 수 있다.
본 발명의 다른 형태에 따른 영상 인코딩 방법은 해당 슬라이스가 참조하는 참조 픽처 정보를 포함하는 슬라이스 헤더를 인코딩하는 단계와; 상기 슬라이스 헤더를 포함하는 비트스트림을 전송하는 단계를 포함할 수 있다.
인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛의 NAL 유닛 헤더를 인코딩 하는 단계와; 상기 NAL 유닛을 포함하는 비트스트림을 전송하는 단계를 더 포함하고, 상기 NAL 유닛 헤더는 상기 NAL 유닛이 인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1비트의 플래그 정보를 포함하지 않을 수 있다.
상기 NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 상기 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함할 수 있다.
전제 비트스트림에서 비 참조 픽처인지 또는 참조 픽쳐인지 여부를 나타내는 플래그 정보에 사용되었던 1비트를 상기 계층 식별 정보의 인코딩에 사용될 수 있다.
본 발명의 다른 실시 형태에 따른 영상 디코딩 방법은 활성화되는 파라미터 세트에 대한 정보를 포함하는 SEI(Supplemental enhancement information) 메시지를 수신하는 단계와; 상기 파라미터 세트에 대한 정보를 파싱하는 단계를 포함할 수 있다.
상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함할 수 있다.
상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 상기 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함할 수 있다.
상기 파라미터 세트에 대한 정보는 시간적, 공간적, 화질적, 시점 스케일러빌러티를 제공하는 서브레이어를 추출할 때 이용될 수 있다.
상기 파라미터 세트에 대한 정보는 비디오 코딩 레이어 NALU을 디코딩하기 위한 파라미터 세트들을 참조(활성화)하기 위해 이용될 수 있다.
상기 SEI 메시지는 비디오 파라미터 세트를 인덱싱하는 정보 및 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함하고, 상기 비디오 파라미터 세트를 인덱싱하는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보에 대응하는 비디오 파라미터 세트 및 시퀀스 파라미터 세트 중 적어도 하나를 활성화시키는 단계를 더 포함할 수 있다.
본 발명의 다른 일 예에 따른 영상 인코딩 장치는 활성화되는 파라미터 세트에 대한 정보를 포함하는 SEI(Supplemental enhancement information) 메시지를 인코딩하는 인코딩부와; 상기 SEI 메세지를 포함하는 비트스트림을 전송하는 전송부를 포함할 수 있다.
상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함할 수 있다.
상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 상기 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함할 수 있다.
상기 파라미터 세트에 대한 정보는 시간적, 공간적, 화질적, 시점 스케일러빌러티를 제공하는 서브레이어를 추출할 때 이용될 수 있다.
상기 파라미터 세트에 대한 정보는 비디오 코딩 레이어 NALU을 디코딩하기 위한 파라미터 세트들을 참조(활성화)하기 위해 이용될 수 있다.
본 발명의 또 다른 실시예에 따른 영상 인코딩 방법은 활성화되는 파라미터 세트에 대한 정보를 포함하는 SEI(Supplemental enhancement information) 메시지를 인코딩하는 단계와; 상기 SEI 메세지를 포함하는 비트스트림을 전송하는 단계를 포함할 수 있다.
상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함할 수 있다.
상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 상기 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함할 수 있다.
상기 파라미터 세트에 대한 정보는 시간적, 공간적, 화질적, 시점 스케일러빌러티를 제공하는 서브레이어를 추출할 때 이용될 수 있다.
상기 파라미터 세트에 대한 정보는 비디오 코딩 레이어 NALU을 디코딩하기 위한 파라미터 세트들을 참조(활성화)하기 위해 이용될 수 있다.
본 발명의 일 실시예에 따르면, 계층적 비트스트림 내 추출 및 스케일러빌리티 정보를 기술하는 방법 및 장치가 제공될 수 있다.
본 발명의 일 실시예에 따르면 유연한 방식으로 다양한 종류의 비트스트림의 스케일러빌리티 정보를 표현하는 방법 및 장치가 제공된다. .
본 발명의 다른 실시예에 따르면 계층적 비트스트림 내 추출 및 스케일러빌리티 정보를 패킷 레벨에서의 적응적으로 변환 가능하게 제공하는 방법 및 장치가 제공된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명에 따른 영상 정보의 인코딩 방법을 설명한 제어 흐름도이다.
도 5는 본 발명에 따른 영상 정보의 디코딩 방법을 설명하기 위한 제어 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
*엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.
여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
상기 영상 복호화 장치(200)에 포함되어 있는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270) 중 영상의 복호화에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 등을 다른 구성요소와 구분하여 복호화부 또는 디코딩부로 표현할 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러블 비디오 코딩 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 부호화 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 부호화 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 기본 계층은 참조 계층 또는 Base layer, 향상 계층은 Enhancement layer를 의미할 수 있다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHE(ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
예를 들어, 전송 대역폭이 4Mbps라면 상기 제1향상계층 HD의 프레임 레이트를 줄여서 15Hz이하로 전송할 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은 이하 부호화 관점에서는 스케일러블 비디오 부호화, 복호화 관점에서는 스케일러블 비디오 복호화와 동일한 의미를 가진다.
상술한 바와 같이, 이종의 통신망 및 다양한 단말로 인해 스케일러빌리티는 현재 비디오 포맷의 중요한 기능이 되었다. AVC(Advanced Video Coding)의 확장 표준인 SVC(Scalable Video Coding)는 압축효율을 최대한 유지하면서 다양한 범위의 비트레이트를 가지는 비트스트림을 생성할 수 있도록 개발되었다. 다양한 디바이스 및 네트워크의 특성과 변화를 만족시키기 위해서 SVC 비트스트림은 쉽게 다양한 방식으로 추출될 수 있다. 즉, SVC 표준은 공간적(spatial), 시간적(temporal), 화질(SNR) 스케일러빌리티를 제공한다.
한편, 복수의 계층을 포함하는 비트스트림은 패킷 스위칭 네트워크(packet-switching network)를 통하여 비디오의 적응적 전송을 용이하게 하는 NAL (Network Abstraction Layer) unit들로 구성된다. 복수의 계층과 유사하게 비트스트림 내 복수의 다시점 영상을 포함하는 멀티 뷰 비디오 코딩(multi-view video coding)에서 복수의 시점간의 관계는 복수의 레이어를 지원하는 비디오에서의 공간적 계층(spatial layer)간의 관계와 유사하다.
콘텐츠 전달경로(content delivery path)에서의 모든 노드에서 비트스트림을 효과적이며 효율적으로 변환하기 위해서는 비트스트림의 스케일러빌리티 정보가 매우 중요하다. 현재 단일 레이어에 대한 비디오 코딩에 대한 표준(high efficiency video coding)에서는 NAL Unit(이하, NALU) 헤더(header)에 계층 정보와 관련된 2개의 필드인 temporal_id와 reserved_one_5bits가 존재한다. 3 bits의 길이를 갖는 temporal_id는 비디오 비트스트림의 시간적 레이어(temporal layer)를 나타내며, reserved_one_5bits는 추후에 다른 계층 정보를 나타내기 위한 영역에 해당한다.
시간적 레이어는 비디오 코딩 레이어(video coding layer, VCL) NAL unit으로 구성된 시간적으로 스케일될 수 있는 비트스트림의 레이어를 의미하며, 시간적 레이어는 특정의 temporal_id 값을 갖는다.
본 발명은 복수의 레이어를 지원하는 비트스트림 내에서 영상의 추출 정보(extraction) 및 계층적 정보(scalability information)를 효과적으로 기술하고, 이를 시그널링 하기 위한 방법 및 이를 구현하는 장치에 관한 발명이다.
본 발명에서는 비트스트림을 2가지 타입, 시간 스케일러빌리티(temporal scalability)만을 지원하는 기본 타입(base type)과 시간을 포함한 공간/화질/시점을 지원하는 스케일러빌리티를 가질 수 있는 확장 타입(extended type)으로 나누어 설명한다.
비트스트림의 첫 번째 타입은 단일 계층 비디오를 지원하는 비트스트림에 대한 것이며, 두 번째 타입은 HEVC 기반 계층적 비디오 부호화에서 향상 계층을 위한 것이다. 이하에서는 두 가지 비트스트림 타입들의 스케일러빌리티 정보를 표현하기 위한 개선 방안을 제안한다. 본 발명에 따르면, 확장 타입에서 5bit의 reserved_one_5bits는 스케일러블 계층의 식별자를 나타내는 layer_id로 사용될 수 있다.
NALU 헤더에서 nal_ref_flag 제거
nal_ref_flag는 비 참조 픽처(non-reference picture)를 나타내기 위해서 사용된다. 이 정보는 비 참조 픽처와 참조 픽처(reference picture) 사이의 대략적인 우선 순위를 나타내기는 하지만, 전송을 위한 nal_ref_flag의 사용은 다소 제한적이다.
참조 픽처(Reference picture)는 디코딩 순서상 뒤따라오는 픽처(subsequent pictures)의 디코딩 시 화면 간 예측을 위해 사용될 수 있는 샘플들을 포함하는 픽처를 의미하다.
비 참조 픽처(non-reference picture)는 디코딩 순서상 뒤따라오는 픽처의 디코딩 시 화면 간 예측을 위하여 사용되지 않는 샘플들을 포함하는 픽처를 의미한다.
nal_ref_flag는 인코딩 할 당시 해당 nal 유닛이 전체 비트스트림 상에서 비 참조 픽처인지 참조 픽처인지 여부를 나타내는 정보를 나타내는 플래그이다.
nal_ref_flag가 1이면, NALU는 SPS(sequence parameter set), PPS(picture parameter set), APS(adaptation parameter set) 또는 참조 픽처의 슬라이스를 포함하는 것을 의미하고, nal_ref_flag가 0이면 NALU는 비 참조 픽처의 일부 혹은 전부를 포함하는 슬라이스를 포함하는 것을 의미한다.
이때, nal_ref_flag 값이 1인 NALU는 참조 픽처의 슬라이스를 포함할 수 있으며, nal_ref_flag는 VPS(video parameter set), SPS(sequence parameter set), PPS(picture parameter set)의 NALU들에 대해서 1의 값을 가진다. 특정 픽처의 VCL NALU 중 하나가 nal_ref_flag 값이 0인 경우, 해당 픽처의 모든 VCL NALU에 대해 nal_ref_flag는 0의 값을 가진다.
한편, 모든 비 참조 픽처(non-reference picture)들, 특히 대부분 최상위 시간적 레이어에 해당하는 비 참조 픽처가 추출된다면, 추출 후 남은 모든 픽처들의 nal_ref_flag 는 1이 된다.
그러나, 적응 변환된(추출된) 비트스트림의 일부 픽처들, 즉 남은 비트스트림에서 최상위 시간적 레이어에 해당하는 픽처는 nal_ref_flag가 1이 라고 하더라도 비 참조 픽처들이 된다.
다시 말해서, NALU 헤더의 다른 신택스 요소들(예를 들어, temporal_id)이 적응 변환(추출)을 지원하는데 있어서 보다 효과적일 수 있다. 즉, 비트스트림이 포함하는 전체 시간적 레이어의 개수와 NALU 헤더의 temporal_id 값을 이용하여, 원하는 시간적 레이어를 포함하는 비트스트림을 추출할 수 있다.
또한, nal_ref_flag는 nal_ref_flag를 포함하는 NALU으로 구성된 픽처를 디코딩(복원)한 다음 DPB(decoded picture buffer)와 같은 메모리에 저장할 때, 해당 픽처를 추후에 참조 픽처로 사용할지 여부를 표시할 때도 사용될 수 있다. nal_ref_flag가 1 인 경우 추후에 참조 픽처로 사용되는 것으로 표시하고, nal_ref_flag가 0 인 경우 추후에 참조 픽처로 사용하지 않는 다고 표시할 수 있다.
nal_ref_flag를 통하여 해당 NALU이 비 참조 픽처 인지 참조 픽처 인지 여부를 판단하지 않고, 디코딩된 픽처를 DPB에 저장할 때 참조 픽처로 표시할 수 있다. 이 경우, 디코딩된 픽처가 비 참조 픽처이지만 참조 픽처로 표시되더라도, 디코딩 순서상 해당 픽처의 다음 픽처를 디코딩 함에 있어서, 다음 픽처의 헤더(slice header)에 전달되는 참조 픽처 리스트에 해당 픽처가 포함되어 있지 않을 것이므로, 문제가 발생하지 않는다.
즉, 다음 픽처를 디코딩할 때 슬라이스 헤더에 포함되어 있는 참조 픽처 리스트에 의하여 이전에 디코딩된 픽처가 참조 픽처인지 또는 비 참조 픽처 인지 표시된다. 따라서, nal_ref_flag를 통하여 디코딩된 픽처가 참조 픽처 인지 여부가 판단되지 않고 참조 픽처로 표시된다 하여도 디코딩된 픽처를 참조 픽처 또는 비 참조 픽처로 판단하는데 문제가 발생하지 않는다.
본 발명에서는 NALU 헤더에서 nal_ref_flag을 삭제하거나 nal_ref_flag의 의미(semantics)를 변경할 것을 제안한다. nal_ref_flag 삭제와 관련된 실시예는 다음과 같다.
실시예 1
nal_ref_flag를 slice_ref_flag로 변경하고, 플래그의 위치를 NALU 헤더에서 슬라이스 헤더(slice header)로 옮긴다. 슬라이스 헤더의 신택스는 표 1과 같이 수정될 수 있다.
Figure pat00001
표 1에서, slice_ref_flag의 값이 1이면 슬라이스가 참조 픽처의 일부인 것을 지시하며, 0 이면 슬라이스가 비 참조 픽처의 일부인 것을 지시한다.
실시예 2
nal_ref_flag를 au_ref_flag로 변경하고, 플래그의 위치를 NALU 헤더에서 억세스 유닛 디리미터(access unit delimiter)로 옮긴다. 억세스 유닛 디리미터의 신택스는 표 2과 같을 수 있다.
Figure pat00002
표 2에서, au_ref_flag이 1 이면, 억세스 유닛이 참조 픽처를 포함하는 것을 지시하며, 0 이면 억세스 유닛이 비 참조 픽처를 포함하는 것을 지시한다.
실시예 3
nal_ref_flag을 다른 신택스로 이동시키지 않고 nal_ref_flag을 NALU 헤더에서 삭제한다.
인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1 비트의 플래그 정보인 nal_ref_flag가 삭제되면, nal_ref_flag에 의하여 수행되었던 픽처가 참조 픽처 인지 여부에 대한 판단은 다른 과정을 통하여 수행될 수 있다. 수신된 픽처를 디코딩하고 난 후, 디코딩된 픽처를 DPB(decoded picture buffer)에 무조건 참조 픽처로 표시한다. 즉, 디코딩된 픽처가 참조 픽처인지 여부를 판단하지 않고 참조 픽처로 표시될 수 있다.
그런 후, 디코딩된 픽처의 다음 픽처에 대한 슬라이스 헤더를 파싱하고, 슬라이스 헤더에 포함되어 있는 참조 픽처 정보에 기초하여 디코딩된 픽처가 참조 픽처인지 비 참조 픽처인지 여부를 표시 할 수 있다.
실시예 4
NALU 헤더에서 nal_ref_flag를 삭제하고, 비 참조 픽처의 NALU 이라는 정보를 나타내기 위해서 temporal_id를 사용할 수 있다. temporal_id는 “7”, 또는 비트스트림에 포함된 최대 시간적 레이어의 개수-1 (즉, max_temporal_layers_minus1), 또는“0”을 제외한 기설정된 값이 될 수 있다.
실시예 5
NALU 헤더에서 nal_ref_flag를 삭제하고, 비 참조 픽처의 NALU이라는 정보를 나타내기 위해서 reserved_one_5bits를 priority_id 구성 요소로 사용할 수 있다. priority_id는 해당 NALU의 우선순위(priority)를 나타내는 식별자로서 상이한 공간, 시간 및 화질에 관계없이 우선순위에 따른 비트스트림 축출 기능을 제공하기 위하여 사용된다.
즉, 만약에 temporal_id = Ta가 최상위 시간적 레이어의 식별자라면, temporal_id = Ta 이며 priority_id = 31 (혹은 다른 특정 값)인 NALU를 비 참조 픽처의 NALU 임을 나타내기 위해서 사용한다.
nal_ref_flag을 시그널링 하기 위하여 사용되었던 1 bit은 다음 중 어느 하나로 사용될 수 있다.
(1) nal_unit_type을 지시하는 데 사용될 수 있다. nal_unit_type은 7bits 신호가 될 수 있고, NALU 타입의 개수는 2배로 증가할 수 있다.
(2) temporal_id를 지시하는데 사용될 수 있다. temporal_id는 4bist 신호가 될 수 있으며, 최대 시간적 레이어의 수가 2배로 증가될 수 있다.
(3) layer_id를 지시하기 위해 사용될 수 있다. layer_id는 계층적 비트스트림의 스케일러블 계층의 식별자를 의미하며, reserved_one_5bits 신택스 요소에 의하여 시그널링될 수 있다. 스케일러블 계층을 식별하기 위하여 사용되었던 reserved_one_5bits의 5bit에 nal_ref_flag 의 시그널링을 위해 사용하였던 1 bit이 추가되어 layer_id는 6 bit 신호가 될 수 있다. 6bit을 사용하게 되면 64개의 스케일러블 계층을 식별할 수 있다.
(4) reserved_one_5bits가 priority를 나타내는지의 여부를 알려주는 flag로 사용될 수 있다.
(5) reserved_bit으로 사용될 수 있다.
만약 nal_ref_flag를 NALU 헤더에서 삭제하지 않는다면, nal_ref_flag의 의미는 다음과 같이 수정될 수 있다.
nal_ref_flag가 0이면 NALU는 비 참조 픽처의 슬라이스만을 포함하는 것을 지시하고 nal_ref_flag가 1이면 NALU는 참조 픽처 또는 비 참조 픽처의 슬라이스를 포함할 수 있다는 것을 지시한다.
비디오 파라미터 세트의 활성화 시그널링
비디오 파라미터 세트(video parameter set)는 영상을 디코딩하기 위한 가장 기본적인 정보를 포함하며 기존의 SPS에 존재했던 내용을 포함할 수 있다.
비디오 파라미터 세트에는 시간적 스케일러빌러티를 지원하는 시간적 레이어를 지칭하는 서브 레이어(sub-layer)에 대한 정보와 공간적(spatial), 퀄러티적(quality) 및 시점적(view) 스케일러빌러티를 지원하는 복 수의 계층에 대한 정보를 포함할 수 있다. 즉, 비디오 파라미터 세트는 복수의 계층 정보, 즉 HEVC extension을 위한 신택스를 포함할 수도 있다.
A. 비디오 파라미터 세트(Video Parameter Set)
비디오 파라미터 세트에 대한 신택스는 <표 3>와 같다.
Figure pat00003
표 3에서 대부분의 신택스들은 단일 레이어를 포함하는 비트스트림에 적용되는 SPS 신택스들과 동일한 의미를 가지며, 추가적인 부분은 다음과 같다.
- video_parameter_set_id은 비디오 파라미터 세트(video parameter set)의 식별자를 의미하며, SPS(sequence parameter set), SEI(supplemental enhancement information), 억세스 유닛 디리미터(access unit delimiter)들에서 참조될 수 있다.
- priority_id_flag가 1이면 reserved_one_5bits가 SVC 표준의 priority_id와 동일하게 사용될 수 있음을 나타내고, priority_id_flag가 0이면 reserved_one_5bits가 layer_id로 사용됨을 의미한다.
- extension_info_flag가 0이면 비트스트림이 HEVC의 단일계층 표준을 따른다는 것을 지시하고, 1이면 스케일러빌러티 지원을 위한 향상 계층(HEVC extension을 지원하는 경우)을 나타내고 계층과 관련된 정보가 제공된다.
B. 시퀀스 파라미터 세트(Sequence Parameter Set, SPS) 수정
표 4와 같이 기존 신택스 중 일부는 VPS에 반영되고, SPS에서 삭제될 수 있다. 한편, SPS에는 vps_id 신택스 요소가 추가될 수 있다. vps_id 추가된 SPS 신택스는 표 4와 같다. 표 4에서 삭제된 신택스는 신택스 중간을 지나는 선으로 표현된다.
vps_id는 SPS에 의해 참조되는 비디오 파라미터 세트(video parameter set)를 식별하기 위한 식별자를 지시하며, vps_id는 0에서 X의 범위를 가질 수 있다.
Figure pat00004
C. 비디오 파라미터 세트(Video Parameter Set)를 위한 활성화(activation) 시그널링
슬라이스 헤더에는 해당 슬라이스가 참조하는 픽처 파라미터 세트에 대한 인덱스 정보가 포함되어 있고, 픽처 파라미터 세트에는 해당 픽처가 참조하는 시퀀스 파라미터 세트에 대한 인덱스 정보가 포함되어 있다. 시퀀스 파라미터 세트에는 해당 시퀀스가 참조하는 비디오 파라미터 세트에 대한 정보가 포함되어 있다. 이와 같이 파라미터 세트에 대한 정보를 파싱하여 파싱된 해당 파라미터 세트 정보를 참조하는 것을 활성화(activation)라고 한다.
특정 파라미터 세트에 대한 정보를 이용하기 위하여, 즉 파라미터 세트를 활성화하기 위하여는 슬라이스 헤더부터 점차적으로 파싱되어야 한다. 어느 SPS가 활성화되는지(active) 알기 위해서 모든 슬라이스 헤더(slice header) 및 관련된 PPS가 분석되어야 함을 의미한다.
단일 계층을 포함하는 비트스트림 중 서브 레이어(시간적 레이어) 중 일부를 추출할 때, 추출기(extractor)는 NALU 헤더와 복수의 파라미터 세트(parameter set)들을 분석(파싱)할 필요가 있다.
만약, 비디오 파라미터 세트 또는 시퀀스 파라미터 세트에 NALU의 추출을 위한 정보가 포함되어 있다면 추출기는 슬라이스 헤더부터 순차적으로 상위의 파라미터 세트를 파싱해야 한다. 이는 추출기가 파라미터 세트(parameter set)들과 슬라이스 헤더(slice header)의 모든 신택스 요소들을 이해해야 한다는 것을 의미한다.
또한, 영상의 디코딩 과정에서도 복잡한 파싱 과정 없이 vps_id 또는 sps_id를 찾고 필요한 파라미터 세트만을 활성화할 수 있다. 이 경우, 비디오 파라미터 세트 또는 시퀀스 파라미터 세트가 활성화될 파라미터 인덱스 정보를 포함할 경우 복잡한 슬라이스 헤더(slice header) 및 관련된 PPS에 대한 파싱 절차를 감소시킬 수 있다.
한편 이러한 신택스들의 요소 가운데 일부분만이 비트스트림 추출을 위해서 필요한 정보들을 포함할 수 있다. 그럼에도 불구하고 추출기가 모든 신택스 요소들을 분석하는 것은 커다란 부담이 될 수 있다. 이러한 문제를 해결하기 위해서, 다음과 같은 방법을 제안한다.
본 발명에서, 파라미터 세트의 활성화(activation)는 추출기가 슬라이스 헤더(slice header) 및 이와 관련된 PPS(picture parameter set)의 분석 없이 어떠한 파라미터 세트가 활성화 되는지 알 수 있도록 시그널링 하는 것을 의미한다.
본 발명에 따르면, 어떠한 비디오 파라이터 세트, 시퀀스 파라미터 세트 또는 픽처 파라미터 세트가 활성화되는지 여부를 별도로 시그널링하여 추출기는 모든 슬라이스 헤더(slice header) 및 관련되는 PPS를 분석해야 하는 부담을 감소시킬 수 있다.
비디오 파라미터 세트는 업데이트 될 수도 있다. 추출기가 슬라이스 헤더를 분석하지 않고, 현재 활성화되는 VPS 및 관련된 SPS 혹은 PPS를 알 수 있도록 다음의 방법 가운데 한 가지가 사용될 수 있다.
(1) vps_id, sps_id, pps_id를 억세스 유닛 디리미터(access unit delimiter)에 포함시킬 수 있다. vps_id, sps_id, pps_id은 각각 관련된 AU 내의 NALU들을 위해 사용된 비디오 파라미터 세트, 시퀀스 파라미터 세트, 픽처 파라미터 세트의 식별자들을 나타낸다.
억세스 유닛 디리미터(Access unit delimiter) 내에 각 식별자의 존재 여부를 나타내기 위해서 vps_id_present_flag, sps_id_present_flag, pps_id_present_flag를 사용하였으며, 제안하는 억세스 유닛 디리미터의 신택스는 표 5와 같다.
Figure pat00005
(1-1) 또 다른 방법은 표 6과 같이 sps_id 및 pps_id를 제외하고 vps_id만을 억세스 유닛 디리미터(access unit delimiter)에 포함시킬 수 있다.
Figure pat00006
(2) 비디오 파라미터 세트의 활성화 시그널링을 위한 또 다른 방법은 새로운 SEI 메시지(parameter_set_reference)를 사용하는 것이다. SEI 메시지는 관련된 AU내의 NALU들을 위해 사용된 비디오 파라미터 세트, 시퀀스 파라미터 세트, 픽처 파라미터 세트의 식별자들을 나타내는 vps_id, sps_id, pps_id의 존재 여부를 알려주기 위한 신택스를 포함한다.
각 식별자의 존재 여부를 나타내기 위해서 vps_id_present_flag, sps_id_present_flag, pps_id_present_flag신택스가 사용될 수 있으며, SEI 신택스는 표 7과 같다.
Figure pat00007
(2-1) 또한, <표 8>과 같이 pps_id를 제외하고 sps_id와 vps_id를 SEI 메시지에 포함시켜서 활성화를 알려줄 수도 있다. SEI 메시지에 포함되어 있는 sps_id와 vps_id는 해당 SEI 메시지와 관련된 억세스 유닛(access unit)의 비디오 코딩 레이어 NALU이 참조하는 sps_id와 vps_id를 포함할 수 있다. 따라서, sps_id와 vps_id는 활성화되는 가능성이 있는 파라미터 세트의 정보를 나타낼 수 있다.
Figure pat00008
표 8에서, vps_id는 현재 활성화되는 비디오 파라미터 세트의 video_parameter_set_id를 나타낸다. vps_id 값은 0~15의 값을 가질 수 있다.
sps_id_present_flag 가 1의 값을 가지는 경우 현재 활성화 되는 시퀀스 파라미터 세트의 sequence_parameter_set_id 가 해당 SEI 메시지에 포함되어 있다는 것을 나타내고, sps_id_present_flag가 0의 값을 가지는 경우, 활성화되는 시퀀스 파라미터 세트의 sequence_parameter_set_id가 해당 SEI 메시지에 포함되지 않음을 나타낸다.
sps_id는 현재 활성화되는 시퀀스 파라미터 세트의 sequence_parameter_set_id를 나타낸다. sps_id 는 0~31의 값, 더 한정적으로는 0~15의 값을 가질 수 있다.
psr_extension_flag 가 0인 경우 parameter set reference SEI message extension 신택스 요소가 parameter set reference SEI 메시지에 포함되지 않음을 나타내고, psr_extension_flag는 1이면 parameter set reference SEI message extension 신택스 요소를 parameter set reference SEI 메시지가 포함되어 신택스를 확장하여 사용하는 것을 의미한다.
psr_extension_length는 psr_extension_data의 길이를 나타낸다. psr_extension_length는 0~256의 범위를 값을 가질 수 있고, psr_extension_data_byte는 어떠한 값도 가질 수 있다.
(2-2) 또한, 표 9와 같이 pps_id를 제외하고 한 개 이상의 sps_id와 vps_id를 SEI 메시지에 포함시켜서 시그널링 할 수도 있다.
Figure pat00009
표 9에서, vps_id는 현재 활성화되는 비디오 파라미터 세트의 video_parameter_set_id를 나타낸다. vps_id는 0~15의 값을 가질 수 있다.
num_reference_sps는 현재 활성화되는 vps_id를 참조하는 시퀀스 파라미터 세트의 개수를 나타낸다.
sps_id(i)는 현재 활성화되는 시퀀스 파라미터 세트의 sequence_parameter_set_id를 나타내며, sps_id는 0~31의 값, 더 한정적으로는 0~15의 값을 가질 수 있다.
(2-3) 또한, 표 10과 같이 sps_id 및 pps_id를 제외하고 vps_id만을 SEI 메시지에 포함시켜서 시그널링 할 수도 있다.
Figure pat00010
(3) 비디오 파라미터 세트의 활성화 시그널링을 위한 또 다른 방법은 Buffering period SEI 메시지에 vps_id, sps_id, pps_id를 알려주는 정보를 포함시키는 것이다. 표 11은 vps_id, sps_id, pps_id 식별자의 존재 여부를 나타내기 위한 vps_id_present_flag, sps_id_present_flag, pps_id_present_flag를 포함하고 있는 신택스를 나타낸다.
Figure pat00011
(3-1) 또한, 표 12와 같이, sps_id 및 pps_id를 제외하고 vps_id만을 Buffering period SEI 메시지에 포함시켜서 파라미터 세트의 활성화를 시그널링 할 수도 있다.
Figure pat00012
(4) 파라미터 세트의 활성화 시그널링을 위한 또 다른 방법은 Recovery point SEI 메시지에 vps_id, sps_id, pps_id 들을 알려주는 정보를 포함시키는 것이다. 표 13은 vps_id, sps_id, pps_id 식별자의 존재 여부를 나타내기 위한 vps_id_present_flag, sps_id_present_flag, pps_id_present_flag를 포함하고 있는 신택스를 나타낸다.
Figure pat00013
(4-1) 또한, 표 14와 같이, sps_id 및 pps_id를 제외하고 vps_id만을 Recovery point SEI 메시지에 포함시켜서 알려주는 방법도 있을 수 있다.
Figure pat00014
상술한 vps_id 혹은 sps_id를 전달하는 메시지들은 IRAP(intra random access point) 억세스 유닛에 포함될 수 있다.
상술한 정보 시그널링 방법 중 적어도 하나가 억세스 유닛에 포함되어 사용된다면, 추출기는 비트스트림을 추출하기 위해서 상기 시그널링 방법을 통하여 vps_id, sps_id, pps_id 값을 알아내고, 하나 이상의 vps/sps/pps를 관리할 수 있다.
또한, 디코딩 장치 또는 디코딩을 수행하는 디코딩부는 상기 시그널링 방법을 통하여 vps_id, sps_id, pps_id 값을 알아 내고, 해당 파라미터 세트를 활성화하여 파라미터 세트와 관련된 AU들을 디코딩할 수 있다.
확장 타입(Extended type)에서 비트스트림의 표현
이하에서는 계층 확장을 지원하는 비트스트림을 포함하는 경우 스케일러블 계층에 대한 정보를 표시하고 이를 시그널링 하기 위한 VPS의 extension_info()와 새로운 SEI 메시지를 제안한다. 확장 타입(Extended type)에서 비트스트림을 표현하기 위하여는 다음과 같은 정보들이 시그널링 될 수 있다.
layer_id는 레이어의 우선선위(priority) 값을 전달하는지 여부를 나타내는지를 시그널링 한다.
이 때, 각 layer_id 값에 대응하여 공간 계층(dependency_id 값에 의해 식별), 화질 계층(quality_id 값에 의해 식별), 시점들(view_id 값에 의해 식별) 등을 시그널링할 수 있으며, 시간적 레이어는 NALU 헤더의 temporal_id에 의해 식별될 수 있다.
또한, layer_id와 관련되는 비디오의 영역은 region_id에 의해 시그널링 될 수 있다.
또한, 스케일러블 계층 가운데 dependency 정보, 각 스케일러블 계층의 bitrate 정보, 각 스케일러블 계층의 품질 정보들이 시그널링 될 수 있다.
extension_info() 신택스는 표 15와 같다.
Figure pat00015
Figure pat00016
표 15의 신택스에 대한 의미는 다음과 같다.
- num_frame_sizes_minus1 plus 1은 부호화된 비디오 시퀀스 내에 포함된 다른 종류의 영상의 크기 정보(예를 들어, pic_width_in_luma_samples[i], pic_height_in_luma_samples[i], pic_cropping_flag[i], pic_cropping_flag[i], pic_crop_left_offset[i], pic_crop_right_offsetv[i], pic_crop_top_offset[i], pic_crop_bottom_offset[i])의 최대 개수를 나타낸다. num_frame_sizes_minus1값은 0~X의 범위를 가질 수 있다. 다른 종류의 영상이란 상이한 해상도를 갖는 영상을 포함할 수 있다.
- num_rep_formats_minus1 plus 1은 부호화된 비디오 시퀀스 내에 포함된 다른 종류의 비트 뎁스(bit depth)와 색차 포맷(chroma format) (예를 들어, bit_depth_luma_minus8[i], bit_depth_chroma_minus8[i], and chroma_format_idc values[i])의 최대 개수를 나타낸다. num_rep_formats_minus1값은 0~X의 범위를 갖는다.
- pic_width_in_luma_samples[i], pic_height_in_luma_samples[i], pic_cropping_flag[i], pic_cropping_flag[i], pic_crop_left_offset[i], pic_crop_right_offsetv[i], pic_crop_top_offset[i], pic_crop_bottom_offset[i]는 부호화된 비디오 시퀀스의 i번째 pic_width_in_luma_samples, pic_height_in_luma_samples, pic_cropping_flag, pic_cropping_flag, pic_crop_left_offset, pic_crop_right_offsetv, pic_crop_top_offset, pic_crop_bottom_offset 값들을 나타낸다.
- bit_depth_luma_minus8[ i ], bit_depth_chroma_minus8[ i ], 및chroma_format_idc[ i ]는 부호화된 비디오 시퀀스의 i번째 bit_depth_luma_minus8, bit_depth_chroma_minus8, and chroma_format_idc 값을 나타낸다.
- num_layers_minus1은 비트스트림에서 가능한 스케일러블 계층의 수를 나타낸다.
- dependency_id_flag가 1이면 layer_id 값과 관련된 한 개 이상의 dependency_id값이 있음을 나타낸다.
- quality_id_flag 가 1이면 layer_id 값과 관련된 한 개 이상의 quality_id 값이 있음을 나타낸다.
- view_id_flag이 1이면 layer_id값과 관련된 한 개 이상의 view_id값이 있음을 나타낸다.
- region_id_flag 이 1이면 layer_id 값과 관련된 한 개 이상의 region_id 값이 있음을 나타낸다.
- layer_dependency_info_flag 이 1이면, 스케일러블 계층의 dependency 정보를 제공함을 나타낸다.
- frame_size_idx[i]은 layer_id값이 i 인 계층에 적용되는 frame size의 세트에 대한 인덱스를 나타낸다. frame_size_idx[i]는 0 ~ X 범위의 값을 갖는다.
- rep_format_idx[i]는 layer_id 값이 i인 계층에 적용되는 비트 뎁스(bit depth)와 색차 포맷(chroma format)의 세트에 대한 인덱스를 나타낸다. rep_format_idx[i]는 0 ~ X 범위의 값을 갖는다.
- one_dependency_id_flag[i] 이 1이면 layer_id 값이 i와 관련된 한 개의 dependency_id만이 존재함을 나타내고, one_dependency_id_flag[i] 이 0이면 layer_id값이 i와 관련된 두 개 혹은 그 이상의 dependency_id 값이 존재함을 나타낸다.
- dependency_id[i]는 layer_id 값이 i와 관련된 dependency_id 값을 나타낸다.
- dependency_id_min[i] 및 dependency_id_max[i]는 layer_id 값이 i와 관련된 최소 dependency_id 값과 최대 dependency_id 값을 각각 나타낸다.
- one_quality_id_flag[i] 이 1이면 layer_id 값이 i와 관련된 한 개의 quality_id만이 존재함을 나타내고. one_quality_id_flag[i] 이 0이면 layer_id 값이 i와 관련된 두 개 혹은 그 이상의 quality_id 값이 존재함을 나타낸다.
- quality_id[i]은 layer_id값이 i와 관련된 quality_id 값을 나타낸다.
- quality_id_min[i] 및 quality_id_max[i]는 layer_id값이 i와 관련된 최소 qualtiy_id 값과 최대 quality_id 값을 각각 나타낸다.
- one_view_id_flag[i] 이 1이면 layer_id 값이 i와 관련된 한 개의 view_id가 존재함을 나타내고, 0이면 layer_id값이 i와 관련된 두 개 혹은 그 이상의 view_id 값이 존재함을 나타낸다.
- view_id[i]은 layer_id 값이 i와 관련된 view_id 값을 나타낸다.
- depth_flag[i] 이 1이면 layer_id값이 i인 현재 스케일러블 계층이 3D 비디오 비트스트림의 깊이 정보를 포함하고 있음을 나타낸다.
- view_id_min[i] 및 view_id_max[i]은 layer_id 값이 i와 관련된 최소 view_id 값과 최대 view_id 값을 각각 나타낸다.
- num_regions_minus1 plus1는 layer_id 값이 i와 관련된 영역의 개수를 나타낸다.
- region_id[j]는 layer_id값이 i와 관련된 영역 j의 식별자를 나타낸다.
- num_directly_dependent_layers[ i ]는 현재 스케일러블 계층 i가 직접적으로 연관이 되는 스케일러블 계층(디코딩시 예측신호를 형성하는데 필요한 계층)의 수를 나타낸다.
- directly_dependent_layer_id_delta_minus1[ i ][ j ] plus 1는 현재 스케일러블 계층인 layer_id[i]와 현재 스케일러블 계층이 직접적으로 연관이 있는 j번째 스케일러블 계층의 계층 식별자 사이의 차이를 나타낸다. j번째 직접적으로 연관이 되는 스케일러블 계층의 계층 식별자는 (layer_id[i] ? directly_dependent_layer_id_delta_minus1[ i ][ j ] ? 1 )과 같다.
또 다른 실시예에 따른 extension_info() 신택스는 표 16과 같다.
Figure pat00017
다른 실시예에 따르면, pic_width_in_luma_samples[i], pic_height_in_luma_samples[i], bit_depth_luma_minus8[i], bit_depth_chroma_minus8[i], 및 chroma_format_idc[i]는 상이한 영상, 즉 상이한 해상도를 갖는 픽처에 대한 정보로 시그널링 될 수 있다.
비트 레이트와 퀄러티 정보의 시그널링을 위한 활성화 SEI 메시지에 대한 신택스는 표 17과 같다.
Figure pat00018
표 17의 신택스에 대한 의미는 다음과 같다
- num_layers_minus1는 비트스트림에서 제공 가능한 스케일러블 계층의 수를 나타낸다.
- bitrate_info_flag이 1이면 각각의 스케일러블 계층에 대한 비트 레이트 정보가 제공되는 것을 지시한다.
- quality_info_flag이 1이면 각각의 스케일러블 계층에 대한 퀄러티 값에 대한 정보가 제공됨을 나타낸다.
- quality_type_flag이 1이면 각각의 스케일러블 계층에 대한 퀄러티 타입에 대한 정보가 제공됨을 나타낸다.
- max_bitrate[i]는 layer_id값이 i인 스케일러블 계층의 최대 비트 레이트를 나타내고, average_bitrate[i]는 layer_id값이 i인 스케일러블 계층의 평균 비트 레이트를 나타낸다.
- quality_value[i]는 스케일러블 계층 i의 퀄러티 값을 나타낸다.
- quality_type_uri[ QualityTypeUriIdx ]는 UTF-8 character들로 부호화된 null0terminated string의 QualityTypeUriIdx-th 바이트(byte)이며, 퀄러티 값들의 타입에 대한 표현을 포함하는 URI(universal resource identifier)를 나타낸다.
이하에서는 효율적인 비트스트림 추출을 위한 기술 방식 개선으로 VPS(video parameter set)를 개선시키는 방안을 제안한다.
계층 참조(Layer referencing)
복수의 계층을 지원하는 비트스트림에서 layer_id와 스케일러빌러티 차원 ID(scalability dimension ID)간의 관계를 지시하는 방법으로 layer_id와 스케일러빌러티 차원 ID(scalability dimension ID) 간의 매핑 방법을 알려주는 제1 방법과 layer_id의 비트를 분할(partitioning 또는 splicing)하여 할당된 비트에 어떠한 차원 타입이 존재하는지를 알려주는 제2 방법이 존재할 수 있다.
복수의 계층을 지원하는 비트스트림에서 차원 타입(dimension type)이란 공간적 스케일러빌러티, 퀄러티적 스케일러빌러티와 같은 스케일러빌러티의 타입을 의미하고 차원 ID(dimension ID)는 특정한 차원 타입이 가질 수 있는 레이어에 대한 인덱스를 의미할 수 있다.
복수의 계층을 지원하는 비트스트림에서, 특정 차원(dimension)에서는 특정 계층(이해를 돕기 위해 단일계층의 비트스트림에서 시간적 스케일러빌리티를 지원하는 경우를 예를들어, 시간적 레이어(sub-layer) 3)이 다음의 낮은 계층(예를 들어 시간적 레이어 (sub-layer)를 직접적으로 참조하는 것은 일반적일 수 있다.
공간 스케일러빌리티를 지원하는 경우를 예를 들면, 공간 레이어 2가 다음의 낮은 공간 계층1을 직접적으로 참조한다거나 함을 의미한다.
따라서, 상기와 같은 경우를 나타내기 위하여 기본 참조(default direct dependency)를 가지는 차원을 먼저 기술할 것을 제안한다.
그런 후, 특정 연관성(dependency)을 계층(scalable layer)에 대한 설명 파트(description loop)에서 구체적으로 기술할 수 있다.
이하에서는 상기 두 가지 방법을 이용하여 계층 참조에 대한 시그널링을 하기 위한 방안을 제시한다. vps_extension을 위한 개선된 신택스는 표 18 내지 표 21과 같다.
Figure pat00019
표 18은 제1 방법을 이용하여 layer_id와 스케일러빌러티 차원 ID(scalability dimension ID)를 매핑시키고 있는 신택스를 나타내고 있다. 표 18의 신택스에 대한 의미는 다음과 같다.
*- all_default_dependency_flag이 1이면 모든 계층 차원들이 기본 참조(default dependency)를 가진다는 것을 지시한다. 즉, 특정 차원 i에서 dimension_id[i] = n인 계층은 디폴트로 dimension_id[i] = n-1을 가지는 다른 계층을 직접적으로 참조함을 의미한다.
all_default_dependency_flag이 0이면 모든 계층 차원들이 기본 참조를 가지는 것은 아님을 나타낸다. all_default_dependency_flag이 0이면 아래의 num_default_dim_minus1이 시그널링 된다.
- num_default_dim_minus1 은 기본 참조(default dependency)를 가지는 차원들의 수를 나타낸다.
- dimension [j] 는 기본 참조(default dependency)를 가지는 계층 차원의 타입을 명시한다. 즉, 기본 참조(default dependency)를 가지는 차원들의 수를 하나씩
증가시키면서 기본 참조를 갖는 계층 차원의 타입에 대한 정보가 시그널링된다. 해당 차원에서 상위 계층(예를 들어 dimension_id =n)은 다음 하위 계층(예를 들어, dimension_id = n-1)을 직접적으로 참조할 것이다.
-specific_dependency_flag[i]이 1이면 해당 계층을 위해 구체적으로 기술된 직접 참조(direct dependences/references)가 있음을 의미한다. 따라서, specific_dependency_flag[i]이 1이면 해당 계층이 직접 참조하는 레이어의 개수와 해당 레이어의 ID가 시그널링 된다.
계층 C가 계층 B를 직접적으로 참조한다는 것은 계층 C를 복호화 하기 위해서, 디코더는 계층 B의 정보(디코딩 되거나 디코딩 되지 않은)를 사용해야만 한다는 의미이다. 그러나, 만약 계층 B가 직접적으로 계층 A의 정보를 사용한다면, 계층 C는 계층 A를 직접적으로 참조한다고 여겨지지 않는다.
Figure pat00020
표 19는 제2 방법을 이용하여 layer_id의 비트를 스케일러빌러티 차원 타입에 할당하고, 할당된 차원 타입의 길이를 시그널링하는 신택스를 나타내고 있다.
표 19에 포함된 num_dimensions_minus1 는 NALU 헤더 내에 존재하는 계층 차원의 수를 나타낸다. 즉, NALU 헤더에 존재하는 계층 차원의 수를 파악하고, 해당 계층 차원 마다 존재하는 계층 타입과 차원 타입에 할당된 비트 수를 파악한다.
표 19의 신택스 계층 참조를 위한 신택스 all_default_dependency_flag, num_default_dim_minus1, dimension [j] 및 specific_dependency_flag[i]에 대한 설명은 표 18에 포함되어 있는 신택스와 동일한 의미를 갖는다.
표 20과 표 21은 표 18 및 표 19와 다른 방식의 신택스를 나타낸다. 표 20은 제1 방법을 이용하는 경우 기본 참조(default dependency)를 나타내는 다른 신택스를 나타내고, 표 21은 제2 방법을 이용하는 경우 기본 참조(default dependency)를 나타내는 다른 신택스를 나타낸다.
Figure pat00021
Figure pat00022
표 20 및 표 21의 신택스 중 표 18 및 표 19와 중복되는 신택스에 대한 설명은 생략된다.
표 20 및 표 21에 포함되어 있는 새로운 신택스 default_dependency_flag [i]는 차원 타입 i 가 기본 참조를 사용하는지 여부를 나타낸다. 해당 차원에서 높은 계층(예를 들어 dimension_id[i]=n)은 바로 아래 계층(예를 들어, dimension_id[i]=n-1)을 직접적으로 참조한다.
즉, num_dimensions_minus1 와 dimension_type[i]에 의하여 특정 차원 타입이 지정되면, 해당 차원 타입이 기본 참조를 사용하는지 여부를 시그널링하고, 그렇지 않은 경우 해당 계층이 직접적으로 참조하는 레이어에 대한 정보를 시그널링한다.
본 발명에 따른 차원 타입(dimensions type)을 나타내면 표 22와 같다.
Figure pat00023
본 발명에 따를 경우, 기존의 차원 타입에서 차원 타입 4 및 5, 즉 priority ID 및 region ID를 나타내는 타입이 추가되었다.
dimension_type[i][j]은 기본적으로 0에서 5사이의 값을 가질 수 있다. 다른 값들은 추후에 정의될 수 있으며, 디코더는 0에서 5사이의 값이 아닌 경우에 dimension_type[i][j]의 값을 무시할 수 있다.
dimension_type이 4의 값을 가지는 경우, 해당 dimension_id는 SVC 표준에서 비트스트림의 priority 계층의 id를 나타낸다.
dimension_type이 5의 값을 가지는 경우, 해당 dimension_id는 비트스트림의 특정 영역의 id를 나타낸다. 특정 영역은 비트스트림 내에서 하나 이상의 시공간 세그먼트(spatial-temporal segment)가 될 수 있다.
도 4는 본 발명에 따른 영상 정보의 인코딩 방법을 설명하기 위한 제어 흐름도이다.
도시된 바와 같이, 부호화 장치는 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛을 인코딩 한다(S401).
NAL 유닛의 NAL 유닛 헤더는 NAL 유닛이 비 참조 픽처의 적어도 일부 또는 전부를 포함하는 슬라이스를 포함하는지 여부를 나타내는 정보를 포함하지 않는다.
한편, NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함하고 있다.
이 때, NAL 유닛 헤더에 포함되지 않은 NAL 유닛이 비 참조 픽처의 적어도 일부 또는 전부를 포함하는 슬라이스를 포함하는지 여부를 나타내는 정보를 시그널링 하기 위하여 사용되었던 비트는 계층 식별 정보를 시그널링 하기 위하여 사용될 수 있다.
또한, NAL 유닛은 영상의 디코딩을 위하여 필요한 다양한 상기 파라미터 세트에 대한 정보를 포함할 수 있다.
부호화 장치는 활성화되는 파라미터 세트에 대한 정보를 포함하는 SEI(Supplemental enhancement information) 메시지는 독립된 NAL 유닛으로 인코딩 할 수 있다.
활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함할 수 있다.
또한, 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함할 수 있다.
이러한 파라미터 세트에 대한 정보는 복호화 장치가 시간적 스케일러빌러티를 제공하는 서브 레이어를 추출할 때 이용될 수 있다.
또한, 디코딩 장치 또는 디코딩을 수행하는 디코딩부는 비디오 코딩 레이어 NALU을 디코딩할 때 필요한 파라미터 세트를 활성화할 때 상기 파라미터 세트에 대한 정보를 이용할 수 있다.
부호화 장치는 인코딩된 영상에 관련된 정보를 포함하는 NAL 유닛을 비트스트림으로 전송한다(S402).
도 5는 본 발명에 따른 영상 정보의 디코딩 방법을 설명하기 위한 제어 흐름도이다.
도 5를 참조하면, 복호화 장치는 비트스트림을 통하여 인코딩된 영상에 관련된 정보를 포함하는 NAL 유닛을 수신한다(S501).
복호화 장치는 NAL 유닛의 헤더 및 NAL 페이로드(payload)를 파싱한다(S502).영상 정보에 대한 파싱은 엔트로피 복호화부 또는 별도의 파싱부에서 수행될 수 있다.
복호화 장치는 파싱을 통하여 NAL 유닛 헤더 및 NAL 페이로드에 포함되어 있는 다양한 정보를 획득할 수 있다.
NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함할 수 있으며, NAL 유닛이 인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1비트의 플래그 정보를 포함하지 않을 수 있다.
이 때, NAL 유닛 헤더에 포함되지 않은 NAL 유닛이 비 참조 픽처의 적어도 일부 또는 전부를 포함하는 슬라이스를 포함하는지 여부를 나타내는 정보를 시그널링 하기 위하여 사용되었던 비트는 계층 식별 정보를 시그널링 하기 위하여 사용될 수 있다.
또한, 복호화 장치는 파싱을 통하여 SEI 메시지에 포함되어 있는 해당 SEI 메시지와 관련된 NALU를 디코딩하기 위하여 필요한 파라미터 세트에 대한 정보를 획득할 수 있다.
활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함할 수 있다.
또한, 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함할 수 있다.
이러한 파라미터 세트에 대한 정보는 복호화 장치가 시간적 스케일러빌러티를 제공하는 서브 레이어를 추출할 때 이용될 수 있다.
추가적으로 파라미터 세트에 대한 정보는 비트스트림을 복호화 할 때 또는 세션 협상(예를 들어 IP 망에서의 스트리밍 시 session negotiation)할 때 이용될 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
100 : 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120 : 인트라 예측부
115 : 스위치 125 : 감산기
130 : 변환부 140 : 양자화부
150 : 엔트로피 부호화부 160 : 역양자화부
170 : 역변환부 180 : 필터부

Claims (28)

  1. 수신된 픽처를 디코딩하는 단계와;
    디코딩된 픽처를 DPB(decoded picture buffer)에 참조 픽처로 표시하는 단계와;
    상기 디코딩된 픽처의 다음 픽처에 대한 슬라이스 헤더를 파싱하는 단계와;
    상기 슬라이스 헤더에 포함되어 있는 참조 픽처 정보에 기초하여 상기 디코딩된 픽처가 참조 픽처인지 비 참조 픽처인지 여부를 표시하는 단계를 포함하는 영상 디코딩 방법.
  2. 제1항에 있어서,
    인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛의 NAL 유닛 헤더를 파싱하는 단계를 더 포함하고,
    상기 NAL 유닛 헤더는 상기 NAL 유닛이 인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1비트의 플래그 정보를 포함하지 않는 것을 특징으로 하는 영상 디코딩 방법.
  3. 제2항에 있어서,
    상기 NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 상기 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  4. 제3항에 있어서,
    상기 NAL 유닛에서, 전제 비트스트림에서 비 참조 픽처인지 또는 참조 픽쳐인지 여부를 나타내는 플래그 정보에 사용되었던 1비트는 상기 계층 식별 정보를 시그널링 하기 위하여 사용되는 것을 특징으로 하는 영상 디코딩 방법.
  5. 해당 슬라이스가 참조하는 참조 픽처 정보를 포함하는 슬라이스 헤더를 인코딩하는 인코딩부와;
    상기 슬라이스 헤더를 포함하는 비트스트림을 전송하는 전송부를 포함하는 것을 특징으로 하는 영상 인코딩 장치.
  6. 제5항에 있어서,
    상기 인코딩부는 인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛의 NAL 유닛 헤더를 인코딩하고,
    상기 NAL 유닛 헤더는 상기 NAL 유닛이 인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1비트의 플래그 정보를 포함하지 않는 것을 특징으로 하는 영상 인코딩 장치.
  7. 제6항에 있어서,
    상기 NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 상기 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함하는 것을 특징으로 하는 영상 인코딩 장치.
  8. 제7항에 있어서,
    상기 인코딩부는 전제 비트스트림에서 비 참조 픽처인지 또는 참조 픽쳐인지 여부를 나타내는 플래그 정보에 사용되었던 1비트를 상기 계층 식별 정보의 인코딩에 사용하는 것을 특징으로 하는 인코딩 장치.
  9. 해당 슬라이스가 참조하는 참조 픽처 정보를 포함하는 슬라이스 헤더를 인코딩하는 단계와;
    상기 슬라이스 헤더를 포함하는 비트스트림을 전송하는 단계를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  10. 제9항에 있어서,
    인코딩된 영상에 관련된 정보를 포함하는 NAL(Network Abstraction Layer) 유닛의 NAL 유닛 헤더를 인코딩 하는 단계와;
    상기 NAL 유닛을 포함하는 비트스트림을 전송하는 단계를 더 포함하고,
    상기 NAL 유닛 헤더는 상기 NAL 유닛이 인코딩 시 전체 비트스트림에서 비 참조 픽처 인지 또는 참조 픽처 인지 여부를 나타내는 1비트의 플래그 정보를 포함하지 않는 것을 특징으로 하는 영상 인코딩 방법.
  11. 제10항에 있어서,
    상기 NAL 유닛 헤더는 스케일러블 계층을 지원하는 비트스트림에서 상기 스케일러블 계층을 식별하기 위한 계층 식별 정보를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  12. 제11항에 있어서,
    전제 비트스트림에서 비 참조 픽처인지 또는 참조 픽쳐인지 여부를 나타내는 플래그 정보에 사용되었던 1비트를 상기 계층 식별 정보의 인코딩에 사용되는 것을 특징으로 하는 인코딩 방법.
  13. 활성화되는 파라미터 세트에 대한 정보를 포함하는 SEI(Supplemental enhancement information) 메시지를 수신하는 단계와;
    상기 파라미터 세트에 대한 정보를 파싱하는 단계를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  14. 제13항에 있어서,
    상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  15. 제13항에 있어서,
    상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 상기 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  16. 제13항에 있어서,
    상기 파라미터 세트에 대한 정보는 시간적, 공간적, 화질적, 시점 스케일러빌러티를 제공하는 서브레이어를 추출할 때 이용되는 것을 특징으로 하는 영상 디코딩 방법.
  17. 제13항에 있어서,
    상기 파라미터 세트에 대한 정보는 비디오 코딩 레이어 NALU을 디코딩하기 위한 파라미터 세트들을 참조(활성화)하기 위해 이용되는 것을 특징으로 하는 영상 디코딩 방법.
  18. 제13항에 있어서,
    상기 SEI 메시지는 비디오 파라미터 세트를 인덱싱하는 정보 및 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함하고,
    상기 비디오 파라미터 세트를 인덱싱하는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보에 대응하는 비디오 파라미터 세트 및 시퀀스 파라미터 세트 중 적어도 하나를 활성화시키는 단계를 더 포함하는 것을 특징으로 하는 영상의 디코딩 방법.
  19. 활성화되는 파라미터 세트에 대한 정보를 포함하는 SEI(Supplemental enhancement information) 메시지를 인코딩하는 인코딩부와;
    상기 SEI 메세지를 포함하는 비트스트림을 전송하는 전송부를 포함하는 것을 특징으로 하는 영상 인코딩 장치.
  20. 제19항에 있어서,
    상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 인코딩 장치.
  21. 제19항에 있어서,
    상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 상기 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함하는 것을 특징으로 하는 영상 인코딩 장치.
  22. 제19항에 있어서,
    상기 파라미터 세트에 대한 정보는 시간적, 공간적, 화질적, 시점 스케일러빌러티를 제공하는 서브레이어를 추출할 때 이용되는 것을 특징으로 하는 영상 인코딩 장치.
  23. 제19항에 있어서,
    상기 파라미터 세트에 대한 정보는 비디오 코딩 레이어 NALU을 디코딩하기 위한 파라미터 세트들을 참조(활성화)하기 위해 이용되는 것을 특징으로 하는 영상 인코딩 장치.
  24. 활성화되는 파라미터 세트에 대한 정보를 포함하는 SEI(Supplemental enhancement information) 메시지를 인코딩하는 단계와;
    상기 SEI 메세지를 포함하는 비트스트림을 전송하는 단계를 포함하는 영상 인코딩 방법.
  25. 제24항에 있어서,
    상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보 및 활성화되는 시퀀스 파라미터 세트를 인덱싱하는 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  26. 제24항에 있어서,
    상기 활성화되는 파라미터 세트에 대한 정보는 활성화되는 비디오 파라미터 세트를 인덱싱하는 정보와, 상기 활성화되는 비디오 파라미터 세트를 참조하는 시퀀스 파라미터 세트의 개수를 나타내는 정보 및 상기 시퀀스 파라미터 세트를 인덱싱하는 정보를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  27. 제24항에 있어서,
    상기 파라미터 세트에 대한 정보는 시간적, 공간적, 화질적, 시점 스케일러빌러티를 제공하는 서브레이어를 추출할 때 이용되는 것을 특징으로 하는 영상 인코딩 방법.
  28. 제24항에 있어서,
    상기 파라미터 세트에 대한 정보는 비디오 코딩 레이어 NALU을 디코딩하기 위한 파라미터 세트들을 참조(활성화)하기 위해 이용되는 것을 특징으로 하는 영상 인코딩 방법.

KR1020130125869A 2012-04-16 2013-10-22 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치 Active KR101640583B1 (ko)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
KR1020120038870 2012-04-16
KR20120038870 2012-04-16
KR1020120066606 2012-06-21
KR20120066606 2012-06-21
KR20120067925 2012-06-25
KR1020120067925 2012-06-25
KR1020120071933 2012-07-02
KR20120071933 2012-07-02
KR1020120077012 2012-07-16
KR20120077012 2012-07-16
KR1020120108925A KR20130116782A (ko) 2012-04-16 2012-09-28 계층적 비디오 부호화에서의 계층정보 표현방식
KR1020120108925 2012-09-28
KR1020120112598A KR20130116783A (ko) 2012-04-16 2012-10-10 계층적 비디오 부호화에서의 계층정보 표현방식
KR1020120112598 2012-10-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130041862A Division KR101378861B1 (ko) 2012-04-16 2013-04-16 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치

Related Child Applications (8)

Application Number Title Priority Date Filing Date
KR20140054446A Division KR101488495B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020140054449A Division KR101673291B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054448A Division KR101488493B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054447A Division KR101488494B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054445A Division KR101488496B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088203A Division KR101719344B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088205A Division KR101739748B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088204A Division KR101719345B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
KR20130129338A true KR20130129338A (ko) 2013-11-28
KR101640583B1 KR101640583B1 (ko) 2016-07-19

Family

ID=49635785

Family Applications (24)

Application Number Title Priority Date Filing Date
KR1020120108925A Pending KR20130116782A (ko) 2012-04-16 2012-09-28 계층적 비디오 부호화에서의 계층정보 표현방식
KR1020120112598A Pending KR20130116783A (ko) 2012-04-16 2012-10-10 계층적 비디오 부호화에서의 계층정보 표현방식
KR1020130041862A Active KR101378861B1 (ko) 2012-04-16 2013-04-16 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020130041863A Active KR101953703B1 (ko) 2012-04-16 2013-04-16 복수의 계층을 지원하는 비트스트림의 디코딩 방법 및 이를 이용하는 장치
KR1020130125869A Active KR101640583B1 (ko) 2012-04-16 2013-10-22 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054448A Active KR101488493B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054445A Active KR101488496B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054446A Active KR101488495B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054447A Active KR101488494B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020140054449A Active KR101673291B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088205A Active KR101739748B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088204A Active KR101719345B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088203A Active KR101719344B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020170015044A Active KR101843566B1 (ko) 2012-04-16 2017-02-02 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020170126210A Active KR101843565B1 (ko) 2012-04-16 2017-09-28 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034107A Active KR101904234B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034057A Active KR101904255B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034040A Active KR101904258B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034113A Active KR101904237B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034120A Active KR101904247B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034128A Active KR101904264B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034089A Active KR101904242B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034131A Active KR101931719B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020190021762A Active KR102062329B1 (ko) 2012-04-16 2019-02-25 복수의 계층을 지원하는 비트스트림의 디코딩 방법 및 이를 이용하는 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020120108925A Pending KR20130116782A (ko) 2012-04-16 2012-09-28 계층적 비디오 부호화에서의 계층정보 표현방식
KR1020120112598A Pending KR20130116783A (ko) 2012-04-16 2012-10-10 계층적 비디오 부호화에서의 계층정보 표현방식
KR1020130041862A Active KR101378861B1 (ko) 2012-04-16 2013-04-16 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020130041863A Active KR101953703B1 (ko) 2012-04-16 2013-04-16 복수의 계층을 지원하는 비트스트림의 디코딩 방법 및 이를 이용하는 장치

Family Applications After (19)

Application Number Title Priority Date Filing Date
KR20140054448A Active KR101488493B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054445A Active KR101488496B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054446A Active KR101488495B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR20140054447A Active KR101488494B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020140054449A Active KR101673291B1 (ko) 2012-04-16 2014-05-07 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088205A Active KR101739748B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088204A Active KR101719345B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020160088203A Active KR101719344B1 (ko) 2012-04-16 2016-07-12 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020170015044A Active KR101843566B1 (ko) 2012-04-16 2017-02-02 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020170126210A Active KR101843565B1 (ko) 2012-04-16 2017-09-28 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034107A Active KR101904234B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034057A Active KR101904255B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034040A Active KR101904258B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034113A Active KR101904237B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034120A Active KR101904247B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034128A Active KR101904264B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034089A Active KR101904242B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020180034131A Active KR101931719B1 (ko) 2012-04-16 2018-03-23 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR1020190021762A Active KR102062329B1 (ko) 2012-04-16 2019-02-25 복수의 계층을 지원하는 비트스트림의 디코딩 방법 및 이를 이용하는 장치

Country Status (17)

Country Link
US (12) US10602160B2 (ko)
EP (8) EP2840788B1 (ko)
JP (30) JP5933815B2 (ko)
KR (24) KR20130116782A (ko)
CN (12) CN108769706B (ko)
CY (1) CY1122257T1 (ko)
DK (1) DK2840788T3 (ko)
ES (3) ES3062931T3 (ko)
HR (1) HRP20191726T1 (ko)
HU (2) HUE045980T2 (ko)
LT (1) LT2840788T (ko)
PL (4) PL3340630T3 (ko)
PT (1) PT2840788T (ko)
RS (1) RS59596B1 (ko)
SI (1) SI2840788T1 (ko)
SM (1) SMT201900537T1 (ko)
WO (2) WO2013157826A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
WO2014038906A1 (ko) * 2012-09-09 2014-03-13 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
US10129550B2 (en) * 2013-02-01 2018-11-13 Qualcomm Incorporated Inter-layer syntax prediction control
JP5680807B1 (ja) * 2013-06-05 2015-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法、動画像符号化装置、送信装置及びプログラム
MY178305A (en) * 2013-10-11 2020-10-07 Vid Scale Inc High level syntax for hevc extensions
KR102248848B1 (ko) 2013-10-26 2021-05-06 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR20150064675A (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150064677A (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
EP3086559A4 (en) 2013-12-16 2017-08-02 LG Electronics Inc. Signal transmission/reception device and signal transmission/reception method for providing trick play service
WO2015105399A1 (ko) * 2014-01-13 2015-07-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치.
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6150134B2 (ja) 2014-03-24 2017-06-21 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
US10284867B2 (en) 2014-12-18 2019-05-07 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10750170B2 (en) * 2015-06-18 2020-08-18 Lg Electronics Inc. Image filtering method and device in image coding system
KR102602690B1 (ko) * 2015-10-08 2023-11-16 한국전자통신연구원 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
CN116156163A (zh) * 2016-03-30 2023-05-23 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
CN109565612B (zh) * 2016-08-22 2021-09-03 索尼公司 发送装置、发送方法、接收装置和接收方法
JP6350638B2 (ja) * 2016-11-16 2018-07-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10692262B2 (en) 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
US11496761B2 (en) * 2018-06-30 2022-11-08 Sharp Kabushiki Kaisha Systems and methods for signaling picture types of pictures included in coded video
US10904545B2 (en) * 2018-12-26 2021-01-26 Tencent America LLC Method for syntax controlled decoded picture buffer management
AU2020234972B2 (en) * 2019-03-11 2025-10-23 Interdigital Vc Holdings, Inc. Sub-picture bitstream extraction and reposition
WO2020184673A1 (ja) * 2019-03-12 2020-09-17 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
US11310560B2 (en) 2019-05-17 2022-04-19 Samsung Electronics Co., Ltd. Bitstream merger and extractor
WO2020235552A1 (en) * 2019-05-19 2020-11-26 Sharp Kabushiki Kaisha Systems and methods for signaling picture property information in video coding
KR102748211B1 (ko) * 2019-05-28 2024-12-31 삼성전자주식회사 작은 크기의 인트라 블록을 방지하기 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP7532362B2 (ja) 2019-06-20 2024-08-13 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法
US11457242B2 (en) * 2019-06-24 2022-09-27 Qualcomm Incorporated Gradual random access (GRA) signalling in video coding
US11032548B2 (en) * 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
CN114097241B (zh) * 2019-07-02 2026-03-17 交互数字Vc控股公司 流传输服务中的体积内容分量子比特流的动态适配
WO2021007225A1 (en) 2019-07-08 2021-01-14 Futurewei Technologies, Inc. Mixed nal unit picture constraints in video coding
CN110446047A (zh) * 2019-08-16 2019-11-12 苏州浪潮智能科技有限公司 视频码流的解码方法及装置
JP7305879B2 (ja) * 2019-08-23 2023-07-10 アップル インコーポレイテッド 映像信号の符号化／復号方法およびその装置
KR20210034536A (ko) * 2019-09-20 2021-03-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11310492B2 (en) * 2019-09-20 2022-04-19 Tencent America LLC Signaling of inter layer prediction in video bitstream
MX2022003555A (es) 2019-09-24 2022-06-14 Huawei Tech Co Ltd Señalización de encabezado de imagen en codificación de video.
MX2022004193A (es) * 2019-10-07 2022-05-02 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
CN119325005A (zh) * 2019-10-07 2025-01-17 Lg电子株式会社 用于点云数据的设备和方法及其存储介质
KR20250114563A (ko) * 2019-12-23 2025-07-29 엘지전자 주식회사 Nal 유닛 타입 기반 영상 또는 비디오 코딩
BR112022012507A2 (pt) 2019-12-23 2022-09-06 Lg Electronics Inc Codificação de imagem ou vídeo com base em informações associadas à unidade de nal
KR102837057B1 (ko) 2019-12-23 2025-07-21 엘지전자 주식회사 슬라이스 또는 픽처에 대한 nal 유닛 타입 기반 영상 또는 비디오 코딩
CN116743995A (zh) 2019-12-27 2023-09-12 阿里巴巴（中国）有限公司 用信号通知子图像划分信息的方法和装置
CN115211121B (zh) * 2020-01-02 2026-07-17 Lg电子株式会社 Ph nal单元编码相关图像解码方法及其装置
AU2020418309B2 (en) 2020-01-02 2024-04-04 Lg Electronics Inc. Image decoding method and apparatus for coding image information including picture header
WO2021137592A1 (ko) 2020-01-02 2021-07-08 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
DK4093030T3 (da) * 2020-01-14 2026-05-26 Lg Electronics Inc Billedkodnings-/afkodningsfremgangsmåde og -indretning til signalering af information relatert til underbillede og billedheader, samt fremgangsmåde til afsendelse af bitstream
KR102913636B1 (ko) * 2020-02-28 2026-01-16 엘지전자 주식회사 영상 특징 정보 시그널링을 위한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021177791A1 (ko) * 2020-03-05 2021-09-10 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
EP4104428A4 (en) * 2020-03-16 2023-05-03 ByteDance Inc. DIRECT ACCESS POINT ACCESS UNIT IN SCALABLE VIDEO ENCODING
KR102960310B1 (ko) * 2020-03-17 2026-04-30 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 방법
WO2021187737A1 (ko) * 2020-03-18 2021-09-23 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20220157455A (ko) * 2020-03-20 2022-11-29 인터디지털 브이씨 홀딩스 프랑스 이미지 인코딩 및 디코딩을 위한 방법 및 디바이스
CN113453006B (zh) * 2020-03-25 2024-04-16 腾讯美国有限责任公司 一种图片封装方法、设备以及存储介质
KR20260037179A (ko) * 2020-03-30 2026-03-17 엘지전자 주식회사 Sps 내 ptl, dpb 및 hrd 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN116915967A (zh) * 2020-04-12 2023-10-20 Lg电子株式会社 点云数据发送设备和方法以及点云数据接收设备和方法
US12323597B2 (en) 2020-05-12 2025-06-03 Lg Electronics Inc. Method and device for processing reference of parameter set within single layer bitstream in image/video coding system
CN116134823A (zh) * 2020-05-25 2023-05-16 Lg电子株式会社 基于多层的图像编码设备和方法
US11223841B2 (en) * 2020-05-29 2022-01-11 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102421720B1 (ko) * 2020-05-29 2022-07-18 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
WO2021251611A1 (en) * 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
BR112023019239A2 (pt) * 2021-04-02 2023-10-17 Qualcomm Inc Mensagem de informação de aprimoramento suplemental de métricas de qualidade e orientação de imagem para codificação de vídeo
CN116848845A (zh) * 2021-04-02 2023-10-03 高通股份有限公司 用于视频译码的图片方位和质量度量补充增强信息消息
US20220321918A1 (en) 2021-04-02 2022-10-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding
EP4084474A1 (en) * 2021-04-28 2022-11-02 Koninklijke Philips N.V. Low complexity multilayer images with depth
EP4611370A4 (en) * 2023-02-09 2026-02-25 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR PROCESSING EVOLVING CODEC IN AN ELECTRONIC DEVICE
WO2025230284A1 (ko) * 2024-04-30 2025-11-06 경희대학교 산학협력단 적응적 복호화기 계산 기술 기반의 비디오 부호화 및 복호화를 위한 방법 및 장치
WO2026014804A1 (ko) * 2024-07-09 2026-01-15 엘지전자 주식회사 영상 부호화 방법, 영상 부호화 장치, 영상 복호화 방법, 영상 복호화 장치, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074503A (ko) * 2006-01-09 2007-07-12 한국전자통신연구원 날 유닛 타입 표시방법 및 그에 따른 비트스트림 전달장치및 리던던트 슬라이스 부호화 장치
KR20080066784A (ko) * 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
KR20090045323A (ko) * 2006-09-07 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1578136A3 (en) * 1998-01-27 2005-10-19 AT&T Corp. Method and apparatus for encoding video shape and texture information
US6895048B2 (en) * 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
AU2003237120B2 (en) * 2002-04-29 2008-10-09 Sony Electronics, Inc. Supporting advanced coding formats in media files
US8752197B2 (en) * 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
CN100423581C (zh) * 2002-12-30 2008-10-01 Nxp股份有限公司 动态图形的编码/解码方法及其设备
JP4479160B2 (ja) * 2003-03-11 2010-06-09 チッソ株式会社 シルセスキオキサン誘導体を用いて得られる重合体
AU2004310917B2 (en) 2003-12-01 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
KR100596706B1 (ko) 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
PL1993284T3 (pl) * 2004-06-02 2013-11-29 Panasonic Corp Urządzenie do kodowania obrazu oraz urządzenie do dekodowania obrazu
JP4575129B2 (ja) * 2004-12-02 2010-11-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよびプログラム記録媒体
KR20060068254A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
JP2006203661A (ja) * 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置、動画像復号装置及び符号化ストリーム生成方法
JP2006211274A (ja) * 2005-01-27 2006-08-10 Toshiba Corp 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法
AU2006233279C1 (en) * 2005-04-13 2011-01-27 Nokia Technologies Oy Method, device and system for effectively coding and decoding of video data
MX2007012564A (es) 2005-04-13 2007-11-15 Nokia Corp Codificacion, almacenamiento y senalizacion de informacion de escalabilidad.
EP1897377A4 (en) 2005-05-26 2010-12-22 Lg Electronics Inc METHOD FOR PROVIDING AND USING INTERLOCK PREDICTION INFORMATION FOR VIDEO SIGNAL
KR100878811B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
FR2888424A1 (fr) * 2005-07-07 2007-01-12 Thomson Licensing Sas Dispositif et procede de codage et de decodage de donnees video et train de donnees
WO2007046957A1 (en) * 2005-10-12 2007-04-26 Thomson Licensing Method and apparatus for using high-level syntax in scalable video encoding and decoding
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
JP4731343B2 (ja) * 2006-02-06 2011-07-20 富士通東芝モバイルコミュニケーションズ株式会社 復号装置
EP1827023A1 (en) * 2006-02-27 2007-08-29 THOMSON Licensing Method and apparatus for packet loss detection and virtual packet generation at SVC decoders
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
RU2529881C2 (ru) * 2006-03-29 2014-10-10 Томсон Лайсенсинг Способы и устройство для использования в системе кодирования многовидового видео
CN101461242B (zh) * 2006-03-30 2011-08-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
KR101450921B1 (ko) * 2006-07-05 2014-10-15 톰슨 라이센싱 멀티뷰 비디오 엔코딩 및 디코딩을 위한 방법 및 장치
KR20080007086A (ko) * 2006-07-14 2008-01-17 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
TWI375469B (en) 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
CN101395925B (zh) * 2006-09-07 2013-01-02 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US20100111163A1 (en) * 2006-09-28 2010-05-06 Hua Yang Method for p-domain frame level bit allocation for effective rate control and enhanced video encoding quality
EP2077037A2 (en) * 2006-10-16 2009-07-08 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
AU2007311476C1 (en) * 2006-10-16 2013-01-17 Nokia Technologies Oy System and method for implementing efficient decoded buffer management in multi-view video coding
BRPI0718421A2 (pt) * 2006-10-24 2013-11-12 Thomson Licensing Gerenciamento de quadro para codificação de vídeo de multivistas
US8229274B2 (en) * 2006-11-17 2012-07-24 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
JP5157140B2 (ja) * 2006-11-29 2013-03-06 ソニー株式会社 記録装置、記録方法、情報処理装置、情報処理方法、撮像装置およびビデオシステム
PT2103136T (pt) * 2006-12-21 2017-12-12 Thomson Licensing Métodos e aparelhos para sinalização melhorada utilizando sintaxe de nível elevado para a códificação e descodificação de vídeo de visualização múltipla
CN101578867B (zh) 2007-01-05 2016-06-29 汤姆森许可贸易公司 针对可缩放视频编码的假定参考解码器
EP1994721A4 (en) * 2007-01-12 2013-09-25 Univ Kyung Hee Univ Ind Coop Group PACKAGE FORMAT OF A NETWORK ABSTRACTION LAYER UNIT, ALGORITHM AND DEVICE FOR VIDEO ENCODING AND DECODING USING THIS FORMAT, ALGORITHM FOR SERVICE PROTECTION AND DEVICE FOR IPv6 LABEL BASED TRANSMISSION USING THIS FORMAT
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
CN101641954B (zh) * 2007-03-23 2011-09-14 Lg电子株式会社 用于解码/编码视频信号的方法和装置
EP2137973B1 (en) * 2007-04-12 2019-05-01 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
MX2010000684A (es) 2007-08-24 2010-03-30 Lg Electronics Inc Sistema de difusion digital y metodo para procesar datos en el sistema de difusion digital.
KR101682322B1 (ko) 2007-10-05 2016-12-05 톰슨 라이센싱 다시점 비디오 코딩시스템에 있어 비디오 사용성 정보(ｖｕｉ)를 통합하기 위한 방법 및 장치
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
JP5357255B2 (ja) * 2008-07-22 2013-12-04 トムソン ライセンシング スケーラブルビデオ符号化（ｓｖｃ）復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法
WO2010041855A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
US20100226227A1 (en) * 2009-03-09 2010-09-09 Chih-Ching Yu Methods and apparatuses of processing readback signal generated from reading optical storage medium
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
CA2711311C (en) 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
KR101124723B1 (ko) * 2009-08-21 2012-03-23 에스케이플래닛 주식회사 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
EA021750B1 (ru) 2009-10-30 2015-08-31 Панасоник Интеллекчуал Проперти Корпорэйшн оф Америка Способ декодирования, декодирующее устройство, способ кодирования и кодирующее устройство
EP2346261A1 (en) * 2009-11-18 2011-07-20 Tektronix International Sales GmbH Method and apparatus for multiplexing H.264 elementary streams without timing information coded
CN102103651B (zh) 2009-12-21 2012-11-14 中国移动通信集团公司 一种一卡通系统的实现方法和系统以及一种智能卡
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120015260A (ko) 2010-07-20 2012-02-21 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
KR20120038870A (ko) 2010-10-14 2012-04-24 정태길 클라우드 컴퓨팅 기반의 모바일 오피스 프린팅 부가 서비스 방법
KR101158244B1 (ko) 2010-12-14 2012-07-20 주식회사 동호 하천 친환경 생태 조성 구조체 및 시스템
JP2012142551A (ja) 2010-12-16 2012-07-26 Nisshin:Kk 加熱処理方法およびその装置
KR101740425B1 (ko) 2010-12-23 2017-05-26 에스케이텔레콤 주식회사 중계기 및 상기 중계기의 신호 중계 방법
KR101214465B1 (ko) 2010-12-30 2012-12-21 주식회사 신한엘리베이타 가볍고 방수성이 우수한 방수발판부재가 구비된 에스컬레이터 장치
WO2012096981A1 (en) * 2011-01-14 2012-07-19 Vidyo, Inc. Improved nal unit header
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
WO2012122246A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc. Dependency parameter set for scalable video coding
JP5708124B2 (ja) 2011-03-25 2015-04-30 三菱電機株式会社 半導体装置
CA2840349C (en) * 2011-06-30 2017-07-04 Telefonaktiebolaget L M Ericsson (Publ) Reference picture signaling
CN103650502A (zh) * 2011-07-13 2014-03-19 瑞典爱立信有限公司 用于参考画面管理的编码器、解码器及其方法
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US10158873B2 (en) 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
KR101686088B1 (ko) 2012-04-13 2016-12-13 지이 비디오 컴프레션, 엘엘씨 저지연 화상 코딩
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9426462B2 (en) 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
CN105122816A (zh) 2013-04-05 2015-12-02 夏普株式会社 层间参考图像集的解码和参考图像列表构建
US9565437B2 (en) * 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080066784A (ko) * 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
KR20070074503A (ko) * 2006-01-09 2007-07-12 한국전자통신연구원 날 유닛 타입 표시방법 및 그에 따른 비트스트림 전달장치및 리던던트 슬라이스 부호화 장치
KR20090045323A (ko) * 2006-09-07 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Thomas Wiegand ET AL: "WD3: Working Draft 3 of High-Efficiency Video Coding", (E603) JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 5th Meeting: Geneva, CH, 16-23 March, 2011 *

Also Published As

Publication number Publication date
EP2840787A1 (en) 2015-02-25
JP7367143B2 (ja) 2023-10-23
JP7641416B2 (ja) 2025-03-06
EP2840788A1 (en) 2015-02-25
US20240205428A1 (en) 2024-06-20
CN108769711B (zh) 2021-08-10
US20210176481A1 (en) 2021-06-10
US12289459B2 (en) 2025-04-29
CN108769708A (zh) 2018-11-06
US12028538B2 (en) 2024-07-02
JP7123210B2 (ja) 2022-08-22
KR20180035757A (ko) 2018-04-06
JP2022160642A (ja) 2022-10-19
KR101640583B1 (ko) 2016-07-19
HRP20191726T1 (hr) 2020-01-24
JP2016174385A (ja) 2016-09-29
JP6841869B2 (ja) 2021-03-10
CN108769713B (zh) 2023-09-26
LT2840788T (lt) 2019-12-10
PT2840788T (pt) 2019-10-18
JP2018152866A (ja) 2018-09-27
CN108769712B (zh) 2021-11-19
ES3020385T3 (en) 2025-05-22
CN108769707A (zh) 2018-11-06
JP2023179726A (ja) 2023-12-19
JP2022091806A (ja) 2022-06-21
KR20180035755A (ko) 2018-04-06
KR101488494B1 (ko) 2015-02-03
EP4546788B1 (en) 2026-02-04
KR101904264B1 (ko) 2018-10-05
CN108769706B (zh) 2023-04-14
CN108769706A (zh) 2018-11-06
JP7583890B2 (ja) 2024-11-14
KR102062329B1 (ko) 2020-01-03
KR20180035759A (ko) 2018-04-06
EP3086556A1 (en) 2016-10-26
JP2022160645A (ja) 2022-10-19
KR101931719B1 (ko) 2018-12-24
KR20170017965A (ko) 2017-02-15
KR101904242B1 (ko) 2018-10-05
KR101904255B1 (ko) 2018-10-05
CN108769711A (zh) 2018-11-06
KR20130116783A (ko) 2013-10-24
US11949890B2 (en) 2024-04-02
CN108769713A (zh) 2018-11-06
JP2021093747A (ja) 2021-06-17
JP2016178665A (ja) 2016-10-06
JP7305831B2 (ja) 2023-07-10
EP3570546A1 (en) 2019-11-20
JP6163230B2 (ja) 2017-07-12
JP7367145B2 (ja) 2023-10-23
JP2015517274A (ja) 2015-06-18
JP2017225148A (ja) 2017-12-21
CN108769705A (zh) 2018-11-06
SI2840788T1 (sl) 2020-01-31
EP3340630B1 (en) 2021-06-30
KR101488495B1 (ko) 2015-02-03
JP6556903B2 (ja) 2019-08-07
US10602160B2 (en) 2020-03-24
JP7431290B2 (ja) 2024-02-14
KR101673291B1 (ko) 2016-11-09
CN108769687A (zh) 2018-11-06
JP2018152865A (ja) 2018-09-27
KR20160086805A (ko) 2016-07-20
JP6553246B2 (ja) 2019-07-31
KR101843565B1 (ko) 2018-03-30
JP2022160641A (ja) 2022-10-19
JP2022160679A (ja) 2022-10-19
JP2018152864A (ja) 2018-09-27
CN108769705B (zh) 2023-06-30
JP6186026B2 (ja) 2017-08-23
JP2016174384A (ja) 2016-09-29
KR20180035754A (ko) 2018-04-06
JP2022160644A (ja) 2022-10-19
CN108769710B (zh) 2021-04-30
KR20140074875A (ko) 2014-06-18
EP4546788C0 (en) 2026-02-04
JP2018152873A (ja) 2018-09-27
US20250234017A1 (en) 2025-07-17
US11483578B2 (en) 2022-10-25
DK2840788T3 (da) 2019-10-07
JP6549283B2 (ja) 2019-07-24
KR101904258B1 (ko) 2018-10-05
JP2018152868A (ja) 2018-09-27
US20150063453A1 (en) 2015-03-05
EP4546788A2 (en) 2025-04-30
JP7367144B2 (ja) 2023-10-23
KR101739748B1 (ko) 2017-05-25
JP6224162B2 (ja) 2017-11-01
JP6556907B2 (ja) 2019-08-07
JP5933815B2 (ja) 2016-06-15
US10958919B2 (en) 2021-03-23
US20240155140A1 (en) 2024-05-09
KR20160086807A (ko) 2016-07-20
JP6871312B2 (ja) 2021-05-12
CN108769709B (zh) 2021-02-19
CN104303503A (zh) 2015-01-21
JP6553245B2 (ja) 2019-07-31
US20230035462A1 (en) 2023-02-02
US12267510B2 (en) 2025-04-01
JP7367142B2 (ja) 2023-10-23
KR101378861B1 (ko) 2014-04-02
JP2018152871A (ja) 2018-09-27
ES3062931T3 (en) 2026-04-14
JP2024050775A (ja) 2024-04-10
CN104303503B (zh) 2018-05-22
SMT201900537T1 (it) 2020-01-14
HUE070890T2 (hu) 2025-07-28
EP2840788A4 (en) 2016-07-06
KR20160086806A (ko) 2016-07-20
JP6556904B2 (ja) 2019-08-07
KR20170117935A (ko) 2017-10-24
ES2748463T3 (es) 2020-03-16
JP2018152874A (ja) 2018-09-27
KR20140071517A (ko) 2014-06-11
KR20130116782A (ko) 2013-10-24
KR20130118254A (ko) 2013-10-29
US20200169741A1 (en) 2020-05-28
CN108769687B (zh) 2022-10-04
KR20190025584A (ko) 2019-03-11
KR20130118253A (ko) 2013-10-29
US20210136393A1 (en) 2021-05-06
KR101904247B1 (ko) 2018-10-05
US20250193420A1 (en) 2025-06-12
KR20140071515A (ko) 2014-06-11
WO2013157828A1 (ko) 2013-10-24
JP2018152872A (ja) 2018-09-27
EP3570546C0 (en) 2025-03-19
CN108769686B (zh) 2021-07-27
KR20180035758A (ko) 2018-04-06
KR20180035760A (ko) 2018-04-06
KR101904234B1 (ko) 2018-10-05
KR101488493B1 (ko) 2015-02-03
JP7432668B2 (ja) 2024-02-16
KR101488496B1 (ko) 2015-02-03
PL3570546T3 (pl) 2025-05-12
US10958918B2 (en) 2021-03-23
JP6556905B2 (ja) 2019-08-07
JP2019198103A (ja) 2019-11-14
CN108769708B (zh) 2021-02-19
JP7041294B2 (ja) 2022-03-23
KR20180036927A (ko) 2018-04-10
US20200177895A1 (en) 2020-06-04
CN108769709A (zh) 2018-11-06
EP3570546B1 (en) 2025-03-19
KR101953703B1 (ko) 2019-03-05
JP6549282B2 (ja) 2019-07-24
KR20140071514A (ko) 2014-06-11
CY1122257T1 (el) 2020-11-25
RS59596B1 (sr) 2020-01-31
JP2016146636A (ja) 2016-08-12
KR101904237B1 (ko) 2018-10-05
WO2013157826A1 (ko) 2013-10-24
PL2840788T3 (pl) 2020-06-01
JP2018152867A (ja) 2018-09-27
JP2016178664A (ja) 2016-10-06
US11490100B2 (en) 2022-11-01
CN108769712A (zh) 2018-11-06
EP4546788A3 (en) 2025-05-21
JP6163229B2 (ja) 2017-07-12
PL3340630T3 (pl) 2021-11-08
CN108769707B (zh) 2023-08-25
JP6224163B2 (ja) 2017-11-01
KR101843566B1 (ko) 2018-03-30
EP3340630A1 (en) 2018-06-27
JP2019198102A (ja) 2019-11-14
HUE045980T2 (hu) 2020-02-28
JP2022160680A (ja) 2022-10-19
KR101719345B1 (ko) 2017-03-24
US20230032927A1 (en) 2023-02-02
JP6549189B2 (ja) 2019-07-24
EP2840787A4 (en) 2016-03-16
JP2021108492A (ja) 2021-07-29
KR20140071516A (ko) 2014-06-11
JP6556906B2 (ja) 2019-08-07
JP7367141B2 (ja) 2023-10-23
EP3893511A1 (en) 2021-10-13
US10595026B2 (en) 2020-03-17
JP2022160640A (ja) 2022-10-19
KR20180036928A (ko) 2018-04-10
EP2840788B1 (en) 2019-08-14
CN108769686A (zh) 2018-11-06
KR101719344B1 (ko) 2017-03-24
CN108769710A (zh) 2018-11-06
EP3866472A1 (en) 2021-08-18
US20150092836A1 (en) 2015-04-02
PL4546788T3 (pl) 2026-04-13

Similar Documents

Publication Publication Date Title
JP7431290B2 (ja) 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20131022

Patent event code: PA01071R01D

PG1501 Laying open of application
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20140507

Patent event code: PA01071R01D

Filing date: 20130416

Application number text: 1020130041862

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140507

Comment text: Request for Examination of Application

Patent event code: PA02011R04I

Patent event date: 20131022

Comment text: Divisional Application of Patent

PA0302 Request for accelerated examination

Patent event date: 20140507

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20131022

Patent event code: PA03021R04I

Comment text: Divisional Application of Patent

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151102

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20160323

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160412

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20160712

Patent event code: PA01071R01D

Filing date: 20130416

Application number text: 1020130041862

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160712

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160713

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200701

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210628

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220627

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240625

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20250630

Start annual number: 10

End annual number: 10