KR20090079941A

KR20090079941A - 비디오 코딩에서 픽쳐 출력 표시들을 제공하기 위한 시스템 및 방법

Info

Publication number: KR20090079941A
Application number: KR1020097009761A
Authority: KR
Inventors: 미스카 한눅셀라; 예-쿠이 왕
Original assignee: 노키아 코포레이션
Priority date: 2006-10-20
Filing date: 2007-08-29
Publication date: 2009-07-22
Also published as: CN101548548A; BRPI0718205A8; JP4903877B2; RU2009117688A; JP2010507310A; EP2080375A4; EP2080375A2; WO2008047257A3; RU2697741C2; MX2009004123A; WO2008047257A2; BRPI0718205A2; RU2014119262A; AU2007311526B2; US20080095228A1; CN101548548B; AU2007311526A1

Abstract

픽쳐(picture) 출력이 바람직하지 않을 때 디코딩되는 픽쳐 출력 및 애플리케이션들을 제어하기 위한 명시적인(explicit) 시그널링 요소. 코딩된 비디오 비트스트림 내의 신택스 요소와 같은 시그널링 요소가,(1) 일정 디코딩된 픽쳐가 출력될지 여부; (2) 픽쳐들의 일정 세트가 출력될지 여부 [-그 경우에 픽쳐들의 세트가 명시적으로(explicitly) 시그널링되거나 암시적으로(implicitly) 유도될 수 있음] 여부; 또는 (3)픽쳐의 일정 부분이 출력되는지 여부를 표시하기 위해 사용된다. 시그널링 요소는 시그널링 요소가 연관되는 코딩된 픽쳐 또는 액세스 유닛의 일부일 수 있거나, 또는 시퀀스 파라미터 세트와 같은, 코딩된 픽쳐 또는 액세스 유닛과 별개의 신택스 구조에 있을 수 있다. 시그널링 요소는, 출력으로서 비트스트림의 서브세트를 산출하는 프로세싱 유닛뿐만 아니라 비디오 코딩 시스템에서 인코더 및 디코더 모두에 의해 사용될 수 있다.

Description

비디오 코딩에서 픽쳐 출력 표시들을 제공하기 위한 시스템 및 방법 {System and method for providing picture output indications in video coding}

본 발명은 비디오 코딩에 관련된다. 특히 본 발명은 출력(outputting) 이외의 목적들을 위한 디코딩된 픽쳐들의 사용에 관련된다.

이 섹션은 청구항들에 기재된 본 발명의 배경기술 또는 콘텍스트를 제공할 의도이다. 여기의 설명은 추구될 수 있는 개념들을 포함할 수 있지만, 반드시 이전에 착상되거나 추구되었던 것들은 아니다. 따라서 여기에서 다르게 지시되지 않는한 이 섹션에서 설명되는 것은 이 출원의 설명 및 청구항들에 대한 종래 기술이 아니고 이 섹션의 삽입으로 인해 종래 기술로 인정되어서는 안 된다.

비디오 코딩 표준들은 ITU-T H.261, ISO/IEC MPEG-I Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual 및 ITU-T H.264 ( ISO/IEC MPEG-4 AVC로 또한 알려짐)를 포함한다. 또한 새로운 비디오 코딩 표준들의 개발과 관련하여 현재 노력 중에 있다. 개발되는 이런 표준은, H.264/ AVC에 대하여 스케일러블 확장판(scalable extension)이 될, SVC(scalable video coding) 표준이다. 개발 중인 다른 하나의 표준은, 또한 H.264/ AVC에 대한 확장판인 MVC(multivideo coding standard)이다. 이런 노력의 다른 일환은 China video coding 표준들의 개발이다.

SVC의 초안은, http://ftp3.itu.ch/av-arch/jvt-site/2006_07_Klagenfurt/ JVT-T201.zip에서 입수할 수 있는 JVT-T201 , "Joint Draft 7 of SVC Amendment," 20th JVT Meeting, Klagenfurt, Austria, 2006년 7월에서 서술된다. MVC의 초안은, http://ftp3.itu.ch/av-arch/jvt- site/2006 _07_Klagenfurt/JVT-T208.zip에서 입수할 수 있는 JVT-T208, "Joint Multiview Video Model (JMVM) 1.0", 20th JVT meeting, Klagenfart, Austria, 2006년 7월에서 서술된다. 이 두 개의 문서들이 그 전체로서 여기에 참조병합된다.

SVC(scalable video coding)에서, 비디오 신호는 피라미드형으로 구성될 수 있는 기본(base) 계층(layer) 및 하나 이상의 향상(enhancemen) 계층들로 인코딩될 수 있다. 향상 계층은 시간적 해상도(temporal resolution)(즉 프레임 레이트), 공간적 해상도(spatial resolution), 또한 다른 하나의 계층, 또는 다른 하나의 계층의 일부에 의해 표현된 비디오 콘텐츠의 퀄러티를 향상시킨다. 각각의 계층은 그 종속 계층들과 함께, 일정 공간적 해상도, 시간적 해상도, 및 퀄러티 레벨에서 비디오 신호의 하나의 표현(representation)이다. 종속 계층들과 함께 스케일러블 계층은 "스케일러블 계층 표현"으로서 지칭된다. 스케일러블 계층 표현에 대응하는 스케일러블 비트스트림의 일부가, 일정 충실도(fidelity)에서 원본 신호의 표현을 산출하기 위해 추출되고 디코딩될 수 있다.

일정 경우들에 있어서, 향상 계층 내의 데이터가 일정 위치 뒤에, 또는 임시 위치들에서 절단될(truncated) 수 있으며, 각 절단(truncation) 위치는 증가하는 향상 비주얼 퀄러티를 표현하는 추가 데이터를 포함할 수 있다. 이런 스케일러빌러티(scalability)는 FGS(fine-grained (granularity) scalability)로 지칭된다. FGS와 대조적으로, 절단될 수 없는 그 향상 계층들에 의해 제공된 스케일러빌러티는 CGS(coarse-grained (granularity) scalability )로 지칭된다. CGS는 전통적인 퀄러티(SNR) 스케일러빌러티 및 공간적 스케일러빌러티를 총괄하여 포함한다.

JVT(Joint Video Team)는 H.264/ AVC(Advanced Video Coding) 표준에 대한 확장판으로서 SVC 표준을 개발하는 과정에 있다. SVC는 시간적 스케일러빌러티를 제공하기 위해 H.264/ AVC와 동일한 메커니즘을 사용한다. AVC에서, 시간적 스케일러빌러티 정보의 시그널링은 서브시퀀스관련(sub-sequence-related) SEI(supplemental enhancement information) 메시지들을 사용해서 실현된다.

SVC는 인터-계층 예측 메커니즘을 사용하고, 일정 정보가 현재 재구성되는(reconstructed) 계층 또는 다음의 하위 계층 이외의 계층들로부터 예측될 수 있다. 인터-계층이 예측될 수 있는 정보는, 인트라 텍스쳐(intra texture), 모션 및 레지듀얼(residual) 데이터일 수 있다. 인터-계층 모션 예측은 블록 코딩 모드, 헤더 정보 기타 등등의 예측을 포함하며, 하위 계층으로부터의 모션 정보는 상위 계층의 예측을 위해 사용될 수 있다. 인트라 코딩의 경우에, 주변(surrounding) 매크로블록(macroblock)들로부터의 예측, 또는 하위 계층들의 배열된(collocated) 매크로블록들로부터의 예측들이 가능하다. 이런 예측 테크닉들은 모션 정보를 사용하지 않기 때문에, 인트라 예측 테크닉들로 지칭된다. 또한 하위 계층들로부터의 레지듀얼 데이터는 현재 계층의 예측을 위해 또한 사용될 수 있다.

SVC 인코더의 출력과 SVC 디코더의 입력용 엘리멘트리 유닛은 .NAL(Network Abstraction Layer) 유닛이다. 인코더에 의해 발생된 일련의 NAL 유닛들은 NAL 유닛 스트림으로 지칭된다. 패킷 지향(packet-oriented) 네크워크들 또는 저장소를 통해 구조화된(structured) 파일들로의 전송을 위해, NAL 유닛들은 전형적으로 패킷들 또는 유사한 구조들로 캡슐화된다. 프레이밍(framing) 구조들을 제공하지 않는 전송 또는 저장 환경들에서, 시작 코드-기반 비트스트림 구조들과 유사한 바이트스트림 포맷이 H.264/AVC 표준의 아넥스 B에 상술되었다. 바이트스트림 포맷은 NAL 유닛 각각의 앞에 시작 코드를 첨부함으로써 NAL 유닛들을 서로로부터 분리한다.

SEI(supplemental enhancement information) NAL 유닛은, 출력 픽쳐들의 디코딩을 위해 요구되지 않지만, 픽쳐 출력 타이밍, 렌더링, 오류 검출, 오류 숨김(concealment), 및 자원 예약과 같은 관련 프로세스들에서 조력하는 하나 이상의 SEI 메시지들을 담고 있다. 약 20개의 SEI(supplemental enhancement information) 메시지들이 H.264/AVC 표준에 상술되고, 다른 것들이 SVC에 상술된다. 유저 데이터 SEI 메시지들은 기관들 및 회사들로 하여금 그 자신의 사용을 위해 SEI 메시지들을 상술가능토록 한다. H.264/AVC 및 SVC는 상술된 SEI 메시지들을 위한 신택스(syntax) 및 시맨틱스(semantics)를 담고 있지만, 수신자(recipient)에서 메시지들을 처리하기 위한 어떤 프로세스도 정의되지 않는다. 결론적으로 인코더들은 SEI 메시지들을 생성할 때 H.264/AVC 또는 SVC 표준을 따르도록 요구되고, H.264/AVC 또는 SVC 표준에 따르는 디코더들은 출력 순서 적합성(conformance)을 위해 SEI 메 시지들을 프로세싱하도록 요구되지 않는다. H.264/AVC 및 SVC 에서 SEI 메시지들의 신택스 및 시맨틱스를 포함하는 이유들 중 하나는, DVB (Digital Video Broadcasting) 명세(specification)들과 같은, 시스템 명세들로 하여금 보충 (supplemental) 정보를 동일하게 해석해서 상호작용하도록(interoperate) 허용하는 것이다. 시스템 명세들이, 인코딩 엔드에서와 디코딩 엔드 모두에서 특정 SEI 메시지들의 사용을 요청할 수 있고, 수신자에서 SEI 메시지들을 프로세싱하는 과정은 시스템 명세의 애플리케이션을 위해 상술되도록 의도된다.

H.264/AVC 및 SVC에서, 코딩된 비디오 시퀀스를 통해 변하지 않은 채로 있는 코딩 파라미터들이 시퀀스 파라미터 세트 내에 포함된다. 디코딩 프로세스에 필수적인 파라미터들에 추가하여, 시퀀스 파라미터 세트가 VUI(video usability information)를 선택적으로 담고 있을 수 있다. VUI는 버퍼링, 픽쳐 출력 타이밍, 렌더링, 및 자원 예약(reservation)을 위해 중요한 파라미터들을 포함한다. 시퀀스 파라미터 세트들을 전달하도록 특정된 2개의 구조들 --시퀀스에서 H.264/AVC 픽쳐들을 위한 모든 데이터를 담고 있는 시퀀스 파라미터 세트 NAL 유닛, 및 MVC를 위한 시퀀스 파라미터 세트 확장판-- 이 존재한다. 픽쳐 파라미터 세트는 다수의 코딩되는 픽쳐들에서 변하지 않기 쉬운 이런 파라미터들을 담고 있다. 종종 픽쳐-레벨 데이터 변경이 각 슬라이스 헤더에서 반복되고, 픽쳐 파라미터 세트들은 잔여 픽쳐-레벨 파라미터들을 전달한다. H.264/AVC 신택스는 시퀀스 및 픽처 파라미터 세트들의 많은 인스턴스들을 허용하고, 각 인스턴스는 고유 식별자로 식별된다. 각 슬라이스 헤더는, 슬라이스를 담고 있는 픽쳐의 디코딩을 위해 액티브한 픽쳐 파라 미터 세트의 식별자를 포함하고, 그리고 픽쳐 파라미터 세트의 각각은 액티브 시퀀스 파라미터 세트의 식별자(identifier)를 담고 있다. 결론적으로 픽쳐 및 시퀀스 파라미터 세트들의 전송은 슬라이스들의 전송과 정확히 동기화될 필요 없다. 대신에, 액티브 시퀀스 및 픽쳐 파라미터 세트들이 그것들이 레퍼런스되기 전의 임의의 순간에 수신되는 것으로 충분하고, 이것은 슬라이스 데이터를 위해 사용되는 프로토콜들과 비교해서 더 신뢰적인 전송 메커니즘을 사용하는 파라미터 세트들의 전송을 허용한다. 예컨대 파라미터 세트들은 H.264/AVC RTP(Real-Time Protocol) 세션들을 위한 세션 디스크립션에서 MIME 파라미터로서 포함될 수 있다. 사용되고 있는 애플리케이션에서 가능할 때마다 아웃오브밴드(out-of-band) 신뢰 전송 메커니즘을 사용하는 것이 추천된다. 파라미터 세트들이 인밴드에서 전송되고 있다면, 그 파라미터 세트들은 오류 강건성(error robustness)을 개선시키기 위해 반복될 수 있다.

멀티-뷰 디코딩에서, 서로 다른 카메라들로부터 출력된 비디오 시퀀스-각각 서로 다른 뷰들에 대응-이 하나의 비트스트림으로 인코딩된다. 디코딩 이후에, 일정 뷰를 디스플레이하기 위해, 그 뷰에 속하는 디코딩되는 픽쳐들은 재구성되고 디스플레이된다. 하나 이상의 뷰가 재구성되고(reconstructed) 디스플레이되는 것 또한 가능하다. 멀티뷰 비디오 코딩은, free- viewpoint video/television, 3D TV 및 감시(surveillance)를 포함하는 다양한 애플리케이션을 갖는다.

H.264/AVC, SVC 또는 MVC에서, 코딩된 슬라이스들 또는 슬라이스 데이터 파티션(partition)들을 담고 있는 NAL 유닛들은 VCL(Video Coding Layer) NAL 유닛들로서 지칭된다. 다른 NAL 유닛들은 비-VCL NAL 유닛들이다. 일정 시간에 속하는 모 든 NAL 유닛들이 액세스 유닛을 형성한다.

오버레이 코딩은 페이드(fade)의 런-타임 콤퍼지션(run-time composition) 및 장면 전환(transition)의 소스 시퀀스들의 독립(independent) 코딩에 기초한다. 오버레이 코딩에서, 여기서 컴포넌트 이미지들로서 지칭되는 2개의 장면들로부터 재구성된 픽쳐들은, 전환 동안에 효율적인 모션 보상(motion compensation)을 가능케 하기 위해 멀티-픽쳐 버퍼 내에 저장된다. 크로스페이드(cross-faded) 장면 전환은 디스플레이 목적만을 위해 컴포넌트 픽쳐들로부터 콤퍼지션된다. 오버랩핑 컴포넌트 이미지들은, 최상단(top) 픽쳐가 부분적으로 투명하도록 오버레이된다. 밑바닥(bottom) 픽쳐는 소스 픽쳐로서 지칭된다. 크로스-페이드는 소스 픽쳐와 상단 픽쳐 간의 필터 오퍼레이션으로 정의된다.

코딩된 레퍼런스 픽쳐를 디코딩하고 결과적인 디코딩된 레퍼런스 픽쳐의 저장을 요구하지만, 동시에 디코딩된 픽쳐가 출력되거나 디스플레이되는 것으로부터 방지하는 것이 바람직한 다수의 애플리케이션과 사용 케이스들이 있다. 하나의 이런 상황은 스케일러블 비트스트림의 코딩을 포함하고, 여기서 기본 계층은 퀄러티 정밀화(refinement) 향상 계층 및 공간적 정밀화 향상 계층의 예측을 위해 사용된다. 이 경우에, 기본 계층은 디스플레이되기 충분한 퀄리티로 원본 비압축 픽쳐를 나타내지 않는다. 퀄러티 정밀화 향상 계층은 공간적 정밀화 향상 계층으로부터 예측되지 않고 그 반대로도 마찬가지이다. 디코더의 성능에 따라서, 기본 계층 및 퀄러티 정밀화 향상 계층만이, 또는 기본 계층 및 공간적 정밀화 향상 계층만이 디코딩을 위해 제공될 수 있다. 이 경우에, 디코딩을 위해 퀄러티 정밀화 향상 계층 및 공간적 정밀화 향상 계층 모두를 제공하는 것이 유리하지 않다. 기본 계층이 디스플레이되기 충분하게 코딩되지 않았다는 표시의 시그널링은, 디코더가 기본 계층만을 디코딩하는 것을 막을 뿐만 아니라, MANE들(media-aware network elements)이 기본 계층만을 담기 위해 포워드되는 비트스트림을 제거하는(prune) 것을 막을 것이다.

디코딩된 픽쳐가 출력되거나 디스플레이되는 것을 막는 반면에, 레퍼런스 픽쳐로서 코딩된 픽쳐의 디코딩 및 저장이 바람직할 수 있는 다른 하나의 상황에서, 다수의 향상 계층들이 수반된다. 이 경우에, 2개의 향상 계층들 A 및 B를-A는 기본 계층에 의존하고 B는 A에 의존- 구상하는 것이 도움이 된다. 계층 A 또는 계층 B는 퀄러티 향상 계층이거나 공간적 향상 계층일 수 있다. 기본 계층의 퀄러티는 디스플레이되기 충분할 정도로 높지 않고, 양 계층들 A 및 B가 수용가능한 디스플레이 퀄러티를 제공할 수 있다. 따라서 필요할 때 계층 A 및 B 사이에서 전환하는 것-즉 네트워크 접속 대역폭 변경들에 종속되는 것이 이상적이다. 위에서와 유사하게, 기본 계층이 디스플레이되기 충분하게 코딩되지 않았다는 표시의 시그널링은, 디코더가 기본 계층만을 디코딩하는 것을 막을 뿐만 아니라, MANE들(media-aware network elements)이 기본 계층만을 담고 있도록 포워드되는 비트스트림을 제거하는 것을 막을 것이다.

세 번째 이런 상황은, 출력되지 않는 픽쳐들에 기초하여 디코더에서 출력 픽쳐를 합성하는(synthesizing) 것을 포함한다. 하나의 예는 점진적인(gradual) 장면 전환들의 코딩을 위해 제안된 오버레이 코딩을 수반한다. 다른 하나의 예는 브로드 캐스터의 로고 삽입을 수반한다. 이런 경우들에서, 텔레비젼 프로그램 또는 유사한 콘텐츠가 로고와 독립적으로 코딩된다. 로고는 연관된 투명도(transparency) 정보(예컨대 알파 플레인(alpha plane))로 독립 픽쳐로서 코딩된다. 브로드캐스터(broadcaster)는 로고의 디스플레이를 조절하기를 원한다. 따라서 "주(main)" 콘텐츠의 픽쳐(picture)들에 걸친 로고의 블렌딩은 비디오 디코딩 표준의 규범적인 역할이다. "주" 콘텐츠의 픽쳐들 및 로고 픽쳐 자체들이 출력되지 않는 것으로 마크되는 것이 바람직한 반면에 블렌딩되는 픽쳐들만이 출력이다.

현재 픽쳐들이 디코딩되어야 하지만 출력되지 않아야 한다고 표시하는 컨셉은 특정 사용 케이스들로 제한된다. 하나의 이런 케이스에서, H.263 및 H.264/AVC 의 SEI 메시지들로서 상술된 프리즈(freeze) 픽쳐 명령어들이 사용된다. SEI 메시지들은 디코딩 디바이스의 디스플레이 과정을 지시한다. SEI 메시지들은 디코더 출력 자체에 영향을 주지 않는다. 전체 픽쳐(full-picture) 프리즈 요청 기능은, 전체-픽쳐 프리즈 해제 요청 또는 타임아웃에 의해 다르게 통지가 생길 때까지 비디오 픽쳐의 콘텐츠가 총 선행 디스플레이되는 비디오 픽쳐의 콘텐츠가 변하지 않은 채 유지되어야 한다는 것을 표시한다. 부분적 픽쳐 프리즈 요청은 전체-픽쳐 요청과 유사하지만, 픽쳐들의 표시된 직사각형 영역 만에 관계된다.

다른 하나의 이런 경우에 있어서, 백그라운드 픽쳐가 유지되고 업데이트된다. 백그라운드 픽쳐는 예측 레퍼런스로서 사용될 수 있지만, 결코 출력되지 않는다. 제1 INTRA 프레임 또는 장면 변화 프레임이 나타났을 때, 전체 백그라운드 픽쳐가 그 프레임과 함께 플래쉬된다. 블록이 제로 모션 벡터를 갖고, 그리고 백그라 운드 픽쳐 내의 대응하는 블록보다 더 정교한 양자화(quantization)로 코딩된다면, 백그라운드 픽쳐는 블록마다 업데이트된다.

이런 표시가 제공되는 다른 하나의 상황은 H.264/AVC 표준 내의 no_output_of_prior_pics_flag의 사용을 포함한다. 플래그는 IDR(Instantaneous Decoding Refresh) 픽쳐들 내에서 제시된다. 플래그가 1로 설정될 때, 디코딩 순서로 IDR 픽쳐에 선행하고 IDR 픽쳐의 디코딩 시간에서 디코딩되는 픽쳐의 버퍼에 있는 픽쳐들이 출력되지 않는다.

이런 표시가 제공되는 다른 하나의 상황은 SVC 표준의 layer_base_flag의 사용을 포함한다. 이 플래그는 픽쳐가 디코딩되고 FGS 픽쳐의 기본(base) 표현으로서 저장되고, 후속 FGS 픽쳐의 인터예측 레퍼런스로서 사용된다는 것을 표시하기 위해 사용된다. 디코딩되는 기본 표현은 어떤 FGS 향상 픽쳐들도 수신되지 않는 경우에만 출력된다. SVC의 초기 버전들에서, 1과 같은 key_pic_flag 및 0보다 큰 quality_level은 픽쳐가 디코딩되고 기본 표현으로서 저장되고 있다고 표시하고, 그리고 이전 기본 표현이 이 픽쳐를 위한 예측 레퍼런스로서 사용되고 있다는 것을 표시하기 위해 사용되었다.

대응하는 오버레이 픽쳐가 수신된다면 픽쳐가 출력되지 않는 특정 사용 케이스들이 최근에 존재한다. 오버레이 코딩은, 장면 전환의 소스 시퀀스들의 독립(independent) 코딩 및 페이드(fade)의 런타임 콤포지션(composition)에 기초한다. 제1 장면이 디코딩되지만, 동시간 인스턴트의 오버레이 픽쳐가 수신된다면 출력되지 않는다. 오버레이 픽쳐는, 제2 장면 내의 픽쳐의 코딩된 표현과 제1 장면과 제2 장면의 디코딩된 픽쳐들 간의 표시된 오퍼레이션의 콤퍼지션을 위한 파라미터들을 담고 있다. 디코더는 그 오퍼레이션을 실행시키고, 그 오퍼레이션의 결과적인 픽쳐만을 출력하고, 반면에 제1 장면의 픽쳐와 제2 장면의 픽쳐가 인터-예측 레퍼런스로서 디코딩된 픽쳐에 남는다. 이 시스템은 2003년 1월 22일에 출원되고 그 전체로서 여기에 참조 병합된, US 특허 공개번호 제2003/0142751호에서 설명된다.

본 발명은 스케일러블하게 코딩된 비디오 비트스트림에서 신택스 요소들과 같은, 하나 이상의 시그널링 요소들의 사용을 제공한다. 본 발명의 다양한 실시 예들에서, 코딩된 비디오 비트스트림 내의 신택스 요소(element)들과 같은, 하나 이상의 시그널링 요소들이,(1) 대응하는 코딩된 픽쳐가 다른 하나의 디코딩된 픽쳐를 산출하는데 다른 하나의 코딩된 픽쳐와 연관되어 사용될 예정일 때, 일정 디코딩된 픽쳐가 유효하고(valid)/또는 그렇지 않다면 출력을 위해 바람직할(desirable) 수 있는지 여부; (2) 스케일러블 계층과 같은, 픽쳐들의 일정 세트가, 유효하고/또는 그렇지 않다면, 출력을 위해 바람직할 수 있는지[-그 경우에 대응하는 코딩된 픽쳐가 디코딩된 픽쳐들의 다른 하나의 세트를 산출하는데 있어서, 향상 스케일러블 계층와 같은, 코딩된 픽쳐들의 다른 하나의 세트와 연관되어 사용될 예정일 때, 픽쳐들의 세트가 명시적으로(explicitly) 시그널링되거나 암시적으로(implicitly) 유도될 수 있음] 여부; 또는 (3)코딩된 픽쳐의 대응하는 부분이, 다른 하나의 디코딩된 픽쳐를 산출하는 때 다른 하나의 코딩된 픽쳐와 연관되어 사용될 예정일 때, 픽쳐의 일정 부분이 유효하고/또는 그렇지 않다면 출력을 위해 바람직할 수 있는지 여부를 표시하기 위해 사용된다. 예컨대 기본 계층 및 그 퀄러티 향상 계층이 2개의 슬라이스 그룹들-하나는 관심 영역(region-of- interest)이고 다른 하나는 "백그라운드" 임-을 포함할 수 있다. 다양한 발명에 따라서, 관심 영역(region-of- interest)은 향상 계층의 대응하는 슬라이스 그룹이 충분한 퀄러티를 위해 제시되도록 요구하는 동시에, 기본 계층 픽쳐의 백그라운드가 출력하기 충분하게 좋고(good)/또는 바람직하다는 것이 시그널링될 수 있다. 시그널링 요소는 시그널링 요소가 연관되는 코딩된 픽쳐 또는 액세스 유닛의 일부일 수 있거나, 또는 시퀀스 파라미터 세트와 같은, 코딩된 픽쳐 또는 액세스 유닛과 별개의 신택스 구조에 있을 수 있다. 본 발명의 다양한 실시 예들은, 전체 시퀀스를 재-인코딩할 필요없이, 압축된 비트스트림으로 로고들을 삽입하는데 사용된다.

또한 본 발명의 다양한 실시 예들은 비트스트림으로 위에서 논의된 시그널링 요소를 인코딩하는 인코더의 사용을 포함한다. 인코더는 이전에 논의된 사용 케이스들 중 일부에 따라 동작하도록 배열될 수 있다. 또한 그 다양한 실시 예들은 픽쳐, 픽쳐들의 세트, 또는 픽쳐의 부분이 출력될지 여부를 결론짓기 위해 시그널링 요소를 사용하는 디코더의 사용을 포함한다.

또한 본 발명의 다양한 실시 예들은, 입력으로서 여기서 논의된 시그널링 요소를 포함하는 비트스트림을 취하고, 출력으로서 비트스트림의 서브세트를 산출하는 프로세싱 유닛의 사용을 포함한다. 그 서브세트는 시그널링 요소에 따라 출력될 것으로 표시된 적어도 하나의 픽쳐를 포함한다. 프로세싱 유닛의 오퍼레이션은 일정 최소 출력 픽쳐 레이트에서 출력을 산출하도록 조정될 수 있고, 그 케이스에서 그 서브세트는 적어도 최소 출력 비트레이트에서 제안된 시그널링 요소에 따라 출력될 것으로 표시된 픽쳐들을 포함한다.

본 발명의 다양한 실시 예들이, 비스트스림의 생성자(creator)가 적어도 일정 개수의 뷰들을 디스플레이하도록 요구하는 상황들에서 멀티-뷰 코딩에 적용가능하다는 것을 주목해야 한다. 예컨대 비트스트림이 스테레오 디스플레이를 위해서만 생성될 수 있고, 뷰들 중 하나만을 디스플레이하는 것은 생성자의 예술적인 목표를 만족시키지 않을 것이다. 이와 같은 상황들에서, 디코더로부터의 단지 단일 뷰의 출력은 본 발명의 실시 예들을 사용하여 허가되지 않을 수 있다.

본 발명의 이런 그리고 다른 이점들 및 특징들이, 그 동작 구성 및 방법과 더불어, 첨부된 도면들과 연관해서 다음의 상세할 설명으로부터 명백해질 것이다. 첨부된 도면들에서 동일한 요소들은 아래에서 설명되는 다수의 도면들을 통해서 동일한 참조번호들을 갖는다.

도 1은 본 발명이 구현될 수 있는 시스템의 개략도이며;

도 2는 본 발명의 구현에서 사용될 수 있는 이동 디바이스의 투시도이며;

도 3은 도 2의 이동 디바이스의 회로소자의 개략적인 표현이며; 그리고

도 4는 로고(logo)를 포함하는 기본(base) 계층 및 향상(enhancement) 계층의 표현이다.

도 1은 본 발명에 사용되는 일반적 멀티미디어 통신 시스템을 보여준다. 도 1에 도시된 바와 같이, 데이터 소스(100)는 아날로그, 압축해제된 디지털이거나, 압축된 디지털 포맷 또는 이런 포맷들의 임의의 조합으로 소스 신호를 제공한다. 인코더(110)는 소스 신호를 코딩된 미디어 비트스트림으로 인코딩한다. 인코더(110)는 오디오 및 비디오와 같은 하나 이상의 미디어 타입을 인코딩할 수 있거나, 하나 이상의 인코더(110)는 소스 신호의 다른 미디어 유형들을 코딩하도록 요구될 수 있다. 인코더(110)는 그래픽스와 텍스트와 같은, 합성적으로(synthetically) 산출된 입력을 또한 얻을 수 있고, 또는 인코더(110)는 합성(synthetic) 미디어의 코딩된 비트스트림들을 산출할 수 있다. 다음에서, 하나의 미디어 타입의 하나의 코딩된 미디어 비트스트림의 프로세싱(processing)만이 설명(description)을 단순화하기 위해 고려된다. 그러나 일반적으로 실시간 방송(broadcast) 서비스가 여러 스트림을(일반적으로 적어도 하나의 오디오, 비디오 및 텍스트 자막 처리(sub-titling) 스트림) 포함하는 것이 주목되어야 한다. 시스템이 많은 인코더를 포함할 수 있지만, 다음에서 범용성을 잃지 않고 설명을 단순화시키기 위해 단지 하나의 인코더(110)만이 간주되는 것을 또한 주의되어야 한다.

코딩된 미디어 비트스트림은 저장소(120)로 이동된다. 저장소(120)는 코딩된 미디어 비트스트림을 저장하기 위한 임의 유형의 대용량 메모리(mass memory)를 포함할 수 있다. 저장소(120)에 있는 코딩된 미디어 비트스트림의 포맷은 엘리멘터리(elementary) 자급식(self-contained) 비트스트림 포맷일 수 있거나, 한 개 이상의 코딩된 미디어 비트스트림이 컨테이너 파일 안으로 캡슐화될 수 있다. 몇몇 시스템은 ˝라이브˝로서 동작한다 - 즉 저장을 생략하고 인코더(110)로부터 송신 기(130)로 직접적으로 코딩된 미디어 비트스트림을 전송한다. 그런 다음에 코딩된 미디어 비트스트림은 필요하다면, 서버로서 또한 언급된 송신기(130)로 이동된다. 전송에서 사용된 포맷이 엘리멘터리 자급식 비트스트림 포맷, 패킷 스트림 포맷일 수 있거나, 1개 이상의 코딩된 미디어 비트스트림들이 컨테이너 파일 안으로 캡슐화될 수 있다. 인코더(110), 저장소(120)와 송신기(130)는 동일한 물리적 기기에서 상주할 수 있거나 그것들은 분리된 기기들에 포함될 수 있다. 인코더(110)와 송신기(130)는 라이브 실시간 콘텐츠에 의해서 동작할 수 있고, 그런 경우에 코딩된 미디어 비트스트림은 처리(processing) 지연, 전달 지연과 코딩된 미디어 비트레이트에 있는 변동(variation)을 매끄럽게하기 위하여 콘텐츠 인코더(110)에서 그리고/또는 송신기(130)에서 영구히 저장되지 않는 것이 통상적이고, 오히려 작은 시간 구간들 동안 버퍼링된다. 코딩된 미디어 비트스트림의 다른 부분들용으로 다른 통신 프로토콜들을 사용하는 것이 또한 가능하다. 예를 들어, 파라미터 세트 NAL 유닛들은 세션 디스크립션 프로토콜 (SDP)를 사용하여 전달될 수 있고, 반면에 남아있는 데이터는 RTP를 사용하여 운반된다.

송신기(130)는 통신 프로토콜 스택을 사용하여 코딩된 미디어 비트스트림을 송신한다. 스택은 실시간 트랜스포트 프로토콜(RTP : Real-time Transport Protocol), 사용자 데이터그램 프로토콜(UDP : User Datagram Protocol)과 인터넷 프로토콜(IP : Internet Protocol)을 포함할 수 있지만, 이에 제한되지 않는다. 통신 프로토콜 스택이 패킷 지향 방식(packet-oriented)일 때, 송신기(130)는 패킷들 안으로 코딩된 미디어 비트스트림을 캡슐화한다. 예를 들어, RTP가 사용될 때, 송 신기(130)는 RTP 페이로드 포맷에 따라서 RTP 패킷들 안으로 코딩된 미디어 비트스트림을 캡슐화한다. 일반적으로, 각각의 미디어 유형은 전용 RTP 페이로드 포맷을 가진다. 시스템이 하나 이상의 송신기(130)를 포함할 수 있지만, 간이화 목적을 위해서 아래의 설명은 하나의 송신기(130)만을 고려하는 것을 주목해야 한다.

송신기(130)는 통신 네트워크를 통해 게이트웨이(140)에 연결될 수도 연결되지 않을 수도 있다. 게이트웨이(140)는 하나의 통신 프로토콜 스택으로부터 다른 하나의 통신 프로토콜 스택에 따라 패킷 스트림의 번역(translation), 데이터 스트림의 통합과 포킹(forking), 및 다운링크 그리고/또는 수신기 성능에 따라 데이터 스트림의 조작(manipulation)[예컨데 우세한(prevailing) 다운링크 네트워크 상태에 따라서 포워드된 스트림의 비트 레이트를 제어하는 것]과 같은 기능의 서로 다른 타입들을 수행할 수 있다. 게이트웨이(140)의 예가 MCUs(multipoint conference control unit), 회선-교환과 패킷-교환 비디오 텔레포니(telephony) 사이의 게이트웨이, PoC(Push-to-talk over Cellular) 서버들, DVB-H(digital video broadcasting-handheld) 시스템들에서의 IP 인캡슐레이터들, 또는 브로드캐스트 전송들을 로컬하게 홈 무선 네트워크들로 포워드하는 셋톱 박스들을 포함한다, RTP가 사용될 때, 게이트웨이(140)는 RTP 믹서로 지칭되고, RTP 커넥션의 엔드포인트로 동작한다.

시스템은, 코딩된 미디어 비트스트림 안으로 전송된 신호를 수신하고, 복조하고 캡슐화 취소(de-capsulating)할 수 있는 것이 일반적인 한 개 이상의 수신기(150)를 포함한다. 코딩된 미디어 비트스트림은 일반적으로 디코더(160)에 의해 추가 프로세스되며, 디코더(160)의 출력은 하나 이상의 압축해제된(uncompressed) 미디어 스트림이다. 디코딩될 비트스트림은 가상적으로 임의 유형의 네트워크 내에 위치된 원격 디바이스로부터 수신될 수 있다. 또한 비트스트림은 로컬 하드웨어 또는 소프트웨어로부터 수신될 수 있다. 마침내, 렌더러(renderer)(170)는 예를 들어, 확성기 또는 디스플레이를 사용하여 압축해제된 미디어 스트림을 재생할 수 있다. 수신기(150), 디코더(160)와, 및 렌더러(renderer)(170)는 동일한 물리 기기에 상주할 수 있거나 그것들은 분리된 기기들에 포함될 수 있다.

비트 레이트, 디코딩 복잡성과 픽쳐 크기에 관한 스케일러빌러티는 이질적 이고 오류 경향이 있는 환경을 위한 바람직한 속성이다. 이 속성은 수신 기기에서 비트 레이트, 디스플레이 해상도, 네트워크 효율(throughput), 및 연산 능력에 대한 제약과 같은 제한에 상대하기 위하여 바람직하다.

여기에 포함된 텍스트 및 예들이 특히 인코딩 프로세스를 설명하였지만, 이 기술분야에서 통상의 지식을 가진자는, 동일한 개념들 및 원리들이 대응하는 디코딩 프로세스에 또한 적용될 수 있고 그 반대도 가능하다는 것을 쉽게 알 것이다.디코딩될 비트스트림이 가상적으로 네트워크의 임의의 유형 내에 위치된 원격 디바이스로부터 수신될 수 있다. 또한 비트스트림이 로컬 하드웨어 또는 소프트웨어로부터 수신될 수 있다.

본 발명의 통신 디바이스들은 다양한 전송 기술들을 사용하여 통신할 수 있고, 이때 전송 기술은 CDMA(Code Division Multiple Access), GSM(Global System for Mobile Communications), UMTS(Universal Mobile Telecommunications System), TDMA(Time Division Multiple Access), FDMA(Frequency Division Multiple Access), TCP/IP(Transmission Control Protocol/Internet Protocol), SMA(Short Messaging Service), MMS(Multimedia Messaging Service), 이메일, IMS(Instant Messaging Service), 블루투스(Bluetooth), IEEE 802.11, 기타 등등을 포함하지만 이에 제한되지는 않는다. 통신 디바이스는 무선(radio), 적외선(infrared), 레이저, 케이블 연결 기타 등등을 사용하여 통신할 수 있지만 이에 제한되는 것은 아니다.

도 2 및 도 3은 본 발명이 구현될 수 있는 하나의 대표적인 이동 디바이스(12)를 도시한다. 그러나 본 발명은 이동 디바이스(12) 또는 다른 전자 디바이스의 하나의 특정 타입에 제한될 의도가 아님을 알아야 한다. 도 5 및 도 6에 도시된 특징들의 일부 또는 모두는 도 4에 표현된 기기들의 일부 또는 모두에 포함될 수 있다.

도 2 및 도 3의 이동 디바이스(12)는 하우징(30), LCD(liquid crystal display) 형태의 디스플레이(32), 키패드 (34), 마이크로 폰(36), 이어피스(ear-piece)(38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 하나의 실시 예에 따른 UICC 형태의 스마트 카드(46), 카드 리더(48), 무선 인터페이스 회로소자(52), 코덱 회로소자(54), 제어부(56), 및 메모리(58)를 포함한다. 개별 회로들 및 엘리먼트들은 본 기술분야, 예를 들면 노키아 범위의 이동 전화들에서 모두 잘 알려진 형태이다.

본 발명은 스케일러블하게 코딩된 비디오 비트스트림에서 신택스 요소와 같 은 시그널링 요소의 이용을 위해 제공된다. 코딩된 비디오 비트스트림 내의 신택스 요소(element)와 같은, 시그널링 요소가,(1) 대응하는 코딩된 픽쳐가 다른 하나의 디코딩된 픽쳐를 산출하는데 다른 하나의 코딩된 픽쳐와 연관되어 사용될 예정일 때, 일정 디코딩된 픽쳐가 유효하고(valid)/또는 그렇지 않다면 출력을 위해 바람직할 수 있는지 여부; (2) 스케일러블 계층과 같은, 픽쳐들의 일정 세트가, 유효하고/또는 그렇지 않다면, 출력을 위해 바람직할 수 있는지[-그 경우에 대응하는 코딩된 픽쳐가 디코딩된 픽쳐들의 다른 하나의 세트를 산출하는데 있어서, 향상 스케일러블 계층와 같은, 코딩된 픽쳐들의 다른 하나의 세트와 연관되어 사용될 예정일 때, 픽쳐들의 세트가 명시적으로(explicitly) 시그널링되거나 암시적으로(implicitly) 유도될 수 있음] 여부; 또는 (3) 코딩된 픽쳐의 대응하는 부분이, 다른 하나의 디코딩된 픽쳐를 산출하는 때 다른 하나의 코딩된 픽쳐와 연관되어 사용될 예정일 때, 픽쳐의 일정 부분이 유효하고/또는 그렇지 않다면 출력을 위해 바람직할 수 있는지 여부를 표시하기 위해 사용된다. 예컨대 기본 계층 및 그 퀄러티 향상 계층이 2개의 슬라이스 그룹들-하나는 관심 영역(region-of- interest)이고 다른 하나는 "백그라운드" 임-을 포함할 수 있다. 다양한 발명에 따라서, 관심 영역(region-of-interest)은 향상 계층의 대응하는 슬라이스 그룹이 충분한 퀄러티를 위해 제시되도록 요구하는 동시에, 기본 계층 픽쳐의 백그라운드가 출력하기 충분하게 좋고(good)/또는 바람직하다는 것이 시그널링될 수 있다. 시그널링 요소는 시그널링 요소가 연관되는 코딩된 픽쳐 또는 액세스 유닛의 일부일 수 있거나, 또는 시퀀스 파라미터 세트와 같은, 코딩된 픽쳐 또는 액세스 유닛과 별개의 신택스 구 조에 있을 수 있다.

본 발명의 실시 예들에 따라서, 도 1에 도시된 유형의 인코더(110)가 위에서 논의된 시그널링 요소를 비트스트림으로 인코딩할 수 있다. 인코더(110)는 위에서 논의된 사용 케이스 시나리오들 중 일부와 연관되어 동작하도록 구성될 수 있다. 유사하게, 디코더(160)가 픽쳐, 픽쳐들의 일정 세트, 픽쳐의 일정 부분이 출력되는지 여부를 결정하기 위해 시그널링 엘리먼트를 사용할 수 있다.

또한 본 발명의 다른 하나의 실시 예들에서, 입력으로서 시그널링 요소를 포함하는 비트스트림을 얻도록 그리고 출력으로서 비트스트림의 서브세트를 산출하도록 프로세싱 유닛이 구성된다. 예컨대 프로세싱 유닛은 스트리밍 서버와 같은 송신기(130), RTP 믹서와 같은 게이트웨이(140)일 수 있다. 비트스트림의 이 서브세트는 시그널링 요소에 따라 출력으로 표시된 적어도 하나의 픽쳐를 포함한다. 다양한 실시 예들에서, 프로세싱 유닛의 오퍼레이션은 일정 최대 출력 비트레이트에서 출력을 산출하도록 조정될 수 있고, 그 케이스에서 서브세트는 최대 출력 비트레이트를 초과하지 않는 시그널링 요소에 따라 출력으로 표시되는 픽쳐들을 담고 있다.

일정 픽쳐가 출력되는지를 표시하기 위한 시그널링 요소는, 예컨대 픽쳐 또는 액세스 유닛과 연관된 SEI(supplemental enhancement information) 메시지, 슬라이스 헤더, 또는 NAL 유닛 헤더 내에 포함될 수 있다. SEI 메시지는 다양한 목적을 위해 비디오의 사용을 향상시키도록 비트스트림으로 삽입될 수 있는 여분의 정보를 담고 있다.

다음 신택스 표는, SVC 표준 JVT-T201 표준의 초안에 설명된 것과 같은, NAL 유닛 헤더의 SVC 확장판에 대한 수정안(그 수정안은 본 발명의 실시 예들의 구현을 반영)을 제시한다. 일정 신택스는 투과선으로 표시된 것과 같이 제거될 수 있다.

output_flag의 시맨틱스는, 비-VCL NAL 유닛들을 위해 상술되지 않는다. output_flag가 VCL NAL 유닛에서 0과 같을 때, 그것은 VCL NAL 유닛에 대응하는 디코딩된 픽쳐들이 출력되지 않는 것을 표시한다. output_flag가 VCL NAL 유닛에서 1과 같을 때, 그것은 VCL NAL 유닛에 대응하는 디코딩된 픽쳐들이 출력되는 것을 표시한다.

일정 스케일러블 계층의 픽쳐와 같은 픽쳐들의 일정 그룹이 출력될 수 있는지를 나타내는 시그널링 요소가, 예컨대 SVC에 의해 상술된 스케일러빌러티 정보 SEI 메시지 내에 또는 시퀀스 파라미터 세트 내에 포함될 수 있다. 다음의 신택스 표는, 어떤 스케일러블 계층들이 출력되지 않는지를 표시하는, JVT-T201에서 상술된 것과 같은 시퀀스 파라미터 세트의 SVC 확장판에 대한 수정판을 제시한다.

num_not_output_layers 신택스는 출력되지 않을 스케일러블 계층들의 개수를 나타낸다. dependency_id가 dependency_id[i]와 같고 quality_level이 quality_level[i]과 같은 픽쳐들이 출력되지 않는다.

일정 픽쳐의 일정 부분이 출력되는지를 표시하는 시그널링 요소가 예컨대 SEI 메시지, NAL 유닛 헤더, 또는 슬라이스 헤더 내에 포함될 수 있다. 다음 SEI 메시지는 어떤 픽쳐의 슬라이스 그룹들이 출력되거나 디스플레이되어서는 안 되는지를 나타낸다. SEI 메시지는, SEI 메시지가 관련된 액세스 유닛 내의 코딩된 스케일러블 픽쳐를 나타내는, 스케일러블 네스팅 SEI 메시지(JVT-T073) 내에 포함될 수 있다.

num_slice_groups_in_set는, 출력되지 않고, 그 대신에 이전 픽쳐 내에 배열된(co-located ) 데이터[그 배열된 디코딩된 데이터는 이 메시지에 종속되지 않음]로 대체되어야 하는, 슬라이스 그룹들의 개수를 나타낸다. slice_group_id[i]는 출력되지 않아야할 슬라이스 그룹의 개수를 나타낸다.

로고 삽입의 경우에, 전체 비디오 시퀀스의 재-인코딩없이 압축된 비트스트림으로 로고를 삽입하기 위한 본 발명의 다양한 실시 예들을 구현하는 것이 가능하다. 이런 동작이 바람직한 하나의 예는 필름 스튜디오와 같은 콘텐츠 소유자가 콘 텐츠의 압축된 버전을 서비스 제공자에게 제공하는 상황을 담고 있다. 압축된 버전은 서비스에 적합한 픽쳐 크기 및 특정 비트레이트를 위해 코딩된다. 예컨대 비트레이트 및 픽쳐 크기는 일정 DVD(digital video broadcasting) 명세들에 상술된 IRD(integrated receiver-decoder) 클래스들에 따라 선택될 수 있다. 결론적으로, 서비스 제공자가 서비스를 위해 콘텐츠를 재인코딩할 필요가 없으므로, 콘텐츠 소유자는 제공된 비디오 퀄러티를 완전히 제어한다. 그러나 서비스 제공자가 스트림으로 그 로고를 추가하는 것이 바람직할 수 있다.

상기 문제를 해결하기 위한 하나의 시스템 및 방법은 도 4에 도시되고 다음과 같은 것이 일반적이다. 도 4에 도시된 것과 같이, 비트스트림의 기본 계층(400)(즉 첫 번째 코딩된 픽쳐)이 변하지 않는다. 로고(420)에 의해 커버되는 영역이 하나 이상의 슬라이스들로 코딩되도록 향상 계층(410)(즉 두 번째 코딩된 픽쳐)이 코딩된다. 향상 계층의 공간 해상도는 기본 계층의 공간 해상도와 다를 수 있다. 하나 이상의 슬라이스 그룹이 사용되는 프로파일에서 허용된다면, 하나의 슬라이스 그룹 및 따라서 하나의 슬라이스에서 또한 로고(420)를 커버하는 것이 가능하다. 로고(420)는 디코딩된 또는 압축해제된(uncompressed) 영역에 걸쳐서 블렌딩되고, 로고를 커버하는 슬라이스들이 향상 계층(410)을 위해서 재인코딩된다. 향상 계층 내의 잔여 슬라이스들의 슬라이스 헤더들 내의 "스킵 슬라이스"가 1로 설정된다. 슬라이스에 대해 1과 같은 "스킵 슬라이스" 플래그는, 슬라이스 헤더 외의 어떤 추가의 정보도 슬라이스를 위해 송신되지 않는다는 것을 표시하고, 그 케이스에 매크로블록들의 모두가, 인터-계층 예측을 위해 사용되는 기본 계층 내에 배열된 (collocated) 매크로블록들의 정보를 사용하여 재구성된다. 불법적인 콘텐츠에서 로고가 없는(logo-free) 버전을 떼어내기 위하여, 향상 계층(410)이 존재하지 않더라도, 디코더들은 기본 계층의 디코딩된 픽쳐들을 출력해서는 안 된다. 이 특정 사용은 기본 계층(400)의 모든 NAL 유닛들 내의 output_flag를 0으로 설정함으로써 구현될 수 있다. 스케일러빌러티 정보 SEI 메시지 내의 layer_output__flag[i]는 기본 계층(400)을 위해 0으로 설정된다.

본 발명은 방법 단계들의 일반적인 정황에서 설명되고, 네트워크 환경에서 컴퓨터에 의해 실행될 수 있고 컴퓨터 판독가능 매체 내에 구체화된 프로그램 코딩와 같은 컴퓨터 실행 가능한 명령어들을 포함하는 프로그램 제품에 의하여 일 실시예에서 그 단계들이 구현될 수 있다. 일반적으로 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추출(abstract) 데이터형을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 데이터 구조들과 관련된 컴퓨터 실행 가능한 명령어들 및 프로그램 모듈들은, 여기에 개시된 방법들의 단계들을 실행하기 위한 프로그램 코딩의 예들을 나타낸다. 이와 같은 실행 가능한 명령어들 또는 관련된 데이터 구조들의 특정 시퀀스는 이와 같은 단계들에서 묘사된 기능들을 구성하기 위한 상응하는 동작의 예들을 나타낸다.

다양한 데이터베이스 검색 단계, 상호연관(correlation) 단계, 비교 단계 및 결정 단계를 달성하기 위한 규칙 기반 로직 및 다른 로직을 갖는 표준 프로그래밍 테크닉들을 써서 본 발명의 소프트웨어 및 웹 구현들이 달성될 수 있다. 본 발명의 상세한 설명 및 청구항에서 사용되는 "컴포넌트(component)" 및 "모듈"이라는 용어 는 하나 이상의 소프트웨어 코딩 라인들 및/또는 하드웨어 구현들, 및/또는 수신하는 수동 입력들을 위한 장치를 이용하여 구현되는 예들을 모두 포함하는 의도라는 것을 주목해야 한다.

본 발명의 실시 예들의 전술한 설명은 도해 및 설명 목적들을 위해 제시되었다. 본 발명을 개시된 정확한 형태로 제한하거나 한정시키려는 의도가 아니고, 수정들 및 변경들이 위의 교시들에 비추어 가능하거나 본 발명의 실행으로부터 얻어질 수 있다. 발명의 원리들 및 다양한 실시 예들과 고려되는 특정 용도에 적합한 다양한 수정들을 써서 당업자가 본 발명을 이용할 수 있도록 하는 그것의 실제적인 애플리케이션들을 설명하기 위해 실시 예들이 선택되고 설명되었다.

Claims

비디오 콘텐츠를 인코딩하는 방법으로서,

복수의 픽쳐(picture)들을 인코딩된 비트스트림으로 인코딩하고; 그리고

상기 인코딩된 비트스트림에 정보를 제공하는 것을 포함하며,

상기 정보는, 상기 인코딩된 복수의 픽쳐들의 적어도 일부와 연관되고, 요구된 출력 속성을 나타내는, 방법.
제1항에 있어서,

상기 정보는, 전체 픽쳐와 대응 픽쳐의 부분 중 하나가 출력될지 여부를 나타내는 표시자(indicator)를 포함하는, 방법.
제1항에 있어서,

상기 정보는, 적어도 하나의 식별자(identifier) 요소를 포함하고,

상기 적어도 하나의 식별자 요소는, 출력되지 않을 픽쳐들의 세트 및 픽쳐 부분들의 세트 중 하나를 나타내는, 방법.
제1항에 있어서,

상기 인코딩된 복수의 픽쳐들 중 하나는 백그라운드 픽쳐이고,

상기 정보는, 상기 백그라운드 픽쳐가 출력되지 않을 것으로 표시하는, 방 법.
제1항에 있어서,

상기 정보는, 가상 레퍼런스 픽쳐가 출력되지 않을 것으로 표시하는, 방법.
제1항에 있어서,

상기 인코딩된 복수의 픽쳐들 중 하나는 코딩된 로고(logo)를 포함하는, 방법.
제6항에 있어서,

상기 인코딩된 복수의 픽쳐들 중 하나는, 스케일러블 코딩된 비디오 비트스트림의 향상 계층에 속하는, 방법.
제1항에 있어서,

상기 인코딩된 복수의 픽쳐들 중 하나는, 스케일러블 코딩된 비디오 비트스트림의 기본 계층 및 향상 계층 중 하나에 속하는, 방법.
제1항에 있어서,

상기 정보는 NAL(network abstraction layer) 유닛 헤더 내에 인코딩되는, 방법.
제1항에 있어서,

상기 정보는 슬라이스 헤더 내에 인코딩되는, 방법.
제1항에 있어서,

상기 정보는, 보충 향상 정보(supplemental enhancement information) 메시지 내에 인코딩되는, 방법.
제11항에 있어서,

상기 보충 향상 정보 메시지는 상기 복수의 픽쳐들 중 하나와 연관된, 방법.
제11항에 있어서,

상기 보충 향상 정보 메시지는, 상기 복수의 픽쳐들을 포함하는 액세스 유닛과 연관되는 방법.
제1항의 과정들을 수행하도록 구성된 컴퓨터 코드를 포함하는, 비디오 콘텐츠를 인코딩하기 위한 컴퓨터 판독가능 매체 내에 구체화된 컴퓨터 프로그램 제품.
프로세서; 및

상기 프로세서에 통신하도록 연결되는 메모리를 포함하는 인코딩 장치로서,

상기 메모리는,

복수의 픽쳐(picture)들을 인코딩된 비트스트림으로 인코딩하는 컴퓨터 코드; 그리고

상기 인코딩된 비트스트림에 정보를 제공하는 컴퓨터 코드를 포함하며,

상기 정보는, 상기 인코딩된 복수의 픽쳐들의 적어도 일부와 연관되고, 요구된 출력 속성을 나타내는, 장치.
제15항에 있어서,

상기 정보는, 전체 픽쳐와 대응 픽쳐의 부분 중 하나가 출력될지 여부를 나타내는 표시자(indicator)를 포함하는, 장치.
제15항에 있어서,

상기 정보는, 적어도 하나의 식별자 요소를 포함하고,

상기 적어도 하나의 식별자 요소는, 출력되지 않을 픽쳐들의 세트 및 픽쳐 부분들의 세트 중 하나를 나타내는, 장치.
제15항에 있어서,

상기 인코딩된 복수의 픽쳐들 중 하나는 백그라운드 픽쳐이고,

상기 정보는, 상기 백그라운드 픽쳐가 출력되지 않을 것으로 표시하는, 장 치.
제15항에 있어서,

상기 정보는, 가상 레퍼런스 픽쳐가 출력되지 않을 것으로 표시하는, 장치.
제15항에 있어서,

상기 인코딩된 복수의 픽쳐들 중 하나는 코딩된 로고(logo)를 포함하는, 장치.
제15항에 있어서,

상기 인코딩된 복수의 픽쳐들 중 하나는, 스케일러블 코딩된 비디오 비트스트림의 향상 계층 및 기본 계층 중 하나에 속하는, 장치.
제15항에 있어서,

상기 정보는 NAL(network abstraction layer) 유닛 헤더 내에 인코딩되는, 장치.
제15항에 있어서,

상기 정보는 슬라이스 헤더 내에 인코딩되는, 장치.
제15항에 있어서,

상기 정보는, 보충 향상 정보(supplemental enhancement information) 메시지 내에 인코딩되는, 장치.
제24항에 있어서,

상기 보충 향상 정보 메시지는 상기 복수의 픽쳐들 중 하나와 연관된, 장치.
제24항에 있어서,

상기 보충 향상 정보 메시지는, 상기 복수의 픽쳐들을 포함하는 액세스 유닛과 연관되는 장치.
복수의 픽쳐들을 선택적으로 출력하는 방법으로서,

인코딩된 비트스트림으로부터 복수의 픽쳐들을 디코딩하고;

상기 인코딩된 비트스트림으로부터 정보[상기 정보는, 상기 디코딩된 복수의 픽쳐들의 적어도 일부와 연관되고, 요구된 출력 속성을 나타냄]를 디코딩하고; 그리고,

상기 정보에 기초하여 상기 복수의 픽쳐들을 선택적으로 출력하는 것을 포함하는, 방법.
제27항에 있어서,

상기 정보는, 전체 픽쳐와 대응 픽쳐의 부분 중 하나가 출력될지 여부를 나타내는 표시자(indicator)를 포함하는, 방법.
제27항에 있어서,

상기 정보는, 적어도 하나의 식별자 요소를 포함하고,

상기 적어도 하나의 식별자 요소는, 출력되지 않을 픽쳐들의 세트 및 픽쳐의 부분들의 세트 중 하나를 나타내는, 방법.
제27항에 있어서,

상기 복수의 픽쳐들 중 하나는 백그라운드 픽쳐이고,

상기 정보는, 상기 백그라운드 픽쳐가 출력되지 않을 것으로 표시하는, 방법.
제27항에 있어서,

상기 정보는, 가상 레퍼런스 픽쳐가 출력되지 않을 것으로 표시하는, 방법.
제27항에 있어서,

상기 복수의 픽쳐들 중 하나는 코딩된 로고(logo)를 포함하는, 방법.
제32항에 있어서,

상기 복수의 픽쳐들 중 하나는, 스케일러블 코딩된 비디오 비트스트림의 향상 계층에 속하는, 방법.
제27항에 있어서,

상기 복수의 픽쳐들 중 하나는, 스케일러블 코딩된 비디오 비트스트림의 기본 계층 및 향상 계층 중 하나에 속하는, 방법.
제27항에 있어서,

상기 정보는 NAL(network abstraction layer) 유닛 헤더로부터 디코딩되는, 방법.
제27항에 있어서,

상기 정보는 슬라이스 헤더로부터 디코딩되는, 방법.
제27항에 있어서,

상기 정보는, 보충 향상 정보(supplemental enhancement information) 메시지로부터 디코딩되는, 방법.
제37항에 있어서,

상기 보충 향상 정보 메시지는 상기 복수의 픽쳐들 중 하나와 연관된, 방법.
제37항에 있어서,

상기 보충 향상 정보 메시지는, 상기 복수의 픽쳐들을 포함하는 액세스 유닛과 연관되는 방법.
제29항의 과정들을 수행하도록 구성된 컴퓨터 코드를 포함하는, 컴퓨터 판독가능 매체 내에 구체화된 컴퓨터 프로그램 제품.
프로세서; 및

상기 프로세서에 통신하도록 연결되는 메모리를 포함하는 디코딩 장치로서,

상기 메모리는,

인코딩된 비트스트림으로부터 복수의 픽쳐들을 디코딩하는 컴퓨터 코드;

상기 인코딩된 비트스트림으로부터 정보[상기 정보는, 상기 디코딩된 복수의 픽쳐들의 적어도 일부와 연관되고, 요구된 출력 속성을 나타냄]를 디코딩하는 컴퓨터 코드; 및,

상기 정보에 기초하여 상기 복수의 픽쳐들을 선택적으로 출력하는 컴퓨터 코드를 포함하는, 장치.
제41항에 있어서,

상기 정보는, 전체 픽쳐와 대응 픽쳐의 부분 중 하나가 출력될지 여부를 나타내는 표시자(indicator)를 포함하는, 장치.
제41항에 있어서,

상기 정보는, 적어도 하나의 식별자 요소를 포함하고,

상기 적어도 하나의 식별자 요소는, 출력되지 않을 픽쳐들의 세트 및 픽쳐의 부분들의 세트 중 하나를 나타내는, 장치.
제41항에 있어서,

상기 복수의 픽쳐들 중 하나는 백그라운드 픽쳐이고,

상기 정보는, 상기 백그라운드 픽쳐가 출력되지 않을 것으로 표시하는, 장치.
제41항에 있어서,

상기 정보는, 가상 레퍼런스 픽쳐가 출력되지 않을 것으로 표시하는, 장치.
제41항에 있어서,

상기 복수의 픽쳐들 중 하나는 코딩된 로고(logo)를 포함하는, 장치.
제41항에 있어서,

상기 복수의 픽쳐들 중 하나는, 스케일러블 코딩된 비디오 비트스트림의 기본 계층 및 향상 계층 중 하나에 속하는, 장치.
제41항에 있어서,

상기 정보는 NAL(network abstraction layer) 유닛 헤더로부터 디코딩되는, 장치.
제41항에 있어서,

상기 정보는 슬라이스 헤더로부터 디코딩되는, 장치.
제41항에 있어서,

상기 정보는, 보충 향상 정보(supplemental enhancement information) 메시지로부터 디코딩되는, 장치.
제50항에 있어서,

상기 보충 향상 정보 메시지는 상기 복수의 픽쳐들 중 하나와 연관된, 장치.
제50항에 있어서,

상기 보충 향상 정보 메시지는, 상기 복수의 픽쳐들을 포함하는 액세스 유닛과 연관되는 장치.
비트스트림으로부터 정보를 프로세싱하는 컴퓨터 코드 [그 정보는 첫 번째 디코딩된 픽쳐의 적어도 일부가 출력될지 여부를 표시하며,

첫 번째 코딩된 픽쳐의 디코딩으로 첫 번째 디코딩된 픽쳐가 생기고, 그리고

첫 번째 코딩된 픽쳐와 두 번째 코딩된 픽쳐의 디코딩으로 두 번째 코딩된 픽쳐가 생김]; 및

상기 정보의 표시에 기초하여 상기 첫 번째 디코딩된 픽쳐를 선택적으로 출력하는 컴퓨터 코드를 포함하는, 프로세싱 유닛.
프로세서; 및

상기 프로세서에 통신하도록 연결되는 메모리를 포함하며,

상기 장치는,

첫 번째 코딩된 픽쳐, 두 번째 코딩된 픽쳐, 및 첫 번째 디코딩된 픽쳐의 적어도 일부가 출력될지 여부를 나타내는 정보를 수신하고 [첫 번째 코딩된 픽쳐의 디코딩으로 첫 번째 디코딩된 픽쳐가 생기고, 그리고 첫 번째 코딩된 픽쳐와 두 번째 코딩된 픽쳐의 디코딩으로 두 번째 코딩된 픽쳐가 생김]; 및

상기 디코딩된 정보의 표시를 기초로 상기 두 번째 코딩된 픽쳐를 선택적으로 전송하도록 구성된 장치.