KR20080092425A - 스케일링가능한 비디오 코딩을 위한 스위치드 필터업-샘플링 메커니즘 - Google Patents
스케일링가능한 비디오 코딩을 위한 스위치드 필터업-샘플링 메커니즘 Download PDFInfo
- Publication number
- KR20080092425A KR20080092425A KR1020087019340A KR20087019340A KR20080092425A KR 20080092425 A KR20080092425 A KR 20080092425A KR 1020087019340 A KR1020087019340 A KR 1020087019340A KR 20087019340 A KR20087019340 A KR 20087019340A KR 20080092425 A KR20080092425 A KR 20080092425A
- Authority
- KR
- South Korea
- Prior art keywords
- spatial resolution
- quantization parameter
- filter
- lower spatial
- switching process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 41
- 230000007246 mechanism Effects 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 91
- 230000008569 process Effects 0.000 claims abstract description 48
- 238000013139 quantization Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 10
- 230000011664 signaling Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000000116 mitigating effect Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 51
- 238000004891 communication Methods 0.000 description 13
- 238000005457 optimization Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Analogue/Digital Conversion (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
스케일링가능한 비디오 코딩을 위한 개선된 스위치드 필터 업-샘플링 메커니즘이 개시된다. 본 발명의 필터 스위칭 메커니즘은 필터들 각각의 최적 성능을 협력하는 방식으로 이용한다. 본 발명의 스위칭 프로세스는 더 많은 필터 선택으로도 일반화될 수 있으며, 필터 선택의 추가된 자유도 및 탄력성에 기인하여 연산 복잡성을 잠재적으로 완화할 수 있다.
Description
본 발명은 일반적으로 비디오 부호화 기술 분야에 관련된다. 더 상세하게는, 본 발명은 스케일링가능한 비디오 코딩(scalable video coding, SVC)에서의 공간적 스케일링가능성(spatial scalability)에 관련된다.
이 섹션은 청구의 범위에 기술된 본 발명에 대한 배경 기술 및 본 발명이 구현되는 상황을 제공하기 위한 것이다. 본 명세서에서 이루어지는 기술은 비록 과거에는 고안되거나 추구된 바가 반드시 있는 것은 아니라고 할지라도 장래에 구현될 수 있는 개념을 포함할 수 있다. 그러므로, 본 명세서에서 그렇지 않다고 명백히 진술되지 않으면, 이 배경 기술 섹션에 기술된 내용은 본 명세서의 상세한 설명 및 청구의 범위에 대한 종래 기술이 아니며, 이 섹션에 포함되어 있다는 사실 만으로써 종래 기술이라고 인정되어서는 안 된다.
디지털 비디오는 일정한 비트율(예를 들면 초당 15개 내지 30개의 영상의 속도)로 생성된 정렬된 이미지들의 시퀀스를 포함한다. 결과적으로 로(raw) 비디오 데이터의 용량은 매우 크다. 결과적으로서, 비디오 압축 기술이 저장 또는 송신 동작 이전에 비디오 데이터를 효율적으로 코딩하기 위하여 특히 필요하다. 압축 프로세스는 비디오 데이터를 콤팩트 포맷으로 가역적으로 변환하는 과정으로서, 이러한 포맷은 더 적은 비트수를 이용하여 표시될 수 있다.
비디오 코딩 기술은 공통적으로 프레임내(intra) 및 프레임간(interframe) 코딩을 위한 비디오 시퀀스 내에 내재된 공간적 및 시간적 반복을 이용한다. 프레임간 코딩이 수행되는 동안에, 인코더는 인접 프레임들에 기반하여 현재 프레임을 예측함으로써 연속되는 비디오 프레임 사이의 시간적 중복성을 감소시키고자 시도한다. 프레임내 예측 기법에서, 인접 블록들로부터 프레임을 구성하는 블록들을 예측함으로써 공간적 중복성이 감소된다. 예측 동작 이후에, 예측된 프레임 및 원 프레임 간의 차분치에 해당하는 잔여 프레임(residual frame)이 몇 가지 지원하는 파라미터들을 이용하여 생성된다. 잔여 프레임은 송신되기 이전에 흔히 압축되는데, 이 과정에서 이산 코사인 변환(Discrete Cosine Transform, DCT)과 같은 기법들이 적용된 후 허프만 코딩(Huffman coding)과 같은 가변장 코딩(variable length coding) 방법이 후속한다.
광범위한 어플리케이션 및 송신 대역폭에 더욱 유연하게 적응하도록 허용하기 위하여, 스케일링가능한 비디오 코딩기법은 기본(단일-계층) 비디오 코딩 기법으로부터 다중-계층 비디오 코딩 기법까지 확장된다. 특히, 베이스 계층(base layer)은 상이한 공간적, 시간적, 및 품질 해상도에서 상이한 향상 계층(enhancement layer)들과 함께 코딩된다. 프레임내 및 프레임간 예측 기법에 더하여, 스케일링가능한 비디오 코딩 기법은 계층간 중복성을 이용하고 하위 계층들로부터의 정보를 재이용하는 계층간 예측 메커니즘을 개발한다.
재구성된 하위 공간 해상도 베이스 계층으로부터의 정보를 상위 공간 해상도 향상 계층에서 재이용하기 위하여, 베이스 계층 픽쳐(base layer picture)의 업-샘플링이 필요하다. 업-샘플링 프로세스는 픽셀값들을 유한 임펄스 응답 필터를 이용하여 보간함으로써 더 높은 해상도의 픽쳐를 생성하는 과정을 포함한다. 보간된 그림의 품질 및 그에 따른 예측의 신뢰성은 명백하게 업-샘플링 필터의 선택에 영향 받게 된다. 도 1은 이러한 요구 조건의 일 예를 제공하는데, 여기서 단순 다이아딕(dyadic) 보간(즉, 업-샘플링)이 예시된다. 업-샘플링 필터의 선택이, 압축된 향상 계층의 전체 품질에 있어서 중요한 역할을 담당한다. 현재 잘 알려진 바 있으며 SVC 내에 이용되도록 고안된 대안적 필터에는 두 가지가 있는데, 이들은 AVC 필터 및 최적화 필터(optimal filter)가 있다. 비록 낮은 비트율에서는 최적화 필터가 AVC 필터에 비하여 더 잘 동작하기는 하지만, 고 비트율에서는 최적화 필터는 AVC 필터에 비하여 잘 동작하지 못한다.
JVT의 MPEG의 스케일링가능한 비디오 코딩 프로젝트(Scalable Video Coding project)는 현재 개발 단계에 있는 H.264/AVC의 스케일링가능한 확장판이다. 이에 상응하는 기준 인코더(reference encoder)는 ISO/IEC JTC1/SC29/WG11, "Draft of Joint Scalable Video Model JSVM-4 Annex G", JVT document, JVT-Q201, Poznan, 2005년 7월에 기술되는데, 이 문헌은 본 명세서에 참조되어 통합된다. 현재의 JSVM에서, 베이스 계층 프레임의 업-샘플링 동작은 개선 비디오 코딩(advanced video coding, AVC) 필터를 이용하여 수행된다. 또한, 신규한 필터들이 AVC 필터에 대한 대안으로서 제안되어 왔다. 예를 들어, 이러한 필터들은 Andrew Segall 의, "Adaptive Study of Up-sampling/Down-sampling for Spatial Scalability", JVT-Q083, Nice, France, October 2005에서 논의되는데, 이 문헌은 본 명세서에 참조되어 통합된다. 이와 같이 서로 경쟁하는 필터들 각각은 특정 비트율에서는 상대적으로 양호한 성능을 보여주나 다른 비트율에서는 상대적으로 동작이 열화된다.
현재의 JSVM 소프트웨어에서, 필터 탭 [0 0 1 0 -5 0 20 32 20 0 -5 0 1 0 0]/32을 가지는 AVC 필터가 베이스 계층 프레임을 업-샘플링하기 위하여 이용된다. 베이스 계층 QP에 따라서 변경되는 필터 탭(예를 들어 QP_base=20 일 경우에 탭들은 [0 3 3 -8 -8 21 42 21 -8 -8 3 3 0]/32로 주어진다)을 가지는 최적화 필터는 보간된 그림의 품질을 더욱 향상시키기 위한 AVC 필터에 대한 대안으로서 이미 제안된 바 있다. 대안적 필터에 의하여 획득되는 향상은 그러나 낮은 비트율의 경우만으로 한정된다. 더 나아가, 고비트율에서는 성능의 하향세가 목격된다.
본 발명은 스케일링가능한 비디오 코딩에 이용되기 위한 이미지 업-샘플링 시스템 내의 현존하는 베이스 계층을 향상시킨다. 본 발명은 필터들 각각의 최적 성능을 상호 보완적인 방식으로 이용하기 위하여 필서 스위칭 메커니즘을 이용하는 것을 포함한다. 본 발명의 스위칭 프로세스는 더 많은 필터 선택의 경우로 더욱 일반화될 수 있고, 필터 선택에 있어서의 추가된 자유도 및 유연성에 기인하여 연산의 복잡성을 잠재적으로 완화시킬 수 있다. 베이스 계층 양자화 파라미터(quantization parameter, QP)(QP_base)가 고정될 경우에는, 본 발명은 QP에 기반한 스위칭(QP-based switching),속도-왜곡(rate-distortion)에 기반한 스위칭, 또는 필터 트레이닝에 기반한 스위칭을 이용하여 구현될 수 있다. 만일 디코더 측에서의 베이스 계층 QP(QP_base)가 정확히 알려지지 않으면, 스위칭 프로세스는 시퀀스 레벨 또는 프레임 레벨 중 하나에서 QP 임계치에 기반하여 구현될 수 있다.
성능의 관점에서는, 본 발명은 인코더로 하여금 수 개의 대안적 필터들의 장점을 상호 보완적인 방식으로 통합시키도록 허용한다. 이러한 성능 장점이 도 2에 예시된다. 본 발명의 시스템 및 방법은 참여하는 필터들의 총체적 성능 이득을, 적합한 스위칭 결정을 이용하여 획득할 수 있다.
또한, 데이터율과 무관하게 단일 필터를 이용함으로써 양호한 성능을 획득하기 위하여 많은 개수의 필터 탭을 이용하지 않아도 되므로(예를 들어, 최적화 필터의 경우에서와 같이), 업-샘플링 동작의 연산 복잡성이 더 적은 개수의 탭을 가지는 필터를 채택하는 스위칭 필터 메커니즘을 이용함으로써 감소될 수 있다. 본 발명은 예를 들어 C/C++ 또는 어셈블리 언어와 같은 모든 공통 프로그래밍 언어를 이용하여 소프트웨어로 직접 구현될 수 있다. 또한, 본 발명은 하드웨어로 구현될 수도 있으며, 소비자 장치에서 이용될 수도 있다.
본 발명의 이러한 장점 및 특징 및 다른 장점 및 특징은, 본 발명의 동작의 구조 및 방식과 함께 첨부된 도면과 결합하여 후술되는 상세한 설명으로부터 명백해질 것이며, 후술되는 수 개의 도면을 통하여 유사한 부재에는 유사한 부재 번호가 부여된다.
도 1은 상향 공간 계층 프레임을 획득하기 위하여 베이스 계층 공간 해상도 를 다이아딕 보간(dyadic interpolation)하는 일 실시예를 예시한다.
도 2는 AVC 및 최적화 필터를 이용하는 스위칭 메커니즘의 성능을 예시하는 도면이다.
도 3은 본 발명에 따르는 업-샘플링 필터 스위칭 메커니즘을 예시하는 도면이다.
도 4는 QP 그리드(grid) 및 필터 매핑의 형식을 도시하는 도면이다.
도 5는 본 발명이 적용될 수 있는 시스템의 전체적인 개요도이다.
도 6은 본 발명의 일 실시예에서 이용될 수 있는 이동 전화기를 도시하는 사시도이다.
도 7은 도 6에 도시된 이동 전화기의 전화 회로부를 개념적으로 도시하는 도면이다.
본 발명은 스케일링가능한 비디오 코딩 이용되기 위한 현존하는 베이스 계층 이미지 업-샘플링 메커니즘을 개선시킨다. 본 발명은 필터들 각각의 최적 성능을 상호 보완적인 방식으로 이용하기 위한 필터 스위칭 메커니즘을 이용하는 과정을 포함한다. 본 발명의 스위칭 프로세스는 더 많은 필터 선택으로 일반화될 수 있고, 필터 선택의 추가적인 자유도 및 탄력성에 기인하여 연산 복잡성을 잠재적으로 완화시킨다.
본 발명의 속성을 이해하기 위하여, 하위 공간 해상도 계층(본 명세서에서는 공간적 베이스 계층이라고 불린다)을 고려하는 것이 바람직하며, 여기에는 관련된 정밀 그레인 SNR(fine grain SNR, FGS) 스케일링가능한 계층과 관련될 수 있다. 베이스 계층 해를 업-샘플링하여 상위 공간 해상도를 획득하는 동작(예를 들어 CIF 해상도를 획득하기 위하여 QCIF 해상도를 업-샘플링 하는 동작)에서, 본 발명은 상이한 업-샘플링 필터 스위칭 메커니즘을 제공한다. 이러한 메커니즘들 중 몇 가지는, 하위 공간 해상도 계층이 디코더 측에서 업-샘플링 되는 유효 QP(effective QP)가 정확하게 알려지지 않는 경우를 고려한 것이다. 다른 메커니즘들은 이러한 유효 QP가 정확하게 알려진 경우에 이용된다.
SVC에서, 공간적 스케일링가능성은 하위 공간 계층 해상도가 상위 공간 계층을 예측하는데 이용될 수 있도록 하기 위하여 업-샘플링 하도록 요구한다. 전술된 바와 같이, 이러한 코딩이 발생하는 품질 레벨(비트율)에 무관하게 단일 필터가 현재는 이용된다. 그러나, 두 개의 필터들은 상이한 비트율에서 상이한 성능 강도(performance strength)를 가질 수 있다. 후보 필터들의 최적 성능을 이용하기 위하여, 본 발명은 상이한 업-샘플링 필터들 사이에서의 스위칭 동작을 포함하는 프로세스를 이용한다.
본 발명을 더욱 상세히 설명하기 위하여, 하위 공간 계층(베이스 계층)으로서 상이한 FGS 계층과 결합될 수 있는 하위 공간 계층이 다음과 같이 후술된다. 업-샘플링 동작은 고정된 하위 공간 계층 QP에서 발생되거나(예를 들어 하위 공간 계층이 FGS 계층을 포함하지 않을 경우에) 또는 임의의 하위 공간 계층 QP에서 수행될 수 있다. 공지된 베이스 계층 QP 및 비공지된 베이스 계층 QP를 이용하는 후술된 두 가지 예는 스위칭된 업-샘플링 프로세스를 구현하기 위한 두 가지 기본적 인 시나리오들이다.
속도-왜곡(rate-distortion)에 기반한 스위칭: 기본적으로, 코딩될 각각의 향상 계층 프레임에 대하여, 인코더는 업-샘플링 필터 후보들 각각을 이용하여 상응하는 재구성된 베이스 계층 프레임을 업-샘플링한다. 결과적으로 업-샘플링된 프레임들은 개별적으로 향상 계층 프레임을 코딩하는데 이용된다. 이에 후속하여, 각 업-샘플링 필터와 관련된 속도 왜곡 비용(rate distortion cost)이 연산된다. 가장 작은 속도 왜곡 비용(또한 이에 따라 상응하는 향상 계층 코딩된 비트 스트림)을 제공하는 필터가 최적(또는 최후의) 후보로서 선택된다. 선택된 필터의 인덱스가 비트 스트림 내로 코딩된다. 이러한 코딩 동작은 프레임 당 기반으로, 매크로블록 당 기반으로, 또는 다른 주기 기반으로 수행될 수 있다. 몇 가지 경우에, 시그널링 동작이, 스펙트럼 조성(spectral composition)과 같은 비디오 시퀀스의 시간적으로 변경되는 특성에 대하여, 또는 한 매크로블록 및 인접 매크로블록 간 공간적 차분치와 같이 공간적으로 변경되는 특성에 대하여, 또는 베이스 계층 QP 값과 같이 이전에 비트 스트림 내로 코딩된 다른 정보에 대하여 조절될 수 있다. 이러한 조절 동작은, 필터 인덱스의 엔트로피 코딩(entropy coding)을 위한 콘텍스트를 선택하는 동작을 포함할 수 있다. 또한, 이것은 예를 들어 어느 매크로블록의 스펙트럼 특성이 해당 필터 인덱스가 공지된 인접 매크로블록의 스펙트럼 특성과 유사할 경우와 같은 경우에는 해당 필터 인덱스를 코딩하지 않는 동작을 포함할 수 있다.
QP 기반 스위칭(QP_based Switching). 전술된 스위칭 기법이 특정 향상-계 층 프레임에 대한 최적 후보를 선택하기 위하여 업-샘플링 필터들 각각에 상응하는 최종 코딩 프로세스 출력에 의존하는 반면에, QP-기반 스위칭 시스템은 QP 임계치에 따라서 후보들 중에서 최적 필터를 선택한다. 본질적으로, QP_base 및 QP_enhance에 대한 하나 또는 그 이상의 선결된 일정한 QP 임계치들이 설정되어, 도 4에 도시된 타입의 QP 그리드를 생성한다. QP 그리드의 각 셀들은 업-샘플링 필터 선택에 관련된다. 그러므로, QP_base 및 QP_enhance의 쌍이 어느 그리드에 속하느냐에 의존하여, 인코더는 하나의 업-샘플링 필터를 선택한다. QP 임계치들의 설정값들이 비트 스트림 내로 코딩된다. 많은 경우에, QP 임계치들의 집합은 시퀀스 기반에서 고정되지만, 다른 경우에는 이러한 임계치들은 주기적으로 코딩되거나, 또는 특정 프레임 타입(예를 들어, intra-frame)에 대하여 코딩되며, 또는 그들의 존재가 프래그 비트를 이용하여 시그널링될 수 있다. 다른 실시예에서, QP 임계치들 스스로의 코딩 동작은, 예를 들어 해당 QP 임계치들의 상이하게 코딩함으로써 인접 QP 임계치들 간의 상관성(correlation)을 이용할 수 있도록 하는 방식으로 수행된다.
필터 트레이닝 기반 스위칭(Filter Training Based Switching). 필터 트레이닝 기반 스위칭의 경우에, 인코더는 최적화 필터 계수들의 집합을 연산하는데, 예를 들어, 원래의 향상 해상도 프레임 및 업-샘플링된 프레임 사이의 에러 신호를 최적화함으로써 연산하지만, 이에 한정되는 것은 아니다. 트레이닝 동작은 베이스 계층 및 향상 계층 QP 값들의 쌍에 대하여 독립적으로 수행될 수 있으며, 또는 QP 값들의 쌍들은 각 "클래스"에 대하여 독립적으로 수행되는 트레이닝을 가지는 "클 래스"들로 그루핑될 수 있다. 비록 트레이닝이 매프레임 기반으로 일반적으로 수행되는 것으로 기대되지만, 이것은 다른 간격마다 수행될 수도 있는데, 예를 들어 프레임들의 소정 그룹 마다 수행되거나 또는 유사한 타입(예를 들어 일련의 I-프레임 및 P-프레임을 가지는)을 가지는 프레임들의 소정 집합마다 수행될 수 있다. 그러면, 결과적으로 얻어지는 비트 스트림으로 코딩된다. 이러한 동작은 시퀀스 기반으로, 프레임 기반으로, 또는 다른 주기적 간격마다 수행될 수 있다. 또한, 이러한 동작은 슬라이스 헤더 내의 필드(예를 들어, 슬라이스 타입)와 같은 것에 의하여 개시될 수 있거나, 또는 해당 비트 스트림 내로 이미 코딩된 정보에 기반하여 조건적으로 코딩될 수도 있다.
디코더가 비트 스트림을 디코딩할 FGS 계층이 알려지지 않으면, 전술된 스위칭 메커니즘이 수정된다. 상이한 필터 선택 사이의 QP 기반 스위칭이 두 개의 변형예(variations)에서 이용되는데, 이것은 시퀀스 레벨에서의 QP에 기반한 스위칭 및 프레임 레벨에서의 QP에 기반한 스위칭이다.
시퀀스 레벨에서의 QP 기반 스위칭 방법에 대하여, 인코더는 QP_base 및 QP_enhance에 대한 임계치들의 집합을 시그널링 한다(물론 시퀀스 레벨에서). "알려진 베이스 계층 QP의 경우"에서와 같이, QP 그리드는 이러한 임계치들에 기반하여 형성된다. QP 그리드는 QP_base 및 QP_enhance의 주어진 쌍을 하나의 업-샘플링 필터 선택으로 매핑하는데 이용된다. "알려진 베이스 계층 QP"의 시나리오와는 달리, 인코더 및 디코더는, 업-샘플링이 수행되는 하위 공간 해상도 계층의 FGS 계층이 코덱의 양 측면 사이에서 상이할 경우에는 상이한 업-샘플링 필터를 이용할 수 있다.
프레임 레벨에서의 QP 기반 스위칭 방법에서, 향상 계층 QP(QP_QP_enhance)가 인코더 및 디코더에게 모두 알려지기 때문에, 인코더는 프레임 기반으로만 QP_base에 대한 임계치들의 집합을 시그널링 한다. 이에 따라서, 디코더는 QP_base만을 위한 영역을 설정하고, 이러한 영역을 업-샘플링 필터들의 벡터로 매핑한다. (디코더가 하위 공간 계층 해상도를 업-샘플링할)실효 QP가 QP 영역들 중 어디에 놓이느냐에 따라서, 디코더는 업-샘플링 필터를 선택한다.
성능의 관점으로부터, 본 발명은 인코더로 하여금 수 개의 대안적 필터들의 장점을 상호 보완적인 방식으로 결합하도록 허용한다. 본 발명은 상이한 스위칭 결정을 이용하여 참가하는 필터들의 전체 성능 이득을 획득할 수 있다. 간단한 예로서, 도 3은 AVC 필터 및 최적화 필터 사이의 속도-왜곡 기반 스위칭을 이용하는 풋볼 시퀀스(15 프레임)에 대한 본 발명의 성능을 예시한다. 베이스 계층 해상도는 QCIF(173*144)인 반면에 향상 계층 해상도는 CIF(352*288)이다. 또한, 단일 필터를 이용하기 때문에, 데이터율에 관계없이 양호한 성능을 얻기 위하여 필터 탭의 개수를 증가시킬 필요가 없을 수 있으며(최적화 필터의 경우에서와 같이), 업-샘플링 동작의 연산 복잡성은 더 적은 개수의 탭을 가지는 필터를 채택하는 스위칭 필터 메커니즘을 이용함으로써 감소될 수 있다.
도 5는 본 발명이 이용될 수 있는 시스템(10)을 도시하는데, 이 시스템(10)은 네트워크를 통하여 통신할 수 있는 다중 통신 장치들을 포함한다. 시스템(10)은 이동 전화 네트워크, 무선 근거리 네트워크(LAN), 블루투스 개인 영역 네트워 크(personal area network), 이더넷 LAN, 토큰 링 LAN, 광대역 네트워크, 인터넷 등을 포함하나 이에 한정되는 것은 아닌 유선 또는 무선 네트워크의 모든 조합을 포함할 수 있다. 시스템(10)은 무선 및 유선 통신 장치 모두를 포함할 수 있다.
예를 들기 위하여, 도 5에 도시된 시스템(10)은 이동 전화 네트워크(11) 및 인터넷(28)을 포함한다. 인터넷(28)으로의 연결성은 장거리 무선 커넥션, 단거리 무선 커넥션, 및 다양한 유선 커넥션들을 포함할 수 있는데, 이들에는 전화선, 케이블 선, 전력선 등이 포함되지만, 이에 한정되는 것은 아니다.
시스템(10)의 예시적인 통신 장치들은, 이동 전화(12), PDA 및 무선 전화기의 조합기(14), PDA(16), 집적 메시징 장치(integrated messaging device, IMD)(18), 데스크톱 컴퓨터(20), 및 노트북 컴퓨터와 같은 것들을 포함할 수 있으나, 이에 한정되는 것은 아니다. 통신 장치는 고정형 장치일 수 있고 또는 이동 중인 개인에 의하여 소지되는 것과 같은 이동식 장치일 수도 있다. 통신 장치는 또한 자동차, 트럭, 택시, 버스, 배, 비행기, 자전거, 오토바이등과 같은 어느 종류의 운송 장치들 내에 위치될 수도 있으나, 이에 한정되는 것은 아니다. 통신 장치들 중 일부 또는 전부는 호(call) 및 메시지를 전송 및 수신하고 무선 커넥션(25)을 통하여 기지국(24)으로 서비스 제공자와 함께 통신할 수 있다. 기지국(24)은 이동 전화 네트워크(11) 및 인터넷(28) 사이의 통신을 허용하는 네트워크 서버(26)에 연결될 수 있다. 시스템(10)은 추가적 통신 장치 및 상이한 타입의 통신 장치를 포함할 수 있다.
통신 장치는 코드 분할 다중접속(Code Division Multiple Access, CDMA), 이 동 통신 세계화 시스템(Global System for Mobile Communications, GSM), 범용 이동 통신 시스템(Universal Mobile Telecommunications System, UMTS), 시분할 다중접속(Time Division Multiple Access, TDMA), 주파수 분할 다중 접속(Frequency Division Multiple Access, FDMA), 전송 제어 프로토콜/인터넷 프로토콜(Transmission Control Protocol/Internet Protocol, TCP/IP), 단문 메시징 서비스(Short Messaging Service, SMS), 멀티미디어 메시징 서비스(Multimedia Messaging Service, MMS), 이메일, 인스턴트 메시징 서비스(Instant Messaging Service, IMS), 블루투스, IEEE 802.11등과 같은 다양한 통신 기법을 이용하여 통신할 수 있으나, 이에 한정되는 것은 아니다. 통신 장치는 무선, 적외선, 레이저, 케이블 커넥션 등과 같은 것을 포함하는 다양한 매체를 통하여 통신할 수 있으나, 이에 한정되는 것은 아니다.
도 6 및 도 7은 본 발명이 구현될 수 있는 하나의 대표적인 이동 전화기(12)를 도시한다. 그러나, 본 발명은 이동 전화기(12) 및 다른 전자 장치의 특정 타입에 한정되는 것으로 의도되는 것이 아님이 이해되어야 한다. 도 6 및 7에 도시된 이동 전화기(12)는 하우징(30), 액정 표시 장치 형태의 디스플레이(32), 키패드(34), 마이크로폰(36), 스피커(38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 하나의 실시예에 따른 범용 집적회로 카드(UICC) 형태의 스마트 카드(46), 카드 판독기(48), 무선 인터페이스 회로(52), 코덱 회로(54), 제어기(56) 및 메모리(58)를 포함한다. 개별 회로 및 요소들은 모두 당업계에 공지된 타입이며, 예를 들어 이동 전화기의 노키아 상품 군에서 공지된 것이다.
본 발명은 일반적인 방법 단계들을 이용하여 기술되었으며, 이것은 프로그램 코드와 같은 네트워킹된 환경에서 컴퓨터에 의하여 컴퓨터 실행가능 명령어들을 포함하는 프로그램 생성물에 의하여 일 실시예에서 구현될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 실행하거나 또는 특정의 추상적 데이터 타입을 구현하는 루틴, 프로그램, 객체, 성분, 데이터 구조 등을 포함한다. 데이터 구조와 관련된 컴퓨터 실행 가능 명령어들 및 프로그램 모듈은 본 명세서에서 개시된 방법의 단계들을 실행하기 위한 프로그램 코드의 실시예들을 나타낸다. 이와 같은 실행가능 명령어 또는 관련된 데이터 구조의 특정 시퀀스가 이러한 단계에서 기술된 기능을 구현하기 위한 상응하는 동작들의 실시예들을 나타낸다.
본 발명의 소프트웨어 실시예 및 웹 실시예는 규칙 기반의 로직 및 다양한 데이터베이스 검색 단계, 상관 단계, 비교 단계 및 결정 단계를 획득하기 위한 다른 로직을 가지는 표준 프로그래밍 기법에 의하여 달성될 수 있다. 본 명세서에서 "성분(component) 및 "모듈" 이라는 용어는 상세한 설명 및 청구의 범위에서 이용되는데, 이 용어들은 소프트웨어 코드의 하나 또는 그 이상의 줄들 및/또는 하드웨어 실시예, 및/또는 수동 입력을 수신하기 위한 장비를 이용한 모든 실시예들을 포함하는 것으로 의도된다는 점에 주의하여야 한다.
인코딩 및 디코딩의 관점에서, 본 명세서에 포함된 텍스트 및 실시예들이 비록 인코딩 프로세스를 특정하여 기술할 수 있지만, 당업자는 동일한 개념 및 원리가 상응하는 디코딩 프로세스에도 적용될 수 있으며, 그 역의 관계도 성립한다는 것을 이해할 것이다. 또한, 디코딩될 비트 스트림이 모든 타입의 가상 네트워크 내에 위치된 원격 장치로부터 수신될 수 있다는 점에도 주의한다. 또한, 이 비트 스트림은 로컬 하드웨어 또는 소프트웨어로부터도 수신될 수 있다.
본 발명의 실시예들에 대한 전술된 상세한 설명은 예시와 설명을 위한 목적으로 제공된 것이다. 개시된 특정한 형태에 본 발명을 한정시키기 위한 의도가 있는 것이 아니며, 본 발명의 실시예로부터 다양한 수정예 및 변형례들이 본 발명의 기술적 사상을 반영하여 고안될 수 있다. 실시예들은 본 발명의 원리를 설명하기 위한 목적으로 선택되고 기술된 것이며, 본 발명의 실용적 어플리케이션은 당업자로 하여금 본 발명을 특정한 경우에 적합하도록 다양한 변형예를 가지는 다양한 실시예를 이용하도록 허용할 것이다.
본 발명은 일반적으로 비디오 부호화 기술 분야에 적용될 수 있다. 더 상세하게는, 본 발명은 스케일링가능한 비디오 코딩(scalable video coding, SVC)에서의 공간적 스케일링가능성(spatial scalability)에 적용될 수 있다.
Claims (26)
- 재구성된 하위 공간 해상도 계층(lower spatial resolution layer)으로부터의 정보를 상위 공간 해상도 향상 계층(higher spatial resolution enhancement layer)에서 재사용하는 방법에 있어서,상기 재구성된 하위 공간 해상도 계층을 제공하는 단계; 및상기 재구성된 하위 공간 해상도 계층을 업-샘플링하여 공간 해상도 향상 계층을 제공하는 단계를 포함하며,상기 재구성된 하위 공간 해상도 계층을 업-샘플링하는 상기 단계는, 소정의 스위칭 프로세스에 따라서 복수 개의 필터들 사이에서 스위칭하여 상기 재구성된 하위 공간 해상도 계층을 필터링하는 단계를 포함하는 것을 특징으로 하는 방법.
- 제1항에 있어서,상기 소정의 스위칭 프로세스는, 하위 공간 해상도 계층 양자화 파라미터가 상기 업-샘플링 동작이 수행되는 디코더에게 알려지는지 여부에 의존하는 것을 특징으로 하는 방법.
- 제2항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는, 인코더로 하여금,상기 하위 공간 해상도 계층 양자화 파라미터 및 상위 공간 해상도 향상 계층 양자화 파라미터에 대한 임계치들의 집합을 이용하여 복수 개의 필터 후보들 중에서 하나의 필터를 선택하도록 하고, 및시퀀스 레벨에서 상기 디코더로 상기 임계치들의 값들의 집합을 시그널링하도록 하는 단계를 포함하는 양자화 파라미터에 기반한 스위칭 프로세스를 포함하는 것을 특징으로 하는 방법.
- 제2항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는, 인코더로 하여금,속도 왜곡 비용(rate distortion cost)을 이용하여 필터 후보들의 인덱싱된 집합으로부터 하나의 필터를 선택하도록 하고; 및프레임 기반으로 상기 선택된 필터를 비트 스트림 내에서 상기 디코더로 시그널링하도록 하는 단계를 포함하는 속도-왜곡(rate-distortion)에 기반한 스위칭 프로세스를 포함하는 것을 특징으로 하는 방법.
- 제2항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는, 인코더로 하여금,최적 필터 계수들의 집합을 연산하여 복수 개의 필터 탭들을 얻도록 하고, 및프레임 기반으로 상기 복수 개의 필터 탭들을 비트 스트림 내에서 상기 디코더로 시그널링하도록 하는 단계를 포함하는 필터 트레이닝(filter training)에 기반한 스위칭 프로세스를 포함하는 것을 특징으로 하는 방법.
- 제2항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지지 않으며,상기 스위칭 프로세스는 시퀀스 레벨에서 양자화 파라미터 임계치들에 기반하는 것을 특징으로 하는 방법.
- 제2항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지지 않으며,상기 스위칭 프로세스는 프레임 레벨에서 양자화 파라미터 임계치들에 기반하는 것을 특징으로 하는 방법.
- 제7항에 있어서, 상기 스위칭 프로세스는, 인코더로 하여금,상기 디코더에 의하여 이용되기 위한 하위 공간 해상도 계층 양자화 파라미터에 대한 임계치들의 집합을 시그널링하도록 함으로써, 상기 디코딩 프로세스의 상기 하위 공간 해상도 계층 양자화 파라미터에 기반하여 필터들의 벡터를 선택하도록 하는 것을 특징으로 하는 방법.
- 제1항에 있어서,상기 하위 공간 해상도 계층은 베이스 계층(base layer)을 포함하는 것을 특징으로 하는 방법.
- 컴퓨터에 의하여 독출가능한 매체 상에 포함되며, 재구성된 하위 공간 해상도 계층으로부터의 정보를 상위 공간 해상도 향상 계층에서 재사용하기 위한 컴퓨터 프로그램 생성물에 있어서,상기 재구성된 하위 공간 해상도 계층을 제공하기 위한 컴퓨터 코드; 및상기 재구성된 하위 공간 해상도 계층을 업-샘플링하여 공간 해상도 향상 계층을 제공하기 위한 컴퓨터 코드를 포함하며,상기 재구성된 하위 공간 해상도 계층을 업-샘플링하는 상기 동작은, 소정의 스위칭 프로세스에 따라서 복수 개의 필터들 사이에서 스위칭하여 상기 재구성된 하위 공간 해상도 계층을 필터링하는 동작을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제10항에 있어서,상기 소정의 스위칭 프로세스는, 하위 공간 해상도 계층 양자화 파라미터가 상기 업-샘플링 동작이 수행되는 디코더에게 알려지는지 여부에 의존하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제11항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는, 인코더로 하여금,상기 하위 공간 해상도 계층 양자화 파라미터 및 상위 공간 해상도 향상 계층 양자화 파라미터에 대한 임계치들의 집합을 이용하여 복수 개의 필터 후보들 중에서 하나의 필터를 선택하도록 하고, 및시퀀스 레벨에서 상기 디코더로 상기 임계치들의 값들의 집합을 시그널링하도록 하는 동작을 포함하는 양자화 파라미터에 기반한 스위칭 프로세스를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제11항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는, 인코더로 하여금,속도 왜곡 비용을 이용하여 필터 후보들의 인덱싱된 집합으로부터 하나의 필터를 선택하도록 하고; 및프레임 기반으로 상기 선택된 필터를 비트 스트림 내에서 상기 디코더로 시그널링하도록 하는 동작을 포함하는 속도-왜곡에 기반한 스위칭 프로세스를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제11항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는, 인코더로 하여금,최적 필터 계수들의 집합을 연산하여 복수 개의 필터 탭들을 얻도록 하고, 및프레임 기반으로 상기 복수 개의 필터 탭들을 비트 스트림 내에서 상기 디코더로 시그널링하도록 하는 동작을 포함하는 필터 트레이닝에 기반한 스위칭 프로세스를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제11항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지지 않으며,상기 스위칭 프로세스는 시퀀스 레벨에서 양자화 파라미터 임계치들에 기반하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제11항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지지 않으며,상기 스위칭 프로세스는 프레임 레벨에서 양자화 파라미터 임계치들에 기반하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제16항에 있어서, 상기 스위칭 프로세스는, 인코더로 하여금,상기 디코더에 의하여 이용되기 위한 하위 공간 해상도 계층 양자화 파라미터에 대한 임계치들의 집합을 시그널링하도록 함으로써, 상기 디코딩 프로세스의 상기 하위 공간 해상도 계층 양자화 파라미터에 기반하여 필터들의 벡터를 선택하도록 하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 제10항에 있어서,상기 하위 공간 해상도 계층은 베이스 계층을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
- 재구성된 하위 공간 해상도 계층으로부터의 정보를 상위 공간 해상도 향상 계층에서 재사용하도록 구성되는 디코더에 있어서,프로세서; 및상기 프로세서로 통신가능하도록 연결되는 메모리 유닛으로서,상기 재구성된 하위 공간 해상도 계층을 제공하기 위한 컴퓨터 코드; 및상기 재구성된 하위 공간 해상도 계층을 업-샘플링하여 공간 해상도 향상 계층을 제공하기 위한 컴퓨터 코드를 포함하는 메모리 유닛을 포함하며,상기 재구성된 하위 공간 해상도 계층을 업-샘플링하는 상기 동작은, 소정의 스위칭 프로세스에 따라서 복수 개의 필터들 사이에서 스위칭하여 상기 재구성된 하위 공간 해상도 계층을 필터링하는 동작을 포함하는 것을 특징으로 하는 디코더.
- 제19항에 있어서,상기 소정의 스위칭 프로세스는, 하위 공간 해상도 계층 양자화 파라미터가 상기 업-샘플링 동작이 수행되는 디코더에게 알려지는지 여부에 의존하는 것을 특징으로 하는 전자 장치.
- 제20항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는 양자화 파라미터에 기반한 스위칭 프로세스를 포함하고, 상기 양자화 파라미터에 기반한 스위칭 프로세스는,상기 하위 공간 해상도 계층 양자화 파라미터 및 상위 공간 해상도 향상 계층 양자화 파라미터에 대한 임계치들의 집합을 이용하여 복수 개의 필터 후보들 중에서 하나의 필터를 선택하고, 및시퀀스 레벨에서 상기 디코더로 상기 임계치들의 값들의 집합을 시그널링하는 인코더에 기반하는 것을 특징으로 하는 전자 장치.
- 제20항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는 속도-왜곡에 기반한 스위칭 프로세스를 포함하고, 상기 속도-왜곡에 기반한 스위칭 프로세스는,속도 왜곡 비용을 이용하여 필터 후보들의 인덱싱된 집합으로부터 하나의 필터를 선택하고; 및프레임 기반으로 상기 선택된 필터를 비트 스트림 내에서 상기 디코더로 시그널링하는 인코더에 기반하는 것을 특징으로 하는 전자 장치.
- 제20항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지며,상기 스위칭 프로세스는 필터 트레이닝에 기반한 스위칭 프로세스를 포함하고, 상기 필터 트레이닝에 기반한 스위칭 프로세스는,최적 필터 계수들의 집합을 연산하여 복수 개의 필터 탭들을 얻고, 및프레임 기반으로 상기 복수 개의 필터 탭들을 비트 스트림 내에서 상기 디코더로 시그널링하는 인코더에 기반하는 것을 특징으로 하는 전자 장치.
- 제20항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지지 않으며,상기 스위칭 프로세스는 시퀀스 레벨에서 양자화 파라미터 임계치들에 기반하는 것을 특징으로 하는 전자 장치.
- 제20항에 있어서,상기 하위 공간 해상도 계층 양자화 파라미터는 상기 디코더에게 알려지지 않으며,상기 스위칭 프로세스는 프레임 레벨에서 양자화 파라미터 임계치들에 기반하는 것을 특징으로 하는 전자 장치.
- 제19항에 있어서,상기 하위 공간 해상도 계층은 베이스 계층을 포함하는 것을 특징으로 하는 전자 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US75781906P | 2006-01-10 | 2006-01-10 | |
| US60/757,819 | 2006-01-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20080092425A true KR20080092425A (ko) | 2008-10-15 |
Family
ID=38256675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020087019340A Ceased KR20080092425A (ko) | 2006-01-10 | 2007-01-09 | 스케일링가능한 비디오 코딩을 위한 스위치드 필터업-샘플링 메커니즘 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20070217502A1 (ko) |
| EP (1) | EP1974548A4 (ko) |
| JP (1) | JP2009522971A (ko) |
| KR (1) | KR20080092425A (ko) |
| CN (1) | CN101502118A (ko) |
| TW (1) | TW200737982A (ko) |
| WO (1) | WO2007080477A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011074924A3 (ko) * | 2009-12-18 | 2011-11-03 | 한국전자통신연구원 | 비디오 부호화/복호화 방법 및 장치 |
| KR20150090148A (ko) * | 2012-12-21 | 2015-08-05 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고 비트-심도 비디오의 스케일러블 코딩에서의 고 정밀 업-샘플링 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100937030B1 (ko) * | 2007-05-31 | 2010-01-15 | 한국전자통신연구원 | 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치 |
| DE602007009730D1 (de) * | 2007-06-29 | 2010-11-18 | Fraunhofer Ges Forschung | Skalierbare videocodierung, die pixelwert-verfeinerungsskalierbarkeit unterstützt |
| FR2920940B1 (fr) * | 2007-09-07 | 2010-02-12 | Actimagine | Procede et dispositif de generation d'un flux video |
| TWI386063B (zh) | 2008-02-19 | 2013-02-11 | Ind Tech Res Inst | 可調性視訊編碼標準的位元流分配系統與方法 |
| CN102106146B (zh) | 2008-07-22 | 2016-08-17 | 汤姆森许可贸易公司 | 可缩放视频解码中增强层分组丢失错误的隐藏方法 |
| US20120117133A1 (en) * | 2009-05-27 | 2012-05-10 | Canon Kabushiki Kaisha | Method and device for processing a digital signal |
| US20110002554A1 (en) * | 2009-06-11 | 2011-01-06 | Motorola, Inc. | Digital image compression by residual decimation |
| US20110002391A1 (en) * | 2009-06-11 | 2011-01-06 | Motorola, Inc. | Digital image compression by resolution-adaptive macroblock coding |
| EP2524505B1 (en) | 2010-01-15 | 2015-11-25 | Dolby Laboratories Licensing Corporation | Edge enhancement for temporal scaling with metadata |
| TWI416961B (zh) * | 2010-04-02 | 2013-11-21 | Univ Nat Chiao Tung | 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置 |
| US20130044814A1 (en) * | 2010-05-10 | 2013-02-21 | Thomson Licensing | Methods and apparatus for adaptive interpolative intra block encoding and decoding |
| CN103155559B (zh) * | 2010-10-12 | 2016-01-06 | 杜比实验室特许公司 | 用于帧兼容视频传输的联合层优化 |
| WO2012092841A1 (en) | 2011-01-03 | 2012-07-12 | Mediatek Inc. | Method of filter-unit based in-loop filtering |
| US9538128B2 (en) * | 2011-02-28 | 2017-01-03 | Cisco Technology, Inc. | System and method for managing video processing in a network environment |
| US8948248B2 (en) * | 2011-07-21 | 2015-02-03 | Luca Rossato | Tiered signal decoding and signal reconstruction |
| US10448032B2 (en) * | 2012-09-04 | 2019-10-15 | Qualcomm Incorporated | Signaling of down-sampling location information in scalable video coding |
| TW201436531A (zh) * | 2012-09-28 | 2014-09-16 | Vid Scale Inc | 多層視訊編碼適應性升取樣 |
| CN103716622B (zh) * | 2012-09-29 | 2017-02-08 | 华为技术有限公司 | 用于图像处理的方法和装置 |
| US9596465B2 (en) * | 2013-01-04 | 2017-03-14 | Intel Corporation | Refining filter for inter layer prediction of scalable video coding |
| JP6071618B2 (ja) * | 2013-02-20 | 2017-02-01 | 日本放送協会 | 画像処理装置及びプログラム |
| US20160005155A1 (en) * | 2013-03-19 | 2016-01-07 | Sony Corporation | Image processing device and image processing method |
| WO2014201421A1 (en) * | 2013-06-14 | 2014-12-18 | General Instrument Corporation | Re-sampling filters for scalable video coding |
| JP6397902B2 (ja) * | 2013-09-24 | 2018-09-26 | ヴィド スケール インコーポレイテッド | スケーラブルビデオ符号化のためのレイヤ間予測 |
| JP6233121B2 (ja) * | 2014-03-17 | 2017-11-22 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| KR102836976B1 (ko) | 2018-12-27 | 2025-07-23 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| US10909700B2 (en) | 2019-04-02 | 2021-02-02 | Samsung Electronics Co., Ltd. | Display apparatus and image processing method thereof |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
| JP4352105B2 (ja) * | 2000-04-07 | 2009-10-28 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | アドバンスドテレビジョンの強化された時相及び解像度の階層化 |
| GB2364843A (en) * | 2000-07-14 | 2002-02-06 | Sony Uk Ltd | Data encoding based on data quantity and data quality |
| US7929610B2 (en) * | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
| US7092448B2 (en) * | 2002-05-24 | 2006-08-15 | Koninklijke Philips Electronics N.V. | Method and system for estimating no-reference objective quality of video data |
| US7471726B2 (en) * | 2003-07-15 | 2008-12-30 | Microsoft Corporation | Spatial-domain lapped transform in digital media compression |
| US7961963B2 (en) * | 2005-03-18 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for extended spatial scalability with picture-level adaptation |
| US7876833B2 (en) * | 2005-04-11 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Method and apparatus for adaptive up-scaling for spatially scalable coding |
-
2007
- 2007-01-09 CN CNA2007800067160A patent/CN101502118A/zh active Pending
- 2007-01-09 EP EP07700457A patent/EP1974548A4/en not_active Withdrawn
- 2007-01-09 KR KR1020087019340A patent/KR20080092425A/ko not_active Ceased
- 2007-01-09 JP JP2008549940A patent/JP2009522971A/ja not_active Withdrawn
- 2007-01-09 WO PCT/IB2007/000038 patent/WO2007080477A2/en not_active Ceased
- 2007-01-10 US US11/621,951 patent/US20070217502A1/en not_active Abandoned
- 2007-01-10 TW TW096100914A patent/TW200737982A/zh unknown
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011074924A3 (ko) * | 2009-12-18 | 2011-11-03 | 한국전자통신연구원 | 비디오 부호화/복호화 방법 및 장치 |
| KR20150090148A (ko) * | 2012-12-21 | 2015-08-05 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고 비트-심도 비디오의 스케일러블 코딩에서의 고 정밀 업-샘플링 |
| KR20170060185A (ko) * | 2012-12-21 | 2017-05-31 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고 비트-심도 비디오의 스케일러블 코딩에서의 고 정밀 업-샘플링 |
| US10165288B2 (en) | 2012-12-21 | 2018-12-25 | Dolby Laboratories Licensing Corporation | High precision up-sampling in scalable coding of high bit-depth video |
| KR20190052165A (ko) * | 2012-12-21 | 2019-05-15 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고 비트-심도 비디오의 스케일러블 코딩에서의 고 정밀 업-샘플링 |
| US10516889B2 (en) | 2012-12-21 | 2019-12-24 | Dolby Laboratories Licensing Corporation | High precision up-sampling in scalable coding of high bit-depth video |
| US10958922B2 (en) | 2012-12-21 | 2021-03-23 | Dolby Laboratories Licensing Corporation | High precision up-sampling in scalable coding of high bit-depth video |
| US11284095B2 (en) | 2012-12-21 | 2022-03-22 | Dolby Laboratories Licensing Corporation | High precision up-sampling in scalable coding of high bit-depth video |
| US11570455B2 (en) | 2012-12-21 | 2023-01-31 | Dolby Laboratories Licensing Corporation | High precision up-sampling in scalable coding of high bit-depth video |
| US11792416B2 (en) | 2012-12-21 | 2023-10-17 | Dolby Laboratories Licensing Corporation | High precision up-sampling in scalable coding of high bit-depth video |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101502118A (zh) | 2009-08-05 |
| WO2007080477A2 (en) | 2007-07-19 |
| WO2007080477A3 (en) | 2007-10-25 |
| EP1974548A4 (en) | 2010-05-12 |
| TW200737982A (en) | 2007-10-01 |
| JP2009522971A (ja) | 2009-06-11 |
| US20070217502A1 (en) | 2007-09-20 |
| EP1974548A2 (en) | 2008-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20080092425A (ko) | 스케일링가능한 비디오 코딩을 위한 스위치드 필터업-샘플링 메커니즘 | |
| US12212774B2 (en) | Combined motion vector and reference index prediction for video coding | |
| US12262034B2 (en) | Method for coding and decoding scalable video and apparatus using same | |
| EP2106666B1 (en) | Improved inter-layer prediction for extended spatial scalability in video coding | |
| RU2414092C2 (ru) | Адаптация отбрасываемого низкого уровня при масштабируемом кодировании видеосигнала | |
| CN109644270B (zh) | 视频编码方法和编码器、视频解码方法和解码器、存储介质 | |
| CN101755458B (zh) | 可缩放视频编码方法和装置以及可缩放视频解码方法和装置 | |
| US20070160137A1 (en) | Error resilient mode decision in scalable video coding | |
| EP2685738A1 (en) | Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information | |
| KR20100024484A (ko) | 감소된 계수 개수를 가진 다중 변환 블록들의 공동 코딩 | |
| US9456212B2 (en) | Video coding sub-block sizing based on infrastructure capabilities and current conditions | |
| WO2006129184A1 (en) | Residual prediction mode in scalable video coding | |
| KR20130070644A (ko) | 비디오 코딩 방법, 장치 및 컴퓨터 프로그램 | |
| EP3777171B1 (en) | Bidirectional intra prediction signalling | |
| US20080013623A1 (en) | Scalable video coding and decoding | |
| WO2008010157A2 (en) | Method, apparatus and computer program product for adjustment of leaky factor in fine granularity scalability encoding | |
| Kimata et al. | Temporal scalable video coding with hierarchical reference picture selection method | |
| HK1189741A (en) | Video coding method and system | |
| HK1138702A (en) | Improved inter-layer prediction for extended spatial scalability in video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20080807 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100212 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20100518 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20100212 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |