KR20090108077A - 스케일러블 비디오 코딩을 위한 적응 업샘플링 - Google Patents

스케일러블 비디오 코딩을 위한 적응 업샘플링 Download PDF

Info

Publication number
KR20090108077A
KR20090108077A KR1020097016597A KR20097016597A KR20090108077A KR 20090108077 A KR20090108077 A KR 20090108077A KR 1020097016597 A KR1020097016597 A KR 1020097016597A KR 20097016597 A KR20097016597 A KR 20097016597A KR 20090108077 A KR20090108077 A KR 20090108077A
Authority
KR
South Korea
Prior art keywords
video data
base layer
upsampled
layer video
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020097016597A
Other languages
English (en)
Other versions
KR101056000B1 (ko
Inventor
옌 예
이량 바오
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090108077A publication Critical patent/KR20090108077A/ko
Application granted granted Critical
Publication of KR101056000B1 publication Critical patent/KR101056000B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시물은 공간 확장성을 지원하는 스케일러블 비디오 코딩 (SVC) 방식으로 정보를 코딩하는 기술을 설명한다. 일 실시예에서, 공간 확장성으로 비디오 데이터를 코딩하는 방법은 향상 계층 잔여 비디오 데이터의 공간 해상도로 기본 계층 잔여 비디오 데이터를 업샘플링하는 단계, 및 업샘플링된 기본 계층 잔여 비디오 데이터에 기초하여 향상 계층 잔여 비디오 데이터를 코딩하는 단계를 포함한다. 본 개시물에 따르면, 기본 계층 잔여 비디오 데이터를 업샘플링하는 단계는 상이한 기본 계층 잔여 비디오 데이터 블록들 사이의 위치에 대응하는 업샘플링된 기본 계층 잔여 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 단계를 포함한다.
공간 확장성, 스케일러블 비디오 코딩, 보간, 최근접 이웃 카핑

Description

스케일러블 비디오 코딩을 위한 적응 업샘플링{ADAPTIVE UPSAMPLING FOR SCALABLE VIDEO CODING}
본 출원은 2007년 1월 9일에 출원된 미국 가출원 제 60/884,099호, 및 2007년 2월 8일에 출원된 미국 가출원 제 60/888,912호의 우선권을 주장한다. 이 가출원 둘 다의 전체 내용은 참조로서 여기에 포함된다.
기술분야
본 개시물은 디지털 비디오 코딩에 관한 것으로, 더 상세하게는 공간 확장성 (scalability) 을 제공하는 스케일러블 비디오 코딩 (SCV) 기술에 관한 것이다.
배경기술
디지털 비디오 성능은 디지털 텔레비전, 디지털 직접 방송 시스템, 무선 통신 디바이스, 무선 방송 시스템, 개인 휴대 정보 단말기 (PDA), 랩톱 또는 데스크톱 컴퓨터, 디지털 카메라, 디지털 레코딩 디바이스, 비디오 게이밍 디바이스, 비디오 게임 콘솔, 셀룰러 또는 위성 무선 전화기 등을 포함하는 광범위한 디바이스에 통합될 수 있다. 디지털 비디오 디바이스는 디지털 비디오를 더욱 효율적으로 송수신하기 위해, MPEG-2, MPEG-4, ITU-T H.261, H.263, 또는 H.264/MPEG-4 파트 10, AVC (Advanced Video Coding) 표준으로 정의된 것과 같은 블록-기반 비디오 압축 기술을 구현할 수도 있다. 비디오 압축 기술은 비디오 신호에 고유한 리던던시를 감소 또는 제거하기 위해 공간 및 시간 예측을 수행한다.
공간 예측은 주어진 비디오 프레임 내의 이웃하는 비디오 블록들 사이의 리던던시를 감소시킨다. 모션 추정 및 보상으로도 알려진 시간 예측은 비디오 시퀀스의 미래 비디오 프레임 및/또는 과거 비디오 프레임에서의 비디오 블록들 사이의 시간 리던던시를 감소시킨다. 시간 예측에 있어서, 비디오 인코더는 모션 추정을 수행하여 2 개 이상의 인접 프레임들 사이의 매칭하는 비디오 블록의 이동을 추적한다. 모션 벡터는 하나 이상의 참조 프레임에서의 대응하는 예측 비디오 블록에 대한 비디오 블록의 변위를 표시한다. 모션 보상은 모션 벡터를 이용하여 참조 프레임으로부터 예측 비디오 블록을 식별한다. 잔여 비디오 블록은 코딩될 오리지널 비디오 블록에서 예측 비디오 블록을 감산함으로써 형성된다. 잔여 비디오 블록은 모션 벡터와 함께 비디오 디코더로 전송될 수 있고, 이 디코더는 이 정보를 이용하여 오리지널 비디오 블록 또는 오리지널 비디오 블록의 근사치를 복원할 수 있다. 비디오 인코더는 변환, 양자화 및 엔트로피 코딩 프로세스를 적용하여 잔여 블록과 연관된 비트 레이트를 더욱 감소시킬 수도 있다.
일부 비디오 코딩은 스케일러블 코딩 기술을 이용하는데, 이는 비디오 데이터의 무선 통신에 특히 바람직할 수도 있다. 일반적으로, 스케일러블 비디오 코딩 (SVC) 은 비디오 데이터가 하나의 기본 계층 및 하나 이상의 향상 계층으로 나타내어지는 비디오 코딩을 지칭한다. SVC 에 있어서, 기본 계층은 통상적으로 기본 공간, 시간 및/또는 신호 대 잡음비 (SNR) 레벨로 비디오 데이터를 반송한다. 하나 이상의 향상 계층은 추가 비디오 데이터를 반송하여 더 높은 공간, 시간 및/또는 SNR 레벨을 지원한다.
공간 확장성에 있어서, 향상 계층은 기본 계층의 프레임에 공간 해상도 (spatial resolution) 를 추가한다. 공간 확장성을 지원하는 SVC 시스템에서, 인터-계층 예측은 향상 계층을 전달하는데 필요한 데이터량을 감소시키는데 이용될 수도 있다. 인터-계층 예측 (inter-layer prediction) 에서, 향상 계층 비디오 블록은 모션 추정 및 모션 보상과 유사한 예측 기술을 이용하여 코딩될 수도 있다. 특히, 향상 계층 비디오 잔여 데이터 블록은 기본 계층에서의 참조 블록을 이용하여 코딩될 수도 있다. 그러나, 기본 및 향상 계층은 상이한 공간 해상도를 가진다. 따라서, 기본 계층 비디오 데이터는 향상 계층 비디오 데이터의 공간 해상도로 업샘플링되어, 예를 들어, 향상 계층 잔여 데이터의 발생을 위해 참조 블록을 형성할 수도 있다.
개요
일반적으로, 본 개시물은 공간 확장성을 위해 기본 계층 비디오 데이터를 업샘플링하여 향상 계층 비디오 데이터를 코딩하는 적응 기술을 기술한다. 예를 들어, 기본 계층 비디오 데이터 (예를 들어, 잔여 기본 계층 비디오 블록) 는 더 높은 해상도로 업샘플링될 수도 있고, 업샘플링된 데이터는 향상 계층 비디오 데이터를 코딩하는데 이용될 수도 있다. 업샘플링 프로세스의 일부로서, 본 개시물의 기술은 보간에 의한 업샘플링이 바람직할 수도 있는 상태, 및 소위 "최근접 이웃 (nearest neighbor)" 카핑 기술에 의한 업샘플링이 바람직할 수도 있는 다른 상황을 식별한다. 따라서, 향상 계층 데이터를 코딩하기 위해, 적응적으로 기본 계층 데이터를 업샘플링하는데 있어 보간 및 최근접 이웃 카핑 기술이 이용될 수도 있다.
본 개시물의 일정 양태에 따르면, 보간 또는 최근접 이웃 카핑 중 어느 하나는, 향상 계층 비디오 데이터의 코딩에 있어 참조 블록으로서 이용될 수도 있는 업샘플링된 데이터를 정의하는데 이용될 수도 있다. 특히, 보간을 수행할지 또는 최근접 이웃 카핑을 수행할지 여부에 관한 판정은 업샘플링된 픽셀이 향상 계층에서의 에지 픽셀 위치에 대응하는지 여부에 기초할 수도 있다. 업샘플링을 위해 보간할지 또는 최근접 이웃 카핑을 이용할지 여부를 결정하는데 있어 기본 계층 픽셀만을 고려하는 대신에, 본 개시물에서 설명된 기술은 향상 계층에서의 블록 경계에 대한 업샘플링된 픽셀 위치를 고려할 수도 있다. 향상 계층에서의 블록 경계는 기본 계층의 블록 경계와 상이할 수도 있다.
일 실시예에서, 본 개시물은 공간 확장성으로 비디오 데이터를 코딩하는 방법을 제공한다. 이 방법은 기본 계층 비디오 데이터에 기초하여 업샘플링된 비디오 데이터를 발생시키는 단계 (여기서, 업샘플링된 데이터는 향상 계층 비디오 데이터의 공간 해상도에 대응한다), 및 업샘플링된 비디오 데이터에 기초하여 향상 계층 비디오 데이터를 코딩하는 단계를 포함하며, 여기서 업샘플링된 비디오 데이터를 발생시키는 단계는 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 단계를 포함한다.
다른 실시예에서, 본 개시물은 공간 확장성으로 비디오 데이터를 코딩하는 장치를 제공하며, 이 장치는 기본 계층 비디오 데이터에 기초하여 업샘플링된 비디 오 데이터를 발생시키고 (여기서 업샘플링된 비디오 데이터는 향상 계층 비디오 데이터의 공간 해상도에 대응한다), 업샘플링된 비디오 데이터에 기초하여 향상 계층 비디오 데이터를 코딩하도록 구성되는데, 여기서 이 장치는 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간한다.
다른 실시예에서, 본 개시물은 공간 확장성으로 비디오를 코딩하는 디바이스를 제공하며, 이 디바이스는 기본 계층 비디오 데이터에 기초하여 업샘플링된 비디오 데이터를 발생시키는 수단 (여기서, 업샘플링된 비디오 데이터는 향상 계층 비디오 데이터의 공간 해상도에 대응한다), 및 업샘플링된 비디오 데이터에 기초하여 향상 계층 비디오 데이터를 코딩하는 수단을 포함하는데, 여기서 업샘플링된 비디오 데이터를 발생시키는 수단은 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 수단을 포함한다.
본 개시물에서 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 소프트웨어는 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable gate array), 또는 DSP (digital signal processor) 와 같은 프로세서에서 실행될 수도 있다. 이 기술을 실행하는 소프트웨어는 초기에 컴퓨터-판독가능 매체에 저장되고 프로세서에서 로딩 및 실행될 수도 있다.
따라서, 본 개시물은 또한, 프로세서에서 실행 시에, 프로세서로 하여금 공 간 확장성으로 비디오 데이터를 코딩하게 하는 명령을 포함하는 컴퓨터-판독가능 매체를 예상하며, 여기서 이 명령은 프로세서로 하여금 기본 계층 비디오 데이터에 기초하여 업샘플링된 비디오 데이터를 발생시키고 (여기서 업샘플링된 비디오 데이터는 향상 계층 비디오 데이터의 공간 해상도에 대응한다), 업샘플링된 비디오 데이터에 기초하여 향상 계층 비디오 데이터를 코딩하게 하는데, 여기서 업샘플링된 비디오 데이터를 발생시키는 것은 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 것을 포함한다.
다른 경우에, 본 개시물은 집적 회로, 칩셋, ASIC (application specific integrated circuit), FPGA (field programmable gate array), 로직, 또는 본 명세서에서 설명된 기술 중 하나 이상을 수행하도록 구성된 이의 다양한 조합과 같은 회로에 관한 것일 수도 있다.
본 개시물의 하나 이상의 양태의 세부사항은 첨부 도면 및 이하의 상세한 설명에서 개시된다. 본 개시물에서 설명된 기술의 다른 특징, 목적, 및 이점은 상세한 설명 및 도면으로부터, 그리고 청구범위로부터 명백해진다.
도면의 간단한 설명
도 1 은 인코딩 및/또는 디코딩 프로세스의 일부로서 본 명세서에서 설명된 코딩 기술을 구현할 수도 있는 비디오 인코딩 및 디코딩 시스템을 도시한 예시적인 블록도이다.
도 2 는 본 개시물에 부합하는 비디오 인코더의 실시예를 도시한 블록도이 다.
도 3 은 본 개시물에 부합하는 비디오 디코더의 실시예를 도시한 블록도이다.
도 4 및 도 5 는 기본 계층으로부터 향상 계층으로의 업샘플링을 도시한 개념도이다.
도 6 내지 도 8 은 본 개시물에 따라 이용될 수도 있는 업샘플링된 기술을 도시한 개념도이다.
도 9 는 본 개시물에 부합하는 기술을 도시한 흐름도이다.
상세한 설명
본 개시물은 스케일러블 비디오 코딩 (SVC) 방식으로 향상 계층 비디오 블록을 코딩 (즉, 인코딩 또는 디코딩) 하는데 유용한 업샘플링 기술을 설명한다. 공간 확장성을 지원하는 SVC 방식에서, 기본 계층 비디오 데이터 (예를 들어, 기본 계층의 잔여 비디오 블록) 는 더 높은 해상도로 업샘플링될 수도 있고, 더 높은 해상도로 업샘플링된 데이터는 향상 계층 비디오 데이터 (예를 들어, 향상 계층의 잔여 비디오 블록) 를 코딩하는데 이용될 수도 있다. 특히, 업샘플링된 데이터는 기본 계층에 대한 향상 계층 비디오 데이터의 코딩에 있어 참조 데이터로 이용된다. 즉, 기본 계층 비디오 데이터는 향상 계층 비디오 데이터의 공간 해상도로 업샘플링되고, 그 결과 업샘플링된 데이터는 향상 계층 비디오 데이터를 코딩하는데 이용된다.
이 업샘플링 프로세스의 일부로서, 본 개시물의 기술은 보간에 의한 업샘플 링이 바람직한 상태, 및 소위 "최근접 이웃" 카핑 기술에 의한 업샘플링이 바람직한 다른 상태를 식별한다. 보간은 업샘플링된 값에 대한 가중된 평균의 발생을 수반할 수도 있는데, 여기서 가중된 평균은 기본 계층의 2 개 이상의 픽셀 값들 사이에서 정의된다. 최근접 이웃 기술에 있어서, 업샘플링된 값은 업샘플링된 픽셀 위치에 가장 공간적으로 근접한 기본 계층에서의 픽셀 위치의 값으로 정의된다. 본 개시물에 따르면, 업샘플링의 몇몇 특정 상태에 대해서는 보간을, 그리고 다른 상태에 대해서는 최근접 이웃 카핑을 이용함으로써, 향상 계층 비디오 블록의 코딩은 개선될 수도 있다.
보간 또는 최근접 이웃 카핑 중 어느 하나는 향상 계층의 공간 해상도에서 업샘플링된 데이터를 정의하는데 이용될 수도 있다. 업샘플링된 데이터는 기본 계층 데이터로부터 (예를 들어, 기본 계층에서 코딩된 잔여 비디오 블록으로부터) 업샘플링될 수도 있다. 업샘플링된 데이터는 향상 계층 데이터의 코딩에서 (예를 들어, 향상 계층의 잔여 비디오 블록을 코딩함에 있어서) 참조로서 이용될 수 있는 블록을 형성할 수도 있다. 업샘플링 프로세스 중에 보간을 수행할지 또는 최근접 이웃 카핑을 수행할지 여부에 관한 판정은 업샘플링된 픽셀 값의 위치가 향상 계층에서의 에지 픽셀 위치에 대응하는지 여부에 기초할 수도 있다. 이는 일반적으로 보간할지 또는 최근접 이웃 카핑을 이용할지 여부를 판정하는데 있어 기본 계층 픽셀 위치만을 고려하는 종래 업샘플링 기술과 대조된다.
예를 들어, 종래 업샘플링 기술은 보간에 이용되는 2 개의 기본 계층 픽셀이 기본 계층 비디오 블록의 에지에 대응하지 않는 경우에만 업샘플링된 픽셀의 보간 을 수행할 수도 있다. 본 개시물에서, 용어 "에지"는 비디오 블록의 에지에 대응하는 픽셀 위치를 지칭하고, 용어 "내부 (internal)" 는 비디오 블록의 에지에 대응하지 않는 픽셀 위치를 지칭한다. 비디오 블록은 비디오 CODEC (encoder-decoder) 에 이용되는 블록 변환을 지칭할 수도 있다. 예로서 H.264/AVC 에서, 비디오 블록은 사이즈 4×4 또는 8×8 로 이루어질 수도 있다. 그러나, 향상 계층의 블록 경계는 기본 계층의 블록 경계와 상이할 수도 있다. 본 개시물에 따르면, 보간을 수행할지 여부에 관한 판정은 업샘플링될 픽셀 값이 향상 계층에서의 에지 픽셀 위치에 대응하는지 여부에 좌우될 수도 있다.
보간에 이용되는 2 개의 기본 계층 픽셀이 2 개의 인접 기본 계층 비디오 블록의 에지에 대응하면, 업샘플링된 값은 2 개의 인접 기본 계층 비디오 블록 사이에 있게 될 수도 있다. 이 경우에, 종래 기술은 업샘플링을 위해 최근접 이웃 카핑 기술을 이용한다. 상이한 기본 계층 비디오 블록이 상이한 양자화의 레벨로 코딩되었을 수도 있기 때문에, 이 경우에 통상적으로 보간을 피한다. 최근접 이웃 카핑에 있어서, 업샘플링된 값은 업샘플링된 픽셀 위치에 가장 공간적으로 근접하는 기본 계층 픽셀 위치의 값으로 정의될 수도 있다.
본 개시물에 따르면, 업샘플링된 계층 값이 2 개의 기본 계층 비디오 블록 사이에 있게 되는 수개의 상황에서 보간이 수행될 수도 있다. 업샘플링된 값 자체가 향상 계층에서의 에지 픽셀 위치와 연관되지 않으면, 최근접 이웃 카핑에 대해 보간이 바람직할 수도 있다. 이 경우에, 향상 계층의 디블록 (de-block) 필터링은 비디오 프레임 복원에서 임의의 블록키니스 아티팩트를 어드레싱할 것 같 지 않다. 따라서, 상이한 기본 계층 비디오 블록이 상이한 양자화의 레벨로 코딩되었을 수도 있을지라도, 보간이 바람직할 수도 있다. 업샘플링된 값 자체가 향상 계층에서의 에지 픽셀 위치와 연관되고, 업샘플링된 값이 2 개의 기본 계층 비디오 블록 사이에 있게 되면, 본 개시물에 따라 최근접 이웃 카핑이 이용될 수도 있다. 이 경우에, 향상 계층의 디블록 필터링은 향상 계층에서의 블록키니스 아티팩트를 어드레싱하고, 상이한 양자화의 레벨을 갖는 기본 계층 비디오 블록으로 인한 열등한 보간의 위험은 이 상황에서 보간의 잠재적 이득을 능가할 수도 있다. 또한, 보간할지 또는 최근접 이웃 카핑을 이용할지 여부에 관한 판정은 또한 2 개의 기본 계층 비디오 블록이 상이한 코딩 모드 (예를 들어, 인트라 또는 인터 코딩 모드) 를 통해 코딩되었는지 여부에 좌우될 수도 있다. 예를 들어, 2 개의 기본 계층 비디오 블록이 상이한 코딩 모드를 통해 코딩되었으면, 최근접 이웃 카핑이 이용되고 보간이 회피될 수도 있다. 또한, 옵션인 적응 저역 통과 필터가 업샘플링 이전 또는 이후에 적용되어, 기본 계층 코딩 블록 경계에 걸친 신호 불연속의 문제를 더욱 완화할 수도 있다.
설명의 단순화 및 용이성을 위해, 본 개시물에서는, 보간 및 최근접 이웃 카핑 기술이 통상적으로 수직 및 수평 차원 둘 다에 적용되더라도, 이러한 기술은 일반적으로 1차원으로 설명된다. 2차원 보간 또는 2차원 최근접 이웃 기술에 있어서, 보간 또는 최근접 이웃 카핑은 먼저 1차원으로 적용된 후, 다른 차원으로 적용된다.
도 1 은 비디오 인코딩 및 디코딩 시스템 (10) 을 도시한 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 통신 채널 (15) 을 통해 수신 디바이스 (16) 에 인코딩된 비디오를 송신하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 는 비디오 소스 (20), 비디오 인코더 (22) 및 변조기/송신기 (24) 를 포함할 수도 있다. 수신 디바이스 (16) 는 수신기/복조기 (26), 비디오 디코더 (28), 및 디스플레이 디바이스 (30) 를 포함할 수도 있다. 시스템 (10) 은 SVC 방식의 향상 계층 비디오 정보의 인코딩 및 디코딩 중에, 본 명세서에서 설명된 바와 같이, 적응 업샘플링 기술을 적용하도록 구성될 수도 있다. 인코딩 및 디코딩은 여기서 더욱 일반적으로 코딩으로 지칭된다.
도 1 의 실시예에서, 통신 채널 (15) 은 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리 송신 라인과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선과 유선 매체의 임의의 조합을 포함할 수도 있다. 통신 채널 (15) 은 LAN (local area network), WAN (wide-area network), 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷-기반 네트워크의 일부를 형성할 수도 있다. 통신 채널 (15) 은 일반적으로 소스 디바이스 (12) 로부터 수신 디바이스 (16) 로 비디오 데이터를 송신하기 위한 임의의 적절한 통신 매체 또는 상이한 통신 매체의 집합을 나타낸다.
소스 디바이스 (12) 는 수신 디바이스 (16) 로 송신하기 위해 코딩된 비디오 데이터를 발생시킨다. 그러나, 몇몇 경우에, 디바이스 (12, 16) 는 실질적으로 대칭적으로 동작할 수도 있다. 예를 들어, 디바이스 (12, 16) 의 각각은 비디오 인코딩 및 디코딩 컴포넌트를 포함할 수도 있다. 따라서, 시스템 (10) 은, 예를 들어, 비디오 스트리밍, 비디오 방송, 또는 비디오 텔레포니를 위해 비디오 디바이스 (12, 16) 사이의 단방향 또는 양방향 비디오 송신을 지원할 수도 있다.
소스 디바이스 (12) 의 비디오 소스 (20) 는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 또는 비디오 컨텐츠 제공자로부터의 비디오 피드를 포함할 수도 있다. 추가 다른 방법으로서, 비디오 소스 (20) 는 소스 비디오로서 컴퓨터 그래픽스-기반 데이터, 또는 라이브 비디오와 컴퓨터-발생된 비디오의 조합을 발생시킬 수도 있다. 몇몇 경우에, 비디오 소스 (20) 가 비디오 카메라이면, 소스 디바이스 (12) 및 수신 디바이스 (16) 는 소위 카메라폰 또는 비디오폰을 형성할 수도 있다. 각각의 경우에, 캡처되거나, 프리-캡처되거나 또는 컴퓨터-발생된 비디오는 비디오 소스 디바이스 (12) 로부터 변조기/송신기 (22), 통신 채널 (15) 및 수신기/복조기 (26) 를 통해 비디오 수신 디바이스 (16) 의 비디오 디코더 (28) 로 송신하기 위해 비디오 인코더 (22) 에 의해 인코딩될 수도 있다.
비디오 인코딩 및 디코딩 프로세스는 본 명세서에서 설명된 바와 같이, 보간 및 최근접 이웃 카핑을 이용하는 업샘플링 기술을 구현하여 향상 계층 코딩 프로세스를 개선할 수도 있다. 디스플레이 디바이스 (30) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스 중 임의의 디바이스를 포함할 수도 있다. 공간 확장성은 비디오 디코더가 SVC 비트스트림으로부터 향상 계층 비트스트림을 디코딩함으로써 QCIF (Quarter common intermediate format, 176×144 이미 지 해상도) 와 대조적으로, 더 높은 공간 해상도, 예를 들어, CIF (Common intermediate format, 352×288 이미지 해상도) 의 비디오 신호를 복원 및 디스플레이하게 한다.
비디오 인코더 (22) 및 비디오 디코더 (28) 는 공간 확장성을 위해 스케일러블 비디오 코딩 (SVC) 을 지원하도록 구성될 수도 있다. 또한, 본 개시물의 기술이 이 점에서 제한되지 않더라도, 시간 및/또는 신호-대-잡음비 (SNR) 확장성이 또한 지원될 수도 있다. 몇몇 양태에서, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 SVC 을 위해 FGS (fine granularity SNR scalability) 를 지원하도록 구성될 수도 있다. 인코더 (22) 및 디코더 (28) 는 기본 계층 및 하나 이상의 스케일러블 향상 계층의 인코딩, 송신 및 디코딩을 지원함으로써 다양한 정도의 확장성을 지원할 수도 있다. 스케일러블 비디오 코딩에 있어서, 기본 계층은 기준선 공간, 시간 또는 SNR 레벨로 비디오 데이터를 반송한다. 하나 이상의 향상 계층은 추가 데이터를 반송하여 더 높은 공간, 시간 및/또는 SNR 레벨을 지원한다. 기본 계층은 향상 계층의 송신보다 더욱 신뢰성 있는 방식으로 송신될 수도 있다. 예를 들어, 변조된 신호의 가장 신뢰성 있는 부분은 기본 계층을 송신하는데 이용될 수도 있는 반면, 변조된 신호의 덜 신뢰성 있는 부분은 향상 계층을 송신하는데 이용될 수도 있다.
SVC 를 지원하기 위해, 비디오 인코더 (22) 는 기본 계층 및 향상 계층의 인코딩을 각각 수행하기 위해 기본 계층 인코더 (32) 및 향상 계층 인코더 (34) 를 포함할 수도 있다. 몇몇 경우에, 다수의 향상 계층이 지원될 수도 있고, 이 경 우에 다수의 향상 계층 인코더가 상세한 비디오 향상 레벨을 순차적으로 코딩하도록 제공될 수도 있다. 업샘플링된 데이터가 향상 계층 데이터를 코딩하는데 이용될 수 있도록, 향상 계층 비디오 데이터의 공간 해상도로의 기본 계층 데이터의 업샘플링을 수반하는 본 개시물의 기술은 향상 계층 인코더 (34) 에 의해 수행될 수도 있다.
비디오 디코더 (28) 는 기본 및 향상 계층 둘 다와 연관된 비디오 블록을 디코딩하고, 디코딩된 비디오를 결합하여 비디오 시퀀스의 프레임을 복원하는 결합된 기본/향상 디코더를 포함할 수도 있다. 디코딩 측에서, 업샘플링된 데이터가 향상 계층 데이터를 코딩하는데 이용될 수도 있도록, 향상 계층 비디오 데이터의 공간 해상도로의 기본 계층 데이터의 업샘플링을 수반하는 본 개시물의 기술은 비디오 디코더 (28) 에 의해 수행될 수도 있다. 디스플레이 디바이스 (30) 는 디코딩된 비디오 시퀀스를 수신하고, 이 비디오 시퀀스를 사용자에게 프리젠테이션한다.
비디오 인코더 (22) 및 비디오 디코더 (28) 는 MPEG-2, MPEG-4, ITU-T H.263, 또는 ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding) 와 같은 비디오 압축 표준에 따라 동작할 수도 있다. 도 1 에 도시되지 않더라도, 몇몇 양태에서, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각 오디오 인코더 및 디코더와 함께 집적될 수도 있고, 공통 데이터 스트림 또는 분리된 데이터 스트림으로 오디오와 비디오 둘 다의 인코딩을 핸들링하기 위해, 적절한 MUX-DEMUX 유닛, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, MUX- DEMUX 유닛은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜에 따를 수도 있다.
H.264/MPEG-4 (AVC) 표준은 JVT (Joint Video Team) 로 알려진 공동 파트너쉽의 산출물로서 ISO/IEC MPEG (Moving Picture Experts Group) 과 함께 ITU-T VCEG (Video Coding Experts Group) 에 의해 공식화되었다. 몇몇 양태에서, 본 개시물에서 설명된 기술은 일반적으로 H.264 표준에 따르는 디바이스에 적용될 수도 있다. H.264 표준은, 본 명세서에서 H.264 표준 또는 H.264 규격, 또는 H.264/AVC 표준 또는 규격으로 지칭될 수도 있는 ITU-T 연구회에 의한 2005년 3월의 ITU-T Recommendation H.264, Advanced Video Coding for Generic Audiovisual Services 에서 설명된다.
JVT (Joint Video Team) 는 H.264/MPEG-4 AVC 에 대한 스케일러블 비디오 코딩 (SVC) 확장에 대해 계속 작업하고 있다. 예를 들어, JVT 에 의해 창설된 JSVM (Joint Scalable Video Model) 은 스케일러블 비디오에 사용하기 위한 툴을 구현하는데, 이는 본 개시물에서 설명된 다양한 코딩 태스크를 위해 시스템 (10) 내에서 이용될 수도 있다. FGS (Fine Granularity SNR Scalability) 코딩에 관한 상세한 정보는 JD (Joint Draft) 문헌, 특히 the SVC Amendment (revision 2) 의 Joint Draft 8 (JD8)(Thomas Wiegand, Gary Sullivan, Julien Reichel, Heiko Schwarz, 및 Mathias Wien) 인 "Joint Draft 8 of SVC Amendment (revision 2)" (JVT-U201, 2006년 10월, 중국 항저우) 에서 발견될 수 있다. 또한, 본 명세서에서 설명된 기술의 일 구현예의 추가적인 세부사항은 2007년 4월 미국 캘리포니아 산 호세에서의 제 23 회 미팅에서 Yan Ye 및 Yiliang Bao 에 의해 ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 및 ITU-T SG16 Q.6) 의 JVT (Joint Video Team) 에 제출된 제안 문서 JVT-W117, 및 2007년 1월 모로코 마라케시에서의 제 22 회 미팅에서 Yan Ye 및 Yiliang Bao 에 의해 JVT 에 제출된 제안 문서 JVT-V115 에서 발견될 수도 있다.
몇몇 양태에서, 비디오 방송에 있어서, 본 개시물에서 설명된 기술은 기술 표준 TIA-1099 ("FLO 규격") 로서 공개된 FLO (Forward Link Only) 무선 인터페이스 규격, "Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast" 를 이용하는 TM3 (terrestrial mobile multimedia multicast) 시스템에서 실시간 비디오 서비스를 전달하기 위해 개선된 H.264 비디오 코딩에 적용될 수도 있다. 즉, 통신 채널 (15) 은 FLO 규격 등에 따라 무선 비디오 정보를 방송하는데 이용되는 무선 정보 채널을 포함할 수도 있다. FLO 규격은 FLO 무선 인터페이스에 적합한 비트스트림 구문 (syntax) 과 의미론 (semantics) 및 디코딩 프로세스를 정의하는 예를 포함한다. 다른 방법으로는, 비디오는 DVB-H (digital video broadcast-handheld), ISDB-T (integrated services digital broadcast-terrestrial), 또는 DMB (digital media broadcast) 와 같은 다른 표준에 따라 방송될 수도 있다.
따라서, 소스 디바이스 (12) 는 이동 무선 단말기, 비디오 스트리밍 서버, 또는 비디오 방송 서버일 수도 있다. 그러나, 본 개시물에서 설명된 기술은 임의의 특정 타입의 방송, 멀티캐스트, 또는 포인트-투-포인트 시스템에 제한되지 않 는다. 방송의 경우에, 소스 디바이스 (12) 는 비디오 데이터의 수개 채널을 다중 수신 디바이스로 방송할 수도 있으며, 이들 각각은 도 1 의 수신 디바이스 (16) 와 유사할 수도 있다. 일 실시예로서, 수신 디바이스 (16) 는 셀룰러 무선 전화기로 보통 지칭되는 이동 핸드셋과 같은 무선 통신 디바이스를 포함할 수도 있다.
비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각 하나 이상의 마이크로프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이의 임의의 조합으로 구현될 수도 있다. 비디오 인코더 (22) 및 비디오 디코더 (28) 의 각각은 하나 이상의 인코더 또는 디코더에 포함될 수도 있으며, 이들 중 어느 하나는 개개의 이동 디바이스, 가입자 디바이스, 방송 디바이스, 서버 등에서 결합된 인코더/디코더 (CODEC) 의 일부로서 집적될 수도 있다. 또한, 소스 디바이스 (12) 및 수신 디바이스 (16) 는 각각 무선 통신을 지원하기에 충분한 무선 주파수 (RF) 무선 컴포넌트 및 안테나를 포함하여, 적용가능한 것으로서 인코딩된 비디오의 송수신을 위한 적절한 변조, 복조, 주파수 변환, 필터링, 및 증폭기 컴포넌트를 포함할 수도 있다. 그러나, 설명의 편의를 위해, 이러한 컴포넌트는 도 1 의 소스 디바이스 (12) 의 변조기/송신기 (24) 및 수신 디바이스 (16) 의 수신기/복조기 (26) 로 요약된다.
비디오 시퀀스는 일련의 비디오 프레임을 포함한다. 비디오 인코더 (22) 는 비디오 데이터를 인코딩하기 위해 개별 비디오 프레임 내의 픽셀의 블록에 대해 동작한다. 비디오 블록은 고정 또는 가변 사이즈를 가질 수도 있고, 특정 코딩 표준에 따라 사이즈가 다를 수도 있다. 각 비디오 프레임은 일련의 슬라이스로 분할될 수도 있다. 각 슬라이스는 서브-블록으로 배열될 수도 있는 일련의 매크로블록을 포함할 수도 있다. 일 실시예로서, ITU-T H.264 표준은 루마 컴포넌트에 대해서는 16×16, 8×8, 4×4, 및 크로마 컴포넌트에 대해서는 8×8 과 같은 다양한 블록 사이즈에서의 인트라-예측 뿐만 아니라, 루마 컴포넌트에 대해서는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 과 4×4, 및 크로마 컴포넌트에 대해서는 대응하는 스케일링된 사이즈와 같은 다양한 블록 사이즈에서의 인터 예측을 지원한다.
더 작은 비디오 블록은 더 우수한 해상도를 제공할 수 있고, 더 높은 디테일의 레벨을 포함하는 비디오 프레임의 위치에 이용될 수도 있다. 일반적으로, 매크로블록 (MB) 및 다양한 서브-블록은 일반적으로 비디오 블록으로 지칭될 수도 있다. 또한, 슬라이스는 MB 및/또는 서브-블록과 같은 일련의 비디오 블록이라고 간주될 수도 있다. 각 슬라이스는 독립적으로 디코딩가능한 유닛일 수도 있다. 예측 이후에, 8×8 잔여 블록 또는 4×4 잔여 블록에 대해 변환이 수행될 수도 있고, 인트라 16×16 예측 모드가 이용되면 크로마 컴포넌트 또는 루마 컴포넌트에 대해 4×4 잔여 블록의 DC 계수에 추가 변환이 적용될 수도 있다.
인트라-기반 예측 코딩 또는 인터-기반 예측 코딩 다음으로, 추가 코딩 기술이 송신된 비트스트림에 적용될 수도 있다. 이들 추가 코딩 기술은 H.264/AVC 에서 이용된 4×4 또는 8×8 정수 변환 또는 이산 코사인 변환 DCT 와 같은 변환 기술, 및 VLC (variable length coding), 허프만 코딩, 및/또는 런-렝스 코딩과 같은 엔트로피 코딩을 포함할 수도 있다.
본 개시물의 기술에 따르면, 업샘플링 기술은 향상 계층 비디오 데이터의 코딩 (즉, 인코딩 또는 디코딩) 에 이용하기 위한 업샘플링된 비디오 데이터를 생성하는데 이용된다. 기본 계층 비디오 데이터는 대응하는 향상 계층 비디오 블록의 공간 해상도로 업샘플링될 수도 있고, 업샘플링된 데이터는 향상 계층 비디오 데이터의 코딩에 참조로서 이용될 수 있다. 이 업샘플링 프로세스의 일부로서, 본 개시물의 기술은 보간 기술이 바람직한 상황, 및 소위 "최근접 이웃" 카핑 기술이 바람직한 다른 상황을 식별한다. 게다가 또, 보간은 업샘플링된 값에 대한 가중된 평균의 발생을 수반할 수도 있으며, 여기서 가중된 평균은 기본 계층의 2 개 이상 값 사이에서 정의된다. 최근접 이웃 카핑에 있어서, 업샘플링된 계층 값은 업샘플링된 픽셀 위치에 가장 공간적으로 근접한 기본 계층 픽셀 위치의 값으로 정의된다. 업샘플링의 특정 시나리오에서 보간을 이용하고, 다른 시나리오에서 최근접 이웃 카핑을 이용함으로써, 향상 계층 비디오 블록의 코딩은 개선될 수도 있다.
업샘플링은 블록 경계를 변경할 수 있다. 예를 들어, 기본 계층 및 향상 계층 각각이 4×4 픽셀 비디오 블록을 정의하면, 향상 계층의 공간 해상도에 따라 더 많은 픽셀을 정의하기 위한 기본 계층의 업샘플링은 기본 계층의 블록 경계가 업샘플링된 데이터의 블록 경계와 상이하게 한다. 이 관측이 이용될 수 있어, 보간 또는 최근접 이웃 기술에 관한 판정은 업샘플링된 값이 향상 계층의 에지 픽 셀 위치 (즉, 향상 계층의 블록 경계) 에 대응하는지 여부 및 이러한 위치가 또한 기본 계층의 블록 경계들 사이의 위치에 대응하는지 여부에 기초할 수도 있다.
인코더 (22) 및 디코더 (28) 는 본 명세서에서 설명된 업샘플링 기술을 각각 수행하는 상보적인 방법을 수행할 수도 있다. 인코더 (22) 는 업샘플링을 이용하여 향상 계층 정보를 인코딩할 수도 있고, 디코더 (28) 는 동일한 업샘플링 프로세스를 이용하여 향상 계층 정보를 디코딩할 수도 있다. 용어 코딩은 일반적으로 인코딩 또는 디코딩 중 어느 하나를 지칭한다.
도 2 는 향상 계층 비디오 데이터와 연관된 공간 해상도로 기본 계층 비디오 데이터를 업샘플링하는 업샘플러 (45) 를 포함하는 비디오 인코더 (50) 의 실시예를 도시한 블록도이다. 그 다음에, 업샘플링된 데이터는 향상 계층 비디오 데이터를 코딩하는데 이용된다. 비디오 인코더 (50) 는 도 1 의 소스 디바이스 (12) 의 향상 계층 인코더 (34) 에 대응할 수도 있다. 즉, 기본 계층 인코딩 컴포넌트는 단순화를 위해 도 2 에 도시되지 않는다. 따라서, 비디오 인코더 (50) 는 향상 계층 인코더로 간주될 수도 있다. 몇몇 경우에, 비디오 인코더 (50) 의 도시된 컴포넌트는 또한 기본 계층 인코딩 모듈 또는 유닛과 결합하여, 예를 들어, 기본 계층 및 향상 계층의 스케일러블 비디오 코딩을 지원하는 피라미드 인코더 설계로 구현될 수 있다.
비디오 인코더 (50) 는 비디오 프레임 내의 블록의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 내의 비디오에서 공간 리던던시를 감소 또는 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접 프레임 내의 비디오에서 시간 리던던시를 감소 또는 제거하기 위해 공간 예측에 의존한다. 인터-코딩에 있어서, 비디오 인코더 (50) 는 모션 추정을 수행하여 2 개 이상의 인접 프레임 사이에서 매칭하는 비디오 블록의 이동을 추적한다. 인트라-코딩에 있어서, 동일한 프레임 내의 이웃하는 블록으로부터의 픽셀을 이용하는 공간 예측이 적용되어, 코딩되고 있는 블록에 대한 예측 블록을 형성한다. 인트라-코딩에 이용되는 공간 예측 컴포넌트는 도 2 에 도시되지 않았다.
도 2 에 도시되는 바와 같이, 비디오 인코더 (50) 는 인코딩될 비디오 프레임 내의 현재 비디오 블록 (31)(예를 들어, 향상 계층 비디오 블록) 을 수신한다. 도 2 의 실시예에서, 비디오 인코더 (50) 는 모션 추정 유닛 (33), 참조 프레임 저장소 (35), 모션 보상 유닛 (37), 블록 변환 유닛 (39), 업샘플러 (45), 양자화 유닛 (41), 역양자화 유닛 (42), 역변환 유닛 (44) 및 엔트로피 코딩 유닛 (46) 을 포함한다. 또한, 블록 경계를 필터링하여 블로키니스 아티팩트를 제거하도록 디블록 필터 (32) 가 포함될 수도 있다. 비디오 인코더 (50) 는 또한 합산기 (48), 합산기 (49A 및 49B), 및 합산기 (51) 를 포함한다. 도 2 는 비디오 블록의 인터-코딩을 위한 비디오 인코더 (50) 의 시간 예측 컴포넌트를 도시한다. 설명의 용이성을 위해, 도 2 에 도시되지 않더라도, 비디오 인코더 (50) 는 또한 일부 비디오 블록의 인트라-코딩을 위한 공간 예측 컴포넌트를 포함할 수도 있다.
모션 추정 유닛 (33) 은 현재 비디오 블록 (31) 과 하나 이상의 인접 비디오 프레임에서의 블록을 비교하여 하나 이상의 모션 벡터를 발생시킨다. 인접 프 레임 또는 프레임들은, 이전에 인코딩된 블록으로부터 복원된 비디오 블록을 저장하기 위해 임의의 타입의 메모리 또는 데이터 저장 디바이스를 포함할 수도 있는 참조 프레임 저장소 (35) 로부터 취득될 수도 있다. 모션 추정은 가변 사이즈, 예를 들어, 16×16, 16×8, 8×16, 8×8 또는 더 작은 블록 사이즈의 블록에 대해 수행될 수도 있다. 모션 추정 유닛 (33) 은, 예를 들어, 레이트 왜곡 모델에 기초하여 현재 비디오 블록 (31) 에 가장 가깝게 매칭하는 인접 프레임에서의 블록을 식별하고, 그 블록들 사이의 변위를 결정한다. 이를 기초로, 모션 추정 유닛 (33) 은 현재 비디오 블록 (31) 을 코딩하는데 이용되는 예측 블록과 현재 비디오 블록 (31) 사이의 변위의 궤적 및 크기를 표시하는 모션 벡터 (MV)(또는 양방향 예측의 경우에는 다중 MV) 를 생성한다.
모션 벡터는 1/2-픽셀 정밀도 또는 1/4-픽셀 정밀도, 또는 더욱 세밀한 정밀도를 가져서, 비디오 인코더 (50) 가 정수 픽셀 위치보다 더 높은 정밀도로 모션을 추적하고 더 우수한 예측 블록을 획득하게 할 수도 있다. 분수 픽셀 값을 갖는 모션 벡터가 이용되는 경우, 모션 보상 유닛 (37) 에서 보간 연산이 수행된다. 모션 추정 유닛 (33) 은 레이트-왜곡 모델을 이용하여 비디오 블록에 대한 최상 모션 벡터를 식별할 수도 있다. 그 결과 생긴 모션 벡터를 이용하여, 모션 보상 유닛 (37) 은 모션 보상에 의해 예측 비디오 블록을 형성한다.
비디오 인코더 (50) 는, 합산기 (48) 에서 모션 보상 유닛 (37) 에 의해 생성된 예측 비디오 블록을 오리지널인 현재 비디오 블록 (31) 으로부터 감산함으로써 잔여 비디오 블록을 형성한다. 블록 변환 유닛 (39) 은 이산 코사인 변환 (DCT) 과 같은 변환을 잔여 블록에 적용하여, 잔여 변환 블록 계수를 생성한다. 이 시점에서, 가산기 (49A) 를 이용하여 향상 계층 잔여 정보로부터 기본 계층 잔여 정보를 감산함으로써 추가 압축이 적용된다. 업샘플러 (45) 는 (예를 들어, 기본 계층 인코더로부터) 기본 계층 잔여 정보를 수신하고 기본 계층 잔여 정보를 업샘플링하여 업샘플링된 정보를 발생시킨다. 그 다음에, 이 업샘플링된 정보는 코딩되는 향상 계층 잔여 정보로부터 (가산기 (49A) 를 통해) 감산된다.
이하 더 상세히 설명되는 바와 같이, 업샘플러 (45) 는 보간이 바람직한 상황, 및 소위 "최근접 이웃" 카핑 기술이 바람직한 다른 상황을 식별할 수 있다. 보간은 업샘플링된 값에 대한 가중된 평균의 발생을 수반하는데, 여기서 가중된 평균은 기본 계층의 두 값 사이에서 정의된다. 최근접 이웃 카핑에 있어서, 업샘플링된 값은 업샘플링된 픽셀 위치에 가장 공간적으로 근접한 기본 계층 픽셀 위치의 값으로 정의된다. 본 개시물에 따르면, 업샘플러 (45) 는 업샘플링의 특정 시나리오에서 보간을 이용하고, 다른 시나리오에서 최근접 카핑 기술을 이용한다. 특히, 보간을 수행할지 또는 최근접 이웃 기술을 수행할지 여부에 관한 업샘플러 (45) 에 의한 판정은 업샘플링된 값이 향상 계층에서의 에지 픽셀 위치에 대응하는지 여부에 기초할 수도 있다. 이는 보간할지 또는 최근접 이웃 기술을 이용할지 여부를 판정하는데 있어 기본 계층 픽셀 위치만을 일반적으로 고려하는 종래 업샘플링 기술과 대조된다. 본 개시물에서 보간 및 최근접 이웃 예는 단순화를 위해 1차원으로 설명되지만, 이러한 1차원 보간 또는 최근접 이웃 기술은 통상적으로 수평 및 수직 차원 둘 다로 순차로 적용된다. 추가 필터 (47) 는 또한 업샘플러 (45) 에 의한 업샘플링 이전에 기본 계층 정보의 필터 블록 에지에 포함될 수도 있다. 업샘플러 (45) 앞에 위치하는 것으로 도 2 에 도시되더라도, 추가 필터 (47) 는 또한 업샘플러 (45) 뒤에 위치하여, 2 개의 상이한 기본 계층 코딩 블록에 대응하는 2 개의 기본 계층 픽셀로부터 보간되는 업샘플링된 비디오 데이터에서의 이 픽셀 위치를 필터링할 수 있다. 어느 경우에도, 필터 (47) 에 의한 이 추가 필터링은 옵션이고, 본 개시물에서 이후 더욱 상세히 다루어진다.
양자화 유닛 (41) 은 잔여 변환 블록 계수를 양자화하여 비트 레이트를 더욱 감소시킨다. 합산기 (49A) 는 업샘플러 (45) 로부터 업샘플링된 정보를 수신하고, 합산기 (48) 와 블록 변환 유닛 (39) 사이에 위치한다. 특히, 합산기 (49A) 는 블록 변환 유닛 (39) 의 출력으로부터 데이터의 업샘플링된 블록을 감산한다. 유사한 방식으로, 역변환 유닛 (44) 과 합산기 (51) 사이에 위치한 합산기 (49B) 는 또한 업샘플러 (45) 로부터 업샘플링된 정보를 수신한다. 합산기 (49B) 는 역변환 유닛 (44) 의 출력에 데이터의 업샘플링된 블록을 다시 가산한다.
공간 예측 코딩은 시간 예측 코딩과 매우 유사한 방식으로 동작한다. 그러나, 시간 예측 코딩이 인접 프레임의 블록 (또는 다른 코딩된 유닛) 에 의존하여 코딩을 수행하는 반면, 공간 예측은 공통 프레임 내의 블록 (다른 코딩된 유닛) 에 의존하여 코딩을 수행한다. 공간 예측 코딩은 인트라-코딩된 블록을 코딩하는 반면, 시간 예측 코딩은 인터-코딩된 블록을 코딩한다. 다시, 공간 예측 컴포넌트는 단순화를 위해 도 2 에 도시되지 않는다.
엔트로피 유닛 (46) 은 송신된 정보의 비트 레이트를 더욱 감소시키기 위해, 가변 길이 코딩, 2진 산술 코딩 (CABAC), 허프만 코딩, 런-렝스 코딩, CBP (coded block pattern) 코딩 등과 같이, 엔트로피 코딩 기술에 따라 양자화된 변환 계수를 코딩한다. 엔트로피 유닛 (46) 은 VLC 테이블을 선택하여 코딩 효율을 증진할 수도 있다. 엔트로피 코딩 다음에, 인코딩된 비디오는 다른 디바이스로 송신될 수도 있다. 또한, 역양자화 유닛 (42) 및 역변환 유닛 (44) 은 각각 역양자화 및 역변환을 적용하여 잔여 블록을 복원한다. 합산기 (49B) 는 (기본 계층 잔여 블록의 업샘플링된 버전을 나타내는) 업샘플러 (45) 로부터의 업샘플링된 데이터를 다시 가산하고, 합산기 (51) 는 참조 프레임 저장소 (35) 에 저장하기 위해 모션 보상 유닛 (37) 에 의해 생성된 모션 보상된 예측 블록에 최종 복원된 잔여 블록을 가산하여, 복원된 비디오 블록을 생성한다. 디블록 필터 (32) 는 참조 프레임을 저장하기 전에 디블록 필터링을 수행할 수 있다. 디블록 필터링은 몇몇 실시예에서 옵션일 수도 있다.
본 개시물에 따르면, 업샘플러 (45) 는 2 개의 상이한 기본 계층 비디오 블록의 2 개의 상이한 에지 사이의 위치에 대응하는 업샘플링된 비디오 블록의 하나 이상의 픽셀 위치에 대해 값을 보간한다.
일 실시예에서, 업샘플러 (45) 는 (ⅰ) 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 업샘플링된 비디오 데이터의 픽셀 위치 (여기서, 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부는 상이한 기본 계층 비디오 블록 사이의 위치에 대응한다), 및 (ⅱ) 상이한 기본 계층 비디오 블록들 사이에 위치하지 않고 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 업샘플링된 비디오 데이터의 픽셀 위치에 대해 기본 계층 비디오 데이터에 기초하여 업샘플링된 비디오 데이터에 대한 제 1 값을 보간한다. 업샘플러 (45) 는 (ⅲ) 상이한 기본 계층 비디오 블록 사이에 위치하고 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 업샘플링된 비디오 데이터의 픽셀 위치에 대해 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 업샘플링된 비디오 데이터에 대한 제 2 값을 정의할 수도 있다.
다른 실시예에서, 업샘플러 (45) 는 (ⅰ) 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 업샘플링된 비디오 데이터의 픽셀 위치 (여기서, 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부는 상이한 기본 계층 비디오 블록 사이의 위치에 대응한다), 및 (ⅱ) 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 업샘플링된 비디오 데이터의 픽셀 위치에 대해 기본 계층 비디오 데이터에 기초하여 업샘플링된 비디오 데이터에 대한 제 1 값을 보간한다. 이 경우에, 업샘플러 (45) 는 (ⅲ) 상이한 기본 계층 비디오 블록 사이에 위치하고 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 업샘플링된 비디오 데이터의 픽셀 위치, 및 (ⅳ) 2 개의 상이한 기본 계층 비디오 블록이 상이한 코딩 모드를 정의하는 경우에, 상이한 기본 계층 비디오 블록 사이에 위치하고 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 업샘플링된 비디오 데이터의 픽셀 위치에 대해 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 업샘플링된 비디오 데이터에 대한 제 2 값을 정의할 수도 있다. 상이한 코딩 모드는 인트라 코딩 모드 및 인터 코딩 모드를 포함할 수도 있다. 이 경우에, 업샘플러 (45) 는 업샘플링된 값과 연관된 위치 (즉, 업샘플링된 값이 향상 계층에서의 블록 경계에 대응하는지 여부 및 이 값이 기본 계층에서의 블록 경계 사이에 있게 되는지 여부) 뿐만 아니라, 2 개의 기본 계층 비디오 블록이 상이한 코딩 모드 (예를 들어, 인터 또는 인트라 코딩 모드) 를 이용하여 코딩되는지 여부를 고려한다.
도 3 은 도 1 의 비디오 디코더 (28) 에 대응할 수도 있는 비디오 디코더 (60), 또는 다른 디바이스의 디코더의 실시예를 도시한 블록도이다. 비디오 디코더 (60) 는 도 2 의 업샘플러 (45) 의 기능과 유사한 기능을 수행하는 업샘플러 (59) 를 포함한다. 즉, 업샘플러 (45) 와 같이, 업샘플러 (59) 는 2 개의 상이한 기본 계층 비디오 블록의 2 개의 상이한 에지 사이의 위치에 대응하는 향상 계층 비디오 블록의 하나 이상의 픽셀 위치에 대해 업샘플링된 비디오 블록에 대한 값을 보간한다. 또한, 업샘플러 (45) 와 같이, 업샘플러 (59) 는 본 명세서에서 설명되는 방식으로 보간과 최근접 이웃 카핑 사이에서 선택할 수도 있다. 모션 업샘플러 (61) 는 또한 기본 계층과 연관된 모션 벡터를 업샘플링하는데 이용될 수도 있다. 옵션인 필터 (65) 는 또한 업샘플러 (59) 에 의해 수행되는 업샘플링 이전에 기본 계층 데이터의 블록 경계를 필터링하는데 이용될 수도 있다. 도 3 에 도시되지 않았지만, 필터 (65) 는 또한 업샘플러 (59) 뒤에 위치하여, 2 개의 상이한 기본 계층 코딩 블록에 대응하는 2 개의 기본 계층 픽셀로부터 보간되는 업샘플링된 비디오 데이터에서의 이 픽셀 위치를 필터링하는데 이용될 수도 있다.
비디오 디코더 (60) 는 향상 계층 정보의 엔트로피 디코딩을 위한 엔트로피 유닛 (52A) 을 포함할 수도 있고, 기본 계층 정보의 엔트로피 디코딩을 위한 다른 엔트로피 유닛 (52B) 을 포함할 수도 있다. 인트라 예측 컴포넌트는, 도 3 에 도시되지 않지만, 비디오 디코더 (60) 가 인트라 및 인터 예측 코딩을 지원하면 이용될 수 있다. 향상 계층 경로는 역양자화 유닛 (56A) 및 역변환 유닛 (58A) 을 포함할 수도 있고, 기본 계층 경로는 역양자화 유닛 (56B) 및 역변환 유닛 (58B) 을 포함할 수도 있다. 기본 계층 및 향상 계층 경로에서의 정보는 가산기 (57) 에 의해 결합될 수도 있다. 그러나, 이러한 결합 이전에, 기본 계층 정보는 본 명세서에서 설명된 기술에 따라 업샘플러 (59) 에 의해 업샘플링된다.
비디오 디코더 (60) 는 비디오 프레임 내의 블록의 인터-디코딩을 수행할 수도 있다. 도 3 의 실시예에서, 비디오 디코더 (60) 는 엔트로피 유닛 (52A 및 52B), 모션 보상 유닛 (54), 역양자화 유닛 (56A 및 56B), 역변환 유닛 (58A 및 58B), 및 참조 프레임 저장소 (62) 를 포함한다. 비디오 디코더 (60) 는 또한 합산기 (64) 를 포함한다. 비디오 디코더 (60) 는 또한 합산기 (64) 의 출력을 필터링하는 디블록 필터 (53) 를 포함할 수도 있다. 게다가 또, 합산기 (57) 는 업샘플러 (59) 를 통한 기본 계층 경로의 업샘플링 다음에 기본 계층 및 향상 계층 경로에서의 정보를 결합한다. 모션 업샘플러 (61) 는 기본 계층과 연관된 모션 벡터가 향상 계층 비디오 데이터의 공간 해상도에 대응하도록 이러한 모션 벡터를 업샘플링할 수도 있다.
향상 계층 비디오 블록에 있어서, 엔트로피 유닛 (52A) 은 인코딩된 비디오 비트스트림을 수신하고 엔트로피 디코딩 기술을 적용하여 정보를 디코딩한다. 이는 양자화된 잔여 계수, 매크로블록 및 서브-블록 코딩 모드, 및 모션 벡터 및 블록 파티션을 포함할 수도 있는 모션 정보를 생성할 수도 있다. 엔트로피 유닛 (52A) 에 의해 수행된 디코딩 다음에, 모션 보상 유닛 (54) 은 참조 프레임 저장소 (62) 로부터 하나 이상의 복원된 참조 프레임 및 모션 벡터를 수신한다. 역양자화 유닛 (56A) 은 양자화된 블록 계수를 역양자화, 즉, 탈양자화하고, 역변환 유닛 (58A) 은 역변환, 예를 들어, 역 DCT 를 계수에 적용하여 잔여 블록을 생성한다. 역변환 유닛 (58A) 의 출력은 업샘플러 (59) 의 출력으로서 업샘플링된 기본 계층 정보와 결합된다. 가산기 (57) 는 이 결합을 용이하게 한다. 모션 보상 유닛 (54) 은 잔여 블록과 합산기 (64) 에 의해 합산되는 모션 보상된 블록을 생성하여, 디코딩된 블록을 형성한다. 디블록 필터 (53) 는 블록키니스 아티팩트를 제거하기 위해 디코딩된 블록을 필터링한다. 그 다음에, 필터링된 블록은 참조 프레임 저장소 (62) 에 위치되는데, 이는 모션 보상으로부터 참조 블록을 제공하고 또한 디코딩된 비디오를 (도 1 의 디바이스 (30) 와 같은) 드라이브 디스플레이 디바이스에 생성한다.
SVC 는 수개의 인터-계층 예측 기술을 지원하여 코딩 성능을 개선할 수도 있다. 예를 들어, 향상 계층 매크로블록을 코딩하는 경우, 기본 또는 이전 계층으로부터의 대응하는 잔여 신호, 모션 정보 및 매크로블록 모드가 이용될 수도 있다. 특히, 기본 또는 이전 계층에서의 일정 잔여 블록은 대응하는 향상 계층 잔여 블록과 상관할 수도 있다. 이들 블록에 있어서, 잔여 예측을 적용하는 것 은 향상 계층 잔여 에너지를 감소시키고 코딩 성능을 개선시킬 수도 있다.
SVC 에서, 잔여 예측이 이용되는지 여부는, 매트로블록 레벨 구문 요소로서 코딩될 수도 있는 매크로블록과 연관된 1-비트 플래그 ResPred 를 이용하여 표시될 수도 있다. ResPred=1 이면, 향상 계층 잔여는 이것에서 기본 계층 잔여 블록을 감산한 후에 코딩된다. 향상 계층 비트스트림이 더 높은 공간 해상도를 갖는 비디오 신호를 나타내면, 기본 계층 잔여 신호는 인터-계층 예측에 이용되기 전에 향상 계층의 해상도로 업샘플링된다. 이는 도 2 및 도 3 의 업샘플러 (45 및 59) 의 기능, 즉, 업샘플링된 비디오 블록의 발생이다. SVC Joint Draft 8 (JD8) 에서, 기본 계층 블록 경계에 대해 일부 예외가 있지만, 기본 계층 잔여 신호를 업샘플링하기 위해 업샘플러에 대해 바이리니어 필터가 제안된다.
SVC JD8 은 이항 공간 확장성 및 ESS (extended spatial scalability) 둘 다를 지원한다. 이항 공간 확장성에서, 향상 계층 비디오 프레임의 크기는 각 차원에서 기본 계층 비디오의 2 배이고, 크롭핑 (cropping) 이 있다면, 이는 매크로블록 경계에서 일어난다. ESS 에서는, 기본 계층 비디오 신호와 향상 계층 비디오 신호 사이의 임의 스케일링 비율 및 크롭핑 파라미터가 허용된다. ESS 가 이용되는 경우, 기본 계층과 향상 계층 사이의 픽셀 정렬은 임의적일 수도 있다.
도 4 및 도 5 는 각각 2:1 및 5:3 의 스케일링 비율에 대한 기본 계층 및 향상 계층에서의 픽셀의 상대적 포지셔닝의 실시예를 제시한다. 도 4 및 도 5 에서는, 라벨 "B"는 기본 계층과 연관된 픽셀 위치를 지칭하고, 라벨 "E"는 (향상 계층의 위치에 대응하는) 업샘플링된 데이터와 연관된 위치를 지칭한다. 업샘플 링된 비디오 블록(들)은 향상 계층 정보를 코딩하는데 있어 참조로서 이용된다. 도 5 의 중앙 픽셀 위치의 라벨 "B E"는 동일한 픽셀 위치가 기본 계층에서 그리고 향상 계층의 해상도를 갖는 업샘플링된 데이터에서 오버랩하는 것을 의미한다.
도 4 및 도 5 에 도시된 바와 같이, 저해상도 기본 계층으로부터 향상 계층의 고해상도로의 업샘플링은 2 차원으로 발생한다. 그러나, 이 2차원 업샘플링은 픽셀 위치 각각에 대해 연속적인 1차원 업샘플링 프로세스를 통해 쉽게 행해질 수 있다. 예를 들어, 도 5 에서, 기본 계층 비디오 데이터의 3×3 픽셀 어레이 (라벨 B 로 나타냄) 는 먼저 수평 방향으로 업샘플링되어 중간 값의 5×3 픽셀 어레이 (라벨 X 로 나타냄) 가 된다. 그 다음에, 5×3 픽셀 어레이 X 는 수직 방향으로 업샘플링되어, 향상 계층 공간 해상도에 대응하는 업샘플링된 비디오 데이터의 최종 5×5 픽셀 어레이 (라벨 E 로 나타냄) 가 된다. 도 5 에서는, 업샘플링된 픽셀 위치와 업샘플링 이전의 픽셀의 위치가 같이 위치할 수도 있으며; 예를 들어, 중앙 픽셀이 3 회 B, E, 및 X 의 라벨로 나타낸다. 수평 및 수직 업샘플링 프로세스 중에, 보간을 이용할지 또는 최근접 이웃 카핑을 이용할지에 관한 판정은 본 개시물에 따라 적용될 수도 있다.
다음의 논의에서는, 보간 및 최근접 이웃 카핑 기술이 수평 차원으로 논의된다. 그러나, 2 차원 업샘플링에 있어서는 수직 및 수평 차원으로 연속적인 선형 기술이 적용될 수 있다는 것을 이해한다.
공간 확장성이 이용되는 경우, 기본 계층 잔여 신호가 업샘플링된다. 발생되고 업샘플링된 데이터는 향상 계층 비디오 정보와 동일한 공간 차원을 가지고, 향상 계층 잔여에 대한 예측 데이터로서 이용된다. 게다가 또, SVC JD8 은 이 업샘플링을 위한 바이리니어 필터의 이용을 제안한다. 이항 공간 확장성에 대해, 수평 차원의 바이리니어 업샘플링에서 가중치를 유도하는데 이용되는 픽셀 거리가 도 6 에 도시된다. 수직 차원의 바이리니어 업샘플링은 수평 방향과 동일한 방식으로 행해진다.
도 6 은 향상 계층의 공간 해상도에 대응하는 업샘플링된 블록에서의 픽셀의 로우 및 기본 계층 블록에서의 픽셀의 로우를 도시한다. 도 6 에 도시된 바와 같이, 픽셀 위치 e0 및 e1 에서의 업샘플링된 잔여 값 p(e0) 및 p(e1) 은 수학식 (1) 및 (2) 에 따라 유도되며, 여기서 b0 및 b1 은 기본 계층에서의 최근접 정수 픽셀 위치이다.
Figure 112009048422834-PCT00001
스케일링 비율이 5:3 인 ESS 에 있어서, 수평 방향의 바이리니어 업샘플링에 이용되는 가중치는 도 7 에 도시된다. 또한, 수직 차원의 바이리니어 업샘플링은 수평 방향과 동일한 방식으로 행해진다.
도 7 에서는, 픽셀 위치 e0 내지 e4 에서의 업샘플링된 잔여 값 p(e0) 내지 p(e4) 는 수학식 (3) 내지 (7) 에서와 같이 유도되며, 여기서 b0 내지 b4 는 보간에 이용되는 기본 계층에서의 정수 픽셀 위치이고, e0 내지 e4 는 향상 계층의 공간 해상도에 대응하는 업샘플링된 계층에서의 픽셀 위치이다.
Figure 112009048422834-PCT00002
기본 계층에서의 복원된 잔여 신호에는 블록 에지에 걸친 불연속이 존재한다. 불연속이 존재하는 위치는 기본 계층 비디오를 코딩하는데 이용되는 변환 사이즈에 좌우된다. 4×4 블록 변환이 이용되는 경우, 불연속은 4×4 블록 경계에 존재한다. 8×8 블록 변환이 이용되는 경우, 불연속은 8×8 블록 경계에 존재한다. JD8 에서, 바이리니어 보간에서 이용되는 2 개의 기본 계층 픽셀 (예를 들어, 도 6 의 b0 및 b1) 이 2 개의 상이한 블록에 속하면, 바이리니어 보간은 이용가능하지 않게 된다. 대신에, 업샘플링된 값은 기본 계층에서의 최근접 이웃 픽셀로부터 카핑함으로써 유도된다.
도 6 의 이항 공간 확장성의 실시예에서, 위치 b0 및 b1 에서의 픽셀이 2 개의 블록에 속하면, e0 및 e1 에서의 픽셀은 수학식 (1) 및 수학식 (2) 대신에 수학식 (8) 및 수학식 (9) 를 이용하여 유도된다.
Figure 112009048422834-PCT00003
ESS 에서, 기본 계층에서의 코딩 블록 경계는 향상 계층에서의 코딩 블록 경계와 일치하지 않는다. 따라서, 향상 계층 해상도에 대응하는 업샘플링된 블록은 상이한 기본 계층 코딩 블록으로부터 보간된 픽셀을 포함할 수도 있다. 5:3 공간 비율을 갖는 ESS 에 있어서 (도 7), 블록 정렬의 실시예는 도 8 과 같이 확인될 수도 있다. 도 8 에서는, (4×4 변환이 이용된다고 가정할 때) 픽셀 b0-b3 는 하나의 기본 계층 코딩 블록에 속하고, 픽셀 b4-b5 는 상이한 기본 계층 코딩 블록에 속한다. 이 경우에, 픽셀 b3 와 b4 사이에 신호 불연속이 존재할 수도 있다. 향상 계층의 공간 해상도에 대응하는 업샘플링된 계층에서, 픽셀 e0-e4 는 기본 계층 픽셀 b0-b3 로부터 카핑 또는 보간되고, 픽셀 e5-e7 은 기본 계층 픽셀 b3-b5 로부터 카핑 또는 보간된다. e0 내지 e7 의 라벨로 표시된 업샘플링된 픽셀이 하나의 8×8 업샘플링된 코딩 블록에 속한다고 가정하면, 기본 계층으로부터의 신호 불연속은 8×8 업샘플링된 계층으로 옮겨진다. 특히, b3 및 b4 에서의 기본 계층 픽셀이 2 개의 기본 계층 블록에 속하기 때문에, 종래 기술에 따르면, 위치 e5 에서의 업샘플링된 픽셀은 b3 및 b4 의 픽셀로부터 보간되는 대신에 위치 b4 의 기본 계층 픽셀로부터 카핑된다. (JD8 에서 정의된 종래 기술에 따른) 이러한 강요된 카피는 8×8 향상 계층 블록 내의 신호 불연속의 문제를 악화시킬 수도 있다. 다음으로, 이는 덜 정확한 잔여 예측으로 번역될 수도 있다.
본 개시물에서는, 적응 잔여 업샘플링 방식이 개략적으로 설명된다. 적응 잔여 업샘플링 방식은 기본 계층과 향상 계층 사이의 상대적인 블록 정렬을 고려함으로써 데이터의 업샘플링된 블록 내의 신호 불연속을 완화할 수도 있다. 업샘플링된 잔여 신호 품질을 더욱 개선하기 위해, (업샘플링 이전의) 기본 계층에서의 잔여 신호 및/또는 (업샘플링 이후의) 향상 계층에서의 잔여 신호에 적응 저역통과 필터링이 적용될 수도 있다. 예를 들어, 도 2 및 도 3 의 필터 (47 및 65) 는 각각 업샘플링 이후의 향상 계층의 이 필터링을 용이하게 하는 저역통과 필터를 포함할 수도 있다. 도 2 및 도 3 에서, 저역통과 필터링이 업샘플링 이전의 기본 계층에서의 잔여 신호에 적용되는 것으로 도시되더라도, 이 저역통과 필터 (도 2 및 도 3 의 엘리먼트 47 및 65) 는 또한 업샘플러 (45) 뒤 및 업샘플러 (59) 뒤, 그리고 가산기 (49A) 및 가산기 (57) 앞에 위치할 수도 있다.
요약하면, SVC JD8 에서 특정된 것과 같은 잔여 업샘플링 프로세스에서는, 업샘플링된 데이터에서의 각 픽셀 위치에 있어서, 먼저 대응하는 기본 계층 픽셀 위치가 결정된다. 기본 계층 픽셀이 주어진 방향 (수평 또는 수직) 에서 동일한 기본 계층 코딩 블록에 속하면, 그 방향의 바이리니어 보간이 인보크되어 업샘플링된 데이터에서 값을 획득한다. 그렇지 않으면 (기본 계층 픽셀이 주어진 방향에서 상이한 기본 계층 코딩 블록에 속하면), 업샘플링된 데이터에서의 값은 기본 계층에서의 최근접 이웃 픽셀로부터 카핑함으로써 결정된다.
SVC JD8 에서 현재 특정된 것과 같은 잔여 업샘플링은 특히, 기본 및 향상 계층 블록 정렬이 임의적일 수도 있는 ESS 의 경우에, 향상 계층 블록 내의 신호 불연속의 문제를 악화할 수도 있다. 이러한 신호 불연속은 잔여 예측에 이용되는 경우에 업샘플링된 신호를 왜곡하고 예측 신호로서의 그 정확도를 감소시킬 수도 있다.
본 개시물에 따르면, 보간을 인보크할지 또는 최근접 이웃 픽셀로부터 카핑할지 여부에 관한 판정은 기본 계층과 향상 계층 블록 사이의 정렬에 따라 결정될 수도 있다. 일 실시예로서 도 8 을 본다. 업샘플링된 픽셀 e5 의 위치에 대응하는 향상 계층 픽셀은 향상 계층 해상도에서 8×8 코딩 블록 내에 있다. 이 경우에, 위치 b4 의 기본 계층 픽셀로부터 카핑하는 대신에, 또는 p(e5)=p(b4) 대신에, 위치 b3 와 b4 의 기본 계층 픽셀 사이의 바이리니어 보간이 인보크되어 신호 불연속을 완화하고 예측 정확도를 개선시킬 수도 있다. 즉, e5 에서의 업샘플링된 픽셀 값은 수학식 (10) 을 이용하여 유도될 수도 있다.
Figure 112009048422834-PCT00004
최근접 이웃 픽셀로부터 카핑하는 것은 다음의 조건 둘 다가 참일 때에만 인보크될 수도 있다:
C1. 보간될 업샘플링된 픽셀이 향상 계층 코딩 블록 경계에 있고;
C2. 보간 프로세스에 수반되는 기본 계층 픽셀이 상이한 기본 계층 코딩 블록에 속한다.
비디오 코딩 시스템은 2 개 이상의 블록 변환을 지원할 수도 있다. 예를 들어, H.264/AVC 에서, 루마 블록에 대해서는 4×4 및 8×8 정수 블록 변환 둘 다가 지원되는 반면, 크로마 블록에는 4×4 변환만이 적용된다. 크로마 컴포넌트에 대해서는, 4×4 블록의 DC 계수에 대한 추가 DC 변환이 있다. 이것이 블로키 아티팩트가 4×4 블록 경계에서 발생한다는 사실을 변화시키지 않으므로, 이 변환은 본 개시물의 논의에서 고려되지 않는다.
잔여 신호에 적용되는 블록 변환은 매크로블록-레벨 구문 요소로서 비디오 비트스트림으로 인코딩된다. SVC 의 상황에서, 기본 계층 코딩 블록에 적용되는 블록 변환 타입은 잔여 업샘플링이 수행되는 경우에 인코더 및 디코더 둘 다에 알려져 있다. 향상 계층에 있어서, 디코더는 향상 계층 잔여를 코딩하는데 이용되는 블록 변환 타입을 알 수도 있다. 그러나, 인코더 측에서, 기본 계층 잔여 신호가 업샘플링되고 있는 경우, 향상 계층 잔여를 코딩하는데 이용될 실제 블록 변환은 아직 알려져 있지 않다. 하나의 솔루션은 모드 결정 프로세스에서 시도된 상이한 블록 변환 타입과 상이하게 상기에서 정의된 규칙에 기초하여 기본 계층 잔여를 업샘플링하는 것이다.
이 문제를 완화하고 인코더와 디코더 둘 다에 대한 공통 규칙을 제공하여 향상 계층 코딩 블록 사이즈를 결정하고 따라서 코딩 블록 경계를 식별하기 위해 2 개의 다른 방법이 이용될 수도 있다:
[코딩 블록 규칙 A.] 향상 계층 코딩 블록 사이즈는 루마 컴포넌트에 대해서는 8×8 그리고 크로마 컴포넌트에 대해서는 4×4 라고 가정될 수도 있거나; 또는
[코딩 블록 규칙 B.] 향상 계층 코딩 블록 사이즈는 루마 컴포넌트와 크로마 컴포넌트 둘 다에 대해 8×8 이라고 가정될 수도 있다.
일단 기본 계층과 향상 계층에서의 코딩 블록이 상기 규칙 중 어느 하나를 이용하여 결정되면, 보간 프로세스에 수반된 픽셀(들)이 코딩 블록 경계에 있는지 여부는 다음과 같이 결정될 수도 있다:
a. 업샘플링된 픽셀의 보간에 이용될 기본 계층 픽셀이 기본 계층 코딩 블록 내의 최종 픽셀이거나 또는 기본 계층 코딩 블록 내의 첫번째 픽셀이면, 이 기본 계층 픽셀은 주어진 방향 (수평 또는 수직 중 어느 하나) 에서 기본 계층 코딩 블록 경계에 있다고 간주될 수도 있다.
b. 보간될 업샘플링된 픽셀이 향상 계층 코딩 블록 내의 최종 픽셀이거나 또는 향상 계층 코딩 블록 내의 첫번째 픽셀이면, 이 업샘플링된 픽셀은 주어진 방향 (수평 또는 수직 중 어느 하나) 에서 향상 계층 블록 경계에 있다고 간주될 수도 있다.
이들 규칙은 코딩 블록 경계가 각 측에서 폭이 1 픽셀인 것으로 간주한다. 그러나, 코딩 블록 경계는 각 측에서 1 픽셀 이외의 폭을 갖는 것으로 간주될 수도 있다. 또한, 기본 계층 및 향상 계층은 상이한 코딩 블록 경계의 정의를 가질 수도 있다. 예를 들어, 기본 계층은 코딩 블록 경계를 각 측에서 폭이 1 픽셀인 것으로 정의할 수도 있는 반면, 향상 계층은 코딩 블록 경계를 각 측에서 폭이 1 픽셀보다 더 넓은 것으로 정의할 수도 있으며, 그 반대도 가능하다.
본 개시물의 범위는 바이리니어 보간의 이용에 의해 제한되지 않는다는 것이 주목할 만하다. 기본 계층과 향상 계층 사이의 블록 정렬에 기초한 업샘플링 결정은 임의의 보간 방식에 적용될 수도 있다. 2:1 및 5:3 공간 비율 뿐만 아니라, 이들 비율의 대응하는 블록 정렬, 및 보간 수학식에서 주어진 대응하는 가중치가 실시예로서 상기에서 주어지지만, 본 개시물의 범위를 제한하려는 의도는 아니다. 또한, 개시된 방식은 4×4 및 8×8 이외의 코딩 블록 사이즈가 이용될 수도 있는 다른 비디오 코딩 시스템 및/또는 표준에서 잔여 업샘플링에 적용될 수도 있다. 보간은 또한 보간될 픽셀의 어느 측에서나 위치되는 수개의 픽셀의 가중된 평균을 이용할 수도 있다.
업샘플링된 데이터 내의 내부 픽셀로 두드러질 수도 있는 기본 계층 잔여에 서의 블록 경계에 걸친 신호 불연속의 문제를 더욱 완화하기 위해, 업샘플링 이전에, 기본 계층 잔여 신호에 대한 저역통과 필터링은 이 불연속을 감소시키고 업샘플링된 잔여의 품질을 개선시킬 수도 있다. 예를 들어, 수학식 (13) 이 적용되어 도 8 의 e5 에서의 픽셀 값을 획득하기 전에, 수학식 (11) 및 수학식 (12) 의 연산이 위치 b3 및 b4 에서의 픽셀 값에 대해 수행될 수도 있다. 게다가 또, 이는 업샘플러 (45, 도 2) 또는 업샘플러 (59, 도 3) 앞에 위치한 필터 (47 및 65)(예를 들어, 저역통과 필터) 를 통해 구현될 수 있다.
Figure 112009048422834-PCT00005
Figure 112009048422834-PCT00006
수학식 (11) 및 (12) 에서, [1,2,1] 평활화 필터가 일 실시예로서 이용된다. 다른 방법으로는, 더 적은 평활화 효과, 예를 들어, 탭 계수 [1,2,1] 대신에 [1,6,1] 을 갖는 변경된 저역통과 필터가 수학식 (11) 및 (12) 에서 이용될 수도 있다. 또한, 기본 계층 불연속의 크기 및 성질에 따라 필터링 강도를 조정하는 적응 저역통과 필터는 업샘플링이 수행되기 전에 기본 계층 잔여 신호에 적용될 수도 있다. 저역통과 필터는 기본 계층 블록 경계에서의 픽셀 (도 8 의 b3 및 b4) 에만 적용될 수도 있거나, 또는 다른 방법으로, 저역통과 필터는 블록 경계에 가까운 픽셀 (예를 들어, 도 8 의 b2 및 b5) 에도 적용될 수도 있다.
업샘플링 이전에 기본 계층 신호에 저역통과 필터를 적용할지 여부에 관한 판정은 수반된 향상 계층 및 기본 계층 픽셀의 위치에 기초할 수도 있다. 예를 들어, 추가 저역통과 필터는 다음 조건 둘 다가 참이면 기본 계층 픽셀에 적용될 수도 있다:
1. 보간 프로세스에서 이용될 기본 계층 픽셀이 상이한 기본 계층 코딩 블록에 속한다;
2. 보간될 업샘플링된 픽셀이 향상 계층 코딩 블록 내의 내부 픽셀에 대응한다. 업샘플링된 코딩 블록은 상기에서 설명된 코딩 블록 규칙 A 또는 코딩 블록 규칙 B 중 어느 하나를 이용하여 결정될 수도 있다.
업샘플링된 코딩 블록 내부의 픽셀에서의 신호 불연속을 감소시키는 다른 방법은 보간 이후에 업샘플링된 신호에 저역통과 필터를 적용하는 것이다. 이는 업샘플러 (45 및 59) 뒤에 적용될 도 2 및 도 3 의 필터 (47 및 65) 를 재정렬함으로써 수행될 수도 있다. 일 실시예로서 도 8 에서 위치 e5 의 픽셀을 이용하여, p(e5) 가 수학식 (10) 및 (11) 을 이용하여 획득된 후, 다음이 적용될 수도 있다:
Figure 112009048422834-PCT00007
수학식 (14) 에서, p(e4) 및 p(e6) 는 위치 e4 및 e6 의 업샘플링된 픽셀 값이다. 게다가 또, [1,2,1] 평활화 필터가 일 실시예로 이용된다. 다른 저역통과 필터링도 적용될 수도 있다. 예를 들어, 탭 계수 [1,6,1] 을 갖는 변경된 평활화 필터가 적용될 수도 있다. 다른 방법으로는, 신호 불연속의 크기 및 성질에 기초한 적응 저역통과 필터링이 적용될 수도 있다.
추가 저역통과 필터를 적용할지 여부에 관한 판정은 수반된 업샘플링된 픽셀 및 기본 계층 픽셀의 위치에 기초할 수도 있다. 예를 들어, 추가 저역통과 필터는 다음의 조건 둘 다가 참이면 적용될 수도 있다:
1. 업샘플링된 픽셀이 향상 계층 코딩 블록 내의 내부 픽셀에 대응한다. 향상 계층 코딩 블록은 (상기에 개시된 것과 같이) 코딩 블록 규칙 A 또는 코딩 블록 규칙 B 중 어느 하나 또는 임의의 다른 코딩 블록 규칙을 이용하여 결정될 수도 있고;
2. 보간 프로세스에서 이용되는 기본 계층 픽셀이 상이한 기본 계층 코딩 블록에 속한다.
SVC 는 잔여 예측을 지원하여 향상 계층에서의 코딩 성능을 개선한다. 공간 확장성에서, 기본 계층 잔여 신호는 잔여 예측에 이용되기 전에 업샘플링된다. 기본 계층 코딩 블록에 걸친 신호 불연속은 기본 계층 잔여에 존재할 수도 있고, 이 신호 불연속은 업샘플링된 신호로 옮겨질 수도 있다. ESS 의 경우에, 이 전해진 불연속이 두드러질 수도 있는 위치는 임의적일 수도 있다. 업샘플링된 신호의 품질을 개선하기 위해, 스케일러블 비디오 코딩에 대해 적응 잔여 업샘플링 방식이 본 명세서에서 논의된다.
잔여 업샘플링 중에, SVC JD8 의 기존 방식은 상이한 기본 계층 코딩 블록으로부터의 픽셀들 사이의 보간을 억제한다. 반대로, 본 개시물의 제안된 적응 업샘플링 방식에 있어서, 기본 계층과 향상 계층 사이의 상대적인 블록 정렬이 업샘플링 프로세스에서 고려될 수도 있다. 특히, 업샘플링될 픽셀이 향상 계층 코딩 블록의 내부 픽셀에 대응하는 경우, 최근접 이웃 픽셀로부터의 카핑보다 차라 리 보간이 향상 계층 코딩 블록 내의 신호 불연속을 감소시키는데 이용될 수도 있다.
또한, 상기에서 기재된 바와 같이, 향상 계층 코딩 블록 내에 존재할 수도 있는 신호 불연속을 더욱 감소시키기 위해 보간 이전 및 이후 둘 다에서 잔여 신호에 추가 저역통과 필터링이 적용될 수도 있다. 특히, 업샘플링된 픽셀이 대응하는 향상 계층 코딩 블록의 내부 픽셀에 대응하고, 수반된 기본 계층 픽셀이 기본 계층 코딩 블록 경계에 또는 이에 가깝게 있으면, 다음이 적용될 수도 있다:
1. 보간 전에, 기본 계층 코딩 블록 경계에 또는 이에 가깝게 있는 기본 계층 픽셀에 평활화 필터 또는 적응 저역통과 필터가 적용될 수도 있다;
2. 보간 후에, 향상 계층 코딩 블록에서의 내부 픽셀인 향상 계층 픽셀에 평활화 필터 또는 적응 저역통과 필터가 적용될 수도 있다.
잔여 업샘플링 중에 보간을 인보크할지 또는 최근접 이웃 카핑을 인보크할지 여부를 판정하는 경우에 고려될 다른 요소는 수반된 기본 계층 블록의 코딩 모드 (인터 코딩 대 인트라 코딩) 이다. SVC 에서, 업샘플링은 인터-코딩된 블록으로부터의 잔여 신호에만 적용된다. JD8 에서, 기본 계층 비디오 블록이 인트라-코딩되는 경우, 그 잔여 신호는 기본 계층 잔여 이미지에서 0 으로 리셋된다. 이는 코딩 모드가 변하는 경우에 기본 계층 잔여 블록에 걸친 강한 신호 불연속을 초래한다. 따라서, 2 개의 기본 계층 픽셀이 상이한 코딩 모드를 갖는 블록에 속하면 이들 사이에 보간을 적용하지 않는 것이 유리할 수도 있다. 즉, 다음의 결정이 이용될 수도 있다:
1. 수반된 2 개의 기본 계층 픽셀이 2 개의 기본 계층 코딩 블록 (이 중 하나는 인트라-코딩되고 다른 하나는 인터-코딩됨) 에 속하면, 최근접 이웃 카핑이 이용된다.
상기 규칙은 본 개시물에서 개시된 바와 같은 블록 정렬에 기초하여 적응 보간 결정 규칙과 결합될 수도 있다. 결합된 경우, 적응 보간 결정은 다음이 될 수도 있다:
최근접 이웃 픽셀로부터의 카핑은 다음의 조건 1 과 조건 2 중 어느 하나가 참인 경우에 인보크될 수도 있다:
1. 보간 프로세스에 수반된 기본 계층 픽셀이 상이한 기본 계층 코딩 블록에 속하고 기본 계층 코딩 블록이 상이한 코딩 모드를 가지는 경우, 또는
2. 다음의 조건 둘 다가 참인 경우:
a. 보간될 업샘플링된 픽셀이 향상 계층 코딩 블록 경계에 있다.
b. 보간 프로세스에 수반된 기본 계층 픽셀이 상이한 기본 계층 코딩 블록에 속한다.
이하의 유사 코드 (pseudo code) 에서, 밑줄 친 조건은 본 개시물에 부합하는 기술을 구현하기 위해 잔여 업샘플링 및 예측 중에 JD8 에 개시된 로직에 추가될 수도 있다.
// b0 및 b1 을 보간에 이용되는 2 개의 기본 계층 픽셀이라고 한다.
// w 를 바이리니어 보간에 이용되는 가중치 파라미터라고 한다.
// e 를 유도될 업샘플링된 픽셀이라고 한다.
(b0 또는 b1 이 인트라-코딩된 기본 계층 코딩 블록에 속하거나 OR
(b0 및 b1 이 2 개의 기본 계층 코딩 블록에 속하고 AND
e 가 향상 계층 블록 경계에 있으면))
Figure 112009048422834-PCT00008
기본 계층 블록 사이즈는 기본 계층 코딩에 이용되는 실제 블록 사이즈이다. 구문 요소 FRext 는 블록 헤더의 일부로서 정의될 수도 있다. FRext 가 오프이면, 향상 계층 블록 사이즈는 또한 4×4 인 것으로 알려져 있다. 그러나, 향상 계층에 대해 4×4 및 8×8 변환 둘 다가 허용되면 (즉, FRext 가 턴온되면), 인코더 측에서, 잔여 업샘플링이 수행되는 경우에 향상 계층에서의 블록 사이즈 (즉, 변환 사이즈) 는 아직 알려져 있지 않다. 이 상황 (향상 계층에 대해 FRext 가 온) 에서, 향상 계층 블록 사이즈는 루마에 대해 8×8 그리고 크로마에 대해 4×4 라고 가정될 수도 있다. 즉, 루마에 대해, 위치 e 의 업샘플링된 픽셀은 e=8*m-1 또는 e=8*m (m 은 정수) 이면 블록 경계 픽셀이라고 간주된다. 크로마에 대해, 위치 e 의 업샘플링된 픽셀은 e=4*m-1 또는 e=4*m 이면 블록 경계 픽셀이라고 간주된다.
디코딩에 있어서, 구문 요소 변경이 필요하지 않다. JD8 의 디코딩 프로세스 (하위항 G.8.10.3) 는 다음과 같이 변경될 수도 있는데, 그 변경은 밑줄로 표시된다.
잔여 예측을 위한 바이리니어 보간에 있어서, 입력은:
...
Figure 112009048422834-PCT00009
변수 blkSize (루마에 대해 blkSize= 8 또는 4 및 크로마에 대해 blkSize = 4)
Figure 112009048422834-PCT00010
어레이 transBlkType [x, y], 여기서 x = 0.. mb -1 및 y = 0.. nb -1
이 프로세스의 출력은 어레이 resInterp[x, y], 여기서 x = 0..m-1 및 y = ys..ye-1 이다.
Figure 112009048422834-PCT00011
변수 temp1 을 다음과 같이 유도한다.
－transBlkIdx[x1, y1] 이 transBlkIdx[x2, y1] 또는 0<x% blkSize)<(blkSize-1) 과 동일하고 transBlkType[x1, y1] 이 transBlkType[x2, y2] 와 동일하면
Figure 112009048422834-PCT00012
...
Figure 112009048422834-PCT00013
변수 temp2 를 다음과 같이 유도한다.
－transBlkIdx[x1, y2] 가 transBlkIdx[x2, y2] 또는 0<x% blkSize)<(blkSize-1) 과 동일하고 transBlkType[x1, y2] 가 transBlkType[x2, y2] 와 동일하면
Figure 112009048422834-PCT00014
...
Figure 112009048422834-PCT00015
resInterp 를 다음과 같이 유도한다.
－transBlkIdx[x1, y1] 이 transBlkIdx[x1, y2] 또는 0<y% blkSize)<(blkSize-1) 과 동일하고 transBlkType[x1, y1] 이 transBlkType[x1, y2] 와 동일하면
Figure 112009048422834-PCT00016
...
본 개시물의 기술이 JD8 에서 개시된 종래 기술에 대해 이용되는 경우에, JVT-V302 에서 특정된 CE2 (core experiment 2) 테스팅 조건에 따라 시뮬레이션이 수행되었고, 이 시뮬레이션은 비디오 품질의 PSNR (peak signal to noise ratio) 개선을 나타낸다. ESS 의 경우에, 잔여 업샘플링의 제안된 작은 변경은 향상 계층 코딩 블록 내의 업샘플링된 잔여에서의 블로킹 아티팩트를 감소시키는 매우 단순하고 효과적인 방법을 제공한다. 시뮬레이션 결과는 제안된 변경이 모든 CE2 테스팅 조건에 대해 JSVM_7_13 와 비교하여 코딩 성능을 증대시킨다는 것을 나타낸다. 또한, 제안된 방식은 복원된 향상 계층 비디오에서 바람직하지 않은 블로킹 아티팩트를 억제함으로써 시각 품질을 크게 개선한다.
도 9 는 본 개시물에 부합하는 기술을 도시한 흐름도이다. 도 9 는 유사한 프로세스가 디코더에 의해 수행되더라도, 인코더의 관점에서 설명된다. 도 9 에 도시된 바와 같이, 기본 계층 인코더 (32) 는 기본 계층 정보를 코딩하고 (200), 향상 계층 인코더 (34) 는 향상 계층 정보를 코딩한다 (202). 향상 계층 코딩 프로세스의 일부로서, 향상 계층 인코더 (34)(예를 들어, 도 2 에 도시된 비디오 인코더 (50)) 는 기본 계층 정보를 수신한다 (204). 필터 (47) 는 기본 계층 정보의 블록 경계의 옵션 필터링을 수행할 수도 있다 (206). 업샘플러 (45) 는 보간 또는 최근접 이웃 카핑 중에서 선택하도록 본 명세서에서 정의된 다양한 기술 및 규칙을 이용하여 기본 계층 정보를 업샘플링하여 업샘플링된 비디오 블록을 발생시킨다 (208). 또한, 기본 계층 블록 경계 픽셀로부터 보간된 향상 계층 비디오 픽셀 (예를 들어, 도 8 및 수학식 14 의 픽셀 e5) 에 대해 업샘플러 (45) 뒤에 옵션 필터 (47) 가 적용될 수도 있고 (210), 비디오 인코더 (50) 는 업샘플링된 데이터를 이용하여 향상 계층 정보를 코딩한다 (212).
본 개시물에서 설명된 기술은 하나 이상의 프로세서, 예를 들어, 범용 마이크로프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array), 또는 다른 등가의 논리 디바이스에서 구현될 수도 있다.
본 명세서에서 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 모듈 또는 컴포넌트로 설명된 임의의 특징은 집적 논리 디바이스에서 함께 또는 상호운용가능한 이산 논리 디바이스로서 개 별적으로 구현될 수도 있다. 소프트웨어로 구현되면, 본 기술은 실행시 상기에서 설명된 방법 중 하나 이상을 수행하는 명령을 포함하는 컴퓨터-판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터-판독가능 데이터 저장 매체는 포장재를 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터-판독가능 매체는 SDRAM (synchronous dynamic random access memory) 과 같은 RAM (random access memory), ROM (read-only memory), NVRAM (non-volatile random access memory), EEPROM (electrically erasable programmable read-only memory), FLASH 메모리, 자기 또는 광학 데이터 저장 매체 등을 포함할 수도 있다. 추가적으로 또는 다른 방법으로, 이 기술은 데이터 구조 또는 명령의 형태로 코드를 통신 또는 반송하고, 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터-판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
프로그램 코드는 하나 이상의 프로세서, DSP, 범용 마이크로프로세서, ASIC, FPGA, 또는 다른 등가의 집적 또는 이산 논리 회로에 의해 실행될 수도 있다. 따라서, 본 명세서에서 이용되는 바와 같이, 용어 "프로세서"는 본 명세서에서 설명된 기술의 구현에 적합한 전술한 구조 또는 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 본 개시물에서, 용어 "프로세서"는 하나 이상의 마이크로프로세서, DSP, ASIC, FPGA, 또는 로직의 임의의 조합을 커버하도록 의도된다. 또한, 몇몇 양태에서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩하도록 구성된 전용 소프트웨어 모듈 또는 하드웨어 모듈 내에서 제공될 수도 있고, 또는 결합된 비디오 인코더-디코더 (CODEC) 에 통합될 수도 있다.
하드웨어로 구현되면, 본 개시물은 집적 회로, 칩셋, ASIC, FPGA, 로직, 또는 본 명세서에서 설명된 기술 중 하나 이상을 수행하도록 구성된 이의 다양한 조합과 같은 회로에 관한 것일 수도 있다.
본 발명의 다양한 실시형태를 설명하였다. 이들 실시형태 및 다른 실시형태는 다음의 청구범위의 범주 내에 있다.

Claims (32)

  1. 공간 확장성으로 비디오 데이터를 코딩하는 방법으로서,
    기본 계층 비디오 데이터에 기초하여, 향상 계층 비디오 데이터의 공간 해상도에 대응하는 업샘플링된 비디오 데이터를 발생시키는 단계; 및
    상기 업샘플링된 비디오 데이터에 기초하여 상기 향상 계층 비디오 데이터를 코딩하는 단계를 포함하며,
    상기 업샘플링된 비디오 데이터를 발생시키는 단계는 상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 업샘플링된 비디오 데이터를 발생시키는 단계는,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하는 단계; 및
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  3. 제 1 항에 있어서,
    상기 업샘플링된 비디오 데이터를 발생시키는 단계는,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하는 단계; 및
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치; 및
    (ⅳ) 2 개의 상기 상이한 기본 계층 비디오 블록이 상이한 코딩 모드를 정의하는 경우에, 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  4. 제 3 항에 있어서,
    상기 상이한 코딩 모드는 인트라 코딩 모드 및 인터 코딩 모드를 포함하는, 비디오 데이터를 코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 코딩하는 단계는 인코딩하는 단계 또는 디코딩하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하기 전에 상기 상이한 기본 계층 비디오 블록과 연관된 픽셀 값을 필터링하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  7. 제 1 항에 있어서,
    상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터에서의 보간된 값을 필터링하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  8. 공간 확장성으로 비디오 데이터를 코딩하는 장치으로서,
    기본 계층 비디오 데이터에 기초하여, 향상 계층 비디오 데이터의 공간 해상도에 대응하는 업샘플링된 비디오 데이터를 발생시키도록 구성된 업샘플러; 및
    상기 업샘플링된 비디오 데이터에 기초하여 상기 향상 계층 비디오 데이터를 코딩하도록 구성된 비디오 코딩 유닛을 포함하며,
    상기 비디오 데이터를 코딩하는 장치는 상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는, 비디오 데이터를 코딩하는 장치.
  9. 제 8 항에 있어서,
    상기 업샘플러는 상기 비디오 코딩 유닛의 일부인, 비디오 데이터를 코딩하는 장치.
  10. 제 8 항에 있어서,
    상기 비디오 데이터를 코딩하는 장치는 비디오 코딩 기능을 갖는 무선 통신 디바이스를 포함하는, 비디오 데이터를 코딩하는 장치.
  11. 제 8 항에 있어서,
    상기 비디오 데이터를 코딩하는 장치는 집적 회로를 포함하는, 비디오 데이터를 코딩하는 장치.
  12. 제 8 항에 있어서,
    상기 비디오 데이터를 코딩하는 장치는,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하고;
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하는, 비디오 데이터를 코딩하는 장치.
  13. 제 8 항에 있어서,
    상기 비디오 데이터를 코딩하는 장치는 상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터에서의 보간된 값을 필터링하는 필터를 포함하는, 비디오 데이터를 코딩하는 장치.
  14. 제 8 항에 있어서,
    상기 비디오 데이터를 코딩하는 장치는,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내 부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하고;
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치; 및
    (ⅳ) 2 개의 상기 상이한 기본 계층 비디오 블록이 상이한 코딩 모드를 정의하는 경우에, 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하는, 비디오 데이터를 코딩하는 장치.
  15. 제 14 항에 있어서,
    상기 상이한 코딩 모드는 인트라 코딩 모드 및 인터 코딩 모드를 포함하는, 비디오 데이터를 코딩하는 장치.
  16. 제 8 항에 있어서,
    상기 비디오 코딩 유닛은,
    상기 기본 계층 비디오 데이터를 인코딩하는 기본 계층 코딩 유닛; 및
    상기 향상 계층 비디오 데이터를 인코딩하는 향상 계층 코딩 유닛을 포함하며,
    상기 향상 계층 코딩 유닛은 상기 업샘플러를 포함하고, 상기 업샘플러는 상기 업샘플링된 비디오 데이터를 발생시키는, 비디오 데이터를 코딩하는 장치.
  17. 제 8 항에 있어서,
    상기 비디오 코딩 유닛은 상기 기본 계층 비디오 데이터 및 상기 향상 계층 비디오 데이터를 디코딩하는 결합된 기본/향상 계층 디코딩 유닛을 포함하며,
    상기 결합된 기본/향상 디코딩 유닛은 상기 업샘플러를 포함하고, 상기 업샘플러는 상기 업샘플링된 비디오 데이터를 발생시키는, 비디오 데이터를 코딩하는 장치.
  18. 제 8 항에 있어서,
    상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사 이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 장치 앞에 상기 상이한 기본 계층 비디오 블록과 연관된 픽셀 값을 필터링하는 필터를 더 포함하는, 비디오 데이터를 코딩하는 장치.
  19. 프로세서에서 실행 시에, 상기 프로세서로 하여금 공간 확장성으로 비디오 데이터를 코딩하게 하는 명령을 포함하는 컴퓨터-판독가능 매체로서,
    상기 명령은 상기 프로세서로 하여금,
    기본 계층 비디오 데이터에 기초하여, 향상 계층 비디오 데이터의 공간 해상도에 대응하는 업샘플링된 비디오 데이터를 발생시키게 하고;
    상기 업샘플링된 비디오 데이터에 기초하여 상기 향상 계층 비디오 데이터를 코딩하게 하며,
    상기 업샘플링된 비디오 데이터를 발생시키는 것은 상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 것을 포함하는, 컴퓨터-판독가능 매체.
  20. 제 19 항에 있어서,
    상기 명령은 상기 프로세서로 하여금,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하게 하고;
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하게 하는, 컴퓨터-판독가능 매체.
  21. 제 19 항에 있어서,
    상기 명령은 상기 프로세서로 하여금, 상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터에서의 보간된 값을 필터링하게 하는, 컴퓨터-판독가능 매체.
  22. 제 19 항에 있어서,
    상기 명령은 상기 프로세서로 하여금,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하게 하고;
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치; 및
    (ⅳ) 2 개의 상기 상이한 기본 계층 비디오 블록이 상이한 코딩 모드를 정의하는 경우에, 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하게 하는, 컴퓨터-판독가능 매체.
  23. 제 22 항에 있어서,
    상기 상이한 코딩 모드는 인트라 코딩 모드 및 인터 코딩 모드를 포함하는, 컴퓨터-판독가능 매체.
  24. 제 19 항에 있어서,
    상기 코딩은 인코딩 또는 디코딩을 포함하는, 컴퓨터-판독가능 매체.
  25. 제 19 항에 있어서,
    상기 프로세서로 하여금, 상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하기 전에 상기 상이한 기본 계층 비디오 블록과 연관된 픽셀 값을 필터링하게 하는 명령을 더 포함하는, 컴퓨터-판독가능 매체.
  26. 공간 확장성으로 비디오 데이터를 코딩하는 디바이스로서,
    기본 계층 비디오 데이터에 기초하여, 향상 계층 비디오 데이터의 공간 해상도에 대응하는 업샘플링된 비디오 데이터를 발생시키는 수단; 및
    상기 업샘플링된 비디오 데이터에 기초하여 상기 향상 계층 비디오 데이터를 코딩하는 수단을 포함하며,
    상기 업샘플링된 비디오 데이터를 발생시키는 수단은 상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  27. 제 26 항에 있어서,
    상기 업샘플링된 비디오 데이터를 발생시키는 수단은,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하는 수단; 및
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  28. 제 26 항에 있어서,
    상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는 상기 업샘플링된 비디오 데이터에서의 보간된 값을 필터링하는 수단을 더 포함하는, 비디오 데이터를 코딩하는 디바이스.
  29. 제 26 항에 있어서,
    상기 업샘플링된 비디오 데이터를 발생시키는 수단은,
    (ⅰ) 상기 향상 계층 비디오 데이터에서 정의된 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치로서, 상기 향상 계층 비디오 블록의 내부 픽셀 위치의 적어도 일부가 상기 상이한 기본 계층 비디오 블록 사이의 위치에 대응하는, 상기 픽셀 위치; 및
    (ⅱ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하지 않고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 1 값을 보간하는 수단; 및
    (ⅲ) 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 에지 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치; 및
    (ⅳ) 2 개의 상기 상이한 기본 계층 비디오 블록이 상이한 코딩 모드를 정의하는 경우에, 상기 상이한 기본 계층 비디오 블록 사이에 위치하고 상기 향상 계층 비디오 블록의 내부 픽셀 위치에 대응하는 상기 업샘플링된 비디오 데이터의 픽셀 위치
    에 대해 상기 기본 계층 비디오 데이터에서의 최근접 이웃의 값에 기초하여 상기 업샘플링된 비디오 데이터에 대한 제 2 값을 정의하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  30. 제 29 항에 있어서,
    상기 상이한 코딩 모드는 인트라 코딩 모드 및 인터 코딩 모드를 포함하는, 비디오 데이터를 코딩하는 디바이스.
  31. 제 26 항에 있어서,
    상기 코딩하는 수단은 인코딩하는 수단 또는 디코딩하는 수단을 포함하는, 비디오 데이터를 코딩하는 디바이스.
  32. 제 26 항에 있어서,
    상기 기본 계층 비디오 데이터에서 정의된 상이한 기본 계층 비디오 블록 사 이의 위치에 대응하는 상기 업샘플링된 비디오 데이터의 하나 이상의 픽셀 위치에 대해 값을 보간하기 전에 상기 상이한 기본 계층 비디오 블록과 연관된 픽셀 값을 필터링하는 수단을 더 포함하는, 비디오 데이터를 코딩하는 디바이스.
KR1020097016597A 2007-01-09 2008-01-08 스케일러블 비디오 코딩을 위한 적응 업샘플링 Expired - Fee Related KR101056000B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US88409907P 2007-01-09 2007-01-09
US60/884,099 2007-01-09
US88891207P 2007-02-08 2007-02-08
US60/888,912 2007-02-08
US11/970,413 2008-01-07
US11/970,413 US8199812B2 (en) 2007-01-09 2008-01-07 Adaptive upsampling for scalable video coding
PCT/US2008/050546 WO2008086377A1 (en) 2007-01-09 2008-01-08 Adaptive upsampling for scalable video coding

Publications (2)

Publication Number Publication Date
KR20090108077A true KR20090108077A (ko) 2009-10-14
KR101056000B1 KR101056000B1 (ko) 2011-08-11

Family

ID=39594237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097016597A Expired - Fee Related KR101056000B1 (ko) 2007-01-09 2008-01-08 스케일러블 비디오 코딩을 위한 적응 업샘플링

Country Status (10)

Country Link
US (1) US8199812B2 (ko)
EP (1) EP2111719B1 (ko)
JP (1) JP5175303B2 (ko)
KR (1) KR101056000B1 (ko)
CN (1) CN101578882B (ko)
BR (1) BRPI0806521A2 (ko)
CA (1) CA2672320C (ko)
RU (1) RU2419248C2 (ko)
TW (1) TWI390986B (ko)
WO (1) WO2008086377A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010943A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US20220217372A1 (en) * 2019-03-20 2022-07-07 V-Nova International Limited Modified upsampling for video coding technology
KR20230018535A (ko) * 2012-11-29 2023-02-07 어드밴스드 마이크로 디바이시즈, 인코포레이티드 범위성 비디오 코딩 공간 모드용 대역폭 절감 구조

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8396134B2 (en) * 2006-07-21 2013-03-12 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
WO2008051995A2 (en) * 2006-10-23 2008-05-02 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8331451B2 (en) * 2007-07-18 2012-12-11 Samsung Electronics Co., Ltd. Method and apparatus for enhancing resolution of video image
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
EP2136565A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
WO2010041857A2 (en) 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
EP2351374A1 (en) * 2008-11-25 2011-08-03 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
US9681142B2 (en) 2009-02-03 2017-06-13 Thomson Licensing Dtv Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
WO2010131903A2 (en) 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
KR20100123075A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 화상통화 시스템에서 스케일러빌리티 기법을 지원하기 위한 장치 및 방법
US9819952B2 (en) * 2009-10-05 2017-11-14 Thomson Licensing Dtv Methods and apparatus for embedded quantization parameter adjustment in video encoding and decoding
WO2011054879A2 (en) * 2009-11-06 2011-05-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
US8755444B2 (en) * 2010-08-06 2014-06-17 Qualcomm Incorporated Two-stage entropy decoding
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
US10171813B2 (en) * 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
WO2012117584A1 (ja) 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置
US9025660B2 (en) * 2011-03-04 2015-05-05 Vixs Systems, Inc. Video decoder with general video decoding device and methods for use therewith
US9088800B2 (en) * 2011-03-04 2015-07-21 Vixs Systems, Inc General video decoding device for decoding multilayer video and methods for use therewith
US9247261B2 (en) * 2011-03-04 2016-01-26 Vixs Systems, Inc. Video decoder with pipeline processing and methods for use therewith
US20120294365A1 (en) * 2011-05-17 2012-11-22 Dong Zheng Image and video encoding and decoding
US20120300838A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Low resolution intra prediction
KR20140005296A (ko) * 2011-06-10 2014-01-14 미디어텍 인크. 스케일러블 비디오 코딩의 방법 및 장치
US20130163660A1 (en) * 2011-07-01 2013-06-27 Vidyo Inc. Loop Filter Techniques for Cross-Layer prediction
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US10873772B2 (en) * 2011-07-21 2020-12-22 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
US9129411B2 (en) * 2011-07-21 2015-09-08 Luca Rossato Upsampling in a tiered signal quality hierarchy
CN103096056B (zh) 2011-11-08 2015-11-25 华为技术有限公司 矩阵编码方法与装置及解码方法与装置
EP3657796A1 (en) 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
BR112014011425B1 (pt) 2011-11-11 2022-08-23 GE Video Compression, LLC. Codificação de multi-visualização eficiente utilizando estimativa e atualização de mapa por profundidade
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
EP2603000B1 (en) 2011-12-08 2017-11-01 Dolby Laboratories Licensing Corporation Guided prediction-filtering in layered vdr image coding
HUE055104T2 (hu) * 2012-01-13 2021-10-28 Interdigital Madison Patent Holdings Eljárás és eszköz kép blokk kódolására, valamint eljárás és dekódoló eszköz
US9860549B2 (en) * 2012-03-29 2018-01-02 Lg Electronics Inc. Inter-layer prediction method and encoding device and decoding device using same
US9894386B2 (en) * 2012-04-12 2018-02-13 Goldpeak Innovations Inc. Transform method based on block information, and apparatus using said method
EA201492099A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Разложение остаточных данных при кодировании, декодировании и реконструкции сигнала в многоуровневой иерархии
EP2853096A4 (en) * 2012-05-21 2016-07-06 Mediatek Singapore Pte Ltd METHOD AND APPARATUS FOR FILTERING BETWEEN LAYERS FOR SCALABLE VIDEO CODING
KR102001415B1 (ko) 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
US9420280B2 (en) 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
US9860533B2 (en) 2012-06-26 2018-01-02 Intel Corporation Cross-layer cross-channel sample prediction
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9843801B2 (en) 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
WO2014050554A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置、および画像符号化装置
EP4593395A3 (en) * 2012-10-01 2025-10-01 GE Video Compression, LLC Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US20140098880A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US9357211B2 (en) * 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
GB2509703B (en) * 2013-01-04 2016-09-14 Canon Kk Method and apparatus for encoding an image into a video bitstream and decoding corresponding video bitstream using enhanced inter layer residual prediction
KR20140092198A (ko) 2013-01-07 2014-07-23 한국전자통신연구원 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
RU2628133C2 (ru) * 2013-01-07 2017-08-15 Телефонактиеболагет Л М Эрикссон (Пабл) Кодирование и декодирование слайсов в изображениях видеопотока
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
US9467707B2 (en) 2013-03-05 2016-10-11 Qualcomm Incorporated Parallel processing for video coding
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
KR101466574B1 (ko) * 2013-03-19 2014-12-02 삼성전자주식회사 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
EP2979447B1 (en) 2013-03-28 2018-01-03 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec
US10045021B2 (en) * 2013-04-05 2018-08-07 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
WO2014167178A1 (en) * 2013-04-08 2014-10-16 Nokia Corporation Method and technical equipment for video encoding and decoding
US9762920B2 (en) * 2013-06-07 2017-09-12 Qualcomm Incorporated Dynamic range control of intermediate data in resampling process
RU2557261C2 (ru) * 2013-08-20 2015-07-20 Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования Московский технический университет связи и информатики (ФГОБУ ВПО МТУСИ) Способ и устройство формирования сигналов изображения в системах цифрового телевидения стандартной и высокой четкости
TWI496456B (zh) 2013-11-19 2015-08-11 Ind Tech Res Inst 畫面間成本計算方法及畫面間成本計算裝置
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality
US20150381994A1 (en) * 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
TWI538431B (zh) 2014-09-02 2016-06-11 宏正自動科技股份有限公司 地面數位視訊廣播系統及其調變方法
JP6408884B2 (ja) * 2014-11-28 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
MY197611A (en) 2015-09-25 2023-06-28 Huawei Tech Co Ltd Apparatus and method for video motion compensation
MY187403A (en) 2015-09-25 2021-09-22 Huawei Tech Co Ltd Apparatus and method for video motion compensation with selectable interpolation filter
MY185713A (en) 2015-09-25 2021-05-31 Huawei Tech Co Ltd Apparatus and method for video motion compensation
BR112018006031A2 (pt) 2015-09-25 2018-10-09 Huawei Tech Co Ltd codificador de vídeo, decodificador de vídeo e métodos para codificação e decodificação preditiva
KR20180054751A (ko) * 2015-09-25 2018-05-24 후아웨이 테크놀러지 컴퍼니 리미티드 예측 코딩을 위한 적응 선명화 필터
EP3255605B1 (en) * 2015-11-16 2021-06-02 Huawei Technologies Co., Ltd. Method and apparatus for smoothing video
CN108353171B (zh) 2015-11-17 2021-04-20 华为技术有限公司 视频编码样本自适应滤波的方法和装置
GB2552323B (en) 2016-07-18 2020-04-29 Imagination Tech Ltd Mip map compression
CN107959855B (zh) * 2016-10-16 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
US20250301142A1 (en) * 2019-03-20 2025-09-25 V-Nova International Limited Modified upsampling for video coding technology
US12206855B2 (en) * 2020-12-23 2025-01-21 Tencent America LLC Superresolution-based coding
US20250240413A1 (en) * 2022-04-21 2025-07-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Reference picture resampling for video coding

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
JP5038134B2 (ja) 2004-07-01 2012-10-03 クゥアルコム・インコーポレイテッド スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR20060043115A (ko) 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR100703734B1 (ko) 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
EP1694074A1 (en) 2005-02-18 2006-08-23 Thomson Licensing Process for scalable coding of images
CN101073265B (zh) 2004-12-03 2012-08-22 汤姆森许可贸易公司 可缩放视频编码方法
EP1829380A1 (en) 2004-12-13 2007-09-05 Koninklijke Philips Electronics N.V. Scalable picture encoding
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
EP1894412A1 (en) 2005-02-18 2008-03-05 THOMSON Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
EP1727372A1 (en) 2005-05-27 2006-11-29 Thomson Licensing Method and apparatus for encoding and decoding video data,
KR101326610B1 (ko) 2005-07-11 2013-11-08 톰슨 라이센싱 매크로블록 적응적 인터-층 인트라 텍스쳐 예측을 위한 방법 및 장치
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP4883526B2 (ja) * 2006-08-30 2012-02-22 Ｎｌｔテクノロジー株式会社 電気泳動型表示装置及びその製造方法
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010943A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20230018535A (ko) * 2012-11-29 2023-02-07 어드밴스드 마이크로 디바이시즈, 인코포레이티드 범위성 비디오 코딩 공간 모드용 대역폭 절감 구조
US11863769B2 (en) 2012-11-29 2024-01-02 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding
US20220217372A1 (en) * 2019-03-20 2022-07-07 V-Nova International Limited Modified upsampling for video coding technology
US12177468B2 (en) * 2019-03-20 2024-12-24 V-Nova International Limited Modified upsampling for video coding technology

Also Published As

Publication number Publication date
TW200840363A (en) 2008-10-01
RU2419248C2 (ru) 2011-05-20
EP2111719A1 (en) 2009-10-28
CN101578882B (zh) 2012-11-07
WO2008086377A1 (en) 2008-07-17
CN101578882A (zh) 2009-11-11
US8199812B2 (en) 2012-06-12
EP2111719B1 (en) 2014-08-13
CA2672320C (en) 2013-04-30
BRPI0806521A2 (pt) 2014-04-22
JP5175303B2 (ja) 2013-04-03
RU2009130382A (ru) 2011-02-20
JP2010516199A (ja) 2010-05-13
TWI390986B (zh) 2013-03-21
CA2672320A1 (en) 2008-07-17
US20080165848A1 (en) 2008-07-10
KR101056000B1 (ko) 2011-08-11

Similar Documents

Publication Publication Date Title
KR101056000B1 (ko) 스케일러블 비디오 코딩을 위한 적응 업샘플링
TWI425837B (zh) 用於編碼區塊樣式之可變長度編碼技術
KR101065227B1 (ko) 모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩
KR101247452B1 (ko) 정제 계수 코딩을 위한 비디오 블록 형식에 기초한 가변 길이 코딩 테이블 선택
CN101627636B (zh) 可缩放视频译码增强层中的精细化和有效系数的组合式游程长度译码的方法和装置
JP5795416B2 (ja) スケーラブルビット深度のためのスケーラブルビデオコーディング手法
KR101067308B1 (ko) 정제 계수 코딩을 위한 블록 형식 통계치에 기초한 가변 길이 코딩 테이블 선택
CN101523919B (zh) 基于用于精细化系数译码的视频区块类型的可变长度译码表选择

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180805

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180805