KR20170100045A - 다층 비디오 코딩을 위한 적응적 업샘플링 - Google Patents

다층 비디오 코딩을 위한 적응적 업샘플링 Download PDF

Info

Publication number
KR20170100045A
KR20170100045A KR1020177023242A KR20177023242A KR20170100045A KR 20170100045 A KR20170100045 A KR 20170100045A KR 1020177023242 A KR1020177023242 A KR 1020177023242A KR 20177023242 A KR20177023242 A KR 20177023242A KR 20170100045 A KR20170100045 A KR 20170100045A
Authority
KR
South Korea
Prior art keywords
upsampling
filter
candidate
video sequence
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177023242A
Other languages
English (en)
Other versions
KR102008078B1 (ko
Inventor
지에 동
엔밍 루오
유웬 헤
얀 예
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20170100045A publication Critical patent/KR20170100045A/ko
Application granted granted Critical
Publication of KR102008078B1 publication Critical patent/KR102008078B1/ko
Assigned to 인터디지털 브이씨 홀딩스 인코포레이티드 reassignment 인터디지털 브이씨 홀딩스 인코포레이티드 권리의 전부이전등록 Assignors: 브이아이디 스케일, 인크.
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다층 비디오 코딩을 위한 적응적 업샘플링을 위한 시스템, 방법 및 수단이 개시된다. 비디오 데이터를 통신하는 방법은 인코딩된 향상 층 화상을 생성하기 위해 비디오 시퀀스에 대하여 업샘플링 필터를 적용하는 단계를 포함한다. 업샘플링 필터는 향상 층 비트스트림을 생성하기 위해 비디오 시퀀스의 시퀀스 레벨에서 적용될 수 있다. 상기 업샘플링 필터는 예를 들면 상기 비디오 시퀀스와 관련된 카테고리의 지식이 존재하는지 결정하고, 상기 비디오 시퀀스와 관련된 카테고리용으로 설계된 후보 업샘플링 필터를 선택함으로써 복수의 후보 업샘플링 필터로부터 선택될 수 있다. 업샘플링 필터 정보가 인코딩될 수 있다. 인코딩된 업샘플링 정보는 복수의 업샘플링 필터 계수를 포함할 수 있다. 인코딩된 업샘플링 필터 정보 및 인코딩된 향상 층 화상은 출력 비디오 비트스트림으로 전송될 수 있다. 이 방법은 예를 들면 인코더에 의해 수행될 수 있다.

Description

다층 비디오 코딩을 위한 적응적 업샘플링{ADAPTIVE UPSAMPLING FOR MULTI-LAYER VIDEO CODING}
이 출원은 2012년 9월 28일자 출원한 미국 가특허 출원 제61/706,941호 및 2013년 1월 10일자 출원한 미국 가특허 출원 제61/750,883호를 우선권 주장하며, 상기 미국 출원들은 여기에서의 인용에 의해 그 전체 내용이 본원에 통합된다.
비디오 코딩 시스템은 디지털 비디오 신호를 압축하여 디지털 비디오 신호의 저장 필요량 및/또는 전송 대역폭을 감소시키기 위해 사용될 수 있다. 비디오 코딩 시스템은 블록 기반 시스템, 웨이블릿 기반 시스템, 객체 기반 시스템 등을 포함할 수 있다. 블록 기반 하이브리드 비디오 코딩 시스템을 사용 및 전개할 수 있다. 블록 기반 비디오 코딩 시스템의 예로는, 비제한적인 예를 들자면, MPEG1/2/4 파트 2, H.264/MPEG-4 파트 10 AVC 및 VC-1 표준과 같은 국제 비디오 코딩 표준이 있다.
해상도 및 연산 능력에 있어서 스마트폰 및 태블릿의 성장에 의해, 비디오 채팅, 모바일 비디오 기록 및 공유, 및 비디오 스트리밍과 같은 추가의 비디오 애플리케이션들이 이종 환경에서 비디오 데이터를 송신할 수 있다. 각종의 소비자 장치(예를 들면, PC, 스마트폰, 태블릿, TV 등)를 고려하는 3-스크린 및 N-스크린과 같은 시나리오는 컴퓨팅 파워, 메모리/스토리지 크기, 디스플레이 해상도, 디스플레이 프레임률 등과 관련하여 다양한 능력과 함께 장치에서 비디오 소비를 수용할 수 있다. 네트워크와 전송 채널은 패킷 손실률, 이용가능한 채널 대역폭, 버스트 에러율 등과 관련하여 매우 다양한 특성을 가질 수 있다. 비디오 데이터는 유선 네트워크와 무선 네트워크의 조합을 통해 송신될 수 있고, 이 때문에 하부의 송신 채널 특성이 더욱 복잡해질 수 있다.
스케일러블 비디오 코딩은 이종 네트워크를 통한 상이한 능력을 가진 장치에서 동작하는 비디오 애플리케이션에 대한 체감 품질을 개선하기 위한 해법을 제공할 수 있다. 스케일러블 비디오 코딩은 최고의 표시(예를 들면, 시간 해상도, 공간 해상도, 품질 등)로 1회 신호를 인코딩하고 클라이언트 장치에서 동작하는 애플리케이션에 의해 사용되는 특정 레이트 및 표시에 따라 비디오 스트림의 부분집합으로부터 디코딩을 인에이블할 수 있다. 스케일러블 비디오 코딩은 비스케일러블(non-scalable) 해법에 비하여 대역폭 및 스토리지를 절약할 수 있다. 비제한적인 예로서 MPEG-2 비디오, H.263, MPEG4 비주얼 및 H.264와 같은 비디오 표준들은 일부 확장성 모드를 지원하는 툴 및/또는 프로필을 가질 수 있다.
다층 비디오 코딩을 위한 적응적 업샘플링을 위한 시스템, 방법 및 수단이 개시된다. 비디오 데이터를 통신하는 방법은 인코딩된 향상 층 화상을 생성하기 위해 비디오 시퀀스에 대하여 업샘플링 필터를 적용하는 단계를 포함한다. 업샘플링 필터 정보는 인코딩될 수 있다. 인코딩된 업샘플링 정보는 복수의 업샘플링 필터 계수를 포함할 수 있다. 인코딩된 업샘플링 필터 정보 및 인코딩된 향상 층 화상은 출력 비디오 비트스트림으로 전송될 수 있다. 이 방법은 예를 들면 인코더에 의해 수행될 수 있다.
비디오 데이터를 통신하는 방법은 인코딩된 향상 층 화상, 및/또는 상기 인코딩된 향상 층 화상을 생성하기 위해 사용된 업샘플링 필터에 관한 업샘플링 필터 정보를 포함한 비트스트림을 수신하는 단계를 포함할 수 있다. 상기 업샘플링 필터 정보는 업샘플링 필터를 구성하기 위해 디코딩될 수 있다. 업샘플링 필터는 기본 층 화상을 업샘플링하기 위해 적어도 부분적으로 적용될 수 있다. 예를 들면, 업샘플링 필터는 비디오 시퀀스의 향상 층 화상을 디코딩하기 위해 시퀀스 레벨에서 적용될 수 있다. 업샘플링 필터는 비디오 시퀀스의 화상 레벨에서, 비디오 시퀀스의 슬라이스 레벨에서, 및/또는 비디오 시퀀스의 블록 레벨에서 적용될 수 있다. 업샘플링된 기본 층 화상은 인코딩된 향상 층 화상을 디코딩하기 위해 사용될 수 있다. 제1 업샘플링 필터는 입력 비트스트림에서의 제1 업샘플링 필터 정보로부터 구성될 수 있다. 제2 업샘플링 필터는 입력 비트스트림에서의 제2 업샘플링 필터 정보로부터 구성될 수 있다. 제1 업샘플링 필터는 기본 층 화상에서의 화소들의 제1 세트를 업샘플링하기 위해 적용될 수 있다. 제2 업샘플링 필터는 기본 층 화상에서의 화소들의 제2 세트를 업샘플링하기 위해 적용될 수 있다. 화소들의 제1 세트 및 화소들의 제2 세트는 기본 층 화상에서의 다른 화소들을 표시한다. 이 방법은 예를 들면, 디코더에 의해 수행될 수 있다.
업샘플링 필터 정보를 신호하는 방법은 복수의 업샘플링 필터의 각각의 필터를 고정 필터(fixed filter) 또는 맞춤형 필터(custom filter)로서 카테고리화하는 단계와 상기 복수의 업샘플링 필터 중 어떤 필터가 비디오 시퀀스 부분을 인코딩하는데 관련되는지 결정하는 단계를 포함할 수 있다. 상기 관련 필터의 결정은 비디오 시퀀스에서 모션의 양, 비디오 시퀀스에서 에지 정보의 양, 및/또는 비디오 시퀀스에서 에지의 방향성에 기초를 둘 수 있다. 상기 관련된 고정 필터에 대응하는 인덱스를 인코딩할 수 있다. 상기 관련된 맞춤형 필터에 대응하는 필터 계수를 인코딩할 수 있다. 인코딩된 인덱스 및 인코딩된 필터 계수는 비디오 비트스트림으로 함께 송신될 수 있다. 이 방법은 예를 들면 인코더에 의해 수행될 수 있다.
도 1은 블록 기반 하이브리드 비디오 인코딩 시스템의 예를 보인 도이다.
도 2는 블록 기반 비디오 디코더의 예를 보인 도이다.
도 3은 2층 스케일러블 비디오 인코딩 시스템의 예를 보인 도이다.
도 4는 2층 스케일러블 비디오 디코더의 예를 보인 도이다.
도 5는 멀티패스 인코딩에 기초한 화상/슬라이스 레벨 필터 선택의 예를 보인 흐름도이다.
도 6은 적응적 업샘플링 인코딩 결정에 기초한 고속 화상/슬라이스 레벨 필터 선택의 예를 보인 흐름도이다.
도 7A는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 7B는 도 7A에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 7C는 도 7A에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 접근 네트워크 및 예시적인 코어 네트워크의 계통도이다.
도 7D는 도 7A에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 7E는 도 7A에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 접근 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 1은 블록 기반 하이브리드 비디오 인코딩 시스템의 예를 보인 도이다. 입력 비디오 신호(102)는 블록별로 처리될 수 있다. 비디오 블록 단위는 16×16 화소를 포함할 수 있다. 하나의 블록 단위는 매크로블록 또는 MB라고 부를 수 있다. 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)에 있어서, 확장형 블록 사이즈(예를 들면, 코딩 단위 또는 CU라고 부를 수 있음)는 고해상도(예를 들면, 1080p 이상) 비디오 신호를 압축하기 위해 사용될 수 있다. HEVC에 있어서, CU는 최대 64×64 화소일 수 있다. CU는 별도의 예측 구현 예가 적용될 수 있는 예측 단위(PU)로 추가로 구획될 수 있다. 입력 비디오 블록(예를 들면, MB 또는 CU)에 대하여 공간 예측(160) 및/또는 시간 예측(162)이 수행될 수 있다. 공간 예측(예를 들면, 인트라 예측)은 동일한 비디오 화상/슬라이스 내의 이미 코딩된 이웃 블록으로부터의 화소들을 이용하여 현재 비디오 블록을 예측할 수 있다. 공간 예측은 비디오 신호에 고유한 공간 용장성을 감소시킬 수 있다. 시간 예측(이것은 예를 들면 인터 예측 또는 모션 보상 예측이라고 부를 수 있다)은 이미 코딩된 비디오 화상으로부터의 화소들을 이용하여 현재 비디오 블록을 예측할 수 있다. 시간 예측은 비디오 신호에 고유한 시간 용장성을 감소시킬 수 있다. 주어진 비디오 블록에 대한 시간 예측 신호는 복수의 참조 화상을 이용하는 경우 하나 이상의 모션 벡터 및 하나 이상의 참조 화상 인덱스를 포함할 수 있다(예를 들면, 이들은 참조 화상 기억부(164) 내의 어떤 참조 화상으로부터 시간 예측 신호가 오는지를 식별하기 위해 사용될 수 있다).
공간 및/또는 시간 예측 후에, 인코더의 모드 결정 블록(180)이 예측 모드, 예를 들면 레이트 왜곡(rate-distortion) 최적화 예에 기초한 최상 예측 모드를 선택할 수 있다. 예측 블록은 116에서 현재 비디오 블록으로부터 감산될 수 있다. 예측 잔여는 104에서 변환되고 106에서 양자화될 수 있다. 양자화 잔여 계수는 110에서 역 양자화되고 112에서 역변환되어 재구성된 잔여를 형성하며, 이것은 126에서 예측 블록에 가산되어 재구성된 비디오 블록을 형성할 수 있다. 또한, 비제한적인 예를 들자면 디블로킹 필터 및 적응 루프 필터와 같은 인루프(in-loop) 필터링(166)이 상기 재구성된 비디오 블록이 참조 화상 기억부(164)에 저장되고 및/또는 추가의 비디오 블록을 코딩하기 위해 사용되기 전에 상기 재구성된 비디오 블록에 추가될 수 있다. 출력 비디오 비트스트림(120)을 형성하기 위해, 코딩 모드(예를 들면, 인터 또는 인트라), 예측 모드 정보, 모션 정보, 및/또는 양자화 잔여 계수들이 엔트로피 코딩 유닛(108)에 전송되어 비트스트림(120)을 형성하기 위해 압축 및 패킹될 수 있다.
도 2는 블록 기반 비디오 디코더의 예를 보인 도이다. 도 2의 블록 기반 비디오 디코더는 도 1의 블록 기반 비디오 인코더에 대응할 수 있다. 비디오 스트림(202)은 엔트로피 디코딩 유닛(208)에서 언패킹되고 엔트로피 디코딩될 수 있다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간 예측 유닛(260)(인트라 코딩된 경우)에 및/또는 시간 예측 유닛(262)(인터 예측된 경우)에 전송될 수 있다. 잔여 변환 계수는 잔여 블록을 재구성하기 위해 역 양자화 유닛(210) 및/또는 역변환 유닛(212)에 전송될 수 있다. 상기 예측 블록과 상기 잔여 블록은 226에서 함께 가산될 수 있다. 상기 재구성된 블록은 참조 화상 기억부(264)에 저장되기 전에 인루프 필터링을 통과할 수 있다. 참조 화상 기억부 내의 상기 재구성된 영상은 디스플레이 장치를 구동하기 위해 전송되고 및/또는 추가의 비디오 블록을 예측하기 위해 사용될 수 있다.
도 3은 스케일러블 비디오 인코딩 시스템의 예를 보인 도이다. 도 3에서, 1개의 기본 층과 1개의 향상 층을 구비한 2층 스케일러블 코딩 시스템이 예시될 수 있다. 2개의 층 간의 공간 해상도는 다를 수 있다(예를 들면, 공간 확장성이 적용될 수 있다). 기본 층 인코더(예를 들면, 이것은 도 3에서 HEVC 인코더로서 예시된다)는 기본 층 비디오 입력 스트림을 블록마다 인코딩하고 예를 들면 도 1에 예시된 바와 같은 기본 층 비트스트림을 발생할 수 있다. 향상 층 인코더는 향상 층 비디오 입력 스트림을 블록마다 인코딩하고 예를 들면 도 1에 예시된 바와 같은 향상 층 비트스트림을 발생할 수 있다.
스케일러블 시스템의 코딩 효율을 개선하기 위해, 향상 층 비디오가 인코딩될 때, 기본 층 재구성 비디오로부터의 신호 상관이 그 예측 정확도를 개선하기 위해 사용될 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 기본 층 재구성 비디오가 처리되고 하나 이상의 처리된 기본 층 화상이 향상 층 복호 화상 버퍼(decoded picture buffer, DPB)에 삽입되어 향상 층 비디오 입력을 예측하기 위해 사용될 수 있다. 기본 층 비디오 및 향상 층 비디오는 상이한 공간 해상도로 표시되는 본질적으로 동일한 비디오 소스일 수 있다. 도 3에 도시된 바와 같이, 이들은 다운샘플링 처리를 통해 서로 대응할 수 있다. 예를 들면, 층간 처리 및 관리 유닛(예를 들면, 도 3에 도시된 것)에 의해 실행되는 ILP 처리 단계는 기본 층 재구성의 공간 해상도를 향상 층 비디오의 공간 해상도와 정렬하기 위해 사용되는 업샘플링 동작일 수 있다. 기본 층 인코더 및 향상 층 인코더에 의해 생성된 기본 층 비트스트림 및 향상 층 비트스트림 외에, 층간 예측(inter-layer prediction, ILP) 정보가 ILP 처리 및 관리 유닛에 의해 생성될 수 있다. 예를 들면, ILP 정보는 비제한적인 예를 들자면 적용가능한 층간 처리의 유형, 처리시에 사용할 수 있는 파라미터(예를 들면, 사용가능한 임의의 업샘플링 필터), 하나 이상의 기처리된 기본 층 화상 중 어느 것이 향상 층 DPB 에 삽입될 수 있는지 등을 포함할 수 있다. 기본 층 및 향상 층 비트스트림 및 ILP 정보는 예를 들면 멀티플렉서에 의해 함께 다중화되어 스케일러블 비트스트림을 형성할 수 있다.
도 4는 2층 스케일러블 비디오 디코더의 예를 보인 도이다. 도 4의 2층 스케일러블 비디오 디코더는 도 3의 스케일러블 인코더에 대응할 수 있다. 디코더는 인코더의 역으로 동작을 수행할 수 있다. 예를 들면, 스케일러블 비트스트림은 디멀티플렉서에서 기본 층 비트스트림, 향상 층 비트스트림 및 ILP 정보로 역다중화될 수 있다. 기본 층 디코더는 기본 층 비트스트림을 디코딩할 수 있다. 기본 층 디코더는 기본 층 재구성을 생성할 수 있다. ILP 처리 및 관리 유닛은 ILP 정보를 수신할 수 있다. ILP 처리 및 관리 유닛은 기본 층 재구성을 처리할 수 있다. 이것은 수신된 ILP 정보에 따라 행하여질 수 있다. ILP 처리 및 관리 유닛은 하나 이상의 기처리된 기본 층 화상을 향상 층 DPB에 선택적으로 삽입할 수 있다. 이것은 수신된 ILP 정보에 따라 행하여질 수 있다. 향상 층 디코더는 예를 들면 시간 참조 화상과 층간 참조 화상(예를 들면, 기처리된 기본 층 화상)의 조합에 의해 향상 층 비트스트림을 디코딩하여 향상 층 비디오를 재구성할 수 있다.
용어 "층간 참조 화상" 및 "기처리된 기본 층 화상"은 상호 교환적으로 사용될 수 있다.
예를 들면 도 3 및 도 4에 도시된 바와 같은 스케일러블 시스템에서 화상 레벨 ILP를 수행함으로써 구현 복잡성이 감소될 수 있다. 그 이유는 블록 레벨에서 기본 층 및 향상 층 인코더 및 디코더 로직들이 변경 없이 재사용될 수 있기 때문이다. 향상 층 DPB에 하나 이상의 기처리된 기본 층 화상을 삽입하는 것을 수반하는 하이 레벨(예를 들면, 화상/슬라이스 레벨) 구성을 사용할 수 있다. 화상 레벨 층간 예측에 추가하여 블록 레벨 층간 예측을 촉진하기 위해 스케일러블 시스템에서 블록 레벨 변경이 허용될 수 있다.
기본 층 화상에 대한 하나 이상의 업샘플링 필터의 설계 및/또는 적용은 층간 참조 화상의 품질 및 향상 층의 코딩 효율에 충격을 줄 수 있다. 상이한 종류의 비디오 콘텐츠 및 비트 레이트에 대하여 하나의 업샘플링 필터를 사용할 수 있다. 하나의 업샘플링 필터의 사용은 각종의 공간적 특성을 효과적으로 이용하는데 충분하지 않을 수 있다. 업샘플링 필터는 2-D 분리형일 수 있고, 이것은 화상의 업샘플링이 행과 열을 순차적으로 업샘플링함으로써 달성될 수 있다는 것을 표시한다. 이러한 종류의 필터는 비수평 방향 또는 비수직 방향을 따르는 에지 세부를 보존하지 않을 수 있지만, 2-D 비분리형 필터와 비교할 때 복잡성이 더 낮을 수 있다. 모드 종속 방향성 업샘플링(예를 들면, 이것은 적응적 업샘플링의 일 유형일 수 있다)을 사용하여 기본 층 화상의 인트라 블록들을 업샘플링할 수 있다. 모드 종속 방향성 업샘플링은 기본 층 비디오 블록의 하나 이상의 인트라 예측 모드에 따라 적용될 수 있는 하나 이상의 업샘플링 필터를 이용할 수 있다. 이러한 업샘플링 예는 어떤 필터가 선택되는지를 표시하는 추가의 비트를 사용하지 않는 블록 레벨에 업샘플링 필터를 적응시킬 수 있고, 및/또는 인트라 예측 모드를 이용하여 코딩된 업샘플링된 기본 층 블록의 품질을 개선할 수 있다.
향상 층 화상을 코딩할 때 층간 참조 화상 및 층간 예측의 품질에 관한 예를 여기에서 설명한다. 복수의 업샘플링 필터가 설계되고 시퀀스 레벨에서, 화상/슬라이스 레벨에서, 및/또는 블록 레벨에서 적응적으로 사용할 수 있다. 적응의 레벨은 연산 복잡성, 오버헤드 비트의 사이즈, 및/또는 코딩 효율에 관한 사전 지식 및/또는 균형(balance)에 의해 적어도 부분적으로 결정될 수 있다. 여기에서 설명하는 예들은 임의의 에지 방향 및 다른 공간 특성을 다루도록 설계된 복수의 업샘플링 필터, 시퀀스 레벨, 화상/슬라이스 레벨 및/또는 블록 레벨에서 선택적으로 사용될 수 있는 복수의 업샘플링 필터, 및/또는 미리 규정되거나 인코더에 의해 맞춤화될 수 있는 복수의 업샘플링 필터를 포함할 수 있다.
여기에서 개시되는 주제는 2층의 공간 스케일러블 비디오 코딩 시스템을 이용하여 예시될 수 있다. 하부의 단층 인코더/디코더는 예로서 HEVC 인코더/디코더를 이용하여 설명할 수 있다. 여기에서 개시되는 주제는 다른 스케일러블 시스템(예를 들면, 3층 이상, 다른 유형의 확장성, 및/또는 다른 하부 단층 인코더/디코더)에도 적용할 수 있다.
적응적 업샘플링 예를 여기에서 설명한다. 업샘플링 필터는 예를 들면 코딩 대상의 하나 이상의 기본 층 재구성 화상 및/또는 하나 이상의 향상 층 최초 입력 화상을 포함하는 일련의 훈련 데이터(training data)를 이용하는 최소 제곱(Least Squared, LS)법을 이용하여 설계되고 훈련될 수 있다. 업샘플링 필터는 하나 이상의 업샘플링된 기본 층 재구성 화상과 하나 이상의 향상 층 최초 입력 화상 간의 평균 제곱 오차(mean squared error, MSE)를 감소시키고 최소화할 수 있다. 하나 이상의 업샘플링 필터를 훈련하기 위해, 하나 이상의 훈련 데이터 집합이 구성될 수 있다. 훈련 데이터 집합은 주어진 비디오 시퀀스에서 하나 이상의 기본 층 재구성 화상 및/또는 하나 이상의 향상 층 최초 입력 화상을 포함할 수 있다. 훈련된 업샘플링 필터는 비디오 시퀀스의 훈련에 효율적일 수 있다. 비디오 시퀀스는 하나 이상의 카테고리로 분류될 수 있다(예를 들면, 고정, 하이모션, 에지리치, 균질 등). 하나 이상의 기본 층 재구성 화상 및/또는 하나 이상의 향상 층 최초 입력 화상은 대응하는 업샘플링 필터의 훈련 데이터 집합으로부터 비디오 시퀀스 카테고리로 분류될 수 있다. 훈련된 업샘플링 필터는 소정 카테고리의 비디오 시퀀스에 대하여 효율적일 수 있다.
업샘플링 필터는 필터의 주파수 응답이 소망의 방향성을 갖는 것을 보장함으로써 생성될 수 있다. 예를 들면, 방향성이 없는 2-D 업샘플링 필터는 예를 들면 수학식 1로 나타낸 바와 같이 윈도 함수에 의해 고정(clip)된 2-D 사인 함수에 의해 표시될 수 있다.
Figure pat00001
여기에서 a와 b는 주파수 도메인에서 수평 방향 및 수직 방향으로 차단 주파수를 제어하는 2개의 파라미터이다. 소정의 방향(예를 들면, 이것은 수평 방향으로부터 각도 θ를 갖는 방향으로 가정할 수 있다)을 따라 에지 세부를 보존하기 위해, 소망의 방향성 업샘플링 필터가 예를 들면 수학식 2로 나타낸 바와 같이 각도 θ만큼 최초 좌표를 반시계 방향으로 회전시킴으로써 획득될 수 있다.
Figure pat00002
수학식 1 및 수학식 2에 기초하여, 소망의 방향성을 가진 업샘플링 필터는 예를 들면 수학식 3으로 나타낸 바와 같이 도출될 수 있다.
Figure pat00003
훈련 구현 및/또는 이론적 도출 구현에 의해 획득된 업샘플링 필터는 실가수(real-valued number)들을 가질 수 있다. 소프트웨어 및/또는 하드웨어로 실현될 때, 이들은 값, 예를 들면 소정 정밀도를 가진 정수에 의해 근사화될 수 있다. 더 낮은 정밀도는 구현 복잡성을 더 낮게 하지만, 업샘플링 필터의 성능이 감퇴될 수 있다. 더 높은 정밀도는 업샘플링 필터의 성능을 개선하지만, 구현 복잡성을 또한 더 높게 할 수 있다. 예를 들면, 정밀도는 8-비트일 수 있고, 이것은 필터 계수의 값이 256 단계 이내로 양자화될 수 있다는 것을 표시한다. 업샘플링 필터가 8-비트 정밀도(예를 들면, 0~255)를 가진 화소에 적용될 때, 2개의 승수, 즉 화소 값과 필터 계수는 8-비트 정밀도를 가질 수 있고, 그 곱은 16-비트 동적 범위를 초과하지 않을 수 있다.
하나 이상(예를 들면, 집합)의 업샘플링 필터가 배치된 후에, 인코더는 인코딩 처리 중에 하나 이상의(예를 들면, 임의의) 업샘플링 필터를 적응적으로 적용할 수 있다. 업샘플링 필터는 다른 수단에 의해 및/또는 다른 코딩 레벨(예를 들면, 시퀀스 레벨, 화상/슬라이스 레벨, 및/또는 블록 레벨)로 선택될 수 있다.
만일 인코더가 비디오 시퀀스의 콘텐츠에 대한 사전 지식을 갖고 있고 상기 비디오 시퀀스용으로 또는 상기 비디오 시퀀스가 속하는 카테고리용으로 설계된 업샘플링 필터가 있으면, 인코더는 인코딩 처리의 시작시에 업샘플링 필터를 선택할 수 있다. 인코더는 인코딩 처리하는 동안 내내 업샘플링 필터를 유지, 예를 들면 변경하지 않을 수 있다. 이것은 시퀀스 레벨 적응이라고 말할 수 있다. 인코더는 비디오 시퀀스의 인코딩 처리 동안 내내 훈련된 업샘플링 필터를 사용할 수 있다. 비디오 시퀀스의 콘텐츠 및/또는 카테고리의 사전 지식 결정은 상기 비디오 시퀀스와 관련된(예를 들면, 상기 비디오 시퀀스의 하나 이상의 속성과 관련된) 콘텐츠 및/또는 카테고리의 결정이라고 말할 수 있다. 상기 비디오 시퀀스와 관련된 콘텐츠 및/또는 카테고리를 결정할 때, 인코더는 상기 콘텐츠 및/또는 카테고리에 기초하여 업샘플링 필터를 (예를 들면, 복수의 후보 업샘플링 필터로부터) 선택할 수 있다.
만일 인코더가 비디오 시퀀스에 대한 사전 지식을 갖고 있지 않거나 또는 신뢰할 수 없는 지식을 갖고 있으면, 인코더는 훈련된 업샘플링 필터 중의 하나 이상(예를 들면, 모두 또는 부분집합)을 인코딩 처리를 위한 후보 업샘플링 필터로서 이용할 수 있다. 인코더는 화상 기반으로 상기 후보 업샘플링 필터 중의 하나를 선택할 수 있다. 이것은 화상/슬라이스 레벨 적응이라고 부를 수 있다. 인코더는 블록 기반으로 상기 후보 업샘플링 필터 중의 하나를 선택할 수 있다. 이것은 블록 레벨 적응이라고 부를 수 있다.
업샘플링 필터의 선택 및 선택된 업샘플링 필터의 적응 레벨에 관한 예를 여기에서 설명한다. 예를 들면, 비디오 시퀀스 레벨 적응, 화상/슬라이스 레벨 적응, 및 블록 레벨 적응이 여기에서 설명된다.
업샘플링 필터(예를 들면, 후보 업샘플링 필터)의 집합으로부터, 하나 이상(예를 들면, 부분집합)의 업샘플링 필터가 현재 비디오 시퀀스를 코딩하기 위해 인코더에 의해 사용될 수 있다. 상기 하나 이상의 업샘플링 필터는 시퀀스 헤더, 예를 들면 시퀀스 파라미터 집합(SPS)으로 표시될 수 있다. 만일 하나의 업샘플링 필터가 SPS로 표시되면, 화상/슬라이스 레벨 또는 블록 레벨 적응이 디스에이블, 예를 들면 인에이블되지 않을 수 있다. 그 이유는 비디오 시퀀스 레벨 적응이 인에이블되기 때문이다. 만일 하나 이상의 업샘플링 필터가 SPS로 표시되면, 화상/슬라이스 레벨 및/또는 블록 레벨 적응이 인에이블될 수 있다.
화상/슬라이스 레벨 적응에 대하여 설명한다. 비디오 시퀀스를 코딩하기 위해 사용되는 후보 업샘플링 필터의 수는 N으로서 표시될 수 있다. 도 5는 멀티패스 인코딩에 기초한 화상/슬라이스 레벨 필터 선택의 예를 보인 흐름도이다. n(1≤n≤N)번째 코딩 패스에 있어서, 인코더는 n번째 업샘플링 필터에 의해 처리된 기처리된 기본 층 화상을 이용하여 현재 향상 층 화상을 인코딩할 수 있다. N-패스 인코딩 후에, 인코더는 미리 규정된 기준을 이용하여 N 코딩 패스의 후보 업샘플링 필터를 선택할 수 있다. 예를 들면, 인코더는 코딩 패스가 최소의 레이트 왜곡 희생을 갖는 업샘플링 필터를 선택할 수 있다. 인코더는 상기 선택된 업샘플링 필터를 이용하여 현재 향상 층 화상을 인코딩할 수 있다.
멀티패스 인코딩의 수행은 일부 응용, 예를 들면 실시간 인코딩을 이용하는 응용에서 시간 소모적이고 비용이 들 수 있다. 실시간 인코딩을 이용하는 응용을 위해, 고속 인코더 결정 메카니즘을 이용할 수 있다. 도 6은 적응적 업샘플링 인코딩 결정에 기초한 고속 화상/슬라이스 레벨 필터 선택의 예를 보인 흐름도이다. 도 6에 도시된 바와 같이, 제1 인코딩 패스는 도 3에 따라서 수행될 수 있다. 이 인코딩 패스에 있어서, 기처리된 기본 층 재구성을 이용하여 층간 예측을 제공할 수 있다. 기처리된 기본 층 화상은 filter_dflt로서 표시되는 디폴트 업샘플링 필터를 적용함으로써 획득될 수 있다. 디폴트 업샘플링 필터는 N개의 업샘플링 필터 후보 중의 하나일 수 있다. 디폴트 업샘플링 필터는 일반 설계 및 낮은 복잡성을 가진 2-D 분리형 필터일 수 있다. 제1 인코딩 패스 중에 기처리된 기본 층 화상을 이용한 향상 층 블록에 대한 최적의 필터를 결정하기 위해, 디폴트 필터를 이용하는 블록 왜곡 및 하나 이상의 다른 후보 업샘플링 필터를 이용하는 블록 왜곡이 수집 및 누적될 수 있다. 예를 들면, 디폴트 업샘플링 필터를 이용하는 제1 인코딩 패스에 있어서 현재 EL 프레임의 ILR 예측을 위해 선택된 블록들은 다른 후보 업샘플링 필터를 이용하고 그 후보 업샘플링 필터에 대한 블록 왜곡 측정치를 수집하여 블록마다 기반으로 재인코딩될 수 있다.
전체 누적 왜곡이 최소인 필터를 최적 필터(filter-opt)로서 선택할 수 있다. 만일 filter_opt가 filter_dflt와 동일하면, 제2 인코딩 패스를 생략, 예를 들면 수행하지 않을 수 있다. 그렇지 않으면, filter_opt를 이용하여 기본 층 재구성이 다시 처리될 수 있고, 새로 처리된 기본 층 화상을 이용하여 제2 인코딩 패스가 수행될 수 있다(예를 들면, 도 3에 따라서). 이 고속 인코딩 알고리즘은 특히 초기 필터(filter_dflt)가 적절히 설정된 경우에 인코딩 패스의 수를 감소시킬 수 있다. 예를 들면, 현재 화상 코딩은 이전 코딩 통계에 따라 디폴트 업샘플링 필터를 도출할 수 있다.
멀티패스 인코딩 및 고속 인코더 결정 메카니즘을 이용하는 예는 예를 들면 인코딩 시간과 성능의 균형을 고려하여 결합될 수 있다. 예를 들면, N개의 업샘플링 필터 중에서, A(A<N)개의 업샘플링 필터의 부분집합이 주어진 비디오 시퀀스를 코딩하는데 효율적일 수 있다. A개의 업샘플링 필터는 멀티패스 인코딩과 함께 활용되고, 나머지 B(N=A+B)개의 업샘플링 필터는 고속 인코더 결정 메카니즘과 함께 활용될 수 있다.
블록 레벨에 대하여 업샘플링 필터(들)을 활용하는 예를 여기에서 설명한다. 기본 층 블록(예를 들면, 각각의 기본 층 블록)은 업샘플링 필터, 예를 들면, M개의 업샘플링 필터 후보 중의 최상의 업샘플링 필터에 의해 업샘플링될 수 있다. 업샘플링된 블록은 대응하는 향상 층 블록을 코딩하기 위한 예측으로서 사용할 수 있다. 화상/슬라이스 레벨 적응 및 블록 레벨 적응을 위한 업샘플링 필터 후보의 집합은 다를 수 있다. M은 N과 다를 수 있다. 예를 들면, M은 (예를 들면, 어떤 업샘플링 필터가 사용되는지를 표시하기 위해 사용될 수 있는) ILP 블록마다 사이드 정보를 1회 전송하는 것이 중대한 비트 오버헤드를 발생할 수 있기 때문에 N보다 더 작을 수 있다. 예를 들어서, 만일 M이 2이면, 블록에 대하여 사용되는 업샘플링 필터를 신호하기 위해 1 비트를 이용할 수 있다. 만일 M이 5이면, 블록에 대하여 사용되는 업샘플링 필터를 신호하기 위해 3 비트를 이용할 수 있다. 만일 M이 너무 크면, 시그널링 오버헤드가 그 블록에 대하여 최적의 적응 업샘플링 필터를 선택함으로써 달성가능한 이득보다 더 중대할 수 있다. 화상/슬라이스 레벨 적응의 경우에, 사이드 정보는 화상마다 1회 및/또는 슬라이스마다 1회 코딩될 수 있고, 사용되는 비트는 전체 비트스트림의 백분율로서 무시할 수 있다.
블록 레벨 적응의 경우에, 업샘플링 필터의 사이즈-M 후보 풀이 다른 수단에 의해 구성될 수 있다. 예를 들면, M개의 후보 업샘플링 필터가 미리 규정될 수 있고, SPS로 신호될 수 있다. 예를 들면, 블록 레벨 적응을 위한 M개의 업샘플링 필터는 화상/슬라이스 레벨 적응을 위한 N개의 업샘플링 필터의 부분집합일 수 있고, 동적으로 구성될 수 있다. 화상을 코딩할 때는 멀티패스 인코딩(예를 들면, 도 5에서 설명한 것) 및/또는 고속 인코딩 알고리즘(예를 들면, 도 6에서 설명한 것)을 수행할 수 있고, M개의 최상 업샘플링 필터가 블록 레벨 적응을 위한 M개 업샘플링 필터의 풀을 형성할 수 있다. 예를 들면, M개의 업샘플링 필터 후보 중에서 K개의 필터가 미리 규정되고(예를 들면, 시퀀스 레벨에서), L개의 필터가 동적으로 선택될 수 있으며(예를 들면, 화상/슬라이스 레벨에서), 이때 M=K+L이다.
화상/슬라이스 레벨 적응과 유사하게, 블록 레벨에서, 하나 이상(예를 들면, 최상)의 M개의 업샘플링 필터 후보가 다른 수단에 의해 결정될 수 있다. 예를 들면, 블록에 대한 레이트 왜곡 희생을 최소화하는 업샘플링 필터가 선택될 수 있다. 업샘플링된 기본 층 블록과 대응하는 향상 층 원래 블록 간의 왜곡은 최상의 블록 레벨 필터를 선택할 때 고려될 수 있다. 왜곡을 고려하고 비트 희생을 고려하지 않음으로써 더 고속으로 될 수 있다. 비디오 시퀀스를 코딩할 때, 하나 이상의 화상은 화상/슬라이스 레벨 적응 업샘플링을 이용하여 코딩되고, 하나 이상의 다른 화상은 블록 레벨 적응 업샘플링을 이용하여 코딩될 수 있다.
스케일러블 시스템(예를 들면, 도 3 및 도 4에 도시된 것)에서 화상 레벨 업샘플링을 수행하고 업샘플링된 화상을 참조 화상 중의 하나로서 이용함으로써 구현 복잡성을 감소시킬 수 있다. 예를 들면, 블록 레벨에서 기본 층 및 향상 층 인코더 및 디코더 로직들은 변경 없이 대부분 재사용될 수 있다. 향상 층 DPB에 대한 하나 이상의 기처리된 기본 층 화상의 삽입을 수반하는 하이 레벨(예를 들면, 화상/슬라이스 레벨) 구성을 활용할 수 있다. 블록 레벨 업샘플링의 사용은 단층 인코더/디코더에 대한 블록 레벨 변경을 생략할 수 있는 복수의 참조 화상에 의해 실현될 수 있다. 예를 들면, M개의 업샘플링 필터를 이용하여 각각 업샘플링된 M개의 기본 층 재구성 화상은 향상 층 화상을 코딩할 때 추가의 M개의 참조 화상으로서 사용될 수 있다. 비록 이것이 (예를 들면, 일시적 참조 화상에 대한 참조 인덱스 시그널링 오버헤드를 포함한) 블록 레벨에서 참조 화상 리스트 사이즈를 증가시키고 참조 인덱스 시그널링의 희생을 증가시킬 수 있지만, 구현 복잡성은 감소될 수 있다.
복수의 업샘플링 필터가 미리 규정되고, 필터들의 계수가 인코더 및/또는 디코더에 저장될 수 있다. 미리 규정되는 업샘플링 필터의 수는 연산 자원 구속, 예를 들면, 필터의 계수와 관련된 메모리 구속을 만족시키도록 선택될 수 있다. 업샘플링 필터는 1 카테고리의 비디오, 예를 들면, 정지, 하이모션, 에지 리치, 및/또는 균질을 코딩할 수 있다. 미리 규정된 업샘플링 필터의 사용은 하이 레벨 파라미터 집합, 예를 들면, VPS(비디오 파라미터 집합) 및/또는 SPS(시퀀스 파라미터 집합)에서 하나 이상의 플래그 또는 표시자를 이용하여 신호될 수 있다. 미리 규정된 업샘플링 필터의 값은 참(true)으로 설정되고, 이것은 미리 규정된 업샘플링 필터가 사용될 수 있음을 의미한다. 업샘플링 필터의 수는 비트스트림의 플래그를 따를 수 있다.
복수의 업샘플링 필터가 코딩 대상 비디오 시퀀스에 대하여 맞춤화될 수 있다. 인코더는 필터 계수를 비트스트림으로 코드화하고 이들을 송신할 수 있다. 디코더 측에서 상기 필터 계수를 수신하여 비디오 시퀀스를 디코딩하기 위해 사용할 수 있다. 업샘플링 필터의 맞춤형 사용은 하이 레벨 파라미터 집합, 예를 들면, VPS 및/또는 SPS에서 하나 이상의 플래그를 이용하여 신호될 수 있다. 맞춤형 업샘플링 플래그의 값은 참으로 설정될 수 있고, 이것은 맞춤형 업샘플링 필터가 사용될 수 있음을 의미한다. 업샘플링 필터의 수 및 업샘플링 필터의 계수들은 비트스트림의 플래그를 따를 수 있다. 상기 필터 및 계수들은 순차적으로 플래그를 따를 수 있다.
미리 규정된 및 맞춤형 업샘플링은 사용시에 결합될 수 있고, 이것은 현재 비디오 시퀀스를 코딩하기 위해 사용되는 복수의 업샘플링 필터가 미리 규정된 및 맞춤형 필터 및 계수들을 포함할 수 있음을 의미한다.
표 1은 미리 규정된 적응적 업샘플링 필터, 및 시퀀스 파라미터 집합(SPS)의 맞춤형 업샘플링 필터의 사용을 신호할 때 사용될 수 있는 플래그 및/또는 값의 예시적인 집합을 보인 것이다.
일례로서, 0의 값을 가진 플래그 sps_predefined_upsampling_enabled_flag는 미리 규정된 업샘플링 필터가 현재 비디오 시퀀스를 코딩하는데 사용되지 않는다는 것을 표시할 수 있다. 만일 플래그 sps_predefined_upsampling_enabled_flag가 예를 들어서 1의 값을 가지면, 이것은 미리 규정된 업샘플링 필터가 현재 비디오 시퀀스를 코딩하는데 사용될 수 있다는 것을 표시할 수 있다.
다른 예로서, 0의 값을 가진 플래그 sps_customized_upsampling_enabled_flag는 맞춤형 업샘플링 필터가 현재 비디오 시퀀스를 코딩하는데 사용되지 않는다는 것을 표시할 수 있다. 만일 플래그 sps_customized_upsampling_enabled_flag가 예를 들어서 1의 값을 가지면, 이것은 맞춤형 업샘플링 필터가 현재 비디오 시퀀스를 코딩하는데 사용될 수 있다는 것을 표시할 수 있다.
값 num_predefined_upsampling_filters_minus_1+1은 예를 들면 현재 비디오 시퀀스를 코딩하는데 사용될 수 있는 미리 규정된 업샘플링 필터의 수를 표시할 수 있다. 값 num_customized_upsampling_filters_minus_1+1은 예를 들면 현재 비디오 시퀀스를 코딩하는데 사용될 수 있는 맞춤형 업샘플링 필터의 수를 표시할 수 있다. 값 num_coeff_per_filter_minus_1+1은 예를 들면 하나의 맞춤형 업샘플링 필터에서 필터 계수의 수를 표시할 수 있다.
값 num_coeff_hori_minus_1[j]+1은 예를 들면 j번째 맞춤형 업샘플링 필터의 수평 방향에서 계수의 수를 표시할 수 있다. 값 num_coeff_vert_minus_1[j]+1은 예를 들면 j번째 맞춤형 업샘플링 필터의 수직 방향에서 계수의 수를 표시할 수 있다.
필터의 치수는 값 num_coeff_hori_minus_1[j] × 값 num_coeff_vert_minus_1[j]에 의해 표시될 수 있고, 필터의 계수들의 총 수는 예를 들면 값 num_coeff_hori_minus_1[j]와 num_coeff_vert_minus_1[j]의 곱일 수 있다. 값 upsampling_filter_coeff[j][i]는 j번째 맞춤형 업샘플링 필터의 i번째 필터 계수일 수 있다.
Figure pat00004
표 1: SPS에서 미리 규정된 적응적 업샘플링 필터 및 맞춤형 업샘플링 필터의 사용의 시그널링
도 7A는 하나 이상의 본 발명의 실시형태를 구현할 수 있는 예시적인 통신 시스템(700)을 보인 도이다. 통신 시스템(700)은 복수의 무선 사용자에게 음성, 데이터, 영상, 메시지, 방송 등의 콘텐츠를 제공하는 다중 접속 시스템일 수 있다. 통신 시스템(700)은 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 자원을 공유함으로써 상기 콘텐츠에 접근할 수 있게 한다. 예를 들면, 통신 시스템(700)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.
도 7A에 도시된 것처럼, 통신 시스템(700)은 무선 송수신 유닛(WTRU)(702a, 702b, 702c, 702d), 무선 접근 네트워크(radio access network; RAN)(703/704/705), 코어 네트워크(706/707/709), 공중 교환식 전화망(public switched telephone network; PSTN)(708), 인터넷(710) 및 기타의 네트워크(712)를 포함하고 있지만, 본 발명의 실시형태는 임의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다. 각각의 WTRU(702a, 702b, 702c, 702d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, WTRU(702a, 702b, 702c, 702d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화기, 개인 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전제품, 또는 압축 영상 통신을 수신 및 처리할 수 있는 임의의 다른 단말을 포함할 수 있다.
통신 시스템(700)은 기지국(714a)과 기지국(714b)을 또한 포함할 수 있다. 각각의 기지국(714a, 714b)은 적어도 하나의 WTRU(702a, 702b, 702c, 702d)와 무선으로 인터페이스 접속하여 코어 네트워크(706/707/709), 인터넷(710) 및/또는 네트워크(712)와 같은 하나 이상의 통신 네트워크에 접근하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, 기지국(714a, 714b)은 기지국 송수신기(base transceiver station; BTS), 노드-B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 접근점(access point; AP), 무선 라우터 등일 수 있다. 비록 기지국(714a, 714b)이 각각 단일 요소로서 도시되어 있지만, 기지국(714a, 714b)은 임의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다.
기지국(714a)은 RAN(703/704/705)의 일부일 수 있고, RAN(703/704/705)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시 생략됨)를 또한 포함할 수 있다. 기지국(714a) 및/또는 기지국(714b)은 셀(도시 생략됨)이라고도 부르는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 복수의 셀 섹터로 세분될 수 있다. 예를 들면, 기지국(714a)과 관련된 셀은 3개의 섹터로 나누어질 수 있다. 따라서, 일 실시형태에 있어서, 기지국(714a)은 셀의 각 섹터마다 하나씩 3개의 송수신기를 포함할 수 있다. 다른 실시형태에 있어서, 기지국(714a)은 다중입력 다중출력(MIMO) 기술을 사용할 수 있고, 따라서 셀의 각 섹터마다 복수의 송수신기를 사용할 수 있다.
기지국(714a, 714b)은 임의의 적당한 무선 통신 링크(예를 들면, 라디오 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(715/716/717)를 통하여 하나 이상의 WTRU(702a, 702b, 702c, 702d)와 통신할 수 있다. 무선 인터페이스(715/716/717)는 임의의 적당한 무선 접근 기술(radio access technology; RAT)을 이용하여 확립될 수 있다.
더 구체적으로, 위에서 언급한 것처럼, 통신 시스템(700)은 다중 접근 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 접근 방식을 이용할 수 있다. 예를 들면, RAN(703/704/705) 내의 기지국(714a)과 WTRU(702a, 702b, 702c)는 광대역 CDMA(WCDMA)를 이용하여 무선 인터페이스(715/716/717)를 확립하는 범용 이동통신 시스템(UMTS) 지상 라디오 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진화형 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수 있다.
기지국(714a)과 WTRU(702a, 702b, 702c)는 롱텀 에볼루션(LTE) 및/또는 LTE-어드반스드(LTE-A)를 이용하여 무선 인터페이스(715/716/717)를 확립하는 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.
기지국(714a)과 WTRU(702a, 702b, 702c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 글로벌 이동통신 시스템(GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.
도 7A의 기지국(714b)은 예를 들면 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 접근점일 수 있고, 사업장, 홈, 자동차, 캠퍼스 등과 같은 국소 지역에서 무선 접속을 가능하게 하는 임의의 적당한 RAT를 이용할 수 있다. 기지국(714b)과 WTRU(702c, 702d)는 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 통신망(WLAN)을 확립할 수 있다. 기지국(714b)과 WTRU(702c, 702d)는 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 통신망(WPAN)을 확립할 수 있다. 기지국(714b)과 WTRU(702c, 702d)는 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 7A에 도시된 바와 같이, 기지국(714b)은 인터넷(710)에 직접 접속될 수 있다. 그러므로, 기지국(714b)은 코어 네트워크(706/707/709)를 통해 인터넷(710)에 접속할 필요가 없다.
RAN(703/704/705)은 코어 네트워크(706/707/709)와 통신하고, 코어 네트워크(706/707/709)는 하나 이상의 WTRU(702a, 702b, 702c, 702d)에게 음성, 데이터, 애플리케이션 및/또는 인터넷을 통한 음성 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 유형의 네트워크일 수 있다. 예를 들면, 코어 네트워크(706/707/709)는 호출 제어, 빌링(billing) 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 접속, 영상 분배 등을 제공할 수 있고, 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 비록 도 7A에 도시되어 있지 않지만, RAN(703/704/705) 및/또는 코어 네트워크(706/707/709)는 RAN(703/704/705)과 동일한 RAT 또는 다른 RAT를 이용하는 다른 RAN과 직접 또는 간접 통신을 할 수 있다는 것을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용하여 RAN(703/704/705)에 접속하는 것 외에, 코어 네트워크(706/707/709)는 GSM 무선 기술을 이용하여 다른 RAN(도시 생략됨)과도 또한 통신할 수 있다.
코어 네트워크(706/707/709)는 WTRU(702a, 702b, 702c, 702d)가 PSTN(708), 인터넷(710) 및/또는 기타 네트워크(712)에 접속하게 하는 게이트웨이로서 또한 기능할 수 있다. PSTN(708)은 재래식 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화망을 포함할 수 있다. 인터넷(710)은 TCP/IP 인터넷 프로토콜 스위트(suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통의 통신 프로토콜을 이용하는 상호접속된 컴퓨터 네트워크 및 장치의 글로벌 시스템을 포함할 수 있다. 네트워크(712)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(712)는 RAN(703/704/705)과 동일한 RAT 또는 다른 RAT를 이용하여 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(700)의 WTRU(702a, 702b, 702c, 702d)의 일부 또는 전부는 다중 모드 능력을 구비할 수 있다. 즉, WTRU(702a, 702b, 702c, 702d)는 다른 무선 링크를 통하여 다른 무선 네트워크와 통신하기 위한 복수의 송수신기를 포함할 수 있다. 예를 들면, 도 7A에 도시된 WTRU(702c)는 셀룰러 기반 무선 기술을 이용하여 기지국(714a)과 통신하고, IEEE 802 무선 기술을 이용하여 기지국(714b)과 통신하도록 구성될 수 있다.
도 7B는 예시적인 WTRU(702)의 계통도이다. 도 7B에 도시된 바와 같이, WTRU(702)는 프로세서(718), 송수신기(720), 송수신 엘리멘트(722), 스피커/마이크로폰(724), 키패드(726), 디스플레이/터치패드(728), 비착탈식 메모리(730), 착탈식 메모리(732), 전원(734), 글로벌 위치확인 시스템(GPS) 칩세트(736) 및 기타 주변장치(738)를 포함할 수 있다. WTRU(702)는 실시형태의 일관성을 유지하면서 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것을 이해할 것이다. 또한, 기지국(714a, 714b), 및/또는 기지국(714a, 714b)이 비제한적인 예로서, 다른 무엇보다도 특히, 기지국 송수신기(BTS), 노드-B, 사이트 제어기, 접근점(AP), 홈 노드-B, 진화형 홈 노드-B(e노드B), 홈 e노드-B(HeNB), 홈 e노드-B 게이트웨이, 및 프록시 노드를 대표할 수 있는 노드들은 도 7B에 도시되고 여기에서 설명하는 요소들의 일부 또는 전부를 포함할 수 있다.
프로세서(718)는 범용 프로세서, 특수 용도 프로세서, 전통적 프로세서, 디지털 신호 프로세서(DSP), 그래픽 처리 유닛(GPU), 복수의 마이크로프로세서, DSP 코어와 연합하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 용도 지정 집적회로(ASIC), 현장 프로그램가능 게이트 어레이(FPGA) 회로, 임의의 다른 유형의 집적회로(IC), 상태 기계 등일 수 있다. 프로세서(718)는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 WTRU(702)가 무선 환경에서 동작하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(718)는 송수신기(720)에 결합되고, 송수신기(720)는 송수신 엘리멘트(722)에 결합될 수 있다. 비록 도 7B에서는 프로세서(718)와 송수신기(720)가 별도의 구성요소로서 도시되어 있지만, 프로세서(718)와 송수신기(720)는 전자 패키지 또는 칩으로 함께 통합될 수 있음을 이해할 것이다.
송수신 엘리멘트(722)는 무선 인터페이스(715/716/717)를 통하여 기지국(예를 들면 기지국(714a))에 신호를 송신하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 일 실시형태에 있어서, 송수신 엘리멘트(722)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 송수신 엘리멘트(722)는 예를 들면, IR, UV 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 에미터/검지기일 수 있다. 송수신 엘리멘트(722)는 RF 신호와 광신호 둘 다를 송신 및 수신하도록 구성될 수 있다. 송수신 엘리멘트(722)는 임의의 무선 신호 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것을 이해할 것이다.
또한, 비록 송수신 엘리멘트(722)가 도 7B에서 단일 엘리멘트로서 도시되어 있지만, WTRU(702)는 임의 수의 송수신 엘리멘트(722)를 포함할 수 있다. 더 구체적으로, WTRU(702)는 MIMO 기술을 이용할 수 있다. WTRU(702)는 무선 인터페이스(715/716/717)를 통해 무선 신호를 송신 및 수신하기 위해 2개 이상의 송수신 엘리멘트(722)(예를 들면, 다중 안테나)를 포함할 수 있다.
송수신기(720)는 송수신 엘리멘트(722)에 의해 송신할 신호들을 변조하고 송수신 엘리멘트(722)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(702)는 다중 모드 능력을 구비할 수 있다. 따라서, 송수신기(720)는 WTRU(702)가 예를 들면 UTRA 및 IEEE 802.11과 같은 복수의 RAT를 통하여 통신하게 하는 복수의 송수신기를 포함할 수 있다.
WTRU(702)의 프로세서(718)는 스피커/마이크로폰(724), 키패드(726), 및/또는 디스플레이/터치패드(728)(예를 들면, 액정 디스플레이(LCD) 표시 장치 또는 유기 발광 다이오드(OLED) 표시 장치)에 결합되어 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(718)는 또한 스피커/마이크로폰(724), 키패드(726), 및/또는 디스플레이/터치패드(728)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(718)는 비착탈식 메모리(730) 및/또는 착탈식 메모리(732)와 같은 임의 유형의 적당한 메모리로부터의 정보에 접근하고 상기 적당한 메모리에 데이터를 저장할 수 있다. 비착탈식 메모리(730)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 기억장치를 포함할 수 있다. 착탈식 메모리(732)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 프로세서(718)는 서버 또는 홈 컴퓨터(도시 생략됨)와 같이 WTRU(702)에 물리적으로 위치되어 있지 않은 메모리로부터의 정보에 접근하고 그러한 메모리에 데이터를 저장할 수 있다.
프로세서(718)는 전원(734)으로부터 전력을 수신하고, WTRU(702)의 각종 구성요소에 대하여 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(734)은 WTRU(702)에 전력을 공급하는 임의의 적당한 장치일 수 있다. 예를 들면, 전원(734)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(718)는 WTRU(702)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성된 GPS 칩세트(736)에 또한 결합될 수 있다. GPS 칩세트(736)로부터의 정보에 추가해서 또는 그 대신으로, WTRU(702)는 기지국(예를 들면 기지국(714a, 714b))으로부터 무선 인터페이스(715/716/717)를 통해 위치 정보를 수신하고, 및/또는 2개 이상의 인근 기지국으로부터 신호가 수신되는 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(702)는 실시형태의 일관성을 유지하면서 임의의 적당한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 이해할 것이다.
프로세서(718)는 추가의 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함한 기타 주변 장치(738)에 또한 결합될 수 있다. 예를 들면, 주변 장치(738)는 가속도계, e-콤파스, 위성 송수신기, 디지털 카메라(사진용 또는 영상용), 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 장치, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 7C는 일 실시형태에 따른 RAN(703) 및 코어 네트워크(706)의 계통도이다. 전술한 바와 같이, RAN(703)은 UTRA 무선 기술을 이용하여 무선 인터페이스(715)를 통해 WTRU(702a, 702b, 702c)와 통신할 수 있다. RAN(703)은 코어 네트워크(706)와 또한 통신할 수 있다. 도 7C에 도시된 것처럼, RAN(703)은 노드-B(740a, 740b, 740c)를 포함하고, 노드-B(740a, 740b, 740c)는 무선 인터페이스(715)를 통하여 WTRU(702a, 702b, 702c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 노드-B(740a, 740b, 740c)는 RAN(703) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있다. RAN(703)은 또한 RNC(742a, 742b)를 포함할 수 있다. RAN(703)은 실시형태의 일관성을 유지하면서 임의 수의 노드-B 및 RNC를 포함할 수 있다는 것을 이해할 것이다.
도 7C에 도시된 것처럼, 노드-B(740a, 740b)는 RNC(742a)와 통신할 수 있다. 또한, 노드-B(740c)는 RNC(742b)와 통신할 수 있다. 노드-B(740a, 740b, 740c)는 Iub 인터페이스를 통해 각각의 RNC(742a, 742b)와 통신할 수 있다. RNC(742a, 742b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. 각각의 RNC(742a, 742b)는 이들이 접속된 각각의 노드-B(740a, 740b, 740c)를 제어하도록 구성될 수 있다. 또한 각각의 RNC(742a, 742b)는 외부 루프 전력 제어, 부하 제어, 허가 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수 있다.
도 7C에 도시된 코어 네트워크(706)는 미디어 게이트웨이(MGW)(744), 모바일 스위칭 센터(MSC)(746), 서빙 GPRS 지원 노드(SGSN)(748) 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(750)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(706)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
RAN(703)에 있는 RNC(742a)는 IuCS 인터페이스를 통해 코어 네트워크(706) 내의 MSC(746)에 접속될 수 있다. MSC(746)는 MGW(744)에 접속될 수 있다. MSC(746)와 MGW(744)는 PSTN(708)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공하여 WTRU(702a, 702b, 702c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다.
RAN(703)에 있는 RNC(742a)는 IuPS 인터페이스를 통해 코어 네트워크(706) 내의 SGSN(748)에 또한 접속될 수 있다. SGSN(748)은 GGSN(750)에 접속될 수 있다. SGSN(748)과 GGSN(750)은 인터넷(710)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공하여 WTRU(702a, 702b, 702c)와 IP-인에이블 장치 간의 통신을 가능하게 한다.
전술한 바와 같이, 코어 네트워크(706)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(712)에 또한 접속될 수 있다.
도 7D는 다른 실시형태에 따른 RAN(704) 및 코어 네트워크(707)의 계통도이다. 전술한 바와 같이, RAN(704)은 E-UTRA 무선 기술을 이용하여 무선 인터페이스(716)를 통해 WTRU(702a, 702b, 702c)와 통신할 수 있다. RAN(704)은 코어 네트워크(707)와 또한 통신할 수 있다.
RAN(704)이 e노드-B(760a, 760b, 760c)를 포함하고 있지만, RAN(704)은 실시형태의 일관성을 유지하면서 임의 수의 e노드-B를 포함할 수 있다는 것을 이해할 것이다. e노드-B(760a, 760b, 760c)는 무선 인터페이스(716)를 통하여 WTRU(702a, 702b, 702c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. e노드-B(760a, 760b, 760c)는 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 e노드-B(760a)는 복수의 안테나를 사용하여 WTRU(702a)에게 무선 신호를 송신하고 WTRU(702a)로부터 무선 신호를 수신할 수 있다.
각각의 e노드-B(760a, 760b, 760c)는 특정 셀(도시 생략됨)과 연합될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서 사용자의 스케줄링 등을 취급하도록 구성될 수 있다. 도 7D에 도시된 바와 같이, e노드-B(760a, 760b, 760c)는 X2 인터페이스를 통해 서로 통신할 수 있다.
도 7D에 도시된 코어 네트워크(707)는 이동성 관리 게이트웨이(MME)(762), 서빙 게이트웨이(764) 및 패킷 데이터 네트워크(PDN) 게이트웨이(766)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(707)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MME(762)는 S1 인터페이스를 통해 RAN(704) 내의 각각의 e노드-B(760a, 760b, 760c)에 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들면, MME(762)는 WTRU(702a, 702b, 702c)의 사용자를 인증하고, 베어러를 활성화/비활성화하고, WTRU(702a, 702b, 702c)의 초기 부착 중에 특정의 서빙 게이트웨이를 선택하는 등의 임무를 수행할 수 있다. MME(762)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 다른 RAN(도시 생략됨)과 RAN(704) 간의 전환을 위한 제어 평면 기능(control plane function)을 또한 제공할 수 있다.
서빙 게이트웨이(764)는 RAN(704) 내의 각각의 e노드-B(760a, 760b, 760c)에 S1 인터페이스를 통해 접속될 수 있다. 서빙 게이트웨이(764)는 일반적으로 WTRU(702a, 702b, 702c)로/로부터 사용자 데이터 패킷을 라우트 및 회송할 수 있다. 서빙 게이트웨이(764)는 또한 e노드-B 간의 핸드오버 중에 사용자 평면(user plane)을 앵커링(anchoring)하는 것, 다운링크 데이터가 WTRU(702a, 702b, 702c)에 이용할 수 있을 때 페이징을 트리거하는 것, WTRU(702a, 702b, 702c)의 콘텍스트를 관리 및 저장하는 것 등의 다른 기능을 수행할 수 있다.
서빙 게이트웨이(764)는 PDN 게이트웨이(766)에 또한 접속될 수 있고, PDN 게이트웨이(766)는 WTRU(702a, 702b, 702c)와 IP-인에이블 장치 간의 통신을 돕도록 인터넷(710) 등의 패킷 교환식 네트워크에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공할 수 있다.
코어 네트워크(707)는 다른 네트워크와의 통신을 가능하게 한다. 예를 들면, 코어 네트워크(707)는 WTRU(702a, 702b, 702c)와 전통적인 지상선(land-line) 통신 장치 간의 통신이 가능하도록, PSTN(708) 등의 회선 교환식 네트워크에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공할 수 있다. 예를 들면, 코어 네트워크(707)는 코어 네트워크(707)와 PSTN(708) 간의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그러한 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(707)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(712)에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공할 수 있다.
도 7E는 다른 실시형태에 따른 RAN(705) 및 코어 네트워크(709)의 계통도이다. RAN(705)은 IEEE 802.16 무선 기술을 이용하여 무선 인터페이스(717)를 통해 WTRU(702a, 702b, 702c)와 통신하는 액세스 서비스 네트워크(ASN)일 수 있다. 뒤에서 더 자세히 설명하는 것처럼, WTRU(702a, 702b, 702c)의 다른 기능 엔티티, RAN(705) 및 코어 네트워크(709) 간의 통신 링크는 기준점으로서 정의될 수 있다.
도 7E에 도시된 것처럼, RAN(705)이 기지국(780a, 780b, 780c)과 ASN 게이트웨이(782)를 포함하고 있지만, RAN(705)은 실시형태의 일관성을 유지하면서 임의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것을 이해할 것이다. 기지국(780a, 780b, 780c)은 RAN(705) 내의 특정 셀(도시 생략됨)과 각각 연합될 수 있고, 무선 인터페이스(717)를 통하여 WTRU(702a, 702b, 702c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 기지국(780a, 780b, 780c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 기지국(780a)은 복수의 안테나를 사용하여 WTRU(702a)에게 무선 신호를 송신하고 WTRU(702a)로부터 무선 신호를 수신할 수 있다. 기지국(780a, 780b, 780c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 또한 제공할 수 있다. ASN 게이트웨이(782)는 트래픽 집성점으로서 기능할 수 있고, 페이징, 가입자 프로필의 캐싱, 코어 네트워크(709)로의 라우팅 등의 임무를 수행할 수 있다.
WTRU(702a, 702b, 702c)와 RAN(705) 간의 무선 인터페이스(717)는 IEEE 802.16 명세서를 구현하는 R1 기준점으로서 규정될 수 있다. 또한 각각의 WTRU(702a, 702b, 702c)는 코어 네트워크(709)와 논리 인터페이스(도시 생략됨)를 확립할 수 있다. WTRU(702a, 702b, 702c)와 코어 네트워크(709) 간의 논리 인터페이스는 R2 기준점으로서 규정될 수 있고, 이것은 인증(authentication), 권한부여(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있다.
각각의 기지국(780a, 780b, 780c)들 간의 통신 링크는 WTRU 핸드오버 및 기지국들 간의 데이터 전송을 가능하게 하는 프로토콜을 포함한 R8 기준점으로서 규정될 수 있다. 기지국(780a, 780b, 780c)과 ASN 게이트웨이(782) 간의 통신 링크는 R6 기준점으로서 규정될 수 있다. R6 기준점은 각각의 WTRU(702a, 702b, 702c)와 연합된 이동성 이벤트에 기초하여 이동성 관리를 가능하게 하는 프로토콜을 포함할 수 있다.
도 7E에 도시된 것처럼, RAN(705)은 코어 네트워크(709)에 접속될 수 있다. RAN(705)과 코어 네트워크(709) 간의 통신 링크는 예를 들면 데이터 전송 및 이동성 관리 능력을 가능하게 하는 프로토콜을 포함한 R3 기준점으로서 규정될 수 있다. 코어 네트워크(709)는 모바일 IP 홈 에이전트(MIP-HA)(784), 인증, 권한부여, 계정(AAA) 서버(786), 및 게이트웨이(788)를 포함할 수 있다. 비록 전술한 요소들이 각각 코어 네트워크(709)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MIP-HA(784)는 IP 어드레스 관리의 임무를 가질 수 있고, WTRU(702a, 702b, 702c)가 다른 ASN 및/또는 다른 코어 네트워크들 사이에서 로밍하게 할 수 있다. MIP-HA(784)는 인터넷(710)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공하여 WTRU(702a, 702b, 702c)와 IP-인에이블 장치 간의 통신을 가능하게 한다. AAA 서버(786)는 사용자 인증 및 사용자 서비스 지원의 임무를 가질 수 있다. 게이트웨이(788)는 다른 네트워크들과의 상호연동을 가능하게 한다. 예를 들면, 게이트웨이(788)는 PSTN(708)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공하여 WTRU(702a, 702b, 702c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다. 또한, 게이트웨이(788)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함한 네트워크(712)에 대한 액세스를 WTRU(702a, 702b, 702c)에게 제공할 수 있다.
비록 도 7E에는 도시되지 않았지만, RAN(705)은 다른 ASN에 접속될 수 있고 코어 네트워크(709)는 다른 코어 네트워크에 접속될 수 있다는 것을 이해할 것이다. RAN(705)과 다른 ASN 간의 통신 링크는 R4 기준점으로서 규정될 수 있고, R4 기준점은 RAN(705)과 다른 ASN 사이에서 WTRU(702a, 702b, 702c)의 이동성을 조정하는 프로토콜을 포함할 수 있다. 코어 네트워크(709)와 다른 코어 네트워크 간의 통신 링크는 R5 기준점으로서 규정될 수 있고, R5 기준점은 홈 코어 네트워크와 방문 코어 네트워크 간의 상호연동을 가능하게 하는 프로토콜을 포함할 수 있다.
위에서 설명한 방법들은 컴퓨터 및/또는 프로세서에 의해 실행되는 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 비제한적인 예로는 전자 신호(유선 또는 무선 접속을 통해 전송된 것) 및/또는 컴퓨터 판독가능 기억 매체가 있다. 컴퓨터 판독가능 기억 매체의 비제한적인 예로는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 소자, 비제한적인 예로서 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및/또는 CD-ROM 디스크 및/또는 디지털 다기능 디스크(DVD)와 같은 광학 매체가 있다. 프로세서는 소프트웨어와 연합해서 WTRU, UE, 단말기, 기지국, RNC 및/또는 임의의 호스트 컴퓨터에서 사용되는 라디오 주파수 송수신기를 구현하기 위해 사용될 수 있다.

Claims (26)

  1. 비디오 데이터를 전달(communicating)하기 위한 방법에 있어서,
    향상 층 화상들을 생성하기 위해 비디오 시퀀스에 대한 업샘플링 필터를 선택하는 단계;
    상기 업샘플링 필터의 복수의 계수들 및 상기 업샘플링 필터의 사이즈를 포함하는 업샘플링 필터 정보를 인코딩하는 단계; 및
    상기 인코딩된 업샘플링 필터 정보 및 인코딩된 상기 향상 층 화상들을 출력 비디오 비트스트림으로 전송하는 단계
    를 포함하는,
    비디오 데이터를 전달하기 위한 방법.
  2. 제1항에 있어서,
    상기 업샘플링 필터는 향상 층 비트스트림을 생성하기 위해 상기 비디오 시퀀스의 시퀀스 레벨에서 적용되는 것인,
    비디오 데이터를 전달하기 위한 방법.
  3. 제1항에 있어서,
    복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계를 더 포함하고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계는:
    상기 비디오 시퀀스의 콘텐츠에 대한 지식(knowledge)이 존재하는 지의 여부를 결정하는 단계; 및
    상기 비디오 시퀀스의 콘텐츠에 대한 지식이 존재한다고 결정하면, 상기 비디오 시퀀스의 콘텐츠에 대해 설계된 후보 업샘플링 필터를 선택하는 단계
    에 의해 이루어지는 것인,
    비디오 데이터를 전달하기 위한 방법.
  4. 제1항에 있어서,
    복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계를 더 포함하고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계는:
    상기 비디오 시퀀스에 관련된 카테고리에 대한 지식이 존재하는 지의 여부를 결정하는 단계; 및
    상기 비디오 시퀀스에 관련된 카테고리에 대한 지식이 존재한다고 결정하면, 상기 비디오 시퀀스에 관련된 카테고리에 대해 설계된 후보 업샘플링 필터를 선택하는 단계
    에 의해 이루어지는 것인,
    비디오 데이터를 전달하기 위한 방법.
  5. 제1항에 있어서,
    상기 업샘플링 필터는 상기 비디오 시퀀스의 슬라이스 레벨 또는 화상 레벨에서 적용되는 것인,
    비디오 데이터를 전달하기 위한 방법.
  6. 제5항에 있어서,
    복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계를 더 포함하고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계는:
    상기 복수의 후보 업샘플링 필터들을 이용하여 상기 비디오 시퀀스의 향상 층 화상에 대해 멀티패스 인코딩을 수행하는 단계; 및
    상기 멀티패스 인코딩 동안의 상기 업샘플링 필터의 성능에 기초하여, 상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계
    에 의해 이루어지는 것인,
    비디오 데이터를 전달하기 위한 방법.
  7. 제6항에 있어서,
    상기 업샘플링 필터의 성능은 레이트 왜곡 비용(rate distortion cost)을 이용하여 평가되는 것인,
    비디오 데이터를 전달하기 위한 방법.
  8. 제5항에 있어서,
    복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계를 더 포함하고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 단계는:
    상기 복수의 후보 업샘플링 필터들 중 하나의 후보 업샘플링 필터를 이용하여 상기 비디오 시퀀스의 향상 층 화상을 인코딩하는 단계;
    나머지 후보 업샘플링 필터들과 연관된 블록 왜곡 측정치(block distortion measurement)들을 계산하는 단계; 및
    상기 블록 왜곡 측정치들의 비교에 기초하여 상기 업샘플링 필터를 선택하는 단계
    에 의해 이루어지는 것인,
    비디오 데이터를 전달하기 위한 방법.
  9. 제5항에 있어서,
    상기 업샘플링 필터를 선택하는 단계를 더 포함하고,
    상기 업샘플링 필터를 선택하는 단계는:
    제1 복수의 후보 업샘플링 필터들을 이용하여 상기 비디오 시퀀스의 향상 층 화상에 대해 멀티패스 인코딩을 수행하는 단계;
    기준(criterion)에 따라 상기 제1 복수의 후보 업샘플링 필터들을 평가하는 단계;
    제2 복수의 후보 업샘플링 필터들 중 후보 업샘플링 필터를 이용하여 상기 향상 층 화상에 대해 인코딩 패스를 수행하는 단계;
    블록 왜곡 측정치들을 이용하는 고속 인코더 알고리즘에 기초하여 상기 제2 복수의 후보 업샘플링 필터들을 평가하는 단계; 및
    상기 제1 복수의 후보 업샘플링 필터들 및 상기 제2 복수의 후보 업샘플링 필터들 중에서 상기 업샘플링 필터를 선택하는 단계
    에 의해 이루어지는 것인,
    비디오 데이터를 전달하기 위한 방법.
  10. 제1항에 있어서,
    상기 업샘플링 필터는 상기 비디오 시퀀스의 블록 레벨에서 적용되는 것인,
    비디오 데이터를 전달하기 위한 방법.
  11. 제1항에 있어서,
    이전에 수신된 비디오 시퀀스에 대해, 상기 이전에 수신된 비디오 시퀀스의 최초 입력 향상 층 화상(original enhancement layer input picture)과 재구성된 기본 층 화상을 포함하는 트레이닝 데이터의 세트를 생성하는 단계; 및
    상기 이전에 수신된 비디오 시퀀스의 상기 트레이닝 데이터의 세트를 사용하는 최소 제곱(least squared)법을 이용하여 상기 업샘플링 필터를 트레이닝하는 단계를 더 포함하는,
    비디오 데이터를 전달하기 위한 방법.
  12. 제11항에 있어서,
    상기 이전에 수신된 비디오 시퀀스를 카테고리로 분류하는 단계; 및
    상기 트레이닝된 업샘플링 필터를 상기 카테고리와 연관짓는 단계를 더 포함하는,
    비디오 데이터를 전달하기 위한 방법.
  13. 제1항에 있어서,
    상기 비디오 시퀀스의 기본 층 화상 내의 제1 세트의 픽셀들을 업샘플링하기 위해 제1 업샘플링 필터를 적용하는 단계; 및
    상기 비디오 시퀀스의 기본 층 화상 내의 제2 세트의 픽셀들을 업샘플링하기 위해 제2 업샘플링 필터를 적용하는 단계를 더 포함하고,
    상기 제1 세트의 픽셀들과 상기 제2 세트의 픽셀들은 상기 기본 층 화상 내의 상이한 픽셀들을 나타내는 것인,
    비디오 데이터를 전달하기 위한 방법.
  14. 동작들을 수행하도록 구성되는 프로세서를 포함하는 컴퓨팅 시스템에 있어서,
    상기 동작들은,
    향상 층 화상들을 생성하기 위해 비디오 시퀀스에 대한 업샘플링 필터를 선택하는 동작;
    상기 업샘플링 필터의 복수의 계수들 및 상기 업샘플링 필터의 사이즈를 포함하는 업샘플링 필터 정보를 인코딩하는 동작; 및
    상기 인코딩된 업샘플링 필터 정보 및 인코딩된 상기 향상 층 화상들을 출력 비디오 비트스트림으로 전송하는 동작
    을 포함하는 것인,
    컴퓨팅 시스템.
  15. 제14항에 있어서,
    상기 업샘플링 필터는 향상 층 비트스트림을 생성하기 위해 상기 비디오 시퀀스의 시퀀스 레벨에서 적용되는 것인,
    컴퓨팅 시스템.
  16. 제14항에 있어서,
    상기 프로세서는 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작을 더 포함하는 동작들을 수행하도록 구성되고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작은:
    상기 비디오 시퀀스의 콘텐츠에 대한 지식이 존재하는 지의 여부를 결정하는 동작; 및
    상기 비디오 시퀀스의 콘텐츠에 대한 지식이 존재한다고 결정하면, 상기 비디오 시퀀스의 콘텐츠에 대해 설계된 후보 업샘플링 필터를 선택하는 동작
    에 의해 이루어지는 것인,
    컴퓨팅 시스템.
  17. 제14항에 있어서,
    상기 프로세서는 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작을 더 포함하는 동작들을 수행하도록 구성되고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작은:
    상기 비디오 시퀀스에 관련된 카테고리에 대한 지식이 존재하는 지의 여부를 결정하는 동작; 및
    상기 비디오 시퀀스에 관련된 카테고리에 대한 지식이 존재한다고 결정하면, 상기 비디오 시퀀스에 관련된 카테고리에 대해 설계된 후보 업샘플링 필터를 선택하는 동작
    에 의해 이루어지는 것인,
    컴퓨팅 시스템.
  18. 제14항에 있어서,
    상기 업샘플링 필터는 상기 비디오 시퀀스의 슬라이스 레벨 또는 화상 레벨에서 적용되는 것인,
    컴퓨팅 시스템.
  19. 제18항에 있어서,
    상기 프로세서는 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작을 더 포함하는 동작들을 수행하도록 구성되고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작은:
    상기 복수의 후보 업샘플링 필터들을 이용하여 상기 비디오 시퀀스의 향상 층 화상에 대해 멀티패스 인코딩을 수행하는 동작; 및
    상기 멀티패스 인코딩 동안의 상기 업샘플링 필터의 성능에 기초하여, 상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작
    에 의해 이루어지는 것인,
    컴퓨팅 시스템.
  20. 제19항에 있어서,
    상기 업샘플링 필터의 성능은 레이트 왜곡 비용을 이용하여 평가되는 것인,
    컴퓨팅 시스템.
  21. 제18항에 있어서,
    상기 프로세서는 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작을 더 포함하는 동작들을 수행하도록 구성되고,
    상기 복수의 후보 업샘플링 필터들로부터 상기 업샘플링 필터를 선택하는 동작은:
    상기 복수의 후보 업샘플링 필터들 중 하나의 후보 업샘플링 필터를 이용하여 상기 비디오 시퀀스의 향상 층 화상을 인코딩하는 동작;
    나머지 후보 업샘플링 필터들과 연관된 블록 왜곡 측정치들을 계산하는 동작; 및
    상기 블록 왜곡 측정치들의 비교에 기초하여 상기 업샘플링 필터를 선택하는 동작
    에 의해 이루어지는 것인,
    컴퓨팅 시스템.
  22. 제18항에 있어서,
    상기 프로세서는 상기 업샘플링 필터를 선택하는 동작을 더 포함하는 동작들을 수행하도록 구성되고,
    상기 업샘플링 필터를 선택하는 동작은:
    제1 복수의 후보 업샘플링 필터들을 이용하여 상기 비디오 시퀀스의 향상 층 화상에 대해 멀티패스 인코딩을 수행하는 동작;
    기준에 따라 상기 제1 복수의 후보 업샘플링 필터들을 평가하는 동작;
    제2 복수의 후보 업샘플링 필터들 중 후보 업샘플링 필터를 이용하여 상기 향상 층 화상에 대해 인코딩 패스를 수행하는 동작;
    블록 왜곡 측정치들을 이용하는 고속 인코더 알고리즘에 기초하여 상기 제2 복수의 후보 업샘플링 필터들을 평가하는 동작; 및
    상기 제1 복수의 후보 업샘플링 필터들 및 상기 제2 복수의 후보 업샘플링 필터들 중에서 상기 업샘플링 필터를 선택하는 동작
    에 의해 이루어지는 것인,
    컴퓨팅 시스템.
  23. 제14항에 있어서,
    상기 업샘플링 필터는 상기 비디오 시퀀스의 블록 레벨에서 적용되는 것인,
    컴퓨팅 시스템.
  24. 제14항에 있어서,
    상기 프로세서는,
    이전에 수신된 비디오 시퀀스에 대해, 상기 이전에 수신된 비디오 시퀀스의 최초 입력 향상 층 화상과 재구성된 기본 층 화상을 포함하는 트레이닝 데이터의 세트를 생성하는 동작; 및
    상기 이전에 수신된 비디오 시퀀스의 상기 트레이닝 데이터의 세트를 사용하는 최소 제곱법을 이용하여 상기 업샘플링 필터를 트레이닝하는 동작
    을 더 포함하는 동작들을 수행하도록 구성되는 것인,
    컴퓨팅 시스템.
  25. 제24항에 있어서,
    상기 프로세서는,
    이전에 수신된 비디오 시퀀스를 카테고리로 분류하는 동작; 및
    상기 트레이닝된 업샘플링 필터를 상기 카테고리와 연관짓는 동작
    을 더 포함하는 동작들을 수행하도록 구성되는 것인,
    컴퓨팅 시스템.
  26. 제14항에 있어서,
    상기 프로세서는,
    상기 비디오 시퀀스의 기본 층 화상 내의 제1 세트의 픽셀들을 업샘플링하기 위해 제1 업샘플링 필터를 적용하는 동작; 및
    상기 비디오 시퀀스의 기본 층 화상 내의 제2 세트의 픽셀들을 업샘플링하기 위해 제2 업샘플링 필터를 적용하는 동작
    을 더 포함하는 동작들을 수행하도록 구성되고,
    상기 제1 세트의 픽셀들과 상기 제2 세트의 픽셀들은 상기 기본 층 화상 내의 상이한 픽셀들을 나타내는 것인,
    컴퓨팅 시스템.
KR1020177023242A 2012-09-28 2013-09-27 다층 비디오 코딩을 위한 적응적 업샘플링 Active KR102008078B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261706941P 2012-09-28 2012-09-28
US61/706,941 2012-09-28
US201361750883P 2013-01-10 2013-01-10
US61/750,883 2013-01-10
PCT/US2013/062149 WO2014052740A1 (en) 2012-09-28 2013-09-27 Adaptive upsampling for multi-layer video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157010682A Division KR101774675B1 (ko) 2012-09-28 2013-09-27 다층 비디오 코딩을 위한 적응적 업샘플링

Publications (2)

Publication Number Publication Date
KR20170100045A true KR20170100045A (ko) 2017-09-01
KR102008078B1 KR102008078B1 (ko) 2019-08-06

Family

ID=49305224

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177023242A Active KR102008078B1 (ko) 2012-09-28 2013-09-27 다층 비디오 코딩을 위한 적응적 업샘플링
KR1020157010682A Active KR101774675B1 (ko) 2012-09-28 2013-09-27 다층 비디오 코딩을 위한 적응적 업샘플링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157010682A Active KR101774675B1 (ko) 2012-09-28 2013-09-27 다층 비디오 코딩을 위한 적응적 업샘플링

Country Status (7)

Country Link
US (1) US10218971B2 (ko)
EP (1) EP2901683A1 (ko)
JP (2) JP6141988B2 (ko)
KR (2) KR102008078B1 (ko)
CN (2) CN109982081B (ko)
TW (1) TW201436531A (ko)
WO (1) WO2014052740A1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080698A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020080827A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
WO2020080765A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US20200126185A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2020080665A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR20200044666A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 데이터 스트리밍 방법 및 장치
US10817987B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10819992B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US10825204B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
CN112740687A (zh) * 2018-10-19 2021-04-30 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的设备和方法
US11182876B2 (en) 2020-02-24 2021-11-23 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image by using pre-processing
US11405637B2 (en) 2019-10-29 2022-08-02 Samsung Electronics Co., Ltd. Image encoding method and apparatus and image decoding method and apparatus
US11720998B2 (en) 2019-11-08 2023-08-08 Samsung Electronics Co., Ltd. Artificial intelligence (AI) encoding apparatus and operating method thereof and AI decoding apparatus and operating method thereof

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
US20160044340A1 (en) * 2014-08-07 2016-02-11 PathPartner Technology Consulting Pvt. Ltd. Method and System for Real-Time Video Encoding Using Pre-Analysis Based Preliminary Mode Decision
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
GB2539846B (en) 2015-02-19 2017-11-01 Magic Pony Tech Ltd Online training of hierarchical algorithms
US10349064B2 (en) * 2015-03-10 2019-07-09 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
FR3042936A1 (fr) * 2015-10-23 2017-04-28 Sagemcom Broadband Sas Procede de codage et procede de decodage d'au moins une image
EP3298579B1 (en) 2016-04-12 2021-07-21 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
GB2553556B (en) 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10572342B2 (en) * 2016-10-24 2020-02-25 SK Hynix Inc. Memory system with LDPC decoder and operating method thereof
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
AU2018221580B2 (en) 2017-03-15 2019-04-11 Novelis Inc. Corrugated heat protection tube and methods of making the same
CN110337813B (zh) 2017-07-06 2023-04-18 三星电子株式会社 用于对图像进行编码/解码的方法及其装置
WO2019009447A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US11432010B2 (en) 2017-12-19 2022-08-30 Vid Scale, Inc. Face discontinuity filtering for 360-degree video coding
US10740394B2 (en) * 2018-01-18 2020-08-11 Oath Inc. Machine-in-the-loop, image-to-video computer vision bootstrapping
JP7336427B2 (ja) * 2018-12-28 2023-08-31 株式会社ドワンゴ 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置
CN113597764B (zh) * 2019-03-11 2022-11-01 阿里巴巴集团控股有限公司 视频解码方法、系统和存储介质
KR20210145754A (ko) 2019-04-12 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 산출
CN113748676B (zh) 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
CN113728647B (zh) 2019-05-01 2023-09-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
CN111953995A (zh) 2019-05-17 2020-11-17 华为技术有限公司 一种帧间预测的方法和装置
SG11202112517QA (en) 2019-05-22 2021-12-30 Beijing Bytedance Network Technology Co Ltd Matrix-based intra prediction using upsampling
CN114051735B (zh) 2019-05-31 2024-07-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
EP3997879A4 (en) 2019-07-09 2023-03-22 Alibaba Group Holding Limited RESOLUTION-ADAPTIVE VIDEO CODING
KR102287947B1 (ko) 2019-10-28 2021-08-09 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR20260003392A (ko) 2019-10-28 2026-01-06 두인 비전 컴퍼니 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
US12231632B2 (en) * 2020-08-07 2025-02-18 Tencent America LLC Methods of parameter set selection in cloud gaming system
CN116648906A (zh) * 2020-12-24 2023-08-25 华为技术有限公司 通过指示特征图数据进行编码
US12375651B2 (en) * 2021-08-02 2025-07-29 Tencent America LLC Adaptive up-sampling filter for luma and chroma with reference picture resampling (RPR)
US11889200B2 (en) * 2021-12-07 2024-01-30 Thales Defense & Security, Inc. Methods and systems for generating a high-rate video for a camera in motion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
WO2007020230A2 (fr) * 2005-08-12 2007-02-22 Thomson Licensing Procede de codage et de decodage d'images video avec echelonnabilite spatiale

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379501B2 (en) * 2002-01-14 2008-05-27 Nokia Corporation Differential coding of interpolation filters
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
EP1829380A1 (en) 2004-12-13 2007-09-05 Koninklijke Philips Electronics N.V. Scalable picture encoding
JP4295236B2 (ja) 2005-03-29 2009-07-15 日本電信電話株式会社 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US7205914B1 (en) * 2005-10-28 2007-04-17 Motorola, Inc. System and method for efficient upsampled signal processing
CN101502118A (zh) * 2006-01-10 2009-08-05 诺基亚公司 用于可伸缩视频编码的转换滤波器上采样机制
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
WO2010123909A1 (en) 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
JP5044057B2 (ja) * 2009-04-20 2012-10-10 ドルビー ラボラトリーズ ライセンシング コーポレイション フィルタを選択する方法及び装置
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
FR2965444B1 (fr) * 2010-09-24 2012-10-05 St Microelectronics Grenoble 2 Transmission de video 3d sur une infrastructure de transport historique
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9014263B2 (en) * 2011-12-17 2015-04-21 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
US9973779B2 (en) * 2012-03-12 2018-05-15 Dolby Laboratories Licensing Corporation 3D visual dynamic range coding
US9660913B2 (en) * 2014-03-14 2017-05-23 Network Critical Solutions Limited Network packet broker
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
WO2007020230A2 (fr) * 2005-08-12 2007-02-22 Thomson Licensing Procede de codage et de decodage d'images video avec echelonnabilite spatiale

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10950009B2 (en) 2018-10-19 2021-03-16 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
US10825204B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2020080765A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US20200126185A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2020080665A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR20200044666A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 데이터 스트리밍 방법 및 장치
US10817987B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10817986B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10819992B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US10817989B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10817985B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10817988B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10819993B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US10825139B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10937197B2 (en) 2018-10-19 2021-03-02 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825206B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825203B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825205B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080827A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
US10832447B2 (en) 2018-10-19 2020-11-10 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
US20210358083A1 (en) 2018-10-19 2021-11-18 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
CN112740687A (zh) * 2018-10-19 2021-04-30 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的设备和方法
US11170534B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US11170472B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11170473B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
WO2020080698A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
US11748847B2 (en) 2018-10-19 2023-09-05 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11190782B2 (en) 2018-10-19 2021-11-30 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US11200702B2 (en) 2018-10-19 2021-12-14 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
US11288770B2 (en) 2018-10-19 2022-03-29 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
US11647210B2 (en) 2018-10-19 2023-05-09 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US11663747B2 (en) 2018-10-19 2023-05-30 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US11688038B2 (en) 2018-10-19 2023-06-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11405637B2 (en) 2019-10-29 2022-08-02 Samsung Electronics Co., Ltd. Image encoding method and apparatus and image decoding method and apparatus
US12132931B2 (en) 2019-10-29 2024-10-29 Samsung Electronics Co., Ltd. Image encoding method and apparatus and image decoding method and apparatus using deep neural networks
US11720998B2 (en) 2019-11-08 2023-08-08 Samsung Electronics Co., Ltd. Artificial intelligence (AI) encoding apparatus and operating method thereof and AI decoding apparatus and operating method thereof
US11182876B2 (en) 2020-02-24 2021-11-23 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image by using pre-processing
US12400292B2 (en) 2020-02-24 2025-08-26 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image by using pre-processing

Also Published As

Publication number Publication date
US20150256828A1 (en) 2015-09-10
JP6141988B2 (ja) 2017-06-07
CN109982081B (zh) 2022-03-11
CN109982081A (zh) 2019-07-05
WO2014052740A1 (en) 2014-04-03
JP6954763B2 (ja) 2021-10-27
KR102008078B1 (ko) 2019-08-06
TW201436531A (zh) 2014-09-16
JP2017153145A (ja) 2017-08-31
KR101774675B1 (ko) 2017-09-04
EP2901683A1 (en) 2015-08-05
US10218971B2 (en) 2019-02-26
JP2015534781A (ja) 2015-12-03
CN104685877B (zh) 2019-03-29
KR20150060906A (ko) 2015-06-03
CN104685877A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
KR101774675B1 (ko) 다층 비디오 코딩을 위한 적응적 업샘플링
US11405621B2 (en) Sampling grid information for spatial layers in multi-layer video coding
JP6671321B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
US10321130B2 (en) Enhanced deblocking filters for video coding
CN105765979B (zh) 用于可缩放视频编码的层间预测
US20140010291A1 (en) Layer Dependency and Priority Signaling Design for Scalable Video Coding
US10616597B2 (en) Reference picture set mapping for standard scalable video coding
WO2014052602A1 (en) Method and apparatus of edge guided processing for video coding

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20220720

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 7