KR20170096986A - 영상 부호화 및 복호화 장치 및 그 방법 - Google Patents

영상 부호화 및 복호화 장치 및 그 방법 Download PDF

Info

Publication number
KR20170096986A
KR20170096986A KR1020170103157A KR20170103157A KR20170096986A KR 20170096986 A KR20170096986 A KR 20170096986A KR 1020170103157 A KR1020170103157 A KR 1020170103157A KR 20170103157 A KR20170103157 A KR 20170103157A KR 20170096986 A KR20170096986 A KR 20170096986A
Authority
KR
South Korea
Prior art keywords
signal
prediction
filter
filtering
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020170103157A
Other languages
English (en)
Other versions
KR101863082B1 (ko
Inventor
임성창
이하현
정세윤
김휘용
조숙희
김종호
이진호
최진수
김진웅
안치득
심동규
오승준
박광훈
박시내
전찬웅
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20170096986A publication Critical patent/KR20170096986A/ko
Application granted granted Critical
Publication of KR101863082B1 publication Critical patent/KR101863082B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

생략 부호화를 이용하여 영상 신호를 부호화 및 복호화하는 장치 및 방법이 제공된다. 생략 부호화를 이용한 영상 부호화 방법은 화면 내 예측을 수행함에 있어서, 부호화 대상 영상 내에서 부호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행하고, 상기 필터링된 복원 신호를 이용하여 상기 부호화 대상 신호의 예측 신호를 생성하며, 상기 생성된 예측 신호를 상기 부호화 대상 신호의 복원 신호로 설정하고, 상기 부호화 대상 신호와 상기 예측 신호의 차분에 기초하여 생성될 수 있는 잔여 신호를 부호화하지 않음으로써 상기 부호화 대상 신호를 생략 부호화한다.

Description

영상 부호화 및 복호화 장치 및 그 방법{APPARATUS AND METHOD FOR IMAGE CODING AND DECODING}
본 발명은 영상 신호의 부호화에 관한 것으로서, 더욱 상세하게는 생략 부호화를 이용하여 영상 신호를 부호화 및 복호화 하는 방법 및 그 장치에 관한 것이다.
정지 영상 또는 동영상을 효율적으로 저장 매체에 기록하거나 전송하기 위해서는 영상 신호를 부호화할 필요가 있다. 부호화 시의 효율을 향상시키기 위하여 여러 가지 방법이 제안되고 있는데, 대표적인 것으로 시간적 예측(temporal prediction)을 이용하는 방법과 공간적 예측(spatial prediction)을 이용하는 방법이 있다.
시간적 예측은 현재 프레임에 시간상 인접하는 다른 프레임으로부터 현재 프레임의 대상 블록(object block)에 대하여 잔차 계수(residual coefficients)가 가장 작은 예측 블록(predictive block)을 검출하는 것으로서, 화면 간 예측(inter prediction)이라고도 한다.
공간적 예측은 하나의 프레임 내에서 대상 블록에 인접한 참조 블록(reference block)의 재구성 화소값을 이용하여 대상 블록의 예측 화소값을 구하는 것으로서, 화면 내 예측(intra prediction)이라고도 한다.
종래의 화면 내 예측 수행과정에서 사용되는 공간적으로 인접한 복원된 신호에는 디블록킹 필터링(Deblocking Filtering)을 적용할 수 없어서 블록킹 현상(Blocking Artifact)이 발생한다. 또한, 상기 인접한 복원된 신호는 정수 화소(Integer Pel) 단위의 화소들만 이용하였다. 또한, 종래의 화면 내 예측 수행 과정은 부호화의 대상 신호와 인접한 복원된 신호만을 이용하여 수행함으로써 공간적으로 제한된 화면 내 예측을 수행하였다.
본 발명은 영상 신호 부호화 과정에서 복원 신호를 이용하여 부호화 대상 신호와 유사하게 예측 신호를 생성하고, 원 영상 신호와 상기 예측 신호와의 차분으로 생성될 수 있는 잔여 신호를 부호화의 대상에서 생략함으로써 부호화 및 복호화의 성능을 높이는 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 방법을 제공한다.
또한, 본 발명은 화면 내 부호화 과정에서 생략 부호화를 이용함으로써 영상 신호 부호화 및 복호화의 성능을 높이는 영상 부호화 및 복호화 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 방법은 화면 내 예측을 수행함에 있어서, 부호화 대상 영상 내에서 부호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행하는 단계, 상기 필터링된 복원 신호를 이용하여 상기 부호화 대상 신호의 예측 신호를 생성하는 단계, 상기 생성된 예측 신호를 상기 부호화 대상 신호의 복원 신호로 설정하고, 상기 부호화 대상 신호와 상기 예측 신호의 차분에 기초하여 생성될 수 있는 잔여 신호를 부호화하지 않음으로써 상기 부호화 대상 신호를 생략 부호화하는 단계를 포함한다.
상기 필터링을 수행하는 단계는 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나를 이용하여 필터링을 수행할 수 있다.
상기 필터링을 수행하는 단계는 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나 이상을 단계적으로 수행할 수 있다.
상기 필터링을 수행하는 단계는 화면 내 예측을 수행함에 있어서, 상기 부호화 대상 영상의 참조 영상이 전부 복원된 후, 상기 복원된 참조 영상에 필터링을 수행할 수 있다.
상기 필터링을 수행하는 단계는 화면 내 예측을 수행함에 있어서, 상기 부호화 대상 영상의 참조 영상이 일부 복원된 후, 상기 복원된 참조 영상에 필터링을 수행할 수 있다.
상기 예측 신호를 생성하는 단계는 상기 부호화 대상 신호에 인접한 복원된 화소들에 기초한 방향별 외삽입법(extrapolation)을 수행하여 예측 신호를 생성할 수 있다.
상기 예측 신호를 생성하는 단계는 상기 부호화 대상 신호에 인접한 복원된 화소들 및 상기 필터링 된 복원 신호 사이의 템플릿 정합(Template Matching)을 수행하여 예측 신호를 생성할 수 있다.
상기 예측 신호를 생성하는 단계는 상기 부호화 대상 신호 및 상기 필터링 된 복원 신호 사이의 디스플레이스드 화면 내 예측(Displaced Intra Prediction)을 수행하여 예측 신호를 생성할 수 있다.
상기 예측 신호를 생성하는 단계는 향상 계층(enhancement layer) 내의 상기 부호화 대상 신호와 상기 부호화 대상 신호의 위치에 공간적으로 대응되는 기본 계층(base layer) 내의 상기 필터링된 복원 신호를 이용하여, 계층 간 화면 내 예측을 수행하여 예측 신호를 생성할 수 있다.
상기 예측 신호를 생성하는 단계는 향상 시점(enhancement view) 내의 상기 부호화 대상 신호와 상기 부호화 대상 신호의 위치에 공간적으로 대응되는 기본 시점(base view) 내의 상기 필터링된 복원 신호를 이용하여, 시점 간 화면 내 예측을 수행하여 예측 신호를 생성할 수 있다.
또한, 본 발명의 다른 실시예에 따른 생략 부호화를 이용한 영상 부호화 방법은 상기 잔여 신호의 부호화 없이, 상기 부호화 대상 신호를 생략 부호화 함을 나타내는 지시자를 복호화기에 전달하는 단계를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치는 화면 내 예측을 수행함에 있어서, 부호화 대상 영상 내에서 부호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행하는 필터링부, 상기 필터링된 복원 신호를 이용하여 상기 부호화 대상 신호의 예측 신호를 생성하는 예측신호 생성부, 상기 생성된 예측 신호를 상기 부호화 대상 신호의 복원 신호로 설정하고, 상기 부호화 대상 신호와 상기 예측 신호의 차분에 기초하여 생성될 수 있는 잔여 신호를 부호화하지 않음으로써 상기 부호화 대상 신호를 생략 부호화하는 생략 부호화부, 상기 잔여 신호의 부호화 없이, 상기 부호화 대상 신호를 생략 부호화하였음을 나타내는 지시자를 포함한다.
또한, 본 발명의 실시예에 따른 생략 부호화를 이용한 영상 복호화 방법은 화면 내 예측을 수행함에 있어서, 복호화 대상 영상 내의 복호화 대상 신호에 포함된 생략 부호화에 대한 지시자에 기초하여, 상기 복호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행하는 단계, 상기 필터링된 복원 신호를 이용하여 상기 복호화 대상 신호의 예측 신호를 생성하는 단계, 상기 생성된 예측 신호를 상기 복호화 대상 신호의 복원 신호로 설정하고, 잔여 신호를 복호화하지 않음으로써 상기 복호화 대상 신호를 복호화하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 생략 부호화를 이용한 영상 복호화 장치는 화면 내 예측을 수행함에 있어서, 생략 부호화기로부터 전달받은 복호화 대상 영상 내의 복호화 대상 신호에 포함된 생략 부호화에 대한 지시자, 상기 지시자에 기초하여, 상기 복호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행하는 필터링부, 상기 필터링된 복원 신호 및 상기 지시자에 기초하여, 상기 복호화 대상 신호의 예측 신호를 생성하는 예측신호 생성부, 잔여 신호를 복호화하지 않음으로써 상기 복호화 대상 신호를 복호화하는 복호화부를 포함한다.
본 발명은 영상 신호 부호화 과정에서 복원 신호를 이용하여 부호화 대상 신호와 유사하게 예측 신호를 생성하고, 원 영상 신호와 상기 예측 신호와의 차분으로 생성될 수 있는 잔여 신호를 부호화의 대상에서 생략함으로써 부호화 및 복호화의 성능을 높이는 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 복원된 부호화 대상 영상 또는 이전에 복원된 영상에 대하여 다양한 필터링을 수행함으로써 영상 잡음, 블록킹 현상, 양자화 에러 및 앨리어싱(Aliasing) 등을 제거할 수 있다.
또한, 본 발명은 다양한 방식으로 필터링 된 복원신호를 이용하여 예측 신호를 부호화 대상 신호와 유사하게 생성할 수 있다.
또한, 본 발명은 원 영상 신호와 예측 신호의 차분을 통해 생성될 수 있는 잔여 신호의 부호화 과정을 생략함으로써 영상 부호화의 성능을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 과정의 일 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 복호화 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 방법의 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치는 필터링부(110), 예측신호 생성부(120), 생략 부호화부(130) 및 지시자(140)를 포함한다.
필터링부(110)는 화면 내 예측을 수행함에 있어서, 부호화 대상 영상 내에서 부호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행한다. 부호화 대상 영상이란 원 영상에서 부호화하고자 하는 부분을 의미한다. 부호화 대상 영상은 원 영상 전체일 수도 있고, 원 영상의 일부일 수도 있다. 부호화 대상 영상은 부호화 대상 신호를 포함할 수 있다. 부호화 대상 신호는 부호화 대상 영상을 화소, 블록, 유닛(unit), 픽쳐 및 프레임 단위로 구분한 신호일 수 있다. 즉, 부호화 대상 신호는 부호화 대상 화소, 부호화 대상 블록, 부호화 대상 유닛, 부호화 대상 픽쳐 및 부호화 대상 프레임을 포함하는 개념이다. 부호화 대상 영상은 부호화 대상 신호보다 먼저 복원된 복원 신호를 포함할 수 있다. 복원 신호는 부호화 대상 영상에 포함된 복수의 신호들 중 부호화가 완료된 이후에 복원된 신호를 포함할 수 있다.
필터링부(110)는 부호화 대상 신호보다 먼저 복원된 복원 신호에 저역 통과 필터링(low pass filter)을 수행하여, 복원 신호에 존재하는 잡음을 감소시킬 수 있다. 이때, 저역 통과 필터에 사용되는 필터 계수는 부호화되어 복호화기에 전송될 수 있다.
예를 들어, 화면 내 예측시 사용하는 주변의 복원된 참조 샘플에 대하여 저역 통과 필터링을 수행할 수 있다. 이때, 필터 적용 회수는 1회, 2회, Nf회 등으로 수행할 수 있다. 이때, Nf는 임의의 양의 정수를 의미한다.
또한, 상기 필터링 수행 여부는 부호화 파라미터에 따라 달리 할 수 있다. 즉, 부호화 대상 신호의 블록 크기, 화면 내 예측 모드, 주변 블록의 잔여 신호 존재 여부, CIP(Constrained Intra Prediction)이 사용되었지 여부, 주변 블록들의 화면 내 예측 방향 유사도 중 적어도 하나 이상의 판별에 따라서 필터 적용 여부를 결정할 수 있다.
추가적으로, 상기에서 필터를 적용하기로 결정한 경우 필터의 입력 샘플 수를 나타내는 탭 크기(tap size), 저역 통과 필터의 계수(coefficient), 필터 강도 등을 다르게 할 수 있다. 이때, 탭 크기는 2-tap, 3-tap, Nt-tap 중의 하나 이상의 필터 tap을 이용하여 필터링을 수행할 수 있다. 이때, Nt는 임의의 양의 정수를 의미한다.
또한, 필터링부(110)는 복원 신호에 디블록킹 필터링(deblocking filtering)을 수행하여, 복원 신호에 존재하는 블록킹 현상을 감소시킬 수 있다. 블록킹 현상은 영상 부호화 과정에서 수행되는 양자화의 에러로 인해 발생된다.
예를 들어, 디블록킹 필터링은 하기와 같이 수행될 수 있다.
첫째, 필터링을 수행할 대상 경계를 판별할 수 있다. 기본적으로 영상 부호화 및 복호화 과정에서 사용되는 영상이 분할된 부호화 및 복호화 단위가 필터링을 수행할 대상 경계로 판단될 수 있다.
이때, 부호화 유닛(coding unit)의 경계, 예측 유닛(prediction unit)의 경계, 변환 유닛(transform unit)의 경계 중 어느 하나의 경계가 필터링을 수행할 대상 경계가 될 수 있다. 필터링 경계 판별은 부호화 유닛 단위, LCU(largest coding unit) 단위, 슬라이스(slice) 단위, 픽쳐(picture) 단위로 수행될 수 있다.
둘째, 필터링 대상 경계의 필터 강도와 경계 주변 화소값을 이용한 계산식의 결과값 중 하나 이상을 이용하여 필터링 수행 여부를 결정할 수 있다.
예를 들어, 필터 강도는 경계 주변에 존재하는 복원된 샘플에 대해 필터링을 수행할 때, 저역 통과 필터(low pass filter)의 입력 샘플 수를 나타내는 탭 크기(tap size), 저역 통과 필터의 계수(coefficient) 등을 나타낼 수 있다. 이때, 필터 강도를 결정하기 위하여 부호화 파라미터가 사용될 수 있다. 예를 들어, 화면 내 예측 모드, 화면 간 예측 모드, 움직임 벡터, 참조 영상 색인, 부호화 블록 플래그 중 하나 이상을 사용할 수 있다. 예를 들어, 경계 주변 화소값을 이용한 계산식의 결과값은 필터링 대상 경계가 변환(transform) 및 양자화(quantization)로 인한 블록킹 현상(blocking artifact)인지 영상 내에 존재하는 실제 에지(edge)인지를 판별하는 계산식의 결과값일 수 있다.
셋째, 상기 결정된 필터링 대상 경계 및 필터 수행 여부의 정보를 이용하여 필터링 대상 경계에 대한 필터링을 수행한다. 이때, 필터링은 경계 주변의 화소값의 변화량 등에 따라 경계가 인간의 눈에 잘 보이지 않게 경계 주변의 화소값을 부드럽게 하기 위해 저역 통과 필터, 원영상과 왜곡을 최소화하기 위한 Wiener 필터 등이 사용될 수 있다. 또한, 필터링 대상 경계에 따라 1차원 필터 혹은 2차원 이상의 다차원 필터가 사용될 수 있다.
예를 들어, 2차원 이상의 다차원 필터는 사각형, 원형, 직사각형 등의 필터의 모양(shape), 수평 대칭, 수직 대칭, 대각선 대칭 등의 필터 계수의 구조(structure)를 가질 수 있다.
또한, 상기 필터링 수행 여부 결정 수단에서 결정한 필터 강도 등에 따라 상기 나열한 다양한 필터가 필터링 수행 수단에서 사용될 수 있다. 예를 들어, 화면 내 예측, 화면 간 예측, 변환/역변환, 영자화/역양자화, 엔트로피 부호화/엔트로피 복호화를 포함하는 부호화 및 복호화 과정이 슬라이스(slice) 단위 혹은 LCU(largest coding unit) 단위 혹은 CU(coding unit) 단위로 수행될 때, 슬라이스 단위 혹은 LCU 단위 혹은 CU 단위로 디블록킹 필터링을 수행할 수 있다. 부호화 및 복호화 대상 LCU와 공간적으로 인접한 LCU에서 디블록킹 필터링을 포함한 상기 일련의 부호화 및 복호화 과정이 수행되었다면, 부호화 및 복호화 대상 LCU의 화면 내 예측 시 디블록킹 필터링이 수행된 LCU 내의 복원된 샘플을 이용할 수 있다. 즉, 디블록킹 필터링이 수행된 LCU 내의 복원된 샘플을 하기 예측 신호 생성부(120)에서 이용할 수 있다.
또한, 필터링부(110)는 복원 신호에 대해 Wiener 필터에 기반한 적응적 루프 필터링(Adaptive Loop Filtering)을 수행함으로써, 복원 신호에 존재하는 양자화 에러를 감소시킬 수 있다. 이때, 적응적 루프 필터에 사용되는 필터 계수는 부호화되어 복호화기에 전송될 수 있다.
예를 들어, 적응적 루프 필터링은 하기와 같이 수행될 수 있다.
상기 복호화기로 전송된 적응적 루프 필터 계수를 디블록킹 필터링이 적용된 복원 샘플에 샘플 단위 혹은 N x M (N과 M은 임의의 양의 정수) 블록 단위로 필터링을 수행할 수 있다. 이때, 적응적 루프 필터링이 적용되는 샘플과 블록은 적응적 루프 필터링의 수행 여부를 나타내는 필터 맵(filter map)을 이용해서 결정될 수 있다. 부호화기에서 필터 맵을 필터 계수와 함께 비트스트림에 포함하여 복호화기로 전송할 수 있다. 또한, 상기 필터는 적응적 루프 필터가 적용되는 샘플 및 블록에 따라 달라질 수 있으며, 다양한 필터 탭 크기(tap size)와 필터 모양(filter shape)이 사용될 수 있다. 적응적 루프 필터링이 샘플과 블록에 적용될 경우, 어떤 필터를 사용할지는 디블록킹 필터링이 적용된 복원 샘플들을 이용한 계산식에 의해 결정될 수 있다.
예를 들어, 화면 내 예측, 화면 간 예측, 변환/역변환, 영자화/역양자화, 엔트로피 부호화/엔트로피 복호화, 디블록킹 필터링을 포함하는 부호화 및 복호화 과정이 슬라이스(slice) 단위 혹은 LCU(largest coding unit) 단위 혹은 CU(coding unit) 단위로 수행될 때, 슬라이스 단위 혹은 LCU 단위 혹은 CU 단위로 적응적 루프 필터링을 수행할 수 있다. 이때, 부호화 및 복호화 대상 LCU와 공간적으로 인접한 LCU에서 적응적 루프 필터링을 포함한 상기 일련의 부호화 및 복호화 과정이 수행되었다면, 부호화 및 복호화 대상 LCU의 화면 내 예측 시 적응적 루프 필터링이 수행된 LCU 내의 복원된 샘플을 이용할 수 있다. 즉, 적응적 루프 필터링이 수행된 LCU 내의 복원된 샘플을 하기 예측신호 생성부(120)에서 이용할 수 있다.또한, 필터링부(110)는 복원 신호에 보간(interpolation) 필터링을 수행하여, 복원 신호에 존재하는 앨리어싱(Aliasing) 현상을 감소시킬 수 있다. 필터링부(110)는 부화소(sub-pel) 단위로 보간 필터링을 수행할 수 있다. 이때, 복원 신호의 보간 필터링은 1/2 정밀도의 휘도 신호, 1/4 정밀도의 색차 신호 등으로 수행될 수 있다. 예를 들어, 보간 필터링 방법으로는 쌍일차(bilinear) 보간 방법, 평균(average) 보간 방법 등이 사용될 수 있으며, 1/8, 1/16, 1/32, 1/Ni (Ni는 임의의 정수) 등의 정밀도(precision)로 보간 필터링을 수행할 수 있다. 이때, 보간된 샘플은 예측신호 생성부(120)에 이용될 수 있다. 즉, 보간된 값이 예측신호가 될 수 있고, 보간된 값을 이용하여 새로운 예측신호를 생성할 수도 있다.
또한, 필터링부(110)는 복원 신호에 노이즈 제거 필터링을 수행하여, 복원 신호에 존재하는 노이즈를 제거하거나 감소시킬 수 있다.
또한, 필터링부(110)에서 수행되는 필터링은 복원 신호의 휘도(luminance) 성분뿐만 아니라 색차(chrominance) 성분에도 적용될 수 있다.
또한, 필터링부(110)는 화면 내 예측 또는 화면 간 예측을 수행함에 있어서, 부호화 대상 영상의 참조 영상이 전부 복원된 후, 상기 복원된 참조 영상에 필터링을 수행할 수 있고, 부호화 대상 영상의 참조 영상이 일부 복원된 후, 상기 복원된 참조 영상에 필터링을 수행할 수 있다. 이때, 필터링부(110)는 복원 신호에 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나 이상을 단계적으로 수행할 수 있다.
예를 들어, 복원 신호에 저역 통과 필터를 수행하고, 저역 통과 필터가 수행된 복원 신호에 디블록킹 필터를 수행할 수 있다.
예를 들어, 복원 신호에 저역 통과 필터를 수행하고, 저역 통과 필터가 수행된 복원 신호에 보간 필터를 수행할 수 있다.
예를 들어, 복원 신호에 디블록킹 필터를 수행하고, 디블록킹 필터가 수행된 복원 신호에 적응적 루프 필터를 수행할 수 있다.
예를 들어, 복원 신호에 적응적 루프 필터를 수행하고, 적응적 루프 필터가 수행된 복원 신호에 보간 필터를 수행할 수 있다.
예를 들어, 복원 신호에 저역 통과 필터를 수행하고, 저역 통과 필터가 수행된 복원 신호에 디블록킹 필터를 수행하고, 저역 통과 필터와 디블록킹 필터가 수행된 복원 신호에 적응적 루프 필터를 수행할 수 있다.
예를 들어, 복원 신호에 저역 통과 필터를 수행하고, 저역 통과 필터가 수행된 복원 신호에 디블록킹 필터를 수행하고, 저역 통과 필터와 디블록킹 필터가 수행된 복원 신호에 보간 필터를 수행할 수 있다.
예를 들어, 복원 신호에 디블록킹 필터를 수행하고, 디블록킹 필터가 수행된 복원 신호에 적응적 루프 필터를 수행하고, 디블록킹 필터와 적응적 루프 필터가 수행된 복원 신호에 보간 필터를 수행할 수 있다.
상기 예와 같이 다양한 필터가 단계적으로 수행된 복원 신호를 하기 예측신호 생성부(120)에서 이용할 수 있다.
예측신호 생성부(120)는 필터링부(110)에서 필터링된 복원신호를 이용하여 부호화 대상 신호의 예측신호를 생성한다.
예측신호 생성부(120)는 템플릿 정합(Template Matching)을 수행하여 예측신호를 생성할 수 있다. 템플릿 정합은 부호화 대상 신호에 인접한 복원된 화소들과 필터링부(110)에서 필터링 된 복원 신호 간의 화소 유사도를 이용하여 수행될 수 있다. 이때, 화소 유사도는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference)를 통하여 측정될 수 있다.
템플릿 정합 수행의 경우, 부호화기의 부호화 대상 신호 및 복호화기의 복호화 대상 신호에 인접한 복원된 화소들이 동일하기 때문에 템플릿 정합에 대한 별도의 지시자 없이, 부호화기와 복호화기에서 동일한 예측신호가 생성될 수 있다. 즉, 부호화기와 복호화기에서 동일한 템플릿을 이용하여 예측신호를 생성할 수 있다. 템플릿 정합에 사용되는 템플릿의 크기는 영상 부호화 과정의 연산 처리 속도, 메모리 등에 따라 적응적으로 선택할 수 있다. 또한, 예측신호 생성부(120)는 필터링 된 복원 신호들 중에서 복수의 필터링 된 복원 신호를 이용하여 예측신호를 생성할 수 있다.
또한, 예측신호 생성부(120)는 디스플레이스드 화면 내 예측(Displaced Intra Prediction)을 수행하여 예측신호를 생성할 수 있다. 디스플레이스드 화면 내 예측은 부호화 대상 신호와 필터링부(110)에서 필터링 된 복원 신호 간의 화소 유사도를 이용하여 수행될 수 있다.
디스플레이스드 화면 내 예측은 디스플레이스먼트 벡터(Displacement Vector)를 사용한다. 디스플레이스먼트 벡터는 부호화 대상 신호와 가장 유사한 값을 갖는 필터링 된 복원 신호의 위치를 나타낸다. 부호화기는 디스플레이스먼트 벡터를 복호화기에 전달하고, 복호화기는 디스플레이스먼트 벡터의 위치에 존재하는 복원 신호를 이용하여 부호화기와 동일한 예측신호를 생성할 수 있다. 복호화기는 부호화기로부터 전달받은 디스플레이스먼트 벡터를 이용하여 계산 복잡도의 큰 증가 없이 예측 신호를 생성할 수 있다. 또한, 예측신호 생성부(120)는 부호화 대상 신호 주변의 복원 신호에 존재하는 디스플레이스먼트 벡터를 부호화 대상 신호의 디스플레이스먼트 벡터 예측 값으로 사용할 수 있다. 예측신호 생성부(120)는 상기 디스플레이스먼트 벡터 예측값을 기준으로 부호화 대상 신호의 주변 영역을 탐색하여 예측 신호를 생성할 수 있다. 또한, 부호화기는 디스플레이스먼트 벡터 예측 값과 부호화 대상 신호에서 탐색된 주변 영역의 디스플레이스먼트 벡터의 차분 값을 복호화기에 전달할 수 있다.
또한, 예측신호 생성부(120)는 템플릿 정합을 수행하여 필터링 된 복원 신호 중 부호화 대상 신호와 가장 유사한 초기 지점을 탐색하고, 상기 초기 지점에서 디스플레이스드 화면 내 예측을 수행하여 예측신호를 생성할 수 있다. 또한, 예측신호 생성부(120)는 디스플레이스드 화면 내 예측을 수행하여 필터링 된 복원 신호 중 부호화 대상 신호와 가장 유사한 초기 지점을 탐색하고, 상기 초기 지점에서 템플릿 정합을 수행하여 예측신호를 생성할 수 있다.
또한, 예측신호 생성부(120)는 부호화 대상 신호에 인접한 복원된 화소들을 이용하여, 라인 기반 화면 내 예측을 수행하고, 예측신호를 생성할 수 있다. 라인 기반 화면 내 예측은 부호화 대상 신호 주변의 복원된 픽셀들에 대해, 부호화 대상 신호를 기준으로 방향별로 외삽입법(extrapolation)을 수행하는 방법이다.
이때, 방향의 개수는 하나 이상의 다수가 될 수 있다. 예를 들어, 2, 4, 8, 16, 33 등의 개수가 될 수 있으며, 방향 및 개수는 미리 고정하여 수행할 수도 있고, 복원된 화소들을 이용하여 적응적으로 정해질 수도 있다.
이때, 방향별로 외삽입법을 수행함에 있어, 상기 필터링부(110)의 하나 이상의 방법을 이용할 수 있다. 예를 들어, 방향별로 상기 저역 필터 적용 여부 및 방법을 다르게 하거나, 상기 보간 필터 적용 여부 및 방법을 다르게 하여 얻은 신호를 이용하여 외삽입법을 수행할 수 있다.
추가적으로, 외삽입법을 수행함에 있어, 두 개 이상의 복원된 화소들의 가중합을 이용할 수 있으며, 가중치는 거리 또는 블록의 크기에 따라 다르게 할 수 있다. 예를 들어, 유사한 방향에 해당하는 예측 신호들의 가중합을 최종 예측 신호로 할 수 있다.
또한, 예측신호 생성부(120)는 공간해상도, 화질, 프레임율 등이 기본 계층보다 높거나 동일한 향상 계층(enhancement layer) 내의 부호화 대상 신호와 부호화 대상 신호의 위치에 공간적으로 대응되는 기본 계층(base layer) 내의 복원 신호를 이용하여, 계층 간 화면 내 예측을 수행하고, 예측신호를 생성할 수 있다.
예를 들어, 기본 계층의 공간적 해상도와 향상 계층의 공간적 해상도가 동일한 경우, 기본 계층 내의 복원 신호를 향상 계층 내의 부호화 대상 신호의 화면 내 예측에 이용하여, 예측신호를 생성할 수 있다.
예를 들어, 기본 계층의 공간적 해상도와 향상 계층의 공간적 해상도가 다를 경우, 향상 계층의 공간적 해상도에 맞게 기본 계층의 공간적 해상도를 업샘플링(upsamping) 혹은 다운샘플링(downsampling) 등을 이용해 조절하여 기본 계층 내의 복원 신호를 향상 계층 내의 부호화 대상 신호의 화면 내 예측에 이용하여, 예측신호를 생성할 수 있다.
또한, 예측신호 생성부(120)는 향상 시점(enhancement view) 내의 부호화 대상 신호와 부호화 대상 신호의 위치에 공간적으로 대응되는 기본 시점(base view) 내의 복원 신호를 이용하여, 시점 간 화면 내 예측을 수행하고, 예측신호를 생성할 수 있다.
예를 들어, 기본 시점의 공간적 해상도와 향상 시점의 공간적 해상도가 동일한 경우, 기본 시점 내의 복원 신호를 향상 시점 내의 부호화 대상 신호의 화면 내 예측에 이용하여, 예측신호를 생성할 수 있다.
예를 들어, 기본 시점의 공간적 해상도와 향상 계층의 공간적 해상도가 다를 경우, 향상 시점의 공간적 해상도에 맞게 기본 시점의 공간적 해상도를 업샘플링(upsamping) 혹은 다운샘플링(downsampling) 등을 이용해 조절하여 기본 시점 내의 복원 신호를 향상 시점 내의 부호화 대상 신호의 화면 내 예측에 이용하여, 예측신호를 생성할 수 있다.
또한, 예측신호 생성부(120)는 임의의 크기를 가지는 블록으로 분할된 부호화 대상 신호를 이용하여 예측 신호를 생성할 수 있다. 이때, 예측 신호의 생성은 라인 기반 화면 내 예측, 템플릿 정합, 디스플레이스드 화면 내 예측, 계층 간 화면 내 예측 및 시점 간 화면 내 예측 중 하나를 통하여 수행될 수 있다. 예측신호 생성부(120)는 분할된 복수 개의 부호화 대상 신호를 동일한 예측신호 생성방법을 통하여 예측 신호를 생성할 수도 있고, 서로 다른 예측신호 생성방법을 통하여 예측 신호를 생성할 수도 있다.
생략 부호화부(130)는 예측신호 생성부(120)에서 생성된 예측 신호를 부호화 대상 신호의 복원 신호로 설정한다. 설정된 복원 신호는 부호화 대상 영상의 다음(next) 부호화 대상 신호의 부호화 시에 사용될 수 있다. 또한, 생략 부호화부(130)는 잔여 신호를 부호화하지 않음으로써 부호화 대상 신호를 생략 부호화한다. 생략 부호화부(130)는 잔여 신호에 대한 변환 부호화, 양자화 및 엔트로피 부호화를 수행하지 않는다.
생략 부호화부(130)는 부호화 대상 신호를 임의의 블록 크기로 분할하여 생략 부호화할 수 있다. 이때, 생략 부호화되는 부호화 대상 신호의 블록 크기는 임의의 정수 N x M 크기로 결정될 수 있다. 각 부호화 대상 신호의 블록 크기에 대응되는 생략 부호화에 대한 지시자 및 블록 크기 정보는 매크로블록당 임의의 정수 L개만큼 복호화기에 전달될 수 있다. 매크로블록이 N x M 크기로 분할되면, 이때, 매크로블록에 포함된 블록의 개수를 L개라고 할 수 있다.
지시자(140)는 잔여 신호의 부호화 없이, 부호화 대상 신호를 생략 부호화하였음을 나타낼 수 있다. 생략 부호화를 나타내는 지시자(140)는 플래그(Flag) 형태 또는 매크로블록 모드 타입(Macroblock Mode Type) 형태를 가질 수 있다. 또한, 지시자(140)는 예측 신호의 생성 방법을 나타낼 수 있다. 즉, 지시자(140)는 예측 신호를 라인 기반 화면 내 예측 수행, 템플릿 정합, 디스플레이스드 화면 내 예측, 계층 간 화면 내 예측 및 시점 간 화면 내 예측 중 어느 하나의 방식을 통하여 생성하였음을 나타낼 수 있다. 이때, 예측 신호 생성 방법에 대한 지시자(140)는 플래그(Flag) 형태 또는 매크로블록 모드 타입(Macroblock Mode Type)의 형태를 가질 수 있다. 또한, 지시자(140)는 필터링 방법을 나타낼 수 있다. 지시자(140)는 저역 통과 필터, 디블록킹 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터를 포함하는 복원 신호에 대한 필터링 방법 중 어느 하나의 방식을 통하여 필터링을 수행하였음을 나타낼 수 있다. 또한, 지시자(140)는 복원 신호에 대한 필터링 방법 중 최소 하나 이상의 방식을 수행하였음을 나타낼 수 있다. 예를 들어, 복원 신호에 저역 통과 필터를 수행하고 디블록킹 필터를 수행했는지, 저역 통과 필터를 수행하고 보간 필터를 수행했는지, 디블록킹 필터를 수행하고 적응적 루프 필터를 수행했는지, 적응적 루프 필터를 수행하고 보간 필터를 수행했는지, 저역 통과 필터를 수행하고 디블록킹 필터를 수행하고 적응적 루프 필터를 수행했는지, 저역 통과 필터를 수행하고 디블록킹 필터를 수행하고 보간 필터를 수행했는지, 디블록킹 필터를 수행하고 적응적 루프 필터를 수행하고 보간 필터를 수행했는지에 대해 지시자(140)를 통해 나타낼 수 있다. 이때, 필터링 방법에 대한 지시자(140)는 플래그(Flag) 형태 또는 매크로블록 모드 타입(Macroblock Mode Type)의 형태를 가질 수 있다.
*부호화기에서 지시자를 산술 부호화(arithmetic coding) 혹은 가변길이 부호화(variable length coding) 등으로 엔트로피 부호화하여 비트스트림에 삽입하여, 복호화기에서 비트스트림을 엔트로피 복호화하여 생략 부호화 여부 혹은 예측 신호 생성 방법 혹은 필터링 방법을 판별할 수 있다.
부호화기에서 생략 부호화, 예측 신호 생성 방법 및 필터링 방법을 나타내는 지시자(140)는 복호화기에 전달될 수 있다. 이때 복호화기는 잔여 신호에 대한 복호화 없이 복호화기에서 생성된 예측 신호를 복호화 대상 신호의 복원 신호로 이용할 수 있다.
도 2는 본 발명의 일실시예에 따른 생략 부호화를 이용한 영상 부호화 과정의 일 예를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치는 원 영상(210)을 블록단위로 생략 부호화한다. 즉, 부호화 대상 신호는 부호화 대상 블록이 될 수도 있다. 부호화 대상 영상(220)은 부호화 대상 A블록(221) 및 A블록(221)보다 먼저 복원된 복원 B블록(223)을 포함할 수 있다. 필터링부(110)는 복원 B블록(223)에 대하여 필터링을 수행한다. 이때, 필터링은 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나를 이용하여 수행될 수 있다. 필터링부(110)는 복원 B블록(223)에 대하여 필터링을 수행하여 C블록(230)을 생성할 수 있다. 예측신호 생성부(120)는 C블록(230)을 이용하여 부호화 대상 A블록(221)의 예측 D블록(240)을 생성한다. 이때, 예측 D블록(240)은 라인 기반 화면 내 예측, 템플릿 정합, 디스플레이스드 화면 내 예측, 계층 간 화면 내 예측 및 시점 간 화면 내 예측 중 하나를 통하여 생성될 수 있다. 생략 부호화부(130)는 예측 D블록(240)을 부호화 대상 A블록(221)의 복원 블록으로 설정할 수 있다. 이 복원 블록은 B블록을 생략 부호화할 때 이용될 수 있다. 생략 부호화부(130)는 부호화 대상 A블록(221)에서 예측 D블록(240)을 제거하여 잔여 E블록(250)을 생성할 수 있다. 생략 부호화부(130)는 부호화 대상 A블록(221)에 포함된 잔여 E블록(250)을 부호화하지 않음으로써, 부호화 대상 A블록(221)을 생략부호화 할 수 있다. 생략 부호화부(130)는 생략 부호화된 a블록(260)을 생성할 수 있다. 그 후, 계속하여 B블록(270)을 부호화 대상 블록으로 설정하여 부호화 대상 영상(220)을 생략부호화 할 수 있다.
도 3은 본 발명의 일실시예에 따른 생략 부호화를 이용한 영상 복호화 장치의 블록도이다.
도 3를 참조하면, 본 발명의 일실시예에 따른 생략 부호화를 이용한 영상 복호화 장치는 지시자(310), 필터링부(320), 예측신호 생성부(330) 및 복호화부(340)를 포함한다.
지시자(310)는 화면 내 예측을 수행함에 있어서, 생략 부호화기에서 잔여 신호의 부호화 없이, 부호화 대상 신호를 생략 부호화하였음을 나타낼 수 있다. 생략 부호화를 나타내는 지시자(140)는 플래그(Flag) 형태 또는 매크로블록 모드 타입(Macroblock Mode Type) 형태를 가질 수 있다. 지시자(310)는 복호화 대상 영상 내의 복호화 대상 신호에 포함되어 식별될 수 있다. 또한, 지시자(310)는 생략 부호화 과정에서 예측 신호의 생성 방법을 나타낼 수 있다. 즉, 지시자(310)는 부호화 대상 신호의 예측 신호를 라인 기반 화면 내 예측 수행, 템플릿 정합, 디스플레이스드 화면 내 예측, 계층 간 화면 내 예측 및 시점 간 화면 내 예측 중 어느 하나의 방식을 통하여 생성하였음을 나타낼 수 있다. 또한, 지시자(310)는 필터링 방법을 나타낼 수 있다. 즉, 지시자(310)는 저역 통과 필터, 디블록킹 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터를 포함하는 복원 신호에 대한 필터링 방법 중 어느 하나의 방식을 통하여 필터링을 수행하였음을 나타낼 수 있다. 또한, 지시자(310)는 복원 신호에 대한 필터링 방법 중 최소 하나 이상의 방식을 수행하였음을 나타낼 수 있다. 예를 들어, 복원 신호에 저역 통과 필터를 수행하고 디블록킹 필터를 수행했는지, 저역 통과 필터를 수행하고 보간 필터를 수행했는지, 디블록킹 필터를 수행하고 적응적 루프 필터를 수행했는지, 적응적 루프 필터를 수행하고 보간 필터를 수행했는지, 저역 통과 필터를 수행하고 디블록킹 필터를 수행하고 적응적 루프 필터를 수행했는지, 저역 통과 필터를 수행하고 디블록킹 필터를 수행하고 보간 필터를 수행했는지, 디블록킹 필터를 수행하고 적응적 루프 필터를 수행하고 보간 필터를 수행했는지에 대해 지시자(310)를 통해 나타낼 수 있다. 부호화기에서 지시자를 산술 부호화(arithmetic coding) 혹은 가변길이 부호화(variable length coding) 등으로 엔트로피 부호화하여 비트스트림에 삽입된 지시자(310)를 복호화기에서 비트스트림을 엔트로피 복호화하여 생략 부호화 여부 혹은 예측 신호 생성 방법 혹은 필터링 방법을 판별할 수 있다.
필터링부(320)는 지시자(310)에 포함된 부호화 과정에서 사용된 필터링 방법에 기초하여, 복호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행한다. 복호화 대상 신호는 복호화 대상 영상을 화소, 블록, 유닛(unit), 픽쳐 및 프레임 단위로 구분한 신호일 수 있다. 즉, 복호화 대상 신호는 복호화 대상 화소, 복호화 대상 블록, 복호화 대상 유닛, 복호화 대상 픽쳐 및 복호화 대상 프레임을 포함하는 개념이다. 생략 부호화를 이용한 영상 부호화 장치의 필터링부(110)와 동일하게 필터링부(320)는 복원 신호에 대하여 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나를 이용하여 필터링을 수행할 수 있다. 이때, 필터링부(320)는 복원 신호에 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나 이상을 단계적으로 수행할 수 있다. 필터링부(320)는 부호화 과정에서 적용된 필터링 방법을 동일하게 적용하여 복원 신호에 필터링을 수행할 수 있다.
예측신호 생성부(330)는 필터링부(320)에서 필터링된 복원 신호 및 지시자(310)에 기초하여, 복호화 대상 신호의 예측신호를 생성한다. 예측신호 생성부(330)는 지시자(310)에 포함된 부호화 과정에서 사용된 예측신호 생성 방법에 기초하여 복호화 대상 신호의 예측신호를 생성할 수 있다. 예측신호 생성부(330)는 라인 기반 화면 내 예측, 템플릿 정합, 디스플레이스드 화면 내 예측, 계층 간 화면 내 예측 및 시점 간 화면 내 예측 중 하나를 통하여 복호화 대상 신호의 예측신호를 생성할 수 있다. 예측신호 생성부(330)는 부호화 과정의 예측신호 생성부(120)에서 적용한 예측신호 생성 방법과 동일한 방법을 적용하여 복호화 대상 신호의 예측신호를 생성할 수 있다.
복호화부(340)는 잔여 신호를 복호화하지 않고 예측 신호를 이용하여 복호화 대상 신호를 복호화한다. 복호화부(340)는 복호화 대상 신호에서 잔여 신호를 복호화하지 않음으로써 복호화 대상 신호를 생략 복호화한다. 복호화부(340)는 잔여 신호에 대한 변환 복호화, 양자화 및 엔트로피 복호화를 수행하지 않는다.
도 4는 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 방법의 흐름도이다.
410단계에서, 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치는 화면 내 예측을 수행함에 있어서, 부호화 대상 영상 내에서 부호화 대상 신호보다 먼저 복원된 복원 신호에 대하여 필터링을 수행한다. 이때, 필터링은 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나를 이용하여 수행될 수 있다. 이때, 필터링은 저역 통과 필터, 디블록킹(Deblocking) 필터, 적응적 루프 필터, 보간 필터, 노이즈 제거 필터 중 적어도 하나 이상을 단계적으로 수행할 수 있다.
420단계에서, 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치는 필터링된 복원 신호를 이용하여 부호화 대상 신호의 예측 신호를 생성한다. 이때, 예측 신호의 생성은 라인 기반 화면 내 예측, 템플릿 정합, 디스플레이스드 화면 내 예측, 계층 간 화면 내 예측 및 시점 간 화면 내 예측 중 하나를 통하여 수행될 수 있다.
430단계에서, 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치는 생성된 예측 신호를 부호화 대상 신호의 복원 신호로 설정한다. 설정된 복원 신호는 부호화 대상 영상의 다음(next) 부호화 대상 신호의 부호화 시에 사용될 수 있다.
440단계에서, 본 발명의 일 실시예에 따른 생략 부호화를 이용한 영상 부호화 장치는 잔여 신호를 부호화하지 않음으로써 부호화 대상 신호를 생략 부호화한다.
상술한 바와 같이 부호화된 영상 데이터는 도 3에 도시된 바와 같은 영상 복호화 장치로 전달되며, 영상 복호화 장치에서는 상술한 영상 부호화 방법(도 4 참조)에 대응하여, 도 3에 관한 설명에서 상세하게 설명한 바와 같은 영상 복호화 방법을 수행할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (7)

  1. 현재 블록에 대한 잔차 신호를 획득하는 단계;
    상기 현재 블록에 대한 예측 신호를 획득하는 단계;
    상기 잔차 샘플 및 상기 예측 샘플을 기초로, 상기 현재 블록을 복원하는 단계;
    상기 복원된 현재 블록에 디블록킹 필터를 적용하는 단계; 및
    상기 디블록킹 필터가 적용된 현재 블록에 추가적으로 필터를 적용하는 단계
    를 포함하는, 영상 복호화 방법.
  2. 제1 항에 있어서, 상기 디블록킹 필터를 적용하는 단계는,
    필터 강도 또는 상기 복원된 현재 블록의 경계에 위치하는 화소를 이용하여 계산된 값 중 적어도 하나에 기초하여, 상기 디블록킹 필터를 적용할 것인지 여부를 결정하는 단계를 포함하는, 영상 복호화 방법.
  3. 제2 항에 있어서,
    상기 필터 강도는, 상기 현재 블록의 부호화 파라미터를 기초로 결정되고,
    상기 부호화 파라미터는, 예측 모드, 움직임 벡터, 참조 영상 색인 또는 부호화 블록 플래그 중 적어도 하나를 포함하는, 영상 복호화 방법.
  4. 제1 항에 있어서,
    상기 디블록킹 필터를 적용하는 단계는,
    상기 현재 블록의 경계를 판단하는 단계를 더 포함하고,
    상기 현재 블록의 경계는, 슬라이스 간 필터링이 허용되는지 여부에 기초하여, 결정되는 것을 특징으로 하는, 영상 복호화 방법.
  5. 제1 항에 있어서, 상기 추가 필터를 이용한 필터링은,
    상기 현재 블록에 대한 LCU (Largest Coding Unit) 단위로 수행되는 것을 특징으로 하는, 영상 복호화 방법
  6. 제1 항에 있어서, 상기 추가 필터를 적용하는 단계는,
    필터 계수를 결정하는 단계; 및
    상기 현재 블록의 샘플 단위로, 상기 필터 계수를 적용하는 단계를 포함하는, 영상 복호화 방법.
  7. 제6 항에 있어서,
    상기 필터 계수는, 샘플 별로 가변적으로 결정되는 것을 특징으로 하는, 영상 복호화 방법.
KR1020170103157A 2010-05-07 2017-08-14 영상 부호화 및 복호화 장치 및 그 방법 Active KR101863082B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20100042823 2010-05-07
KR1020100042823 2010-05-07
KR1020100121192A KR20110123651A (ko) 2010-05-07 2010-12-01 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR1020100121192 2010-12-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160056401A Division KR101769937B1 (ko) 2010-05-07 2016-05-09 영상 부호화 및 복호화 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180059405A Division KR101972407B1 (ko) 2010-05-07 2018-05-25 영상 부호화 및 복호화 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170096986A true KR20170096986A (ko) 2017-08-25
KR101863082B1 KR101863082B1 (ko) 2018-06-01

Family

ID=45393784

Family Applications (16)

Application Number Title Priority Date Filing Date
KR1020100121192A Pending KR20110123651A (ko) 2010-05-07 2010-12-01 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR1020110042990A Active KR101559523B1 (ko) 2010-05-07 2011-05-06 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR1020140168354A Active KR101708265B1 (ko) 2010-05-07 2014-11-28 영상 부호화 및 복호화 장치 및 그 방법
KR1020150139736A Active KR101619975B1 (ko) 2010-05-07 2015-10-05 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR1020160056405A Active KR101769938B1 (ko) 2010-05-07 2016-05-09 영상 부호화 및 복호화 장치 및 그 방법
KR1020160056401A Active KR101769937B1 (ko) 2010-05-07 2016-05-09 영상 부호화 및 복호화 장치 및 그 방법
KR1020170103157A Active KR101863082B1 (ko) 2010-05-07 2017-08-14 영상 부호화 및 복호화 장치 및 그 방법
KR1020180059405A Active KR101972407B1 (ko) 2010-05-07 2018-05-25 영상 부호화 및 복호화 장치 및 그 방법
KR1020190045978A Active KR102075061B1 (ko) 2010-05-07 2019-04-19 영상 부호화 및 복호화 장치 및 그 방법
KR1020200012662A Active KR102185954B1 (ko) 2010-05-07 2020-02-03 영상 부호화 및 복호화 장치 및 그 방법
KR1020200161576A Active KR102296826B1 (ko) 2010-05-07 2020-11-26 영상 부호화 및 복호화 장치 및 그 방법
KR1020210113204A Active KR102401749B1 (ko) 2010-05-07 2021-08-26 영상 부호화 및 복호화 장치 및 그 방법
KR1020210113205A Active KR102421921B1 (ko) 2010-05-07 2021-08-26 영상 부호화 및 복호화 장치 및 그 방법
KR1020220061827A Active KR102548737B1 (ko) 2010-05-07 2022-05-20 영상 부호화 및 복호화 장치 및 그 방법
KR1020230080927A Active KR102668077B1 (ko) 2010-05-07 2023-06-23 영상 부호화 및 복호화 장치 및 그 방법
KR1020240064316A Pending KR20240073227A (ko) 2010-05-07 2024-05-17 영상 부호화 및 복호화 장치 및 그 방법

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020100121192A Pending KR20110123651A (ko) 2010-05-07 2010-12-01 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR1020110042990A Active KR101559523B1 (ko) 2010-05-07 2011-05-06 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR1020140168354A Active KR101708265B1 (ko) 2010-05-07 2014-11-28 영상 부호화 및 복호화 장치 및 그 방법
KR1020150139736A Active KR101619975B1 (ko) 2010-05-07 2015-10-05 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR1020160056405A Active KR101769938B1 (ko) 2010-05-07 2016-05-09 영상 부호화 및 복호화 장치 및 그 방법
KR1020160056401A Active KR101769937B1 (ko) 2010-05-07 2016-05-09 영상 부호화 및 복호화 장치 및 그 방법

Family Applications After (9)

Application Number Title Priority Date Filing Date
KR1020180059405A Active KR101972407B1 (ko) 2010-05-07 2018-05-25 영상 부호화 및 복호화 장치 및 그 방법
KR1020190045978A Active KR102075061B1 (ko) 2010-05-07 2019-04-19 영상 부호화 및 복호화 장치 및 그 방법
KR1020200012662A Active KR102185954B1 (ko) 2010-05-07 2020-02-03 영상 부호화 및 복호화 장치 및 그 방법
KR1020200161576A Active KR102296826B1 (ko) 2010-05-07 2020-11-26 영상 부호화 및 복호화 장치 및 그 방법
KR1020210113204A Active KR102401749B1 (ko) 2010-05-07 2021-08-26 영상 부호화 및 복호화 장치 및 그 방법
KR1020210113205A Active KR102421921B1 (ko) 2010-05-07 2021-08-26 영상 부호화 및 복호화 장치 및 그 방법
KR1020220061827A Active KR102548737B1 (ko) 2010-05-07 2022-05-20 영상 부호화 및 복호화 장치 및 그 방법
KR1020230080927A Active KR102668077B1 (ko) 2010-05-07 2023-06-23 영상 부호화 및 복호화 장치 및 그 방법
KR1020240064316A Pending KR20240073227A (ko) 2010-05-07 2024-05-17 영상 부호화 및 복호화 장치 및 그 방법

Country Status (6)

Country Link
US (9) US9002123B2 (ko)
EP (4) EP3905678A1 (ko)
JP (9) JP2013529018A (ko)
KR (16) KR20110123651A (ko)
CN (6) CN107105271B (ko)
WO (1) WO2011139121A2 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US9510018B2 (en) * 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
KR101802334B1 (ko) 2011-12-02 2017-12-29 삼성전자주식회사 적응적 탬플릿을 이용한 이진 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20130107861A (ko) * 2012-03-23 2013-10-02 한국전자통신연구원 인터 레이어 인트라 예측 방법 및 장치
WO2014069889A1 (ko) * 2012-10-30 2014-05-08 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
US9596461B2 (en) * 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
JP2016536859A (ja) * 2013-10-07 2016-11-24 エルジー エレクトロニクス インコーポレイティド メディア信号のエンコード及びデコード方法並びにそれを用いる装置
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
JP6359101B2 (ja) 2013-10-14 2018-07-18 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
US10506254B2 (en) 2013-10-14 2019-12-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
CN105684441B (zh) 2013-10-25 2018-09-21 微软技术许可有限责任公司 视频和图像编码中的基于散列的块匹配
KR102197505B1 (ko) 2013-10-25 2020-12-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩에서의 해시 값을 갖는 블록의 표현
JP6656799B2 (ja) * 2013-11-29 2020-03-04 王子ホールディングス株式会社 アンチニュートンリング積層体およびそのアンチニュートンリング積層体を用いた静電容量式タッチパネル
CN104683805B (zh) * 2013-11-30 2019-09-17 同济大学 图像编码、解码方法及装置
CN105917650B (zh) 2014-01-03 2019-12-24 微软技术许可有限责任公司 视频和图像编/解码的方法、计算设备及计算机可读介质
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
JP6256058B2 (ja) * 2014-01-31 2018-01-10 オムロンヘルスケア株式会社 脈波検出装置
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
MX361228B (es) 2014-03-04 2018-11-29 Microsoft Technology Licensing Llc Inversión de bloque y modo de omisión en predicción de intracopia de bloque.
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US10567754B2 (en) 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
CN105981382B (zh) 2014-09-30 2019-05-28 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
US9811882B2 (en) 2014-09-30 2017-11-07 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
EP3017749A1 (en) * 2014-11-06 2016-05-11 Ophtimalia Passive sensing means for a physiological parameter monitoring system
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
CN107529985B (zh) * 2015-03-31 2020-03-31 加州理工学院 用于长期可植入传感器和电子装置的生物相容性封装
CN107925771B (zh) * 2015-05-29 2022-01-11 深圳市大疆创新科技有限公司 视频处理的方法、系统、存储介质和成像装置
WO2016200115A1 (ko) * 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
CN105872538B (zh) * 2016-04-18 2020-12-29 广东中星微电子有限公司 时域滤波方法和时域滤波装置
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
KR101891307B1 (ko) * 2016-10-31 2018-08-23 대구가톨릭대학교산학협력단 커피박 추출물을 첨가한 항산화 활성 및 기호도가 증진된 약밥의 제조방법
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
EP3560204A4 (en) * 2016-12-23 2019-12-04 Telefonaktiebolaget LM Ericsson (publ) DERINGING FILTER FOR VIDEO CODING
US11006109B2 (en) 2017-06-19 2021-05-11 Lg Electronics Inc. Intra prediction mode based image processing method, and apparatus therefor
WO2019078686A1 (ko) * 2017-10-20 2019-04-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN111543054B (zh) * 2017-10-31 2023-02-28 三星电子株式会社 图像编码方法、图像解码方法及其装置
CN118413654A (zh) 2017-11-28 2024-07-30 Lx 半导体科技有限公司 图像编码/解码设备、传输图像数据的设备和存储介质
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
MX2020010140A (es) * 2018-03-30 2020-10-20 Sharp Kk Sistemas y metodos para aplicar filtros de suavizamiento a datos de video reconstruidos.
US20220312005A1 (en) * 2019-06-19 2022-09-29 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image
CN114258674B (zh) * 2019-07-19 2024-12-31 Tcl王牌电器(惠州)有限公司 使用ibc的图像编码/解码方法和装置
WO2021054677A1 (ko) * 2019-09-18 2021-03-25 주식회사 비원 영상기술연구소 인-루프 필터 기반의 영상 부호화/복호화 방법 및 장치
CN118694977A (zh) 2019-09-18 2024-09-24 有限公司B1影像技术研究所 基于环路滤波器的图像编码/解码方法和装置
CN114747223B (zh) * 2019-10-07 2023-11-14 Lg电子株式会社 基于子画面结构执行环路内滤波的图像编码/解码方法和装置及发送比特流的方法
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
EP3943424A1 (en) * 2020-07-24 2022-01-26 WestRock Packaging Systems, LLC Smooth handoff of containers using multiple grippers
US11783453B2 (en) 2021-06-10 2023-10-10 Bank Of America Corporation Adapting image noise removal model based on device capabilities
US11823688B2 (en) 2021-07-30 2023-11-21 Electronics And Telecommunications Research Institute Audio signal encoding and decoding method, and encoder and decoder performing the methods
CN118355664A (zh) * 2021-12-06 2024-07-16 Lg 电子株式会社 图像编码/解码方法和设备以及其中存储比特流的记录介质
KR20250124417A (ko) * 2023-01-04 2025-08-19 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2025149326A1 (en) * 2024-01-09 2025-07-17 Interdigital Ce Patent Holdings, Sas Combination of extrapolation filter-based intra prediction with ciip and gpm modes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009136743A2 (ko) * 2008-05-07 2009-11-12 Lg전자 비디오 신호의 디코딩 방법 및 장치

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197506A (ja) * 1996-05-17 2001-07-19 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US7096487B1 (en) * 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
FI117534B (fi) 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
CN1493157A (zh) * 2001-09-12 2004-04-28 ���µ�����ҵ��ʽ���� 图像编码方法和图像解码方法
US8463837B2 (en) * 2001-10-29 2013-06-11 Intel Corporation Method and apparatus for efficient bi-linear interpolation and motion compensation
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
EP2262269B1 (en) * 2001-12-17 2018-01-24 Microsoft Technology Licensing, LLC Skip macroblock coding
DK1486065T3 (en) * 2002-03-15 2016-02-29 Nokia Technologies Oy PROCEDURE FOR CODING MOVEMENT IN A VIDEO SEQUENCE
MXPA04002265A (es) * 2002-07-11 2004-06-29 Matsushita Electric Ind Co Ltd Metodo de determinacion de resistencia de filtracion, metodo de codificacion de pelicula y metodo de decodificacion de pelicula.
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
US6839328B2 (en) * 2003-01-31 2005-01-04 Telcordia Technologies, Inc. Measurement of packet loss ratio in a network using end-point data
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
KR20050026318A (ko) * 2003-09-09 2005-03-15 삼성전자주식회사 인트라 스킵 모드를 포함하는 비디오 인코딩_디코딩 장치및 방법
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
KR20050112445A (ko) 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4784188B2 (ja) * 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
JP4605052B2 (ja) * 2006-03-03 2011-01-05 日本電気株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
FR2903253A1 (fr) * 2006-06-29 2008-01-04 Thales Sa Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil.
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding
JP5475464B2 (ja) * 2007-01-17 2014-04-16 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
TW200836130A (en) * 2007-02-16 2008-09-01 Thomson Licensing Bitrate reduction method by requantization
EP2145482A1 (en) * 2007-04-19 2010-01-20 Thomson Licensing Adaptive reference picture data generation for intra prediction
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN100562114C (zh) * 2007-08-30 2009-11-18 上海交通大学 视频解码方法与解码装置
US20090067495A1 (en) 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
CN101389016B (zh) * 2007-09-13 2010-10-20 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
CN101855910B (zh) * 2007-09-28 2014-10-29 杜比实验室特许公司 视频压缩和传送技术
KR101712915B1 (ko) * 2007-10-16 2017-03-07 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20090141808A1 (en) * 2007-11-30 2009-06-04 Yiufai Wong System and methods for improved video decoding
US8743972B2 (en) * 2007-12-20 2014-06-03 Vixs Systems, Inc. Coding adaptive deblocking filter and method for use therewith
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR20090096659A (ko) 2008-03-09 2009-09-14 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩에 관한 방법과 장치
CN101267560A (zh) * 2008-03-19 2008-09-17 浙江大学 去块滤波方法及装置
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
WO2010005691A1 (en) * 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8699562B2 (en) * 2008-10-06 2014-04-15 Lg Electronics Inc. Method and an apparatus for processing a video signal with blocks in direct or skip mode
KR101543298B1 (ko) * 2008-10-13 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
KR100958342B1 (ko) * 2008-10-14 2010-05-17 세종대학교산학협력단 비디오 부호화/복호화 방법 및 장치
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
KR101260157B1 (ko) * 2009-02-13 2013-05-06 리서치 인 모션 리미티드 인트라코딩된 이미지 또는 프레임에 대한 인루프 디블로킹
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8582645B2 (en) * 2009-06-11 2013-11-12 Texas Instruments Incorporated Reducing flicker in the display of video streams
US20100322526A1 (en) * 2009-06-18 2010-12-23 Electronics And Telecommunications Research Institute Method of filtering restored image using plurality of filters and encoding/decoding apparatus and method using filtering method
JP5184447B2 (ja) * 2009-06-22 2013-04-17 株式会社Ｋｄｄｉ研究所 動画像符号化装置および復号装置
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101483750B1 (ko) 2009-07-24 2015-01-19 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101640802B (zh) * 2009-08-28 2012-06-20 北京工业大学 基于宏块特征和统计特性的视频帧间压缩编码方法
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
EP2375747B1 (en) * 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
LT2945382T (lt) * 2010-04-23 2017-09-11 M&K Holdings Inc. Aparatas, skirtas vaizdo kodavimui
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US20130044814A1 (en) 2010-05-10 2013-02-21 Thomson Licensing Methods and apparatus for adaptive interpolative intra block encoding and decoding
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US9100621B2 (en) * 2010-12-08 2015-08-04 Lg Electronics Inc. Intra prediction in image processing
KR102030977B1 (ko) * 2011-02-22 2019-10-10 타지반 투 엘엘씨 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
US20120236936A1 (en) * 2011-03-14 2012-09-20 Segall Christopher A Video coding based on edge determination
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US9344729B1 (en) * 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009136743A2 (ko) * 2008-05-07 2009-11-12 Lg전자 비디오 신호의 디코딩 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H.Y. Kim et al., "Description of video coding technology proposal by ETRI", JCTVC-A127, 15-23 April, 2010.. *
JCT-VC, "Test Model under Consideration", JCTVC 1st meeting, Dresden, 15-23, April, 2010, JCTVC-A205..* *

Also Published As

Publication number Publication date
CN105141955B (zh) 2019-10-01
US20150189277A1 (en) 2015-07-02
KR102421921B1 (ko) 2022-07-20
JP2022008296A (ja) 2022-01-13
US9743082B2 (en) 2017-08-22
KR102075061B1 (ko) 2020-02-10
JP6147707B2 (ja) 2017-06-14
CN103081463B (zh) 2016-11-09
JP6929907B2 (ja) 2021-09-01
US10574985B2 (en) 2020-02-25
CN106911931A (zh) 2017-06-30
JP6157672B2 (ja) 2017-07-05
US20200154104A1 (en) 2020-05-14
KR102401749B1 (ko) 2022-05-26
JP6364110B2 (ja) 2018-07-25
EP3367682A1 (en) 2018-08-29
JP2019216466A (ja) 2019-12-19
US11849110B2 (en) 2023-12-19
JP6578418B2 (ja) 2019-09-18
JP2023053247A (ja) 2023-04-12
KR102668077B1 (ko) 2024-05-23
CN107105271B (zh) 2020-10-09
KR102185954B1 (ko) 2020-12-03
US11323704B2 (en) 2022-05-03
US20240073416A1 (en) 2024-02-29
KR101559523B1 (ko) 2015-10-14
KR20240073227A (ko) 2024-05-24
US20170310964A1 (en) 2017-10-26
CN105721876B (zh) 2019-10-01
US20140029668A1 (en) 2014-01-30
EP4601290A3 (en) 2025-11-05
KR101972407B1 (ko) 2019-04-26
JP2013529018A (ja) 2013-07-11
JP2016136761A (ja) 2016-07-28
KR20150003696A (ko) 2015-01-09
EP2568707A2 (en) 2013-03-13
US20130058585A1 (en) 2013-03-07
KR101863082B1 (ko) 2018-06-01
KR20110123689A (ko) 2011-11-15
JP7228639B2 (ja) 2023-02-24
US10218972B2 (en) 2019-02-26
KR101708265B1 (ko) 2017-02-21
KR20160056321A (ko) 2016-05-19
WO2011139121A3 (ko) 2012-03-08
JP2017192135A (ja) 2017-10-19
CN105141955A (zh) 2015-12-09
KR101619975B1 (ko) 2016-05-13
JP2019216467A (ja) 2019-12-19
KR20210108351A (ko) 2021-09-02
KR20210110786A (ko) 2021-09-09
JP7242477B2 (ja) 2023-03-20
KR102296826B1 (ko) 2021-09-02
US12439039B2 (en) 2025-10-07
US20220224896A1 (en) 2022-07-14
EP2568707A4 (en) 2014-08-13
KR20200136351A (ko) 2020-12-07
KR20230098117A (ko) 2023-07-03
CN105721876A (zh) 2016-06-29
CN106911931B (zh) 2020-02-07
KR20160056320A (ko) 2016-05-19
US20260006195A1 (en) 2026-01-01
CN105847797B (zh) 2020-02-07
JP2018164303A (ja) 2018-10-18
KR101769937B1 (ko) 2017-08-22
KR102548737B1 (ko) 2023-06-29
KR20190043128A (ko) 2019-04-25
US9002123B2 (en) 2015-04-07
CN103081463A (zh) 2013-05-01
KR20150118579A (ko) 2015-10-22
US20190149820A1 (en) 2019-05-16
KR20220072814A (ko) 2022-06-02
EP4601290A2 (en) 2025-08-13
EP3905678A1 (en) 2021-11-03
JP2014233085A (ja) 2014-12-11
KR20180059413A (ko) 2018-06-04
US8842924B2 (en) 2014-09-23
CN105847797A (zh) 2016-08-10
CN107105271A (zh) 2017-08-29
WO2011139121A2 (ko) 2011-11-10
KR101769938B1 (ko) 2017-08-22
KR20200015927A (ko) 2020-02-13
KR20110123651A (ko) 2011-11-15

Similar Documents

Publication Publication Date Title
KR101972407B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20170814

Patent event code: PA01071R01D

Filing date: 20160509

Application number text: 1020160056401

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171026

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180316

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20180525

Patent event code: PA01071R01D

Filing date: 20160509

Application number text: 1020160056401

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180525

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180525

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210426

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240424

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20250507

Start annual number: 8

End annual number: 8