JP2015506603A - 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 - Google Patents

最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 Download PDF

Info

Publication number
JP2015506603A
JP2015506603A JP2014548676A JP2014548676A JP2015506603A JP 2015506603 A JP2015506603 A JP 2015506603A JP 2014548676 A JP2014548676 A JP 2014548676A JP 2014548676 A JP2014548676 A JP 2014548676A JP 2015506603 A JP2015506603 A JP 2015506603A
Authority
JP
Japan
Prior art keywords
offset
unit
coding unit
type
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014548676A
Other languages
English (en)
Other versions
JP2015506603A5 (ja
JP5893754B2 (ja
Inventor
アルシナ，エレナ
アルシン，アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015506603A publication Critical patent/JP2015506603A/ja
Publication of JP2015506603A5 publication Critical patent/JP2015506603A5/ja
Application granted granted Critical
Publication of JP5893754B2 publication Critical patent/JP5893754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法と、ビデオ復号化方法と、を提案し、現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを示すオフセットタイプ、エッジ方向またはバンド範囲を示すオフセットクラス、復元ピクセルと原本ピクセルとの差値を示すオフセット値を含むオフセットパラメータを最大符号化単位ごとに決定し、現在最大符号化単位の左側または上端の最大符号化単位のオフセットパラメータを、現在最大符号化単位のオフセットパラメータとして、採択するか否かということを示すオフセット併合情報を出力するビデオ符号化方法である。

Description

本発明は、原本映像と復元映像との誤差を最小化するためのビデオ符号化及びビデオ復号化に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の早い演算のために映像を所定サイズのブロックで分割して、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数の方が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続して反復的に発生するデータを、小サイズのデータに置き換えることにより、データ量を節減している。
本発明は、原本映像との誤差が最小化される復元映像を生成するためのビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置を提案する。
本発明の一実施形態により、ビデオ符号化によるオフセットを調整する方法は、ビデオの最大符号化単位のうち、現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、前記現在最大符号化単位を符号化する段階と、前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを示すオフセットタイプ、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を示すオフセットクラス、及び前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を示すオフセット値を含む前記現在最大符号化単位の第１オフセットパラメータを決定する段階と、前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータと、前記第１オフセットパラメータとの同一性に基づいて、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を出力する段階と、を含む。前記オフセット調整方法は、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択しない場合、前記現在最大符号化単位のオフセット併合情報に続き、前記オフセットタイプ、前記オフセット値及び前記オフセットクラスを含む第１オフセットパラメータを出力する段階をさらに含む。
本発明の多様な実施形態によるオフセット調整（sample adaptive offset）技法を利用するビデオ符号化装置及びビデオ復号化装置は、最大符号化単位ごとに、エッジタイプまたはバンドタイプのような映像特性によってピクセル値を分類し、同一特性として分類されたピクセル値の平均誤差値であるオフセット値を、最大符号化単位ごとにシグナリングし、復元ピクセルのうち予想できないピクセル値を、オフセット値ほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
一実施形態によるビデオ符号化装置のブロック図である。 一実施形態によるビデオ符号化装置のオフセット調整方法のフローチャートである。 一実施形態によるビデオ復号化装置のブロック図である。 一実施形態によるビデオ復号化装置のオフセット調整方法のフローチャートである。 他の実施形態によるビデオ復号化装置のブロック図である。 一実施形態によるエッジタイプのエッジクラスを図示する図面である。 一実施形態によるエッジタイプのカテゴリーを図示する図面である。 一実施形態によるエッジタイプのカテゴリーを図示する図面である。 一実施形態による、オフセットパラメータを併合するために参照される隣接最大符号化単位を図示する図面である。 一実施形態によるオフセットパラメータのパージング過程のフローチャートである。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用してプログラムを記録して読み取るためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示する図面である。
本発明の一実施形態によって、ビデオ符号化によるオフセットを調整する方法は、ビデオの最大符号化単位のうち、現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、前記現在最大符号化単位を符号化する段階と、前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを示すオフセットタイプ、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を示すオフセットクラス、及び前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を示すオフセット値を含む前記現在最大符号化単位の第１オフセットパラメータを決定する段階と、前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータと、前記第１オフセットパラメータとの同一性に基づいて、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を出力する段階と、を含む。前記オフセット調整方法は、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択しない場合、前記現在最大符号化単位のオフセット併合情報に続き、前記オフセットタイプ、前記オフセット値及び前記オフセットクラスを含む第１オフセットパラメータを出力する段階をさらに含む。
一実施形態による第１オフセットパラメータを出力する段階は、前記オフセットタイプとして、前記現在最大符号化単位に、オフセット調整技法が適用されるか否かということを示すオフ（Off）タイプを出力する段階を含み、前記現在最大符号化単位に、前記オフセット調整技法が適用されるならば、前記現在最大符号化単位の残りのオフセットパラメータを出力する段階をさらに含んでもよい。
一実施形態による前記第１オフセットパラメータを出力する段階は、所定個数のカテゴリー別に対応するオフセット値を出力する段階を含み、前記オフセット値は、それぞれ既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じである。
一実施形態による前記第１オフセットパラメータを出力する段階は、前記エッジタイプを示すオフセットタイプ情報を出力する場合、前記現在最大符号化単位内に含まれた現在復元ピクセルと、隣接復元ピクセルとが構成するエッジの方向により、０゜、９０゜、４５゜または１３５゜の方向を示す前記オフセットクラスを出力する段階を含んでもよい。
一実施形態による前記第１オフセットパラメータを出力する段階は、前記バンドタイプを示すオフセットタイプ情報を出力する場合、ピクセル値の全範囲を分割した多数のバンドのうち、前記復元ピクセルのピクセル値が属するバンドの位置を示す前記オフセットクラスを出力する段階を含んでもよい。
一実施形態による前記第１オフセットパラメータを出力する段階は、前記バンドタイプを示すオフセットタイプ情報を出力する場合、前記オフセット値として、前記オフセット値が０であるか否かということを示すゼロ値情報を出力する段階をさらに含み、前記オフセット値が０ではないならば、前記ゼロ値情報に続き、前記オフセット値が正数であるか、あるいは負数であるかということを示す符号情報、及び残りのオフセット値を出力する段階をさらに含んでもよい。
一実施形態による前記第１オフセットパラメータを出力する段階は、前記エッジタイプを示すオフセットタイプ情報を出力する場合、前記オフセット値が０であるか否かということを示すゼロ値情報、及び残りのオフセット値を出力する段階をさらに含んでもよい。
一実施形態による前記現在最大符号化単位のオフセット併合情報を出力する段階は、前記左側または上端の最大符号化単位の第２オフセットパラメータが、前記第１オフセットパラメータと同一であるならば、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択することを示す前記オフセット併合情報のみを出力し、前記現在最大符号化単位の第１オフセットパラメータを出力しない段階を含み、前記左側または上端の最大符号化単位の第２オフセットパラメータが、前記第１オフセットパラメータと異なるならば、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択しないことを示す前記オフセット併合情報を出力する段階を含んでもよい。
一実施形態により、前記現在最大符号化単位のルマ成分のオフセットパラメータ、第１クロマ成分のオフセットパラメータ、及び第２クロマ成分のオフセットパラメータについて、共同のオフセット併合情報が適用されもする。
一実施形態により、前記現在最大符号化単位の第１クロマ成分のオフセットパラメータ、及び第２クロマ成分のオフセットパラメータは、共通のオフセットタイプを有することができる。
本発明の一実施形態によって、ビデオ復号化のためにオフセットを調整する方法は、受信したビットストリームから、ビデオの最大符号化単位のうち、現在最大符号化単位の第１オフセットパラメータとして、前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を抽出する段階と、前記オフセット併合情報に基づいて、前記現在最大符号化単位のオフセットタイプ、オフセット値及びオフセットクラスを含む前記第１オフセットパラメータを復元する段階と、前記オフセットタイプに基づいて、前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを決定する段階と、前記オフセットクラスに基づいて、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を決定する段階と、前記オフセット値に基づいて、前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を決定する段階と、前記現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、復元された復元ピクセルのピクセル値を前記差値ほど調整する段階と、を含む。
一実施形態による、前記エッジタイプであるか、あるいはバンドタイプであるかということを決定する段階は、前記オフセットタイプに基づいて、前記現在最大符号化単位に、オフセット調整技法が適用されるか否かということを示すオフタイプを抽出する段階と、前記抽出されたオフタイプに基づいて、前記最大符号化単位に、前記オフセット調整技法が適用されるならば、残りのオフセットパラメータを抽出する段階と、をさらに含んでもよい。
一実施形態による前記第１オフセット値を決定する段階は、所定個数のカテゴリーに対応するオフセット値を決定する段階を含み、前記オフセット値は、既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じである。
一実施形態による前記エッジ方向またはバンド範囲を決定する段階は、前記オフセットタイプ情報が前記エッジタイプを示す場合、前記復元されたオフセットクラスに基づいて、前記現在最大符号化単位内に含まれた現在復元ピクセルと、隣接復元ピクセルとが構成するエッジの方向を、０゜、９０゜、４５゜または１３５゜のうちいずれか一つに決定する段階を含んでもよい。
一実施形態による前記エッジ方向またはバンド範囲を決定する段階は、前記オフセットタイプ情報が前記バンドタイプを示す場合、前記復元されたオフセットクラスに基づいて、ピクセル値の全範囲を分割した多数のバンドのうち、前記復元ピクセルのピクセル値が属するバンドの位置を決定する段階を含んでもよい。
一実施形態による前記差値を決定する段階は、前記オフセットタイプ情報が前記バンドタイプを示す場合、前記復元されたオフセット値のうちゼロ値情報に基づいて、前記オフセット値が０であるか否かということを決定する段階をさらに含み、前記ゼロ値情報に基づいて、前記オフセット値が０ではないならば、前記復元されたオフセット値のうち前記ゼロ値情報に続く符号情報に基づいて、前記オフセット値が正数であるか、あるいは負数であるかということを決定し、前記符号情報に続く残りのオフセット値を復元する段階をさらに含んでもよい。
一実施形態による、前記差値を決定する段階は、前記オフセットタイプ情報が前記エッジタイプを示す場合、前記復元されたオフセット値のうちゼロ値情報に基づいて、前記オフセット値が０であるか否かということを決定する段階をさらに含み、前記ゼロ値情報に基づいて、前記オフセット値が０ではないならば、前記復元されたオフセット値のうち前記ゼロ値情報に続く残りのオフセット値を復元する段階をさらに含んでもよい。
一実施形態による前記第１オフセットパラメータを復元する段階は、前記オフセット併合情報に基づいて、前記第１オフセットパラメータとして、前記左側または上端の最大符号化単位の第２オフセットパラメータを採択する場合、前記現在最大符号化単位の第１オフセットパラメータを抽出せず、前記第２オフセットパラメータと同一である前記第１オフセットパラメータを復元する段階を含み、前記オフセット併合情報に基づいて、前記第１オフセットパラメータとして、前記左側または上端の最大符号化単位の第２オフセットパラメータを採択しない場合、前記ビットストリームから、前記オフセット併合情報に続く前記第１オフセットパラメータを抽出して復元する段階を含む段階を含んでもよい。
一実施形態による前記第１オフセットパラメータを復元する段階は、前記現在最大符号化単位の共通のオフセット併合情報を利用して、ルマ成分のオフセットパラメータ、第１クロマ成分のオフセットパラメータ、及び第２クロマ成分のオフセットパラメータを復元する段階を含んでもよい。
一実施形態による前記第１オフセットパラメータを復元する段階は、前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分の共通のオフセットタイプを復元する段階を含んでもよい。
本発明の一実施形態による、オフセットを調整するビデオ符号化装置は、ビデオの最大符号化単位のうち、現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、前記現在最大符号化単位を符号化する符号化部；前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを示すオフセットタイプ、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を示すオフセットクラス、及び前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を示すオフセット値を含む前記現在最大符号化単位の第１オフセットパラメータを決定するオフセットパラメータ決定部；及び前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータと、前記第１オフセットパラメータとの同一性に基づいて、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を出力するオフセットパラメータ出力部；を含む。前記オフセットパラメータ出力部は、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択しない場合、前記現在最大符号化単位のオフセット併合情報に続き、前記オフセットタイプ、前記オフセット値及び前記オフセットクラスを含む第１オフセットパラメータを出力する。
本発明の一実施形態による、オフセットを調整するビデオ復号化装置は、受信したビットストリームから、ビデオの最大符号化単位のうち、現在最大符号化単位の第１オフセットパラメータとして、前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を抽出し、前記オフセット併合情報に基づいて、前記現在最大符号化単位のオフセットタイプ、オフセット値及びオフセットクラスを含む前記第１オフセットパラメータを復元するオフセットパラメータ抽出部；前記オフセットタイプに基づいて、前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを決定し、前記オフセットクラスに基づいて、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を決定し、前記オフセット値に基づいて、前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を決定するオフセット決定部；及び前記現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、復元された復元ピクセルのピクセル値を前記差値ほど調整するオフセット調整部；を含む。
本発明は、一実施形態によるビデオ符号化によるオフセット調整方法を電算的に具現するためのプログラムが記録されたコンピュータで読取り可能な記録媒体を含む。
本発明は、一実施形態によるビデオ復号化のためのオフセット調整方法を電算的に具現するためのプログラムが記録されたコンピュータで読取り可能な記録媒体を含む。
以下、図１Ａないし図７を参照し、一実施形態による、ピクセル分類によるオフセット調整技法を利用するビデオ符号化技法及びビデオ復号化技法について開示する。また、図１Ａないし図２０を参照し、一実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法で、ピクセル分類によるオフセット調整が利用される実施形態について開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示すことができる。
まず、図１Ａないし図７を参照し、一実施形態による、ピクセル分類によるオフセット調整を利用するビデオ符号化技法及びビデオ復号化技法について開示する。
図１Ａ及び図１Ｂは、一実施形態によるビデオ符号化装置１０のブロック図と、ビデオ符号化装置のオフセット調整方法１１のフローチャートと、を図示している。
一実施形態によるビデオ符号化装置１０は、ＬＣＵ（largest coding unit）符号化部１２、オフセットパラメータ決定部１４及びオフセットパラメータ符号化部１６を含む。
一実施形態によるビデオ符号化装置１０は、ビデオの映像を入力され、それぞれの映像をブロックに区画し、ブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位（ＬＣＵ：largest coding unit）、符号化単位（ＣＵ：coding unit）などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式については、図１Ａないし図２０を参照して後述する。
一実施形態によるビデオ符号化装置１０は、ビデオの映像を入力され、それぞれの映像を最大符号化単位に区画し、最大符号化単位ごとに、サンプルに対して、予測、変換、エントロピー符号化を行って生成された結果データを、ビットストリームのタイプで出力することができる。最大符号化単位のサンプルは、最大符号化単位に含まれたピクセルのピクセル値データでもある。
一実施形態によるＬＣＵ符号化部１２は、ピクチャの最大符号化単位ごとに、符号化を個別的に行うことができる。一実施形態によるＬＣＵ符号化部１２は、現在最大符号化単位から分割されたツリー構造の符号化単位を基に、現在最大符号化単位を符号化することができる。
一実施形態によるＬＣＵ符号化部１２は、現在最大符号化単位の符号化のために、現在符号化単位に含まれたツリー構造の符号化単位ごとに、イントラ予測、インター予測、変換、量子化を行ってサンプルを符号化することができる。
一実施形態によるＬＣＵ符号化部１２は、符号化されたサンプルに対して、さらにツリー構造の符号化単位ごとに、逆量子化、逆変換、インター予測またはイントラ補償を介して復号化し、現在最大符号化単位に含まれたサンプルを復元することができる。
一実施形態によるビデオ符号化装置１０は、現在最大符号化単位が符号化される前の原本ピクセルと、さらに復号化した後の復元復元ピクセルとの誤差を最小化するために、原本ピクセルと復元ピクセルとの差値を示すオフセット値を決定することができる。
一実施形態によるオフセットパラメータ決定部１４は、最大符号化単位別オフセット値を決定することができる。オフセット値、オフセットタイプ及びオフセットクラスを含むオフセットパラメータも、最大符号化単位別に決定することができる。
一実施形態によるオフセットパラメータ決定部１４は、現在最大符号化単位のピクセル値分類方式により、オフセットタイプを決定することができる。一実施形態によるオフセットタイプは、エッジタイプまたはバンドタイプとして決定される。現在ブロックのピクセル値分類方式により、現在ブロックを、エッジタイプによってピクセルを分類するか、あるいはバンド形態によってピクセルを分類するのが適するかということが決定される。
一実施形態によるオフセットタイプがエッジタイプである場合、現在最大符号化単位の復元ピクセルが隣接ピクセルと形成するエッジの方向及び形態により、復元ピクセルと原本ピクセルとのオフセットが決定される。
一実施形態によるオフセットタイプがバンドタイプである場合、現在最大符号化単位の復元ピクセルのピクセル値の全範囲を分割した多数のバンドのうち、各バンドに属する復元ピクセルと原本ピクセルとのオフセットが決定される。場合によって、バンドは、ピクセル値の総範囲を均等な間隔に分割するか、あるいは非均等間隔に分割することもできる。
従って、一実施形態によるオフセットパラメータ決定部１４は、現在最大符号化単位のピクセル値の空間的特性に基づいて、エッジタイプであるか、あるいはバンドタイプであるかということを示す現在最大符号化単位のオフセットタイプを決定することができる。
一実施形態によるオフセットパラメータ決定部１４は、現在最大符号化単位のオフセットタイプによって、復元ピクセルごとに、オフセットクラスを決定することができる。一実施形態によるオフセットクラスは、エッジクラスまたはバンドクラスとして決定される。
エッジタイプの場合、一実施形態によるエッジクラスは、復元ピクセルが隣接ピクセルと形成するエッジの方向を示すことができる。一実施形態によるエッジクラスは、０゜、９０゜、４５゜または１３５゜のエッジ方向を示すことができる。
一実施形態によるオフセットパラメータ決定部１４は、オフセットタイプがエッジタイプである場合、現在最大符号化単位の復元ピクセルごとに、エッジクラスを決定することができる。
バンドタイプの場合、一実施形態によるバンドクラスは、現在最大符号化単位のピクセル値の総範囲が、所定個数の連続するピクセル値区間に分割されるとき、各ピクセル値区間をバンドと称し、復元ピクセルのピクセル値が属するバンドを示すバンド位置を示すことができる。
例えば、一実施形態によるピクセル値が、８ビットであるサンプルの場合、ピクセル値の総範囲は、０ないし２５５であり、ピクセル値は、総３２個のバンドに分割される。その場合、総３２個のバンドのうち、復元ピクセルのピクセル値が属する所定個数のバンドが決定される。一実施形態によるバンドクラスは、連続する所定個数のバンドの開始位置を示し、最も先立つバンドの位置を、０ないし３１のバンドインデックスでもって表現することもできる。
エッジタイプの場合、現在最大符号化単位の復元ピクセルは、隣接ピクセルと形成するエッジ形態により、所定個数のカテゴリーに分類される。例えば、凹状エッジ（concave）の局部最低点（local valley）、凹状エッジの曲線コーナー（corner）、凸状エッジ（convex）の曲線コーナー、凸状エッジの局部最高点（local peak）の４種エッジ形態により、復元ピクセルが４個のカテゴリーに分類される。現在最大符号化単位の復元ピクセルごとに、いずれの形態のエッジを形成するかということにより、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
バンドタイプの場合、現在最大符号化単位の復元ピクセルのピクセル値が属するバンド位置により、所定個数のカテゴリーに分類される。例えば、バンドクラスが示すバンドの開始位置から連続する４個のバンドのバンドインデックスにより、復元ピクセルが４個のカテゴリーに分類される。現在最大符号化単位の復元ピクセルごとに、４個のバンドのうちいずれのバンドに属するかということにより、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
一実施形態によるオフセットパラメータ決定部１４は、現在最大符号化単位の復元ピクセルごとに、カテゴリーを決定することができる。一実施形態によるオフセットパラメータ決定部１４は、現在符号化単位で、同一カテゴリーに属する復元ピクセルに対して、復元ピクセルと原本ピクセルとの差値を利用して、オフセット値を決定することができる。各カテゴリーごとに、復元ピクセルと原本ピクセルとの差値の平均、すなわち、復元ピクセルの平均誤差を、現在カテゴリーに対応するオフセット値として決定することができる。一実施形態によるオフセットパラメータ決定部１４は、カテゴリーごとにオフセット値を決定し、現在最大符号化単位のためのオフセット値として、全てのカテゴリーのオフセット値を決定することができる。
例えば、現在最大符号化単位のオフセットタイプがエッジタイプであり、エッジ形態により、復元ピクセルが４個のカテゴリーに分類されるか、あるいは現在最大符号化単位のオフセットタイプがバンドタイプであり、連続する４個のバンドのインデックスにより、復元ピクセルが４個のカテゴリーに分類される場合、一実施形態によるオフセットパラメータ決定部１４は、４個のカテゴリーごとに、属する復元ピクセルと原本ピクセルとの平均誤差を決定するので、４個のオフセット値を決定することができる。
一実施形態によるオフセット値は、それぞれ既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じである。
一実施形態によるオフセットパラメータ符号化部１６は、オフセットパラメータ決定部１４で決定された現在最大符号化単位のオフセットタイプ、オフセットクラス及びオフセット値を含むオフセットパラメータを符号化して出力することができる。
各ブロックのオフセットパラメータは、各ブロックのオフセットタイプとオフセット値とを含んでもよい。オフセットタイプとして、オフ（Off）タイプ、エッジ（Edge）タイプ、バンド（Band）タイプが出力される。
オフセットタイプがオフタイプである場合、現在最大符号化単位に対してオフセット調整技法が適用されないということを示すことができる。その場合、現在最大符号化単位の残りのオフセットパラメータも、それ以上符号化される必要がない。
オフセットタイプがエッジタイプである場合、オフセットパラメータは、エッジクラスのうち各エッジクラスごとに対応するオフセット値を含んでもよい。また、オフセットタイプがバンドタイプである場合、オフセットパラメータは、バンドのうち各バンドごとに対応するオフセット値を含んでもよい。すなわち、オフセットパラメータ符号化部１６は、各ブロックごとに、オフセットパラメータを符号化することができる。
一実施形態によるオフセットパラメータ符号化部１６は、現在最大符号化単位の第１オフセットパラメータと、隣接する左側最大符号化単位または上端最大符号化単位の第２オフセットパラメータとの同一性に基づいて、現在最大符号化単位の第１オフセットパラメータとして、第２オフセットパラメータを採択するか否かということを示す現在最大符号化単位のオフセット併合情報を出力することができる。
一実施形態によるオフセットパラメータ符号化部１６は、現在最大符号化単位の左側及び上端の最大符号化単位において、少なくとも１つのオフセットパラメータが、現在最大符号化単位のオフセットパラメータと同一であるならば、現在ブロックのオフセットパラメータを除外し、オフセット併合情報だけ符号化することもできる。その場合、現在最大符号化単位のオフセットパラメータとして、左側または上端の最大符号化単位のオフセットパラメータを採択することを示すオフセット併合情報を出力することができる。
一実施形態によるオフセットパラメータ符号化部１６は、左側及び上端の最大符号化単位のオフセットパラメータが、現在最大符号化単位のオフセットパラメータと異なるならば、現在ブロックのオフセット併合情報と、オフセットパラメータとを符号化することができる。その場合、現在最大符号化単位のオフセットパラメータとして、左側または上端の最大符号化単位のオフセットパラメータを採択しないということを示すオフセット併合情報を出力することができる。
オフセット併合情報と、オフセットパラメータとを出力する実施形態は、以下、図１Ｂのオフセット調整方法１１のフローチャートを参照して詳細に説明する。
段階１３で、符号化部１２は、最大符号化単位のうち現在最大符号化単位を、ツリー構造の符号化単位を基に符号化することができる。
段階１５で、オフセットパラメータ決定部１４は、現在最大符号化単位の第１オフセットパラメータを決定することができる。第１オフセットパラメータは、現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを示すオフセットタイプ、エッジタイプによるエッジ方向、またはバンドタイプによるバンド範囲を示すオフセットクラス、及びオフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を示すオフセット値を含んでもよい。
段階１７で、オフセットパラメータ符号化部１６は、現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータと、第１オフセットパラメータとの同一性に基づいて、第１オフセットパラメータとして、現在最大符号化単位のオフセット併合情報をさらに出力することができる。
一実施形態によるオフセットパラメータ符号化部１６が、第１オフセットパラメータとして、第２オフセットパラメータを採択する場合には、オフセット併合情報のみを出力するだけであり、それ以外に、現在最大符号化単位のオフセットタイプ、オフセットクラス、オフセット値を出力しないこともある。
ただし、段階１９で、オフセットパラメータ符号化部１６が、第１オフセットパラメータとして、第２オフセットパラメータを採択しない場合には、現在最大符号化単位のオフセット併合情報に続き、現在最大符号化単位のオフセットタイプ、オフセット値及びオフセットクラスを含むように、第１オフセットパラメータを出力することができる。
一実施形態によるオフセットパラメータ符号化部１６は、第１オフセットパラメータのオフセットタイプ、オフセット値及びオフセットクラスを出力する場合、現在最大符号化単位のオフセットタイプ、カテゴリー別オフセット値、そしてオフセットクラスの順序で出力することができる。
他の実施形態によるビデオ符号化装置１０は、現在スライスで、最大符号化単位ごとに、オフセットを調整するか否かということを決定することができる。
現在スライスで、オフセットが調整されるならば、オフセットパラメータ決定部１４は、最大符号化単位ごとに、それぞれのオフセット併合情報と、オフセットパラメータとを決定することができる。その場合、オフセットパラメータ符号化部１６は、現在スライスにオフセット技法が適用されるということを示すオフセット調整情報を出力した後、最大符号化単位ごとに決定されたそれぞれのオフセット併合情報と、オフセットパラメータとを出力することができる。
もし現在スライスで、オフセットが調整されないのであるならば、オフセットパラメータ決定部１４は、現在スライスの最大符号化単位のオフセットを決定する必要がなく、オフセットパラメータ符号化部１６は、現在スライスで、オフセットが調整されないということを示すオフセット調整情報のみを出力すればよい。
段階１９で、オフセットパラメータ符号化部１６は、所定個数のカテゴリー別に対応するオフセット値を出力することができる。段階１９で、オフセットパラメータ符号化部１６が、エッジタイプを示すオフセットタイプ情報を出力する場合、現在最大符号化単位内に含まれた復元ピクセルのエッジ方向により、０゜、９０゜、４５゜または１３５゜の方向を示すエッジクラスを出力することができる。
段階１９で、オフセットパラメータ符号化部１６が、バンドタイプを示すオフセットタイプ情報を出力する場合、現在最大符号化単位内に含まれた復元ピクセルのバンド位置を示すバンドクラスを出力することができる。
段階１９で、オフセットパラメータ符号化部１６が、バンドタイプを示すオフセットタイプ情報を出力する場合、オフセット値として、オフセット値が０であるか否かということを示すゼロ値情報を出力することができる。オフセット値が０であるならば、オフセットパラメータ符号化部１６は、オフセット値としてゼロ値情報のみを出力すればよい。
オフセット値が０ではないならば、オフセットパラメータ符号化部１６は、ゼロ値情報に続き、オフセット値が正数であるか、あるいは負数であるかということを示す符号情報、及び残りのオフセット値をさらに出力することができる。
段階１９で、オフセットパラメータ符号化部１６が、エッジタイプを示すオフセットタイプ情報を出力する場合、ゼロ値情報、及び残りのオフセット値を出力することができる。エッジタイプの場合、オフセット値の符号情報を出力する必要がない。エッジ形態によるカテゴリーだけで、オフセット値の符号が予測されるからである。オフセット値符号の予測については、図５Ａ及び図５Ｂを参照して後述する。
段階１７で、オフセットパラメータ符号化部１６は、現在最大符号化単位のルマ（luma）成分、第１クロマ（chroma）成分及び第２クロマ成分のオフセット調整のために、共通のオフセット併合情報を出力することができる。
段階１９で、オフセットパラメータ符号化部１６は、現在最大符号化単位の第１クロマ成分のオフセットパラメータ、及び第２クロマ成分のオフセットパラメータのうち、共通のオフセットタイプを出力することができる。
一実施形態によるビデオ符号化装置１０は、符号化部１２、オフセットパラメータ決定部１４及びオフセットパラメータ符号化部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、符号化部１２、オフセットパラメータ決定部１４及びオフセットパラメータ符号化部１６が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１０が全体的に作動することもできる。または、一実施形態によるビデオ符号化装置１０の外部プロセッサ（図示せず）の制御により、符号化部１２、オフセットパラメータ決定部１４及びオフセットパラメータ符号化部１６が制御されもする。
一実施形態によるビデオ符号化装置１０は、符号化部１２、オフセットパラメータ決定部１４及びオフセットパラメータ符号化部１６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサ、または外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、ビデオ符号化装置１０、中央演算装置またはグラフィック演算装置がビデオエンコーディングプロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合を含んでもよい。
図２Ａ及び図２Ｂは、一実施形態によるビデオ復号化装置２０のブロック図と、ビデオ復号化装置のオフセット調整方法２１のフローチャートと、を図示している。
一実施形態によるビデオ復号化装置２０は、オフセットパラメータ抽出部２２、オフセット決定部２４及びオフセット調整部２６を含む。
一実施形態によるビデオ復号化装置２０は、ビデオの符号化されたデータを含むビットストリームを受信する。ビデオ復号化装置２０は、受信したビットストリームから、符号化されたビデオサンプルをパージングし、映像ブロック別に、エントロピー復号化、逆量子化、逆変換、予測及び動き補償を行って復元ピクセルを生成し、結果として、復元映像を生成することができる。
また、一実施形態によるビデオ復号化装置２０は、原本ピクセルと復元ピクセルとの差値を示すオフセット値を受信し、原本映像と復元映像との誤差を最小化することができる。ビデオ復号化装置２０は、ビデオの最大符号化単位別に符号化されたデータを受信し、それぞれの最大符号化単位から分割されたツリー構造の符号化単位を基に、それぞれの最大符号化単位を復元することができる。以下、現在最大符号化単位のサンプルを復元してオフセットを調整する方法について、図１Ｂを参照して詳細に説明する。
段階２３で、オフセットパラメータ抽出部２２は、受信したビットストリームから、現在最大符号化単位のオフセット併合情報を抽出することができる。現在最大符号化単位のオフセット併合情報は、現在最大符号化単位の第１オフセットパラメータとして、現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータを採択するか否かということを示す。
段階２５で、オフセットパラメータ抽出部２２は、オフセット併合情報に基づいて、現在最大符号化単位のオフセットタイプ、オフセット値及びオフセットクラスを含む第１オフセットパラメータを復元することができる。
一実施形態によるオフセットパラメータ抽出部２２は、オフセット併合情報に基づいて、現在最大符号化単位のオフセットタイプ、オフセット値及びオフセットクラスを、第２オフセットパラメータと同一に復元するか、あるいはビットストリームから、オフセットタイプ、オフセット値及びオフセットクラスを抽出するか否かということを決定することができる。
段階２７で、オフセット決定部２４は、オフセットパラメータ抽出部２２によって決定されたオフセットタイプに基づいて、現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを決定することができる。オフセットタイプから、オフタイプ、エッジタイプ、バンドタイプが決定される。
オフセットタイプがオフタイプである場合、現在最大符号化単位で、オフセット調整技法が適用されないということが決定される。その場合、現在最大符号化単位の残りのオフセットパラメータも、それ以上パージングされる必要がない。
段階２７で、オフセット決定部２４は、オフセットパラメータ抽出部２２によって決定されたオフセットクラスに基づいて、現在最大符号化単位のエッジタイプによるエッジ方向、またはバンドタイプによるバンド範囲を決定することができる。
段階２７で、オフセット決定部２４は、オフセットパラメータ抽出部２２によって決定されたオフセット値に基づいて、先立って決定されたオフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を決定することができる。
段階２９で、オフセット調整部２６は、現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、復元されたサンプルのピクセル値を、オフセット決定部２４によって決定された差値ほど調整することができる。
段階２３で、他の実施形態によるオフセットパラメータ抽出部２２は、現在スライスのヘッダから、現在スライスに含まれた最大符号化単位ごとに、オフセットを調整するか否かということを示すオフセット調整情報を抽出することもできる。オフセットパラメータ抽出部２２は、オフセット調整情報に基づいて、現在スライスで、オフセットが調整されるならば、最大符号化単位ごとに、それぞれのオフセット併合情報と、オフセットパラメータとをさらに抽出することができる。
段階２５で、オフセットパラメータ抽出部２２は、オフセット併合情報に基づいて、第１オフセットパラメータとして、左側または上端の最大符号化単位の第２オフセットパラメータを採択すると決定することができる。その場合、オフセット決定部２４は、現在最大符号化単位の第１オフセットパラメータを抽出せず、先に復元された第２オフセットパラメータと同一に、第１オフセットパラメータを復元することもできる。
段階２５で、オフセットパラメータ抽出部２２は、オフセット併合情報に基づいて、第１オフセットパラメータとして、第２オフセットパラメータを採択しないと決定することもできる。その場合、オフセット決定部２４は、ビットストリームから、オフセット併合情報に続く第１オフセットパラメータを抽出して復元することができる。
段階２３で、オフセットパラメータ抽出部２２は、現在最大符号化単位のルマ成分、第１クロマ成分及び第２クロマ成分のために、共通のオフセット併合情報を抽出することができる。オフセット決定部２４は、共通のオフセット併合情報に基づいて、ルマ成分のオフセットパラメータ、第１クロマ成分のオフセットパラメータ、及び第２クロマ成分のオフセットパラメータを、隣接する最大符号化単位のオフセットパラメータと同一に復元するか否かということを決定することができる。
また、段階２５で、オフセット決定部２４は、現在最大符号化単位の第１クロマ成分及び第２クロマ成分のために、共通のオフセットタイプを復元することができる。
段階２５で、オフセット決定部２４は、オフセットパラメータから、所定個数のカテゴリーに対応するオフセット値を決定することができる。それぞれのオフセット値は、既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じである。
段階２５で、オフセットタイプ情報がエッジタイプを示す場合、オフセットオフセット決定部２４は、クラスに基づいて、現在最大符号化単位内に含まれた復元ピクセルのエッジの方向を、０゜、９０゜、４５゜または１３５゜のうちいずれか一つに決定することができる。
段階２７で、オフセットタイプ情報がバンドタイプを示す場合、オフセット決定部２４は、オフセットクラスに基づいて、復元ピクセルのピクセル値が属するバンドの位置を決定することができる。
段階２７で、オフセットタイプ情報がバンドタイプを示す場合、オフセット決定部２４は、オフセット値のうちゼロ値情報に基づいて、オフセット値が０であるか否かということを決定することができる。ゼロ値情報に基づいて、オフセット値が０と決定される場合、オフセット値からゼロ値情報以外の情報は復元されない。
ゼロ値情報に基づいて、オフセット値が０ではないならば、オフセット決定部２４は、オフセット値のうちゼロ値情報に続く符号情報に基づいて、オフセット値が正数であるか、あるいは負数であるかということを決定することができる。また、オフセット値のうち符号情報に続く残りのオフセット値を復元することにより、オフセット決定部２４は、最終オフセット値を決定することができる。
また、段階２７で、オフセットタイプ情報がエッジタイプを示す場合、オフセット決定部２４は、オフセット値のうちゼロ値情報に基づいて、オフセット値が０ではないならば、オフセット値のうちゼロ値情報に続く残りのオフセット値を復元することにより、オフセット決定部２４は、最終オフセット値を決定することができる。
一実施形態によるビデオ復号化装置２０は、オフセットパラメータ抽出部２２、オフセット決定部２４及びオフセット調整部２６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、オフセットパラメータ抽出部２２、オフセット決定部２４及びオフセット調整部２６が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ復号化装置２０が全体的に作動することもできる。または、一実施形態によるビデオ復号化装置２０の外部プロセッサ（図示せず）の制御により、オフセットパラメータ抽出部２２、オフセット決定部２４及びオフセット調整部２６が制御されもする。
一実施形態によるビデオ復号化装置２０は、オフセットパラメータ抽出部２２、オフセット決定部２４及びオフセット調整部２６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるビデオ復号化装置２０は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連繋して作動することにより、ビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置２０の内部ビデオデコーディングプロセッサは、別個のプロセッサとして、基本的なビデオ復号化動作を具現することができる。また、ビデオ復号化装置２０、中央演算装置またはグラフィック演算装置がビデオデコーディングプロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合を含んでもよい。
以上、図１Ａ、図１Ｂ、図２Ａ及び図２Ｂを参照して説明した一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、原本ピクセルと復元ピクセルとの誤差を最小化するために、ＳＡＯ（sample adaptive offset）技法を利用する。一実施形態によるＳＡＯ技法により、ビデオ符号化装置１０は、映像ブロックごとに、ピクセルを既定ピクセルグループに分類し、各ピクセルを当該ピクセルグループに割り当て、同一ピクセルグループに含まれた原本ピクセルと復元ピクセルとの誤差の平均値を示すオフセット値を符号化する。
ビデオ符号化装置１０と、ビデオ復号化装置２０との間で、サンプルがシグナリングされる。すなわち、ビデオ符号化装置１０は、サンプルを符号化し、ビットストリームのタイプで伝送し、ビデオ復号化装置２０は、受信したビットストリームから、サンプルをパージングして復元することができる。一実施形態によって、ビデオ符号化装置１０とビデオ復号化装置２０は、ピクセル分類を介して決定されたオフセットほど復元ピクセル値を調整し、原本ピクセルと復元ピクセルとの誤差を最小化するために、オフセットパラメータをシグナリングする。ビデオ符号化装置１０及びビデオ復号化装置２０の間で、オフセットパラメータとして、オフセット値が符号化されて伝送され、受信されて復号化されるシグナリングが行われる。
従って、一実施形態によるＳＡＯ技法により、ビデオ復号化装置２０は、受信されたビットストリームを復号化し、映像ブロックごとに復元ピクセルを生成し、ビットストリームから、オフセット値を復元し、復元ピクセルを当該オフセットほど調整することにより、原本映像との誤差が最小化された復元映像を生成することができる。
以下、図３を参照し、ＳＡＯ技法を利用するビデオ復号化方式について詳細に説明する。図３は、他の実施形態によるビデオ復号化装置３０のブロック図を図示している。
ビデオ復号化装置３０は、エントロピー復号化部３１、逆量子化部３２、逆変換部３３、復元部３４、イントラ予測部３５、参照ピクチャバッファ３６、動き補償部３７、デブロッキングフィルタリング部３８、ＳＡＯ部３９を含む。
ビデオ復号化装置３０は、符号化されたビデオデータを含むビットストリームを受信することができる。エントロピー復号化部３１で、ビットストリームから、イントラモード情報（intra mode information）、インターモード情報（inter mode information）、ＳＡＯ情報（sample adaptive offset information）、残差データ（residues）がパージングされる。
エントロピー復号化部３１によって抽出された残差データは、量子化された変換係数でもある。従って、逆量子化部３２において、残差データに対して逆量子化を行い、変換係数を復元し、逆変換部３３において、復元された復元係数に対して逆変換を行い、空間領域の残差値を復元することができる。
空間領域の残差値を予測復元するために、イントラ予測または動き補償が行われる。
エントロピー復号化部３１において、イントラモード情報が抽出された場合には、イントラ予測部３５が、イントラモード情報を利用して、現在サンプルに空間的に隣接する隣接サンプルのうち、いずれのサンプルを参照して現在サンプルを復元するかということを決定することができる。参照する隣接サンプルを、復元部３４によって、以前に復元されたサンプルのうちから選択する。復元部３４は、イントラモード情報に基づいて決定された参照サンプルと、逆変換部３３で復元された残差値とを利用して、現在サンプルを復元することができる。
エントロピー復号化部３１において、インターモード情報が抽出された場合には、動き補償部３７が、インターモード情報を利用して、現在ピクチャより先に復元されたピクチャにおいて、いずれのサンプルを参照して現在ピクチャの現在サンプルを復元するかということを決定することができる。インターモード情報は、動きベクトル、参照インデックスなどを含んでもよい。参照インデックスを利用して、現在ピクチャより先に復元され、参照ピクチャバッファ３６に保存されたピクチャのうち、現在サンプルの動き補償のための参照ピクチャが決定される。動きベクトルを利用して、参照ピクチャにおいて、現在ブロックの動き補償のための参照ブロックが決定される。復元部３４は、インターモード情報に基づいて決定された参照ブロックと、逆変換部３３で復元された残差値とを利用して、現在サンプルを復元することができる。
復元部３４において、サンプルが復元されて復元ピクセルが出力される。復元部３４は、最大符号化単位ごとに、ツリー構造の符号化単位を基に、復元ピクセルを生成することができる。
デブロッキングフィルタリング部３８において、最大符号化単位またはツリー構造の符号化単位ごとに、符号化単位の境界領域に位置するピクセルに対してブロッキング現象を軽減させるためのフィルタリングが行われる。
また、一実施形態によるＳＡＯ部３９は、ＳＡＯ技法によって、最大符号化単位別に、復元ピクセルのオフセットを調整することができる。ＳＡＯ部３９は、エントロピー復号化部３１に抽出されたＳＡＯ情報から、現在最大符号化単位のためのオフセットタイプ、オフセットクラス、オフセット値を決定することができる。
エントロピー復号化部３１において、ＳＡＯ情報から抽出する動作は、ビデオ復号化装置２０のオフセットパラメータ抽出部２２の動作に相応し、ＳＡＯ部３９の動作は、ビデオ復号化装置２０のオフセット決定部２４及びオフセット調整部２６の動作に相応する。
ＳＡＯ部３９は、ＳＡＯオフセット値から、現在最大符号化単位の復元ピクセルごとにオフセット値の符号及び差値を決定することができる。ＳＡＯ部３９は、復元ピクセルごとに、オフセット値から決定された差値ほど、ピクセル値を増減させることにより、復元ピクセルと原本ピクセルとの誤差を小さくすることができる。
一実施形態によるＳＡＯ部３９によって、オフセットが調整された復元ピクセルを含むピクチャが、参照ピクチャバッファ３６に保存される。従って、一実施形態によるＳＡＯ技法によって、復元サンプルと原本ピクセルとの誤差が最小化された参照ピクチャを利用して、次のピクチャの動き補償が行われる。
一実施形態によるＳＡＯ技法によれば、復元ピクセルごとに、原本ピクセルとの差値を基に、復元ピクセルを含むピクセルグループのオフセットが決定される。まず、一実施形態によるＳＡＯ技法のために、復元ピクセルをピクセルグループに分類する実施形態について詳細に説明する。
一実施形態によるＳＡＯ技法によれば、（ｉ）復元ピクセルが構成するエッジタイプによって、ピクセルが分類されるか、あるいは（ｉｉ）復元ピクセルのバンドタイプによって、ピクセルが分類される。一実施形態によって、ピクセルがエッジタイプによって分類されるか、またはバンドタイプによって分類されるかということは、オフセットタイプと定義される。
まず、一実施形態によるＳＡＯ技法により、エッジタイプによって、ピクセルを分類する実施形態について詳細に説明する。
現在最大符号化単位について、エッジタイプのオフセットを決定する場合、現在最大符号化単位に含まれた各復元ピクセルのエッジクラスが決定される。すなわち、現在復元ピクセルと、隣接ピクセルのピクセル値とを比較し、現在復元ピクセルのエッジクラスが定義される。エッジクラスが決定される一例について、図４を参照して以下で説明する。
図４は、一実施形態による、エッジタイプのエッジクラスを図示している。
エッジクラス４１，４２，４３，４４のインデックスが、順に０、１、２、３と割り当てられる。エッジタイプの発生頻度が高いほど、エッジタイプのインデックスは、小さく割り当てられる。
エッジクラスは、現在復元ピクセルＸ０と隣接する２個の隣接ピクセルが形成する一次元エッジの方向を示すことができる。インデックス０のエッジクラス４１は、現在復元ピクセルＸ０と水平方向に隣接する２個の隣接ピクセルＸ１、Ｘ２がエッジを形成する場合を示す。インデックス１のエッジクラス４２）は、現在復元ピクセルＸ０ワグァ垂直方向に隣接する２個の隣接ピクセルＸ３、Ｘ４がエッジを形成する場合を示す。インデックス２のエッジクラス４３は、現在復元ピクセルＸ０に、１３５゜対角方向に隣接する２個の隣接ピクセルＸ５、Ｘ８がエッジを形成する場合を示す。インデックス３のエッジクラス４４は、現在復元ピクセルＸ０に４５゜対角方向に隣接する２個の隣接ピクセルＸ６、Ｘ７がエッジを形成する場合を示す。
従って、現在最大符号化単位内に含まれた復元ピクセルのエッジ方向を分析し、現在最大符号化単位で、強いエッジの方向を決定することにより、現在最大符号化単位のエッジクラスが決定される。
各エッジクラスごとに、現在ピクセルのエッジ形態によって、カテゴリーが分類される。エッジ形態によるカテゴリーの一例について、図５Ａ及び５Ｂを参照して以下で説明する。
図５Ａ及び５Ｂは、一実施形態によるエッジタイプのカテゴリーを図示している。
エッジカテゴリーは、現在ピクセルが凹状エッジの最低点なのか、凹状エッジの最低点周りに位置する曲線コーナーのピクセルなのか、凸状エッジの最高点であるか、あるいは凸状エッジの最高点周囲に位置する曲線コーナーのピクセルであるかということを示す。
図５Ａは、エッジのカテゴリーを決定するための条件を例示する。図５Ｂは、復元ピクセルと隣接ピクセルとのエッジ形態、及びピクセル値ｃ，ａ，ｂのグラフを例示している。
ｃは、復元ピクセルのインデックス、ａ、ｂは、エッジ方向に沿って、現在復元ピクセル両側に隣接する隣接ピクセルのインデックスを示す。Ｘａ、Ｘｂ、Ｘｃは、それぞれインデックスａ，ｂ，ｃである復元ピクセルのピクセル値を示す。図５Ｂのグラフのｘ軸は、復元ピクセルの両側に隣接する隣接ピクセルのインデックスを、ｙ軸は、各サンプルのピクセル値を示す。
カテゴリー１は、現在サンプルが凹状エッジの最低点、すなわち、ローカルバレー（local valley）地点の場合を示す。（Ｘｃ＜Ｘａ＆＆Ｘｃ＜Ｘｂ）グラフ５１のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが、凹状エッジの最低点である場合、現在復元ピクセルは、カテゴリー１に分類される。
カテゴリー２は、現在サンプルが、凹状エッジの最低点周辺に位置する曲線コーナー（concave corners）に位置する場合を示す。（Ｘｃ＜Ｘａ＆＆Ｘｃ＝＝Ｘｂ｜｜Ｘｃ＝＝Ｘａ＆＆Ｘｃ＜Ｘｂ）グラフ５２のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが、凹状エッジの下降カーブが終了する地点に位置するか（Ｘｃ＜Ｘａ＆＆Ｘｃ＝＝Ｘｂ）、あるいはグラフ５３のように、現在復元ピクセルｃが、凹状エッジの上昇カーブが始める地点に位置するか（Ｘｃ＝＝Ｘａ＆＆Ｘｃ＜Ｘｂ）する場合、現在復元ピクセルは、カテゴリー２に分類される。
カテゴリー３は、現在サンプルが、凸状エッジの最高点周辺に位置する曲線コーナー（convex corners）に位置する場合を示す。（Ｘｃ＞Ｘａ＆＆Ｘｃ＝＝Ｘｂ｜｜Ｘｃ＝＝Ｘａ＆＆Ｘｃ＞Ｘｂ）グラフ５４のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが、凹状エッジの下降カーブが始める地点に位置するか（Ｘｃ＞Ｘａ＆＆Ｘｃ＝＝Ｘｂ）、あるいはグラフ５５のように、現在復元ピクセルｃが凹状エッジの上昇カーブが終了する地点に位置するか（Ｘｃ＝＝Ｘａ＆＆Ｘｃ＞Ｘｂ）する場合、現在復元ピクセルは、カテゴリー３に分類される。
カテゴリー４は、現在サンプルが凸状エッジの最高点、すなわち、ローカルピーク（local peak）地点である場合を示す。（Ｘｃ＞Ｘａ＆＆Ｘｃ＞Ｘｂ）グラフ５６のように、隣接ピクセルａ，ｂ間で、現在復元ピクセルｃが、凸状エッジの最高点である場合、現在復元ピクセルは、カテゴリー４に分類される。
現在復元ピクセルについて、カテゴリー１，２，３，４の条件がいずれも充足されない場合には、エッジではないので、カテゴリー０に分類され、カテゴリー０に係わるオフセットは、別途に符号化される必要はない。
一実施形態により、同一カテゴリーに該当する復元ピクセルについて、復元ピクセルと原本ピクセルとの差値の平均値が、現在カテゴリーのオフセットとして決定される。また、各カテゴリーごとに、オフセットが決定される。
カテゴリー１，２の凹状エッジは、正数オフセット値によって、復元ピクセル値が調整されるならば、エッジが平坦になるスムージング（smoothing）効果が生じ、負数オフセット値によって、エッジの先鋭度（sharpness）が高くなるシャープニング（sharpening）効果が生じる。カテゴリー３，４の凸状エッジは、負数オフセット値によって、エッジのスムージング効果が生じ、正数オフセット値によって、エッジのシャープニング効果が生じる。
一実施形態によるビデオ符号化装置１０は、エッジのシャープニング効果を許容しないこともある。その場合には、カテゴリー１，２の凹状エッジについては、正数オフセット値が必要であり、カテゴリー３，４の凸状エッジについては、負数オフセット値が必要である。その場合、エッジのカテゴリーを知っているならば、オフセット値の符号を決定することができる。従って、ビデオ符号化装置１０とビデオ復号化装置２０は、オフセット値の符号を除外し、オフセット値の絶対値さえ送受信すればよい。
従って、ビデオ符号化装置１０は、現在エッジクラスのカテゴリーごとに対応するオフセット値を符号化して送信し、ビデオ復号化装置２０は、受信されたカテゴリー別オフセット値を利用して、復元ピクセルごとに、当該カテゴリーのオフセット値ほど調整することができる。
例えば、エッジタイプのオフセット値が０と決定される場合、ビデオ符号化装置１０は、オフセット値として、ゼロ値情報のみを伝送することができる。
例えば、エッジタイプのオフセット値が０ではない場合には、ビデオ符号化装置１０は、オフセット値として、ゼロ値情報と絶対値とを伝送することができる。オフセット値の符号を伝送する必要がない。
ビデオ復号化装置２０は、受信されたオフセット値からゼロ値情報を読み取り、０ではないならば、オフセット値の絶対値を読み取ることができる。オフセット値の符号は、復元ピクセルと隣接ピクセルとのエッジ形態によるエッジカテゴリーによって予測される。
従って、一実施形態によるビデオ符号化装置１０は、エッジ方向、エッジ形態によってピクセルを分類し、同一特性のピクセル間の平均誤差値をオフセット値として決定し、カテゴリー別にオフセット値を決定することができる。ビデオ符号化装置１０は、エッジタイプであるということを示すオフセットタイプ情報、エッジ方向を示すオフセットクラス情報、及びオフセット値を符号化して伝送することができる。
一実施形態によるビデオ復号化装置２０は、オフセットタイプ情報、オフセットクラス情報及びオフセット値を受信し、オフセットタイプ情報及びオフセットクラス情報によって、エッジ方向を決定することができる。ビデオ復号化装置２０は、復元ピクセルごとに、エッジ方向によるエッジ形態に対応するカテゴリー別オフセット値を決定し、復元ピクセルのピクセル値を、オフセット値ほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
次に、一実施形態によるＳＡＯ技法により、バンドタイプによってピクセルを分類する実施形態について詳細に説明する。
一実施形態によって、復元ピクセルのピクセル値は、それぞれバンドのうち一つに属することができる。例えば、ピクセル値の最小値Ｍｉｎ及び最大値Ｍａｘは、ｐビットサンプリングにより、総範囲が、０、…、２＾（ｐ−１）でもある。ピクセル値総範囲（Ｍｉｎ，Ｍａｘ）は、Ｋ個のピクセル値区間に分割される場合、各ピクセル値区間をバンドと称する。Ｂｋがｋ番目バンドの最大値を示す場合、バンドは、［Ｂ０，Ｂ１−１］、［Ｂ１，Ｂ２−１］、［Ｂ２，Ｂ３−１］、…、［ＢＫ−１，ＢＫ］に分割される。現在復元ピクセルＲｅｃ（ｘ，ｙ）のピクセル値が、［Ｂｋ−１，Ｂｋ］に属する場合、現在バンドは、ｋとして決定される。バンドは、均等なタイプに分割されるか、あるいは非均等タイプに分割されもする。
例えば、ピクセル値分類タイプが、８ビットピクセルの均等バンドである場合、ピクセル値は、３２個のバンドに分割される。具体的には、［０，７］、［８，１５］，…、［２４０，２４７］、［２４８，２５５］のバンドに分類される。
バンドタイプによって分類された多数のバンドのうち、復元ピクセルごとに、それぞれのピクセル値が属するバンドが決定される。また、それぞれのバンドごとに、原本ピクセルと復元ピクセルとの誤差平均を示すオフセット値が決定される。
従って、ビデオ符号化装置１０及びビデオ復号化装置２０は、現在バンドタイプによって分類されたバンドごとに対応するオフセットを符号化して送受信し、復元ピクセルをオフセットほど調整することができる。
従って、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、バンドタイプの場合、復元ピクセルを、それぞれのピクセル値が属するバンドによって分類し、同一バンドに属する復元ピクセル間の平均誤差値をオフセットとして決定し、復元ピクセルをオフセットほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、バンドタイプによるオフセットを決定するとき、復元ピクセルを、バンド位置によるカテゴリーに分類することができる。例えば、ピクセル値の全範囲が、Ｋ個のバンドに分類される場合、ｋ番目バンドを示すバンドインデックスｋによって、カテゴリーがインデクシングされる。バンド個数に相応し、カテゴリーの個数が決定される。
ただし、データ節減のために、ビデオ符号化装置１０及びビデオ復号化装置２０は、ＳＡＯ技法によって、オフセットを決定するために利用されるカテゴリーの個数を制限することができる。例えば、所定開始位置のバンドから、バンドインデックスが増加する方向に連続する所定個数のバンドだけが、それぞれカテゴリーに割り当てられ、各カテゴリーについてのみオフセットが決定される。
例えば、インデックス１２であるバンドが、開始バンドとして決定される場合、開始バンドから４個のバンド、すなわち、インデックス１２，１３，１４，１５のバンドが、それぞれカテゴリー１，２，３，４に割り当てられる。従って、インデックス１２のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー１のオフセットとして決定される。これと同様に、インデックス１３のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー２のオフセットであり、インデックス１４のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー３のオフセットであり、インデックス１５のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー４のオフセットとして決定される。
そのような場合、カテゴリーに割り当てられるバンドの位置を決定するために、開始バンドの位置に係わる情報が必要である。従って、一実施形態によるビデオ符号化装置１０は、オフセットクラスとして、開始バンドの位置に係わる情報を符号化して送信することができる。ビデオ符号化装置１０は、バンドタイプであるということを示すオフセットタイプ、オフセットクラス及びカテゴリー別オフセット値を符号化して伝送することができる。
一実施形態によるビデオ復号化装置２０は、オフセットタイプ、オフセットクラス及びカテゴリー別オフセット値を受信することができる。ビデオ復号化装置２０は、受信されたオフセットタイプがバンドタイプである場合、オフセットクラスから、開始バンドの位置を読み取ることができる。ビデオ復号化装置２０は、復元ピクセルが、開始バンドから４個のバンドのうちいずれのバンドに属するかということを決定し、カテゴリー別オフセット値のうち現在バンドに割り当てられたオフセット値を決定し、復元ピクセル値を、オフセット値ほど調整することができる。
以上、オフセットタイプとしてエッジタイプ及びバンドタイプを紹介し、オフセットタイプによるオフセットクラス及びカテゴリーについて詳細に説明した。以下、ビデオ符号化装置１０及びビデオ復号化装置２０が符号化して送受信するオフセットパラメータについて詳細に説明する。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに、復元ピクセルのピクセル分類方式により、オフセットタイプを決定することができる。
各ブロックの映像特性によって、オフセットタイプが決定される。例えば、垂直エッジ、水平エッジ、対角エッジなどを含む最大符号化単位は、エッジ値修正のために、エッジタイプによってピクセル値を分類し、オフセット値を決定する方が有利である。エッジ領域ではない場合には、バンド分類によって、オフセット値を決定する方が有利でもある。従って、ビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに、オフセットタイプをシグナリングすることができる。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに、オフセットパラメータを決定することができる。すなわち、最大符号化単位の復元ピクセルのオフセットタイプを決定し、最大符号化単位の復元ピクセルをカテゴリー別に分類し、カテゴリー別にオフセット値が決定される。
ビデオ符号化装置１０は、最大符号化単位に含まれた復元ピクセルのうち、同一カテゴリーに分類された復元ピクセルの平均誤差をオフセット値として決定することができる。各カテゴリーごとに、オフセット値が決定される。
一実施形態によるオフセットパラメータは、オフセットタイプ、オフセット値、オフセットクラスを含んでもよい。ビデオ符号化装置１０及びビデオ復号化装置２０は、最大符号化単位ごとに決定されたオフセットパラメータを送受信することができる。
一実施形態によるビデオ符号化装置１０は、最大符号化単位のオフセットパラメータにおいて、オフセットタイプ及びオフセット値を符号化して伝送することができる。オフセットタイプがエッジタイプである場合、一実施形態によるビデオ符号化装置１０は、オフセットタイプ、カテゴリー別オフセット値に続き、エッジ方向を示すオフセットクラスをさらに伝送することができる。オフセットタイプがバンドタイプである場合、一実施形態によるビデオ符号化装置１０は、オフセットタイプ、カテゴリー別オフセット値に続き、開始バンドの位置を示すオフセットクラスをさらに伝送することができる。
一実施形態によるビデオ復号化装置２０は、最大符号化単位ごとに、オフセットタイプ、オフセット値及びオフセットクラスを含むオフセットパラメータを受信することができる。また、一実施形態によるビデオ復号化装置２０は、カテゴリー別オフセット値のうち、それぞれの復元ピクセルが属するカテゴリーのオフセット値を選択し、復元ピクセルごとに選択されたオフセット値ほど調整することができる。
一実施形態によるオフセットパラメータにおいて、オフセット値を送受信する実施形態について以下で説明する。
一実施形態によるビデオ符号化装置１０は、オフセット値を伝送するために、ゼロ値情報をさらに伝送することができる。ゼロ値情報によって、符号情報、残りのオフセット値をさらに伝送することもできる。
一実施形態によるゼロ値情報は、１ビットフラグでもある。すなわち、オフセット値が０であることを示す「０」フラグ、または０ではないということを示す「１」フラグが伝送される。
ゼロ値情報が「０」フラグである場合には、符号情報や残りのオフセット値が、それ以上符号化される必要がない。ただし、ゼロ値情報が「１」フラグである場合には、符号情報、及び残りのオフセット値がさらに伝送される。
ただし、前述のように、エッジタイプの場合、カテゴリーによって、オフセット値が正数または負数であるかということが予測可能であるので、符号情報が伝送される必要がない。従って、ゼロ値情報が「１」フラグである場合、残りのオフセット値がさらに伝送される。
一実施形態によるオフセット値（Off−Set）は、オフセット値を決定する以前に、あらかじめ最小値（ＭｉｎOffSet）及び最大値（ＭａｘOffSet）の範囲に制限される（ＭｉｎOffSet≦Off−Set≦ＭａｘOffSet）。
例えば、エッジタイプの場合、カテゴリー１，２の復元ピクセルに係わるオフセット値は、最小値０及び最大値７の範囲内に決定される。エッジタイプの場合、カテゴリー３，４の復元ピクセルに係わるオフセット値は、最小値−７及び最大値０の範囲内に決定される。
例えば、バンドタイプの場合、全てのカテゴリーの復元ピクセルに係わるオフセット値は、最小値−７ないし最大値７の範囲内に決定される。
一実施形態によるオフセット値に係わる伝送ビットを節減するために、残りのオフセット値（Remainder）を、負数ではないｐビット値で制限することができる。その場合、残りのオフセット値は、０より大きいか、あるいはそれと同じであるが、最大値と最小値との差値よりは小さいか、あるいはそれと同じである（０≦Remainder≦ＭａｘOffSet−ＭｉｎOffSet＋１≦２＾ｐ）。ビデオ符号化装置１０が、残りのオフセット値を伝送し、ビデオ復号化装置２０が、オフセット値の最大値及び最小値のうち少なくとも一つを知っているならば、受信された残りのオフセット値だけで原本オフセット値を復元することができる。
以下、一実施形態によるオフセットパラメータにおけるオフセット併合情報について詳細に説明する。
各ブロックのオフセットタイプ及び／またはオフセット値は、隣接したブロック間で同一である可能性が高い。一実施形態によるビデオ符号化装置１０は、現在ブロックのオフセットパラメータを、隣接ブロックのオフセットパラメータと比較し、オフセットパラメータが同一である場合、現在ブロックと隣接ブロックとのオフセットパラメータを一つに併合して符号化することができる。隣接ブロックのオフセットパラメータが、まず符号化されたならば、現在ブロックのオフセットパラメータとして、隣接ブロックのオフセットパラメータを採択することができる。従って、ビデオ符号化装置１０は、現在ブロックのオフセットパラメータを符号化せず、現在ブロックについて、オフセット併合情報だけ符号化することができる。
一実施形態によるビデオ復号化装置２０は、受信したビットストリームから、オフセットパラメータをパージングする前に、オフセット併合情報をまずパージングし、オフセットパラメータのパージングいかんを決定することができる。ビデオ復号化装置２０は、現在ブロックのオフセット併合情報に基づいて、隣接ブロックのうち、現在ブロックとオフセットパラメータが同一であるブロックがあるか否かということを決定することができる。
例えば、オフセット併合情報に基づいて、隣接ブロックのオフセットパラメータのうち、現在ブロックのオフセットパラメータが同一であるブロックがある場合、ビデオ復号化装置２０は、現在ブロックのオフセットパラメータをパージングせず、現在ブロックのオフセットパラメータとして、隣接ブロックの復元されたオフセットパラメータを採択することができる。従って、ビデオ復号化装置２０は、隣接ブロックのオフセットパラメータと同一に、現在ブロックのオフセットパラメータを復元することができる。また、オフセット併合情報に基づいて、隣接ブロックのうちいずれの隣接ブロックのオフセットパラメータを参照するかということも決定される。
例えば、オフセット併合情報に基づいて、隣接ブロックのオフセットパラメータが、現在ブロックのオフセットパラメータと異なる場合、ビデオ復号化装置２０は、ビットストリームから、現在ブロックのオフセットパラメータをパージングして復元することができる。
図６は、一実施形態による、オフセットパラメータを併合するために参照される隣接最大符号化単位６１，６２を図示している。
一実施形態によるビデオ符号化装置１０は、現在最大符号化単位６０より先行して復元された隣接最大符号化単位のうち、現在最大符号化単位のオフセットパラメータの参照対象になる隣接最大符号化単位の候補リストを決定することができる。ビデオ符号化装置１０は、候補リストの隣接最大符号化単位と、現在最大符号化単位とのオフセットパラメータを比較することができる。
単純な例として、現在ブロック６０と同一である現在ピクチャ６５に位置する左側最大符号化単位６１、上端最大符号化単位６２が候補リストに属する。
従って、一実施形態によるビデオ符号化装置１０は、候補リストに含まれた隣接最大符号化単位を、参照順序により、現在最大符号化単位と、それぞれのオフセットパラメータが同一であるか否かということを比較することができる。例えば、左側最大符号化単位６１、上端最大符号化単位６２の順序により、現在最大符号化単位と、オフセットパラメータが比較される。比較された最大符号化単位６１，６２において、オフセットパラメータが同一である最大符号化単位が、参照最大符号化単位として決定される。
ビデオ符号化装置１０及びビデオ復号化装置２０は、現在最大符号化単位のオフセットパラメータを予測するために、同一隣接最大符号化単位を参照することができる。また、いずれの最大符号化単位のオフセットパラメータを参照するかということを示すオフセット併合情報を送受信することができる。一実施形態によるビデオ復号化装置１０は、オフセット併合情報に基づいて、隣接する最大符号化単位のうち一つを選択し、選択された隣接最大符号化単位のオフセットパラメータと同一に、現在最大符号化単位のオフセットパラメータを復元することができる。
例えば、左側最大符号化単位６１及び上端最大符号化単位６２を参照する場合を想定する。一実施形態によるオフセットパラメータ符号化部１６は、オフセット併合情報として、現在最大符号化単位６０の左側最大符号化単位６１のオフセットパラメータが、現在最大符号化単位６０のオフセットパラメータと同一であるか否かということを示す左側オフセット併合情報；及び上端最大符号化単位６２のオフセットパラメータが、現在最大符号化単位６０のオフセットパラメータと同一であるか否かということを示す上端オフセット併合情報；を符号化することができる。その場合、まず現在最大符号化単位６０と、左側最大符号化単位６１とのオフセットパラメータが同一であるか否かということを比較し、その次に、現在最大符号化単位６０と、上端最大符号化単位６２とのオフセットパラメータが同一であるか否かということを比較する。比較結果により、オフセット併合情報が決定される。
最大符号化単位ブロック６１及び最大符号化単位ブロック６２のうち少なくとも１つのオフセットパラメータが、現在最大符号化単位６０のオフセットパラメータと同一であるならば、オフセットパラメータ符号化部１６は、当該左側オフセット併合情報及び上端オフセット併合情報だけ符号化し、現在最大符号化単位６０のオフセットパラメータは、符号化しない。
左側最大符号化単位６１及び上端最大符号化単位６２のオフセットパラメータが、いずれも現在最大符号化単位６０のオフセットパラメータと異なるならば、オフセットパラメータ符号化部１６は、当該左側オフセット併合情報及び上端オフセット併合情報と、現在最大符号化単位６０のオフセットパラメータと、を符号化することができる。
以下、カラー成分によるオフセットパラメータについて詳細に説明する。
一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、カラー成分間で、オフセットパラメータを相互予測することができる。
一実施形態によるＳＡＯ技法は、ＹＣｒＣｂカラーフォーマットのルマブロック及びクロマブロックにいずれも適用される。現在最大符号化単位のルマ成分、クロマ成分ごとに、オフセット値が決定される。
例えば、現在最大符号化単位のＹ成分、Ｃｒ成分及びＣｂ成分について、共通のオフセット併合情報が適用される。すなわち、１つのオフセット併合情報に基づいて、Ｙ成分のオフセットパラメータが、隣接最大符号化単位のＹ成分のオフセットパラメータと同一であるか否かということが決定され、Ｃｒ成分のオフセットパラメータが、隣接最大符号化単位のＣｒ成分のオフセットパラメータと同一であるか否かということが決定され、Ｃｂ成分のオフセットパラメータが、隣接最大符号化単位のＣｂ成分のオフセットパラメータと同一であるか否かということが決定される。
例えば、現在最大符号化単位のＣｒ成分及びＣｂ成分について、共通のオフセットタイプ情報が適用される。すなわち、１つのオフセットタイプ情報に基づいて、Ｃｒ成分とＣｂ成分とが、エッジタイプまたはバンドタイプによって、オフセット値が決定されるか否かということが分かる。
以下、図７を参照し、現在最大符号化単位のカラー成分別に、オフセットパラメータをパージングする過程について詳細に説明する。
図７は、一実施形態によるオフセットパラメータのパージング過程のフローチャート７０を図示している。
まず段階７１で、現在最大符号化単位の左側オフセット併合情報（Merge Left）がパージングされる。左側オフセット併合情報に基づいて、左側最大符号化単位のオフセットパラメータを参照すると決定されれば、現在オフセットパラメータのパージング過程は終わり、左側最大符号化単位のオフセットパラメータと同一に、現在オフセットパラメータが決定される。
段階７１で、左側オフセット併合情報に基づいて、左側最大符号化単位のオフセットパラメータを参照しないと決定されれば、段階７２で、現在最大符号化単位の上端オフセット併合情報（Merge Right）がパージングされる。上端最大符号化単位のオフセットパラメータを参照すると決定されれば、現在オフセットパラメータのパージング過程は終わり、上端最大符号化単位のオフセットパラメータと同一に、現在オフセットパラメータが決定される。
段階７２で、上端オフセット併合情報に基づいて、上端最大符号化単位のオフセットパラメータを参照しないと決定されれば、段階７３から、現在最大符号化単位のオフセットパラメータがパージングされる。
まず、段階７３で、ルマ（Luma）成分のオフセットタイプ（ＳＡＯ type）がパージングされる。オフセットタイプがオフタイプ（OFF）である場合、ルマ成分に対してＳＡＯ技法によるオフセット調整が行われないので、クロマ成分のオフセットパラメータをパージングするために、段階７４に飛び越す。
段階７３で、ルマ成分のオフセットタイプがエッジタイプ（ＥＯ）である場合、段階７５１で、４つのカテゴリー別に、ルマオフセット値（Luma offsets）がパージングされる。エッジタイプのオフセット値は、符号情報なしにパージングされる。段階７５２で、２ビット（bits）のルマエッジクラス（Luma ＥＯ class）がパージングされる。ルマエッジクラスから、現在最大符号化単位のルマ成分のエッジ方向が決定される。
前述のように、エッジ形態を示す４つのカテゴリー別にオフセット値が受信されるので、全部で４オフセット値になる。現在最大符号化単位の各ルマ復元ピクセルが、エッジ方向に沿って隣接するピクセルとのピクセル値を比較し、いかなるエッジ形態であるかということが決定され、それによってカテゴリーが決定されるので、受信されたオフセット値のうち現在カテゴリーのオフセット値が選択される。選択されたオフセット値を利用して、ルマ復元ピクセルのピクセル値が調整される。
段階７３で、ルマ成分のオフセットタイプがバンドタイプ（ＢＯ）である場合、段階７６１で、４つのカテゴリー別に、ルマオフセット値がパージングされる。バンドタイプのオフセット値は、符号情報と共にパージングされる。段階７６２で、５ビットのルマバンドクラスがパージングされる。ルマバンドクラスから、現在最大符号化単位の復元ピクセルのピクセル値バンドのうち、ルマ開始バンド位置（Luma left band position）が決定される。
前述のように、開始バンド位置から連続する４つのバンドを示す４つのカテゴリー別に、オフセット値が受信されるので、全部で４オフセット値になる。現在最大符号化単位の各ルマ復元ピクセルのピクセル値が、４つのバンドのうちいずれのバンドに属するかということが決定され、そによってカテゴリーが決定されるので、受信されたオフセット値のうち現在カテゴリーのオフセット値が選択される。選択されたオフセット値を利用して、ルマ復元ピクセルのピクセル値が調整される。
次の段階７４で、クロマ（Chroma）成分のオフセットタイプがパージングされる。オフセットタイプは、Ｃｒ成分及びＣｂ成分に共通に適用される。オフセットタイプがオフ（OFF）タイプである場合、クロマ成分に対して、ＳＡＯ技法によるオフセット調整が行われないので、現在最大符号化単位のオフセットパラメータ過程が終わる。
段階７４で、クロマ成分のオフセットタイプがエッジタイプ（ＥＯ）である場合、段階７７１で、４つのカテゴリー別にＣｂオフセット値がパージングされる。エッジタイプのＣｂオフセット値は、符号情報なしにパージングされる。段階７７２で、２ビットのクロマエッジクラスがパージングされる。クロマエッジクラスから、現在最大符号化単位のクロマ成分のエッジ方向が決定される。クロマエッジクラスも、Ｃｒ成分及びＣｂ成分に共通に適用される。段階７７３で、４つのカテゴリー別にＣｒオフセット値がパージングされる。
ルマ成分のエッジタイプのオフセット調整過程と同様に、Ｃｒ成分別及びＣｂ成分別にそれぞれ受信された４つのオフセット値のうち現在カテゴリーのオフセット値が選択される。選択されたオフセット値を利用して、Ｃｒ成分の復元ピクセルと、Ｃｂ成分の復元ピクセルとのピクセル値がそれぞれ調整される。
段階７４で、クロマ成分のオフセットタイプがバンドタイプ（ＢＯ）である場合、段階７８１で、４つのカテゴリー別に、Ｃｂ成分のオフセット値が、符号情報と共にパージングされる。段階７８２で、５ビットのＣｂバンドクラスがパージングされる。Ｃｂバンドクラスから、現在最大符号化単位のＣｂ成分の復元ピクセルのＣｂ開始バンド位置（Ｃｂ left band position）が決定される。段階７８３で、４つのカテゴリー別に、Ｃｒ成分のオフセット値が、符号情報と共にパージングされる。段階７８２で、５ビットのＣｒバンドクラスがパージングされる。Ｃｒバンドクラスから、現在最大符号化単位のＣｒ成分の復元ピクセルのＣｒ開始バンド位置（Ｃｒ left band position）が決定される。
ルマ成分のバンドタイプのオフセット調整過程と同様に、Ｃｒ，Ｃｂ成分別に受信された４つのオフセット値のうち、現在カテゴリーのオフセット値が選択される。Ｃｒ，Ｃｂ成分別にそれぞれ選択されたオフセット値を利用して、Ｃｒ，Ｃｂ成分の復元ピクセルのピクセル値がそれぞれ調整される。
従って、一実施形態によるＳＡＯ技法を利用するビデオ符号化装置１０及びビデオ復号化装置２０，３０は、最大符号化単位のエッジタイプまたはバンドタイプのような映像特性によってピクセル値を分類し、同一特性として分類されたピクセル値の平均誤差値であるオフセット値をシグナリングし、復元ピクセルのうち予想できないピクセル値を、オフセット値ほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
一実施形態によるビデオ符号化装置１０、及び他の実施形態によるビデオ復号化装置２０で、ビデオデータが分割されるブロックが最大符号化単位に分割され、最大符号化単位ごとに、ツリー構造の符号化単位を基に符号化／復号化され、最大符号化単位ごとに、ピクセル分類によるオフセット値を決定することができるということは、前述の通りである。以下、図８ないし図２０を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置について開示する。
図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して称する。
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。
一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることによって生成される全ての深度別符号化単位について予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用されもし、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的なタイプに分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同サイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位／パーティション、及び変換単位の決定方式については、図１７ないし図１９を参照して詳細に追って説明する。
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて、符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム形態で出力する。
符号化された映像データは、映像の残差データの符号化結果でもある。
深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。
符号化深度情報は、現在深度に符号化せず、下位深度の符号化単位に符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードについての情報が設定される。
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情と報に分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
ピクチャ別、スライス別またはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、図１Ａないし図７を参照して説明したオフセット調整技法と係わるオフセットパラメータを符号化して出力することができる。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
図８のビデオ符号化装置１００は、図１Ａを参照して説明したビデオ符号化装置１０の動作を遂行することができる。
符号化単位決定部１２０は、ビデオ符号化装置１０のオフセットパラメータ決定部１４の動作を遂行することができる。最大符号化単位ごとに、オフセットタイプ、カテゴリー別オフセット値及びオフセットクラスが決定される。
出力部１３０は、オフセットパラメータ符号化部１６の動作を遂行することができる。最大符号化単位ごとに決定されたオフセットパラメータが出力される。現在最大符号化単位に隣接する最大符号化単位のオフセットパラメータを、現在オフセットパラメータとして採用するか否かということを示すオフセット併合情報が最も先に出力される。オフセットタイプとして、オフタイプ、エッジタイプ、バンドタイプが出力される。オフセット値は、ゼロ値情報、符号情報、残りのオフセット値の順序で出力される。エッジタイプの場合、オフセット値の符号情報は、出力されないこともある。
現在最大符号化単位のオフセット併合情報が、隣接する最大符号化単位のオフセットパラメータを採用することを許容する場合には、現在最大符号化単位のオフセットタイプ及びオフセット値が出力されないこともある。
図９は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して称する。
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明したところと同一である。
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに、符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０は、最大符号化単位ごとに映像データを復号化する。
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含んでもよい。
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
また、図９のビデオ復号化装置２００は、図２Ａを参照して説明したビデオ復号化装置２０の動作を遂行することができる。
映像データ及び符号化情報抽出部２２０と受信部２１０は、ビデオ復号化装置２０のオフセットパラメータ抽出部２２の動作を遂行することができる。映像データ復号化部２３０は、ビデオ復号化装置２０のオフセット決定部２４及びオフセット調整部２６の動作を遂行することができる。
映像データ及び符号化情報抽出部２２０は、ビットストリームから、現在最大符号化単位のためのオフセットパラメータなしに、オフセット併合情報のみをパージングした場合、隣接オフセットパラメータのうち少なくとも一つと同一に、現在オフセットパラメータを復元することができる。オフセット併合情報に基づいて、隣接オフセットパラメータのうちいずれのパラメータを参照するかということが決定される。映像データ及び符号化情報抽出部２２０は、ビットストリームから、パージングされた現在最大符号化単位のためのオフセット併合情報に基づいて、隣接オフセットパラメータと、現在オフセットパラメータとが異なるということが判断されるならば、ビットストリームから、現在最大符号化単位のための現在オフセットパラメータがパージングされて復元される。
映像データ及び符号化情報抽出部２２０は、ビットストリームから、最大符号化単位ごとに、オフセットパラメータをパージングすることができる。オフセットパラメータから、オフセットタイプ、カテゴリー別オフセット値及びオフセットクラスが決定される。現在最大符号化単位のオフセットタイプがオフタイプである場合、現在最大符号化単位に係わるオフセット調整動作は終わる。オフセットタイプがエッジタイプである場合、復元ピクセルごとに、それぞれのエッジ方向を示すエッジクラスとエッジ形態とを示すカテゴリーに基づいて、受信されたオフセット値のうち現在オフセット値が選択される。オフセットタイプがバンドタイプである場合、復元ピクセルごとに、それぞれのバンドを決定し、オフセット値のうち現在バンドに対応するオフセット値が選択される。
映像データ復号化部２３０は、各復元ピクセルに対応するオフセット値ほど当該復元ピクセル値を調整することにより、原本ピクセルと誤差が最小化される復元ピクセルを生成することができる。最大符号化単位ごとにパージングされたオフセットパラメータに基づいて、最大符号化単位の復元ピクセルのオフセットが調整される。
結局、ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
図１０は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさが幅ｘ高さに表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２４は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。
図１１は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２４は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
イントラ予測部４１０、動き推定部４２０及び動き補償部４２４から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２４、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２４は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位の大きさを決定しなければならない。
映像符号化部４００は、参照フレーム４９５の最大符号化単位ごとに、エッジタイプ（またはバンドタイプ）によってピクセルを分類し、エッジ方向（または、開始バンド位置）を決定し、カテゴリーごとに属する復元ピクセルの平均誤差値を決定することができる。最大符号化単位ごとに、それぞれのオフセット併合情報、オフセットタイプ及びオフセット値が符号化されてシグナリングされる。
図１２は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以降の段階別作業が行われる。
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
映像復号化部５００は、ビットストリームから、最大符号化単位のオフセットパラメータを抽出することができる。現在最大符号化単位のオフセットパラメータにおいて、オフセット併合情報に基づいて、隣接する最大符号化単位のオフセットパラメータと同一である現在オフセットパラメータを復元することができる。現在最大符号化単位のオフセットパラメータにおいて、オフセットタイプ及びオフセット値を利用して、復元フレーム５９５の最大符号化単位ごとに、復元ピクセルごとに、エッジタイプまたはバンドタイプによって、カテゴリーに対応するオフセット値ほど調整することができる。
図１３は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。既設定の符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ４ｘ４である深度３の符号化単位６４０は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
図１４は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同サイズの符号化単位で映像を符号化したり復号化したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図１５は、本発明の一実施形態による、深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションのタイプに係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれの１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうちいずれか一つで予測符号化が行われるかということが設定される。
また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。
図１６は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かということを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要はない。
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９８０に対して、分割情報が設定されない。
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードとして設定される。
かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握して当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。
図１７、図１８及び図１９は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位に変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それにより、最大符号化単位ごとに、領域別に、階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００において設定することができる一例を示している。
Figure 2015506603
 一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が、符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４つの下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示す。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が、周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
図２０は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図２０を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などで増加させて変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用されてもよい。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズは３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさは、３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」と、最小変換単位サイズを「ＭｉｎTransformSize」と、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」は、下記数式（１）のように定義される。
ＣｕｒｒＭｉｎTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示す。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」でもある。
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりうる。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２で「ＭａｘTransformSize」は、最大変換単位サイズを、「ＰＵSize」は、現在予測単位サイズを示す。
RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値として設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値でもって設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。
図８ないし２０を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに、復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
また、ピクチャごとに、スライスごとに、最大符号化単位ごとに、ツリー構造による符号化単位ごとに、符号化単位の予測単位ごとに、または符号化単位の変換単位ごとに、オフセットパラメータがシグナリングされる。一例として、最大符号化単位ごとに受信されたオフセットパラメータに基づいて、復元されたオフセット値を利用して、最大符号化単位の復元ピクセル値を調整することにより、原本ブロックとの誤差が最小化される最大符号化単位が復元される。
なお、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
説明の便宜のために、先の図１Ａないし図２０を参照して説明したサンプルオフセット調整によるビデオ符号化方法は、「本発明のビデオ符号化方法」と称する。また、先の図１Ａないし図２０を参照して説明したサンプルオフセット調整によるビデオ復号化方法は、「本発明のビデオ復号化方法」と称する。
また、先の図１Ａないし図２０を参照して説明したビデオ符号化装置１０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と称する。また、先の図２Ａないし図２０を参照して説明したビデオ復号化装置２０、ビデオ復号化装置２００または映像復号化部５００によって構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」と称する。
一実施形態によるプログラムが保存されるコンピュータで読取り可能な記録媒体が、ディスク２６０００である実施形態について、以下で詳細に説明する。
図２１は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として説明されているディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（（登録商標）Blu-ray）ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒにより構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して以下で説明する。
図２２は、ディスク２６０００を利用して、プログラムを記録して読み取るためのディスクドライブ２６８００を図示している。コンピュータ・システム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが読み取られ、プログラムがコンピュータシステム２６７００に伝送される。
図２１及び図２２で例示したディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて以下で説明する。
図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設けられる。
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
しかし、コンテンツ供給システム１１０００は、図２３に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）、ＣＤＭＡ（code division multiple access）、Ｗ−ＣＤＭＡ（wideband code division multiple access）、ＧＳＭ（（登録商標）global system for mobile communications）及びＰＨＳ（personal handyphone system）の各方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザがビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００で撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。
カメラ１２６００で撮影されたビデオデータもコ、ンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読取り可能な記録媒体に保存される。
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが、携帯電話１２５００から受信される。
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。
一実施形態によるコンテンツ供給システム１１０００で、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号化して再生させ、個人放送（personal broadcasting）を可能にさせる。
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図２４及び図２５を参照し、コンテンツ供給システム１１０００における携帯電話１２５００の一実施形態について詳細に以下で説明する。
図２４は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張したりすることができるスマートフォンでもある。
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部；及び音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部；を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）でもって受信されたり、あるいは他の形態で獲得されたりするビデオや静止映像のように、符号化されるか復号化されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。
図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ（multiplexer）／ＤＥＭＵＸ（demultiplexer））１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
ユーザが電源ボタンを動作させ、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random-access memory）を含む。
携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て、送信信号に変換され、アンテナ１２５１０を介して送出される。
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して中央制御部１２６１０に伝送される。中央制御部１２６１０の制御により、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換して、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。
多重化／逆多重化部（ＭＵＸ／ＤＥＭＵＸ）１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
データ通信モードでイ、ンターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達させる。
アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０により、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータをＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
本発明の通信システムは、図２４及び図２５を参照して説明した構造に限定されるものではない。例えば、図２６は、本発明による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ受信機（ＴＶ）１２８１０、セットトップボックス（set-top box）１２８７０または他のデバイスによって復号化されて再生される。
再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載される。
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存される。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００（図２３）及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
図２７は、本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示している。
本発明のクラウドコンピューティング・システムは、クラウドコンピュータサーバ１４０００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
クラウドコンピューティング・システムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンタのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望する時点で所望するほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４０００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４０００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デストトップＰＣ（personal computer）１４３００、スマートＴＶ（television）１４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。
クラウドコンピューティングサーバ１４０００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４０００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報；及び住所、氏名など個人信用情報；を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リスト、再生中である動画リスト、及び再生中の動画の停止時点などを含んでもよい。
ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４０００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４０００を介して動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先の図２４及び図２５を参照して説明した携帯電話１２５００の動作と類似している。
クラウドコンピューティングサーバ１４０００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４０００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に係わる再生要請を受信する。動画が、それ以前に再生中であったならば、クラウドコンピューティングサーバ１４０００は、ユーザ端末機からの選択により、始めから再生するか、あるいは以前の停止時点から再生するかということによってストリーミング方法が変わる。例えば、ユーザ端末機が、始めから再生するように要請した場合には、クラウドコンピューティングサーバ１４０００は、ユーザ端末機に当該動画を、最初のフレームからストリーミング伝送する。一方、端末機が、以前の停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４０００は、ユーザ端末機に当該動画を、停止時点のフレームからストリーミング伝送する。
そのとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
図１Ａないし図２０を参照して前述の本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２１ないし図２７において説明した。しかし、図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (15)

  1. ビデオ復号化のためにオフセットを調整する方法において、
    受信したビットストリームから、ビデオの最大符号化単位のうち、現在最大符号化単位の第１オフセットパラメータとして、前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を抽出する段階と、
    前記オフセット併合情報に基づいて、前記現在最大符号化単位のオフセットタイプ、オフセット値及びオフセットクラスを含む前記第１オフセットパラメータを復元する段階と、
    前記オフセットタイプに基づいて、前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを決定する段階と、
    前記オフセットクラスに基づいて、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を決定する段階と、
    前記オフセット値に基づいて、前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を決定する段階と、
    前記現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、復元された復元ピクセルのピクセル値を前記差値ほど調整する段階と、を含むことを特徴とするビデオ復号化のためのオフセット調整方法。
  2. 前記エッジタイプであるか、あるいはバンドタイプであるかということを決定する段階は、
    前記オフセットタイプに基づいて、前記現在最大符号化単位に、オフセット調整技法が適用されるか否かということを示すオフタイプを抽出する段階と、
    前記抽出されたオフタイプに基づいて、前記最大符号化単位に、前記オフセット調整技法が適用されるならば、残りのオフセットパラメータを抽出する段階と、をさらに含むことを特徴とする請求項１に記載のビデオ復号化のためのオフセット調整方法。
  3. 前記第１オフセット値を決定する段階は、
    所定個数のカテゴリーに対応するオフセット値を決定する段階を含み、
    前記オフセット値は、それぞれ既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じであることを特徴とする請求項１に記載のビデオ復号化のためのオフセット調整方法。
  4. 前記エッジ方向またはバンド範囲を決定する段階は、
    前記オフセットタイプ情報が前記エッジタイプを示す場合、前記復元されたオフセットクラスに基づいて、前記現在最大符号化単位内に含まれた現在復元ピクセルと、隣接復元ピクセルとが構成するエッジの方向を、０゜、９０゜、４５゜または１３５゜のうちいずれか一つに決定する段階を含むことを特徴とする請求項１に記載のビデオ復号化のためのオフセット調整方法。
  5. 前記エッジ方向またはバンド範囲を決定する段階は、
    前記オフセットタイプ情報が前記バンドタイプを示す場合、前記復元されたオフセットクラスに基づいて、ピクセル値の全範囲を分割した多数のバンドのうち、前記復元ピクセルのピクセル値が属するバンドの位置を決定する段階を含むことを特徴とする請求項１に記載のビデオ復号化のためのオフセット調整方法。
  6. 前記差値を決定する段階は、
    前記オフセットタイプ情報が前記バンドタイプを示す場合、前記復元されたオフセット値のうちゼロ値情報に基づいて、前記オフセット値が０であるか否かということを決定する段階をさらに含み、
    前記ゼロ値情報に基づいて、前記オフセット値が０ではないならば、前記復元されたオフセット値のうち前記ゼロ値情報に続く符号情報に基づいて、前記オフセット値が正数であるか、あるいは負数であるかということを決定し、前記符号情報に続く残りのオフセット値を復元する段階をさらに含むことを特徴とする請求項３に記載のビデオ復号化のためのオフセット調整方法。
  7. 前記差値を決定する段階は、
    前記オフセットタイプ情報が前記エッジタイプを示す場合、前記復元されたオフセット値のうちゼロ値情報に基づいて、前記オフセット値が０であるか否かということを決定する段階をさらに含み、
    前記ゼロ値情報に基づいて、前記オフセット値が０ではないならば、前記復元されたオフセット値のうち前記ゼロ値情報に続く残りのオフセット値を復元する段階をさらに含むことを特徴とする請求項３に記載のビデオ復号化のためのオフセット調整方法。
  8. 前記第１オフセットパラメータを復元する段階は、
    前記オフセット併合情報に基づいて、前記第１オフセットパラメータとして、前記左側または上端の最大符号化単位の第２オフセットパラメータを採択する場合、前記現在最大符号化単位の第１オフセットパラメータを抽出せず、前記第２オフセットパラメータと同一である前記第１オフセットパラメータを復元する段階を含み、
    前記オフセット併合情報に基づいて、前記第１オフセットパラメータとして、前記左側または上端の最大符号化単位の第２オフセットパラメータを採択しない場合、前記ビットストリームから、前記オフセット併合情報に続く前記第１オフセットパラメータを抽出して復元する段階を含む段階を含むことを特徴とする請求項１に記載のビデオ復号化のためのオフセット調整方法。
  9. 前記第１オフセットパラメータを復元する段階は、
    前記現在最大符号化単位の共通のオフセット併合情報を利用して、ルマ成分のオフセットパラメータ、第１クロマ成分のオフセットパラメータ、及び第２クロマ成分のオフセットパラメータを復元する段階を含むことを特徴とする請求項１に記載のビデオ復号化のためのオフセット調整方法。
  10. 前記第１オフセットパラメータを復元する段階は、
    前記現在最大符号化単位の第１クロマ成分及び第２クロマ成分について共通に適用されるオフセットタイプを復元する段階を含むことを特徴とする請求項１に記載のビデオ復号化のためのオフセット調整方法。
  11. ビデオ符号化によるオフセットを調整する方法において、
    ビデオの最大符号化単位のうち、現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、前記現在最大符号化単位を符号化する段階と、
    前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを示すオフセットタイプ、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を示すオフセットクラス、及び前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を示すオフセット値を含む前記現在最大符号化単位の第１オフセットパラメータを決定する段階と、
    前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータと、前記第１オフセットパラメータとの同一性に基づいて、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を出力する段階と、を含み、
    前記オフセット調整方法は、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択しない場合、前記現在最大符号化単位のオフセット併合情報に続き、前記オフセットタイプ、前記オフセット値及び前記オフセットクラスを含む第１オフセットパラメータを出力する段階をさらに含むことを特徴とするビデオ符号化によるオフセット調整方法。
  12. 第１オフセットパラメータを出力する段階は、
    前記オフセットタイプとして、前記現在最大符号化単位にオフセット調整技法を適用するか否かということを示すオフタイプを出力する段階を含み、
    前記現在最大符号化単位に、前記オフセット調整技法が適用されるならば、前記現在最大符号化単位の残りのオフセットパラメータを出力する段階をさらに含むことを特徴とする請求項１１に記載のビデオ符号化によるオフセット調整方法。
  13. オフセットを調整するビデオ復号化装置において、
    受信したビットストリームから、ビデオの最大符号化単位のうち、現在最大符号化単位の第１オフセットパラメータとして、前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を抽出し、前記オフセット併合情報に基づいて、前記現在最大符号化単位のオフセットタイプ、オフセット値及びオフセットクラスを含む前記第１オフセットパラメータを復元するオフセットパラメータ抽出部と、
    前記オフセットタイプに基づいて、前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを決定し、前記オフセットクラスに基づいて、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を決定し、前記オフセット値に基づいて、前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を決定するオフセット決定部と、
    前記現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、復元された復元ピクセルのピクセル値を前記差値ほど調整するオフセット調整部と、を含むことを特徴とするオフセットを調整するビデオ復号化装置。
  14. オフセットを調整するビデオ符号化装置において、
    ビデオの最大符号化単位のうち、現在最大符号化単位から分割されたツリー構造の符号化単位に基づいて、前記現在最大符号化単位を符号化する符号化部と、
    前記現在最大符号化単位のピクセル値分類方式がエッジタイプであるか、あるいはバンドタイプであるかということを示すオフセットタイプ、前記エッジタイプによるエッジ方向、または前記バンドタイプによるバンド範囲を示すオフセットクラス、及び前記オフセットクラスに含まれる復元ピクセルと原本ピクセルとの差値を示すオフセット値を含む前記現在最大符号化単位の第１オフセットパラメータを決定するオフセットパラメータ決定部と、
    前記現在最大符号化単位の左側または上端の最大符号化単位の第２オフセットパラメータと、前記第１オフセットパラメータとの同一性に基づいて、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択するか否かということを示す前記現在最大符号化単位のオフセット併合情報を出力するオフセットパラメータ出力部と、を含み、
    前記オフセットパラメータ出力部は、前記第１オフセットパラメータとして、前記第２オフセットパラメータを採択しない場合、前記現在最大符号化単位のオフセット併合情報に続き、前記オフセットタイプ、前記オフセット値及び前記オフセットクラスを含む第１オフセットパラメータを出力することを特徴とするオフセットを調整するビデオ符号化装置。
  15. 請求項１ないし１２のうち、いずれか一項に記載の方法を電算的に具現するためのプログラムが記録されたコンピュータで読取り可能な記録媒体。
JP2014548676A 2011-12-22 2012-12-21 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 Active JP5893754B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161579389P 2011-12-22 2011-12-22
US61/579,389 2011-12-22
PCT/KR2012/011275 WO2013095047A1 (ko) 2011-12-22 2012-12-21 최대 부호화 단위 별로 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
JP2015139036A Division JP5893790B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139037A Division JP6017638B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139038A Division JP6017639B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139039A Division JP6017640B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置

Publications (3)

Publication Number Publication Date
JP2015506603A true JP2015506603A (ja) 2015-03-02
JP2015506603A5 JP2015506603A5 (ja) 2015-09-03
JP5893754B2 JP5893754B2 (ja) 2016-03-23

Family

ID=48668843

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2014548676A Active JP5893754B2 (ja) 2011-12-22 2012-12-21 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139038A Active JP6017639B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139039A Active JP6017640B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139036A Active JP5893790B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139037A Active JP6017638B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2015139038A Active JP6017639B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139039A Active JP6017640B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139036A Active JP5893790B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015139037A Active JP6017638B2 (ja) 2011-12-22 2015-07-10 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置

Country Status (16)

Country Link
US (5) US9571843B2 (ja)
EP (5) EP2785055A4 (ja)
JP (5) JP5893754B2 (ja)
KR (7) KR101529993B1 (ja)
CN (10) CN104869416B (ja)
AU (1) AU2012354420B2 (ja)
BR (2) BR122019019874B1 (ja)
CA (2) CA2950943C (ja)
MX (3) MX2014007445A (ja)
MY (2) MY198800A (ja)
PH (5) PH12014501262B1 (ja)
RU (3) RU2652505C1 (ja)
SG (4) SG10201503492WA (ja)
TW (5) TWI532368B (ja)
WO (1) WO2013095047A1 (ja)
ZA (1) ZA201405374B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014534762A (ja) * 2011-11-07 2014-12-18 キヤノン株式会社 画像の再構成されたサンプルのセットのための補償オフセットの符号化／復号化を最適化するための方法および装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386304B2 (en) * 2008-11-11 2016-07-05 Cisco Technology, Inc. Digital video compression system, method and computer readable medium
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
US9955152B2 (en) * 2012-02-07 2018-04-24 Sun Patent Trust Image coding method and image decoding method
US9282328B2 (en) * 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
US9380302B2 (en) * 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US10154257B2 (en) * 2012-04-13 2018-12-11 Sun Patent Trust Image coding method in which offset is applied when an image is coded, and image decoding method in which offset is applied when an image is decoded
MX2013014738A (es) * 2012-05-25 2014-07-16 Panasonic Ip Corp America Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
WO2016204479A1 (ko) * 2015-06-16 2016-12-22 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
EP3291553A1 (en) * 2016-08-30 2018-03-07 Thomson Licensing Method and apparatus for video coding with sample adaptive offset
CA3037411A1 (en) * 2016-09-20 2018-03-29 Mediatek Inc. Methods and apparatuses of sample adaptive offset processing for video coding
CN116647680A (zh) 2016-10-28 2023-08-25 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
CN115174902B (zh) 2017-01-20 2025-06-10 世宗大学校产学协力团 影像解码方法、影像编码方法及比特流的生成方法
CN111264059B (zh) * 2017-10-25 2021-11-12 株式会社索思未来 编码方法、解码方法、编码装置、解码装置以及计算机可读取的记录介质
CN110197657B (zh) * 2019-05-22 2022-03-11 大连海事大学 一种基于余弦相似度的动态音声特征提取方法
JP7692827B2 (ja) 2019-06-21 2025-06-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
US11595644B2 (en) 2020-10-01 2023-02-28 Tencent America LLC Method and apparatus for offset in video filtering
CN113068037B (zh) 2021-03-17 2022-12-06 上海哔哩哔哩科技有限公司 用于样点自适应补偿的方法及装置、设备和介质
CN113382246B (zh) * 2021-04-20 2024-03-01 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
WO2023023174A1 (en) * 2021-08-19 2023-02-23 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
EP4254948A1 (en) * 2022-03-31 2023-10-04 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture partitionned in ctu grids
CN116506619B (zh) * 2022-04-27 2024-10-29 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012154576A2 (en) * 2011-05-10 2012-11-15 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6279099B1 (en) * 1994-04-29 2001-08-21 Sun Microsystems, Inc. Central processing unit with integrated graphics functions
US7483581B2 (en) * 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
US7058369B1 (en) * 2001-11-21 2006-06-06 Pmc-Sierra Inc. Constant gain digital predistortion controller for linearization of non-linear amplifiers
ES2351306T3 (es) * 2002-04-18 2011-02-02 Kabushiki Kaisha Toshiba Procedimiento y dispositivo para la codificación de imágen en movimiento.
EP1478190B1 (en) * 2002-04-26 2013-01-02 NTT DoCoMo, Inc. Image encoding device, image encoding method, and image encoding program
KR100986865B1 (ko) * 2002-05-20 2010-10-08 소니 주식회사 영상 신호 처리 장치 및 방법
DE10231613B4 (de) * 2002-07-12 2004-12-30 Atvisican Ag Verfahren zum Komprimieren und Dekomprimieren von Videobilddaten od. dgl.
GB2444992A (en) * 2006-12-21 2008-06-25 Tandberg Television Asa Video encoding using picture division and weighting by luminance difference data
CN101611424B (zh) * 2007-01-19 2013-01-09 汤姆森许可贸易公司 识别数字图像中的色带化
US8259928B2 (en) * 2007-04-23 2012-09-04 Microsoft Corporation Method and apparatus for reducing timestamp noise in audio echo cancellation
RU2434359C2 (ru) * 2007-07-02 2011-11-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и декодирования масштабируемого видео, устройства для их осуществления, программы для их осуществления и машиночитаемые носители, которые хранят эти программы
AU2007231799B8 (en) * 2007-10-31 2011-04-21 Canon Kabushiki Kaisha High-performance video transcoding method
EP2192780A1 (en) * 2008-11-28 2010-06-02 Thomson Licensing Method for video decoding supported by Graphics Processing Unit
EP2262267A1 (en) 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
TW201130311A (en) 2009-06-10 2011-09-01 Panasonic Corp Image encoding method, image decoding method, and devices therefor
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
CN102223525B (zh) * 2010-04-13 2014-02-19 富士通株式会社 视频解码方法和系统
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
CN102939719B (zh) * 2010-05-21 2016-08-03 黑莓有限公司 用于在二进制熵编码和解码中减少源的方法和设备
US9456111B2 (en) * 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
CN103370936A (zh) * 2011-04-21 2013-10-23 联发科技股份有限公司 用于改进环内滤波的方法与装置
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
US10038903B2 (en) * 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
PH12014500016A1 (en) 2011-06-28 2014-05-19 Samsung Electronics Co Ltd Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
CN102291579B (zh) * 2011-07-06 2014-03-05 北京航空航天大学 一种快速的多目立体视频分形压缩与解压缩方法
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012154576A2 (en) * 2011-05-10 2012-11-15 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JPN6015027876; Ｃ．-Ｍ．Ｆｕ，Ｙ．-Ｗ．Ｈｕａｎｇ，Ｓ．Ｌｅｉ，Ｉ．Ｓ．Ｃｈｏｎｇ，Ｍ．Ｋａｒｃｚｅｗｉｃｚ: 'Ｎｏｎ-ＣＥ８：Ｏｆｆｓｅｔ　ｃｏｄｉｎｇ　ｉｎ　ＳＡＯ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　７ｔｈ　Ｍｅ ＪＣＴＶＣ-Ｇ２２２, 20111108, Ｐ．１-Ｐ．５, ＪＣＴＶＣ *
JPN6015027877; Ｔａｋａｎｏｒｉ　Ｙａｍａｚａｋｉ，Ｔｏｍｏｈｉｒｏ　Ｉｋａｉ，Ｙｕｋｉｎｏｂｕ　Ｙａｓｕｇｉ，Ｔｏｍｏｙｕｋｉ　Ｙａｍａｍｏｔｏ: 'Ｉｍｐｒｏｖｅｍｅｎｔ　ｏｆ　Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ　ｗｉｔｈ　ｍｏｄｉｆｉｅｄ　ｂｉｔ　ａｃｃｕｒａｃｙ　ａｎｄ　ｒｅｓｔｒｉｃｔｅｄ　ｏｆｆｓｅｔｓ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　６ｔｈ　&# *
JPN6015027879; Ｃ．-Ｍ．Ｆｕ，Ｃ．-Ｙ．Ｃｈｅｎ，Ｙ．-Ｗ．Ｈｕａｎｇ，Ｓ．Ｌｅｉ，Ｓ．Ｐａｒｋ，Ｂ．Ｊｅｏｎ，Ａ．Ａｌｓｈｉｎ，Ｅ．Ａｌｓｈｉｎａ: 'Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ　ｆｏｒ　Ｃｈｒｏｍａ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　６ｔｈ　Ｍｅ ＪＣＴＶＣ-Ｆ０５７, 20110720, Ｐ．１-Ｐ．５, ＪＣＴＶＣ *
JPN6015027881; Ｃ．-Ｍ．Ｆｕ，Ｃ．-Ｙ．Ｃｈｅｎ，Ｃ．-Ｙ．Ｔｓａｉ，Ｙ．-Ｗ．Ｈｕａｎｇ，Ｓ．Ｌｅｉ: 'ＣＥ１３：Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ　ｗｉｔｈ　ＬＣＵ-Ｉｎｄｅｐｅｎｄｅｎｔ　Ｄｅｃｏｄｉｎｇ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　５ｔｈ　Ｍｅ ＪＣＴＶＣ-Ｅ０４９, 20110323, Ｐ．１-Ｐ．６, ＪＣＴＶＣ *
JPN6015027884; Ｃ．-Ｙ．Ｃｈｅｎ，Ｃ．-Ｍ．Ｆｕ，Ｃ．-Ｙ．Ｔｓａｉ，Ｙ．-Ｗ．Ｈｕａｎｇ，Ｓ．Ｌｅｉ，Ｍ．Ｋａｒｃｚｅｗｉｃｚ，Ｉ．Ｓ．Ｃｈｏｎｇ: 'Ｎｏｎ-ＣＥ８：Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ　ｗｉｔｈ　ＬＣＵ-ｂａｓｅｄ　Ｓｙｎｔａｘ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　７ｔｈ　Ｍｅ ＪＣＴＶＣ-Ｇ８３１, 20111109, Ｐ．１-Ｐ．６, ＪＣＴＶＣ *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014534762A (ja) * 2011-11-07 2014-12-18 キヤノン株式会社 画像の再構成されたサンプルのセットのための補償オフセットの符号化／復号化を最適化するための方法および装置
US9774886B2 (en) 2011-11-07 2017-09-26 Canon Kabushiki Kaisha Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9794596B2 (en) 2011-11-07 2017-10-17 Canon Kabushiki Kaisha Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image
US9848208B2 (en) 2011-11-07 2017-12-19 Canon Kabushiki Kaisha Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image
US10085042B2 (en) 2011-11-07 2018-09-25 Canon Kabushiki Kaisha Method, device and program for encoding and decoding a sequence of images using area-by-area loop filtering
JP2019110587A (ja) * 2011-11-07 2019-07-04 キヤノン株式会社 再構成された画像のサンプルのセットのための補償オフセットを復号するための方法および装置

Also Published As

Publication number Publication date
SG11201403069SA (en) 2014-08-28
AU2012354420A1 (en) 2014-08-21
PH12017500039B1 (en) 2018-03-26
BR112014015171B1 (pt) 2020-10-06
US9525882B2 (en) 2016-12-20
JP6017639B2 (ja) 2016-11-02
CN104869413B (zh) 2018-09-18
TWI569635B (zh) 2017-02-01
CN108495131A (zh) 2018-09-04
TWI527436B (zh) 2016-03-21
US20150189295A1 (en) 2015-07-02
JP5893790B2 (ja) 2016-03-23
CN108495131B (zh) 2020-12-01
US9571843B2 (en) 2017-02-14
TW201334553A (zh) 2013-08-16
CN108683910A (zh) 2018-10-19
JP2015181307A (ja) 2015-10-15
US9538194B2 (en) 2017-01-03
CA2860248A1 (en) 2013-06-27
JP6017638B2 (ja) 2016-11-02
CA2950943C (en) 2019-06-04
KR101603702B1 (ko) 2016-03-15
CN104869416A (zh) 2015-08-26
KR101603696B1 (ko) 2016-03-15
US20140369420A1 (en) 2014-12-18
MY198800A (en) 2023-09-27
CN108881919B (zh) 2021-01-08
CN104869413A (zh) 2015-08-26
CN104869416B (zh) 2018-08-03
US20150189296A1 (en) 2015-07-02
BR122019019874B1 (pt) 2020-08-11
BR112014015171A2 (pt) 2017-06-13
PH12017500040A1 (en) 2018-03-26
JP2015181306A (ja) 2015-10-15
CN104869414A (zh) 2015-08-26
KR20150041765A (ko) 2015-04-17
SG10201503492WA (en) 2015-06-29
RU2609077C2 (ru) 2017-01-30
MY177654A (en) 2020-09-23
PH12017500038A1 (en) 2018-03-26
CN104869415B (zh) 2018-07-06
MX2014007445A (es) 2014-08-01
CN104869414B (zh) 2018-09-11
KR101603700B1 (ko) 2016-03-15
CN104869415A (zh) 2015-08-26
EP2947880A1 (en) 2015-11-25
SG10201509865UA (en) 2015-12-30
CN108513133A (zh) 2018-09-07
ZA201405374B (en) 2019-04-24
KR20150009496A (ko) 2015-01-26
PH12017500041A1 (en) 2018-03-26
TWI569636B (zh) 2017-02-01
CN104012095B (zh) 2018-07-31
CA2860248C (en) 2017-01-17
TW201625006A (zh) 2016-07-01
KR20130079208A (ko) 2013-07-10
CN104012095A (zh) 2014-08-27
KR20150041766A (ko) 2015-04-17
JP2015181308A (ja) 2015-10-15
TWI532368B (zh) 2016-05-01
CA2950943A1 (en) 2013-06-27
PH12017500038B1 (en) 2018-03-26
PH12017500039A1 (en) 2018-03-26
US20150189287A1 (en) 2015-07-02
RU2652505C1 (ru) 2018-04-26
JP6017640B2 (ja) 2016-11-02
KR101603686B1 (ko) 2016-03-15
TWI569637B (zh) 2017-02-01
CN108881919A (zh) 2018-11-23
EP2785055A4 (en) 2015-07-15
EP2785055A1 (en) 2014-10-01
US9538195B2 (en) 2017-01-03
PH12017500041B1 (en) 2019-02-08
RU2678480C1 (ru) 2019-01-29
EP2961165A1 (en) 2015-12-30
KR20150041767A (ko) 2015-04-17
SG10201707996XA (en) 2017-10-30
TW201541943A (zh) 2015-11-01
PH12014501262A1 (en) 2014-09-08
PH12014501262B1 (en) 2018-06-08
KR101529993B1 (ko) 2015-06-18
PH12017500040B1 (en) 2019-04-26
CN108683910B (zh) 2021-01-12
MX354305B (es) 2018-02-23
TW201625007A (zh) 2016-07-01
KR101971226B1 (ko) 2019-04-22
KR20180121455A (ko) 2018-11-07
JP2015181305A (ja) 2015-10-15
EP2958325A1 (en) 2015-12-23
CN104869412B (zh) 2018-10-12
TW201625005A (zh) 2016-07-01
MX354336B (es) 2018-02-27
US20150189290A1 (en) 2015-07-02
AU2012354420B2 (en) 2015-02-26
KR20150041764A (ko) 2015-04-17
EP2958326A1 (en) 2015-12-23
CN104869412A (zh) 2015-08-26
CN108513133B (zh) 2022-05-03
JP5893754B2 (ja) 2016-03-23
US9544606B2 (en) 2017-01-10
WO2013095047A1 (ko) 2013-06-27
RU2014130014A (ru) 2016-02-10
BR112014015171A8 (pt) 2017-07-04

Similar Documents

Publication Publication Date Title
JP6017640B2 (ja) 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP6034533B1 (ja) ビデオ復号化方法及びその装置
JP6382807B2 (ja) Ｓａｏ符号化又は復号化のための方法及び装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160224

R150 Certificate of patent or registration of utility model

Ref document number: 5893754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250