JP6074509B2 - 映像符号化及び復号化方法、装置及びシステム - Google Patents

Description

本発明は、画像処理技術に関連し、そして特に、映像符号化及び復号化方法、装置及びシステムに関連する。

３ＤＴＶ（Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ、立体テレビジョン）は、最も一般的な３次元テレビジョンの技術である。この技術を使用して、２つの独立した表示画面である左の表示画面及び右の表示画面が１つのスクリーンに表示され、そして左目及び右目は別々に、異なる表示画面（ｖｉｅｗ）を受け、これにより３Ｄ（３次元）効果が達成される。現在、サービスプロバイダが３ＤＴＶサービスを提供する場合、映像製造コスト及び送信装置のコストを削減するために、できるだけ元の２ＤＴＶ（Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ、２次元テレビ）の符号化ツール及び送信装置を使用することが望まれている。

上記の要件を満たすために、フレームパッキング（ｆｒａｍｅ ｐａｃｋｉｎｇ）３ＤＴＶ技術が画像の１つのフレームに左の表示画面及び右の表示画面を詰めるために使用され、そして次に、符号化及び送信を行うために、２Ｄエンコーダ及び２Ｄ送信装置が使用される。上記の２つの表示画面をどのように詰めるかについてのメッセージが符号化ビットストリームに追加される。或いは、フレームの中の上記の２つの表示画面の別々の位置情報を直接示すメッセージが追加される。そして、デコーダが復号化を実行した後、前述のメッセージに従って、上記２つの表示画面が出力される。

複数の表示画面に対して、フレームパッキング３ＤＴＶ技術を使用する複数のパッキングの種別が存在する。図１は、例示的に２つのパッキング種別を示している。すなわち、左右型及び上下型である。また、１つのパッキング種別に対して、異なる複数の反転種別（ｆｌｉｐｐｉｎｇ ｔｙｐｅ）に従って、異なる複数のパッキングの状況があり得る。反転種別は、左右の表示画面の並び順を反転するかどうか、或いは上下の表示画面の並び順を反転するかどうかを示す。図１は、異なる複数のパッキング種別及び反転種別を使用することにより形成された異なる複数の画像を示す。

様々な異なる種別の全ての既存のデコーダは、２つの主要な部分：復号モジュール及びローカルメモリ、を含む。ローカルメモリは、符号化されているが、復号化されていない画像、及び復号化された画像を記憶するために使用される。ここで、当該復号化された画像は、次の画像を復号化するため、又は当該復号化された画像の出力時間に達していないことを出力するための参照フレームとして使用される必要がある。デコーダは、ローカルメモリに十分な記憶リソースを割り当てる必要があり、かつ復号モジュールは、デコーダの計算リソースを消費する必要がある。

送信される必要のある映像は、符号化された後、ビットストリームを形成し、そして各ビットストリームのプロファイル（ｐｒｏｆｉｌｅ）情報及びレベル（ｌｅｖｅｌ）情報は、各ビットストリームの中で送信される。プロファイルは、映像符号化の最中にエンコーダにより使用される複数の符号化ツールを示し（例えば、メインプロファイルにおいて、画素のビット深度はただ８ビットだけであり、画像パラメータセット識別子ＰＰＳ ｉｄは６３を超えることはできず、タイルコーディングは使用可能ではない；しかしながら、これらの制約の全ては、ハイプロファイルには存在しない）、そしてデコーダがその複数の符号化ツールのうちの１つに対応していない場合、復号化を実行することはできない。レベルは、デコーダが復号化を実行する場合に必要な計算能力と記憶リソースを示す。例えば、現在のＨＥＶＣドラフトは、レベル４及びレベル４．１を規定しており、レベル４及びレベル４．１は、解像度が１９２０×１０８０である高解像度ビットストリームを復号化する場合に、当該２つの規格に適合するデコーダが、それぞれ、３２フレーム／秒及び６４フレーム／秒を達成できることを示すが、レベル４より低い規格に対してのみ適合するデコーダは、解像度が１９２０×１０８０である高解像度ビットストリームを復号化することはできない。

実際の応用において、フレームパッキング３ＤＴＶ技術を使用することにより符号化された３Ｄ映像のビットストリームをデコーダが受信するが、当該デコーダが２Ｄの表示装置に接続されている場合、図２に示されるように、当該デコーダにより映像が復号化された後、２つの表示画面のうちの１つだけが取得され、そして次に２Ｄ表示装置に出力される。従来技術における複数の解決手段が採用される場合、３Ｄ映像のビットストリームを符号化又は復号化するためのプロファイル及びレベルの要件は、２Ｄ映像のビットストリームを符号化又は復号化するためのプロファイル及びレベルの要件よりも比較的高いため、３Ｄ映像のビットストリームの復号化を実行し、そして次に当該復号化された画像を２Ｄの表示装置に出力するには、高度なデコーダが必要となる。また、２Ｄの表示装置に関して、当該２Ｄの表示装置により表示される必要のない画像も復号化される必要があるので、当該デコーダの計算及び記憶リソースが浪費されることになる。

そこで、前述のデコーダ又はエンコーダの計算及び記憶リソースの無駄遣いの問題を解決するために、以下の複数の技術的解決手段が本発明の複数の実施方法において使用される。

映像符号化方法であって、映像は画像シーケンスを含み、かつ前記方法は：
符号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ；
前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するステップであって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ；
前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含む、ステップ；及び
符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ；
を備える、映像符号化方法。

映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、受信するステップ；
復号化される画像を取得するステップ；
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含む、取得するステップ；及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ；
を備える映像復号化方法。

映像符号化装置であって、映像は画像シーケンスを含み：
前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画面を決定するように構成される独立復号化可能表示画面決定部；
前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するように構成されるタイル分割部であって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は、独立して復号化可能な領域である、タイル分割部；
前記画像に対応する補助メッセージを生成するように構成される補助メッセージ生成部であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は、１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含む、補助メッセージ生成部；及び
符号化された映像ビットストリームを生成するために、前記画像に含まれる全てのタイルを符号化するように構成される符号化実行部であって、前記符号化される動画ビットストリームは、前記補助メッセージを含む、符号化実行部；
を備える、映像符号化装置。

選択的に、前記符号化実行部は、さらに：現在の符号化されるタイルが前記独立して復号化される領域の中のタイルであるかどうかを決定する決定部であって；ＹＥＳあった場合、符号化される画像の独立して復号化される領域を前記現在のタイルのフレーム間参照領域候補として設定し；ＮＯであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定し；且つ符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するように構成される、決定部；を備える。

映像ビットストリームを受信するように構成される受信部であって、前記映像ビットストリームは復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含む、受信部；及び復号化される画像を取得し、前記補助メッセージに従って、前記復号化される画像の独立して復号化可能なエリアの場所識別子を取得し、前記独立して復号化可能なエリアの前記場所識別子は１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含み、且つ前記独立して復号化可能なエリアの前記場所識別子に従って、前記復号化される画像の該独立して復号化可能なエリアを取得し、且つ該独立して復号化可能なエリアを復号化するように構成される復号化実行部；を備える、映像復号装置。

映像を符号化するように構成されるエンコーダであって、前記映像は画像シーケンスを含み、且つ前記エンコーダは：１つ以上のプロセッサ；１つ以上のメモリ；及び１つ以上のプログラム；を備え、前記１つ以上のプログラムは前記１つ以上のメモリに記憶され、そしてさらに、前記１つ以上のプログラムは、前記１つ以上のプロセッサにより実行されるように構成され、かつ前記１つ以上のプログラムは：前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画像を決定するように構成される命令；前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するように構成される命令であって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応するエリアは独立して復号化可能なエリアである、命令；前記画像に対応する補助メッセージを生成するように構成される命令であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含む、命令；及び符号化された映像ビットストリームを生成するために前記画像に含まれる全てのタイルを符号化するように構成される命令であって、前記符号化された映像ビットストリームは、前記補助メッセージを含む、命令；を備える、エンコーダ。

１つ以上のプロセッサ；
１つ以上のメモリ；及び
１つ以上のプログラム；
を備えるデコーダであって、
前記１つ以上のプログラムは、前記１つ以上のメモリに記憶され、そしてさらに、前記１つ以上のプログラムは、前記１つ以上のプロセッサにより実行されるように構成され、かつ前記１つ以上のプログラムは：
映像ビットストリームを受信するように構成される命令であって、前記映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含む、命令；
復号化される画像を取得するように構成される命令；
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するように構成される命令であって、前記独立して復号化可能な領域の前記場所識別子は、１つ以上のタイル（ｔｉｌｅ）のタイル識別子を含む、命令；及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するように構成される、命令；を含む、デコーダ。

映像を処理する供給源装置内に配置され、且つ前記映像を符号化するように構成されるエンコーダであって、前記映像は画像シーケンスを含み、且つ前記映像に対応する構成ファイルに従って、符号化される画像の中の独立して復号化可能な表示画面を決定し；前記映像を少なくとも２つのタイル（ｔｉｌｅ）であって、前記独立して符号化可能な表示画面をカバーする１つ以上のタイルは、独立して復号化可能な領域である、タイル、に分割し；前記画像に対応する補助メッセージであって、前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は、１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含む、補助メッセージ、を生成し；且つ符号化された映像ビットストリームであって、前記補助メッセージを含む、符号化された映像ビットストリーム、を生成するために前記画像に含まれる全てのタイルを符号化するするように構成される、１つ以上の回路；を含む、エンコーダ。

映像を処理するための受信装置内に配置されるデコーダであって、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、映像ビットストリーム、を受信し；復号化される画像を取得し；前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子であって、１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含む前記独立して復号化可能な領域を含む、場所識別子、を取得し；且つ前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、かつ前記独立して復号化可能な領域を復号化するように構成される１つ以上の回路；を備える、デコーダ。

複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ前記複数の命令が装置により実行される場合、該装置は、以下の動作：
映像の中の符号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ；
前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するステップであって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ；
前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含む、ステップ；及び
符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ
を実行するようにトリガされる、コンピュータ可読記憶媒体。

複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ該複数の命令が装置により実行される場合、前記装置は、以下の動作：
映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、受信するステップ；
復号化される画像を取得するステップ；
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含む、取得するステップ；及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ；
を実行するようにトリガされる、コンピュータ可読記憶媒体。

前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、独立復号化可能領域識別子を含み、且つ前記独立復号化可能領域識別子は、前記画像が前記独立して復号化可能な領域を含むかどうかを識別するために使用される。

前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるクロッピング（ｃｒｏｐｐｉｎｇ）情報を含み、且つ前記クロッピング情報は、前記独立して復号化可能な領域に対する前記独立して復号化可能な表示画面の上、下、左又は右の境界の水平座標又は垂直座標を含む。

前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される。

前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるレベル（ｌｅｖｅｌ）情報を含み、前記レベル情報は、デコーダが満足する必要のあるレベル情報を識別するために使用され、かつ前記レベル情報は、前記独立して復号化可能な領域の前記画像に対する比率に従って、計算手段により取得される。

前述の各種符号化の実施形態において記載されるように、選択的に、前記符号化される画像に含まれる全てのタイルを符号化するステップは、さらに：現在符号化されるタイルが前記独立して符号化可能な領域の中のタイルであるかどうかを判定するステップ；ＹＥＳであった場合に、符号化された画像の独立して符号化可能な領域を、前記現在のタイルのフレーム間参照領域候補として設定するステップ；ＮＯであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定するステップ；及び符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するステップ；を含む。

前述の各種実施形態において記載されるように、選択的に、前記画像シーケンスは、異なる複数のパッキング種別及び複数の反転種別の複数の画像を含み；且つ前記構成ファイルは前記画像シーケンスの中の画像の各フレームのパッキング種別及び反転種別、及び異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する独立して復号化可能な複数の表示画面を記憶する。

前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、独立して復号化可能な複数の領域の複数の場所識別子であって、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する、複数の場所識別子、を含む。

前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応するクロッピング情報であって、且つ前記独立して復号化可能な複数の領域を復号化するために使用されるクロッピング情報を含む。

前述の各種復号化実施形態に記載されるように、選択的に、前記複数の実施形態は、さらに、前記独立して復号化可能な表示画面を取得するために、前記補助メッセージの中の前記クロッピング情報に従って、前記独立して復号化可能な領域をクロッピングするステップを含む。

前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、さらに、前記異なる複数のパッキング種別及び複数の反転種別の複数の画像に対応するプロファイル情報であって、且つ前記複数の独立して復号化可能な領域を復号化するために使用される、プロファイル情報、を含む。

前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、さらに、異なる複数のパッキング種別及び複数の反転種別に対応するレベル情報であって、且つ前記独立して復号化可能な複数の領域を復号化するために使用される、レベル情報、を含む。

前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｄ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）の中で送信される。

前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）の中で送信される。

前述の各種実施形態における前記エンコーダ及び前述の各種実施形態における前記デコーダを含む、映像符号化及び復号化システム。

復号化される映像及び補助メッセージを含む映像ビットストリームであって、前記復号化される映像は復号化される画像シーケンスを含み、かつ前記補助メッセージは前記画像シーケンスの独立して復号化可能な領域を示す場所識別子を含み、前記独立して復号化可能な領域の前記場所識別子は、１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含む。

前述の複数の実施形態の技術的な複数の効果は、以下のように分析される：

前述の符号化の複数の実施形態によると、補助メッセージは、ビットストリームに追加され、該補助メッセージ中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して形成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件を低くする。

前述の復号化の複数の実施形態によると、デコーダは、補助メッセージに従って、復号化を実行するために、画像の中の独立して復号化可能な領域だけを取得することができる、すなわち、前記復号化は、前記独立して復号化可能な領域に対してのみ実行され、これにより前記デコーダの性能に対する要件を低くし、且つ前記デコーダの計算及び記憶リソースを節約する。さらに、独立して符号化可能な領域のビットストリームに対応するプロファイル及びレベル要件は、一般的に、前記デコーダの性能及び記憶に対する要件を低くする。従って、前記デコーダが初期化された後、前記デコーダの符号化時間及び消費電力を低減することができ、そして前記デコーダの前記記憶に対する前記要件が低くなる。前記デコーダが元の映像ビットストリームのプロファイル及びレベル要件を満たさないが、前記デコーダが独立して符号化可能な領域のサブビットストリームに対応する前記プロファイル及びレベル要件を満たす場合、解像度又はビットレートについての高い要件を有し、且つ２Ｄディスプレイと互換性のある３Ｄ映像ビットストリームの前記デコーダに対する対応が増加する。

本発明の複数の実施例の中の複数の技術的解決手段をより明確に説明するために、本発明の複数の実施例を説明する以下の複数の添付図面が簡単に紹介される。明らかに、以下の説明における複数の添付図面は、単に本発明のいくつかの好適な実施例を示すだけであり、そして当業者は、創造的努力なしで、これらの添付図面から、さらに他の複数の図面を導出することができる。

従来技術における３ＤＴＶ技術のフレームパッキングを使用する映像ビットストリームの表示画面パッキング種別の概略図である。

従来技術における２Ｄ表示装置に対してフレームパッキング３ＤＴＶ技術を使用する映像ビットストリームを出力する処理プロセスの概略図である。

従来技術における復号化される画像の概略構成図である。

本発明の実施例に従う、映像符号化及び復号化システムの構成図である。

本発明の実施例に従う、エンコーダのハードウェアの構成図である。

本発明の実施例に従う、デコーダのハードウェア構成図である。

本発明の実施例に従う、エンコーダの機能ブロック図である。

本発明の実施例に従う、デコーダの機能ブロック図である。

本発明の実施例に従う、エンコーダのハードウェア構成図である。

本発明の実施例に従う、映像符号化方法のフローチャートである。

図１０に示される方法のプロセスにおける画像のフレームの符号化の具体的な方法のフローチャートである。

本発明の実施方法に従う、映像復号化方法のフローチャートである。

本発明の実施方法に従う、さらに他の映像符号化方法のフローチャートである。

図１３に示される方法のプロセスにおける画像のフレームの符号化の具体的な方法のフローチャートである。

本発明の実施方法に従う、さらに他の復号化方法のフローチャートである。

本発明の実施方法に従う、さらに他の映像符号化方法のフローチャートである。

図１６に示す方法のプロセスにおける画像のフレームを符号化する具体的な方法のフローチャートである。

本発明の実施方法に従う、さらに他の復号化方法のフローチャートである。

以下において、本発明の複数の実施例の複数の添付図面を参照して、本発明の複数の実施例における複数の技術的解決手段を明確かつ完全に説明する。明らかに、記載された複数の実施例は、本発明の複数の実施例の全てではなく、一部である。創造的な努力なしで、本発明の複数の実施例に基づき、当業者により取得される全ての他の実施例は、本発明の保護範囲に属さなければならない。

以下において、まず、本発明の複数の解決手段を理解するための基本的な概念を説明する。

最大符号化単位（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）：高効率映像符号化（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＨＥＶＣ）技術における最小画像分割単位が図３における小さいセルとして示される。ＬＣＵは、６４×６４画素のブロックであってもよい。ＨＥＶＣエンコーダが画像のフレームを符号化する前に、まず、画像はＬＣＵを単位として用いるグリッドに分割される。

符号化単位（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）：エンコーダは、画像の物理的な構成の大きさに従って、最適な符号化単位の分割を動的に決定する。１つのＬＣＵは、１つ以上の符号化単位に分割されてもよく、そして符号化及び復号化は、ＣＵを単位として使用することにより別々に実行される。

タイル（ｔｉｌｅ）：高レベルの画像分割方法において、画像はｍ行ｎ列に分割され、各分割されたブロックは、タイルと呼ばれる。図３に示されるように、画像は１行３列に分割される。タイルの行と列の双方は、ＬＣＵを最小単位として使用する、すなわち、１つのＬＣＵは、同時に２つのタイルに属すことはできない。当該タイル分割が決定された後、エンコーダはまず、左から右への順で、そして次に上から下への順で、タイル識別子（ｔｉｌｅ ｉｄ）を割り当てる。一般に、タイルのサイズの分割は、画像に対応する構成ファイルに従って実行される。一般に、構成ファイルは、例えば、コーディングツール、コーディングの制限、及び符号化される画像の特性などの、エンコーダの符号化処理において事前に定められる必要のある複数の入力パラメータを記憶する。

独立タイル（ｉｎｄｅｐｅｎｄｅｎｔ ｔｉｌｅ）：タイルの種類であって、フレーム内予測の間、独立タイル内のＣＵと、他の独立タイル内のＣＵとの間で相互参照を行うことはできない。

従属タイル（ｄｅｐｅｎｄｅｎｔ ｔｉｌｅ）：タイルの種類であって、フレーム内予測の間、従属タイルの中のＣＵは、独立タイルの中のＣＵを参照することができる。

ＨＥＶＣエンコーダは、ＬＣＵを最小単位として使用することにより符号化を実行する。画像の幅と高さがＬＣＵの整数倍でない場合、当該符号化の前に、補完を実行する必要がある。図３に示されるように、斜線の網掛け部分の内部の複数のＬＣＵは映像領域であり、そして空白部における複数のＬＣＵは、補完された部分であり、これはＬＣＵ位置合わせ（ＬＣＵ ａｌｉｇｎｍｅｎｔ）と呼ばれる。デコーダが復号化を完了し、且つ映像ストリームを出力する前に、以前に補完されたＬＣＵ部分は削除される必要があり、そして次に映像ストリームが出力され、これはクロッピング（ｃｒｏｐｐｉｎｇ）と呼ばれる。

図３に示されるように、各ＬＣＵには、まず、左から右への順序で、そして次に上から下への順序で、０から始まるアドレスが順次割り当てられ、そして、当該アドレスは、ＬＣＵアドレスと呼ばれる。次に、タイル分割に従って、ＬＣＵアドレスが属するタイルが計算されてもよい、すなわち、ＬＣＵアドレスからタイルＩＤへの参照テーブルを確立することができる。

一般的に、符号化される映像は、画像シーケンスとして見なされてもよく、そして映像ビットストリームは符号化の後に形成され、映像ビットストリームは、符号化された画像シーケンス及び当該画像の復号化に必要なパラメータセットを含む。アクセス単位（ａｃｃｅｓｓ ｕｎｉｔ、ＡＵ）は、画像を符号化するためのフレーム及び当該画像を復号化するために必要なパラメータセットを含む。或いは、ＡＵは、符号化された画像のフレームだけを含む。

当該画像を復号化するためのパラメータセットにおいて、１ビットの識別子ｔｉｌｅ＿ｓｐｌｉｔｔａｂｌｅ＿ｆｌａｇが、映像利用可能情報（ｖｉｄｅｏ ｕｓａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）パラメータ構造において定義され、ここで、ｔｉｌｅ＿ｓｐｌｉｔｔａｂｌｅ＿ｆｌａｇは、ビットストリーム内のタイルが以下の複数の機能に好適であることを示す。
１．タイル分割は、画像シーケンスの中の各画像に対して不変のままである。
２．シーケンス内の異なる複数のフレームに対して、同じＩＤを持つタイルの間においてのみ、予測参照（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｅｒｅｎｃｅ）を行うことができる。
３．ループフィルタリングは、各タイルについて別々に実行され、そして、いくつかの復号化されたＣＵにより、完全な画像が再構成される。画像内のＣＵは、異なる参照フレームの異なる部分に従って予測されてもよく、そして元の画像と予測及び復号化により取得されたこの画像との間に誤差が存在する可能性があり、これにより隣接する複数のＣＵの境界における不連続が引き起こされる。当該ループフィルタリングは、この不連続を除去するために、画像全体に対して実行される。

本発明の実施例による映像符号化及び復号化方法を実施するためのシステム構成図である図４に示されるように、供給源装置１００はネットワーク側の映像ヘッドエンド装置であり、供給源装置（ｓｏｕｒｃｅ ａｐｐａｒａｔｕｓ）１００は、符号化の前及び後に映像（すなわち、画像シーケンス）を記憶するように構成される映像メモリ１０１、画像シーケンスを符号化するように構成されるエンコーダ１０２、及び符号化されたビットストリームを他の装置に送信するように構成される送信機１０３、を備える。情報源装置１００は、さらに、ビデオカメラ等の、映像を撮像し、かつ撮像された映像を映像メモリ１０１に記憶するための映像撮像装置を備えてもよく、そして、さらに、フレーム内エンコーダ要素、各種フィルタ等の、他の構成要素を含んでもよい。

映像メモリ１０１は、一般に、比較的大きい記憶スペースを含む。例えば、映像メモリ１０１は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）又はフラッシュメモリを含んでもよい。他の実施例において、映像メモリ１０１は、不揮発性メモリ又は他のデータ記憶装置を含んでもよい。

エンコーダ１０２は、映像符号化を実行する装置の一部分である。特定の実施例として、エンコーダは、映像を符号化及び復号化するために使用されるチップセットを含んでもよく、且つハードウェア、ソフトウェア、ファームウェア、プロセッサ又はデジタル信号処理（ＤＳＰ）のいくつかの組合せを含んでもよい。

送信機１０３は、有線ネットワーク、無線ネットワーク、又は他の方法を使用することにより、映像ビットストリームの信号変調を実行し、そして次に、映像ビットストリームを受信端に送信する。

受信装置２００は、ユーザ側の端末装置であり、当該受信装置２００は、符号化された映像ビットストリームを受信するように構成される受信機２０３、映像ビットストリームを復号化するように構成されるデコーダ２０２、及びＬＥＤ ＴＶ等の、復号化された映像を端末ユーザに表示する表示装置２０１を含む。受信装置２００は、さらに、モデム、信号増幅器及びメモリ等の、他の構成要素を含んでもよい。

デコーダ２０２は、映像復号化を実行する装置の一部であってもよい。特定の実施例として、当該デコーダは、映像を符号化及び復号化するために使用されるチップセットを含んでもよく、且つハードウェア、ソフトウェア、ファームウェア、プロセッサ又はデジタル信号処理（ＤＳＰ）のいくつかの組合せを含んでもよい。

表示装置２００は、２Ｄの表示装置であってもよく、或いはディスプレイ、テレビ及びプロジェクタ等、同時に２Ｄ又は３Ｄと互換性がある表示装置であってもよい。

図４に示されるエンコーダ１０２のさらに詳細なハードウェアの構成図である図５に示されるように、エンコーダ１０２は、バッファ１０２１及びプロセッサ１０２２を含む。バッファ１０２１は、映像メモリ１０１よりも小さく且つ高速な記憶スペースを含む。例えば、バッファ１０２１は、同期ランダムアクセスメモリ（ＳＲＡＭ）を含んでもよい。バッファ１０２１は、「オンチップ」メモリを含んでもよく、そしてプロセッサ１０２２の集中的な符号化処理における非常に高速なデータアクセスを提供するために、バッファ１０２１は、エンコーダ１０２の他の構成要素と一体化されている。所定の画像シーケンスの符号化の間、符号化される画像シーケンスは、映像メモリ１０１からバッファ１０２１に順次ロードされてもよい。また、バッファ１０２１は、さらに、符号化される映像の構成ファイル、特定の符号化アルゴリズムを実行するために使用されるソフトウェアプログラム等、を記憶するように構成されてもよい。いくつかの場合において、バッファ１０２１は、さらに、符号化が完了した画像であって、当該画像の送信時間に達していない又は当該画像は画像の次のフレームの符号化の基準を与えるために使用される、画像、を記憶するように構成される。他の実施例において、記憶機能を有するメモリがバッファ１０２１として使用されてもよい。プロセッサ１０２２は、バッファ１０２１から符号化される画像を取得し、且つ映像に含まれる画像シーケンスが符号化されるまで当該画像の符号化を実行する。

図４に示されるデコーダ２０２のさらに詳細なハードウェアの構成図である図６に示されるように、デコーダ２０２は、バッファ２０２１及びプロセッサ２０２２を含む。バッファ２０２１は、小さく且つ高速な記憶スペースを含む。例えば、バッファ２０２１は、同期ランダムアクセスメモリ（ＳＲＡＭ）を含んでもよい。バッファ２０２１は、「オンチップ」メモリを含んでもよく、そしてプロセッサ２０２２の集中的な復号化処理における非常に高速なデータアクセスを提供するために、バッファ２０２１は、デコーダ２０２の他の構成要素と一体化されている。所定の画像シーケンスの復号化の間、復号化される画像シーケンスは、バッファ２０２１にロードされてもよい。また、バッファ２０２１は、さらに、特定の復号化アルゴリズムを実行するために使用されるソフトウェアプログラム等、を記憶するように構成されてもよい。また、バッファ２０２１は、復号化が完了したが、表示時間に達していない画像、又は次の画像の復号化の参照フレームとして使用される必要のある画像を記憶するように、さらに構成されてもよい。他の実施例において、記憶機能を有するメモリがバッファ２０２１として使用されてもよい。プロセッサ２０２２は、バッファ２０２１から復号化される画像を取得し、且つ映像ビットストリームに含まれる画像シーケンスが復号化されるまで、当該画像の復号化を実行する。

本発明のこの実施例によると、エンコーダ１０２による符号化を実行するプロセスにおいて、符号化されたビットストリームに補助メッセージが追加される。例えば、デコーダ２０２の復号化を支援するために、補助メッセージは、付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）又はシーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）の中に記憶されてもよい。まず、符号化されたビットストリームの中に独立して復号化可能な領域が存在することを識別するために、独立して復号化可能な領域の識別子が補助メッセージに追加されてもよい。３Ｄ映像ビットストリームの中の画像の各フレームの表示画面の部分であり、かつ最終的に２Ｄの表示装置により表示される表示画面の部分は、独立して復号化可能な表示画面である；タイル分割に対応して、独立して復号化可能な表示画面をカバーする領域は、独立して復号化可能な領域である。また、補助メッセージ自体も、独立して復号化可能な識別子と見なされてもよい。符号化された映像ビットストリームが補助メッセージを含む場合、当該ビットストリーム内に独立して復号化可能な領域が存在すると考えられる；そうでなければ、独立して復号化可能な領域は存在しない。デコーダ２０２は、符号化された映像ビットストリーム（すなわち、画像シーケンス）の各画像の独立して符号化可能な領域を取得し、そして次に、通常の復号化を実行する。

本発明のこの実施例におけるエンコーダ１０２が独立して復号化可能な領域を決定する場合、当該独立して復号化可能な領域の複数の特徴は、以下の通りであるということを保証する必要がある：同じパッキング種別及び反転種別を伴う画像の各フレームにおいて、当該独立して復号化可能な領域の場所とサイズは不変であり；当該独立して復号化可能な領域の中のＣＵに対して、フレーム間予測のための参照画像ブロックは、同じパッキング種別及び反転種別を伴う画像の独立して復号化可能な領域から選択され；且つ当該独立して復号化可能な領域の中でループフィルタリングは別々に実行される。

補助メッセージは、さらに、以下の情報を含んでもよい：独立して復号化可能な領域の場所識別子、独立して復号化可能な領域を出力及び表示するために使用されるクロッピング情報、及び独立して復号化可能な領域の中のサブ画像により形成されるサブ画像シーケンス（すなわち、サブビットストリーム）のプロファイル及びレベル情報。

オプションの実施例として、図７に示される記憶部１０２３を使用することにより、図５に示されるエンコーダ１０２のバッファ１０２１が実施されてもよい。また、プロセッサ１０２２は、図７に示される独立復号化可能表示画面決定部１０２４、タイル分割部１０２５、補助メッセージ生成部１０２６及び符号化実行部１０２７、を使用することにより実施されてもよい。オプションの実施例として、図５に示されるエンコーダ１０２は、図１０、図１１、図１３、図１４、図１６及び図１７に与えられる符号化方法を実行してもよい。

オプションの実施例として、図６に示されるデコーダ２０２のバッファ２０２１は、図８に示される記憶部２０２３を使用することにより実施されてもよい。また、プロセッサ２０２２は、図８に示される受信部２０２４及び復号化実行部２０２５を使用することにより実施されてもよい。図６に示されるデコーダ１０２は、図１２、図１５及び図１８に示される復号化方法を実行してもよい。

本発明の実施例に従うエンコーダの機能モジュール構成の概略図である図７に示されるように、エンコーダ１０２は、記憶部１０２３、独立復号化可能表示画面決定部１０２４、タイル分割部１０２５、補助メッセージ生成部１０２６及び符号化実行部１０２７を備える。記憶部１０２３は、映像の構成ファイルを記憶するように構成される。独立復号化可能表示画面決定部１０２４は、映像に対応する構成ファイルに従って、符号化される画像の中の独立して符号化可能な表示画面を決定するように構成される。タイル分割部１０２５は、画像を少なくとも２つのタイルに分割するように構成され、ここで独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は、独立して復号化可能な領域である。補助メッセージ生成部１０２６は、画像に対応する補助メッセージを生成するように構成され、ここで補助メッセージは独立して復号化可能な領域の場所識別子を含み、且つ独立して復号化可能な領域の当該場所識別子は１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含む。そして、復号化実行部１０２７は、符号化された映像ビットストリームを生成するために、画像に含まれる全てのタイルを符号化するように構成され、ここで、当該符号化された映像ビットストリームは、補助メッセージを含む。当該符号化実行部は、さらに、決定部を含む。ここで、当該決定部は、現在の符号化されるタイルが独立して復号化可能な領域の中のタイルであるかどうかを決定するように構成される。ＹＥＳであった場合、符号化された画像の独立して復号化可能な領域を現在のタイルのフレーム間参照領域候補として設定する。ＮＯであった場合、当該符号化された画像の全ての画像領域を現在のタイルのフレーム間参照領域候補として設定する。そして、フレーム間アルゴリズムが符号化用である場合、符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択する。

より具体的には、記憶部１０２３は、さらに、符号化される画像をロードし、且つ符号化実行部１０２７による符号化が完了した画像をロードするように構成される。独立復号化可能表示画面決定部１０２４は、さらに、図１０に示されるステップＳ３０１及びステップＳ３０２、及び図１１に示されるステップＳ４０１を実行してもよい。タイル分割部１０２５は、さらに、図１１に示されるステップＳ４０２を実行してもよい。補助メッセージ生成部１０２６は、さらに、図１１に示されるステップＳ４０３及びステップＳ４０４を実行してもよい。そして、符号化実行部１０２７は、さらに、図１１に示されるステップＳ４０５からステップＳ４０９を実行してもよい。

本発明の他の実施例において、記憶部１０２３は、さらに、符号化される画像をロードし、かつ符号化実行部１０２７による符号化が完了した画像をロードするように構成される。独立符号化可能表示画面決定部１０２４は、さらに、図１３に示されるステップＳ６０１からＳ６０３を実行してもよい。タイル分割部１０２５は、さらに図１４に示されるステップＳ７０１及びステップＳ７０２を実行してもよい。補助メッセージ生成部１０２６は、さらに、図１３に示されるステップＳ６０４を実行してもよい。そして、符号化実行部１０２７は、さらに、図１４に示されるステップＳ７０３からステップＳ７０７を実行してもよい。

本発明のさらに他の実施例において、記憶部１０２３は、さらに、符号化される画像をロードし、かつ符号化実行部１０２７による符号化が完了した画像をロードするように構成される。独立符号化可能表示画面決定部１０２４は、さらに、図１６に示されるステップＳ９０１及びＳ９０２を実行してもよい。タイル分割部１０２５は、さらに図１６に示されるステップＳ９０３及びステップＳ９０４を実行してもよい。補助メッセージ生成部１０２６は、さらに、図１６に示されるステップＳ９０５を実行してもよい。そして、符号化実行部１０２７は、さらに、図１７に示されるステップＳ１００１からステップＳ１００６を実行してもよい。

本発明の実施例に従うデコーダの機能ブロック構成の概略図である図８に示されるように、デコーダ２０２は、記憶部２０２３、受信部２０２４及び復号化実行部２０２５を含む。記憶部２０２３は、復号化される画像を記憶し、且つ復号化実行部２０２５による復号化は完了したが、表示時間に達していない画像をロードするように構成される。受信部２０２４は、映像ビットストリームを受信するように構成され、ここで当該映像ビットストリームは復号化される映像及び補助メッセージを含み、そして当該復号化される映像は復号化される画像シーケンスを含む。復号化実行部２０２５は、復号化される画像を取得し；補助メッセージに従って、復号化される画像の独立して復号化可能な領域の場所識別子であって、１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含む、独立して復号化可能な領域の場所識別子、を取得し；且つ独立して復号化可能な領域の場所識別子に従って、復号化される画像の独立して復号化可能な領域を取得し、且つ独立して復号化可能な領域を復号化するように構成される。

より具体的には、受信部２０２４は、さらに、図１２に示されるステップＳ５０１を実行するように構成される。そして、復号化実行部２０２５は、さらに、図１２に示されるステップＳ５０２からステップＳ５１５を実行するように構成される。

本発明の他の実施例において、受信部２０２４は、さらに、図１５に示されるステップＳ８０１を実行するように構成される。そして、復号化実行部２０２５は、さらに、図１５に示されるステップＳ８０２からステップＳ８１６を実行するように構成される。

本発明の他の実施例において、受信部２０２４は、さらに、図１８に示されるステップＳ１１０１を実行するように構成される。そして、復号化実行部２０２５は、さらに、図１８に示されるステップＳ１１０２からステップＳ１１１４を実行するように構成される。

本発明の実施例に従うエンコーダの具体的な実施の構成図で或る図９に示されるように、現在のＦｎ、１００１は、符号化される映像の中の現在の符号化される画像のフレームである。そして、参照Ｆ′ｎ−１、１００２は、符号化される映像の中の符号化される画像のフレームであり、且つ当該現在の符号化される画像に対する符号化の基準を与える。

入力された現在のフレームＦｎ、１００１は、フレーム内又はフレーム間予測符号化方法に従って処理される。フレーム内予測符号化が使用される場合、現在のＦｎ、１００１の中の以前に符号化された参照画像に対する動き補償１００６（ＭＣ）が実行された後に、現在のＦｎ、１００１の予測値ＰＲＥＤ（図においてＰで表される）が取得され、参照画像は、参照Ｆ′ｎ−１、１００２により表される。予測精度を向上することで圧縮比を向上するために、実際の参照画像は、符号化されたフレーム、復号化されたフレーム、再構成されたフレーム、又はフィルタされたフレームから選択されてもよい。予測値ＰＲＥＤが現在のブロックから減算された後、残りのブロックＤｎが生成され、そして変換及び量子化の後、量子化された変換係数Ｘのグループが生成される。エントロピー符号化１０１４の後、複数の変換係数Ｘ及び復号化するために必要ないくつかの情報（予測モード量子化パラメータ及び動きベクトル）は、圧縮されたビットストリームを生成し、そして当該圧縮されたビットストリームは、送信及び記憶のためにＮＡＬ（ｎｅｔｗｏｒｋ ａｄａｐｔｉｖｅ ｌａｙｅｒ）を通過する。

上述のように、さらなる予測のための参照画像を提供するために、エンコーダは、画像を再構成する機能を有する必要がある。従って、残りの画像についての逆量子化及び逆変換が実行された後に取得される再構成Ｆｎ′、１００３、及び予測値Ｐは、ｕＦｎ′（フィルタされていないフレーム）を取得するために、共に加算されなければならない。符号化及び復号化ループにおいて生成されるノイズを除去し、そして参照フレームの画像品質を改善することによって画像圧縮の性能を向上するために、ループフィルタが配置され、そしてフィルタされ且つ出力された、再構成Ｆｎ′、１００３、すなわち、再構成された画像が参照画像として使用されてもよい。

本発明において、ＭＥの選択及びフレーム間予測の間、独立して復号化可能な領域の外部の符号化単位の参照範囲についての制限が取り除かれる（詳細については、図１０から図１８の記載を参照する）。従って、予測精度を向上するために、より類似の参照単位が選択され、これにより圧縮比を向上する。

図１０は、本発明の実施例に従う、映像符号化方法を示す。この実施例において、前述の補助メッセージは、ＳＥＩメッセージの中で送信される。３Ｄ映像ビットストリームの中の画像の各フレームの表示画面の部分であり、且つ最終的に２Ｄ表示装置により表示される表示画面の部分は、独立して復号化可能な表示画面である。タイル分割に対応して、独立して復号化可能な表示画面をカバーする領域は、独立して復号化可能な領域である。ＳＥＩメッセージは、独立復号化可能領域識別子を含む。独立して復号化可能な領域は１つのタイルに対応する、すなわち、タイル分割の１つの種別は、１つのタイル内の独立して復号化可能な表示画面を含めるために使用される。復号化される映像、すなわち、復号化される画像シーケンスは、異なる複数のパッキング種別及び異なる複数の反転種別を有する複数の画像を含んでもよい。

図１０に示される符号化方法は、エンコーダにより映像を符号化する処理であり、当該映像は、その長さがＭフレームである画像シーケンスである。２表示画面パッキング形態が、画像の各フレームの例として使用され、そして、それらのうちの１つの表示画面は、２Ｄ表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、２つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。

ステップＳ３０１：復号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。

ステップＳ３０２：構成ファイルに従って、画像シーケンスの中で独立して復号化される必要のある表示画面を決定する。この実施例において、画像シーケンスの全体の中の各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面は、画像のフレームの中の左の表示画面又は右の表示画面等、構成ファイルの中で事前に設定される。同じパッキング種別及び反転種別の画像に対応する独立して復号化可能な複数の表示画面は同じであり、そして異なる複数のパッキング種別及び反転種別に対応する独立して復号化可能な複数の表示画面は異なる。

ステップＳ３０３：画像シーケンスの中のｉ番目のフレームを取得し、そしてｉ＝１と設定する。

ステップＳ３０４：画像のｉ番目のフレームを符号化する。ここで、具体的な符号化処理は、以下の図１１において詳細に説明される。

ステップＳ３０５：現在符号化されている画像のｉ番目のフレームに対応するＡＵを出力し、そしてＡＵを、エンコーダの記憶装置に記憶する、又は供給源装置１００の映像メモリ１０１又はエンコーダ１０２のバッファ１０２１等の外部記憶装置に記憶する、或いはネットワークを使用することにより当該ＡＵを遠隔受信装置２００に直接送信する。

ステップＳ３０６：ｉがＭに等しい場合（すなわち、ｉ番目のフレームが最後のフレームである場合）、符号化は終了する。そうでなければ、ｉ＝ｉ＋１とし、そしてステップＳ３０３が実行される。

図１１は、図１０に示される映像符号化方法のステップＳ３０４における画像のフレームを符号化する具体的な方法の概略フローチャートである。

ステップＳ４０１：構成ファイルに従って、画像の現在のｉ番目のフレームのパッキング種別及び反転種別に対応する独立して復号可能な表示画面を取得する。

ステップＳ４０２：独立して復号化可能な表示画面をカバーする最小のタイルに従って、タイル分割を決定する。すなわち、独立して復号化可能な表示画面は、１つのタイルの範囲内に含まれ、そしてさらに、タイル分割の上、下、左及び右は、ＬＣＵ位置合わせの要件を満たす必要がある。タイルに対応する領域は、独立して復号化可能な領域である。次に、画像のｉ番目のフレームは独立して復号化可能な領域をカバーする最小のタイル及び独立して復号化可能な領域をカバーする最小のタイル以外の領域により形成される、合計で２つのタイルである複数のタイルに分割され、そして複数のタイルの番号Ｎは２に設定される。本発明の他の実施例において、タイルの数は２に限定されない。タイルＩＤは、まず、左から右への順序において、そして次に、上から下への順序において割り当てられ、そして独立して復号化可能な表示画面をカバーする最小のタイルのＩＤは、ｓに事前設定される。本発明の他の実施例において、以下の複数の要件が満たされる限り、独立して復号化可能な表示画面をカバーする最小のタイルが、タイル分割の基準として使用されることは必ずしも必要ではない：当該タイルは、独立して復号化可能な表示画面をカバーし、そしてタイルの上、下、左及び右の境界は、ＬＣＵ位置合わせの要件を満たす。

ステップＳ４０３：ＳＥＩメッセージが生成される必要があるかどうか決定する。ここで、決定条件は：画像の現在のｉ番目のフレームが符号化される映像ビットストリームの中の１番目のフレームであるか、又は画像の現在のｉ番目のフレームが画像の１番目のフレームではないが、パッキング種別又は反転種別において以前のフレームとは異なる場合、次にＳＥＩメッセージが生成される必要があり、そしてステップＳ４０４が実行される。或いは、画像の現在のｉ番目のフレームが符号化される映像ビットストリームの中の画像の１番目のフレームではなく、且つ画像の現在のｉ番目のフレームのパッキング種別又は反転種別が前のフレームのそれと同じである場合、次にステップＳ４０５が実行される。すなわち、本実施例において、同じパッキング種別及び反転種別の連続する画像は、１つのＳＥＩメッセージに対応する。複数の画像の２つの連続するフレームの複数のパッキング種別及び複数の反転種別が異なる場合、新しいＳＥＩメッセージが生成される必要がある。

ステップＳ４０４：本発明において暫定的にＩＮＤＥＣ＿ＲＧＮ＿ＳＥＩと命名される、ＳＥＩメッセージを生成し、そしてＳＥＩメッセージの各フィールドを設定する。ここで、ＳＥＩメッセージは、以下の表の中で定められる。

表の中のｕｅ（ｖ）は、フィールドの長さが可変であることを示す。ｕ（ｎ）は、フィールドの長さがｎビット（バイト）であることを示す。そして、ｕ（１）は、フィールドの長さが１ビットであることを指定する。

独立して復号化可能な領域の場所識別子情報：

ｔｉｌｅ＿ｉｄ：独立して復号化可能な表示画面をカバーする最小のタイルのＩＤ。本実施例において、これはｓである。

以下は、独立して復号化可能な領域のクロッピング情報である。

ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇ：タイル（ｓ）に含まれる独立して復号化可能な表示画面の幅が、タイル（ｓ）の幅に等しく、且つ独立して復号化可能な表示画面の高さがタイル（ｓ）の高さに等しい場合、ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇはＦＡＬＳＥに設定される；そうでなければ、ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇはＴＲＵＥに設定される。

ｐｉｃ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ：タイル（ｓ）に対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。

ｐｉｐｉ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ：タイル（ｓ）に対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ：タイル（ｓ）に対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ：タイル（ｓ）に対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。

以下は、独立して復号化可能な領域（すなわち、タイル（ｓ）に対応する領域）のサブビットストリームのプロファイル及びレベル情報である：

ｎｅｗ＿ｐｒｏｆｉｌｅ＿ｆｌａｇ：独立して復号化可能な領域のサブビットストリームのプロファイルの識別子がビットストリーム全体のプロファイルの識別子と同じであるかどうかを示す。ｎｅｗ＿ｐｒｏｆｉｌｅ＿ｆｌａｇの値が０である場合、それらは同じであることを示す。ｎｅｗ＿ｐｒｏｆｉｌｅ＿ｆｌａｇの値が１である場合、それらは異なることを示す。

ｎｅｗ＿ｌｅｖｅｌ＿ｆｌａｇ：独立して復号化可能な領域のサブビットストリームのレベルの識別子がビットストリームの全体のレベルの識別子と同じであるかどうかを示す。ｎｅｗ＿ｌｅｖｅｌ＿ｆｌａｇの値が０である場合、それらは同じであることを示す。ｎｅｗ＿ｌｅｖｅｌ＿ｆｌａｇの値が１である場合、それらは異なることを示す。

ｐｒｏｆｉｌｅ＿ｉｄｃ：独立して復号化可能な領域の中のコーディングツールセットが適用されるプロファイルＩＤ。

ｌｅｖｅｌ＿ｉｄｃ：デコーダが満たす必要のある最低レベルのＩＤ。画像全体の領域に対するタイル（ｓ）の比率に従って、ビットレート及びタイル（ｓ）の復号化のための最大のキャッシュが計算される。例えば、画像全体を復号化するためのビットレートがｘであり且つ最大のキャッシュがｙであり、そして画像全体の領域に対するタイル（ｓ）の比率はｒである。その結果、当該タイル（ｓ）に対するビットレートはｘ×ｒであり、且つ最大のキャッシュはｙ×ｒである。ｐｒｏｆｉｌｅ＿ｉｄｃ、及び当該タイル（ｓ）に対するビットレートｘ×ｒ及び最大のキャッシュｙ×ｒに従って、この復号化性能を満たす最小のレベルが探索され、そしてｌｅｖｅｌ＿ｉｄｃが前述の最小レベルに設定される。

現在のタイルＩＤがｋに設定され、ここでｋ＝１である。

ステップＳ４０５：ｋがｓである場合、すなわち、現在のタイルが独立して復号化可能な表示画面をカバーするタイルである場合、ステップＳ４０６が実行される；そうでなければ、ステップＳ４０７が実行される。

ステップＳ４０６：画像の現在のｉ番目のフレームと同じパッキング種別及び反転種別を有する符号化された画像におけるタイル（ｓ）を、現在のｉ番目のフレームの中のタイル（ｓ）のフレーム間参照領域候補として設定する。

ステップＳ４０７：符号化された画像のフレームの中の全ての画像領域をタイル（ｋ）のフレーム間参照領域候補に設定する。

ステップＳ４０８：タイル（ｋ）を符号化するために、フレーム内予測アルゴリズム又はフレーム間予測アルゴリズムを使用することを選択する。符号化にフレーム内予測アルゴリズムが使用される場合、符号化を実行するために、ステップＳ４０６において、最適な参照エリアがフレーム間参照領域候補から選択される。

ステップＳ４０９：Ｎが画像のフレームの中のタイルの総数であるとして、ｋがＮより小さい場合、すなわち、タイル（ｋ）が符号化される画像の中の最後のタイルではない場合、次にｋ＝ｋ＋１とされ、そして処理はステップＳ４０５に切り替わる。ｋがＮに等しい場合、符号化は終了する。

前述の図１０及び図１１において提供される符号化方法に従って、補助メッセージが符号化されたビットストリームに追加され、そしてＳＥＩメッセージの中で送信される。ＳＥＩメッセージの中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して生成されるサブビットストリームだけに対して適用され、これによりデコーダの性能に対する要件が低くなる。さらに、ステップＳ４０６及びＳ４０７において、異なる複数のフレーム間参照領域候補は、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して別々に設定され、これにより、領域内の符号化ブロックが独立して復号化され得ることを保証し、そして符号化ブロックの参照領域を領域の外に拡張する。従って、参照は、符号化における現在のブロックと同様な符号化ブロックに対して行われてもよく、これにより符号化の効率を向上し、そして送信データの量を節約する。

図１２は、本発明の実施例に従う映像復号化方法を示す。この実施例において、デコーダは、図１０及び図１１に示される複数の処理において符号化された映像ビットストリームを復号化する、すなわち、長さＭの映像シーケンスを復号化する処理は以下の通りである：

ステップＳ５０１：復号化される映像ビットストリームを受信する。ここで、当該映像ビットストリームは、いくつかのＡＵを含み、そして各ＡＵは符号化された画像のフレームに対応する。

ステップＳ５０２：ビットストリームから１つのＡＵを取得する。

ステップＳ５０３：現在のＡＵが、フレームパッキング配置（ｆｒａｍｅ ｐａｃｋｉｎｇ ａｒｒａｎｇｅｍｅｎｔ）の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである：（１）現在のＡＵは、ＦＰＡ（ｆｒａｍｅ ｐａｃｋｉｎｇ ａｒｒａｎｇｅｍｅｎｔ、フレームパッキング配置）メッセージを含み、そしてキャンセルフラグビットは０である；（２）現在のＡＵは、ＦＰＡメッセージを含まないが、復号化される映像ビットストリームの中で以前に受信された前のＦＰＡメッセージの中のキャンセルフラグビットは０である。当該２つの条件のうちのどちらかが満たされた場合、ステップＳ５０４が実行される。そうでなければ、処理は、ステップＳ５１５に切り替えられる。

ステップＳ５０４：現在のＡＵがＳＥＩメッセージを含むかどうかを決定する。ＹＥＳであった場合、ステップＳ５０６が実行される。そうでなければ、ステップＳ５０５が実行される。

ステップＳ５０５：以前に受信したＡＵがＳＥＩメッセージを含むかどうかを決定する。ＹＥＳであった場合、現在のＡＵの中の画像を復号化及び出力するために、このメッセージの中のパラメータが再利用される。そうでなければ、ステップＳ５１５が実行される。

ステップＳ５０６：デコーダの性能がＳＥＩメッセージの中のプロファイル及びレベル要件を満たしているかどうかを決定する。ＮＯであった場合、復号化を実行することはできず、且つ直接終了する。ＹＥＳであった場合、ステップＳ５０７が実行される。

ステップＳ５０７：ＳＥＩメッセージの中のプロファイル及びレベル情報に従って、デコーダを初期化する。

ステップＳ５０８：前述のＳＥＩメッセージから、独立して復号化可能な領域に対応するタイルＩＤを取得する。ここで、この実施例において、当該独立して復号化可能な領域に対応するタイルＩＤはｓである。

ステップＳ５０９：ＡＵから画像情報を取得する。ここで、当該画像情報は、符号化された画像情報であり、そしてデコーダにより復号化される。

ステップＳ５１０：ＳＥＩメッセージから取得され、且つ独立して復号化可能な領域に対応するタイルＩＤに従って、画像からタイル（ｓ）の中の画像を取得する。

ステップＳ５１１：タイル（ｓ）の中の画像を復号化する。ここで、復号化の方法は、符号化処理の中の対応する符号化方法に従って、決定される。

ステップＳ５１２：前述のＳＥＩメッセージの中のクロッピング情報に従って、タイル（ｓ）の中の画像をクロッピングする。ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇがＦＡＬＳＥの場合、クロッピングは必要ではない。そうでなければ、ｐｉｃ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｉｃ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｉｃ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｉｃ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔにより識別される領域、すなわち、当該タイル（ｓ）の中の独立して復号化可能な表示画面がタイル（ｓ）から取得される。

ステップＳ５１３：独立して復号化可能な領域の中の独立して復号化可能な表示画面を出力する。

ステップＳ５１４：現在のＡＵがビットストリームの中の最後のＡＵであった場合、復号化は終了する。そうでなければ、ステップＳ５０２が実行される。

ステップＳ５１５：通常の復号化処理を実行する。

本実施例において提供される復号化方法によれば、フレームパッキング３ＤＴＶ技術を使用することにより符号化された３Ｄ映像ビットストリームをデコーダが受信したが、当該デコーダは、２Ｄの表示装置に接続されている場合、当該デコーダは、ＳＥＩメッセージに従って、復号化を実行するために、２つの表示画面のうちの１つだけを取得することができる。すなわち、復号化は、独立して復号化可能な領域に対してだけ実行され、これによりデコーダの性能に対する要件が低くなり、そしてデコーダの計算及び記憶リソースを節約する。また、一般に、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、デコーダの性能及び記憶装置の要件を低くする。従って、デコーダが初期化された後、復号化時間及びデコーダの消費電力を低減することができ、そしてデコーダの記憶装置に対する要件が低減される。デコーダが元の３Ｄ映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ２Ｄディスプレイとの互換性のある３Ｄ映像ビットストリーム用のデコーダの対応が増加する。

図１３は、本発明の実施例に従う、他の映像符号化方法を示す。この実施例において、前述の補助メッセージは、また、ＳＥＩメッセージの中で送信されるが、このＳＥＩメッセージは、図１０、図１１、及び図１２の中のＳＥＩメッセージとは異なる。ＳＥＩメッセージは、各種パッキング種別及び反転種別の複数の画像に対応する異なる複数の独立復号化可能領域識別子、クロッピング情報、プロファイル及びレベル情報を含む。３Ｄ映像ビットストリームの中の各フレームの表示画面であって、且つ最終的に２Ｄ表示装置により表示される表示画面は、独立して復号化可能な表示画面である。独立して復号化可能な表示画面をカバーする領域は、複数のタイルにより形成される長方形の領域により表され、そして各タイルはＬＣＵ位置合わせの要件を満たす必要がある。ここで、複数のタイルにより形成される長方形の領域は、独立して復号化可能な領域である。復号化される映像、すなわち、復号化される画像シーケンスは、異なる複数のパッキング種別及び異なる複数の反転種別を有する複数の画像を含んでもよい。

図１３に示される符号化方法は、エンコーダによる映像の符号化処理であり、ここで当該映像は、その長さがＭである映像シーケンスである。２表示画面パッキング形態が、画像の各フレームの例として使用され、そして、それらのうちの１つの表示画面は、２Ｄ表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、２つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。

ステップＳ６０１：復号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。この実施例において、画像シーケンスの全体の中の各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面は、画像のフレームの中の左の表示画面又は右の表示画面等、構成ファイルの中で事前に設定される。同じパッキング種別及び反転種別の画像に対応する独立して復号化可能な複数の表示画面は同じであり、そして異なる複数のパッキング種別及び反転種別に対応する独立して復号化可能な複数の表示画面は異なる。

ステップＳ６０２：符号化される映像の構成ファイルに従って、画像シーケンスの中の画像の各フレームのパッキング種別と反転種別の組合せを取得する。

ステップＳ６０３：構成ファイルの中で事前に設定され、且つ各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面に従って、且つ画像の各フレームのパッキング種別及び反転種別についての構成ファイルに従って取得された情報に従って、画像シーケンスの中の画像の各フレームの独立して復号化可能な表示画面を決定する。

ステップＳ６０４：ＳＥＩメッセージを作成する。ここで、当該ＳＥＩメッセージは、１つの画像シーケンスの中で１回だけ送信され、そして当該ＳＥＩメッセージは、各種パッキング種別及び反転種別の複数の画像に対応する、異なる複数の独立復号化可能領域識別子、クロッピング情報、プロファイル及びレベル情報を含む。

ＳＥＩメッセージの各フィールドが設定され、ここで当該ＳＥＩメッセージは以下の表において定められる。構成ファイルから取得される画像シーケンスのパッキング種別及び反転種別の組合せに従って、ＳＥＩの最初の部分にあるａｒｒａｎｇｅ＿ｌｅｆｔｒｉｇｈｔ＿ｎｏ＿ｆｌｉｐフィールド、ａｒｒａｎｇｅ＿ｌｅｆｔｒｉｇｈｔ＿ｆｌｉｐフィールド、ａｒｒａｎｇｅ＿ｔｏｐｄｏｗｎ＿ｎｏ＿ｆｌｉｐフィールド及びａｒｒａｎｇｅ＿ｔｏｐｄｏｗｎ＿ｆｌｉｐフィールドが設定され、そして次に、独立して復号化可能な領域の場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報であって、異なる複数のパッキング種別及び複数の反転種別の複数の画像に対応する場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報が別々に設定される。例えば、ａｒｒａｎｇｅ＿ｌｅｆｔｒｉｇｈｔ＿ｎｏ＿ｆｌｉｐが１である場合、左右パッキングされ、且つ反転種別を持たない画像に対応するパラメータは、ｉｆ （ａｒｒａｎｇｅ＿ｌｅｆｔｒｉｇｈｔ＿ｎｏ＿ｆｌｉｐ） ｛．．．｝に記憶され、そして左右パッキングされ、且つ反転種別を持たない画像が復号化される場合、この領域の中のパラメータが常に使用される。パッキング及び反転の他の組合せの倍は、この場合と同様である。

表の中のｕｅ（ｖ）は、フィールドの長さが可変であることを示す。ｕ（ｎ）は、フィールドの長さがｎビット（バイト）であることを示す。そして、ｕ（１）は、フィールドの長さが１ビットであることを指定する。

ａｒｒａｎｇｅ＿ｌｅｆｔｒｉｇｈｔ＿ｎｏ＿ｆｌｉｐ：画像は、左右の表示画面の反転なしで、左右パッキングされている。

ａｒｒａｎｇｅ＿ｌｅｆｔｒｉｇｈｔ＿ｆｌｉｐ：画像は、左右の表示画面の反転を伴って、左右パッキングされている。

ａｒｒａｎｇｅ＿ｔｏｐｄｏｗｎ＿ｎｏ＿ｆｌｉｐ：画像は、左右の表示画面の反転なしで、上下パッキングされている。

ａｒｒａｎｇｅ＿ｔｏｐｄｏｗｎ＿ｆｌｉｐ：画像は、左右の表示画面の反転を伴って、上下パッキングされている。

独立して復号化可能な領域の場所識別子情報：

ｔｉｌｅ＿ｎｕｍ：独立して復号化可能な表示画面をカバーする含まれる複数のタイルの数。

ｔｉｌｅ＿ｉｄｓ：独立して復号化可能な領域をカバーするいくつかのタイルに対応するＩＤセットを示す、独立して復号化可能な表示画面をカバーする含まれる複数のタイルのＩＤアレイ。

以下は、独立して復号化可能な領域のクロッピング情報である：

ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇ：独立して復号化可能な表示画面の幅が独立して復号化可能な領域の幅に等しく、かつ独立して復号化可能な表示画面の高さが独立して復号化可能な領域の高さに等しい場合、ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇはＦＡＬＳＥに設定される。そうでなければ、ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇはＴＲＵＥに設定される。

ｐｉｃ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。

以下は、独立して復号化可能な領域のサブビットストリームのプロファイル及びレベル情報である：

ｐｒｏｆｉｌｅ＿ｉｄｃ：独立して復号化可能な領域の中のコーディングツールセットと合致するプロファイルＩＤ。

ｌｅｖｅｌ＿ｉｄｃ：デコーダが満たす必要のある最低レベルのＩＤ。画像全体に対する独立して復号化可能な領域の比率に従って、独立して復号化可能な領域のビットレート及び最大キャッシュが計算される。例えば、画像全体を復号化するためのビットレートはｘであり、そして最大キャッシュはｙであり、且つ画像全体に対する独立して復号化可能な領域の比率はｒである。このため、独立して復号化可能な領域に対するビットレートはｘ×ｙであり、そして最大キャッシュはｙ×ｒである。ｐｒｏｆｉｌｅ＿ｉｄｃ、及び独立して復号化可能な領域に対するビットレートｘ×ｙ及び最大キャッシュｙ×ｒに従って、この復号化性能を満たす最小のレベルが探索され、そして、ｌｅｖｅｌ＿ｉｄｃは、前述の最小レベルに設定される。

ステップＳ６０５：画像のｉ番目のフレームを取得し、そしてｉ＝１と設定する。

ステップＳ６０６：画像のｉ番目のフレームを符号化する。ここで、以下の図１４において、具体的な符号化処理が詳細に説明される。

ステップＳ６０７：現在符号化されている画像のｉ番目のフレームに対応するＡＵを出力し、そして供給源装置１００の映像メモリ１０１又はエンコーダ１０２のバッファ１０２１等の、エンコーダの記憶装置又は外部記憶装置の中にＡＵを保存する。或いはネットワークを使用することにより、ＡＵを遠隔受信装置２００に直接送信する。

ステップＳ６０８：ｉがＭに等しい場合（すなわち、ｉ番目のフレームは最後のフレームである）、符号化は終了する。そうでなければ、ｉ＝ｉ＋１とし、そしてステップＳ６０５が実行される。

図１４は、図１３に示される映像符号化方法のステップＳ６０６の中の画像のフレームの符号化の具体的な方法の概略フローチャートである。

ステップＳ７０１：タイル分割方法を決定し、そして符号化される映像の構成ファイルに従って画像を分割する。タイルＩＤは、まず左から右の順に割り当てられ、そして次に上から下の順に割り当てられる。同じパッキング種別及び同じ反転種別の複数のフレーム画像に対して、タイル分割は同じである。現在のタイルＩＤはｋに設定され、ここでｋ＝１であり、そしてタイルの総数はＮである。

Ｓ７０２：ステップＳ６０３において決定された独立して復号化可能な表示画面であって、且つ画像シーケンスの中の異なるパッキング種別及び反転種別の画像の独立して復号化可能な表示画面、に従って、独立して復号化可能な表示画面をカバーするいくつかのタイルのセットが決定される。ここで、各タイルは、ＬＣＵ位置合わせの要件を満たす必要がある。独立して復号化可能な表示画面をカバーするいくつかのタイルに対応する領域は、独立して復号化可能な領域である。従って、ＳＥＩメッセージの中のｔｉｌｅ＿ｎｕｍフィールドは、独立して復号化可能な領域をカバーするタイルの数に従って設定される。ｔｉｌｅ＿ｉｄｓフィールドは、独立して復号化可能な領域をカバーするタイルのセットのＩＤに従って設定され、ここで当該フィールドは、いくつかのタイルのＩＤアレイである。ＬＣＵ位置合わせが実行された後、ＳＥＩメッセージの中のクロッピング情報に対応するフィールドが、対応するクロッピング情報に従って設定される。

ステップＳ７０３：ステップＳ７０２に従って、現在のタイル（ｋ）が独立して復号化可能な領域をカバーするいくつかのタイルのうちの１つに属すかどうかを決定する。タイル（ｋ）が独立して復号化可能な領域をカバーするいくつかのタイルのうちの１つに属す場合、ステップＳ７０４が実行される。そうでなければ、ステップＳ７０５が実行される。

ステップＳ７０４：タイル（ｋ）が独立して復号化可能な領域をカバーするいくつかのタイルのうちの１つに属す場合、同じパッキング種別及び反転種別の以前に符号化された画像の中の独立して復号化可能な領域を現在の画像の中のタイル（ｋ）のフレーム間参照領域候補として設定する。

ステップＳ７０５：タイル（ｋ）が独立して復号化可能な領域をカバーするいくつかのタイルのうちの１つには属さない場合、以前に符号化された画像の全ての画像領域を、現在の画像の中のタイル（ｋ）のフレーム間参照領域候補に設定する。

ステップＳ７０６：タイル（ｋ）を符号化するために、フレーム内予測アルゴリズムの使用又はフレーム間予測アルゴリズムの使用を選択する。符号化にフレーム内予測アルゴリズムが使用される場合、最適な参照領域は、ステップＳ７０４及びＳ７０５における複数のフレーム間参照領域候補から選択される。

ステップＳ７０７：ｋがＮより小さい場合、すなわち、タイル（ｋ）が符号化される映像の中の最後のタイルではない場合、次にｋ＝ｋ＋１とされ、そしてステップＳ７０３が実行される。ｋがＮに等しい場合、符号化は終了する。

前述の図１３及び図１４において提供される符号化方法によると、補助メッセージは、符号化されたビットストリームに付け加えられ、そしてＳＥＩメッセージの中で送信される。ここで、ＳＥＩメッセージのプロファイル及びレベル情報は、独立して復号化可能な領域に対して生成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件が低くなる。また、ステップＳ７０４及びＳ７０５において、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して、異なる複数のフレーム間参照領域候補が別々に設定され、これにより、当該領域の中の符号化ブロックが独立して復号化可能であることが保証され、かつ当該領域外の符号化ブロックの参照範囲が拡張される。従って、符号化において、現在のブロックと同様の符号化ブロックに対して参照が行われてもよく、これにより符号化効率を向上し、そして送信データ量を節約する。

図１５は、本発明の実施例に従う、映像復号化方法を示す。この実施例において、デコーダは、図１３及び図１４に示される複数の処理において符号化された映像ビットストリームを復号化する。すなわち、その長さがＭである映像シーケンスを復号化する処理は以下の通りである：

ステップＳ８０１：復号化される映像ビットストリームを受信する。ここで、映像ビットストリームはいくつかのＡＵを含み、そして各ＡＵは符号化された画像のフレームに対応する。

ステップＳ８０２：映像ビットストリームから１つのＡＵを取得する。

ステップＳ８０３：現在のＡＵがフレームパッキング配置の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである：（１）現在のＡＵはＦＰＡ（ｆｒａｍｅ ｐａｃｋｉｎｇ ａｒｒａｎｇｅｍｅｎｔ、フレームパッキング配置）メッセージを含み、そしてメッセージの中のキャンセルフラグビットは０である。（２）現在のＡＵはＦＰＡメッセージを含まないが、復号化される映像ビットストリームの中で以前に受信された前のＦＰＡメッセージの中のキャンセルフラグビットは０である。上記２つの条件のうちのいずれかが満たされた場合、ステップＳ８０４が実行される。そうでなければ、ステップＳ８１６が実行される。

ステップＳ８０４：現在のＡＵがＳＥＩメッセージを含むか、又は以前のビットストリームが既にＳＥＩメッセージを受信しているかどうかを決定する。ＹＥＳであった場合、処理はステップＳ８０５に進む。そうでなければ、処理はステップＳ８１６に切り替わる。

ステップＳ８０５：現在のＡＵから符号化された画像情報を取得する。

ステップＳ８０６：ＦＰＡメッセージに従って、画像の現在のｉ番目のフレームのパッキング種別及び反転種別が画像の以前のフレームのそれらと同じであるかどうかを決定する。ＹＥＳであった場合、ステップＳ８１１が実行される。そうでなければ、ステップＳ８０７が実行される。

ステップＳ８０７：現在のフレームのパッキング種別及び反転種別に従って、これらの種別に対応するパラメータをＳＥＩメッセージの中で見出し、独立して復号化可能な領域の識別情報、クロッピング情報、及びプロファイル及びレベル情報であって、これらの種別に対応する、識別情報、クロッピング情報、及びプロファイル及びレベル情報を取得する。

ステップＳ８０８：デコーダの性能がＳＥＩメッセージの中のプロファイル及びレベルを満たすかどうか決定する。ＮＯであった場合、復号化を実行することはできず、そして処理は直接終了する。ＹＥＳであった場合、ステップＳ８０９が実行される。

ステップＳ８０９：ＳＥＩメッセージ内のプロファイル及びレベル情報に従って、デコーダを初期化する。

ステップＳ８１０：前述のＳＥＩメッセージから、独立して復号化可能な領域に対応するいくつかのタイルのＩＤセットを取得する。

ステップＳ８１１：前述のタイルＩＤセットに従って、独立して復号化可能な領域をカバーするいくつかのタイルを取得する。

ステップＳ８１２：独立して復号化可能な領域をカバーするいくつかのタイルの中の画像を復号化する。ここで、復号化方法は、符号化処理における対応する符号化方法に従って決定される。

ステップＳ８１３：前述のＳＥＩメッセージの中のクロッピング情報に従って、いくつかのタイルの中の画像をクロッピングする。ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇがＦＡＬＳＥである場合、クロッピングは必要ではない。そうでなければ、ｐｉｃ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｉｃ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｉｃ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｉｃ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔにより識別される領域、すなわち、いくつかのタイルの中の独立して復号化可能な表示画面が、当該いくつかのタイルから取得される。

ステップＳ８１４：独立して復号化可能な表示画面を図４に示される表示装置２０１に対して出力する。或いは、出力時間に達していない場合、独立して復号化可能な表示画面を、図５に示されるバッファ２０２１に暫定的に保存する。

ステップＳ８１５：現在のＡＵがビットストリームの中の最後のＡＵであった場合、復号化は終了する。そうでなければ、ステップＳ８０２が実行される。

ステップＳ８１６：通常の復号化処理を実行する。

この実施例において提供される復号化方法によると、デコーダがフレームパッキング３ＤＴＶ技術を使用することにより符号化された３Ｄ映像ビットストリームを受信するが、デコーダは２Ｄ表示装置に接続されている場合、デコーダは、復号化を実行するために、ＳＥＩメッセージに従って、２つの表示画面のうちの１つだけを取得してもよい。すなわち、復号化は、独立して復号化可能な領域に対してのみ実行され、これにより、デコーダの性能に対する要件を低くし、そしてデコーダの計算及び記憶リソースを節約する。ステップＳ８０９を参照すると、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、一般に、デコーダの性能及び記憶装置に対する要件を低くする。従って、デコーダが初期化された後、デコーダの復号化時間及び消費電力を低減することができ、そしてデコーダの記憶装置に対する要件は低減される。デコーダが元の３Ｄ映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ２Ｄディスプレイとの互換性のある３Ｄ映像ビットストリーム用のデコーダの対応が増加する。

図１６は、本発明の実施例に従う、映像符号化方法を示す。この実施例において、前述の補助メッセージは、ＳＰＳメッセージの中において送信される。ＳＰＳメッセージは、独立復号化可能領域識別子を含んでもよく、そしてまた、独立して復号化可能な領域の場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報を含んでもよい。独立して復号化可能な領域は、１つ以上の独立したタイルにより形成される長方形の領域に対応する。独立して復号化可能な領域外の領域は、１つ以上の従属タイルにより形成される長方形の領域に対応する。この実施例において、符号化される映像、すなわち、符号化される画像シーケンスは、同じパッキング種別及び反転種別を有する。画像シーケンスが異なる複数のパッキング種別及び反転種別を有する場合、当該画像シーケンスの符号化処理は、図１１に示されるステップＳ４０３及びステップＳ４０４と同様であり、当該動画シーケンスの復号化処理は図１５に示されるステップＳ８０７と同様であり、そして相違は、補助メッセージが、それぞれＳＥＩメッセージ及びＳＰＳメッセージにおいて送信されるということである。

図１６に示される符号化方法は、エンコーダにより映像を符号化する処理であり、当該映像は、その長さがＭフレームである画像シーケンスである。２表示画面パッキング配置が、画像の各フレームの例として使用され、そして、それらのうちの１つの表示画面は、２Ｄ表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、２つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。

ステップＳ９０１：符号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。この実施例において、画像の各フレームの独立して復号化可能な表示画面は、構成ファイルにおいて事前に設定される。この実施例における画像シーケンスは、同じパッキング種別及び反転種別を有するため、画像の各フレームの独立して復号化可能な表示画面は同じである。

ステップＳ９０２：構成ファイルに従って、画像のフレームの左表示画面又は右表示画面等の、画像シーケンスの中の画像の各フレームの独立して復号化可能な表示画面を決定し、そして現在のフレームをｉ番目のフレームとして設定する。ここでｉ＝１である。

ステップＳ９０３：タイル分割方法を決定し、そして構成ファイルに従って、画像を分割する。タイルＩＤは、まず、左から右の順に割り当てられ、そして次に上から下の順に割り当てられる。同じパッキング種別及び同じ反転種別の複数のフレーム画像について、タイル分割は同じである。現在のタイルＩＤがｋに設定され、ここでｋ＝１であり、そしてタイルの総数はＮである。

ステップＳ９０４：ステップＳ９０２において決定された独立して復号化可能な表示画面であって、かつ画像の各フレームの独立して復号化可能な表示画面、に従って、独立して復号化可能な表示画面をカバーするいくつかのタイルのセットを決定し、そしてこのセットの中のタイルを独立タイルと定め、且つこのセットの外部のタイルを従属タイルと定める。ここで、独立して復号化可能な表示画面をカバーする当該いくつかのタイルは、当該いくつかのタイルの上、下、左及び右の境界がＬＣＵと位置合わせされるという要件を満たす必要がある。

ステップＳ９０５：ＳＰＳメッセージの中のパラメータを設定し、且つ独立して復号化可能な領域の識別子情報、クロッピング情報、及びプロファイル及びレベル情報に従って、ＳＰＳメッセージの中の各フィールドを設定する。ここで、当該ＳＰＳメッセージは、以下の表において定められる。

表の中のｕｅ（ｖ）は、フィールドの長さが可変であることを示す。ｕ（ｎ）は、フィールドの長さがｎビット（バイト）であることを示す。そして、ｕ（１）は、フィールドの長さが１ビットであることを指定する。

独立符号化可能領域識別子：

ｉｎｄｅｃ＿ｒｇｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ：独立して復号化可能な表示画面が映像の中に存在する場合、ｉｎｄｅｃ＿ｒｇｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがＴＲＵＥに設定される。そうでない場合、ｉｎｄｅｃ＿ｒｇｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇはＦＡＬＳＥに設定される。

独立して復号化可能な領域の場所識別子情報：

ｔｉｌｅ＿ｎｕｍ：独立して復号化可能な表示画面をカバーする含まれる複数のタイルの数。

ｔｉｌｅ＿ｉｄｓ：独立して復号化可能な表示画面をカバーする含まれる複数のタイルのＩＤアレイであって、当該独立して復号化可能な表示画面をカバーするいくつかのタイルに対応するＩＤセットを示す。

以下は、独立して復号化可能な領域のクロッピング情報である：

ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇ：独立して復号化可能な表示画面の幅が当該独立して復号化可能な表示画面をカバーするいくつかのタイルの全幅に等しく、且つ当該独立して復号化可能な表示画面の高さが当該独立して復号化可能な表示画面をカバーするいくつかのタイルの全高に等しい場合、ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇはＦＡＬＳＥに設定される。そうでなければ、ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇはＴＲＵＥに設定される。

ｐｉｃ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。

ｐｉｃ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ：独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。

以下は、独立して復号化可能な領域のサブビットストリームのプロファイル及びレベル情報である。

ｎｅｗ＿ｐｒｏｆｉｌｅ＿ｆｌａｇ：独立して復号化可能な領域のサブビットストリームのプロファイルの識別子が全ビットストリームのプロファイルの識別子と同じであるかどうかを示す。ｎｅｗ＿ｐｒｏｆｉｌｅ＿ｆｌａｇの値が０である場合、それらが同じであることを示し、ｎｅｗ＿ｐｒｏｆｉｌｅ ｆｌａｇの値が１である場合、それらが異なることを示す。

ｎｅｗ＿ｌｅｖｅｌ＿ｆｌａｇ：独立して復号化可能な領域のサブビットストリームのレベルの識別子が全ビットストリームのレベルの識別子と同じであるかどうかを示す。ｎｅｗ＿ｌｅｖｅｌ＿ｆｌａｇの値が０である場合、それらが同じであることを示し、ｎｅｗ＿ｌｅｖｅｌ＿ｆｌａｇの値が１である場合、それらが異なることを示す。

ｐｒｏｆｉｌｅ＿ｉｄｃ：独立して復号化可能な領域の中のコーディングツールセットに適用されるプロファイルＩＤ。

ｌｅｖｅｌ＿ｉｄｃ：デコーダが満たす必要のある最低レベルのＩＤ。画像全体に対する独立して復号化可能な領域の比率に従って、独立して復号化可能な領域のビットレート及び最大キャッシュが計算される。例えば、画像全体を復号化するためのビットレートはｘであり、そして最大キャッシュはｙであり、且つ画像全体に対する独立して復号化可能な領域の比率はｒである。このため、独立して復号化可能な領域に対するビットレートはｘ×ｙであり、そして最大キャッシュはｙ×ｒである。ｐｒｏｆｉｌｅ＿ｉｄｃ、及び独立して復号化可能な領域に対するビットレートｘ×ｙ及び最大キャッシュｙ×ｒに従って、この復号化性能を満たす最小のレベルが探索され、そして、ｌｅｖｅｌ＿ｉｄｃは、前述の最小レベルに設定される。

ステップＳ９０６：画像のｉ番目のフレームを取得し、そしてｉ＝１と設定する。

ステップＳ９０７：画像のｉ番目のフレームを符号化する。ここで、以下の図１７において、具体的な符号化処理が詳細に説明される。

ステップＳ９０８：現在符号化されている画像のｉ番目のフレームに対応するＡＵを出力し、そして供給源装置１００の映像メモリ１０１又はエンコーダ１０２のバッファ１０２１等の、エンコーダの記憶装置又は外部記憶装置の中にＡＵを保存する。或いはネットワークを使用することにより、ＡＵを遠隔受信装置２００に直接送信する。

ステップＳ９０８：ｉがＭに等しい場合（すなわち、ｉ番目のフレームは最後のフレームである）、符号化は終了する。そうでなければ、ｉ＝ｉ＋１とし、そしてステップＳ９０６が実行される。

図１７は、図１６に示される映像符号化方法のステップＳ９０７の中の画像のフレームの符号化の具体的な方法の概略フローチャートである。

ステップＳ１００１：タイルＩＤはｋであり、そしてｋ＝１に設定する。

ステップＳ１００２：ＳＰＳメッセージの中のｔｉｌｅ＿ｉｄｓフィールドの内容に従って、現在のタイル（ｋ）が独立して復号化可能な表示画面をカバーするいくつかのタイルのうちの１つに属すかどうかを決定する。タイル（ｋ）が独立して復号化可能な表示画面をカバーするいくつかのタイルのうちの１つに属す場合、ステップＳ１００３が実行される。そうでなければ、ステップＳ１００４が実行される。

ステップＳ１００３：タイル（ｋ）が独立して復号化可能な領域をカバーするいくつかのタイルのうちの１つに属す場合、同じパッキング種別及び反転種別の以前に符号化されたフレーム画像の中の独立して復号化可能な領域を現在のフレーム画像のタイル（ｋ）のフレーム間参照領域候補として設定する。

ステップＳ１００４：タイル（ｋ）が独立して復号化可能な領域をカバーするいくつかのタイルのうちの１つには属さない場合、以前に符号化されたフレーム画像の全ての画像領域を、現在のフレーム画像のタイル（ｋ）のフレーム間参照領域候補に設定する。

ステップＳ１００５：タイル（ｋ）を符号化するために、フレーム内予測アルゴリズムの使用又はフレーム間予測アルゴリズムの使用を選択する。符号化にフレーム内予測アルゴリズムが使用される場合、最適な参照領域は、ステップＳ１００３及びＳ１００４における複数のフレーム間参照領域候補から選択される。符号化のためにフレーム間予測アルゴリズムが使用される場合であって、タイル（ｋ）が独立して復号化可能な領域をカバーするいくつかのタイルの内の１つには属さない場合、すなわち、タイル（ｋ）が独立タイルである場合、当該タイル（ｋ）は、隣接する独立タイルの画像ブロックを最適な参照ブロックを選択するための候補範囲として使用してもよい。

ステップＳ１００６：ｋがＮより小さい場合、すなわち、タイル（ｋ）が符号化される映像の中の最後のタイルではない場合、次にｋ＝ｋ＋１とされ、そしてステップＳ１００２が実行される。ｋがＮに等しい場合、符号化は終了する。

前述の図１６及び図１７において提供される符号化方法によると、独立して復号化可能な領域に関する情報を識別するために、符号化されたビットストリームの中の既存のＳＰＳメッセージに新しいフィールドが追加され、これにより補助メッセージの機能を実現する。ＳＰＳメッセージの中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して形成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件を低くする。また、ステップＳ１００３及びＳ１００４において、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して、異なる複数のフレーム間参照領域候補が別々に設定され、これにより、当該領域の中の符号化ブロックが独立して復号化可能であることが保証され、かつ当該領域外の符号化ブロックの参照範囲が拡張される。従って、符号化において、現在のブロックと同様の符号化ブロックに対して参照が行われてもよく、これにより符号化効率を向上し、そして送信データ量を節約する。

図１８は、本発明の実施例に従う、映像復号化方法を示す。この実施例において、デコーダは、図１６及び図１７に示される複数の処理において符号化された映像ビットストリームを復号化する。すなわち、その長さがＭである映像シーケンスを復号化する処理は以下の通りである：

ステップＳ１１０１：復号化される映像ビットストリームを受信する。ここで、映像ビットストリームはいくつかのＡＵを含み、そして各ＡＵは符号化された画像のフレームに対応する。

ステップＳ１１０２：映像ビットストリームからＳＰＳメッセージを取得し、そしてＳＰＳメッセージの中のｉｎｄｅｃ＿ｒｇｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドがＴＲＵＥであるかどうかを決定する。ＹＥＳであった場合、復号化を継続することが設定される。そうでなければステップＳ１１１４が実行される。

ステップＳ１１０３：映像ビットストリームの中のＳＰＳメッセージからプロファイル及びレベル情報を取得し、そしてデコーダが当該ＳＰＳメッセージの中のプロファイル及びレベルを満たすかどうかを決定する。ＮＯであった場合、復号化を実行することはできず、処理は直接終了する。ＹＥＳであった場合、ステップＳ１１０４が実行される。

ステップＳ１１０４：前述のプロファイル及びレベル情報に従って、デコーダを初期化する。

ステップＳ１１０５：ＳＰＳメッセージから、独立して復号化可能な表示画面をカバーするタイルのセットに対応するＩＤのセットを取得する。

ステップＳ１１０６：映像ビットストリームから１つのＡＵを取得する。

ステップＳ１１０７：現在のＡＵがフレームパッキング配置の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである：（１）現在のＡＵはＦＰＡ（ｆｒａｍｅ ｐａｃｋｉｎｇ ａｒｒａｎｇｅｍｅｎｔ、フレームパッキング配置）メッセージを含み、そしてメッセージの中のキャンセルフラグビットは０である。（２）現在のＡＵはＦＰＡメッセージを含まないが、ビットストリームの中で以前に受信された前のＦＰＡメッセージの中のキャンセルフラグビットは０である。上記２つの条件のうちのいずれかが満たされた場合、処理は次のステップに進む。そうでなければ、処理は、ステップＳ１１１４に切り替わる。

ステップＳ１１０８：現在のＡＵから符号化された画像情報を取得する。

ステップＳ１１０９：ステップＳ１１０５において取得した対応するＩＤセットであって、且つ独立して復号化可能な表示画面をカバーする複数のタイルの対応するＩＤセット、に従って、独立して復号化可能な表示領域をカバーするいくつかのタイルを取得する。

ステップＳ１１１０：独立して復号化可能な表示画面をカバーするいくつかのタイルの中の画像を復号化する。ここで、復号化方法は、符号化処理における対応する符号化方法に従って決定される。

ステップＳ１１１１：前述のＳＰＳメッセージの中のクロッピング情報に従って、いくつかのタイルの中の画像をクロッピングする。ｃｒｏｐｐｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇがＦＡＬＳＥである場合、クロッピングは必要ではない。そうでなければ、ｐｉｃ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｉｃ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｉｃ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｉｃ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔにより識別される領域、すなわち、いくつかのタイルの中の独立して復号化可能な表示画面が、当該いくつかのタイルから取得される。

ステップＳ１１１２：独立して復号化可能な表示画面を図４に示される表示装置２０１に対して出力する。或いは、出力時間に達していない場合、独立して復号化可能な表示画面を、図５に示されるバッファ２０２１に暫定的に保存する。

ステップＳ１１１３：現在のＡＵがビットストリームの中の最後のＡＵであった場合、復号化は終了する。そうでなければ、ステップＳ１１０６が実行される。

Ｓ１１１４：通常の復号処理を実行する。

この実施例において提供される復号化方法によると、デコーダがフレームパッキング３ＤＴＶ技術を使用することにより符号化された３Ｄ映像ビットストリームを受信するが、デコーダは２Ｄ表示装置に接続されている場合、デコーダは、復号化を実行するために、ＳＰＳメッセージに従って、２つの表示画面のうちの１つだけを取得してもよい。すなわち、復号化は、独立して復号化可能な領域に対してのみ実行され、これにより、デコーダの性能に対する要件を低くし、そしてデコーダの計算及び記憶リソースを節約する。ステップＳ１１０４を参照すると、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、一般に、デコーダの性能及び記憶装置に対する要件を低くする。従って、デコーダが初期化された後、デコーダの復号化時間及び消費電力を低減することができ、そしてデコーダの記憶装置に対する要件は低減される。デコーダが元の３Ｄ映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ２Ｄディスプレイとの互換性のある３Ｄ映像ビットストリーム用のデコーダの対応が増加する。

前述の複数の実施例において示された映像符号化及び復号化方法がプログラム命令に関連するハードウェアによって実施され得ることを、当業者は、理解することができる。当該プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。プログラムが実行される場合、前述の方法の対応する複数のステップが実行される。記憶媒体は、ＲＯＭ／ＲＡＭ、磁気ディスク、又は光ディスク等であってもよい。

前述の説明は、本発明の単なる例示的な複数の実施方法である。当業者は、本発明の原理から逸脱することなく、いくつかの改善及び洗練を行うことができ、そしてそのような改善及び洗練は、本発明の保護範囲に属さなければならない、ということに注意すべきである。

Claims (25)

1. 映像符号化方法であって、映像は画像シーケンスを含み、
   符号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ；
   前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するステップであって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ；
   前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含み、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、ステップ；及び
   符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ；
   を備える、映像符号化方法。
2. 前記補助メッセージは、さらに、独立復号化可能領域識別子を含み、且つ前記独立復号化可能領域識別子は、前記画像が前記独立して復号化可能な領域を含むかどうかを識別するために使用される、
   請求項１に記載の方法。
3. 前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるクロッピング（ｃｒｏｐｐｉｎｇ）情報を含み、且つ前記クロッピング情報は、前記独立して復号化可能な領域に対する前記独立して復号化可能な表示画面の上、下、左又は右の境界の水平座標又は垂直座標を含む、
   請求項１又は２に記載の方法。
4. 前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるレベル（ｌｅｖｅｌ）情報を含み、且つ前記レベル情報は、デコーダが満足する必要のあるレベル情報を識別するために使用される、
   請求項１から３のいずれか１項に記載の方法。
5. 前記画像に含まれる全てのタイルを符号化するステップは、さらに：
   現在符号化されるタイルが前記独立して符号化可能な領域の中のタイルであるかどうかを判定するステップ；
   ＹＥＳであった場合に、符号化された画像の独立して符号化可能な領域を、前記現在のタイルのフレーム間参照領域候補として設定するステップ；
   ＮＯであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定するステップ；及び
   符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するステップ；
   を含む、請求項１から４のいずれか１項に記載の方法。
6. 前記画像シーケンスは、異なる複数のパッキング種別及び複数の反転種別の複数の画像を含み；且つ前記構成ファイルは前記画像シーケンスの中の画像の各フレームのパッキング種別及び反転種別、及び異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する独立して復号化可能な複数の表示画面を記憶する、
   請求項１から５のいずれか１項に記載の方法。
7. 前記補助メッセージは、さらに、独立して復号化可能な複数の領域の複数の場所識別子であって、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する、複数の場所識別子、を含む
   請求項６に記載の方法。
8. 前記補助メッセージは、付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｄ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）の中、又はシーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）の中で送信される、
   請求項１から７のいずれか１項に記載の方法。
9. 映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、受信するステップ；
   復号化される画像を取得するステップ；
   前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含み、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、取得するステップ；及び
   前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ；
   を備える映像復号化方法。
10. 前記補助メッセージは、さらに、独立復号化可能領域識別子を含み、且つ前記独立復号化可能領域識別子は、前記画像が前記独立して復号化可能な領域を含むかどうかを識別するために使用される、
    請求項９に記載の方法。
11. 前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるクロッピング（ｃｒｏｐｐｉｎｇ）情報を含み、且つ前記クロッピング情報は、前記独立して復号化可能な領域に対する前記独立して復号化可能な表示画面の上、下、左又は右の境界の水平座標又は垂直座標を含み、
    前記方法は、さらに、前記独立して復号化可能な表示画面を取得するために、前記補助メッセージの中の前記クロッピング情報に従って、前記独立して復号化可能な領域をクロッピングするステップ、
    を含む、請求項９又は１０に記載の方法。
12. 前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるレベル（ｌｅｖｅｌ）情報を含み、且つ前記レベル情報は、デコーダが満足する必要のあるレベル情報を識別するために使用される、
    請求項９から１１のいずれか１項に記載の方法。
13. 前記復号化される複数の画像のシーケンスは、異なる複数のパッキング種別及び複数の反転種別の複数の画像を含み、
    前記補助メッセージは、さらに、独立して復号化可能な複数の領域の複数の場所識別子であって、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する、複数の場所識別子、を含む、
    請求項９から１２のいずれか１項に記載の方法。
14. 前記補助メッセージは、さらに、前記異なる複数のパッキング種別及び反転種別の前記複数の画像に対応し、且つ前記独立して復号化可能な領域を復号化するために使用されるクロッピング情報、プロファイル情報及びレベル情報のうちの少なくとも１つを含む、
    請求項１３に記載の方法。
15. 前記補助メッセージは、付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｄ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）又はシーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）の中で送信される、
    請求項９から１４のいずれか１項に記載の方法。
16. 映像符号化装置であって、映像は画像シーケンスを含み、
    前記映像の構成ファイルを記憶するように構成される記憶部（１０２３）；
    前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画面を決定するように構成される独立復号化可能表示画面決定部（１０２４）；
    前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するように構成されるタイル分割部（１０２５）であって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は、独立して復号化可能な領域である、タイル分割部（１０２５）；
    前記画像に対応する補助メッセージを生成するように構成される補助メッセージ生成部（１０２６）であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は、１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含み、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、補助メッセージ生成部（１０２６）；及び
    符号化された映像ビットストリームを生成するために、前記画像に含まれる全てのタイルを符号化するように構成される符号化実行部（１０２７）であって、前記符号化される動画ビットストリームは、前記補助メッセージを含む、符号化実行部（１０２７）；
    を備える、映像符号化装置。
17. 前記符号化実行部（１０２７）は、さらに：現在の符号化されるタイルが前記独立して復号化される領域の中のタイルであるかどうかを決定する決定部であって；ＹＥＳあった場合、符号化される画像の独立して復号化される領域を前記現在のタイルのフレーム間参照領域候補として設定し；ＮＯであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定し；且つ符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するように構成される、決定部；
    を備える、請求項１６に記載の映像符号化装置。
18. 映像ビットストリームを受信するように構成される受信部（２０２４）であって、前記映像ビットストリームは復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含み、かつ前記補助メッセージは、独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、受信部（２０２４）；及び
    復号化される画像を取得し、前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得し、前記独立して復号化可能な領域の前記場所識別子は１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含み、且つ前記独立して復号化可能なエリアの前記場所識別子に従って、前記復号化される画像の該独立して復号化可能な領域を取得し、且つ該独立して復号化可能なエリアを復号化するように構成される復号化実行部（２０２５）；
    を備える、映像復号装置。
19. 映像を符号化するように構成されるエンコーダであって、前記映像は画像シーケンスを含み、且つ前記エンコーダは：
    １つ以上のプロセッサ；
    １つ以上のメモリ；及び
    １つ以上のプログラム；を備え、前記１つ以上のプログラムは前記１つ以上のメモリに記憶され、そしてさらに、前記１つ以上のプログラムは、前記１つ以上のプロセッサにより実行されるように構成され、かつ前記１つ以上のプログラムは：
    前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画像を決定するように構成される命令；
    前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するように構成される命令であって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は独立して復号化可能な領域である、命令；
    前記画像に対応する補助メッセージを生成するように構成される命令であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含み、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、命令；及び
    符号化された映像ビットストリームを生成するために前記画像に含まれる全てのタイルを符号化するように構成される命令であって、前記符号化された映像ビットストリームは、前記補助メッセージを含む、命令；を備える、
    エンコーダ。
20. 前記補助メッセージは、さらに、独立復号化可能領域識別子、前記独立して復号化可能な領域を復号化するために使用されるクロッピング（ｃｒｏｐｐｉｎｇ）情報、前記独立して復号化可能な領域を復号化するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報、及び前記独立して復号化可能な領域を復号化するために使用されるレベル（ｌｅｖｅｌ）情報のうちの１つを含む、
    請求項１９に記載のエンコーダ。
21. １つ以上のプロセッサ；
    １つ以上のメモリ；及び
    １つ以上のプログラム；
    を備えるデコーダであって、
    前記１つ以上のプログラムは、前記１つ以上のメモリに記憶され、そしてさらに、前記１つ以上のプログラムは、前記１つ以上のプロセッサにより実行されるように構成され、かつ前記１つ以上のプログラムは：
    映像ビットストリームを受信するように構成される命令であって、前記映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含み、前記補助メッセージは、独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、命令；
    復号化される画像を取得するように構成される命令；
    前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するように構成される命令であって、前記独立して復号化可能な領域の前記場所識別子は、１つ以上のタイルのタイル識別子（ｔｉｌｅ ｉｄ）を含む、命令；及び
    前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するように構成される、命令；を含む、
    デコーダ。
22. 前記補助メッセージは、さらに、独立復号化可能領域識別子、前記独立して復号化可能な領域を復号化するために使用されるクロッピング（ｃｒｏｐｐｉｎｇ）情報、前記独立して復号化可能な領域を復号化するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報、及び前記独立して復号化可能な領域を復号化するために使用されるレベル（ｌｅｖｅｌ）情報のうちの１つを含む、
    請求項２１に記載のデコーダ。
23. 複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ前記複数の命令が装置により実行される場合、該装置は、以下の動作：
    映像の中の符号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ；
    前記画像を少なくとも２つのタイル（ｔｉｌｅ）に分割するステップであって、前記独立して復号化可能な表示画面をカバーする１つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ；
    前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、１つ以上のタイル識別子（ｔｉｌｅ ｉｄ）を含み、前記補助メッセージは、前記独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、ステップ；及び
    符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ、
    を実行するようにトリガされる、コンピュータ可読記憶媒体。
24. 複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ該複数の命令が装置により実行される場合、前記装置は、以下の動作：
    映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含み、前記補助メッセージは、独立して復号化可能な領域を復号するために使用されるプロファイル（ｐｒｏｆｉｌｅ）情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される、受信するステップ；
    復号化される画像を取得するステップ；
    前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、１つ以上のタイル（ｔｉｌｅ）のタイル識別子（ｔｉｌｅ ｉｄ）を含む、取得するステップ；及び
    前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ；
    を実行するようにトリガされる、コンピュータ可読記憶媒体。
25. 請求項１６又は１７に記載の映像符号化装置又は１９又は２０に記載のエンコーダ、及び請求項１８に記載の映像復号装置又は請求項２１又は２２に記載のデコーダを含む、
    映像符号化及び復号化システム。

Images