JP6640559B2

JP6640559B2 - 一連の画像における輝度変動を補償する方法と装置

Info

Publication number: JP6640559B2
Application number: JP2015531513A
Authority: JP
Inventors: ボルデ，フイリツプ; オリヴィエ，ヤニツク; トウズ，デイビツド; イロン，フランク
Original assignee: インターデジタルヴイシーホールディングス，インコーポレイテッド
Priority date: 2012-09-19
Filing date: 2013-08-27
Publication date: 2020-02-05
Anticipated expiration: 2033-08-27
Also published as: US20150248746A1; EP2733933A1; KR20150084767A; EP2898682A1; CN104641636A; KR102136905B1; WO2014044504A1; US9870606B2; BR112015005763A2; JP2015532061A; CN104641636B

Description

本発明は、概して、一連の画像における輝度補償に関する。更に詳しくは、本発明は、一連の画像における輝度変動を補償する方法と装置に関する。また、本発明は、そのような一連の画像の輝度変動を補償する方法を実施する一連の画像の符号化および／または復号の方法と装置にも関する。

一連の画像は、３Ｄビデオ・シーケンス、スケーラブル・ビデオ・シーケンス、マルチビュー・ビデオ・シーケンスなどを対象範囲に含むので、以下、広い意味で検討する。したがって、本願の特許請求の範囲の請求項に記載の方法は、輝度変動が参照画像から補償される任意の種類の一連の画像に適用可能である。

例えば、マルチビュー・ビデオ・シーケンスでは、オブジェクトまたはシーンが、相異なる位置にある数台の同期されたカメラのセットアップを用いて記録される。各々のカメラは、通常ビューと呼ばれる画像を記録する。したがって、マルチビュー・ビデオ・シーケンスは、複数のシーンで構成され、その各々のシーンについて、いくつかのビューが記録される。ビューは画像と同様の画素のセットであるが、以下、用語「画像」ではなく、用語「ビュー」は、同一シーン（または同一オブジェクト）の複数のビューが一連の画像に組み込まれていることを念頭に置いて使用される。

一連の画像についてしばしば論じられるアプリケーションの中には、３次元テレビジョン（３ＤＴＶ）と、ユーザがシーンを自由にナビゲートできるフリービューポイント・テレビジョン（ＦＴＶ）とが含まれている。

一連の画像の記録によって、大量のデータが作成される。したがって、ビデオ・ストリームを記憶、あるいは、送信するには、効率的なデータ圧縮技術が必要である。

例えば、ＩＳＯ／ＩＥＣ１４４９６―１０ＩＴＵ―ＴＲｅｃ. Ｈ.２６４によって規定されたＭＶＣ（マルチビュー・ビデオ符号化）は、単一のストリームを使用する複数ビューからの同期情報の直接符号化をサポートし、カメラ間の冗長度を利用してビット・レートを低減する。この基本的な符号化方式は、ビュー毎に階層的なＢ予測構成を使用する。この符号化方式は、同時点の画像である相異なるビュー相互間の相関性を視差の推定と補償のために利用する。単一ビューのビデオ・データ圧縮のために十分に開発された動き補償技術が、時間方向の予測に利用される。同様に、視差補償技術が、ビュー間の冗長度の低減に利用される。この視差補償処理は、ブロック・マッチング技術によって実行され、一般的に、参照画像内でベスト・マッチングのブロックを見つけるようにして、予測後の残差誤差が最小となることに寄与する。

同一シーン（または同一オブジェクト）の複数のビュー間に輝度変化がある。そのような変化は、２つのカテゴリ、すなわち、カメラ相互間の相異なるキャリブレーション（調整）によって引き起こされる全体的な輝度変化と、カメラの相異なる角度および位置によって引き起こされる局所的な輝度変化とに分類できる。

この問題に対処しなければならない理由は、この問題が、画像ベースの描画アルゴリズムの品質、あるいは視差の推定および補償（ビデオ符号化の場合ではビュー間予測）の精度に影響を及ぼし得ることである。直前に述べた場合では、ベスト・マッチング候補に対する残差エネルギの量が増大することになる。更に、ベスト・マッチング・ブロックおよび視差ベクトルの探索処理が影響を受ける。これらは共に更に符号化効率の低下をもたらす。

これは、深度推定（３Ｄビデオ）についてのビュー間マッチングについても、あるいは、ビット深度スケーラブル・ビデオ符号化についても、あるいは、ＬＤＲ（低ダイナミック・レンジ）ビデオからのＨＤＲ（高ダイナミック・レンジ）ビデオの予測についても当てはまる。

この問題を解決するために、ＭＶＣは、重み付け予測ツールを使用する輝度補償処理を実施する。ビューＤを別のビューＲの復元サンプルＲｅｃ_R （．，．）から予測する輝度補償処理は、等式（１）によって与えられる。

ここで、W_RとO_Rは、それぞれ、スケーリング・パラメータとオフセットであり、送信コンテキストにおいて一連の画像のうちの現在のビューＤに関するスライス・ヘッダに入れられて送信される。このスケーリング・パラメータとオフセットは、スライス全体について一定である。

このような輝度補償処理は、線形であり、マルチビュー・ビデオ符号化について光反射またはフラッシュが生じた場合、あまりにも単純すぎる。更に、これは、同一パラメータがスライス全体について適用されるので、シーンにおける局所的な輝度変動を考慮に入れていない。

この輝度補償線形処理は、異質的な撮像、例えばブラケティング（段階露出）から得られるビューの場合、あるいは、異質的なスケーラブル予測、例えばＨＤＲからＬＤＲ（低ダイナミック・レンジ）へのビデオ変換については、全く適応化されない。

Ｆｅｃｋｅｒ氏その他（「マルチビュー・ビデオのルミナンスおよびクロミナンスの補償のためのヒストグラム・ベースのプレフィルタリング」、ＩＥＥＥ, Ｔｒａｎｓａｃｔｉｏｎｓｏｎｃｉｒｃｕｉｔｓａｎｄｓｙｓｔｅｍｓｆｏｒｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙ, ｖｏｌ.１８，Ｎｏ.９、２００８年９月）は、輝度補償についての累積ヒストグラム・ベースのマッチング処理を立案している。このような輝度補償についての累積ヒストグラム・ベースの処理は、ビュー全体に同一補正を適用し、特に、ルミナンスおよびクロミナンスにおける総合的な差異を補正するのに有効である。しかしながら、このような輝度補償処理は、ヒストグラムがビュー全体について算出されるので、シーン内の局所的な輝度変動を考慮に入れていない。

シーン内の局所的な輝度変動を考慮に入れるために、輝度補償についてのマッチング処理を局所的に適応させるべきである。しかしながら、この適応化を、例えば、ブロック毎に行うならば、マッチング情報をブロック毎に送信すべきである。この莫大な量の情報は、ビデオ符号化にとって効率的ではない。

本発明は、従来技術の一部の不都合な点を軽減することを目的とする。

本発明は、シーン内の局所的な輝度変動を考慮に入れるために、画像（またはビュー）のブロック毎に分布が算出される輝度変動補償方法を提案し、また、ビデオ符号化効率の損失を回避するために、遠隔の装置、例えば、復号器が、一連の画像のうちの現在の処理対象のブロックを復号する際に、分布ベースのマッピング関数を、その装置において入手できる情報のみから、自動的に算出する。

本発明は、一連の画像における輝度変動を補償する方法であって、現在の処理対象の画像の各々の現在のブロックに対して、上記現在の処理対象の画像の上記ブロックの画素値と上記一連の画像のうちの参照画像のブロック（Ｒｋ）の画素値との間のマッピング関数を、上記現在の処理対象の画像の上記ブロック（Ｄｋ）の近傍領域（ｃａｕｓａｌｒｅｇｉｏｎ）に亘る分布と上記参照画像の上記ブロックの近傍領域に亘る分布とのマッチングによって、決定することを特徴とする。

マルチビュー・ビデオ・シーケンス符号化／復号方式では、マッピング関数によって、一シーンの現在の処理対象のビューの一ブロックの一領域の分布が、そのシーンの参照ビューの一ブロックの一領域の分布に適応化される。したがって、もし一シーンの全てのカメラ・ビューが、分布のマッチングによって、そのシーンの共通参照ビューに適応化されるならば、そのシーンに対してのカメラ・ビュー間のビュー間予測が改善されて、一連の画像の符号化効率が増大する。

この方法のもう１つの利点は、輝度またはコントラストの変動のような歪みのタイプを想定せずに、非線形演算を考慮できることである。

また、本発明は、参照画像のブロックから予測ブロックを算出する一連の画像の符号化および／または復号方法であって、特徴として、該予測ブロックが、本発明に適合する輝度変動補償方法に従って修正される該参照画像のブロックから算出される、方法にも関する。

更に、本発明は、一連の画像のうちの現在の処理対象の画像のブロックの画素値とこの現在の処理対象の画像のブロックに関係する（対応する）参照画像のブロックの画素値との間における、２つの分布、すなわち、現在の処理対象の画像の上記ブロックに隣接する近傍領域に亘って特定される一方の分布と参照画像の上記ブロックに隣接する近傍領域に亘る他方の分布とのマッチングによって得られる、情報を含む信号フレームにも関する。

また、本発明は、上述の輝度変動補償方法を実施するように構成された手段を備えた、一連の画像における輝度変動を補償する装置にも関する。

更に、本発明は、一連の画像を符号化および／または復号する装置であって、特徴として上述の装置を備えた装置にも関する。

本発明の更なる利点は、本発明の個々の、本発明を限定しない実施形態の説明を通じて、明らかになるであろう。

それらの実施形態を、以下の図を参照して、説明する。
一連の画像における輝度変動を補償する方法の流れ図を示す図である。２つの画像のブロック間のマッピング関数の例を説明する図である。１つの画像の現在のブロックＢｋの近傍領域の数例を示す図である。本方法を実施するように構成された手段を備えた装置を示す図である。

図１には、一連の画像における輝度変動を補償する方法の流れ図が示されている。

以下、「画素値」という用語は、画像に属する画素のルミナンス値および／またはクロミナンス値を意味している。更に、画素のルミナンス値を用いて本発明を開示するが、本発明は、これらの画像のクロミナンス成分にも適用できる。また、「累積ヒストグラム」という用語は、例示の目的のみに使用されており、本発明は、その他の如何なる分布にも一般化できる。次に、「ブロック」という用語は、１つの画像の全画素数より少ない、その画像の画素のセットを意味する。しかしながら、本発明は、画像のその他の如何なるサブセット（部分集合）の画素にも、例えば、マクロブロックまたは符号化単位にも適用できる。

以下、本発明を一連の画像の場合において説明するが、その適応範囲は、任意の一連の画像の輝度変動の補償にまで及ぶ。この任意の一連の画像は、例えばマルチビュー・ビデオ・シーケンス、３Ｄビデオ、スケーラブル・ビデオ、あるいは、ＨＤＲ／ＬＤＲビデオのような画像である。したがって、本発明に従って一連の画像を符号化および／または復号する装置は、同一シーンのビューが本発明に従って補償されるマルチビュー・ビデオ符号化／復号装置も、あるいは、奥行推定のためのビュー間マッチングのために用いられるビューの輝度変動が本発明に従って補償される３Ｄビデオ符号化／復号装置も、対象として含む。また、本発明に従って一連の画像を符号化および／または復号する装置は、例えば、画像の輝度変動が補償されるビット深度（奥行）スケーラブル・ビデオ符号化も、および、ＬＤＲ（低ダイナミック・レンジ）ビデオからＨＤＲ（高ダイナミック・レンジ）ビデオを算出する装置も、対象として含む。後者の場合においては、ＬＤＲ画像の輝度変動が補償される。

本発明の方法の第１ステップ１として、一連の画像のうちの現在の処理対象の画像のブロックが選択される。以下、このブロックを現在のブロックＤｋと呼ぶことにする。次に、一連の画像のうちの参照画像のブロックが選択される。以下、このブロックを参照ブロックＲｋと呼ぶことにする。この参照ブロックＲｋは、現在のブロックＤｋに関係する。この参照ブロックＲｋは、例えばブロック・マッチング処理の結果であり得る。このブロック・マッチング処理は、このブロックと（予測される）現在のブロックＤｋとの間で算出される歪みを最小にするブロックを参照画像内で選択することを含む。

一実施形態に従えば、現在の処理対象の画像と参照画像とは、一連の画像のうちの同一の画像であり（イントラ符号化の場合）、また、他の一実施形態に従えば、現在の処理対象の画像と参照画像とは、一連の画像のうちの２つの別個の画像である（インター符号化の場合）。

参照ブロックＲｋのルミナンス成分の大きさと現在のブロックＤｋのルミナンス成分の大きさとを、それぞれ、ｙ_R（ｍ，ｎ）、ｙ_D（ｍ，ｎ）によって表すことにする。

第２ステップ２として、累積ヒストグラム

が算出される。

先ず、参照ブロックＲｋのヒストグラムが次のように求められる。

ここで、Ｔｋは、参照ブロックＲｋの近傍領域を表す。

次に、参照ブロックＲｋの累積ヒストグラム

は、次の等式（７）によって求められる。

現在のブロックＤｋのヒストグラム

と累積ヒストグラム

は、等式（６）と（７）から同様に求められる。

次に、第３ステップ３として、累積ヒストグラム

と

とに基づいて、マッピング関数Ｍｋが、参照ブロックＲｋに対して算出される。

図２の上側部分に例示されているように、このマッピングは、例えば、現在のブロックＤｋにおける所与の出現回数

に対して、現在のブロックＤｋにおける出現回数

が参照ブロックＲｋにおける出現回数

に等しくなるように、参照ブロックＲｋにおけるその所与の出現回数に関係するルミナンス値ｖを、現在のブロックＤｋのルミナンス値ｕによって置換することによって算出される。数学的には、このマッピングは、次の等式（８）によって与えられる。

この例によって本発明の適用範囲は制限されず、本発明の適用範囲は２つの分布からマッピング関数を算出する任意の手段にまで及ぶ。

もう１つの例に従えば、図２の下側部分に例示されているように、マッピングは、現在のブロックＤｋにおける出現回数を参照ブロックＲｋにおける出現回数にマッチングすることによって算出される。数学的には、このマッピングは次の等式（９）によって与えられる。

参照ブロックＲｋのマッピング関数が算出されると、マッピング関数Ｍｋが参照ブロックＲｋのルミナンス値に適用されることによって、補正済みルミナンス・ブロックが得られ、この補正済みルミナンス・ブロックが、現在のブロックＤｋを符号化するための予測として使用され、そのルミナンス値ｙ_C（ｍ，ｎ）は、

によって与えられる。

以上述べたステップが、その他の如何なる現在のブロックＤｋに対しても、反復適用され、本方法は、一連の画像のうちの現在の処理対象の画像の全ての現在のブロックが検討され終えた時に、終了する。

一実施形態に従えば、本方法には、ブロックＢｋに対してマッピング結果Ｍｋがルック・アップ・テーブルＬＵＴに記憶される第４ステップ４が更に含まれる。

したがって、参照ブロックＲｋを用いて予測される現在のブロックＢｋの画素の任意のルミナンス値に対して、補償済み輝度のルミナンス値が、マッピング関数Ｍｋのおかげで、このＬＵＴから見出される。

図３には、画像の現在のブロックＢｋの近傍（ｃａｕｓａｌｎｅｉｇｈｂｏｒｈｏｏｄ）のいくつかの例が示されている。

図３ａでは、近傍Ｔが、３つのブロック、すなわち、現在のブロックＢｋの上に位置する１つ、左に位置する１つ、および、左上に位置する１つによって、その範囲を画定されている。

図３ｂでは、近傍は、現在のブロックＢｋの左側に位置する２つのブロックのみによって構成されている。

図３ｃでは、近傍は、現在のブロックＢｋの上に位置する３つのブロックによって構成されており、図３ｄでは、近傍は、４つのブロック、すなわち、現在のブロックＢｋの上の３つ、および、左の１つによって構成されている。

本発明は、これらの例に限定されず、その他の近傍を使用してもよい。これらの近傍は、例えば、ブロックの個数および／またはサイズとは無関係に画定してもよい形状および／またはサイズを有してもよい。近傍は、近傍領域に、すなわち、領域の情報が一連の画像の輝度変動の補償を担う装置に既知であるその領域に限定されるだけである。近傍領域は、符号化方式における復号器のような遠隔の装置が、符号器によって送られた送信情報なしに、マッピング関数を算出することを可能にする。このことによって、ビデオ符号化効率の損失が回避される。

図４には、本発明の方法を実施するように構成された手段を備える装置４００が示されている。この装置は、デジタル・データ用兼アドレス用バス４０によって相互接続された次の構成要素、すなわち、
・処理装置４２（または、セントラル・プロセシング・ユニットを表すＣＰＵ）、
・メモリ４４、
・ネットワーク内に接続されたその他の装置と装置４００とを、有線または無線接続４１を介して、相互接続するためのネットワーク・インタフェース４３、
を備えている。

処理装置４２は、マイクロプロセッサ、個別仕様ＩＣチップ、専用（マイクロ）コントローラ等として実施できる。メモリ４４は、例えばＲＡＭ（ランダム・アクセス・メモリ）、ハード・ディスク・ドライブ、不揮発性ランダム・アクセス・メモリ、ＥＰＲＯＭ（消去可能プログラム可能ＲＯＭ）等のような揮発性および／または不揮発性のメモリの任意の形態で実施できる。装置４００は、本発明の方法に従ってデータ処理装置を実施するのに適している。データ処理装置４００は、画像の１つのブロックの近傍として近傍領域を規定する手段（４２、４４および／または４３）と、画像の１つのブロックの近傍領域に亘る分布（例えば、累積ヒストグラム）を特定する手段（４２、４４）と、現在の処理対象の画像の１つのブロックの画素値とこの現在の処理対象の画像の該１つのブロックに関係する（対応する）参照画像の１つのブロックの画素値との間におけるマッピングを、２つの分布、すなわち、現在の処理対象の画像の上記１つのブロックの近傍領域に亘って特定される一方の分布と参照画像の上記１つのブロックの近傍領域に亘る他方の分布とのマッチングによって、算出する手段（４２、４４）と、を備えている。これらの分布とＬＵＴは、４４内に一時的に記憶してもよい（あるいは、記憶しなくてもよい）。

一実施形態に従えば、この装置は、信号フレームを送信および／または受信する手段（４３）を更に備えており、この信号フレームには、マッピングについての情報が含まれており、このマッピングは、一連の画像のうちの現在の処理対象の画像のブロックの画素値とこの現在の処理対象の画像のブロックに関係する参照画像のブロックの画素値との間における２つの分布、すなわち、現在の処理対象の画像のそのブロック付近の近傍領域に亘って特定される一方の分布と参照画像の上記ブロック付近の近傍領域に亘る他方の分布とのマッチングによる、マッピングについての情報が含まれている。

この情報は、作成されるＬＵＴをも規定してもよい。

本発明は、上述の装置を備えていることを特徴とする、一連の画像の符号化および／または復号を行う装置に関する。

本発明は、特定の一実施形態に従えば、完全にハードウェアの形態で、例えば、専用構成要素（例えば、ＡＳＩＣ、ＦＰＧＡまたはＶＬＳＩ（それぞれ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイおよび超大規模集積回路）として実施され、あるいは、別の一変形実施形態に従えば、１つの装置に集積された個別の電子構成要素として実施され、あるいは、更に別の一実施形態に従えば、ハードウェアとソフトウェアの混合の形態で実施される。

Claims

一連の画像における輝度変動を補償する方法であって、現在の画像の各々の現在のブロックに対して、該現在の画像の前記ブロックの画素値と前記一連の画像のうちの参照画像のブロックの画素値との間のマッピング関数を、該現在の画像の前記ブロックの因果的近傍に亘る画素の大きさの分布と該参照画像の該ブロックの因果的近傍に亘る画素の大きさの分布とのマッチングによって、決定し、前記マッピング関数は、前記参照画像の少なくとも一つの画素の大きさを、該現在の画像の画素の大きさによって置き換える、前記方法。
前記分布が累積ヒストグラムである、請求項１に記載の方法。
前記現在の画像と前記参照画像が前記一連の画像のうちの同一画像である、請求項１または２に記載の方法。
前記現在の画像と前記参照画像が前記一連の画像のうちの個別の画像である、請求項１または２に記載の方法。
ブロックに関する前記マッピングの結果がルック・アップ・テーブルに記憶される、請求項１から４のうちのいずれか一項に記載の方法。
参照画像のブロックから予測ブロックを算出する一連の画像の符号化方法であって、該予測ブロックが、請求項１から５のうちのいずれか一項に適合する輝度変動補償方法に従って修正される該参照画像のブロックから算出される、前記方法。
一連の画像における輝度変動を補償する装置であって、現在の画像のブロックの画素値と該一連の画像のうちの参照画像のブロックの画素値との間のマッピング関数を、該現在の画像の該ブロックの因果的近傍に亘る画素の大きさの分布と前記参照画像の前記ブロックの因果的近傍に亘る画素の大きさの分布とのマッチングによって決定するように構成されたプロセッサーを備え、前記マッピング関数は、前記参照画像の少なくとも一つの画素の大きさを、該現在の画像の画素の大きさによって置き換える、前記装置。
一連の画像のうちの現在の画像のブロックの画素値と参照画像のブロックの画素値との間におけるマッピングについての情報であって、該現在の画像の前記ブロックの因果的近傍に亘って算出される一方と参照画像の前記ブロックの因果的近傍に亘る他方との２つの画素の大きさの分布のマッチングによって取得される該情報を含む信号を送信するように構成されたプロセッサーをさらに備える請求項７に記載の装置。
一連の画像を符号化するデバイスであって、請求項７または８に適合する装置を備える、前記デバイス。
参照画像のブロックから予測ブロックを算出する一連の画像の復号方法であって、該予測ブロックが、請求項１から５のうちのいずれか一項に適合する輝度変動補償方法に従って修正される該参照画像のブロックから算出される、前記方法。
一連の画像のうちの現在の画像のブロックの画素値と参照画像のブロックの画素値との間におけるマッピングについての情報であって、該現在の画像の前記ブロックの因果的近傍に亘って算出される一方と参照画像の前記ブロックの因果的近傍に亘る他方との２つの画素の変動の分布のマッチングによって取得される該情報を含む信号を受信するように構成されたプロセッサーをさらに備える請求項７に記載の装置。
一連の画像を復号するデバイスであって、請求項７または１１に適合する装置を備える、前記デバイス。