JP6018012B2

JP6018012B2 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体

Info

Publication number: JP6018012B2
Application number: JP2013079732A
Authority: JP
Inventors: 誠明松村; 翔平松尾; 誠之高村; 藤井　寛; 寛藤井; 清水　淳; 淳清水
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2013-04-05
Filing date: 2013-04-05
Publication date: 2016-11-02
Anticipated expiration: 2033-04-05
Also published as: JP2014204332A

Description

本発明は、画像信号の符号化および復号に関し、特に色空間変換を用いて画像信号を符号化または復号する技術に関する。

現在策定中の次世代映像符号化国際標準方式ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（ＨＥＶＣ）のＶｅｒｓｉｏｎ１として定義される初期プロファイル群は３種類のプロファイルから構成され、それぞれＭａｉｎＰｒｏｆｉｌｅ、Ｍａｉｎ１０Ｐｒｏｆｉｌｅ（１０−ｂｉｔの入力信号用）、ＭａｉｎＳｔｉｌｌＰｉｃｔｕｒｅＰｒｏｆｉｌｅ（静止画用）として提供される。各プロファイルの入力画像信号はＹＵＶ４：２：０の色フォーマット（以下、４：２：０と称する）のみとなっている。４：２：０とは輝度に対して色差のサンプリングを水平方向と垂直方向に半分に間引かれているフォーマットを示す。４：２：０以外に下記のフォーマットが挙げられるが、これらは主にプロフェッショナル向け映像編集や放送局の素材伝送に用いられる。
ＹＵＶ４：４：４フォーマット（以下４：４：４と称する）：輝度と色差のサンプリングが同じフォーマット
ＹＵＶ４：２：２フォーマット（以下４：２：２と称する）：輝度に対して色差のサンプリングを水平方向に半分に間引くフォーマット

色空間としては先に示したＹＵＶフォーマット以外に、ＲＧＢフォーマットも存在する。ＲＧＢフォーマットはデジタルカメラや各種ディスプレイの出力などの映像再現において幅広く利用されており、ＲＧＢフォーマットの場合は一般的に各チャンネル４：４：４相当のサンプリングが行われている。

４：４：４、４：２：２、ＲＧＢ、および１０−ｂｉｔ以上の入力信号にも対応するため、ＨＥＶＣＶｅｒｓｉｏｎ２（例えば、非特許文献１参照）の標準化がＶｅｒｓｉｏｎ１と並行して進められており、特に色差信号の圧縮について高能率な符号化ツールが提案されている。例えば、復号済みの信号から色空間の変換行列を導出し、ＣｏｄｉｎｇＵｎｉｔ単位で予測後の残差信号に対して前記変換行列を適用した信号を符号化し、復号側で逆方向の色空間変換を行って元の色空間に戻す方式（例えば、非特許文献２参照）が提案されている。

D. Flynn, J. S. Rojals, T. Suzuki, "High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 2 (for PDAM)," JCTVC-L1005.doc, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting: Geneva, CH, 14-23 Jan. 2013. K. Kawamura, T. Yoshino, S. Naito, "AHG7: In-loop color-space transformation of residual signals for range extensions," JCTVC-L0371.doc, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting: Geneva, CH, 14-23 Jan. 2013.

ところで、非特許文献２に記載の手法では、符号化済みの隣接ＣｏｄｉｎｇＵｎｉｔの画素群や動き予測による参照ブロック内の画素群を用いて色空間変換行列をオーバーヘッドなしに生成している。しかし、色空間変換処理が符号化ループの内側に位置するため、符号化装置や復号装置に遅延を発生させる原因にもなり、チャンネル間の情報を用いているため、ＲＧＢまたはＹＵＶの各チャンネル独立で処理を行うことができないなどの問題がある。

また、色空間変換は符号化対象シーケンスに対してプレフィルタで事前に変換した信号を原信号として符号化装置に入力し、復号時にポストフィルタにて色空間の逆変換を行うことで、同様の効果を実現することができる。プレフィルタとポストフィルタを用いて色空間変換を行う場合、各チャンネル独立処理の問題も解決する上、符号化ループの内側の色空間変換処理がなくなるため、符号化装置や復号装置の遅延をなくすことができる。また、色空間変換は画素ごと独立に行列式の乗算や加減算にて実現されるため、並列演算に特化したプロセッサにより計算負荷を大きく減らすことができる。ただし、プレフィルタとポストフィルタを用いて色空間変換を行う場合、色変換行列を復号装置に伝送する必要があり、その行列を表記するためのオーバーヘッドが発生する。

一方、色空間変換には主成分分析を用いて回転行列を導出する手法がある。主成分分析による色空間変換では、信号群の集中度の順に第一主成分〜第三主成分に割り当てられるよう、与えられた信号群を異なる色空間に変換する。ここで、得られる回転行列は正負の符号反転を考慮すればｘｙｚ軸による直交する３軸の回転角度で表現可能であり、これにより３×３の回転行列を３軸の回転角度のみで表記できるようになる。

例えば符号化装置側で得られた回転行列Ｍ_ＥＮＣは、３軸の回転角度（ｒｘ_ＥＮＣ，ｒｙ_ＥＮＣ，ｒｚ_ＥＮＣ）から生成される回転行列を用いて、ｚｙｘ順の回転により下記のように表記される。

このとき、復号装置側で適用すべき逆変換の回転行列Ｍ_ＤＥＣは、ｘｙｚ順の回転により下記のように表記できる。

ここで、プレフィルタとして原画像の色空間を変換する場合、回転行列によって、従来の色空間では数値的に表現できない値（８−ｂｉｔシーケンスの場合は０以下の値や２５５以上の値）が発生してしまう可能性がある。これらの値はクリッピングによって強制的に０からシーケンスのビット深度が許容する最大値に制限したり、スケーリングすることによって回避できるが、クリッピングの場合は著しく原画再現性が劣る可能性があり、また、スケーリングの場合はどの程度の値で除算するのかを明示する必要がある。

また、色空間変換によって第一主成分にグレイスケールの輝度相当を示す信号が割り当てられるとき、第二、三主成分の信号には色差相当の信号が割り当てられる。画像における色差成分の寄与率は輝度と比較して低く、輝度信号よりも大きく量子化しても原画再現性を大きく損なうことはない。ここで、ＩＴＵ−ＲＢＴ．７０９（Rec. ITU-R BT.709-3, PARAMETER VALUES FOR THE HDTV STANDARDS FOR PRODUCTION AND INTERNATIONAL PROGRAMME EXCHANGE, Feb. 1998.）にて定義されるＹＣｂＣｒ変換における色差成分の信号は、ＲＧＢ信号値を０．０〜１．０として、下記のように定義されており、これら係数値は主観的／客観的に大きな損失が生じないように設計されたものである。

Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ・・・（９）
Ｃｂ＝０．５３８９（Ｂ−Ｙ）＝−０．１１４６Ｒ−０．３８５４Ｇ＋０．５０００Ｂ・・・（１０）
Ｃｒ＝０．６３５０（Ｒ−Ｙ）＝０．５０２４Ｒ−０．４５６３Ｇ−０．０４６１Ｂ・・・（１１）

また、主成分分析による回転行列によって各係数値を求める場合、第一主成分〜第三主成分まで、各係数値の二乗和が必ず１．０になるように設計される。このとき、色差成分相当の第二、第三主成分についてスケーリングしなければ原画再現性は高くなるが、色差成分の発生符号量が大きくなるため、符号化効率はあまり向上しないという問題がある。

本発明は、このような事情に鑑みてなされたもので、原画再現性を大きく損なうことのない範囲でスケーリングすることで、輝度成分に対してはスケーリング値を明示する発生符号量を抑制し、色差成分に対してはプレフィルタ後の画像を符号化する際の符号化効率を改善することができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体を提供することを目的とする。

本発明は、ＲＧＢ信号として入力された画像に対して行列を用いて異なる色空間の信号に変換し、変換後の信号を符号化する画像符号化装置が行う画像符号化方法であって、前記行列を直交する３軸回転角度で表現し、各軸の回転角度を符号化するステップと、前記色空間変換後の座標軸における各軸のスケーリング値を符号化するステップと、各軸の１つ以上のスケーリング値に対して所定の値との差分情報を符号化し、色空間変換された各軸上の値を前記スケーリング値でそれぞれ除算した値を符号化対象画像として用いる符号化するステップとを有することを特徴とする。

本発明は、前記所定の値の内、１つの軸の値が√３、またはそれに準じる整数演算時の整数値であることを特徴とする。

本発明は、前記色空間変換された各軸上の値を前記スケーリング値でそれぞれ除算した値を符号化対象画像に対して、入力された前記画像のビット深度の最大値を上回る値および最小値を下回る値をクリッピングすることを特徴とする。

本発明は、入力された符号化ストリームに含まれる各軸のスケーリング値で復号信号を乗算し、前記符号化ストリームに含まれる直交する３軸回転角度から行列を生成し、復号信号をＲＧＢ信号に変換する画像復号装置が行う画像復号方法であって、前記スケーリング値に対し、復号する情報が所定の値からの差分スケーリング値であり、前記所定の値から前記差分スケーリング値を減算して本来のスケーリング値を導出するステップを有することを特徴とする。

本発明は、ＲＧＢ信号として入力された画像に対して行列を用いて異なる色空間の信号に変換し、変換後の信号を符号化する画像符号化装置であって、前記行列を直交する３軸回転角度で表現し、各軸の回転角度を符号化する手段と、前記色空間変換後の座標軸における各軸のスケーリング値を符号化する手段と、各軸の１つ以上のスケーリング値に対して所定の値との差分情報を符号化し、色空間変換された各軸上の値を前記スケーリング値でそれぞれ除算した値を符号化対象画像として用いる符号化する手段とを備えることを特徴とする。

本発明は、入力された符号化ストリームに含まれる各軸のスケーリング値で復号信号を乗算し、前記符号化ストリームに含まれる直交する３軸回転角度から行列を生成し、復号信号をＲＧＢ信号に変換する画像復号装置であって、前記スケーリング値に対し、復号する情報が所定の値からの差分スケーリング値であり、前記所定の値から前記差分スケーリング値を減算して本来のスケーリング値を導出する手段を備えることを特徴とする。

本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。

本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。

本発明は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、原画再現性を大きく損なうことのない範囲でスケーリングすることで、輝度成分に対してはスケーリング値を明示する発生符号量を抑制し、色差成分に対してはプレフィルタ後の画像を符号化する際の符号化効率を改善することができる。

本発明の一実施形態における画像符号化装置の構成を示すブロック図である。図１に示す画像符号化装置の動作を示すフローチャートである。図１に示すプレフィルタ用色変換行列生成部１０１の詳細な構成を示すブロック図である。図３に示すプレフィルタ用色変換行列生成部１０１の動作を示すフローチャートである。図１に示すプレフィルタ処理部１０２の詳細な構成を示すブロック図である。図５に示すプレフィルタ処理部１０２の動作を示すフローチャートである。本発明の一実施形態における画像復号装置の構成を示すブロック図である。図７に示す画像復号装置の動作を示すフローチャートである。図７に示すポストフィルタ処理部２１０の詳細な構成を示すブロック図である。図９に示すポストフィルタ処理部２１０の動作を示すフローチャートである。画像符号化装置をコンピュータとソフトウェアプログラムとによって構成したシステムのハードウェア構成例を示す図である。画像復号装置をコンピュータとソフトウェアプログラムとによって構成したシステムのハードウェア構成例を示す図である。

以下、図面を参照して、本発明の一実施形態による画像符号化装置、画像復号装置を説明する。始めに画像符号化装置について説明する。図１は同実施形態における画像符号化装置の構成を示すブロック図である。なお、本明細書において、画像とは、静止画像や動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味である。図１に示す画像符号化装置が、ＨＥＶＣ等に代表される一般的な画像符号化装置と比較して異なる点は、プレフィルタ用色変換行列生成部１０１、プレフィルタ処理部１０２が新たに設けられている点と、エントロピー符号化部１１２の機能が一部が異なる点である。プレフィルタ用色変換行列生成部１０１、プレフィルタ処理部１０２及びエントロピー符号化部１１２を除く構成は、一例でありこの構成に限定されるものではない。

ここで、図１を参照して、画像符号化装置の構成を説明する。画像符号化装置は、符号化対象シーケンスを入力し、各符号化対象画像をブロックに分割してブロックごとに符号化し、そのビットストリームを符号化ストリームとして出力する。

符号化対象ブロックはイントラ予測部１０３もしくはインター予測部１０４の予測ブロックとの差分を減算器１１４によって求め、それを予測残差信号とする。変換部１０５では予測残差信号に対する直交変換（ＤＣＴ）等が行われ、変換係数を出力する。量子化部１０６は変換係数を量子化し、量子化後変換係数を出力する。逆量子化部１０７では量子化部１０６の出力の逆量子化が行われ、逆変換部１０８では変換部１０５の逆変換が行われる。逆変換後の値は予測ブロックと加算器１１５によって加算合成され、復号画像記憶部１０９に格納される。

復号画像記憶部１０９の画像はイントラ予測部１０３にて使用される。処理対象フレームの全てのブロックに対して前述の処理が終了すると、インループフィルタ処理部１１０にて復号画像の符号化歪を除去する画像処理フィルタリングが施され、フィルタリング後の復号画像はフレームバッファ１１１に格納される。フレームバッファ１１１に格納された復号画像はインター予測部１０４にて使用される。イントラ予測部１０３、インター予測部１０４の予測情報や量子化後変換係数、インループフィルタ処理部１１０のインループフィルタ情報はエントロピー符号化部１１２に入力され、符号化ストリームを出力する。符号化情報記憶部１１３には復号装置側でも参照可能な符号化済みの各種ブロックサイズや予測情報、量子化後の係数値、インループフィルタオーバーヘッドなど、各種値が格納され、符号化情報記憶部１１３の情報は同装置内の様々な処理部で引用される。

次に、前述した一般的な画像符号化装置に対して新たに設けたプレフィルタ用色変換行列生成部１０１、プレフィルタ処理部１０２、エントロピー符号化部１１２の機能を説明する。プレフィルタ用色変換行列生成部１０１は、符号化対象シーケンスに適用して色変換行列を生成し、色変換情報およびスケーリング情報を出力する。プレフィルタ処理部１０２は、色変換行列を符号化対象画像に適用して色空間を変換して出力する。エントロピー符号化部１１２は、プレフィルタ用色変換行列生成部１０１が出力する色変換情報およびスケーリング情報を符号化して出力する。

次に、図２を参照して、図１に示す画像符号化装置の動作を説明する。図２は、図１に示す画像符号化装置の動作を示すフローチャートである。まず、プレフィルタ用色変換行列生成部１０１は、入力した符号化対象シーケンスから色変換行列、色変換情報およびスケーリング情報を生成する（ステップＳ１）。続いて、プレフィルタ処理部１０２は、符号化対象画像を符号化対象シーケンスから読み込み（ステップＳ２）、プレフィルタ用色変換行列生成部１０１が生成した情報に基づき符号化対象画像に対して色変換を適用する（ステップＳ３）。

次に、符号化対象画像をブロック毎に読み込み（ステップＳ４）、減算器１１４は、予測ブロックとの差分をとり、差分ブロックを生成して出力する（ステップＳ５）。続いて、変換部１０５は、差分ブロックに対して直交変換を適用して出力する（ステップＳ６）。これを受けて、量子化部１０６は、直交変換後の係数値を量子化して出力する（ステップＳ７）。

次に、逆量子化部１０７は、量子化後の係数値を逆量子化して出力する（ステップＳ８）。これを受けて、逆変換部１０８は、逆量子化後の係数値を逆直交変換して出力する（ステップＳ９）。続いて、加算器１１５は、予測ブロックと加算合成し、復号画像記憶部１０９に記憶する（ステップＳ１０）。そして、全てのブロックの処理が終了したかの判定を行い（ステップＳ１１）、未処理のブロックがある場合はステップＳ４に戻る。

次に、インループフィルタ処理部１１０は、復号画像記憶部１０９に記憶した復号画像に対してインループフィルタを適用し、フレームバッファ１１１に記憶する（ステップＳ１２）。続いて、エントロピー符号化部１１２は、予測情報、量子化後係数値、インループフィルタ情報、色変換情報およびスケーリング情報などをエントロピー符号化する（ステップＳ１３）。そして、全てのフレームの処理が終了したかの判定を行い（ステップＳ１４）、未処理のフレームがある場合はステップＳ２に戻って処理を繰り返し、全てのフレームが終了した時点で、エントロピー符号化部１１２は、符号化ストリームを出力する（ステップＳ１５）。

次に、図３を参照して、図１に示すプレフィルタ用色変換行列生成部１０１の詳細な構成を説明する。図３は、図１に示すプレフィルタ用色変換行列生成部１０１の詳細な構成を示すブロック図である。プレフィルタ用色変換行列生成部１０１は、符号化対象シーケンスを入力し、入力した符号化対象シーケンスから色変換行列、色変換情報及びスケーリング情報を出力する。主成分分析部１０１１は、符号化対象シーケンスを入力し、色変換行列を得る。色変換行列の生成手法には、例えば主成分分析を用いて得る手法が考えられる。転置行列変換部１０１２は、色変換行列を転置行列に変更して、３軸回転角度解析部１０１３に対して出力する。３軸回転角度解析部１０１３は入力された転置行列と直交する３軸回転行列の乗算にて出力される値との誤差を最小化し、各軸周りの回転角度を出力する。出力する回転角度を整数精度に丸める場合、転置行列変換部１０１２の出力値と３つの回転角度から再構成される回転行列が一致しない可能性があるため、３軸回転角度解析部１０１３は回転角度に加え、再構成可能な色変換行列を出力する。

スケーリング値解析部１０１４は、符号化対象シーケンスに回転行列を適用し、色空間変換後の各軸における絶対値の最大値を算出してスケーリング値を算出する。このとき得るスケーリング値は、ＲＧＢの各信号からシーケンスのビット深度が許容する最大画素値の半分を減算して色変換行列を乗算したときの絶対値を前記ビット深度が許容する最大画素値の半分で除算した値である。ここで得られたスケーリング値で色変換行列の各行を除算し、スケーリング済み色変換行列を出力する。スケーリング値解析部１０１４はスケーリング値と所定の値との差分をスケーリング情報として出力する。色変換行列の生成は、例えば全てのフレームが画面内予測で符号化されるＡｌｌＩｎｔｒａの場合はフレーム単位で、ＣｌｏｓｅｄＧＯＰ（Group of Picture）構造の場合はＧＯＰ構造のサイズ毎に、もしくはシーケンス全体で１つ生成するパターン等が想定される。

次に、図４を参照して、図３に示すプレフィルタ用色変換行列生成部１０１の動作を説明する。図４は、図３に示すプレフィルタ用色変換行列生成部１０１の動作を示すフローチャートである。まず、主成分分析部１０１１は、主成分分析により符号化対象シーケンスから色変換行列を生成して出力する（ステップＳ２１）。続いて、転置行列変換部１０１２は、色変換行列に対して転置行列変換を行って出力する（ステップＳ２２）。

次に、３軸回転角度解析部１０１３は、３軸回転角度解析を行い、各軸周りの回転角度および再構成可能な色変換行列を出力する（ステップＳ２３）。続いて、スケーリング値解析部１０１４は、符号化対象シーケンス内の各符号化対象画像の色空間を変換し、軸ごとに変換時の絶対値の最大値を算出してスケーリング値を算出して出力する（ステップＳ２４）。

次に、スケーリング差分算出部１０１５は、色変換行列の各行をスケーリング値で除算してスケーリング済み色変換行列を出力する（ステップＳ２５）。そして、スケーリング値と所定の値との差分をスケーリング情報として出力する（ステップＳ２６）。

次に、図５を参照して、図１に示すプレフィルタ処理部１０２の詳細な構成を説明する。図５は、図１に示すプレフィルタ処理部１０２の詳細な構成を示すブロック図である。プレフィルタ処理部１０２は、符号化対象シーケンスにおける各符号化対象画像と色変換行列を入力し、符号化対象シーケンスにおける各符号化対象画像に色変換行列を適用して、プレフィルタ適用後の各符号化対象画像を出力する。プレフィルタ実行部１０２１は符号化対象シーケンスにおける各符号化対象画像とプレフィルタ用色変換行列生成部１０１によって出力された色変換行列を入力し、ＲＧＢの各チャンネルを異なる色空間に変換する。この変換では、ＲＧＢの各信号からシーケンスのビット深度が許容する画素最大値の半分を減算して色変換行列を乗算し、スケーリングを行った後、前記ビット深度最大値の半分を加算して０から前記ビット深度が許容する画素最大値の間にクリッピングした値を出力する。

次に、図６を参照して、図５に示すプレフィルタ処理部１０２の動作を説明する。図６は、図５に示すプレフィルタ処理部１０２の動作を示すフローチャートである。まず、プレフィルタ実行部１０２１は、各符号化対象画像に色変換を実行する（ステップＳ３１）。そして、プレフィルタ実行部１０２１は、プレフィルタ適用後の各符号化対象画像を出力する（ステップＳ３２）。

ここで、色空間変換について説明する。一般的な自然画のＲＧＢ信号を対象として色空間変換を行うとき、ほとんどの場合Ｒ＝Ｇ＝Ｂのグレイスケールに高い集中が現れるため、Ｒ＝Ｇ＝Ｂの軸を第一主成分として割り当てるように回転が行われることが多い。例えばＲ＝Ｇ＝Ｂの軸が第一主成分を表すｘ軸上に割り当てられたと仮定すると、第二、三主成分を表すｙｚ軸への信号値の分散は比較的小さいものとなる。また、一般的な自然画であれば、被写体の階調が最もコントラストが高く鮮明に見えるよう、撮影時にカメラのＩＳＯ感度やアイリスの調整で、ビット深度の許容するレンジ一杯に映像を撮影するのが通常である。これらの映像を対象とした場合、８−ｂｉｔシーケンスの場合は輝度値が広く分散し、ほとんどが最大値ＲＧＢ（２５５、２５５、２５５）、最小値ＲＧＢ（０、０、０）となる。これより、第一主成分のスケーリング値は一辺１の立方体における対角成分の長さに当たる√３（≒１．７３２０５）に集中する。そのため、第一主成分のスケーリング値は√３からの差分を符号化した方が０への集中が高くなるため、スケーリング値そのままを符号化する場合と比較して発生符号量を抑制することができる。

また、原画再現性を大きく損なうことのないスケーリング値として、例えば、前述のＹＣｂＣｒ変換における各係数値の二乗和の平方根との比を用いることができる。Ｃｂ、Ｃｒの導出に使用される各係数値の二乗和の平均値０．４３７２の平方根０．６６１２と主成分分析による回転行列の各係数値の二乗和１．０との比を計算すると約１．５１２となり、色差成分のスケーリング値を符号化する場合はこの値との差分を符号化する。これにより、スケーリング値をそのまま符号化する場合と比較して、より少ない符号量で記述できるようになり、かつ寄与率が低い色差成分の発生符号量を抑制することができるため、符号化効率の向上が期待できる。

なお、２．２８７３の代表値はＹＣｂＣｒ変換の係数値から算出した一例であり、この値以外を設定してもよい。ＨＥＶＣＶｅｒｓｉｏｎ２（非特許文献１）にて複数のパターンで実験したところ、約１．７８１８で良好な符号化効率の改善が確認できたため、このような値を使ってもよい。

次に、画像復号装置について説明する。図７は、本発明の実施形態における画像復号装置の構成を示すブロック図である。図７に示す画像復号装置が、ＨＥＶＣ等に代表される一般的な画像復号装置と比較してエントロピー復号部２０１およびポストフィルタ処理部２１０が異なる。エントロピー復号部２０１及びポストフィルタ処理部２１０を除く構成は、一例でありこの構成に限定されるものではない。

ここで、図７に示す画像復号装置の構成を説明する。画像復号装置は、符号化ストリームを入力し、符号化ストリームを復号シーケンスに変換して、復号シーケンスを出力信号として出力する。エントロピー復号部２０１は、符号化ストリームを入力しブロック毎の予測情報や量子化後変換係数、インループフィルタ情報を復号する。逆量子化部２０２は、復号された量子化後変換係数の逆量子化を行う。逆変換部２０３は、逆量子化後の出力を逆直交変換（ＩＤＣＴ）を行う。逆変換部２０３の出力信号はイントラ予測部２０４、もしくはインター予測部２０５の予測ブロックと加算器２１１によって加算合成され、復号画像記憶部２０６に記憶する。復号画像記憶部２０６の画像はイントラ予測部２０４にて使用される。処理対象のフレームの全てのブロックに対して前述した処理が終了すると、インループフィルタ処理部２０７にて復号画像の符号化歪を除去する画像処理フィルタリングが施され、フィルタリング後の復号画像はフレームバッファ２０８に記憶する。フレームバッファ２０８の画像はインター予測部２０５にて使用される。符号化情報記憶部２０９は各種ブロックサイズや予測情報、量子化後の係数値、インループフィルタオーバーヘッドなど、各種値を記憶する。符号化情報記憶部２０９の情報は同装置内の様々な処理部で引用される。

ここでは、前述した画像復号装置に加え、エントロピー復号部２０１は、ポストフィルタ処理部２１０の実行に必要な色変換情報およびスケーリング情報を復号する。続いてポストフィルタ処理部２１０をインループフィルタ処理部２０７の出力画像に適用し、色空間の逆変換を行った画像を最終の出力信号としてディスプレイに表示もしくは記録装置に保存する。

次に、図８を参照して、図７に示す画像復号装置の動作を説明する。図８は、図７に示す画像復号装置の動作を示すフローチャートである。まず、エントロピー復号部２０１は、符号化ストリームを読み込む（ステップＳ４１）。続いて、エントロピー復号部２０１は、符号化ストリームをエントロピー復号し、予測情報や量子化後の係数値、インループフィルタオーバーヘッド等の情報、色変換情報、スケーリング情報などを復号する（ステップＳ４２）。

次に、逆量子化部２０２は、量子化後の係数値を逆量子化して出力する（ステップＳ４３）これを受けて、逆変換部２０３は、逆量子化後の係数値を逆直交変換する（ステップＳ４４）。続いて、加算器２１１は、予測ブロックと加算合成し、復号画像記憶部２０６に記憶する（ステップＳ４５）。そして、全てのブロックの処理が終了したかの判定を行い（ステップＳ４６）、未処理のブロックがある場合はステップＳ４３に戻る。

次に、インループフィルタ処理部２０７は、復号画像に対してインループフィルタを適用し、復号画像をフレームバッファ２０８に記憶する（ステップＳ４７）。そして、全てのフレームの処理が終了したかの判定を行い（ステップＳ４８）、未処理のフレームがある場合はステップＳ４３に戻る。

次に、ポストフィルタ処理部２１０は、色変換情報およびスケーリング情報を用いてポストフィルタを適用し（ステップＳ４９）、復号シーケンスを出力信号として出力する（ステップＳ５０）。

次に、図９を参照して、図７に示すポストフィルタ処理部２１０の詳細な構成を説明する。図９は、図７に示すポストフィルタ処理部２１０の詳細な構成を示すブロック図である。ポストフィルタ処理部２１０は、復号画像、色変換情報、スケーリング情報を入力し、復号画像に色変換行列を適用して、ポストフィルタ適用後の復号画像を出力する。ポストフィルタ用色変換行列生成部２１０１は色変換情報（３軸回転角度）とスケーリング情報を入力とし、所定の値からスケーリング情報に記される差分スケーリング値を減算して本来のスケーリング値を導出し、正負を反転させた３軸回転角度から生成される色変換行列の各行に前記本来のスケーリング値を乗算する。ポストフィルタ実行部２１０２は色変換行列と復号画像を入力とし、復号画像をＲＧＢ色空間に逆変換する。この逆変換処理において、復号画像の各信号にはシーケンスのビット深度が許容する画素最大値の半分を減算して色変換行列を乗算し、スケーリングを行った後、前記ビット深度が許容する画素最大値の半分を加算して０から前記ビット深度最大値の間にクリッピングした値を出力する。

次に、図１０を参照して、図９に示すポストフィルタ処理部２１０の動作を説明する。図１０は、図９に示すポストフィルタ処理部２１０の動作を示すフローチャートである。まず、ポストフィルタ用色変換行列生成部２１０１は、所定の値からスケーリング情報に記される差分スケーリング値を減算し、スケーリング値を生成する（ステップＳ６１）。そして、ポストフィルタ用色変換行列生成部２１０１は、色変換情報（３軸回転角度）から色変換行列を生成し、色変換行列の各行に該当するスケーリング値を積算する（ステップＳ６２）。続いて、ポストフィルタ実行部２１０２は、復号画像に色逆変換を実行し（ステップＳ６３）、ポストフィルタ適用後の復号画像を出力する（ステップＳ６４）。

以上説明した画像符号化および画像映像復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

図１１は、前述した画像符号化装置をコンピュータとソフトウェアプログラムとによって構成したシステムのハードウェア構成例を示す図である。本システムは、プログラムを実行するＣＰＵ・Ａ０と、ＣＰＵ・Ａ０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリＡ１と、カメラ等からの符号化対象の画像信号を入力する画像信号入力部Ａ２ディスク装置等による画像信号を記憶する記憶部でもよい）と、前述した手法により入力画像を符号化する処理をＣＰＵ・Ａ１に実行させるソフトウェアプログラムである画像符号化プログラムＡ４が格納されたプログラム記憶装置Ａ３と、ＣＰＵ・Ａ０がメモリＡ１にロードされた画像符号化プログラムＡ４を実行することにより生成された符号化データを、例えばネットワークを介して出力する符号化データ出力部Ａ５（ディスク装置等による符号化データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。

図１２は、前述した画像復号装置をコンピュータとソフトウェアプログラムとによって構成したシステムのハードウェア構成例を示す図である。本システムは、プログラムを実行するＣＰＵ・Ｂ０と、ＣＰＵ・Ｂ０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリＢ１と、画像符号化装置が符号化した符号化データを入力する符号化データ入力部Ｂ２（ディスク装置等による多重化符号化データを記憶する記憶部でもよい）と、前述した手法により符号化データを復号する処理をＣＰＵ・Ｂ１に実行させるソフトウェアプログラムである画像復号プログラムＢ４が格納されたプログラム記憶装置Ｂ３と、ＣＰＵ・Ｂ０がメモリＢ１にロードされた画像復号プログラムＢ４を実行することにより、符号化データを復号して得られた復号画像を、再生装置などに出力する復号画像出力部Ｂ５とが、バスで接続された構成になっている。

以上説明したように、ＲＧＢ信号に対して回転行列を用いて異なる色空間に変換する符号化方法、また、復号信号を逆方向の回転行列を用いた色空間の変換によりＲＧＢ信号に戻す復号方法において、回転行列の表記に直交する３軸の回転角度および各軸のスケーリング値を符号化するとき、色空間変換後の座標系における１つ以上の軸のスケーリング値に対し、それぞれ所定の値との差分をとることにより、３軸のスケーリング値をそのまま符号化する場合と比較して、より少ない符号量で記述可能となる。このため、色差成分の発生符号量を抑制し、符号化効率を改善することができる。

前述した実施形態における画像符号化装置、画像復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

色空間変換において、その行列情報の表記に回転角度を用いて明示するとき、発生符号量を抑制して符号化効率を改善する用途に利用できる。

１０１・・・プレフィルタ用色変換行列生成部、１０１１・・・主成分分析部、１０１２・・・転置行列変換部、１０１３・・・３軸回転角度解析部、１０１４・・・スケーリング値解析部、１０１５・・・スケーリング差分算出部、１０２・・・プレフィルタ処理部、１０２１・・・プレフィルタ実行部、１１２・・・エントロピー符号化部、２０１・・・エントロピー復号部、２１０・・・ポストフィルタ処理部、２１０１・・・ポストフィルタ用色変換行列生成部、２１０２・・・ポストフィルタ実行部

Claims

ＲＧＢ信号として入力された画像に対して行列を用いて異なる色空間の信号に変換し、変換後の信号を符号化する画像符号化装置が行う画像符号化方法であって、
前記行列を直交する３軸回転角度で表現し、各軸の回転角度を符号化するステップと、
色空間変換後の座標軸における各軸のスケーリング値を符号化するステップと、
各軸の１つ以上のスケーリング値に対して所定の値との差分情報を符号化し、色空間変換された各軸上の値を前記スケーリング値でそれぞれ除算した値を符号化対象画像として用いる符号化するステップと
を有することを特徴とする画像符号化方法。
前記所定の値の内、１つの軸の値が√３、またはそれに準じる整数演算時の整数値であることを特徴とする請求項１に記載の画像符号化方法。
前記色空間変換された各軸上の値を前記スケーリング値でそれぞれ除算した値を符号化対象画像に対して、入力された前記画像のビット深度の最大値を上回る値および最小値を下回る値をクリッピングすることを特徴とする請求項１に記載の画像符号化方法。
入力された符号化ストリームに含まれる各軸のスケーリング値で復号信号を乗算し、前記符号化ストリームに含まれる直交する３軸回転角度から行列を生成し、復号信号をＲＧＢ信号に変換する画像復号装置が行う画像復号方法であって、
前記スケーリング値に対し、復号する情報が所定の値からの差分スケーリング値であり、前記所定の値から前記差分スケーリング値を減算して本来のスケーリング値を導出するステップを
有することを特徴とする画像復号方法。
前記所定の値の内、１つの軸の値が√３、またはそれに準じる整数演算時の整数値であることを特徴とする請求項４に記載の画像復号方法。
ＲＧＢ信号として入力された画像に対して行列を用いて異なる色空間の信号に変換し、変換後の信号を符号化する画像符号化装置であって、
前記行列を直交する３軸回転角度で表現し、各軸の回転角度を符号化する手段と、
色空間変換後の座標軸における各軸のスケーリング値を符号化する手段と、
各軸の１つ以上のスケーリング値に対して所定の値との差分情報を符号化し、色空間変換された各軸上の値を前記スケーリング値でそれぞれ除算した値を符号化対象画像として用いる符号化する手段と
を備えることを特徴とする画像符号化装置。
入力された符号化ストリームに含まれる各軸のスケーリング値で復号信号を乗算し、前記符号化ストリームに含まれる直交する３軸回転角度から行列を生成し、復号信号をＲＧＢ信号に変換する画像復号装置であって、
前記スケーリング値に対し、復号する情報が所定の値からの差分スケーリング値であり、前記所定の値から前記差分スケーリング値を減算して本来のスケーリング値を導出する手段を
備えることを特徴とする画像復号装置。
コンピュータに、請求項１から３にいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
コンピュータに、請求項４または５に記載の画像復号方法を実行させるための画像復号プログラム。
請求項８に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項９に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。