JP6530304B2 - 符号化方法、符号化装置及び符号化プログラム - Google Patents

Description

本発明は、符号化方法、符号化装置及び符号化プログラムに関する。

モバイル通信網の発達に伴い、映像を非常に低いビットレート条件で符号化する需要が高まっている。また、映像表示装置の大型化、高精細化に伴い、従来使われてきた固定通信網を用いて解像度やフレームレートが非常に高く、情報量の大きい映像を符号化する需要も高まっている。しかし、従来の規格Ｈ．２６４やＨＥＶＣ（High Efficiency Video Coding）などによる符号化技術では、厳しいビットレート条件において、ブロックノイズやモスキートノイズなど符号化特有の劣化が大きく生じるため、主観的な品質が大きく損なわれる。

この問題を回避するために、Ｔｅｘｔｕｒｅ（テクスチャ）構造が似通った広い領域を、小面積の代表Ｔｅｘｔｕｒｅから合成するＴｅｘｔｕｒｅ合成を利用した符号化方式（擬似表現符号化）が有効である(例えば、非特許文献１参照）。擬似表現符号化では、従来の符号化技術が捉えられなかったＴｅｘｔｕｒｅ構造の類似性を捉えて、非常にコンパクトに表現することができるため、大幅なビットレート削減と主観画質改善が可能である。

ここで図５を参照して、従来の擬似表現符号化器が実行する擬似表現符号化の処理について説明する。
図５は、従来の擬似表現符号化処理のフローチャートである。処理が開始されると、擬似表現符号化器は、原画Ｆ＝［ｆ_ｉ，ｊ］をＣａｒｔｏｏｎ（カートゥーン）−Ｔｅｘｔｕｒｅ信号分解し、Ｃａｒｔｏｏｎ成分Ｃ＝［ｃ_ｉ，ｊ］とＴｅｘｔｕｒｅ成分Ｔ＝［ｔ_ｉ，ｊ］との２成分に分解する（ステップＳ９０１）。ただし、原画ＦのサイズをＮ×Ｍとすると、１≦ｉ≦Ｎ、１≦ｊ≦Ｍであり、ｆ_ｉ，ｊは原画Ｆのｉ，ｊ成分を表している。またｃ_ｉ，ｊやｔ_ｉ，ｊ、さらにはこれ以降の記述ついても同様に、下添字ｉ，ｊは位置ｉ，ｊの画素における成分を示す。Ｃａｒｔｏｏｎ成分は画像のマクロな輝度変化、Ｔｅｘｔｕｒｅ成分は画像のミクロな輝度変化を表現するもので、２成分を同じ位置の画素毎に足し合わせると原画となる。すなわち、ｆ_ｉ，ｊ＝ｃ_ｉ，ｊ＋ｔ_ｉ，ｊである（例えば、非特許文献２参照）。

続いて擬似表現符号化器は、原画Ｆを用いて、Ｔｅｘｔｕｒｅ特徴量を算出する（ステップＳ９０２）。この特徴量は様々に定義されているが、代表的なのはＧＬＣＭ（Gray-Level Co-Occurrence Matrix）という統計量を用いたものや（例えば、非特許文献３参照）、複数のガボール基底との内積を計算するフィルタバンク処理によるもの（例えば、非特許文献４参照）などである。

続いて、擬似表現符号化器は、ステップＳ９０２において算出されたＴｅｘｔｕｒｅ特徴量をクラスタリングし、Ｔｅｘｔｕｒｅの領域分割情報ＳＥＧ＝［ｓｅｇ_ｉ，ｊ］とクラスタ中心Ｃ_１，Ｃ_２，…，Ｃ_ｋを算出する（ステップＳ９０３）。このクラスタリングは、予め指定したクラス数ｋのクラスタ（領域）に分割するもので、位置ｉ，ｊにおいてＴｅｘｔｕｒｅがｌ番目のクラスタであるクラスｌ（１≦ｌ≦ｋ）に所属することを、ｓｅｇ_ｉ，ｊ＝ｌと表記する。クラスタリングのアルゴリズムは様々な手法から選択することができ、例えば、k-means法（例えば、非特許文献４参照）などが代表的である。

続いて、擬似表現符号化器は、ステップＳ９０３において算出されたＴｅｘｔｕｒｅの領域分割情報をもとに、非合成領域ＮＳＲ＝［ｎｓｒ_ｉ，ｊ］を算出する（ステップＳ９０４）。非合成領域は、Ｃａｒｔｏｏｎ成分とＴｅｘｔｕｒｅ成分とを分離せずに符号化する領域であり、すなわち、復号時にＴｅｘｔｕｒｅ成分が合成されない領域である。一方、合成領域は、Ｃａｒｔｏｏｎ成分とＴｅｘｔｕｒｅ成分とを分離して符号化する領域であり、すなわち、復号時にＴｅｘｔｕｒｅ成分が合成される領域である。各ｎｓｒ_ｉ，ｊは１か０の値をとる。ｎｓｒ_ｉ，ｊ＝１の位置ｉ，ｊは非合成領域であり、ｎｓｒ_ｉ，ｊ＝０の位置ｉ，ｊは合成領域であるとする。非合成領域ＮＳＲは、領域分割結果の面積に基づいて算出される。非合成領域算出の詳細については図６を用いて後に詳説する。

続いて、擬似表現符号化器は、ステップＳ９０４において算出された非合成領域ＮＳＲをもとに、ステップＳ９０１で算出されたＴｅｘｔｕｒｅ成分Ｔの中で、Ｔｅｘｔｕｒｅ合成を行わない非合成Ｔｅｘｔｕｒｅ成分ＮＳＴ＝［ｎｓｔ_ｉ，ｊ］を算出する（ステップＳ９０５）。ｎｓｔ_ｉ，ｊは各位置ｉ，ｊについて、以下の式（１）のように計算される。ｎｓｔ_ｉ，ｊは、位置ｉ，ｊが非合成領域である（ｎｓｒ_ｉ，ｊ＝１）場合はＣａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１が出力したその位置のＴｅｘｔｕｒｅ成分ｔ_ｉ，ｊであり、位置ｉ，ｊが合成領域である（ｎｓｒ_ｉ，ｊ＝０）場合は０である。

続いて、擬似表現符号化器は、ステップＳ９０３において算出されたＴｅｘｔｕｒｅの領域分割情報ＳＥＧと、ステップＳ９０４において算出された非合成領域ＮＳＲを合成して、拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧ＝［ｅｓｅｇ_ｉ，ｊ］を算出する（ステップＳ９０６）。ｅｓｅｇ_ｉ，ｊは、各位置ｉ，ｊについて、以下の式（２）のように計算される。ｅｓｅｇ_ｉ，ｊは、位置ｉ，ｊが合成領域（ｎｓｒ_ｉ，ｊ＝０）である場合はその位置が属するクラスタのクラスを表すｓｅｇ_ｉ，ｊであり、位置ｉ，ｊが非合成領域である（ｎｓｒ_ｉ，ｊ＝１）場合は０である。

続いて、擬似表現符号化器は、ステップＳ９０１において算出されたＣａｒｔｏｏｎ成分Ｃと、ステップＳ９０５において算出された非合成Ｔｅｘｔｕｒｅ成分ＮＳＴを各位置ｉ，ｊについて足しあわせて、非合成成分ＮＳＣ＝［ｎｓｃ_ｉ，ｊ］＝［ｃ_ｉ，ｊ＋ｎｓｔ_ｉ，ｊ］を算出する（ステップＳ９０７）。つまり、位置ｉ，ｊが非合成領域の場合は、原画Ｆにおける位置ｉ，ｊの成分であり、位置ｉ，ｊが合成領域の場合は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１が出力した位置ｉ，ｊのＣａｒｔｏｏｎ成分である。

続いて、擬似表現符号化器は、ステップＳ９０１において算出されたＴｅｘｔｕｒｅ成分ＴとステップＳ９０２において算出されたＴｅｘｔｕｒｅ特徴量情報と、ステップＳ９０３において算出されたクラスタ中心情報と、ステップＳ９０６において算出された拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧとを用いて、代表Ｔｅｘｔｕｒｅ情報を算出する（ステップＳ９０８）。代表Ｔｅｘｔｕｒｅ情報の算出には、様々な算出方法が考えられるが、例えば、各ＥＳＥＧの値毎に、予め定めた窓でラスタ順にスキャンし、各Ｔｅｘｔｕｒｅ特徴量とクラスタ中心との距離の窓内総和が最も小さくなる窓位置で、そのクラスの代表Ｔｅｘｔｕｒｅとするなどが考えられる。

続いて、擬似表現符号化器は、ステップＳ９０７において算出された非合成成分ＮＳＣを符号化し、非合成成分ストリームを生成する（ステップＳ９０９）。この生成には、例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＪＰＥＧ２０００、Ｈ．２６４、ＨＥＶＣなどの従来の画像符号化方法を用いることができる。

続いて、擬似表現符号化器は、ステップＳ９０８において算出された代表Ｔｅｘｔｕｒｅ情報を符号化し、代表Ｔｅｘｔｕｒｅ情報ストリームを生成する（ステップＳ９１０）。この生成には、例えば、ＪＰＥＧやＪＰＥＧ２０００、Ｈ．２６４、ＨＥＶＣなどの従来の画像符号化方法を用いることができる。

続いて、擬似表現符号化器は、ステップＳ９０６において生成された拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧを符号化し、拡張Ｔｅｘｔｕｒｅ領域分割ストリームを生成する（ステップＳ９１１）。この生成には、例えば、ＰＮＧ（Portable Network Graphics）やＧＩＦ（Graphics Interchange Format）、ランレングス、ＪＥＰＧ、ＨＥＶＣなどの従来の符号化方法を用いることができる。

続いて、擬似表現符号化器は、ステップＳ９０９において生成された非合成成分ストリームを復号する（ステップＳ９１２）。復号方法は、ステップＳ９０９において非合成成分ストリームの生成に用いた画像符号化方法に従う。また、擬似表現符号化器は、ステップＳ９１０において生成された代表Ｔｅｘｔｕｒｅ情報ストリームを復号する（ステップＳ９１３）。復号方法は、ステップＳ９１０において代表Ｔｅｘｔｕｒｅ情報ストリームの生成に用いた画像符号化方法に従う。さらに、擬似表現符号化器は、ステップＳ９１１において生成された拡張Ｔｅｘｔｕｒｅ領域分割ストリームを復号する（ステップＳ９１４）。復号方法は、ステップＳ９１１において拡張Ｔｅｘｔｕｒｅ領域分割ストリームの生成に用いた符号化方法に従う。

擬似表現符号化器は、ステップＳ９１３において復号された代表Ｔｅｘｔｕｒｅ情報と、ステップＳ９１４において復号された拡張Ｔｅｘｔｕｒｅ領域分割情報を用いて、復号された合成成分を生成する（ステップＳ９１５）。この処理において、擬似表現符号化器は、復号された代表Ｔｅｘｔｕｒｅ情報をそれぞれＴｅｘｔｕｒｅ合成してから、復号された拡張Ｔｅｘｔｕｒｅ領域分割情報に合わせて切り出し、合成成分を算出する。Ｔｅｘｔｕｒｅ合成の方法は様々あるが、Image Quilting（例えば、非特許文献４参照）などが代表的である。

擬似表現符号化器は、ステップＳ９１２において復号された非合成成分と、ステップＳ９１５において生成された、復号された合成成分とを足し合わせて、復号された画像を生成し、この画像を出力して処理を終了する（ステップＳ９１６）。

上記のように、従来の擬似表現符号化処理では、領域分割面積を用いて非合成領域を算出する。
続いて図６を参照して、図５のステップＳ９０４において領域分割面積から非合成領域算出する方法について説明する。
図６は、領域分割面積による非合成領域算出処理のフローチャートである。初めに、擬似表現符号化器は、ステップＳ９０３において算出されたＴｅｘｔｕｒｅ領域分割情報ＳＥＧを用いて、クラスタリングされた各領域の面積を計数する（ステップＳ９０４１）。続いて、擬似表現符号化器は、ステップＳ９０４１において算出された各領域の面積をソートし、面積順位情報を算出する。ここでは、領域番号１，２，…，ｋの領域を、面積が大きい順にｌ_１，ｌ_２，…，ｌ_ｋと求めて面積順位情報とする（ステップＳ９０４２）。

続いて、擬似表現符号化器は、ステップＳ９０３において算出されたＴｅｘｔｕｒｅ領域分割情報ＳＥＧと、ステップＳ９０４２において算出された面積順位情報ｌ_１，ｌ_２，…，ｌ_ｋとを用いて、非合成領域情報ＮＳＲ＝［ＮＳＲ_ｉ，ｊ］を算出する（ステップＳ９０４３）。まず、擬似表現符号化器は、出力である非合成領域ＮＳＲ＝［ｎｓｒ_ｉ，ｊ］を全てのｉ，ｊについてｎｓｒ_ｉ，ｊ＝１と初期化し、さらに画像の全領域を予め定めたブロックサイズに分割する。擬似表現符号化器は、予め定めた合成領域数ｐ（１≦ｐ≦ｋ）個の領域ｌ＝ｌ_１，ｌ_２，…，ｌ_ｐについて、先ほどのブロックがｓｅｇ_ｉ，ｊ＝ｌの領域に包含される場合、そのブロックに属する領域ｉ，ｊについて、ｎｓｒ_ｉ，ｊ＝０とする（ステップＳ９０４３）。

図９は、画像サイズが２４×３６、ブロックサイズが４×４、領域分割数が３、合成領域数が２の場合に、上記の動作を行った例を示す図である。
このように図６で示した処理手順に従って非合成領域情報を算出し、図５で示した処理手順に従って画像の符号化、及び、復号を行うことができる。

次に、図５で示した擬似表現符号化処理を行う擬似表現符号化器の構成について説明する。
図７は、図５に示す擬似表現符号化処理を実現する擬似表現符号化器９の構成を示すブロック図である。擬似表現符号化器９は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１、Ｔｅｘｔｕｒｅ特徴量算出部９０２、特徴量クラスタリング算出部９０３、非合成領域算出部９０４、非合成Ｔｅｘｔｕｒｅ抽出部９０５、領域情報合成部９０６、加算器９０７、代表Ｔｅｘｔｕｒｅ算出部９０８、非合成成分符号化部９０９、代表Ｔｅｘｔｕｒｅ符号化部９１０、領域情報符号化部９１１、非合成成分復号部９１２、代表Ｔｅｘｔｕｒｅ復号部９１３、領域情報復号部９１４、Ｔｅｘｔｕｒｅ合成部９１５、及び、加算器９１６を備えて構成される。擬似表現符号化器９は原画Ｆを入力とし、復号された画像を出力とする。以下、擬似表現符号化器９を構成する各部について詳細に記述する。

Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１は、原画Ｆを入力としてステップＳ９０１のＣａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解処理を行う。Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解処理により得られた、Ｃａｒｔｏｏｎ成分ＣとＴｅｘｔｕｒｅ成分Ｔとを出力する。

Ｔｅｘｔｕｒｅ特徴量算出部９０２は、原画Ｆを入力としてステップＳ９０２のＴｅｘｔｕｒｅ特徴量算出処理を行う。Ｔｅｘｔｕｒｅ特徴量算出部９０２は、Ｔｅｘｔｕｒｅ特徴量算出処理により得られた、Ｔｅｘｔｕｒｅ特徴量情報を出力する。
特徴量クラスタリング算出部９０３は、Ｔｅｘｔｕｒｅ特徴量算出部９０２が出力したＴｅｘｔｕｒｅ特徴量情報を入力としてステップＳ９０３の特徴量クラスタリング算出処理を行う。特徴量クラスタリング算出部９０３は、特徴量クラスタリング算出処理によって得られた、クラスタ中心情報とＴｅｘｔｕｒｅ領域分割情報ＳＥＧとを出力する。

非合成領域算出部９０４は、特徴量クラスタリング算出部９０３が出力したＴｅｘｔｕｒｅ領域分割情報ＳＥＧを入力としてステップＳ９０４の領域分割面積による非合成領域算出処理を行う。非合成領域算出部９０４は、領域分割面積による非合成領域算出処理により得られた、非合成領域情報ＮＳＲを出力する。
非合成Ｔｅｘｔｕｒｅ抽出部９０５は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１が出力したＴｅｘｔｕｒｅ成分Ｔと、非合成領域算出部９０４が出力した非合成領域情報ＮＳＲを入力としてステップＳ９０５の非合成Ｔｅｘｔｕｒｅ抽出処理を行う。非合成Ｔｅｘｔｕｒｅ抽出部９０５は、非合成Ｔｅｘｔｕｒｅ抽出処理により得られた、非合成Ｔｅｘｔｕｒｅ成分ＮＳＴを出力する。

領域情報合成部９０６は、特徴量クラスタリング算出部９０３が出力したＴｅｘｔｕｒｅ領域分割情報ＳＥＧと、非合成領域算出部９０４が出力した非合成領域情報ＮＳＲを入力としてステップＳ９０６の領域情報合成処理を行う。領域情報合成部９０６は、領域情報合成処理により得られた、拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧを出力する。

加算器９０７は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１が出力したＣａｒｔｏｏｎ成分Ｃと、非合成Ｔｅｘｔｕｒｅ抽出部９０５が出力した非合成Ｔｅｘｔｕｒｅ成分ＮＳＴとを入力としてステップＳ９０７の非合成成分算出処理を行う。加算器９０７は、非合成成分算出処理により得られた、非合成成分ＮＳＣを出力する。
代表Ｔｅｘｔｕｒｅ算出部９０８は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１が出力したＴｅｘｔｕｒｅ成分Ｔと、Ｔｅｘｔｕｒｅ特徴量算出部９０２が出力したＴｅｘｔｕｒｅ特徴量情報と、特徴量クラスタリング算出部９０３が出力したクラスタ中心情報と、領域情報合成部９０６が出力した拡張Ｔｅｘｔｕｒｅ領域分割情報とを入力としてステップＳ９０８の代表Ｔｅｘｔｕｒｅ算出処理を行う。代表Ｔｅｘｔｕｒｅ算出部９０８は、代表Ｔｅｘｔｕｒｅ算出処理により得られた、代表Ｔｅｘｔｕｒｅ情報を出力する。

非合成成分符号化部９０９は、加算器９０７が出力した非合成成分ＮＳＣを入力としてステップＳ９０９の非合成成分符号化処理を行う。非合成成分符号化部９０９は、非合成成分符号化処理により得られた、非合成成分ストリームを生成する。
代表Ｔｅｘｔｕｒｅ符号化部９１０は、代表Ｔｅｘｔｕｒｅ算出部９０８が出力した代表Ｔｅｘｔｕｒｅ情報を入力としてステップＳ９１０の代表Ｔｅｘｔｕｒｅ符号化処理を行う。代表Ｔｅｘｔｕｒｅ符号化部９１０は、代表Ｔｅｘｔｕｒｅ符号化処理により得られた、代表Ｔｅｘｔｕｒｅ情報ストリームを出力する。
領域情報符号化部９１１は、領域情報合成部９０６が出力した拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧを入力としてステップＳ９１１の領域情報符号化処理を行う。領域情報符号化部９１１は、領域情報符号化処理により得られた、拡張Ｔｅｘｔｕｒｅ領域分割ストリームを出力する。

非合成成分復号部９１２は、非合成成分符号化部９０９が出力した非合成成分ストリームを入力としてステップＳ９１２の非合成成分復号処理を行う。非合成成分復号部９１２は、非合成成分復号処理によって復号された非合成成分を出力する。
代表Ｔｅｘｔｕｒｅ復号部９１３は、代表Ｔｅｘｔｕｒｅ符号化部９１０が出力した代表Ｔｅｘｔｕｒｅ情報ストリームを入力としてステップＳ９１３の代表Ｔｅｘｔｕｒｅ復号処理を行う。代表Ｔｅｘｔｕｒｅ復号部９１３は、代表Ｔｅｘｔｕｒｅ復号処理によって復号された代表Ｔｅｘｔｕｒｅ情報を出力する。
領域情報復号部９１４は、領域情報符号化部９１１が出力した拡張Ｔｅｘｔｕｒｅ領域分割ストリームを入力としてステップＳ９１４の領域情報復号処理を行う。領域情報復号部９１４は、領域情報復号処理により復号された拡張Ｔｅｘｔｕｒｅ領域分割情報を出力する。

Ｔｅｘｔｕｒｅ合成部９１５は、代表Ｔｅｘｔｕｒｅ復号部９１３により復号された代表Ｔｅｘｔｕｒｅ情報と、領域情報復号部９１４により復号された拡張Ｔｅｘｔｕｒｅ領域分割情報とを入力としてステップＳ９１５のＴｅｘｔｕｒｅ合成処理を行う。Ｔｅｘｔｕｒｅ合成部９１５は、Ｔｅｘｔｕｒｅ合成処理により復号された合成成分を出力する。
加算器９１６は、非合成成分復号部９１２により復号された非合成成分と、Ｔｅｘｔｕｒｅ合成部９１５により復号された合成成分とを入力としてステップＳ９１６の復号画像生成処理を行う。加算器９１６は、復号画像生成処理により復号された画像を出力する。

次に、図６で示した領域分割面積による非合成領域算出処理を行う非合成領域算出部９０４の詳細な構成について説明する。
図８は、図６に示す領域分割面積による非合成領域算出処理を実現する非合成領域算出部９０４の詳細な構成を示すブロック図である。非合成領域算出部９０４は、領域面積計数部９０４１、ソート計算部９０４２、及び、非合成領域決定部９０４３を備えて構成される。

領域面積計数部９０４１は、Ｔｅｘｔｕｒｅ領域情報ＳＥＧを入力としてステップＳ９０４１の領域面積係数処理を行う。領域面積計数部９０４１は、領域面積係数処理により得られた面積情報を出力する。
ソート計算部９０４２は、面積情報を入力としてステップＳ９０４２のソート処理を行う。ソート計算部９０４２は、ソート処理により得られた面積順位情報ｌ_１，ｌ_２，…，ｌ_ｋを出力する。
非合成領域決定部９０４３は、Ｔｅｘｔｕｒｅ領域情報ＳＥＧと面積順位情報ｌ_１，ｌ_２，…，ｌ_ｋを入力としてステップＳ９０４３の領域面積情報に基づく非合成領域決定処理を行う。非合成領域決定部９０４３は、領域面積情報に基づく非合成領域決定処理により得られた非合成領域情報ＮＳＲを出力する。

このように、図７及び図８に示す構成の擬似表現符号化器９は、図５及び図６に示すように、擬似表現符号化により画像の符号化、及び、復号を行う際に、領域分割面積を用いて非合成領域の算出を行う。

Y. Shi, Y. Hou, B. Yin, and W. Ding, "Image coding approach based on image decomposition," IEEE, 28th Picture Coding Symposium, PCS2010, 2010., p.534-537 J Gilles and Y Meyer, "Properties of BV- G Structures+Textures Decomposition Models. Application to Road Detection in Satellite Images," IEEE Transactions on Image Processing, 2010, Volume19 Issue11 横矢直和，「画像処理ハンドブック」，12章4節 テクスチャ解析，昭晃堂，1987年，p.295-303 A. A. Efros and W. T. Freeman, "Image quilting for texture synthesis and transfer," Proceedings of the 28th annual conference on Computer graphics and interactive techniques, ACM, 2001, p.341-346

上述した従来の非合成領域算出方法では、Ｔｅｘｔｕｒｅ領域分割の各面積及び形状に基づいて非合成領域を決定する。このため、原画の大部分をいくつかのＴｅｘｔｕｒｅが占める場合において有効に働く。例えば、芝生や海、空などが大きく写る自然の風景の画像や、布地や木材のなどの素材に特化した画像が当てはまる。しかし、このような性質を持たないその他の画像については、Ｔｅｘｔｕｒｅ領域分割の面積や形状からはＴｅｘｔｕｒｅ合成が不向きな領域であるか否かの判断が困難な場合がある。従って、この方法で算出された非合成領域を用いると、Ｔｅｘｔｕｒｅ合成に不向きな領域でＴｅｘｔｕｒｅ合成をしてしまい、結果として復号画像の主観品質を損なうことがあるという課題があった。

上記事情に鑑み、本発明は、復号画像の主観品質を向上することができる符号化方法、符号化装置及び符号化プログラムを提供することを目的としている。

本発明の一態様は、符号化装置が実行する符号化方法であって、符号化対象の画像をカートゥーン成分とテクスチャ成分とに分解する分解ステップと、カートゥーン成分とテクスチャ成分との合成に向いているか否かと相関が高い物理量を前記画像から取得し、取得した前記物理量に基づいて前記画像において復号時にテクスチャ成分を合成しない領域である非合成領域を算出する非合成領域算出ステップと、前記カートゥーン成分と前記非合成領域の前記テクスチャ成分とを加算して非合成成分を算出する加算ステップと、前記非合成成分を符号する非合成成分符号化ステップと、前記非合成領域を除いた領域の前記テクスチャ成分を符号化するテクスチャ符号化ステップと、を有する。

本発明の一態様は、上述の符号化方法であって、前記非合成領域算出ステップにおいては、前記画像の画素ごとに、合成領域に向いているか否かを定量的に表す値である合成指標値を前記物理量から算出し、算出された前記合成指標値に基づいて前記画素が非合成領域に属するか否かを判定する。

本発明の一態様は、上述の符号化方法であって、前記非合成領域算出ステップは、前記画像の画素ごとに、前記画像から取得した前記物理量を用いて前記合成指標値を得る合成指標値算出ステップと、前記画素ごとに、前記合成指標値と閾値とを比較して非合成領域に属するか否かを判定する閾値処理ステップと、を有する。

本発明の一態様は、上述の符号化方法であって、前記物理量は、前記画像又は前記テクスチャ成分のアクティビティ、前記画像の顕著性、及び、前記テクスチャ成分の特徴量と前記画素が属するクラスタのクラスタ中心との距離のうち１以上を含む。

本発明の一態様は、上述の符号化方法であって、前記合成指標値算出ステップにおいては、前記アクティビティが大きいほど、前記画像の顕著性が高いほど、又は、前記テクスチャ成分の特徴量と前記クラスタ中心との距離が大きいほど、合成領域に向いていないことを示す値となるように合成指標値を算出する。

本発明の一態様は、符号化対象の画像をカートゥーン成分とテクスチャ成分とに分解する分解部と、カートゥーン成分とテクスチャ成分との合成に向いているか否かと相関が高い物理量を前記画像から取得し、取得した前記物理量に基づいて前記画像において復号時にテクスチャ成分を合成しない領域である非合成領域を算出する非合成領域算出部と、前記カートゥーン成分と前記非合成領域の前記テクスチャ成分とを加算して非合成成分を算出する加算部と、前記非合成成分を符号する非合成成分符号化部と、前記非合成領域を除いた領域の前記テクスチャ成分を符号化するテクスチャ符号化部と、を有する符号化装置である。

本発明の一態様は、コンピュータに、上述の符号化方法を実行させる符号化プログラムである。

本発明により、復号画像の主観品質を向上することが可能となる。

本発明の一実施形態による擬似表現符号化器のブロック図である。 同実施形態による非合成領域算出部のブロック図である。 同実施形態による擬似表現符号化処理のフローチャートである。 同実施形態による合成指標に基づく非合成領域算出処理のフローチャートである。 従来の擬似表現符号化処理のフローチャートである。 従来の領域分割面積による非合成領域算出処理のフローチャートである。 従来の擬似表現符号化器のブロック図である。 従来の非合成領域算出部のブロック図である。 従来の領域分割面積による非合成領域算出の例を示す図。

以下、図面を参照して、本発明の一実施形態による符号化装置、符号化方法、及び、符号化プログラムを説明する。本実施形態の符号化装置は、映像を符号化する際に、Ｔｅｘｔｕｒｅ（テクスチャ）合成の向き不向きと相関の高い物理量を予め算出する。符号化装置は、この物理量を算出するための入力として、Ｔｅｘｔｕｒｅ成分、Ｔｅｘｔｕｒｅ特徴量情報、Ｔｅｘｔｕｒｅ領域分割情報、クラスタ中心情報、そして原画の中から必要な情報を用いる。そして、符号化装置は、これらから得られる物理量としては、アクティビティやサリエンシー、Ｔｅｘｔｕｒｅ特徴量のクラスタ中心との距離を用いることができる。本実施形態の符号化装置は、この算出された物理量から算出された各画素の合成指標値を示す合成指標値マップを生成し、これを閾値処理することで非合成領域を算出する。合成指標値は、合成領域に向いているか否かを定量的に表す値である。また、非合成領域は、符号化対象の画像をＣａｒｔｏｏｎ（カートゥーン）成分（構造成分）とＴｅｘｔｕｒｅ成分とを分離せずに符号化する領域であり、すなわち、復号時にＴｅｘｔｕｒｅ成分が合成されない領域である。上記のように算出された非合成領域はＴｅｘｔｕｒｅ合成のしやすさが加味されているため、検出精度が向上し、結果として復号画像の主観品質を向上させることができる。

図１は、本発明の一実施形態による擬似表現符号化器１の構成を示すブロック図である。擬似表現符号化器１は、合成指標を用いて非合成領域を算出する符号化装置の一例である。擬似表現符号化器１は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部１０１（分解部）、Ｔｅｘｔｕｒｅ特徴量算出部１０２、特徴量クラスタリング算出部１０３、非合成領域算出部１０４、非合成Ｔｅｘｔｕｒｅ抽出部１０５、領域情報合成部１０６、加算器１０７（加算部）、代表Ｔｅｘｔｕｒｅ算出部１０８、非合成成分符号化部１０９、代表Ｔｅｘｔｕｒｅ符号化部１１０（テクスチャ符号化部）、領域情報符号化部１１１（テクスチャ符号化部）、非合成成分復号部１１２、代表Ｔｅｘｔｕｒｅ復号部１１３、領域情報復号部１１４、Ｔｅｘｔｕｒｅ合成部１１５、及び、加算器１１６を備えて構成される。

Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部１０１、Ｔｅｘｔｕｒｅ特徴量算出部１０２、特徴量クラスタリング算出部１０３、非合成Ｔｅｘｔｕｒｅ抽出部１０５、領域情報合成部１０６、加算器１０７、代表Ｔｅｘｔｕｒｅ算出部１０８、非合成成分符号化部１０９、代表Ｔｅｘｔｕｒｅ符号化部１１０、領域情報符号化部１１１、非合成成分復号部１１２、代表Ｔｅｘｔｕｒｅ復号部１１３、領域情報復号部１１４、Ｔｅｘｔｕｒｅ合成部１１５、及び、加算器１１６はそれぞれ、図７に示すＣａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部９０１、Ｔｅｘｔｕｒｅ特徴量算出部９０２、特徴量クラスタリング算出部９０３、非合成Ｔｅｘｔｕｒｅ抽出部９０５、領域情報合成部９０６、加算器９０７、代表Ｔｅｘｔｕｒｅ算出部９０８、非合成成分符号化部９０９、代表Ｔｅｘｔｕｒｅ符号化部９１０、領域情報符号化部９１１、非合成成分復号部９１２、代表Ｔｅｘｔｕｒｅ復号部９１３、領域情報復号部９１４、Ｔｅｘｔｕｒｅ合成部９１５、及び、加算器９１６と同様の機能を有するため、説明を省略する。

非合成領域算出部１０４は、Ｔｅｘｔｕｒｅ成分、Ｔｅｘｔｕｒｅ特徴量情報、Ｔｅｘｔｕｒｅ領域分割情報、クラスタ中心情報、原画を入力とし、これらから非合成領域情報ＮＳＲ＝［ｎｓｒ_ｉ，ｊ］を算出し、出力する。下添字ｉ，ｊは、画像における位置ｉ，ｊの成分を示す。各ｎｓｒ_ｉ，ｊは１か０の値をとり、ｎｓｒ_ｉ，ｊ＝１の位置ｉ，ｊは非合成領域であり、ｎｓｒ_ｉ，ｊ＝０の位置ｉ，ｊは合成領域であるとする。非合成領域算出部１０４への入力は、Ｔｅｘｔｕｒｅ成分、Ｔｅｘｔｕｒｅ特徴量情報、Ｔｅｘｔｕｒｅ領域分割情報、クラスタ中心情報、及び、原画の全部でもよく、あらかじめ設定された非合成領域算出部１０４における処理内容に合わせて、それらのうち使用する一部の入力値のみを入力してもよい。非合成領域算出部１０４は、Ｃａｒｔｏｏｎ成分とＴｅｘｔｕｒｅ成分との合成に向いているか否かと相関が高い物理量を入力された情報から取得する。非合成領域算出部１０４は、画素ごとに、取得した物理量から合成指標値を得る。非合成領域算出部１０４は、合成指標値に基づいて、各画素が非合成領域に属するか否かを判定して非合成領域情報ＮＳＲを生成する。

図２は、図１に示す非合成領域算出部１０４の詳細な構成を示すブロック図である。同図に示すように、非合成領域算出部１０４は、合成指標値算出部１０４１、及び、閾値処理部１０４２を備える。

合成指標値算出部１０４１は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部１０１が出力したＴｅｘｔｕｒｅ成分、Ｔｅｘｔｕｒｅ特徴量算出部１０２が出力したＴｅｘｔｕｒｅ特徴量情報、特徴量クラスタリング算出部１０３が出力したＴｅｘｔｕｒｅ領域分割情報及びクラスタ中心情報、及び、擬似表現符号化器１が入力した原画の全て又は一部を入力とする。合成指標値算出部１０４１は、入力したこれらの情報の全て又は一部から、Ｃａｒｔｏｏｎ成分とＴｅｘｔｕｒｅ成分との合成に向いているか否かと相関が高い物理量を画素ごとに取得する。合成指標値算出部１０４１は、取得した物理量から合成指標値を画素ごとに算出する。合成指標値算出部１０４１は、各画素の合成指標値を示す情報である合成指標値マップを生成し、出力する。合成指標値の算出に用いられる物理量には、アクティビティやサリエンシー、Ｔｅｘｔｕｒｅ特徴量のクラスタ中心との距離のうち１以上を用いることができる。

閾値処理部１０４２は、合成指標値算出部１０４１が出力した合成指標値マップを入力として、非合成領域情報ＮＳＲを生成し、出力する。閾値処理部１０４２は、合成指標値マップが示す各画素の合成指標値と閾値を比較することにより、各画素が非合成領域であるか否かを示す非合成領域情報ＮＳＲを生成する。

次に、図３及び図４を用いて、本実施形態の擬似表現符号化器１による符号化処理を説明する。
図３は、擬似表現符号化器１による擬似表現符号化処理のフローチャートである。
同図に示すステップＳ１０１からＳ１０３の処理は、既に述べた図５に示すフローチャートにおけるステップＳ９０１からＳ９０３の処理と同一の処理であるので、詳細な説明を省略する。

Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部１０１は、符号化対象の画像である原画Ｆ＝［ｆ_ｉ，ｊ］をＣａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解し、Ｃａｒｔｏｏｎ成分Ｃ＝［ｃ_ｉ，ｊ］とＴｅｘｔｕｒｅ成分Ｔ＝［ｔ_ｉ，ｊ］の２成分に分解する（ステップＳ１０１）。ただし、原画ＦのサイズはＮ×Ｍであり、１≦ｉ≦Ｎ、１≦ｊ≦Ｍである。ｆ_ｉ，ｊは原画Ｆのｉ，ｊ成分、ｃ_ｉ，ｊは位置ｉ，ｊのＣａｒｔｏｏｎ成分、ｔ_ｉ，ｊは位置ｉ，ｊのＴｅｘｔｕｒｅ成分である。Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解には、ＴＶ−Ｌ１信号分解、ＴＶ−Ｌ２信号分解、ＭＣＡ（Morphological Component Analysis）などを用いることができるが、任意の他のＣａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解方法を用いてもよい。

Ｔｅｘｔｕｒｅ特徴量算出部１０２は、原画Ｆを用いて、Ｔｅｘｔｕｒｅ特徴量を算出する（ステップＳ１０２）。Ｔｅｘｔｕｒｅ特徴量の算出には、ＧＬＣＭ、ガボールフィルタバンクのほか、Wavelet変換などを用いることができるが、任意の他の特徴量算出方法を用いてもよい。

特徴量クラスタリング算出部１０３は、ステップＳ１０２において算出された特徴量をクラス数ｋにクラスタリングし、Ｔｅｘｔｕｒｅの領域分割情報ＳＥＧ＝［ｓｅｇ_ｉ，ｊ］とクラスタ中心Ｃ_１，Ｃ_２，…，Ｃ_ｋとを算出する(ステップＳ１０３）。ｓｅｇ_ｉ，ｊ＝ｌ（１≦ｌ≦ｋ）は、位置ｉ，ｊがｌ番目のクラスタに属することを示す。クラスタリングのアルゴリズムには、k-means法、k-means++、ＧＭＭ（Gaussian Mixture Model）などを用いることができるが、任意の他のクラスタリングのアルゴリズムを用いてもよい。

続いて、非合成領域算出部１０４は、ステップＳ１０３までに得られたＴｅｘｔｕｒｅ成分、Ｔｅｘｔｕｒｅ特徴量情報、Ｔｅｘｔｕｒｅ領域分割情報、クラスタ中心情報、及び、原画の全て又は一部を入力として合成指標に基づく非合成領域算出処理を行う（ステップＳ１０４）。非合成領域算出部１０４は、合成指標に基づく非合成領域算出処理において、各画素の合成指標値を計算し、合成指標値と閾値との比較に基づいて非合成領域ＮＳＲ＝［ｎｓｒ_ｉ，ｊ］を算出する。

同図に示すステップＳ１０５からＳ１１６の処理は、既に述べた図５に示すフローチャートにおけるステップＳ９０５からＳ９１６の処理と同一の処理であるので、詳細な説明を省略する。
すなわち、非合成Ｔｅｘｔｕｒｅ抽出部１０５は、ステップＳ１０３において算出された非合成領域ＮＳＲをもとに、ステップＳ１０１において算出されたＴｅｘｔｕｒｅ成分Ｔの中で、Ｔｅｘｔｕｒｅ合成を行わない非合成Ｔｅｘｔｕｒｅ成分ＮＳＴ＝［ｎｓｔ_ｉ，ｊ］を、式（１）により算出する（ステップＳ１０５）。

続いて、領域情報合成部１０６は、ステップＳ１０３において算出されたＴｅｘｔｕｒｅの領域分割情報ＳＥＧと、ステップＳ１０４において算出された非合成領域ＮＳＲとを合成して、式（２）により、拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧ＝［ｅｓｅｇ_ｉ，ｊ］を算出する。

続いて、加算器１０７は、ステップＳ１０１において算出されたＣａｒｔｏｏｎ成分Ｃと、ステップＳ１０５において算出された非合成Ｔｅｘｔｕｒｅ成分ＮＳＴを各位置ｉ，ｊについて足しあわせて、非合成成分ＮＳＣ＝［ｎｃｘ_ｉ，ｊ］＝［ｃ_ｉ，ｊ＋ｎsｔ_ｉ，ｊ］を計算する（ステップＳ１０７）。

続いて、代表Ｔｅｘｔｕｒｅ算出部１０８は、ステップＳ１０１において算出されたＴｅｘｔｕｒｅ成分ＴとステップＳ１０２において算出されたＴｅｘｔｕｒｅ特徴量情報と、ステップＳ１０３において算出されたクラスタ中心情報と、ステップＳ１０６において算出された拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧとを用いて、代表Ｔｅｘｔｕｒｅ情報を算出する（ステップＳ１０８）。なお、代表Ｔｅｘｔｕｒｅ情報の算出には、ステップＳ９０８で説明したクラスタ中心との距離基準を用いる他、Inverse Texture Synthesisなどを用いることができるが、任意の他の算出方法を用いてもよい。

続いて、非合成成分符号化部１０９は、ステップＳ１０７において算出された非合成成分ＮＳＣを符号化し、非合成成分ストリームを生成する（ステップＳ１０９）。代表Ｔｅｘｔｕｒｅ符号化部１１０は、ステップＳ１０８において算出された代表Ｔｅｘｔｕｒｅ情報を符号化し、代表Ｔｅｘｔｕｒｅ情報ストリームを生成する（ステップＳ１１０）。領域情報符号化部１１１は、ステップＳ１０６において生成された拡張Ｔｅｘｔｕｒｅ領域分割情報ＥＳＥＧを符号化し、拡張Ｔｅｘｔｕｒｅ領域分割ストリームを生成する（ステップＳ１１１）。

続いて、非合成成分復号部１１２は、ステップＳ１０９において生成された非合成成分ストリームを復号する（ステップＳ１１２）。また、代表Ｔｅｘｔｕｒｅ復号部１１３は、ステップＳ１１０において生成された代表Ｔｅｘｔｕｒｅ情報ストリームを復号する（ステップＳ１１３）。さらに、領域情報復号部１１４は、ステップＳ１１１において生成された拡張Ｔｅｘｔｕｒｅ領域分割ストリームを復号する（ステップＳ１１４）。

なお、ステップＳ１０９及びステップＳ１１０における符号化、ならびに、ステップＳ１１２及びステップＳ１１３における復号には、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧ２０００、Ｈ．２６４、ＨＥＶＣなどの画像符号化方法を用いることができるが、任意の他の画像符号化方法を用いてもよい。また、ステップＳ１１１における符号化ならびにステップＳ１１４における復号には、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ランレングス、ＪＥＰＧ、ＨＥＶＣなどを用いることができるが、任意の他の符号化方法を用いてもよい。

Ｔｅｘｔｕｒｅ合成部１１５は、ステップＳ１１３において復号された代表Ｔｅｘｔｕｒｅ情報と、ステップＳ１１４において復号された拡張Ｔｅｘｔｕｒｅ領域分割情報を用いて、復号された合成成分を生成する（ステップＳ１１５）。Ｔｅｘｔｕｒｅ合成の方法には、Image Quilting、Chaos Mosaic、Graphcut Texturesなどを用いることができるが、他のＴｅｘｔｕｒｅ合成の方法を用いてもよい。加算器１１６は、ステップＳ１１２において復号された非合成成分と、ステップＳ１１５において復号された合成成分とを足し合わせて、復号された画像を生成し、この画像を出力して処理を終了する（ステップＳ１１６）。

図４は、図３のステップＳ１０４における合成指標に基づく非合成領域算出処理の詳細な処理を示すフローチャートである。
合成指標値算出部１０４１は、は、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部１０１が出力したＴｅｘｔｕｒｅ成分、Ｔｅｘｔｕｒｅ特徴量算出部１０２が出力したＴｅｘｔｕｒｅ特徴量情報、特徴量クラスタリング算出部１０３が出力したＴｅｘｔｕｒｅ領域分割情報及びクラスタ中心情報、及び、擬似表現符号化器１が入力した原画の全て又は一部から、各種合成指標値を計算する（ステップＳ１０４１）。非合成領域算出部１０４は、この合成指標値を画素（ｉ，ｊ）毎に計算し、合成指標値のマップＭＡＰ＝［ｍａｐ_ｉ，ｊ］を算出する。

合成指標値を算出する物理量として、（１）原画又はＴｅｘｔｕｒｅ成分のアクティビティ、（２）原画のサリエンシー、（３）Ｔｅｘｔｕｒｅ特徴量、Ｔｅｘｔｕｒｅ領域分割及びクラスタ中心から求まるクラスタ中心との距離、などが用いられ得る。

（１）のアクティビティは、原画又はＴｅｘｔｕｒｅ成分を入力とし、隣接画素差分に対して予め定めた窓で畳み込むことにより算出される。
また、（２）のサリエンシー（顕著性）は、原画を入力とし、輝度、色、角度、動きベクトルなどの低レベルの特徴量を複数統合することで算出される。
また（３）のクラスタ中心との距離は、Ｔｅｘｔｕｒｅ特徴量とＴｅｘｔｕｒｅ領域分割情報、クラスタ中心情報を入力とし、各Ｔｅｘｔｕｒｅ領域内の各位置ｉ，ｊにおけるＴｅｘｔｕｒｅ特徴量とその位置ｉ，ｊが属するクラスタのクラスタ中心との特徴量空間における距離として算出される。

また、上述の（１）〜（３）のいずれかの物理量に、単調関数を施したものを合成指標値として用いてもよく、（１）〜（３）のうち任意の複数の物理量（又はその物理量に単調関数を施したもの）の線形結合を合成指標値として用いてもよい。
なお、合成指標値算出部１０４１は、アクティビティが大きいほど、画像のサリエンシー（顕著性）が高いほど、又は、Ｔｅｘｔｕｒｅ特徴量とクラスタ中心との特徴量空間における距離が大きいほど、合成領域に向いていないことを示す値となるように合成指標値を算出する。

閾値処理部１０４２は、Ｓ１０４１において合成指標値算出部１０４１が算出した合成指標値マップＭＡＰ＝［ｍａｐ_ｉ，ｊ］に対し、予め設定された閾値λを用いて、非合成領域情報ＮＳＲ＝［ｎｓｒ_ｉ，ｊ］を、以下の式（３）のように計算する（ステップＳ１０４２）。

ここでＮＳＲは、ｎｓｒ_ｉ，ｊ＝１のとき位置ｉ，ｊが非合成画素であり、ｎｓｒ_ｉ，ｊ＝０のとき合成画素であることを示している。非合成画素は、復号時にＴｅｘｔｕｒｅ成分の画素が合成されない画素であり、合成画素は、復号時にＣａｒｔｏｏｎ成分とＴｅｘｔｕｒｅ成分とが合成される画素である。

このように、図２に示す非合成領域算出部１０４を用いることにより、図４に示す処理動作に従って、合成指標を用いて非合成領域情報を算出し、出力することができる。そして、図１に示す擬似表現符号化器１を用いることにより、図３に示す処理動作に従って、画像の符号化、復号を行うことができる。

次に、具体例を挙げて、図１に示す擬似表現符号化器１及び図２に示す非合成領域算出部１０４が、図３及び図４に示す処理を行うときの動作を説明する。
ここでは、原画Ｆを、Ｎ×Ｍの８ｂｉｔ（ビット）モノクロ画像信号とする。また各処理手順において、Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解にはＴＶ−Ｌ１信号分解を、Ｔｅｘｔｕｒｅ特徴量算出にはガボールフィルタバンクを、特徴量クラスタリング算出にはk-means法を、代表Ｔｅｘｔｕｒｅ算出にはクラスタ中心との距離基準を、非合成成分、代表Ｔｅｘｔｕｒｅの符号化および復号にはＨＥＶＣを、領域情報の符号化および復号にはＰＮＧを、Ｔｅｘｔｕｒｅ合成処理にはImage Quiltingを、合成指標値算出にはＴｅｘｔｕｒｅ成分のアクティビティを用いるものとする。

擬似表現符号化器１が行う、図３のステップＳ１０１からＳ１０３、及び、ステップＳ１０５からＳ１１６の処理手順は、従来の処理手順と同一である。ステップＳ１０２においてはＴＶ−Ｌ１信号分解、ステップＳ１０２においてはガボールフィルタバンク、ステップＳ１０３においてはk-means法、ステップＳ１０８においてはクラスタ中心との距離基準、ステップＳ１０９及びＳ１１０においてはＨＥＶＣの符号化処理、ステップＳ１１１においはＰＮＧの符号化処理、ステップＳ１１２及びＳ１１３においてはＨＥＶＣの復号処理、ステップＳ１１４においてはＰＮＧの復号処理、ステップＳ１１５においてはImage Quiltingを適用すればよい。

図４に示すステップＳ１０４の詳細な処理手順の具体例を説明する。
この具体例では、ステップＳ１０４１において、合成指標値算出部１０４１は、Ｔｅｘｔｕｒｅ成分のみを用いて合成指標値となるアクティビティを計算する。アクティビティは、注目位置ｉ，ｊを中心にしたある窓内における隣接画素差分の絶対値和として定義することができる。例えば、窓関数をｗ_ｉ，ｊとすると、合成指標値のマップＭＡＰ＝［ｍａｐ_ｉ，ｊ］は、以下の式（４）により算出することができる。

ステップＳ１０４２ではＳ１０４１で算出された合成指標値マップＭＡＰ＝［ｍａｐ_ｉ，ｊ］に対し、予め設定された閾値λを用いて閾値処理を施す。例えば閾値としてλ＝１０を選ぶことができ、以下の式（５）のように計算することができる。

このように図４で示した処理手順に従って非合成領域情報ＮＳＲを計算し、図３で示した処理手順に従って画像の符号化、復号を行うことができる。

上述した実施形態によれば、符号化装置の一例である擬似表現符号化器１は、符号化対象の画像をＣａｒｔｏｏｎ成分とＴｅｘｔｕｒｅ成分とに分解する。擬似表現符号化器１は、Ｃａｒｔｏｏｎ成分とＴｅｘｔｕｒｅ成分との合成に向いているか否かと相関が高い物理量を符号化対象の画像から取得し、取得した物理量に基づいて、符号化対象の画像においてＴｅｘｔｕｒｅ成分を合成しない領域である非合成領域を算出する。擬似表現符号化器１は、Ｃａｒｔｏｏｎ成分と非合成領域のＴｅｘｔｕｒｅ成分とを加算した非合成成分を符号化し、さらに、非合成領域を除いた領域のＴｅｘｔｕｒｅ成分を符号化する。
上記実施形態によれば、Ｔｅｘｔｕｒｅ合成に不向きな領域の検出精度を向上し、適切な非合成領域を用いることで、復号画像の主観品質を向上することができる。

上述した実施形態における擬似表現符号化器１の各部の機能をコンピュータで実現するようにしてもよい。その場合、この擬似表現符号化器１の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

なお、上述した実施形態の符号化装置、符号化方法、及び、符号化プログラムは、パターンマッチングに用いられてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

映像を符号化する装置に利用可能である。

１、９ 擬似表現符号化器
１０１、９０１ Ｃａｒｔｏｏｎ−Ｔｅｘｔｕｒｅ信号分解部
１０２、９０２ Ｔｅｘｔｕｒｅ特徴量算出部
１０３、９０３ 特徴量クラスタリング算出部
１０４、９０４ 非合成領域算出部
１０５、９０５ 非合成Ｔｅｘｔｕｒｅ抽出部
１０６、９０６ 領域情報合成部
１０７、１１６、９０７、９１６ 加算器
１０８、９０８ 代表Ｔｅｘｔｕｒｅ算出部
１０９、９０９ 非合成成分符号化部
１１０、９１０ 代表Ｔｅｘｔｕｒｅ符号化部
１１１、９１１ 領域情報符号化部
１１２、９１２ 非合成成分復号部
１１３、９１３ 代表Ｔｅｘｔｕｒｅ復号部
１１４、９１４ 領域情報復号部
１１５、９１５ Ｔｅｘｔｕｒｅ合成部
１０４１ 合成指標値算出部
１０４２ 閾値処理部
９０４１ 領域面積計数部
９０４２ ソート計算部
９０４３ 非合成領域決定部

Claims (7)

1. 符号化装置が実行する符号化方法であって、
   符号化対象の画像をカートゥーン成分とテクスチャ成分とに分解する分解ステップと、
   カートゥーン成分とテクスチャ成分との合成に向いているか否かと相関が高い物理量を前記画像から取得し、取得した前記物理量に基づいて前記画像において復号時にテクスチャ成分を合成しない領域である非合成領域を算出する非合成領域算出ステップと、
   前記カートゥーン成分と前記非合成領域の前記テクスチャ成分とを加算して非合成成分を算出する加算ステップと、
   前記非合成成分を符号する非合成成分符号化ステップと、
   前記テクスチャ成分の特徴量を分類したクラスタごとに、前記特徴量とクラスタ中心との距離の総和が最も小さくなる窓位置を代表テクスチャとして算出し、算出された前記代表テクスチャの前記テクスチャ成分と、前記非合成領域を除いた領域が属する前記クラスタとを符号化するテクスチャ符号化ステップと、
   を有することを特徴とする符号化方法。
2. 前記非合成領域算出ステップにおいては、前記画像の画素ごとに、合成領域に向いているか否かを定量的に表す値である合成指標値を前記物理量から算出し、算出された前記合成指標値に基づいて前記画素が非合成領域に属するか否かを判定する、
   を有することを特徴とする請求項１に記載の符号化方法。
3. 前記非合成領域算出ステップは、
   前記画像の画素ごとに、前記画像から取得した前記物理量を用いて前記合成指標値を得る合成指標値算出ステップと、
   前記画素ごとに、前記合成指標値と閾値とを比較して非合成領域に属するか否かを判定する閾値処理ステップと、
   を有することを特徴とする請求項２に記載の符号化方法。
4. 前記物理量は、前記画像又は前記テクスチャ成分のアクティビティ、前記画像の顕著性、及び、前記テクスチャ成分の前記特徴量と前記画素が属する前記クラスタの前記クラスタ中心との距離のうち１以上を含む、
   ことを特徴とする請求項３に記載の符号化方法。
5. 前記合成指標値算出ステップにおいては、前記アクティビティが大きいほど、前記画像の顕著性が高いほど、又は、前記テクスチャ成分の特徴量と前記クラスタ中心との距離が大きいほど、合成領域に向いていないことを示す値となるように合成指標値を算出する、
   ことを特徴とする請求項４に記載の符号化方法。
6. 符号化対象の画像をカートゥーン成分とテクスチャ成分とに分解する分解部と、
   カートゥーン成分とテクスチャ成分との合成に向いているか否かと相関が高い物理量を前記画像から取得し、取得した前記物理量に基づいて前記画像において復号時にテクスチャ成分を合成しない領域である非合成領域を算出する非合成領域算出部と、
   前記カートゥーン成分と前記非合成領域の前記テクスチャ成分とを加算して非合成成分を算出する加算部と、
   前記非合成成分を符号する非合成成分符号化部と、
   前記テクスチャ成分の特徴量を分類したクラスタごとに、前記特徴量とクラスタ中心との距離の総和が最も小さくなる窓位置を代表テクスチャとして算出し、算出された前記代表テクスチャの前記テクスチャ成分と、前記非合成領域を除いた領域が属する前記クラスタとを符号化するテクスチャ符号化部と、
   を有することを特徴とする符号化装置。
7. コンピュータに、請求項１から請求項５のいずれか一項に記載の符号化方法を実行させる符号化プログラム。

Images