JP2014140089A - 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム - Google Patents

Abstract

【課題】テクスチャ画像を高い能率で符号化又は復号できる画像符号化装置、画像復号装置、等を提供する。
【解決手段】画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化するとき、動き領域決定部は前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を画面記憶部から読み出した参照画像のブロックに基づいて決定し、パターン決定部は視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックをコードブックから読み出し、動き領域予測部は前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める。
【選択図】図２

Description

本発明は、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラムに関する。

被写体の三次元形状を記録又は送受信するために、テクスチャ画像と距離画像を用いる方法が提案されていた。テクスチャ画像（ｔｅｘｔｕｒｅ ｍａｐ；「基準画像」、「平面画像」、又は「カラー画像」と言うことがある）とは、被写空間に含まれる被写体や背景の色彩や濃度（「輝度」と言うことがある）を表す信号のことであって、二次元平面に配置された画像の画素毎の信号値からなる画像信号である。距離画像（ｄｅｐｔｈ ｍａｐ；「デプスマップ」と言うことがある）とは、三次元の被写空間に含まれる被写体及び背景の視点画素毎の視点（撮影装置等）からの距離に対応する信号値（「深度値」、「デプス値（ｄｅｐｔｈ）」と言うことがある）であって、二次元平面に配置された画素毎の信号値からなる画像信号である。距離画像を構成する画素は、テクスチャ画像を構成する画素と対応する。

距離画像は、それと対応するテクスチャ画像とともに利用されることが多く、テクスチャ画像とは独立に符号化されてきた。例えば、非特許文献１及び非特許文献２に記載の符号化方式では、移動する被写体の画像を含む画像ブロックを検知し、検知した画像ブロックにおいて予め定めた複数のパターンの中から、その被写体の画像を含む領域に対応するパターンを選択する。また、例えば非特許文献３に記載の符号化方式では、１つの画像ブロック（マクロブロック）を、より画素数が少ないサブブロックに分割。その符号化方式では、移動する被写体の画像を含むサブブロックと、そのような画像を含まないサブブロックに分類する。

Ｋｗａｋ−Ｗａｉ Ｗｏｎｇ， Ｋｉｎ−Ｍａｎ Ｌａｍ ａｎｄ Ｗａｎ−Ｃｈｉ Ｓｉｕ、"Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｌｏｗ Ｂｉｔ−Ｒａｔｅ Ｖｉｄｅｏ−Ｃｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｆｏｃｕｓｉｎｇ ｏｎ Ｍｏｖｉｎｇ Ｒｅｇｉｏｎｓ"、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＯＬＯＧＹ、Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ Ｉｎｃｏｒｐｏｒａｔｅｄ、Ｏｃｔ． ２００１、Ｖｏｌ．１１、Ｎｏ．１０、ｐ．１１２８−１１３４ Ｍａｎｏｒａｎｊａｎ Ｐａｕｌ， Ｍａｎｚｕｒ Ｍｕｒｓｈｅｄ ａｎｄ Ｌａｕｒｅｎｃｅ Ｄｏｏｌｅｙ、"Ｉｍｐａｃｔ ｏｆ Ｍａｃｒｏｂｌｏｃｋ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｎ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｆｏｃｕｓｉｎｇ ｏｎ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ"、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｔｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ （ＩＣＣＩＴ‘０２）、Ｄｈａｋａ， Ｂａｎｇｌａｄｅｓｈ、２６−２８ Ｄｅｃｅｍｂｅｒ ２００２、ｐ．４６５−４７０ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＩＺＡＴＩＯＮ ＳＥＣＴＯＲ ＯＦ ＩＴＵ，Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｃｅｓｓ，"ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏ ｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ"，ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＵＮＩＯＮ，２００３．５，ｐ．１００−１１０

しかしながら、非特許文献１又は非特許文献２に記載の符号化方式では、選択したパターンを示す符号を符号化出力とする。非特許文献３に記載の符号化方式では、さらに分割されたサブブロック各々に対応する動きベクトルを示す符号を符号化出力とする。そのため、非特許文献１−３に記載の符号化方式では、いずれも能率が低下していた問題点があった。

本発明は上記の点に鑑みてなされたものであり、テクスチャ画像を高い能率で符号化又は復号できる画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化する画像符号化装置において、過去に符号化したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックと、前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を前記画面記憶部から読み出した参照画像のブロックに基づいて決定する動き領域決定部と、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックを前記コードブックから読み出すパターン決定部と、前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める動き領域予測部とを備えることを特徴とする画像符号化装置である。

（２）本発明のその他の態様は、前記動き領域と、前記読み出したパターンブロックの前記第１の信号値をとる画素の分布に基づき、動き領域予測を行うか否かを決定する動き予測決定部を備えることを特徴とする（１）の画像符号化装置である。

（３）本発明のその他の態様は、前記動き領域予測信号と前記テクスチャ画像のブロックに含まれる画素の信号値に基づく残差信号を、対応する画素が2次元の矩形となるように空間的に配列して2次元残差信号を生成する配列部と、前記2次元残差信号を周波数領域に変換して周波数領域信号を生成する周波数領域変換部と、前記周波数領域信号を圧縮符号化して圧縮残差信号を生成する可変長符号化部とを備えることを特徴とする（１）の画像符号化装置である。

（４）本発明のその他の態様は、前記パターン決定部は、前記距離画像のブロックに含まれる画素毎の深度値が予め設定された閾値を超える画素の分布と前記第１の信号値をとる画素の分布に基づき、前記パターンブロックを読み出すことを特徴とする（１）の画像符号化装置である。

（５）本発明のその他の態様は、過去に符号化したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化する画像符号化装置における画像符号化方法において、前記画像符号化装置は、前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を前記画面記憶部から読み出した参照画像のブロックに基づいて決定する第１の過程と、前記画像符号化装置は、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックを前記コードブックから読み出す第２の過程と、前記画像符号化装置は、前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める第３の過程とを有することを特徴とする画像符号化方法である。

（６）本発明のその他の態様は、過去に符号化したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化する画像符号化装置が備えるコンピュータに、前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を前記画面記憶部から読み出した参照画像のブロックに基づいて決定する手順、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックを前記コードブックから読み出す手順、前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める手順を実行させるための画像符号化プログラムである。

（７）本発明のその他の態様は、画素毎の輝度値からなるテクスチャ画像をブロック毎に復号する画像復号装置において、過去に復号したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックと、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンブロックを前記コードブックから読み出すパターン決定部と、入力された動きベクトル符号に対応する参照画像のブロックを前記画面記憶部から読み出し、前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める動き領域予測部とを備えることを特徴とする画像復号装置である。

（８）本発明のその他の態様は、圧縮残差信号を復号して周波数領域信号を生成する可変長復号部と、前記周波数領域信号を空間領域に変換して２次元残差信号を生成する空間領域変換部と、前記2次元残差信号に含まれる画素毎の信号値を、当該画素に各々対応する画素であって前記読み出したパターンブロックの前記第1の信号値をとる画素に配列して残差信号を生成する逆配列部とを備えることを特徴とする（７）の画像復号装置である。
を定める手順
を実行させるための画像復号プログラム。

（９）本発明のその他の態様は、前記パターン決定部は、前記距離画像のブロックに含まれる画素毎の深度値が予め設定された閾値を超える画素の分布と前記第１の信号値をとる画素の分布に基づき、前記パターンブロックを読み出すことを特徴とする（７）の画像復号装置である。

（１０）本発明のその他の態様は、過去に復号したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックとを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に復号する画像復号装置における画像復号方法において、前記画像復号装置が、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンブロックを前記コードブックから読み出す第１の過程と、前記画像復号装置が、入力された動きベクトル符号に対応する参照画像のブロックを前記画面記憶部から読み出し、前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める第２の過程とを有することを特徴とする画像復号方法である。

（１１）本発明のその他の態様は、過去に復号したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックとを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に復号する画像復号装置が備えるコンピュータに、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンブロックを前記コードブックから読み出す手順、入力された動きベクトル符号に対応する参照画像のブロックを前記画面記憶部から読み出し、前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める手順を実行させるための画像復号プログラムである。

本発明によれば、テクスチャ画像を高い能率で符号化又は復号できる。

本実施形態に係る３次元画像撮影システムを示す概略図である。 本実施形態に係る画像符号化装置の構成を示す概略図である。 本実施形態に係るパターンブロックの一例を示す概念図である。 本実施形態に係る配列パターンの一例を示す図である。 本実施形態における配列前後の画素の座標の一例を示す概念図である。 本実施形態における配列前後の画素の座標のその他の例を示す概念図である。 本実施形態に係るパターンブロックのその他の例を示す概念図である。 本実施形態に係る配列パターンのその他の例を示す図である。 本実施形態における配列前後の画素の座標のその他の例を示す概念図である。 本実施形態における配列前後の画素の座標のその他の例を示す概念図である。 本実施形態における配列先ブロックのその他の例を示す図である。 本実施形態に係る型判定部の構成を示す概略図である。 本実施形態に係る画像符号化装置が行う画像符号化処理を示すフローチャートである。 本実施形態に係る型判定部が行う型判定処理を示すフローチャートである。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係る画像復号装置が行う画像復号処理を示すフローチャートである。 本実施形態に係るテクスチャ画像の一例を示す概念図である。 本実施形態に係る参照画像の一例を示す概念図である。 本実施形態に係る動き領域情報の一例を示す概念図である。 本実施形態に係る距離画像の一例を示す概念図である。 本実施形態に係る距離画像ブロックの一例を示す概念図である。 本実施形態に係るテクスチャ画像のその他の例を示す概念図である。 本実施形態に係る参照画像のその他の例を示す概念図である。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る３次元画像撮影システムを示す概略図である。
この画像撮影システムは、撮影装置３１、撮影装置３２、画像前置処理部４１及び画像符号化装置１を含んで構成される。
撮影装置３１及び撮影装置３２は、互いに異なる位置（視点）に設置され同一の視野に含まれる被写体の画像を予め定めた時間間隔で撮影する。撮影装置３１及び撮影装置３２は、撮影した画像をそれぞれ画像前置処理部４１に出力する。

画像前置処理部４１は、撮影装置３１及び撮影装置３２のいずれか一方、例えば撮影装置３１から入力された画像をテクスチャ画像と定める。画像前置処理部４１は、テクスチャ画像と、その他の撮影装置３２から入力された画像との視差を画素毎に算出し、算出した視差に基づき距離画像を生成する。距離画像では、画素毎に、視点から被写体までの距離を表す深度値が定められている。例えば、国際標準化機構／国際電機標準会議（ＩＳＯ／ＩＥＣ）のワーキンググループであるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が定めた国際規格ＭＰＥＣ−Ｃ ｐａｒｔ３では、深度値を８ビット（２５６階層）で表すことを規定している。即ち、距離画像は、画素ごとの深度値を用いて濃淡を表す。また、視点から被写体までの距離が近いほど、深度値がより大きくなるため、より高い輝度の（より明るい）画像を構成する。
画像前置処理部４１は、テクスチャ画像と生成した距離画像を画像符号化装置１に出力する。

なお、本実施形態では、画像撮影システムが備える撮影装置の数は２台に限らず、３台以上であってもよい。また、画像符号化装置１が入力されるテクスチャ画像及び距離画像は、撮影装置３１及び撮影装置３２が撮影した画像に基づくものでなくともよく、予め合成された画像であってもよい。

図２は、本実施形態に係る画像符号化装置１の構成を示す概略図である。
画像符号化装置１は、テクスチャ画像入力部１００、画面記憶部１０１、コードブック１０２、型判定部１０３、スイッチ１０４１、スイッチ１０４２、スイッチ１０４３、スイッチ１０４４、動き予測部１０５、動き領域予測部１０６、画面内予測部１０７、減算部１０８、配列部１０９、符号化制御部１１０、ＤＣＴ部１１１、逆ＤＣＴ部１１２、逆配列部１１３、加算部１１４、可変長符号化部１１５及び距離画像符号化部１２を含んで構成される。

テクスチャ画像入力部１００は、画像符号化装置１の外部からテクスチャ画像をフレーム毎に入力され、入力されたテクスチャ画像からブロック（テクスチャ画像ブロック）を抽出する。
テクスチャ画像入力部１００は、抽出したテクスチャ画像ブロックを型判定部１０３、動き予測部１０５、動き領域予測部１０６、画面内予測部１０７、減算部１０８及び符号化制御部１１０に出力する。
テクスチャ画像ブロックは、予め定めた数の画素（例えば、水平方向１６画素×垂直方向１６画素）からなる。

テクスチャ画像入力部１００は、ラスタースキャンの順序でテクスチャ画像ブロックを抽出するブロックの位置を、各ブロックが重ならないようにシフトさせる。即ち、テクスチャ画像入力部１００は、テクスチャ画像ブロックを抽出するブロックをフレームの左上端から順次水平方向の画素数だけ右に移動させる。テクスチャ画像入力部１００は、テクスチャ画像ブロックを抽出するブロックの右端がフレームの右端に達した後、そのブロックを垂直方向の画素数だけ下で、かつフレームの左端に移動させる。テクスチャ画像入力部１００は、このようにしてテクスチャ画像ブロックを抽出するブロックがフレームの右下に達するまで移動させる。

画面記憶部１０１は、加算部１１４から入力された参照画像ブロックを、対応するフレームにおけるそのブロックの位置に配置して参照画像として記憶する。この参照画像ブロックは、過去にテクスチャ画像ブロックを符号化した画像ブロックである。このように参照画像ブロックを配置して構成したフレームの画像信号を参照画像と呼ぶ。画面記憶部１０１は、現在から予め設定されたフレーム数（例えば５フレーム）過去のフレームの参照画像を記憶し、それ以前の過去のフレームの参照画像を削除する。
コードブック１０２は、複数のパターンブロックと、配列パターンを各パターンブロックに対応づけて記憶する。

パターンブロックとは、それぞれテクスチャ画像ブロックと同じ数の画素を含むデータブロックであって、その画素の一部の画素に対応する信号値は予め定めた第1の信号値（例えば１）であり、その他の画素に対応する信号値は、信号値１とは異なる値（例えば０）である。コードブック１０２に記憶されるパターンブロックは、互いに信号値１又は信号値０が占める画素の領域が異なる。
図３は、本実施形態に係るパターンブロックの一例を示す概念図である。
図３は、８個のパターンブロック３０１〜３０８を示す。各パターンブロックにおいて、２５６画素（水平方向１６画素×垂直方向１６画素）を含み、白抜きの部分は信号値１を示す画素（６４画素）が占める部分を示し、塗りつぶしの部分は信号値０を示す画素（１９２画素）が占める部分を示す。

パターンブロック３０１において、最左列から左側４列目までの画素は信号値１をとり、最右列から右側１２列の画素は信号値０をとる画素である。パターンブロック３０２において、最左列から左側１２列目までの画素は信号値０をとり、最右列から右側４列目までの画素は信号値１をとる。パターンブロック３０３において、最上行から上側４行目までの画素は信号値１をとり、最下行から１２行までの画素は信号値０をとる。パターンブロック３０４において、最上行から上側１２行の画素は信号値０をとり、最下行から下４行の画素は信号値１をとる。
パターンブロック３０５において、左下端から８行目から右下端を横切る線より下側の画素は信号値１をとり、その線より上側の画素は信号値０をとる。パターンブロック３０６において、左下端から右下端から８行目を横切る線より下側の画素は信号値１をとり、その線より上側の画素は信号値０をとる。パターンブロック３０７において、左上端から８列目より左下端を横切る線より左側の画素は信号値１をとり、その線より右側の画素は信号値０をとる。パターンブロック３０８において、右上端から８列目より右下端を横切る線より右の画素は信号値１をとり、その線より左の画素は信号値０をとる。

配列パターンとは、各パターンブロックに含まれる信号値１をとる各画素の配列前の座標と配列部１０９が配列する配列後の座標を対応付け、配列前の座標を読み取る順に記憶するデータパターンである。
図４は、本実施形態に係る配列パターンの一例を示す図である。
図４において、最左列の各行はパターンブロックを示す。図４の最左列の第２行はパターンブロック３０１を示し、その後にパターンブロック３０５を示す。図４の最上行のｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４は、配列部１０９がその配列前の座標の画素を読み取る順序を示す。各パターンブロックに対応する２つの行のうち、上の行が、各パターンブロックが含む信号値１をとる画素の配列前の座標を示し、下の行が、配列後の座標を示す。
図４のパターンブロック３０１において、配列部１０９は、座標（１、１）、（２、１）、（３、１）…（２、１６）、（１，１６）の順で画素を読み出し、これらの座標が配列後の座標（１、１）、（２、１）、（３、１）…（２、８）、（１、８）に各々対応することを示す。
図４のパターンブロック３０１において、配列部１０９は、座標（１６、１６）、（１５、１６）、（１５、１５）…（２、８）、（１，８）の順で画素を読み出し、これらの座標が配列後の座標（１、１）、（２、１）、（３、１）…（２、８）、（１、８）に各々対応することを示す。

図５は、本実施形態における配列前後の画素の座標の一例を示す概念図である。
図５の左側はパターンブロック３０１を示す。パターンブロック３０１の左上端から順次空間的に隣り合う画素を通り、左下端に向かう破線の矢印は、配列部１０９が配列前の座標の画素を読み取る順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４を示す。読み取る画素の順序を順次空間的に隣り合う画素とすることで、画素毎の空間的な変動の少ない成分を維持することができる。
図５の右側は配列先となる配列先ブロックを示す。この例では、配列先ブロックは、６４画素（水平方向８画素×垂直方向８画素）を含む。配列先ブロックの左上端から順次空間的に隣り合う画素を通り、左下端に向かう破線の矢印は、配列部１０９が読み取った画素毎に配置後の座標を配置する順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４を示す。配列先ブロックにおいて水平方向と垂直方向とで画素数を等しくすることで、後述するＤＣＴ処理を行って得られる周波数領域信号の空間周波数の精度を水平方向と垂直方向で等しくすることができる。また、配列先ブロックでも、配列後の画素を順次空間的に隣り合う画素とすることで、画素毎の空間的な変動の少ない成分を維持することができる。

図６は、本実施形態における配列前後の画素の座標のその他の例を示す概念図である。
図６の左側はパターンブロック３０９を示す。パターンブロック３０９の右下端から順次空間的に隣り合う画素を通り、左下端に向かう破線の矢印は、配列部１０９が配列前の座標の画素を読み取る順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４を示す。
図６の右側は配列先となる配列先ブロック（６４画素、水平方向８画素×垂直方向８画素）を示す。配列先ブロックの左上端から順次空間的に隣り合う画素を通り、左下端に向かう破線の矢印は、配列部１０９が配列前の座標の画素を配列後の座標に配列する順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４を示す。

１個のパターンブロックに含まれる信号値１をとる画素数は、６４個に限られず、その個数よりも多くても少なくてもよい。例えば、ある整数ｂ（ｂは２又は２よりも大きい）の二乗値ｂ^２の整数ａ倍であってもよい。
図７は、本実施形態に係るパターンブロックのその他の例を示す概念図である。
図７は、８個のパターンブロック３２１〜３２４、３３１〜３３４を示す。各パターンブロックにおいて、２５６画素（水平方向１６画素×垂直方向１６画素）を含み、白抜きの部分は信号値１を示す画素が占める部分を示し、塗りつぶしの部分は信号値０を示す画素が占める部分を示す。パターンブロック３２１〜３２４において、各々信号値１をとる画素の数は１２８個（２×８^２個）である。パターンブロック３３１〜３３４において、各々信号値１をとる画素の数は１９２個（３×８^２個）である。

パターンブロック３２１において、最左列から左側８列の画素は信号値１をとり、最右列から右側８列の画素は信号値０をとる画素である。パターンブロック３０２において、最左列から左側８列の画素は信号値０をとり、最右列から右側８列の画素は信号値１をとる。パターンブロック３０３において、最上行から上側８行の画素は信号値１をとり、最下行から下側８行の画素は信号値０をとる。パターンブロック３０４において、最上行から上側８行の画素は信号値０をとり、最下行から下側８行の画素は信号値１をとる。
パターンブロック３３１において、最左列から左側１２列の画素は信号値１をとり、最右列から右側４列の画素は信号値０をとる画素である。パターンブロック３３２において、最左列から左側４列の画素は信号値０をとり、最右列から右側１２列の画素は信号値１をとる。パターンブロック３３３において、最上行から上側１２行の画素は信号値１をとり、最下行から下側４行の画素は信号値０をとる。パターンブロック３３４において、最上行から上側４行の画素は信号値０をとり、最下行から下側１２行の画素は信号値１をとる。

このように、信号値１をとる画素数が、整数値８の二乗値の整数倍の場合には、配列先ブロックとして水平方向の画素数と垂直方向の画素数が等しい配列先ブロックを、複数個用いてもよい。従って、配列パターンは、パターンブロックに含まれる信号値１をとる 画素の配列前の座標の座標に対応して、配列先の座標の他、配列先の配列先ブロックを示す情報を含む。
図８は、本実施形態に係る配列パターンのその他の例を示す図である。
図８において、最左列の各行はパターンブロックを示す。図８の最左列の第２行はパターンブロック３２１を示し、その後にパターンブロック３３１を示す。図８の最上行のｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４、ｑ_６５、ｑ_６６、…ｑ_１２７、ｑ_１２８、ｑ_１２９、ｑ_１３０、…ｑ_１９１、ｑ_１９２は、配列部１０９がその配列前の座標の画素を読み取る順序を示す。各パターンブロックに対応する２つの行のうち、上の行が、各パターンブロックが含む信号値１をとる画素の配列前の座標を示し、下の行が、配列後の配列先ブロックと座標を示す。例えば、１、１、１とは、配列先ブロック１の座標（１、１）を示す。−印は該当するデータが存在しないことを示す。

図８のパターンブロック３２１において、配列部１０９は、座標（１、１）、（２、１）、（３、１）…（２、８）、（１、８）、（１、９）、（２、９）…（２、１６）、（１、１６）の順で画素を読み出し、これらの配列前の座標に、各々配列先ブロック１の（１、１）、（２、１）、（３、１）…（２、８）、（１、８）、配列先ブロック２の（１、１）、（１、２）…（２、８）、（１、８）に配列後の配列先ブロック及び座標が対応することを示す。
図８のパターンブロック３３１において、配列部１０９は、座標（１、１）、（２、１）、（３、１）…（６、１０）、（６、９）、（６、８）、（６、７）…（１１、７）、（１１、８）、（１１、９）、（１１、１０）…（１６、２）、（１６、１）の順で画素を読み出し、これらの配列前の座標に、各々配列先ブロック１の（１、１）、（２、１）、（３、１）…（２、８）、（１、８）、配列先ブロック２の（１、１）、（１、２）…（２、８）、（１、８）、配列先ブロック３の（１、１）、（１、２）…（２、８）、（１、８）に配列後の配列先ブロック及び座標が対応することを示す。

図９は、本実施形態における配列前後の画素の座標のその他の例を示す概念図である。
図９の左側はパターンブロック３２１を示す。パターンブロック３２１の左上端から順次空間的に隣り合う画素を通り、左下端に向かう破線の矢印は、配列部１０９が配列前の座標の画素を読み取る順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４、ｑ_６５、ｑ_６６、…ｑ_１２７、ｑ_１２８を示す。図９の右上及び右下は配列先となる配列先ブロック４２１をそれぞれ示す。この例では、各配列先ブロックは、６４画素（水平方向８画素×垂直方向８画素）を含む。各配列先ブロックの左上端から順次空間的に隣り合う画素を通って左下端に向かい、次の配列先ブロックに進む破線の矢印は、配列部１０９が読み取った画素を配置後の座標に配置する順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４、ｑ_６５、ｑ_６６、…ｑ_１２７、ｑ_１２８を示す。 各配列先ブロックにおいて水平方向と垂直方向とで画素数を等しくすることで、後述するＤＣＴ処理を行って得られる周波数領域信号の空間周波数の精度を水平方向と垂直方向で等しくすることができる。

図１０は、本実施形態における配列前後の画素の座標のその他の例を示す概念図である。
図１０の左側はパターンブロック３３１を示す。パターンブロック３３１の左上端から順次空間的に隣り合う画素を通り、右下端に向かう破線の矢印は、配列部１０９が配列前の座標の画素を読み取る順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４、ｑ_６５、ｑ_６６、…ｑ_１２７、ｑ_１２８、ｑ_１２９、ｑ_１３０、…ｑ_１９１、ｑ_１９２を示す。
図１０の右上、右中央及び右下は配列先となる配列先ブロック４３１をそれぞれ示す。この例では、各配列先ブロックは、６４画素（水平方向８画素×垂直方向８画素）を含む。各配列先ブロックの左上端から順次空間的に隣り合う画素を通り、左下端に向かう破線の矢印は、配列部１０９が読み取った座標の画素を配列後の座標に配列する順序ｑ_１、ｑ_２、ｑ_３、…ｑ_６３、ｑ_６４、ｑ_６５、ｑ_６６、…ｑ_１２７、ｑ_１２８、ｑ_１２９、ｑ_１３０、…ｑ_１９１、ｑ_１９２を示す。

図５、６、９及び１０に示す例では、読み取った座標の画素を配列先ブロックにおいて配列後の座標に配列する順序は全体として順次空間的に隣り合っているが、本実施形態ではこれに限られない。例えば、その配列する順序は、配列先ブロックを構成するサブブロック単位で隣り合っていてもよい。
図１１は、本実施形態における配列先ブロックのその他の例を示す図である。
図１１の左上は配列先ブロック４０２を示し、図１１の右上は配列先ブロック４０３を示し、図１１の左下は配列先ブロック４０４を示し、図１１の右下は配列先ブロック４０５を示す。配列先ブロック４０２−４０５は、各々６４画素（水平方向８画素×垂直方向８画素）を含む。

配列先ブロック４０２において、左上端から右下端に向かう破線の矢印は、配列部１０９が読み取った座標の画素を配列後の座標に配列する順序ｑ_１、ｑ_２、ｑ_３、ｑ_４、ｑ_５、…ｑ_１５、ｑ_１６、ｑ_１７、ｑ_１８、…ｑ_６４を示す。この矢印は、当初配列先のブロック４０２の左上端から順次右隣の画素に進み第４列に達した後、次行の同じ列に進み、順次左隣の画素に進む。最左列に達した後、再度順次右隣の画素に進む。そして、第４行の第４列に達した後、最上行の第５列に進み、順次右隣の画素に進む。即ち、配列先ブロック４０２において、配列後の順序は、水平方向４画素×垂直方向４画素からなるサブブロック単位で隣り合う。
配列先ブロック４０３において、左上端から右下端に向かう破線の矢印は、配列部１０９が読み取った座標の画素を配列後の座標に配列する順序ｑ_１、ｑ_２、ｑ_３、ｑ_４、ｑ_５、…ｑ_６４を示す。この矢印は、当初配列先のブロック４０３の左上端から右隣の第２列に達した後、次行の最左列に進み、その後左隣に進む。その後、最上行の第３列に進み、再度順次右隣の画素に進む。即ち、配列先ブロック４０３において、配列後の順序は、水平方向２画素×垂直方向２画素からなるサブブロック単位で隣り合う。

配列先ブロック４０４において、左上端から最下行右から第４列目の画素に向かう破線の矢印は、配列部１０９が読み取った座標の画素を配列後の座標に配列する順序ｑ_１、ｑ_２、ｑ_３、ｑ_４、ｑ_５、ｑ_６、…ｑ_３１、ｑ_３２、ｑ_３３、ｑ_３４、…ｑ_６４を示す。この矢印は、当初配列先のブロック４０２の左上端から順次右隣の画素に進み第４列に達した後、次行の同じ列に進み、順次左隣の画素に進む。最左列に達した後、次行の同じ列に進み、再度順次右隣の画素に進む。そして、ブロックの左下端に達した後、最上行の第５列に進み、順次左隣の画素に進む。即ち、配列先ブロック４０２において、配列後の座標に配列する順序は、水平方向４画素×垂直方向８画素からなるサブブロック単位で隣り合う。
配列先ブロック４０５において、左上端から最下行右から第２列目の画素に向かう破線の矢印は、配列部１０９が読み取った座標の画素を配列後の座標に配列する順序ｑ_１、ｑ_２、ｑ_３、ｑ_４、…ｑ_１５、ｑ_１６、ｑ_１７、ｑ_１８、…ｑ_６４を示す。この矢印は、当初配列先のブロック４０３の左上端から右隣の第２列に達した後、次行の同じ列に進み、左隣の画素に進む。そして、ブロックの左下端に達した後、最上行の第３列に進み、右隣の画素に進む。即ち、配列先ブロック４０３において、配列後の座標に配列する順序は、水平方向２画素×垂直方向８画素からなるサブブロック単位で隣り合う。

図２に戻り、型判定部１０３は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、距離画像符号化部１２から距離画像ブロックを入力される。入力された距離画像ブロックのフレーム及び座標は、入力されたテクスチャ画像ブロックと同一である。
型判定部１０３は、入力されたテクスチャ画像ブロックに対応する参照画像ブロックをさらに画面記憶部１０１から読み出し、入力された距離画像ブロックに対応するパターンブロックを読み出す。
型判定部１０３は、入力されたテクスチャ画像ブロック、読み出した参照画像ブロック及び読み出したパターンブロックに基づき、そのテクスチャ画像ブロックにおける動き領域信号を算出する。
型判定部１０３は、算出した動き領域信号と読み出したパターンブロックと照合し、照合したパターンブロックを動き領域予測部１０６に出力する。型判定部１０３は、照合したパターンブロックを示すパターンブロック信号を配列部１０９及び逆配列部１１３に出力する。
型判定部１０３は、入力されたテクスチャ画像ブロック、距離画像ブロック、読み出した参照画像ブロック及びパターンブロックに基づき、そのテクスチャ画像の型を判定する。
型判定部１０３は、判定した型を示す型信号をスイッチ１０４１、スイッチ１０４２、スイッチ１０４３及び可変長符号化部１１５に出力する。

ここで、型判定部１０３の構成及び機能について説明する。
図１２は、本実施形態に係る型判定部１０３の構成を示す概略図である。
型判定部１０３は、動き領域決定部１０３１、パターン決定部１０３２及び動き予測決定部１０３３を含んで構成される。
動き領域決定部１０３１は、テクスチャ画像入力部１００から入力されたテクスチャ画像ブロックにおいて、画面記憶部１０１から読み出した参照画像ブロックに基づいて、動き領域を決定する。
動き領域とは、時間経過により画像が表示される位置が変化する領域である。動き領域決定部１０３１は、動き領域を、テクスチャ画像ブロックに含まれる座標（ｘ，ｙ）における画素の輝度値Ｃ（ｘ，ｙ）と参照画像ブロックに含まれる対応する座標（ｘ，ｙ）における画素の輝度値Ｒ（ｘ，ｙ）に基づいて座標（ｘ，ｙ）が動き領域か否かを判定する。ここで、動き領域決定部１０３１は、例えば輝度値Ｃ（ｘ，ｙ）と輝度値Ｒ（ｘ，ｙ）との差分の絶対値に基づき、動き領域情報Ｍ（ｘ，ｙ）を、式（１）を用いて算出する。

式（１）において、Ｂはクロージング処理を示す３行×３列の行列である。クロージング処理とは、画像信号に対して膨張処理を行い、生成された信号に対して収縮処理を行う処理である。膨張処理とは、注目画素に隣接する画素の輝度値のうち最大となる輝度値を、注目画素の輝度値と定める処理である。収縮処理とは、注目画素に隣接する画素の輝度値のうち最小となる輝度値を、注目画素の輝度値と定める処理である。従って、クロージング処理は、テクスチャ画像ブロック及び参照画像ブロックのうち画素間隔と同程度の空間周波数の成分である微細構造を除去して、その信号値を平滑化する。
式（１）において、Ｔ（ν）は、νが予め設定された閾値、例えば２よりも大きい場合１を与え、νが予め設定された閾値と等しい又は小さい場合０を与える関数である。|…|は、…の絶対値を示す。即ち、動き領域情報Ｍ（ｘ，ｙ）は、座標における画素が動き領域であるか否かを示す。
動き領域決定部１０３１が参照画像ブロックを読み出す参照画像であって、画面記憶部１０１に記憶されている参照画像は、符号化対象のフレームよりも過去のフレーム（例えば、１フレーム過去）の参照画像である。

次に、動き領域決定部１０３１は、参照画像ブロックに含まれる動き領域の大きさ（画素数）が、予め設定された閾値Ｔ_ＳＭＢよりも小さいか否か判断する。閾値Ｔ_ＳＭＢは、参照画像ブロックに含まれる画素数が２５６個の場合、例えば８である。
動き領域決定部１０３１は、その動き領域の大きさが閾値Ｔ_ＳＭＢよりも小さいと判断したとき、そのテクスチャ画像ブロックの型をＳＭＢ（Ｓｔａｔｉｃ Ｍａｃｒｏｂｒｏｃｋ；静的マクロブロック）と判定する。このとき、動き領域決定部１０３１は、テクスチャ画像ブロックの型がＳＭＢであることを示す型信号を動き予測決定部１０３３に出力する。
動き領域決定部１０３１は、その動き領域の大きさが閾値Ｔ_ＳＭＢと等しい又は、閾値Ｔ_ＳＭＢより大きいと判断したとき、そのテクスチャ画像ブロックの型が非ＳＭＢと判定する。このとき、動き領域決定部１０３１は、テクスチャ画像ブロックの型が非ＳＭＢであることを示す型信号をパターン決定部１０３２に出力する。また、動き領域決定部１０３１は、動き領域情報を動き予測決定部１０３３に出力する。

パターン決定部１０３２は、動き領域決定部１０３１からテクスチャ画像の非ＳＭＢであることを示す型信号を入力され、距離画像符号化部１２から距離画像ブロックを入力される。パターン決定部１０３２は、読み出したパターンブロックのうち、入力された距離画像ブロックに対応するパターンブロックを決定する。
ここで、パターン決定部１０３２は、距離画像ブロックに含まれる座標（ｘ，ｙ）毎の距離値Ｖ（ｘ，ｙ）を、例えば式（２）を用いて二値化し、二値化距離パターンＮ（ｘ，ｙ）を算出する。

式（２）において、Ｕ（ν）は、νが予め設定した閾値（例えば０）より大きい場合に１を与え、νがその閾値又はその閾値よりも小さい場合に０を与える。ｍｉｎ（Ｖ（ｘ，ｙ））は、距離画像ブロックに含まれる距離値の最小値である。
即ち、パターン決定部１０３２は、二値化距離パターンＮ（ｘ，ｙ）を、その閾値よりも距離値が大きい座標における値を１と決定し、その閾値と距離値が等しい又は距離値が小さい座標における値を０と決定する。
パターン決定部１０３２は、コードブック１０２に記憶されたパターンブロックから二値化距離パターンＮ（ｘ，ｙ）に最も近似するパターンブロックを選択する。パターン決定部１０３２は、最も近似するパターンブロックを選択する際、パターンブロックｎ毎に例えば式（３）に示す指標値Ｄ_ｎを算出する。

式（３）において、最初の和の記号における数値１６は、この例におけるパターンブロックの水平方向の画素数である。後の和の記号における数値１６は、この例におけるパターンブロックの垂直方向の画素数である。Ｐ_ｎ（ｘ，ｙ）は、パターンブロックｎの各座標（ｘ，ｙ）における信号値を示す。この例では、Ｐ_ｎ（ｘ，ｙ）は、第１の信号値として１、とその他の信号値として０のいずれかである。
そして、パターン決定部１０３２は、指標値Ｄ_ｎを最小とするパターンブロックｎを選択する。二値化距離パターンＮ（ｘ，ｙ）も、各座標（ｘ，ｙ）における信号値が１又は０をとるため、パターン決定部１０３２は、指標値Ｄ_ｎを最小とするパターンブロックｎを複数個選択する場合がある。そのような場合には、例えば、選択された複数個のパターンブロックの中から最も番号が小さい（又は大きい）パターンブロックを１個選択する。

パターン決定部１０３２は、指標値Ｄ_ｎの最小値が予め設定された閾値σ_ｄよりも小さいか否か判断する。閾値σ_ｄは、参照画像ブロックに含まれる画素数が２５６個の場合、例えば６４である。
パターン決定部１０３２は、指標値Ｄ_ｎの最小値が予め設定された閾値σ_ｎよりも小さいと判断した場合、テクスチャ画像ブロックの型をＡＭＢ（Ａｃｔｉｖｅ Ｍａｃｒｏｂｒｏｃｋ；活性マクロブロック）と判定する。パターン決定部１０３２は、テクスチャ画像ブロックの型がＡＭＢであることを示す型信号を動き予測決定部１０３３に出力する。
パターン決定部１０３２は、指標値Ｄ_ｎの最小値が予め設定された閾値σ_ｄと等しい又は閾値σ_ｄより大きいと判断した場合、選択したパターンブロックＰ_ｎ（ｘ，ｙ）とそのパターンブロックを示すパターンブロック信号を動き予測決定部１０３３に出力する。

動き予測決定部１０３３は、動き領域決定部１０３１からテクスチャ画像ブロックの型がＳＭＢであることを示す型信号又は動き領域情報Ｍ（ｘ，ｙ）を入力される。動き予測決定部１０３３は、動き予測決定部１０３３からテクスチャ画像ブロックの型がＡＭＢであることを示す型信号又は選択したパターンブロックＰ_ｎ（ｘ，ｙ）並びにパターンブロック信号を入力される。
動き予測決定部１０３３は、入力された動き領域情報Ｍ（ｘ，ｙ）と選択したパターンブロックＰ_ｎ（ｘ，ｙ）が類似しているか否かを判断する。動き予測決定部１０３３は、この判断を行う際、例えば式（４）に示す指標値Ｅを算出する。

式（４）において、最初の和の記号における数値１６は、この例におけるパターンブロックの水平方向の画素数である。後の和の記号における数値１６は、この例におけるパターンブロックの垂直方向の画素数である。
ここで、動き予測決定部１０３３は、算出した指標値Ｅが予め設定した閾値σ_ｅよりも小さいか否か判断する。閾値σ_ｅは、参照画像ブロックに含まれる画素数が２５６個の場合、例えば１６である。
動き予測決定部１０３３は、動き領域情報Ｍ（ｘ，ｙ）とパターンブロックＰ_ｎ（ｘ，ｙ）が類似する、つまり算出した指標値Ｅが予め設定した閾値σ_ｅよりも小さいと判断したとき、テクスチャ画像ブロックの型がＲＭＢ（Ａｃｔｉｖｅ−Ｒｅｇｉｏｎ Ｍａｃｒｏｂｒｏｃｋ；動き領域マクロブロック）と判定する。即ち、選択したパターンブロックが信号値１をとる領域と動き領域が近似する状態であることを示す。このとき、動き予測決定部１０３３は、選択したパターンブロックを動き領域予測部１０６に出力する。また、動き予測決定部１０３３は、入力されたパターンブロック信号を配列部１０９及び逆配列部１１３に出力する。
動き予測決定部１０３３は、動き領域情報Ｍ（ｘ，ｙ）とパターンブロックＰ_ｎ（ｘ，ｙ）が類似しない、つまり算出した指標値Ｅが予め設定した閾値σ_ｅと等しい、又は閾値σ_ｅよりも大きいと判断したとき、テクスチャ画像ブロックの型がＡＭＢと判定する。
動き予測決定部１０３３は、テクスチャ画像ブロックの型を示す型信号をスイッチ１０４１、スイッチ１０４２、スイッチ１０４３及び可変長符号部１１５に出力する。

スイッチ１０４３は、型判定部１０３から入力された型信号がＲＭＢを示す場合、スイッチを接点ａに倒し、画面記憶部１０１から動き領域予測部１０６に参照信号ブロックを読み出せる状態にする。スイッチ１０４３は、型判定部１０３から入力された型信号がＡＭＢ又はＳＭＢを示す場合、スイッチを接点ｂに倒し、画面記憶部１０１から動き予測部１０５に参照信号ブロックを読み出せる状態にする。

図２に戻り、動き予測部１０５は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、画面記憶部１０１から参照画像を構成する参照画像ブロックを読み出す。動き予測部１０５は、入力された距離画像ブロックの座標と対応する参照画像ブロックとの座標との差分を動きベクトルとして検出する。動き予測部１０５は、動きベクトルを検出するために、例えばＩＴＵ−Ｔ Ｈ．２６４規格書に記載されている方法を用いる。

動き予測部１０５は、画面記憶部１０１に記憶されている過去の参照画像のフレームから参照画像ブロックを読み出す位置を、テクスチャ画像ブロックの位置から予め設定した範囲内において水平方向又は垂直方向に１画素ずつ移動させる。動き予測部１０５は、テクスチャ画像ブロックに含まれる画素毎の信号値と読み出した参照画像ブロックに含まれる画素毎の信号との類似性を示す指標値、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；絶対値和）を算出する。ＳＡＤの値が小さいほど、テクスチャ画像ブロックに含まれる画素毎の信号値と読み出した参照画像ブロックに含まれる画素毎の信号値とが類似するという関係がある。そこで、動き予測部１０５は、ＳＡＤを最小とする参照画像ブロックを、テクスチャ画像ブロックと対応する参照画像ブロックと定める。動き予測部１０５は、入力されたテクスチャ画像ブロックの座標と定めた参照画像ブロックの座標に基づき動きベクトルを算出する。

動き予測部１０５は、定めた参照画像ブロックに基づき動き予測を行い、動き予測画像ブロックを生成する。動き予測部１０５は、動き予測において、例えば、定めた参照画像ブロックの座標をテクスチャ画像ブロックの座標に合わせることによって動き予測画像ブロックを生成する。
動き予測部１０５は、生成した動き予測画像ブロックをスイッチ１０４４と符号化制御部１１０に出力し、動きベクトルを示す動きベクトル信号を符号化制御部１１０に出力する。

動き領域予測部１０６は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、型判定部１０３からパターンブロックを入力される。動き領域予測部１０６は、入力されたテクスチャ画像ブロックのうちパターンブロックにおいて信号値１をとる画素の信号値をテクスチャ画像パターンとして抽出する。
動き領域予測部１０６は、画面記憶部１０１から参照画像を構成する参照画像ブロックを読み出す。ここで、動き領域予測部１０６は、画面記憶部１０１に記憶されている過去の参照画像のフレームから参照画像ブロックを読み出す位置を、テクスチャ画像ブロックの位置から予め設定した範囲内において水平方向又は垂直方向に１画素ずつ移動させる。動き領域予測部１０６は、読み出した参照画像ブロックのうちパターンブロックにおいて信号値１をとる画素の信号値を参照画像パターンとして抽出する。動き領域予測部１０６は、入力されたテクスチャ画像パターンの座標と対応する参照画像パターンとの座標との差分を動きベクトルとして検出する。

ここで、動き領域予測部１０６は、テクスチャ画像パターンに含まれる画素毎の信号値と参照画像パターンに含まれる画素毎の信号との類似性を示す指標値、例えば、ＳＡＤを算出する。動き領域予測部１０６は、ＳＡＤを最小とする参照画像パターンを、テクスチャ画像パターンと対応する参照画像パターンと定める。動き領域予測部１０６は、テクスチャ画像パターンの座標と定めた参照画像パターンの座標に基づき動きベクトルを算出する。

動き領域予測部１０６は、定めた参照画像パターンに基づき動き予測を行い、動き領域予測画像パターンを生成する。動き領域予測部１０６は、動き予測において、例えば、定めた参照画像パターンの座標をテクスチャ画像パターンの座標に合わせることによって動き領域予測画像パターンを生成する。動き領域予測部１０６は、ブロック全体の画素における輝度値を０としたゼロ画像ブロックに生成した動き領域予測画像パターンの各画素の輝度値を加算することによりゼロ信号を挿入して動き領域予測画像ブロックを生成する。
動き領域予測部１０６は、生成した動き領域予測画像ブロックをスイッチ１０４４と符号化制御部１１０に出力し、動きベクトルを示す動きベクトル信号を符号化制御部１１０に出力する。

画面内予測部１０７は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力される。画面内予測部１０７は、画面記憶部１０１に記憶された参照画像であって、入力されたテクスチャ画像ブロックと同時刻に入力されたフレームの参照画像のうち既に符号化を行った参照画像ブロックを読み出す。画面内予測部１０７は、例えば、入力されたテクスチャ画像ブロックの左側又は上に隣接するブロックに対応する参照画像ブロックを読み出す。画面内予測部１０７は、読み出した参照画像ブロックに画面内予測を行い、画面内予測画像ブロックを生成する。画面内予測部１０７は、画面内予測を行うために、例えばＩＴＵ−Ｔ Ｈ．２６４規格書に記載されている方法を用いる。
画面内予測部１０７は、生成した画面内予測画像ブロックをスイッチ１０４４及び符号化制御部１１０に出力する。

符号化制御部１１０は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力される。符号化制御部１１０は、動き予測部１０５から動き予測画像ブロック及び動きベクトル信号を入力される。符号化制御部１１０は、動き領域予測部１０６から動き領域予測画像ブロック及び動きベクトル信号を入力される。符号化制御部１１０は、画面内予測部１０７から画面内予測画像ブロックを入力される。ここで、符号化制御部１１０は、動き予測部１０５又は動き領域予測部１０６からは同時に入力されず、何れか一方が入力される。
符号化制御部１１０は、テクスチャ画像ブロックと動き予測画像ブロックに基づき動き領域予測残差信号を算出する。符号化制御部１１０は、テクスチャ画像ブロックと動き領域予測画像ブロックに基づき動き領域予測画像残差信号を算出する。符号化制御部１１０は、テクスチャ画像ブロックと画面内予測画像ブロックに基づき画面内予測画像残差信号を算出する。

符号化制御部１１０は、算出した動き予測残差信号の大きさと画面内予測残差信号の大きさに基づき、例えば予測残差信号が小さいほうの予測方式（動き予測又は画面内予測のいずれか）を決定する。又は、符号化制御部１１０は、算出した動き領域予測残差信号の大きさと画面内予測残差信号の大きさに基づき、例えば予測残差信号が小さいほうの予測方式（動き領域予測又は画面内予測のいずれか）を決定する。
符号化制御部１１０は、決定した予測方式を示す予測方式信号をスイッチ１０４４及び可変長符号化部１１５に出力する。決定した予測方式が動き予測又は動き領域予測の場合には、動きベクトル信号を可変長符号化部１１５に出力する。

なお、符号化制御部１１０は、各予測方式について公知のコスト関数を用いて算出したコストが最小となる予測方式を決定してもよい。ここで、符号化制御部１１０は、動き予測残差信号に基づき動き予測残差信号の情報量を算出し、動き予測残差信号とその情報量に基づいて動き予測コストを算出する。符号化制御部１１０は、動き領域予測残差信号に基づき動き領域予測残差信号の情報量を算出し、動き領域予測残差信号とその情報量に基づいて動き領域予測コストを算出する。符号化制御部１１０は、画面内予測残差信号に基づき画面内予測残差信号の情報量を算出し、画面内予測残差信号とその情報量に基づいて画面内予測コストを算出する。

スイッチ１０４４は、動き予測部１０５から動き予測画像ブロックを入力され、動き領域予測部１０６から動き領域予測画像ブロックを入力され、画面内予測部１０７から画面内予測画像ブロックを入力され、符号化制御部１１０から予測方式信号を入力される。ここで、スイッチ１０４４は、スイッチ１０４３の作用により動き予測画像ブロック又は動き領域予測画像ブロックは同時に入力されず、何れか一方が入力される。
スイッチ１０４４は、入力された予測方式信号が動き予測を示す場合、スイッチをｃに倒し、動き予測画像ブロックを予測画像ブロックとして減算部１０９及び加算部１１４に出力する。スイッチ１０４４は、入力された予測方式信号が動き領域予測を示す場合、スイッチをｃに倒し、動き領域予測画像ブロックを予測画像ブロックとして減算部１０９及び加算部１１４に出力する。スイッチ１０４４は、入力された予測方式信号が画面内予測を示す場合、スイッチをｄに倒し、画面内予測画像ブロックを予測画像ブロックとして減算部１０９及び加算部１１４に出力する。

減算部１０８は、テクスチャ画像入力部１００から入力されたテクスチャ画像ブロックを構成する画素の輝度値からスイッチ１０４４から入力された予測画像ブロックを構成する画素の輝度値を各々減算し、残差信号ブロックを生成する。減算部１０８は生成した残差信号ブロックをスイッチ１０４１に出力する。
スイッチ１０４１は、型判定部１０３から入力された型信号がＲＭＢを示す場合、減算部１０８から入力された残差信号ブロックを配列部１０９に出力する。スイッチ１０４１は、型判定部１０３から入力された型信号がＡＭＢ又はＳＭＢを示す場合、減算部１０８から入力された残差信号ブロックをＤＣＴ部１１１に出力する。

配列部１０９は、スイッチ１０４１から残差信号ブロックを入力され、型判定部１０３からパターンブロック信号を入力される。配列部１０９は、入力されたパターンブロック信号が示すパターンブロックに対応する配列パターンをコードブック１０２から読み取る。配列部１０９は、読み取った配列パターンが示す配列前の座標の画素の輝度値を残差信号ブロックから読み取り、配列後の画素に配列して配列先ブロックを生成する。配列部１０９が輝度値を読み取り、配列する順序は配列パターンが示す配列前の座標及び配列後の座標の順序に従う。配列部１０９は、生成した配列先ブロックをＤＣＴ部１１１に出力する。

ＤＣＴ部１１１は、スイッチ１０４１から残差信号ブロック又は配列部１０９から配列先ブロックを入力される。ＤＣＴ部１１１は、残差信号ブロック又は配列先ブロックを構成する画素の輝度値に２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を行って周波数領域信号に変換する。ＤＣＴ部１１１は、変換した周波数領域信号を逆ＤＣＴ部１１２及び可変長符号化部１１５に出力する。

逆ＤＣＴ部１１２は、ＤＣＴ部１１０から入力された周波数領域信号に２次元逆ＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン逆変換）を行って残差信号ブロックに変換する。逆ＤＣＴ部１１２は、変換した残差信号ブロックをスイッチ１０４２に出力する。
スイッチ１０４２は、型判定部１０３から入力された型信号がＲＭＢを示す場合、接点をａに倒し、逆ＤＣＴ部１１２から入力された残差信号ブロックを配列先ブロックとして逆配列部１１３に出力する。スイッチ１０４２は、型判定部１０３から入力された型信号がＡＭＢ又はＳＭＢを示す場合、接点をｂに倒し、逆ＤＣＴ部１１２から入力された残差信号ブロックを加算部１１４に出力する。

逆配列部１１３は、スイッチ１０４２から配列先ブロックを入力され、型判定部１０３からパターンブロック信号を入力される。逆配列部１１３は、入力されたパターンブロック信号が示すパターンブロックに対応する配列パターンをコードブック１０２から読み取る。逆配列部１１３は、読み取った配列パターンが示す配列後の座標の画素の輝度値を残差信号ブロックから読み取り、配列前の画素に配列して残差信号ブロックを生成する。即ち、逆配列部１１３では、配列パターンを配列部１０９とは逆に参照する。逆配列部１１３が輝度値を読み取り、配列する順序は配列パターンが示す配列後の座標及び配列前の座標の順序に従う。逆配列部１１３は、生成した残差信号ブロックを加算部１１４に出力する。

加算部１１４は、スイッチ１０４４から入力された予測信号ブロックを構成する画素の輝度値とスイッチ１０４２又は逆配列部１１３から入力された残差信号ブロックを構成する画素の輝度値を各々加算して、参照信号ブロックを生成する。加算部１１４は、生成した参照信号ブロックを画面記憶部１０１に出力する。

可変長符号化部１１５は、型判定部１０３から型信号を、符号化制御部１１０から予測方式信号及び動きベクトル信号（該当する場合のみ）を、ＤＣＴ部１１１から周波数領域信号を入力される。可変長符号化部１１５は、入力された周波数領域信号をアダマール変換し、変換して生成された信号を、より少ない情報量となるように圧縮符号化（可変長符号化）して圧縮残差信号を生成する。この圧縮符号化の一例として、可変長符号化部１１５は、エントロピー符号化を行う。可変長符号化部１１５は、圧縮残差信号、入力された型信号、動きベクトル信号及び予測方式信号をテクスチャ画像符号として画像符号化装置１の外部に出力する。

距離画像符号化部１２は、画像符号化装置１の外部から距離画像をフレーム毎に入力され、各フレームを構成するブロック毎に公知の画像符号化方法、例えばＩＴＵ−Ｔ Ｈ．２６４規格書に記載された符号化方法を用いて符号化する。距離画像符号化部１２は、符号化して生成した距離画像符号を画像符号化装置１の外部に出力する。距離画像符号化部１２は、符号化の過程で生成した参照信号ブロックを距離画像ブロックとして型判定部１０５に出力する。この符号化の過程で生成した参照信号ブロックは、距離画像符号に基づいて復号距離画像を生成することができる。そのため、型判定部１０３が備えるパターン決定部１０３２及び後述するパターン決定部２０３２がパターンブロックを示す符号を出力する必要がなくなり、テクスチャ画像ブロックを高い能率で符号化又は復号することができる。

次に、本実施形態に係る画像符号化装置１が行う画像符号化処理について説明する。
図１３は、本実施形態に係る画像符号化装置１が行う画像符号化処理を示すフローチャートである。
（ステップＳ２０１）テクスチャ画像入力部１００は、画像符号化装置１の外部からテクスチャ画像をフレーム毎に入力される。
距離画像符号化部１２は、画像符号化装置１の外部から距離画像をフレーム毎に入力され、各フレームを構成するブロック毎に公知の画像符号化方法を用いて符号化する。その後、ステップＳ２０２に進む。

（ステップＳ２０２）テクスチャ画像入力部１００は、入力されたテクスチャ画像からテクスチャ画像ブロックを抽出し、抽出したテクスチャ画像ブロックを型判定部１０３、動き予測部１０５、動き領域予測部１０６、画面内予測部１０７、減算部１０８及び符号化制御部１１０に出力する。
距離画像符号化部１２は、距離画像ブロックを符号化する過程で生成した参照信号ブロックを距離画像ブロックとして型判定部１０３に出力する。
以下、ステップＳ２４７までの処理をフレーム内のブロック毎に繰り返す。

（ステップＳ２０３）型判定部１０３は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、距離画像符号化部１２から距離画像ブロックを入力される。型判定部１０３は、入力されたテクスチャ画像ブロックに対応する参照画像ブロックを画面記憶部１０１から読み出し、入力された距離画像ブロックに対応するパターンブロックを読み出す。
型判定部１０３は、入力されたテクスチャ画像ブロック、読み出した参照画像ブロック及び読み出したパターンブロックに基づき、そのテクスチャ画像ブロックにおける動き領域信号を算出する。型判定部１０３は、算出した動き領域信号と読み出したパターンブロックと照合し、照合したパターンブロックを動き領域予測部１０６に出力する。型判定部１０３は、照合したパターンブロックを示すパターンブロック信号を配列部１０９及び逆配列部１１３に出力する。
型判定部１０３は、入力されたテクスチャ画像ブロック、距離画像ブロック、読み出した参照画像ブロック及びパターンブロックに基づき、そのテクスチャ画像の型を判定する。
型判定部１０３は、判定した型を示す型信号をスイッチ１０４１、スイッチ１０４２、スイッチ１０４３及び可変長符号化部１１５に出力する。その後、ステップＳ２０４に進む。なお、ステップＳ２０３において型判定部１０３が行う型判定処理については図１４を用いて後述する。

（ステップＳ２０４）スイッチ１０４１、スイッチ１０４２、スイッチ１０４３は型判定部１０３から入力された型信号がＲＭＢを示すか、ＡＭＢ又はＳＭＢを示すかを判断する。
スイッチ１０４１、スイッチ１０４２及びスイッチ１０４３が、型信号がＲＭＢを示すと判断した場合（ステップＳ２０４ Ｙ）、スイッチ１０４１は、減算部１０８から入力された残差信号ブロックを配列部１０９に出力する。このとき、スイッチ１０４２は、逆ＤＣＴ部１１２から入力された残差信号ブロックを配列先ブロックとして逆配列部１１３に出力し、スイッチ１０４３は、画面記憶部１０１から動き領域予測部１０６に参照信号ブロックを読み出せる状態にする。その後、ステップＳ２０５に進む。
スイッチ１０４１、スイッチ１０４２及びスイッチ１０４３が、型信号がＡＭＢ又はＳＭＢを示すと判断した場合（ステップＳ２０４ Ｎ）、スイッチ１０４１は、減算部１０８から入力された残差信号ブロックをＤＣＴ部１１１に出力する。このとき、スイッチ１０４２は、逆ＤＣＴ部１１２から入力された残差信号ブロックを加算部１１４に出力し、スイッチ１０４３は、画面記憶部１０１から動き予測部１０５に参照信号ブロックを読み出せる状態にする。その後、ステップＳ２０６に進む。

（ステップＳ２０５）動き領域予測部１０６は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、型判定部１０３からパターンブロックを入力される。動き領域予測部１０６は、入力されたテクスチャ画像ブロックのうちパターンブロックにおいて信号値１をとる画素の信号値をテクスチャ画像パターンとして抽出する。
動き領域予測部１０６は、画面記憶部１０１から参照画像を構成する参照画像ブロックを読み出す。信号値１をとる画素の信号値を参照画像パターンとして抽出する。動き領域予測部１０６は、入力されたテクスチャ画像パターンの座標と対応する参照画像パターンとの座標との差分を動きベクトルとして検出する。
動き領域予測部１０６は、抽出した参照画像パターンに基づき動き予測を行い、動き領域予測画像ブロックを生成する。
動き領域予測部１０６は、生成した動き領域予測画像ブロックをスイッチ１０４４と符号化制御部１１０に出力し、動きベクトルを示す動きベクトル信号を符号化制御部１１０に出力する。その後、ステップＳ２０７に進む。

（ステップＳ２０６）動き予測部１０５は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、画面記憶部１０１から参照画像を構成する参照画像ブロックを読み出す。動き予測部１０５は、テクスチャ画像ブロックとの指標値を最小とする参照画像ブロックを、テクスチャ画像ブロックと対応する参照画像ブロックと定める。動き予測部１０５は、定めた参照画像ブロックに基づき動き予測を行い、動き予測画像ブロックを生成する。動き予測部１０５は、生成した動き予測画像ブロックをスイッチ１０４４と符号化制御部１１０に出力し、動きベクトルを示す動きベクトル信号を符号化制御部１１０に出力する。その後、ステップＳ２２７に進む。

（ステップＳ２０７）画面内予測部１０７は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力される。画面内予測部１０７は、画面記憶部１０１に記憶された参照画像から既に符号化を行った参照画像ブロックを読み出す。画面内予測部１０７は、読み出した参照画像ブロックに画面内予測を行い、画面内予測画像ブロックを生成する。
画面内予測部１０７は、生成した画面内予測画像ブロックをスイッチ１０４４及び符号化制御部１１０に出力する。その後、ステップＳ２０８に進む。

（ステップＳ２０８）符号化制御部１１０は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、動き領域予測部１０６から動き領域予測画像ブロック及び動きベクトル信号を入力される。符号化制御部１１０は、画面内予測部１０７から画面内予測画像ブロックを入力される。符号化制御部１１０は、テクスチャ画像ブロックと動き領域予測画像ブロックに基づき動き領域予測画像残差信号を算出し、テクスチャ画像ブロックと画面内予測画像ブロックに基づき画面内予測画像残差信号を算出する。
符号化制御部１１０は、算出した動き領域予測残差信号の大きさと画面内予測残差信号の大きさに基づき、例えば予測残差信号が小さいほうの予測方式を決定する。符号化制御部１１０は、決定した予測方式を示す予測方式信号をスイッチ１０４４及び可変長符号化部１１５に出力する。決定した予測方式が動き領域予測の場合には、動きベクトル信号を可変長符号化部１１５に出力する。
スイッチ１０４４は、動き領域予測部１０６から動き領域予測画像ブロックを入力され、画面内予測部１０７から画面内予測画像ブロックを入力され、符号化制御部１１０から予測方式信号を入力される。
スイッチ１０４４は、入力された予測方式信号に基づき入力された動き領域予測画像ブロックと画面内予測画像ブロックのいずれかを予測画像ブロックとして減算部１０９及び加算部１１４に出力する。その後、ステップＳ２０９に進む。

（ステップＳ２０９）減算部１０８は、テクスチャ画像入力部１００から入力されたテクスチャ画像ブロックを構成する画素の輝度値からスイッチ１０４４から入力された予測画像ブロックを構成する画素の輝度値を各々減算し、残差信号ブロックを生成する。減算部１０８は生成した残差信号ブロックをスイッチ１０４１に出力する。スイッチ１０４１は、減算部１０８から入力された残差信号ブロックを配列部１０９に出力する。その後、ステップＳ２１０に進む。

（ステップＳ２１０）配列部１０９は、スイッチ１０４１から残差信号ブロックを入力され、型判定部１０３からパターンブロック信号を入力される。配列部１０９は、入力されたパターンブロック信号が示すパターンブロックに対応する配列パターンをコードブック１０２から読み取る。配列部１０９は、読み取った配列パターンが示す配列前の座標の画素の輝度値を残差信号ブロックから読み取り、配列後の画素に配列して配列先ブロックを生成する。配列部１０９が輝度値を読み取り、配列する順序は配列パターンが示す配列前の座標及び配列後の座標の順序に従う。配列部１０９は、生成した配列先ブロックをＤＣＴ部１１１に出力する。その後、ステップＳ２１１に進む。

（ステップＳ２１１）ＤＣＴ部１１１は、配列部１０９から配列先ブロックを入力される。ＤＣＴ部１１１は、残差信号ブロックを構成する画素の輝度値に２次元ＤＣＴを行って周波数領域信号に変換する。ＤＣＴ部１１１は、変換した周波数領域信号を逆ＤＣＴ部１１２及び可変長符号化部１１５に出力する。その後、ステップＳ２１２に進む。
（ステップＳ２１２）可変長符号化部１１５は、符号化制御部１１０から予測方式信号及び動きベクトル信号（該当する場合のみ）を、ＤＣＴ部１１１から周波数領域信号を入力される。可変長符号化部１１５は、入力された周波数領域信号をアダマール変換し、変換して生成された信号を、より少ない情報量となるように圧縮符号化して圧縮残差信号を生成する。可変長符号化部１１５は、圧縮残差信号、入力された動きベクトル信号及び予測方式信号をテクスチャ画像符号として画像符号化装置１の外部に出力する。その後、ステップＳ２１３に進む。

（ステップＳ２１３）逆ＤＣＴ部１１２は、ＤＣＴ部１１０から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部１１２は、変換した残差信号ブロックをスイッチ１０４２に出力する。
スイッチ１０４２は、逆ＤＣＴ部１１２から入力された残差信号ブロックを配列先ブロックとして逆配列部１１３に出力する。その後、ステップＳ２１４に進む。

（ステップＳ２１４）逆配列部１１３は、スイッチ１０４２から配列先ブロックを入力され、型判定部１０３からパターンブロック信号を入力される。逆配列部１１３は、入力されたパターンブロック信号が示すパターンブロックに対応する配列パターンをコードブック１０２から読み取る。逆配列部１１３は、読み取った配列パターンが示す配列後の座標の画素の輝度値を残差信号ブロックから読み取り、配列前の画素に配列して残差信号ブロックを生成する。逆配列部１１３は、生成した残差信号ブロックを加算部１１４に出力する。その後、ステップＳ２４５に進む。

（ステップＳ２２７）画面内予測部１０７は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力される。画面内予測部１０７は、画面記憶部１０１に記憶された参照画像から既に符号化を行った参照画像ブロックを読み出す。画面内予測部１０７は、読み出した参照画像ブロックに画面内予測を行い、画面内予測画像ブロックを生成する。
画面内予測部１０７は、生成した画面内予測画像ブロックをスイッチ１０４４及び符号化制御部１１０に出力する。その後、ステップＳ２２８に進む。

（ステップＳ２２８）符号化制御部１１０は、テクスチャ画像入力部１００からテクスチャ画像ブロックを入力され、動き予測部１０５から動き予測画像ブロック及び動きベクトル信号を入力される。符号化制御部１１０は、画面内予測部１０７から画面内予測画像ブロックを入力される。符号化制御部１１０は、テクスチャ画像ブロックと動き予測画像ブロックに基づき動き予測画像残差信号を算出し、テクスチャ画像ブロックと画面内予測画像ブロックに基づき画面内予測画像残差信号を算出する。
符号化制御部１１０は、算出した動き予測残差信号の大きさと画面内予測残差信号の大きさに基づき、例えば予測残差信号が小さいほうの予測方式を決定する。符号化制御部１１０は、決定した予測方式を示す予測方式信号をスイッチ１０４４及び可変長符号化部１１５に出力する。決定した予測方式が動き予測の場合には、動きベクトル信号を可変長符号化部１１５に出力する。
スイッチ１０４４は、動き予測部１０５から動き予測画像ブロックを入力され、動き領域予測部１０６から動き予測画像ブロックを入力され、画面内予測部１０７から画面内予測画像ブロックを入力され、符号化制御部１１０から予測方式信号を入力される。
スイッチ１０４４は、入力された予測方式信号に基づき入力された動き予測画像ブロックと画面内予測画像ブロックのいずれかを予測画像ブロックとして減算部１０９及び加算部１１４に出力する。その後、ステップＳ２２９に進む。

（ステップＳ２２９）減算部１０８は、テクスチャ画像入力部１００から入力されたテクスチャ画像ブロックを構成する画素の輝度値からスイッチ１０４４から入力された予測画像ブロックを構成する画素の輝度値を各々減算し、残差信号ブロックを生成する。減算部１０８は生成した残差信号ブロックをスイッチ１０４１に出力する。
スイッチ１０４１は、減算部１０８から入力された残差信号ブロックをＤＣＴ部１１１に出力する。その後、ステップＳ２３１に進む。
（ステップＳ２３１）ＤＣＴ部１１１は、スイッチ１０４１から残差信号ブロックを入力される。ＤＣＴ部１１１は、残差信号ブロックを構成する画素の輝度値に２次元ＤＣＴを行って周波数領域信号に変換する。ＤＣＴ部１１１は、変換した周波数領域信号を逆ＤＣＴ部１１２及び可変長符号化部１１５に出力する。その後、ステップＳ２３２に進む。

（ステップＳ２３２）可変長符号化部１１５は、型判定部１０３から型信号を、符号化制御部１１０から予測方式信号及び動きベクトル信号（該当する場合のみ）を、ＤＣＴ部１１１から周波数領域信号を入力される。可変長符号化部１１５は、入力された周波数領域信号をアダマール変換し、変換して生成された信号を、より少ない情報量となるように圧縮符号化（可変長符号化）して圧縮残差信号を生成する。可変長符号化部１１５は、圧縮残差信号、入力された型信号、動きベクトル信号及び予測方式信号をテクスチャ画像符号として画像符号化装置１の外部に出力する。その後、ステップＳ２３３に進む。

（ステップＳ２３３）逆ＤＣＴ部１１２は、ＤＣＴ部１１０から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部１１２は、変換した残差信号ブロックをスイッチ１０４２に出力する。
スイッチ１０４２は、逆ＤＣＴ部１１２から入力された残差信号ブロックを加算部１１４に出力する。その後、ステップＳ２４５に進む。

（ステップＳ２４５）加算部１１４は、スイッチ１０４４から入力された予測信号ブロックを構成する画素の輝度値とスイッチ１０４２又は逆配列部１１３から入力された残差信号ブロックを構成する画素の輝度値を各々加算して、参照信号ブロックを生成する。加算部１１４は、生成した参照信号ブロックを画面記憶部１０１に出力する。その後、ステップＳ２４６に進む。
（ステップＳ２４６）画面記憶部１０１は、加算部１１４から入力された参照画像ブロックを、対応するフレームにおけるそのブロックの位置に配置して記憶する。その後、ステップＳ２４７に進む。

（ステップＳ２４７）テクスチャ画像入力部１００は、入力したフレームのテクスチャ画像においてテクスチャ画像ブロックを未抽出の領域の有無を判断する。
テクスチャ画像入力部１００は、テクスチャ画像ブロックを未抽出の領域があると判断した場合、テクスチャ画像入力部１００がテクスチャ画像ブロックを抽出するブロックの位置を、ラスタースキャンの順序で、各ブロックが重ならないようにシフトさせる。また、距離画像符号化部１２は参照信号ブロックの位置を、テクスチャ画像ブロックを抽出するブロックの位置にシフトさせる。その後、ステップＳ２０２に戻る。
テクスチャ画像入力部１００は、テクスチャ画像ブロックを未抽出の領域がないと判断した場合、入力したフレームのテクスチャ画像を符号化する処理を終了する。

次に、本実施形態に係る型判定部１０３が行う型判定処理について説明する。
図１４は、本実施形態に係る型判定部１０３が行う型判定処理を示すフローチャートである。
（ステップＳ３０１）動き領域決定部１０３１は、テクスチャ画像入力部１００から入力されたテクスチャ画像ブロックにおいて、画面記憶部１０１から読み出した参照画像ブロックに基づいて、動き領域情報Ｍ（ｘ，ｙ）を算出する。動き領域情報Ｍ（ｘ，ｙ）を算出する際、動き領域決定部１０３１は、例えば式（１）を用いる。その後、ステップＳ３０２に進む。

（ステップＳ３０２）動き領域決定部１０３１は、参照画像ブロックに含まれる動き領域の大きさが、予め設定された閾値Ｔ_ＳＭＢよりも小さいか否か判断する。
動き領域決定部１０３１は、その動き領域の大きさが、予め設定された閾値Ｔ_ＳＭＢよりも小さいと判断したとき（ステップＳ３０２ Ｙ）、ステップＳ３０３に進む。
動き領域決定部１０３１は、その動き領域の大きさが、予め設定された閾値Ｔ_ＳＭＢと等しい又は閾値Ｔ_ＳＭＢよりも大きいと判断したとき（ステップＳ３０２ Ｎ）、テクスチャ画像ブロックの型が非ＳＭＢと判定する。このとき、動き領域決定部１０３１は、テクスチャ画像ブロックの型が非ＳＭＢであることを示す型信号をパターン決定部１０３２に出力する。また、動き領域決定部１０３１は、動き領域情報Ｍ（ｘ，ｙ）を動き予測決定部１０３３に出力する。その後、ステップＳ３０４に進む。

（ステップＳ３０３）動き領域決定部１０３１は、テクスチャ画像ブロックの型がＳＭＢであると判定し、テクスチャ画像ブロックの型がＳＭＢであることを示す型信号を動き予測決定部１０３３に出力する。動き予測決定部１０３３は、テクスチャ画像ブロックの型を示す型信号をスイッチ１０４１、スイッチ１０４２、スイッチ１０４３及び可変長符号部１１５に出力する。その後、ステップＳ２０４に進む。

（ステップＳ３０４）パターン決定部１０３２は、動き領域決定部１０３１からテクスチャ画像の非ＳＭＢであることを示す型信号を入力され、コードブック１０２からパターンブロックＰ_ｎ（ｘ，ｙ）を読み取る。
パターン決定部１０３２は、読み取ったパターンブロックＰ_ｎ（ｘ，ｙ）のうち入力された距離画像ブロックと類似するパターンブロックＰ_ｎ（ｘ，ｙ）が存在するか否か判断する。
そこで、パターン決定部１０３２は、距離画像符号化部１２から入力された距離画像ブロックを、例えば式（２）を用いて二値化し、二値化距離パターンＮ（ｘ，ｙ）を算出する。パターン決定部１０３２は、算出した二値化距離パターンＮ（ｘ，ｙ）と読み取った各パターンブロックＰ_ｎ（ｘ，ｙ）との間で、例えば式（３）を用いて指標値を算出する。パターン決定部１０３２は、指標値が最小となるパターンブロックＰ_ｎ（ｘ，ｙ）を、距離画像ブロックと近似するパターンブロックＰ_ｎ（ｘ，ｙ）として選択する。そして、パターン決定部１０３２は、その最小の指標値が予め設定された閾値が小さいか否かをもって、距離画像ブロックと類似するパターンブロックＰ_ｎ（ｘ，ｙ）が存在するか否か判断する。

パターン決定部１０３２は、読み取ったパターンブロックＰ_ｎ（ｘ，ｙ）のうち入力された距離画像ブロックと類似するパターンブロックＰ_ｎ（ｘ，ｙ）が存在すると判断したとき（ステップＳ３０４ Ｙ）、選択したパターンブロックＰ_ｎ（ｘ，ｙ）とそのパターンブロックＰ_ｎ（ｘ，ｙ）を示すパターンブロック信号を動き予測決定部１０３３に出力する。その後、ステップＳ３０６に進む。
パターン決定部１０３２は、読み取ったパターンブロックＰ_ｎ（ｘ，ｙ）のうち入力された距離画像ブロックと類似するパターンブロックＰ_ｎ（ｘ，ｙ）が存在しないと判断したとき（ステップＳ３０４ Ｎ）、ステップＳ３０５に進む。

（ステップＳ３０５）パターン決定部１０３２は、テクスチャ画像ブロックの型をＡＭＢと判定し、テクスチャ画像ブロックの型がＡＭＢであることを示す型信号を動き予測決定部１０３３に出力する。動き予測決定部１０３３は、テクスチャ画像ブロックの型を示す型信号をスイッチ１０４１、スイッチ１０４２、スイッチ１０４３及び可変長符号部１１５に出力する。その後、ステップＳ２０４に進む。

（ステップＳ３０６）動き予測決定部１０３３は、動き領域決定部１０３１からテクスチャ画像ブロックの型がＳＭＢであることを示す型信号又は動き領域情報を入力される。動き予測決定部１０３３は、動き予測決定部１０３３からテクスチャ画像ブロックの型がＡＭＢであることを示す型信号又は選択したパターンブロックＰ_ｎ（ｘ，ｙ）並びにパターンブロック信号を入力される。
動き予測決定部１０３３は、入力された動き領域情報Ｍ（ｘ，ｙ）と選択したパターンブロックＰ_ｎ（ｘ，ｙ）が類似しているか否かを判断する。この判断を行う際、動き予測決定部１０３３は、式（４）に示す指標値Ｅを算出し、算出した指標値Ｅが予め設定した閾値σ_ｅよりも小さいか否か判断する。
動き予測決定部１０３３は、入力された動き領域情報Ｍ（ｘ，ｙ）と選択したパターンブロックＰ_ｎ（ｘ，ｙ）が類似していると判断したとき（ステップＳ３０６ Ｙ）、ステップＳ３０８に進む。
動き予測決定部１０３３は、入力された動き領域情報Ｍ（ｘ，ｙ）と選択したパターンブロックＰ_ｎ（ｘ，ｙ）が類似していないと判断したとき（ステップＳ３０６ Ｎ）、ステップＳ３０７に進む。

（ステップＳ３０７）動き予測決定部１０３３は、テクスチャ画像ブロックの型がＡＭＢと判定し、テクスチャ画像ブロックの型がＡＭＢであることを示す型信号をスイッチ１０４１、スイッチ１０４２、スイッチ１０４３及び可変長符号部１１５に出力する。その後、ステップＳ２０４に進む。
（ステップＳ３０８）動き予測決定部１０３３は、テクスチャ画像ブロックの型をＲＭＢと判定し、テクスチャ画像ブロックの型をＲＭＢであることを示す型信号をスイッチ１０４１、スイッチ１０４２、スイッチ１０４３及び可変長符号部１１５に出力する。また、動き予測決定部１０３３は、選択したパターンブロックを動き領域予測部１０６に出力し、入力されたパターンブロック信号を配列部１０９及び逆配列部１１３に出力する。その後、ステップＳ２０４に進む。

次に、本実施形態に係る画像復号装置２の構成及び機能について説明する。
図１５は、本実施形態に係る画像復号装置２の構成を示す概略図である。
画像復号装置２は、画面記憶部２０１、コードブック２０２、パターン決定部２０３２、スイッチ２０４２、スイッチ２０４３、スイッチ２０４４、動き予測部２０５、動き領域予測部２０６、画面内予測部２０７、逆ＤＣＴ部２１２、逆配列部２１３、加算部２１４、可変長復号部２１５及び距離画像復号部２３を含んで構成される。

画面記憶部２０１は、加算部２１４から入力された参照画像ブロックを、対応するフレームにおけるそのブロックの位置に配置して参照画像として記憶する。画面記憶部２０１は、現在から予め設定されたフレーム数の参照画像を記憶する。
コードブック２０２は、複数のパターンブロックと、配列パターンを各パターンブロックに対応づけて記憶する。コードブック２０２が記憶するパターンブロックと配列パターンは、コードブック１０２と同様であってもよい。

パターン決定部２０３２は、距離画像復号部２３から復号された距離画像ブロックを入力される。パターン決定部２０３２は、読み出したパターンブロックのうち、入力された距離画像ブロックに対応するパターンブロックを決定する。
ここで、パターン決定部２０３２は、距離画像ブロックに含まれる座標（ｘ，ｙ）毎の距離値Ｖ（ｘ，ｙ）を、例えば式（２）を用いて二値化し、二値化距離パターンＮ（ｘ，ｙ）を算出する。パターン決定部１０３２は、コードブック１０２に記憶されたパターンブロックから二値化距離パターンＮ（ｘ，ｙ）に最も近似するパターンブロックを選択する。パターン決定部２０３２は、最も近似するパターンブロックを選択する際、パターンブロックｎ毎に例えば式（３）に示す指標値Ｄ_ｎを算出し、算出した指標値Ｄ_ｎを最小とするパターンブロックを選択する。
パターン決定部２０３２は、選択したパターンブロックを動き領域予測部２０６に出力し、選択したパターンブロックに対応するパターンブロック信号を逆配列部２１３に出力する。

スイッチ２０４３は、可変長復号部２１５から入力された型信号がＲＭＢを示す場合、接点をａに倒し、画面記憶部２０１から動き領域予測部２０６に参照信号ブロックを読み出せる状態にする。スイッチ２０４３は、可変長復号部２１５から入力された型信号がＡＭＢ又はＳＭＢを示す場合、接点をｂに倒し、画面記憶部２０１から動き予測部２０５に参照信号ブロックを読み出せる状態にする。

動き予測部２０５は、可変長復号部２１５から動きベクトル信号を入力される。動き予測部２０５は、画面記憶部２０１に記憶された参照画像から、入力された動きベクトル信号が示す動きベクトルに対応する座標の参照画像ブロックを読み出す。
動き予測部２０５は、読み出した参照画像ブロックを動きベクトルに基づいて動き予測を行い、動き予測画像ブロックを生成する。動き予測部２０５は、動き予測において、例えば、読み取った参照画像ブロックの各座標を動きベクトルが示す座標値に基づいて移動させて動き予測画像ブロックを生成する。
動き予測部２０５は、生成した動き予測画像ブロックをスイッチ２０４４に出力する。

動き領域予測部２０６は、可変長復号部２１５から動きベクトル信号を入力される。動き領域予測部２０６は、画面記憶部２０１に記憶された参照画像から、入力された動きベクトル信号が示す動きベクトルに対応する座標の参照画像ブロックを読み出す。
動き領域予測部２０６は、読み出した参照画像ブロックのうちパターンブロックにおいて信号値１をとる画素の信号値を参照画像パターンとして抽出する。
動き領域予測部２０６は、抽出した参照画像パターンを動きベクトルに基づき動き予測を行い、動き領域予測画像パターンを生成する。動き領域予測部２０６は、動き予測において、例えば、定めた参照画像パターンの各座標を動きベクトルが示す座標に基づいて移動させて動き領域予測画像パターンを生成する。動き領域予測部２０６は、ブロック全体の画素における輝度値がゼロであるゼロ画像ブロックに生成した動き領域予測画像パターンの各画素の輝度値を加算することによりゼロ信号を挿入して動き領域予測画像ブロックを生成する。
動き領域予測部２０６は、生成した動き領域予測画像ブロックをスイッチ２０４４に出力する。

画面内予測部２０７は、画面記憶部２０１に記憶された参照画像であって、処理対象の現在のフレームの参照画像のうち復号された参照画像ブロックを読み出す。画面内予測部２０７は、例えば、処理対象のテクスチャ画像ブロックの左側又は上に隣接するブロックに対応する参照画像ブロックを読み出す。画面内予測部２０７は、読み出した参照画像ブロックに画面内予測を行い、画面内予測画像ブロックを生成する。画面内予測部２０７は、画面内予測を行うために、例えばＩＴＵ−Ｔ Ｈ．２６４規格書に記載されている方法を用いる。
画面内予測部２０７は、生成した画面内予測画像ブロックをスイッチ２０４４に出力する。

スイッチ２０４４は、動き予測部２０５から動き予測画像ブロックを入力され、動き領域予測部２０６から動き領域予測画像ブロックを入力され、画面内予測部２０７から画面内予測画像ブロックを入力され、可変長復号部２１５から予測方式信号を入力される。
スイッチ２０４４は、入力された予測方式信号が動き予測又は動き領域予測を示す場合、接点をｃに倒し、入力された動き予測画像ブロックと画面内予測画像ブロックのいずれかを加算部２１４に出力する。ここで、スイッチ２０４４は、スイッチ２０４３の作用のため、動き予測画像ブロック又は動き領域予測画像ブロックは同時に入力されず、何れか一方が入力される。スイッチ２０４４は、入力された予測方式信号が画面内予測を示す場合、接点をｄに倒し、入力された動き領域予測画像ブロックと画面内予測画像ブロックのいずれかを予測画像ブロックとして加算部２１４に出力する。

逆ＤＣＴ部２１２は、可変長復号部２１５から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部２１２は、変換した残差信号ブロックをスイッチ２０４２に出力する。

スイッチ２０４２は、可変長復号部２１５から入力された型信号がＲＭＢを示す場合、接点をａに倒し、逆ＤＣＴ部２１２から入力された残差信号ブロックを配列先ブロックとして逆配列部２１３に出力する。スイッチ２０４２は、可変長復号部２１５から入力された型信号がＡＭＢ又はＳＭＢを示す場合、接点をｂに倒し、逆ＤＣＴ部２１２から入力された残差信号ブロックを加算部２１４に出力する。

逆配列部２１３は、スイッチ２０４２から配列先ブロックを入力され、パターン決定部２０３２からパターンブロック信号を入力される。逆配列部２１３は、入力されたパターンブロック信号が示すパターンブロックに対応する配列パターンをコードブック２０２から読み取る。逆配列部２１３は、読み取った配列パターンが示す配列後の座標の画素の輝度値を残差信号ブロックから読み取り、配列前の画素に配列して残差信号ブロックを生成する。逆配列部２１３が輝度値を読み取り、配列する順序は配列パターンが示す配列後の座標及び配列前の座標の順序に従う。逆配列部２１３は、生成した残差信号ブロックを加算部２１４に出力する。

加算部２１４は、スイッチ２０４４から入力された予測信号ブロックを構成する画素の輝度値とスイッチ２０４２又は逆配列部２１３から入力された残差信号ブロックを構成する画素の輝度値を各々加算して、参照信号ブロックを生成する。加算部２１４は、生成した参照信号ブロックを画面記憶部２０１に出力し、その参照信号ブロックを復号されたテクスチャ画像ブロックとして画像復号装置２の外部に出力する。

可変長復号部２１５は、画像復号装置２の外部から入力されたテクスチャ画像符号から圧縮残差信号、型信号、動きベクトル信号及び予測方式信号をそれぞれ抽出する。
可変長復号部２１５は、抽出した圧縮残差信号を可変長符号化部１１５が行った圧縮符号化とは逆の処理を行って復号（可変長復号）し、圧縮残差信号よりも情報量の多いアダマール変換信号を生成する。例えば、可変長符号化部１１５がエントロピー符号化を行った場合、可変長復号部２１５はエントロピー復号を行う。可変長復号部２１５は生成したアダマール変換信号をアダマール変換して周波数領域信号を生成する。可変長復号部２１５が行うアダマール変換は、可変長符号化部１１５が行うアダマール変換の逆演算である。
可変長復号部２１５は、生成した周波数領域信号を逆ＤＣＴ部２１２に出力し、抽出した動きベクトル信号を動き予測部２０５及び動き領域予測部２０６に出力する。
可変長復号部２１５は、抽出した型信号をスイッチ２０４２及びスイッチ２０４３に出力する。可変長復号部２１５は、抽出した予測方式信号をスイッチ２０４４に出力する。

距離画像復号部２３は、画像復号装置２の外部から入力された距離画像符号に基づきブロック毎に公知の画像復号方法、例えばＩＴＵ−Ｔ Ｈ．２６４規格書に記載された復号方法を用いて復号する。距離画像復号部１２は、復号して生成した距離画像ブロックをパターン決定部２０３２及び画像復号装置２の外部に出力する。

次に、本実施形態に係る画像復号処理について説明する。
図１６は、本実施形態に係る画像復号装置２が行う画像復号処理を示すフローチャートである。
（ステップＳ４０１）画像復号装置２は、ステップＳ４０２−Ｓ４３４までの処理をフレーム内のブロック毎に繰り返す。
（ステップＳ４０２）可変長復号部２１５は、画像復号装置２の外部から入力されたテクスチャ画像符号から圧縮残差信号、型信号、動きベクトル信号及び予測方式信号をそれぞれ抽出する。可変長復号部２１５は、抽出した圧縮残差信号を可変長符号化部１１５が行った圧縮符号化とは逆の処理を行って復号（可変長復号）し、圧縮残差信号よりも情報量の多いアダマール変換信号を生成する。可変長復号部２１５は生成したアダマール変換信号をアダマール変換して周波数領域信号を生成する。可変長復号部２１５は、生成した周波数領域信号を逆ＤＣＴ部２１２に出力し、抽出した動きベクトル信号を動き予測部２０５及び動き領域予測部２０６に出力する。可変長復号部２１５は、抽出した型信号をスイッチ２０４２及びスイッチ２０４３に出力する。可変長復号部２１５は、抽出した予測方式信号をスイッチ２０４４に出力する。
距離画像復号部２３は、画像復号装置２の外部から入力された距離画像符号に基づきブロック毎に公知の画像符号化方法を用いて復号する。距離画像復号部１２は、復号して生成した距離画像信号ブロックをパターン決定部２０３２及び画像復号装置２の外部に出力する。その後、ステップＳ４０３に進む。

（ステップＳ４０３）スイッチ２０４２及びスイッチ２０４３は、ともに可変長復号部２１５から入力された型信号がＲＭＢを示すか、ＡＭＢもしくはＳＭＢを示すか判断する。
スイッチ２０４２及びスイッチ２０４３が可変長復号部２１５から入力された型信号がＲＭＢを示すと判断したとき（ステップＳ４０３ Ｙ）、ステップＳ４０４に進む。
スイッチ２０４２及びスイッチ２０４３が可変長復号部２１５から入力された型信号がＡＭＢ又はＳＭＢを示すと判断したとき（ステップＳ４０３ Ｎ）、ステップＳ４２４に進む。

（ステップＳ４０４）スイッチ２０４４は、可変長復号部２１５から入力された予測方式信号が画面内予測を示すか、動き領域予測を示すか判断する。
スイッチ２０４４は、可変長復号部２１５から入力された予測方式信号が画面内予測を示すと判断したとき（ステップＳ４０４ Ｙ）、ステップＳ４０７に進む。
スイッチ２０４４は、可変長復号部２１５から入力された予測方式信号が動き領域予測を示すと判断したとき（ステップＳ４０４ Ｎ）、ステップＳ４０５に進む。

（ステップＳ４０５）動き領域予測部２０６は、可変長復号部２１５から動きベクトル信号を入力される。動き領域予測部２０６は、画面記憶部２０１に記憶された参照画像から、入力された動きベクトル信号が示す動きベクトルに対応する座標の参照画像ブロックを読み出す。
動き領域予測部２０６は、読み出した参照画像ブロックのうちパターンブロックにおいて信号値１をとる画素の信号値を参照画像パターンとして抽出する。
動き領域予測部２０６は、抽出した参照画像パターンを動きベクトルに基づき動き予測を行い、動き領域予測画像パターンを生成する。動き領域予測部２０６は、ブロック全体の画素における輝度値がゼロであるゼロ画像ブロックに生成した動き領域予測画像パターンの各画素の輝度値を加算することによりゼロ信号を挿入して動き領域予測画像ブロックを生成する。
動き領域予測部２０６は、生成した動き領域予測画像ブロックをスイッチ２０４４に出力する。その後、ステップＳ４０８に進む。

（ステップＳ４０７）画面内予測部２０７は、画面記憶部２０１に記憶された参照画像であって、処理対象の現在のフレームの参照画像のうち復号された参照画像ブロックを読み出す。画面内予測部２０７は、読み出した参照画像ブロックに画面内予測を行い、画面内予測画像ブロックを生成する。
画面内予測部２０７は、生成した画面内予測画像ブロックをスイッチ２０４４に出力する。その後、ステップＳ４０８に進む。

（ステップＳ４０８）逆ＤＣＴ部２１２は、可変長復号部２１５から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部２１２は、変換した残差信号ブロックをスイッチ２０４２に出力する。その後、ステップＳ４０９に進む。
（ステップＳ４０９）逆配列部２１３は、スイッチ２０４２から配列先ブロックを入力され、パターン決定部２０３２からパターンブロック信号を入力される。逆配列部２１３は、入力されたパターンブロック信号が示すパターンブロックに対応する配列パターンをコードブック２０２から読み取る。逆配列部２１３は、読み取った配列パターンが示す配列後の座標の画素の輝度値を残差信号ブロックから読み取り、配列前の画素に配列して残差信号ブロックを生成する。逆配列部２１３が輝度値を読み取り、配列する順序は配列パターンが示す配列後の座標及び配列前の座標の順序に従う。逆配列部２１３は、生成した残差信号ブロックを加算部２１４に出力する。その後、ステップＳ４３２に進む。

（ステップＳ４２４）スイッチ２０４４は、可変長復号部２１５から入力された予測方式信号が画面内予測を示すか、動き予測を示すか判断する。
スイッチ２０４４は、可変長復号部２１５から入力された予測方式信号が画面内予測を示すと判断したとき（ステップＳ４２４ Ｙ）、ステップＳ４２７に進む。
スイッチ２０４４は、可変長復号部２１５から入力された予測方式信号が動き予測を示すと判断したとき（ステップＳ４２４ Ｎ）、ステップＳ４２６に進む。

（ステップＳ４２６）動き予測部２０５は、可変長復号部２１５から動きベクトル信号を入力される。動き予測部２０５は、画面記憶部２０１に記憶された参照画像から、入力された動きベクトル信号が示す動きベクトルに対応する座標の参照画像ブロックを読み出す。
動き予測部２０５は、読み出した参照画像ブロックを動きベクトルに基づいて動き予測を行い、動き予測画像ブロックを生成する。動き予測部２０５は、生成した動き予測画像ブロックをスイッチ２０４４に出力する。その後、ステップＳ４２８に進む。

（ステップＳ４２７）画面内予測部２０７は、画面記憶部２０１に記憶された参照画像であって、処理対象の現在のフレームの参照画像のうち復号された参照画像ブロックを読み出す。画面内予測部２０７は、読み出した参照画像ブロックに画面内予測を行い、画面内予測画像ブロックを生成する。
画面内予測部２０７は、生成した画面内予測画像ブロックをスイッチ２０４４に出力する。その後、ステップＳ４２８に進む。
（ステップＳ４２８）逆ＤＣＴ部２１２は、可変長復号部２１５から入力された周波数領域信号に２次元逆ＤＣＴを行って残差信号ブロックに変換する。逆ＤＣＴ部２１２は、変換した残差信号ブロックをスイッチ２０４２に出力する。その後、ステップＳ４３２に進む。

（ステップＳ４３２）加算部２１４は、スイッチ２０４４から入力された予測信号ブロックを構成する画素の輝度値とスイッチ２０４２又は逆配列部２１３から入力された残差信号ブロックを構成する画素の輝度値を各々加算して、参照信号ブロックを生成する。加算部２１４は、生成した参照信号ブロックを画面記憶部２０１に出力し、その参照信号ブロックを復号されたテクスチャ画像ブロックとして画像復号装置２の外部に出力する。
その後、ステップＳ４３３に進む。
（ステップＳ４３３）画面記憶部２０１は、加算部２１４から入力された参照画像ブロックを、対応するフレームにおけるそのブロックの位置に配置して参照画像として記憶する。その後、ステップＳ４３４に進む。

（ステップＳ４３４）画像復号装置２は、入力したフレームのうち参照画像ブロックを、まだ復号されていない領域の有無を判断する。
画像復号装置２、参照画像ブロックをまだ復号されていない領域があると判断した場合、参照画像ブロックを復号するブロックの位置を、ラスタースキャンの順序で、各ブロックが重ならないようにシフトさせる。また、距離画像復号部２３は距離画像ブロックの位置を、参照画像ブロックを復号するブロックの位置にシフトさせる。その後、ステップＳ４０２に戻る。
画像復号装置２は、参照画像ブロックをまだ抽出していない領域がないと判断した場合、入力したフレームのテクスチャ画像を復号する処理を終了する。

次に、上述の画像符号化処理又は画像復号処理の処理対象又は処理対象となる画像信号を示す画像の例について説明する。
図１７は、本実施形態に係るテクスチャ画像の一例を示す概念図である。
図１７は、テクスチャ画像入力部１００が符号化の対象として入力されるテクスチャ画像ｔ１を示す。テクスチャ画像ｔ１の中央部右下に示す矩形の部分は、テクスチャ画像入力部１００が抽出するテクスチャ画像ブロックｕ１を示す。

図１８は、本実施形態に係る参照画像の一例を示す概念図である。
図１８は、符号化済又は復号された参照画像ｒ０を示す。参照画像ｒ０は、テクスチャ画像ｔ１よりも１フレーム分過去のテクスチャ画像ｔ０を符号化する過程で生成された参照画像である。
参照画像ｒ０のほぼ中央部に示す矩形の部分は、参照画像ブロックｖ０を示す。参照画像ブロックｖ０の座標は、テクスチャ画像ブロックｕ１の座標と同様である。

図１９は、本実施形態に係る動き領域情報の一例を示す概念図である。
図１９は、動き領域情報ｍを示す。動き領域情報ｍは、動き領域決定部１０３１がテクスチャ画像ブロックｕ１と参照画像ブロックｖ０に基づいて生成したものである。
図２０は、本実施形態に係る距離画像の一例を示す概念図である。
図２０は、距離画像符号化部１２が復号する距離画像ｄ１を示す。距離画像ｄ１は、テクスチャ画像ｔ１が示す被写体の視点からの距離情報を示す。距離画像ｄ１の中央部右下に示す矩形の部分は、型判定部１０３のパターン決定部１０３２又はパターン決定部２０３２が距離画像符号化部１２から入力される距離画像ブロックｅ１を示す。
図２１は、本実施形態に係る距離画像ブロックの一例を示す概念図である。
図２１は、型判定部１０３のパターン決定部１０３２又はパターン決定部２０３２が距離画像ブロックに基づいて算出した二値化距離パターンｎ１を示す。

図２２は、本実施形態に係るテクスチャ画像のその他の例を示す概念図である。
図２２は、上述のテクスチャ画像ｔ１とテクスチャ画像ブロックｕ１を示す。
テクスチャ画像ブロックｕ１に含まれる領域ｐ１は、型判定部１０３の動き予測決定部１０３３が動き領域ｍと類似すると判定したパターンブロックに含まれる信号値１が占める領域である。このパターンブロックは、図３のパターンブロック３０６である。
図２３は、本実施形態に係る参照画像のその他の例を示す概念図である。
図２３は、上述の参照画像ｒ１を示す。参照画像ｒ１の中央部右下に上述の領域ｐ１を示す。この領域ｐ１は、動き領域予測部１０６又は動き領域予測部２０６がテクスチャ画像パターンとして抽出する画素が占める領域である。領域ｐ１の右側に示される領域ｐ０は、動き領域予測部１０６又は動き領域予測部２０６が参照画像ｒ１から参照画像パターンとして抽出する領域である。領域ｐ０から領域ｐ１に向かう矢印は、動き領域予測部１０６が検出又は動き領域予測部２０６が復号する動きベクトルを示す。

このように、本実施形態によれば、画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化する画像符号化装置１において、過去に符号化したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックとを備え、前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を前記画面記憶部から読み出した参照画像のブロックに基づいて決定し、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックを前記コードブックから読み出し、前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める。

また、画素毎の輝度値からなるテクスチャ画像をブロック毎に復号する画像復号装置２において、過去に復号したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックとを備え、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンブロックを前記コードブックから読み出し、入力された動きベクトル符号に対応する参照画像のブロックを前記画面記憶部から読み出し、前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める。

これにより、テクスチャ画像の符号化において画面（フレーム）間で被写体が動くことにより輝度値の変化の著しい動き領域に対応するパターンブロックを、距離画像に基づき選択できるためパターンブロックを表す符号の入出力が免れる。そのため、本実施形態によればテクスチャ画像を高い効率で符号化又は復号できる。
また、本実施形態ではパターンブロックに含まれる画素のうち第１の信号値をとる画素に基づき生成した予測画像を用いて符号化するため、符号化の対象となる情報量ひいては入出力される情報量を削減できる。従って、本実施形態によればテクスチャ画像を効率よく符号化又は復号できる。
また、本実施形態ではパターンブロックに含まれる画素のうち第１の信号値をとる画素に基づき生成した予測画像を用いて符号化するため、符号化の対象となる情報量ひいては入出力される情報量を削減できる。従って、本実施形態によればテクスチャ画像を高い効率で符号化又は復号できる。

上述の実施形態において、テクスチャ画像ブロック、距離画像ブロック、予測画像ブロック及び参照画像ブロックの大きさを、水平方向１６画素×垂直方向１６画素として説明したが、これには限られない。この大きさは、例えば、水平方向８画素×垂直方向８画素、水平方向４画素×垂直方向４画素、水平方向３２画素×垂直方向３２画素、水平方向１６画素×垂直方向８画素、水平方向８画素×垂直方向１６画素、水平方向８画素×垂直方向４画素、水平方向４画素×垂直方向８画素、水平方向３２画素×垂直方向１６画素、水平方向１６画素×垂直方向３２画素、のうち、いずれでもよい。

なお、上述した実施形態における画像符号化装置１の一部、例えば、スイッチ１０４１、スイッチ１０４２、スイッチ１０４３、スイッチ１０４４、動き予測部１０５、動き領域予測部１０６、画面内予測部１０７、減算部１０８、符号化制御部１１０、ＤＣＴ部１１１、逆ＤＣＴ部１１２、逆配列部１１３、加算部１１４、可変長符号化部１１５及び距離画像符号化部１２、画像復号装置２の一部、例えば、パターン決定部２０３２、スイッチ２０４２、スイッチ２０４３、スイッチ２０４４、動き予測部２０５、動き領域予測部２０６、画面内予測部２０７、逆ＤＣＴ部２１２、逆配列部２１３、加算部２１４、可変長復号部１１５及び距離画像復号部２３をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１又は画像復号装置２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置１又は画像復号装置２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１又は画像復号装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…画像符号化装置、１００…テクスチャ画像入力部、１０１…画面記憶部、
１０２…コードブック、１０３…型判定部、
１０３１…動き領域決定部、１０３２…パターン決定部、１０３３…動き予測決定部
１０４１…スイッチ、１０４２…スイッチ、１０４３…スイッチ、１０４４…スイッチ、
１０５…動き予測部、１０６…動き領域予測部、１０７…画面内予測部、
１０８…減算部、１０９…配列部、１１０…符号化制御部、１１１…ＤＣＴ部、
１１２…逆ＤＣＴ部、１１３…逆配列部、１１４…加算部、１２…距離画像符号化部
２…画像復号装置、２０１…画面記憶部、２０２…コードブック、
２０３２…パターン決定部、
２０４２…スイッチ、２０４３…スイッチ、２０４４…スイッチ、
２０５…動き予測部、２０６…動き領域予測部、２０７…画面内予測部、
２１２…逆ＤＣＴ部、２１３…逆配列部、２１４…加算部、２３…距離画像復号部

Claims (11)

1. 画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化する画像符号化装置において、
   過去に符号化したフレームの参照画像を記憶する画面記憶部と、
   第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックと、
   前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を前記画面記憶部から読み出した参照画像のブロックに基づいて決定する動き領域決定部と、
   視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックを前記コードブックから読み出すパターン決定部と、
   前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める動き領域予測部とを備える
   ことを特徴とする画像符号化装置。
2. 前記動き領域と、前記読み出したパターンブロックの前記第１の信号値をとる画素の分布に基づき、動き領域予測を行うか否かを決定する動き予測決定部を備える、
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記動き領域予測信号と前記テクスチャ画像のブロックに含まれる画素の信号値に基づく残差信号を、対応する画素が2次元の矩形となるように空間的に配列して2次元残差信号を生成する配列部と、
   前記2次元残差信号を周波数領域に変換して周波数領域信号を生成する周波数領域変換部と、
   前記周波数領域信号を圧縮符号化して圧縮残差信号を生成する可変長符号化部とを備える
   ことを特徴とする請求項１に記載の画像符号化装置。
4. 前記パターン決定部は、
   前記距離画像のブロックに含まれる画素毎の深度値が予め設定された閾値を超える画素の分布と前記第１の信号値をとる画素の分布に基づき、前記パターンブロックを読み出す
   ことを特徴とする請求項１に記載の画像符号化装置。
5. 過去に符号化したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化する画像符号化装置における画像符号化方法において、
   前記画像符号化装置は、前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を前記画面記憶部から読み出した参照画像のブロックに基づいて決定する第１の過程と、
   前記画像符号化装置は、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックを前記コードブックから読み出す第２の過程と、
   前記画像符号化装置は、前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める第３の過程とを有する
   ことを特徴とする画像符号化方法。
6. 過去に符号化したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に符号化する画像符号化装置が備えるコンピュータに、
   前記テクスチャ画像のブロックから被写体が動く画像を表す領域である動き領域を前記画面記憶部から読み出した参照画像のブロックに基づいて決定する手順、
   視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンプロックを前記コードブックから読み出す手順、
   前記テクスチャ画像のブロックと前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める手順
   を実行させるための画像符号化プログラム。
7. 画素毎の輝度値からなるテクスチャ画像をブロック毎に復号する画像復号装置において、
   過去に復号したフレームの参照画像を記憶する画面記憶部と、
   第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックと、
   視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンブロックを前記コードブックから読み出すパターン決定部と、
   入力された動きベクトル符号に対応する参照画像のブロックを前記画面記憶部から読み出し、前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める動き領域予測部とを備える
   ことを特徴とする画像復号装置。
8. 圧縮残差信号を復号して周波数領域信号を生成する可変長復号部と、
   前記周波数領域信号を空間領域に変換して２次元残差信号を生成する空間領域変換部と、
   前記2次元残差信号に含まれる画素毎の信号値を、当該画素に各々対応する画素であって前記読み出したパターンブロックの前記第1の信号値をとる画素に配列して残差信号を生成する逆配列部とを備える
   ことを特徴とする請求項７に記載の画像復号装置。
9. 前記パターン決定部は、
   前記距離画像のブロックに含まれる画素毎の深度値が予め設定された閾値を超える画素の分布と前記第１の信号値をとる画素の分布に基づき、前記パターンブロックを読み出す
   ことを特徴とする請求項７に記載の画像復号装置。
10. 過去に復号したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックとを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に復号する画像復号装置における画像復号方法において、
    前記画像復号装置が、視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンブロックを前記コードブックから読み出す第１の過程と、
    前記画像復号装置が、入力された動きベクトル符号に対応する参照画像のブロックを前記画面記憶部から読み出し、前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める第２の過程とを有する
    ことを特徴とする画像復号方法。
11. 過去に復号したフレームの参照画像を記憶する画面記憶部と、第１の信号値をとる画素とその他の信号値をとる画素からなり、前記第１の信号値をとる画素の分布が異なる複数個のパターンブロックを記憶するコードブックとを備え、画素毎の輝度値からなるテクスチャ画像をブロック毎に復号する画像復号装置が備えるコンピュータに、
    視点から被写体までの距離を表す画素毎の深度値からなる距離画像のブロックに基づきパターンブロックを前記コードブックから読み出す手順、
    入力された動きベクトル符号に対応する参照画像のブロックを前記画面記憶部から読み出し、前記読み出した参照画像のブロックに基づいて算出した予測画像ブロックに含まれる画素のうち、前記読み出したパターンブロックの前記第１の信号値をとる画素と同一の座標の画素の信号値からなる動き領域予測信号を定める手順
    を実行させるための画像復号プログラム。

Images