WO2012035728A1

WO2012035728A1 - 画像復号装置、画像符号化装置、それらの方法、プログラム、集積回路およびトランスコード装置

Info

Publication number: WO2012035728A1
Application number: PCT/JP2011/005063
Authority: WO
Inventors: 健田中; 直樹吉松; 圭一黒川; 大輔岩橋
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-09-16
Filing date: 2011-09-09
Publication date: 2012-03-22
Anticipated expiration: 2013-03-16
Also published as: WO2012035730A1; JPWO2012035730A1; EP2618579B1; US20120294376A1; US20120275516A1; EP2618580B1; CN102550030A; EP2618579A4; CN103098474B; US9185406B2; EP2618580A4; US8982964B2; EP2618580A1; CN103098474A; JPWO2012035728A1; EP2618579A1; CN102550030B

Abstract

　復号効率を向上するとともに、容易に実現可能な画像復号装置（Ｃ１００）は、符号化画像データを分割することによって第１および第２の符号化画像データを生成する分割部（Ｃ１０１）と、フレーム記憶部（Ｃ１０２）と、第１および第２の符号化画像データを並列に復号する第１および第２の復号部（Ｃ１０３，Ｃ１０４）と、情報記憶部（Ｃ１０５）とを備え、第１の復号部（Ｃ１０３）は、情報記憶部（Ｃ１０５）に格納されている第２の復号結果情報を用いて第１の符号化画像データを復号し、その復号によって生成される情報の一部を第１の復号結果情報として情報記憶部（Ｃ１０５）に格納し、第２の復号部（Ｃ１０４）は、情報記憶部（Ｃ１０５）に格納されている第１の復号結果情報を用いて第２の符号化画像データを復号し、その復号によって生成される情報の一部を第２の復号結果情報として情報記憶部（Ｃ１０５）に格納する。

Description

画像復号装置、画像符号化装置、それらの方法、プログラム、集積回路およびトランスコード装置

　本発明は、符号化された画像を復号する画像復号装置および画像を符号化する画像符号化装置等に関するもので、特に、復号を並列に実行する画像復号装置および符号化を並列に実行する画像符号化装置等に関するものである。

　動画像を符号化する画像符号化装置は、動画像を構成する各ピクチャを１６×１６画素からなるマクロブロックに分割し、その動画像をマクロブロックごとに符号化する。そして、画像符号化装置は、符号化された動画像を示す符号化ストリームを生成する。画像復号装置は、この符号化ストリームをマクロブロック単位に復号し、元の動画像の各ピクチャを再生する。

　従来の符号化方式の１つとしてＩＴＵ－Ｔ（国際電気通信連合電気通信標準化部門）　Ｈ．２６４規格がある（例えば、非特許文献１を参照）。Ｈ．２６４規格では、可変長符号が採用されており、可変長符号では、各マクロブロックが可変長に符号化される。さらに、Ｈ．２６４規格では、面内予測、動きベクトルの算出、およびデブロックフィルタ処理といった各処理において、符号化対象または復号対象のマクロブロックと、当該マクロブロックに隣接する他のマクロブロックとの間にデータの依存関係がある。

　図４７は、データの依存関係を示す図である。

　図４７に示すように、復号対象マクロブロックＭＢｘの面内予測には、その復号対象マクロブロックＭＢｘに隣接するマクロブロックＭＢａ～ＭＢｄの画素が用いられる。同様に、復号対象マクロブロックＭＢｘの動きベクトルの算出には、その復号対象マクロブロックＭＢｘに隣接するマクロブロックＭＢａ～ＭＢｃの動きベクトルが用いられる。また、復号対象マクロブロックＭＢｘのデブロックフィルタ処理には、その復号対象マクロブロックＭＢｘに隣接するマクロブロックＭＢａ，ＭＢｂの画素が用いられる。

　したがって、このＨ．２６４では、通常、ピクチャに含まれる各マクロブロックを符号化ストリームの先頭側から順に復号しなければならない。つまり、Ｈ．２６４を採用する画像復号装置および画像符号化装置では、通常、並列処理による復号または符号化の高速化を行うことができず、動作周波数の向上による高速化をせざるを得なかった。

　一方、先行技術の中には、このような課題を解決するものがある（たとえば、特許文献１を参照）。

　図４８Ａは、上記特許文献１における画像復号装置の構成を示す構成図である。

　この図４８Ａに示すように、上記特許文献１の画像復号装置１０００では、２つの復号部（コーデックエレメント）１３００ａ，１３００ｂが並列に動作する。これにより性能が向上する。具体的には、ストリーム解析部１１００は符号化ストリームを２つの復号部１３００ａ，１３００ｂに供給し、マクロブロックパイプライン制御部１２００は、２つの復号部１３００ａ，１３００ｂのパイプライン動作を制御する。ここで、復号部１３００ａ，１３００ｂはそれぞれ、可変長復号を行うＶＣＬ１３０１と、逆量子化および逆周波数変換を行うＴＲＦ１３０２と、動き補償を行うＭＣ１３０３とを備える。つまり、復号部１３００ａ，１３００ｂはそれぞれ、可変長復号と、逆量子化および逆周波数変換と、動き補償とを行うことにより、復号対象のマクロブロックを復号（画面間予測復号）する。

　図４８Ｂは、上記特許文献１における画像復号装置１０００の動作を説明するための説明図である。

　上記特許文献１では、図４８Ｂに示すように、マクロブロックパイプライン制御部１２００は、復号部１３００ａ，１３００ｂによって復号されるマクロブロックの位置を水平方向に２マクロブロック（垂直方向に１マクロブロック）ずらす。さらに、マクロブロックパイプライン制御部１２００は、２つの復号対象マクロブロックのそれぞれに対する復号部分処理（可変長復号と、逆量子化および逆周波数変換と、動き補償とのうちの何れか１つの処理）を、ＴＳ（タイムスロット）時間ごとに、そのＴＳ時間内で復号部１３００ａ，１３００ｂに実行させる。つまり、マクロブロックパイプライン制御部１２００は、所定の期間ごとに、その期間内で復号部１３００ａ，１３００ｂが１つのマクロブロックを復号するように、言い換えれば、マクロブロックごとに同期して動作するように、復号部１３００ａ，１３００ｂを制御する。これにより、データの依存関係を守って並列処理による復号が行われる。

特開２００８－４２５７１号公報

Ｔｈｏｍａｓ　Ｗｉｅｇａｎｄ　ｅｔ　ａｌ、"Ｏｖｅｒｖｉｅｗ　ｏｆ　ｔｈｅ　Ｈ．２６４／ＡＶＣ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　Ｓｔａｎｄａｒｄ"、ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＣＩＲＣＵＩＴＳ　ＡＮＤ　ＳＹＳＴＥＭＳ　ＦＯＲ　ＶＩＤＥＯ　ＴＥＣＨＮＯＬＯＧＹ、　ＪＵＬＹ　２００３、ＰＰ．１－１９．

　しかしながら、上記特許文献１の画像復号装置１０００では、復号効率の向上を妨げ、さらに、実現が難しいという問題がある。

　具体的には、上記特許文献１の画像復号装置１０００では、２つの復号部１３００ａ，１３００ｂがＴＳ時間に合わせて同期して動くために、１つのＴＳ時間に対する復号部１３００ａ，１３００ｂのそれぞれの復号部分処理に要する時間のうち、長い方の時間に合わせてそのＴＳ時間を設計する必要がある。復号部が３つ以上あれば、各復号部の復号部分処理に要する時間のうち、最も長い時間にＴＳ時間を設計する必要があるため、復号部の数が多いほど、復号効率の向上が妨げられる。また、一方の復号部によるマクロブロックの復号が早く終わった場合でも、２つの復号部１３００ａ，１３００ｂがマクロブロックごとに同期して動く必要があるため、他方の復号部によるマクロブロックの復号が終わるまで、一方の復号部は次のマクロブロックの復号を行うことができない。その結果、復号部１３００ａ，１３００ｂの何れか一方の復号が中断し、タイムロスが発生し、復号効率の向上が妨げられる。

　さらに、上記特許文献１の画像復号装置１０００では、復号部の数が多いほど、全ての復号部のＴＳ時間に従った同期を維持するための処理がマクロブロックパイプライン制御部１２００に集中する。その結果、マクロブロックパイプライン制御部１２００と復号部との間の信号線が増加し、回路実現が難しくなる。

　そこで、本発明は、上記問題を解決するものであって、復号効率または符号化効率を向上するとともに、容易に実現可能な画像復号装置および画像符号化装置を提供することを目的とする。

　上記目的を達成するために、本発明の一態様に係る画像復号装置は、符号化画像データを復号する画像復号装置であって、前記符号化画像データを格納する第１の記憶部と、前記符号化画像データを分割することによって第１および第２の符号化画像データを生成する分割部と、前記第１の符号化画像データを記憶しておく第２の記憶部と、前記第２の符号化画像データを記憶しておく第３の記憶部と、フレーム記憶部と、前記第１および第２の符号化画像データを並列に復号して前記フレーム記憶部に格納する第１および第２の復号部と、前記第１および第２の復号部による復号に用いられる第１および第２の復号結果情報を格納するための情報記憶部とを備え、前記第１の復号部は、前記情報記憶部に格納されている前記第２の復号結果情報を用いて前記第１の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第１の復号結果情報として前記情報記憶部に格納し、前記第２の復号部は、前記情報記憶部に格納されている前記第１の復号結果情報を用いて前記第２の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第２の復号結果情報として前記情報記憶部に格納する。

　これにより、符号化画像データ（符号化ストリーム）が第１および第２の符号化画像データ（分割ストリーム）に分割され、その第１および第２の符号化画像データがそれぞれ第１および第２の復号部によって並列に復号されるため、各復号部による復号のタイミングを集中的に制御する上記特許文献１のようなマクロブロックパイプライン制御部を省くことができる。さらに、画像復号装置が、符号化画像データを３つ以上のデータに分割し、それらのデータを並列に復号するための多くの復号部を備えるような場合でも、上記特許文献１のようなマクロブロックライン制御部と各復号部との間の信号線を敷設する必要がなく、画像復号装置を簡単に実現することができる。さらに、本発明の一態様に係る画像復号装置では、Ｈ．２６４規格におけるデータの依存関係によって必要とされる第１および第２の復号結果情報（周辺情報）は、情報記憶部（周辺情報メモリ）を介して第１および第２の復号部の間で送受信される。したがって、第１および第２の復号部は、それぞれ復号に必要とされる第１または第２の復号結果情報が情報記憶部に格納されていれば、他方の復号部による復号を待つことなく、その格納されている第１または第２の復号結果情報を用いて第１または第２の符号化画像データの復号を継続して行うことができる。その結果、上記特許文献１の画像復号装置のように復号が中断してタイムロスが発生してしまうようなことを抑えることができ、復号効率の向上を図ることができる。

　また、前記情報記憶部は、第１および第２の情報記憶部を備え、前記第１の復号部は、前記第１の情報記憶部から前記第２の復号結果情報を読み出して前記第１の符号化画像データの復号に用い、前記第１の復号結果情報を前記第２の情報記憶部に格納し、前記第２の復号部は、前記第２の情報記憶部から前記第１の復号結果情報を読み出して前記第２の符号化画像データの復号に用い、前記第２の復号結果情報を前記第１の情報記憶部に格納する。

　これにより、第１および第２の情報記憶部が備えられ、第１の情報記憶部に第２の復号結果情報が格納され、第２の情報記憶部に第１の復号結果情報が格納されるため、第１および第２の復号部からの各情報記憶部へのアクセスを分散することができる。その結果、第１および第２の情報記憶部のそれぞれに必要とされるアクセス性能を抑えることができ、画像復号装置を容易に実現することができる。

　また、前記符号化画像データは符号化されたピクチャを含み、前記ピクチャは複数のマクロブロックラインから構成され、前記マクロブロックラインは一列に配列された複数のマクロブロックから構成されており、前記分割部は、前記ピクチャを構成するマクロブロックラインごとに、当該マクロブロックラインを第１または第２の符号化画像データの一部に割り当てることによって、前記ピクチャを第１および第２の符号化画像データに分割する。

　これにより、マクロブロックラインごとにピクチャが第１または第２の符号化画像データに割り当てられるため、Ｈ．２６４規格の非ＭＢＡＦＦ構造の符号化画像データを適切に復号することができる。

　また、前記符号化画像データは符号化されたピクチャを含み、前記ピクチャは複数のマクロブロックラインから構成され、前記マクロブロックラインは一列に配列された複数のマクロブロックから構成されており、前記分割部は、前記ピクチャがＭＢＡＦＦ（Ｍａｃｒｏ　Ｂｌｏｃｋ　Ａｄａｐｔｉｖｅ　Ｆｒａｍｅ　Ｆｉｅｌｄ）構造によって符号化されている場合には、前記ピクチャを構成する互いに隣接する２つのマクロブロックラインごとに、当該２つのマクロブロックラインを第１または第２の符号化画像データの一部に割り当てることによって、前記ピクチャを分割する。

　これにより、互いに隣接する２つのマクロブロックラインごとにピクチャが第１または第２の符号化画像データに割り当てられるため、Ｈ．２６４規格のＭＢＡＦＦ構造の符号化画像データを適切に復号することができる。

　また、前記第１および第２の復号部は、前記第１および第２の情報記憶部を介して互いに同期した復号を行う。

　これにより、複数の復号部を並列に動作させるための同期信号を少なくすることができる。その結果、復号部を容易に増加することができ、復号性能を容易に向上することができる。

　また、前記第１および第２の符号化画像データはそれぞれ複数のブロックから構成され、前記第１の復号部は、前記第１の符号化画像データのうちの復号対象のブロックの復号に必要な前記第２の復号結果情報が、前記第１の情報記憶部に格納されていない場合は、前記第２の復号結果情報が格納されるまで、前記復号対象のブロックに対する復号を待ち、前記第２の復号結果情報が格納されると、前記復号対象のブロックに対する復号を開始し、前記第２の復号部は、前記第２の符号化画像データのうちの復号対象のブロックの復号に必要な前記第１の復号結果情報が、前記第２の情報記憶部に格納されていない場合は、前記第１の復号結果情報が格納されるまで、前記復号対象のブロックに対する復号を待ち、前記第１の復号結果情報が格納されると、前記復号対象のブロックに対する復号を開始する。

　これにより、第１および第２の復号部のそれぞれでは、復号対象のブロックの復号が同期して行われ、復号対象のブロックの復号に必要な復号結果情報が情報記憶部に格納されると、その復号対象のブロックの復号が開始されるため、空き時間をなくし、効率的に符号化画像データを復号することができる。また、各復号部の動作周波数を抑えることができる。

　また、前記第１および第２の復号部は、互いに隣接する２つのマクロブロックラインをそれぞれ復号し、前記第１の復号部は、復号対象のマクロブロックを復号する際には、当該復号対象のマクロブロックが属するマクロブロックラインに隣接する他のマクロブロックラインに属する前記第２の復号部によって復号された他のマクロブロックの少なくとも一部である前記第２の復号結果情報と、前記復号対象のマクロブロックとに対して、画像処理を行い、画像処理された前記復号対象のマクロブロックおよび前記第２の復号結果情報のそれぞれの少なくとも一部を前記フレーム記憶部に格納する。

　これにより、例えばデブロックフィルタ処理のような画像処理が、マクロブロックラインを跨いで行われ、その画像処理の結果がフレーム記憶部（フレームメモリ）に格納されるため、デブロックフィルタ処理を２つのマクロブロックラインで並列に行うことができ、復号性能を向上することができる。

　また、前記画像復号装置は、さらに、前記第１の情報記憶部に格納される情報を第１の情報と第２の情報とに切り替える第１のスイッチと、前記第２の情報記憶部に格納される情報を第３の情報と第４の情報とに切り替える第２のスイッチとを備え、前記第１の情報記憶部に格納される情報が前記第１のスイッチによって前記第１の情報に切り替えられ、前記第２の情報記憶部に格納される情報が前記第２のスイッチによって前記第３の情報に切り替えられた際には、前記第１の復号部は、前記第１の復号結果情報を前記第３の情報として前記第２の情報記憶部に格納し、前記第２の復号部は、前記第２の復号結果情報を前記第１の情報として前記第１の情報記憶部に格納し、前記第１の情報記憶部に格納される情報が前記第１のスイッチによって前記第２の情報に切り替えられ、前記第２の情報記憶部に格納される情報が前記第２のスイッチによって前記第４の情報に切り替えられた際には、前記第１の復号部は、さらに、前記第１の情報記憶部から前記第２の情報を読み出して他の符号化画像データの復号に用い、当該復号によって生成される情報の一部を新たな第２の情報として前記第１の情報記憶部に格納し、前記第２の復号部は、さらに、前記第２の情報記憶部から前記第４の情報を読み出して前記符号化画像データの復号に用い、当該復号によって生成される情報の一部を新たな第４の情報として前記第２の情報記憶部に格納する。

　これにより、第１および第２の情報記憶部に格納される情報が第１および第２のスイッチによって第１および第３の情報にそれぞれ切り替えられた際には、第１および第２の符号化画像データが並列に復号され、第１および第２の情報記憶部に格納される情報が第１および第２のスイッチによって第２および第４の情報にそれぞれ切り替えられた際には、符号化画像データと他の符号化画像データとが同時に復号される。したがって、第１および第２のスイッチによって、１つの符号化画像データを分割して並列に復号する処理と、独立した２つの符号化画像データを同時に復号する処理とを切り替えることができ、画像復号装置の利便性を向上することができる。

　また、前記画像復号装置は、さらに、前記分割部による分割の対象とされるデータを前記符号化画像データと他の符号化画像データとに切り替えるスイッチを備え、前記分割部は、前記スイッチによって、分割の対象とされるデータが前記符号化画像データに切り替えられた際には、前記符号化画像データを分割し、前記スイッチによって、分割の対象とされるデータが前記他の符号化画像データに切り替えられた際には、前記他の符号化画像データを分割する。

　これにより、２つの符号化画像データを時間的に切り替えて復号することが可能になる。例えば、符号化画像データに含まれるピクチャが復号されると、分割の対象とされるデータが他の符号化画像データに切り替えられる。その結果、他の符号化画像データに含まれるピクチャが分割されて復号される。その後、分割の対象とされるデータが再び符号化画像データに切り替えられる。このように、ピクチャ単位で切り替えを行い、２つの符号化画像データを同時に復号することが可能になる。

　また、前記画像復号装置は、さらに、復号された前記第１および第２の符号化画像データである動画像を前記フレーム記憶部から読み出し、表示装置によって設定されているフレームレートで前記動画像が表示されるように、前記動画像に含まれるピクチャを間引き、ピクチャが間引きされた前記動画像を前記表示装置に出力する出画部を備える。

　これにより、符号化画像データが高速に復号され、その復号によって生成された動画像に含まれるピクチャが間引かれ、ピクチャが間引かれた動画像が表示装置に出力されることにより、早送り再生された動画像を表示装置に滑らかに表示させることが可能になる。符号化画像データが２つの復号部によって復号されることにより、例えば通常の２倍のフレームレートでピクチャが復号される。一方、表示装置では、通常のフレームレートによるピクチャの表示が設定されている。このような場合、本発明の一態様に係る画像復号装置では、表示装置に設定されているフレームレートで動画像が表示されるように、フレーム記憶部に格納されている動画像のピクチャが２枚に１枚の割合で間引かれて出力されるため、上述のように早送りされた動画像が表示装置に表示される。

　また、前記フレーム記憶部は、第１のフレーム記憶部と、第２のフレーム記憶部とを備え、前記第１の復号部は、前記第１の符号化画像データの復号に参照される参照画像を前記第１のフレーム記憶部から読み出し、復号された前記第１の符号化画像データを前記第１および第２のフレーム記憶部に書き込み、前記第２の復号部は、前記第２の符号化画像データの復号に参照される参照画像を前記第２のフレーム記憶部から読み出し、復号された前記第２の符号化画像データを前記第１および第２のフレーム記憶部に書き込む。

　これにより、第１および第２のフレーム記憶部が備えられ、第１の復号部による参照画像の読み出し先が第１のフレーム記憶部となり、第２の復号部による参照画像の読み出し先が第２のフレーム記憶部となるため、第１および第２の復号部からの各フレーム記憶部へのアクセスを分散し、フレーム記憶部１つあたりの参照画像の転送量を低減することができる。その結果、第１および第２のフレーム記憶部のそれぞれに必要とされるアクセス性能を抑えることができ、第１および第２のフレーム記憶部の実現を容易にし、画像復号装置を低コストに実現することが可能になる。

　また、上記目的を達成するために、本発明の一態様に係る画像符号化装置は、画像データを符号化する画像符号化装置であって、前記画像データを格納しているフレーム記憶部と、前記画像データに含まれる第１および第２の画像データを前記フレーム記憶部から読み出して並列に符号化することによって第１および第２の符号化画像データを生成する第１および第２の符号化部と、前記第１の符号化画像データを記憶しておく第１の記憶部と、前記第２の符号化画像データを記憶しておく第２の記憶部と、前記第１および第２の符号化部によって生成された第１および第２の符号化画像データを結合する結合部と、前記結合部による結合によって生成されたデータを記憶しておく第３の記憶部と、前記第１および第２の符号化部による符号化に用いられる第１および第２の符号化結果情報を格納するための情報記憶部とを備え、前記第１の符号化部は、前記情報記憶部に格納されている前記第２の符号化結果情報を用いて前記第１の画像データを符号化し、当該符号化によって生成される情報の一部を前記第１の符号化結果情報として前記情報記憶部に格納し、前記第２の符号化部は、前記情報記憶部に格納されている前記第１の符号化結果情報を用いて前記第２の画像データを符号化し、当該符号化によって生成される情報の一部を前記第２の符号化結果情報として前記情報記憶部に格納する。

　これにより、画像データ（画像）に含まれる第１および第２の画像データが並列に符号化されて結合されるため、各符号化部による符号化のタイミングを集中的に制御する制御部を省くことができる。さらに、画像符号化装置が、画像データの一部を符号化する符号化部を多く備えるような場合でも、上述のような制御部と各符号化部との間の信号線を敷設する必要がなく、画像符号化装置を簡単に実現することができる。さらに、本発明の一態様に係る画像符号化装置では、Ｈ．２６４規格におけるデータの依存関係によって必要とされる第１および第２の符号化結果情報（周辺情報）は、情報記憶部（周辺情報メモリ）を介して第１および第２の符号化部の間で送受信される。したがって、第１および第２の符号化部は、それぞれ符号化に必要とされる第１または第２の符号化結果情報が情報記憶部に格納されていれば、他方の符号化部による符号化を待つことなく、その格納されている第１または第２の符号化結果情報を用いて第１または第２の画像データの符号化を継続して行うことができる。その結果、符号化が中断してタイムロスが発生してしまうようなことを抑えることができ、符号化効率の向上を図ることができる。また、複数の符号化部を並列に動作させることにより、高速に符号化することが可能になり、処理性能の向上を図ることができる。

　なお、本発明は、このような画像復号装置および画像符号化装置として実現することができるだけなく、それらの処理動作の方法、コンピュータにそれらの処理動作をさせるためのプログラム、そのプログラムを格納する記録媒体、それらの装置の一部または全ての機能を有する集積回路、それらの装置の一方または両方を含むトランスコード装置としても実現することができる。

　本発明の画像復号装置および画像符号化装置は、復号効率または符号化効率を向上するとともに、容易に実現することができる。つまり、複数の復号部又は複数の符号化部の間をメモリで接続することにより、効率的に復号又は符号化することが可能になり、復号部又は符号化部の数を容易に増加させることが可能になるという効果が得られる。

図１は、本発明の実施の形態１に係る画像復号装置の構成を示す構成図である。図２は、本発明の実施の形態１に係る復号部の構成を示す構成図である。図３Ａは、本発明の実施の形態１に係る画像復号装置が復号するストリーム（ピクチャ）の構造を示す説明図である。図３Ｂは、本発明の実施の形態１に係る画像復号装置が復号するストリームの構造を示す説明図である。図４Ａは、本発明の実施の形態１に係る並列に動作する復号部の処理分担を示す説明図である。図４Ｂは、本発明の実施の形態１に係る並列に動作する復号部の処理分担（分割ストリーム）を示す説明図である。図４Ｃは、本発明の実施の形態１に係る並列に動作する復号部の処理分担（分割ストリーム）を示す説明図である。図５Ａは、本発明の実施の形態１に係る復号部によって並列に復号される２つの復号対象マクロブロックの位置を示す説明図である。図５Ｂは、本発明の実施の形態１に係る復号部によって並列に復号される２つの復号対象マクロブロックの位置を示す説明図である。図６は、本発明の実施の形態１に係る画像復号装置の復号部によるスライスの復号を示すフローチャートである。図７は、本発明の実施の形態１に係る画像復号装置の復号部によるマクロブロックの復号処理を示すフローチャートである。図８は、本発明の実施の形態１に係る画像復号装置の復号部によるマクロブロックの復号処理を示すフローチャートである。図９は、本発明の実施の形態１に係る動きベクトルの算出方法を示す説明図である。図１０は、本発明の実施の形態１に係る面内予測を示す説明図である。図１１は、本発明の実施の形態１に係る再構成画像の書き込みを示す説明図である。図１２Ａは、本発明の実施の形態１に係るデブロックフィルタ処理を示す説明図である。図１２Ｂは、本発明の実施の形態１に係るデブロックフィルタ処理を示す説明図である。図１２Ｃは、本発明の実施の形態１に係るデブロックフィルタ処理を示す説明図である。図１３は、本発明の実施の形態１に係るデブロックフィルタ画像の書き込みを示す説明図である。図１４は、本発明の実施の形態１に係る画像復号装置の周辺情報メモリからの周辺情報の読み出し処理を示すフローチャートである。図１５は、本発明の実施の形態１に係る画像復号装置の周辺情報メモリへの周辺情報の書き込み処理を示すフローチャートである。図１６は、本発明の実施の形態１に係る復号部によってフレームメモリに書き込まれる復号画像の範囲を示す説明図である。図１７は、本発明の実施の形態１に係る復号部によって復号対象とされる、符号化ストリームがＭＢＡＦＦ構造である場合のマクロブロックラインを示す説明図である。図１８は、本発明の実施の形態１に係る復号部によってフレームメモリに書き込まれる、符号化ストリームがＭＢＡＦＦ構造である場合の復号画像の範囲を示す説明図である。図１９Ａは、本発明の実施の形態１に係る画像復号装置における、符号化ストリームが非ＭＢＡＦＦ構造である場合のマクロブロックが処理されるタイミングを示す説明図である。図１９Ｂは、従来の画像復号装置における、符号化ストリームが非ＭＢＡＦＦ構造である場合のマクロブロックが処理されるタイミングを示す説明図である。図２０は、本発明の実施の形態２に係る画像復号装置の構成を示す構成図である。図２１は、本発明の実施の形態２に係る符号化ストリームの分割を示す説明図である。図２２は、本発明の実施の形態３に係る画像復号装置の構成を示す構成図である。図２３は、本発明の実施の形態４に係る画像復号装置の構成を示す構成図である。図２４は、本発明の実施の形態４に係る画像復号装置による時分割並列復号処理を示す説明図である。図２５は、本発明の実施の形態５に係る画像復号装置の構成を示す構成図である。図２６は、本発明の実施の形態５に係る画像復号装置の出画部の動作を示す説明図である。図２７は、本発明の実施の形態６に係る画像復号装置の構成を示す構成図である。図２８は、本発明の実施の形態７に係る画像符号化装置の構成を示す構成図である。図２９は、本発明の実施の形態８に係るトランスコード装置の構成を示す構成図である。図３０は、本発明の実施の形態９に係る画像復号装置の構成を示す構成図である。図３１は、本発明の実施の形態１０に係る画像復号装置の構成を示す構成図である。図３２は、本発明の実施の形態１１に係る画像復号装置の構成を示す構成図である。図３３は、本発明の実施の形態１２に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。図３４は、本発明の実施の形態１２に係るデジタル放送用システムの全体構成図である。図３５は、本発明の実施の形態１２に係るテレビの構成例を示すブロック図である。図３６は、本発明の実施の形態１２に係る情報再生／記録部の構成例を示すブロック図である。図３７は、本発明の実施の形態１２に係る光ディスクである記録メディアの構造例を示す図である。図３８は、本発明の実施の形態１３に係る画像復号装置を実現する集積回路の構成例を示す構成図である。図３９は、本発明の一態様に係る画像復号装置の構成図である。図４０は、本発明の一態様に係る画像復号装置の動作を示すフローチャートである。図４１は、本発明の他の態様に係る集積回路の構成図である。図４２は、本発明の他の態様に係る画像復号装置の構成図である。図４３は、本発明のさらに他の態様に係る画像復号装置の構成図である。図４４は、本発明の一態様に係る画像符号化装置の構成図である。図４５は、本発明の一態様に係る画像符号化装置の動作を示すフローチャートである。図４６は、本発明の一態様に係るトランスコード装置の構成図である。図４７は、Ｈ．２６４規格におけるデータ依存関係を示す図である。図４８Ａは、従来の画像復号装置の構成を示す構成図である。図４８Ｂは、従来の画像復号装置の動作を示す説明図である。

　以下、本発明の実施の形態における画像復号装置および画像符号化装置について、図面を参照しながら説明する。

　（実施の形態１）
　　（１－１．概要）
　まず、本発明の実施の形態１における画像復号装置の概要について説明する。

　本実施の形態における画像復号装置は、画像を符号化して生成された符号化ストリームをストリーム分割部で読み出して、２つの復号部で並列に復号できるように分割し、その分割によって生成された２つの分割ストリームを２つのバッファにそれぞれ格納する。２つの復号部のそれぞれは、バッファに格納された分割ストリームを読み出して復号する。このとき、２つの復号部のそれぞれは、他方の復号部による復号結果の一部を、周辺情報メモリを介して参照することによって、他方の復号部と同期をとりながらその分割ストリームを復号する。

　　（１－２．構成）
　次に、本実施の形態の画像復号装置の構成について説明する。

　図１は、本実施の形態の画像復号装置の構成図である。

　本実施の形態の画像復号装置１００は、符号化ストリームをバッファリングするＣＰＢ（Ｃｏｄｅｄ　Ｐｉｃｔｕｒｅ　Ｂｕｆｆｅｒ）１と、符号化ストリームを分割するストリーム分割部２と、分割によって生成された分割ストリームを格納するためのバッファ３，４と、可変長復号、逆周波数変換、および動き補償などによる復号を行う復号部５，６と、周辺マクロブロックの復号結果の一部であって、復号対象マクロブロックの復号に使用される周辺情報を格納するための周辺情報メモリ７，８と、復号部５，６と周辺情報メモリ７，８の間のデータ転送を行う転送部９，１０と、復号された分割ストリーム（復号画像）を格納するためのフレームメモリ１１とを備える。また、復号部５、復号部６、周辺情報メモリ７、周辺情報メモリ８、転送部９および転送部１０をまとめて並列復号部６０と呼ぶ。なお、周辺マクロブロックは、復号対象マクロブロックの左上、上、右上および左に隣接するマクロブロックである。これらの周辺マクロブロックのうち、左に隣接するマクロブロックを除く、３つのマクロブロックの復号結果の一部が、上述の周辺情報として転送部９，１０によって転送される。

　図２は、本実施の形態の復号部５の構成図である。なお、図２中、図１と同じ構成要素については説明を省略する。また、図２では、説明の都合上、転送部９を２つに分けて表している。

　復号部５は、可変長復号を行う可変長復号部１２と、逆量子化処理を行う逆量子化部１３と、逆周波数変換処理を行う逆周波数変換部１４と、逆周波数変換処理されたデータ（差分画像）と動き補償又は面内予測によって生成された予測画像とから画像（再構成画像）を復元する再構成部１５と、ピクチャ内の４つの周辺マクロブロックから予測画像を生成する面内予測部１６と、動きベクトルを計算する動きベクトル計算部１７と、動きベクトルが指す位置の参照画像をフレームメモリ１１から取得し、フィルタ処理することによって予測画像を生成する動き補償部１８と、再構成画像にブロックノイズを低減するデブロックフィルタ処理を行うデブロックフィルタ部１９とを備える。なお、復号部６の構成は復号部５と同じである。

　　（１－３．動作）
　次に、図１および図２で示した画像復号装置１００の動作について説明する。

　図３Ａおよび図３Ｂは、符号化ストリームの構成を示す図である。

　図３Ａに示すように、符号化ストリームに含まれる１つのピクチャは、それぞれ１６画素×１６画素で構成される複数のマクロブロックを含む。なお、場合によって、ピクチャは１つ又は複数のマクロブロックからなるスライスを持つ場合もあるが、Ｈ．２６４規格においては必ずしもスライスを持たないので、図３Ａではそのスライスを記載していない。このマクロブロックが復号を行う処理単位となる。ここで、図３Ａのマクロブロックの中の数字は、そのマクロブロックの一般的な符号化順序を示すマクロブロック番号（マクロブロックアドレス）である。

　次に、符号化ストリームでは、図３Ｂに示すように、スタートコード（ＳＣ）に続いてピクチャヘッダがあり、次にスタートコード、スライスヘッダ（ＳＨ）、およびスライスデータが続く。これらの一連のデータで１つのピクチャ（図３Ａに示すピクチャ）が構成される。ピクチャヘッダは、Ｈ．２６４規格でのＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）並びにＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）などのピクチャ単位で付加される各種ヘッダ情報を示す。スタートコードは、同期語とも言われ、スライスデータなどの符号化された画像のデータ中には出現しない特定のパターンで構成されている。このような符号化ストリームを復号する際には、符号化ストリームを先頭から順にサーチすることで、スタートコードを検出し、ピクチャヘッダやスライスヘッダの開始位置を知ることができる。

　画像復号装置１００の処理動作には、大きく２つある。１つめの処理動作は、ストリーム分割部２がＣＰＢ１から符号化ストリームを読み出して２つに分割し、その分割によって生成された２つの分割ストリームをそれぞれバッファ３および４に格納する動作である。２つめの処理動作は、バッファ３および４のそれぞれから分割ストリームを読み出し、それらを復号部５および６が同期しながら復号する動作である。この２つの処理動作は非同期に行うことができる。

　まず、１つめの処理動作、つまり符号化ストリームの分割について説明する。

　ストリーム分割部２は、符号化ストリームを少なくともマクロブロック境界が分かるまで復号し、符号化ストリームを構成するピクチャごとに、そのピクチャに含まれる複数のマクロブロックラインのそれぞれをバッファ３または４に格納する。例えば、先頭のマクロブロックラインをバッファ３に格納し、２番のマクロブロックラインをバッファ４に格納し、３番目のマクロブロックラインをバッファ３に格納する。これにより、符号化ストリームが２つに分割され、その結果、２つの分割ストリームが生成される。なお、マクロブロックラインは、ピクチャ内で水平方向に一列に配列された複数のマクロブロックから構成される。

　図４Ａ、図４Ｂおよび図４Ｃは、復号部５および復号部６のそれぞれの復号対象となるマクロブロックラインを示す図である。

　図４Ａに示すように、ストリーム分割部２は、ＣＰＢ１から符号化ストリームを読み出し、その符号化ストリームのうち、マクロブロックアドレス０から９までのマクロブロックラインおよびマクロブロックアドレス２０から２９までのマクロブロックラインが復号部５によって復号されるように、それらのマクロブロックラインをバッファ３に格納する。さらに、ストリーム分割部２は、その符号化ストリームのうち、マクロブロックアドレス１０から１９までのマクロブロックラインおよびマクロブロックアドレス３０から３９までのマクロブロックラインが復号部６によって復号されるように、それらのマクロブロックラインをバッファ４に格納する。この時、図４Ｂおよび図４Ｃに示すように、ピクチャヘッダおよびスライスヘッダは複製されてバッファ３および４の両方に格納される。その結果、図４Ｂに示すように、２つの分割ストリームのうちの一方であって、バッファ３に格納される分割ストリームでは、ピクチャの直前には必ずピクチャヘッダがあり、スライスデータの直前には必ずスライスヘッダがある。同様に、図４Ｃに示すように、２つの分割ストリームのうちの他方であって、バッファ４に格納される分割ストリームでは、ピクチャの直前には必ずピクチャヘッダがあり、スライスデータの直前には必ずスライスヘッダがある。

　例えば、分割前の元の符号化ストリームでは、マクロブロックアドレス０から９までのマクロブロックからなるマクロブロックラインと、マクロブロックアドレス１０から１９までのマクロブロックからなるマクロブロックラインとが同一のスライスに含まれている。そして、そのスライスのスライスヘッダは、マクロブロックアドレス０のマクロブロックの前にあり、マクロブロックアドレス１０のマクロブロックの前にはない。このような場合、単純に、符号化ストリームに含まれる複数のマクロブロックラインのそれぞれをバッファ３または４に格納すれば、マクロブロックアドレス１０から１９までのマクロブロックからなるマクロブロックラインには、スライスヘッダが含まれない。そこで、ストリーム分割部２は、マクロブロックアドレス０のマクロブロックの直前にあるスライスヘッダを複製し、マクロブロックアドレス１０のマクロブロックの直前に挿入する。

　また、ストリーム分割部２は、マクロブロックの順に依存があって、且つマクロブロックライン毎に分割ができないシンタックス（mb_qp_deltaおよびmb_skip_run）を復号し、マクロブロックライン毎に並列に復号できるように変換する。例えば、mb_qp_deltaは、マクロブロック間のｑｐ値（量子化パラメータ）の差分が符号化されたものである。ストリーム分割部２は、マクロブロックラインの先頭のマクロブロックに対するmb_qp_deltaを、差分ではなくｑｐ値そのものに変換し、バッファ３およびバッファ４に格納する。一方、ストリーム分割部２は、先頭以外のマクロブロックに対するmb_qp_deltaについては、Ｈ．２６４で規定されているとおり、差分をmb_qp_deltaとしてバッファ３およびバッファ４に格納する。mb_skip_runは、スキップマクロブロックがいくつ続くかを示すシンタックスである。ストリーム分割部２は、このmb_skip_runを、マクロブロックライン単位でスキップマクロブロックがいくつ続くかを示す値に変換する。

　このようなストリーム分割部２の動作の詳細は国際公開第２０１０／０４１４７２号および国際公開第２０１０／０６７５０５号に示されており、ここでは省略する。

　次に、復号部５および復号部６の復号動作について説明する。

　図４７に示すように、復号対象マクロブロックＭＢｘに対する面内予測では、その復号対象マクロブロックＭＢｘの左上、上、右上および左にある周辺マクロブロックＭＢａ～ＭＢｄの再構成画像が必要である。復号対象マクロブロックＭＢｘに対する動きベクトルの算出では、その復号対象マクロブロックＭＢｘの上、右上および左にある周辺マクロブロックＭＢａ～ＭＢｃの動きベクトルが必要である。また、デブロックフィルタ処理では、復号対象マクロブロックＭＢｘの上および左にある周辺マクロブロックＭＢｂ，ＭＢａに対してデブロックフィルタ処理された結果が必要である。このように、Ｈ．２６４規格においては、図４Ａに示したようにマクロブロックライン単位に符号化ストリームを分割した場合には、復号対象マクロブロックと、このような周辺マクロブロック、特に上側の周辺マクロブロックとのデータ依存を解決しなければ、２つの分割ストリームを並列に復号することができない。そこで、本実施の形態における画像復号装置１００は、並列に復号される２つの復号対象マクロブロックの水平方向の位置をずらすことによって、上述のデータ依存関係を保ちながら２つの分割ストリームを並列に復号する。なお、本発明の説明において、上側の周辺マクロブロックとは、復号対象マクロブロックに対して左上、上および右上に隣接する周辺マクロブロックのうちの少なくとも１つのマクロブロックである。

　図５Ａおよび図５Ｂは、並列に復号される２つの復号対象マクロブロックの位置を示す図である。

　図５Ａに示すように、復号部５によって復号される復号対象マクロブロックが、復号部６によって復号される復号対象マクロブロックと比べて水平方向に少なくとも２マクロブロック先にあればよい。このような場合には、図４７に示した復号対象ブロックと周辺マクロブロックとの間のデータ依存関係、特に、復号対象マクロブロックと上側の周辺マクロブロックとの間のデータ依存関係を解決して、復号部５と復号部６が並列に同時に復号を行うことができる。つまり、復号部５および６のそれぞれが上下に隣接する２つのマクロブロックラインを復号する場合、復号部６は、復号部５によって復号される復号対象マクロブロックから、水平方向に少なくとも２マクロブロックだけ左にあるマクロブロックを復号対象マクロブロックとして復号する。

　ここで、復号部５と復号部６によって復号される復号対象マクロブロックの位置は、水平方向に少なくとも２マクロブロックずれていればよく、図５Ｂに示すように、２マクロブロックよりも多くずれていても構わない。

　次に、復号部５および復号部６が図５Ａおよび図５Ｂに示すような位置関係を維持して同期して復号する方法について図６に示すフローチャートを用いて説明する。

　図６は、画像復号装置１００の復号部５によるスライスの復号を示すフローチャートである。

　なお、本実施の形態では、復号部５は、マクロブロックアドレス０から９のマクロブロックラインと、マクロブロックアドレス２０から２９のマクロブロックラインと、マクロブロックアドレス４０から４９のマクロブロックラインとを復号し、復号部６は、マクロブロックアドレス１０から１９のマクロブロックラインと、マクロブロックアドレス３０から３９のマクロブロックラインと、マクロブロックアドレス５０から５９のマクロブロックラインとを復号するものとする。

　復号部５の可変長復号部１２は、バッファ３から分割ストリームの一部のデータを読み込む（Ｓ１００）。可変長復号部１２は、読み込んだデータに対してスタートコードをサーチする（Ｓ１０１）。つまり、可変長復号部１２は、読み込んだデータにスタートコードがあるか否かを判別する。スタートコードが見つからなければ（Ｓ１０１でＮｏ）、可変長復号部１２は、スタートコードが見つかるまで、さらにバッファ３から次のデータを読み込む（Ｓ１００）。スタートコードが見つかれば（Ｓ１０１でＹｅｓ）、可変長復号部１２はヘッダのデコードを行う（Ｓ１０２）。可変長復号部１２はヘッダのデコードの結果に基づいて、そのヘッダに続くデータがスライスデータであるか否かを判別する（Ｓ１０３）。

　ここで、スライスデータではないと判別される場合は（Ｓ１０３でＮｏ）、可変長復号部１２はバッファ３から次のデータを再度読み込む（Ｓ１０１）。一方、スライスデータであると判別される場合は（Ｓ１０３でＹｅｓ）、復号部５はそのスライスデータ（スライス）に含まれるマクロブロックの復号処理を行う（Ｓ１０４）。マクロブロックの復号処理の詳細は後で説明する。そして、可変長復号部１２は、スライス中の全てのマクロブロックの復号が完了したか否かを判別する（Ｓ１０５）。ここで、完了していないと判別された場合（Ｓ１０５でＮｏ）は、復号部５はマクロブロックの復号処理を再度行う（Ｓ１０４）。一方、スライス中の全てのマクロブロックの復号が完了したと判別された場合（Ｓ１０５でＹｅｓ）は、復号部５はスライスに対する復号を終了する。

　次に、図６のマクロブロックの復号処理（Ｓ１０４）の詳細を図７および図８のフローチャートを用いて説明する。

　図７および８は、マクロブロックの復号処理を示すフローチャートである。

　可変長復号部１２は、バッファ３から読み出したマクロブロックのデータを可変長復号する（Ｓ１１０）。次に、逆量子化部１３は、可変長復号の結果得られた係数データを逆量子化する（Ｓ１１１）。次に、逆周波数変換部１４は、逆量子化された係数データに対して逆周波数変換を行う（Ｓ１１２）。次に、動きベクトル計算部１７は、後で復号対象マクロブロックの動きベクトルの算出を行うために、周辺情報メモリ７から、転送部９を用いて上側の周辺マクロブロックの動きベクトルを周辺情報として読み出す（Ｓ１１３）。この動きベクトルの読み出し処理（Ｓ１１３）の詳細はあとで説明する。さらに、面内予測部１６は、後で復号対象マクロブロックの面内予測を行うために、上側の周辺マクロブロックの再構成画像の一部を周辺情報として周辺情報メモリ７から転送部９を用いて読み出す（Ｓ１１４）。この再構成画像の読み出し処理（Ｓ１１４）の詳細はあとで説明する。

　ここで、復号部５は、復号対象マクロブロックがインターＭＢ（画面間予測によって復号されるマクロブロック）であるかどうかを判定する（Ｓ１１５）。インターＭＢであると判定される場合（Ｓ１１５でＹｅｓ）には、動きベクトル計算部１７は、ステップＳ１１３で読み出された上側の周辺マクロブロックの動きベクトルを用いて復号対象マクロブロックの動きベクトルを算出する（Ｓ１１６）。

　動き補償部１８は、ステップＳ１１６で算出された動きベクトルを用いてフレームメモリ１１から参照画像を読み出し、その参照画像に基づいて動き補償を行うことによって、予測画像を生成する（Ｓ１１７）。

　一方、ステップＳ１１５で、復号対象マクロブロックがインターＭＢではないと判定される場合（Ｓ１１５でＮｏ）には、すなわち復号対象マクロブロックがイントラＭＢ（面内予測によって復号されるマクロブロック）の場合には、面内予測部１６は、ステップＳ１１４で読み出された上側の周辺マクロブロックの再構成画像を用いて復号対象マクロブロックに対する面内予測を行う（Ｓ１１８）。

　次に、図８に示すように、動きベクトル計算部１７は、ステップＳ１１６で算出された復号対象マクロブロックの動きベクトルを周辺情報として転送部９を介して周辺情報メモリ８に書き込む（Ｓ１２０）。周辺情報として書き込まれる動きベクトルは、全ての算出された動きベクトルでもよいが、下側のマクロブロックの動きベクトルの算出に使用される動きベクトルだけでもよい。つまり、ステップＳ１２０では、動きベクトル計算部１７は、ステップＳ１１６で算出された動きベクトルを必ず周辺情報メモリ８に書き込むことなく、その動きベクトルが下側のマクロブロックの動きベクトルの算出に使用される場合にのみ、そのステップＳ１１６で算出された動きベクトルを周辺情報メモリ８に書き込んでもよい。なお、動きベクトルの周辺情報メモリへの書込み処理（Ｓ１２０）は後で説明する。

　次に、再構成部１５は、動き補償（Ｓ１１７）又は面内予測（Ｓ１１８）によって生成された予測画像と、ステップＳ１１２の逆周波数変換によって生成された差分画像とを加算することにより、再構成画像を生成する（Ｓ１２１）。このように再構成画像を生成する処理を、以下、再構成処理という。さらに、再構成部１５は、ステップＳ１２１で生成された再構成画像の一部を周辺情報として転送部９を介して周辺情報メモリ８に書き込む（Ｓ１２２）。このとき、書き込まれる再構成画像は、再構成画像の全てでもよいが、下側のマクロブロックの面内予測に使用される部分だけでもよい。再構成画像の書込み処理（Ｓ１２２）は、後で説明する。

　次に、デブロックフィルタ部１９は、周辺情報メモリ７から転送部９を用いて、デブロックフィルタ処理された上にある周辺マクロブロックのうちの一部の画像（デブロックフィルタ画像）を周辺情報として読み出す（Ｓ１２３）。このデブロックフィルタ画像の読み出し処理については後で説明する。デブロックフィルタ部１９は、このデブロックフィルタ画像を用いて、復号対象マクロブロックのデブロックフィルタ処理を行い、処理の結果（復号画像）をフレームメモリ１１に書き込む（Ｓ１２４）。

　次に、デブロックフィルタ部１９は、デブロックフィルタ処理された復号対象マクロブロックとその左隣にある周辺マクロブロックのうち、下のマクロブロックのデブロックフィルタ処理で使用される画像（後述する、書き込み対象デブロックフィルタ画像）を周辺情報として転送部９を介して周辺情報メモリ８に書き込む（Ｓ１２５）。

　図９は、図７のステップＳ１１６における動きベクトルの算出方法を説明するための説明図である。

　動きベクトル計算部１７は、図９に示すように、復号対象マクロブロックＭＢｘの動きベクトルｍｖを算出するときには、復号対象マクロブロックＭＢｘの上および右上にある周辺マクロブロックＭＢｂ，ＭＢｃの動きベクトルｍｖＢ，ｍｖＣと、復号対象マクロブロックＭＢｘの左にある周辺マクロブロックＭＢａの既に算出された動きベクトルｍｖＡとを用いる。ここで、動きベクトル計算部１７は、事前に（図７のステップＳ１１３で）、上側の周辺マクロブロックＭＢｂ，ＭＢｃの動きベクトルｍｖＢ，ｍｖＣを、転送部９を介して周辺情報メモリ７から読み出すことによって、それらの動きベクトルｍｖＢ，ｍｖＣを利用することができる。

　具体的には、動きベクトル計算部１７は、動きベクトルｍｖＡ，ｍｖＢ，ｍｖＣの中央値を求めることによって、復号対象マクロブロックＭＢｘの動きベクトルｍｖの予測動きベクトルｍｖｐを算出する。そして、動きベクトル計算部１７は、その予測動きベクトルｍｖｐに差分動きベクトルｍｖｄを加算することによって、復号対象マクロブロックＭＢｘの動きベクトルｍｖを算出する。なお、差分動きベクトルｍｖｄは、分割ストリーム（符号化ストリーム）中に可変長符号化された状態で含まれている。したがって、動きベクトル計算部１７は、可変長復号部１２から可変長復号された差分動きベクトルｍｖｄを取得し、その差分動きベクトルｍｖｄを用いて上述の動きベクトルｍｖを算出する。

　図１０は、図７のステップＳ１１８における面内予測を説明するための説明図である。

　面内予測部１６は、図１０に示すように、面内予測モードにしたがって、復号対象マクロブロックＭＢｘの左上、上、右上および左にある周辺マクロブロックＭＢａ～ＭＢｄの再構成画像を用い、復号対象マクロブロックＭＢｘに対する面内予測を行う。具体的には、面内予測部１６は、周辺マクロブロックＭＢａの再構成画像のうちの右端の１×１６画素からなる再構成部分画像と、周辺マクロブロックＭＢｄの再構成画像のうちの右下の４×１画素からなる再構成部分画像と、周辺マクロブロックＭＢｂの再構成画像のうちの下側の１６×１画素からなる再構成部分画像と、周辺マクロブロックＭＢｃの再構成画像のうちの左端の８×１画素からなる再構成部分画像とを用いる。ここで、面内予測部１６は、事前に（図７のステップＳ１１４で）、上側の周辺マクロブロックＭＢｃ～ＭＢｄの再構成部分画像を、転送部９を介して周辺情報メモリ７から読み出すことによって、それらの再構成部分画像を利用することができる。なお、面内予測モードは、分割ストリーム（符号化ストリーム）中に可変長符号化された状態で含まれている。したがって、面内予測部１６は、可変長復号部１２から可変長復号された面内予測モードを取得し、その面内予測モードにしたがって上述の面内予測を行う。

　図１１は、図８のステップＳ１２２における再構成画像の書き込みを説明するための説明図である。

　再構成部１５は、図８のステップＳ１２２では、図１１に示すように、復号対象マクロブロックＭＢｘの再構成画像のうち、下側の１６×１画素からなる画像を書き込み対象再構成部分画像として転送部９を介して周辺情報メモリ８に書き込む。つまり、その１６×１画素からなる書き込み対象再構成部分画像は、例えば、復号対象マクロブロックＭＢｘの下にある他のマクロブロックの復号部６による面内予測に、再構成部分画像として用いられる。

　図１２Ａ～図１２Ｃは、図８のステップＳ１２４におけるデブロックフィルタ処理を説明するための説明図である。

　デブロックフィルタ処理は、４×４画素からなるサブブロックの境界の両側３画素ずつ、合計６画素を用いて行われる。そのため、図１２Ａに示すように、復号対象マクロブロックＭＢｘのデブロックフィルタ処理には、復号対象マクロブロックＭＢｘの上にある周辺マクロブロックＭＢｂのデブロックフィルタ画像と、復号対象マクロブロックＭＢｘの左にある周辺マクロブロックＭＢａのデブロックフィルタ画像とが必要となる。周辺マクロブロックＭＢｂのデブロックフィルタ画像は、デブロックフィルタ処理された周辺マクロブロックＭＢｂのうちの下側の１６×３画素からなり、周辺マクロブロックＭＢａのデブロックフィルタ画像は、デブロックフィルタ処理された周辺マクロブロックＭＢａのうちの右側の３×１６画素からなる。

　そこで、デブロックフィルタ部１９は、復号対象マクロブロックＭＢｘに対してデブロックフィルタ処理を行うときには、事前に（図８のステップＳ１２３）、転送部９を介して周辺情報メモリ７から周辺マクロブロックＭＢｂのデブロックフィルタ画像を読み出しておく。そして、デブロックフィルタ部１９は、その読み出されたデブロックフィルタ画像を用いて復号対象マクロブロックＭＢｘに対するデブロックフィルタ処理を行う。なお、デブロックフィルタ部１９は、周辺マクロブロックＭＢａに対するデブロックフィルタ処理を自らが実施しているため、復号対象マクロブロックＭＢｘに対してデブロックフィルタ処理を行う際には、周辺マクロブロックＭＢａのデブロックフィルタ画像を既に保持している。

　その結果、図１２Ｂに示すように、復号対象マクロブロックＭＢｘのうちの左上側の１３×１３画素からなる画像と、周辺マクロブロックＭＢｂのうちの下側の１６×３画素からなる画像と、周辺マクロブロックＭＢａのうちの右上側の３×１３画素からなる画像とが、それぞれ復号画像として確定される。なお、復号対象マクロブロックＭＢｘのうちの右および下にある画素からなる画像は、復号対象マクロブロックＭＢｘの右および下にあるマクロブロックに対してデブロックフィルタ処理が行われることによって、復号画像として確定される。

　そして、デブロックフィルタ部１９は、図１２Ｂに示す復号画像をフレームメモリ１１に書き込むときには、転送効率の低下を避けるため、図１２Ｃに示すように、復号対象マクロブロックＭＢｘから左上に３画素ずれた位置にある書き込み対象領域の復号画像を書き込む。つまり、図１２Ｂに示す３つの復号画像の全体的な形状は矩形状になっていないために、それらの復号画像をフレームメモリ１１に書き込む場合には、矩形状の領域の画像を書き込む場合と比べて転送効率が低い。そこで、デブロックフィルタ部１９は、１６×１６画素からなる矩形状の上記書き込み対象領域の復号画像をフレームメモリ１１に書き込む。なお、このような書き込みでは、周辺マクロブロックＭＢｂ内の右下端にある復号画像の一部はフレームメモリ１１に書き込まれない。しかし、復号対象マクロブロックＭＢｘの右隣のマクロブロックに対してデブロックフィルタ処理が行われる際に、その復号画像の一部がフレームメモリ１１に書き込まれることになる。

　図１３は、図８のステップＳ１２５における書き込み対象デブロックフィルタ画像の書き込みを説明するための説明図である。

　デブロックフィルタ部１９は、図８のステップＳ１２５では、図１３に示すように、復号対象マクロブロックＭＢｘのデブロックフィルタ処理された画像のうちの一部を含む書き込み対象デブロックフィルタ画像を、転送部９を介して周辺情報メモリ８に書き込む。この書き込み対象デブロックフィルタ画像は、デブロックフィルタ処理された復号対象マクロブロックＭＢｘの左下の１３×３画素からなる画像と、復号対象マクロブロックＭＢｘの左にあるマクロブロックＭＢａの既にデブロックフィルタ処理された画像のうちの右下の３×３画素からなる画像とを含む。

　このように本実施の形態では、復号部５は、周辺情報メモリ７に格納されている周辺情報を用いてバッファ３の分割ストリームを復号し、その復号によって生成される情報の一部を周辺情報として周辺情報メモリ８に格納する。また、復号部５は、バッファ３の分割ストリームに含まれる復号対象のマクロブロックを復号する際には、周辺情報メモリ７の周辺情報と、復号対象のマクロブロックとに対して、画像処理を行い、画像処理された復号対象のマクロブロックおよび周辺情報のそれぞれの少なくとも一部をフレームメモリ１１に格納する。ここで、上述の周辺情報メモリ７の周辺情報は、復号対象のマクロブロックが属するマクロブロックラインに隣接する他のマクロブロックラインに属する復号部６によって復号された他のマクロブロックの少なくとも一部である。

　一方、復号部６は、周辺情報メモリ８に格納されている周辺情報を用いてバッファ４の分割ストリームを復号し、その復号によって生成される情報の一部を周辺情報として周辺情報メモリ７に格納する。また、復号部６は、バッファ４の分割ストリームに含まれる復号対象のマクロブロックを復号する際には、周辺情報メモリ８の周辺情報と、復号対象のマクロブロックとに対して、画像処理を行い、画像処理された復号対象のマクロブロックおよび周辺情報のそれぞれの少なくとも一部をフレームメモリ１１に格納する。ここで、上述の周辺情報メモリ８の周辺情報は、復号対象のマクロブロックが属するマクロブロックラインに隣接する他のマクロブロックラインに属する復号部５によって復号された他のマクロブロックの少なくとも一部である。

　これにより、マクロブロックラインを跨いで行われるデブロックフィルタ処理のような画像処理も、２つの分割ストリームに対して並列に行われるため、全体的な復号の高速化を十分に図ることができ、その結果、復号性能または復号効率の向上を図ることができる。また、マクロブロックが復号部５または復号部６によって復号されてフレームメモリ１１に格納された後には、既にそのマクロブロックに対してはデブロックフィルタ処理が行われている。したがって、マクロブロックがフレームメモリ１１に格納された後に、デブロックフィルタ処理を行うために、そのフレームメモリ１１からマクロブロックを読み出す必要がない。その結果、フレームメモリ１１へのアクセスの頻度を少なくすることができる。

　次に、後で説明するとした、動きベクトルの読み出し処理（Ｓ１１３）、再構成部分画像の読み出し処理（Ｓ１１４）及びデブロックフィルタ画像の読み出し処理（Ｓ１２３）のそれぞれにおける、周辺情報メモリ７からの周辺情報の読み出し方について説明する。上述のそれぞれの処理では、読み出される周辺情報の種類が異なること以外、動作は同じであるので、図１４に示すフローチャートを用いて上述の処理をまとめて説明する。

　図１４は、復号部５および転送部９による周辺情報メモリ７からの周辺情報の読み出し処理を示すフローチャートである。なお、周辺情報は、動きベクトル、再構成部分画像またはデブロックフィルタ画像である。

　復号部６は、転送部１０を介して、復号部５によるマクロブロックの復号に使用される周辺情報を周辺情報メモリ７に書き込む。転送部９は、この書き込みが行われたときの周辺情報メモリ７の書き込みポインタの値を転送部１０から取得する。この書き込みポインタの値は、周辺情報メモリ７内の次に書き込みが行われるアドレスを示す。そして、転送部９は、その書き込みのポインタの値と、周辺情報メモリ７から周辺情報を読み出すための読み出しポインタの値とを比較する（Ｓ１３０）。この読み出しポインタの値は、周辺情報メモリ７内の次に読み出しが行われるアドレスを示す。

　転送部９は、比較した結果、書き込みポインタの値と読み出しポインタの値が等しくなければ（Ｓ１３０でＮｏ）、読み出しポインタの値をインクリメントし（Ｓ１３１）、読み出しポインタの示すアドレスにある周辺情報を周辺情報メモリ７から読み出して復号部５に転送する（Ｓ１３３）。一方、転送部９は、比較した結果、書き込みポインタの値と読み出しポインタの値が等しい場合（Ｓ１３０でＹｅｓ）は、ウェイトする。

　つまり、書き込みポインタの値と読み出しポインタの値が等しい場合には、周辺情報メモリ７に格納されている周辺情報は全て読み出されて復号部５に転送されている。一方、書き込みポインタの値と読み出しポインタの値が異なる場合には、復号部５によるマクロブロックの復号に使用される、復号部５に未だ転送されていない新たな周辺情報が周辺情報メモリ７に格納されている。したがって、転送部９は、上述の両値が等しくない場合に、読み出しポインタの値をインクリメントして転送を行い、等しい場合には、読み出すべき周辺情報がまだ周辺情報メモリ７に書き込まれていないと判断し、その周辺情報が書き込まれるまで待機する。

　次に、後で説明するとした、動きベクトルの書き込み処理（Ｓ１２０）、書き込み対象再構成部分画像の書き込み処理（Ｓ１２２）および書き込み対象デブロックフィルタ画像の書き込み処理（Ｓ１２５）のそれぞれにおける、周辺情報メモリ８への周辺情報の書き込み方について説明する。上述のそれぞれの処理では、書き込まれる周辺情報の種類が異なること以外、動作は同じであるので、図１５に示すフローチャートを用いて上述の処理をまとめて説明する。

　図１５は、復号部５および転送部９による周辺情報メモリ８への周辺情報の書き込み処理を示すフローチャートである。なお、周辺情報は、動きベクトル、書き込み対象再構成部分画像、または書き込み対象デブロックフィルタ画像である。

　復号部６は、転送部１０を介して、復号対象マクロブロックを復号するための周辺情報を周辺情報メモリ８から読み出す。転送部９は、この読み出しが行われたときの周辺情報メモリ８の読み出しポインタの値を転送部１０から取得する。この読み出しポインタの値は、周辺情報メモリ８内の次に読み出しが行われるアドレスを示す。そして、転送部９は、その読み出しポインタの値と、復号部６によるマクロブロックの復号に使用される周辺情報を周辺情報メモリ８に書き込むための書き込みポインタの値とを比較する（Ｓ１４０）。この書き込みポインタの値は、周辺情報メモリ８内の次に書き込みが行われるアドレスを示す。

　転送部９は、比較した結果、書き込みポインタの値をインクリメントした値と、読み出しポインタとが等しくなる場合は（Ｓ１４０でＹｅｓ）、ウェイトする。一方、転送部９は、比較した結果、書き込みポインタの値をインクリメントした値と、読み出しポインタとが等しくない場合は（Ｓ１４０でＮｏ）、転送部９は、書き込みポインタをインクリメントし（Ｓ１４１）、復号部５によって生成された周辺情報を取得して周辺情報メモリ８に書き込む（Ｓ１４２）。

　つまり、書き込みポインタの値をインクリメントした値と読み出しポインタの値が等しい場合には、次に周辺情報メモリ８に対して周辺情報の書き込みが行われると、書き込みポインタが読み出しポインタに追い着く、或いは追い越す可能性がある。つまり、周辺情報メモリ８から未だ読み出されていない周辺情報に対して新たな周辺情報が上書きされて、その読み出されていない周辺情報が消去される可能性がある。一方、書き込みポインタの値をインクリメントした値と読み出しポインタの値が異なる場合には、次に周辺情報メモリ８に対して周辺情報の書き込みが行われても、書き込みポインタが読み出しポインタに追い着く、或いは追い越す可能性はない。つまり、周辺情報メモリ８から未だ読み出されていない周辺情報に対して新たな周辺情報が上書きされて、その読み出されていない周辺情報が消去される可能性はない。したがって、転送部９は、上述の両値が等しくない場合に、書き込みポインタの値をインクリメントして周辺情報の書き込みを行い、等しい場合には、復号部６の処理、つまり転送部１０による周辺情報メモリ８からの周辺情報の読み出しが遅れていると判断し、読み出しが行われて読み出しポインタの値が増加するまで待機する。

　なお、図１４および図１５では、ポインタの値が周辺情報メモリ７及び周辺情報メモリ８の最大値を超えた場合の説明をしていないが、最大値を超えれば０に戻るようにして、いわゆるリングバッファのようにそれらのメモリを用いればよい。

　以上が、復号部５による復号処理の説明である。復号部６による復号処理は、転送部１０を用いることと、周辺情報を周辺情報メモリ７に書き込み、周辺情報メモリ８から読み出すこと以外は復号部５による復号処理と同じである。したがって、復号部６による復号処理については説明を省略する。

　図１６は、復号部５および復号部６によってフレームメモリ１１に書き込まれる復号画像の範囲を示す図である。

　復号部５および復号部６のそれぞれには、図４Ａに示すように、ピクチャに含まれる復号対象の画像がマクロブロックライン単位で割り当てられる。しかし、復号部５および復号部６のそれぞれによってフレームメモリ１１に書き込まれる復号画像（デブロックフィルタ処理が行われた画像）は、図１２Ｃに示すように、割り当てられたマクロブロックラインからずれる。したがって、図１６に示すように、マクロブロックライン（図１６中の水平方向の点線で囲まれた領域）からずれた領域（図１６中の水平方向の実線で囲まれた領域）の復号画像を、復号部５及び復号部６のそれぞれがフレームメモリ１１に書き込む。

　以上の動作は、符号化ストリームがＨ．２６４規格におけるフレーム構造又はフィールド構造の場合の動作であるが、Ｈ．２６４規格には、ＭＢＡＦＦ（Ｍａｃｒｏ　Ｂｌｏｃｋ　Ａｄａｐｔｉｖｅ　Ｆｒａｍｅ　Ｆｉｅｌｄ）構造と呼ばれる符号化ストリームが存在する。ここで、フレーム構造又はフィールド構造を、非ＭＢＡＦＦ構造と称する。ＭＢＡＦＦ構造と非ＭＢＡＦＦ構造とでは符号化順序が異なる。

　図１７は、符号化ストリームがＭＢＡＦＦ構造である場合の復号部５および復号部６のそれぞれの復号対象となるマクロブロックラインを示す図である。

　図１７に示すように、ＭＢＡＦＦ構造では、非ＭＢＡＦＦ構造のようにラスター順ではなく、上下の２つのマクロブロックを１つのまとめたマクロブロックペアが順に符号化される。つまり、１つのマクロブロックペア内で、上のマクロブロックが符号化された後に下のマクロブロックが符号化される。そして、そのマクロブロックペアの符号化が終了すると、そのマクロブロックペアの右隣のマクロブロックペアが上述と同様に符号化される。符号化ストリームがこのＭＢＡＦＦ構造の場合は、ストリーム分割部２は、ピクチャを構成する互いに隣接する２つのマクロブロックライン（マクロブロックペアライン）ごとに、そのマクロブロックペアラインをバッファ３またはバッファ４に割り当てることによって、そのピクチャ（符号化ストリーム）を分割する。そして、図１７に示すように、復号部５および復号部６がそれぞれマクロブロックペアラインを復号することによって、符号化ストリームが非ＭＢＡＦＦ構造の場合と同様に、画像復号装置１００はＭＢＡＦＦ構造の符号化ストリームを復号することができる。

　図１８は、符号化ストリームがＭＢＡＦＦ構造である場合のフレームメモリ１１に書き込まれる復号画像の範囲を示す図である。

　復号部５及び復号部６のそれぞれは、図１８に示すように、マクロブロックペアライン（図１８中の水平方向の点線で囲まれた２つの領域）からずれた領域（図１８中の水平方向の実線で囲まれた領域）の復号画像を、フレームメモリ１１に書き込む。

　　（１－４．効果）
　このように、本実施の形態では、ストリーム分割部２が符号化ストリームを分割し、復号部５と復号部６が周辺情報メモリ７と周辺情報メモリ８を用いて同期して並列に動作することにより、元の符号化ストリームが必ずしもスライスなどの単位で分割されていないＨ．２６４規格の符号化ストリームを並列に復号することが可能となる。さらに、本実施の形態では、１つの復号部だけで符号化ストリームを復号する場合に比べて、処理性能を２倍にすることができる。また、同一性能を実現する場合には、各復号部の動作周波数を半分にすることができ、消費電力の低減が可能である。

　図１９Ａおよび図１９Ｂは、符号化ストリームが非ＭＢＡＦＦ構造である場合のマクロブロックが処理されるタイミングを示す図である。

　本実施の形態では、周辺情報メモリ７および周辺情報メモリ８をバッファのように用いて復号部５と復号部６が同期して並列に動作することにより、図１９Ａに示すように、復号部５と復号部６は同時に処理を開始することが可能になる。さらに、復号開始の制御が容易になる。また、復号部６では、処理に必要な周辺情報が復号部５によって周辺情報メモリ８に書き込まれれば、復号対象マクロブロックの処理が可能となる。一方、図１９Ｂに示すように、特許文献１の画像復号装置では、所定の期間ごとに、その期間内で２つの復号部１３００ａ，１３００ｂがそれぞれ１つのマクロブロックを復号する。つまり、復号部１３００ａ，１３００ｂはマクロブロック単位に同期して動作する。このような場合には、２つの復号部１３００ａ，１３００ｂのうち早くマクロブロックの復号を終了した方は、次のマクロブロックの復号処理の開始を待つことになる。

　したがって、本実施の形態では、このような復号処理の開始を待つことがないため、特許文献１の画像復号装置に比べて処理開始の待ち時間が削減され、効率よく動作できる。

　つまり、本実施の形態における画像復号装置１００では、符号化ストリームが２つの分割ストリームに分割され、その２つの分割ストリームがそれぞれ復号部５，６によって並列に復号されるため、各復号部による復号のタイミングを集中的に制御する上記特許文献１のようなマクロブロックパイプライン制御部を省くことができる。さらに、画像復号装置１００が、符号化ストリームを３つ以上の分割ストリームに分割し、それらの分割ストリームを並列に復号するための多くの復号部を備えるような場合でも、上記特許文献１のようなマクロブロックライン制御部と復号部との間の信号線を敷設する必要がなく、画像復号装置１００を簡単に実現することができる。さらに、本実施の形態における画像復号装置１００では、Ｈ．２６４規格におけるデータの依存関係によって必要とされる周辺情報は、周辺情報メモリ７，８を介して復号部５，６の間で送受信される。したがって、復号部５，６は、それぞれ復号に必要とされる周辺情報が周辺情報メモリに格納されていれば、他方の復号部による復号を待つことなく、その格納されている周辺情報を用いて分割ストリームの復号を継続して行うことができる。その結果、上記特許文献１の画像復号装置のように復号が中断してタイムロスが発生してしまうようなことを抑えることができ、復号効率の向上を図ることができる。

　　（１－５．補足）
　なお、本実施の形態の画像復号装置１００は、Ｈ．２６４規格にしたがって復号を行ったが、例えばＶＣ－１など、他の画像符号化規格にしたがって復号を行ってもよい。

　また、本実施の形態を、ハードウェア回路として実現しても、プロセッサ上で実行されるソフトウェアとして実現しても構わないし、一部をハードウェア回路として実現し、一部をプロセッサ上で実行されるソフトウェアとして実現しても構わない。

　また、本実施の形態の画像復号装置１００は、２つの復号部を備えたが、２つに限るものではなく、３つや４つあるいはさらに大きな個数の復号部を備えてもよい。この場合、ストリーム分割部２は、符号化ストリームを分割することによって、備えられている復号部の数と同じ数の分割ストリームを生成する。

　また、本実施の形態の画像復号装置１００は、Ｈ．２６４規格にあわせて、左、上、右上、および左上の４つの周辺マクロブロックを参照したが、左の周辺マクロブロックのみ、あるいは左と上の周辺マクロブロックのみなどを参照しても構わない。また、処理によって、参照される周辺マクロブロックが変わっても構わない。

　また、本実施の形態の画像復号装置１００では、周辺情報を格納する構成要素を周辺情報メモリとしたが、その構成要素は、フリップフロップや他の記憶素子など、どのような記録媒体でもかまわない。

　また、本実施の形態の画像復号装置１００では、動きベクトルの算出、面内予測、およびデブロックフィルタ処理に使用する全ての周辺情報を、１つの周辺情報メモリに格納したが、それぞれ別の周辺情報メモリ（メモリやフリップフロップなどの記憶素子など）に格納してもかまわない。

　また、本実施の形態の画像復号装置１００では、境界の両側３画素ずつを用いてデブロックフィルタ処理を行い、その画素数だけずれた位置の書き込み対象領域の復号画像をフレームメモリ１１に書き込んだが、その画素数は３画素より大きくてもよい。

　また、本実施の形態の画像復号装置１００では、動きベクトル、再構成部分画像、およびデブロックフィルタ画像を周辺情報として周辺情報メモリに格納したが、これらに限るものではなく、マクロブロック間で必要となる情報であればどのような情報を格納しても構わない。例えば、面内予測モード、マクロブロックの周波数係数のうちの非０係数の全ての数（ＴｏｔａｌＣｏｅｆｆ）、または、参照ピクチャを示す参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）などを周辺情報として用いてもよい。

　また、本実施の形態の画像復号装置１００は、復号部のそれぞれに対して、転送部と周辺情報メモリとを１つずつ備えているが、復号部のそれぞれに対して必ずしも備える必要はない。例えば、転送性能を満たす範囲であれば、複数の復号部に対して共用される１つの転送部と周辺情報メモリとを備えてもよい。

　また、本実施の形態のストリーム分割部２は、単に符号化ストリームを分割したが、単に分割するだけでなく、分割ストリームの全て又は一部を復号したり、分割ストリームの符号化方式を別の符号化方式に変更し、符号化方式が変換された分割ストリームをバッファに格納してもよい。

　また、本実施の形態の復号部は、フレームメモリ１１に復号画像のみを格納したが、復号画像に付随する制御データ、例えばＨ．２６４規格のダイレクトモードの復号に必要な情報なども格納してもよい。

　（実施の形態２）
　　（２－１．概要）
　まず、本発明の実施の形態２における画像復号装置の概要について説明する。

　本実施の形態における画像復号装置は、符号化ストリームを４つに分割することにより、その分割によって生成された４つの分割ストリームを４つの復号部で並列に復号する。４つの復号部はそれぞれ、バッファに格納された分割ストリームを読み出して復号する。このとき、４つの復号部のそれぞれは、他の復号部による復号結果の一部を、周辺情報メモリを介して参照することによって、他の復号部と同期をとりながらその分割ストリームを復号する。

　　（２－２．構成）
　次に、本実施の形態の画像復号装置の構成について説明する。

　図２０は、本実施の形態の画像復号装置の構成図である。なお、実施の形態１と同じ構成要素については同じ参照符号を付し、説明を省略する。

　本実施の形態の画像復号装置２００は、ＣＰＢ１と、フレームメモリ１１と、符号化ストリームを４つに分割するストリーム分割部２０と、その分割によって生成された４つの分割ストリームのそれぞれを格納するためのバッファ２１，２２，２３，２４と、可変長復号、逆周波数変換、および動き補償などによる復号を行う復号部２５，２６，２７，２８と、復号対象マクロブロックの復号に使用される周辺情報を格納するための周辺情報メモリ２９，３０，３１，３２と、復号部２５，２６，２７，２８と周辺情報メモリ２９，３０，３１，３２の間のデータ転送を行う転送部３３，３４，３５，３６とを備える。

　　（２－３．動作）
　次に、図２０で示した画像復号装置２００の動作について説明する。

　ＣＰＢ１に格納された符号化ストリームは、ストリーム分割部２０によって読み出され、図２１に示すように４つに分割され、その分割によって生成された４つの分割ストリームがそれぞれバッファ２１，バッファ２２，バッファ２３，バッファ２４に格納される。

　図２１は、符号化ストリームの分割を説明するための説明図である。

　ストリーム分割部２０は、マクロブロックラインごとに、そのマクロブロックラインが４つの復号部２５，２６，２７，２８の何れかに割り当てられるように符号化ストリームを分割する。例えば、マクロブロックアドレス０から９までのマクロブロックラインと、マクロブロックアドレス４０から４９までのマクロブロックラインとが復号部２５に割り当てられる。同様に、マクロブロックアドレス１０から１９までのマクロブロックラインと、マクロブロックアドレス５０から５９までのマクロブロックラインとが復号部２６に割り当てられる。同様に、マクロブロックアドレス２０から２９までのマクロブロックラインと、マクロブロックアドレス６０から６９までのマクロブロックラインとが復号部２７に割り当てられる。

　つまり、ストリーム分割部２０は、符号化ストリームを分割することにより、第１～第４の分割ストリームを生成する。第１の分割ストリームは、マクロブロックアドレス０から９までのマクロブロックラインと、マクロブロックアドレス４０から４９までのマクロブロックラインとを含む。第２の分割ストリームは、マクロブロックアドレス１０から１９までのマクロブロックラインと、マクロブロックアドレス５０から５９までのマクロブロックラインとを含む。第３の分割ストリームは、マクロブロックアドレス２０から２９までのマクロブロックラインと、マクロブロックアドレス６０から６９までのマクロブロックラインとを含む。第４の分割ストリームは、マクロブロックアドレス３０から３９までのマクロブロックラインと、マクロブロックアドレス７０から７９までのマクロブロックラインとを含む。ストリーム分割部２０は、第１の分割ストリームをバッファ２１に格納し、第２の分割ストリームをバッファ２２に格納し、第３の分割ストリームをバッファ２３に格納し、第４の分割ストリームをバッファ２４に格納する。

　復号部２５は、バッファ２１から第１の分割ストリームを読み出して復号する。復号部２５の動作は実施の形態１で示した復号部５の動作と同じであるが、転送部３３を用い、周辺情報メモリ２９から復号部２８の復号結果である周辺情報を読み出し、自らによる復号結果である周辺情報を周辺情報メモリ３０に書き込む点が異なる。なお、復号部２５は、復号画像をフレームメモリ１１に書きこむ。

　復号部２６は、バッファ２２から第２の分割ストリームを読み出して復号する。復号部２６の動作は実施の形態１で示した復号部５の動作と同じであるが、転送部３４を用い、周辺情報メモリ３０から復号部２５の復号結果である周辺情報を読み出し、自らによる復号結果である周辺情報を周辺情報メモリ３１に書き込む点が異なる。なお、復号部２６は、復号画像をフレームメモリ１１に書きこむ。

　復号部２７は、バッファ２３から第３の分割ストリームを読み出して復号する。復号部２７の動作は実施の形態１で示した復号部５の動作と同じであるが、転送部３５を用い、周辺情報メモリ３１から復号部２６の復号結果である周辺情報を読み出し、自らによる復号結果である周辺情報を周辺情報メモリ３２に書き込む点が異なる。なお、復号部２７は、復号画像をフレームメモリ１１に書きこむ。

　復号部２８は、バッファ２４から第４の分割ストリームを読み出して復号する。復号部２８の動作は実施の形態１で示した復号部５の動作と同じであるが、転送部３６を用い、周辺情報メモリ３２から復号部２７の復号結果である周辺情報を読み出し、自らによる復号結果である周辺情報を周辺情報メモリ２９に書き込む点が異なる。なお、復号部２８は、復号画像をフレームメモリ１１に書きこむ。

　以上のように、本実施の形態における画像復号装置２００はストリーム分割部２０によって符号化ストリームを４つに分割するが、それぞれの復号部の動作は実施の形態１と同じように動作する。

　　（２－４．効果）
　このように、本実施の形態では、ストリーム分割部２０によって符号化ストリームを４つに分割することにより、４つの復号部で４つの分割ストリームを並列に復号する。したがって、本実施の形態の画像復号装置２００では、実施の形態１の画像復号装置１００に比べて、画像復号装置１００と同一の動作周波数で動作する場合には、処理性能を２倍に向上させることができる。また、同一性能を実現する場合には、各復号部の動作周波数を半分にすることができ、消費電力の低減が可能である。

　また、復号部２５，２６，２７，２８のそれぞれは、他の３つの復号部との間で同期をとる必要が無く、それぞれ隣り合う１つの復号部との間で同期をとればよいので、各構成要素間での配線が引きやすくなり、復号効率の向上を図った画像復号装置の実現が容易になる。

　　（２－５．補足）
　なお、本実施の形態の画像復号装置２００は、復号部を４個備えたが、４個に限るものではなく、８個や１６個あるいはさらに大きな個数の復号部を備えてもよい。

　（実施の形態３）
　　（３－１．概要）
　まず、本発明の実施の形態３における画像復号装置の概要について説明する。

　本実施の形態における画像復号装置は、復号部と周辺情報メモリのそれぞれに入力されるデータを切り替えるスイッチを備える。これらのスイッチによる切り替えによって、本実施の形態における画像復号装置は、２つの復号部を同期させて１つの符号化ストリームを復号する処理と、２の復号部をそれぞれ独立に動作させて２つの符号化ストリームを復号する処理とを切り替える。

　　（３－２．構成）
　次に、本実施の形態の画像復号装置の構成について説明する。

　図２２は、本実施の形態の画像復号装置の構成図である。なお、実施の形態１と同じ構成要素には同じ参照符号を付し、説明を省略する。

　本実施の形態の画像復号装置３００は、実施の形態１の画像復号装置１００の各構成要素を備えるとともに、符号化ストリームを格納するＣＰＢ３７と、復号部５に入力されるデータを切り替えるスイッチ３８と、復号部６に入力されるデータを切り替えるスイッチ３９と、周辺情報メモリ７に入力されるデータを切り替えるスイッチ４０と、周辺情報メモリ８に入力されるデータを切り替えるスイッチ４１とを備える。

　　（３－３．動作）
　次に、図２２に示す画像復号装置３００の動作について説明する。

　スイッチ３８、スイッチ３９、スイッチ４０およびスイッチ４１はすべて同時に「０」又は「１」の入力を選択する。スイッチ３８は、「０」の入力を選択すると、復号部５に入力されるデータを、バッファ３に格納されている分割ストリームに切り替え、「１」の入力を選択すると、復号部５に入力されるデータを、ＣＰＢ３７に格納されている符号化ストリームに切り替える。スイッチ３９は、「０」の入力を選択すると、復号部６に入力されるデータを、バッファ４に格納されている分割ストリームに切り替え、「１」の入力を選択すると、復号部６に入力されるデータを、ＣＰＢ１に格納されている符号化ストリームに切り替える。スイッチ４０は、「０」の入力を選択すると、周辺情報メモリ７に入力（格納）されるデータを、復号部６から転送部１０を介して転送される周辺情報に切り替え、「１」の入力を選択すると、周辺情報メモリ７に入力されるデータを、復号部５から転送部９を介して転送される周辺情報に切り替える。スイッチ４１は、「０」の入力を選択すると、周辺情報メモリ８に入力（格納）されるデータを、復号部５から転送部９を介して転送される周辺情報に切り替え、「１」の入力を選択すると、周辺情報メモリ８に入力されるデータを、復号部６から転送部１０を介して転送される周辺情報に切り替える。

　スイッチ３８、スイッチ３９、スイッチ４０およびスイッチ４１がすべて「０」の入力を選択する場合は、画像復号装置３００は、実施の形態１と同じように、ＣＰＢ１に格納されている符号化ストリームを復号する。つまり、画像復号装置３００のストリーム分割部２は、ＣＰＢ１から符号化ストリームを読み出して分割し、分割によって生成された２つの分割ストリームをバッファ３およびバッファ４にそれぞれ書き込み、復号部５と復号部６はそれらの分割ストリームを並列に復号する。この場合の画像復号装置３００の動作は、実施の形態１と全く同じであるので説明を省略する。

　スイッチ３８、スイッチ３９、スイッチ４０およびスイッチ４１がすべて「１」の入力を選択する場合は、画像復号装置３００は、実施の形態１と異なる動作を行う。つまり、画像復号装置３００の復号部５および復号部６はそれぞれ、互いに異なるＣＰＢ３７，１に格納されている互いに異なる符号化ストリームを読み出し、独立に復号する。復号部５は、ＣＰＢ３７の符号化ストリームを読み出して復号する。このときの復号部５の動作は、転送部９を介して周辺情報を周辺情報メモリ７に書き込むことと、転送部９および転送部１０による復号部６と同期した復号を行わないこととを除いて、実施の形態１と同じである。つまり、復号部５は、自らによる復号結果である周辺情報を、転送部９を用いて周辺情報メモリ７に書き込み、自らが書き込んだ結果である周辺情報を、転送部９を用いて読み出し、その周辺情報を用いて復号対象マクロブロックを復号する。復号部６の動作は復号部５と同様であるので説明を省略する。

　　（３－４．効果）
　このように、本実施の形態では、スイッチ３８、スイッチ３９、スイッチ４０およびスイッチ４１を設けることにより、２つの復号部を連携させて高性能を実現する動作と、異なる２つの符号化ストリームを同時に復号する動作とを切り替えることが可能になる。

　　（３－５．補足）
　なお、本実施の形態では、画像復号装置３００は復号部を２個備えたが、４個やさらに大きな個数の復号部を備えてもよい。

　また、本実施の形態におけるスイッチ３８～４１は、必ずしも物理的あるいは回路的なスイッチである必要はなく、例えばメモリのアドレスを切り替えるようにしてデータを切り替えるスイッチであってもよい。

　（実施の形態４）
　　（４－１．概要）
　まず、本発明の実施の形態４における画像復号装置の概要について説明する。

　本実施の形態における画像復号装置は、ストリーム分割部に入力される符号化ストリームを切り替えるスイッチを備える。このスイッチによる切り替えによって、本実施の形態における画像復号装置は、１つの符号化ストリームを分割し、２つの分割ストリームを２つの復号部によって同期して復号する並列復号処理と、２つの符号化ストリームのそれぞれに対する並列復号処理を時間的に分割して行う時分割並列復号処理とを切り替える。

　　（４－２．構成）
　次に、本実施の形態の画像復号装置の構成について説明する。

　図２３は、本実施の形態の画像復号装置の構成図である。実施の形態１と同じ構成要素には同じ参照符号を付し、説明を省略する。

　本実施の形態の画像復号装置４００は、実施の形態１の画像復号装置１００の各構成要素を備えるとともに、符号化ストリームを格納するＣＰＢ３７と、ストリーム分割部２に入力される符号化ストリームを切り替えるスイッチ４２とを備える。スイッチ４２は、「０」の入力を選択すると、ストリーム分割部２に入力される符号化ストリームを、ＣＰＢ１に格納されている符号化ストリームに切り替え、「１」の入力を選択すると、ストリーム分割部２に入力される符号化ストリームを、ＣＰＢ３７に格納されている符号化ストリームに切り替える。

　　（４－３．動作）
　次に、図２３に示す画像復号装置４００の動作について説明する。

　画像復号装置４００は、スイッチ４２が常に「０」の入力を選択する場合には、上述の並列復号処理を行い、スイッチ４２が「０」の入力と「１」の入力とを交互に繰り返し選択する場合には、上述の時分割並列復号処理を行う。

　具体的には、スイッチ４２が常に「０」の入力を選択する場合は、画像復号装置４００は、実施の形態１と同じように、ＣＰＢ１に格納されている符号化ストリームを復号する。つまり、画像復号装置４００のストリーム分割部２は、ＣＰＢ１から符号化ストリームを読み出して分割し、分割によって生成された２つの分割ストリームをバッファ３およびバッファ４にそれぞれ書き込み、復号部５と復号部６はそれらの分割ストリームを並列に復号する。この場合の画像復号装置４００の動作は、実施の形態１と全く同じであるので説明を省略する。

　スイッチ４２が時間的に「０」の入力と「１」の入力とを交互に繰り返し選択する場合は、画像復号装置４００のストリーム分割部２は、互いに異なるＣＰＢに格納されている互いに異なる２つの符号化ストリームに対する分割処理を時間的に切り替えて行う。つまり、スイッチ４２が「０」の入力を選択している場合には、ストリーム分割部２はＣＰＢ１に格納されている符号化ストリームを読み出して分割し、その符号化ストリームの分割によって生成された２つの分割ストリームを復号部５及び復号部６が同期して復号する。このときの画像復号装置４００の動作は、実施の形態１と同じであるので、説明を省略する。一方、スイッチ４２が「１」の入力を選択している場合には、ストリーム分割部２はＣＰＢ３７に格納されている符号化ストリームを読み出して分割し、その符号化ストリームの分割によって生成された２つの分割ストリームを復号部５及び復号部６が同期して復号する。このときの画像復号装置４００の動作は、符号化ストリームがＣＰＢ３７から読み出されること以外、実施の形態１と同じであるので、説明を省略する。

　図２４は、時分割並列復号処理を説明するための説明図である。

　まず、最初にスイッチ４２が「０」の入力を選択する。その結果、画像復号装置４００は、ＣＰＢ１に格納されている符号化ストリームのピクチャ０に対して並列復号処理を行う。そのピクチャ０の並列復号処理が完了したところで、スイッチ４２が「１」の入力を選択する。その結果、画像復号装置４００は、ＣＰＢ３７に格納されている符号化ストリームのピクチャ０に対して並列復号処理を行う。そのピクチャ０の並列復号処理が完了したところで、スイッチ４２が再び「０」の入力を選択する。その結果、画像復号装置４００は、ＣＰＢ１に格納されている符号化ストリームのピクチャ１に対して並列復号処理を行う。このように、２つの符号化ストリームに対する並列復号処理を時間的に切替えることにより、擬似的に同時に２つの符号化ストリームを復号することができる。

　　（４－４．効果）
　このように、本実施の形態では、スイッチ４２によって入力を切り替えることにより、２つの復号部を連携させて高性能を実現する動作と、異なる２つの符号化ストリームを同時に復号する動作を切り替えて動作させることが可能になる。

　　（４－５．補足）
　なお、本実施の形態では、２つのＣＰＢを用いて、２つの符号化ストリームに対する時分割並列復号処理を行ったが、ＣＰＢおよび符号化ストリームの数は、２つに限るものではなく、３つや４つあるいはさらに大きな数であってもよい。

　また、本実施の形態では、時分割並列復号処理において、並列復号処理の対象となる符号化ストリームを１ピクチャ単位で交互に切り替えたが、必ずしも１ピクチャ単位で切り替える必要はなく、複数のピクチャ単位、１スライス単位、複数のスライス単位、あるいはＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）などの単位で切り替えてもよい。

　また、本実施の形態におけるスイッチ４２は、必ずしも物理的あるいは回路的なスイッチである必要はなく、例えばメモリのアドレスを切り替えるようにしてデータを切り替えるスイッチであってもよい。

　（実施の形態５）
　　（５－１．概要）
　まず、本発明の実施の形態５における画像復号装置の概要について説明する。

　本実施の形態における画像復号装置は、復号されたピクチャを間引いて表示装置に出力する出画部を備える。この出画部によって、本実施の形態における画像復号装置は、滑らかな早送り画像を表示装置に表示することが可能になる。

　　（５－２．構成）
　次に、本実施の形態の画像復号装置の構成について説明する。

　図２５は、本実施の形態の画像復号装置の構成図である。なお、実施の形態１と同じ構成要素には同じ参照符号を付し、説明を省略する。

　本実施の形態の画像復号装置５００は、実施の形態１の画像復号装置１００の各構成要素を備えるとともに、フレームメモリ１１に格納された復号されたピクチャを表示装置に画像を出力する出画部４３を備える。

　　（５－３．動作）
　次に、本実施の形態の画像復号装置５００の動作について説明する。

　図２５に示す本実施の形態の画像復号装置５００における出画部４３以外の各構成要素の動作は、実施の形態１と同じであるので、説明を省略する。

　図２６は、出画部４３の動作を説明するための説明図である。

　図２６に示すように、出画部４３は、復号されてフレームメモリ１１に書き込まれた一連のピクチャのうち、時間０，２，４の各ピクチャを表示装置に出力せず、時間１，３，５のピクチャのみを表示装置に出力する。つまり、出画部４３は、復号された２つの分割ストリームである動画像の中からピクチャを間引き、ピクチャが間引きされた動画像を表示装置に出力する。

　　（５－４．効果）
　本実施の形態では、実施の形態１と同様、復号部５と復号部６を用いて並列に復号することにより、復号部５あるいは復号部６を単独で動作させる場合に比べて２倍の性能を実現することができる。つまり、本実施の形態における画像復号装置５００は、通常のフレームレートの２倍のフレームレートでピクチャを復号することができる。一方、一般的な表示装置では、ピクチャを表示する速度が通常のフレームレートに固定または設定され、２倍のフレームレートで表示することができない。そこで、本実施の形態における画像復号装置５００では、出画部４３によって、復号されたピクチャを間引くことにより、２倍速の滑らかな早送り画像を表示装置に表示させることができる。

　　（５－５．補足）
　なお、本実施の形態の画像復号装置５００は、２倍速の早送り画像を表示装置に表示させたが、３倍速や４倍速の早送り画像を表示させてもよい。この場合、出画部４３は、ｎ倍速（ｎは２以上の整数）に応じた比率でピクチャを間引く。なお、ｎは整数に限らない。ｎが整数でない場合は、出画部４３は不均一にピクチャを間引いてもよい。

　（実施の形態６）
　　（６－１．概要）
　まず、本発明の実施の形態６における画像復号装置の概要について説明する。

　本実施の形態における画像復号装置は、２つのフレームメモリを備える。復号部５および復号部６のそれぞれは、復号画像を２つのフレームメモリに同時に書き込み、予め対応付けられた互いに異なるフレームメモリから復号画像（参照画像）を読み出す。これによって、１つのフレームメモリに対するアクセスを低減することができ、フレームメモリが必要とするアクセス性能を低下させることができる。つまり、アクセス性能の低いフレームメモリを用いることができる。その結果、フレームメモリの構成を容易にするこが可能になる。

　　（６－２．構成）
　次に、本実施の形態の画像復号装置の構成について説明する。

　図２７は、本実施の形態の画像復号装置の構成図である。なお、実施の形態１と同じ構成要素には同じ参照符号を付し、説明を省略する。

　本実施の形態の画像復号装置６００は、実施の形態１の画像復号装置１００の各構成要素を備えるとともに、復号部５および復号部６によって復号された画像（復号画像）を格納するフレームメモリ４４を備える。

　　（６－３．動作）
　次に、本実施の形態の画像復号装置６００の動作について説明する。

　図２７に示す本実施の形態の画像復号装置６００の復号部５の動作は、実施の形態１の図７および図８のフローチャートに示す、動き補償部１８による動き補償（Ｓ１１７）およびデブロックフィルタ部１９によるデブロックフィルタ処理（Ｓ１２４）以外、実施の形態１の復号部５の動作と同じである。具体的には、本実施の形態の復号部５では、動き補償（Ｓ１１７）において、動き補償部１８は、動き補償に必要な参照画像（復号画像）をフレームメモリ４４から読み出す。また、本実施の形態の復号部５では、デブロックフィルタ処理（Ｓ１２４）において、デブロックフィルタ部１９は、デブロックフィルタ処理が行われて復号が完了した画像（復号画像）をフレームメモリ１１とフレームメモリ４４に同時に書き込む。

　また、本実施の形態における復号部６の動き補償部１８は、動き補償に必要な参照画像（復号画像）をフレームメモリ１１から読み出す。また、本実施の形態における復号部６のデブロックフィルタ部１９は、本実施の形態における復号部５のデブロックフィルタ部１９と同様の動作を行う。つまり、本実施の形態における復号部６の動作は、フレームメモリ１１から参照画像を読み出すこと以外、本実施の形態における復号部５の動作と同じである。

　　（６－４．効果）
　Ｈ．２６４規格では、復号画像を書き込む際の転送量は、１つのマクロブロックあたり２５６バイトでよい。これに対して、動き補償で読み出す際の転送量は、８×８画素の双方向参照の場合では１３５２バイトであり、復号画像を書き込む際の転送量の約５倍である。本実施の形態では、復号画像を２つのフレームメモリに書き込み、動き補償で読み出すフレームメモリを２つの復号部で異なるフレームメモリとすることにより、フレームメモリから読み出すのに必要なアクセス性能を半分にすることが可能になり、フレームメモリの構成が容易になる。

　　（６－５．補足）
　なお、本実施の形態では、画像復号装置６００はフレームメモリを２個備えたが、２個に限るものではなく、３個や４個あるいはさらに大きな個数のフレームメモリを備えてもよい。

　また、本実施の形態では、復号部５および復号部６はフレームメモリ１１，１４に復号画像のみを格納したが、復号画像に付随する制御データ、例えばＨ．２６４規格のダイレクトモードの復号に必要な情報などを格納してもよい。

　また、本実施の形態では、復号部５および復号部６はフレームメモリ１１，４４に復号画像を同時に書き込んだが、必ずしも同時である必要はなく、すべての復号画像のデータを書き込むことができれば、時間的にずらして書き込んでもよい。

　（実施の形態７）
　　（７－１．概要）
　まず、本発明の実施の形態７における画像符号化装置の概要について説明する。

　本実施の形態における画像符号化装置は、入力された画像を構成する２つの部分を２つの符号化部で並列に符号化し、その符号化によって生成された２つの分割ストリームを２つのバッファにそれぞれ格納する。そして、画像符号化装置は、２つのバッファのそれぞれに格納された分割ストリームをストリーム結合部によって読み出して１つの符号化ストリームに結合する。これにより、入力された画像が符号化ストリームに符号化される。このとき、２つの符号化部のそれぞれは、符号化に使用されるデータの一部（周辺情報）を、周辺情報メモリを介して参照することによって、他方の符号化部と同期をとりながら画像を符号化する。

　　（７－２．構成）
　次に、本実施の形態の画像符号化装置の構成について説明する。

　図２８は、本実施の形態の画像符号化装置の構成図である。なお、実施の形態１と同じ構成要素には同じ参照符号を付し、説明を省略する。

　本実施の形態の画像符号化装置７００は、実施の形態１と同様、転送部９および転送部１０と、周辺情報メモリ７および周辺情報メモリ８と、フレームメモリ１１とを備える。さらに、画像符号化装置７００は、カメラや復号器などからフレームメモリ１１に入力された画像を符号化する符号化部５１および符号化部５２と、符号化部５１による符号化によって生成された分割ストリームを格納するためのバッファ５３と、符号化部５２による符号化によって生成された分割ストリームを格納するためのバッファ５４と、バッファ５３およびバッファ５４のそれぞれに書き込まれた分割ストリームを結合し、１つの符号化ストリームに変換するストリーム結合部５５と、その符号化ストリームを格納するためのＣＰＢ５６とを備える。また、符号化部５１、符号化部５２、周辺情報メモリ７、周辺情報メモリ８、転送部９および転送部１０をまとめて並列符号化部６２と呼ぶ。

　　（７－３．動作）
　次に、本実施の形態の画像符号化装置の動作について説明する。

　図２８に示す本実施の画像符号化装置７００では、符号化部５１および符号化部５２が、実施の形態１の図４Ａ～図４Ｃを用いて説明した動作と同様に、フレームメモリ１１に書き込まれた画像をマクロブロック単位で分担して読み出して符号化する。具体的には、符号化部５１は、図４Ａに示すように、画像であるピクチャに含まれる、マクロブロックアドレス０から９までのマクロブロックラインおよびマクロブロックアドレス２０から２９までのマクロブロックラインなどを読み出して、各マクロブロックラインに含まれるマクロブロックを順に符号化する。また、符号化部５２は、図４Ａに示すように、画像であるピクチャに含まれる、マクロブロックアドレス１０から１９までのマクロブロックラインおよびマクロブロックアドレス３０から３９までのマクロブロックラインなどを読み出して、各マクロブロックラインに含まれるマクロブロックを順に符号化する。

　符号化部５１は、実施の形態１の復号部５と同様に、転送部９を用いて、面内予測に先立って、周辺情報メモリ７から再構成部分画像を周辺情報として読み出し、動きベクトルの符号化に先立って周辺情報メモリ７から動きベクトルを周辺情報として読み出し、デブロックフィルタ処理に先立って周辺情報メモリ７からデブロックフィルタ画像を周辺情報として読み出す。また、符号化部５１は、動きベクトルの符号化が終わると転送部９を用いて、周辺情報メモリ８にその動きベクトルを周辺情報として書き込み、再構成処理が終わると転送部９を用いて、周辺情報メモリ８に書き込み対象再構成部分画像を周辺情報として書き込み、デブロックフィルタ処理が終わると転送部９を用いて、周辺情報メモリ８に書き込み対象デブロックフィルタ画像を書き込む。符号化部５１は、符号化によって生成された分割ストリームをバッファ５３に書き込む。その他の符号化部５１の動作は一般的なＨ．２６４規格に対応した符号化部と同様であるので説明を省略する。

　以上が、符号化部５１による符号化処理の説明である。符号化部５２は、転送部１０を用いることと、周辺情報を周辺情報メモリ７に書き込むことと、周辺情報を周辺情報メモリ８から読み出すことと、生成された分割ストリームをバッファ５４に書き込むこと以外は、符号化部５１と同じ動作を行う。したがって、この符号化部５２についての詳細な説明を省略する。

　以上のように、符号化部５１および符号化部５２が並列に周辺情報メモリ７および周辺情報メモリ８を介して同期して動作することにより、フレームメモリ１１に格納されている画像が符号化されて２つの分割ストリームが生成される。なお、このような並列符号化部６２による符号化は、実施の形態１の並列復号部６０による復号に対応する処理動作である。

　次に、ストリーム結合部５５は、バッファ５３の分割ストリームとバッファ５４の分割ストリームとを結合することによって、１つの符号化ストリームを生成し、その符号化ストリームをＣＰＢ５６に書き込む。

　　（７－４．効果）
　このように、本実施の形態では、符号化部５１と符号化部５２が周辺情報メモリ７と周辺情報メモリ８を用いて同期して並列に動作し、ストリーム結合部５５が２つの分割ストリームを結合することにより、つまり、符号化対象の画像を構成する２つの部分を並列に符号化して結合することにより、例えばスライスなどの単位で構成されていないＨ．２６４規格の符号化ストリームを生成することが可能となる。さらに、本実施の形態では、１つの符号化部だけで画像を符号化する場合に比べて、処理性能を２倍にすることができる。また、同一性能を実現する場合には、各符号化部の動作周波数を半分にすることができ、消費電力の低減が可能である。

　さらに、本実施の形態では、周辺情報メモリ７および周辺情報メモリ８をバッファのように用いて符号化部５１と符号化部５２が同期して並列に動作することにより、実施の形態１の図１９Ａに示す処理と同様に、符号化部５１と符号化部５２は同時に処理を開始することが可能になる。さらに、符号化開始の制御が容易になる。また、符号化部５２では、処理に必要な周辺情報が符号化部５１によって周辺情報メモリ８に書き込まれれば、符号化対象マクロブロックの処理が可能となる。一方、図１９Ｂに示す処理と同様に、特許文献１の画像符号化装置では、２つの符号化部がマクロブロック単位に同期して動作するため、２つの符号化部のうち早くマクロブロックの符号化を終了した方は、次のマクロブロックの符号化の開始を待つことになる。したがって、本実施の形態では、このような符号化の開始を待つことがないため、特許文献１の画像符号化装置に比べて処理開始の待ち時間が削減され、効率よく動作できる。

　　（７－５．補足）
　なお、本実施の形態の画像符号化装置７００は、Ｈ．２６４規格にしたがって符号化を行ったが、例えばＶＣ－１など、他の画像符号化規格にしたがって符号化を行ってもよい。

　また、本実施の形態の画像符号化装置７００は、２つの符号化部を備えたが、２つに限るものではなく、３つや４つあるいはさらに大きな個数の符号化部を備えてもよい。この場合、ストリーム結合部５５は、備えられている符号化部の数と同じ数の分割ストリームを結合する。

　また、本実施の形態の画像符号化装置７００は、Ｈ．２６４規格にあわせて、左、上、右上、および左上の４つの周辺マクロブロックを参照したが、左の周辺マクロブロックのみ、あるいは左と上の周辺マクロブロックのみなどを参照しても構わない。また、処理によって、参照される周辺マクロブロックが変わっても構わない。

　また、本実施の形態の画像符号化装置７００では、周辺情報を格納する構成要素を周辺情報メモリとしたが、その構成要素は、フリップフロップや他の記憶素子など、どのような記録媒体でもかまわない。

　また、本実施の形態の画像符号化装置７００では、動きベクトルの符号化、面内予測、およびデブロックフィルタ処理に使用する全ての周辺情報を１つの周辺情報メモリに格納したが、それぞれ別の周辺情報メモリ（メモリやフリップフロップなどの記憶素子など）に格納してもかまわない。

　また、本実施の形態の画像符号化装置７００では、実施の形態１の画像復号装置１００と同様、境界の両側３画素ずつを用いてデブロックフィルタ処理を行い、その画素数だけずれた位置の書き込み対象領域の復号画像をフレームメモリ１１に書き込むが、その画素数は３画素より大きくてもよい。

　また、本実施の形態の画像符号化装置７００では、動きベクトル、再構成部分画像、デブロックフィルタ画像を周辺情報として周辺情報メモリに格納したが、これらに限るものではなく、マクロブロック間で必要となる情報であればどのような情報を格納しても構わない。例えば、面内予測モード、マクロブロックの周波数係数のうちの非０係数の全ての数（ＴｏｔａｌＣｏｅｆｆ）、または、参照ピクチャを示す参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）などを周辺情報として用いてもよい。

　また、本実施の形態の画像符号化装置７００は、符号化部のそれぞれに対して、転送部と周辺情報メモリとを１つずつ備えているが、符号化部のそれぞれに対して必ずしも備える必要はない。例えば、転送性能を満たす範囲であれば、複数の符号化部に対して共用される１つの転送部と周辺情報メモリとを備えてもよい。

　また、本実施の形態のストリーム結合部５５は、単に２つの分割ストリームを１つの符号化ストリームに結合したが、単に結合するだけでなく、符号化ストリームの全て又は一部を復号して、再符号化したり、あるいは、符号化ストリームの符号化方式を別の符号化方式に変更し、符号化方式が変更された符号化ストリームをＣＰＢに格納してもよい。

　また、本実施の形態の符号化部は、フレームメモリ１１に復号画像（局所復号画像）のみを格納するが、符号化時に生成され、局所復号画像に付随する制御データ、例えばＨ．２６４規格のダイレクトモードの復号に必要な情報なども格納してもよい。

　また、本実施の形態の画像符号化装置７００は、実施の形態１に示した画像復号装置１００に対応する構成を有するが、実施の形態２～６の何れかの画像復号装置に対応する構成を有していてもよい。

　（実施の形態８）
　　（８－１．概要）
　まず、本発明の実施の形態８におけるトランスコード装置の概要について説明する。

　本実施の形態におけるトランスコード装置は、入力された符号化ストリームを、まず実施の形態１に示した並列復号部６０により復号し、その復号結果である復号画像をフレームメモリに書き込む。さらに、トランスコード装置は、フレームメモリから復号画像を読み出して拡大または縮小し、その拡大または縮小され復号画像をリサイズ画像として再度フレームメモリに書き込む。次に、トランスコード装置は、実施の形態７に示した並列符号化部６２により元の符号化ストリームとは異なる符号化方式、画像サイズ又はビットレートで、リサイズ画像を再度符号化する。このようにして、高速に復号し、高速に符号化することにより、高速にトランスコードを行うことが可能になる。

　　（８－２．構成）
　次に、本実施の形態のトランスコード装置の構成について説明する。

　図２９は、本実施の形態のトランスコード装置の構成図である。なお、実施の形態１および実施の形態７と同じ構成要素には同じ参照符号を付し、説明を省略する。

　本実施の形態のトランスコード装置８００は、ＣＰＢ１，５６と、バッファ３，４，５３，５４と、フレームメモリ１１と、ストリーム分割部２と、ストリーム結合部５５と、複数の復号部で並列に復号を行う並列復号部６０と、フレームメモリ１１の復号画像を拡大または縮小する拡大縮小部６１と、複数の符号化部で並列に符号化を行う並列符号化部６２とを備える。なお、本実施の形態では、ＣＰＢ１、ストリーム分割部２、バッファ３、バッファ４、フレームメモリ１１および並列復号部６０から実施の形態１の画像復号装置１００が構成されている。また、フレームメモリ１１、バッファ５３、バッファ５４、ストリーム結合部５５、ＣＰＢ５６、および並列符号化部６２から実施の形態７の画像符号化装置７００が構成されている。

　　（８－３．動作）
　次に、本実施の形態のトランスコード装置８００の動作について説明する。

　まず、ストリーム分割部２は、実施の形態１と同様に、ＣＰＢ１に格納されている符号化ストリームを２つに分割し、２つの分割ストリームをバッファ３およびバッファ４のそれぞれに書き込む。次に、実施の形態１と同様に、並列復号部６０は、内部の２つの復号部により並列にバッファ３およびバッファ４から分割ストリームを読み出して復号し、復号結果である復号画像をフレームメモリ１１に書き込む。

　次に、拡大縮小部６１は、並列復号部６０による復号によって生成された復号画像をフレームメモリ１１から読み出し、その復号画像を拡大または縮小し、拡大または縮小された復号画像をリサイズ画像としてフレームメモリ１１に書き込む。

　次に、実施の形態７と同様に、並列符号化部６２は、フレームメモリ１１に格納されているリサイズ画像に対して、内部の２つの符号化部により並列に符号化を行い、その符号化によって生成された２つの分割ストリームをバッファ５３およびバッファ５４にそれぞれ書き込む。このとき、並列符号化部６２は、元の符号化ストリームとは異なる符号化方式、画像サイズ又はビットレートで、リサイズ画像を再度符号化する。

　次に、実施の形態７と同様に、ストリーム結合部５５はバッファ５３とバッファ５４のそれぞれに書き込まれた分割ストリームを１つの符号化ストリームに結合し、その符号化ストリームをＣＰＢ５６に書き込む。

　　（８－４．効果）
　このように、本実施の形態では、ＣＰＢ１の符号化ストリームの規格とは異なる符号化規格あるいは符号化ビットレートで、並列符号化部６２が符号化を行うことにより、その符号化ストリームを異なる符号化規格又はビットレートの符号化ストリームに変換することができる。また、拡大縮小部６１で画像の拡大または縮小を行うことによって、ＣＰＢ１の符号化ストリームの画像サイズと異なる画像サイズの符号化ストリームに変換することが可能になる。

　また、本実施の形態では、並列復号部６０と並列符号化部６２を用いることにより、単独の復号部あるいは符号化部による処理に比べて高速にトランスコードを行うことができる。あるいは、単独の復号部あるいは符号化部による処理に比べて、より低い動作周波数でトランスコードを行うことができる。

　　（８－５．補足）
　なお、本実施の形態におけるトランスコード装置８００の拡大縮小部６１は、拡大または縮小を行ったが、高画質処理を行ってもよく、拡大または縮小と高画質処理とを合わせて行ってもよい。さらに、トランスコード装置８００は、拡大および縮小の何れも行わず、復号画像をそのまま符号化しても構わない。

　また、本実施の形態のトランスコード装置８００は、並列復号部６０と並列符号化部６２を備えているが、並列復号部６０の代わりに、並列した復号を行わない１つの復号部を備えてもよい。あるいは、トランスコード装置８００は、並列符号化部６２の代わりに、並列した符号化を行わない１つの復号部を備えてもよい。つまり、本実施の形態のトランスコード装置８００は、復号部と符号化部とを備えるが、そのうちの一方だけが並列復号部６０または並列符号化部６２として構成されていればよい。

　また、本実施の形態におけるトランスコード装置８００の並列復号部６０および並列符号化部６２は、２つの復号部および２つの符号化部をそれぞれ備えているが、それらの数は必ずしも２つに限るものではない。また、並列復号部６０に備えられる復号部の数と、並列符号化部６２に備えられる符号化部の数とは異なっていてもよい。

　また、本実施の形態のトランスコード装置８００は、実施の形態１の画像復号装置１００と実施の形態７の画像符号化装置７００を利用しているが、実施の形態１の画像復号装置１００の代わりに、実施の形態２～６の何れかの画像復号装置を利用してもよい。また、実施の形態７の画像符号化装置７００の代わりに、実施の形態２～６の何れかの画像復号装置に対応する画像符号化装置を利用してもよい。

　（実施の形態９）
　本実施の形態の画像復号装置は、ＬＳＩ（Large Scale Integration）とＤＲＡＭ（Dynamic Random Access Memory）とを備える。

　図３０は、本実施の形態の画像復号装置の構成図である。

　本実施の形態の画像復号装置１００ａは、実施の形態１に示した画像復号装置１００の一部からなるＬＳＩ７１と、画像復号装置１００の残りの部分からなるＤＲＡＭ７２とを備える。なお、ＬＳＩ７１は半導体集積回路である。具体的には、ＬＳＩ７１は、実施の形態１におけるストリーム分割部２と、復号部５，６と、周辺情報メモリ７，８と、転送部９，１０とを備える。ＤＲＡＭ７２は、実施の形態１におけるＣＰＢ１と、バッファ３と、バッファ４と、フレームメモリ１１とを備える。

　なお、上述の各構成要素は個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。

　さらに加えて、本実施の形態の画像復号装置１００ａを集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。例えば携帯電話やテレビ、デジタルビデオレコーダー、デジタルビデオカメラ、カーナビゲーション等の描画機器における復号手段として、本実施の形態の画像復号装置１００ａを利用することが可能である。ディスプレイは、例えば、ブラウン管（ＣＲＴ）の他、液晶ディスプレイ、ＰＤＰ（プラズマディスプレイパネル）、有機ＥＬなどのフラットディスプレイ、またはプロジェクターを代表とする投射型ディスプレイなどである。

　また、本実施の形態の画像復号装置１００ａは、ＬＳＩとＤＲＡＭによって構成されているが、ＤＲＡＭの代わりに、例えばｅＤＲＡＭ（ｅｍｂｅｄｅｄ　ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、またはハードディスクなどの他の記憶装置で構成されていてもよい。

　（実施の形態１０）
　本実施の形態の画像復号装置は、２つのＬＳＩと２つのＤＲＡＭとを備える。

　図３１は、本実施の形態の画像復号装置の構成図である。

　本実施の形態の画像復号装置６００ａは、実施の形態６に示した画像復号装置６００の一部からなるＬＳＩ７１ａ，７１ｂと、画像復号装置６００の残りの部分からなるＤＲＡＭ７２ａ，７２ｂと備える。なお、ＬＳＩ７１ａ，７１ｂはそれぞれ半導体集積回路である。具体的には、ＬＳＩ７１ａは、実施の形態６におけるストリーム分割部２と、復号部６と、転送部１０と、周辺情報メモリ８とを備える。ＬＳＩ７１ｂは、実施の形態６における復号部５と、転送部９と、周辺情報メモリ７とを備える。ＤＲＡＭ７２ａは、実施の形態６におけるＣＰＢ１と、バッファ４と、フレームメモリ１１とを備える。ＤＲＡＭ７２ｂは、実施の形態６におけるバッファ３とフレームメモリ４４とを備える。

　本実施の形態では２つのＬＳＩを用いて実現したが、これらは１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　さらに加えて、本実施の形態の画像復号装置６００ａを集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。例えば携帯電話やテレビ、デジタルビデオレコーダー、デジタルビデオカメラ、カーナビゲーション等の描画機器における復号手段として、本実施の形態の画像復号装置６００ａを利用することが可能である。ディスプレイは、例えば、ブラウン管（ＣＲＴ）の他、液晶ディスプレイ、ＰＤＰ（プラズマディスプレイパネル）、有機ＥＬなどのフラットディスプレイ、またはプロジェクターを代表とする投射型ディスプレイなどである。

　また、本実施の形態の画像復号装置６００ａは、ＬＳＩとＤＲＡＭによって構成されているが、ＤＲＡＭの代わりに、例えばｅＤＲＡＭ、ＳＲＡＭ、またはハードディスクなどの他の記憶装置で構成されていてもよい。

　（実施の形態１１）
　本実施の形態の画像復号装置は、実施の形態１０と同様、２つのＬＳＩと２つのＤＲＡＭとを備えるが、２つのＬＳＩのそれぞれにストリーム分割部２が備えられている点に特徴がある。

　図３２は、本実施の形態の画像復号装置の構成図である。

　本実施の形態の画像復号装置６００ｂは、実施の形態１０の画像復号装置６００と同様、ＬＳＩ７１ａと、ＤＲＡＭ７２ａ，７２ｂとを備える。また、画像復号装置６００ｂは、画像復号装置６００のＬＳＩ７１ｂの代わりにＬＳＩ７１ｃを備える。ＬＳＩ７１ｃは、ストリーム分割部２と、復号部５と、転送部９と、周辺情報メモリ７とを備える。ＬＳＩ７１ａのストリーム分割部２は、ＣＰＢ１から符号化ストリームを読み出して２つに分割し、その分割によって生成された、ＬＳＩ７１ａで処理されるべき分割ストリームをバッファ４に格納する。同様に、ＬＳＩ７１ｃのストリーム分割部２は、ＣＰＢ１から符号化ストリームを読み出して２つに分割し、その分割によって生成された、ＬＳＩ７１ｃで処理されるべき分割ストリームをバッファ３に格納する。これにより、ＬＳＩ７１ａ，７１ｃはそれぞれ分割ストリームを並列に復号する。

　なお、２つのストリーム分割部２はそれぞれ、分割によって生成された２つの分割ストリームをバッファ３またはバッファ４に格納してもよい。この場合には、復号部５および復号部６はそれぞれ、自らが処理すべき分割ストリームをバッファ３またはバッファ４から選択して読み出し、それらの分割ストリームを並列に復号する。

　（実施の形態１２）
　上記各実施の形態で示した画像復号装置、画像符号化装置またはトランスコード装置を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、または半導体メモリ等、プログラムを記録できるものであればよい。

　さらにここで、上記各実施の形態で示した画像復号装置、画像符号化装置、トランスコード装置およびその方法の応用例とそれを用いたシステムを説明する。

　図３３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７～ｅｘ１１０が設置されている。

　このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７～ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Personal Digital Assistant）ｅｘ１１２、カメラｅｘ１１３、および携帯電話ｅｘ１１４などの各機器が接続される。

　しかし、コンテンツ供給システムｅｘ１００は図３３のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７～ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

　カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ－ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

　コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、または携帯電話ｅｘ１１４等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

　なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

　また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において行われる。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ－ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

　また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

　以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

　なお、コンテンツ供給システムｅｘ１００の例に限らず、図３４に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信され、衛星ｅｘ２０２に伝送される。このビットストリームは上記各実施の形態で説明した画像符号化装置により符号化された符号化ビットストリームである。これを受けた衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。

　また、記録媒体であるＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の蓄積メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。

　また、ＤＶＤ、ＢＤ（Blu-ray Disc）等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

　図３５は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

　まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した画像復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態７で説明した画像符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８～ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

　また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

　また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

　一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図３６に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１～ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

　以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

　図３７に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

　以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

　また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図３５に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

　このように、上記各実施の形態で示した画像符号化装置、動画像復号装置、あるいはそれらの方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

　また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

　（実施の形態１３）
　上記各実施の形態で示した画像復号装置および方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図３８に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２～ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

　また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコンｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって基地局ｅｘ１０７から得られた符号化データ、または記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。

　なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

　なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

　以上、本発明について実施の形態１～１３を用いて説明したが、本発明はこれらに限定されるものではない。

　例えば、実施の形態１の画像復号装置１００は、周辺情報メモリ７，８を備えていたが、このような２つのメモリを備えることなく１つの記憶部だけを備えていてもよい。

　図３９は、本発明の一態様に係る画像復号装置の構成図である。

　本発明の一態様に係る画像復号装置Ｃ１００は、符号化画像データを復号する画像復号装置であって、その符号化画像データを格納する第１の記憶部Ｃ１０６ａと、その符号化画像データを分割することによって第１および第２の符号化画像データを生成する分割部Ｃ１０１と、その第１の符号化画像データを記憶しておく第２の記憶部Ｃ１０６ｂと、その第２の符号化画像データを記憶しておく第３の記憶部Ｃ１０６ｃと、フレーム記憶部Ｃ１０２と、第１および第２の符号化画像データを並列に復号してフレーム記憶部Ｃ１０２に格納する第１および第２の復号部Ｃ１０３，Ｃ１０４と、第１および第２の復号部Ｃ１０３，Ｃ１０４による復号に用いられる第１および第２の復号結果情報を格納するための情報記憶部Ｃ１０５とを備える。第１の復号部Ｃ１０３は、情報記憶部Ｃ１０５に格納されている第２の復号結果情報を用いて第１の符号化画像データを復号し、その復号によって生成される情報の一部を第１の復号結果情報として情報記憶部Ｃ１０５に格納する。第２の復号部Ｃ１０４は、情報記憶部Ｃ１０５に格納されている第１の復号結果情報を用いて第２の符号化画像データを復号し、その復号によって生成される情報の一部を第２の復号結果情報として情報記憶部Ｃ１０５に格納する。ここで、分割部Ｃ１０１と、第１および第２の復号部Ｃ１０３，Ｃ１０４と、情報記憶部Ｃ１０５とを含む処理部を集積回路として構成してもよい。

　なお、分割部Ｃ１０１は実施の形態１～６のストリーム分割部２に相当し、フレーム記憶部Ｃ１０２は実施の形態１～６のフレームメモリ１１に相当する。また、第１の復号部Ｃ１０３は実施の形態１～６の復号部５および転送部９に相当する。第２の復号部Ｃ１０４は実施の形態１～６の復号部６および転送部１０に相当する。また、情報記憶部Ｃ１０５は実施の形態１～６の周辺情報メモリ７および８を含む記録媒体に相当する。また、第１の記憶部Ｃ１０６ａ、第２の記憶部Ｃ１０６ｂおよび第３の記憶部Ｃ１０６ｃはそれぞれ、実施の形態１～６のＣＰＢ１、バッファ３およびバッファ４に相当する。さらに、符号化画像データは実施の形態１～６の符号化ストリームに相当し、第１および第２の符号化画像データはそれぞれ実施の形態１～６の分割ストリームに相当し、第１および第２の復号結果情報はそれぞれ実施の形態１～６の周辺情報に相当する。

　図４０は、画像復号装置Ｃ１００の動作を示すフローチャートである。

　画像復号装置Ｃ１００は、まず、符号化画像データを分割することによって第１および第２の符号化画像データを生成する（Ｓ１５０１）。さらに、画像復号装置Ｃ１００は、第１および第２の符号化画像データを並列に復号して（Ｓ１５０２）、フレーム記憶部Ｃ１０２に格納する（Ｓ１５０３）。

　ステップＳ１５０２で第１の符号化画像データを復号する際には、画像復号装置Ｃ１００の第１の復号部Ｃ１０３は、情報記憶部Ｃ１０５に格納されている第２の復号結果情報を用いて第１の符号化画像データを復号し（Ｓ１５０４）、その復号によって生成される情報の一部を第１の復号結果情報として情報記憶部Ｃ１０５に格納する（Ｓ１５０５）。また、ステップＳ１５０２で第２の符号化画像データを復号する際には、画像復号装置Ｃ１００の第２の復号部Ｃ１０４は、情報記憶部Ｃ１０５に格納されている第１の復号結果情報を用いて第２の符号化画像データを復号し（Ｓ１５０６）、その復号によって生成される情報の一部を第２の復号結果情報として情報記憶部Ｃ１０５に格納する（Ｓ１５０７）。

　これにより、画像復号装置Ｃ１００では、符号化画像データが第１および第２の符号化画像データに分割され、その第１および第２の符号化画像データがそれぞれ第１および第２の復号部Ｃ１０３，Ｃ１０４によって並列に復号され、第１および第２の符号化画像データの復号が情報記憶部Ｃ１０５を介したデータの依存によって同期するため、各復号部による復号のタイミングを集中的に制御する上記特許文献１のようなマクロブロックパイプライン制御部を省くことができる。さらに、画像復号装置Ｃ１００が、符号化画像データを３つ以上のデータに分割し、それらのデータを並列に復号するための多くの復号部を備えるような場合でも、上記特許文献１のようなマクロブロックライン制御部と各復号部との間の信号線を敷設する必要がなく、画像復号装置を簡単に実現することができる。さらに、画像復号装置Ｃ１００では、Ｈ．２６４規格におけるデータの依存関係によって必要とされる第１および第２の復号結果情報は、情報記憶部Ｃ１０５を介して第１および第２の復号部Ｃ１０３，Ｃ１０４の間で送受信される。したがって、第１および第２の復号部Ｃ１０３，Ｃ１０４は、それぞれ復号に必要とされる第１または第２の復号結果情報が情報記憶部Ｃ１０５に格納されていれば、他方の復号部による復号を待つことなく、その格納されている第１または第２の復号結果情報を用いて第１または第２の符号化画像データの復号を継続して行うことができる。その結果、上記特許文献１の画像復号装置のように復号が中断してタイムロスが発生してしまうようなことを抑えることができ、復号効率の向上を図ることができる。

　したがって、本発明の画像復号装置は、復号結果の一部を格納するための２つのメモリ（周辺情報メモリ７，８）を備えていなくても、１つの記憶部（情報記憶部Ｃ１０５）があれば、上述の作用効果を奏することができる。

　なお、符号化画像データは符号化されたピクチャを含み、ピクチャは複数のマクロブロックラインから構成され、マクロブロックラインは一列に配列された複数のマクロブロックから構成されていてもよい。そして、分割部Ｃ１０１は、ピクチャを構成するマクロブロックラインごとに、そのマクロブロックラインを第１または第２の符号化画像データの一部に割り当てることによって、ピクチャを第１および第２の符号化画像データに分割してもよい。

　この場合、第１および第２の復号部Ｃ１０３，Ｃ１０４は、互いに隣接する２つのマクロブロックラインをそれぞれ復号する。そして、第１の復号部Ｃ１０３は、復号対象のマクロブロックを復号する際には、その復号対象のマクロブロックが属するマクロブロックラインに隣接する他のマクロブロックラインに属する第２の復号部Ｃ１０４によって復号された他のマクロブロックの少なくとも一部である第２の復号結果情報と、復号対象のマクロブロックとに対して、画像処理を行い、画像処理された復号対象のマクロブロックおよび第２の復号結果情報のそれぞれの少なくとも一部をフレーム記憶部Ｃ１０２に格納する。

　また、本発明の一態様に係る集積回路は、図３９に示すように、分割部Ｃ１０１と、第１および第２の復号部Ｃ１０３，Ｃ１０４と、情報記憶部Ｃ１０５とを含んでいるが、第１のおよび第２の復号部Ｃ１０３，Ｃ１０４のうちの一方のみを含んでいても良い。

　図４１は、本発明の他の態様に係る集積回路の構成図である。

　本発明の他の態様に係る集積回路Ｃ２００１は、符号化画像データの一部を復号する集積回路であって、その符号化画像データを分割することによって第１および第２の符号化画像データを生成する分割部Ｃ１０１と、集積回路Ｃ２００１に接続された処理装置Ｃ２００４による第１の符号化画像データの復号と並列に、第２の符号化画像データを復号してフレーム記憶部Ｃ１０２に格納する復号部Ｃ２００２と、復号部Ｃ２００２による復号に用いられる第１の復号結果情報を格納するための情報記憶部Ｃ２００３とを備える。復号部Ｃ２００２は、情報記憶部Ｃ２００３に格納されている第１の復号結果情報を用いて第２の符号化画像データを復号し、その復号によって生成される情報の一部を第２の復号結果情報として処理装置Ｃ２００４に格納する。処理装置Ｃ２００４は、その処理装置Ｃ２００４に格納されている第２の復号結果情報を用いて第１の符号化画像データを復号し、その復号によって生成される情報の一部を第１の復号結果情報として情報記憶部Ｃ２００３に格納する。なお、集積回路Ｃ２００１は、図３１または図３２に示すＬＳＩ７１ａに相当する。ここで、復号部Ｃ２００２はＬＳＩ７１ａの復号部６および転送部１０に相当し、情報記憶部Ｃ２００３はＬＳＩ７１ａの周辺情報メモリ８に相当する。

　このような集積回路Ｃ２００１は、図３１に示すＬＳＩ７１ｂ（処理装置Ｃ２００４）または図３２に示すＬＳＩ７１ｃ（処理装置Ｃ２００４）と共に協働した動作を行うことによって、画像復号装置Ｃ１００と同様の作用効果を奏する。

　図４２は、本発明の他の態様に係る画像復号装置の構成図である。

　本発明の他の態様に係る画像復号装置Ｃ８００では、情報記憶部Ｃ１０５は、第１および第２の情報記憶部Ｃ１０５ａ，Ｃ１０５ｂを備える。第１の復号部Ｃ１０３は、第１の情報記憶部Ｃ１０５ａから第２の復号結果情報を読み出して第１の符号化画像データの復号に用い、第１の復号結果情報を第２の情報記憶部１０５ｂに格納する。第２の復号部Ｃ１０４は、第２の情報記憶部Ｃ１０５ｂから第１の復号結果情報を読み出して第２の符号化画像データの復号に用い、第２の復号結果情報を第１の情報記憶部Ｃ１０５ａに格納する。

　ここで、画像復号装置Ｃ８００は、さらに、第１の情報記憶部Ｃ１０５ａに格納される情報を第１の情報と第２の情報とに切り替える第１のスイッチＣ８０３と、第２の情報記憶部Ｃ１０５ｂに格納される情報を第３の情報と第４の情報とに切り替える第２のスイッチＣ８０４とを備える。

　第１の情報記憶部Ｃ１０５ａに格納される情報が第１のスイッチＣ８０３によって第１の情報に切り替えられ、第２の情報記憶部Ｃ１０５ｂに格納される情報が第２のスイッチＣ８０４によって第３の情報に切り替えられた際には、上述のように、第１の復号部Ｃ１０３は、第１の復号結果情報を第３の情報として第２の情報記憶部Ｃ１０５ｂに格納する。また、第２の復号部Ｃ１０４は、第２の復号結果情報を第１の情報として第１の情報記憶部Ｃ１０５ａに格納する。

　一方、第１の情報記憶部Ｃ１０５ａに格納される情報が第１のスイッチＣ８０３によって第２の情報に切り替えられ、第２の情報記憶部Ｃ１０５ｂに格納される情報が第２のスイッチＣ８０４によって第４の情報に切り替えられた際には、第１および第２の復号部Ｃ１０３，Ｃ１０４はそれぞれ上述と異なる動作を行う。つまり、第１の復号部Ｃ１０３は、さらに、第１の情報記憶部Ｃ１０５ａから第２の情報を読み出して他の符号化画像データの復号に用い、その復号によって生成される情報の一部を新たな第２の情報として第１の情報記憶部Ｃ１０５ａに格納する。また、第２の復号部Ｃ１０４は、さらに、第２の情報記憶部Ｃ１０５ｂから第４の情報を読み出して符号化画像データの復号に用い、その復号によって生成される情報の一部を新たな第４の情報として第２の情報記憶部Ｃ１０５ｂに格納する。

　これにより、画像復号装置Ｃ８００では、第１および第２の情報記憶部Ｃ１０５ａ，Ｃ１０５ｂに格納される情報が第１および第２のスイッチＣ８０３，Ｃ８０４によって第１および第３の情報にそれぞれ切り替えられた際には、第１および第２の符号化画像データが並列に復号され、第１および第２の情報記憶部Ｃ１０５ａ，Ｃ１０５ｂに格納される情報が第１および第２のスイッチＣ８０３，Ｃ８０４によって第２および第４の情報にそれぞれ切り替えられた際には、符号化画像データと他の符号化画像データとが同時に復号される。したがって、第１および第２のスイッチＣ８０３，Ｃ８０４によって、１つの符号化画像データを分割して並列に復号する処理と、独立した２つの符号化画像データを同時に復号する処理とを切り替えることができ、画像復号装置の利便性を向上することができる。

　また、本発明の画像復号装置では、第１の復号部Ｃ１０３は、復号対象のデータを第１の符号化画像データと他の符号化画像データとに切り替え、第２の復号部Ｃ１０４は、復号対象のデータを第２の符号化画像データと符号化画像データとに切り替える。したがって、本発明の画像復号装置は、実施の形態３の画像復号装置３００におけるスイッチ３８およびスイッチ３９を備えていなくても、上述の作用効果を奏することができる。

　図４３は、本発明のさらに他の態様に係る画像復号装置の構成図である。

　本発明のさらに他の態様に係る画像復号装置Ｃ９００は、画像復号装置Ｃ１００の構成要素を備えるとともに、さらに、分割部Ｃ１０１による分割の対象とされるデータを符号化画像データと他の符号化画像データとに切り替えるスイッチＣ９０１を備える。分割部Ｃ１０１は、スイッチＣ９０１によって、分割の対象とされるデータが符号化画像データに切り替えられた際には、符号化画像データを分割する。一方、スイッチＣ９０１によって、分割の対象とされるデータが他の符号化画像データに切り替えられた際には、分割部Ｃ１０１は他の符号化画像データを分割する。

　これにより、画像復号装置Ｃ９００では、２つの符号化画像データを時間的に切り替えて復号することが可能になる。例えば、符号化画像データに含まれるピクチャが復号されると、分割の対象とされるデータが他の符号化画像データに切り替えられる。その結果、他の符号化画像データに含まれるピクチャが分割されて復号される。その後、分割の対象とされるデータが再び符号化画像データに切り替えられる。このように、ピクチャ単位で切り替えを行い、２つの符号化画像データを同時に復号することが可能になる。

　図４４は、本発明の一態様に係る画像符号化装置の構成図である。

　本発明の一態様に係る画像符号化装置Ｃ１２００は、画像データを符号化する画像符号化装置であって、画像データを格納しているフレーム記憶部Ｃ１２０１と、画像データに含まれる第１および第２の画像データをフレーム記憶部Ｃ１２０１から読み出して並列に符号化することによって第１および第２の符号化画像データを生成する第１および第２の符号化部Ｃ１２０２，Ｃ１２０３と、その第１の符号化画像データを記憶しておく第１の記憶部Ｃ１２０６ａと、その第２の符号化画像データを記憶しておく第２の記憶部Ｃ１２０６ｂと、第１および第２の符号化部Ｃ１２０２，Ｃ１２０３によって生成された第１および第２の符号化画像データを結合する結合部Ｃ１２０５と、その結合部Ｃ１２０５による結合によって生成されたデータを記憶しておく第３の記憶部Ｃ１２０６ｃと、第１および第２の符号化部Ｃ１２０２，Ｃ１２０３による符号化に用いられる第１および第２の符号化結果情報を格納するための情報記憶部Ｃ１２０４とを備える。第１の符号化部Ｃ１２０２は、情報記憶部Ｃ１２０４に格納されている第２の符号化結果情報を用いて第１の画像データを符号化し、その符号化によって生成される情報の一部を第１の符号化結果情報として情報記憶部Ｃ１２０４に格納する。第２の符号化部Ｃ１２０３は、情報記憶部Ｃ１２０４に格納されている第１の符号化結果情報を用いて第２の画像データを符号化し、その符号化によって生成される情報の一部を第２の符号化結果情報として情報記憶部Ｃ１２０４に格納する。

　なお、結合部Ｃ１２０５は実施の形態７のストリーム結合部５５に相当し、フレーム記憶部Ｃ１２０１は実施の形態７のフレームメモリ１１に相当する。また、第１の符号化部Ｃ１２０２は実施の形態７の符号化部５１および転送部９に相当する。第２の符号化部Ｃ１２０３は実施の形態７の符号化部５２および転送部１０に相当する。また、情報記憶部Ｃ１２０４は実施の形態７の周辺情報メモリ７および８を含む記録媒体に相当する。また、第３の記憶部Ｃ１２０６ｃ、第１の記憶部Ｃ１２０６ａおよび第２の記憶部Ｃ１２０６ｂはそれぞれ、実施の形態７のＣＰＢ５６、バッファ５３およびバッファ５４に相当する。さらに、第１および第２の符号化画像データは実施の形態７の分割ストリームに相当し、結合部Ｃ１２０５による結合によって生成されたデータは実施の形態７の符号化ストリームに相当し、第１および第２の符号化結果情報はそれぞれ実施の形態７の周辺情報に相当する。

　図４５は、画像符号化装置Ｃ１２００の動作を示すフローチャートである。

　画像符号化装置Ｃ１２００は、まず、画像データに含まれる第１および第２の画像データをフレーム記憶部Ｃ１２０１から読み出し（Ｓ１６０１）、並列に符号化することによって第１および第２の符号化画像データを生成する（Ｓ１６０２）。次に、画像符号化装置Ｃ１２００は、生成された第１および第２の符号化画像データを結合する（Ｓ１６０３）。

　ステップＳ１６０２で第１の画像データを符号化する際には、画像符号化装置Ｃ１２００の第１の符号化部Ｃ１２０２は、情報記憶部Ｃ１２０４に格納されている第２の符号化結果情報を用いて第１の画像データを符号化し（Ｓ１６０４）、その符号化によって生成される情報の一部を第１の符号化結果情報として情報記憶部Ｃ１２０４に格納する（Ｓ１６０５）。また、ステップＳ１６０２で第２の画像データを符号化する際には、画像符号化装置Ｃ１２００の第２の符号化部Ｃ１２０３は、情報記憶部Ｃ１２０４に格納されている第１の符号化結果情報を用いて第２の画像データを符号化し（Ｓ１６０６）、その符号化によって生成される情報の一部を第２の符号化結果情報として情報記憶部Ｃ１２０４に格納する（Ｓ１６０７）。

　これにより、画像符号化装置Ｃ１２００では、画像データに含まれる第１および第２の画像データが並列に符号化されて結合されるため、各符号化部による符号化のタイミングを集中的に制御する制御部を省くことができる。さらに、画像符号化装置Ｃ１２００が、画像データの一部を符号化する多くの符号化部を備えるような場合でも、上述のような制御部と各符号化部との間の信号線を敷設する必要がなく、画像符号化装置を簡単に実現することができる。さらに、画像符号化装置Ｃ１２００では、Ｈ．２６４規格におけるデータの依存関係によって必要とされる第１および第２の符号化結果情報は、情報記憶部Ｃ１２０４を介して第１および第２の符号化部Ｃ１２０２，Ｃ１２０３の間で送受信される。したがって、第１および第２の符号化部Ｃ１２０２，Ｃ１２０３は、それぞれ符号化に必要とされる第１または第２の符号化結果情報が情報記憶部Ｃ１２０４に格納されていれば、他方の符号化部による符号化を待つことなく、その格納されている第１または第２の符号化結果情報を用いて第１または第２の画像データの符号化を継続して行うことができる。その結果、符号化が中断してタイムロスが発生してしまうようなことを抑えることができ、符号化効率の向上を図ることができる。

　したがって、本発明の画像符号化装置は、符号化結果の一部を格納するための２つのメモリ（周辺情報メモリ７，８）を備えていなくても、１つの記憶部（情報記憶部Ｃ１２０４）があれば、上述の作用効果を奏することができる。

　図４６は、本発明の一態様に係るトランスコード装置の構成図である。

　本発明の一態様に係るトランスコード装置Ｃ１３００は、画像復号装置Ｃ１３０１と画像符号化装置Ｃ１３０２とを備える。ここで、画像復号装置Ｃ１３０１が上記実施の形態１～６の何れかの画像復号装置であれば、画像符号化装置Ｃ１３０２は、どのような画像符号化装置であってもよい。一方、画像符号化装置Ｃ１３０２が上記実施の形態７の画像符号化装置７００、または、上記実施の形態１～６の何れかの画像復号装置に対応する画像符号化装置であれば、画像復号装置Ｃ１３０１はどのような画像復号装置であってもよい。また、画像復号装置Ｃ１３０１が上記実施の形態１～６の何れか画像復号装置であり、且つ、画像符号化装置Ｃ１３０２が上記実施の形態７の画像符号化装置７００、または、上記実施の形態１～６の何れかの画像復号装置に対応する画像符号化装置であってもよい。

　これにより、本発明のトランスコード装置では、上述の本発明の画像復号装置および画像符号化装置の少なくとも一方と同様の作用効果を奏することができる。

　本発明の画像復号装置、画像符号化装置およびトランスコード装置は、復号効率または符号化効率を向上するとともに、容易に実現可能であるという作用効果を奏し、様々な用途に利用可能である。例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、またはデジタルビデオカメラ等の情報表示機器や撮像機器に利用可能であり、利用価値が高い。

　１，３７，５６　　ＣＰＢ（Ｃｏｄｅｄ　Ｐｉｃｔｕｒｅ　Ｂｕｆｆｅｒ）
　２，２０　　ストリーム分割部
　３，４，２１～２４，５３，５４　　バッファ
　５，６，２５～２８，Ｃ２００２　　復号部
　７，８，２９～３２　　周辺情報メモリ
　９，１０，３３～３６　　転送部
　１１，４４　フレームメモリ
　１２　　可変長復号部
　１３　　逆量子化部
　１４　　逆周波数変換部
　１５　　再構成部
　１６　　面内予測部
　１７　　動きベクトル計算部
　１８　　動き補償部
　１９　　デブロックフィルタ部
　３８～４２，Ｃ９０１　　スイッチ
　４３　　出画部
　５１，５２　　符号化部
　５５　　ストリーム結合部
　６０　　並列復号部
　６１　　拡大縮小部
　６２　　並列符号化部
　１００，１００ａ，２００，３００，４００，５００，６００，６００ａ，６００ｂ，Ｃ１００，Ｃ８００，Ｃ９００，Ｃ１３０１　　画像復号装置
　７００，Ｃ１２００，Ｃ１３０２　　画像符号化装置
　８００，Ｃ１３００　　トランスコード装置
　Ｃ１０１　　分割部
　Ｃ１０２，Ｃ１２０１　　フレーム記憶部
　Ｃ１０３　　第１の復号部
　Ｃ１０４　　第２の復号部
　Ｃ１０５，Ｃ１２０４，Ｃ２００３　　情報記憶部
　Ｃ１０５ａ　　第１の情報記憶部
　Ｃ１０５ｂ　　第２の情報記憶部
　Ｃ８０３　　第１のスイッチ
　Ｃ８０４　　第２のスイッチ
　Ｃ１２０２　　第１の符号化部
　Ｃ１２０３　　第２の符号化部
　Ｃ１２０５　　結合部
　Ｃ２００１　　集積回路
　ｅｘ１００　　コンテンツ供給システム
　ｅｘ１０１　　インターネット
　ｅｘ１０２　　インターネットサービスプロバイダ
　ｅｘ１０３　　ストリーミングサーバ
　ｅｘ１０４　　電話網
　ｅｘ１０７～ｅｘ１１０　　基地局
　ｅｘ１１１　　コンピュータ
　ｅｘ１１２　　ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）
　ｅｘ１１３　　カメラ
　ｅｘ１１４　　携帯電話
　ｅｘ１１６　　カメラ
　ｅｘ２００　　デジタル放送用システム
　ｅｘ２０１　　放送局
　ｅｘ２０２　　衛星
　ｅｘ２０３　　ケーブル
　ｅｘ２０４，ｅｘ２０５　　アンテナ
　ｅｘ２１０　　車
　ｅｘ２１１　　カーナビゲーション
　ｅｘ２１２　　再生装置
　ｅｘ２１３，ｅｘ２１９　　モニタ
　ｅｘ２１５，ｅｘ２１６　　記録メディア
　ｅｘ２１７　　セットトップボックス（ＳＴＢ）
　ｅｘ２１８　　リーダ／レコーダ
　ｅｘ２２０　　リモートコントローラ
　ｅｘ２３０　　情報トラック
　ｅｘ２３１　　記録ブロック
　ｅｘ２３２　　内周領域
　ｅｘ２３３　　データ記録領域
　ｅｘ２３４　　外周領域
　ｅｘ３００　　テレビ（受信機）
　ｅｘ３０１　　チューナ
　ｅｘ３０２　　変調／復調部
　ｅｘ３０３　　多重／分離部
　ｅｘ３０４　　音声信号処理部
　ｅｘ３０５　　映像信号処理部
　ｅｘ３０６　　信号処理部
　ｅｘ３０７　　スピーカ
　ｅｘ３０８　　表示部
　ｅｘ３０９　　出力部
　ｅｘ３１０　　制御部
　ｅｘ３１１　　電源回路部
　ｅｘ３１２　　操作入力部
　ｅｘ３１３　　ブリッジ
　ｅｘ３１４　　スロット部
　ｅｘ３１５　　ドライバ
　ｅｘ３１６　　モデム
　ｅｘ３１７　　インタフェース部
　ｅｘ３１８，ｅｘ３１９，ｅｘ４０４　　バッファ
　ｅｘ４００　　情報再生／記録部
　ｅｘ４０１　　光ヘッド
　ｅｘ４０２　　変調記録部
　ｅｘ４０３　　再生復調部
　ｅｘ４０５　　ディスクモータ
　ｅｘ４０６　　サーボ制御部
　ｅｘ４０７　　システム制御部
　ｅｘ５００　　ＬＳＩ
　ｅｘ５０２　　マイコン
　ｅｘ５０３　　メモリコントローラ
　ｅｘ５０４　　ストリームＩ／Ｏ
　ｅｘ５０５　　電源回路部
　ｅｘ５０７　　信号処理部
　ｅｘ５０９　　ＡＶＩ／Ｏ
　ｅｘ５１０　　バス
　ｅｘ５１１　　メモリ

Claims

　符号化画像データを復号する画像復号装置であって、
　前記符号化画像データを格納する第１の記憶部と、
　前記符号化画像データを分割することによって第１および第２の符号化画像データを生成する分割部と、
　前記第１の符号化画像データを記憶しておく第２の記憶部と、
　前記第２の符号化画像データを記憶しておく第３の記憶部と、
　フレーム記憶部と、
　前記第１および第２の符号化画像データを並列に復号して前記フレーム記憶部に格納する第１および第２の復号部と、
　前記第１および第２の復号部による復号に用いられる第１および第２の復号結果情報を格納するための情報記憶部とを備え、
　前記第１の復号部は、前記情報記憶部に格納されている前記第２の復号結果情報を用いて前記第１の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第１の復号結果情報として前記情報記憶部に格納し、
　前記第２の復号部は、前記情報記憶部に格納されている前記第１の復号結果情報を用いて前記第２の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第２の復号結果情報として前記情報記憶部に格納する、
　画像復号装置。
　前記情報記憶部は、第１および第２の情報記憶部を備え、
　前記第１の復号部は、前記第１の情報記憶部から前記第２の復号結果情報を読み出して前記第１の符号化画像データの復号に用い、前記第１の復号結果情報を前記第２の情報記憶部に格納し、
　前記第２の復号部は、前記第２の情報記憶部から前記第１の復号結果情報を読み出して前記第２の符号化画像データの復号に用い、前記第２の復号結果情報を前記第１の情報記憶部に格納する、
　請求項１に記載の画像復号装置。
　前記符号化画像データは符号化されたピクチャを含み、前記ピクチャは複数のマクロブロックラインから構成され、前記マクロブロックラインは一列に配列された複数のマクロブロックから構成されており、
　前記分割部は、前記ピクチャを構成するマクロブロックラインごとに、当該マクロブロックラインを第１または第２の符号化画像データの一部に割り当てることによって、前記ピクチャを第１および第２の符号化画像データに分割する、
　請求項２に記載の画像復号装置。
　前記符号化画像データは符号化されたピクチャを含み、前記ピクチャは複数のマクロブロックラインから構成され、前記マクロブロックラインは一列に配列された複数のマクロブロックから構成されており、
　前記分割部は、前記ピクチャがＭＢＡＦＦ（Ｍａｃｒｏ　Ｂｌｏｃｋ　Ａｄａｐｔｉｖｅ　Ｆｒａｍｅ　Ｆｉｅｌｄ）構造によって符号化されている場合には、前記ピクチャを構成する互いに隣接する２つのマクロブロックラインごとに、当該２つのマクロブロックラインを第１または第２の符号化画像データの一部に割り当てることによって、前記ピクチャを分割する、
　請求項２に記載の画像復号装置。
　前記第１および第２の復号部は、前記第１および第２の情報記憶部を介して互いに同期した復号を行う、
　請求項２に記載の画像復号装置。
　前記第１および第２の符号化画像データはそれぞれ複数のブロックから構成され、
　前記第１の復号部は、前記第１の符号化画像データのうちの復号対象のブロックの復号に必要な前記第２の復号結果情報が、前記第１の情報記憶部に格納されていない場合は、前記第２の復号結果情報が格納されるまで、前記復号対象のブロックに対する復号を待ち、前記第２の復号結果情報が格納されると、前記復号対象のブロックに対する復号を開始し、
　前記第２の復号部は、前記第２の符号化画像データのうちの復号対象のブロックの復号に必要な前記第１の復号結果情報が、前記第２の情報記憶部に格納されていない場合は、前記第１の復号結果情報が格納されるまで、前記復号対象のブロックに対する復号を待ち、前記第１の復号結果情報が格納されると、前記復号対象のブロックに対する復号を開始する、
　請求項５に記載の画像復号装置。
　前記画像復号装置は、さらに、
　前記第１の情報記憶部に格納される情報を第１の情報と第２の情報とに切り替える第１のスイッチと、
　前記第２の情報記憶部に格納される情報を第３の情報と第４の情報とに切り替える第２のスイッチとを備え、
　前記第１の情報記憶部に格納される情報が前記第１のスイッチによって前記第１の情報に切り替えられ、前記第２の情報記憶部に格納される情報が前記第２のスイッチによって前記第３の情報に切り替えられた際には、
　前記第１の復号部は、前記第１の復号結果情報を前記第３の情報として前記第２の情報記憶部に格納し、
　前記第２の復号部は、前記第２の復号結果情報を前記第１の情報として前記第１の情報記憶部に格納し、
　前記第１の情報記憶部に格納される情報が前記第１のスイッチによって前記第２の情報に切り替えられ、前記第２の情報記憶部に格納される情報が前記第２のスイッチによって前記第４の情報に切り替えられた際には、
　前記第１の復号部は、さらに、前記第１の情報記憶部から前記第２の情報を読み出して他の符号化画像データの復号に用い、当該復号によって生成される情報の一部を新たな第２の情報として前記第１の情報記憶部に格納し、
　前記第２の復号部は、さらに、前記第２の情報記憶部から前記第４の情報を読み出して前記符号化画像データの復号に用い、当該復号によって生成される情報の一部を新たな第４の情報として前記第２の情報記憶部に格納する、
　請求項２に記載の画像復号装置。
　前記画像復号装置は、さらに、
　前記分割部による分割の対象とされるデータを前記符号化画像データと他の符号化画像データとに切り替えるスイッチを備え、
　前記分割部は、
　前記スイッチによって、分割の対象とされるデータが前記符号化画像データに切り替えられた際には、前記符号化画像データを分割し、
　前記スイッチによって、分割の対象とされるデータが前記他の符号化画像データに切り替えられた際には、前記他の符号化画像データを分割する、
　請求項２に記載の画像復号装置。
　前記画像復号装置は、さらに、
　復号された前記第１および第２の符号化画像データである動画像を前記フレーム記憶部から読み出し、表示装置によって設定されているフレームレートで前記動画像が表示されるように、前記動画像に含まれるピクチャを間引き、ピクチャが間引きされた前記動画像を前記表示装置に出力する出画部を備える、
　請求項１または２に記載の画像復号装置。
　前記フレーム記憶部は、第１のフレーム記憶部と、第２のフレーム記憶部とを備え、
　前記第１の復号部は、前記第１の符号化画像データの復号に参照される参照画像を前記第１のフレーム記憶部から読み出し、復号された前記第１の符号化画像データを前記第１および第２のフレーム記憶部に書き込み、
　前記第２の復号部は、前記第２の符号化画像データの復号に参照される参照画像を前記第２のフレーム記憶部から読み出し、復号された前記第２の符号化画像データを前記第１および第２のフレーム記憶部に書き込む、
　請求項１または２に記載の画像復号装置。
　画像データを符号化する画像符号化装置であって、
　前記画像データを格納しているフレーム記憶部と、
　前記画像データに含まれる第１および第２の画像データを前記フレーム記憶部から読み出して並列に符号化することによって第１および第２の符号化画像データを生成する第１および第２の符号化部と、
　前記第１の符号化画像データを記憶しておく第１の記憶部と、
　前記第２の符号化画像データを記憶しておく第２の記憶部と、
　前記第１および第２の符号化部によって生成された第１および第２の符号化画像データを結合する結合部と、
　前記結合部による結合によって生成されたデータを記憶しておく第３の記憶部と、
　前記第１および第２の符号化部による符号化に用いられる第１および第２の符号化結果情報を格納するための情報記憶部とを備え、
　前記第１の符号化部は、前記情報記憶部に格納されている前記第２の符号化結果情報を用いて前記第１の画像データを符号化し、当該符号化によって生成される情報の一部を前記第１の符号化結果情報として前記情報記憶部に格納し、
　前記第２の符号化部は、前記情報記憶部に格納されている前記第１の符号化結果情報を用いて前記第２の画像データを符号化し、当該符号化によって生成される情報の一部を前記第２の符号化結果情報として前記情報記憶部に格納する、
　画像符号化装置。
　符号化画像データを復号してさらに符号化するトランスコード装置であって、
　請求項１～１０の何れか１項に記載の画像復号装置と、
　前記画像復号装置によって復号された前記第１および第２の符号化画像データであって前記フレーム記憶部に格納されている画像データを符号化する画像符号化装置とを備える
　トランスコード装置。
　符号化画像データを復号してさらに符号化するトランスコード装置であって、
　前記符号化画像データを復号する画像復号装置と、
　前記画像復号装置によって復号された符号化画像データである画像データを符号化する請求項１１に記載の画像符号化装置とを備える
　トランスコード装置。
　符号化画像データを復号する画像復号方法であって、
　前記符号化画像データを分割することによって第１および第２の符号化画像データを生成し、
　前記第１および第２の符号化画像データを並列に復号してフレーム記憶部に格納し、
　前記第１の符号化画像データを復号する際には、情報記憶部に格納されている第２の復号結果情報を用いて前記第１の符号化画像データを復号し、当該復号によって生成される情報の一部を第１の復号結果情報として前記情報記憶部に格納し、
　前記第２の符号化画像データを復号する際には、前記情報記憶部に格納されている前記第１の復号結果情報を用いて前記第２の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第２の復号結果情報として前記情報記憶部に格納する、
　画像復号方法。
　画像データを符号化する画像符号化方法であって、
　前記画像データに含まれる第１および第２の画像データをフレーム記憶部から読み出して並列に符号化することによって第１および第２の符号化画像データを生成し、
　生成された前記第１および第２の符号化画像データを結合し、
　前記第１の画像データを符号化する際には、情報記憶部に格納されている第２の符号化結果情報を用いて前記第１の画像データを符号化し、当該符号化によって生成される情報の一部を第１の符号化結果情報として前記情報記憶部に格納し、
　前記第２の画像データを符号化する際には、前記情報記憶部に格納されている前記第１の符号化結果情報を用いて前記第２の画像データを符号化し、当該符号化によって生成される情報の一部を前記第２の符号化結果情報として前記情報記憶部に格納する、
　画像符号化方法。
　コンピュータを、請求項１～１０の何れか１項に記載の画像復号装置として機能させるためのプログラム。
　コンピュータを、請求項１１に記載の画像符号化装置として機能させるためのプログラム。
　符号化画像データを復号する集積回路であって、
　前記符号化画像データを分割することによって第１および第２の符号化画像データを生成する分割部と、
　前記第１および第２の符号化画像データを並列に復号してフレーム記憶部に格納する第１および第２の復号部と、
　前記第１および第２の復号部による復号に用いられる第１および第２の復号結果情報を格納するための情報記憶部とを備え、
　前記第１の復号部は、前記情報記憶部に格納されている前記第２の復号結果情報を用いて前記第１の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第１の復号結果情報として前記情報記憶部に格納し、
　前記第２の復号部は、前記情報記憶部に格納されている前記第１の復号結果情報を用いて前記第２の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第２の復号結果情報として前記情報記憶部に格納する、
　集積回路。
　符号化画像データの一部を復号する集積回路であって、
　前記符号化画像データを分割することによって第１および第２の符号化画像データを生成する分割部と、
　前記集積回路に接続された処理装置による前記第１の符号化画像データの復号と並列に、前記第２の符号化画像データを復号してフレーム記憶部に格納する復号部と、
　前記復号部による復号に用いられる第１の復号結果情報を格納するための情報記憶部とを備え、
　前記復号部は、前記情報記憶部に格納されている第１の復号結果情報を用いて前記第２の符号化画像データを復号し、当該復号によって生成される情報の一部を第２の復号結果情報として前記処理装置に格納し、
　前記処理装置は、当該処理装置に格納されている前記第２の復号結果情報を用いて前記第１の符号化画像データを復号し、当該復号によって生成される情報の一部を前記第１の復号結果情報として前記情報記憶部に格納する、
　集積回路。
　画像データを符号化する集積回路であって、
　前記画像データに含まれる第１および第２の画像データをフレーム記憶部から読み出して並列に符号化することによって第１および第２の符号化画像データを生成する第１および第２の符号化部と、
　前記第１および第２の符号化部によって生成された第１および第２の符号化画像データを結合する結合部と、
　前記第１および第２の符号化部による符号化に用いられる第１および第２の符号化結果情報を格納するための情報記憶部とを備え、
　前記第１の符号化部は、前記情報記憶部に格納されている前記第２の符号化結果情報を用いて前記第１の画像データを符号化し、当該符号化によって生成される情報の一部を前記第１の符号化結果情報として前記情報記憶部に格納し、
　前記第２の符号化部は、前記情報記憶部に格納されている前記第１の符号化結果情報を用いて前記第２の画像データを符号化し、当該符号化によって生成される情報の一部を前記第２の符号化結果情報として前記情報記憶部に格納する、
　集積回路。