JP4185014B2 - 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像符号化及び映像復号に関する技術である。

一般的に映像符号化では時間方向の相関を使って高い符号化効率を実現するため、フレーム間予測符号化を用いている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレーム（１フレームから予測することもある）がある。

Ｐフレームでは、ＩフレームまたはＰフレームから予測し、Ｂフレームでは、ＩフレームまたはＰフレームまたはＢフレームから予測することができる。特に映像符号化方式Ｈ．２６３では、参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を選択して予測することができる。また、Ｐフレームは入力動画像における時間が過去のフレームから予測するが、Ｂフレームでは過去のフレームだけではなく未来のフレームから予測することができる。

図７（ａ）に動画像の予測関係の例を示す。

Ｂフレームで２フレームから予測する場合（両方向予測）には、２フレームからの画像情報を補間して、１フレーム分の画像情報を作成して予測画像を作成する。第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合には、図７（ａ）に示す予測関係があるため、実際に符号化する場合には、図７（ｂ）に示すように“１→４→２→３→７→５→６”という順序でフレームを符号化する。

ここで、インタレース動画像は１フレーム内に２フィールド持つ構成となるが、同様にフィールド毎に予測関係を設定することができる。一般的にフレームとフィールドを総称してピクチャと呼ぶ。また、Ｂフレームの両方向予測では、過去の２フレームまたは未来の２フレームから予測することも可能である。例えば映像符号化方式Ｈ．２６４では、参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を２フレーム分選択して予測することができる。ここで選択したフレームの表示時刻は符号化対象フレームの未来であっても過去であってもよい。

また、Ｉピクチャを先頭にしたピクチャの集合をＧＯＰに設定することにより、ＧＯＰ単位の符号化データの時間についてのランダムアクセス機能を容易に実現できる。

ＧＯＰは、特定のピクチャの符号化データの前に、ＧＯＰ先頭であることを示す情報を含めることによって、そのピクチャが、そのピクチャ以降の複数ピクチャで構成されるＧＯＰの先頭であることを指定することが可能である。ＭＰＥＧ−２では、特有なビットパターンを持つ符号を挿入することによりＧＯＰの先頭であることを指定する。

ＧＯＰの先頭であることを示す符号間で１ＧＯＰの符号化データを構成することができる。なお、符号化データ中にＧＯＰの先頭であることを示す情報を符号化するのではなく、符号化データ外でＧＯＰ構成情報を指定することも可能である。

そして、この特有の符号の後には、一般的にＧＯＰの先頭フレームの時刻情報も含んでおり、時間についてのランダムアクセスを実現する際に利用される。また、各ピクチャにも時刻情報をつけることも可能である。この時刻情報は例えばＨ．２６３ではＴＲ（Temporal Reference）と呼ぶ。ＴＲは単位時間を基本とした、フレームの出力順序を表す情報である。例えば単位時間を１／３０秒に設定すれば、フレームごとに値が１つずつ増加することはフレームレートが３０フレーム／秒であることと等価である。通常ＴＲは固定長符号化される。

更に、複数のカメラ映像の符号化について、これらの映像をまとめて一つの映像情報として符号化する手法が提案されている。例えば、下記に示す非特許文献１では、複数のカメラ入力映像のうち、同じ時間帯のピクチャをまとめて一つのタイルとして符号化する手法を提案している。このタイル内にあるピクチャ間でフレーム間予測符号化を適用して比較的効率のよい符号化を実現する。タイルの例を図８に示す。この図に示すように、複数カメラ入力映像のピクチャ間でフレーム間予測符号化を適用して、各ピクチャを符号化する。

このように、複数のカメラ入力映像を予め持っていれば、入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらにより撮影した位置での映像が得られるが、更に、撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。例えば、下記に示す非特許文献２では、複数のカメラ入力画像から光線空間を生成して、その光線空間から画像情報を取り出すことにより、撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。

このような映像を生成する技術では、一般的に、複数のカメラ入力画像で同じ被写体が撮影されている場合に、それらの撮影されている画像情報を使って、その被写体について撮影されていない視点位置や視線方向の画像情報を生成する。複数のカメラ入力画像にまたがって撮影されている被写体について、すなわち、複数のカメラ入力画像の一部分を使って画像情報を生成している。
Heung-Yeung Shun, Sing Bing Kang, Shing-Chow Chan, "Survey of Image-Based Representations and Compression Techniques," IEEE Trans., Circuits Syst., Video Technol., vol.13, no.11, pp.1020-1037, 2003 藤井，木本，谷本："光線群表現における３次元空間情報の圧縮", ３次元画像コンファレンス'96, pp.1-6 (1996.7)

複数の映像から所望の視点位置かつ視線方向の映像を生成する技術では、与えられた複数の映像のうちの、生成に必要な部分の画像情報から映像を生成する。このとき、カメラ入力映像が符号化されている場合には、視点位置や視線方向が変わると、対応したカメラ入力映像の符号化データを復号して画像を生成する。

しかるに、従来提案されているタイルの方式では、ランダムアクセスはタイル単位であったため、複数のタイルをまたがるような視点位置や視線方向の映像を生成する場合には、該当するタイル内の映像を全て復号する必要があった。

このように、従来技術に従っていると、複数のカメラ入力画像で同じ被写体が撮影されている場合にあって、それらの撮影されている画像情報を使って、その被写体について撮影されていない視点位置や視線方向の画像情報を生成する場合に、画像の復号量が大きくなることで処理量が増大するという問題があった。

本発明はかかる事情に鑑みてなされたものであって、視点位置や視線方向を変更することを可能とする映像技術などに好適となる新たな映像符号化・復号技術の提供を目的とする。

この目的を達成するために、本発明の映像符号化方法は、複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化する処理を行うために、他の視点映像の同時刻の画像のみを参照画像とする場合に、他のＧＯＰに含まれる画像を参照画像にして、現ＧＯＰ内の現画像を符号化するＧＯＰ間予測符号化ステップと、使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を符号化する参照ＧＯＰ符号化ステップとを実行することを特徴とする。

そして、この目的を達成するために、本発明の映像符号化方法は、複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化する処理を行うために、使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を符号化する参照ＧＯＰ符号化ステップと、参照ＧＯＰ内における参照画像を指定する情報を符号化する参照画像符号化ステップと、参照画像符号化ステップで符号化された情報により指定される参照画像を使い、現ＧＯＰ内の現画像を符号化するＧＯＰ間予測符号化ステップとを実行することを特徴とする。
この構成を採るときに、ＧＯＰ内の他の画像を参照画像にしない場合に、ＧＯＰ内の他の画像を参照画像にしないことを示す情報を、該ＧＯＰについて符号化する参照画像有無符号化ステップを実行することがあり、このときには、ＧＯＰ間予測符号化ステップは、ＧＯＰ内の他の画像を参照画像にしない場合には、参照ＧＯＰの画像のみを参照画像として現画像を符号化する。

以上のように構成される本発明の映像符号化方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

一方、この目的を達成するために、本発明の映像復号方法は、複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化することで生成された符号化データを復号する処理を行うために、他の視点映像の同時刻の画像のみを参照画像とする場合に、使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を復号する参照ＧＯＰ復号ステップと、参照ＧＯＰ復号ステップで復号された情報で指定されるＧＯＰに含まれる同時刻の画像を参照画像にして、現ＧＯＰ内の現画像を復号するＧＯＰ間予測復号ステップとを実行することを特徴とする。

そして、この目的を達成するために、本発明の映像復号方法は、複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化することで生成された符号化データを復号する処理を行うために、使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を復号する参照ＧＯＰ復号ステップと、参照ＧＯＰ内における参照画像を指定する情報を復号する参照画像復号ステップと、参照画像復号ステップで復号された情報により指定される参照画像を使い、現ＧＯＰ内の現画像を復号するＧＯＰ間予測復号ステップとを実行することを特徴とする。
この構成を採るときに、ＧＯＰ内の他の画像を参照画像にしないことを示す情報を、該ＧＯＰについて復号する参照画像有無復号ステップを実行することがあり、このときには、ＧＯＰ間予測復号ステップは、ＧＯＰ内の他の画像を参照画像にしない場合には、参照ＧＯＰの画像のみを参照画像として現画像を復号する。

以上のように構成される本発明の映像復号方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明によれば、ＧＯＰ間予測符号化ステップと参照ＧＯＰ符号化ステップとそれに対応する復号ステップとを実行するという構成を採るので、例えば、複数のカメラ映像を入力して符号化するときに、カメラ入力映像ごとにＧＯＰを構成しておけば、カメラ入力映像間の予測関係をＧＯＰ間の予測関係として表現することができる。

これにより、視点位置や視線方向のランダムアクセスはカメラ入力映像単位で可能となる。すなわち、必要なカメラ入力映像の符号化データのみを復号することが可能である。

そして、カメラ入力映像ごとに、他のＧＯＰを参照しているＧＯＰと、参照していないＧＯＰとに分類して符号化しておけば、他のＧＯＰを参照していないＧＯＰは、そのＧＯＰの符号化データのみで復号可能であり、また、他のＧＯＰを参照しているＧＯＰは、その参照ＧＯＰを既に復号している場合には、その復号画像を参照画像にして、所望のＧＯＰの符号化データを復号できる。

このとき、必ずしも、参照ＧＯＰ内の画像を指定する必要はない。参照ＧＯＰのうち、先頭画像のみを参照画像として蓄積している場合には、参照ＧＯＰを指定するだけで、その先頭画像を参照画像として選択することが可能である。あるいは、参照ＧＯＰのうち、同時刻または最も最近の画像のみを参照画像として蓄積している場合には、参照ＧＯＰを指定するだけで、その画像を参照画像として選択することが可能である。

更に、同じカメラ入力映像中で、ある時間間隔でＧＯＰを構成している場合には、参照ＧＯＰを同じカメラ入力のものにしてもよい。

参照ＧＯＰの指定方法としては、各ＧＯＰに特有なパターンの符号を割り当てておき、その符号によって指定してもよい。また、予め隣接するカメラ間で予測することを決めている場合には、現ＧＯＰがどのＧＯＰと隣接するのかを指定することによって、参照ＧＯＰを指定してもよい。

さらに、本発明によれば、ＧＯＰ間予測符号化ステップと参照ＧＯＰ符号化ステップとを実行するという構成を採るときにあって、さらに、参照画像符号化ステップを実行するという構成を採るので、参照ＧＯＰ内の画像を指定することができる。よって、画面を分割したブロック毎に参照画像を指定することができ、符号化効率を向上することができる。

また、本発明によれば、参照画像有無復号ステップを実行するという構成を採るので、ＧＯＰ内の過去に復号した画像情報を参照画像とするかどうかを指定することができる。これにより、過去に復号した画像情報を参照画像にしない場合には、そのＧＯＰの復号画像は全て参照画像として蓄積しておく必要がなく、蓄積メモリ量を削減することができる。また、過去に復号した画像情報を参照画像としない場合で、他の全ＧＯＰを参照ＧＯＰに設定する場合には、ＧＯＰ単位に参照ＧＯＰを指定する必要はない。

以上のように構成される本発明に関して、ＧＯＰ間の参照関係の情報は、画像情報を蓄積する際には、画像情報の符号化データとは別に蓄積しておいてもよい。また、通信する場合には、画像の符号化データを通信する前に、参照関係の情報を通信するようにしておいてもよい。これによって、復号側では、映像を復号する前に、ＧＯＰの参照関係を知ることができ、例えばランダムアクセスする際に高速に所望のＧＯＰを探索することができる。

また、符号化側では、参照画像は復号画像でもよいし原画像でもよい。また、画像の符号化はロスレス符号化でもよい。

また、画像情報は空間階層符号化されていてもよい。この場合、カメラ入力画像を空間解像度変換しておき、各レイヤでフレーム間予測符号化を適用する（例えば、文献（Yiannis Andreopoulos, Mihaela Van der Schaar, Adrian Munteanu, Joeri Barbarien, Peter Schelkens and Jan Cornelis, "COMPLETE-TO-OVERCOMPLETE DISCRETE WAVELET TRANSFORMS FOR SCALABLE VIDEO CODING WITH MCTF," VCIP2003, vol.5150, pp.719-731, 2003.)) 。空間階層符号化されている場合には、レイヤ毎にＧＯＰを構成してもよい。

また、ＧＯＰ内の画像に対してＭＣＴＦ（例えば文献（Shih-Ta Hsiang and John W.Woods, "Embedded video coding using invertible motion compensated 3-D subband / wavelet filter bank, "Signal Processing: Image Communication, vol.16, pp.705-724, 2001.)) を使ったフレーム間予測符号化を適用してもよい。

以下、実施の形態に従って本発明を詳細に説明する。

〔１〕第１の実施形態例
第１の実施形態例として、３つのカメラ入力映像（画像Ａ，画像Ｂ，画像Ｃ）があり、画像Ａは画像Ａの画像情報のみで符号化し、画像Ｂは画像Ａと画像Ｂの画像情報を使って符号化し、画像Ｃは画像Ａと画像Ｂと画像Ｃの画像情報を使って符号化するものとする。

以下、画像Ｃについて、２カメラ入力映像から１つの映像（ＧＯＰ）を選択して符号化する例を示す。

図１に、ＧＯＰ構成を示す。ここで、図中に示す枠はＧＯＰを示しており、各ＧＯＰの右肩に記載した数字はＧＯＰ番号を示している。

各ＧＯＰの先頭では、同じカメラ入力映像の過去に符号化した画像の画像情報については参照画像として選択しないものとする。よって画像ＡのＧＯＰの先頭画像はＩピクチャで符号化され、画像Ｂと画像ＣのＧＯＰの先頭画像は、他のカメラ入力映像の画像情報を参照したＰピクチャで符号化される。時刻情報は単位時間を設定したＴＲで表される。また、画像Ｂのフレームレートは画像Ａと画像Ｃの半分であるとする。

〔１−１〕本発明の画像符号化装置の構成
図２に、第１の実施形態例に従う本発明の画像符号化装置の構成を図示する。

この図に示すように、本発明の画像符号化装置は、カメラ入力映像Ａについては、画像情報を取り込む画像Ａ入力部１０１と、画像情報を符号化する画像Ａ符号化部１０２と、画像Ａの符号化データを復号する画像Ａ復号部１０３と、２フレームの参照画像を蓄積する画像Ａ参照画像メモリ１０４と、マクロブロック毎に参照画像を指定する情報を符号化する画像Ａ参照画像符号化部１０５と、画像ＡのＧＯＰ番号を符号化する画像Ａ現ＧＯＰ符号化部１０６と、画像Ａの参照ＧＯＰの番号を符号化する画像Ａ参照ＧＯＰ符号化部１０７とを備える。

また、カメラ入力映像Ｂについては、画像情報を取り込む画像Ｂ入力部１０８と、画像情報を符号化する画像Ｂ符号化部１０９と、画像Ｂの符号化データを復号する画像Ｂ復号部１１０と、２フレームの参照画像を蓄積する画像Ｂ参照画像メモリ１１１と、マクロブロック毎に参照画像を指定する情報を符号化する画像Ｂ参照画像符号化部１１２と、画像ＢのＧＯＰ番号を符号化する画像Ｂ現ＧＯＰ符号化部１１３と、画像Ｂの参照ＧＯＰの番号を符号化する画像Ｂ参照ＧＯＰ符号化部１１４とを備える。

また、カメラ入力映像Ｃについては、画像情報を取り込む画像Ｃ入力部１１５と、画像情報を符号化する画像Ｃ符号化部１１６と、画像Ｃの符号化データを復号する画像Ｃ復号部１１７と、２フレームの参照画像を蓄積する画像Ｃ参照画像メモリ１１８と、マクロブロック毎に参照画像を指定する情報を符号化する画像Ｃ参照画像符号化部１１９と、画像ＣのＧＯＰ番号を符号化する画像Ｃ現ＧＯＰ符号化部１２０と、画像Ｃの参照ＧＯＰの番号を符号化する画像Ｃ参照ＧＯＰ符号化部１２１とを備える。

画像Ａ現ＧＯＰ符号化部１０６と画像Ｂ現ＧＯＰ符号化部１１３と画像Ｃ現ＧＯＰ符号化部１２０では、現ＧＯＰ番号を符号化するものであり、０以外の値で４ビット固定長で符号化する。また、画像Ａ参照ＧＯＰ符号化部１０７と画像Ｂ参照ＧＯＰ符号化部１１４と画像Ｃ参照ＧＯＰ符号化部１２１では、参照ＧＯＰ番号を符号化する。この参照ＧＯＰ番号は、参照するＧＯＰのＧＯＰ番号で示される。

画像Ａ符号化部１０２では、Ｉピクチャで符号化する場合には、現画像をＤＣＴして量子化し、その値をエントロピー符号化するものとする。このときマクロブロック毎にＤＣＴする。画像Ａ符号化部１０２と画像Ｂ符号化部１０９と画像Ｃ符号化部１１６では、Ｐピクチャで符号化する場合には、現画像と参照画像との間で動き探索を行って動き補償を行い、予測残差をＤＣＴして量子化し、その値をエントロピー符号化するものとする。このときマクロブロック毎に参照画像を選択して動き補償を行う。

画像Ａ参照画像符号化部１０５と画像Ｂ参照画像符号化部１１２と画像Ｃ参照画像符号化部１１９では、参照画像を指定する情報を符号化するが、参照ＧＯＰ番号と参照画像を指定する番号とを符号化対象とする。現ＧＯＰと参照ＧＯＰとが同じ場合には、参照ＧＯＰ番号を０として符号化する。

画像Ａ参照画像メモリ１０４と画像Ｂ参照画像メモリ１１１と画像Ｃ参照画像メモリ１１８では、新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には、最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また、ＧＯＰの先頭では、同一カメラ入力映像の以前のＧＯＰの復号画像は消去するものとする。

また、各画像についてＧＯＰ番号の小さい順から符号化していくものとする。

このような前提で、図２に示す本発明の画像符号化装置は、入力画像を次のように符号化する。なお、以下では、図１に示す時刻Ｔ１，Ｔ３，Ｔ５，Ｔ６，Ｔ７における符号化手順について説明し、時刻Ｔ２，Ｔ４，Ｔ８における符号化手順については説明を省略してある。

（１）時刻Ｔ１における符号化手順
まず、時刻Ｔ１において、画像Ａと画像Ｂと画像Ｃとを符号化する手順を示す。ここで、時刻Ｔ１においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に符号化することになる。

画像Ａ入力部１０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。画像Ａ現ＧＯＰ符号化部１０６は、ＧＯＰ番号として値１を符号化する。画像Ａ参照ＧＯＰ符号化部１０７は、他のＧＯＰを参照しないため参照ＧＯＰとして値０を符号化する。

そして、画像Ａ符号化部１０２は、マクロブロック毎にＩピクチャとして符号化し、画像Ａ復号部１０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ１０４に蓄積する。

画像Ｂ入力部１０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。画像Ｂ現ＧＯＰ符号化部１１３は、ＧＯＰ番号として値２を符号化する。画像Ｂ参照ＧＯＰ符号化部１１４は、画像ＡのＧＯＰ番号１の画像を参照するため参照ＧＯＰとして値１を符号化する。

そして、画像Ｂ符号化部１０９は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１の復号画像を選択する。画像Ｂ参照画像符号化部１１２は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ｂ復号部１１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ１１１に蓄積する。

画像Ｃ入力部１１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部１２０は、ＧＯＰ番号として値３を符号化する。画像Ｃ参照ＧＯＰ符号化部１２１は、画像ＡのＧＯＰ番号１または画像ＢのＧＯＰ番号２の画像を参照するため（マクロブロックで変わる）、参照ＧＯＰとして値１と値２を符号化する。

そして、画像Ｃ符号化部１１６は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１またはＧＯＰ２のうちのいずれかの復号画像を選択する。画像Ｃ参照画像符号化部１１９は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。画像Ｃ復号部１１７は、符号化データを復号して復号画像を画像Ｃ参照画像メモリ１１８に蓄積する。

以上により時刻Ｔ１の画像情報は全て符号化される。

（２）時刻Ｔ３における符号化手順
次に、時刻Ｔ３において、画像Ａと画像Ｂと画像Ｃとを符号化する手順を示す。ここで、時刻Ｔ３においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に符号化することになる。

画像Ａ入力部１０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ａ現ＧＯＰ符号化部１０６と画像Ａ参照ＧＯＰ符号化部１０７とは動作しない。

そして、画像Ａ符号化部１０２は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１の復号画像を選択する。画像Ａ参照画像符号化部１０５は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ａ復号部１０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ１０４に蓄積する。

画像Ｂ入力部１０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。画像Ｂ現ＧＯＰ符号化部１１３は、ＧＯＰ番号として値４を符号化する。画像Ｂ参照ＧＯＰ符号化部１１４は、画像ＡのＧＯＰ番号１の画像を参照するため参照ＧＯＰとして値１を符号化する。

そして、画像Ｂ符号化部１０９は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１の復号画像を選択する。画像Ｂ参照画像符号化部１１２は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ｂ復号部１１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ１１１に蓄積する。

画像Ｃ入力部１１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部１２０は、ＧＯＰ番号として値５を符号化する。画像Ｃ参照ＧＯＰ符号化部１２１は、画像ＡのＧＯＰ番号１または画像ＢのＧＯＰ番号４の画像を参照するため参照ＧＯＰとして値１と値４を符号化する。

そして、画像Ｃ符号化部１１６は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１またはＧＯＰ４のうちのいずれかの復号画像を選択する。画像Ｃ参照画像符号化部１１９は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。画像Ｃ復号部１１７は、符号化データを復号して復号画像を画像Ｃ参照画像メモリ１１８に蓄積する。

以上により時刻Ｔ３の画像情報は全て符号化される。

（３）時刻Ｔ５における符号化手順
次に、時刻Ｔ５において、画像Ａと画像Ｂと画像Ｃとを符号化する手順を示す。ここで、時刻Ｔ５においては、ＧＯＰ番号の小さい順に従って、“画像Ｂ→画像Ａ→画像Ｃ”の順に符号化することになる。

画像Ｂ入力部１０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ｂ現ＧＯＰ符号化部１１３と画像Ｂ参照ＧＯＰ符号化部１１４とは動作しない。

そして、画像Ｂ符号化部１０９は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１とＧＯＰ４のいずれかの復号画像を選択する。画像Ｂ参照画像符号化部１１２は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ｂ復号部１１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ１１１に蓄積する。

画像Ａ入力部１０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。画像Ａ現ＧＯＰ符号化部１０６は、ＧＯＰ番号として値６を符号化する。画像Ａ参照ＧＯＰ符号化部１０７は、他のＧＯＰを参照しないため参照ＧＯＰとして値０を符号化する。

そして、画像Ａ符号化部１０２は、マクロブロック毎にＩピクチャとして符号化し、画像Ａ復号部１０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ１０４に蓄積する。

画像Ｃ入力部１１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部１２０は、ＧＯＰ番号として値７を符号化する。画像Ｃ参照ＧＯＰ符号化部１２１は、画像ＡのＧＯＰ番号６または画像ＢのＧＯＰ番号４の画像を参照するため、参照ＧＯＰとして値４と値６を符号化する。

そして、画像Ｃ符号化部１１６は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ４またはＧＯＰ６のうちのいずれかの復号画像を選択する。画像Ｃ参照画像符号化部１１９は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。画像Ｃ復号部１１７は、符号化データを復号して復号画像を画像Ｃ参照画像メモリ１１８に蓄積する。

以上により時刻Ｔ５の画像情報は全て符号化される。

（４）時刻Ｔ６における符号化手順
次に、時刻Ｔ６において、画像Ａと画像Ｃとを符号化する手順を示す。ここで、時刻Ｔ６においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｃ”の順に符号化することになる。

画像Ａ入力部１０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ａ現ＧＯＰ符号化部１０６と画像Ａ参照ＧＯＰ符号化部１０７とは動作しない。

そして、画像Ａ符号化部１０２は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ６の復号画像を選択する。画像Ａ参照画像符号化部１０５は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ａ復号部１０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ１０４に蓄積する。

画像Ｃ入力部１１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ｃ現ＧＯＰ符号化部１２０と画像Ｃ参照ＧＯＰ符号化部１２１とは動作しない。

そして、画像Ｃ符号化部１１６は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ４またはＧＯＰ６またはＧＯＰ７のうちのいずれかの復号画像を選択する。画像Ｃ参照画像符号化部１１９は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。画像Ｃ復号部１１７は、符号化データを復号して復号画像を画像Ｃ参照画像メモリ１１８に蓄積する。

以上により時刻Ｔ６の画像情報は全て符号化される。

（５）時刻Ｔ７における符号化手順
次に、時刻Ｔ７において、画像Ａと画像Ｂと画像Ｃとを符号化する手順を示す。ここで、時刻Ｔ７においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に符号化することになる。

画像Ａ入力部１０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ａ現ＧＯＰ符号化部１０６と画像Ａ参照ＧＯＰ符号化部１０７とは動作しない。

そして、画像Ａ符号化部１０２は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ６の復号画像を選択する。画像Ａ参照画像符号化部１０５は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ａ復号部１０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ１０４に蓄積する。

画像Ｂ入力部１０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。画像Ｂ現ＧＯＰ符号化部１１３は、ＧＯＰ番号として値８を符号化する。画像Ｂ参照ＧＯＰ符号化部１１４は、ＧＯＰ６を参照するため、参照ＧＯＰとして値６を符号化する。

そして、画像Ｂ符号化部１０９は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ６の復号画像を選択する。画像Ｂ参照画像符号化部１１２は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ｂ復号部１１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ１１１に蓄積する。

画像Ｃ入力部１１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部１２０は、ＧＯＰ番号として値９を符号化する。画像Ｃ参照ＧＯＰ符号化部１２１は、ＧＯＰ６またはＧＯＰ８を参照するため、参照ＧＯＰとして値６と値８を符号化する。

そして、画像Ｃ符号化部１１６は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ６またはＧＯＰ８のうちのいずれかの復号画像を選択する。画像Ｃ参照画像符号化部１１９は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。画像Ｃ復号部１１７は、符号化データを復号して復号画像を画像Ｃ参照画像メモリ１１８に蓄積する。

以上により時刻Ｔ７の画像情報は全て符号化される。

〔１−２〕本発明の復号装置の構成
図３に、第１の実施形態例に従う本発明の復号装置の構成を図示する。

この図に示すように、本発明の復号装置は、カメラ入力映像Ａについては、画像ＡのＧＯＰ番号を復号する画像Ａ現ＧＯＰ復号部２０１と、画像Ａの参照ＧＯＰの番号を復号する画像Ａ参照ＧＯＰ復号部２０２と、画像Ａの符号化データを復号する画像Ａ復号部２０３と、２フレームの参照画像を蓄積する画像Ａ参照画像メモリ２０４と、マクロブロック毎に参照画像を指定する情報を復号する画像Ａ参照画像復号部２０５とを備える。

また、カメラ入力映像Ｂについては、画像ＢのＧＯＰ番号を復号する画像Ｂ現ＧＯＰ復号部２０６と、画像Ｂの参照ＧＯＰの番号を復号する画像Ｂ参照ＧＯＰ復号部２０７と、画像Ｂの符号化データを復号する画像Ｂ復号部２０８と、２フレームの参照画像を蓄積する画像Ｂ参照画像メモリ２０９と、マクロブロック毎に参照画像を指定する情報を復号する画像Ｂ参照画像復号部２１０とを備える。

また、カメラ入力映像Ｃについては、画像ＣのＧＯＰ番号を復号する画像Ｃ現ＧＯＰ復号部２１１と、画像Ｃの参照ＧＯＰの番号を復号する画像Ｃ参照ＧＯＰ復号部２１２と、画像Ｃの符号化データを復号する画像Ｃ復号部２１３と、２フレームの参照画像を蓄積する画像Ｃ参照画像メモリ２１４と、マクロブロック毎に参照画像を指定する情報を復号する画像Ｃ参照画像復号部２１５とを備える。

これに加えて、本発明の復号装置は、所望のＧＯＰの情報を符号化データ中から探索するＧＯＰ探索部２１６を備える。

画像Ａ現ＧＯＰ復号部２０１と画像Ｂ現ＧＯＰ復号部２０６と画像Ｃ現ＧＯＰ復号部２１１では、現ＧＯＰ番号を復号するものであり、４ビット固定長を復号する。

画像Ａ復号部２０３では、Ｉピクチャとして復号する場合には、符号化データをエントロピー復号して、逆量子化し、逆ＤＣＴする。画像Ａ復号部２０３と画像Ｂ復号部２０８と画像Ｃ復号部２１３では、Ｐピクチャで符号化する場合には、動き補償を行って予測画像を作成した後、予測残差符号化データをエントロピー復号して逆量子化し、逆ＤＣＴを適用して予測残差を求める。そして、予測残差を予測画像に加算する。このとき、マクロブロック毎に参照画像を選択して動き補償を行う。

画像Ａ参照画像メモリ２０４と画像Ｂ参照画像メモリ２０９と画像Ｃ参照画像メモリ２１４では、新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には、最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また、ＧＯＰの先頭では、同一カメラ入力映像の以前のＧＯＰの復号画像は消去するものとする。

また、各画像についてＧＯＰ番号の小さい順から復号していくものとする。

このような前提で、図３に示す本発明の復号装置は、符号化データを次のように復号する。

（１）時刻Ｔ１における復号手順
まずは時刻順序に復号する手順を示す。その一例として、時刻Ｔ１において、画像Ａと画像Ｂと画像Ｃとを復号する手順を示す。ここで、時刻Ｔ１においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に復号することになる。

画像Ａの符号化データについて、画像Ａ現ＧＯＰ復号部２０１は、ＧＯＰ番号として値１を復号する。画像Ａ参照ＧＯＰ復号部２０２は、参照ＧＯＰとして値０を復号する。

そして、画像Ａ復号部２０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ２０４に蓄積する。

画像Ｂの符号化データについて、画像Ｂ現ＧＯＰ復号部２０６は、ＧＯＰ番号として値２を復号する。画像Ｂ参照ＧＯＰ復号部２０７は、参照ＧＯＰとして値１を復号する。

そして、マクロブロック毎に、画像Ｂ参照画像復号部２１０は、参照ＧＯＰ番号と参照画像番号とを復号する。画像Ｂ復号部２０８は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ２０９に蓄積する。

画像Ｃの符号化データについて、画像Ｃ現ＧＯＰ復号部２１１は、ＧＯＰ番号として値３を復号する。画像Ｃ参照ＧＯＰ復号部２１２は、参照ＧＯＰとして値１と値２を復号する。

そして、マクロブロック毎に、画像Ｃ参照画像復号部２１５は、参照画像として使用した画像のＧＯＰ番号と画像番号とを復号する。画像Ｃ復号部２１３は、符号化データを復号して復号画像を画像Ｃ参照画像メモリ２１４に蓄積する。

以上により時刻Ｔ１の画像情報は全て復号される。

以上の手順を繰り返し実行することにより、全カメラ入力映像の全画像情報を復号することができる。

（２）ランダムアクセスする場合の復号手順
次に、所望のＧＯＰへランダムアクセスする場合の復号手順を示す。

（２−１）時刻Ｔ３以降の画像Ａと画像ＢのＧＯＰへのランダムアクセス
まず、時刻Ｔ３以降の画像Ａと画像ＢのＧＯＰへランダムアクセスする場合の手順を示す。

ＧＯＰ探索部２１６は、画像Ａと画像ＢについてＧＯＰを探索し、時刻Ｔ３で画像ＢのＧＯＰの先頭情報を得る。

画像Ｂの符号化データについて、画像Ｂ現ＧＯＰ復号部２０６は、ＧＯＰ番号として値４を復号する。画像Ｂ参照ＧＯＰ復号部２０７は、参照ＧＯＰとして値１を復号する。ＧＯＰ番号１のＧＯＰは復号していないので、この画像ＢのＧＯＰ符号化データを復号できない。このため、ＧＯＰ探索部２１６は、画像Ａと画像Ｂについて次のＧＯＰを探索する。

この探索により、ＧＯＰ探索部２１６は、時刻Ｔ５で画像ＡのＧＯＰの先頭情報を得る。

画像Ａの符号化データについて、画像Ａ現ＧＯＰ復号部２０１は、ＧＯＰ番号として値６を復号する。画像Ａ参照ＧＯＰ復号部２０２は、参照ＧＯＰ番号として値０を復号する。ここで、参照ＧＯＰ番号の値が０であることから、このＧＯＰ符号化データは他のＧＯＰを参照せずに復号できることが分かる。そこで、ＧＯＰ番号６の復号を開始する。画像Ａ復号部２０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ２０４に蓄積する。

ＧＯＰ探索部２１６は、画像Ｂについて次のＧＯＰを探索する。なお、時刻Ｔ５以後ではＧＯＰ番号６のＧＯＰ符号化データは復号可能なので、画像Ａ復号部２０３は、次のＧＯＰまで符号化データの復号を続ける。

この探索により、ＧＯＰ探索部２１６は、時刻Ｔ７で画像ＢのＧＯＰの先頭情報を得る。

画像Ｂの符号化データについて、画像Ｂ現ＧＯＰ復号部２０６は、ＧＯＰ番号として値８を復号する。画像Ｂ参照ＧＯＰ復号部２０７は、参照ＧＯＰ番号として値６を復号する。ここで、参照ＧＯＰ番号の値が６であることから、このＧＯＰ符号化データは復号できることが分かる。そこで、ＧＯＰ番号８の復号を開始する。画像Ｂ参照画像復号部２１０は、参照ＧＯＰ番号と参照画像番号とを復号する。画像Ｂ復号部２０８は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ２０９に蓄積する。

以上により時刻Ｔ７において、画像Ａと画像Ｂのカメラ入力映像のランダムアクセスが実現できる。

（２−２）時刻Ｔ３以降の画像Ａと画像ＣのＧＯＰへのランダムアクセス
次に、時刻Ｔ３以降の画像Ａと画像ＣのＧＯＰへランダムアクセスする場合の手順を示す。

ＧＯＰ探索部２１６は、画像Ａと画像ＣについてＧＯＰを探索し、時刻Ｔ３で画像ＣのＧＯＰの先頭情報を得る。

画像Ｃの符号化データについて、画像Ｃ現ＧＯＰ復号部２１１は、ＧＯＰ番号として値５を復号する。画像Ｃ参照ＧＯＰ復号部２１２は、参照ＧＯＰとして値１と値４を復号する。ここで、同時刻にある他のＧＯＰでＧＯＰ番号１と４のＧＯＰの有無を確認して、ある場合には、その先頭情報を復号する。

すなわち、画像Ｂの符号化データについて、画像Ｂ現ＧＯＰ復号部２０６は、ＧＯＰ番号として値４を復号する。画像Ｂ参照ＧＯＰ復号部２０７は、参照ＧＯＰ番号として値１を復号する。ＧＯＰ番号１のＧＯＰは復号していないので、この画像ＢのＧＯＰ符号化データを復号できない。同様に、ＧＯＰ番号１とＧＯＰ番号４を参照する画像ＣのＧＯＰ符号化データを復号できない。このため、ＧＯＰ探索部２１６は、画像Ａと画像Ｃについて次のＧＯＰを探索する。

この探索により、ＧＯＰ探索部２１６は、時刻Ｔ５で画像Ａと画像ＣのＧＯＰの先頭情報を得る。

画像Ａの符号化データについて、画像Ａ現ＧＯＰ復号部２０１は、ＧＯＰ番号として値６を復号する。画像Ａ参照ＧＯＰ復号部２０２は、参照ＧＯＰ番号として値０を復号する。ここで、参照ＧＯＰ番号の値が０であることから、このＧＯＰ符号化データは他のＧＯＰを参照せずに復号できることが分かる。そこで、ＧＯＰ番号６の復号を開始する。画像Ａ復号部２０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ２０４に蓄積する。

画像Ｃの符号化データについて、画像Ｃ現ＧＯＰ復号部２１１は、ＧＯＰ番号として値７を復号する。画像Ｃ参照ＧＯＰ復号部２１２は、参照ＧＯＰ番号として値４と値６を復号する。ＧＯＰ番号４のＧＯＰは復号していないので、このＧＯＰ符号化データを復号できない。このため、ＧＯＰ探索部２１６は、画像Ａと画像Ｃについて次のＧＯＰを探索する。なお、時刻Ｔ５以後では、ＧＯＰ番号６のＧＯＰ符号化データは復号可能なので、画像Ａ復号部２０３は、次のＧＯＰまで符号化データの復号を続ける。

この探索により、ＧＯＰ探索部２１６は、時刻Ｔ７で画像ＣのＧＯＰの先頭情報を得る。

画像Ｃの符号化データについて、画像Ｃ現ＧＯＰ復号部２１１は、ＧＯＰ番号として値９を復号する。画像Ｃ参照ＧＯＰ復号部２１２は、参照ＧＯＰ番号として値６と値８を復号する。ここで、参照ＧＯＰ番号の値が６と８であることから、同時刻にある他のＧＯＰでＧＯＰ番号８のＧＯＰの有無を確認して、ある場合にはその先頭情報を復号する。

すなわち、画像Ｂの符号化データについて、画像Ｂ現ＧＯＰ復号部２０６は、ＧＯＰ番号として値８を復号する。画像Ｂ参照ＧＯＰ復号部２０７は、参照ＧＯＰ番号として値６を復号する。ここで、参照ＧＯＰ番号の値が６であることから、このＧＯＰ符号化データは復号できることが分かる。

そこで、ＧＯＰ番号８の復号を開始する。画像Ｂ参照画像復号部２１０は、参照ＧＯＰ番号と参照画像番号とを復号する。画像Ｂ復号部２０８は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ２０９に蓄積する。以上によりＧＯＰ番号８の画像情報が得られることが分かる。

そこで、ＧＯＰ番号９の復号を開始する。画像Ｃ参照画像復号部２１５は、参照画像として使用した画像のＧＯＰ番号と画像番号とを復号する。画像Ｃ復号部２１３は、符号化データを復号して復号画像を画像Ｃ参照画像メモリ２１４に蓄積する。

以後のＧＯＰでは画像Ａと画像Ｃの復号画像を得るために、画像ＢのＧＯＰ番号８の画像情報が必要なため、ＧＯＰ番号８のＧＯＰの符号化データも復号する。

以上により時刻Ｔ７において、画像Ａと画像Ｃのカメラ入力映像のランダムアクセスが実現できる。

以上に説明したことから分かるように、本実施形態例の方法によれば、所望のカメラ入力映像の画像情報を復号することができる。また、所望のカメラ入力映像の画像情報を得るために、全カメラ入力映像の画像情報を復号する必要はなく、処理量を削減することができる。

本実施形態例では、同一ＧＯＰ内の画像を参照するＧＯＰについて、参照ＧＯＰ番号に指定しないようにしているが、これを指定するようにしてもよい。例えば、時刻Ｔ１において画像Ａについて、本実施形態例では、画像Ａ参照ＧＯＰ符号化部１０７は参照ＧＯＰとして値０を符号化したが、ここで、参照ＧＯＰとして値１を符号化するようにしてもよい。これにより同一ＧＯＰ内の画像情報を参照画像として選択することができる。

〔２〕第２の実施形態例
第２の実施形態例として、３つのカメラ入力映像（画像Ａ，画像Ｂ，画像Ｃ）があり、画像Ａは画像Ａの画像情報のみで符号化し、画像Ｂは画像Ｂの画像情報のみで符号化し、画像Ｃは画像Ａと画像Ｂの画像情報を使って符号化するものとする。

以下、画像Ｃについて、２カメラ入力映像から１つの映像（ＧＯＰ）を選択して符号化する例を示す。

図４に、ＧＯＰ構成を示す。ここで、図中に示す枠はＧＯＰを示しており、各ＧＯＰの右肩に記載した数字はＧＯＰ番号を示している。

各ＧＯＰの先頭では、同じカメラ入力映像の過去に符号化した画像の画像情報については参照画像に選択しないものとする。よって画像Ａと画像ＢのＧＯＰの先頭画像はＩピクチャで符号化され、画像ＣのＧＯＰの先頭画像は、他のカメラ入力映像の画像情報を参照したＢピクチャで符号化される。時刻情報は単位時間を設定したＴＲで表される。

〔２−１〕本発明の画像符号化装置の構成
図５に、第２の実施形態例に従う本発明の画像符号化装置を図示する。

この図に示すように、本発明の画像符号化装置は、カメラ入力映像Ａについては、画像情報を取り込む画像Ａ入力部３０１と、画像情報を符号化する画像Ａ符号化部３０２と、画像Ａの符号化データを復号する画像Ａ復号部３０３と、２フレームの参照画像を蓄積する画像Ａ参照画像メモリ３０４と、マクロブロック毎に参照画像を指定する情報を符号化する画像Ａ参照画像符号化部３０５と、画像ＡのＧＯＰ番号を符号化する画像Ａ現ＧＯＰ符号化部３０６と、画像Ａの参照ＧＯＰの番号を符号化する画像Ａ参照ＧＯＰ符号化部３０７とを備える。

また、カメラ入力映像Ｂについては、画像情報を取り込む画像Ｂ入力部３０８と、画像情報を符号化する画像Ｂ符号化部３０９と、画像Ｂの符号化データを復号する画像Ｂ復号部３１０と、２フレームの参照画像を蓄積する画像Ｂ参照画像メモリ３１１と、マクロブロック毎に参照画像を指定する情報を符号化する画像Ｂ参照画像符号化部３１２と、画像ＢのＧＯＰ番号を符号化する画像Ｂ現ＧＯＰ符号化部３１３と、画像Ｂの参照ＧＯＰの番号を符号化する画像Ｂ参照ＧＯＰ符号化部３１４とを備える。

また、カメラ入力映像Ｃについては、画像情報を取り込む画像Ｃ入力部３１５と、画像情報を符号化する画像Ｃ符号化部３１６と、マクロブロック毎に参照画像を指定する情報を符号化する画像Ｃ参照画像符号化部３１７と、画像ＣのＧＯＰ番号を符号化する画像Ｃ現ＧＯＰ符号化部３１８と、画像Ｃの参照ＧＯＰの番号を符号化する画像Ｃ参照ＧＯＰ符号化部３１９と、画像ＣのＧＯＰが同一ＧＯＰ内の画像情報を参照画像にするかどうかを指定する情報を符号化する画像Ｃ参照画像有無符号化部３２０とを備える。

このように、本実施形態例に従う場合には、画像Ｃ復号部／画像Ｃ参照画像メモリに相当する手段を備える必要がないという特徴がある。

画像Ａ現ＧＯＰ符号化部３０６と画像Ｂ現ＧＯＰ符号化部３１３と画像Ｃ現ＧＯＰ符号化部３１８では、現ＧＯＰ番号を符号化するものであり、０以外の値で４ビット固定長で符号化する。また、画像Ａ参照ＧＯＰ符号化部３０７と画像Ｂ参照ＧＯＰ符号化部３１４と画像Ｃ参照ＧＯＰ符号化部３１９では、参照ＧＯＰ番号を符号化する。この参照ＧＯＰ番号は、参照するＧＯＰのＧＯＰ番号で示される。

画像Ａ符号化部３０２と画像Ｂ符号化部３０９では、Ｉピクチャで符号化する場合には、現画像をＤＣＴして量子化し、その値をエントロピー符号化するものとする。このときマクロブロック毎にＤＣＴする。画像Ａ符号化部３０２と画像Ｂ符号化部３０９では、Ｐピクチャで符号化する場合には、現画像と参照画像との間で動き探索を行って動き補償を行い、予測残差をＤＣＴして量子化し、その値をエントロピー符号化するものとする。このときマクロブロック毎に参照画像を選択して動き補償を行う。また、画像Ｃ符号化部３１６では、Ｂピクチャで符号化することになるが、この場合にも、現画像と参照画像との間で動き探索を行って動き補償を行い、予測残差をＤＣＴして量子化し、その値をエントロピー符号化するものとする。このときマクロブロック毎に参照画像を選択して動き補償を行う。

画像Ａ参照画像符号化部３０５と画像Ｂ参照画像符号化部３１２と画像Ｃ参照画像符号化部３１７では、参照画像を指定する情報を符号化するが、参照ＧＯＰ番号と参照画像を指定する番号とを符号化対象とする。画像Ａと画像Ｂについて、現ＧＯＰと参照ＧＯＰとが同じ場合には、参照ＧＯＰ番号を０として符号化する。

画像Ａ参照画像メモリ３０４と画像Ｂ参照画像メモリ３１１では、新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には、最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また、ＧＯＰの先頭では、同一カメラ入力映像の以前のＧＯＰの復号画像は消去するものとする。

また、各画像についてＧＯＰ番号の小さい順から符号化していくものとする。

このような前提で、図５に示す本発明の画像符号化装置は、入力画像を次のように符号化する。なお、以下では、図４に示す時刻Ｔ１，Ｔ３，Ｔ５，Ｔ６，Ｔ７における符号化手順について説明し、時刻Ｔ２，Ｔ４，Ｔ８における符号化手順については説明を省略してある。

（１）時刻Ｔ１における符号化手順
まず、時刻Ｔ１において、画像Ａと画像Ｂと画像Ｃとを符号化する手順を示す。ここで、時刻Ｔ１においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に符号化することになる。

画像Ａ入力部３０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。画像Ａ現ＧＯＰ符号化部３０６は、ＧＯＰ番号として値１を符号化する。画像Ａ参照ＧＯＰ符号化部３０７は、他のＧＯＰを参照しないため参照ＧＯＰとして値０を符号化する。

そして、画像Ａ符号化部３０２は、マクロブロック毎にＩピクチャとして符号化し、画像Ａ復号部３０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ３０４に蓄積する。

画像Ｂ入力部３０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。画像Ｂ現ＧＯＰ符号化部３１３は、ＧＯＰ番号として値２を符号化する。画像Ｂ参照ＧＯＰ符号化部３１４は、他のＧＯＰを参照しないため参照ＧＯＰとして値０を符号化する。

そして、画像Ｂ符号化部３０９は、マクロブロック毎にＩピクチャとして符号化し、画像Ｂ復号部３１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ３１１に蓄積する。

画像Ｃ入力部３１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部３１８は、ＧＯＰ番号として値３を符号化する。画像Ｃ参照ＧＯＰ符号化部３１９は、画像ＡのＧＯＰ番号１または画像ＢのＧＯＰ番号２の画像を参照するため、参照ＧＯＰとして値１と値２を符号化する。画像Ｃ参照画像有無符号化部３２０は、このＧＯＰが同一ＧＯＰ内の画像情報を参照画像にしないことを指定する情報を符号化する。

そして、画像Ｃ符号化部３１６は、マクロブロック毎にＢピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１かＧＯＰ２のいずれか一方又は双方の復号画像を選択する。画像Ｃ参照画像符号化部３１７は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。

以上により時刻Ｔ１の画像情報は全て符号化される。

（２）時刻Ｔ３における符号化手順
次に、時刻Ｔ３において、画像Ａと画像Ｂと画像Ｃを符号化する手順を示す。ここで、時刻Ｔ３においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に符号化することになる。

画像Ａ入力部３０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ａ現ＧＯＰ符号化部３０６と画像Ａ参照ＧＯＰ符号化部３０７は動作しない。

そして、画像Ａ符号化部３０２は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１の復号画像を選択する。画像Ａ参照画像符号化部３０５は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ａ復号部３０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ３０４に蓄積する。

画像Ｂ入力部３０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。画像Ｂ現ＧＯＰ符号化部３１３は、ＧＯＰ番号として値４を符号化する。画像Ｂ参照ＧＯＰ符号化部３１４は、他のＧＯＰを参照しないため参照ＧＯＰとして値０を符号化する。

そして、画像Ｂ符号化部３０９は、マクロブロック毎にＩピクチャとして符号化し、画像Ｂ復号部３１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ３１１に蓄積する。

画像Ｃ入力部３１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部３１８は、ＧＯＰ番号として値５を符号化する。画像Ｃ参照ＧＯＰ符号化部３１９は、画像ＡのＧＯＰ番号１または画像ＢのＧＯＰ番号４の画像を参照するため参照ＧＯＰとして値１と値４を符号化する。画像Ｃ参照画像有無符号化部３２０は、このＧＯＰが同一ＧＯＰ内の画像情報を参照画像にしないことを指定する情報を符号化する。

そして、画像Ｃ符号化部３１６は、マクロブロック毎にＢピクチャとして符号化する。このとき、参照画像としてはＧＯＰ１かＧＯＰ４のいずれか一方又は双方の復号画像を選択する。画像Ｃ参照画像符号化部３１７は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。

以上により時刻Ｔ３の画像情報は全て符号化される。

（３）時刻Ｔ５における符号化手順
次に、時刻Ｔ５において、画像Ａと画像Ｂと画像Ｃを符号化する手順を示す。ここで、時刻Ｔ５においては、ＧＯＰ番号の小さい順に従って、“画像Ｂ→画像Ａ→画像Ｃ”の順に符号化することになる。

画像Ｂ入力部３０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ｂ現ＧＯＰ符号化部３１３と画像Ｂ参照ＧＯＰ符号化部３１４は動作しない。

そして、画像Ｂ符号化部３０９は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ４の復号画像を選択する。画像Ｂ参照画像符号化部３１２は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ｂ復号部３１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ３１１に蓄積する。

画像Ａ入力部３０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。画像Ａ現ＧＯＰ符号化部３０６は、ＧＯＰ番号として値６を符号化する。画像Ａ参照ＧＯＰ符号化部３０７は、他のＧＯＰを参照しないため参照ＧＯＰとして値０を符号化する。

そして、画像Ａ符号化部３０２は、マクロブロック毎にＩピクチャとして符号化し、画像Ａ復号部３０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ３０４に蓄積する。

画像Ｃ入力部３１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部３１８は、ＧＯＰ番号として値７を符号化する。画像Ｃ参照ＧＯＰ符号化部３１９は、画像ＡのＧＯＰ番号６または画像ＢのＧＯＰ番号４の画像を参照するため参照ＧＯＰとして値４と値６を符号化する。画像Ｃ参照画像有無符号化部３２０は、このＧＯＰが同一ＧＯＰ内の画像情報を参照画像にしないことを指定する情報を符号化する。

そして、画像Ｃ符号化部３１６は、マクロブロック毎にＢピクチャとして符号化する。このとき、参照画像としてはＧＯＰ４かＧＯＰ６のいずれか一方又は双方の復号画像を選択する。画像Ｃ参照画像符号化部３１７は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。

以上により時刻Ｔ５の画像情報は全て符号化される。

（４）時刻Ｔ６における符号化手順
次に、時刻Ｔ６において、画像Ａと画像Ｂと画像Ｃを符号化する手順を示す。ここで、時刻Ｔ６においては、ＧＯＰ番号の小さい順に従って、“画像Ｂ→画像Ａ→画像Ｃ”の順に符号化することになる。

画像Ｂ入力部３０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ｂ現ＧＯＰ符号化部３１３と画像Ｂ参照ＧＯＰ符号化部３１４は動作しない。

そして、画像Ｂ符号化部３０９は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ４の復号画像を選択する。画像Ｂ参照画像符号化部３１２は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ｂ復号部３１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ３１１に蓄積する。

画像Ａ入力部３０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ａ現ＧＯＰ符号化部３０６と画像Ａ参照ＧＯＰ符号化部３０７は動作しない。

そして、画像Ａ符号化部３０２は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ６の復号画像を選択する。画像Ａ参照画像符号化部３０５は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ａ復号部３０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ３０４に蓄積する。

画像Ｃ入力部３１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ｃ現ＧＯＰ符号化部３１８と画像Ｃ参照ＧＯＰ符号化部３１９と画像Ｃ参照画像有無符号化部３２０は動作しない。

そして、画像Ｃ符号化部３１６は、マクロブロック毎にＢピクチャとして符号化する。このとき、参照画像としてはＧＯＰ４かＧＯＰ６のいずれか一方又は双方の復号画像を選択する。画像Ｃ参照画像符号化部３１７は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。

以上により時刻Ｔ６の画像情報は全て符号化される。

（５）時刻Ｔ７における符号化手順
次に、時刻Ｔ７において、画像Ａと画像Ｂと画像Ｃを符号化する手順を示す。ここで、時刻Ｔ７においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に符号化することになる。

画像Ａ入力部３０１は、画像Ａの入力画像を取り込み、マクロブロックに分割する。ＧＯＰの先頭ではないので、画像Ａ現ＧＯＰ符号化部３０６と画像Ａ参照ＧＯＰ符号化部３０７は動作しない。

そして、画像Ａ符号化部３０２は、マクロブロック毎にＰピクチャとして符号化する。このとき、参照画像としてはＧＯＰ６の復号画像を選択する。画像Ａ参照画像符号化部３０５は、参照ＧＯＰ番号と参照画像番号とを符号化する。画像Ａ復号部３０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ３０４に蓄積する。

画像Ｂ入力部３０８は、画像Ｂの入力画像を取り込み、マクロブロックに分割する。画像Ｂ現ＧＯＰ符号化部３１３は、ＧＯＰ番号として値８を符号化する。画像Ｂ参照ＧＯＰ符号化部３１４は、他のＧＯＰを参照しないため参照ＧＯＰとして値０を符号化する。

そして、画像Ｂ符号化部３０９は、マクロブロック毎にＩピクチャとして符号化し、画像Ｂ復号部３１０は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ３１１に蓄積する。

画像Ｃ入力部３１５は、画像Ｃの入力画像を取り込み、マクロブロックに分割する。画像Ｃ現ＧＯＰ符号化部３１８は、ＧＯＰ番号として値９を符号化する。画像Ｃ参照ＧＯＰ符号化部３１９は、ＧＯＰ６とＧＯＰ８を参照するため、参照ＧＯＰ番号として値６と値８を符号化する。画像Ｃ参照画像有無符号化部３２０は、このＧＯＰが同一ＧＯＰ内の画像情報を参照画像にしないことを指定する情報を符号化する。

そして、画像Ｃ符号化部３１６は、マクロブロック毎にＢピクチャとして符号化する。このとき、参照画像としてはＧＯＰ６かＧＯＰ８のいずれか一方又は双方の復号画像を選択する。画像Ｃ参照画像符号化部３１７は、参照画像として使用した画像のＧＯＰ番号と画像番号とを符号化する。

以上により時刻Ｔ７の画像情報は全て符号化される。

〔２−２〕本発明の復号装置の構成
図６に、第２の実施形態例に従う本発明の復号装置の構成を図示する。

この図に示すように、本発明の復号装置は、カメラ入力映像Ａについては、画像ＡのＧＯＰ番号を復号する画像Ａ現ＧＯＰ復号部４０１と、画像Ａの参照ＧＯＰの番号を復号する画像Ａ参照ＧＯＰ復号部４０２と、画像Ａの符号化データを復号する画像Ａ復号部４０３と、２フレームの参照画像を蓄積する画像Ａ参照画像メモリ４０４と、マクロブロック毎に参照画像を指定する情報を復号する画像Ａ参照画像復号部４０５とを備える。

また、カメラ入力映像Ｂについては、画像ＢのＧＯＰ番号を復号する画像Ｂ現ＧＯＰ復号部４０６と、画像Ｂの参照ＧＯＰの番号を復号する画像Ｂ参照ＧＯＰ復号部４０７と、画像Ｂの符号化データを復号する画像Ｂ復号部４０８と、２フレームの参照画像を蓄積する画像Ｂ参照画像メモリ４０９と、マクロブロック毎に参照画像を指定する情報を復号する画像Ｂ参照画像復号部４１０とを備える。

また、カメラ入力映像Ｃについては、画像ＣのＧＯＰ番号を復号する画像Ｃ現ＧＯＰ復号部４１１と、画像Ｃの参照ＧＯＰの番号を復号する画像Ｃ参照ＧＯＰ復号部４１２と、画像Ｃの符号化データを復号する画像Ｃ復号部４１３と、マクロブロック毎に参照画像を指定する情報を復号する画像Ｃ参照画像復号部４１４と、画像ＣのＧＯＰが同一ＧＯＰ内の画像情報を参照画像にするかどうかを指定する情報を復号する画像Ｃ参照画像有無復号部４１５とを備える。

これに加えて、本発明の復号装置は、所望のＧＯＰの情報を符号化データ中から探索するＧＯＰ探索部４１６を備える。

画像Ａ現ＧＯＰ復号部４０１と画像Ｂ現ＧＯＰ復号部４０６と画像Ｃ現ＧＯＰ復号部４１１では、現ＧＯＰ番号を復号するものであり、４ビット固定長を復号する。

画像Ａ復号部４０３と画像Ｂ復号部４０８では、Ｉピクチャとして復号する場合には、符号化データをエントロピー復号して、逆量子化し、逆ＤＣＴする。画像Ａ復号部４０３と画像Ｂ復号部４０８では、Ｐピクチャとして復号化する場合には、動き補償を行って予測画像を作成した後、予測残差符号化データをエントロピー復号して逆量子化し逆ＤＣＴを適用して予測残差を求める。そして、予測残差を予測画像に加算する。このときマクロブロック毎に参照画像を選択して動き補償を行う。また、画像Ｃ復号部４１３では、Ｂピクチャとして復号することになるが、この場合にも、動き補償を行って予測画像を作成した後、予測残差符号化データをエントロピー復号して逆量子化し逆ＤＣＴを適用して予測残差を求める。そして、予測残差を予測画像に加算する。このときマクロブロック毎に参照画像を選択して動き補償を行う。

画像Ａ参照画像メモリ４０４と画像Ｂ参照画像メモリ４０９では、新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には、最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。また、ＧＯＰの先頭では、同一カメラ入力映像の以前のＧＯＰの復号画像は消去するものとする。

また、各画像についてＧＯＰ番号の小さい順から復号していくものとする。

このような前提で、図６に示す本発明の画像復号装置は、符号化データを次のように復号する。

（１）時刻Ｔ１における復号手順
まずは時刻順序に復号する手順を示す。その一例として、時刻Ｔ１において、画像Ａと画像Ｂと画像Ｃとを復号する手順を示す。ここで、時刻Ｔ１においては、ＧＯＰ番号の小さい順に従って、“画像Ａ→画像Ｂ→画像Ｃ”の順に復号することになる。

画像Ａの符号化データについて、画像Ａ現ＧＯＰ復号部４０１は、ＧＯＰ番号として値１を復号する。画像Ａ参照ＧＯＰ復号部４０２は、参照ＧＯＰとして値０を復号する。

そして、画像Ａ復号部４０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ４０４に蓄積する。

画像Ｂの符号化データについて、画像Ｂ現ＧＯＰ復号部４０６は、ＧＯＰ番号として値２を復号する。画像Ｂ参照ＧＯＰ復号部４０７は、参照ＧＯＰとして値０を復号する。

そして、画像Ｂ復号部４０８は、符号化データを復号して復号画像を画像Ｂ参照画像メモリ４０９に蓄積する。

画像Ｃの符号化データについて、画像Ｃ現ＧＯＰ復号部４１１は、ＧＯＰ番号として値３を復号する。画像Ｃ参照ＧＯＰ復号部４１２は、参照ＧＯＰとして値１と値２を復号する。

そして、マクロブロック毎に、画像Ｃ参照画像復号部４１４は、参照画像として使用した画像のＧＯＰ番号と画像番号とを復号する。画像Ｃ復号部４１３は、符号化データを復号する。

以上により時刻Ｔ１の画像情報は全て復号される。

以上の手順を繰り返し実行することにより、全カメラ入力映像の全画像情報を復号することができる。

（２）ランダムアクセスする場合の復号手順
次に、所望のＧＯＰへランダムアクセスする場合の復号手順を示す。時刻Ｔ３以降の画像Ａと画像ＣのＧＯＰへランダムアクセスする場合の手順を示す。

ＧＯＰ探索部４１６は、画像Ａと画像ＣについてＧＯＰを探索し、時刻Ｔ３で画像ＣのＧＯＰの先頭情報を得る。

画像Ｃの符号化データについて、画像Ｃ現ＧＯＰ復号部４１１は、ＧＯＰ番号として値５を復号する。画像Ｃ参照ＧＯＰ復号部４１２は、参照ＧＯＰ番号として値１と値４を復号する。ここで、同時刻にある他のＧＯＰでＧＯＰ番号１と４のＧＯＰの有無を確認して、ある場合には、その先頭情報を復号する。

すなわち、画像Ｂの符号化データについて、画像Ｂ現ＧＯＰ復号部４０６は、ＧＯＰ番号として値４を復号する。画像Ｂ参照ＧＯＰ復号部４０７は、参照ＧＯＰとして値０を復号する。他のＧＯＰを使用しないので、この画像ＢのＧＯＰ符号化データを復号できる。しかしＧＯＰ番号１も参照する画像ＣのＧＯＰ符号化データを復号できない。このため、ＧＯＰ探索部４１６は、画像Ａと画像Ｃについて次のＧＯＰを探索する。なお、時刻Ｔ３以後でＧＯＰ番号４のＧＯＰ符号化データは復号可能なので、画像Ｂ復号部４０８は、次のＧＯＰまで符号化データの復号を続ける。

この探索により、ＧＯＰ探索部４１６は、時刻Ｔ５で画像Ａと画像ＣのＧＯＰの先頭情報を得る。

画像Ａの符号化データについて、画像Ａ現ＧＯＰ復号部４０１は、ＧＯＰ番号として値６を復号する。画像Ａ参照ＧＯＰ復号部４０２は、参照ＧＯＰとして値０を復号する。ここで、参照ＧＯＰ番号の値が０であることから、このＧＯＰ符号化データは他のＧＯＰを参照せずに復号できることが分かる。そこで、ＧＯＰ番号６の復号を開始する。画像Ａ復号部４０３は、符号化データを復号して復号画像を画像Ａ参照画像メモリ４０４に蓄積する。

画像Ｃの符号化データについて、画像Ｃ現ＧＯＰ復号部４１１は、ＧＯＰ番号として値７を復号する。画像Ｃ参照ＧＯＰ復号部４１２は、参照ＧＯＰ番号として値４と値６を復号する。ＧＯＰ番号４と６のＧＯＰは復号しているので、このＧＯＰ符号化データを復号できる。画像Ｃ参照画像復号部４１４は、参照画像として使用した画像のＧＯＰ番号と画像番号とを復号する。画像Ｃ復号部４１３は、符号化データを復号する。

以上により時刻Ｔ５において、画像Ａと画像Ｃのカメラ入力映像のランダムアクセスが実現できる。

以上に説明したことから分かるように、本実施形態例の方法によれば、所望のカメラ入力映像の画像情報を復号することができる。また、所望のカメラ入力映像の画像情報を得るために、全カメラ入力映像の画像情報を復号する必要はなく、処理量を削減することができる。

そして、本実施形態例の方法によれば、画像Ｃ用の参照画像メモリを備えなくてもよく、全体として使用するメモリ量を削減することができる。

第１の実施形態例におけるＧＯＰの構成を示す図である。 第１の実施形態例における画像符号化装置の構成を示す図である。 第１の実施形態例における画像復号装置の構成を示す図である。 第２の実施形態例におけるＧＯＰの構成を示す図である。 第２の実施形態例における画像符号化装置の構成を示す図である。 第２の実施形態例における画像復号装置の構成を示す図である。 動画像の符号化における予測関係の説明図である。 従来技術の説明図である。

符号の説明

１０１ 画像Ａ入力部
１０２ 画像Ａ符号化部
１０３ 画像Ａ復号部
１０４ 画像Ａ参照画像メモリ
１０５ 画像Ａ参照画像符号化部
１０６ 画像Ａ現ＧＯＰ符号化部
１０７ 画像Ａ参照ＧＯＰ符号化部
１０８ 画像Ｂ入力部
１０９ 画像Ｂ符号化部
１１０ 画像Ｂ復号部
１１１ 画像Ｂ参照画像メモリ
１１２ 画像Ｂ参照画像符号化部
１１３ 画像Ｂ現ＧＯＰ符号化部
１１４ 画像Ｂ参照ＧＯＰ符号化部
１１５ 画像Ｃ入力部
１１６ 画像Ｃ符号化部
１１７ 画像Ｃ復号部
１１８ 画像Ｃ参照画像メモリ
１１９ 画像Ｃ参照画像符号化部
１２０ 画像Ｃ現ＧＯＰ符号化部
１２１ 画像Ｃ参照ＧＯＰ符号化部

Claims (16)

1. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化する映像符号化方法であって、
   他の視点映像の同時刻の画像のみを参照画像とする場合に、他のＧＯＰに含まれる画像を参照画像にして、現ＧＯＰ内の現画像を符号化するＧＯＰ間予測符号化ステップと、
   使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を符号化する参照ＧＯＰ符号化ステップとを実行することを、
   特徴とする映像符号化方法。
2. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化する映像符号化方法であって、
   使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を符号化する参照ＧＯＰ符号化ステップと、
   参照ＧＯＰ内における参照画像を指定する情報を符号化する参照画像符号化ステップと、
   前記参照画像符号化ステップで符号化された情報により指定される参照画像を使い、現ＧＯＰ内の現画像を符号化するＧＯＰ間予測符号化ステップとを実行することを、
   特徴とする映像符号化方法。
3. 請求項２に記載の映像符号化方法において、
   ＧＯＰ内の他の画像を参照画像にしない場合に、ＧＯＰ内の他の画像を参照画像にしないことを示す情報を、該ＧＯＰについて符号化する参照画像有無符号化ステップを実行し、
   前記ＧＯＰ間予測符号化ステップは、ＧＯＰ内の他の画像を参照画像にしない場合には、参照ＧＯＰの画像のみを参照画像として現画像を符号化することを、
   特徴とする映像符号化方法。
4. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
   他の視点映像の同時刻の画像のみを参照画像とする場合に、使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を復号する参照ＧＯＰ復号ステップと、
   前記参照ＧＯＰ復号ステップで復号された情報で指定されるＧＯＰに含まれる同時刻の画像を参照画像にして、現ＧＯＰ内の現画像を復号するＧＯＰ間予測復号ステップとを実行することを、
   特徴とする映像復号方法。
5. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
   使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を復号する参照ＧＯＰ復号ステップと、
   参照ＧＯＰ内における参照画像を指定する情報を復号する参照画像復号ステップと、
   前記参照画像復号ステップで復号された情報により指定される参照画像を使い、現ＧＯＰ内の現画像を復号するＧＯＰ間予測復号ステップとを実行することを、
   特徴とする映像復号方法。
6. 請求項５に記載の映像復号方法において、
   ＧＯＰ内の他の画像を参照画像にしないことを示す情報を、該ＧＯＰについて復号する参照画像有無復号ステップを実行し、
   前記ＧＯＰ間予測復号ステップは、ＧＯＰ内の他の画像を参照画像にしない場合には、参照ＧＯＰの画像のみを参照画像として現画像を復号することを、
   特徴とする映像復号方法。
7. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化する映像符号化装置であって、
   他の視点映像の同時刻の画像のみを参照画像とする場合に、他のＧＯＰに含まれる画像を参照画像にして、現ＧＯＰ内の現画像を符号化するＧＯＰ間予測符号化部と、
   使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を符号化する参照ＧＯＰ符号化部とを備えることを、
   特徴とする映像符号化装置。
8. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化する映像符号化装置であって、
   使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を符号化する参照ＧＯＰ符号化部と、
   参照ＧＯＰ内における参照画像を指定する情報を符号化する参照画像符号化部と、
   前記参照画像符号化部で符号化された情報により指定される参照画像を使い、現ＧＯＰ内の現画像を符号化するＧＯＰ間予測符号化部とを備えることを、
   特徴とする映像符号化装置。
9. 請求項８に記載の映像符号化装置において、
   ＧＯＰ内の他の画像を参照画像にしない場合に、ＧＯＰ内の他の画像を参照画像にしないことを示す情報を、該ＧＯＰについて符号化する参照画像有無符号化部を備え、
   前記ＧＯＰ間予測符号化部は、ＧＯＰ内の他の画像を参照画像にしない場合には、参照ＧＯＰの画像のみを参照画像として現画像を符号化することを、
   特徴とする映像符号化装置。
10. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
    他の視点映像の同時刻の画像のみを参照画像とする場合に、使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を復号する参照ＧＯＰ復号部と、
    前記参照ＧＯＰ復号部で復号された情報で指定されるＧＯＰに含まれる同時刻の画像を参照画像にして、現ＧＯＰ内の現画像を復号するＧＯＰ間予測復号部とを備えることを、
    特徴とする映像復号装置。
11. 複数の視点映像を複数のＧＯＰで構成して、それらの視点映像の画像を１つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
    使用する参照画像を含むＧＯＰ（参照ＧＯＰ）を固有の番号により指定する情報を復号する参照ＧＯＰ復号部と、
    参照ＧＯＰ内における参照画像を指定する情報を復号する参照画像復号部と、
    前記参照画像復号部で復号された情報により指定される参照画像を使い、現ＧＯＰ内の現画像を復号するＧＯＰ間予測復号部とを備えることを、
    特徴とする映像復号装置。
12. 請求項１１に記載の映像復号装置において、
    ＧＯＰ内の他の画像を参照画像にしないことを示す情報を、該ＧＯＰについて復号する参照画像有無復号部を備え、
    前記ＧＯＰ間予測復号部は、ＧＯＰ内の他の画像を参照画像にしない場合には、参照ＧＯＰの画像のみを参照画像として現画像を復号することを、
    特徴とする映像復号装置。
13. 請求項１ないし３のいずれか１項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
14. 請求項１ないし３のいずれか１項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
15. 請求項４ないし６のいずれか１項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
16. 請求項４ないし６のいずれか１項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images