WO2005011285A1

WO2005011285A1 - 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体，画像復号プログラムを記録した記録媒体

Info

Publication number: WO2005011285A1
Application number: PCT/JP2004/010412
Authority: WO
Inventors: Hideaki Kimata; Masaki Kitahara; Kazuto Kamikura
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2003-07-24
Filing date: 2004-07-22
Publication date: 2005-02-03
Anticipated expiration: 2006-01-24
Also published as: JPWO2005011285A1; EP1650977A4; KR100908422B1; EP3787294A1; CN1806447A; TWI258992B; JP4643447B2; EP1650977A1; CN101626510A; EP3787294B1; EP3525462B1; US20070098068A1; EP1650977B1; CN101626510B; US7929605B2; EP3554076B1; EP3554076A1; EP3787295B1; EP3525462A1; TW200514447A

Abstract

　符号化データの特定のフレームを復号しない場合においても正しい復号画像を得ることができるようにし，かつ，符号化効率を向上させるために、予測画像作成部１０３は，画像分類部１０２によって第ｊカテゴリに分類された現フレームについて，第ｉ（１≦ｉ≦ｊ）カテゴリの，過去に符号化した参照画像メモリ１０７中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する。差分符号化部１０４は，現フレームの画像情報と予測画像との差分を符号化する。また，現カテゴリ符号化部１０６は，現フレームのカテゴリ番号を符号化し，参照画像指定情報符号化部１０５は，参照画像メモリ１０７から選択した画像情報を指定する参照画像指定情報を符号化する。

Description

明細書

画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号ィヒプログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体，画像復号プログラムを記録した記録媒体

技術分野

[0001] 本発明は，フレーム間予測符号化方式を使った，複数フレームの画像符号化/復号技術に関する。

背景技術

[0002] MPEG-1, MPEG—2や H. 261 , H. 263といった国際標準動画像符号化では，各フレームの出力時刻を符号化する。これらの時刻情報は TR (Temporal Reference) と呼ばれ，フレーム毎に固定長符号化される。システムで基準となる時間間隔を予め設定しておき，その時間間隔と TRの積でシーケンス先頭からの時刻を示す。ェンコーダでは，入力画像の時刻情報を TRに設定して各フレームを符号化し，デコーダでは，各フレームの復号画像を TRで指定された時刻に出力する。

[0003] 他方，一般的に動画像符号化では時間方向の相関を使って高い符号化効率を実現するため，フレーム間予測符号ィ匕を用いている。フレームの符号化モードには，フレーム間の相関を使わずに符号化する Iフレームと，過去に符号化した 1フレームから予測する Pフレームと，過去に符号化した 2フレームから予測することができる Bフレームがある。

[0004] Bフレームでは，参照画像メモリに 2フレーム分の復号画像を蓄積しておく必要がある。特に映像符号化方式 H. 263と H. 264では，参照画像メモリに 2フレーム以上の複数フレーム分の復号画像を蓄積しておき，そのメモリから参照画像を選択して予測すること力 Sできる。

[0005] 参照画像はブロック毎に選択することができ，参照画像を指定する参照画像指定情報を符号化する。参照画像メモリには，短時間用（STRM)と長時間用（LTRM) があり， STRMには現フレームの復号画像を蓄積していき， LTRMには STRMに蓄積されている画像を選択して蓄積する。なお， LTRMと STRMの制御方法については，例えば非特許文献 1に記載されている。

非特午文献 1： Thomas Wiegand, Xiaozheng Zhang, and Berned uirod, "Long-Term Memory Motion-Compensated Prediction , IEEE Transactions on (circuits and Systems for Video Technology, vol.9, no. l, pp.70-84, Feb. , 1999 MPEG—l , MP EG—2の Bフレームでは，より過去のフレームから予測する方法を前方向フレーム間予測と呼び，より未来のフレームから予測する方法を後方向フレーム間予測と呼ぶ。後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも未来である。この場合には，現フレームを表示した後に，後方向フレーム間予測の参照フレームを出力することになる。 Bフレームで 2フレームから予測する場合（両方向フレーム間予測）には， 2フレームからの画像情報を補間して 1フレーム分の画像情報を作成し，これを予測画像とする。

[0006] 図 16 (A)に，後方向フレーム間予測における参照フレームの表示時刻が未来の場合の，動画像の予測関係の例を示す。図 16に示す（1)一（7)は，フレーム番号を表してレ、る。第 1フレームから第 7フレームの符号化モードを IBBPBBPの順序で符号化する場合には，図 16 (A)に示す予測関係があるため，実際に符号化する場合には，図 16 (B)に示すように 1423756の順序でフレームを符号化する。この場合の符号化される TRの順序は，符号ィ匕フレームと同様に 1423756に対応した値となる。

[0007] H. 264の Bフレームでは，後方向フレーム間予測の概念を MPEG—l , MPEG—2 よりも拡張しており，後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも過去であってもよレ、。この場合には，後方向フレーム間予測の参照フレ一ムの方を先に出力することになる。

[0008] 上記したように， H. 264では参照画像メモリに複数の復号画像を蓄積することができる。そこで前方向フレーム間予測用の参照画像指定情報 L0と，後方向フレーム間予測用の参照画像指定情報 L1を定義しておき，それぞれ独立に前方向フレーム間予測用の参照画像と後方向フレーム間予測用の参照画像を指定する。

[0009] ブロック毎に参照画像を指定するため，まずブロックの予測モード（前方向フレーム間予測または後方向フレーム間予測または両方向フレーム間予測）を符号化して，予測モードが前方向フレーム間予測の場合には参照画像指定情報 L0を符号ィ匕し，後方向フレーム間予測の場合には参照画像指定情報 LIを符号ィ匕し，両方向フレーム間予測の場合には参照画像指定情報 L0と参照画像指定情報 L1とを符号化する

[0010] このように定義すると，後方向フレーム間予測における参照フレームの表示時刻は ,現フレームよりも未来である必要はなレ、。 H. 264の Bフレームでは，このように後方向フレーム間予測も過去のフレームを参照画像に指定でき，さらに指定はブロック単位に変更できるため，両方向フレーム間予測の場合を除いて， Pフレームと同様な予測画像を作成することができる。

[0011] 図 17 (A)に，後方向フレーム間予測における参照フレームの表示時刻が過去の場合の，動画像の予測関係の例を示す。図 16の場合と異なり，第 1フレームから第 7フレームの符号化モードを IBBPBBPの順序で符号ィ匕する場合であっても，図 17 (A) に示す予測関係があるため，図 17 (B)に示すように 1423567の順序でフレームを符号化する。

[0012] 参照画像メモリに複数の復号画像を蓄積しておき，参照画像を選択してフレーム間予測符号化する方法では，全フレームの復号画像を蓄積しておく必要はない。これを応用して時間スケーラブル機能を実現することができる。

[0013] 例えば MPEG—I , MPEG—2で図 16 (A)のような予測関係にある場合には， Bフレーム（フレーム番号（2) , (3) , (5) , (6) )は以後のフレームで参照画

像として使用されなレ、。そこで復号側は， Bフレームを復号せずに Iフレームと Pフレームのみ復号することができる。もともと毎秒 30フレームで符号化されているとすると， B フレームを復号/出力しないようにすれば毎秒 10フレームの映像を出力することができる。

[0014] このような技術を多階層に応用することもできる。図 1は， 3レイヤ構成の予測関係の例を示す図である。図 1において，（1)一（9)はフレーム番号を，フレーム中に記載された 1一 9までの数字は各フレームの符号化順序を示す。

[0015] 例えば図 1 (C)に示すように，第 5フレーム（第 1レイヤ）は第 1フレームを参照フレームとし，第 3フレーム（第 2レイヤ）は第 1フレームまたは第 5フレームを参照フレームとし，第 2フレーム（第 3レイヤ）は第 1フレームまたは第 3フレームを参照フレームとし，第 4フレーム（第 3レイヤ）は第 3フレームと第 5フレームを参照フレームとする場合には，全 5フレームが毎秒 30フレームの映像である場合には，第 2フレームと第 4フレーム（第 3レイヤ）を復号しないことにより，毎秒 15フレームの映像を出力することができる。

[0016] また，第 2フレームと第 3フレームと第 4フレーム（第 2レイヤと第 3レイヤ）を復号しなレ、ことにより，毎秒 7. 5フレームの映像を出力することができる。なお図 1 (C)以外にもフレームの符号化順序は複数パターン設定することができ，例えば図 1 (A)のように入力順序と同じにしてもよいし，図 1 (B)のように，第 1レイヤ符号化後すぐに第 2レィャを符号化し，続レ、て第 3レイヤを符号化するようにしてもょレ、。

[0017] このような参照フレームとされなレ、フレームがある場合に，時間解像度を変更する仕組みは，復号側が実行してもよレ、し，符号化側と復号側との間の中継地点で実行してもよい。放送のように符号化データを片方向に配信する場合には，復号側が実行する方が好適である。

[0018] また，このような時間スケーラブル機能は，図 1のレイヤを視点とみなすことにより，多視点映像の符号化に適用することも可能である。

[0019] また，一般的なフレーム間に時間関係がないような複数のフレームであっても，複数のフレームを予め設定した次元に並べ，その次元を時間とみなすことにより動画像として扱うことができる。このような複数のフレームをさらに少数の集合に分類し，それを図 1におけるレイヤとみなして，時間スケーラブノレ機能を適用することも可能である

[0020] また，時間スケーラブル符号ィ匕を実現する手法として MCTF符号化が挙げられる。

この MCTF符号化方法は，映像データに対して時間方向にフィルタリング (サブバンド分害j)し，映像データの時間方向の相関を利用して，映像データのエネルギーをコンパ外化する手法である。図 18に時間方向で低域をオクターブ分割する概念図を示す。 GOPを設定して G〇P内で時間方向にフィルタリングする。時間方向のフィルタには Haar基底が一般的に提案されている（非特許文献 2参照）。

非特許文献 2： jens-Rainer Ohm, hree-Dimensiona; buobandし oding with Motion Compensation", IEEE Trans. Image Proc, vol.3, no.5, pp.559-571, 1994. また, Haar基底には一般的に図 19に示すような Lifting Schemeを適用できる。この手法により，演算量を少なくフィルタリングすることが出来る。この Lifting Schemeにおいて， predictは通常の予測符号化と同様な処理であり，予測画像と原画像との残差を求める処理である。

[0021] なお，非特許文献 3または非特許文献 4に，複数の画像から高い解像度の画像を得る手法が記載されている。

非特許文献 3： Sung Cheol Park, Min Kyu Park, and Moon Gi Kang,

"Super-Resolution Image Reconstruction: A Technical Overview , IEEE signal Processing Magazine, pp.21-36, May, 2003.

非特午文献 4 : C.Andrew Segall, Rafael Molina, and Aggelos K.Katsaggelos, "High-Resolution Image from Low-Resolution Compress Video ， IEEE Signal Processing Magazine, pp.37- 48, May, 2003. 複数フレームの参照画像メモリを備える場合には，蓄積する最大フレーム数を大きくするほど符号ィヒ効率が向上する。ここで時間スケーラブル機能を実現する場合には，復号するレイヤ数が少なくなつた場合においても符号化データ中の参照画像指定情報によって同一の復号画像が指定される必要がある。

[0022] しかしながら従来の H. 264では， STRMと LTRMを備えている力 S, LTRMは STR Mに蓄積されている画像を蓄積するメモリであり，復号画像は STRMへ蓄積されるため，時間スケーラブルにおけるレイヤとは無関係に復号画像に対して参照画像指定情報を符号ィヒする。

[0023] したがって，復号側で符号化データの特定のフレームを復号しない場合には，参照画像指定情報が異なるフレームを参照してしまう。このように異なる参照画像から予測画像を作成すると復号側で正しい復号画像が得られない。

[0024] 参照画像指定情報を用いて複数のフレームから参照画像を選択するのではなぐ MPEG-1, MPEG-2の Bフレームのように，復号画像を参照画像メモリに蓄積せずに，また参照画像を前後する Iフレームまたは Pフレームに限定する場合には， Bフレームを復号しない場合に参照画像が異なることは無い。これにより時間スケーラブル符号化を実現できる。し力、しながら， Bフレームの復号画像を参照画像メモリに蓄積しないとすると， Bフレームは前後する Iフレームまたは Pフレームに参照画像が限定されており複数フレームの参照画像メモリを備えないため，符号化効率を向上することができない。

[0025] 以上のように，従来の時間スケーラブル符号ィ匕を実現する手法において，符号化効率を向上するために，参照画像メモリを複数フレーム備えることはできず，逆に従来の参照画像メモリに複数フレームを蓄積する手法では時間スケーラブル符号化を実現できなかった。

発明の開示

[0026] 本発明は，復号側で符号ィヒデータの特定のフレームを復号しない場合にもそのフレームを復号する場合と同一の参照画像が指定されて，正しい復号画像を得ることができ，かつ，符号化効率を向上させることが可能な画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラムおよびそれらの記録媒体の提供を目的とする。

[0027] 本発明の第 1の側面は，過去に符号化した複数フレームの画像情報から画像情報を選択し，予測画像を作成する，複数の画像情報を符号化する画像符号化方法であって，各フレームを N個のカテゴリに分類する画像分類ステップと，第 jカテゴリに分類される現フレームについて，第 i (iは 1から jまで)カテゴリの，過去に符号化した複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステツプと，現フレームの画像情報と予測画像との差分を符号化する差分符号化ステツプと，予測画像作成ステップで選択した画像情報を指定する，第 jカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化ステップと，現フレームのカテゴリ番号を符号化する現カテゴリ符号ィ匕ステップと，を実行することを特徴とする。

[0028] 本発明の第 2の側面は，本発明の第 1の側面による画像符号化方法において，力テゴリ毎に，カテゴリに所属するフレームを指定するフレーム番号を割り当てておき，予測画像作成ステップで選択した画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリのフレーム番号とから，参照画像指定情報を構成することを特徴とする。

[0029] 本発明の第 3の側面は，過去に復号した複数フレームの画像情報から画像情報を選択し，予測画像を作成する，複数の画像情報を復号する画像復号方法であって，現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，現カテゴリ復号ステップで得られるカテゴリ番号用の，画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号ステップと，参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成ステップと，現フレームの復号画像と予測画像との差分を復号する差分復号ステップと，差分情報と予測画像から復号画像を作成する復号画像作成ステップと，現フレームの復号画像を，現カテゴリ復号ステップで得られるカテゴリ番号用のメモリに蓄積する復号画像蓄積ステップと，を実行することを特徴とする。

[0030] 本発明の第 4の側面は，本発明の第 3の側面による画像復号方法において，カテゴリ毎に，カテゴリに所属するフレームを指定するフレーム番号を割り当てておき，予測画像作成ステップで選択した画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリのフレーム番号とから，参照画像指定情報を構成することを特徴とする。

[0031] 本発明の第 1の側面による画像符号ィヒ方法あるいは本発明の第 3の側面による画像復号方法によれば，参照画像メモリを複数のカテゴリに分類しておき，カテゴリ毎に参照画像を管理することができる。これにより，カテゴリ毎に復号するかどうかを決定して，復号しないカテゴリがある場合には，その他のカテゴリに含まれる参照画像から予測画像を作成することができる。参照画像指定情報はカテゴリ毎に別々に設定しているため，カテゴリを復号する場合としない場合とで参照画像指定情報により同一の画像が指定され，正しい復号画像を得ることができる。また，カテゴリ毎に参照画像数を多くすることができ符号ィ匕効率を向上することができる。

[0032] カテゴリは，例えば図 1で示したレイヤに設定することができる。第 1カテゴリ（第 1レィャ）の画像は第 1カテゴリ（第 1レイヤ）の画像のみ参照し，第 2カテゴリ（第 2レイヤ）の画像は第 1カテゴリ（第 1レイヤ）と第 2カテゴリ（第 2レイヤ）の画像を参照し，第 3力テゴリ（第 3レイヤ）の画像は第 1カテゴリ（第 1レイヤ）と第 2カテゴリ（第 2レイヤ）と第 3 カテゴリ（第 3レイヤ）の画像を参照する。このとき，カテゴリ毎に複数フレーム分の参照画像を蓄積できる参照画像メモリを備えれば，各カテゴリの符号化効率を向上すること力 Sできる。

[0033] 参照画像指定情報としては，例えば，

(方法 1)参照画像とするカテゴリに含まれるフレームに対して，符号化または復号順序が現フレームに近いフレームから通し番号を付けたもの，

(方法 2)参照画像とするカテゴリに含まれるフレームに対して，入力または出力順序が現フレームに近いフレームから通し番号を付けたもの，

等が挙げられる。

[0034] これらに限らず，符号化側と復号側が一意に参照画像を指定することができ，参照画像としないカテゴリのフレームを復号しない場合に，参照する画像が一致するような指定方法であればよい。

[0035] 図 1 (C)における符号化順序のフレームの構成について，方法 1で指定する場合の参照画像指定情報の例を図 2に，方法 2で指定する場合の参照画像指定情報の例を図 3に示す。ただし，図 3で現フレームに対する入力または出力順序の差分が同じ場合には，より最近に符号ィ匕したフレームに小さい番号を付与した。また，参照画像指定情報としては，例えば， 0, 1 , 2,…という通し番号であるものとする。

[0036] 図 2においては，例えば，現フレームが第 2フレームの場合，参照画像指定情報をつける順序は，第 3フレーム，第 5フレーム，第 1フレームの順であり，現フレームが第 3フレームの場合，参照画像指定情報をつける順序は，第 5フレーム，第 1フレームの順である。

[0037] 図 3においては，例えば，現フレームが第 2フレームの場合，参照画像指定情報をつける順序は，第 3フレーム，第 1フレーム，第 5フレームの順であり，現フレームが第 3フレームの場合，参照画像指定情報をつける順序は，第 5フレーム，第 1フレームの順である。

[0038] また，本発明は可逆符号化と不可逆符号化のいずれに用いてもよい。画像符号ィ匕参照画像メモリには，可逆符号化の場合には原画像と復号画像のいずれを蓄積してもよレ、。不可逆符号化の場合には復号画像を蓄積する。

[0039] 本発明の第 2の側面による画像符号ィヒ方法あるいは本発明の第 4の側面による画像復号方法によれば，参照画像指定情報について，上記に挙げた例（方法 1と方法 2)の他に，

(方法 3)カテゴリ番号とカテゴリ内で設定するカテゴリ内のフレーム番号

で構成すること力 Sできる。

[0040] ここでカテゴリ番号は，第 1カテゴリから順につけた絶対番号でもよいし，現フレームのカテゴリ番号からの差分でもよレ、。フレーム番号は，同じカテゴリの第 1フレームから順につけた絶対番号でもよレ、し，現フレームからの差分でもよレ、。

[0041] 方法 3によれば，カテゴリ毎に個別のフレーム番号を割り当てるため，フレーム番号の管理が簡易であり，また，伝送エラーにより特定カテゴリのフレームが復号できない場合における，参照画像の不一致を軽減することができる。

[0042] 例えば，図 1 (C)において，第 2フレーム（第 3カテゴリ内の 1番目のフレーム）が伝送エラーで復号できない場合には，第 2フレームの復号画像を得られず，第 2フレームを参照するフレームにはエラーが伝播する。

[0043] カテゴリ内のフレーム番号を第 1フレームからの絶対番号とする場合で，図 1 (C)に示す第 3カテゴリ内の 2番目のフレームが第 3カテゴリ内の 1番目のフレームを参照しない場合には，第 3カテゴリ内の 2番目のフレームから正しく復号できる。したがって，第 3カテゴリ内の 2番目のフレーム以後で第 3カテゴリ内の 1番目のフレーム以外を参照するのであれば，そのフレームは正しく復号できる。

[0044] また，カテゴリ内のフレーム番号を現フレームからの相対番号とする場合には，第 2 カテゴリのフレームは全てフレーム番号がずれてしまう。し力しながら第 2フレーム以後のフレームで第 2カテゴリのフレームを参照しないのであれば，他のカテゴリのフレームは正しく復号することができる。

[0045] また、現カテゴリ番号以下に属するフレームに暫定フレーム番号を割り当てることにより，予測画像ステップで選択可能なフレームのみに，固有の番号を割り当てることが出来る。また予測画像ステップで選択不可能なフレームについては番号を割り当てない。従って，画像復号側にて現フレームよりカテゴリ番号の大きいフレームを復号しない場合においても，正しく参照画像を指定することができるため，正しい復号画像を得ることが可能となる。 [0046] また、過去に符号化されたフレームの符号ィ匕順序を使うことにより，より最近に符号化したフレームほど，参照画像指定情報の符号量が少なくなるように暫定フレーム番号を設定することができる。これによつて，参照画像指定情報の符号量を低減することが可能であり，符号化効率を向上することが出来る。

[0047] 本発明の第 5の側面による画像符号ィヒ方法あるいは本発明の第 6の側面による画像復号方法によれば，参照画像と参照画像指定情報との対応付けをフレームまたはスライス単位に変更可能である。参照画像指定情報を符号量が削減されるように変更することにより，全体の符号化効率を向上することが出来る。

[0048] 本発明の第 7の側面による画像符号ィヒ方法あるいは本発明の第 8の側面による画像復号方法によれば， MCTF符号化方式において，現フレームを符号化する際に，参照する画像情報の候補を増やすことが出来るため，符号化効率を向上することが出来る。

[0049] なお，本発明では各カテゴリの参照画像メモリを，物理的に異なるメモリで構成してもよレ、し，論理的に区別して構成してもよい。また，フレームや複数フレーム毎に，各カテゴリの参照画像メモリ量の割り当てを変更してもよい。

[0050] また，フレーム内画素数をカテゴリ毎に異なるように設定してもよい。例えば図 1における第 2レイヤや第 3レイヤの画素数を第 1レイヤの縦横半分，あるいは 2倍にしてもよレ、。この場合には，予測画像作成部で予測画像を作成する際に，ァフィン変換等による拡大 ·縮小や，高解像度変換が必要となる。

[0051] 高解像度変換について，複数の画像から高い解像度の画像を得る手法が報告されており，これらの手法を利用すると好適である（例えば，非特許文献 3または非特許文献 4参照）。また，画素の階調（ビット数)をカテゴリ毎に異なるように設定してもよレ、。例えば図 1における第 1レイヤの階調を 8ビットにし，第 2レイヤや第 3レイヤの階調を 4ビットにしてもよい。この場合には，予測画像作成部で予測画像を作成する際に階調の増加や減少が必要となる。

[0052] 本発明は，複数のフレームで構成される画像を対象にしている。複数のフレームは ,例えば，動画像を構成してもよいし，視点を変えて撮影して得られる多視点画像を構成してもよい。 [0053] 本発明によれば，複数フレームの画像を符号化または復号する時に，参照画像メモリを複数のカテゴリに分類しておき，カテゴリ毎に参照画像を管理することにより，力テゴリを復号する場合としない場合とで同一の参照画像が指定され，正しい復号画像を得ることができる。また，カテゴリ毎に参照画像数を多くすることができ符号化効率を向上することができる。

図面の簡単な説明

[0054] [図 1]図 1は，レイヤ構成の予測関係の例を示す図である。

[図 2]図 2は，参照画像指定情報の例を示す図である。

[図 3]図 3は，参照画像指定情報の例を示す図である。

[図 4]図 4は，画像符号化装置の第 1の構成例を示す図である。

[図 5]図 5は，画像符号化処理フローの一例を示す図である。

[図 6]図 6は，画像復号装置の第 1の構成例を示す図である。

[図 7]図 7は，画像復号処理フローの一例を示す図である。

[図 8]図 8は，画像符号化装置の第 2の構成例を示す図である。

[図 9]図 9は，画像復号装置の第 2の構成例を示す図である。

[図 10]図 10は，従来技術との比較による本発明の効果を説明する図である。

[図 11]図 11は，レイヤ構成の予測関係の例を示す図である。

[図 12]図 12は，画像符号化装置の第 3の構成例を示す図である。

[図 13]図 13は，画像復号装置の第 3の構成例を示す図である。

[図 14]図 14は， MCTF画像符号化の例を示す図である。

[図 15]図 15は， MCTF画像復号の例を示す図である。

[図 16]図 16は，動画像の予測関係の例を示す図である。

[図 17]図 17は，動画像の予測関係の例を示す図である。

[図 18]図 18は， MCTF符号化における時間方向のフィルタの例を示す図である。

[図 19]図 19は， Haar基底での Lifting Schemeの例を示す図である。

[図 20]図 20は，参照画像指定情報符号化部の一構成例を示す図である。

[図 21]図 21は，暫定フレーム番号設定部の一構成例を示す図である。

[図 22]図 22は，暫定フレーム番号設定部の他の構成例を示す図である。 [図 23]図 23は，暫定フレーム番号決定部の一構成例を示す図である。

[図 24]図 24は，参照画像指定情報復号部の一構成例を示す図である。

発明を実施するための最良の形態

[0055] 図面を用いて本発明の実施の形態を説明する。本実施の形態においては，画像を 3つのカテゴリに分類して，画像を不可逆符号ィ匕するものとする。第 1カテゴリの入力画像は，第 1カテゴリの復号画像を参照画像の候補とし，第 2カテゴリの入力画像は，第 1カテゴリと第 2カテゴリの復号画像を参照画像の候補とし，第 3カテゴリの入力画像は，第 1カテゴリと第 2カテゴリと第 3カテゴリの復号画像を参照画像の候補とする。

[0056] 本発明の実施の形態として，図 1に示す画像を符号化する場合の例を示す。また， 1フレームを縦横 16画素マクロブロックに分割し，マクロブロック毎に差分符号ィ匕デ一タの符号量が最小となるように参照画像を選択して符号化する例を示す。

[0057] 図 4は，本発明の実施の形態に係る画像符号化装置の構成を示す図である。画像符号化装置 1は，画像情報を取り込む画像入力部 101と，入力画像を 3つのカテゴリに分類する画像分類部 102と，予測画像を作成する予測画像作成部 103と，入力画像情報と予測画像との差分を符号化する差分符号化部 104と，参照画像指定情報を符号化する参照画像指定情報符号化部 105と，現フレームのカテゴリ番号を符号化する現カテゴリ符号化部 106と，復号画像を蓄積する参照画像メモリ 107と，差分符号化部 104で作成された差分符号化データを復号して復号画像を作成する復号部 108と，差分符号化部 104で作成された差分符号化データの符号量を計測する符号量計測部 109と，予測画像作成部 103で使用する参照画像の切り替えを制御する参照画像切替部 110と，参照画像切替部 110の制御によって参照画像を切り替えるスィッチ部 111と，差分符号化データの出力と符号量の計測とを切り替えるスイツチ部 112とを備える。

[0058] 参照画像指定情報符号化部 105では，例えば図 2に示される，前述した方法 1に従って付けられた参照画像指定情報を符号化するものとする。

[0059] 参照画像メモリ 107には， 7フレーム分の画像を蓄積できるメモリが備えてあり，第 1 カテゴリには 2フレーム分のメモリ（C1) ,第 2カテゴリには 2フレーム分のメモリ（C2) , 第 3カテゴリには 3フレーム分のメモリ（C3)が割り当てられているものとする。 [0060] 各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。画像入力部 101は，入力画像を図 1 (C)の各フレーム内に記載された数字で示される順序で取り込み，入力画像をマクロブロックに分割するものとする。

[0061] 画像分類部 102は，各フレームを図 1に示したカテゴリ（第 1レイヤ，第 2レイヤ，第 3 レイヤ）に分類するものとする。現カテゴリ符号ィ匕部 106は，現フレームのカテゴリ番号を固定長符号化するものとする。予測画像作成部 103では，入力画像と参照画像との間で動き探索を行い，最も差分が小さい位置の画像を予測画像とするものとする

[0062] 動きベクトル情報は，差分符号化部 104が差分符号化データの一部として符号ィ匕するものとする。また，第 1フレームは既に符号化されており，参照画像メモリ 107に復号画像が蓄積されているものとする。

[0063] このような前提で入力画像を次のように符号化する。まず画像入力部 101は，図 1 ( C)における第 5フレームを取り込み，マクロブロックに分割する。画像分類部 102は，入力画像を第 1カテゴリに分類する。現カテゴリ符号化部 106は，第 1カテゴリであることを符号化する。

[0064] 参照画像切替部 110は，参照画像を第 1カテゴリの第 1フレームに設定する。予測画像作成部 103は，参照画像から予測画像を作成する。差分符号化部 104は，マクロブロック毎に差分符号化データを作成する。このフレームでは参照画像の候補が 1 フレームであるので，符号量計測部 109は符号量を計測せずに，スィッチ部 112から差分符号化データを出力する。また，復号部 108は，差分符号化データを復号する

[0065] 参照画像指定情報符号化部 105は，参照画像指定情報を符号化する。全てのマクロブロックを符号ィ匕した後で復号画像を参照画像メモリ 107の第 1カテゴリ用のメモリ（C1)に蓄積する。第 5フレームを符号ィ匕後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が蓄積されている。

[0066] 次に画像入力部 101は，図 1 (C)における第 3フレームを取り込み，マクロブロックに分割する。画像分類部 102は，入力画像を第 2カテゴリに分類する。現カテゴリ符号化部 106は，第 2カテゴリであることを符号ィ匕する。

[0067] 続いてマクロブロック毎に，次のように符号化する。まず参照画像切替部 110は，参照画像を第 1カテゴリの第 1フレームに設定する。予測画像作成部 103は，参照画像力予測画像を作成する。差分符号化部 104は，差分符号化データを作成する。符号量計測部 109は，差分符号化データの符号量を計測する。

[0068] 次に参照画像切替部 110は，参照画像を第 1カテゴリの第 2フレームに設定する。

差分符号化部 104は，差分符号化データを作成する。符号量計測部 109は，差分符号化データの符号量を計測する。

[0069] そして参照画像切替部 110は，符号量計測部 109で得られた符号量のうち最も値の小さい場合のフレームを参照画像に設定する。予測画像作成部 103は，参照画像から予測画像を作成する。差分符号化データは，差分符号化データを作成して出力する。復号部 108は，差分符号化データを復号する。参照画像指定情報符号化部 1 05は，参照画像指定情報を符号化する。

[0070] このような処理を全てのマクロブロックに対して実行する。全てのマクロブロックを符号化した後で復号画像を参照画像メモリ 107の第 2カテゴリ用のメモリ（C2)に蓄積する。第 3フレームを符号ィ匕後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1) に第 1フレームと第 5フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレ一ムの復号画像が蓄積されてレ、る。

[0071] 次に画像入力部 101は，図 1 (C)における第 2フレームを取り込み，マクロブロックに分割する。画像分類部 102は，入力画像を第 3カテゴリに分類する。現カテゴリ符号化部 106は，第 3カテゴリであることを符号ィ匕する。

[0072] 続いてマクロブロック毎に，次のように符号化する。まず参照画像切替部 110は，参照画像を第 1カテゴリの第 1フレームに設定する。予測画像作成部 103は，参照画像力予測画像を作成する。差分符号化部 104は，差分符号化データを作成する。符号量計測部 109は，差分符号化データの符号量を計測する。

[0073] このような処理を全ての参照画像の候補に対して実行する。参照画像の候補は，参照画像メモリ 107の第 1カテゴリ用のメモリ（C1)または第 2カテゴリ用のメモリ（C2) に蓄積された画像（第 1フレーム，第 5フレーム，第 3フレーム）である。 [0074] そして参照画像切替部 110は，符号量計測部 109で得られた符号量のうち最も値の小さい場合のフレームを参照画像に設定する。予測画像作成部 103は，参照画像から予測画像を作成する。差分符号化部 104は，差分符号化データを作成して出力する。復号部 108は，差分符号化データを復号する。参照画像指定情報符号化部 1 05は，参照画像指定情報を符号化する。

[0075] このような処理を全てのマクロブロックに対して実行する。全てのマクロブロックを符号化した後で復号画像を参照画像メモリ 107の第 3カテゴリ用のメモリ（C3)に蓄積する。第 2フレームを符号ィ匕後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1) に第 1フレームと第 5フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレ一ムの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレームの復号画像が蓄積されている。

[0076] 次に第 4フレームについて第 2フレームと同様にして，第 3カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。

[0077] 参照画像の候補は，参照画像メモリ 107の第 1カテゴリまたは第 2カテゴリまたは第 3カテゴリ用のメモリ（C1または C2または C3)に蓄積された画像（第 1フレーム，第 5 フレーム，第 3フレーム，第 2フレーム）である。

[0078] 全てのマクロブロックを符号化した後で復号画像を参照画像メモリ 107の第 3カテゴリ用のメモリ（C3)に蓄積する。第 4フレームを符号化後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレ一ムと第 4フレームの復号画像が蓄積されてレ、る。

[0079] 次に第 9フレームについて第 5フレームと同様にして，第 1カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。参照画像の候補は，参照画像メモリ 107の第 1カテゴリ用のメモリに蓄積された画像（第 1フレーム，第 5フレーム）である。

[0080] 全てのマクロブロックを符号化した後で復号画像を参照画像メモリ 107の第 1カテゴリ用のメモリ（CI)に蓄積する。この時，第 1カテゴリ用のメモリ（C1)は， 2フレーム分しか蓄積できないため，最も過去に蓄積した第 1フレームの画像を廃棄してから，第 9フレームの復号画像を蓄積する。

[0081] 第 9フレームを符号化後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレームと第 4フレームの復号画像が蓄積されている。

[0082] 次に第 7フレームについて第 3フレームと同様にして，第 2カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。参照画像の候補は，参照画像メモリ 107の第 1カテゴリまたは第 2カテゴリ用のメモリ（C1または C2)に蓄積された画像（第 5フレーム，第 9フレーム，第 3フレーム）である。

[0083] 全てのマクロブロックを符号化した後で復号画像を参照画像メモリ 107の第 2カテゴリ用のメモリ（C2)に蓄積する。第 7フレームを符号化後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームと第 7フレームの復号画像が，第 3カテゴリ用のメモリ（ C3)に第 2フレームと第 4フレームの復号画像が蓄積されてレ、る。

[0084] 次に第 6フレームについて第 2フレームと同様にして，第 3カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。

[0085] 参照画像の候補は，参照画像メモリ 107の第 1カテゴリまたは第 2カテゴリ用のメモリ

(C1または C2)または第 3カテゴリ用のメモリ（C3)に蓄積された画像（第 5フレーム，第 9フレーム，第 3フレーム，第 7フレーム，第 2フレーム，第 4フレーム）である。

[0086] 全てのマクロブロックを符号化した後で復号画像を参照画像メモリ 107の第 3カテゴリ用のメモリ（C3)に蓄積する。第 6フレームを符号化後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームと第 7フレームの復号画像が，第 3カテゴリ用のメモリ（ C3)に第 2フレームと第 4フレームと第 6フレームの復号画像が蓄積されてレ、る。 [0087] 次に第 8フレームについて第 2フレームと同様にして，第 3カテゴリに分類し，マクロブロック毎に，参照画像を切り替えながら差分符号化データを求め，符号量が最も小さくなるように参照画像を決定して，復号画像を作成する。

[0088] 参照画像の候補は，参照画像メモリ 107の第 1カテゴリまたは第 2カテゴリまたは第 3カテゴリ用のメモリ（C1または C2または C3)に蓄積された画像（第 5フレーム，第 9 フレーム,第 3フレーム，第 7フレーム，第 2フレーム，第 4フレーム，第 6フレーム）でめる。

[0089] 全てのマクロブロックを符号化した後で復号画像を参照画像メモリ 107の第 3カテゴリ用のメモリ（C3)に蓄積する。この時，第 3カテゴリ用のメモリ（C3)は 3フレーム分しか蓄積できないため，最も過去に蓄積した第 2フレームの画像を廃棄してから，第 8フレームの復号画像を蓄積する。

[0090] 第 8フレームを符号化後の参照画像メモリ 107には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームと第 7フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 4フレームと第 6フレ一ムと第 8フレームの復号画像が蓄積されている。以上により第 1フレームから第 9フレームまでの符号ィ匕を行う。

[0091] 図 5は，本発明の実施の形態における画像符号化処理フローの一例を示す図である。まず，画像情報（フレーム）を入力し，マクロブロックに分割する（ステップ Sl)。分害 ijされたマクロブロックには，例えばブロック番号 k (k= l , 2, 3· · ·)が付けられているものとする。

[0092] 次に，入力画像をカテゴリに分類する (ステップ S2)。現フレームのカテゴリ番号を符号化する（ステップ S3)。最初のマクロブロック（ブロック番号 k= 1)を取り出し (ステップ S4) ,現フレームについての参照画像候補を選択し (ステップ S5) ,選択された参照画像候補力予測画像を作成する (ステップ S6)。

[0093] 現フレームの画像情報と選択された参照画像候補から作成された予測画像との差分を符号化する (ステップ S7)。そして，差分符号化データの符号量を計測する (ステップ S8)。

[0094] 選択されていない参照画像候補があるかを判断し (ステップ S9) ,選択されていない参照画像候補があればステップ S5に戻り，選択されていない参照画像候補がなければ差分符号化データの符号量が最も小さレ、参照画像候補を現フレームにつレ、ての参照画像に設定する（ステップ S10)。

[0095] 設定された参照画像から予測画像を作成し (ステップ S11) ,現フレームの画像情報と設定された参照画像から作成された予測画像との差分を符号化し，差分符号化データを出力する (ステップ S12)。差分符号化データを復号し記憶しておく（ステツプ S13)。また，参照画像指定情報を符号化する (ステップ S14)。

[0096] 次に，ブロック番号 kをインクリメントして（ステップ S 15) ,全てのマクロブロックにつレ、て差分符号ィ匕データを作成したか (k>kMAX力、）を判断する（ステップ S16)。差分符号化データが作成されていないマクロブロックがある場合には，ステップ S5に戻る。全てのマクロブロックについて差分符号化データが作成された場合には，復号画像を参照画像メモリ 107に蓄積して (ステップ S17) ,処理を終了する。

[0097] 図 6は，本発明の実施の形態に係る画像復号装置の構成を示す図である。画像復号装置 2は，差分符号化データを復号する差分復号部 201と，予測画像を作成する予測画像作成部 202と，参照画像指定情報を復号する参照画像指定情報復号部 2 03と，現フレームのカテゴリ番号を復号する現カテゴリ復号部 204と，参照画像を蓄積する参照画像メモリ 205と，差分画像と予測画像から復号画像を作成する復号画像作成部 206と，復号画像を参照画像メモリ 205に蓄積する復号画像蓄積部 207と ,予測画像作成部 202で使用する参照画像の切り替えを制御する参照画像切替部 208と，参照画像切替部 208の制御によって参照画像を切り替えるスィッチ部 209とを備える。

[0098] 参照画像指定情報復号部 203では，例えば図 2に示すように，方法 1に従って参照画像指定情報を復号するものとする。参照画像メモリ 205には， 7フレーム分の画像を蓄積できるメモリが備えてあり，第 1カテゴリには， 2フレーム分のメモリ（C1) ,第 2力テゴリには， 2フレーム分のメモリ（C2)，第 3カテゴリには， 3フレーム分のメモリ（C3) が割り当てられているものとする。

[0099] 各カテゴリで，新たに復号画像を蓄積する際に全てのメモリに画像が蓄積されている場合には，最も過去に蓄積した画像を廃棄して復号画像を蓄積するものとする。現カテゴリ復号部 204は，現フレームのカテゴリ番号を固定長復号するものとする。また ,第 1フレームは，既に復号されており，参照画像メモリ 205に復号画像が蓄積されているものとする。

[0100] 以下に，前記画像符号化装置 1で符号化された符号化データの復号処理を具体的に説明する。図 1 (C)の第 5フレームについて，現カテゴリ復号部 204は，現フレームのカテゴリ番号を復号する。続いてマクロブロック毎に，次のようにして復号画像を作成する。

[0101] 差分復号部 201は，差分符号化データを復号して差分画像を作成する。また，動きベクトル情報も復号する。参照画像指定情報復号部 203は，参照画像指定情報を復号する。参照画像切替部 208は，参照画像を参照画像指定情報で指定される画像に設定する。参照画像の候補は，参照画像メモリ 205の第 1カテゴリ用のメモリ（C1 )に蓄積された画像（第 1フレーム）である。予測画像作成部 202は，参照画像から動きベクトルに対応した予測画像を作成する。復号画像作成部 206は，差分画像と予測画像から復号画像を作成する。

[0102] このような処理を全てのマクロブロックに対して実行する。全てのマクロブロックを復号した後で，復号画像蓄積部 207は，復号画像を，参照画像メモリ 205における指定されたカテゴリ番号用のメモリに蓄積し，出力する。第 5フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が蓄積されている。

[0103] 第 3フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリ用のメモリ（C1)に蓄積された画像（第 1フレーム，第 5フレーム）である

[0104] 第 3フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームの復号画像が蓄積されてレ、る。

[0105] 第 2フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリ用のメモリ（CI)または第 2カテゴリ用のメモリ（C2)に蓄積された画像（第 1フレーム，第 5フレーム，第 3フレーム）である。

[0106] 第 2フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレームの復号画像が蓄積されている。

[0107] 第 4フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリまたは第 2カテゴリまたは第 3カテゴリ用のメモリ（C1または， C2または , C3)に蓄積された画像（第 1フレーム，第 5フレーム，第 3フレーム，第 2フレーム）でめる。

[0108] 第 4フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレームと第 4フレームの復号画像が蓄積されている。

[0109] 第 9フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリ用のメモリ（C1)に蓄積された画像（第 1フレーム，第 5フレーム）である。この時，第 1カテゴリ用のメモリ（C1)は 2フレーム分しか蓄積できないため，最も過去に蓄積した第 1フレームの画像を廃棄してから，第 9フレームの復号画像を蓄積する。

[0110] 第 9フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレームと第 4フレームの復号画像が蓄積されている。

[0111] 第 7フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリまたは第 2カテゴリ用のメモリ（C1または C2)に蓄積された画像（第 5フレーム，第 9フレーム，第 3フレーム）である。

[0112] 第 7フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームと第 7フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレームと第 4フレームの復号画像が蓄積されてレ、る。

[0113] 第 6フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 中の第 1カテゴリまたは第 2カテゴリまたは第 3カテゴリ用のメモリ（C1または C2または C3)に蓄積された画像（第 5フレーム，第 9フレーム，第 3フレーム，第 7フレーム，第 2 フレーム，第 4フレーム）である。

[0114] 第 6フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームと第 7フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 2フレームと第 4フレームと第 6フレームの復号画像が蓄積されてレ、る。

[0115] 第 8フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリまたは第 2カテゴリまたは第 3カテゴリ用のメモリ（C1または C2または C 3)に蓄積された画像（第 5フレーム，第 9フレーム，第 3フレーム，第 7フレーム，第 2 フレーム，第 4フレーム，第 6フレーム）である。

[0116] この時，第 3カテゴリ用のメモリ（C3)は 3フレーム分しか蓄積できないため，最も過去に蓄積した第 2フレームの画像を廃棄してから，第 8フレームの復号画像を蓄積する。第 8フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームと第 7フレームの復号画像が，第 3カテゴリ用のメモリ（C3)に第 4フレームと第 6フレ一ムと第 8フレームの復号画像が蓄積されている。以上により第 1フレームから第 9フレームまでの復号を行う。

[0117] 図 7は，本発明の実施の形態における画像復号処理フローの一例を示す図である。第 1フレームは既に復号されており，参照画像メモリ 205に復号画像が蓄積されてレ、る後の処理の流れについて説明する。まず，現フレームのカテゴリ番号を復号する

(ステップ S21)。ブロック番号 k= 1とする（ステップ S 22)。

[0118] 差分符号化データを復号して差分画像を作成し，また，動きべ外ル情報を復号する（ステップ S23)。参照画像指定情報を復号し (ステップ S24) ,参照画像を参照画指定情報で指定される画像に設定する（ステップ S25)。参照画像から動きべクトノレに

対応した予測画像を作成する（ステップ S26)。

[0119] 次に，差分画像と予測画像とから復号画像を作成し (ステップ S27)，ブロック番号 k をインクリメントし (ステップ S28) ,全てのマクロブロックについて復号画像を作成したか（k>kMAX力を判断する（ステップ S 29)。

[0120] 復号画像を作成していないマクロブロックがある場合には，ステップ S23に戻り，全てのマクロブロックについて復号画像を作成した場合には，復号画像をカテゴリ番号で指定された参照画像メモリに蓄積し (ステップ S30) ,復号画像を出力して (ステツプ S31) ,処理を終了する。

[0121] 次に，本発明の実施の形態において，時間解像度を変更して復号する場合の例について説明する。第 1フレームは既に復号されており，参照画像メモリ 205に復号画像が蓄積されているものとする。この例では，符号ィ匕データ中から第 1カテゴリ（図 1 ( C)の第 5フレームと第 9フレーム）と第 2カテゴリ（図 1 (C)の第 3フレームと第 7フレーム）の画像のみ復号するものとする。

[0122] 第 5フレームについて，上記の例と同様にして符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリ用のメモリ（C1)に蓄積された画像（第 1フレーム）である。第 5フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が蓄積されてレ、る。

[0123] 第 3フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリ用のメモリ（C1)に蓄積された画像（第 1フレーム，第 5フレーム）である。第 3フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 1フレームと第 5フレームの復号画像が，第 2カテゴリ用のメモリ（C1)に第 3フレームの復号画像が蓄積されてレ、る。

[0124] 第 9フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，第 1カテゴリ用のメモリ（C1)に蓄積された画像（第 1フレーム，第 5フレーム）である。この時，第 1カテゴリ用のメモリ（C1)は 2フレーム分しか蓄積できないため，最も過去に蓄積した第 1フレームの画像を廃棄してから，第 9フレームの復号画像を蓄積する。第 9フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第 5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームの復号画像が蓄積されている。

[0125] 第 7フレームについて，第 5フレームと同様に符号化データを復号し復号画像を得て，参照画像メモリ 205に蓄積し出力する。参照画像の候補は，参照画像メモリ 205 の第 1カテゴリまたは第 2カテゴリ用のメモリ（C1または C2)に蓄積された画像（第 5フレーム，第 9フレーム，第 3フレーム）である。

[0126] 第 7フレームを復号後の参照画像メモリ 205には，第 1カテゴリ用のメモリ（C1)に第

5フレームと第 9フレームの復号画像が，第 2カテゴリ用のメモリ（C2)に第 3フレームと第 7フレームの復号画像が蓄積されてレ、る。

[0127] 以上により第 3カテゴリの画像を復号しなくとも，第 1カテゴリと第 2カテゴリの画像を正しく復号することができる。同様に，第 1カテゴリの画像のみを復号することも可能である。

[0128] 本実施例での参照画像指定情報符号化部は方法 1に従って参照画像指定情報を符号化し、参照画像指定情報復号部は方法 1に従って参照画像指定情報を復号したが、参照画像指定情報を暫定フレーム番号から決定して符号化しても良い。この方法を用いる場合の、画像符号化装置の参照画像指定情報符号化部 105の構成を図 20に示す。

[0129] 参照画像指定情報符号化部 105は、暫定フレーム番号設定部 1051と暫定フレーム番号符号株 1052とで構成される。ここで、暫定フレーム番号設定部 1051は、参照画像メモリ 107に蓄積された複数の画像情報のうち、現フレームのカテゴリ以下に属するフレームの画像情報に対して、暫定フレーム番号を設定する。暫定フレーム番号符号化部 1052は、予測画像作成部 103で選択したフレームを指定する暫定フレーム番号を、参照画像指定情報として符号化する。

[0130] 暫定フレーム番号設定部 1051で暫定フレーム番号を設定する方法としては、実施例に記載の方法 1や方法 2または方法 3を用いても良い。または各フレームの符号化順序を利用する方法として次の例が挙げられる。暫定フレーム番号設定部 1051を図 21に示すように、符号化順序記録部 10511と暫定フレーム番号決定部 10512で構成する。符号ィ匕順序記録部 10511は過去に符号化されたフレームの符号化順序をカテゴリ毎の符号ィ匕順序番号として記録する。暫定フレーム番号決定部 10512は過去に符号ィ匕したフレームの符号化順序番号と現フレームのカテゴリ番号から、過去に符号ィ匕されたフレームの暫定フレーム番号を決定する。

[0131] あるいは、暫定フレーム番号設定部 1051を図 22に示す構成とすることも可能である。この場合暫定フレーム番号設定部 1051は、符号ィ匕順序記録部 10511と、カテゴリ番号記録部 10513と暫定フレーム番号決定部 10512で構成される。ここでの符号化順序記録部 10511は過去に符号化されたフレームの符号ィ匕順序を符号化順序番号として記録し、カテゴリ番号記録部 10513は過去に符号ィ匕されたフレームの力テゴリ番号を記録する。すなわち符号化順序記録部 10511はカテゴリ毎の符号化順序を記憶するのではなぐカテゴリに関係なく各フレームの符号ィヒ順序を記録する。そして、暫定フレーム番号決定部 10512は過去に符号化したフレームの符号化順序番号とカテゴリ番号と現フレームのカテゴリ番号から、過去に符号化されたフレームの暫定フレーム番号を決定する。

[0132] ここで、暫定フレーム番号決定部 10512は、次のようにして符号ィ匕順序から暫定フレーム番号を決定しても良レ、。図 23に示すように暫定フレーム番号決定部 10512を差分フレーム番号割り当て部 105121と暫定フレーム番号算出部 105122で構成する。差分フレーム番号割り当て部 105121は、予め設定した規則に従って符号化順序番号力差分フレーム番号を割り当てる。そして暫定フレーム番号算出部 10512 2は、差分フレーム番号と現フレームのカテゴリ番号の組み合わせから暫定フレーム番号を算出する。この時、差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して、暫定フレーム番号を割り当てる表を予め備えておき、差分フレーム番号と現フレームのカテゴリ番号から表を参照して暫定フレーム番号を求めても良い。あるいは、差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して、暫定フレーム番号を算出する計算式を予め設定しておき、差分フレーム番号と現フレームのカテゴリ番号力計算により暫定フレーム番号を算出しても良い。

[0133] また、これらの場合、参照画像指定情報復号部 203は図 24に示すように、暫定フレーム番号設定部 2031と暫定フレーム番号復号部 2032から構成することが可能である。ここで、暫定フレーム番号設定部 2031は、参照画像メモリ 205に蓄積された複数の画像情報のうち、現フレームのカテゴリ以下に属するフレームの画像情報に対して、暫定フレーム番号を設定する。暫定フレーム番号復号部 2032は、予測画像作成部 202で選択したフレームを指定する暫定フレーム番号を、参照画像指定情報として復号する。

[0134] 本実施例では参照画像指定情報符号化部 105で方法 1に従って参照画像指定情報を符号化し，参照画像指定情報復号部 203で方法 1に従って参照画像指定情報を復号した。すなわち，参照画像指定情報符号化部または参照画像指定情報復号部では，予め設定した，各カテゴリに対応した参照画像指定情報の対応関係を使つて参照画像指定情報を符号化または復号した。次に，この対応関係をフレームまたはスライス毎に変更する構成を示す。

[0135] この場合の画像符号化装置 3の構成を図 8に，画像復号装置 4の構成を図 9に示す。それぞれ，参照カテゴリ設定部 311， 403と参照画像指定情報設定部 312, 410 を追カロした構成になっている。画像符号化装置 3では，参照画像指定情報符号ィ匕部 308は，参照画像切替部 307で設定される参照画像に対して，参照画像指定情報設定部 312で設定される対応関係を元に，参照画像指定情報を符号化する。また画像復号装置 4では，参照画像指定情報復号部 404は参照画像指定情報を復号し ,参照画像切替部 403が，参照画像指定情報設定部 410で設定される対応関係を元に参照画像を切り替える。

[0136] 画像符号化装置 3と画像復号装置 4における参照カテゴリ設定部 311 , 403は，フレーム毎に現フレームのカテゴリ番号から，参照可能なカテゴリ番号を設定する。本実施例では現フレームが第 1カテゴリであれば，参照可能なカテゴリとして第 1を設定し，現フレームが第 2カテゴリであれば，参照可能なカテゴリとして第 1と第 2を設定し ,現フレームが第 3カテゴリであれば，参照可能なカテゴリとして第 1と第 2と第 3を設定する。

[0137] なお，本実施例に示す設定ではなぐ例えば，第 1カテゴリ以外については，現フレームの属するカテゴリを参照可能なカテゴリに含まなレ、ようにしても良レ、。

[0138] 画像符号化装置 3における参照画像指定情報設定部 312は，フレーム毎に対応付けについて方法 1または方法 2のいずれかを選択する。この時，いずれの方法を用いたのかを指定する情報を符号化する。画像復号装置 4における参照画像指定情報設定部 410は，フレーム毎に対応付けについて方法 1または方法 2のいずれを選択したのかを示す情報を復号して，どちらかを選択する。

[0139] この対応付けを設定するのはフレーム毎ではなぐスライス毎に実行しても良い。また，方法 1または方法 2に限らず，選択可能な方法を予め複数設定しておき，それらのいずれ力を選択するようにしても良い。更に，選択可能な方法を予め設定するのではなぐ対応関係そのものを符号化しても良い。対応関係を符号化する場合には，各カテゴリに属するフレームに対する参照画像指定情報の対応関係を示す情報を符号化する。この時フレームを指定する情報としてフレーム番号を固有に割り当てておき ,それを利用しても良レ、。例えば，第 1カテゴリに属するフレーム番号 1とフレーム番号 5の画像情報が参照画像メモリに蓄積されている場合には，フレーム番号 5に対して参照画像指定情報 1を，フレーム番号 1に対して参照画像指定情報 2を対応付けても良い。

[0140] 本発明の効果を確認するために，従来方法と本発明の方法による画像符号化 Z復号の実験を行った。本発明を用いた方法では，上記の実施の形態で説明したように 3レイヤで構成される参照画像メモリを備え，参照画像メモリを第 1レイヤは 2フレーム分，第 2レイヤは 2フレーム分，第 3レイヤは 3フレーム分の画像メモリで構成した。この本発明による方法を用いた画像符号化 Z復号方法を，以後， LayerMulという。

[0141] 従来方法として，レイヤ毎に参照画像メモリを管理せずに，一定間隔ごとに参照画像メモリに蓄積した画像を， 1フレーム分だけ残して他を廃棄する方法を用いた。この従来方法を，以後， LayerOffという。

[0142] 例えば，方法 LayerOffでは，図 1においてフレーム番号（5)のフレームはフレーム番号（1)の画像を参照し，フレーム番号（3)のフレームはフレーム番号（1)とフレーム番号（5)の画像を参照し，フレーム番号（2)のフレームはフレーム番号（1)とフレーム番号（5)とフレーム番号（3)の画像を参照し，フレーム番号（4)はフレーム番号（1)とフレーム番号（5)とフレーム番号（3)とフレーム番号（2)の画像を参照する。

[0143] このようにしてフレーム番号（2)のフレームからフレーム番号（5)のフレームまでを符号化した後，参照画像メモリに蓄積されてレ、るフレーム番号（2)からフレーム番号（ 4)までの画像を廃棄してフレーム番号（5)の画像のみ蓄積しておく。

[0144] 続いて，フレーム番号（9)のフレームはフレーム番号（5)の画像を参照し，フレーム番号（7)のフレームはフレーム番号（5)とフレーム番号（9)の画像を参照し，フレーム番号（6)のフレームはフレーム番号（5)とフレーム番号（9)とフレーム番号（7)の画像を参照し，フレーム番号（8)のフレームはフレーム番号（5)とフレーム番号（9)とフレーム番号（7)とフレーム番号（6)の画像を参照する。

[0145] このようにしてフレーム番号（6)のフレームからフレーム番号（9)のフレームまでを符号化した後，参照画像メモリに蓄積されているフレーム番号（6)のフレームからフレーム番号（8)のフレームまでの画像を廃棄してフレーム番号（9)の画像のみ蓄積しておく。

[0146] 以上のように 4フレーム毎に参照画像メモリの画像を， 1フレーム分残してその他を廃棄する。残したフレームを指定する参照画像指定情報を 1にリセットする。この方法によっても，全レイヤを復号する方法の他に，第 1レイヤのみ復号する，または第 1レィャと第 2レイヤのみ復号することが可能である。

[0147] 方法 LayerMulと方法 Layeroffを用いて，画像サイズが横 352縦 288画素で 17フレームで構成される画像 Aを 3レイヤに分類して符号化した場合の，フレームあたりの符号量 (ビット数)を図 10に示す。予測画像の作成方法と予測残差の符号化に H. 2 64映像符号化方式に採用されている方式を用いた。

[0148] 量子化スケールは固定して実験を行っており，各フレームにおいて方法 LayerMul と方法 LayerOffとでほぼ同じ値である。このようにフレーム番号（6)までは両者はほぼ同じ符号量となるが，それ以後の奇数番目のフレームにおいて方法 LayerMulの方が方法 LayerOfはりも符号量が少なレ、。

[0149] これは，奇数番目のフレームは第 1レイヤと第 2レイヤに属しており，参照画像として利用できるフレーム数が方法 LayerMulの方が多いことに起因する。すなわち，本発明によれば，レイヤ毎に参照画像メモリを管理することにより，各レイヤの符号化効率を向上することが示される。

[0150] 以上説明した本発明の実施の形態では， 1フレームの参照画像から予測画像を作成したが，複数の参照画像から予測画像を作成してもよい。この場合には，画像符号化装置 1では，参照画像切替部 110が複数の参照画像を選択し，予測画像作成部 1 03は，複数の参照画像から予測画像を作成する。また，参照画像指定情報符号ィ匕部 105は，複数の参照画像指定情報を符号化する。

[0151] 画像復号装置 2では，参照画像切替部 208が複数の参照画像を選択し，予測画像作成部 202は，複数の参照画像から予測画像を作成する。また，参照画像指定情報復号部 203は，複数の参照画像指定情報を復号する。

[0152] 複数の参照画像から予測画像を作成するには，参照画像間で対応する画素位置の画像情報を平均してもよい。また，平均するときに重み付けを行ってもよい。重み付けは，例えば昔の画像ほど重み付けが小さくなるように，現フレームからの時間間隔力算出してもよレ、。または明示的に符号ィ匕してもょレ、。

[0153] また，本実施の形態として，各カテゴリに対する参照画像メモリの割り当てが固定の場合を説明したが，本発明は，参照メモリの割り当てが固定の場合に限るものではな <,途中のフレームでメモリの割り当てを変えてもよレ、。例えば第 4フレームを符号ィ匕 /復号した後に，第 1カテゴリ用のメモリ（C1)を 3フレーム分にし，第 3カテゴリ用のメモリ（C3)を 2フレーム分にしてもよい。カテゴリのメモリ量を多くすることにより，その力テゴリの符号化効率を向上することができる。

[0154] また，本実施の形態として，フレームを周期的にカテゴリに割り当てる例を説明したが，本発明は，フレームを周期的にカテゴリに割り当てる場合に限るものではない。例えば図 11に示すように，第 4フレームを符号ィ匕するまでは第 3カテゴリまで設定しておき，それ以後のフレームを符号化する際に第 2カテゴリまで符号化し，第 3カテゴリは符号ィ匕しないようにしてもよい。この場合には，カテゴリへの参照画像メモリの割り当てを変更する方が好適である。

[0155] また，本実施の形態として，現フレームのカテゴリ番号をフレーム毎に符号ィ匕する例を説明したが，本発明は，現フレームのカテゴリ番号をフレーム毎に符号化する場合に限るものではなぐこれを複数フレーム毎に符号化してもよい。例えば，符号化側では，符号ィ匕データを毎フレーム出力するのではなぐ同じカテゴリに属するフレームの符号ィ匕データを蓄積しておき，ある程度のフレーム数を符号化した後で，カテゴリ毎に，カテゴリ番号を符号化し，その番号で指定されるカテゴリに属するフレームの符号化データをまとめて出力してもよい。この方法のほうが，カテゴリ毎に符号化データが纏められているため，復号側で特定のカテゴリの符号化データを復号する際に，符号化側で出力される符号化データから所望の符号化データを取り出しやすい。

[0156] このようにカテゴリ毎に別々の符号化データで構成されている場合には，復号側で所望のカテゴリの符号ィヒデータを取り出しやすいだけではなぐ符号化側から復号側の間に中継装置がある場合に，中継装置で特定のカテゴリの符号化データを取り出すことも可能である。このようにすれば，複数フレームが動画像を構成する場合に，復号側で通常低いフレームレートで復号し出力しておき，必要な時間帯になったときに ,復号側が中継装置に多くのカテゴリの符号ィヒデータを要求して受信することにより ,復号側はその時間帯だけ高いフレームレートで復号して出力できる。

[0157] また，本実施の形態として，参照画像指定情報を上記方法 1で符号化する例を説明したが，本発明は，参照画像指定情報を上記方法 1で符号化する場合に限るものではなぐ符号化側と復号側が一意に参照画像を指定することができ，参照画像としないカテゴリのフレームを復号しない場合に，参照する画像が一致するような指定方法であればよい。

[0158] 次に，本発明の画像符号化装置と画像復号装置の別の実施例を示す。この場合の画像符号化装置 5の構成を図 12に，画像復号装置 6の構成を図 13に示す。

[0159] 画像符号化装置 5の参照画像指定情報設定部 512では，フレームを指定する情報としてフレーム番号を固有に割り当てておき，これに対する参照画像指定情報を対応付けた対応関係を符号化する。対応付けは，参照画像の候補となるフレームについて，カテゴリ番号の小さい順に，またフレーム番号の小さい順に，参照画像を指定する番号を割り当てるものとする。画像復号装置 6の参照画像指定情報設定部 610では，この対応関係を復号する。画像符号化装置 5における予測画像作成部 505では現フレームをマクロブロックに分割してマクロブロック毎の動きベクトルを探索して，動きベクトル位置に対応する予測画像を作成する。ロスレス符号化部 513は画像情報をロスレス符号ィ匕する。

[0160] ここで図 14に示す 4フレームの入力画像を符号化する場合の処理を示す。参照画像メモリは第 3カテゴリ用に 1フレーム，第 2カテゴリ用に 2フレーム，第 1カテゴリ用に 4 フレーム分のメモリがあるとする。そして入力される原画像は参照画像メモリ中の第 1 カテゴリ用のメモリに蓄積されているものとする。

[0161] まず第 1カテゴリ用メモリにあるフレーム 1とフレーム 2の符号化を行う。現カテゴリ符号化部 503はカテゴリ番号 1を符号化する。参照画像指定情報設定部 512は，現フレームをフレーム 1とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。この時点では第 1カテゴリのフレーム 2のみ参照画像に設定される。予測画像作成部 505はフレーム 2から予測画像を作成する。差分符号ィヒ部 504は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号ィ匕する。復号部 510は高域画像情報と予測画像情報から低域画像情報を作成して，低域画像情報を第 2カテゴリ用参照画像メモリ 5 06のフレーム 1に蓄積する。参照画像指定情報符号化部 508は参照画像指定情報を符号化する。

[0162] 次に第 1カテゴリ用メモリにあるフレーム 3とフレーム 4の符号化を行う。現カテゴリ符号化部 503はカテゴリ番号 1を符号化する。参照画像指定情報設定部 512は，現フレームをフレーム 3とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。この時点では第 1カテゴリのフレーム 1とフレーム 2とフレーム 4と第 2カテゴリのフレーム 1が参照画像に設定される。次にマクロブロック毎に，設定された参照画像から一つを選択して，次に示す処理を行う。予測画像作成部 505は選択した参照画像から予測画像を作成し，差分符号化部 504は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きべタトノレも符号化し，符号量計測部 509はこの時の符号量を計測する。

[0163] この処理を全ての参照画像について行い，符号量計測部 509は符号量の少ない方を参照画像に選択するように，参照画像切替部 507に指示する。参照画像切替部 507は指示された参照画像を選択し，予測画像作成部 505は予測画像を作成し，差分符号化部 504は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化する。参照画像指定情報符号化部 508は参照画像指定情報を符号化する。全てのマクロブロックにつレ、て上記処理を行った後で，復号部 510は高域画像情報と予測画像情報力も低域画像情報を作成して，低域画像情報を第 2カテゴリ用参照画像メモリ 506のフレーム 2に蓄積する。ただし，選択された参照画像が第 1カテゴリのフレーム 4以外の場合には，そのマクロブロックの高域画像情報は使用しない。

[0164] 次に第 2カテゴリ用メモリにあるフレーム 1とフレーム 2の符号化を行う。現カテゴリ符号化部 503はカテゴリ番号 2を符号化する。参照画像指定情報設定部 512は，現フレームをフレーム 1とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。この時点では第 2カテゴリのフレーム 2が参照画像に設定される。

[0165] 次にマクロブロック毎に，設定された参照画像から一つを選択して，次に示す処理を行う。予測画像作成部 505は選択した参照画像から予測画像を作成し，差分符号化部 504は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化し，符号量計測部 509はこの時の符号量を計測する。

[0166] この処理を全ての参照画像について行レ、，符号量計測部 509は符号量の少ない方を参照画像に選択するように，参照画像切替部 507に指示する。参照画像切替部 507は指示された参照画像を選択し，予測画像作成部 505は予測画像を作成し，差分符号化部 504は予測画像と現フレームの画像との差分である高域画像情報を符号化し，予測画像を作成する際に使用する動きベクトルも符号化する。参照画像指定情報符号化部 508は参照画像指定情報を符号化する。

[0167] 全てのマクロブロックについて上記処理を行った後で，復号部 510は高域画像情報と予測画像情報から低域画像情報を作成して，低域画像情報を第 3カテゴリ用参照画像メモリ 506のフレーム 1に蓄積する。そして最後にロスレス符号化部 513は，第 3カテゴリ用参照画像メモリのフレーム 1に蓄積された画像情報をロスレス符号ィヒする

[0168] 次にこのようにして作成される符号ィ匕データを、図 15に示す 4フレームの出力画像に復号する場合の手順を示す。第 3カテゴリ，第 2カテゴリ，第 1カテゴリの順序で復号する。

[0169] まず現カテゴリ復号部 605はカテゴリ番号 3を復号する。ロスレス復号部 611は符号化データを復号して第 3カテゴリのフレーム 1に復号画像を蓄積する。

[0170] 次に第 2カテゴリの復号を行う。現カテゴリ復号部 605はカテゴリ番号 2を復号する。

参照画像指定情報設定部 604は，現フレームをフレーム 1とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。画像符号化装置 5で参照画像とした第 2カテゴリのフレーム 2を指定する参照画像指定情報を，第 3カテゴリのフレーム 1を指定するように対応付ける。この時点では第 3カテゴリのフレーム 1が参照画像に設定される。

[0171] 次にマクロブロック毎に，次に示す処理を行う。差分復号部 601は高域画像情報と動きベクトルを復号する。参照画像指定情報復号部 604は参照画像指定情報を復号する。参照画像切替部 603は参照画像指定情報で指示された参照画像を選択し ,予測画像作成部 602は動きベクトルを使って予測画像を作成する。復号画像作成部 607は高域画像情報と予測画像から復号画像 2フレームを作成する。復号画像蓄積部 608は復号画像を第 2カテゴリのフレーム 1とフレーム 2に蓄積する。

[0172] 続いて第 1カテゴリの復号を行う。まずフレーム 1とフレーム 2を復号する手順を示す。現カテゴリ復号部 605はカテゴリ番号 1を復号する。参照画像指定情報設定部 6 10は，現フレームをフレーム 1とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。画像符号化装置 5で参照画像とした第 1カテゴリのフレーム 2 を指定する参照画像指定情報を，第 2カテゴリのフレーム 1を指定するように対応付ける。この時点では第 2カテゴリのフレーム 1が参照画像に設定される。

[0173] 次にマクロブロック毎に，次に示す処理を行う。差分復号部 601は高域画像情報と動きベクトルを復号する。参照画像指定情報復号部 604は参照画像指定情報を復号する。参照画像切替部 603は参照画像指定情報で指示された参照画像を選択し ,予測画像作成部 602は動きベクトルを使って予測画像を作成する。復号画像作成部 607は高域画像情報と予測画像から復号画像 2フレームを作成する。復号画像蓄積部 608は復号画像を第 1カテゴリのフレーム 1とフレーム 2に蓄積する。

[0174] 次にフレーム 3とフレーム 4を復号する手順を示す。現カテゴリ復号部 605はカテゴリ番号 1を復号する。参照画像指定情報設定部 610は，現フレームをフレーム 3とする場合の参照画像に対する参照画像指定情報の対応付けを設定する。画像符号ィ匕装置 5で参照画像とした第 1カテゴリのフレーム 4を指定する参照画像指定情報を，第 2カテゴリのフレーム 2を指定するように対応付ける。この時点では第 2カテゴリのフレーム 1とフレーム 2と，第 1カテゴリのフレーム 1とフレーム 2が参照画像に設定される

[0175] 次にマクロブロック毎に，次に示す処理を行う。差分復号部 601は高域画像情報と動きベクトルを復号する。参照画像指定情報復号部 604は参照画像指定情報を復号する。参照画像切替部 603は参照画像指定情報で指示された参照画像を選択し ,予測画像作成部 602は動きベクトルを使って予測画像を作成する。復号画像作成部 607は高域画像情報と予測画像から復号画像 2フレームを作成する。ただし，選択された参照画像が第 2カテゴリのフレーム 2以外の場合には，そのマクロブロックの高域画像情報は使用しない。

[0176] 復号画像蓄積部 608は復号画像を第 1カテゴリのフレーム 3とフレーム 4に蓄積する。以上より，符号ィ匕対象画像であった第 1カテゴリ 4フレームが復号される.

ここでは，予測画像作成部 602で動き探索を行ったが，これを行わずに画面内で同位置の画像情報から予測画像を作成しても良い。

[0177] 本実施例によれば，第 2カテゴリのフレーム 3とフレーム 4を符号化する際に複数の参照画像から参照画像を選択できるため，符号化効率を向上することが出来る。

[0178] また，本実施の形態として，複数の画像をフレームに割り当てて動画像とみなして符号化する例を説明したが，本発明は，複数の画像をフレームに割り当てて動画像とみなして符号化する場合に限るものではなぐ複数の画像の時間的な相関はなくてもよレ、。すなわち，視点や視線を変えて撮影した複数の画像について，各画像をフレームとみなして符号化してもよレ、。

[0179] また，本実施の形態として，予測残差を不可逆符号化する例を説明したが，本発明は，予測残差を不可逆符号化する場合に限るものではなぐ可逆符号化してもよい。この場合には，画像符号化装置 1に復号部 108を備えず，参照画像メモリ 107に復号画像を蓄積するのではなぐ原画像を蓄積してもよい。

[0180] また，本発明は， 2次元の画像を符号ィ匕する場合に限るものではなぐ画像の次元は 2次元以外でもよい。例えば 3次元の複数の画像を符号化してもよいし， 1次元の複数の画像を蓄積してもよレ、。

産業上の利用の可能性

[0181] 本発明によれば，複数フレームの画像を符号化または復号する時に，参照画像メモリを複数のカテゴリに分類しておき，カテゴリ毎に参照画像を管理することにより，力テゴリを復号する場合としない場合とで同一の参照画像が指定され，正しい復号画像を得ること力 Sできる。また，カテゴリ毎に参照画像数を多くすることができ符号化効率を向上することができる。

Claims

請求の範囲

[1] 複数のフレームで構成される画像情報を符号化する画像符号化方法であって，符号化対象の各フレームを N個（N≥2)のカテゴリに分類する画像分類ステップと第 jカテゴリに分類される現フレームについて，第 i (l≤i≤j)カテゴリの，過去に符号化した参照画像メモリ中の複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステップと，

現フレームの画像情報と予測画像との差分を符号化する差分符号化ステップと，前記選択した画像情報を指定する，第 jカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化ステップと，

現フレームのカテゴリ番号を符号化する現カテゴリ符号化ステップと，

現フレームの画像情報を参照画像メモリに蓄積する画像蓄積ステップとを有することを特徴とする画像符号化方法。

[2] 前記カテゴリ毎に，カテゴリに所属するフレームを指定するフレーム番号が割り当てられ，

前記参照画像指定情報が，前記予測画像作成部で選択した画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリのフレーム番号とから構成されることを特徴とする請求項 1記載の画像符号化方法。

[3] 前記差分符号化ステップにより作成した符号化データを復号する差分復号ステップと，

前記差分復号ステップにより作成した復号データと前記予測画像とから復号画像を作成する復号作成ステップとを更に有し，

前記差分符号化ステップは前記差分を不可逆符号化で符号化し，

前記画像蓄積ステップは前記復号画像作成ステップにより作成した現フレームの復号画像情報を蓄積する

ことを特徴とする請求項 1記載の画像符号化方法。

[4] 前記参照画像指定情報符号化ステップは，

前記参照画像メモリに蓄積された複数の画像情報のうち，第 iカテゴリに属するフレームの画像情報に対して，暫定フレーム番号を設定する暫定フレーム番号設定ステップと，

前記予測画像作成ステップで選択した画像情報を指定する暫定フレーム番号を，参照画像指定情報として符号化する暫定フレーム番号符号化ステップと

を有することを特徴とする請求項 1記載の画像符号化方法。

[5] 前記暫定フレーム番号設定ステップは，

過去に符号化されたフレームの符号化順序をカテゴリ毎の符号化順序番号として記録する符号ィヒ順序記録ステップと，

過去に符号ィヒしたフレームの符号化順序番号と現フレームのカテゴリ番号から，過去に符号ィヒされたフレームの暫定フレーム番号を決定する暫定フレーム番号決定ステツプと

を有することを特徴とする請求項 4記載の画像符号化方法。

[6] 前記暫定フレーム番号設定ステップは，

過去に符号化されたフレームの符号化順序を符号化順序番号として記録する符号化順序記録ステップと，

過去に符号ィヒされたフレームのカテゴリ番号を記録するカテゴリ番号記録ステップと，

過去に符号ィヒしたフレームの符号化順序番号と現フレームのカテゴリ番号から，過去に符号化されたフレームの暫定フレーム番号を決定する暫定フレーム番号決定ステツプと

[7] 前記暫定フレーム番号決定ステップは，

符号化順序番号の大きい順に差分フレーム番号を割り当てる差分フレーム番号割差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して，暫定フレーム番号を割り当てる表を予め備えておき，差分フレーム番号と現フレーム番号から表を参照して暫定フレーム番号を算出する暫定フレーム番号算出ステップと

を有することを特徴とする請求項 5または 6記載の画像符号化方法。

[8] 前記暫定フレーム番号決定ステップは，

符号化順序番号の大きい順に差分フレーム番号を割り当てる差分フレーム番号割差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して，暫定フレーム番号を算出する計算式を予め設定しておき，差分フレーム番号と現フレーム番号力、ら計算により暫定フレーム番号を算出する暫定フレーム番号算出ステップとを有することを特徴とする請求項 5または 6記載の画像符号化方法。

[9] 複数のフレームで構成される画像情報を復号する画像復号方法であって，

現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，

前記復号したカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号ステップと，

前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成ステップと，

現フレームの復号画像と予測画像との差分を復号する差分復号ステップと，前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成ステップと，

前記作成した現フレームの復号画像情報を，前記復号したカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積ステップと

を有することを特徴とする画像復号方法。

[10] 前記参照画像指定情報は，前記予測画像作成部により前記参照画像メモリから読み込む参照画像情報が所属するカテゴリの番号と，その番号で指定されるカテゴリに所属するフレームを指定するフレーム番号とから構成される

ことを特徴とする請求項 9記載の画像復号方法。

[11] 前記参照画像指定情報復号ステップは，

参照画像指定情報を復号して，前記予測画像作成ステップで選択する画像情報を指定する暫定フレーム番号を得る暫定フレーム番号復号ステップと

を有することを特徴とする請求項 9記載の画像復号方法。

[12] 前記暫定フレーム番号設定ステップは，

過去に復号されたフレームの復号順序をカテゴリ毎の復号順序番号として記録する復号順序記録ステップと，

過去に復号したフレームの復号順序番号と現フレームのカテゴリ番号から，過去に復号されたフレームの暫定フレーム番号を決定する暫定フレーム番号決定ステップとを有することを特徴とする請求項 11記載の画像復号方法。

[13] 前記暫定フレーム番号設定ステップは，

過去に復号されたフレームの復号順序を復号順序番号として記録する復号順序記過去に復号されたフレームのカテゴリ番号を記録するカテゴリ番号記録ステップと，過去に復号したフレームの復号順序番号と現フレームのカテゴリ番号から，過去に復号されたフレームの暫定フレーム番号を決定する暫定フレーム番号決定ステップとを有することを特徴とする請求項 11記載の画像復号方法。

[14] 前記暫定フレーム番号決定ステップは，

復号順序番号の大きい順に差分フレーム番号を割り当てる差分フレーム番号割り差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して，暫定フレーム番号を割り当てる表を予め備えておき，差分フレーム番号と現フレーム番号から表を参照して暫定フレーム番号を算出する暫定フレーム番号算出ステップと

を有することを特徴とする請求項 12または 13記載の画像復号方法。

[15] 前記暫定フレーム番号決定ステップは，

復号順序番号の大きい順に差分フレーム番号を割り当てる差分フレーム番号割り差分フレーム番号と現フレームのカテゴリ番号の組み合わせに対して，暫定フレーム番号を算出する計算式を予め設定しておき，差分フレーム番号と現フレーム番号から計算により暫定フレーム番号を算出する暫定フレーム番号算出ステップとを有することを特徴とする請求項 12または 13記載の画像復号方法。

[16] 複数のフレームで構成される画像情報を符号化する画像符号化装置であって，符号化対象の各フレームを N個（N≥2)のカテゴリに分類する画像分類部と，第 jカテゴリに分類される現フレームについて，第 i (l≤i≤j)カテゴリの，過去に符号化した複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成部と，

現フレームの画像情報と予測画像との差分を符号化する差分符号ィヒ部と，前記予測画像作成部で選択した画像情報を指定する，第 jカテゴリ用の参照画像指定情報を符号化する参照画像指定情報符号化部と，

現フレームのカテゴリ番号を符号化する現カテゴリ符号化部と，

現フレームの画像情報を蓄積する参照画像メモリと

からなることを特徴とする画像符号化装置。

[17] 前記差分符号化部により作成した符号化データを復号する差分復号部と，

前記差分復号部により作成した復号データと前記予測画像とから復号画像を作成する復号作成部とを更に有し，

前記差分符号化部は前記差分を不可逆符号化で符号化し，

前記参照画像メモリは前記復号画像作成部により作成した現フレームの復号画像情報を蓄積する

ことを特徴とする請求項 16記載の画像符号化装置。

[18] 複数のフレームで構成される画像情報を復号する画像復号装置であって，

N個（N≥2)のカテゴリに分類された複数フレーム分の参照画像メモリと，現フレームのカテゴリ番号を復号する現カテゴリ復号部と，

前記現カテゴリ復号部により得られるカテゴリ番号用の，参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号部と，

前記参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成部と，

現フレームの復号画像と予測画像との差分を復号する差分復号部と，前記復号した差分情報と前記予測画像とから現フレームの復号画像を作成する復号画像作成部と，

前記作成した現フレームの復号画像情報を，前記現カテゴリ復号部により得られるカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積部と

力なることを特徴とする画像復号装置。

[19] 複数のフレームで構成される画像情報を符号化する画像符号化方法であって，符号化対象の各フレームを N個（N≥ 2)のカテゴリに分類する画像分類ステップと，現フレームの属するカテゴリのフレームを符号ィ匕する際に参照可能なカテゴリを設定する参照カテゴリ設定ステップと，

前記参照カテゴリ設定ステップで設定される参照可能なカテゴリに属する，参照画像メモリに蓄積されたフレームの画像情報について，参照画像指定情報を設定する参照画像指定情報設定ステップと，

前記参照カテゴリ設定ステップで設定されるカテゴリの，過去に符号化した複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステップと，

現フレームの画像情報と予測画像との差分を符号化する差分符号化ステップと，前記予測画像作成ステップで選択した画像情報を指定する参照画像指定情報を符号化する参照画像指定情報符号化ステップと，

[20] 前記差分符号化ステップにより作成した符号化データを復号する差分復号ステップと，

ことを特徴とする請求項 19記載の画像符号化方法。

[21] 複数のフレームで構成される画像情報を復号する画像復号方法であって，現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，

現フレームの属するカテゴリのフレームを復号する際に参照可能なカテゴリを設定する参照カテゴリ設定ステップと，

参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号ステツプと，

参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成現フレームの復号画像と予測画像との差分を復号する差分復号；

差分情報と予測画像から復号画像を作成する復号画像作成；

現フレームの復号画像を，前記現カテゴリ復号ステップで得られるカテゴリ番号用の画像参照メモリに蓄積する復号画像蓄積ステップと，

を実行することを特徴とする画像復号方法。

[22] 複数のフレームで構成される画像情報を符号化する画像符号化装置であって，符号化対象の各フレームを N個（N≥ 2)のカテゴリに分類する画像分類部と，現フレームの属するカテゴリのフレームを符号ィヒする際に参照可能なカテゴリを設定する参照カテゴリ設定部と，

前記参照カテゴリ設定部で設定される参照可能なカテゴリに属する，参照画像メモリに蓄積されたフレームの画像情報について，参照画像指定情報を設定する参照画像指定情報設定部と，

前記参照カテゴリ設定部で設定されるカテゴリの，過去に符号化した複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成部と，現フレームの画像情報と予測画像との差分を符号化する差分符号ィヒ部と，前記予測画像作成部で選択した画像情報を指定する参照画像指定情報を符号ィ匕する参照画像指定情報符号化部と，現フレームのカテゴリ番号を符号化する現カテゴリ符号化部と，

現フレームの画像情報を蓄積する参照画像メモリと，

を備えることを特徴とする画像符号化装置。

[23] 前記差分符号化部により作成した符号化データを復号する差分復号部と，

前記差分符号化部は前記差分を不可逆符号化で符号化し，

ことを特徴とする請求項 22記載の画像符号化装置。

[24] 複数のフレームで構成される画像情報を復号する画像復号装置であって，

N個（N≥ 2)のカテゴリに分類された複数フレーム分の参照画像メモリと，

現フレームのカテゴリ番号を復号する現カテゴリ復号部と，

現フレームの属するカテゴリのフレームを復号する際に参照可能なカテゴリを設定する参照カテゴリ設定部と，

前記参照カテゴリ設定部で設定される参照可能なカテゴリに属する，前記参照画像メモリに蓄積されたフレームの画像情報について，参照画像指定情報を設定する参照画像指定情報設定部と，

参照画像情報を指定する参照画像指定情報を復号する参照画像指定情報復号部と，

参照画像指定情報で指定される画像情報から予測画像を作成する予測画像作成部と，

現フレームの復号画像と予測画像との差分を復号する差分復号部と，差分情報と予測画像力復号画像を作成する復号画像作成部と，

現フレームの復号画像を，前記現カテゴリ復号部で得られるカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積部と

力なることを特徴とする画像復号装置。

[25] 複数フレームの画像情報から N個（N≥ 2)のカテゴリに分類される低域画像情報と高域画像情報を作成して，画像情報を符号化する画像符号化方法であって，現フレームについて参照可能なカテゴリの，参照画像メモリに蓄積された複数フレームの画像情報について，参照画像指定情報を設定する参照画像指定情報設定ステップと，

現フレームについて参照可能なカテゴリの，参照画像メモリに蓄積された複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成ステップと，

現フレームの画像情報と予測画像から高域画像情報を作成して符号化する差分符号化ステップと，

前記予測画像作成ステップで選択した画像情報を指定する参照画像指定情報を符号化する参照画像指定情報符号化ステップと，

高域画像情報と予測画像から低域画像情報を作成して参照画像メモリに蓄積するを有することを特徴とする画像符号化方法。

[26] 高域画像情報と低域画像情報から画像情報を復号する画像復号方法であって，現フレームのカテゴリ番号を復号する現カテゴリ復号ステップと，

現フレームについて参照可能なカテゴリに属する，参照画像メモリに蓄積されたフレームの画像情報にっレ、て，参照画像指定情報を設定する参照画像指定情報設定

参照画像指定情報で指定される低域画像情報から予測画像を作成する予測画像作成ステップと，

高域画像情報を復号する差分復号ステップと，

高域画像情報と予測画像から復号画像を作成する復号画像作成ステップと，現フレームの復号画像を，前記現カテゴリ復号ステップで得られるカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積；を有することを特徴とする画像復号方法。

[27] 複数フレームの画像情報力 N個（N≥ 2)のカテゴリに分類される低域画像情報と高域画像情報を作成して，画像情報を符号化する画像符号化装置であって，現フレームについて参照可能なカテゴリに属する，参照画像メモリに蓄積されたフレームの画像情報について，参照画像指定情報を設定する参照画像指定情報設定部と，

現フレームについて参照可能なカテゴリの，参照画像メモリに蓄積された複数フレームの画像情報から画像情報を選択し，予測画像を作成する予測画像作成部と，現フレームの画像情報と予測画像から高域画像情報を作成して符号化する差分符号化部と，

前記予測画像作成部で選択した画像情報を指定する参照画像指定情報を符号ィ匕する参照画像指定情報符号化部と，

高域画像情報と予測画像から低域画像情報を作成して参照画像メモリに蓄積する復号部と

からなることを特徴とする画像符号化装置。

[28] 高域画像情報と低域画像情報から画像情報を復号する画像復号装置であって，現フレームのカテゴリ番号を復号する現カテゴリ復号部と，

現フレームについて参照可能なカテゴリに属する，参照画像メモリに蓄積されたフレームの画像情報にっレ、て，参照画像指定情報を設定する参照画像指定情報設定部と，

参照画像指定情報で指定される低域画像情報から予測画像を作成する予測画像作成部と，

高域画像情報を復号する差分復号部と，

高域画像情報と予測画像から復号画像を作成する復号画像作成部と，現フレームの復号画像を，前記現カテゴリ復号部で得られるカテゴリ番号用の参照画像メモリに蓄積する復号画像蓄積部と，

を備えることを特徴とする画像復号装置。

[29] 請求項 1 , 19， 25もいずれかに記載の画像符号ィ匕方法をコンピュータに実行させるための画像符号化プログラム。

[30] 請求項 9、 21, 26のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。

[31] 請求項 1 , 19， 25のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録した記録媒体。

[32] 請求項 9, 21, 26のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録した記録媒体。