JP2012161020A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】動画像シーケンスを高圧縮率で符号化し、記録容量および伝送帯域を削減することができる画像処理装置の提供を図る。
【解決手段】入力画像における各フレームのサンプリング位置を制御してサブサンプリング画像を生成するサブサンプリング部１３と、前記各フレームのサンプリング位置の情報、および、符号化ストリームのＧＯＰ構造に基づいて、符号化対象フレームと同じサンプリング位置のフレームを当該符号化対象フレームの参照フレームとして優先的に割り当てる制御部１１と、前記符号化対象フレームのサブサンプリング画像、および、前記制御部により割り当てられた参照フレームに基づいてフレーム間予測により動画像圧縮処理を行い、前記符号化対象フレームを符号化するエンコーダ１４と、を含む。
【選択図】図７

Description

この出願で言及する実施例は、画像処理装置および画像処理方法に関する。

従来、Ｈ．２６４（H.264/MPEG-4 AVC(Advanced Video Coding)）などのフレーム間予測を使用した動画像符号化規格（画像圧縮手法）が利用されている。

すなわち、動画像シーケンスを記録する場合、例えば、Ｈ．２６４などのフレーム間予測を用いた動画像符号化規格により圧縮を行って、記憶容量を抑制することが一般的に行われている。

また、従来、連続して撮像した画素位置が互いに異なる複数枚の画像から、より高解像の画像を生成する手法も知られている。

具体的に、例えば、連続した画素位置が互いに異なる複数枚の画像を動画像として記録するとともに、これら画素位置が互いに異なる複数枚の画像を用いて、１枚の静止画像を生成する画像合成手段を持つ画像処理装置が提案されている。

特開２００１−１４５００９号公報 特開２００８−０８５６７４号公報

前述したように、従来、例えば、Ｈ．２６４などのフレーム間予測を用いた動画像符号化規格により圧縮を行い、記憶容量を抑制して動画像シーケンスを記録することが行われている。

しかしながら、例えば、画素位置が互いに異なる複数枚の画像を動画像シーケンスとして記録する場合、画素位置が固定の動画像シーケンスと比較して符号化効率が悪いという課題がある。その理由は、次の通りである。

まず、動画像の圧縮では、ブロック単位で参照画（参照フレーム）と現画像（現フレーム）の間の差分をとることにより、時間的冗長性を削減してデータの圧縮を行っている。

最も簡単な例として、表示順（入力順）と符号化順が同じＩＰＰＰ構造のシーケンスにおいて、参照画として現画像の直前の画像を使用し、カメラと被写体が完全に静止している画像のシーケンスを考える。

このとき、ノイズ等を除いた理想的環境であれば、固定の画素位置の動画像シーケンスの場合、動きベクトルが０（零）で参照画と現画像の間の差分が０となるため、高い圧縮率を実現することができる。

しかしながら、画素位置が異なる動画像シーケンスの場合、カメラや被写体が完全に静止していたとしても、参照画と現画像での画素位置が異なるため、必ずしも差分が０とはならない。また、物体のエッジ等の高周波部分での差分は大きくなるため、高圧縮率を実現することは難しい。

第１実施形態によれば、入力画像における各フレームのサンプリング位置を制御してサブサンプリング画像を生成するサブサンプリング部と、制御部と、エンコーダと、を含むことを特徴とする画像処理装置が提供される。

前記制御部は、前記各フレームのサンプリング位置の情報、および、符号化ストリームのＧＯＰ構造に基づいて、符号化対象フレームと同じサンプリング位置のフレームを当該符号化対象フレームの参照フレームとして優先的に割り当てる。

前記エンコーダは、前記符号化対象フレームのサブサンプリング画像、および、前記制御部により割り当てられた参照フレームに基づいてフレーム間予測により動画像圧縮処理を行い、前記符号化対象フレームを符号化する。

第２実施形態によれば、サブサンプリング画像を生成し、符号化対象フレームの参照フレームとして優先的に割り当て、並びに、フレーム間予測により動画像圧縮処理を行う、を含むことを特徴とする画像処理方法が提供される。

前記サブサンプリング画像を生成するのは、入力画像における各フレームのサンプリング位置を制御して行う。

前記符号化対象フレームの参照フレームとして優先的に割り当てるのは、前記各フレームのサンプリング位置の情報、および、符号化ストリームのＧＯＰ構造に基づいて、符号化対象フレームと同じサンプリング位置のフレームを割り当てる。

前記フレーム間予測により動画像圧縮処理を行うのは、前記符号化対象フレームのサブサンプリング画像、および、前記参照フレームに基づいて行う。

開示の画像処理装置および画像処理方法は、動画像シーケンスを高圧縮率で符号化し、記録容量および伝送帯域を削減することができるという効果を奏する。

画像処理方法の第１実施例を説明するための図である。 画像処理方法の第２実施例を説明するための図である。 画像処理方法の第３実施例を説明するための図である。 画像処理装置の一実施例が適用される画像処理システムの全体構成を概略的に示すブロック図である。 ４位相巡回によるサブサンプリング画像の生成を説明するための図である。 ４位相巡回によるサブサンプリング画像から補間画像の生成を説明するための図である。 動画像記録装置の動作を説明するための制御ブロック図である。 ＩＰＰＰ構造のシーケンスにおける入力画像管理テーブルおよび参照画像管理テーブルの例を示す図である。 ＩＰＰＰ構造のシーケンスにおける入力画像管理テーブルの情報生成処理を説明するためのフローチャートである。 ＩＰＢ構造のシーケンスの一例における入力画像管理テーブルおよび参照画像管理テーブルの例を示す図である。 ＩＰＢ構造のシーケンスの一例における入力画像管理テーブルの情報生成処理を説明するためのフローチャートである。 ＩＰＢ構造のシーケンスの他の例における入力画像管理テーブルの情報生成処理を説明するためのフローチャートである。 参照バッファの登録処理を説明するためのフローチャートである。 参照リストの生成処理を説明するためのフローチャートである。 画像処理装置の他の実施例が適用される画像処理システムの全体構成を概略的に示すブロック図である。 固定位相＋３位相巡回によるサブサンプリング画像の生成を説明するための図である。 固定位相＋３位相巡回によるサブサンプリング画像から補間画像の生成を説明するための図である。 画像処理方法の第４実施例を説明するための図である。 画像処理方法の第５実施例を説明するための図である。 画像処理方法の第６実施例を説明するための図である。 ＩＰＢ構造のシーケンスのさらに他の例における入力画像管理テーブルの情報生成処理を説明するためのフローチャートである。

以下、画像処理装置および画像処理方法の実施例を、添付図面を参照して詳述する。図１〜図３は、画像処理方法の第１〜第３実施例を説明するための図であり、４位相巡回の場合のＧＯＰ（Group Of Picture）構成および参照画像の割り当てを説明するためのものである。

ここで、４位相巡回とは、例えば、後に図５を参照して説明する４×４＝１６画素領域からＡ→Ｂ→Ｃ→Ｄ→Ａ→Ｂ→Ｃ→Ｄ→…のサンプリング位置が４つの位相で巡回する場合を意味する。

なお、この具体例としては、４ｋ２ｋ（3840×2160ピクセル）の高解像度画像からフルハイビジョン（フルＨＤ：1920×1080ピクセル：２ｋ１ｋ）の低解像度画像を巡回周期４（４位相）で抽出する場合が考えられる。

図１は、画像処理方法の第１実施例を説明するための図であり、前方予測のみを使用する符号化ストリーム構成の場合を示す。本第１実施例の画像処理方法において、サンプリング位置の巡回周期Ｆ（Ｆ＝４）に合わせて、符号化対象フレームのＦ枚（４つ）前のフレームを第１優先の前方参照フレームに割り当てるようになっている。

ここで、Ｉ０（Ｉフレーム）は、フレーム間予測を用いずに符号化されるフレーム（Intra-coded Frame）を示し、また、Ｐ１〜Ｐ１５（Ｐフレーム）は、前方向予測のみを用いて符号化されるフレーム（Predictive Frame）を示す。なお、これらＩフレームおよびＰフレームは、他の図でも同様の意味を示すものとして使用されている。

図１において、上部の領域Ｒ１１のＩ０→Ｐ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５→Ｐ６→…は、フレーム（ピクチャ）の入力順を示し、また、中間部の領域Ｒ１２のＩ０→Ｐ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５→Ｐ６→…は、フレームのエンコード処理順序（ＥＮＣ順）を示す。すなわち、本第１実施例の画像処理方法では、フレームの入力順とＥＮＣ順が等しくなっている。

また、図１において、下部の領域Ｒ１３のRefPicListL0 [0]〜RefPicListL0 [3]の４段のフレームは、それぞれのＥＮＣ順の各フレームに対する前方参照のフレームを優先度順に示している。

ここで、RefPicListL0 [0]は第１優先の前方参照フレーム、RefPicListL0 [2]は第２優先の前方参照フレーム、RefPicListL0 [2]は第３優先の前方参照フレーム、RefPicListL0 [3]は第４優先の前方参照フレームを示す。すなわち、前方参照フレームRefPicListL0 において、[0]が一番高い優先度であり、[1]→[2]→[3]と数が大きくなるに従って、優先度が低くなる。

図１に示されるように、本第１実施例の画像処理方法は、符号化対象フレーム（現フレーム）に対して、４つ前（１周期前）のフレームを第１優先の前方参照フレーム（RefPicListL0 [0]）として割り当てる。

具体的に、例えば、符号化対象フレームＰ４に対して、４つ前の同じ位相のフレームＩ０を第１優先の前方参照フレームに割り当て、また、符号化対象フレームＰ５に対して、４つ前の同じ位相のフレームＰ１を第１優先の前方参照フレームに割り当てる。

同様に、例えば、符号化対象フレームＰ６に対して、４つ前の同じ位相のフレームＰ２を第１優先の前方参照フレームに割り当て、また、符号化対象フレームＰ７に対して、４つ前の同じ位相のフレームＰ３を第１優先の前方参照フレームに割り当てる。

すなわち、図１に示す第１実施例の画像処理方法では、サンプリング位置が４位相で巡回するので、第１優先の前方参照フレーム（RefPicListL0 [0]）は、前方で同じ位相のフレームとされている。

なお、第２優先の前方参照フレーム（RefPicListL0 [1]）は、符号化対象フレームの１つ前のフレームとされ、また、第３優先の前方参照フレーム（RefPicListL0 [2]）は、符号化対象フレームの２つ前のフレームとされる。そして、第４優先の前方参照フレーム（RefPicListL0 [3]）は、符号化対象フレームの３つ前のフレームとされる。

具体的に、例えば、符号化対象フレームＰ４に対して、第２優先の前方参照フレームはフレームＰ３とされ、また、第３優先の前方参照フレームはフレームＰ２とされ、そして、第４優先の前方参照フレームはフレームＰ１とされる。

同様に、例えば、符号化対象フレームＰ７に対して、第２優先の前方参照フレームはフレームＰ６とされ、また、第３優先の前方参照フレームはフレームＰ５とさ、そして、第４優先の前方参照フレームはフレームＰ４とされる。

このように、本第１実施例の画像処理方法は、動画像圧縮処理時に、入力される画像のサンプリング位置制御と動画像符号化のＧＯＰ構成および符号化対象フレームの参照フレームの制御を連動させている。すなわち、符号化対象フレームと同じ位相のサンプリング位置のフレームを優先的に参照フレームとして割り当てるようになっている。

ここで、例えば、Ｈ．２６４の場合、優先度の具体的な割り当て手法としては、参照インデックスの若番から優先度の高い参照フレームとなるように参照リストを作成する。また、優先度の高い参照フレームが動きベクトル検出処理の結果、選択されやすいようにコストの重み付けを行う。

すなわち、動きベクトル検出処理において、例えば、現マクロブロックと参照マクロブロックの間のＳＡＤ（Sum of Absolute Difference：差分絶対値和）をコストに用いる手法を適用する。

さらに、判定コストとして、ＳＡＤ計算に基づくコストに参照フレーム単位で重み付けを行う。具体的に、判定コストは、例えば、［判定コスト］＝［ＳＡＤ計算に基づくコスト］＋［参照フレーム重み］とする。

ここで、優先度の高い参照フレームの参照フレーム重みを小さい値に設定すれば、優先度の高い参照フレームのベクトルが選ばれやすくなる。なお、この計算式は、以下の図２および図３に示す第２および第３実施例の画像処理方法に対しても適用される。

以上、詳述したように、本第１実施例の画像処理方法によれば、符号化対象フレームと参照フレームのサンプリング位置が一致しているので、静止領域において、現画像ブロックと参照画ブロックの差分が小さくなり、圧縮率を向上させることができる。

また、参照インデックスの０番（第１優先の参照フレーム）に同じサンプリング位置の参照フレームを割り当てることにより、圧縮率を向上させる効果がある。

ここで、時空間的に隣接するブロックから動きベクトルを予測し、ベクトル差分値や差分データを送らないスキップマクロブロックは、極めて圧縮効率が高いモードであるが、その参照画として使用されるのは、参照インデックスの０番と規定されている。

そのため、参照インデックスの０番に割り当てられた参照画（参照フレーム）が現画像（現フレーム）のサンプリング位置と同一でない場合、カメラおよび被写体が完全に静止していたとしても、現画像と参照画の間には、サンプリング位置の差だけずれがある。これにより、物体のエッジ等高周波部分での差分が発生し、差分データが０とならない。そのため、スキップは発生し難くなる。

本実施例の画像処理方法では、参照インデックスの０番に同じサンプリング位置の参照フレームを割り当てているため、スキップ用の参照画として同サンプリング位置の参照フレームが使用され、スキップが発生する可能性が高まる。

これは、本第１実施例の画像処理方法に限定されるものではなく、後述する第２および第３実施例に関しても同様である。

図２は、画像処理方法の第２実施例を説明するための図であり、Ｂフレームを使用する符号化ストリーム構成の場合を示す。すなわち、図２において、Ｂ０〜Ｂ３およびＢ８〜Ｂ１１（Ｂフレーム）は、前方向予測，後方向予測および双方向予測のうちいずれかを選択して符号化されるフレーム（Bi-predictive Frame）を示す。なお、このＢフレームは、他の図でも同様の意味を示すものとして使用される。

本第２実施例の画像処理方法において、サンプリング位置の巡回周期Ｆ（Ｆ＝４）のとき、入力順で連続するＦ枚（４つ）を１組とし、そのＦ枚の組を単位と考えて、ピクチャタイプ（Ｉ，Ｐ，Ｂ）を割り当ててＧＯＰ構成とする。すなわち、後に図１１を参照して説明する４枚単位のＢフレームのグループ数Ｌは、Ｌ＝１となる。

さらに、上記ＧＯＰ構成において、符号化対象フレームに対して入力順で直前の同じサンプリング位置のＩまたはＰフレームを第１優先の前方参照フレームとして割り当てる。さらに、入力順で直後の同じサンプリング位置のＩまたはＰフレームを第１優先の後方参照フレームとして割り当てる。

図２において、最上部の領域Ｒ２１のＢ０→Ｂ１→Ｂ２→Ｂ３→Ｉ４→Ｐ５→Ｐ６→…は、フレームの入力順を示し、また、上から２番目の領域Ｒ２２のＩ４→Ｐ５→Ｐ６→Ｐ７→Ｂ０→Ｂ１→Ｂ２→…は、フレームのＥＮＣ順を示す。

さらに、図２において、上から３番目の領域Ｒ２３のRefPicListL0 [0]〜RefPicListL0 [6]の７段のフレームは、それぞれのＥＮＣ順のフレームに対する前方参照のフレームを示す。なお、RefPicListL0 [0]は第１優先の前方参照フレーム、RefPicListL0 [1]は第２優先の前方参照フレーム、…、そして、RefPicListL0 [6]は第７優先の前方参照フレームを示す。

また、図２において、最下部の領域Ｒ２４のRefPicListL1 [0]〜RefPicListL1 [3]の４段のフレームは、それぞれのＥＮＣ順のフレームに対する後方参照のフレームを示す。

ここで、RefPicListL1 [0]は第１優先の後方参照フレーム、RefPicListL1 [1]は第２優先の後方参照フレーム、RefPicListL1 [2]は第３優先の後方参照フレーム、そして、RefPicListL1 [3]は第４優先の後方参照フレームを示す。すなわち、後方参照フレームRefPicListL1 において、[0]が一番高い優先度であり、[1]→[2]→[3]と数が大きくなるに従って、優先度が低くなる。

図２に示されるように、本第２実施例の画像処理方法は、符号化対象フレームに対して入力順で直前の同じサンプリング位置のＩまたはＰフレームを第１優先の前方参照フレームとして割り当てる。さらに、入力順で直後の同じサンプリング位置のＩまたはＰフレームを第１優先の後方参照フレームとして割り当てる。

具体的に、図２に示されるように、例えば、符号化対象フレームＢ８に対して、４つ前の同じ位相のフレームＩ４を第１優先の前方参照フレームに割り当て、また、４つ後の同じ位相のフレームＰ１２を第１優先の後方参照フレームに割り当てる。

さらに、符号化対象フレームＢ８に対して、直前のフレームＰ７を第２優先の前方参照フレームに割り当て、また、フレームＰ１２の直後のフレームＰ１３を第２優先の後方参照フレームに割り当てる。

また、例えば、符号化対象フレームＢ１１に対して、４つ前の同じ位相のフレームＰ７を第１優先の前方参照フレームに割り当て、また、４つ後の同じ位相のフレームＰ１５を第１優先の後方参照フレームに割り当てる。

さらに、符号化対象フレームＢ１１に対して、フレームＰ７の直前のフレームＰ６を第２優先の前方参照フレームに割り当て、また、直後のフレームＰ１２を第２優先の後方参照フレームに割り当てる。

また、例えば、符号化対象フレームＰ１２に対して、４つ前のフレームはＢフレーム（Ｂ８）なので、８つ前の同じ位相のフレームＩ４を第１優先の前方参照フレームに割り当てる。

さらに、符号化対象フレームＰ１２の前方で最初に位置するＩまたはＰフレームである５つ前のフレームＰ７を第２優先の前方参照フレームに割り当てる。また、６つ前のフレームＰ６を第３優先の前方参照フレームに割り当て、７つ前のフレームＰ５を第４優先の前方参照フレームに割り当てる。

そして、例えば、符号化対象フレームＰ１５に対して、４つ前のフレームはＢフレーム（Ｂ３）なので、８つ前の同じ位相のフレームＰ７を第１優先の前方参照フレームに割り当て、また、直前のフレームＰ１４を第２優先の前方参照フレームに割り当てる。

さらに、符号化対象フレームＰ１５に対して、２つ前のフレームＰ１３を第３優先の前方参照フレームに割り当て、３つ前のフレームＰ１２を第４優先の前方参照フレームに割り当てる。

また、符号化対象フレームＰ１５に対して、フレームＰ７の直前のフレームＰ６を第５優先の前方参照フレームに割り当て、２つ前のフレームＰ５を第６優先の前方参照フレームに割り当て、３つ前のフレームＩ４を第７優先の前方参照フレームに割り当てる。

このように、本第２実施例の画像処理方法では、符号化対象フレームに対して入力順で直前の同じサンプリング位置のＩまたはＰフレームを第１優先の前方参照フレームとして割り当てる。さらに、入力順で直後の同じサンプリング位置のＩまたはＰフレームを第１優先の後方参照フレームとして割り当てる。

本第２実施例の画像処理方法によれば、第１実施例のＩおよびＰフレームに加えて、Ｂフレームを使用することで、より一層圧縮率を向上させることができる。これは、後述する第３実施例の画像処理方法でも同様である。

図３は、画像処理方法の第３実施例を説明するための図であり、図２の第２実施例と同様に、Ｂフレームを使用するＧＯＰ構成の場合を示す。ただし、本第３実施例の画像処理方法において、サンプリング位置の巡回周期Ｆ（Ｆ＝４）のとき、Ｍ（ＦとＭは互いに素）枚毎にＩまたはＰフレームとなっている。具体的に、図３では、２枚のＢフレームを挟んでＩまたはＰフレームが位置するようになっている。すなわち、後に図１２を参照して説明するＩ／Ｐ間Ｂ枚数Ｌ’は、Ｌ’＝２となる。

本第３実施例の画像処理方法において、サンプリング位相とピクチャタイプ（ＩまたはＰ（Ｉ／Ｐ）とＢの区別）が１周するＦ×Ｍ枚を１単位とし、その倍数でＧＯＰを構成する。そのＧＯＰ構成において、符号化対象フレームに対して入力順で直前の同じサンプリング位置のＩまたはＰフレームを第１優先の前方参照フレームとして割り当てる。

さらに、本第３実施例の画像処理方法において、入力順で直後の同じサンプリング位置のＩまたはＰフレームを第１優先の後方参照フレームとして割り当てる。

なお、図３において、最上部の領域Ｒ３１のＢ０→Ｂ１→Ｉ２→Ｂ３→Ｂ４→Ｐ５→Ｂ６→…は、フレームの入力順を示し、また、上から２番目の領域Ｒ３２のＩ２→Ｐ５→Ｂ１→Ｐ８→Ｂ０→Ｂ４→Ｐ１１→…は、フレームのＥＮＣ順を示す。

また、図３において、上から３番目の領域Ｒ３３のRefPicListL0 [0]〜RefPicListL0 [4]の５段のフレームは、それぞれのＥＮＣ順のフレームに対する前方参照のフレームを示す。さらに、最下部の領域Ｒ３４のRefPicListL1 [0]〜RefPicListL1 [2]の３段のフレームは、それぞれのＥＮＣ順のフレームに対する後方参照のフレームを示す。

そして、図３に示されるように、本第３実施例の画像処理方法は、サンプリング位相とピクチャタイプ（Ｉ／ＰとＢの区別）が１周するＦ×Ｍ枚を１単位とし、その倍数でＧＯＰを構成する。

このＧＯＰ構成で、符号化対象フレームに対して入力順で直前の同じサンプリング位置のＩ／Ｐフレームを第１優先の前方参照フレームとして割り当て、入力順で直後の同じサンプリング位置のＩ／Ｐフレームを第１優先の後方参照フレームとして割り当てる。

具体的に、図３に示されるように、例えば、符号化対象フレームＢ１０に対して、４つ前のフレームはＢフレーム（Ｂ６）なので、８つ前の同じ位相のフレームＩ２を第１優先の前方参照フレームに割り当てる。

さらに、符号化対象フレームＢ１０に対して、直前のフレームはＢフレーム（Ｂ９）なので、２つ前のフレームＰ８を第２優先の前方参照フレームに割り当てる。そして、そのフレームＰ８よりも前のＩ／Ｐ（ＩまたはＰ）フレームである５つ前のフレームＰ５を第３優先の前方参照フレームに割り当てる。

また、符号化対象フレームＢ１０に対して、４つ後の同じ位相のフレームＰ１４を第１優先の後方参照フレームに割り当て、直後のフレームＰ１１を第２優先の後方参照フレームに割り当てる。

同様に、例えば、符号化対象フレームＢ１６に対して、４つ前のフレームはＢフレーム（Ｂ１２）なので、８つ前の同じ位相のフレームＰ８を第１優先の前方参照フレームに割り当てる。

さらに、符号化対象フレームＢ１６に対して、直前のフレームはＢフレーム（Ｂ１５）なので、２つ前のフレームＰ１４を第２優先の前方参照フレームに割り当てる。そして、そのフレームＰ１４よりも前のＩ／Ｐ（ＩまたはＰ）フレームである５つ前のフレームＰ１１を第３優先の前方参照フレームに割り当てる。

また、符号化対象フレームＢ１６に対して、４つ後の同じ位相のフレームＰ２０を第１優先の後方参照フレームに割り当て、直後のフレームＰ１７を第２優先の後方参照フレームに割り当てる。

そして、例えば、符号化対象フレームＰ２０に対して、４つ前のフレームはＢフレーム（Ｂ１６）であり、また、８つ前のフレームもＢフレーム（Ｂ１２）であるため、１２個前の同じ位相のフレームＰ８を第１優先の前方参照フレームに割り当てる。

さらに、符号化対象フレームＰ２０に対して、その前方で最初に位置するＩまたはＰフレームである３つ前のフレームＰ１７を第２優先の前方参照フレームに割り当て、さらに、６つ前のフレームＰ１４を第３優先の前方参照フレームに割り当てる。

このように、本第３実施例の画像処理方法では、サンプリング位相とピクチャタイプ（Ｉ／ＰとＢの区別）が１周するＦ×Ｍ枚を１単位とし、その倍数でＧＯＰを構成する。そして、そのＧＯＰ構成において、符号化対象フレームに対して入力順で直前の同じサンプリング位置（同じ位相）のＩまたはＰフレームを第１優先の前方参照フレームとして割り当てる。同様に、入力順で直後の同じサンプリング位置のＩまたはＰフレームを第１優先の後方参照フレームとして割り当てる。

本第３実施例の画像処理方法によれば、第２実施例と同様に、第１実施例のＩおよびＰフレームに加えて、Ｂフレームを使用することで、より一層圧縮率を向上させることができる。

このように、各実施例の画像処理方法によれば、画素位置が互いに異なる複数枚の画像から構成される動画像シーケンスを、例えば、Ｈ．２６４などフレーム間予測を用いた動画像符号化規格により圧縮する場合、その圧縮効率を向上させることが可能となる。

図４は、画像処理装置の一実施例が適用される画像処理システムの全体構成を概略的に示すブロック図である。図４において、参照符号１０は動画像記録装置、２０は動画像再生装置、そして、３０は記憶装置を示す。

動画像記録装置１０は、制御部１１，画像入力部１２，巡回サブサンプリング部１３，Ｈ．２６４エンコーダ１４およびメモリ１５を有する。画像入力部１２は、例えば、イメージセンサ等であり、画像データ（画像シーケンス）を巡回サブサンプリング部１３に供給する。

巡回サブサンプリング部１３は、画像入力部１２からの画像シーケンスを間引き処理し、後述するように、周期Ｆ（例えば、Ｆ＝４）でサンプリング位置を巡回させ、サブサンプリング画像を生成してメモリ１５に格納する。

Ｈ．２６４エンコーダ１４は、メモリ１５からサブサンプリング画像を読み出して、Ｈ．２６４（H.264/MPEG-4 AVC）規格に従って符号化し、その符号化されたデータを記憶装置３０に格納する。なお、上述の各処理は、例えば、ＣＰＵ（Central Processing Unit）である制御部１１により制御される。

動画像再生装置２０は、制御部２１，Ｈ．２６４デコーダ２２，合成部２３，表示部２４およびメモリ２５を有する。Ｈ．２６４デコーダ２２は、記憶装置３０からサブサンプリング画像を読み出し、Ｈ．２６４規格に従って復号化し、その復号化された画像データをメモリ２５に格納する。合成部２３は、メモリ２５から画像データを読み出し、補間画像を生成して表示部２４に表示する。

ここで、画像入力部１２から巡回サブサンプリング部１３に供給される画像および合成部２３により合成されて表示部２４に表示される画像は、例えば、４ｋ２ｋといった高解像度画像である。また、巡回サブサンプリング部１３により生成されたサブサンプリング画像および合成部２３に供給される画像は、例えば、フルＨＤといった低解像度画像である。なお、これらは単なる例であり、様々な場合があり得るのはいうまでもない。

また、動画像記録装置１０，動画像再生装置２０および記憶装置３０は、例えば、カムコーダのような１つの装置に設けられることもあるが、動画像記録装置１０，動画像再生装置２０および記憶装置３０を分離することもある。

具体的に、例えば、動画像記録装置１０が撮影カメラであり、その撮影カメラによる動画像が広域放送局の記憶装置３０に格納され、その広域放送を受信した各家庭に設けられた動画像再生装置２０により再生を行うといった場合も考えられる。

或いは、後に、図１５を参照して詳述するように、動画像記録装置１０および動画像再生装置２０を分離し、通信手段（送信機３１および受信機３２）を介して動画像記録装置１０からの画像を動画像再生装置２０で再生することもできる。

すなわち、図４の画像処理システムは、動画像記録装置１０，動画像再生装置２０および記憶装置３０は、それぞれ別の装置として構成されることもあるが、それらの幾つかまたは全てを一体化して１つの装置として構成されることもある。

図５は、４位相巡回によるサブサンプリング画像の生成を説明するための図であり、また、図６は、４位相巡回によるサブサンプリング画像から補間画像の生成を説明するための図である。ここで、図５は、図４の巡回サブサンプリング部１３における処理に相当し、また、図６は、図４の合成部２３における処理に相当する。

図５は、例えば、高解像度画像（例えば、４ｋ２ｋ）の入力画から、低解像度画像（例えば、フルＨＤ）のサブサンプリング画を生成する様子を示す。すなわち、図５は、例えば、４ｋ２ｋの各画素を注目点として、周辺の画素との演算（ＬＰＦフィルタ）によってリサンプリング画素を演算する際の位相Ａ，Ｂ，Ｃ，Ｄを示し、４ｋ２ｋのうちの４×４画素を抜粋して図示したものである。

ＬＰＦフィルタ（ＬＰＦ）は、中心画素に対して一定の大きさを持っており、例えば、３×３や５×５、或いは、偶数の場合もある。具体的に、例えば、図５に示すフレーム０の４×４画素領域における左上端の画素（Ａ）を考えると、この画素を中心としてその上下左右の周辺を含めた３×３や５×５の領域の画素データをＬＰＦに入力し、ＬＰＦにより間引いたサンプリング、すなわち、サブサンプリングが行われる。

すなわち、巡回サブサンプリング部１３は、画像入力部１２からの画像を間引いてサブサンプリング画像を生成し、そのサブサンプリング画像をメモリ１５に書き込む。ここで、図５に示されるように、巡回サブサンプリング部１３で行われる間引き処理は、例えば、縦１／２，横１／２の間引きとされ、１周期を４巡回（４位相：Ａ，Ｂ，Ｃ，Ｄ）で行うようになっている。

具体的に、４×４の１６画素に対して、最初のフレーム０では、４つの画素Ａを重心（中心）とし、また、次のフレーム１では、４つの画素Ｂを重心として、サブサンプリング画像を生成する。

さらに、４×４の１６画素に対して、フレーム２では、４つの画素Ｃを重心とし、また、次のフレーム３では、４つの画素Ｄを重心として、サブサンプリング画像を生成する。そして、さらに次のフレーム４では、再び４つの画素Ａを重心として、サブサンプリング画像を生成し、同様の処理を繰り返す。

ここで、巡回サブサンプリング部１３により間引きが行われて生成されたサブサンプリング画像（４位相巡回サブサンプリング画像）は、それぞれ入力画に比べて１／４の画像サイズとなる。

Ｈ．２６４エンコーダ１４は、メモリ１５からサブサンプリング画像を読み出し、Ｈ．２６４の符号化処理を行う。なお、Ｈ．２６４エンコーダ１４は、Ｈ．２６４の符号化処理中、適宜、メモリ１５に対するローカルデコード画像の書き込み、並びに、メモリ１５からの参照画像の読み出しを行う。そして、Ｈ．２６４エンコーダ１４により生成されたＨ．２６４ストリームは、記憶装置３０に書き込まれる。

動画像再生装置２０において、Ｈ．２６４デコーダ２２は、記憶装置３０からＨ．２６４ストリームを読み出し、Ｈ．２６４の復号処理を行う。なお、Ｈ．２６４デコーダ２２は、この復号処理中、適宜、メモリ２５からの参照画像の読み出し、並びに、メモリ２５に対するデコード画像の書き込みを行う。

ここで、メモリ２５に書き込まれたデコード画像は、元の入力画の１／４のサイズの画像であるため、合成部２３では、１／４サイズ画像から元画像サイズに補間拡大した表示画像を生成し、表示部２４で表示する。

この合成部２３で行われる補間拡大は、時間的に近接する画像を用いて行われる。すなわち、補間手法の一例を挙げると、領域単位で動き検出を行い、動きのない領域は、近接フレームの対応するサンプリング位置の画素を用いたフレーム間補間を行う。そして、動きのある領域は、自フレームの周辺画素からのフレーム内補間を行うといった手法がある。

図６に示されるように、具体的に、４つの画素Ｃによるサブサンプリング画像（サンプリング位相Ｃのフレーム２）の補間画像を生成する場合、最初のフレーム０から５番目のフレーム４までのサブサンプリング画像を用いる。

サンプリング位相Ｃについては、そのサブサンプリング画像の画素をそのまま使用し、他のサンプリング位相Ａ，ＢおよびＤは、補間により生成する。

その際、同じサンプリング位相Ａのフレーム０とフレーム４を用いて動き検出処理を行い、動きがない領域と判定された場合は、フレーム０，１および３の画像を用いて、サンプリング位相Ａ，ＢおよびＤの画素の補間を行う。

また、動きがあると判定された場合には、フレーム２のサンプリング位相Ｃの周辺画素からサンプリング位相Ａ，ＢおよびＤの画素の補間を行う。

本実施例のシステムでは、記録側で巡回位相画像シーケンスを圧縮し、再生側で補間処理を行って元画サイズ画像を生成するので、元画をそのまま圧縮するのに比べて少ないデータ量で記録が可能である。

図７は、動画像記録装置の動作を説明するための制御ブロック図である。図７に示されるように、巡回サブサンプリング部１３およびＨ．２６４エンコーダ１４は、制御部１１からの指示に従って、フレーム単位で所定の動作を行うようになっている。

すなわち、巡回サブサンプリング部１３は、制御部１１からのサンプリング位相指示に従って、入力画像から指定された位相の間引き処理を行い、サブサンプリング画像をメモリ１５に格納する。

Ｈ．２６４エンコーダ１４は、制御部１１から指示されたエンコード入力画像をメモリ１５から読み出し、指定されたピクチャタイプ(PicType)および参照リストに従ってエンコード処理を行う。

すなわち、エンコード処理順序（ＥＮＣ順：EncOrder）やピクチャタイプなどのストリームのＧＯＰ構成に関わる情報は、制御部１１から指示される構成となっている。そして、制御部１１は、これらの指示を行うために、入力画像管理テーブルおよび参照画像管理テーブルを使用するようになっている。

すなわち、制御部１１では、これら入力画像管理および参照画像管理テーブルをフレーム単位で処理し、適宜更新しながらＨ．２６４エンコーダ１４に対して指示を行う。

図８は、ＩＰＰＰ構造のシーケンスにおける入力画像管理テーブルおよび参照画像管理テーブルの例を示す図であり、前述した図１の場合に対応したものである。ここで、図８（ａ）は、ｉ＝３のフレーム入力時の入力画像管理テーブルを示し、また、図８（ｂ）は、ｉ＝４のフレームのエンコード時の参照画像管理テーブルを示す。

まず、図８（ａ）に示されるように、入力画像管理テーブルは、フレームＩＤのInFrame0, InFrame1, InFrame2, InFrame3に対して、サンプリング位相がＡ，Ｂ，Ｃ，Ｄとなっている場合（Ｆ＝４）を示す。また、フレームＩＤに対して、入力順(i)およびＥＮＣ順は、同様に、０，１，２，３となり、ピクチャタイプは、Ｉ，Ｐ，Ｐ，Ｐとなっている。

具体的に、図８（ａ）のテーブルは、図１のような入力順がＩ０→Ｐ１→Ｐ２→Ｐ３に対して、ＥＮＣ順もＩ０→Ｐ１→Ｐ２→Ｐ３となり、サンプリング位相がＡ→Ｂ→Ｃ→Ｄとなっている様子を示す。

次に、図８（ｂ）に示されるように、参照画像管理テーブルは、フレームＩＤのRefFrame0, RefFrame1, RefFrame2, RefFrame3に対して、サンプリング位相がＡ，Ｂ，Ｃ，Ｄで、入力順(PicNum(=i)が０，１，２，３となる場合を示す。ここで、フレームＩＤのRefFrame0, RefFrame1, RefFrame2, RefFrame3に対して、L0ListIdxは、０，３，２，１となる。

具体的に、図８（ｂ）のテーブルは、図１のフレームＰ４に対して、同じ位相のフレームＩ０が第１優先の前方参照フレームに割り当てられ、フレームＰ３，Ｐ２およびＰ１が、それぞれ第２，第３および第４優先の前方参照フレームに割り当てられる様子を示す。

ここで、図８（ｂ）の参照画像管理テーブルにおいて、L0ListIdxは、前方参照フレームの優先度を示し、また、L1ListIdxは、後方参照フレームの優先度を示す。なお、図８（ｂ）では、ピクチャタイプがＩおよびＰなので、L1ListIdxは設定されない（『−』）。また、優先度は、『０』が一番高く、『１』→『２』→『３』と数が増えるに従って低くなるのは、前述した通りである。

図９は、ＩＰＰＰ構造のシーケンスにおける入力画像管理テーブルの情報生成処理を説明するためのフローチャートであり、上述した図８（ａ）のような入力画像管理テーブルの情報を生成するための処理を一般化して示すものである。

すなわち、図９は、例えば、前述した図１に対応する入力画像管理テーブルの情報を生成するための処理を示し、ＧＯＰ単位における入力順(i)の画像（フレーム）に対するピクチャタイプ(PicType)、エンコード処理順序（EncOrder）の生成処理を示している。

図９に示されるように、入力画像管理テーブルの情報生成処理が開始すると、ステップＳＴ１１において、サンプリング巡回周期Ｆを取得してステップＳＴ１２に進み、ＧＯＰ構成を決定し、ＧＯＰ内のフレーム数Ｎを、Ｎ＝Ｆ＊ＫとしてステップＳＴ１３に進む。ここで、Ｋは、自然数（Ｋ＝１，２，３，…）であり、Ｎは、Ｆの倍数となる。

すなわち、サブサンプリングの巡回周期Ｆに応じたＧＯＰ構成を決定して、ステップＳＴ１３に進む。なお、図１は、Ｆ＝４，Ｋ＝４の場合であり、ＧＯＰ内フレーム数Ｎは、Ｎ＝Ｆ＊Ｋ＝４＊４＝１６（枚）となる。

ステップＳＴ１３では、ｉ＝０としてステップＳＴ１４に進み、ステップＳＴ１４で、ｉ==０かどうかを判定する。

ステップＳＴ１４において、ｉ==０であると判定すると、ステップＳＴ１５に進んで、ピクチャタイプ(PicType(i))をＩピクチャ（I-picture）としてステップＳＴ１７に進む。一方、ステップＳＴ１４において、ｉ==０ではないと判定すると、ステップＳＴ１６に進んで、ピクチャタイプをＰピクチャ（P-picture）としてステップＳＴ１７に進む。

ステップＳＴ１７では、ＥＮＣ順をｉとして(EncOrder(i)＝ｉ)、ステップＳＴ１８に進み、ｉに１を加算して（ｉ＝ｉ＋１）、ステップＳＴ１９に進む。

ステップＳＴ１９では、ｉ==Ｎ−１かどうかを判定し、ｉ==Ｎ−１ではないと判定すると、ステップＳＴ１４に戻って同様の処理を繰り返す。そして、ステップＳＴ１９において、ｉ==Ｎ−１である、すなわち、ＧＯＰ内のフレーム数Ｎまで処理を行った（ｉ＝０〜１５までの１６枚の処理が完了した）と判定すると、入力画像管理テーブルの情報生成処理を終了する。

これにより、図８（ａ）の入力画像管理テーブルや図１のフレーム配列に対応した情報を有する入力画像管理テーブルを生成することができ、この入力画像管理テーブルを使用することで、第１実施例の画像処理方法（画像圧縮方法）を実現することが可能となる。

以上において、サンプリング巡回周期Ｆは、４に限定されるものではなく、様々に変更することができるのはいうまでもない。

図１０は、ＩＰＢ構造のシーケンスの一例における入力画像管理テーブルおよび参照画像管理テーブルの例を示す図であり、前述した図２の場合に対応したものである。ここで、図１０（ａ）は、ｉ＝１５のフレーム入力時の入力画像管理テーブルを示し、また、図１０（ｂ）は、ｉ＝８のフレームのエンコード時の参照画像管理テーブルを示す。

まず、図１０（ａ）に示されるように、入力画像管理テーブルは、フレームＩＤのInFrame0, InFrame1, InFrame2, InFrame3, …, InFrame6, InFrame7に対して、サンプリング位相がＡ，Ｂ，Ｃ，Ｄ，…，Ｃ，Ｄとなっている場合（Ｆ＝４）を示す。

さらに、入力画像管理テーブルは、入力順(i)が８，９，１０，１１，１２，１３，１４，１５に対して、ＥＮＣ順が１２，１３，１４，１５，８，９，１０，１１となり、ピクチャタイプがＢ，Ｂ，Ｂ，Ｂ，Ｐ，Ｐ，Ｐ，Ｐとなっている場合を示す。

具体的に、図１０（ａ）のテーブルは、図２のような入力順がＢ８→Ｂ９→Ｂ１０→Ｂ１１→Ｐ１２→Ｐ１３→Ｐ１４→Ｐ１５に対して、ＥＮＣ順がＰ１２→Ｐ１３→Ｐ１４→Ｐ１５→Ｂ８→Ｂ９→Ｂ１０→Ｂ１１となっている様子を示す。なお、サンプリング位相は、Ａ→Ｂ→Ｃ→Ｄ→Ａ→Ｂ→Ｃ→Ｄとなっている。

次に、図１０（ｂ）に示されるように、参照画像管理テーブルは、フレームＩＤのRefFrame0, RefFrame1, RefFrame2, RefFrame3, RefFrame4, RefFrame5, RefFrame6, RefFrame7に対して、サンプリング位相がＡ，Ｂ，Ｃ，Ｄ，Ａ，Ｂ，Ｃ，Ｄとなる場合を示す。

なお、入力順は４，５，６，７，１２，１３，１４，１５となり、L0ListIdxは０，３，２，１，−，−，−，−となり、L1ListIdxは−，−，−，−，０，１，２，３となっている。

具体的に、図１０（ｂ）のテーブルは、図２のフレームＢ８に対して、同じ位相のフレームＩ４が第１優先の前方参照フレームに、また、フレームＰ７，Ｐ６およびＰ５が、それぞれ第２，第３および第４優先の前方参照フレームに割り当てられる様子を示す。

また、図１０（ｂ）のテーブルは、図２のフレームＢ８に対して、同じ位相のフレームＰ１２が第１優先の後方参照フレームに、また、フレームＰ１３，Ｐ１４およびＰ１５が、それぞれ第２，第３および第４優先の後方参照フレームに割り当てられる様子を示す。

図１１は、ＩＰＢ構造のシーケンスの一例における入力画像管理テーブルの情報生成処理を説明するためのフローチャートであり、上述した図１０（ａ）のような入力画像管理テーブルの情報を生成するための処理を一般化して示すものである。

すなわち、図１１は、例えば、前述した図２に対応する入力画像管理テーブルの情報を生成するための処理を示し、ＧＯＰ単位における入力順(i)の画像に対するピクチャタイプ(PicType)、エンコード処理順序（EncOrder）の生成処理を示している。

図１１に示されるように、入力画像管理テーブルの情報生成処理が開始すると、ステップＳＴ２１において、サンプリング巡回周期Ｆを取得して、ステップＳＴ２２に進む。

ステップＳＴ２２では、ＧＯＰ構成を決定し、Ｉ／Ｐ間Ｂグループ数（ＩまたはＰフレームの間のＢフレームのグルール数）Ｌを設定し、ＧＯＰ内のフレーム数Ｎを、Ｎ＝（Ｌ＋１）＊Ｆ＊ＫとしてステップＳＴ２３に進む。ここで、Ｋは、自然数（Ｋ＝１，２，３，…）であり、Ｎは、（Ｌ＋１）＊Ｆの倍数となる。

なお、図２は、Ｆ＝４，Ｌ＝１，Ｋ＝２の場合であり、ＧＯＰ内フレーム数Ｎは、Ｎ＝（Ｌ＋１）＊Ｆ＊Ｋ＝２＊４＊２＝１６（枚）となる。すなわち、図２は、Ｉ／Ｐ間Ｂグループ数Ｌは、４枚単位のＢフレームの１つのグループにより処理する場合を示し、Ｌ＝１になっている。

ステップＳＴ２３では、ｉ＝０としてステップＳＴ２４に進み、ステップＳＴ２４で、ｉ％（Ｆ＊（Ｌ＋１））＜Ｆ＊Ｌが成立するかどうかを判定する。ここで、図２の場合、Ｆ＊（Ｌ＋１）およびＦ＊Ｌは、Ｆ＝４，Ｌ＝１なので、Ｆ＊（Ｌ＋１）＝８、また、Ｆ＊Ｌ＝４となる。

すなわち、ステップＳＴ２４において、ｉを８で割り、余りが４よりも小さければ、ステップＳＴ２６に進み、それ以外は、ステップＳＴ２５に進む。従って、図２の場合、ｉが０〜３および８〜１１のとき、余りが０〜３になるので、ｉ％８＜４と判定され、ステップＳＴ２６に進む。

ステップＳＴ２６では、ピクチャタイプ(PicType(i))をＢピクチャ（B-picture）とし、さらに、ＥＮＣ順を、ｉに４を加算した順番とし、そして、ステップＳＴ３０に進む。従って、図２に示されるように、入力順が１〜４番目（ｉ＝０〜３）および９〜１２番目（ｉ＝８〜１１）の画像がＢフレームとなり、ＥＮＣ順は、入力順に４加算された順番となる。

一方、ステップＳＴ２４において、ｉ％８＜４ではないと判定すると、ステップＳＴ２５に進んで、ｉ＝Ｆ＊Ｌかどうかを判定する。

ステップＳＴ２５において、ｉ＝Ｆ＊Ｌ＝４であると判定するとステップＳＴ２７に進んで、ピクチャタイプ(PicType(i))をＩピクチャ（I-picture）とし、さらに、ステップＳＴ２９に進む。従って、図２に示されるように、入力順が５番目の画像（５枚目の入力フレーム：ｉ＝４）だけがＩフレームとなる。

逆に、ステップＳＴ２５において、ｉ＝Ｆ＊Ｌではないと判定すると、ステップＳＴ２８に進んで、ピクチャタイプ(PicType(i))をＰピクチャ（P-picture）とし、さらに、ステップＳＴ２９に進む。従って、図２に示されるように、入力順が６〜８番目（ｉ＝５〜７）および１３〜１６番目（ｉ＝１２〜１５）の画像がＰフレームとなる。

そして、ステップＳＴ２９において、エンコード処理順序（EncOrder(i)：ＥＮＣ順）を、EncOrder(i)＝ｉ−Ｆ＊Ｌ＝ｉ−４としてステップＳＴ３０に進む。すなわち、ＩフレームおよびＰフレームのＥＮＣ順は、入力順から４だけ減算した順番となる。

ステップＳＴ３０では、ｉに１を加算して（ｉ＝ｉ＋１）、ステップＳＴ３１に進み、ｉ==Ｎ−１かどうかを判定し、ｉ==Ｎ−１ではないと判定すると、ステップＳＴ２４に戻って同様の処理を繰り返す。そして、ステップＳＴ３１において、ｉ==Ｎ−１である、すなわち、ＧＯＰ内のフレーム数Ｎまで処理を行った（ｉ＝０〜１５までの１６枚の処理が完了した）と判定すると、入力画像管理テーブルの情報生成処理を終了する。

これにより、図１０（ａ）の入力画像管理テーブルや図２のフレーム配列に対応した情報を有する入力画像管理テーブルを生成することができ、この入力画像管理テーブルを使用することで、第２実施例の画像処理方法を実現することが可能となる。

図１２は、ＩＰＢ構造のシーケンスの他の例における入力画像管理テーブルの情報生成処理を説明するためのフローチャートであり、例えば、前述した図３に対応する入力画像管理テーブルの情報を生成するための処理を示す。

図１２に示されるように、入力画像管理テーブルの情報生成処理が開始すると、ステップＳＴ４１において、サンプリング巡回周期Ｆ（＝４）を取得して、ステップＳＴ４２に進む。

ステップＳＴ４２では、ＧＯＰ構成を決定し、Ｉ／Ｐ間Ｂ枚数（ＩまたはＰフレームの間のＢフレームの枚数）Ｌ’（＝２）を設定し、ＧＯＰ内のフレーム数Ｎを、Ｎ＝ＬＭＣ（Ｌ’＋１，Ｆ）＊ＫとしてステップＳＴ４３に進む。

なお、図３は、Ｆ＝４，Ｌ’＝２，Ｋ＝２の場合であり、ＬＭＣ（Ｌ’＋１，Ｆ）、すなわち、３と４の最小公倍数（ＬＭＣ）は１２となり、Ｎ＝ＬＭＣ（Ｌ’＋１，Ｆ）＊Ｋ＝ＬＭＣ（３，４）＊２＝１２＊２＝２４（枚）となる。すなわち、図３では、Ｉ／Ｐ間Ｂ枚数Ｌ’＝２とされ、これにより、以下に述べるように、Ｆ＝４（４位相巡回）のときに２枚単位のＢフレームのグループにより処理するようになっている。

ステップＳＴ４３では、ｉ＝０としてステップＳＴ４４に進み、ステップＳＴ４４で、ｉ％（Ｌ’＋１）＝Ｌ’が成立するかどうかを判定する。ここで、図３の場合、ｉ％（Ｌ’＋１）＝Ｌ’は、Ｌ’＝２なので、ステップＳＴ４４では、ｉ％３＝２かどうかを判定する。

ステップＳＴ４４において、ｉを３で割り、余りが２であると判定すれば、ステップＳＴ４５に進み、それ以外は、ステップＳＴ４６に進む。ステップＳＴ４５では、ｉ==Ｌ’かどうかを判定し、ｉ==Ｌ’であると判定すれば、ステップＳＴ４７に進む。

従って、図３に示されるように、ｉ＝２のとき、ステップＳＴ４７に進んで、ピクチャタイプ(PicType(i))をＩピクチャ（I-picture）とし、さらに、ステップＳＴ５０に進んで、ＥＮＣ順を０とし、そして、ステップＳＴ５６に進む。

ステップＳＴ４５において、ｉ==Ｌ’ではない、すなわち、ｉが２ではないと判定すると、ステップＳＴ４８に進んで、ピクチャタイプ(PicType(i))をＰピクチャ（P-picture）とし、さらに、ステップＳＴ４９に進む。

ステップＳＴ４９では、ｉ==２Ｌ’＋１かどうかを判定し、ｉ==２Ｌ’＋１である、すなわち、ｉが５であると判定すると、ステップＳＴ５１に進んで、ＥＮＣ順を１とし、そして、ステップＳＴ５６に進む。

ステップＳＴ４９において、ｉ==２Ｌ’＋１ではない、すなわち、ｉが５ではないと判定すると、ステップＳＴ５２に進んで、ＥＮＣ順(EncOrder(i))を、次の式（１）により求め、そして、ステップＳＴ５６に進む。

従って、ステップＳＴ５２の処理により、図３に示されるように、入力順が９，１２，１５，１８，２１および２４番目のＰフレーム（Ｐ８，Ｐ１１，Ｐ１４，Ｐ１７，Ｐ２０およびＰ２３）のＥＮＣ順は、それぞれ５だけ減算されることになる。

一方、ステップＳＴ４４において、ｉ％３＝２ではないと判定すると、ステップＳＴ４６に進み、ピクチャタイプ(PicType(i))をＢピクチャ（B-picture）とし、さらに、ステップＳＴ５３に進んで、最初のＢピクチャ（フレーム）かどうかを判定する。すなわち、入力順が、２枚単位のＢフレームのグループにおける最初（１枚目）のフレームであると判定すると、ステップＳＴ５４に進み、最初のフレームではない（２枚目のフレームである）と判定すると、ステップＳＴ５５に進む。

そして、ステップＳＴ５４では、次の式（２）によりＥＮＣ順を求め、また、ステップＳＴ５５では、次の式（３）によりＥＮＣ順を求め、そして、ステップＳＴ５６に進む。

従って、ステップＳＴ５４の処理により、例えば、図３における入力順が４，１０，１６，…のＢフレーム（Ｐ３，Ｂ９，Ｂ１５，…）のＥＮＣ順は、それぞれ４だけ加算されることになる。また、ステップＳＴ５５の処理により、例えば、図３における入力順が５，１１，１７，…のＢフレーム（Ｐ４，Ｂ１１，Ｂ１６，…）のＥＮＣ順は、それぞれ１だけ加算されることになる。

そして、ステップＳＴ５６では、ｉに１を加算して（ｉ＝ｉ＋１）、ステップＳＴ５７に進み、ｉ==Ｎ−１かどうかを判定し、ｉ==Ｎ−１ではないと判定すると、ステップＳＴ４４に戻って同様の処理を繰り返す。そして、ステップＳＴ５７において、ｉ==Ｎ−１である、すなわち、ＧＯＰ内のフレーム数Ｎまで処理を行った（ｉ＝０〜２３までの２４枚の処理が完了した）と判定すると、入力画像管理テーブルの情報生成処理を終了する。

これにより、図３のフレーム配列に対応した情報を有する入力画像管理テーブルを生成することができ、この入力画像管理テーブルを使用することで、第３実施例の画像処理方法を実現することが可能となる。

図１３は、参照バッファの登録処理を説明するためのフローチャートであり、例えば、図８（ｂ）および図１０（ｂ）における RefFrame0〜RefFrame3 および RefFrame0〜RefFrame7の参照バッファへの登録処理に関するものである。

なお、図１３は、Ｉピクチャ（フレーム）およびＰピクチャを参照画とし、また、Ｂピクチャを非参照画とし、そして、ＧＯＰ単位で参照画の依存関係をクリアするクローズドＧＯＰ（Closed GOP）の構成として説明する。

図１３に示されるように、参照バッファへの登録処理が開始すると、まず、ステップＳＴ６１において、ＧＯＰの先頭かどうかを判定する。

ステップＳＴ６１で、ＧＯＰの先頭であると判定すると、ステップＳＴ６２に進んで、参照バッファをクリアしてステップＳＴ６３に進み、また、ステップＳＴ６１で、ＧＯＰの先頭ではないと判定すると、そのままステップＳＴ６３に進む。

ステップＳＴ６３において、Ｂピクチャかどうかを判定し、Ｂピクチャであると判定すると、Ｂピクチャは非参照なので、参照バッファへの登録処理を終了する。また、ステップＳＴ６３において、Ｂピクチャではない、すなわち、ＩまたはＰ（Ｉ／Ｐ）ピクチャであると判定すると、ステップＳＴ６４に進んで、現フレーム（ＩまたはＰピクチャ）を参照バッファへ登録して、ステップＳＴ６５に進む。

ステップＳＴ６５では、参照バッファ枚数が閾値よりも大きいかどうかを判定し、参照バッファ枚数が閾値よりも大きい（参照バッファ＞閾値）と判定すると、ステップＳＴ６６に進み、また、そうでなければ、参照バッファへの登録処理を終了する。

ステップＳＴ６６では、最も過去のフレーム、すなわち、入力順(PicNum)が最も小さいフレームを参照バッファから削除して、参照バッファへの登録処理を終了する。すなわち、登録の際、参照バッファ枚数が規定の枚数を越えた場合には、入力順で最も過去のフレームを参照リストから削除する。

なお、参照バッファの規定枚数は、例えば、前述した図１では４枚、図２では、８枚、そして、図３では５枚となっている。また、図１３を参照して説明した参照バッファへの登録処理は、フレーム符号化処理の終了時に行われ、各フレーム（ピクチャ）に対して行われる。

図１４は、参照リストの生成処理を説明するためのフローチャートである。この図１４を参照して説明する参照リストの生成処理は、フレーム符号化処理の開始時に行われる。

図１４に示されるように、参照リストの生成処理が開始すると、ステップＳＴ７１において、Ｉピクチャがどうかを判定し、Ｉピクチャであると判定すると参照リストの生成処理を終了し、そうでなければ、ステップＳＴ７２に進む。すなわち、Ｉピクチャの場合は、参照リストは不要なので、そのまま参照リストの生成処理を終了する。

ステップＳＴ７２では、Ｐピクチャかどうかを判定し、Ｐピクチャであると判定すると、ステップＳＴ７３に進んで、参照フレームをL0ListIndexの若番からPicNum降順に並べ替えて、ステップＳＴ７４に進む。

具体的に、ステップＳＴ７３では、例えば、図２のＥＮＣ順が９番目のフレームＰ１２に対して、L0ListIndexの最も若番である前方参照画の優先順位のＩｄｘが０(RefPicList0[0])から４(RefPicList0[4])に対して、入力順(PicNum)の降順に並べる。すなわち、RefPicList0[0]にＰ７，RefPicList0[1]にＰ６，RefPicList0[2]にＰ５，RefPicList0[3]にＩ４としてリストを生成する。

さらに、ステップＳＴ７４において、現フレームと同位相の参照フレームの中で、最上位のフレームのL0Listの先頭（Ｉｄｘ＝０）に昇格して、参照リストの生成処理を終了する。すなわち、ステップＳＴ７４では、生成されたリストを、符号化処理対象フレームのサンプリング位相と同じ位相で最上位にある（Ｉｄｘが若い）フレームを、最優先に昇格させるリスト修正を行う。

具体的に、ステップＳＴ７４では、例えば、図２のＥＮＣ順が９番目のフレームＰ１２に対して、RefPicList0[3]のＩ４がＰ１２（現フレーム）と同位相なので、Ｉｄｘ＝０に昇格する。すなわち、Ｉ４を第１優先の前方参照フレームRefPicList0[0]に昇格させ、それに伴って、Ｐ７〜Ｐ５を降格させる。これにより、RefPicList0[0]にＩ４，RefPicList0[1]にＰ７，RefPicList0[2]にＰ６，RefPicList0[3]にＰ５となるリストが生成される。

すなわち、最優先の参照フレームは、参照バッファに同位相フレームがない場合を除き、現処理対象フレームと同位相となり、以降は、現処理対象フレームに時間的に近い順から優先されるリストとなる。

ステップＳＴ７２において、Ｐピクチャではない、すなわち、Ｂピクチャであると判定すると、ステップＳＴ７５に進み、参照バッファから現フレームよりも表示順（入力順）で前（PicNumが小さい）参照フレームをL0List用に抽出して、ステップＳＴ７６に進む。

ここで、Ｂピクチャの場合は、前方参照フレーム(L0List)および後方参照フレーム(L1List)の両方を生成することになる。なお、L0Listは、前方参照画の優先順位を規定し、また、L1Listは、後方参照画の優先順位を規定する。

ステップＳＴ７６では、参照フレームをL0ListIndexの若番からPicNumの降順に並べ替えて、ステップＳＴ７７に進む。すなわち、L0Listの生成は、処理対象フレームよりも、PicNumが小さい（過去の）フレームを抽出し、抽出された参照フレームをＩｄｘの若番から、PicNumの大きい方から小さい方に向かう降順にリストを生成する。

ステップＳＴ７７では、現フレームと同位相の参照フレームの中で、最上位のフレームのL0Listの先頭（Ｉｄｘ＝０）に昇格するリスト修正を行って、ステップＳＴ７８に進む。ここで、ステップＳＴ７６およびＳＴ７７は、前述したＰピクチャに対するステップＳＴ７３およびＳＴ７４の処理と同様のものである。

ステップＳＴ７８では、参照バッファから現フレームよりも表示順（入力順）で後（PicNumが大きい）参照フレームをL1List用に抽出して、ステップＳＴ７９に進む。ステップＳＴ７９では、参照フレームをL1ListIndexの若番からPicNumの昇順に並べ替えて、ステップＳＴ８０に進む。

すなわち、L1Listの生成は、処理対象フレームよりも、PicNumが大きい（未来の）フレームを抽出し、抽出された参照フレームをＩｄｘの若番から、PicNumの小さい方から大きい方に向かう昇順にリストを生成する。

具体的に、ステップＳＴ７８では、例えば、図２のＥＮＣ順が１５番目のフレームＢ１０に対して、L1ListIndexの最も若番である後方参照画の優先順位のＩｄｘが０(RefPicList1[0])から４(RefPicList1[4])に対して、入力順(PicNum)の昇順に並べる。すなわち、RefPicList1[0]にＰ１２，RefPicList1[1]にＰ１３，RefPicList1[2]にＰ１４，RefPicList1[3]にＰ１５としてリストを生成する。

ステップＳＴ８０では、現フレームと同位相の参照フレームの中で、最上位のフレームのL1Listの先頭（Ｉｄｘ＝０）に昇格するリスト修正を行って、参照リストの生成処理を終了する。

具体的に、ステップＳＴ８０では、例えば、図２のＥＮＣ順が１５番目のフレームＢ１０に対して、RefPicList1[2]にＰ１４がＢ１０（現フレーム）と同位相なので、Ｉｄｘ＝０に昇格する。すなわち、Ｐ１４を第１優先の後方参照フレームRefPicList1[0]に昇格させ、それに伴って、Ｐ１２，Ｐ１３を降格させる。これにより、RefPicList1[0]にＰ１４，RefPicList1[1]にＰ１２，RefPicList1[2]にＰ１４，RefPicList1[3]にＰ１５となるリストが生成される。

以上により、L0ListおよびL1Listともに最優先の参照フレームは、参照バッファに同位相フレームがない場合を除き、現処理対象フレームと同位相となり、以降は、現処理対象フレームに時間的に近い順から優先されるリストとなる。

図１５は、画像処理装置の他の実施例が適用される画像処理システムの全体構成を概略的に示すブロック図である。図１５において、参照符号１０は動画像記録装置、２０は動画像再生装置、３１は送信機、そして、３２は受信機を示す。

動画像記録装置１０は、制御部１１，画像入力部１２，サブサンプリング回路１３０，Ｈ．２６４エンコード回路１４０およびメモリ１５を有する。サブサンプリング回路１３０は、固定サブサンプリング部１３１および巡回サブサンプリング部１３２を有し、また、Ｈ．２６４エンコード回路１４０は、第１エンコーダ１４１，第２エンコーダ１４２およびマルチプレクサ１４３を有する。

画像入力部１２は、例えば、イメージセンサ等であり、画像データ（画像シーケンス）をサブサンプリング回路１３０における固定サブサンプリング部１３１および巡回サブサンプリング部に供給する。

固定サブサンプリング部１３１は、画像入力部１２からの画像シーケンスを処理し、図１６を参照して後述するように、固定されたサンプリング位置により間引き処理した固定サブサンプリング画像を生成してメモリ１５に格納する。

巡回サブサンプリング部１３２は、画像入力部１２からの画像シーケンスを処理し、図１６を参照して後述するように、周期Ｆでサンプリング位置を巡回させて間引き処理し、サブサンプリング画像を生成してメモリ１５に格納する。

Ｈ．２６４エンコード回路１４０の第１エンコーダ１４１および第２エンコーダ１４２は、それぞれメモリ１５からサブサンプリング画像を読み出して、Ｈ．２６４規格に従って符号化し、その符号化されたデータをマルチプレクサ１４３に供給する。なお、上述の各処理は、例えば、ＣＰＵである制御部１１により制御される。

動画像再生装置２０は、制御部２１，Ｈ．２６４デコード回路２２０，合成部２３０，表示部２４，メモリ２５および表示選択部２６を有する。Ｈ．２６４デコード回路２２０は、動画像記録装置１０からのデータを送信機３１および受信機３２を介して受け取るデマルチプレクサ２２３、並びに、第１デコーダ２２１および第２デコーダ２２２を有する。

Ｈ．２６４デコード回路２２０の第１デコーダ２２１および第２デコーダ２２２は、マルチプレクサ２２３からサブサンプリング画像を受け取って、Ｈ．２６４規格に従って復号化し、その復号化された画像データをメモリ２５に格納する。合成部２３０は、メモリ２５から画像データを読み出し、補間画像を生成して表示選択部２６に供給する。

表示選択部２６は、メモリ２５から読み出した画像データまたは合成部２３０からの画像データを選択し、その選択された画像データを表示部２４に表示する。ここで、メモリ２５から表示選択部２６に直接供給される画像データは、例えば、フルＨＤといった低解像度画像であり、また、合成部２３０から表示選択部２６に供給される画像データは、例えば、４ｋ２ｋといった高解像度画像である。

さらに、画像入力部１２からサブサンプリング回路１３０に供給される画像は、例えば、４ｋ２ｋといった高解像度画像である。また、固定サブサンプリング部１３１および巡回サブサンプリング部１３２により生成されたサブサンプリング画像、並びに、送信機３１から受信機３２に伝送される画像は、例えば、フルＨＤといった低解像度画像である。なお、これらは単なる例であり、様々な場合があり得るのはいうまでもない。

また、図１５では、動画像記録装置１０からのデータは、送信機３１および受信機３２を介して動画像再生装置２０に供給されているが、この送信機３１および受信機３２は、例えば、前述した図４のように、記憶装置に置き換えることもできる。

図１６は、固定位相＋３位相巡回によるサブサンプリング画像の生成を説明するための図である。ここで、図１６では、図１５を参照して説明したように、固定サブサンプリング部１３１および巡回サブサンプリング部１３２により、固定位相のサブサンプリングと巡回位相のサブサンプリングの２つのサブサンプリング画像が生成される。

具体的に、図１６に示されるように、例えば、縦１／２，横１／２の間引きとすると、固定位相のサブサンプリングは、１位相（Ａ）により行われ、また、巡回位相のサブサンプリングは、１周期を３巡回（３位相：Ｂ，Ｃ，Ｄ）により行われる。なお、間引き後の画像サイズは、入力画像に比べて、１／４の画像サイズとなる。

具体的に、まず、固定サブサンプリング部１３１による固定位相のサブサンプリングは、例えば、４×４の１６画素の入力画に対して、全てのフレーム０〜７に対して、同じ位相の４つの画素Ａを間引いて取り込む。これにより、１位相巡回サンプリング画を得ることができる。

また、巡回サブサンプリング部１３２による巡回位相のサブサンプリングは、４×４の１６画素の入力画に対して、最初のフレーム０で４つの画素Ｂを間引いて取り込み、また、次のフレーム１で４つの画素Ｃを間引いて取り込む。

さらに、その次のフレーム２で４つの画素Ｄを間引いて取り込み、そして、フレーム２で４つの画素Ｃを間引いて取り込む。その後、さらに次のフレーム３で最初のフレーム０と同じ位相の４つの画素Ｂを間引いて取り込み、同様の処理を繰り返す。このようにして、３位相巡回サンプリング画を得ることができる。

ところで、前述した図１５のＨ．２６４エンコード回路１４０は、メモリ１５に書き込まれた２つのサンプリング画像シーケンスを読み出し、それぞれ第１エンコーダ１４１および第２エンコーダ１４２に供給してＨ．２６４の符号化処理を行う。

ここで、符号化処理中、Ｈ．２６４エンコード回路１４０は、適宜、メモリ１５に対してローカルデコード画像の書き込みや参照画像の読み出しを行い、生成された２つのＨ．２６４ストリームは、マルチプレクス１４３で多重化され、送信機３１へ送られる。

なお、図１５に示す例では、Ｈ．２６４エンコード回路１４０が２つのエンコーダ１４１，１４２を有しているが、例えば、１つのエンコーダにより時分割処理を行ってもよい。また、ストリーム構成として、元々２つのＨ．２６４ストリームとして扱うのではなく、例えば、ＭＶＣ（Multi View Coding）を用いて、１つのストリームとして生成することもできる。

このようにして生成されたストリームは、前述したように、送信機３１および受信機３２を経由して、動画像再生装置２０へ入力される。動画像再生装置２０に入力されたＨ．２６４ストリームは、Ｈ．２６４デコード回路２２０によりＨ．２６４の復号処理が行われる。

図１７は、固定位相＋３位相巡回によるサブサンプリング画像から補間画像の生成を説明するための図である。ここで、図１７では、合成部２３０により固定位相サブサンプリング画および３位相巡回サブサンプリング画から補間画像が生成される。

Ｈ．２６４デコード回路２２０において、入力されたＨ．２６４ストリームは、デマルチプレクサ２２３により固定位相サブサンプリング画像シーケンスおよび巡回位相サブサンプリング画像シーケンスのストリームにデマルチプレクス（分配）される。

そして、固定位相サブサンプリング画像シーケンス（固定位相サブサンプリング画）のストリームは、例えば、第１デコーダ２２１に入力されてＨ．２６４の復号処理が行われる。同様に、巡回位相サブサンプリング画像シーケンス（３位相巡回サブサンプリング画）のストリームは、例えば、第２デコーダ２２２に入力されてＨ．２６４の復号処理が行われる。

ここで、復号化処理中、Ｈ．２６４デコード回路２２０は、適宜、メモリ２５から参照画像の読み出しを行い、そして、デコード画像をメモリ２５へ書き込む。なお、メモリ２５に書き込まれたデコード画像は、元の入力画の１／４のサイズの画像である。

合成部２３０では、上記１／４サイズの画像から元の画像サイズに補間拡大した表示画像を生成する。なお、合成部２３０に入力される１／４サイズの画像は、例えば、フルＨＤの低解像度画像であり、また、合成部２３０から出力される画像は、例えば、４ｋ２ｋの高解像度画像であるのは、前述した通りである。

なお、合成部２３０で行われる補間拡大は、時間的に近接する画像を用いて行われる。この補間手法の例としては、例えば、領域単位で動き検出を行い、動きのない領域は、近接フレームの対応するサンプリング位置の画素を用いたフレーム間補間を行い、動きのある領域は、自フレームの周辺画素からのフレーム内補間を行うといった方法がある。

すなわち、図１７の丸で囲まれた出力画に注目すると、位相ＡおよびＤについては、固定位相サブサンプリング画像および巡回位相サブサンプリング画像のそのままの画素を用い、他の位相ＢおよびＣは、補間により生成する。

その際、固定位相サブサンプリング画像のフレーム１，２および３の間で動き検出処理を行い、動きがない領域と判定された場合は、巡回位相サブサンプリングのフレーム１および３の画像を用いて、位相ＢおよびＣの画素の補間を行う。一方、動きがあると判定された場合は、フレーム２の位相ＡおよびＤの周辺画素から位相ＢおよびＣの画素の補間を行う。

表示選択回路２６は、合成部２３０で補間生成した元画像サイズのフレームと固定位相画像シーケンスのフレームのどちらか一方を選択し、その選択された画像が表示部２６に表示される。

このように、図１５〜図１７を参照して説明した実施例では、固定位相サブサンプリングと巡回位相サブサンプリングの２つのサブサンプリング画像シーケンスを生成する。そして、再生側で小さいサイズ（元画の１／４サイズ）の表示の場合には、固定位相サブサンプリングの画像シーケンスを表示する。また、再生側で大きいサイズ（元画サイズ）の表示の場合には、固定位相サブサンプリング画像シーケンスと巡回位相サブサンプリング画像シーケンスの両方を使用して、補間画像を生成するという選択を行うことが可能である。

なお、図１５〜図１７を参照して説明した実施例は、基本的には図１〜図１４を参照して説明した実施例と同様であり、各処理フローを適用することができるが、図１５〜図１７の実施例では、サンプリング位置の巡回周期ＦがＦ＝３となっている点が異なる。

図１８は、画像処理方法の第４実施例を説明するための図であり、また、図１９は、画像処理方法の第５実施例を説明するための図であり、そして、図２０は、画像処理方法の第６実施例を説明するための図である。ここで、図１８〜図２０において、サンプリング位置の巡回周期Ｆは、Ｆ＝３となっている。

すなわち、図１８の第４実施例の画像処理方法は、前述した図１のＩおよびＰピクチャ（フレーム）のみの第１実施例の画像処理方法において、サンプリング位置の巡回周期ＦをＦ＝３としたものに相当する。

なお、図１８における領域Ｒ４１，Ｒ４２およびＲ４３は、図１における領域Ｒ１１，Ｒ１２およびＲ１３に相当する。また、図１８では、Ｆ＝３，Ｋ＝５で、ＧＯＰ内フレーム数は１５となっている。

また、図１９の第５実施例の画像処理方法は、前述した図２のＩ，ＰおよびＢピクチャを使用した第２実施例の画像処理方法において、サンプリング位置の巡回周期ＦをＦ＝３としたものに相当する。

なお、図１９における領域Ｒ５１，Ｒ５２，Ｒ５３およびＲ５４は、図２における領域Ｒ２１，Ｒ２２，Ｒ２３およびＲ２４に相当する。また、図１９では、Ｆ＝３，Ｌ＝１，Ｋ＝３で、ＧＯＰ内フレーム数は１８となっている。

ここで、第４および第５実施例の画像処理方法において、入力画像管理テーブルの管理フローは、前述した図９および図１１を参照して説明したものをそのまま適用することができる。

図２０の第６実施例の画像処理方法は、前述した図３のＩ，ＰおよびＢピクチャを使用した第３実施例の画像処理方法において、サンプリング位置の巡回周期ＦをＦ＝３としたものに相当するが、入力画像管理テーブルの管理フローは、図２１のようになる。

なお、図２０における領域Ｒ６１，Ｒ６２，Ｒ６３およびＲ６４は、基本的には図３における領域Ｒ３１，Ｒ３２，Ｒ３３およびＲ３４に相当する。また、図２０では、Ｆ＝３，Ｌ＝１，Ｋ＝３で、ＧＯＰ内フレーム数は１８となっている。

図２１は、ＩＰＢ構造のシーケンスのさらに他の例における入力画像管理テーブルの情報生成処理を説明するためのフローチャートであり、上述した図２０の第６実施例の画像処理方法による入力画像管理テーブルの情報生成処理を説明するためのものである。

図２１と前述した図１２との比較から明らかなように、図２１におけるステップＳＴ８１〜ＳＴ８８は、図１２におけるステップＳＴ４１〜ＳＴ４８に相当する。ただし、図２１に示す入力画像管理テーブルの情報生成処理では、ステップＳＴ８１において、サンプリング巡回周期Ｆ（＝３）を取得して、ステップＳＴ８２に進む。

ステップＳＴ８２では、ＧＯＰ構成を決定し、Ｉ／Ｐ間Ｂ枚数（ＩまたはＰフレームの間のＢフレームの枚数）Ｌ（＝１）を設定し、ＧＯＰ内のフレーム数Ｎを、Ｎ＝ＬＭＣ（Ｌ＋１，Ｆ）＊Ｋとしている。

すなわち、図２０では、Ｆ＝３，Ｌ＝２，Ｋ＝３の場合であり、ＬＭＣ（Ｌ＋１，Ｆ）、すなわち、２と３の最小公倍数（ＬＭＣ）は６となり、Ｎ＝ＬＭＣ（Ｌ＋１，Ｆ）＊Ｋ＝ＬＭＣ（２，３）＊３＝６＊３＝１８（枚）となる。すなわち、図２０では、Ｉ／Ｐ間Ｂ枚数Ｌ＝１とされ、これにより、Ｆ＝３（３位相巡回）のときに１枚単位のＢフレームにより処理するようになっている。

図２１に示されるように、ステップＳＴ８４において、ｉを３で割り、余りが２であると判定すると、ステップＳＴ８５に進み、ｉ==Ｌかどうかを判定し、ｉ==Ｌであると判定すれば、ステップＳＴ８７に進む。

従って、ｉ＝１のとき、ステップＳＴ８７に進んで、ピクチャタイプ(PicType(i))をＩピクチャ（I-picture）とし、さらに、ステップＳＴ８９に進んで、ＥＮＣ順を０とし、そして、ステップＳＴ９２に進む。

一方、ステップＳＴ８４において、ｉを３で割り、余りが２ではないと判定すれば、ステップＳＴ８６に進み、ピクチャタイプ(PicType(i))をＢピクチャ（B-picture）とし、さらに、ステップＳＴ９１に進む。

ステップＳＴ８５において、ｉ==Ｌではない、すなわち、ｉが１ではないと判定すると、ステップＳＴ８８に進んで、ピクチャタイプ(PicType(i))をＰピクチャ（P-picture）とし、さらに、ステップＳＴ９０に進む。

ステップＳＴ９０は、図１２におけるステップＳＴ５２に相当し、ＥＮＣ順(EncOrder(i))を、次の式（４）により求め、そして、ステップＳＴ９２に進む。また、ステップＳＴ９１は、図１２におけるステップＳＴ５４相当し、ＥＮＣ順(EncOrder(i))を、次の式（５）により求め、そして、ステップＳＴ９２に進む。

従って、ステップＳＴ９０の処理により、図２０に示されるように、入力順が４，６，８，１０，…，１８番目のＰフレーム（Ｐ３，Ｐ５，Ｐ７，Ｐ９，…，Ｐ１７）のＥＮＣ順は、それぞれ２だけ減算されることになる。

また、ステップＳＴ９１の処理により、図２０に示されるように、入力順が１，３，５，７，…，１５番目のＢフレーム（Ｂ０，Ｂ２，Ｂ４，Ｂ６，…，Ｂ１４）のＥＮＣ順は、それぞれ２だけ加算されることになる。なお、入力順が１７番目のＢフレーム（Ｂ１６）のＥＮＣ順は、ＧＯＰ内のフレーム数Ｎ＝１８により制限されるので、１だけ加算された１８番目となる。

そして、ステップＳＴ９２では、ｉに１を加算して（ｉ＝ｉ＋１）、ステップＳＴ９３に進み、ｉ==Ｎ−１かどうかを判定し、ｉ==Ｎ−１ではないと判定すると、ステップＳＴ８４に戻って同様の処理を繰り返す。そして、ステップＳＴ９３において、ｉ==Ｎ−１である、すなわち、ＧＯＰ内のフレーム数Ｎまで処理を行った（ｉ＝０〜１７までの１８枚の処理が完了した）と判定すると、入力画像管理テーブルの情報生成処理を終了する。

これにより、図２０のフレーム配列に対応した情報を有する入力画像管理テーブルを生成することができ、この入力画像管理テーブルを使用することで、第６実施例の画像処理方法を実現することが可能となる。

このように、上述した各実施例によれは、サンプリング画素位置が異なる画像が連続した画像シーケンスを、フレーム間予測を使用した動画像復号化規格を用いて圧縮する場合に、その圧縮効率を向上させることが可能となる。

これにより、サンプリング画素位置が互いに異なる複数枚の画像から、より高解像の画像を生成する目的で生成された動画像シーケンスを高圧縮率で符号化することができ、その結果、そのシーケンスの記録容量の削減、並びに、伝送帯域の削減が可能となる。

以上において、サンプリング位置の巡回周期Ｆは、Ｆ＝３または４に限定されるものではなく、２以上の整数に設定することができる。さらに、巡回周期Ｆは、例えば、図１５における送信機３１と受信機３２間の通信のビットレートや必要とされる画質によって変更され得るものであり、例えば、ビットレートの変化に応じて動的に設定を変化させることも可能である。

以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
入力画像における各フレームのサンプリング位置を制御してサブサンプリング画像を生成するサブサンプリング部と、
前記各フレームのサンプリング位置の情報、および、符号化ストリームのＧＯＰ構造に基づいて、符号化対象フレームと同じサンプリング位置のフレームを当該符号化対象フレームの参照フレームとして優先的に割り当てる制御部と、
前記符号化対象フレームのサブサンプリング画像、および、前記制御部により割り当てられた参照フレームに基づいてフレーム間予測により動画像圧縮処理を行い、前記符号化対象フレームを符号化するエンコーダと、
を含むことを特徴とする画像処理装置。

（付記２）
前記サブサンプリング部は、前記各フレームのサンプリング位置を、前記入力画像の入力順における周期Ｆ［Ｆは、２以上の整数］で巡回させること
を特徴とする付記１に記載の画像処理装置。

（付記３）
前記制御部は、前記周期Ｆで巡回する互いに異なるサンプリング位置における同じ位相のサンプリング位置の符号化済み画像を優先的に参照フレームとして割り当てること
を特徴とする付記２に記載の画像処理装置。

（付記４）
前記ＧＯＰ構造は、フレーム間予測を用いずに符号化されるＩフレーム，および、前方向予測のみを用いて符号化されるＰフレームを含むこと
を特徴とする付記１乃至付記３のいずれか１項に記載の画像処理装置。

（付記５）
前記ＧＯＰ構造は、さらに、前方向予測，後方向予測および両方向予測のうちいずれかを選択して符号化されるＢフレームを含むこと
を特徴とする付記４に記載の画像処理装置。

（付記６）
前記制御部は、前記符号化対象フレームがＰフレームの場合、前記入力順で直前のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の前方参照フレームとして割り当てること
を特徴とする付記４または付記５に記載の画像処理装置。

（付記７）
前記ＧＯＰ構造は、前記入力順で連続するＦ枚単位でＩまたはＰフレームの組とＢフレームの組とされ、
前記制御部は、
前記符号化対象フレームがＢフレームの場合、
前記入力順で直前のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の前方参照フレームとして割り当て、且つ、
前記入力順で直後のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の後方参照フレームとして割り当てること
を特徴とする付記６に記載の画像処理装置。

（付記８）
前記ＧＯＰ構造は、前記入力順でＭ［ＦとＭは互いに素］枚毎にＩまたはＰフレームとされ、
前記制御部は、
前記符号化対象フレームがＰフレームの場合、前記入力順でＦ×Ｍ枚だけ前の符号化済みフレームを第１優先の前方参照フレームとして割り当て、
前記符号化対象フレームがＢフレームの場合、
前記入力順で前方にある同一サンプリング位置のＩまたはＰフレームの中で直前の符号化済みフレームを第１優先の前方参照フレームとして割り当て、
前記入力順で後方にある同一サンプリング位置のＩまたはＰフレームの中で直後の符号化済みフレームを第１優先の後方参照フレームとして割り当てること
を特徴とする付記６に記載の画像処理装置。

（付記９）
前記制御部は、前記符号化対象フレームのサンプリング位置の情報、並びに、前記符号化ストリームのＧＯＰ構造に基づいて、該符号化対象フレームに対する優先度に従った参照画像の管理を行う参照画像管理テーブルを生成すること
を特徴とする付記１乃至付記８のいずれか１項に記載の画像処理装置。

（付記１０）
前記制御部は、前記符号化対象フレームのサンプリング位置の情報、並びに、前記符号化ストリームのＧＯＰ構造に基づいて、前記入力順とエンコード順との対応を示す入力画像管理テーブルを生成すること
を特徴とする付記９に記載の画像処理装置。

（付記１１）
入力画像における各フレームのサンプリング位置を制御してサブサンプリング画像を生成し、
前記各フレームのサンプリング位置の情報、および、符号化ストリームのＧＯＰ構造に基づいて、符号化対象フレームと同じサンプリング位置のフレームを当該符号化対象フレームの参照フレームとして優先的に割り当て、並びに、
前記符号化対象フレームのサブサンプリング画像、および、前記参照フレームに基づいてフレーム間予測により動画像圧縮処理を行う、
を含むことを特徴とする画像処理方法。

（付記１２）
前記サブサンプリング画像を生成するのは、前記各フレームのサンプリング位置を、前記入力画像の入力順における周期Ｆ［Ｆは、２以上の整数］で巡回させて行うこと
を特徴とする付記１１に記載の画像処理方法。

（付記１３）
前記符号化対象フレームに対する前記参照フレームの割り当ては、前記周期Ｆで巡回する互いに異なるサンプリング位置における同じ位相のサンプリング位置の符号化済み画像を優先的に参照フレームとして割り当てること
を特徴とする付記１２に記載の画像処理方法。

（付記１４）
前記ＧＯＰ構造は、フレーム間予測を用いずに符号化されるＩフレーム，および、前方向予測のみを用いて符号化されるＰフレームを含むこと
を特徴とする付記１１乃至付記１３のいずれか１項に記載の画像処理方法。

（付記１５）
前記ＧＯＰ構造は、さらに、前方向予測，後方向予測および両方向予測のうちいずれかを選択して符号化されるＢフレームを含むこと
を特徴とする付記１４に記載の画像処理方法。

（付記１６）
前記符号化対象フレームに対する前記参照フレームの割り当ては、前記符号化対象フレームがＰフレームの場合、前記入力順で直前のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の前方参照フレームとして割り当てること
を特徴とする付記１４または付記１５に記載の画像処理方法。

（付記１７）
前記ＧＯＰ構造は、前記入力順で連続するＦ枚単位でＩまたはＰフレームの組とＢフレームの組とされ、
前記符号化対象フレームに対する前記参照フレームの割り当ては、
前記符号化対象フレームがＢフレームの場合、
前記入力順で直前のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の前方参照フレームとして割り当て、且つ、
前記入力順で直後のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の後方参照フレームとして割り当てること
を特徴とする付記１６に記載の画像処理方法。

（付記１８）
前記ＧＯＰ構造は、前記入力順でＭ［ＦとＭは互いに素］枚毎にＩまたはＰフレームとされ、
前記符号化対象フレームに対する前記参照フレームの割り当ては、
前記符号化対象フレームがＰフレームの場合、前記入力順でＦ×Ｍ枚だけ前の符号化済みフレームを第１優先の前方参照フレームとして割り当て、
前記符号化対象フレームがＢフレームの場合、
前記入力順で前方にある同一サンプリング位置のＩまたはＰフレームの中で直前の符号化済みフレームを第１優先の前方参照フレームとして割り当て、
前記入力順で後方にある同一サンプリング位置のＩまたはＰフレームの中で直後の符号化済みフレームを第１優先の後方参照フレームとして割り当てること
を特徴とする付記１６に記載の画像処理方法。

（付記１９）
前記符号化対象フレームに対する前記参照フレームの割り当ては、前記符号化対象フレームのサンプリング位置の情報、並びに、前記符号化ストリームのＧＯＰ構造に基づいて、該符号化対象フレームに対する優先度に従った参照画像の管理を行う参照画像管理テーブルを生成して行うこと
を特徴とする付記１１乃至付記１８のいずれか１項に記載の画像処理方法。

（付記２０）
前記符号化対象フレームに対する前記参照フレームの割り当ては、前記符号化対象フレームのサンプリング位置の情報、並びに、前記符号化ストリームのＧＯＰ構造に基づいて、前記入力順とエンコード順との対応を示す入力画像管理テーブルを生成して行うこと
を特徴とする付記１９に記載の画像処理方法。

１０ 動画像記録装置
１１ 制御部
１２ 画像入力部
１３ 巡回サブサンプリング部
１４ Ｈ．２６４エンコーダ
１５ メモリ
２０ 動画像再生装置
２１ 制御部
２２ Ｈ．２６４デコーダ
２３ 合成部
２４ 表示部
２５ メモリ
２６ 表示選択部
３０ 記憶装置
３１ 送信機
３２ 受信機
１３０ サブサンプリング回路
１３１ 固定サブサンプリング部
１３２ 巡回サブサンプリング部
１４０ Ｈ．２６４エンコード回路
１４１ 第１エンコーダ
１４２ 第２エンコーダ
１４３ マルチプレクサ
２２０ Ｈ．２６４デコード回路
２２１ 第１デコーダ
２２２ 第２デコーダ
２２３ デマルチプレクサ
２３０ 合成部
２４０ 表示部

Claims (10)

1. 入力画像における各フレームのサンプリング位置を制御してサブサンプリング画像を生成するサブサンプリング部と、
   前記各フレームのサンプリング位置の情報、および、符号化ストリームのＧＯＰ構造に基づいて、符号化対象フレームと同じサンプリング位置のフレームを当該符号化対象フレームの参照フレームとして優先的に割り当てる制御部と、
   前記符号化対象フレームのサブサンプリング画像、および、前記制御部により割り当てられた参照フレームに基づいてフレーム間予測により動画像圧縮処理を行い、前記符号化対象フレームを符号化するエンコーダと、
   を含むことを特徴とする画像処理装置。
2. 前記サブサンプリング部は、前記各フレームのサンプリング位置を、前記入力画像の入力順における周期Ｆ［Ｆは、２以上の整数］で巡回させること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、前記周期Ｆで巡回する互いに異なるサンプリング位置における同じ位相のサンプリング位置の符号化済み画像を優先的に参照フレームとして割り当てること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記ＧＯＰ構造は、フレーム間予測を用いずに符号化されるＩフレーム，および、前方向予測のみを用いて符号化されるＰフレームを含むこと
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記ＧＯＰ構造は、さらに、前方向予測，後方向予測および両方向予測のうちいずれかを選択して符号化されるＢフレームを含むこと
   を特徴とする請求項４に記載の画像処理装置。
6. 前記制御部は、前記符号化対象フレームがＰフレームの場合、前記入力順で直前のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の前方参照フレームとして割り当てること
   を特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記ＧＯＰ構造は、前記入力順で連続するＦ枚単位でＩまたはＰフレームの組とＢフレームの組とされ、
   前記制御部は、
   前記符号化対象フレームがＢフレームの場合、
   前記入力順で直前のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の前方参照フレームとして割り当て、且つ、
   前記入力順で直後のＩまたはＰフレームの組における同じサンプリング位置の符号化済みフレームを第１優先の後方参照フレームとして割り当てること
   を特徴とする請求項６に記載の画像処理装置。
8. 前記ＧＯＰ構造は、前記入力順でＭ［ＦとＭは互いに素］枚毎にＩまたはＰフレームとされ、
   前記制御部は、
   前記符号化対象フレームがＰフレームの場合、前記入力順でＦ×Ｍ枚だけ前の符号化済みフレームを第１優先の前方参照フレームとして割り当て、
   前記符号化対象フレームがＢフレームの場合、
   前記入力順で前方にある同一サンプリング位置のＩまたはＰフレームの中で直前の符号化済みフレームを第１優先の前方参照フレームとして割り当て、
   前記入力順で後方にある同一サンプリング位置のＩまたはＰフレームの中で直後の符号化済みフレームを第１優先の後方参照フレームとして割り当てること
   を特徴とする請求項７に記載の画像処理装置。
9. 入力画像における各フレームのサンプリング位置を制御してサブサンプリング画像を生成し、
   前記各フレームのサンプリング位置の情報、および、符号化ストリームのＧＯＰ構造に基づいて、符号化対象フレームと同じサンプリング位置のフレームを当該符号化対象フレームの参照フレームとして優先的に割り当て、
   前記符号化対象フレームのサブサンプリング画像、および、前記参照フレームに基づいてフレーム間予測により動画像圧縮処理を行う、
   ことを特徴とする画像処理方法。
10. 前記符号化対象フレームに対する前記参照フレームの割り当ては、前記符号化対象フレームのサンプリング位置の情報、並びに、前記符号化ストリームのＧＯＰ構造に基づいて、該符号化対象フレームに対する優先度に従った参照画像の管理を行う参照画像管理テーブルを生成して行うこと
    を特徴とする請求項９に記載の画像処理方法。

Images