JP2012142845A - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】モード識別のための符号量を削減し、高効率のイントラ予測モード情報符号化・復号化を提供する。
【解決手段】入力された画像を処理対象のブロックに分割し、分割された処理対象のブロックを単位として、該処理対象のブロックの画面内予測のモードを決定し、前記処理対象のブロックの周辺のブロックが参照可能か否かを判定し、判定の結果に基づいて、決定された予測モードを符号化する。入力された符号化データをエントロピー復号することによって処理対象ブロックの符号化された予測モードを抽出するエントロピー復号化手段と、前記処理対象のブロックの周辺のブロックが参照可能か否かを判定する判定手段と、前記判定手段の結果に基づいて、前記予測モードを復号化する。
【選択図】図１

Description

本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に画像中の画面内予測符号化方法に関する。

動画像の圧縮記録方法として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知られている。Ｈ．２６４符号化方式は１セグメント地上波デジタル放送などで広く使われている。Ｈ．２６４符号化方式の特徴は、従来の符号化方式に加えて４×４画素単位で整数変換を用い、イントラ予測が複数用意されている点にある。また、ループ・フィルタを用い、前後に複数のフレームの参照を可能にしつつ、動き補償を７種類のサブブロックで行うという特徴がある。また、ＭＰＥＧ−４と同様に、１／４画素精度の動き補償を行うことができる。さらに、エントロピー符号化として、ユニバーサル可変長符号化やコンテキスト適応可変長符号化等を用いるという特徴がある。

ＩＳＯ／ＩＥＣ１４４９６−１０：２００４Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−−Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ＩＴＵ−Ｔ Ｈ．２６４ Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ

図１５は従来のＨ．２６４のブロック図である。ブロック分割部１５０１は画像データをマクロブロックに分割し、処理ユニット分割部１５０２はブロック内を処理ユニットである４画素×４画素等のブロックに分割する。イントラ予測モード決定部１５０３は周辺の画素から処理対象のユニットのイントラ予測のモードを決定する。周辺処理ユニット判定部１５０７はイントラ予測モード決定部１５０３において、処理対象であるブロックが、画像の端部等で参照画素がない場合、予め決められた値（例えば１２８）を参照画素として設定する。イントラ予測モード符号化部１５０４はイントラ予測モード決定部１５０３で決定されたモードを符号化する。Ｈ．２６４の場合、周辺の画素の有無にかかわらず、９つのモードの符号が割り当てられる。

Ｈ．２６４のように複数のモードを持つイントラ予測を行う符号化方式においては、選ばれたモードの識別のためイントラ予測モード情報をサイド情報として符号化しなければならず、そのためのビットが必要であった。

したがって、本発明は上述した課題を解決するためになされたものであり、モード識別のための符号量を削減し、高効率のイントラ予測モード情報符号化・復号化を実現することを目的としている。

上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、入力された画像を処理対象のブロックに分割する分割手段と、前記分割手段によって分割された処理対象のブロックを単位として、該処理対象のブロックの画面内予測のモードを決定する予測モード決定手段と、前記処理対象のブロックの周辺のブロックが参照可能か否かを判定する判定手段と、前記判定手段の結果に基づいて、前記予測モード決定手段によって決定された予測モードを符号化する予測モード符号化手段とを有する。

さらに、本発明の画像復号装置は以下の構成を有する。すなわち、入力された符号化データをエントロピー復号することによって処理対象ブロックの符号化された予測モードを抽出するエントロピー復号化手段と、前記処理対象のブロックの周辺のブロックが参照可能か否かを判定する判定手段と、前記判定手段の結果に基づいて、前記予測モードを復号化する予測モード復号化手段とを有する。

本発明により、モード識別のための符号量を削減し、高効率のイントラ予測モード情報符号化・復号化が可能になる。

実施形態１における画像符号化装置の構成を示すブロック図 イントラ予測方法の一例 実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート ステップＳ３０３の詳細な処理を示すフローチャート 実施形態２におけるステップＳ３０３の詳細な処理を示すフローチャート 実施形態３におけるステップＳ３０３の詳細な処理を示すフローチャート 実施形態４におけるステップＳ３０３の詳細な処理を示すフローチャート 実施形態５に係る画像復号装置の構成を示すブロック図 実施形態５に係る画像復号装置における画像復号処理を示すフローチャート ステップＳ９０４の詳細な処理を示すフローチャート 実施形態６におけるステップＳ９０４の詳細な処理を示すフローチャート 実施形態７におけるステップＳ９０４の詳細な処理を示すフローチャート 実施形態８におけるステップＳ９０４の詳細な処理を示すフローチャート 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図 従来のＨ．２６４符号化方式のブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は入力画像を複数のブロックに分割するブロック分割部である。２０２はブロック分割部１０１で分割された各ブロックを、該ブロックと同一サイズもしくはブロックよりも小さいサイズの処理ユニットに分割する処理ユニット分割部である。１０３は各処理ユニットにおいてイントラ予測モード（画面内予測モード）を決定するイントラ予測モード決定部である。１０４はイントラ予測モード決定部１０３で決定したイントラ予測モードを符号化するイントラ予測モード符号化部である。１０５はイントラ予測の残差を変換・量子化する予測・変換・量子化部であり、１０６は予測・変換・量子化部１０５の結果を符号化するエントロピー符号化部である。１０７は符号化対象の処理ユニットの周辺の処理ユニットが参照可能かを判定する周辺処理ユニット判定部である。

上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。また、本願発明は、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化の処理においても適用可能である。

本実施形態では説明のため、ブロック分割部１０１においては８画素×８画素のブロックに分割するものとして説明するがこれに限定されない。またブロックの分割に関しては縦横１／２のサイズに４分割する方法を例にとって説明するが、これにブロックの形状、サイズは限定されない。

入力された１フレーム分の画像データはブロック分割部１０１に入力され、８画素×８画素のブロック単位に分割される。ブロック単位に分割された画像データはさらに処理ユニット分割部１０２に入力され、ブロック分割部１０１で分割されたブロックと同一もしくは小さい大きさの処理ユニット（４画素×４画素）に分割される。また、処理ユニット分割部１０２は、符号化対象の処理ユニットの位置を周辺処理ユニット判定部１０７に入力する。具体的には、符号化対象の処理ユニットの左上画素のフレーム内での垂直位置および水平位置を入力する方法などが考えられるがこれに限定されない。フレーム内での符号化対象ブロックのブロック番号およびブロック内での符号化対象処理ユニットの処理ユニット番号を入力する方法を用いてもよい。

周辺処理ユニット判定部１０７では、符号化対象の処理ユニットの位置とこれまでに符号化済みの処理ユニットの状況から、符号化対象の処理ユニットの周辺の処理ユニットが参照可能か否かを判定する。周辺処理ユニット判定部１０７は、判定した参照可能情報をイントラ予測モード決定部１０３およびイントラ予測モード符号化部１０４に出力する。

処理ユニット分割部１０２の結果である処理ユニット単位に分割された画像データおよび周辺処理ユニット判定部１０７の出力である参照可能情報はイントラ予測モード決定部１０３に入力される。

説明を簡単にするために、図２にイントラ予測方法の例を示す。図２（ａ）において、２０１はイントラ予測を行う処理ユニット（４画素×４画素）を表す。処理ユニット２０１内には４画素×４画素のａからｐまでの画素が含まれる。図２（ｂ）は垂直方向の予測の様子を表す図であり、処理ユニット２０１に隣接する空間的に上方の画素群２０２（Ｖ１からＶ４）から垂直方向の予測を行う。本予測を垂直予測モードと呼ぶ。図２（ｃ）は垂直方向の予測の様子を表す図であり、処理ユニット２０１に隣接する左方の画素群２０３（Ｈ１からＨ４）から水平方向の予測を行う。本予測を水平予測モードと呼ぶ。図２（ｄ）は垂直方向の予測の様子を表す図であり、処理ユニット２０１に隣接する上方と左方の画素群の平均値に基づいて予測を行う。すなわち、平均値をａｖｅとすると以下式（１）で表される。本予測を平均値予測モードと呼ぶ。

ａｖｅ ＝ （Ｖ１＋Ｖ２＋Ｖ３＋Ｖ４＋Ｈ１＋Ｈ２＋Ｈ３＋Ｈ４）／８ …（１）
イントラ予測モード決定部１０３では以上の３つのイントラ予測モードから最適なイントラ予測モードが決定され、イントラ予測モード符号化部１０４と周辺処理ユニット判定部１０７に出力される。周辺処理ユニット判定部１０７は、イントラ予測モード決定部１０３から出力された予測モードを、符号化済みの処理ユニットのイントラ予測のモードとして保持し、次以降の判定の際に参照される。

一方、イントラ予測モード符号化部１０４では、周辺処理ユニット判定部１０７の出力である参照可能情報を入力としてイントラ予測モード決定部１０３の出力であるイントラ予測モードを所定の方法で符号化し、イントラ予測モード符号化データを得る。予測・変換・量子化部１０５ではイントラ予測モード決定部１０３で決定したイントラ予測モードに基づいて処理ユニット単位の予測が行われ、その残差成分が変換・量子化される。量子化された係数データはエントロピー符号化部１０６に出力され、エントロピー符号化部１０６にてエントロピー符号化された後、イントラ予測モード符号化部１０４で符号化されたイントラ予測モード符号化データとともにビットストリームとして出力される。図３は、実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップＳ３０１にて、ブロック分割部１０１は、フレーム単位の入力画像をブロック単位（８画素×８画素）に分割する。

ステップＳ３０２にて、処理ユニット分割部１０２はブロック分割部１０１にて分割されたそれぞれのブロックに対して、該ブロックと同一もしくは小さい大きさの処理ユニット（４画素×４画素）に分割する。

ステップＳ３０３にて、イントラ予測モード決定部１０３は、符号化対象の処理ユニットのイントラ予測モードの決定を行う。また、イントラ予測モード符号化部１０４はイントラ予測モード決定部１０３で決定された予測モードの符号化を行う。本処理に関しての詳細は後述する。

ステップＳ３０４にて、予測・変換・量子化部１０５は、符号化対象の処理ユニットの予測値を計算し、入力画像との残差成分の変換・量子化を行う。次にステップＳ３０５においてエントロピー符号化部１０６にて、画像符号化装置は、量子化された係数をエントロピー符号化する。

ステップＳ３０６において、画像符号化装置は、ブロック内の全ての処理ユニットの符号化が終了したか否かの判定を行い、終了していればステップＳ３０７に進み、終了していなければ次の処理ユニットを対象としてステップＳ３０２に戻る。

ステップＳ３０７にて、画像符号化装置は、フレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次のブロックを対象としてステップＳ３０１に戻る。

図４はステップＳ３０３の詳細な処理を示すフローチャートである。まず、ステップＳ４０１、Ｓ４０２、Ｓ４０３では符号化対象の処理ユニットの周辺の所定の処理ユニットが参照可能か否かの判定を行う。

具体的にはステップＳ４０１において、周辺処理ユニット判定部１０７は、符号化対象の処理ユニットの上方に存在する所定の処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ４０２に進み、参照不可能の場合にはステップＳ４０３に進む。
ステップＳ４０２において、周辺処理ユニット判定部１０７は、符号化対象の処理ユニットの左方に存在する所定の処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ４０４に進み、参照不可能な場合にはステップＳ４０６に進む。

ステップＳ４０３においても、周辺処理ユニット判定部１０７は、符号化する処理ユニットの左方に存在する処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ４０８に進み、参照不可能の場合にはステップＳ４１０に進む。

ステップＳ４０４において、上方処理ユニットと左方処理ユニットのいずれも参照可能なため、全てのイントラ予測モード（垂直予測モード、水平予測モード、平均値予測モード）の中から当該処理ユニットの最適なイントラ予測モードを決定する。最適なイントラ予測モードの決定方法に関しては、それぞれのイントラ予測モードについて予測値を計算し、最も入力画素に近い予測値を生成したモードに決定することが一般的であるが、これに限定されない。

ステップＳ４０５において、イントラ予測モード符号化部１０４は決定されたイントラ予測モード情報を符号化する。ここでは平均値予測モードを１ビットの符号“０”で表し、垂直予測モードを２ビットの符号“１０”で表し、水平予測モードを２ビットの符号“１１”で表す。これらに該当する符号を出力後、処理を終了する。

ステップＳ４０６において、イントラ予測モード決定部１０３は、左方処理ユニットが参照不可能な場合でも選択することができるイントラ予測モードの中から当該処理ユニットの最適なイントラ予測モードを決定する。すなわち、左方画素群２０３が参照されないため、垂直予測モードと下記（２）式で表されるＶ１からＶ４の画素値の平均値ａｖｅによる平均値予測モードから最適なイントラ予測モードを選択する。

ａｖｅ ＝ （Ｖ１＋Ｖ２＋Ｖ３＋Ｖ４）／４ …（２）
ステップＳ４０７において、イントラ予測モード符号化部１０４は、使用不可能なモード情報を選択不可能にし、その識別分のこれにより符号量が削減される。を省いた方法でそのモード情報を符号化する。すなわち、ここでは取りうるモード情報である平均値予測モードを１ビットの符号“０”で表し、垂直予測モードを１ビットの符号“１”で表す。これらに該当する符号を出力後、処理を終了する。

ステップＳ４０８において、イントラ予測モード決定部１０３は、上方処理ユニットが参照不可能な場合でも選択することができるイントラ予測モードの中から当該処理ユニットの最適なイントラ予測モードを決定する。すなわち、上方画素群２０２が参照されないため、水平予測モードと下記（３）式で表されるＨ１からＨ４の画素値の平均値ａｖｅによる平均値予測モードから最適なイントラ予測モードを選択する。

ａｖｅ ＝ （Ｈ１＋Ｈ２＋Ｈ３＋Ｈ４）／４ …（３）
ステップＳ４０９において、イントラ予測モード決定部１０３は、使用不可能なモード情報を選択不可能にし、その識別分のビットを省いた方法でそのモード情報を符号化する。すなわち、ここでは取りうるモード情報である平均値予測モードを１ビットの符号“０”で表し、水平予測モードを１ビットの符号“１”で表す。これらに該当する符号を出力後、処理を終了する。

ステップＳ４１０において、上方処理ユニットと左方処理ユニットが参照不可能であるため、参照できない単位ユニットの平均値をあらかじめ決められた値（Ｈ．２６４では１２８）があるものとしてその平均値でイントラ予測を行うのみである。したがって、一意にモードが決定されるため、モードの符号化は行われない。

以上の構成と動作により、特にステップＳ４０７およびステップＳ４０９の処理により、より少ないビットでイントラ予測モードの情報を符号化できる。また、ステップＳ４１０にてイントラ予測モードの情報を符号化しないので、より少ないビットでイントラ予測モードの情報を符号化できる。

なお、本実施形態においては、イントラ予測のみを用いるフレームを例にとって説明したが、インター予測を使用できるフレームにおいても対応できることは明らかである。

さらに、本実施形態では説明のために分割ブロックを８画素×８画素、処理ユニットを４画素×４画素としたが、これに限定されない。例えば１６画素×１６画素等のブロックサイズへの変更が可能であり、また、ブロックの形状も正方形に限定されず、８画素×４画素などの長方形で発明の本質は変わらない。

また、予測を４画素×４画素の場合のみ説明したが、ブロックを分割しない場合、８画素×８画素で予測を行っても、周囲のブロックの状態から同様に符号を削減できることは明らかである。

また、本実施形態では上方処理ユニット画素の内、処理ユニット２０１に隣接する上方画素群２０２のみを参照したがこれに限定されず、左上の画素や上方処理ユニットの他の画素を参照してももちろん構わない。同様に左方処理ユニット画素の内、処理ユニット２０１に隣接する左方画素群２０３のみを参照したがこれに限定されず、左方処理ユニットの他の画素を参照してももちろん構わない。

また、本実施形態では上方画素群２０２と左方画素群２０３を参照してイントラモード予測を行ったが、これに限定されない。また、予測モードもこれに限定されない。例えば、Ｈ．２６４符号化方式において、９つのイントラ予測があるが、上方処理ユニット、左方処理ユニットがともに参照不可能な場合、ステップＳ４１０において、周囲の画素値が１２８として、予測モードはＩｎｔｒａ＿４ｘ４＿ＤＣのみが選択される。よって符号化データは発生しない。同様に、左方処理ユニットが参照不可能で、上方処理ユニットが参照可能な場合、図４のステップＳ４０６において、予測モードは上方からの予測であるＩｎｔｒａ＿４ｘ４＿Ｖｅｒｔｉｖａｌ、Ｉｎｔｒａ＿４ｘ４＿Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ、Ｉｎｔｒａ＿４ｘ４＿Ｖｅｒｔｉｃａｌ＿Ｌｅｆｔと前記Ｉｎｔｒａ＿４ｘ４＿ＤＣのみが選択される。よって、Ｓ４０７では２ビットの情報でこれらを表すことが可能である。左方処理ユニットが参照可能で、上方処理ユニットが参照不可能な場合、図４のステップＳ４０８において、左方からの予測であるＩｎｔｒａ＿４ｘ４＿Ｈｏｒｉｚｏｎｔａｌ、Ｉｎｔｒａ＿４ｘ４＿Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐと前記Ｉｎｔｒａ＿４ｘ４＿ＤＣのみが選択される。よって、Ｓ４０９でも２ビットの情報でこれらを表すことが可能である。ただし、ステップＳ４０５では全て９つのモードを符号化する必要があり、４ビットの情報が必要である。

また、本実施形態では符号についてビットの割り当てを行ったが、これに限定されず、前に処理した処理ユニットの予測モード等を参照して符号化したり、算術符号を用いて符号化しても構わない。
また、参照の可否の判定の順はこれに限定されず、左方処理ユニットの参照の可否から判定しても構わない。

＜実施形態２＞
実施形態１のステップＳ４１０においては、一意にモードが決定されるためモードの符号化は行われない例を示したが、本実施形態では、平均値でイントラ予測を行うモードとイントラ予測を行わないモードを選択できる例を説明する。

図５は、図３のステップＳ３０３の実施形態２における詳細な処理を示すフローチャートある。図５において実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップＳ５０１において、イントラ予測モード決定部１０３は、上方処理ユニットと左方処理ユニットが参照不可能であるため、参照できない単位ユニットの平均値をあらかじめ決められた値があるものとする。つまりその平均値でイントラ予測を行うモードとイントラ予測を行わないモードを選択できる。
ステップＳ５０２において、イントラ予測モード符号化部１０４は、使用不可能なモード情報を選択不可能にし、その識別分のビットを省いた方法でそのモード情報を符号化する。すなわち、ここではイントラ予測を平均値予測モードで行う場合は１ビットの符号“１”で表し、そうでない場合を符号“０”で表した後に処理を終了する。
以上の構成と動作により、より少ないビットでイントラ予測モードの情報を符号化した分ビット量を削減できる。

なお、ステップＳ５０１にて、上方処理ユニットも左方処理ユニットも参照不可能な場合でも選択することができるイントラ予測モードが複数設定でき、それを識別する情報が必要な場合でも適用できる。

＜実施形態３＞
実施形態１においては、上方または左方のうち一方だけの処理ユニットが参照可能な場合を示した。しかし、本実施形態では、上方または左方のうち一方だけの処理ユニットが参照可能な場合であっても通常のイントラ予測モード符号化処理を行う例を説明する。

図６は、図３のステップＳ３０３の実施形態３における詳細な処理を示すフローチャートある。図６において実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップＳ６０１において、周辺処理ユニット判定部１０７は、符号化対象の処理ユニットの上方に存在する所定の処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ４０４に進み、参照不可能の場合にはステップＳ６０２に進む。
ステップＳ６０２において、周辺処理ユニット判定部１０７は、符号化対象の処理ユニットの左方に存在する処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ４０４に進み、参照不可能の場合にはステップＳ６０３に進む。ステップＳ４０４においては、全てのイントラ予測モードの中から当該処理ユニットの最適なイントラ予測モードを決定し、ステップＳ４０５でそのイントラ予測モード情報を符号化した後処理を終了する。
ステップＳ６０３においては、イントラ予測モード符号化部１０４は、上方処理ユニットも左方処理ユニットも参照不可能な場合でも選択することができる所定のイントラ予測モードを設定し、モードを識別するための情報は符号化せずに処理を終了する。

以上の構成と動作により、ステップＳ６０３にてイントラ予測モードの情報を符号化しなかった分のビット量を削減できる。ビット量の削減量は実施形態１および実施形態２よりも少ない。しかし上方または左方のうち一方だけの処理ユニットが参照可能な場合でも通常のイントラ予測モード符号化処理を行うため、ステップＳ４０７およびＳ４０８における処理に使われる新たなテーブルなどを必要としない。よって、ハードウェアやメモリを削減することができ、低コスト化を図ることができる。

＜実施形態４＞
実施形態３のステップＳ６０３においては、一意にモードが決定されるためモードの符号化は行われない例を示したが、本実施形態では、平均値でイントラ予測を行うモードとイントラ予測を行わないモードを選択できる例を説明する。図７は、図３のステップＳ３０３の実施形態４における詳細な処理を示すフローチャートある。図７において実施形態２の図５、及び実施形態３の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。ステップＳ７０１において、イントラ予測モード決定部１０３は、実施形態２と同様に、上方処理ユニットも左方処理ユニットも参照不可能な場合でも選択することができるイントラ予測モードの中から当該処理ユニットの最適なイントラ予測モードを決定する。

ステップＳ７０２において、イントラ予測モード符号化部１０４は実施形態２と同様に、使用不可能なモード情報（水平予測、垂直予測）を選択不可能にし、その識別分のビットを省いた方法でそのモード情報を符号化した後に処理を終了する。

以上の構成と動作により、より少ないビットでイントラ予測モードの情報を符号化した分ビット量を削減できる。実施形態３で得られた効果であるテーブルなどの省略による低コスト化を図りつつ上方処理ユニットも左方処理ユニットも参照不可能な場合でも選択することができるイントラ予測モードが複数あり、それを識別する情報が必要な場合でも適用できる。

＜実施形態５＞
図８は、本発明の実施形態５に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成された符号化データの復号を例にとって説明する。
図８において、８０１は入力ストリームからブロック単位の情報を復号するブロック復号部である。ブロック復号部８０１はその復号処理において、各処理ブロック位置の把握を容易に行える。また、前記処理ブロック位置情報の出力も行う。８０２は、ブロック復号部８０１でブロック復号された各ブロック内に存在する処理ユニット単位の情報や係数を復号するエントロピー復号部である。８０３は復号によって得られた量子化された係数値を逆量子化し、逆変換する逆量子化・逆変換部である。８０４は各処理ユニットにおいてイントラ予測モードを復号するイントラ予測モード復号部である。８０５は逆量子化・逆変換部８０３の結果とイントラ予測モード復号部８０４の結果から復号画素データを再構成する画素データ再構成部である。８０７は復号対象の処理ユニットの周辺の所定の処理ユニットが参照可能か否かを判定する周辺処理ユニット判定部である。

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。また、本発明は、説明を用意にするため、イントラ予測復号化の処理のみを説明するが、これに限定されずインター予測復号化処理においても適用可能である。

入力された１フレーム分のストリームデータはブロック単位でブロック復号部８０１に入力され、ブロック単位の情報が復号される。上記のブロック単位の情報によって定まった処理ユニットの構造によって、処理ユニットごとに符号データが出力される。この際、処理ユニットの係数や、位置情報の復号によって処理ユニットの位置に関する情報も抽出され、周辺処理ユニット判定部８０７にも出力される。処理ユニットごとの符号データはエントロピー復号部８０２に入力され、イントラ予測モード符号を含む処理ユニット単位の情報や係数値が復号される。係数値は逆量子化・逆変換部８０３に入力され、逆量子化、逆変換の過程を経て予測誤差を表す画素データが出力される。処理ユニット単位の情報はイントラ予測モード復号部８０４に入力され、イントラ予測モードの情報から周辺の処理ユニットの画素値から予測値を算出し、それを予測誤差を表す画素データと足し合わせることで復号画素データが再構成され、出力される。

図９は、実施形態５に係る画像復号装置における画像復号処理を示すフローチャートである。
まず、ステップＳ９０１において、ブロック復号部８０１は、入力ストリームからブロック単位の情報を復号する。
ステップＳ９０２において、エントロピー復号部８０２は、各ブロック内に存在する処理ユニット単位の復号を行う。また、イントラ予測モードの符号を抽出し、他の情報や係数をエントロピー復号化する。
ステップＳ９０３において逆量子化・逆変換部８０３は、復号した係数データの逆量子化・逆変換を行い、予測誤差データを生成する。
ステップＳ９０４において、イントラ予測モード復号部８０４は、各処理ユニットのイントラ予測モードを後述する復号方法で復号し、イントラ予測モードを生成する。
ステップＳ９０５において画素データ再構成部８０５は、ステップＳ９０３の結果である予測誤差データとステップＳ９０４の結果であるイントラ予測モードから周辺処理ユニットの画素を参照して再構成画素を算出する。
ステップＳ９０６において、画像復号装置は、ブロック内の全ての処理ユニットの符号化が復号したか否かの判定を行い、終了していればステップＡ９０７に進み、終了していなければ次の処理ユニットを処理の対象としてステップＳ９０２に戻る。
ステップＳ９０７において画像復号装置は、フレーム内の全てのブロックの復号が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次のブロックを処理の対象としてステップＳ９０１に戻る。

図１０はステップＳ９０４の詳細な処理を示すフローチャートである。まず、ステップＳ１００１、Ｓ１００２、Ｓ１００３では復号対象の処理ユニットの周辺の所定の処理ユニットが参照可能か否かの判定を行う。具体的にはステップＳ１００１において周辺処理ユニット判定部８０７は、復号対象の処理ユニットの上方に存在する所定の処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ１００２に進み、参照不可能の場合にはステップＳ１００３に進む。
ステップＳ１００２において周辺処理ユニット判定部８０７は、復号する処理ユニットの左方に存在する所定の処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ１００４に進み、参照不可能な場合にはステップＳ１００５に進む。
ステップＳ１００３においても、周辺処理ユニット判定部８０７は、復号する処理ユニットの左方に存在する処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ１００６に進み、参照不可能の場合にはステップＳ１００７に進む。
ステップＳ１００４においてイントラ予測モード復号部８０４は、復号する処理ユニットのイントラ予測モードを復号する。ステップＳ１００４の場合、垂直予測、水平予測、平均値予測のいずれも可能なため、符号が“０”であれば、平均値予測モードを、“１０”であれば垂直予測を、“１１”であれば水平予測モードが選択されたものと判断可能である。
ステップＳ１００５においてイントラ予測モード復号部８０４は上方処理ユニットは参照可能で左方処理ユニットが参照不可能な場合であり、使用できないイントラ予測モードの識別分のビットを省いた方法で復号する処理ユニットのイントラ予測モードを復号する。すなわち、１ビットの符号が“０”であれば、上方画素群の平均値から予測する平均値予測モードが選択されたものとし、符号が“１”であれば、垂直予測モードが選択されたものと判断可能である。
ステップＳ１００６において、イントラ予測モード復号部８０４は、左方処理ユニットは参照可能で上方処理ユニットが参照不可能な場合には使用できないイントラ予測モードの識別分のビットを省いた方法で復号する処理ユニットのイントラ予測モードを復号する。すなわち、１ビットの符号が“０”であれば、左方画素群の平均値から予測する平均値予測モードが選択されたものとし、符号が“１”であれば、水平予測モードが選択されたものと判断可能である。ステップＳ１００７において、イントラ予測モード復号部８０４は、上方処理ユニットも左方処理ユニットも参照不可能な場合でも選択することができる所定のイントラ予測モードを設定する。すなわち、参照できない単位ユニットの平均値をあらかじめ決められた値があるものとしてその平均値でのイントラ予測モードを設定する。

以上の構成と動作により、実施形態１で生成された、各処理ユニットの参照の可否によって、必要なイントラ予測モードをより少ないビット量で表した符号化データを復号することができる。

なお、本実施形態においては、イントラ予測のみを用いるフレームを例にとって説明したが、インター予測も使用できるフレームにおいても対応できることは明らかである。
また、実施形態１と同様にブロックのサイズ、処理ユニットのサイズ、参照する処理ユニットとその画素の配置、符号についてはこれに限定されない。Ｈ．２６４符号化方式と同じ参照方法をとっても構わないし、それ以外の参照の方式を行ってももちろん構わない。

＜実施形態６＞
本実施形態では、実施形態２で生成された符号化データの復号処理について説明する。
図１１は、図９のステップＳ９０４の実施形態６における詳細な処理を示すフローチャートある。図１１において実施形態５の図１０と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ１１０１において、イントラ予測モード復号部８０４は、上方処理ユニットも左方処理ユニットも参照不可能な場合には使用できないイントラ予測モードの識別分のビットを省いた方法で復号する処理ユニットのイントラ予測モードを復号する。すなわち、上方処理ユニットと左方処理ユニットが参照不可能であるため、参照できない単位ユニットの平均値をあらかじめ決められた値があるものとしてその平均値でイントラ予測を行うモードとイントラ予測を行わないモードが選択されている。１ビットの符号が“１”であれば、予め決められた値の平均値から予測する平均値予測モードが選択されたものとし、符号が“０”であれば、イントラ予測を行わないモードが選択されたものとする。

以上の構成と動作により、実施形態２で生成された、各処理ユニットの参照の可否によって、必要なイントラ予測モードをより少ないビット量で表した符号化データを復号することができる。

＜実施形態７＞
本実施形態では、実施形態３で生成された符号化データの復号処理について説明する。

図１２は、図９のステップＳ９０４の実施形態７における詳細な処理を示すフローチャートある。図１２において実施形態５の図１０と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ１２０１において周辺処理ユニット判定部８０７は、復号対象の処理ユニットの上方に存在する所定の処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ１００４に進み、参照不可能の場合にはステップＳ１２０３に進む。

ステップＳ１２０３においてイントラ予測モード復号部８０４は、符号化対象の処理ユニットの左方に存在する処理ユニットが参照可能か否かを判定し、参照可能な場合にはステップＳ１００４に進み、参照不可能の場合にはステップＳ１２０３に進む。

ステップＳ１００４では復号対象の処理ユニットのイントラ予測モードを復号する。すなわち、符号が“０”であれば、平均値予測モードを、“１０”であれば垂直予測を、“１１”であれば水平予測モードが選択されたものとし、そのモードをステップ１１０５の画素データ再構成のステップに渡した後、処理を終了する。

ステップＳ１２０３においてイントラ予測モード復号部８０４は、上方処理ユニットも左方処理ユニットも参照不可能な場合でも選択することができる所定のイントラ予測モードを設定する。本実施形態では、参照できない単位ユニットの平均値をあらかじめ決められた値があるものとしてその平均値でイントラ予測を行うモードが設定される。

以上の構成と動作により、ハードウェアやメモリを追加することなく復号することができる。

＜実施形態８＞
本実施形態では、実施形態４で生成された符号化データの復号を例にとって説明する。

図１３は、図９のステップＳ９０４の実施形態８における詳細な処理を示すフローチャートある。図１３において実施形態７の図１２と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ１３０１においてイントラ予測モード復号部８０４は、上方処理ユニットも左方処理ユニットも参照不可能な場合には使用できないイントラ予測モードの識別分のビットを省いた方法で復号する処理ユニットのイントラ予測モードを復号する。すなわち、１ビットの符号が“１”であれば、予め決められた値の平均値から予測する平均値予測モードが選択されたものとし、符号が“０”であれば、イントラ予測を行わないモードが選択されたものとする。

以上の構成と動作により、ハードウェアやメモリを追加することなく復号することができる。

＜実施形態９＞
図１、図８に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図８に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。

図１４は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１４０１は、図１、図８に示した各処理部として機能することになる。

ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ１４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。表示部１４０５は、ＣＰＵ１４０１による処理結果を表示する。また表示部１４０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。

外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１、図８に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１４０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。１４０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１４０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (9)

1. 入力されたデータを符号化する符号化装置であって、
   入力された画像を処理対象のブロックに分割する分割手段と、
   前記分割手段によって分割された処理対象のブロックを単位として、該処理対象のブロックの画面内予測のモードを決定する予測モード決定手段と、
   前記処理対象のブロックの周辺のブロックが参照可能か否かを判定する判定手段と、
   前記判定手段の結果に基づいて、前記予測モード決定手段によって決定された予測モードを符号化する予測モード符号化手段と
   を有することを特徴とする画像符号化装置。
2. 前記判定手段は、前記処理対象のブロックから空間的に上方または左方のブロックが参照可能か否かを判定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記判定手段によって空間的に上方または左方のブロックがどちらも存在しかつ参照可能であった場合、前記予測モード符号化手段は前記予測モードを所定の方法で符号化し、前記判定手段によって空間的に上方または左方のブロックのうちいずれか一方が参照可能であった場合、予測モード符号化手段は、前記参照可能なブロックを用いる予測モードに対して符号量を割り当て、参照不可能なブロックを用いる予測モードに対しては符号量を割り当てないことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段によって参照可能であると判定された場合、前記予測モード符号化手段は前記予測モードを所定の方法で符号化し、前記判定手段によって参照不可能であると判定された場合には、前記予測モード符号化手段は前記予測モードを符号化しないことを特徴とする請求項１に記載の画像符号化装置。
5. 入力された符号化データを復号する復号装置であって、
   入力された符号化データをエントロピー復号することによって処理対象のブロックの符号化された予測モードを抽出するエントロピー復号化手段と、
   前記処理対象のブロックの周辺のブロックが参照可能か否かを判定する判定手段と、
   前記判定手段の結果に基づいて、前記予測モードを復号化する予測モード復号化手段と
   を有することを特徴とする画像復号装置。
6. 入力されたデータを符号化する符号化装置における符号化方法であって、
   入力された画像を処理対象のブロックに分割する分割工程と、
   前記分割工程によって分割された処理対象のブロックを単位として、該処理対象のブロックの画面内予測のモードを決定する予測モード決定工程と、
   前記処理対象のブロックの周辺のブロックが参照可能か否かを判定する判定工程と、
   前記判定工程の結果に基づいて、前記予測モード決定工程によって決定された予測モードを符号化する予測モード符号化工程と
   を有することを特徴とする画像符号化方法。
7. 入力された符号化データを復号する復号装置における復号方法であって、
   入力された符号化データをエントロピー復号することによって処理対象のブロックの符号化された予測モードを抽出するエントロピー復号化工程と、
   前記処理対象のブロックの周辺のブロックが参照可能か否かを判定する判定工程と、
   前記判定工程の結果に基づいて、前記予測モードを復号化する予測モード復号化工程と
   を有することを特徴とする画像復号方法。
8. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
9. コンピュータが読み出して実行することにより、前記コンピュータを、請求項５に記載の復号装置として機能させることを特徴とするプログラム。

Images