JP2007201558A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】Ｈ．２６４画像符号化のイントラ予測、動き予測および直交変換の処理における符号化モード（あるいは符号化タイプ）を適応的に選択しその画像の解像度に応じた適切な符号化を可能にし、回路規模、消費電力あるいは画質といった実装上の観点から最適な動画像符号化装置および動画像符号化方法を提供すること。
【解決手段】複数ピクチャからなる動画像の各ピクチャをマクロブロックに分割すると共にマクロブロックを更にブロックに分割してイントラ予測、動き予測並びに直交変換の処理を行う動画像符号化装置１であって、符号化対象ピクチャの符号化後の解像度に関する情報である解像度情報の選択または入力を受け付ける解像度情報受付部１１０と、解像度情報受付部１１０により受け付けられた解像度情報に応じ、マクロブロックを分割するときの分割サイズを複数の選択肢の中から１つ以上選択するブロックサイズ選択部１１１とを備える。
【選択図】図１

Description

本発明は、画像を光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に圧縮記録する動画像圧縮符号化方式に関し、特に、Ｈ．２６４画像符号化方式の動画像符号化装置および動画像符号化方法に関する。

ＭＰＥＧ−２やＭＰＥＧ−４といった従来の画像符号化方式に比べ、２倍近くの高い符号化効率を実現する方式としてＨ．２６４（ＭＰＥＧ−４ ＡＶＣとも呼ばれる）が規格化されている（例えば、非特許文献１参照）。Ｈ．２６４は、直交変換と動き補償をベースとしたハイブリッド画像符号化であるという点で、従来の方式と変わりない。しかしながら、符号化を構成する各要素の符号化ツールの自由度が高く、それらの累積効果で高い符号化効率を実現している。

図１３は、Ｈ．２６４画像符号化を実現する従来の動画像符号化装置の機能的な構成の一例を示す機能ブロック図である。この動画像符号化装置は、図１３に示すようにＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１１と、画像並び替えバッファ１２と、マクロブロック分割部１３、差分処理部１４、直交変換部１５、量子化部１６、符号化部１７、蓄積バッファ１８、逆量子化部１９、逆直交変換部２０、加算処理部２１、フレームメモリ２２、イントラ推定部２３、動き推定部２４、モード選択部２５、モードスッチ２６、イントラ予測部２７、動き補償部２８、およびレート制御部２９を備えている。

Ａ／Ｄ変換部１１は、入力されたアナログの輝度信号Ｙ、色差信号Ｃｂ、Ｃｒから構成される原画像信号をデジタルの画像信号に変換する。

画像並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力した原画像信号内のフレーム画像信号を、その符号化ピクチャタイプＩ、Ｐ、ＢからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じて、符号化する順番に並べ替える。

なお、符号化ピクチャタイプにおけるＩピクチャとは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測（イントラ予測）符号化を行うピクチャである。また、既に処理済みの１枚のピクチャを参照してピクチャ間予測（インター予測）符号化するピクチャをＰピクチャと呼び、既に処理済みの２枚以上のピクチャを同時に参照してピクチャ間予測（インター予測）符号化するピクチャをＢピクチャと呼んでいる。

連続するピクチャ（フレームおよびフィールドの両者を包含する１つの符号化の単位）からなる動画像の各ピクチャは、４：２：０フォーマットのピクチャである場合、図１４（Ａ）〜図１４（Ｃ）に示すように、１個の輝度信号（Ｙ信号３１）と２個の色差信号（Ｃｂ信号３２、Ｃｒ信号３３）とで構成されており、色差信号の画像サイズは縦横とも輝度信号の１／２となる。

また、動画像の各ピクチャはマクロブロックと呼ばれるブロックに分割され、マクロブロック単位で符号化される。マクロブロックは図１５（Ａ）に示すように１６×１６画素の１個のＹ信号ブロック４１と、図１５（Ｂ）及び図１５（Ｃ）それぞれに示すように、Ｙ信号ブロック４１と空間的に一致する８×８画素のＣｂ信号ブロック４２およびＣｒ信号ブロック４３にて構成されている（例えば、非特許文献１参照）。

入力された各ピクチャは、マクロブロック分割部１３にて入力マクロブロックに分割される。分割された入力マクロブロックは、差分処理部１４に入力される。差分処理部１４は、入力マクロブロックの各画素に対して、イントラ予測部２７または動き補償部２８で生成された予測マクロブロックの空間的に対応する各画素との間で差分処理を施し、差分マクロブロックを出力する。

差分マクロブロックは、直交変換部１５に入力され、複数の直交変換ブロックに周波数変換される。なお、直交変換ブロックのサイズは、従来のＭＰＥＧ方式では８×８画素であるが、Ｈ．２６４では、ＢａｓｅｌｉｎｅおよびＭａｉｎの各プロファイルにおいては４×４画素が基本サイズであり、Ｈｉｇｈプロファイルにおいては４ｘ４画素と８×８画素の２つのうちどちらかを基本サイズとしてマクロブロック単位で選択できる。なお、Ｈｉｇｈプロファイルにおいて、ピクチャ単位で４ｘ４画素と８×８画素の両方が使用できる場合と、４ｘ４画素だけしか使用できない場合とを選択できる。

直交変換部１５は、差分マクロブロックを、まず図１６（Ａ）〜図１６（Ｃ）に示すような２４個の４×４画素ブロック（５１−０から５１−１５、５２−０から５２−３、５３−０から５３―３）に分割し、それぞれについて直交変換を行う。８×８画素の直交変換については、６個の８×８画素ブロックについて同様に行われる。なお、後で述べるイントラ１６×１６予測が選択された場合には、各４×４直交変換ブロックの直流成分のみを集めた直交ブロック（５１−１６、５２−４、５３−４）を信号成分毎に構成し、さらに直交変換する。直交変換ブロック内の各変換係数は量子化部１６に入力される。

量子化部１６は、レート制御部２９から入力された量子化パラメータに従って、各直交変換ブロック内の変換係数を量子化する。量子化された直交変換係数は、符号化部１７に入力され、符号化（コード化）される。Ｈ．２６４では、符号化部１７として、可変長符号化を用いたＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）あるいはＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が用意されている。

符号化部１７は、量子化された直交変換係数および後述するモード選択部２５で選択された予測情報をコード化し、蓄積バッファ１８に供給する。蓄積バッファ１８は蓄積したコードをストリームとして出力する。

量子化された直交変換係数は、符号化部１７へ供給されると同時に、逆量子化部１９に入力される。逆量子化部１９は、レート制御部２９から入力される量子化パラメータに従って、量子化された直交変換係数を逆量子化する。これにより直交変換ブロックが復元する。復元された直交変換ブロックは、逆直交変換部２０にて差分マクロブロックに復元される。復元された差分マクロブロックは、予測マクロブロックと共に加算処理部２１に入力される。

加算処理部２１は、復元された差分マクロブロックと予測マクロブロックの各画素に加算処理を施し、再生マクロブロックを生成する。この再生マクロブロックは、さらに予測処理に用いるためフレームメモリ２２に蓄積される。

上記の逆量子化部１９、逆直交変換部２０、加算処理部２１で行われる一連の処理はローカル復号化と呼ばれる。このローカル復号化には、復号側と同様の再生マクロブロックを生成する能力をもつ必要がある。

次に、上記予測マクロブロックを生成するための予測方法、予測タイプについて説明する。

予測方法には、大きく分けて２種類あり、それぞれ、イントラ予測、動き予測（フレーム間予測あるいはインター予測）と呼ばれる。

イントラ予測は、フレーム内の符号化済み画素を用いて、マクロブロック内の画素を予測する方法である。Ｈ．２６４には、予測を行う単位として２種類のブロックサイズ、４×４ブロックおよび１６×１６ブロックが用意されており、それぞれ、イントラ４×４予測とイントラ１６×１６予測と呼ばれている。

さらに、イントラ４×４予測には９種類、イントラ１６×１６予測には４種類の方向の異なる予測モード（予測タイプとも呼ばれる。）が用意されており、マクロブロック毎（イントラ４×４予測では、４×４ブロック毎）に予測モードを選択することができる。

図１７（Ａ）は、イントラ４×４予測において予測する対象画素（ａからｐの１６画素）と予測に用いる符号化済み隣接画素（ＡからＬの１２画素）の配置を示す図である。ここで、前記対象画素（ａからｐ）はマクロブロック分割部１３から出力された符号化対象のマクロブロック内の画素であり、一方、符号化済み隣接画素（ＡからＬ）は復号化され再生されたマクロブロックまたはブロックの画素であり、フレームメモリから読み出される。

図１７（Ｂ）は、イントラ４×４予測の予測方向を示す図である。予測対象画素の画素値は、符号化済み隣接画素の画素値を用い、予測方向に沿って、規格（例えば、非特許文献１）で規定された演算式によって算出される。ここで、このときの予測方向をモード番号（モード０からモード８）で示される。

図１７（Ｃ）は、モード番号と各予測方向との対応を示す図である。
図１７（Ｃ）に示すように、各予測方向は、モード０の予測方向を示すブロック６０では垂直、モード１の予測方向を示すブロック６１では水平、モード２の予測方向を示すブロック６２ではＤＣ（平均）、モード３の予測方向を示すブロック６３では斜め左下方、モード４の予測方向を示すブロック６４では斜め右下、モード５の予測方向を示すブロック６５では垂直右方、モード６の予測方向を示すブロック６６では水平下方、モード７の予測方向を示すブロック６７では垂直左方、モード８の予測方向を示すブロック６８では水平上方である。

上記イントラ４×４予測は輝度信号に適用される。例えば、モード０の場合，予測対象画素の４×４画素ブロックの上側に隣接する復号済みの画素データを用いて，垂直方向の予測を行い，予測画像を生成する。この予測モードは，予測対象の画像領域に垂直方向エッジや境界がある場合に有効な予測モードである。モード０以外の予測モードも同様にそれぞれが特定方向のエッジや境界に対して有効な予測モードとなっており，隣接ブロックの復号済み画素を基に予測対象画素を生成する。

また、輝度信号の場合は、図１８（Ａ）〜図１８（Ｄ）に示すように、イントラ１６×１６予測に対しても４通りの予測モード（図１８（Ａ）モード０：垂直、図１８（Ｂ）モード１：水平、図１８（Ｃ）モード２：ＤＣ（平均）、図１８（Ｄ）モード３：ｐｌａｎｅ）が規格（例えば、非特許文献１）で定義されており、イントラ４×４予測を含め合計１３通りの予測モードの中から最適な予測モードを選択し符号化に用いる。

また、色差信号については，８×８画素ブロックに対し，４通りの予測モード（輝度信号のイントラ１６×１６予測と同様な予測方向からなる。但し、モード０：ＤＣ、モード１：水平、モード２：垂直：モード３：ｐｌａｎｅ）が定義されており，輝度信号とは独立に予測モードを符号化することが可能である。

なお、Ｈｉｇｈプロファイルのイントラ予測では、輝度信号について４×４ブロックおよび１６×１６ブロックにさらに８×８ブロックのイントラ８×８予測が追加されている。このイントラ８×８予測は上記Ｈｉｇｈプロファイルにおける８×８の直交変換の追加に合わせて追加されたものである。イントラ８×８予測は、３タップのローパスフィルタ後、イントラ４×４予測と同様９つの予測モードが設定されている（非特許文献１、参照）。

なお、それぞれのモードで予測された各予測ブロックについて、その予測ブロックとそのブロックに対応するマクロブロック分割部１３から出力された対象ブロックとが比較され、それらブロック間の差分絶対値和などの評価関数に基づいて各予測ブロックの評価値が算出される。

動き予測（フレーム間予測あるいはインター予測）には、符号化済みのピクチャ内の画素を用いてマクロブロック内の画素を予測する方法であり、ＰタイプとＢタイプがある。なお、符号化済みのピクチャ内の画素はフレームメモリ２２から読み出す。また、現在、符号化しようとしている対象のマクロブロックはマクロブロック分割部１３から出力されたマクロブロックである。

動き予測の基本となる動き推定と動き補償の概念について、図１９を例に説明する。動き推定とは、符号化済みのピクチャ（参照ピクチャ）から対象マクロブロックの内容と似通った部分を検出する技術である。ここでは、動き推定の典型的な技術としてブロックマッチング法について説明する。

図１９（Ａ）に破線で示す参照ピクチャ８３内の輝度成分ブロック８４が図１９（Ｂ）に示す太枠で囲んだ現在の対象ピクチャ８１の輝度成分ブロック８２と空間的に同位置に相当する。動き推定では、まず、輝度成分ブロック８４を囲む探索範囲８７を設定する。次に、この範囲内を１画素ずつ縦横に移動しながら探索し、評価値が最小となる位置をそのブロックの予測位置とする。評価値の算出には、例えば、ブロック内の予測誤差信号の絶対値和、または２乗和に動きベクトルの符号量を加味した関数を用いる場合が多い。

動きベクトルとは、元のブロック位置から予測位置までの移動量をベクトルで示したものである。例えば、輝度ブロック８４に対応する予測位置をブロック８５とすると、移動量８６が動きベクトルとなる。なお、Ｈ．２６４では、動きベクトルの精度は１／４画素であり、整数精度で探索を行った後、その周囲の１／２画素と１／４画素を検索する必要がある。一方、動き補償は、動きベクトルと参照ピクチャから予測ブロックを生成する技術である。例えば、輝度成分ブロック８２を予測対象ブロック、移動量８６を動きベクトルすると、ブロック８５が予測ブロックとなる。

図２０は、Ｐピクチャタイプにおける動き補償のブロックサイズを示す図である。基本のマクロブロックタイプ（モード）は、図２０（Ａ）〜図２０（Ｄ）に示す４種類の分割ブロックのタイプがあり、予測対象となるマクロブロック毎に選択する。さらに、８×８ブロックを選択した場合には、各８×８のサブブロックタイプ（モード）について、図２０（Ｅ）〜図２０（Ｈ）に示す４種類の分割ブロックのタイプから選択する。Ｈ．２６４では、参照ピクチャとして複数のピクチャを用意し、基本マクロブロックタイプ内の各分割ブロック（９０−０、９１−０〜９１−１、９２−０〜９２−１、９３−０〜９３−３）毎にどの参照ピクチャを予測に用いるかを選択できる。

Ｂピクチャタイプおいても選択可能な動き補償のブロックサイズは、同様であるが、基本マクロブロックタイプ（モード）内の各分割ブロック毎に、予測の種類（参照ピクチャの数と方向）を選択できる。具体的には、複数の参照ピクチャを登録した２種類の参照ピクチャリスト（リスト１とリスト２）を用意し、リスト１（前方予測）、リスト２（後方予測）あるいはリスト１とリスト２の両方（双予測）の３通りから予測の種類を選択できる。予測に使用する参照ピクチャも、各リストについて、基本マクロブロックタイプ内の分割ブロック毎に選択できる。なお、双予測では、２つの予測候補ブロック内の各画素を内挿処理して、予測ブロックを生成する。

また、Ｂピクチャタイプでは、１６×１６マクロブロックと８×８サブブロックに対して、ダイレクト予測と呼ばれる予測モードが用意されている。この予測モードでは、符号化済みの情報からそのブロックの参照ピクチャ、予測の種類、動きベクトルが自動的に算出されるため、これらの情報を符号化する必要がない。

さらに、上記予測タイプのそれぞれについて、ｓｋｉｐマクロブロックといわれるモードが存在する。このモードでは、動き補償後の予測マクロブロックと対象マクロブロックとの予測誤差がゼロのモードである。Ｐタイプのｓｋｉｐマクロブロックでは動きベクトルもゼロで、Ｂピクチャタイプのｓｋｉｐマクロブロックでは動きベクトルは上記ダイレクトモードと同じ方法で算出される。

なお、上記動き推定部２４で予測した予測タイプ（モード）についてそれぞれ、予測タイプ（モード）から生成した予測マクロブロックと対象マクロブロックの差分絶対値和および動きベクトルの推定符号量などを考慮した評価関数によって評価値を算出する。

以上のようにして、イントラ推定部２３および動き推定部２４で選択された各予測タイプ（モード）とその評価値は、モード選択部２５に出力される。モード選択部２５は、イントラ推定部２３と動き推定部２４とから受け取った複数の評価値からその値が最小となる予測タイプ（モード）を選択する。

選択された予測タイプ（モード）はモードスッチ２６へ送られる。モードスッチ２６は、選択された予測タイプ（モード）に従って、予測情報（予測タイプ、動きベクトル、参照ピクチャ番号）をイントラ予測部２７または動き補償部２８に対して出力する。イントラ予測部２７または動き補償部２８は、選択された予測タイプと、フレームメモリ２２内の符号化済み周囲画素や参照ピクチャから予測マクロブロックを生成し、差分処理部１４および加算処理部２１に出力する。

このように、Ｈ．２６４画像符号化では、イントラ予測、動き予測および直交変換の処理において複数の符号化モード（あるいは符号化タイプ）が選択できるため、最適な符号化モード（あるいは符号化タイプ）を選択することで符号化効率は高くなる。すなわち、先に述べたように、Ｈ．２６４画像符号化における符号化モード（あるいは符号化タイプ）の選択肢の多さが、従来のＭＰＥＧ−２やＭＰＥＧ−４といった画像符号化と大きく異なる点である。

また、Ｈ．２６４画像符号化では、そのレベルによって最大フレームレートやピクチャのサイズが決められている。例えば、レベルが最高の５．１（非特許文献１参照）であれば、図２１に示すようなピクチャフォーマットがすべてデコードできなければならない。なお、現在よく使用されてものとして、標準解像度のＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）のピクチャフォーマットとしては、“５２５ ４ＳＩＦ”、“５２５ ＳＤ”、“４ＣＩＦ”あるいは“６２５ ＳＤ” が挙げられる。また、高解像度のＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のピクチャフォーマットとしては、“７２０ｐ ＨＤ”、あるいは“１０８０ ＨＤ”が挙げられる。

このように、Ｈ．２６４画像符号化は、多くの符号化モード（あるいは符号化タイプ）の選択肢を有し、しかも、多くのピクチャフォーマットに対応させることができる。これに対して、従来の画像符号化などでは、イントラ予測、動き予測および直交変換の処理において符号化モード（あるいは符号化タイプ）として選択肢がほとんどないため、標準解像度のＳＤの画像を符号化する場合と高解像度のＨＤの画像を符号化する場合とで、同じような符号化設定条件で符号化していた。

例えば、ＭＰＥＧ−２画像符号化では、Ｈ．２６４画像符号化のようなイントラ予測はなく、動き予測は１６×１６のマクロブロック単位で行われ、直交変換は８×８ブロックサイズのみである。同様に、ＭＰＥＧ−４でもＨ．２６４画像符号化のようなイントラ予測はなく、直交変換は８×８ブロックサイズのみ、動き予測も１６×１６と８×８のブロックサイズを選択できるだけである。

これに対して、Ｈ．２６４画像符号化では、上記の処理単位となるブロックサイズ等の要素を含む符号化モード（あるいは符号化タイプ）の選択肢が多く、解像度の違いによって符号化モード（あるいは符号化タイプ）の選択が可能である。しかしながら、そうした選択の自由度は、一方で、Ｈ．２６４画像符号化を実装する上で、回路規模、消費電力あるいは画質の観点から、解像度が違う場合、符号化モード（あるいは符号化タイプ）をいかに選択するかといった課題を生むことになる。

例えば、回路規模あるいは消費電力の観点からみると、ピクチャの解像度が高くなればなるほど、処理するマクロブロックは増え、すべての符号化モード（あるいは符号化タイプ）から最適なモード（あるいはタイプ）を選択するとなると、演算量が大幅に増大し動作周波数を上げなければならず結果的に消費電力が大きく上昇する。また、パイプラン化し動作周波数を下げたとしても今度は回路規模が増大する。

また、画質の観点からみると、高解像度ＨＤは標準解像度ＳＤに比べピクチャ内のマクロブロックの総数が２倍以上のため、高解像度ＨＤのマクロブロックは標準解像度ＳＤのそれよりも表示画面に占める面積が小さくなる。従って、人間の視覚分解能を考慮すると、高解像度ＨＤの小さなマクロブロックに発生した歪みは検知しにくくなる。これにより、高解像度ＨＤの画像は、同じＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）の標準解像度ＳＤの画像と比べ画質の劣化許容限度が低くなるため、画質的に余裕ができ、符号化モードの最適化に余裕を持たせることができる。

更に、画像の情報量の観点から見ると、平坦で一様な画像内容でなければ、高解像度ＨＤは標準解像度ＳＤよりも画像の情報量が少なくなる。同じ内容の画像を取り込んで符号化した場合、標準解像度ＳＤの方が１マクロブロックに表現される画像の内容（対象物が表現される領域）が広いため、マクロブロック内の画像の大きな信号変化も多くなり、情報量が多くなる。

上記課題に対して、従来技術として、テレビジョン番組の種類から前記テレビジョン番組の信号の符号化条件を決定する符号化条件生成器と、前記信号を符号化する信号符号化器とを具備し、前記信号符号化器は前記符号化条件生成器により決定された符号化条件によって前記信号を符号化することを特徴とするテレビジョン信号符号化装置が開示されている（例えば、特許文献１参照）。なお、上記信号の符号化条件としては、平均ビットレート、画面サイズなどである。

上記テレビジョン信号符号化装置では、テレビジョン番組、例えば、スポーツ番組、ドラマ番組あるいはニュース番組といった番組の種類によって最適な符号化条件が異なるため、その番組を符号化する条件、例えば、平均ビットレートや画面サイズなどを決定し、その符号化条件で符号化するというものである。
Ｄｒａｆｔ ｏｆ Ｖｅｒｓｉｏｎ ４ ｏｆ Ｈ．２６４／ＡＶＣ（ＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ ａｎｄ ＩＳＯ／ＩＥＣ １４４９６−１０ （ＭＰＥＧ−４ ｐａｒｔ １０） Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）,Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ−Ｔ ＶＣＥＧ、Ｄｏｃｕｍｅｎｔ：ＪＶＴ−Ｎ０５０ｄ１、２００５−０１−２８ 特開平１１−５５６２６号公報

上述のように、Ｈ．２６４画像符号化は、ＭＰＥＧ−２やＭＰＥＧ−４といった従来の符号化方式に比べ、イントラ予測、動き予測および直交変換の処理において多くの符号化モード（あるいは符号化タイプ）を有しており、解像度の違いによって符号化モード（あるいは符号化タイプ）の選択が可能である。しかしながら、そうした選択の自由度は、一方で、Ｈ．２６４画像符号化を実装する上で、回路規模、消費電力あるいは画質の観点から、解像度が違う場合、符号化モード（あるいは符号化タイプ）をいかに選択するかといった課題を生むことになる。

なお、上記特許文献１に開示された技術は、テレビジョン番組の種類によって、平均ビットレートや画面サイズといった符号化条件を設定することで番組に合った符号化を可能にすると言うものである。こうした符号化する前にテレビジョン番組の種類を知る番組情報のようなものが提供されている、あるいはすでに知っていて入力することが可能な場合にのみ符号化条件を決定することができる。

しかしながら、自分で撮影記録しようとしている場合、あるいは記録しようとしている番組の内容が事前にわからない場合は、符号化条件の設定は一般にはむずかしく、符号化モード（あるいは符号化タイプ）の選択も何らかの画像情報をもとに設定する必要がある。

本発明は上記の事情に鑑みてなされたものであり、画像の解像度に関する情報を利用し、Ｈ．２６４画像符号化のイントラ予測、動き予測および直交変換の処理における符号化モード（あるいは符号化タイプ）を適応的に選択しその画像の解像度に応じた適切な符号化を可能にし、回路規模、消費電力あるいは画質といった実装上の観点から最適な動画像符号化装置および動画像符号化方法を提供することを目的とする。

上記課題を解決し上記目的を達成するために、本発明の動画像符号化装置は、複数ピクチャからなる動画像の各ピクチャをマクロブロックに分割すると共に前記マクロブロックを更にブロックに分割してイントラ予測、動き予測並びに直交変換の処理を行う動画像符号化装置であって、符号化対象ピクチャの符号化後の解像度に関する情報である解像度情報の選択または入力を受け付ける解像度情報受付手段と、前記解像度情報受付手段により受け付けられた前記解像度情報に応じ、前記マクロブロックを分割するときの分割サイズを複数の選択肢の中から１つ以上選択するブロックサイズ選択手段とを備える。

この構成により、本発明の動画像符号化装置は、解像度に関する情報である解像度情報に応じてイントラ予測等に使用されるブロックサイズを複数の選択肢の中から絞り込むことができる。従って、符号化処理に係る動作を効率的に行うことができ、かつ、解像度に応じた適切な符号化が可能となる。

また、前記ブロックサイズ選択手段は、前記解像度情報受付手段により受け付けられた前記解像度情報が所定の解像度以上の解像度を示す場合、前記分割サイズとして所定のサイズ以上のブロックサイズを選択するとしてもよい。または、前記ブロックサイズ選択手段は、前記解像度情報受付手段により受け付けられた前記解像度情報が所定の解像度以下の解像度を示す場合、前記分割サイズとして所定のサイズ以下のブロックサイズを選択するとしてもよい。

これにより、ユーザの実質的な視認能力を考慮したブロックサイズの候補の絞り込みを行うことができる。

また、本発明の動画符号化装置は、更に、前記符号化対象ピクチャ内における信号変化または信号レベルに基づき、前記符号化対象ピクチャの少なくとも一部の特徴を示す情報である画像特徴量を算出する画像特徴量算出手段を備え、前記ブロックサイズ選択手段は、前記解像度情報受付手段により受け付けられた前記解像度情報と、前記画像特徴量算出手段により算出された前記画像特徴量とに基づき、前記分割サイズを選択するとしてもよい。

この構成により、本発明の動画符号化装置は解像度情報だけでなく、平坦か非平坦か、または明るいか暗いか等の画像の特徴を考慮してイントラ予測等に使用されるブロックサイズの候補の絞り込みを行うことができる。つまり、ユーザの実質的な視認能力を考慮した、より緻密な絞り込みを行うことができる。

また、前記画像特徴量は、前記符号化対象ピクチャ内における信号変化の度合いおよび信号レベルの大きさの少なくとも一方と正の相関関係を有する値であり、前記ブロックサイズ選択手段は、前記画像特徴量が所定の閾値以上である場合、前記分割サイズとして所定のサイズ以下のブロックサイズを選択するとしてもよい。または、前記ブロックサイズ選択手段は、前記画像特徴量が所定の閾値以下である場合、前記分割サイズとして所定のサイズ以上のブロックサイズを選択するとしてもよい。

これらによっても、ユーザの実質的な視認能力を考慮したブロックサイズの候補の絞り込みを行うことができる。

また、前記画像特徴量算出手段は、前記画像特徴量として、前記符号化対象ピクチャが分割されたマクロブロック内の信号変化または信号レベルに基づき、前記マクロブロックの特徴を示す情報を算出し、前記ブロックサイズ選択手段は、前記マクロブロック毎に前記分割サイズを選択するとしてもよい。

これにより、細かい単位で分割サイズを選択することができる。つまり、より細かい単位で最適な符号化モードを選択することができる。

また、前記解像度情報受付手段は、前記解像度情報として少なくとも標準解像度または高解像度を示す情報を受け付けるとしてもよい。また、前記標準解像度を示す情報とは、ピクチャフォーマットである“５２５ ４ＳＩＦ”または“６２５ＳＤ”を示す情報であり、前記高解像度を示す情報とは、ピクチャフォーマットである“７２０ｐＨＤ”または“１０８０ＨＤ”を示す情報であるとしてもよい。

また、前記ブロックサイズ選択手段は、前記解像度情報受付手段により前記解像度情報として前記高解像度を示す情報が受け付けられた場合、前記イントラ予測および前記直交変換の処理に使用する前記分割サイズとして８×８のブロックサイズを含む１つ以上のブロックサイズを選択するとしてもよい。

また、前記ブロックサイズ選択手段は、前記解像度情報受付手段により、前記解像度情報として前記高解像度を示す情報が受け付けられた場合、前記動き予測の処理に使用する前記分割サイズとして４×４のブロックサイズを含まない１つ以上のブロックサイズを選択するとしてもよい。

さらに、本発明は、本発明の動画像符号化装置の特徴的な構成部をステップとする方法として実現したり、それらのステップを含むプログラムとして実現したり、そのプログラムが格納されたＣＤ−ＲＯＭ等の記憶媒体として実現したり、集積回路として実現することもできる。プログラムは、通信ネットワーク等の伝送媒体を介して流通させることもできる。

本発明の動画像符号化装置および動画像符号化方法によれば、解像度に関する情報を選択または入力して設定し、イントラ予測、動き予測および直交変換の処理における符号化モード（あるいは符号化タイプ）を適応的に選択することで、その画像の解像度に応じた符号かを可能とすることができる。結果として、回路規模の削減、消費電力の低減あるいは高画質化の保持を可能にする。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における動画像符号化装置の機能的な構成を示す機能ブロック図である。

図１に示す動画像符号化装置１は、入力される動画像をブロック単位で符号化するための装置であり、図１に示すようにＡ／Ｄ変換部１１と、画像並び替えバッファ１２と、マクロブロック分割部１３、差分処理部１４、直交変換部１５、量子化部１６、符号化部１７、蓄積バッファ１８、逆量子化部１９、逆直交変換部２０、加算処理部２１、フレームメモリ２２、イントラ推定部２３、動き推定部２４、モード選択部２５、モードスッチ２６、イントラ予測部２７、動き補償部２８、レート制御部２９、解像度情報受付部１１０、およびブロックサイズ選択部１１１を備えている。

本実施の形態の動画像符号化装置１の構成は、上記背景技術で説明した従来の動画像符号化装置の構成に、解像度情報受付部１１０およびブロックサイズ選択部１１１が追加されたものである。従って、動画像符号化装置１の各構成部の符号は、図１３に示す動画像符号化装置の構成部と同じ動作をするところは同じ符号を付してある。

このため、以下、本実施の形態の説明では、上記従来の動画像符号化装置の構成とは異なる構成部である解像度情報受付部１１０とブロックサイズ選択部１１１、および、これら構成部と、ブロックサイズ選択部１１１から信号が送られている直交変換部１５、イントラ推定部２３および動き推定部２４との関係について中心的に述べる。

解像度情報受付部１１０は、符号化対象ピクチャの符号化後の解像度に関する情報（以下、単に「解像度情報」ともいう。）の選択または入力を受け付ける処理部である。例えば、図１に記載されていない表示画面に、メニュー形式で解像度の情報に関する選択画面が用意されており、ユーザにより、動画像の符号化後の解像度が選択されることによりその選択された情報を受け付けることができる。なお、表示画面のメニューでなくとも、スイッチやボタンなどで特定の解像度の情報を表すシンボルや名称を選択するような形態でもよい。また、ユーザが解像度情報を直接入力できる入力フィールドを表示画面に表示し、入力フィールドに入力される解像度情報を受け付けてもよい。

なお、解像度情報としては、例えば、図２１に示したようなピクチャフォーマットの名称（例えば、５２５ ４ＳＩＦ、１０８０ ＨＤ）、具体的な輝度信号の幅と高さのサンプル数の数値、解像度のモードに関する記載（例えば、標準解像度モード、高解像度モード）あるいは解像度を何らかの独自の名称、記号ないし音声で規定したものである。これら解像度情報は、ブロックサイズ選択部１１１へ供給される。

ブロックサイズ選択部１１１は、解像度情報受付部１１０により受け付けられた解像度情報に応じ、マクロブロックを分割するときの分割サイズを、複数の選択肢の中から１つ以上選択する処理部である。

具体的には、解像度情報受付部１１０から供給される解像度情報に基づきイントラ予測、動き予測および直交変換で用いるブロックサイズの候補を選択する。このとき選択肢となるブロックサイズは、イントラ予測の輝度信号の場合、４×４、８×８および１６×１６の３種類、動き予測では１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４の７種類、そして直交変換では４×４および８×８の２種類である。

ブロックサイズの選択は、上記のブロックサイズの種類から解像度に合わせて符号化効率、画質において有効であるものを一つ以上選択する。具体的に、解像度として、現在、標準解像度ＳＤに属するであろうピクチャのフォーマット“５２５ ４ＳＩＦ”と、高解像度ＨＤに属するであろうピクチャのフォーマット“１０８０ ＨＤ”の２つの解像度がユーザに選択される場合を例に挙げ、それぞれの場合のブロックサイズ選択部１１１の動作を説明する。

図２は、上記２つの解像度、ＳＤ（５２５ ４ＳＩＦ）とＨＤ（１０８０ ＨＤ）における輝度信号サンプル数とマクロブロック数とを示す図である。ＨＤはＳＤに対してピクチャ当たり６倍程度のサンプル数（マクロブロック数）を有している。従って、単純に計算して、イントラ予測や直交変換の場合、“１０８０ ＨＤ”は“５２５ ４ＳＩＦ”のマクロブロック数比の６倍程度の演算量である。また、ピクチャ全体に対する探索範囲の割合がＳＤとＨＤで同じであれば、動き予測ではこの６倍に更に動き探索範囲の２乗倍が乗算される。

このため、ＨＤの演算量を抑え消費電力を低減したり、回路規模を削減するには、できるだけ画質に影響しないブロックサイズをイントラ予測等に使用する候補から除外した方がよい。とりわけ、ブロックのサイズが小さい場合、同一画面に表示したＨＤのブロックはＳＤに比べ非常に小さくなるので、歪みも検知しにくく、画像の情報量も低くなる可能性がある。そのため、ブロックサイズの使用候補から外しても影響はない。逆に、使用候補を少なくすることにより、画像の内容によっては、符号化するブロック数が減るため、ブロックを示す符号化モード（あるいは符号化タイプ）に関する情報の送出も減り、符号化効率が上がる場合がある。

以下、本実施の形態では、Ｈ．２６４画像符号化においてイントラ８×８予測、８×８直交変換が使用可能なＨｉｇｈプロファイルを使用し、“１０８０ ＨＤ”までデコード可能なレベル４．１（非特許文献１参照）を想定し説明する。

図３は、ＳＤおよびＨＤのそれぞれの場合においてイントラ予測に使用するブロックサイズの候補の例を示す図である。ＳＤとＨＤに関する上記の理由から、ＳＤの場合、４×４および１６×１６のブロックサイズが使用候補として選択される。ＨＤの場合、８×８および１６×１６のブロックサイズが使用候補として選択される。

図４は、ＳＤおよびＨＤのそれぞれの場合において直交変換に使用するブロックサイズの候補の例を示す図である。

イントラ予測のブロックサイズと関係する直交変換におけるブロックサイズは、図４に示すようにＳＤの場合４×４が、ＨＤの場合８×８が選択される。

図５は、ＳＤおよびＨＤのそれぞれの場合において動き予測に使用するブロックサイズの候補の例を示す図である。

動き予測に使用するブロックサイズの候補は、図５に示すように、ＳＤの場合、１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４の７種類すべて。ＨＤの場合、１６×１６、１６×８、８×１６の３種類が選択される。これも、ＳＤとＨＤに関する上記の理由から、ＨＤについては、比較的小さなブロックサイズを使用候補から除外した例である。８×８のブロックサイズをＨＤで外したのは８×８ブロックに分割した場合、１マクロブロックで４つのブロックをそれぞれ動き予測する必要があり、演算量が大きく増えるためである。

ブロックサイズ選択部１１１は、解像度情報受付部１１０から供給される解像度情報、すなわち、本実施の形態においてはＳＤまたはＨＤを示す情報に応じ、図３〜図５に示すようなブロックサイズの候補の中から特定の候補を、イントラ推定部２３、動き推定部２４および直交変換部１５へ送信する。

なお、これらブロックサイズの使用候補についての情報は、ブロックサイズ選択部１１１が有する所定の記憶領域（図示せず）に記憶している。

イントラ推定部２３は、図３のＳＤあるいはＨＤにおけるブロックサイズの候補に基づき、入力されたピクチャの各マクブロックについて、候補のブロックサイズのそれぞれでイントラ予測を実行する。

同様に、動き推定部２４は、図５のＳＤあるいはＨＤにおけるブロックサイズの候補に基づき、入力されたピクチャの各マクブロックについて、候補のブロックサイズのそれぞれで動き予測を実行する。

また、直交変換部１５は、差分マクロブロックを図３のイントラ予測のブロックサイズに合わせ、ＳＤの場合は４×４で直交変換し、ＨＤの場合は８×８で直交変換する。

図６は、解像度情報受付部１１０、ブロックサイズ選択部１１１、差分処理部１４、直交変換部１５、イントラ推定部２３、動き推定部２４、モード選択部２５、イントラ予測部２７、動き補償部２８における上記のような解像度情報に基づいて選択されるブロックサイズ候補でのイントラ予測、動き予測（動き推定）、直交変換に係る処理の流れを示すフローチャートである。

解像度情報受付部１１０において、解像度情報がメニュー画面あるいはスイッチなどから選択、または直接解像度モードが入力されることで受け付けられる（Ｓ２０２）。

この解像度情報はブロックサイズ選択部１１１に送られる。ブロックサイズ選択部１１１は、この解像度情報をもとに、イントラ予測ブロックサイズの候補を選択（Ｓ２０３）、動き予測のブロックサイズの候補を選択（Ｓ２０４）、そして直交変換ブロックサイズの候補を選択（Ｓ２０５）する。

このとき、解像度情報が、例えば、標準解像度ＳＤとして選択または入力された“５２５ ４ＳＩＦ”であった場合、ブロックサイズ選択部１１１は、イントラ予測のブロックサイズの候補として４×４および１６×１６を、直交変換のブロックサイズの候補として４×４を、動き予測のブロックサイズの候補として１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４の７種類を選択する。

一方、解像度情報が、例えば、高解像度ＨＤとして選択または入力された“１０８０ ＨＤ”であった場合、ブロックサイズ選択部１１１は、イントラ予測のブロックサイズの候補として８×８および１６×１６を、直交変換のブロックサイズの候補は８×８を、動き予測のブロックサイズの候補として１６×１６、１６×８、８×１６の３種類を選択する。

ブロックサイズ選択部１１１により選択（Ｓ２０３）されたイントラ予測ブロックサイズの候補は、イントラ推定部２３へ送られる。イントラ推定部２３は、上記候補となったイントラ予測ブロックサイズを用いてイントラ推定をする（Ｓ２０６）。

また、ブロックサイズ選択部１１１により選択（Ｓ２０４）された動き予測ブロックサイズの候補は、動き推定部２４へ送られる。動き推定部２４は、上記候補となった動き予測ブロックサイズを用いて動き予測する（Ｓ２０７）。

イントラ推定部２３により候補のブロックサイズを用いてイントラ推定されたイントラ予測モードと、候補のブロックサイズを用いて動き推定（動き予測）（Ｓ２０７）された動き予測モードについて、モード選択部２５は、所定の評価関数をもとに最適な予測モードを選択する（Ｓ２０８）。

Ｓ２０８においてイントラ予測モードあるいは動き予測モードのどちらかが選択され、イントラ予測部２７は、イントラ予測マクブロックを生成し（Ｓ２０９）、また、動き補償部２８は動き補償マクロブロックを生成する（Ｓ２１０）。

差分処理部１４は、生成されたイントラ予測マクロブロックあるいは動き補償マクロブロックについて入力マクロブロックを用いて差分処理し、差分マクロブロックを算出する（Ｓ２１１）。

差分処理部により算出（Ｓ２１１）された差分マクロブロックは、ブロックサイズ選択部１１１により選択（Ｓ２０５）された直交変換ブロックサイズにもとづいて直交変換される（Ｓ２１２）。なお、モード選択部２５によるモード選択（Ｓ２０８）でイントラ予測のモードが選択された場合は、イントラ予測のブロックサイズと合わせられる。具体的には、イントラ４×４予測のときは直交変換も４×４、イントラ８×８予測のときは直交変換も８×８のブロックサイズで行われる。また、イントラ１６×１６予測のときは直交変換は４×４のブロックサイズで行われる。

このように、本発明は、多くの符号化モード（あるいは符号化タイプ）の選択肢を有するＨ．２６４画像符号化において、解像度に関する情報に応じ、イントラ予測、動き予測および直交変換の処理における符号化モード（あるいは符号化タイプ）を適応的に選択することができる。つまり、その画像の解像度に適した符号化を可能にし、回路規模、消費電力あるいは画質といった実装上の観点から最適な動画像符号化装置および動画像符号化方法を提供することができる。

（実施の形態２）
図７は、本発明の実施の形態２における動画像符号化装置の機能的な構成を示す機能ブロック図である。

図７に示す実施の形態２における動画像符号化装置２の構成は、上記の実施の形態１の動画像符号化装置１の構成とほとんど同じあり、前処理部１１２が追加されている点が異なる。従って、動画像符号化装置２が備える各構成部の符号は、第１の実施の形態で説明した図１に示す動画像符号化装置１の各構成部と同じ動作をするところは同じ符号を付してある。

以下、本実施の形態の説明では、実施の形態１と構成の異なる前処理部１１２を中心的に説明する。

前処理部１１２は、Ａ／Ｄ変換部１１から供給された画像信号に対して、信号の変化あるいは信号のレベルに基づき、ピクチャの少なくとも一部の特徴を示す情報である画像特徴量を算出し、ブロックサイズ選択部１１１へ供給する。なお、前処理部１１２は本発明の画像特徴量算出手段の一例である。

信号の変化に関する特徴を示す値として、例えば信号の変化点の数を用いることができる。具体的には、Ａ／Ｄ変換部１１でデジタル信号に変換された信号について、例えば、スキャンする連続した信号から隣接信号間の差分を抽出し、その差分の絶対値を所定の値と比べ、その値よりも大きい場合を信号の変化点としてカウントする。そしてそのカウント合計数を画像特徴量とする。

あるいは、一旦メモリに、Ａ／Ｄ変換された信号を蓄積し２次元の空間配置に整列させ、２方向の信号変化から信号の変化点を抽出してもよい。

図８は、２次元空間内の信号の変化点を抽出する手法の一例を示す図である。
図８に示すように、変化点たり得るか否かの判定の対象となる対象信号を中央のｐ（ｉ、ｊ）（ｉおよびｊは整数）とした場合、その上下斜めに位置する対角位置にある信号対、すなわちｐ（ｉ−１、ｊ−１）とｐ（ｉ＋１、ｊ＋１）の対、およびｐ（ｉ＋１、ｊ−１）とｐ（ｉ−１、ｊ＋１）の対の信号間差分の絶対値をとる。更に、２つの信号対のうちどちらか大きい方の信号間差分の絶対値であるＰｅｄｇｅ（ｉ、ｊ）が、所定の値よりも大きい場合を信号の変化点としてカウントし、カウント合計数を画像特徴量とする。

なお、信号の変化の算出方法として他のどのような方法を用いてもよく、それが画像のエッジ、輪郭、テクスチャなど信号の変化の度合い（変化している部分が多いか少ないか、画像が非平坦か平坦かなど）を示すものであればよい。

また、信号のレベルに関する特徴を示す値として、例えば、所定の値以上の輝度値を有する信号の数を用いることができる。具体的には、Ａ／Ｄ変換部１１でデジタル信号に変換された輝度信号値が所定の値より大きい場合を高輝度点としてカウントし、カウント合計数を画像特徴量とする。カウント数がゼロあるいは所定の数以下の場合、その画像は暗く画像内容がよくわからない画像であること意味する。

なお、画像特徴量として、前記信号の変化と信号レベルとを組み合わせてもよい。例えば、信号レベルが低く、且つ信号の変化が小さければ、その画像は暗くて平坦な信号成分からなり、画像内容が更にわかりにくい画像であることを示す。

要するに、画像特徴量は、符号化対象ピクチャ内における信号変化あるいは信号レベルに基づく情報であればよい。より具体的には、符号化対象ピクチャ内における信号変化の度合いおよび信号レベルの大きさの少なくとも一方と相関関係を有する値であればよい。本実施の形態においては、画像特徴量は信号変化の度合いおよび信号レベルの大きさの少なくとも一方と正の相関関係を有する値である。

ブロックサイズ選択部１１１は、上記実施の形態１での動作と同じように解像度情報受付部１１０から解像度情報を受け、更に前処理部１１２から信号の変化あるいは信号のレベルに関する情報を受け、イントラ予測、動き予測そして直交変換の処理に使用するブロックサイズの候補を選択する。

なお、解像度情報として、上記実施の形態１における想定と同じく、ピクチャフォーマットである“５２５ ４ＳＩＦ”あるいは“１０８０ ＨＤ”をユーザから選択または入力された場合について説明する。

ブロックサイズ選択部１１１におけるブロックサイズの選択は、解像度情報と信号の変化あるいは信号のレベルに関する情報に合わせて、符号化効率あるいは画質において有効であるものの候補を一つ以上選択する。

以下、本実施の形態においても、Ｈ．２６４画像符号化においてイントラ８×８予測、８×８直交変換が使用可能なＨｉｇｈプロファイルを使用し、“１０８０ ＨＤ”までデコード可能なレベル４．１（非特許文献１参照）を想定し説明する。

図９は、解像度情報と画像特徴量とに応じてイントラ予測に使用されるブロックサイズの候補の一例を示した図である。

図９（Ａ）および図９（Ｂ）は、イントラ予測の場合のＳＤ（ここでは、“５２５ ４ＳＩＦ”）とＨＤ（ここでは“１０８０ ＨＤ”）におけるブロックサイズの候補の例を示している。

図９（Ａ）は、前処理部１１２から画像特徴量として供給された信号の変化点のカウント数が所定の閾値より少ない場合、または、前処理部１１２から画像特徴量として供給された高輝度点のカウント数が所定の閾値より少ない場合にイントラ予測に使用するブロックサイズの候補である。

ここで、変化点のカウント数が少ない場合とは、言い換えると、入力画像が平坦な場合である。また、高輝度点のカウント数が少ない場合とは、言い換えると、入力画像が暗い場合である。

すなわち、入力画像が平坦あるいは暗い場合、図９（Ａ）に示すように、所定のサイズ以上の比較的大きなブロックサイズをイントラ予測に使用するブロックサイズの候補として選択する。これは、平坦あるいは暗い画像では、空間周波数に高域成分が少ない、あるいは暗い画像では歪みを検知しにくいため、比較的大きなブロックサイズで処理しても符号化効率あるいは画質に影響を及ぼさないためである。

図９（Ｂ）は、前処理部１１２から画像特徴量として供給された信号の変化点のカウント数が所定の閾値以上である場合、または、前処理部１１２から画像特徴量として供給された高輝度点のカウント数が所定の閾値以上である場合にイントラ予測に使用するブロックサイズの候補である。

すなわち、入力画像が非平坦で高い空間周波数成分を多く含む、または、明るいもしくは信号レベルのレンジ（範囲）が広い画像であるため、所定のサイズ以下の比較的小さなブロックサイズをイントラ予測に使用する候補として選択する。

なお、信号変化の度合いまたは信号レベルの大きさを表す画像特徴量がどちらの条件にも当てはまらない場合は、実施の形態１の説明で参照した図３に示すブロックサイズの候補を選択すればよい。

図１０は、解像度情報と画像特徴量とに応じて直交変換に使用されるブロックサイズの候補の一例を示した図である。

図１１は、解像度情報と画像特徴量とに応じて動き予測に使用されるブロックサイズの候補の一例を示した図である。

図１０（Ａ）と図１０（Ｂ）との違い、および図１１（Ａ）と図１１（Ｂ）との違いは、図９（Ａ）と図９（Ｂ）との違いと同様である。

すなわち、入力画像の信号変化あるいは信号レベルが全体として小さい場合、ブロックサイズ選択部１１１は、図１０（Ａ）および図１１（Ａ）に示すブロックサイズの候補からＳＤまたはＨＤに対応するブロックサイズの候補を選択する。

逆に、入力画像の信号変化あるいは信号レベルが全体として大きい場合には、ブロックサイズ選択部１１１は、図１０（Ｂ）および図１１（Ｂ）に示す候補からＳＤまたはＨＤに対応するブロックサイズの候補を選択する。

更に、図１０（Ａ）または図１０（Ｂ）から選択されたブロックサイズの候補は、直交変換部１５へ送られ、図１１（Ａ）または図１１（Ｂ）から選択されたブロックサイズの候補は、動き推定部２４へ送られる。

なお、信号変化あるいは信号レベルが上記のどちらの条件にも当てはまらない場合は、直交変換については図４に示す候補の中から、動き予測については図５に示す候補の中からそれぞれ選択する。

このように、ブロックサイズ選択部１１１は、解像度情報と入力信号の信号変化あるいは信号のレベルに基づく画像特徴量に応じ、図９〜図１１に示すようなブロックサイズの候補の中から特定の候補をイントラ推定部２３、動き推定部２４および直交変換部１５へ送信する。

イントラ推定部２３、動き推定部２４および直交変換部１５が行う処理は上記実施の形態１における処理と同様である。

図１２は、解像度情報受付部１１０、ブロックサイズ選択部１１１、前処理部１１２、差分処理部１４、直交変換部１５、イントラ推定部２３、動き推定部２４、モード選択部２５、イントラ予測部２７、および動き補償部２８における、解像度と画像入力信号の変化（あるいは信号レベルの大きさ、レンジ）に基づいて選択されるブロックサイズ候補でのイントラ予測、動き予測（動き推定）、および直交変換に係る処理の流れを示すフローチャートである。

なお、本フローチャートは、上述の図６に示す実施の形態１におけるフローチャートと比較すると、信号変化または信号レベルの抽出（Ｓ３０１）が追加された点が異なる。そこで、以下に、信号変化または信号レベルの抽出に関する動作（Ｓ３０１）を中心に説明する。それ以外の動作は、実施の形態１における動作と同じである。

解像度情報受付部１１０において、解像度情報が受け付けられる（Ｓ２０２）。この解像度情報はブロックサイズ選択部１１１に送られる。また、前処理部１１２において、入力画像信号の信号変化あるいは信号レベルが抽出され、上述の画像特徴量が算出される。この画像特徴量はブロックサイズ選択部１１１に送られる（Ｓ３０１）。

ブロックサイズ選択部１１１は、解像度情報受付部１１０で受け付けられた（Ｓ２０２）解像度情報と、前処理部１１２から送られた（Ｓ３０１）画像特徴量とに基づき、イントラ予測ブロックサイズの候補を選択し（Ｓ３０２）、動き予測のブロックサイズの候補を選択し（Ｓ３０３）、更に直交変換ブロックサイズの候補を選択する（Ｓ３０４）。

このとき、解像度情報と、入力画像信号の信号変化あるいは信号レベルに基づく画像特徴量とを利用したブロックサイズの候補の選択は、例えば、図３、図４、図５、図９、図１０および図１１のそれぞれに示したようなブロックサイズの候補の中から選択する。その後の動作は、実施の形態１と同じであるので省略する。

なお、本実施の形態では、画像特徴量として信号の変化あるいは信号のレベルに基づく情報を使用した。しかしながら、画像の空間周波数の程度、エッジ成分の大きさと量などを示す情報であれば画像特徴量として他の情報を使用してもよい。

また、本実施の形態では前処理部１１２をＡ／Ｄ変換部１１の後に配置し、ピクチャ単位で信号変化あるは信号レベルに基づく画像特徴量の算出を行なった。しかしながら、マクロブロック分割部１３の後に前処理部１１２を配置し、マクロブロック単位で画像特徴量を算出してもよい。この場合、ブロックサイズ選択部１１１は、マクロブロック単位でイントラ推定等に使用するブロックサイズの候補を選択することができる。

更に、実施の形態１および実施の形態２において、標準解像度ＳＤのピクチャフォーマットとして“５２５ ４ＳＩＦ”のみをあげたが、図２１に示されるピクチャフォーマットの中でこのピクチャフォーマット近いもの、例えば、“ＶＧＡ”、“５２５ＳＤ”、“４ＣＩＦ”、“６２５ＳＤ”、あるいは、さらに解像度の低いピクチャフォーマットを標準解像度として見なして受け付けてもよい。

同様に、高解像度ＨＤのピクチャフォーマットとして、“１０８０ＨＤ”の他に、“７２０ｐＨＤ”、“４ＶＧＡ”、“ＳＸＧＡ”、“５２５ １６ＳＩＦ”、“１６ＣＩＦ”、あるいはそれ以上の解像度のピクチャフォーマットを高解像度と見なして受け付けてもよい。また、図２１に記載していないサンプル数の独自のフォーマットを標準解像度ＳＤあるいは高解像度ＨＤとして受け付けてもよい。

更に、本実施の形態では、標準解像度と高解像度の２つの解像度のみについて、ブロックサイズの選択の例を説明したが、低解像度、標準解像度、高解像度といった３以上の解像度に分け、ブロックサイズ選択部１１１が、それら解像度に応じてブロックサイズの選択を行ってもよい。

要するに、ブロックサイズ選択部１１１は、ユーザから選択または入力された解像度情報が所定の解像度以上の解像度を示す場合、マクロブロックを分割する分割サイズとして、所定のサイズ以上のブロックサイズを１つ以上選択すればよい。または、解像度情報が所定の解像度以下の解像度を示す場合、分割サイズとして所定のサイズ以下のブロックサイズを１つ以上選択すればよい。更に、これら所定の解像度は解像度軸上で複数存在していてもよく、この場合は、その存在に対応して、選択すべきブロックサイズの下限または上限を決定しておけばよい。

また、画像特徴量についても同様である。すなわち、実施の形態２において、ブロックサイズ選択部１１１は、解像度情報と画像特徴量とに応じて候補として選択するブロックサイズを変更していた。つまり、解像度情報だけでなく画像特徴量にも応じて候補として選択するブロックサイズを変更していた。具体的には、画像特徴量が所定の閾値以上であるか、および所定の閾値以下であるかの２段階の評価に応じ、ブロックサイズ選択部１１１が候補として選択するブロックサイズを変更した。しかしながら、３段階以上の評価に応じて、ブロックサイズ選択部１１１が候補として選択するブロックサイズを変更してもよい。

要するに、ブロックサイズ選択部１１１は、画像特徴量が所定の閾値以上である場合、マクロブロックを分割する分割サイズとして、所定のサイズ以下のブロックサイズを１つ以上選択すればよい。または画像特徴量が所定の閾値以下である場合、分割サイズとして所定のサイズ以上のブロックサイズを１つ以上選択すればよい。更に、これら所定の閾値は複数存在していてもよく、この場合は、その閾値の高低に対応して、選択すべきブロックサイズの下限または上限を決定しておけばよい。

また、図１および図７に示した機能ブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。また、例えばメモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。

本発明は、ピクチャをブロック単位に符号化する画像符号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。

本発明の実施の形態１における動画像符号化装置の機能的な構成を示す機能ブロック図である。 ２つの解像度であるＳＤ（５２５ ４ＳＩＦ）とＨＤ（１０８０ ＨＤ）の輝度信号サンプル数とマクロブロック数とを示す図である。 本発明の実施の形態１において、解像度情報に応じてイントラ予測に使用されるブロックサイズの候補の例を示す図である。 本発明の実施の形態１において、解像度情報に応じて直交変換に使用されるブロックサイズの候補の例を示す図である。 本発明の実施の形態１において、解像度情報に応じて動き予測に使用されるブロックサイズの候補の例を示す図である。 本発明の実施の形態１の動画像符号化装置において、解像度情報に応じて選択されるブロックサイズ候補を用いた符号化処理の流れを示すフローチャートである。 本発明の実施の形態２における動画像符号化装置の構成を示すブロック図である。 本発明の実施の形態２において、２次元空間内の信号の変化点を抽出する手法の一例を示す図である。 本発明の実施の形態２において、解像度情報と画像特徴量とに応じてイントラ予測に使用されるブロックサイズの候補の一例を示した図である。 本発明の実施の形態２において、解像度情報と画像特徴量とに応じて直交変換に使用されるブロックサイズの候補の一例を示した図である。 本発明の実施の形態２において、解像度情報と画像特徴量とに応じて動き予測に使用されるブロックサイズの候補の一例を示した図である。 本発明の実施の形態２の動画像符号化装置において、解像度情報と画像特徴量とに応じて選択されるブロックサイズ候補を用いた符号化処理の流れを示すフローチャートである。 Ｈ．２６４画像符号化を実現する従来の動画像符号化装置の機能的な構成の一例を示す機能ブロック図である。 ４：２：０フォーマットの１ピクチャの映像信号を説明するための図である。 ４：２：０フォーマットの１マクロブロックの映像信号を説明するための図である。 ４：２：０フォーマットの１マクロブロックの直交変換ブロックを説明するための図である。 Ｈ．２６４画像符号化での輝度信号におけるイントラ４×４予測を説明するための図である。 Ｈ．２６４画像符号化での輝度信号におけるイントラ１６×１６予測を説明するめの図である。 動き推定の典型的な技術としてブロックマッチング法について説明するための図である。 Ｈ．２６４画像符号化における動き補償ブロックタイプを説明するための図である。 動画像の各種ピクチャフォーマットの名称、輝度信号サンプル数、およびマクロブロック数を示したものである。

符号の説明

１、２ 動画像符号化装置
１１ Ａ／Ｄ変換部
１２ 画像並び替えバッファ
１３ マクロブロック分割部
１４ 差分処理部
１５ 直交変換部
１６ 量子化部
１７ 符号化部
１８ 蓄積バッファ
１９ 逆量子化部
２０ 逆直交変換部
２１ 加算処理部
２２ フレームメモリ
２３ イントラ推定部
２４ 動き推定部
２５ モード選択部
２６ モードスッチ
２７ イントラ予測部
２８ 動き補償部
２９ レート制御部
１１０ 解像度情報受付部
１１１ ブロックサイズ選択部
１１２ 前処理部

Claims (15)

1. 複数ピクチャからなる動画像の各ピクチャをマクロブロックに分割すると共に前記マクロブロックを更にブロックに分割してイントラ予測、動き予測並びに直交変換の処理を行う動画像符号化装置であって、
   符号化対象ピクチャの符号化後の解像度に関する情報である解像度情報の選択または入力を受け付ける解像度情報受付手段と、
   前記解像度情報受付手段により受け付けられた前記解像度情報に応じ、前記マクロブロックを分割するときの分割サイズを複数の選択肢の中から１つ以上選択するブロックサイズ選択手段と
   を備える動画像符号化装置。
2. 前記ブロックサイズ選択手段は、前記解像度情報受付手段により受け付けられた前記解像度情報が所定の解像度以上の解像度を示す場合、前記分割サイズとして所定のサイズ以上のブロックサイズを選択する
   請求項１記載の動画像符号化装置。
3. 前記ブロックサイズ選択手段は、前記解像度情報受付手段により受け付けられた前記解像度情報が所定の解像度以下の解像度を示す場合、前記分割サイズとして所定のサイズ以下のブロックサイズを選択する
   請求項１記載の動画像符号化装置。
4. 更に、前記符号化対象ピクチャ内における信号変化または信号レベルに基づき、前記符号化対象ピクチャの少なくとも一部の特徴を示す情報である画像特徴量を算出する画像特徴量算出手段を備え、
   前記ブロックサイズ選択手段は、前記解像度情報受付手段により受け付けられた前記解像度情報と、前記画像特徴量算出手段により算出された前記画像特徴量とに基づき、前記分割サイズを選択する
   請求項１記載の動画像符号化装置。
5. 前記画像特徴量は、前記符号化対象ピクチャ内における信号変化の度合いおよび信号レベルの大きさの少なくとも一方と正の相関関係を有する値であり、
   前記ブロックサイズ選択手段は、前記画像特徴量が所定の閾値以上である場合、前記分割サイズとして所定のサイズ以下のブロックサイズを選択する
   請求項４記載の動画像符号化装置。
6. 前記画像特徴量は、前記符号化対象ピクチャ内の信号変化の度合いまたは信号レベルの大きさと正の相関関係を有する値であり、
   前記ブロックサイズ選択手段は、前記画像特徴量が所定の閾値以下である場合、前記分割サイズとして所定のサイズ以上のブロックサイズを選択する
   請求項４記載の動画像符号化装置。
7. 前記画像特徴量算出手段は、前記画像特徴量として、前記符号化対象ピクチャが分割されたマクロブロック内の信号変化または信号レベルに基づき、前記マクロブロックの特徴を示す情報を算出し、
   前記ブロックサイズ選択手段は、前記マクロブロック毎に前記分割サイズを選択する
   請求項４記載の動画像符号化装置。
8. 前記解像度情報受付手段は、前記解像度情報として少なくとも標準解像度または高解像度を示す情報を受け付ける
   請求項１記載の動画像符号化装置。
9. 前記標準解像度を示す情報とは、ピクチャフォーマットである“５２５ ４ＳＩＦ”または“６２５ＳＤ”を示す情報であり、
   前記高解像度を示す情報とは、ピクチャフォーマットである“７２０ｐＨＤ”または“１０８０ＨＤ”を示す情報である
   請求項８記載の動画像符号化装置。
10. 前記ブロックサイズ選択手段は、前記解像度情報受付手段により前記高解像度を示す情報が受け付けられた場合、前記イントラ予測および前記直交変換の処理に使用する前記分割サイズとして、８×８のブロックサイズを含む１つ以上のブロックサイズを選択する
    請求項８記載の動画像符号化装置。
11. 前記ブロックサイズ選択手段は、前記解像度情報受付手段により前記高解像度を示す情報が受け付けられた場合、前記動き予測の処理に使用する前記分割サイズとして、４×４のブロックサイズを含まない１つ以上のブロックサイズを選択する
    請求項８記載の動画像符号化装置。
12. 複数ピクチャからなる動画像の各ピクチャをマクロブロックに分割すると共に前記マクロブロックを更にブロックに分割してイントラ予測、動き予測並びに直交変換の処理を行う動画像符号化方法であって、
    符号化対象ピクチャの符号化後の解像度に関する情報である解像度情報の選択または入力を受け付ける解像度情報受付ステップと、
    前記解像度情報受付ステップにおいて受け付けられた前記解像度情報に応じ、前記マクロブロックを更にブロックに分割するときの分割サイズを複数の選択肢の中から１つ以上選択するブロックサイズ選択ステップと
    を含む動画像符号化方法。
13. 更に、前記符号化対象ピクチャ内における信号変化または信号レベルに基づき、前記符号化対象ピクチャの少なくとも一部の特徴を示す情報である画像特徴量を算出する画像特徴量算出ステップを含み、
    前記ブロックサイズ選択ステップでは、前記解像度情報受付ステップにおいて受け付けられた前記解像度情報と、前記画像特徴量算出ステップにおいて算出された前記画像特徴量とに応じて、前記分割サイズを選択する
    請求項１２記載の動画像符号化方法。
14. 複数ピクチャからなる動画像の各ピクチャをマクロブロックに分割すると共に前記マクロブロックを更にブロックに分割してイントラ予測、動き予測並びに直交変換の処理を行うためのプログラムであって、
    符号化対象ピクチャの符号化後の解像度に関する情報である解像度情報の選択または入力を受け付ける解像度情報受付ステップと、
    前記解像度情報受付ステップにおいて受け付けられた前記解像度情報に応じ、前記マクロブロックを更にブロックに分割するときの分割サイズを複数の選択肢の中から１つ以上選択するブロックサイズ選択ステップと
    をコンピュータに実行させるためのプログラム。
15. 更に、前記符号化対象ピクチャ内における信号変化または信号レベルに基づき、前記符号化対象ピクチャの少なくとも一部の特徴を示す情報である画像特徴量を算出する画像特徴量算出ステップを含み、
    前記ブロックサイズ選択ステップでは、前記解像度情報受付ステップにおいて受け付けられた前記解像度情報と、前記画像特徴量算出ステップにおいて算出された前記画像特徴量とに応じて、前記分割サイズを選択する
    請求項１４記載のプログラム。

Images