JPH08242454A

JPH08242454A - グローバル動きパラメタ検出方法

Info

Publication number: JPH08242454A
Application number: JP4274495A
Authority: JP
Inventors: Masaaki Ishikawa; 雅朗石川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1995-03-02
Filing date: 1995-03-02
Publication date: 1996-09-17

Abstract

(57)【要約】【目的】ブロック単位の動きベクトルＭＶを用い最小
二乗誤差法によりパン及びズームのパラメタを推定する
方法において、推定精度をあまり落とさずに必要な処理
量を減らす。【構成】符号化対象フレーム(2）の各基準位置ブロッ
クのＭＶ検出の推定される信頼度が低いときは、代わり
に、基準位置周囲の候補位置よりＭＶ検出の推定される
信頼度が高いブロックを探す。選んだ各ブロックと符号
化参照フレーム(1)の対応した各参照領域の画像データ
よりＭＶを検出し(11）、それを用い最小二乗誤差法で
パンパラメタｅ，ｆとズームパラメタｍを推定する。
ｅ，ｍ，ｆより展開したＭＶ(15)と検出ＭＶ(12)の差が
大きいブロックについて代替ブロックを探し、最終的な
パラメタ推定をする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像のグローバル動
きのパラメタの検出に係り、特に、グローバル動きのう
ちのパン（水平及び垂直方向の平行移動）とズーム（拡
大、縮小）を表わすパラメタの検出に関する。

【０００２】本発明は、デジタル動画像の通信、蓄積、
放送等々、動画の動き補償フレーム間予測によるデータ
量圧縮の必要な分野に利用でき、特に処理量の軽減が重
視される小型デジタルビデオカメラ等のための動画像符
号化システムに利用するのに好適である。

【０００３】

【従来の技術】通常、動画像データ圧縮には動き補償フ
レーム間予測法が使われる（ＭＰＥＧ、Ｈ．２６１
等）。この動き補償フレーム間予測法では、画面内を複
数のブロックに分割し、復号済みの別のフレームの画像
との間でそれぞれ平行移動ベクトルを検出し、その動き
ベクトル情報とともに、動きベクトル分ずらした位置の
画像から予測して差分を符号化する。

【０００４】ところで、パン（水平，垂直方向の平行移
動）やズーム（拡大または縮小）のようなカメラ操作に
よって画面全体が動いた場合、画面内の殆どのブロック
で動きベクトルが発生し、その動きベクトル情報のデー
タ量も大きくなる。ここにおいて、パンやズームすなわ
ち画面の平行移動、拡大・縮小のパラメタを抽出し、こ
のパラメタのみを伝送すれば、動きベクトル情報の伝送
データ量を削減できる。また、ズームシーンにおいて
は、ブロック単位の平行移動では正確な動きを補償する
ことは本来できないが、ズームのパラメタが正確に抽出
されれば、ズームパラメタを用いて画素単位で動きベク
トルを展開することによって、正確な補償も可能とな
る。

【０００５】画像情報からパンやズームのパラメタを抽
出する手法がいくつか提案されている。その一つは、画
像を複数のブロックに分割し、各ブロックの動きベクト
ルを求めた後、これら動きベクトルのすべてを用いて最
小二乗推定によりパンとズームのパラメタを推定する方
法である（特開平３−１９１６８８号）。この方法は、
本発明と直接関連するので、次に簡単に説明する。

【０００６】画面全体が動いたときの画素毎の動きベク
トルは、次の（１）式のように６個のパラメタａ〜ｆで
表現できる。

【０００７】

【数１】

【０００８】ただし、（ｘ，ｙ）は画素の位置（ｘ座
標，ｙ座標）、（Ｖｘ，Ｖｙ）は画素の動きベクトル
（水平方向成分，垂直方向成分）である。ここで、

【０００９】

【数２】

【００１０】この（２）式において、ｐ１＝（ａ＋ｄ）／２ｐ２＝（−ｂ＋ｃ）／２ｐ３＝（ａ−ｄ）／２ｐ４＝（ｂ＋ｃ）／２であり、ｐ１はズームパラメタ、ｐ２は回転パラメタ、
ｐ３は縦横歪みパラメタ、ｐ４は斜め歪みパラメタ、ｅ
とｆは水平方向と垂直方向のパンパラメタである。

【００１１】ここで、ａ〜ｆのうちズームパラメタｍ＝
（ａ＋ｄ／２）とパンパラメータｅ，ｆのみを使用した
次の（３）式のモデルを考える。したがって、ｂ＝ｃ＝
０、ｐ２＝ｐ３＝Ｐ４＝０である。

【００１２】

【数３】

【００１３】そして、予め検出した各ブロックの動きベ
クトルを（３）式に当てはめ、最小二乗誤差法により
ｍ，ｅ，ｆの各パラメタを推定することを考える。図１
３は、この推定アルゴリズムを示す簡略化したＣ言語ソ
ースリストである。

【００１４】図１３において、（Y_WIDTH，Y_HEIGHT）
は画素単位の画面の水平方向，垂直方向のサイズ、ME_B
LK_SZは正方ブロックの一辺のサイズで、これらは予め
指定される。（MB_X_SIZE，MB_Y_SIZE）はブロック単位
の画面の水平方向，垂直方向のサイズである。（x，y）
はブロックの中心画素の位置のｘ，ｙ座標、（ｖｘ，ｖ
ｙ）はブロック中心画素の動きベクトルの垂直方向，水
平方向の成分であり、これは予め代表ブロックについて
求められて三次元の配列ｍｖとして与えれている。zoom
_param（＝gmc_params[D]）は（３）式のｍに相当し、g
mc_params[E]は（３）式のｅに相当し、gmc_params[F]
は（３）式のｆに相当するもので、これらが、ここで求
めようとするものである。

【００１５】ここに示された処理の概略は次のとおりで
ある。最初の２行はブロック単位の画面サイズを定義す
るためのプリプロセッサ制御文である。次の２行は各種
変数を０に初期化する部分である。次の入れ子構造のｆ
ｏｒ文の部分は、ブロックの垂直方向番号blno_yを０か
ら１ずつインクリメントしつつ（ブロック行を上から下
へ順に移動しながら）、ブロックの水平方向番号bloc_x
を０から１ずつインクリメントし（ブロック行中のブロ
ックを左から右へ順に選択しながら）、各ブロックの中
心画素の位置（ｘ，ｙ）を求め、その画素位置の動きベ
クトルの垂直方向成分と水平方向成分を配列ｍｖより読
み出して変数ｖｙ，ｖｘに代入し、また各種変数のイン
クリメント、加算の操作を繰り返し、画面の右下のブロ
ックまで処理すると終了する。次の２行で配列変数gmc
_params[B]とgmc_parms[C]を０クリアし、次の７行で配
列変数gmc_params[A]＝gmc_params[D]を求めるための倍
精度演算を行なう。そして、次の３行で目的の３つのパ
ラメータを得る。

【００１６】なお、ブロックの配置は画面中心点に関し
て対称であるので、パラメタ計算に全ブロックの動きベ
クトルを使用する場合、図１３に示した推定式中のsum_
xとsum_yは０となり、推定式はより簡単になる。特開平
３−１９１６８８号公報では、この場合について上記方
法がより簡潔な形で述べられている。

【００１７】

【発明が解決しようとする課題】さて、特公平３−１９
１６８８号のパラメタ推定方法は、画面の分割ブロック
のすべてについて動きベクトルを求め、その全部をグロ
ーバル動きパラメタ推定に用いることが前提となってい
る。これは、通常の動画像符号化では、ブロック単位の
動き補償予測のため何等かの方法で既にブロック単位の
動きベクトルが求められているのが普通であるというこ
とが背景になっている。

【００１８】しかし、ブロック単位の動き検出処理は、
符号化処理全体の処理量の大半を占めるので、従来のよ
うに、すべてのブロックについて動き検出を行なうこと
は、処理量の面で、簡易な構成の動画像符号化システム
には負担が大きいという問題があった。

【００１９】かかる問題点を解決することが本発明の主
要な課題である。すなわち、本発明の目的は、より少な
い処理量で、動画像のグローバル動きパラメータを十分
な精度で求める手段を提供し、以てグローバル動き補償
をする簡易な構成の動画像符号化システムの実現を可能
にすることである。

【００２０】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明は、画面内の全ブロックの動き
ベクトルをパン及びズームのパラメタの推定に用いるの
ではなく、一定のルールに従って選択した一部のブロッ
クの動きベクトルだけをパン及びズームのパラメタの推
定に用いることを特徴とするものである。請求項２乃至
１０の各項記載の発明の主たる特徴は、パン及びズーム
のパラメタの推定に用いられるブロックの選択に係わる
ものである。

【００２１】すなわち、請求項２記載の発明は、画面内
の複数ブロックより水平方向及び垂直方向に一定数ブロ
ックおきに一部のブロックを代表ブロックとして選択
し、代表ブロックとして選択されたブロックについての
み、その動きベクトルを検出して、それをパン及びズー
ムのパラメタの推定に用いることを特徴とするものであ
る。

【００２２】請求項３記載の発明は、請求項２記載の発
明と同様に、画面内の複数ブロックより水平及び垂直方
向に一定数ブロックおきに一部のブロックを代表ブロッ
クとして選択するが、選択されたブロックの中で、動き
ベクトルの検出の信頼度が低いと推定されるブロックは
代表ブロックより除外し、残った代表ブロックについて
のみ、その動きベクトルを検出して、それをパン及びズ
ームのパラメタの推定に用いることを特徴とするもので
ある。

【００２３】請求項４記載の発明は、請求項３記載の発
明と同様に、一定数ブロックおきに代表ブロックとして
選択したブロックの中で、動きベクトルの検出の信頼度
が低いと推定されるブロックを代表ブロックより除外す
るが、除外されたブロックの周囲の予め定められた位置
に、動きベクトルの検出の信頼度が高いと推定されるブ
ロックが存在するときには、そのブロックを代表ブロッ
クとし、最終的に代表ブロックとされたブロックについ
てのみ、その動きベクトルを検出してパン及びズームの
パラメタの推定に用いることを特徴とするものである。

【００２４】請求項５記載の発明は、画面内の複数ブロ
ックの中より一定のルールによって一部のブロックを代
表ブロックとして選択し、選択されたブロックについ
て、動きベクトルの検出をし、得られた動きベクトルを
用いて最小二乗誤差法によりパン及びズームのパラメタ
を推定する。推定されたパン及びズームのパラメタか
ら、代表ブロックとして選択されたブロックの動きベク
トルを展開し、代表ブロックとして選択されたブロック
の中で、展開された動きベクトルと検出された動きベク
トルとの差が所定の閾値を超えるブロックは代表ブロッ
クより除外する。そして、除外されずに残った代表ブロ
ックとしてのブロックについて検出された動きベクトル
だけを用いて、最小二乗誤差法により最終的なパン及び
ズームのパラメタを推定することを特徴とするものであ
る。

【００２５】請求項６記載の発明は、画面内の複数ブロ
ックより水平方向及び垂直方向に一定数ブロックおきに
一部のブロックを代表ブロックとして選択し、代表ブロ
ックとして選択されたブロックの中で、動きベクトルの
検出の信頼度が低いと推定されるブロックを代表ブロッ
クより除外し、除外されたブロックの周囲の予め定めら
れた位置に、動きベクトルの検出の信頼度が高いと推定
されるブロックが存在するときには、そのブロックを代
表ブロックとする。この段階において代表ブロックとさ
れたブロックについて、動きベクトルの検出をし、得ら
れた動きベクトルを用いて最小二乗誤差法によりパン及
びズームのパラメタを推定する。推定されたパン及びズ
ームのパラメタから、代表ブロックとされたブロックの
動きベクトルを展開し、代表ブロックとされたブロック
の中で、展開された動きベクトルと検出された動きベク
トルとの差が所定の閾値を超えるブロックは代表ブロッ
クより除外する。除外されたブロックの周囲の予め定め
られた位置に、動きベクトルの検出の信頼度が高いと推
定されるブロックが存在するときには、この信頼度が高
いと推定されたブロックの動きベクトルを検出し、この
検出された動きベクトルと、先に推定されたパラメタに
より展開された、当該信頼度が高いと推定されたブロッ
クに対応する動きベクトルとの差が所定の閾値以下のと
きは、当該信頼度が高いと推定されたブロックを代表ブ
ロックとする。そして、この段階において代表ブロック
とされたブロックについて検出された動きベクトルだけ
を用いて、最小二乗誤差法により最終的なパン及びズー
ムのパラメタを推定する。

【００２６】請求項３，４または６記載の発明におい
て、ブロックの動きベクトルの検出の信頼度の高低を推
定する必要がある。請求項７，８，９及び１０記載の発
明は、この動きベクトルの検出の信頼度の推定に関する
もので、動きベクトルの検出の信頼度の推定のために、
ブロック内の輝度信号の勾配ベクトルの分布の広がりの
大きさを用いる。請求項８記載の発明の特徴は、対象と
なる動画像がインタレース画像である場合に、ブロック
内の輝度信号の勾配ベクトルの分布の広がりの大きさを
求める際に、勾配ベクトルの垂直方向成分については１
ラインおきに勾配を計算することである。請求項９記載
の発明の特徴は、ブロック内の輝度信号の勾配ベクトル
の分布の広がりの大きさの評価値として、ブロック内全
画素の勾配ベクトルの平均の方向と、これに直交する方
向について、勾配ベクトルの分布を覆うところの、これ
ら方向の軸に直交する最小の矩形の面積を用いることで
ある。請求項１０記載の発明の特徴は、ブロック内の輝
度信号の勾配ベクトルの分布の広がりの大きさの評価値
として、勾配ベクトルの分布を覆うところの水平及び垂
直方向軸に直交する最小の矩形の面積と、勾配ベクトル
の分布を覆うところの水平及び垂直方向軸を４５度回転
させた軸に直交する最小の矩形の面積のうちの小さいほ
うの面積を用いることである。

【００２７】

【作用】請求項１乃至１０の各項記載の発明によれば、
画面内の選択された一部のブロックの動きベクトルだけ
を、予め検出するか、またはブロックの選択後もしくは
ブロックの選択過程で検出するだけでパン及びズームの
パラメタを推定できるため、動きベクトル検出の処理量
を削減することができる。

【００２８】請求項２記載の発明によれば、パラメタ推
定に用いるブロックの選択のための処理量を少なくで
き、また、選択されたブロック以外の動きベクトルの検
出は全く必要とされないので、処理量の大幅削減が可能
である。ブロック選択は、例えば、画面を垂直方向にＮ
等分割、垂直方向にＭ分割し、分割領域の中心位置にあ
るブロックを選択する方法とすることができる。その一
例を図１４に示す。図１４において、縦横線は画面の分
割線であり、一つの一つのブロックは方形格子によって
示されている。黒ベタの格子は分割領域の中心位置（以
下、基本選択位置と呼ぶことにする）にあるブロックを
意味し、請求項２記載の発明によれば、基本選択位置に
あるブロックが、パラメタ推定のための代表ブロックと
して選択される。

【００２９】請求項３記載の発明によれば、請求項２記
載の発明と同様にして代表ブロックとして選択されたブ
ロックの動きベクトルの検出を実際に行なう前に、動き
ベクトルの検出の信頼度を推定し、推定された信頼度が
低いブロックを除いたブロックについてのみ動きベクト
ルの検出を行なう。このように、推定される信頼度の低
いブロックの動きベクトルをパラメタ推定に用いないの
で、パラメタの検出精度が向上する。

【００３０】請求項７乃至１０の各項記載の発明によれ
ば、動きベクトル検出の信頼度の推定に、ブロック内の
輝度信号の勾配ベクトルの分布の広がりの大きさが用い
られる。ブロック内の輝度信号の勾配ベクトルの分布の
広がりは、例えば図１５のようになる。図１５は、ブロ
ック内の各画素の輝度勾配をｘｙ平面にプロットし、各
プロット点を原点と直線で結んだものである。

【００３１】このようなブロック内の輝度信号の勾配ベ
クトルの分布の広がりの大きさと、動きベクトル検出の
信頼度（実際に動きベクトル検出を行なったときに得ら
れる動きベクトルの信頼性の度合）との間には、次に述
べるような定性的な関係がある。

【００３２】ブロック内の輝度変化が平坦である場合、
そのブロックの動きベクトル検出の信頼度は低いが、勾
配ベクトルの分布の広がりは小さくなる。直線状のエッ
ジ成分のみを含むブロックの場合も、このエッジ方向の
動きベクトルの成分は特定できないため動きベクトル検
出の信頼度が低くいが、勾配ベクトルは同一方向に揃う
ので、その分布の広がりは小さくなる。なお、規則的テ
クスタャの場合も動きベクトル検出の信頼度が低いが、
この信頼度の低さはブロック内の輝度信号の勾配ベクト
ルの分布の広がりの大きさに反映されない。このこと
は、背景に隠れていた部分が出て来たときのように参照
画素上に対応する部分が存在しない場合も同様である。

【００３３】このような関係があるので、請求項７乃至
１０の各項記載の発明によれば動きベクトル検出の信頼
度を推定することができる。

【００３４】インターレス画像の場合、動き部分で、１
ライン毎に、１／６０秒だけ時間がずれた画像が櫛状に
現われるため、輝度信号の勾配ベクトルの垂直方向成分
を求める際に垂直方向に隣接する画素を使用して勾配を
計算すると、得られた勾配ベクトルの分布の広がりの大
きさが大きくなりやすく、その結果、動きベクトル検出
の信頼度が高めに推定されるという不都合がある。請求
項８記載の発明によれば、同じパリティのフィールド画
像のみが用いられるため、そのような不都合は解消され
る。

【００３５】請求項９記載の発明及び請求項１０記載の
発明は、ブロック内の輝度信号の勾配ベクトルの分布の
広がりの大きさを大雑把に評価する。すなわち、請求項
９記載の発明では、例えば図１６に示すように、ブロッ
ク内全画素の勾配ベクトルの平均の方向（軸１００１の
方向）と、これに直交する方向（軸１００２の方向）に
ついて、勾配ベクトルの分布を覆うところの、各軸１０
０１，１００２と直交する最小の矩形１００３の面積
を、ブロック内の輝度信号の勾配ベクトルの分布の広が
りの大きさの評価値として用いる。なお、この矩形１０
０３は原点に対して対称にとる。また、勾配ベクトルの
平均の方向（１００１）と、それを１８０度回転した方
向は本質的に同じであるので、例えば、勾配ベクトルの
うちｘ−ｙ平面の左半分のもの（ｘ＜０）を１８０度回
転してｘ−ｙ平面の右半分に揃えたうえで、平均ベクト
ルをとることができる。

【００３６】請求項１０記載の発明では、例えば図１７
に示すように、勾配ベクトルの分布を覆う、ｘ，ｙ軸
（水平方向軸，垂直方向軸）に直交する最小の矩形１０
０５の面積と、勾配ベクトルの分布を覆う、ｘ，ｙ軸を
４５度回転した軸１００６，１００７に直交する最小の
矩形１００８の面積のうち小さいほうの面積（図１７で
は矩形１００５の面積）を、ブロック内の輝度信号の勾
配ベクトルの分布の広がりの大きさの表価値として用い
る。なお、矩形１００５，１００８は原点に対して対称
にとる。この評価方法は請求項９記載の発明の評価方法
を簡略化したもので、水平，垂直方向と４５度斜め方向
のみのエッジ成分を評価するものである。請求項４記載
の発明によれば、請求項３記載の発明と同様にして代表
ブロックとして選択されたブロックの中から動きベクト
ルの検出の信頼度が低いと推定されたブロックを除く
が、その周囲の所定位置に動きベクトル検出の信頼度の
高いブロックが見つかるときには、それを削除されたブ
ロックの代わりに代表ブロックとする。例えば図１４に
示すように、基本選択位置ブロックの周囲に候補選択位
置ブロック（網掛け格子で示されている）を設定してお
き、基本選択位置ブロックが代表ブロックから除外され
たときに、その周囲の候補選択位置ブロックの中に動き
ベクトル検出の信頼度が高いと推定されるものがあれ
ば、そのブロックを削除された代表ブロックの代わりに
代表ブロックとする。請求項４記載の発明によれば、パ
ラメタ推定に用いるブロック数が過少になることを防止
し、パラメタ推定の精度を維持できる。

【００３７】さて、画像の性質によっては、動きベクト
ル検出の信頼度は高く、実際に正しい動きベクトルが検
出されたブロックが、グローバルな動きと無関係に動い
ている部分のものである可能性がある。このような背景
のグローバルな動きと違う動きをする部分の動きベクト
ルをパラメタ推定に用いないのが望ましい。しかし、こ
のような望ましくないブロックの判定は、実際に動きベ
クトルを検出してはじめて可能である。

【００３８】請求項５または６記載の発明によれば、そ
のような望ましくないブロックを代表ブロックから除外
するため、代表ブロックとして選択されたブロックにつ
いてブロックマッチング法等の従来技術によって動きベ
クトルを検出し、その動きベクトルを用いて最小二乗誤
差法によりパン及びズームのパラメタを推定する。そし
て、このパラメタを展開して動きベクトルを求め、これ
と実際に検出された動きベクトルとの差が所定の閾値を
超えるブロックは、上記の望ましくないブロックと判断
し、代表ブロックから除外する。請求項６記載の発明に
よれば、さらに、除外されたブロックについて、同様の
方法によって代表ブロックにふさわしい代替のブロック
を見つける操作を行なう。このようにして最終的に代表
ブロックとされたブロックについて検出された動きベク
トルを用い、最小二乗誤差法によりパラメタの最終推定
が行なわれる。

【００３９】このように、グローバル動きと無関係な動
き部分のブロックを代表ブロックから排除することによ
って、より高精度のパラメタ推定が可能となる。一旦代
表ブロックとされたブロックで最終的に除外されたブロ
ックについて検出された動きベクトルは無駄になり、そ
の検出処理は無駄な処理となる。しかし、それ以外の排
除されなかったブロックについては、動きベクトルの検
出を１回行なうだけでよく、得られた動きベクトルはパ
ラメタ最終推定に利用されるので、動きベクトル検出処
理量がそれほど増加する心配はない。

【００４０】また、請求項５記載の発明と請求項６記載
の発明とを比較によれば、前者は代表ブロックから除外
されたブロックの代替ブロックを補充しないので、処理
量の面では後者より有利である。しかし、代表ブロック
から除外されたブロックの部分の動きベクトルを利用し
ない分、パラメタ推定の精度の面では後者に劣る可能性
がある。

【００４１】

【実施例】以下、ＭＰＥＧ符号化に適用された本発明の
いくつかの実施例について、添付図面を参照し詳細に説
明する。まず図１を参照し、各実施例に係る処理系の一
例について説明する。なお、ＭＰＥＧ符号化手段は従来
と同様のものでよく、これは図１には示されていない。

【００４２】図１において、参照フレーム画像メモリ１
は参照フレームの画像データを記憶するためのメモリで
あり、符号化対象フレーム画像メモリ２は符号化対象フ
レームの画像データを記憶するためのメモリである。選
択ブロック位置アドレス生成回路３は選択ブロック位置
アドレスを発生する回路であり、参照領域画像読み出し
回路４は選択ブロック位置アドレスに従って参照フレー
ム画像メモリ１より参照領域の画像データを読み出す回
路であり、選択ブロック画像読み出し回路５は選択ブロ
ック位置アドレスに従って符号化対象フレーム画像メモ
リ２より選択ブロックの画像データを読み出す回路であ
る。読み出された参照領域画像データは参照領域画像メ
モリ６に一時的に記憶され、また、読み出された選択ブ
ロックの画像データは選択ブロック画像メモリ７に一時
的に記憶される。

【００４３】評価器８は、メモリ７の選択ブロック画像
データより同ブロック内の輝度信号の勾配ベクトルの広
がりの大きさの評価値を求める回路である。閾値判定器
９は、評価器８により得られた評価値と閾値メモリ（＃
１）１０に格納されている閾値とを比較し、評価値≦閾
値のときに選択ブロック位置アドレス生成回路３に対し
リジェクト信号Ｒ１を出力するものである。

【００４４】ＭＶ検出回路１１は、メモリ６，７より画
像データを読み込み、ブロックマッチング法等によって
ブロック単位の動きベクトル（ＭＶ）を検出する回路で
ある。検出ＭＶメモリ１２は、ＭＶ検出回路１１によっ
て得られたＭＶを記憶するためのメモリである。グロー
バル動きパラメタ推定回路１３は、メモリ１２より動き
パラメタを読み込んで最小二乗誤差法によりパン（水平
方向及び垂直方向）パラメタｅ，ｆとズームパラメタｍ
を推定するための回路である。

【００４５】ＭＶ展開回路１４は推定されたパラメタを
展開することによって動きベクトルを求める回路であ
り、ここで得られた動きベクトルは展開ＭＶメモリ１５
に一時的に記憶される。ＭＶ差判定回路１６は、展開Ｍ
Ｖメモリ１５より読み込んだ動きベクトルと、検出ＭＶ
メモリ１２より読み込んだ動きベクトルとの差を、閾値
メモリ（＃２）１７に格納されている閾値と比較し、動
きベクトル差＞閾値のときに検出ＭＶメモリ１２に対す
るリジェクトブロックアドレスＲ２を出力する。このリ
ジェクトブロックアドレスＲ２は、スイッチ１８を介し
て選択ブロック位置アドレス生成回路３へも供給するこ
とができる。

【００４６】＜実施例１＞図２は本実施例の処理の流れ
の概略を示すフローチャートである。各ステップの処理
内容を、図１のブロック図を適宜参照しつつ説明する。

【００４７】ステップ１００（ＭＶ検出ブロック基本選
択）：選択ブロック位置アドレス生成回路３で、画面の
水平分割数と垂直分割数を入力として、図１４に黒ベタ
格子で示された基本選択位置のブロックのアドレスを生
成する。ここでは、ブロックのサイズは１６×１６画
素、画面サイズは７０４×４８０画素、画面の領域分割
は水平方向が６等分割、垂直方向が４等分割である。た
だし、整数個のブロック毎の分割になるように、画面の
周囲１ブロックラインを除いて領域分割をする。

【００４８】選択ブロック画像読み出し回路５によっ
て、符号化対象フレーム画像メモリ２より基本選択位置
のブロックの画像データが順に読み出され選択ブロック
画像メモリ７に格納される。これと同時に、読み出され
た基本選択位置ブロックに対応する参照領域（通常、ブ
ロックのアドレスの周囲±Ｎ画素に選ばれる）の画像デ
ータが参照領域画像読み出し回路６によって参照フレー
ム画像メモリ１から読み出され参照領域画像メモリ６に
格納される。

【００４９】ここまでの説明から理解されるように、本
ステップでのブロック選択を特許請求の範囲の記載と対
応させるならば、水平及び垂直方向に一定ブロック数間
隔で定められた基本選択位置にあるブロックを、代表ブ
ロックとして選択するわけである。

【００５０】ステップ１１０（ＭＶ検出ブロック１次選
択）：このステップと前ステップは、全ての基本選択位
置に関して、繰り返し実行される（この繰り返しは図２
には明示されていない）。

【００５１】評価器８において、メモリ７に格納された
基本選択位置ブロックの画像データを用いて、同ブロッ
ク内の輝度信号の勾配ベクトルの広がりの大きさの評価
値を求める。この評価値と閾値メモリ（＃１）１０に格
納されている閾値との比較判定を閾値判定器９で行な
う。評価値が閾値より大きいときは、この基本選択位置
のブロックの動きベクトル検出の信頼度は高いと推定さ
れるので、この基本選択位置はＭＶ検出ブロック１次選
択位置とされ、閾値判定器９からはリジェクト信号Ｒ１
は出力されない。

【００５２】評価値が閾値以下であるならば、この基本
選択位置ブロックの動きベクトルの検出の信頼度は低い
と推定されるので、この基本選択位置はＭＶ検出ブロッ
ク１次選択位置とはされず、閾値判定器９からリジェク
ト信号Ｒ１が出力される。

【００５３】リジェクト信号Ｒ１が出力された場合、選
択ブロック位置アドレス生成回路３にて、入力された候
補位置パターンに従って、この基本選択位置の周囲の複
数の候補位置の中の一つを選び、その候補位置のブロッ
クのアドレスを発生し、この候補位置のブロックの画像
データが選択ブロック画像読み出し回路３により符号化
対象フレーム画像メモリ２から読み出されて選択ブロッ
ク画像メモリ７に格納される。同時に、このブロックに
対応した参照領域の画像データも参照フレーム画像メモ
リ１より参照領域画像メモリ６に読み出される。

【００５４】このブロックについて、評価器８で輝度信
号の勾配ベクトルの広がりの大きさの評価値を求め、閾
値判定器９でこの評価値について閾値判定を行なう。評
価値＞閾値であるならば、この候補位置のブロックは動
きベクトル検出の信頼度が高いと推定されるので、この
候補位置がＭＶ検出ブロック１次選択位置とされる。し
かし、評価値≦閾値ならば、閾値判定器９からリジェク
ト信号Ｒ１が再び出力される。選択ブロック位置アドレ
ス生成回路３では、候補位置パターンに従って、前回選
んだ候補位置の次の候補位置を選び、その位置のブロッ
クのアドレスを発生する。このブロックの画像データが
選択ブロック画像メモリ７に読み出され、同様の表価値
の判定が行なわれる。対応した参照領域の画像データも
同時に読み出される。

【００５５】リジェクト信号Ｒ１が出力されなければ、
その候補位置がＭＶ検出ブロック１次選択位置とされる
が、リジェクト信号Ｒ１が出力されたならば、次の候補
位置のブロックの画像データが読み出されて評価値の判
定が行なわれる。最後の候補位置まで進み、それに対し
てもリジェクト信号Ｒ１が出力された場合には、当該基
本選択位置に関してはＭＶ検出ブロック１次選択位置は
求められないことになる。

【００５６】図３は、ここまで説明したＭＶ検出ブロッ
ク１次選択処理の内容を簡略化して示したフローチャー
トである。

【００５７】なお、候補位置は基本選択位置に周囲に必
要個数設定すればよいが、本実施例では図１４に網掛け
格子で示した８個の候補位置が設定される。候補位置の
個数を多くすれば、基本選択位置に代わりＭＶ検出ブロ
ック１次選択位置が見つからないケースは少なくなるの
で、パラメタ推定精度の面では有利といえる。しかし反
面、ＭＶ検出ブロック１次選択処理のための時間が増加
する可能性がある。

【００５８】ここで、本ステップの処理内容を特許請求
の範囲の記載と対応させれば、次のとおりである。前ス
テップで選択されたブロックの動きベクトル検出の信頼
度を、輝度信号の勾配ベクトルの分布の広がりの大きさ
を評価値によって推定し、それが低いときには当該ブロ
ックを代表ブロックから除外し、その周囲に予め定めた
位置にあるブロックの中から動きベクトルの信頼度が高
いと推定されるブロックを探し、見つかったならば、そ
のブロックを除外されたブロックに代えて代表ブロック
とする。

【００５９】さて、評価器８において輝度信号の勾配ベ
クトルの分布の広がりの評価値を求めるが、評価値を求
めるためのアルゴリズムの例を次に説明する。

【００６０】まず、ブロック内の各画素での輝度信号の
勾配を求める必要がある。そのアルゴリズムは、ノンイ
ンターレス画像の場合、Ｃ言語で図４のように記述する
ことができる。ここで、ME_BLK_SIZEはブロックのサイ
ズであり、本実施例ではブロックは１６×１６画素であ
るので、図４のＣ言語ソースリストの１行目のプリプロ
セッサ制御文でME_BLK_SIZE＝１６に定義する。MBImgは
ブロック内の各画素の輝度値の配列である。ｉ，ｊはブ
ロック内の画素の水平，垂直方向の相対的位置である。
図４の入れ子構造のｆｏｒ文において、ｉ及びｊをME_B
LK_SZ-1に達するまで０から１ずつインクリメントしな
がら、整数演算によって、各画素でのｘ（水平）方向の
勾配grad[i][j][HORZ]とｙ（垂直）方向の勾配grad[i]
[j][VERT]が求められる。

【００６１】なお、対象画像がインタレース画像の場合
には、ｙ（垂直）方向の勾配については１ラインおきに
輝度値の差をとり、それを１／２倍して求める。したが
って、この場合のアルゴリズムは、Ｃ言語で記述すれば
図５のように表現できる。１ラインおきに輝度値の差を
とる関係から、一つの目のｆｏｒ文の終了条件がME_BLK
_SZ-2に変更され、またgrad[i][j][VERT]の演算式が変
更される。

【００６２】このようにして求めた各画素での勾配を用
いて、ブロック内の輝度信号の勾配ベクトルの分布の広
がりの表価値（ブロックの動きベクトルの検出の推定さ
れる信頼度）を求める。そのためのアルゴリズムの例を
簡略化したＣ言語ソースリストとして図６と図７に示
す。*reliableが目的の評価値である。abs()は絶対値を
求める関数、MIN()は最大値を求める関数である。

【００６３】図６に示したアルゴリズムでは、図１６に
示した矩形１００３に相当する矩形の面積の１／４の値
を表価値として求める（請求項９に相当）。図７に示し
たアルゴリズムでは、図１７に示した矩形１００５，１
００８に相当する矩形の小さいほうの面積の１／４の値
を表価値として求める（請求項１０に相当）。

【００６４】ステップ１２０（グローバル動きパラメタ
１次推定）：前ステップで決定されたＭＶ検出ブロック
１次選択位置のブロック（この段階までに代表ブロック
とされたブロック）のアドレスが選択ブロック位置アド
レス生成回路３で生成され、それら各ブロックと対応し
た参照領域の画像データがそれぞれ、選択ブロック画像
読み出し回路５及び参照領域画像読み出し回路４によっ
て、符号化対象フレーム画像メモリ４及び参照フレーム
画像メモリ１より順次読み出され、選択ブロック画像メ
モリ７及び参照領域画像メモリ６を介してＭＶ検出回路
１１に入力される。ＭＶ検出回路１１では、入力された
ブロックと参照領域の画像データから、ブロックマッチ
ング法等によって、当該ブロックの動きベクトルを検出
する。検出された動きベクトルとブロックのアドレスは
検出ＭＶメモリ１２に格納される。

【００６５】全てのＭＶ検出ブロック１次選択位置のブ
ロックについて動きベクトルが得られると、グローバル
動きパラメタ推定回路１３において、それら動きベクト
ル（代表ＭＶ）を用い、最小二乗誤差法によりパンパラ
メタｅ，ｆとズームパラメタｍが推定される。

【００６６】図８は、この推定アルゴリズムを示す簡略
化したＣ言語ソースリストである。図８において、mvは
代表ＭＶの配列、Y_WIDTH，Y_HEIGHTは画素単位の画面
の水平方向，垂直方向のサイズである。ME_BLK_SZはブ
ロックの一辺のサイズでり、ここでは１行目の制御文で
１６と定義される。MB_X_SIZE，MB_Y_SIZEはブロック単
位の画面の水平方向，垂直方向のサイズであり、２行目
と３行目の制御文で定義される。DEF_MV_SPLT_Xは画面
の水平分割数（水平方向の代表ＭＶ数）、DEF_MV_SPLT_
Yは画面の垂直分割数（垂直方向の代表ＭＶ数）であ
り、それぞれ４行目と５行目の制御文で６と４に定義さ
れる。（x，y）はブロックの中心画素の位置、（ｖｘ，
ｖｙ）はブロック中心画素の動きベクトルの垂直方向，
水平方向の成分である。gmc_params[E]，gmc_params[F]
は目的の水平，垂直方向のパンパラメタ（前出の（３）
式のｅ，ｆ）であり、zoom_params（＝gmc_params[D]）
は目的のズームパラメタ（（３）式のｍ）である。

【００６７】この処理の概略は次のとおりである。各種
変数を初期化した後、入れ子構造のｆｏｒ文の部分で、
ブロックの垂直方向番号blno_yと水平方向番号bloc_xを
インクリメントしながら、各ブロックの中心画素の位置
（ｘ，ｙ）を求め、その画素位置の動きベクトルの垂直
方向成分と水平方向成分を配列ｍｖより読み出して（実
際にはメモリ１５より読み出す）、これを変数ｖｙ，ｖ
ｘに代入し、また各種変数のインクリメント、加算の操
作を繰り返す。これを終了後、パラメタを算出する。

【００６８】ステップ１３０（ＭＶ展開１次）：ＭＶ展
開回路１４において、前ステップで得られたパラメタ
ｅ，ｆ，ｍを前出（３）式に代入し、各ＭＶ検出ブロッ
ク１次選択位置のブロックの動きベクトルを展開する。
展開された動きベクトルは展開ＭＶメモリ１５に格納さ
れる。

【００６９】ステップ１４０（ＭＶ検出ブロック２次選
択）：ＭＶ差判定回路１６において、各ＭＶ検出ブロッ
ク１次選択位置のブロックについて、展開ＭＶメモリ１
５内のパラメタ展開された動きベクトルと、検出ＭＶメ
モリ１２内の検出された動きベクトルとの差（例えば、
動きベクトルのｘ，ｙ成分の差の絶対値の和）を、閾値
メモリ（＃２）１７に格納されている閾値と比較する。
動きベクトル差＜閾値ならば、当該ブロックはＭＶ検出
ブロック２次選択位置のブロックに入れるべきと判断さ
れるので、ＭＶ差判定回路１６は何もしない。つまり、
当該ブロックの検出動きベクトルは有効なものとして検
出ＭＶメモリ１２内に保存されることになる。

【００７０】しかし、動きベクトル差≧閾値ならば、当
該ブロックはＭＶ検出ブロック２次選択位置のブロック
から除外すべきと判断されるので、ＭＶ差判定回路１６
は当該ブロック（リジェクトブロック）のアドレスを検
出ＭＶメモリ１２へ送り、検出ＭＶメモリ１２より当該
ブロックの検出動きベクトルを削除する。この時に、リ
ジェクトブロックの代替ブロックを探すモードと探さな
いモードを選ぶことができる。

【００７１】代替ブロックを探さないモードが選ばれる
と、図１中のスイッチ１８は図示のように開いた状態と
なり、リジェクトブロックアドレスを選択ブロック位置
アドレス生成回路３へは与えられず、格別の処理は行な
われない。

【００７２】一方、代替ブロックを探すモードが選ばれ
たときには、図１中のスイッチ１８は閉じた状態とさ
れ、リジェクトブロックアドレスは選択ブロック位置ア
ドレス生成回路３へも送られ、次に述べる処理が行なわ
れる。

【００７３】選択ブロック位置アドレス生成回路３にお
いて、当該リジェクトブロックに対応する代替ブロック
位置アドレスを生成する。リジェクトブロックが基本選
択位置のブロックであったときには、候補位置パターン
従って最初の候補位置から順に代替ブロック位置を選
ぶ。リジェクトブロックがある候補位置のブロックであ
ったときは、候補位置パターンに従って、その次の候補
位置から順に代替ブロックを選ぶ。この代替ブロックに
ついて、ステップ１１０と同様な動きベクトル検出の信
頼度の評価を行なう。信頼度が低いと判断されたときは
閾値判定器９からリジェクト信号Ｒ１が出るので、選択
ブロック位置アドレス生成回路３で次の代替ブロックの
アドレスが生成され、そのブロックについて同様の評価
が行なわれる。代替ブロックの読み出し時に、対応した
参照領域も同時に読み出される。

【００７４】このようにして、動きベクトル検出の信頼
度が高いと推定される代替ブロックが見つかると、この
代替ブロックの動きベクトルをＭＶ検出回路１１で検出
し、検出した動きベクトルを検出ＭＶメモリ１２に格納
する。そして、この検出動きベクトルと、展開ＭＶメモ
リ１５内の当該リジェクトブロックの展開動きベクトル
との差の判定がＭＶ差判定回路１６で行なう。動きベク
トル差＜閾値ならば、当該代替ブロックがリジェクトブ
ロックの代わりにＭＶ検出ブロック２次選択位置とされ
る。

【００７５】しかし、ここでも動きベクトル差≧閾値と
なったときには、当該代替ブロックのアドレスがリジェ
クトブロックアドレスとして、検出ＭＶメモリ１２へ送
られて対応の検出動きベクトルが削除され、また選択ブ
ロック位置アドレス生成回路３へも送られ、次の候補位
置から代替ブロックを探す処理を続ける。最後の候補位
置まで進んでも有効な代替ブロックが見つからない場合
には、リジェクトブロックに対応する分割領域では、パ
ラメタ最終推定に用いるブロックは選ばれないことにな
る。

【００７６】図９は、代替ブロックを探すモードにおけ
る上述のＭＶ検出ブロック２次選択処理の内容を簡略化
して示したフローチャートである。

【００７７】代替ブロックを探すモードは、探さないモ
ードに比べて処理量が増加する可能性はあるが、代表す
るブロックのない分割領域が生じにくい分、最終的なパ
ラメタ推定精度を上げることができる。

【００７８】ステップ１５０（グローバル動きパラメタ
２次推定）：これは本発明の最終処理ステップである。
グローバル動きパラメタ推定回路１３において、検出Ｍ
Ｖメモリ１２に格納されているＭＶ検出ブロック２次選
択位置及びその位置のブロックり検出動きベクトルを用
いて、前記ステップ１２０と同じ処理により、グローバ
ル動きのパンパラメタｅ，ｆ及びズームパラメタｍを推
定する。これがパラメタの最終的な推定結果である。

【００７９】ステップ１６０（ＭＶ展開（２次）），ス
テップ１７０（ＭＰＥＧ符号化）：ＭＶ展開回路１４に
より、前ステップで推定されたパラメタｅ，ｆ，ｍを用
い前出（３）式に従って全てのブロックの動きベクトル
を展開し、展開ＭＶメモリ１５に格納する（ステップ１
６０）。この展開動きベクトルを使用し、図示しない公
知の符号化手段によってＭＰＥＧ符号化を行なう（ステ
ップ１７０）。

【００８０】＜実施例２＞図１０は本実施例の処理の流
れの概略を示すフローチャートである。本実施例は前記
実施例１の処理を簡略化したものであるので、前記実施
例１との相違点を中心に処理内容を説明する。

【００８１】ステップ４００、ステップ４１０及びステ
ップ４２０はそれぞれ図２のステップ１００、ステップ
１１０及びステップ１２０と同一の処理ステップであ
る。ステップ４３０及びステップ４４０はそれぞれ図２
のステップ１６０及びステップ１７０と同じ処理ステッ
プであるが、ステップ４３０はステップ４２０により推
定されたパンパラメタ及びズームパラメタを最終的な推
定結果として用いる。

【００８２】本実施例は、図２のステップ１３０，１４
０，１５０に相当する処理ステップが省かれているので
（ＭＶ差判定回路１６に関係した動作は行なわれな
い）、その分、前記実施例１より処理量は減るという利
点がある。しかし、前記実施例に比べ、背景のグローバ
ルな動きと異なる動き部分のブロックがパラメタ推定の
ための代表ブロックとして最終的に選ばれる危険性が増
加する分、パラメタの推定精度の面では不利である。し
たがって、本実施例は前記実施例１ほどのパラメタ推定
精度を必要としないが、一層の処理量削減が望まれる場
合に好適である。

【００８３】＜実施例３＞本実施例は前記実施例２をさ
らに簡略化したもので、図１１は本実施例の処理の流れ
の概略を示すフローチャートである。

【００８４】図１１において、ステップ５００は図２の
ステップ１００と同じ処理ステップである。ステップ５
１０は図２のステップ１１０に対応する処理ステップで
あり、ブロック内の輝度信号の勾配ベクトルの広がりの
大きさの評価値を用いて、基本選択位置のブロックの動
きベクトル検出の信頼度を評価し、信頼度が低いと判断
したブロックはパラメタ推定のための代表ブロックから
除外するが、ステップ１１０とは異なり、除外したブロ
ックの代替のブロックを探す操作は行なわない（閾値判
定器９からリジェクト信号Ｒ１が出力されても、選択ブ
ロック位置アドレス生成回路３は候補位置のブロックの
アドレスを生成する動作は行なわず、除外されたブロッ
クが無視されるだけである）。図１１のステップ５２
０，５３０，５４０は図２のステップ１２０，１６０，
１７０と同じ処理ステップである。

【００８５】本実施例は、ステップ５１０において除外
したブロックの代替ブロックを探さないため、前記実施
例２に比べ、パラメタ推定に用いられるブロックの個数
が減少してパラメタ推定精度が悪化する虞があるが、処
理量は減少する。したがって、本実施例は、処理量の削
減を優先する用途に好適である。

【００８６】＜実施例４＞本実施例は前記実施例３をさ
らに簡略化したもので、図１２は本実施例の処理の流れ
の概略を示すフローチャートである。

【００８７】図１２において、ステップ６００及びステ
ップ６１０はそれぞれ図２のステップ１００及びステッ
プ１２０と同一の処理ステップである。ステップ６２０
及びステップ６３０はそれぞれ図２のステップ１６０及
びステップ１７０と同じ処理ステップである。

【００８８】本実施例は、基本選択位置のブロックがそ
のままパラメタ推定のための代表ブロックとされるの
で、動きベクトル検出の信頼度の低いブロックの動きパ
ラメタがパラメタ推定に用いられる危険性が高い分、そ
れほど高いパラメタ推定精度を期待できない場合がある
が、処理量は極めて少ない。評価器８、閾値判定器９、
ＭＶ差判定回路１６、それらの周辺ハードウエアは不要
となる。したがって、本実施例は、処理量の削減、処理
の高速化及びハードウエアの削減を最優先する用途に適
するといえよう。

【００８９】以上、本発明のいくつかの実施例について
説明したが、それらの変形や組合せも可能であることは
当業者にとって明白であろう。また、本発明のパラメタ
推定方法は、動画像符号化以外の目的にも応用できるこ
とは当然である。

【００９０】

【発明の効果】以上、詳細に説明したように、請求項１
乃至１０の各項記載の発明は、動画像のグローバル動き
パラメタ推定処理のネックとなってぃた動きベクトル検
出のための処理量の削減を、パラメタ推定精度をそれほ
ど落とすことなく、達成でき、したがって、処理量の削
減が重要な小型のデジタルビデオカメラのような、グロ
ーバル動きのみ補償する簡易な動画像符号化システムの
実現に大きく寄与するものである。

【００９１】請求項２記載の発明によれば、パラメタ推
定に用いるブロックの選択のための処理量が少なく、選
択されたブロック以外の動きベクトルの検出は全く必要
とされないので、処理量の大幅削減と処理の高速化が可
能となる。

【００９２】請求項３記載の発明によれば、動きベクト
ルを検出する前に、動きベクトルの検出の信頼度を推定
し、信頼度が高いと推定されるブロックのみ用いてグロ
ーバル動きパラメタの推定を行なうので、動きベクトル
検出のための処理量を削減しつつ、高精度なパラメタ推
定が可能となる。

【００９３】請求項４記載の発明によれば、パラメタ推
定に用いるブロック数が過少になることを防止し、パラ
メタ推定の精度を維持できる。

【００９４】請求項５または６記載の発明によれば、背
景のグローバルな動きと違う動きをする部分のブロック
の動きベクトルがパラメタ推定に用いられることによる
パラメタ推定精度の悪化を防止できる。さらに、請求項
６記載の発明によれば、そのような部分のブロックの代
替ブロックを探すことにより、パラメタ推定に用いられ
るブロックが過少になることを避けることができるた
め、より高精度のパラメタ推定が可能である。

【００９５】請求項７乃至１０の各項記載の発明によれ
ば、ブロック内の輝度信号の勾配ベクトルの分布の広が
りの大きさ、または、その評価値によって、ブロックの
動きベクトルを実際に検出することなく、動きベクトル
検出の信頼度を簡易に評価し、パラメタ推定に用いるの
に適したブロックを効率的に選択することができる。

【図面の簡単な説明】

【図１】本発明を実施するための処理系の一例を示すブ
ロック図である。

【図２】実施例１の処理の流れを示す概略フローチャー
トである。

【図３】図２中のステップ１１０の処理内容を簡略化し
て示すフローチャートである。

【図４】ブロック内の各画素での輝度信号の勾配を定義
するためのアルゴリズムの一例を記述したＣ言語ソース
リストを示す図である。

【図５】インターレス画像の場合のブロック内の各画素
での輝度信号の勾配を定義するためのアルゴリズムの一
例を記述したＣ言語ソースリストを示す図である。

【図６】ブロックの輝度信号の勾配ベクトルの分布の広
がりの大きさの評価値を求めるためのアルゴリズムの一
例を記述したＣ言語ソースリストを示す図である。

【図７】ブロックの輝度信号の勾配ベクトルの分布の広
がりの大きさの評価値を求めるためのアルゴリズムの他
の例を記述したＣ言語ソースリストを示す図である。

【図８】図２中のステップ１２０におけるグローバル動
きパラメタ推定アルゴリズムの一例を記述したＣ言語ソ
ースリストを示す図である。

【図９】図２中のステップ１４０の処理内容を簡略化し
て示すフローチャートである。

【図１０】実施例２の処理の流れを示す概略フローチャ
ートである。

【図１１】実施例３の処理の流れを示す概略フローチャ
ートである。

【図１２】実施例４の処理の流れを示す概略フローチャ
ートである。

【図１３】最小二乗誤差法によるグローバル動きパラメ
タの推定アルゴリズムを記述したＣ言語ソースリストを
示す図である。

【図１４】パラメタ推定のための代表ブロックの選択に
関連した画面領域分割、基本選択位置及び候補選択位置
の例を示す図である。

【図１５】ブロック内の輝度信号の勾配ベクトルの分布
の広がりの例を示す図である。

【図１６】ブロック内の輝度信号の勾配ベクトルの分布
の広がりの大きさの評価方法の一例を説明するための図
である。

【図１７】ブロック内の輝度信号の勾配ベクトルの分布
の広がりの大きさの評価方法の他の一例を説明するため
の図である。

【符号の説明】

１参照フレーム画像メモリ２符号化対象フレーム画像メモリ３選択ブロック位置アドレス生成回路４参照領域画像読み出し回路５選択ブロック画像読み出し回路６参照域画像メモリ７選択ブロック画像メモリ８評価器９閾値判定器１０閾値メモリ（＃１）１１ＭＶ検出回路１２検出ＭＶメモリ１３グローバル動きパラメタ推定回路１４ＭＶ展開回路１５展開ＭＶメモリ１６ＭＶ差判定回路１７閾値メモリ（＃２）

Claims

【特許請求の範囲】

【請求項１】動画像の各フレームの画面を複数ブロッ
クに分割し、ブロック単位の動きベクトルからグローバ
ル動きの中のパン及びズームを表わすパラメタを最小二
乗誤差法により推定するグローバル動きパラメタ検出方
法において、画面内の複数ブロックより一定のルールによって選択し
た一部のブロックの動きベクトルのみをパン及びズーム
のパラメタの推定に用いることを特徴とするグローバル
動きパラメタ検出方法。
【請求項２】動画像の各フレームの画面を複数ブロッ
クに分割し、ブロック単位の動きベクトルからグローバ
ル動きの中のパン及びズームを表わすパラメタを最小二
乗誤差法により推定するグローバル動きパラメタ検出方
法において、画面内の複数ブロックより水平方向及び垂直方向に一定
数ブロックおきに一部のブロックを代表ブロックとして
選択し、代表ブロックとして選択されたブロックについてのみ、
その動きベクトルを検出して、それをパン及びズームの
パラメタを推定に用いることを特徴とするグローバル動
きパラメタ検出方法。
【請求項３】動画像の各フレームの画面を複数ブロッ
クに分割し、ブロック単位の動きベクトルからグローバ
ル動きの中のパン及びズームを表わすパラメタを最小二
乗誤差法により推定するグローバル動きパラメタ検出方
法において、画面内の複数ブロックより水平方向及び垂直方向に一定
ブロック数おきに一部のブロックを代表ブロックとして
選択し、代表ブロックとして選択されたブロックの中で、動きベ
クトルの検出の信頼度が低いと推定されるブロックを代
表ブロックより除外し、除外されずに残った代表ブロックについてのみ、その動
きベクトルを検出して、それをパン及びズームのパラメ
タの推定に用いることを特徴とするグローバル動きパラ
メタ検出方法。
【請求項４】動画像の各フレームの画面を複数ブロッ
クに分割し、ブロック単位の動きベクトルからグローバ
ル動きのなかのパン及びズームを表わすパラメタを最小
二乗誤差法により推定するグローバル動きパラメタ検出
方法において、画面内の複数ブロックより水平方向及び垂直方向に一定
数ブロックおきに一部のブロックを代表ブロックとして
選択し、代表ブロックとして選択されたブロックの中で、動きベ
クトルの検出の信頼度が低いと推定されるブロックを代
表ブロックより除外し、代表ブロックより除外されたブロックの周囲の予め定め
られた位置に、動きベクトルの検出の信頼度が高いと推
定されるブロックが存在するときには、そのブロックを
代表ブロックとし、最終的に代表ブロックとされたブロックについてのみ、
その動きベクトルを検出してパン及びズームのパラメタ
の推定に用いることを特徴とするグローバル動きパラメ
タ検出方法。
【請求項５】動画像の各フレームの画面を複数ブロッ
クに分割し、ブロック単位の動きベクトルからグローバ
ル動きのなかのパン及びズームを表わすパラメタを最小
二乗誤差法により推定するグローバル動きパラメタ検出
方法において、画面内の複数ブロックより一定のルールによって一部の
ブロックを代表ブロックとして選択し、代表ブロックとして選択されたブロックについて、動き
ベクトルの検出をし、得られた動きベクトルを用いて最
小二乗誤差法によりパン及びズームのパラメタを推定
し、推定されたパン及びズームのパラメタから、代表ブロッ
クとして選択されたブロックの動きベクトルを展開し、代表ブロックとして選択されたブロックの中で、展開さ
れた動きベクトルと検出された動きベクトルとの差が所
定の閾値を超えるブロックは代表ブロックより除外し、除外されずに残った代表ブロックとしてのブロックにつ
いて検出された動きベクトルだけを用いて最小二乗誤差
法により最終的なパン及びズームのパラメタを推定する
ことを特徴とするグローバル動きパラメタ検出方法。
【請求項６】動画像の各フレームの画面を複数ブロッ
クに分割し、ブロック単位の動きベクトルからグローバ
ル動きのなかのパン及びズームを表わすパラメタを最小
二乗誤差法により推定するグローバル動きパラメタ検出
方法において、（ａ）画面内の複数ブロックより水平方向及び垂直方向
に一定数ブロックおきに一部のブロックを代表ブロック
として選択し、（ｂ）代表ブロックとして選択されたブロックの中で、
動きベクトルの検出の信頼度が低いと推定されるブロッ
クを代表ブロックより除外し、除外されたブロックの周
囲の予め定められた位置に、動きベクトルの検出の信頼
度が高いと推定されるブロックが存在するときには、そ
のブロックを代表ブロックとし、（ｃ）この段階において代表ブロックとされたブロック
について、動きベクトルの検出をし、得られた動きベク
トルを用いて最小二乗誤差法によりパン及びズームのパ
ラメタを推定し、（ｅ）推定されたパン及びズームのパラメタから、代表
ブロックとされたブロックの動きベクトルを展開し、代
表ブロックとされたブロックの中で、展開された動きベ
クトルと検出された動きベクトルとの差が所定の閾値を
超えるブロックは代表ブロックより除外し、除外された
ブロックの周囲の予め定められた位置に、動きベクトル
の検出の信頼度が高いと推定されるブロックが存在する
ときには、当該信頼度が高いと推定されたブロックの動
きベクトルを検出し、この動きベクトルと、当該信頼度
が高いと推定されたブロックに対応する前記（ｃ）で展
開された動きベクトルとの差が所定の閾値以下のとき
は、当該信頼度が高いと推定されたブロックを代表ブロ
ックとし、（ｆ）この段階において代表ブロックとされたブロック
について検出された動きベクトルだけを用いて最小二乗
誤差法により最終的なパン及びズームのパラメタを推定
することを特徴とするグローバル動きパラメタ検出方
法。
【請求項７】請求項３，４または６記載のグローバル
動きパラメタ検出方法において、ブロックの動きベクト
ルの検出の信頼度を推定するために、ブロック内の輝度
信号の勾配ベクトルの分布の広がりの大きさを用いるこ
とを特徴とするグローバル動きパラメタ検出方法。
【請求項８】請求項７記載のグローバル動きパラメタ
検出方法において、対象となる動画像がインタレース画
像である場合には、ブロック内の輝度信号の勾配ベクト
ルの分布の広がりの大きさを求める際に、勾配ベクトル
の垂直方向成分については１ラインおきに勾配を計算す
ることを特徴とするグローバル動きパラメタ検出方法。
【請求項９】請求項７記載のグローバル動きパラメタ
検出方法において、ブロック内の輝度信号の勾配ベクト
ルの分布の広がりの大きさの評価値として、ブロック内
全画素の勾配ベクトルの平均の方向と、これに直交する
方向について、勾配ベクトルの分布を覆うところの、こ
れら方向の軸に直交する最小の矩形の面積を用いること
を特徴とするグローバル動きパラメタ検出方法。
【請求項１０】請求項７記載のグローバル動きパラメ
タ検出方法において、ブロック内の輝度信号の勾配ベク
トルの分布の広がりの大きさの評価値として、勾配ベク
トルの分布を覆うところの水平及び垂直方向軸に直交す
る最小の矩形の面積と、勾配ベクトルの分布を覆うとこ
ろの水平及び垂直方向軸を４５度回転させた軸に直交す
る最小の矩形の面積のうちの小さいほうの面積を用いる
ことを特徴とするグローバル動きパラメタ検出方法。