JPH043595A

JPH043595A - 動画像の動き情報検出装置および動画像の動き補償フレーム間予測符号化装置

Info

Publication number: JPH043595A
Application number: JP2104032A
Authority: JP
Inventors: Yoshihiro Miyamoto; 義弘宮本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1990-04-19
Filing date: 1990-04-19
Publication date: 1992-01-08
Anticipated expiration: 2012-03-05
Also published as: JP2586686B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は動画像の動き情報検出方式および動画像の動き
補償フレーム間予測符号化方式に関する。

（従来の技術）従来、動画像の動き補償フレーム間予測符号化方式とし
ては、供給された画像を定められた大きさの小ブロック
に分割し、その分割した各小ブロック毎に動ベクトルを
検出し、該動ベクトルの全てを伝送する方式が普通に用
いられていた。

この動画像の動き補償フレーム間予測符号化方式の改良
として特願昭６３−２３０３５０号「画像符号化装！お
よび復号化装置」において、小ブロック毎に検出した動
ベクトルを周波数分解してその低周波成分を動ベクトル
場として出力する方式が説明されている。この方式では
、検出した動ベクトル場から小ブロック毎の動ベクトル
を展開してその展開した動ベクトルを動き補償フレーム
間予測に用いる。また動ベクトル場を符号化して復号化
装置に伝送することで、符号化・復号化側装置で同じ動
ベクトルを用いた動き補償を実現することができる。こ
のように動ベクトル情報として動ベクトル場を符号化伝
送することで、動ベクトル情報の符号量を削減している
。

（発明が解決しようとする課題）小ブロック毎に検出しな動ベクトルを周波数分解してそ
の低周波成分を動ベクトル場として符号化伝送する方式
では、動ベクトル情報量を削減することができる。しか
し実際のカメラ操作によるズーム・回転等の動きは低周
波成分のみでは十分正確に記述することはできない。従
って動ベクトル場から小ブロック毎に展開された動ベク
トルを用いた動き補償フレーム間予測は必ずしも効果的
ではないという欠点があった。

そこで本発明は、検出精度の高い動き検出を実現するこ
とを目的とする。

（課題を解決するための手段）本発明に係る第１の動画像の動き情報検出方式動画像の
フレーム間の動き情報の検出を行う動画像の動き情報検
出方式であって、入力画像の画素毎または小ブロック毎
に動ベクトルを検出する動ベクトル検出手段と、入力画
像の画素毎または小ブロック毎に検出された前記動ベク
トルから画像全体の動きを記述しアフィン変換を特徴づ
ける動きパラメータを検出して該動きパラメータを動き
情報として出力する動きパラメータ検出手段とを備える
ことを特徴とする。

本発明に係る第２の動画像の動き情報検出方式前述した
第１の動画像の動き情報検出方式であって、前記動きパ
ラメータ検出手段は入力画像の画素毎または小ブロック
毎に検出された動ベクトルから最小２乗誤差法を用いて
前記動きパラメータを計算することを特徴とする。

本発明に係る第３の動画像の動き情報検出方式前述した
第１の動画像の動き情報検出方式であって、前記動きパ
ラメータ検出手段は入力画像の画素毎または小ブロック
毎に検出された動ベクトルのうち周囲の動ベクトルと大
きく異なる成分を取り除く働きを持つフィルタを備え、
該フィルタの出力である動ベクトル成分がら前記動きパ
ラメータを計算することを特徴とする。

本発明に係る第１の動画像の動き補償フレーム間予測符
号化方式は、画像全体の動きを記述しアフィン変換を特徴づける動き
パラメータを変換係数とする画像上の位置に対する一次
変換を用いて入力画像の画素毎または小ブロック毎の動
ベクトルを展開し、該展開されな動ベクトルを用いて動
き補償フレーム間予測を行うことを特徴とする。

本発明に係る第２の動画像の動き補償フレーム間予測符
号化方式は、前述した第１の動画像の動き補償フレーム間予測符号化
方式が展開する動ベクトルを基準値として画素または小
ブロックの動ベクトルを検出し、該動ベクトルを用いて
動画像の動き補償フレーム間予測を行うことを特徴とす
る。

（作用）本発明に係る第１の動画像の動き情報検出方式の原理を
第６図を用いて説明する。入力画像の画素毎または小ブ
ロック毎に動ベクトルを検出した場合に、画像内で検出
される動ベクトルにはカメラ操作にしたがった特徴が見
られる。例えばカメラが横方向にバンニングを行ってい
る場合には、検出される動ベクトルは第６図＜ａ）に示
すような一定の方向を示す、またカメラがズーミングを
行ってる場合には、第６図（ｂ）に示すような放射状の
動ベクトルを発生する。さらにカメラが手振れ等により
回転している場合には第６図（ｃ）に示すようになる。

同様な動ベクトルは編集装置による画像の平行移動・拡
大縮小・回転の櫟な操作によっても発生する。

これらの画像内の動ベクトルは画像上の位置の関数とし
て記述することができる。具体的には式（１）に示すア
フィン変換で記述される。

によるズーミング・回転・バンニング各々による動きを
記述する変換に分離した形に展開できる。

なお式（２）においてＡ１＝＜ａ＋ｄ）／２Ａ２　＝　（−ｂ＋ｃ　）　／　２Ａ３＝（ａ−ｄ）／２Ａ１１＝（ｂ＋ｃ）／２である。

展開式（２）の第１項はズーミング、第２項は回転、第
５項（ｅ、ｆ）’はバンニングによる動きを示す。なぜ
ならばズーミングにより発生する動ベクトルはズーミン
グ中心からの放射線方向を持ち、かつその中心からの距
離に比例した大きさを持つ。従って式（２）第１項の形
で記述できる。

また回転により発生する画像内の位置Ｐでの動ベクトル
は、画像の回転中心を中心点とし、かつＰ点を通過する
円を描いた場合に、この円のＰ点での接線と同じ方向を
持ち、大きさはその円の半径に比例する。これは式（２
）第２項の形で記述できる。さらにバンニングによる動
ベクトルは画像内で一様であるから式（２）第５項の形
となる。

なおズーミング・回転の中心が画像の原点位置（０，Ｏ
）からずれている場合には、中心位置のズレ成分は式（
２）第５項に含まれる。ただし、本発明ではフレーム間
での回転角度が十分率さいこと、またカメラのレンズの
焦点！？［ｉが十分大きく、バンニングにより発生する
動きが画像内で均一である場合を仮定している。なお式
（２）の第３項は第６図（ｄ）に示した縦横歪、第４項
は第６図（ｅ）に示した斜め歪の各々の変換による動ベ
クトルを表すが、実際のカメラ入力画像ではこのような
動きは存在しないので本発明では無視することとする。

以上に説明したようにカメラ操作により画像内に発生す
る動きはズーミング・回転・バンニング各々を記述する
変換の線形結合で表現でき、その変換を特徴づける動き
パラメータは式（１）の（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）または式（２）の（ＡＩ　、Ａ２　、ｅ、ｆ）のどちらかの組合せで与えることができる。

動き情報の符号化においては、これらの動きパラメータ
のみを符号化することで、動き情報を減らした効率の良
い符号化を実現することができる。

またアフィン変換を特徴づける動きパラメータを用いる
ことで、画像全体の動きをより正確に記述することがで
きる。

本発明に係る第２の動画像の動き情報検出方式の画像全
体の動きを記述するアフィン変換を特徴づける動きパラ
メータの計算は、入力画像の画素毎または小ブロック毎
に検出した動ベクトル（Ｖ、、Ｖ、）から最小２乗誤差
法を用いておこなう。まず画像内の位置（ｘ’　、ｙ’
　）と、その位置での動ベクトルのＸ成分の実測値ＶＷ
’とからパラメータａ、ｂ、ｅを求める方法を説明する
。

いよＮ個の実測値ｘ’　、ｙ’　ｌ　　Ｋ　’　　（ｉ
＝ｔ〜Ｎ）に対してアフィン変換式（１）のパラメータ
ａ、ｂ、ｅを仮定した場合に、ｖ８の実測値との平均２
乗誤差ＭＳＥは式（３）で与えられる。

＝Ｅ　　＜Ｖ、　２　＞　＋ａ２　Ｅ　　＜Ｘ２　＞＋
ｂ２　Ｅ　　（ｙ２　）＋ｅ２２　ａ　Ｅ　　（ｖ　ｘ　　ｘ　）　　　２　ｂ　Ｅ２
ｅＥ　　（ｖｔ　）＋２ａｂＥ＋　２　ａ　ｅ　Ｅ　　（ｘ　）　　＋　２　ｂ　ｅ　
Ｅ（■エ　ｙ）（ｘｙ）（ｙ）・・・　（３）なだし、Ｅに）は平均を示し次式で表される。

ここで式（３）をａ、ｂ、ｅそれぞれで微分して、その
結果を０に等しいと置けば平均２乗誤差を最小にするパ
ラメータａ、ｂ、ｅが求められる。すなわちＮ′−１となる、さらに式（４）を行列化するとにとればＥ　（ｘ＞＝Ｅ　（ｙ）＝Ｅ　（ｘｙ）＝Ｏ−（７）で
あるから、式（５）は次のようになる。

と記述できる。ここで式（５）の行列Ｍが正則であるな
らば、逆行列Ｍ−１が存在して式（５）は式（６）の様
に書き直すことができる。

ゆえに、すなわちアフィン変換のパラメータａ、ｂ、ｅは実測値
ｘ’　、ｙ’　、ｖえ１から式（６）を用いて計算でき
ることが示される。また特殊な場合として実測を行う座
標位置（ｘ’、ｙ’）を原点対象である。従ってＮ個の
実測値Ｘ’、ｙ’　　ｖえ（１＝１〜Ｎ）を原点対象に
測定すれば、式（９）を用いることでパラメータａ、ｂ
、ｅをより簡単に計算することができる。原点対象な測
定点の設定方法の一例として、画像の中心を原点（０，
Ｏ）としてこの原点対象位置（±ｊ、±ｋ）を測定点と
することができる（但し、Ｎ＝（２ｍ＋１）＊でＪ、に
は０からｍまでの整数とする）。また同様な方法を用い
ることでＮ個の実測値ｘ’　、ｙ’ｖ、　’　　（ｉ　
＝ｌ　〜Ｎ）からパラメータｃ、ｄ、ｆを計算すること
ができる。

また本発明に係る第３の動画像の動き情報検出方式の画
像全体の動きを記述するアフィン変換を特徴づける動き
パラメータの計算方式では、まず入力画像の画素毎また
は小ブロック毎に動ベクトル（ＶＸ　、Ｖ−）を検出す
る。次に検出した動ベクトル（ｖｘ　、Ｖ、）をフィル
タに供給してフィルタ通過成分（Ｖ、Ｌ、　Ｖ、Ｌ）を
検出する。このフィルタのはたらきにより画素毎または
小ブロック毎に検出した動ベクトルのうち、周囲の動ベ
クトルとは大きく異なる動ベクトルを取り除く、前記フ
ィルタの一例としては、低域通過フィルタを用いること
ができる。この場合には、画像内の座標位置（ｉ、　ｊ
）での動ベクトルを（ＶｘＬ（ｉ、　ｊ）、　　（ｖ、
　（ｉ、　ｊ））とおくと、そのフィルタ通過成分（Ｖ
ＥＬ（ｉ、　ｊ）、　ｖｙｔ、（ｉ、　ｍは・・・　（
１０）で記述される。式（１０）でｆ（ｑ、ｒ）は低域通過フ
ィルタ係数である。また他の例としてはメデイアン・フ
ィルタなどのノイズ除去フィルタを用いることも可能で
ある。画像全体の動きを記述するアフィン変換を特徴づ
ける動きパラメータはこのフィルタ通過成分（ＶえＬ＋
　ＶＦＬ）から計算する。

このようにフィルタを用いることで個々の動ベクトル検
出に誤りがあってもこの影響を排除して、画像全体とし
ての動きを記述する動きパラメータをより正確に検出す
ることが可能となる。

本発明に係る第１の動画像の動き補償フレーム間予測符
号化方式においては、まず画像全体の動きを記述するア
フィン変換を特徴づける動きパラメータから画素毎また
は小ブロック毎の動ベクトルを展開して生成する。すな
わち入力画像に対して前記動きパラメータが与えられる
と、画像内の位置が（ｘ、ｙ）である画素または小ブロ
ックの動ベクトル（Ｖ、、Ｖア）は式（１）、ｔたは式
（２）の−時変換を用いて求めることができる。

予測符号化においては、この展開された動ベクトルを用
いて動き補償フレーム間予測を行う。なお本発明で一次
変換係数として用いる動きパラメータは、入力画像から
本発明に係る第１の動画像の動き情報検出方式を用いて
検出することができる。

またカメラ・編集装置の操作による動きパラメータがこ
れら装置から出力されている場合には、その動きパラメ
ータを用いることも可能である。

本発明に係る第２の動画像の動き補償フレーム間予測符
号化方式に用いる動ベクトルの検出方式においては、ま
ず画像全体の動きを記述するアフィン変換を特徴づける
動きパラメータから画素毎または小ブロック毎の動ベク
トルを展開する。次に展開された動ベクトルを基準値と
して画素毎または小ブロック毎の動ベクトルを検出する
。動きパラメータから展開された動ベクトルは画像内で
滑らかに変化し、実際の画像全体の動きをかなり正確に
示すことができる９本発明ではこの展開された動ベクト
ルを動ベクトル探査の初期値として用いることで、誤検
出の少ない動ベクトルの検出を可能とする。また展開さ
れた動ベクトルを用いた動き補償フレーム間差分があら
かじめ定めたしきい値よりも小さい画素または小ブロッ
クについては、前記動ベクトルを検出動ベクトルとして
もよい。なお本発明で動ベクトル展開に用いる動きパラ
メータは、入力画像から本発明に係る第１の動画像の動
き情報検出方式を用いて検出することができる。またカ
メラ・編集装置の操作による動きパラメータがこれら装
置から出力されている場合には、その動きパラメータを
用いることも可能である。

（実施例）第１図は本発明に係る第１の動画像の動き情報検出方式
の一実例のブロック図である。まず動べクトル検出回路
１１に入力画像１０１と参照画像１０２とが供給される
。動ベクトル検出回Ｆ！＠１１では、入力画像１０１か
ら画素毎または小ブロック毎の動ベクトル（■８．Ｖ、
）１．０３を検出し、該動ベクトル（Ｖ工、Ｖ、）を動
きパラメータ検出回路１２に供給する。動きパラメータ
検出回路１２は、動ベクトル１０３から画像全体として
の動きを記述するアフィン変換を特徴づける動きパラメ
ータ１０４を計算により求めて動き情報として出力する
。

第２図は本発明に係る第２の動画像の動き情報検出方式
の動きパラメータ検出手段の一実施例のブロック図であ
る。まず入力画像の画素毎または小ブロック毎に実測さ
れた動ベクトル（ｖｌ。

■ア）のうちＸ方向成分■工は平均値検出回路２１に、
またｙ方向成分Ｖ、は平均値検出回路２３に供給される
。また動ベクトルの実測座標位置（ｘ、ｙ）は平均値検
出回路２１．２２．２３の各々に供給される。つぎに各
平均値検出回路２１゜２２．２３は各種平均値を計算し
てアフィン変換係数検出回路２４．２５に供給する。ア
フィン変換係数検出回路２４は供給された各種平均値か
ら作用の項に示した式（６）を用いてアフィン変換係数
ａ、ｂ、ｅを計算して出力する。またアフィン変換係数
検出回路２５はアフィン変換係数検出回路２４と同様の
方法によりアフィン変換係数Ｃ５ｄ、ｆを計算して出力
する。なお実測座標位置（ｘ、ｙ）が原点対象にとられ
ている場合には、各種平均値のうちＥ　（ｘ）、Ｅ　（
ｙ）、Ｅ　（ｘｙ）は全て０となるので計算して求める
必要がない。

この場合にはアフィン変換係数検出回路２４は供給され
た各種平均値から作用の項に示した式（９）を用いてア
フィン変換係数ａ、ｂ、ｅを計算して出力する。また同
様の計算によりアフィン変換係数検出回路２５はアフィ
ン変換係数ｃ、ｄ、ｆを計算して出力する０以上の方法
により求めた係数（ａ、ｂ、ｃ、ｄ、ｅ、ｆ＞を動きパ
ラメータとする。さらにアフィン変換係数ａ、ｂ、ｃ、
ｄを変換式％式％）によりＡ１　、Ａ２に変換して、係数（ＡｔＡ２．ｅ、
ｆ）の組合せを動きパラメータとして出力することも可
能である。

第３図は本発明に係る第３の動画像の動き情報検出方式
の動きパラメータ検出手段の一実施例のブロック図であ
る。まず入力画像の画素毎または小ブロック毎に検出さ
れた動ベクトル３０１（Ｖ、、Ｖア）がフィルタ回路３
１に供給される。

フィルタ回路３１は動ベクトル３０１に含まれている誤
検出ベクトルを取り除き、フィルタ通過成分３０２　（
Ｖ、Ｌ、　Ｖ、Ｌ）　ヲ動キハラメー３１検出回路３２
に供給する。動きパラメータ検出回路３２は、このフィ
ルタ通過成分３０２を用いて第１図に示した動きパラメ
ータ検出回路１２と同じようにアフィン変換を特徴づけ
る動きパラメータ３０３を計算して出力する。動きパラ
メータ３０３は第２図に示した実施例と同じ方法を用い
ることで計算することができる。

第４図は本発明に係る第１の動画像の動き補償フレーム
間予測符号化方式の動ベクトルを展開する手段の実施例
のブロック図である。動ベクトル展開図Ｂ４１または４
２は画像内の座標位ｆ（ｘｙ）の−次変換を用いて、画
素または小ブロックに対する動ベクトル（Ｖ工、■、）
を展開して出力する構成となっている。ここで前記−次
変換の変換係数として第１図の実施例で示したアフィン
変換を特徴づける動きパラメータを用いている。

なお第４図（ａ＞は前記動きパラメータが作用の項に記
載した式（１）に示した変換係数（ａ、　ｂｃ、ｄ、ｅ
、ｆ）の組合せで供給された場合の動ベクトル展開の実
施例である。また第４図（ｂ）は前記動きパラメータが
作用の項に記載した式（２）に示した変換係数（Ａ１．
Ａ２　、ｅ、ｆ）の組合せで供給された場合の動ベクト
ル展開の実施例である。

第５図は本発明に係る第２の動画像の動き補償フレーム
間予測符号化方式の動ベクトル検出手段の一実施例のブ
ロック図である。まず第１図の実施例で示したアフィン
変換を特徴づける動きバラメータ５０３が動ベクトル展
開口Ｎｌ５２に供給される。動ベクトル展開回路５２は
、供給された動きパラメータ５０３を係数とする画像上
の位置の一次変換を用いて画素毎または小ブロック毎の
動ベクトル５０４　（Ｖ、ｔ、Ｖ、ｔ）を展開して動ベ
クトル検出回路５１に供給する。動ベクトル検出回路５
１は、参照画像５０２を用いて入力画像５０１の画素毎
または小ブロック毎の動ベクトル５０５　＜ｖ、、ｖ、
＞を検出する。なお動ベクトルの検出に際しては、展開
された動ベクトル５０４を動ベクトル探査の基準値とし
て用いる。

（発明の効果）以上に詳しく説明したように本発明によれば、動き補償
フレーム間予測に用いる動き情報の量を減らすことがで
きるだけでなく、アフィン変換係数を動きパラメータと
して用いることで画像全体の動きをより正確に記述する
ことができ、また動きパラメータから展開された動ベク
トルを基準値として用いて小ブロック毎の動き検出を行
うことでより検出精度の高い動き検出を実現することが
できる。

【図面の簡単な説明】

第１図は本発明に係る第１の動画像の動き情報検出方式
の一実施例のブロック図、第２図は本発明に係る第２の
動画像の動き情報検出方式の動きパラメータ検出手段の
一実施例のブロック図、第３図は本発明に係る第３の動
画像の動き情報検出方式の動きパラメータ検出手段の一
実施例のブロック図、第４図は本発明に係る第１の動画
像の動き補償フレーム間予測符号化方式に用いる動ベク
トルを展開する手段の実施例のブロック図、第５図は本
発明に係る第２の動画像の動き補償フレーム間予測符号
化方式の動ベクトル検出手段の一実施例のブロック図、
第６図は動画像のフレーム間動ベクトルの構造を説明す
る図である。１１．５１・・・動ベクトル検出回路、１２．３２・・
・動きパラメータ検出回路、２１，２２．２３・・・平
均値検出回路、２４．２５・−・アフィン変換係数検出
回路、３１・・・フィルタ回路、４１，４２゜５２・・
・動ベクトル展開回路、４１１，４１２，４１３．４１
４，４２１，４２２，４２３，４２４・・・乗算器、４
１５，４１６，４１７，４１８，４２６．４２７，４２
８・・・加算器、４２５・・・減算器、１０１．５０１
・・・入力画像、１０２，５０２・・・参照画像、１０
３，３０１，３０２，５０４，５０５、・・・動ベクト
ル、１０４，３０３，５０３・・・動きパラメータ。

Claims

【特許請求の範囲】

（１）動画像のフレーム間の動き情報の検出を行う動画
像の動き情報検出方式において、入力画像の画素毎また
は小ブロック毎に動ベクトルを検出する動ベクトル検出
手段と、入力画像の画素毎または小ブロック毎に検出さ
れた前記動ベクトルから画像全体の動きを記述しアフィ
ン変換を特徴づける動きパラメータを検出して該動きパ
ラメータを動き情報として出力する動きパラメータ検出
手段とを備えることを特徴とする動画像の動き情報検出
方式。
（２）請求項１に記載の動画像の動き情報検出方式にお
いて、前記動きパラメータ検出手段は入力画像の画素毎
または小ブロック毎に検出された動ベクトルから最小２
乗誤差法を用いて前記の動きパラメータを計算すること
を特徴とする動画像の動き情報検出方式。
（３）請求項１に記載の動画像の動き情報検出方式にお
いて、前記動きパラメータ検出手段は入力画像の画素毎
または小ブロック毎に検出された動ベクトルのうち周囲
の動ベクトルと大きく異なる成分を取り除く働きを持つ
フィルタを備え、該フィルタの出力である動ベクトル成
分から前記動きパラメータを計算することを特徴とする
動画像の動き情報検出方式。
（４）画像全体の動きを記述しアフィン変換を特徴づけ
る動きパラメータを変換係数とする画像上の位置に対す
る一次変換を用いて入力画像の画素毎または小ブロック
毎の動ベクトルを展開し、該展開された動ベクトルを用
いて動き補償フレーム間予測を行うことを特徴とする動
画像の動き補償フレーム間予測符号化方式。
（５）請求項４に記載の動画像の動き補償フレーム間予
測符号化方式が展開する動ベクトルを基準値として画素
または小ブロックの動ベクトルを検出し、該動ベクトル
を用いて動画像の動き補償フレーム間予測を行うことを
特徴とする動画像の動き補償フレーム間予測符号化方式
。