JPH0767111A - 画像の動き推定装置 - Google Patents

Abstract

(57)【要約】 【目的】 動画像中の動物体の動きを効率的かつ正確に
推定することができる画像の動き推定装置を提供する。 【構成】 入力画像信号の中の特定領域に対し、その領
域の動きを表現する複数のパラメータの値を再帰的に更
新しながら求める手段と、前記更新時の変化量をそれま
でのパラメータ値を用いた動き推定誤差の大きさと各パ
ラメータに対する画素値の勾配に基づいて決定する手段
と、パラメータ値の更新の終了を判断する手段とを有す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像に対して動き補償
フレーム間子測符号化を行なう際の画像の動き推定装置
に関する。

【０００２】

【従来の技術】動画像の高能率符号化技術は、無線テレ
ビ電話のように使用可能帯域が非常に制限されると予想
される状況下で画像を伝送したい、あるいは例えばアナ
ログ回線のような比較的帯域の狭い通進路を用いて高画
質の画像を伝送したい、また、記憶媒体に今よりもっと
長時間の画像を蓄積したい等の要求に答えるために開発
がなされている。

【０００３】一般に動画像における連続するフレーム間
には非常に大きな相関があることが知られており、この
性質を有効に利用した高能率符号化方法として動き補償
フレーム間予測符号化がある。図６に従来の動き補償フ
レーム間予測符号化のブロック図を示す。ここでは、ま
ずブロック動き推定部１１で入力画像中の動領域に対す
る動きベクトルを求める。動き補償部１２では得られた
動きベクトルに従い前フレームの動き補償を行なう。伝
送情報は、得られた予測画像の予測誤差と動きベクトル
である。従って、動き補償フレーム間符号化において符
号化効率を上げることは予測画像の精度を上げることに
他ならず、予測画像の精度を上げることは動き推定の精
度を上げることに等しい。

【０００４】従来の動き推定方法には大別してブロック
マッチング法と勾配法の２手法がある。ブロックマッチ
ング法では分割されたブロック毎に動きベクトルを求め
る。注目しているブロックと、ある変移だけずらした位
置にある前フレーム中のブロックとにおいて同位置にあ
る画素間の画素値の誤差和を求める。様々な変移に対し
て誤差和を計算し、最も小さな誤差和を持つ変移をその
ブロックの動きベクトルとみなす。この方法では動きベ
クトルの探索範囲内における妥当性が保証される。

【０００５】しかしながら、ブロックマッチングによる
動き推定では、並行移動しか考慮していない。したがっ
て、回転、伸縮、あるいは変形などの並行移動でない動
きは推定できない。また、指定範囲内の動きベクトルの
候補を全探索するために計算に時間がかかる。

【０００６】一方、勾配法は画素毎に動きベクトルを求
める方法として提案された。画面上の点（ｘ，ｙ）の移
動ベクトル（Ｖｘ，Ｖｙ）は近似的に次の方程式に拘束
されることが知られている。

【０００７】Ｅｘ・Ｖｘ＋Ｅｙ・Ｖｙ＋Ｅｔ＝０ ここで、Ｅｘ、Ｅｙはそれぞれｘ方向ｙ方向の空間勾
配、Ｅｔは時間軸方向の勾配であり、いずれも差分演算
により容易に求めることができる。例えば図７に示すよ
うに、現フレーム１３における注目画素を黒丸（ｘ，
ｙ）で示すと、ｘ方向の画素（白丸）との濃度差がＥ
ｘ，Ｙ方向の画素（白丸）との濃度差がＥｙで表わされ
る。また、前フレーム１４における前記注目画素と同位
置の画素を黒丸（ｘ′，ｙ′）で示すと、この画素値と
現フレーム１３の注目画素値との濃度差がＥｔで表わさ
れる。こうして上式において、１つの注目画素に対して
Ｅｔは１つ決定され、Ｅｘ，ＥｙをそれぞれＸ方向、Ｙ
方向で変化させる事により、上式が０となるような（Ｖ
ｘ，Ｖｙ）を求める。

【０００８】この勾配法では画素毎に動きの推定を行な
うため並行移動に限らず回転、伸縮等にも対応すること
が可能であるが、画素毎の濃度値を用いるためノイズの
影響を受け易く、また、局所的な勾配しか考慮していな
いため大きな動きに対処できないといった問題を有す
る。そこで、画素毎でなく例えばブロックなどの大きな
領域に勾配法を適用した例もあるが、この場合、動き推
定が並行移動に限られることとなる。

【０００９】

【発明が解決しようとする課題】以上述べたように従来
のブロックマッチング法では並行移動しか対処できずに
計算時間がかかるという欠点があり、勾配法ではノイズ
の影響を受けると共に大きな動きに対処できないという
欠点があった。

【００１０】本発明の目的は、動画像中の動領域に対
し、並行移動のみならず回転・伸縮等の様々な動きを正
確且つ効率的に推定できる画像の動き推定装置を提供す
ることにある。

【００１１】

【課題を解決するための手段】本発明は、時間的に連続
したフレーム画像の特定領域に対し、該特定領域の隣接
フレーム画像間での動きを表現するパラメータ値を再帰
的に更新しながら求めるパラメータ値更新手段と、前記
パラメータ値の更新の変化量を更新前のパラメータ値に
よる現フレームおよび前フレーム画像間での特定領域の
動き推定誤差と現フレーム画像での各パラメータに対す
る画素値の勾配とに基づいて決定するパラメータ値更新
量計算手段と、前記パラメータ値更新手段により更新さ
れたパラメータ値による結果が所定の条件を満たしたと
きにパラメータ値の更新を終了させる更新終了判定手段
とを備えたことを特徴とするものである。

【００１２】

【作用】本発明による画像の動き推定装置は、複雑な動
きを表現するために増加した動きパラメータの値を各パ
ラメータに関する画素値の勾配と動き推定誤差とから逐
次的に推定していくことにより、効率が良くしかも正確
な動き推定が可能となる。また、動き推定の初期値を予
め定められたいくつかの候補の中から最小動き推定誤差
を持つ値に設定することや、各パラメータの特性に応じ
て動き推定の対象となるパラメータを段階的に変えてい
くことにより広範囲の動きの推定が可能となる。

【００１３】

【実施例】以下本発明の一実施例を図面を用いて説明す
る。図１は、本発明の一実施例に係わる動き推定装置の
ブロック図である。入力端子１、２からはそれぞれ画像
信号、動き推定対象領域指定信号が入力される。この動
き推定対象領域としては、例えば人物の顔領域が指定さ
れる。パラメータ値更新部３で定められた動き表現に基
づき対象領域の動きパラメータの推定が行なわれる。動
きの表現としては例えば（１）式のようなアフィン変換
写像が考えられる。これにより、現フレーム画像の動き
推定対象領域内の各点（ｘ，ｙ）の画素値が前フレーム
画像の点（ｘ′，ｙ′）の画素値に等しいことがパラメ
ータａ〜ｆにより表現される。但し、ａ〜ｄは回転、拡
大、縮小、変形を表現するパラメータで、ｅ、ｆは並行
移動を表現するパラメータである。

【００１４】

【数１】 パラメータ値更新量計算部４では、動き推定誤差が小さ
くなるようにパラメータの値を更新していく。その更新
方法としては例えば（２）式に基づき再帰的に行なう方
法が考えられる。

【００１５】

【数２】 （２）式においてＰ_i はｉ回の更新後のパラメータ、ｇ
_n （ｘ，ｙ）は現フレーム画像の点（ｘ，ｙ）の画素
値、ｘ′_pi、ｙ′_piは位置（ｘ，ｙ）に対しパラメータ
Ｐ_i により変換された座標値、ｇ_n-1 （ｘ′_pi，
ｙ′_pi）は前フレーム画像の点（ｘ′_pi，ｙ′_pi）の画
素値、▽ｐｇ_n は現フレーム画像ｇ_n におけるパラメー
タＰに関する画素値の勾配、右辺第２項のΣは、動き推
定対象領域中の全点にわたる総和を示している。つまり
右辺第２項の分母は現フレーム画像上の注目画素に対
し、現在の６つのパラメータを＋１等の基本単位で変化
させたとき（例えばｅを＋１する）の変換画素との濃度
差を示し、分子は現フレーム画像の注目画素と現パラメ
ータにより変換された座標値の前フレーム上での画素と
の濃度差を示している。従って、右辺第２項の全体は、
現パラメータによる現フレーム画像と前フレーム画像の
濃度差に対する、現フレーム画像のパラメータ単位の濃
度差の比の総和となっている。こうして新たなパラメー
タＰ_i+1 が求まると、これを右辺第２項に代入して再帰
的に更に新たなパラメータを順次求める。そして、更新
終了判定部５でパラメータ値の更新の終了が決定された
後、出力端子６より動きパラメータが出力される。更新
終了判定の方法としては（２）式右辺の第２項の値がス
レッショルド以下になった場合、パラメータ値更新後の
動き推定誤差が増加した場合、あるいはこれらの組合せ
等が考えられる。

【００１６】尚、（２）式では右辺第２項全体に対して
総和を求めているが、分母・分子のそれぞれに対して総
和を求めても同様のパラメータが得られる。図２は、本
発明の第２の実施例を示すブロック図である。

【００１７】図１との違いは、初期値設定部７があるこ
とである。初期値設定部７では、パラメータ値更新部３
で用いるパラメータ値の初期値をいくつかの初期値候補
の中から選択する。例えば前述の動き表現において、
ａ、ｂ、ｃ、ｄをそれぞれ１、０、０、１で固定、ｅ、
ｆとして（０，０）、（−８，８）、（８，−８）、
（８，８）、（−８，−８）を初期値候補とし、このう
ち動き推定誤差の最小となるパラメータ値を初期値とし
て選択する方法が考えられる。

【００１８】図３は、本発明の第３の実施例を示すブロ
ック図である。図１との違いは、パラメータ値更新実行
判定部８があることである。パラメータ値更新実行判定
部８では、ある特定のパラメータに関し、パラメータ値
更新を行なうかどうかを毎回の更新過程において判定す
る。その方法としては、例えば、パラメータ値の更新後
の動き推定誤差が増加する場合には、パラメータの更新
は行なわない等が考えられる。

【００１９】図４は、本発明の第４の実施例を示すブロ
ック図である。図１との違いは、推定パラメータ更新部
９があることである。推定パラメータ更新部９では、値
の更新の対象となるパラメータを決定する。推定パラメ
ータの更新は、通常、全パラメータに対する値の更新が
なされるまで繰り返す。前述の動き表現を用い、より具
体的に説明する。本発明では多段階でパラメータ値の推
定ができることを利用し、いきなりａ〜ｆすべてのパラ
メータ値を求めることが難しい場合には、まず、例えば
（３）式のように、変形を考慮しない制限されたアフィ
ン変換写像による動きの表現から求めることも可能であ
る。ここで、θは回転、ｓは拡大・縮小パラメータであ
る。

【００２０】

【数３】 この場合、推定パラメータの更新過程の一例として

【００２１】

【数４】 が考えられる。

【００２２】図５は、本発明の第５の実施例を示すブロ
ック図である。図１との違いは、パラメータ値補正部１
０があることである。パラメータ値補正部１０では、パ
ラメータの更新により得られたパラメータ値を微小変化
させることにより動き推定誤差のより小さくなるパラメ
ータ値を探索する。その方法としては、例えば、次のよ
うなものが考えられる。パラメータの値を＋方向、−方
向に微小変化させたときの動き推定誤差を求め、＋方向
が小さければさらに＋方向にパラメータ値を変化させて
いき、その時々の動き推定誤差を求める。動き推定誤差
の上昇が認められるとそれまでの最小誤差を持つパラメ
ータ値を補正値として出力する。

【００２３】

【発明の効果】本発明によれば、更新すべきパラメータ
の値を、現在の各パラメータに関する画素値の勾配と動
き推定誤差とから逐次的に求めることにより、フレーム
画像内の特定領域の様々な動きを正確で且つ効率的に推
定できるという効果を有する。

【図面の簡単な説明】

【図１】 本発明の第１の実施例に係わる動き推定装置
のブロック図。

【図２】 本発明の第２の実施例を示すブロック図。

【図３】 本発明の第３の実施例を示すブロック図。

【図４】 本発明の第４の実施例を示すブロック図。

【図５】 本発明の第５の実施例を示すブロック図。

【図６】 従来の動き補償フレーム間予測符号化の一例
を示すブロック図。

【図７】 従来の勾配法を説明するための図。

【符号の説明】

１…入力端子 ２…入力端子 ３…パラメータ値更新部 ４…パラメータ値更新量計算部 ５…更新終了判定部 ６…出力端子 ７…初期値設定部 ８…パラメータ値更新実行判定部 ９…推定パラメータ更新部 １０…パラメータ値補正部

Claims (1)

【特許請求の範囲】
1. 【請求項１】時間的に連続したフレーム画像の特定領域
   に対し、該特定領域の隣接フレーム画像間での動きを表
   現するパラメータ値を再帰的に更新しながら求めるパラ
   メータ値更新手段と、前記パラメータ値の更新の変化量
   を更新前のパラメータ値による現フレームおよび前フレ
   ーム画像間での特定領域の動き推定誤差と現フレーム画
   像での各パラメータに対する画素値の勾配とに基づいて
   決定するパラメータ値更新量計算手段と、前記パラメー
   タ値更新手段により更新されたパラメータ値による結果
   が所定の条件を満たしたときにパラメータ値の更新を終
   了させる更新終了判定手段とを備えたことを特徴とする
   画像の動き推定装置。