JPH07192135A

JPH07192135A - 動画像処理方法および装置

Info

Publication number: JPH07192135A
Application number: JP5331477A
Authority: JP
Inventors: Masahide Nomura; 正英野村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1993-12-27
Filing date: 1993-12-27
Publication date: 1995-07-28
Anticipated expiration: 2013-09-10
Also published as: JP2795148B2; US5673207A

Abstract

(57)【要約】【目的】カメラにより逐次取り込んだ複数の画像か
ら、局所速度の大きさの小さい画像領域のみを切り出
す。【構成】逐次入力画像列に対して三角関数部分の位相
が９０度異なる時空間３次元Ｇａｂｏｒ関数を畳み込ん
で得られる２つの画像と、同入力動画像に空間２次元Ｇ
ａｂｏｒ関数と時間平滑化微分演算子との積からなる関
数を畳み込んで得られる画像を用いることにより、入力
画像の明度勾配が激しく変化する場合でも、オプティカ
ルフローを求めることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像処理方法に関
し、動画像中のオプティカルフローを求める為の動画像
処理方法に関する。

【０００２】

【従来の技術】自然動画像中のオプティカルフローを計
測する方法として良く知られている方法に勾配法があ
る。この方法は特徴点のない領域についても密にオプテ
ィカルフローが求められる点に於いて優れている（ロボ
ットビジョン（ＲｏｂｏｔＶｉｓｉｏｎ）Ｈｏｒｎ
（１９８６，ＭＩＰｒｅｓｓ）ＩＳＯ−２６２−０８
１５９）。

【０００３】

【発明が解決しようとする課題】しかしながら、勾配法
では画像の明度勾配が激しく変化する画像領域で誤差が
大きくなり、その為にオプティカルフローが求められな
いと言う欠点があった。

【０００４】本発明の目的は、明度勾配が激しく変化す
る場合でもオプティカルフローを求めることのできる動
画像処理方法および装置を提供することにある。

【０００５】

【課題を解決するための手段】本発明の動画像処理方式
では、逐次入力画像列に対して三角関数部分の位相が９
０度異なる時空間３次元ガボア（Ｇａｂｏｒ）関数を畳
み込んで得られる２つの画像と、同入力動画像に空間２
次元Ｇａｂｏｒ関数と時間平滑化微分演算子との積から
なる関数を畳み込んで得られる画像を用いることによ
り、入力画像の明度勾配が激しく変化する場合でも、オ
プティカルフローを求めることができる。また、オプテ
ィカルフローの大きさが測定可能な範囲以下である領域
の画像だけを抽出することができる。

【０００６】

【実施例】次に、本発明について図面を参照して説明す
る。

【０００７】（実施例１）図１は本発明の一実施例の構
成図である。図１に示す実施例は、それぞれ撮像カメラ
で捕捉し逐次入力する動画像列（１）と、その入力画像
から画像勾配を計算する為に使われる時空間フィルタ演
算器（２）、時間微分を計算する為に使われる時空間フ
ィルタ演算器（３）、及び除算器（４）、オプティカル
フローの計算結果を保持するためのフレームメモリ
（５）を備えて成る。

【０００８】次に、本実施例の動作について説明する。

【０００９】まず、演算器１により、逐次入力画像ａ
（ｘ，ｙ，ｔ）から次式で与えられる

【００１０】

【外１】

【００１１】個のＧａｂｏｒ関数Ｇ（ｘ，ｙ，ｔ，
ｋ_i，θ_j，φ）；

【００１２】

【外２】

【００１３】の畳み込み積分が計算される。その計算結
果ｇ（ｘ，ｙ，ｔ，ｋ_i，θ_j）；

【００１４】

【外３】

【００１５】が演算器（２）の出力として得られる。ｇ（ｘ，ｙ，ｔ，ｋ_i，θ_j，φ）＝ａ（ｘ，ｙ，ｔ）^**Ｇ（ｘ，ｙ，ｔ，ｋ_i ，θ_j，φ）．．．式（１）Ｇ（ｘ，ｙ，ｔ，ｋ_i，θ_j，φ）＝ｓｉｎ（２πｋ_i（ｘｃｏｓθ_j＋ｙｓｉｎθ_j）ｃｏｓθ_i＋ｔｓｉｎθ_i）＋φ）×ｅｘｐ（−２ｋ_i ²（ｘ²＋ｙ² ＋ｔ²））．．．式（２）但し、ｎ_k＝１とする。

【００１６】また、演算器（３）ではａ（ｘ，ｙ，ｔ）
から次式で与えらえる

【００１７】

【外４】

【００１８】個の関数Ｄ（ｘ，ｙ，ｔ，ｋ_i，θ_j，
φ）；

【００１９】

【外５】

【００２０】の畳み込み積分が計算される。その計算結
果ｄ（ｘ，ｙ，ｋ_i，θ_j，φ）；

【００２１】

【外６】

【００２２】が演算器（３）の出力として得られる。ｄ（ｘ，ｙ，ｔ，ｋ_i，θ_j，φ）＝ａ（ｘ，ｙ，ｔ）^**Ｄ（ｘ，ｙ，ｔ，ｋ_i ，θ_j，φ）．．．式（３）Ｄ（ｘ，ｙ，ｔ，ｋ_i，θ_j，φ）＝ｓｉｎ（２πｋ_i（ｘｃｏｓθ_j＋ｙｓｉｎθ_j）＋φ）ｔｅｘｐ（−２ｋ_i ²（ｘ²＋ｙ²＋ｔ²））．．．式（４）但し、ｎ_k＝１とする。

【００２３】演算器（２）及び演算器（３）からの出力
結果から、除算器によりオプティカルフローＶ（ｘ，
ｙ，ｔ，ｋ_i，θ_j）が式（５）で示すように計算さ
れ、その結果がフレームメモリ（５）に蓄えられる。

【００２４】

【数１】

【００２５】ここで、εはＶの発散を抑える為の微小パ
ラメータで、画像が入力された際にＶが実際のシステム
で許される最大値または最小値を超えない程度に小さく
とる。

【００２６】（実施例２）図２は本発明の一実施例の構
成図である。図２に示す実施例は、それぞれ撮像カメラ
で捕捉し逐次入力する動画像列（１）と、その入力画像
から画像勾配を計算する為に使われる時空間フィルタ演
算器（２）、時間微分を計算する為に使われる時空間フ
ィルタ演算器（３）、及び演算器（６）、演算器
（７）、演算器（８）、フレームメモリ（９）、フレー
ムメモリ（１０）、フレームメモリ（１１）を備えて成
る。

【００２７】次に、本実施例の動作について説明する。

【００２８】動画像列、演算器（２）及び演算器（３）
は実施例１の場合と全く同じである。演算器（２）から
の出力ｇと演算器（４）からの出力ｄを用いてオプティ
カルフローが大きい領域で値が大きくなるＴが演算器
（６）で以下のように計算され、フレームメモリ（９）
に蓄えられる。

【００２９】

【数２】

【００３０】演算器（７）では、Ｔとフレームメモリ
（１１）に蓄えられているＴ２（・，・，ｔ−１，・）
からＴ２（・，・，ｔ，・）が以下のように計算され、
フレームメモリ（１０）に送られる。Ｔ２（ｘ，ｙ，ｔ，ｋ_i）＝ｂ_jＷ（ｘ，ｙ，ｔ）^**Ｔ（ｘ，ｙ，ｔ，ｋ_i）＋（１−ｂ_j）Ｔ２（ｘ，ｙ，ｔ−１，ｋ_i）．．．式（７）ここで、ｂ_jはコントロールパラメータで０．１から
０．８程度に設定する。また、Ｗは局所平滑化の際の重
みで、例えば以下のように与える。Ｗ（ｘ，ｙ，ｔ）＝ｅｘｐ（−（ｘ²＋ｙ²＋ｔ²）／２σ²）．．．式（８）但し、先の場合を含め、畳み込み積分は使用する演算器
に最も適したあるアリズムにより実行するものとする。

【００３１】フレームメモリ（１０）に蓄えられたＴ２
（ｘ，ｙ，ｔ，ｋ_i）を用いて、演算器（８）でオプテ
ィカルフローの大きすぎる領域で正値を持つＱ（ｘ，
ｙ，ｔ，ｋ_i）が次式のように計算され、その結果がフ
レームメモリ（１１）に転送される。Ｑ（ｘ，ｙ，ｔ，ｋ_i）＝Ｆ［Ｔ２（ｘ，ｙ，ｔ，ｋ_i）］．．．式（９）Ｆ［ｘ］＝（１＋ｔａｎｈ（ｘ／τ））／２．．．式（１０）式（８）の定数τは０．０１〜０．１程度の適当な値に
設定する。この様にして計算されたＱは、オプティカル
フローが１／ｋ_iより大きいときには１に近く、１／ｋ
_iより小さいときには０に近い値をとる。

【００３２】このようにして得られたＱを用いて、例え
ば以下のようにしてオプティカルフローの小さい画像を
取り除いた画像Ｒを得る事が出来る。但し、ｎ_k＝１と
する。よって、その逆をとればオプティカルフローの大
きさが小さい画像領域のみを切り出す事が出来る。

【００３３】

【数３】

【００３４】以上のようにして、逐次入力画像に対し
て、適当な帯域制限フィルターを施した後その結果を用
いる事により、オプティカルフローが小さい画像領域の
みを効果的に切り出すことができる。

【００３５】（実施例３）実施例２において、ｎ_kを２
以上とし、空間周波数チャンネル毎に上述の処理を行
う。それにより、オプティカルフローの大きさの程度に
よって画像領域を分割することができる。

【００３６】

【発明の効果】以上説明したように本発明は、逐次入力
画像列に対して三角関数部分の位相が９０度異なる時空
間３次元Ｇａｂｏｒ関数を畳み込んで得られる２つの画
像と、同入力動画像に空間２次元Ｇａｂｏｒ関数と時間
平滑化微分演算子との積からなる関数を畳み込んで得ら
れる画像を用いることにより、入力画像の明度勾配が激
しく変化する場合でも、オプティカルフローを求めるこ
とができる。また、オプティカルフローの小さい領域の
画像部分のみを切り出すことが出来る。

【図面の簡単な説明】

【図１】本発明の一実施例の構成図である。

【図２】本発明の一実施例の構成図である。

【符号の説明】

（１）逐次入力画像（２）演算器（３）演算器（６）演算器（７）演算器（８）演算器（９）フレームメモリ（１０）フレームメモリ（１１）フレームメモリ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成６年８月３日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００２

【補正方法】変更

【補正内容】

【０００２】

【従来の技術】自然動画像中のオプティカルフローを計
測する方法として良く知られている方法に勾配法があ
る。この方法は特徴点のない領域についても密にオプテ
ィカルフローが求められる点に於いて優れている（ロボ
ットビジョン（ＲｏｂｏｔＶｉｓｉｏｎ）Ｈｏｒｎ
（１９８６，ＭＩＰｒｅｓｓ）ＩＳＯ−２６２−０８
１５９）。また、時刻の異なる２つの画像からオプティ
カルフローを求める場合には、両眼視方式（特願平５−
１７２８０１号明細書）を流用することもできる。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００３

【補正方法】変更

【補正内容】

【０００３】

【発明が解決しようとする課題】しかしながら、勾配法
では画像の明度勾配が激しく変化する画像領域で誤差が
大きくなり、その為にオプティカルフローが求められな
いという欠点があった。また、両眼視方式を流用して、
逐次入力する動画像列の中から２つの画像だけを取り出
してオプティカルフローを計算すると、２つの画像間に
含まれるノイズが結果に大きく影響を与えてしまい、正
しい結果が求められないと言う欠点があった。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正内容】

【０００４】本発明の目的は、明度勾配が激しく変化す
る場合でも、逐次入力する画像列の間のノイズに大きく
影響されることなく正しいオプティカルフローを求める
ことができる動画像処理方式および装置を提供すること
にある。

Claims

【特許請求の範囲】

【請求項１】逐次入力する画像に対して三角関数部分の
位相が９０度異なる２つの３次元ガボア関数の畳み込み
積分を計算し、前記逐次入力する画像に対して空間２次
元ガボア関数と時間平滑化微分演算子との積からなる関
数の畳み込み積分を計算し、前記３つの計算結果より入
力画像のオプティカルフローを求めることを特徴とする
動画像処理方法。
【請求項２】逐次入力する画像に対して三角関数部分の
位相が９０度異なる２つの３次元ガボア関数の畳み込み
積分を計算し、前記逐次入力する画像に対して空間２次
元ガボア関数と時間平滑化微分演算子との積からなる関
数の畳み込み積分を計算し、前記３つの計算結果より入
力画像のオプティカルフローの小さい画像領域を切り出
すことを特徴とする動画像処理方法。
【請求項３】逐次入力する画像に対して三角関数部分の
位相が９０度異なる２つの３次元ガボア関数の畳み込み
積分を計算する演算器２と、前記逐次入力する画像に対
して空間２次元ガボア関数と時間平滑化微分演算子との
積からなる関数の畳み込み積分を計算する演算器３と、
前記演算器２、３の出力より入力画像のオプティカルフ
ローを求める除算器４とからなることを特徴とする動画
像処理装置。
【請求項４】逐次入力する画像に対して三角関数部分の
位相が９０度異なる３次元ガーバー関数の畳み込み積分
を計算する演算器２と、前記逐次入力する画像に対して
空間２次元ガボア関数と時間平滑化微分演算子との積か
らなる関数の畳み込み積分を計算する演算器３と、前記
演算器２、３の出力より入力画像のオプティカルフロー
の大きい領域で値が大きくなる関数Ｔを求める演算器６
と、演算器６の出力結果を蓄えるフレームメモリ９と、
フレームメモリ９に蓄えられた関数Ｔとフレームメモリ
１１に蓄えられた関数Ｔ２とからＴ２を計算する演算器
７と、演算器７の出力結果を蓄えるフレームメモリ１０
と、フレームメモリ１０に蓄えられたＴ２を用い、オプ
ティカルフローの大きすぎる領域で正値をもつ関数Ｑを
求めるその結果を前記フレーム１１に蓄える演算器８と
からなることを特徴とする動画像処理装置。