JPH10197543A - 時系列画像動き計測方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 任意の画像領域および時間範囲をもつ複数フ
レームの時系列画像から、画像中の対象物体の最も優勢
な速度成分を対象物体の生成、消滅、隠蔽（オクルージ
ョン）や形状や濃淡変化などの不安定要素に対してロバ
ストに計算する。 【解決手段】 運動軌跡抽出部２０１で時系列画像中の
任意の画像領域内および時間範囲内ついて、そのフレー
ム間の濃度値の差分を時間方向に積層して得られる時空
間画像として、移動する対象物体の輪郭およびエッジが
時空間中に描く運動軌跡を求める。平面検出部２０３で
運動軌跡の接平面を検出し、法線方向検出部２０５で接
平面の法線方向の分布を求め、交線検出部２０７で複数
の接平面がつくる交線の方向を求める。ピーク検出部２
０９で最も顕著な交線の方向を決定し、速度成分計算部
２１０で、その交線と画像平面とのなす角より速度の大
きさを求め、交線を画像平面に射影して得られる直線の
方向から顕著な動きの方向を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術】本発明は、ビデオカメラや気象レ
ーダー装置やリモートセンシングなどにより得られる時
系列画像の濃度値の変化より、時系列画像中の対象物体
の動きを計測する時系列画像動き計測方法および装置に
関する。

【０００２】

【従来の技術】人、交通などの監視や製造工程の制御、
気象などの自然現象の解明や予測への応用などにおい
て、時系列画像の認識処理を用いた高度化、効率化が望
まれている。

【０００３】時系列画像から対象物体の動きを計測する
従来の方法として、画像の２フレーム間の濃度値の相互
相関値を用いた相互相関法と呼ばれる手法が代表的方法
として広く知られている。一例として、文献［１］遊馬
芳雄、菊池勝弘、今久：“簡易気象レーダーによるエコ
ーの移動速度について”、北海道大学地球物理学研究報
告、Vol.44, October, 1984, pp.35-51.では、この相互
相関法を時系列画像の一種である気象レーダー画像に適
用し、画像中のレーダーエコーの速度成分を求めてい
る。

【０００４】この方法は、ある任意の時間間隔ΔΤをお
いて計測された２枚の画像を用いて、一方をずらしなが
ら、画像濃度値の相関値を計算し、最も高い相関値を示
すずれを２つのフレーム間の降水域の移動量とし、この
移動量と計測時間間隔ΔΤから速度成分を計算してい
る。

【０００５】具体的には、図１０に示すように、時間間
隔Δｔにおいて計測された２枚の画像Ｒ₁ ，Ｒ₂ から、
次式により相互相関値を求める。ただし、画像上の格子
点（ｉ，ｊ）における画像の濃度値を各々Ｒ₁ （ｉ，
ｊ）、Ｒ₂ （ｉ，ｊ）、相関をとる領域を（Ａ，Ｂ）、
相関値を計算する際の２枚の画像Ｒ₁、Ｒ₂のズレを
（ｋ，ｌ）とする（図１０中、斜線は相関値をとる範囲
を示し、中央の太線の矢印は対象物体の移動方向を表
す）。

【０００６】

【数１】 上述の計算によって求められた相互相関値は、例えば、
図１１に示すようになる。そこで、格子点上にある相互
相関値の最大値をとる点（Ｋ，Ｌ）での相互相関値

【０００７】

【外１】 およびその近傍の４点の相互相関値

【０００８】

【外２】 に対して二次関数による補間を行い、補間の結果相互相
関値が最大となる点（格子点とは限らない）とのずれ
（ｋ’，ｌ’）を次式により求める（図１２参照、ただ
し、Ｘ成分のみを示す）。

【０００９】

【数２】 以上より、２枚の画像Ｒ₁，Ｒ₂は（Ｋ＋ｋ’，Ｌ＋
ｌ’）だけずらした場合に相互相関値が最大となる。こ
のことから、対象物体の速度成分は次の式（６）、式
（７）より求めることができる。ただし、Ｖ_x ，Ｖ_y
は、それぞれ移動量のｘ成分、ｙ成分を示す。

【００１０】

【数３】 この速度成分を２枚の画像Ｒ₁，Ｒ₂の計測時間間隔Δｔ
で割ったものが、移動速度のｘ成分、ｙ成分を表す。

【００１１】しかし、文献［１］が対象としている気象
レーダー画像中のエコーパターンのような自然現象や実
世界の対象においては、対象物体の生成や消滅、隠蔽
（オクルージョン）、変形などが頻繁に生じており、相
互相関法のような２フレーム間のマッチングを基本とす
る方法ではフレーム間での対応が不安定になり、対象物
体の速度成分を正確に求めることが困難であった。

【００１２】また、時系列画像中の任意の画像領域内お
よび時間範囲内における最も優勢な速度成分を求めると
いう動き情報の統合の問題に際しては、２フレーム間の
結果を時間平均、空間平均するような従来方法では、生
成や消滅、隠蔽（オクルージョン）などの悪影響を含め
た平均化された速度成分しか求めることができないとい
う問題があった。

【００１３】

【発明が解決しようとする課題】相互相関法のような２
フレーム間でのマッチングを基本とし、時系列画像から
対象物体の速度成分を求める方法では、対象物体の生
成、消滅、隠蔽（オクルージョン）や、形状や濃淡値の
時間変化がある場合、対象物体の速度成分が安定かつ正
確に求められないという問題がある。また、任意の画像
領域内および時間範囲内の動き情報を統合し、時間内で
最も優勢な速度成分を求める目的に対しては、２フレー
ム間で計算された速度成分に基づく方法では、対象の生
成、消滅、隠蔽（オクルージョン）などの悪影響を含む
平均化された速度成分しか計算ができないという問題が
あった。

【００１４】本発明の目的は、任意の画像領域および時
間範囲をもつ複数のフレームの時系列画像から、画像中
の対象の最も優勢な速度成分を対象の生成、消滅、隠蔽
（オクルージョン）や形状や濃淡変化等の不安定要素に
対してロバストに計算する時系列画像動き計測方法およ
び装置を提供することにある。

【００１５】

【課題を解決するための手段】本発明の時系列画像動き
計測方法は、時系列画像中の任意の画像領域内および時
間範囲内について、移動する対象物体の輪郭およびこの
エッジが時空間画像中に描く運動軌跡の接平面を検出
し、それらがつくる交線の方向から対象物体の速度成分
を求める。

【００１６】また、本発明の時系列画像動き計測装置
は、時系列画像として入力される複数フレームの画像の
任意の画像領域内および任意の時間範囲内の画像濃度値
を記憶する画像濃度値記憶手段と、運動軌跡時空間画像
記憶手段と、前記画像濃度値記憶手段に記憶されている
時系列画像中において、移動する対象物体の輪郭および
エッジが時空間中に描く運動軌跡を時空間画像中の画素
の集合として前記運動軌跡時空間画像記憶手段に記憶す
る運動軌跡抽出手段と、３次元配列状の平面パラメータ
空間記憶手段と、前記運動軌跡時空間画像記憶手段にお
いて得られた時空間画像において、運動軌跡の接平面の
分布を、３次元平面を極座標表示したときの３つのパラ
メータの関数として前記平面パラメータ空間記憶手段に
記憶する接平面検出手段と、２次元配列状の法線パラメ
ータ空間記憶手段と、前記平面パラメータ空間記憶手段
に得られた平面パラメータ空間を、法線方向を表す２つ
のパラメータを軸とする平面に投影したときの分布を前
記法線パラメータ空間記憶手段に記憶する法線方向検出
手段と、２次元配列状の直線パラメータ空間記憶手段
と、前記法線パラメータ空間記憶手段に得られた法線パ
ラメータ空間において、複数の異なる法線方向をもつ接
平面がつくる交線の方向の分布を、その交線の方向を２
つのパラメータの関数として前記直線パラメータ空間記
憶手段に記憶する交線検出手段と、前記直線パラメータ
空間記憶手段に得られた直線パラメータ空間から、対象
物体の速度成分の大きさと方向を計算する速度推定手段
とを有する。

【００１７】従来の相互相関法では時系列画像の２フレ
ーム間の動きのみを検出するのに対し、本発明では任意
の画像領域内および時間範囲内を一かたまりとして考え
ることにより、速度成分の検出と同時に多フレームの画
像中の動き情報の統合が可能となる。

【００１８】また、本発明では、運動軌跡抽出手段によ
りフレーム間差分をとることにより、対象物体の動きが
フレーム間での画像濃度値の変化として検出され、対象
物体の輪郭およびエッジが差分画像に現れる。この差分
画像を時間方向に積層することにより、対象物体の移動
による動き成分を輪郭およびエッジに沿って連なる運動
軌跡として時空間差分画像中に構成させることができ
る。

【００１９】また、対象物体に生成、消滅や隠蔽などが
生じる場合などでは、従来の相互相関法など２フレーム
間のマッチングを基本とする技術ではフレーム間の対応
を探索することが困難となるが、本発明では接平面検出
手段により運動軌跡の接平面を検出し、複数の接平面が
つくる交線の方向に基づき速度成分を決定しているた
め、安定した並進成分の計算が可能となる。

【００２０】法線方向検出手段では接平面検出手段によ
り得られた平面パラメータ空間から接平面の法線パラメ
ータのみを抽出した法線パラメータ空間への変換を行っ
ている。そのため、任意の画像領域、時間領域の時系列
画像をその中での時間や位置に依存しない速度成分（方
向と速度）のみを情報に集約することができる。そのた
め、一部の対象物体が生成、消滅したりする場合にも、
互いに動き情報を補うことができるようになり、安定し
た速度成分を求めることが可能となる。

【００２１】交線検出手段では法線方向検出手段により
得られた法線パラメータ空間を用い、運動軌跡の接平面
がつくる交線の強度分布を直線パラメータ空間中に構築
する。この空間中の分布のピークを求めることが、接平
面のつくる顕著な交線の方向を求めることを意味し、対
象となる時系列画像に含まれる対象物体の動きの方向、
速度を求めることになる。

【００２２】速度推定手段を構成するピーク検出手段で
は交線検出手段により得られた直線パラメータ空間内の
ピークを検出している。そのため、対象時空間内含まれ
る対象物体の最も優勢な速度成分のみを抽出することが
可能となる。直線パラメータ空間中に鋭いピークが立つ
場合、時空間画像中の複数の強度が大きい接平面が交線
を作っていることを意味し、図４で示したように、その
交線の方向が対象物体の時空間領域での運動軌跡を表
す。

【００２３】画像濃度値記憶手段から速度推定手段まで
を逐次実行することにより、本発明の目的である時系列
画像中の任意の時間範囲内および画像領域内に含まれる
対象物体の最も優勢な速度成分を対象物体の生成、消
滅、隠蔽、変形などの影響を受けずに、安定かつ正確に
計算することが可能となる。

【００２４】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００２５】図１は本発明の一実施形態の時系列画像動
き計測装置の構成図、図２はその処理を示すフローチャ
ートである。

【００２６】本実施形態の時系列画像動き計測装置は入
力部１００と処理部２００と出力部３００で構成されて
いる。

【００２７】入力部１００は、時系列画像を外部より入
力する画像受信部１０１と、画像受信部１０１で受信し
た画像（任意の画像領域内および任意の時間範囲内の画
像濃度値）を蓄積し（ステップ４０１）、処理部２００
からの要求に応じて画像を伝送するファイル装置１０２
からなる。処理部２００は運動軌跡抽出部２０１と運動
軌跡時空間画像メモリ２０２と接平面検出部２０３と平
面パラメータ空間メモリ２０４と法線方向検出部２０５
と法線パラメータ空間メモリ２０６と交線検出部２０７
と直線パラメータ空間メモリ２０８とピーク検出部２０
９と速度成分計算部２１０からなる。出力部３００は、
処理部２００の出力である速度成分を表示するディスプ
レイ装置３０１と、処理部２００の出力である速度成分
を蓄積するファイル装置３０２からなる。

【００２８】以下、処理部２００の機能を説明する。

【００２９】運動軌跡抽出部２０１は、入力部１００で
入力された時系列画像Ｉ（ｘ，ｙ，ｔ）、（ｘ＝１，
２，・・・，Ｍ；ｙ＝１，２，・・・，Ｎ；ｔ＝１，
２，・・・，Ｔ＋１）（ｘ，ｙは画像座標、ｔは時刻、
Ｍ×Ｎは画像領域サイズ、Ｔ＋１は画像フレーム数を示
す）について、画像中の移動する対象物体の輪郭および
エッジが時空間中に描く運動軌跡を抽出するために、そ
のフレーム間の濃度値の差分を計算し、その正値または
負値または絶対値を運動軌跡時空間画像メモリ２０２に
格納する（ステップ４０２）。正値を用いる場合、運動
軌跡時空間Ｄ（ｘ，ｙ，ｔ）（ｘ＝１，２，・・・，
Ｍ；ｙ＝１，２，・・・，Ｎ；ｔ＝１，２・・・，Ｔ）
は

【００３０】

【数４】 と計算できる。

【００３１】ここで、対象物体の濃度値が背景の濃度値
より高い場合、１次元の場合を例にとり、図３を用いて
説明すると、フレーム間差分の正値をとるということ
は、移動する対象物体の前面部分から動きを検出すると
いうことを意味する。また、フレーム間差分を負値をと
るということは、移動する対象物体の後面部分から動き
を検出するということを意味する。フレーム間差分の絶
対値をとるときは、対象物体の前面および後面部分から
動きを検出するということを意味する。また、フレーム
間の差分以外による方法も利用できる。

【００３２】次に、接平面検出部２０３は運動軌跡抽出
部２０１により得られた運動軌跡時空間画像メモリ２０
２が表す時空間画像を３次元空間と考え、この画像中に
構成された運動軌跡の接平面の分布を、極座標表示した
ときの３次元平面のパラメータ（０，φ，ρ）の関数Ｓ
_P （θ，φ，ρ）として平面パラメータ空間メモリ２０
４に記憶させる（ステップ４０３）。

【００３３】具体的に一例を用いて説明すると、図４
（ａ）のように画像中を正方形の対象物体が移動すると
き、これを図４（ｂ）のように時空間領域でみると、対
象物体の輪郭部の描く運動軌跡は時空間領域中において
筒状をなす。実際には、この運動軌跡は運動軌跡抽出部
２０１で求められた時空間画像中の画素の集合により表
現されている。このとき運動軌跡に接する接平面を考
え、２つの接平面がつくる交線に着目すると、その方向
は、この例では対象物体の頂点がつくる運動軌跡の方向
と等しくなり、これから対象物体の速度が推定できる。
さらに、複雑な形状をもつ対象物体についても、コーナ
ーなどの特異点を除いた輪郭やエッジがつくる運動軌跡
の接平面の交線の方向を求めることで、対象物体の速度
を推定することができる。

【００３４】ここで平面の表現法として、例えば、図５
に示したような極座標表示を用いる。３次元空間中の点
（ｘ_i ，ｙ_i ，ｔ_i ）を通る平面は３つのパラメータ
（θ，φ，ρ）を用いて

【００３５】

【数５】 のように表現することができる。ただし、画像表面座標
は（ｘ，ｙ）、時間座標はｔで表される。（θ，φ）は
平面の法線方向、ρは原点から平面までの最短距離を表
す。式（９）から、３次元空間中の一点（ｘ_i ，ｙ_i ，
ｚ_i ）は図６のような平面パラメータ空間中の一曲面に
対応する。

【００３６】ここでは、この平面の３つのパラメータ
（θ，φ，ρ）を軸とした３次元空間を（Δθ，Δφ，
Δρ）の微小間隔で離散化し、３次元状の配列Ｓ_P とし
て平面パラメータ空間メモリ２０４上に構築する。ここ
で、配列の要素をセルと呼ぶ。

【００３７】次に、投票（ハフ変換とも呼ぶ）を用い
て、運動軌跡時空間画像Ｄ中の運動軌跡の接平面の分布
を平面パラメータ空間メモリ中の各セルの値として得
る。具体的には、運動軌跡時空間画像Ｄ中の各画素（ｘ
_i，ｙ_i，ｔ_i）について、式（９）で表される平面パラ
メータ空間中の曲面を計算し、この曲面が通過する平面
パラメータ空間メモリ中のセルの値を、画素Ｄ（ｘ_i，
ｙ_i，ｔ_i）の値だけ増加させる。この処理を投票と呼
び、運動軌跡時空間画像Ｄ中の全ての画素について行な
う。その後、得られた平面パラメータ空間メモリ２０４
中の各パラメータ（θ，φ，ρ）のセルの投票の合計値
をパラメータ（θ，φ，ρ）をもつ運動軌跡の接平面の
強度とする（図８（ａ）参照）。なお、この方法以外の
方法も利用できる。

【００３８】法線方向検出部２０５では、平面検出部２
０３の処理の結果得られた平面パラメータ空間メモリ２
０４の値を入力し、これから接平面の法線方向の分布を
表す法線パラメータ空間を法線パラメータ空間メモリ２
０６上に構築する（ステップ４０４）。

【００３９】その一例として、平面パラメータ空間Ｓ_P
（θ，φ，ρ）について、全ての（θ，φ）について、
ρ方向に探索し、投票の最大値を法線パラメータ空間の
値Ｓ _N （θ，φ）とする。

【００４０】

【数６】 ここで、法線パラメータ空間は、平面パラメータ空間の
θ，φと同様の微小空間（Δθ，Δφ）で離散化され、
２次元配列として法線パラメータ空間メモリ２０６上に
構築される。

【００４１】この処理の結果、法線パラメータ空間の各
座標（θ，φ）の値は、時空間中に含まれる運動軌跡の
接平面を法線方向ごとにみたときの接平面の強度分布に
対応する値が格納される（図８（ｂ）参照）。

【００４２】交線検出部２０７は、法線方向検出部２０
５の処理の結果得られた法線パラメータ空間を入力し、
異なる法線方向をもつ複数の接平面の集合が作る交線の
強度（交線をつくる接平面の強度の和）の分布を交線の
方向を表す２つのパラメータα，βの関数として２次元
配列状のメモリである直線パラメータ空間メモリ２０８
に記憶させる（ステップ４０５）。

【００４３】交線の表現方法として、例えば、図７のよ
うな２つのパラメータ（α，β）を用いる。図７におい
て、直線の始点を原点（０，０，０）と考えたとき、β
は直線がｘ−ｙ平面（画像平面）となす角を、αは直線
をｘ−ｙ平面に射影したときにｘ軸となす角をそれぞれ
表す。ただし、０≦α＜２π，０＜β＜π／２である。

【００４４】ここで、３次元空間中の直線が平面パラメ
ータ空間Ｓ_P （θ，φ，ρ）内ではどのように表される
かを考える。２点Ｐ₁ （ｘ₁ ，ｙ₁ ，ｔ₁ ），Ｐ₂ （ｘ
₂ ，ｙ₂ ，ｔ₂ ）を通る直線は、点Ｐ₁ （ｘ₁ ，ｙ₁ ，
ｔ₁ ），Ｐ₂ （ｘ₂，ｙ₂，ｔ ₂）を与えたとき式（９）
で表わされる平面パラメータ空間Ｓ_P中の曲面の交線と
して表される。この関係は式（９）を２点Ｐ₁ 、Ｐ₂ に
ついて連立して解くことで次式のように表すことができ
る。

【００４５】

【数７】 ただし、ｔ₁ ≠ｔ₂ である。

【００４６】この式（１４）の関係は３次元空間中の直
線の位置には不変であり、直線の方向のみに依存する。
そこで、直線をその方向のパラメータ（α，β）を用い
表現すると、式（１４）は、

【００４７】

【数８】 と表すことができる。

【００４８】この式（１６）より、一つの直線、つまり
直線パラメータ空間Ｓ_L （α，β）中の一点は法線パラ
メータ空間Ｓ_N （θ，φ）中の一曲線となり、逆に、法
線パラメータ空間Ｓ_N （θ，φ）中の一点、つまり一平
面は直線パラメータ空間Ｓ_L（α，β）中の一曲線とな
る（図８参照）。この曲線は、一平面上に含まれ得る一
直線の分布を表す。よって、図８（ｃ）のように、それ
ぞれの接平面の法線の方向を与えたとき、直線パラメー
タ空間中に式（１７）によって表される曲線の交点から
接平面の交線の方向が得られる。

【００４９】この処理の具体例として、投票（ハフ変換
とも呼ぶ）を用いる方法が利用できる。

【００５０】まず、直線パラメータ空間Ｓ_L （α，β）
を（Δα，Δβ）の微小間隔で離散化し、２次元配列で
ある直線パラメータ空間メモリ２０８として構築する。

【００５１】次に、法線パラメータ空間Ｐ_N （θ，φ）
中の各点（θ，φ）について、その点が表す平面に含ま
れ得る直線の方向パラメータを、式（１６）をα，βの
関係を表わすように変形した式

【００５２】

【数９】 により計算し、この式の曲線が通過する直線パラメータ
空間メモリ中のセルの値を法線パラメータ空間Ｐ
_N（θ，φ）の値だけ増加させる。この処理を全ての直
線パラメータ空間メモリ中のセルについて行なったあ
と、方向（α、β）をもつ運動軌跡の接平面の交線の強
度が直線パラメータ空間Ｓ_L（α、β）の値（投票の合
計値）として得られ、これを交線パラメータ空間メモリ
２０８に格納する。

【００５３】なお、この方法以外の方法も利用可能であ
る。

【００５４】ピーク検出部２０９では、直線パラメータ
空間メモリ２０８の値を入力し、直線パラメータ空間メ
モリ２０８中の投票の合計値のピークを探索し、ピーク
をもつ直線のパラメータ値

【００５５】

【外３】 を出力とする（ステップ４０６）。

【００５６】速度成分計算部２１０では、ピーク検出部
２０９で検出された直線パラメータ空間中でのピーク点

【００５７】

【外４】 を入力し、フレーム間差分計算部２０１で入力された時
系列画像中の対象の速度成分（方向と速度の大きさ）を
計算する（ステップ４０７）。

【００５８】求める方向は図７で説明した直線パラメー
タの定義から

【００５９】

【外５】 として、移動速度Ｖは

【００６０】

【数１０】 として計算することができる。

【００６１】次に、本実施形態を実行した結果を従来法
と比較し説明する。図９（ａ）のようなランダムに配置
された円（半径４［ピクセル］）が一様に下から上に２
［ピクセル／フレーム］の速度で移動する画像を入力と
した（合計２２フレーム）。ただし、画像中央に２つの
遮蔽物を配置しているため、隠蔽（オクルージョン）が
生じている。図９（ｂ）はこの時系列画像に対して従来
の相互相関法を用いて速度場を計算した結果を、３つの
フレーム間につき示したものである。各点から延びる線
はその点での速度ベクトルを表し、その方向は計算され
た移動方向を示し、その長さは速度に大きさに対応して
いる。ただし、相関係数を求める際の窓の大きさは１５
×１５［ピクセル］とした。図９（ｃ）には、この従来
法の結果を全てのフレーム間について平均した速度場を
示す。

【００６２】図９（ｂ）のように隠蔽の効果により遮蔽
物との境界部分では正しい速度ベクトルが計算されてい
ない。また、この結果を平均した図９（ｃ）において
も、隠蔽の効果が積み重なることで、遮蔽物と周囲位置
において正しい速度が計算されていないことがわかる。

【００６３】図９（ｄ）には本実施形態の結果を示す。
２２フレームを使用し、一点での画像領域は１５×１５
［ピクセル］である。このように、本実施形態では従来
法のような隠蔽の影響を受けずに、正しい速度がほぼ全
域で計算できることがわかる。

【００６４】

【発明の効果】以上説明したように、本発明は、時系列
画像中の任意の画像領域内、時間範囲内に含まれる対象
物体の速度成分を、移動する対象物体が時空間中に描く
運動軌跡に接する複数の接平面がなす交線の方向より決
定するため、対象物体の生成、消滅、隠蔽（オクルージ
ョン）や形状や濃淡変化などのロバストな時系列画像動
き計測方法および装置を提供できるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施形態の時系列画像動き計測装置
の構成図である。

【図２】本実施形態の処理の全体を示すフローチャート
である。

【図３】フレーム間差分を１次元の例で説明する図であ
る。

【図４】時空間中での対象物体の移動を説明する図であ
る。

【図５】時空間中の平面の極座標表現を説明する図であ
る。

【図６】時空間中の１点を通り得る平面のパラメータの
分布の様子を示す図である。

【図７】時空間中の直線の表現方法を説明する図であ
る。

【図８】パラメータ空間（同図（ａ）は平面パラメータ
空間、同図（ｂ）は法線パラメータ空間、同図（ｃ）は
直線パラメータ空間）の様子を示す図である。

【図９】同図（ａ）は入力画像、同図（ｂ）は従来方法
で求めた速度場、同図（ｃ）は従来方法による全フレー
ムの平均速度場、同図（ｄ）は本発明で求めた速度場を
示す図である。

【図１０】相互相関手法の処理の様子を示す図である。

【図１１】相互相関手法により求められた相関値分布の
一例を示す図である。

【図１２】相関値分布から二次補間により最大値をとる
点ｋ’を算出する方法を示す図である。

【符号の説明】

１００ 入力部 １０１ 画像受信部 １０２ ファイル装置 ２００ 処理部 ２０１ 運動軌跡抽出部 ２０２ 運動軌跡時空間画像メモリ ２０３ 接平面検出部 ２０４ 平面パラメータ空間メモリ ２０５ 法線方向検出部 ２０６ 法線パラメータ空間メモリ ２０７ 交線検出部 ２０８ 直線パラメータ空間メモリ ２０９ ピーク検出部 ２１０ 速度成分計算部 ３００ 出力部 ３０１ ディスプレイ装置 ３０２ ファイル装置 ４０１〜４０７ ステップ

Claims (11)

【特許請求の範囲】
1. 【請求項１】 時系列画像の濃度値の変化より、時系列
   画像中の対象物体の見かけの動きを計測する時系列画像
   動き計測方法であって、 時系列画像中の任意の画像領域内および時間範囲内につ
   いて、移動する対象物体の輪郭およびエッジが時空間中
   に描く運動軌跡の接平面を検出し、それらがつくる交線
   の方向から対象物体の速度成分を求める時系列画像動き
   計測方法。
2. 【請求項２】 時系列画像中の任意の画像領域内および
   時間範囲内について、移動する対象物体の輪郭およびエ
   ッジが時空間中に描く運動軌跡を、時系列画像の画像フ
   レーム間の濃度値の差分画像を時間方向に積層した時空
   間画像中に構築する、請求項１記載の時系列画像動き計
   測方法。
3. 【請求項３】 時系列画像中の任意の画像領域内および
   時間範囲内について、移動する対象物体の輪郭およびエ
   ッジが時空間中に描く運動軌跡の接平面を、前記構築さ
   れたフレーム間の濃度値の差分画像を時間方向に積層し
   た時空間画像に含まれる画素の集合がつくる部分平面と
   して検出する、請求項２記載の時系列画像動き計測方
   法。
4. 【請求項４】 時系列画像中の任意の画像領域内および
   時間範囲内について、移動する対象物体の輪郭およびエ
   ッジが時空間中に描く運動軌跡の接平面がつくり得る全
   ての交線の内で最も顕著な交線の方向を一つ選択し、対
   象物体のもつ最も優勢な速度を求める、請求項１記載の
   時系列画像動き計測方法。
5. 【請求項５】 時系列画像中の任意の画像領域内および
   時間範囲内について、移動する対象物体の輪郭およびエ
   ッジが時空間中に描く運動軌跡の接平面の強さを、前記
   構築された時空間画像において、接平面が通る画素の濃
   度値の和または画素数として、接平面の交線の強さを、
   交線のつくる接平面の強さの和とし、最も顕著な交線の
   方向を一つ選択し、対象物体のもつ最も優勢な速度を求
   める、請求項２または４記載の時系列画像動き計測方
   法。
6. 【請求項６】 時系列画像中の任意の画像領域内および
   時間範囲内について、移動する対象物体の輪郭およびエ
   ッジが時空間中に描く運動軌跡の接平面がつくる交線の
   方向を求め、その交線と画像平面とのなす角度より対象
   物体の速度の大きさを求め、交線を画像平面に射影して
   得られる直線の方向から、対象物体の動きの方向を決定
   する、請求項１から５のいずれか１項記載の時系列画像
   動き計測方法。
7. 【請求項７】 時系列画像の濃度値の変化より、時系列
   画像中の対象物体の見かけの動きを計測する時系列画像
   動き計測装置であって、 時系列画像として入力される複数フレームの画像の任意
   の画像領域内および任意の時間範囲内の画像濃度値を記
   憶する画像濃度値記憶手段と、 運動軌跡時空間画像記憶手段と、 前記画像濃度値記憶手段に記憶されている時系列画像中
   において、移動する対象物体の輪郭およびエッジが時空
   間中に描く運動軌跡を時空間画像中の画素の集合として
   前記運動軌跡時空間画像記憶手段に記憶する運動軌跡抽
   出手段と、 ３次元配列状の平面パラメータ空間記憶手段と、 前記運動軌跡時空間画像記憶手段において得られた時空
   間画像において、運動軌跡の接平面の分布を、３次元平
   面を極座標表示したときの３つのパラメータの関数とし
   て前記平面パラメータ空間記憶手段に記憶する接平面検
   出手段と、 ２次元配列状の法線パラメータ空間記憶手段と、 前記平面パラメータ空間記憶手段に得られた平面パラメ
   ータ空間を、法線方向を表す２つのパラメータを軸とす
   る平面に投影したときの分布を前記法線パラメータ空間
   記憶手段に記憶する法線方向検出手段と、 ２次元配列状の直線パラメータ空間記憶手段と、 前記法線パラメータ空間記憶手段に得られた法線パラメ
   ータ空間において、異なる法線方向をもつ複数の接平面
   がつくる交線の方向の分布を、その交線の方向を２つの
   パラメータの関数として前記直線パラメータ空間記憶手
   段に記憶する交線検出手段と、 前記直線パラメータ空間記憶手段に得られた直線パラメ
   ータ空間から、対象物体の速度成分の大きさと方向を計
   算する速度推定手段とを有する時系列画像動き計測装
   置。
8. 【請求項８】 前記運動軌跡抽出手段として、前記画像
   濃度値記憶手段に記憶されている複数フレームの画像の
   フレーム間において濃度値の差分を計算し、これを時間
   方向に積み重ねてできる時空間画像を前記運動軌跡時空
   間画像記憶手段に記憶するフレーム間差分計算手段を用
   いる、請求項７記載の装置。
9. 【請求項９】 前記接平面検出手段は、３つのパラメー
   タを軸とした３次元空間を微小間隔で離散化し、３次元
   の配列として前記平面パラメータ空間記憶手段上に構築
   し、時空間画像中の全ての画素について、各画素を通り
   得る全ての平面に対応する平面パラメータ空間記憶手段
   の配列の要素に投票を行なう、請求項７または８記載の
   装置。
10. 【請求項１０】 前記交線検出手段は、前記２つのパラ
    メータのパラメータ空間を微小間隔で離散化し、２次元
    の配列として前記直線パラメータ空間記憶手段に構築
    し、前記法線パラメータ空間中の各点について、その点
    が表わす平面に含まれ得る直線の方向のパラメータを計
    算し、その値が含まれる前記直線パラメータ空間記憶手
    段の要素に投票を行なう、請求項７から９のいずれか１
    項記載の装置。
11. 【請求項１１】 前記速度推定手段は、前記直線パラメ
    ータ空間を入力として、この空間中でピークを示すパラ
    メータ値として、移動する対象物体の輪郭またはエッジ
    が時空間中につくる運動軌跡の接平面の交線の内で最も
    顕著な交線の方向を検出するピーク検出手段と、前記ピ
    ーク検出手段より得られた交線の方向から、その交線と
    画像平面とのなす角度より対象物体の速度の大きさを求
    め、交線を画像平面に射影して得られる直線の方向か
    ら、対象物体の動きの方向を決定する速度成分計算手段
    とを有する、請求項７から１０のいずれか１項記載の装
    置。