JPH06119450A - 動物体抽出方式およびその装置 - Google Patents
動物体抽出方式およびその装置Info
- Publication number
- JPH06119450A JPH06119450A JP4068839A JP6883992A JPH06119450A JP H06119450 A JPH06119450 A JP H06119450A JP 4068839 A JP4068839 A JP 4068839A JP 6883992 A JP6883992 A JP 6883992A JP H06119450 A JPH06119450 A JP H06119450A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- filter
- spatiotemporal
- slope
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 35
- 230000010354 integration Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012882 sequential analysis Methods 0.000 description 2
- 230000009012 visual motion Effects 0.000 description 2
- 241001558473 Gymnorhinus cyanocephalus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 対象の一般性を失わずに、ある方向に動く物
体のみを実時間で抽出する。 【構成】 画像信号を水平方向−時間方向と垂直方向−
時間方向に畳み込み積分する時空間フィルタリング手段
2と、複数の時空間フィルタのインパルス応答の実数部
を格納するインパルス応答実数部格納手段3とを備え、
入力した画像信号をインパルス応答の実数部と時空間フ
ィルタリングを行う。 【効果】 画面上の異なる方向に異なる速度で運動する
物体から所望とする運動物体を抽出できる。
体のみを実時間で抽出する。 【構成】 画像信号を水平方向−時間方向と垂直方向−
時間方向に畳み込み積分する時空間フィルタリング手段
2と、複数の時空間フィルタのインパルス応答の実数部
を格納するインパルス応答実数部格納手段3とを備え、
入力した画像信号をインパルス応答の実数部と時空間フ
ィルタリングを行う。 【効果】 画面上の異なる方向に異なる速度で運動する
物体から所望とする運動物体を抽出できる。
Description
【0001】
【産業上の利用分野】本発明は、画像を用いて動物体を
抽出し、あるいは画像中の動物体の領域を認識する動物
体の抽出技術にかかり、特に、時空間フィルタを用いて
任意の方向に任意の速度で運動する物体の中から所望と
する運動物体を抽出する動物体抽出方式およびその装置
に関する。
抽出し、あるいは画像中の動物体の領域を認識する動物
体の抽出技術にかかり、特に、時空間フィルタを用いて
任意の方向に任意の速度で運動する物体の中から所望と
する運動物体を抽出する動物体抽出方式およびその装置
に関する。
【0002】
【従来の技術】従来、テレビカメラ等で撮影した画像信
号から当該画像信号に含まれる物体の動きを抽出する方
式として、従来から、 (1)画像信号を構成する各画素毎に明るさのフレーム
間変化を計算し速度を求める方法。
号から当該画像信号に含まれる物体の動きを抽出する方
式として、従来から、 (1)画像信号を構成する各画素毎に明るさのフレーム
間変化を計算し速度を求める方法。
【0003】(2)動物体領域を含む周辺において、フ
レーム間の相関をもとめることにより、当該動物体の移
動量を計算する方法。 (3)フレーム間において輪郭やエッジ等の特徴点の対
応づけを行い、その移動量を計算する方法。 (4)フレーム間で減算を行い、0以外の領域を動き領
域とし、当該動き領域の時間移動を求めることで速度を
計算する方法。
レーム間の相関をもとめることにより、当該動物体の移
動量を計算する方法。 (3)フレーム間において輪郭やエッジ等の特徴点の対
応づけを行い、その移動量を計算する方法。 (4)フレーム間で減算を行い、0以外の領域を動き領
域とし、当該動き領域の時間移動を求めることで速度を
計算する方法。
【0004】(5)それぞれのインパルス応答が実数で
ある時間フィルタと空間フィルタを独立にかけ動物体を
抽出する方法。 等が知られている。上記した時空間フィルタリングに関
する技術を開示したものとしては、例えば、ピー.ジェ
イ.バート,他.著「メカニズムス フォア アイソレ
ーティングコンポーネント パターン イン ザ シー
ケンシャル アナリシス オブマルチプル モーショ
ン」プロシーデングス アイ・イー・イー・イー ワー
クショップ オン ビジュアル モーション. PP.
187−193,1991(P.J.Burt,Raj
esh Hingorani and Raymond
J.Kolezynski「Mechanisms
for Isolating Component P
atterns in the Sequential
Analysis of Multiple Mot
ion」Proc.IEEE Workshop on
Visual Motion」PP.187−19
3,1991)を挙げることができる。
ある時間フィルタと空間フィルタを独立にかけ動物体を
抽出する方法。 等が知られている。上記した時空間フィルタリングに関
する技術を開示したものとしては、例えば、ピー.ジェ
イ.バート,他.著「メカニズムス フォア アイソレ
ーティングコンポーネント パターン イン ザ シー
ケンシャル アナリシス オブマルチプル モーショ
ン」プロシーデングス アイ・イー・イー・イー ワー
クショップ オン ビジュアル モーション. PP.
187−193,1991(P.J.Burt,Raj
esh Hingorani and Raymond
J.Kolezynski「Mechanisms
for Isolating Component P
atterns in the Sequential
Analysis of Multiple Mot
ion」Proc.IEEE Workshop on
Visual Motion」PP.187−19
3,1991)を挙げることができる。
【0005】
【発明が解決しようとする課題】上記した従来の各方式
は、次のような問題を有している。(1)は、全画素に
ついて計算をするため、計算量が多く、実時間処理を実
現するには処理回路が大規模となる。また、各画素の速
度をもとに真に動きのある領域を分割する必要があり、
処理が複雑である。
は、次のような問題を有している。(1)は、全画素に
ついて計算をするため、計算量が多く、実時間処理を実
現するには処理回路が大規模となる。また、各画素の速
度をもとに真に動きのある領域を分割する必要があり、
処理が複雑である。
【0006】(2)は、相関処理は計算量が多く、実時
間処理を実現するには処理回路が大規模となる。また、
相関処理する動物体領域の決め方が難しい。(3)は、
特徴は対象毎に異なる場合が多く、特徴の抽出を一般性
を失わず行うことが難しい(対象にあわせた特徴抽出を
行う必要がある)。(4)は、カメラ等の画像入力装置
自体が動く場合があると、入力される画像の背景がフレ
ーム間で異なってしまい、画像の全領域が0以外とな
る。また、光線(光量)の変化によっても減算結果は0
以外となる。そのため、減算結果を0とするのに背景の
処理に工夫を要する。
間処理を実現するには処理回路が大規模となる。また、
相関処理する動物体領域の決め方が難しい。(3)は、
特徴は対象毎に異なる場合が多く、特徴の抽出を一般性
を失わず行うことが難しい(対象にあわせた特徴抽出を
行う必要がある)。(4)は、カメラ等の画像入力装置
自体が動く場合があると、入力される画像の背景がフレ
ーム間で異なってしまい、画像の全領域が0以外とな
る。また、光線(光量)の変化によっても減算結果は0
以外となる。そのため、減算結果を0とするのに背景の
処理に工夫を要する。
【0007】さらに、(5)は、画像信号をそれぞれの
インパルス応答が実数である時間フィルタと空間フィル
タとに独立にかけた場合、逆方向に動く物体が区別でき
ない。このため、画像入力装置自体の動きによっては背
景が抽出される場合がある。また、空間周波数通過帯域
を制限していないため、1画素/フレーム(1pixel/fr
ame )以上で動く物体は区別できない。
インパルス応答が実数である時間フィルタと空間フィル
タとに独立にかけた場合、逆方向に動く物体が区別でき
ない。このため、画像入力装置自体の動きによっては背
景が抽出される場合がある。また、空間周波数通過帯域
を制限していないため、1画素/フレーム(1pixel/fr
ame )以上で動く物体は区別できない。
【0008】そして、上記した従来の技術では、対象の
一般性(如何なる対象に対しても同一の処理法で行える
こと)を失わずに、ある方向に動く物体だけを実時間で
抽出することが困難であった。本発明の目的は、上記従
来技術の問題点を解消して、比較的小規模の回路手段を
用いて実時間で動物体を抽出,あるいは当該動物体の領
域を認識することのできる動物体抽出方式およびその装
置を提供することにある。
一般性(如何なる対象に対しても同一の処理法で行える
こと)を失わずに、ある方向に動く物体だけを実時間で
抽出することが困難であった。本発明の目的は、上記従
来技術の問題点を解消して、比較的小規模の回路手段を
用いて実時間で動物体を抽出,あるいは当該動物体の領
域を認識することのできる動物体抽出方式およびその装
置を提供することにある。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、画像入力装置から得た画像信号に、ある
速度のみ抽出する時空間フィルタリングを施し、所望と
する移動物体の信号を抽出することを特徴とする。すな
わち、本発明は、入力端子1から入力する画像信号を水
平方向−時間方向および垂直方向−時間方向に畳み込み
積分する時空間フィルタリング手段2と、複数の時空間
フィルタのインパルス応答の実数部を格納するインパル
ス応答実数部格納手段3とを備え、入力した時系列2次
元画像信号を前記時空間フィルタリング手段2で前記時
空間フィルタのインパルス応答の実数部を格納するイン
パルス応答実数部格納手段3から選択した所定の実数部
と時空間フィルタリングを行い、前記入力した画像信号
を水平成分,垂直成分および時間(フレーム)の3次元
とし、動きのある物体の時空間周波数成分がその速度に
比例した傾きになることを利用して前記入力画像信号内
の動物体を抽出した動物体抽出信号を出力端子4に得る
ことを特徴とする。
に、本発明は、画像入力装置から得た画像信号に、ある
速度のみ抽出する時空間フィルタリングを施し、所望と
する移動物体の信号を抽出することを特徴とする。すな
わち、本発明は、入力端子1から入力する画像信号を水
平方向−時間方向および垂直方向−時間方向に畳み込み
積分する時空間フィルタリング手段2と、複数の時空間
フィルタのインパルス応答の実数部を格納するインパル
ス応答実数部格納手段3とを備え、入力した時系列2次
元画像信号を前記時空間フィルタリング手段2で前記時
空間フィルタのインパルス応答の実数部を格納するイン
パルス応答実数部格納手段3から選択した所定の実数部
と時空間フィルタリングを行い、前記入力した画像信号
を水平成分,垂直成分および時間(フレーム)の3次元
とし、動きのある物体の時空間周波数成分がその速度に
比例した傾きになることを利用して前記入力画像信号内
の動物体を抽出した動物体抽出信号を出力端子4に得る
ことを特徴とする。
【0010】また、前記時空間フィルタを、前記速度
の傾きに対応して、この傾きを中心とする近傍領域を通
過させる型、空間周波数方向には低域を通過させる
型、空間周波数をωsp,時間周波数をωt としたと
き、ωsp>0かつωt >0のみを通過させる型、あるい
はωsp>0かつωt >0とωsp<0かつωt <0とを対
称な型とし、これらの領域のみを通過させる型、からな
る複数のフィルタを備えることで、速度が1フレーム当
り1画素(1pixel/frame )以上の動きのある物体を含
む複数の物体から所望とする動きの物体を抽出すること
を特徴とする。
の傾きに対応して、この傾きを中心とする近傍領域を通
過させる型、空間周波数方向には低域を通過させる
型、空間周波数をωsp,時間周波数をωt としたと
き、ωsp>0かつωt >0のみを通過させる型、あるい
はωsp>0かつωt >0とωsp<0かつωt <0とを対
称な型とし、これらの領域のみを通過させる型、からな
る複数のフィルタを備えることで、速度が1フレーム当
り1画素(1pixel/frame )以上の動きのある物体を含
む複数の物体から所望とする動きの物体を抽出すること
を特徴とする。
【0011】さらに、ある速度に対応する時空間周波数
領域における傾きをu0 、より遅い速度に対応する傾き
をu-1、より速い速度に対応する傾きをu1としたと
き、これら各傾きu0,u-1,u1 に対応して、1フレー
ムで3種類の時空間フィルタをかけ、前記3種類のうち
の出力が最大となるフィルタを、次のフレームにおける
傾きu0 に対応するフィルタとして更新することによ
り、速度が変化する物体を安定して抽出できるようにし
たことを特徴とする。
領域における傾きをu0 、より遅い速度に対応する傾き
をu-1、より速い速度に対応する傾きをu1としたと
き、これら各傾きu0,u-1,u1 に対応して、1フレー
ムで3種類の時空間フィルタをかけ、前記3種類のうち
の出力が最大となるフィルタを、次のフレームにおける
傾きu0 に対応するフィルタとして更新することによ
り、速度が変化する物体を安定して抽出できるようにし
たことを特徴とする。
【0012】そして、前記動物体抽出のための装置を、
前記画像信号を水平方向−時間方向に畳み込み積分を施
す水平方向動物体抽出フィルタ回路21と、前記画像信
号を垂直方向−時間方向に畳み込み積分を施す垂直方向
動物体抽出フィルタ回路22と、前記水平方向動物体抽
出フィルタ回路21と前記垂直方向動物体抽出フィルタ
回路22の出力信号を合成して動物体抽出信号を生成す
る水平・垂直合成回路23とを有し、画像信号を水平成
分,垂直成分および時間(フレーム)の3次元とし、動
きのある物体の時空間周波数成分はその速度に比例した
傾きになることを利用して時空間フィルタをかける構成
としたことを特徴とする。
前記画像信号を水平方向−時間方向に畳み込み積分を施
す水平方向動物体抽出フィルタ回路21と、前記画像信
号を垂直方向−時間方向に畳み込み積分を施す垂直方向
動物体抽出フィルタ回路22と、前記水平方向動物体抽
出フィルタ回路21と前記垂直方向動物体抽出フィルタ
回路22の出力信号を合成して動物体抽出信号を生成す
る水平・垂直合成回路23とを有し、画像信号を水平成
分,垂直成分および時間(フレーム)の3次元とし、動
きのある物体の時空間周波数成分はその速度に比例した
傾きになることを利用して時空間フィルタをかける構成
としたことを特徴とする。
【0013】また、前記装置が、前記水平方向動物体抽
出フィルタ21および垂直方向動物体抽出フィルタ22
の各々は、ある速度に対応する時空間周波数領域におけ
る傾きをu0 、より遅い速度に対応する傾きをu-1、よ
り速い速度に対応する傾きをu1としたとき、これら各
傾きu0,u-1,u1 に対応した重みで畳み込み積分を施
す3つの畳み込み積分回路211,212,213およ
び221,222,223と、前記各3つの畳み込み積
分回路211,212,213および221,222,
223の出力の最大値を検出する最大値検出器214,
224と、前記最大値検出器214,224で最大と検
出された前記畳み込み積分回路211,212,213
および221,222,223の出力を選択出力するス
イッチ215,225と、前記最大値検出器214,2
24の最大値検出信号に応じて前記各傾きu0,u-1,u
1 に対応したフィルタタイプを切り換えるフィルタタイ
プ切り換え器216,226と、前記フィルタタイプ切
り換え器216,226により更新される前記各畳み込
み積分回路211,212,213および221,22
2,223に与える重みを格納するフィルタテーブル3
1,32とを有する構成としたことを特徴とする。
出フィルタ21および垂直方向動物体抽出フィルタ22
の各々は、ある速度に対応する時空間周波数領域におけ
る傾きをu0 、より遅い速度に対応する傾きをu-1、よ
り速い速度に対応する傾きをu1としたとき、これら各
傾きu0,u-1,u1 に対応した重みで畳み込み積分を施
す3つの畳み込み積分回路211,212,213およ
び221,222,223と、前記各3つの畳み込み積
分回路211,212,213および221,222,
223の出力の最大値を検出する最大値検出器214,
224と、前記最大値検出器214,224で最大と検
出された前記畳み込み積分回路211,212,213
および221,222,223の出力を選択出力するス
イッチ215,225と、前記最大値検出器214,2
24の最大値検出信号に応じて前記各傾きu0,u-1,u
1 に対応したフィルタタイプを切り換えるフィルタタイ
プ切り換え器216,226と、前記フィルタタイプ切
り換え器216,226により更新される前記各畳み込
み積分回路211,212,213および221,22
2,223に与える重みを格納するフィルタテーブル3
1,32とを有する構成としたことを特徴とする。
【0014】
【作用】上記構成において、入力する画像信号である時
系列2次元画像f(x,y,t)と時空間フィルタのイ
ンパルス応答の実数部w(x,t),w(y,t)とを gx(x,y,t)=f(x,y,t)*w(x,t) gy(x,y,t)=f(x,y,t)*w(y,t) のように水平方向−時間方向および垂直方向−時間方向
に畳み込み積分することで時空間フィルタリングを行い
所望の速度で運動する物体を抽出する。ここに、*は畳
み込み積分を示す。
系列2次元画像f(x,y,t)と時空間フィルタのイ
ンパルス応答の実数部w(x,t),w(y,t)とを gx(x,y,t)=f(x,y,t)*w(x,t) gy(x,y,t)=f(x,y,t)*w(y,t) のように水平方向−時間方向および垂直方向−時間方向
に畳み込み積分することで時空間フィルタリングを行い
所望の速度で運動する物体を抽出する。ここに、*は畳
み込み積分を示す。
【0015】上記水平方向−時間方向および垂直方向−
時間方向のフィルタリング結果から、水平方向−垂直方
向−時間方向のフィルタリング手段2の出力G(x,
y,t)は G(x,y,t)=√{(gx(x,y,t)・gy(x,y,t))} とする。
時間方向のフィルタリング結果から、水平方向−垂直方
向−時間方向のフィルタリング手段2の出力G(x,
y,t)は G(x,y,t)=√{(gx(x,y,t)・gy(x,y,t))} とする。
【0016】この時、時空間フィルタリング手段2は、
次に示すように、時空間周波数領域における通過帯域を
制限するように選ばれる。すなわち、この時空間フィル
タのインパルス応答の実数部w(x,t),w(y,
t)は下記のように設定される。動物体の画像を時空間
領域でフーリエ変換すると、速度0(静止状態)で空間
周波数ωspの成分は水平方向の速度uにおいてはωt =
u・ωspなる傾きuの直線上に転移する。このことを利
用して、フィルタw(ωx ,ωt )はωt =u・ωx お
よびその周辺を帯域通過するように設定する。
次に示すように、時空間周波数領域における通過帯域を
制限するように選ばれる。すなわち、この時空間フィル
タのインパルス応答の実数部w(x,t),w(y,
t)は下記のように設定される。動物体の画像を時空間
領域でフーリエ変換すると、速度0(静止状態)で空間
周波数ωspの成分は水平方向の速度uにおいてはωt =
u・ωspなる傾きuの直線上に転移する。このことを利
用して、フィルタw(ωx ,ωt )はωt =u・ωx お
よびその周辺を帯域通過するように設定する。
【0017】同様に、垂直方向の速度vに関してフィル
タw(ωy ,ωt )はωt =u・ωy およびその周辺を
帯域通過するように設定する。このとき、逆方向に運動
する物体の抽出を禁止するため、u>0に対するフィル
タにおいては、ωsp>0,かつωt<0の領域とωsp<
0,かつωt>0の領域はゲイン0とする。u<0に対
するフィルタにおいてはωsp>0,かつωt >0の領域
とωsp<0,かつωt <0の領域はゲイン0とする。ま
た、許容最高速度umax (umax ≧1)以上で運動する
物体の折り返し成分を抽出することを防ぐため、空間周
波数ωspの通過帯域をωsp<π/umax なる低周波域に
制限する。
タw(ωy ,ωt )はωt =u・ωy およびその周辺を
帯域通過するように設定する。このとき、逆方向に運動
する物体の抽出を禁止するため、u>0に対するフィル
タにおいては、ωsp>0,かつωt<0の領域とωsp<
0,かつωt>0の領域はゲイン0とする。u<0に対
するフィルタにおいてはωsp>0,かつωt >0の領域
とωsp<0,かつωt <0の領域はゲイン0とする。ま
た、許容最高速度umax (umax ≧1)以上で運動する
物体の折り返し成分を抽出することを防ぐため、空間周
波数ωspの通過帯域をωsp<π/umax なる低周波域に
制限する。
【0018】このようにして決定したフィルタw(ωx
,ωt ),w(ωy ,ωt )をそれぞれ逆フーリエ変
換し、その実数部をw(x,t)、w(y,t)とする。なお、観測
する物体には、環境の変化による速度変化や物体そのも
のの加速が付随することがある。このため、上記の傾き
u,vは一定でなく、フィルタは1対のみでは充分では
ない。本発明においては、1フレーム前の速度に適応す
るフィルタ(傾きuあるいはvおよびその周辺を帯域通
過するフィルタ)と、より低速のものに対するフィルタ
およびより高速のものに対するフィルタを用いる。それ
ぞれの出力をgー1、g0、g1とし、このうち出力が最大
になるものを現在のフレームにおける最適なg(x,
t)あるいはg(y,t)として採用する。
,ωt ),w(ωy ,ωt )をそれぞれ逆フーリエ変
換し、その実数部をw(x,t)、w(y,t)とする。なお、観測
する物体には、環境の変化による速度変化や物体そのも
のの加速が付随することがある。このため、上記の傾き
u,vは一定でなく、フィルタは1対のみでは充分では
ない。本発明においては、1フレーム前の速度に適応す
るフィルタ(傾きuあるいはvおよびその周辺を帯域通
過するフィルタ)と、より低速のものに対するフィルタ
およびより高速のものに対するフィルタを用いる。それ
ぞれの出力をgー1、g0、g1とし、このうち出力が最大
になるものを現在のフレームにおける最適なg(x,
t)あるいはg(y,t)として採用する。
【0019】
【実施例】以下、本発明の実施例につき、図面を参照し
て詳細に説明する。図1は本発明による動物体抽出方式
を説明する概略ブロツク図であって、1は画像信号の入
力端子、2は時空間フィルタリング手段、3は時空間フ
ィルタのインパルス応答の実数部を格納するインパルス
応答実数部格納手段、4は動物体抽出信号の出力端子で
ある。
て詳細に説明する。図1は本発明による動物体抽出方式
を説明する概略ブロツク図であって、1は画像信号の入
力端子、2は時空間フィルタリング手段、3は時空間フ
ィルタのインパルス応答の実数部を格納するインパルス
応答実数部格納手段、4は動物体抽出信号の出力端子で
ある。
【0020】同図において、入力端子1から入力した画
像信号は時系列の2次元画像信号f(x,y,t)であ
り、この2次元画像信号を時空間フィルタリング手段3
で時空間フィルタのインパルス応答の実数部を格納する
インパルス応答実数部格納手段3から選択した所定の実
数部w(x,t),w(y,t)と時空間フィルタリン
グを行い、前記入力した画像信号を水平成分,垂直成分
および時間の3次元として動きのある物体の時空間周波
数成分がその速度に比例した傾きになることを利用し、
当該入力画像信号内の動物体を抽出した動物体抽出信号
を出力端子4に得る。
像信号は時系列の2次元画像信号f(x,y,t)であ
り、この2次元画像信号を時空間フィルタリング手段3
で時空間フィルタのインパルス応答の実数部を格納する
インパルス応答実数部格納手段3から選択した所定の実
数部w(x,t),w(y,t)と時空間フィルタリン
グを行い、前記入力した画像信号を水平成分,垂直成分
および時間の3次元として動きのある物体の時空間周波
数成分がその速度に比例した傾きになることを利用し、
当該入力画像信号内の動物体を抽出した動物体抽出信号
を出力端子4に得る。
【0021】図2は本発明による動物体抽出方式に用い
る時空間フィルタの説明図であって、ωx (ωy )は水
平方向(垂直方向)の空間周波数座標、ωt は時間周波
数座標、uは移動物体の速度(画素/フレーム:pixel/
frame )である。同図において、移動物体の画像信号を
時空間領域で周波数分解すると、速度0(静止状態)で
空間周波数ωspの成分は、水平方向の速度uにおいては
ωt=u・ωspなる傾きuの直線上に転移する。これを
利用して、予め数種類の傾きuに対応したフィルタをそ
れぞれバッチ処理により用意する。
る時空間フィルタの説明図であって、ωx (ωy )は水
平方向(垂直方向)の空間周波数座標、ωt は時間周波
数座標、uは移動物体の速度(画素/フレーム:pixel/
frame )である。同図において、移動物体の画像信号を
時空間領域で周波数分解すると、速度0(静止状態)で
空間周波数ωspの成分は、水平方向の速度uにおいては
ωt=u・ωspなる傾きuの直線上に転移する。これを
利用して、予め数種類の傾きuに対応したフィルタをそ
れぞれバッチ処理により用意する。
【0022】例えば、u≧6、6>u≧3、3>u≧
1、1>u>−1、−3<u≦−1、−6<u≦−3、
u≦−6(pixel/frame )の7種類の傾きに対して用意
する。ところで、u>1またはu<−1の物体の場合、
周波数の折り返しが起きる。例えば、8で示したu=
2.5の場合は、図示したように周波数折り返し9が起
きる。
1、1>u>−1、−3<u≦−1、−6<u≦−3、
u≦−6(pixel/frame )の7種類の傾きに対して用意
する。ところで、u>1またはu<−1の物体の場合、
周波数の折り返しが起きる。例えば、8で示したu=
2.5の場合は、図示したように周波数折り返し9が起
きる。
【0023】このフィルタリングにおける周波数折り返
し成分の抽出を防ぐため、動物体の許容最高速度をuma
x とした時、ωsp≧π/umaxの領域のフィルタゲイン
は0とする。結局、図2のような7種類のw0〜w6の
フィルタを逆フーリエ変換し、7種類のw(x,t)を
メモリ上にフィルタテーブルとして記憶しておく。w
(y,t)についても同様にメモリ上にテーブルとして
記憶しておく。
し成分の抽出を防ぐため、動物体の許容最高速度をuma
x とした時、ωsp≧π/umaxの領域のフィルタゲイン
は0とする。結局、図2のような7種類のw0〜w6の
フィルタを逆フーリエ変換し、7種類のw(x,t)を
メモリ上にフィルタテーブルとして記憶しておく。w
(y,t)についても同様にメモリ上にテーブルとして
記憶しておく。
【0024】図3は本発明による動物体抽出装置の一実
施例の構成を説明するブロツク図であって、1は画像入
力端子、21は水平方向動物体抽出フィルタ回路、22
は垂直方向動物体抽出フィルタ回路、23は水平・垂直
合成回路、4は動物体抽出信号出力端子である。図示の
構成において、入力した画像信号は水平方向動物体抽出
フィルタ回路21と垂直方向動物体抽出フィルタ回路2
2に入力される。水平方向動物体抽出フィルタ回路21
からのフィルタ出力と垂直方向動物体抽出フィルタ回路
22からのフィルタ出力は水平垂直合成回路23におい
て√(x・y)の演算が施されて合成され、所望の動き
をする物体の画像の低周波成分が動物体抽出信号出力端
子4に得られる。
施例の構成を説明するブロツク図であって、1は画像入
力端子、21は水平方向動物体抽出フィルタ回路、22
は垂直方向動物体抽出フィルタ回路、23は水平・垂直
合成回路、4は動物体抽出信号出力端子である。図示の
構成において、入力した画像信号は水平方向動物体抽出
フィルタ回路21と垂直方向動物体抽出フィルタ回路2
2に入力される。水平方向動物体抽出フィルタ回路21
からのフィルタ出力と垂直方向動物体抽出フィルタ回路
22からのフィルタ出力は水平垂直合成回路23におい
て√(x・y)の演算が施されて合成され、所望の動き
をする物体の画像の低周波成分が動物体抽出信号出力端
子4に得られる。
【0025】図4は図3における水平方向抽出フィルタ
回路の構成を示すブロツク図であって、211,21
2,213は畳み込み回路、214は最大出力検出器、
215はスイッチ、216はフィルタタイプ切り換え
器、31はフィルタテーブルである。同図において、入
力した画像信号は、畳み込み回路211において重みw
#i-1で畳み込まれ、その結果αxが最大出力検出器21
4に入力される。同様に、畳み込み回路212において
重みw#iで畳み込んだ結果βxと、畳み込み回路213
において重みw#i+1で畳み込んだ結果γxが最大出力検
出器214に入力される。
回路の構成を示すブロツク図であって、211,21
2,213は畳み込み回路、214は最大出力検出器、
215はスイッチ、216はフィルタタイプ切り換え
器、31はフィルタテーブルである。同図において、入
力した画像信号は、畳み込み回路211において重みw
#i-1で畳み込まれ、その結果αxが最大出力検出器21
4に入力される。同様に、畳み込み回路212において
重みw#iで畳み込んだ結果βxと、畳み込み回路213
において重みw#i+1で畳み込んだ結果γxが最大出力検
出器214に入力される。
【0026】ここで、w#iは周波数成分の傾きuおよび
その近辺を抽出するフィルタのインパルス応答の実数部
である。w#i-1は速度uより遅いものを抽出するフィル
タのインパルス応答の実数部であり、w#i+1は速度uよ
り速いものを抽出するフィルタの実数部である。例え
ば、w#iとして6<u≦3の抽出をするフィルタが用い
られる場合、w#i-1としては3<u≦1、w#i+1として
はu≧6の抽出をするフィルタが用いられる。
その近辺を抽出するフィルタのインパルス応答の実数部
である。w#i-1は速度uより遅いものを抽出するフィル
タのインパルス応答の実数部であり、w#i+1は速度uよ
り速いものを抽出するフィルタの実数部である。例え
ば、w#iとして6<u≦3の抽出をするフィルタが用い
られる場合、w#i-1としては3<u≦1、w#i+1として
はu≧6の抽出をするフィルタが用いられる。
【0027】この回路において、あるフレームで得られ
た3つのフィルタ出力αx、βx、γ xは最大出力検出器
214において最大値を有するものが選択され、スイッ
チ215により最大値を有するものが水平方向動物体出
力信号xとして水平・垂直合成回路23に出力される。
また、フィルタタイプ切り替え器11は、このフレーム
において、 αxが最大ならば 現在のw#i-2 → 次のフレームのw#i-1 現在のw#i-1 → 次のフレームのw#i 現在のw#i → 次のフレームのw#i+1 βxが最大ならばそのまま γxが最大ならば 現在のw#i → 次のフレームのw#i-1 現在のw#i+1 → 次のフレームのw#i 現在のw#i+2 → 次のフレームのw#i+1 となるように、フィルタテーブル31に指令を出す。フ
ィルタテーブル31は次のフレームにおいて、上記のよ
うに更新したw値を重みとして各畳み込み回路211〜
213に与える。
た3つのフィルタ出力αx、βx、γ xは最大出力検出器
214において最大値を有するものが選択され、スイッ
チ215により最大値を有するものが水平方向動物体出
力信号xとして水平・垂直合成回路23に出力される。
また、フィルタタイプ切り替え器11は、このフレーム
において、 αxが最大ならば 現在のw#i-2 → 次のフレームのw#i-1 現在のw#i-1 → 次のフレームのw#i 現在のw#i → 次のフレームのw#i+1 βxが最大ならばそのまま γxが最大ならば 現在のw#i → 次のフレームのw#i-1 現在のw#i+1 → 次のフレームのw#i 現在のw#i+2 → 次のフレームのw#i+1 となるように、フィルタテーブル31に指令を出す。フ
ィルタテーブル31は次のフレームにおいて、上記のよ
うに更新したw値を重みとして各畳み込み回路211〜
213に与える。
【0028】図5は図3における垂直方向抽出フィルタ
回路の構成を示すブロツク図であって、221,22
2,223は畳み込み回路、224は最大出力検出器、
225はスイッチ、226はフィルタタイプ切り換え
器、32はフィルタテーブルである。同図において、入
力した画像信号は、畳み込み回路221において重みw
#i-1で畳み込まれ、その結果αyが最大出力検出器22
4に入力される。同様に、畳み込み回路222において
重みw#iで畳み込んだ結果βyと、畳み込み回路223
において重みw#i+1で畳み込んだ結果γyが最大出力検
出器224に入力される。
回路の構成を示すブロツク図であって、221,22
2,223は畳み込み回路、224は最大出力検出器、
225はスイッチ、226はフィルタタイプ切り換え
器、32はフィルタテーブルである。同図において、入
力した画像信号は、畳み込み回路221において重みw
#i-1で畳み込まれ、その結果αyが最大出力検出器22
4に入力される。同様に、畳み込み回路222において
重みw#iで畳み込んだ結果βyと、畳み込み回路223
において重みw#i+1で畳み込んだ結果γyが最大出力検
出器224に入力される。
【0029】ここで、w#iは周波数成分の傾きuおよび
その近辺を抽出するフィルタのインパルス応答の実数部
である。w#i-1は速度uより遅いものを抽出するフィル
タのインパルス応答の実数部であり、w#i+1は速度uよ
り速いものを抽出するフィルタの実数部である。例え
ば、w#iとして6<u≦3の抽出をするフィルタが用い
られる場合、w#i-1としては3<u≦1、w#i+1として
はu≧6の抽出をするフィルタが用いられる。
その近辺を抽出するフィルタのインパルス応答の実数部
である。w#i-1は速度uより遅いものを抽出するフィル
タのインパルス応答の実数部であり、w#i+1は速度uよ
り速いものを抽出するフィルタの実数部である。例え
ば、w#iとして6<u≦3の抽出をするフィルタが用い
られる場合、w#i-1としては3<u≦1、w#i+1として
はu≧6の抽出をするフィルタが用いられる。
【0030】この回路において、あるフレームで得られ
た3つのフィルタ出力αy、βy、γ yは最大出力検出器
224において最大値を有するものが選択され、スイッ
チ225により最大値を有するものが垂直方向動物体出
力信号yとして水平・垂直合成回路23に出力される。
また、フィルタタイプ切り替え器226は、このフレー
ムにおいて、 αyが最大ならば 現在のw#i-2 → 次のフレームのw#i-1 現在のw#i-1 → 次のフレームのw#i 現在のw#i → 次のフレームのw#i+1 βyが最大ならばそのまま γyが最大ならば 現在のw#i → 次のフレームのw#i-1 現在のw#i+1 → 次のフレームのw#i 現在のw#i+2 → 次のフレームのw#i+1 となるように、フィルタテーブル32に指令を出す。フ
ィルタテーブル32は次のフレームにおいて、上記のよ
うに更新したw値を重みとして各畳み込み回路221〜
223に与える。
た3つのフィルタ出力αy、βy、γ yは最大出力検出器
224において最大値を有するものが選択され、スイッ
チ225により最大値を有するものが垂直方向動物体出
力信号yとして水平・垂直合成回路23に出力される。
また、フィルタタイプ切り替え器226は、このフレー
ムにおいて、 αyが最大ならば 現在のw#i-2 → 次のフレームのw#i-1 現在のw#i-1 → 次のフレームのw#i 現在のw#i → 次のフレームのw#i+1 βyが最大ならばそのまま γyが最大ならば 現在のw#i → 次のフレームのw#i-1 現在のw#i+1 → 次のフレームのw#i 現在のw#i+2 → 次のフレームのw#i+1 となるように、フィルタテーブル32に指令を出す。フ
ィルタテーブル32は次のフレームにおいて、上記のよ
うに更新したw値を重みとして各畳み込み回路221〜
223に与える。
【0031】これにより、比較的小規模の回路手段を用
いて実時間で動物体を抽出,あるいは当該動物体の領域
を認識することができる。
いて実時間で動物体を抽出,あるいは当該動物体の領域
を認識することができる。
【0032】
【発明の効果】以上説明したように、本発明によれば、
画面上の異なる方向に異なる速度で運動する物体から所
望とする運動物体を抽出でき、カメラ等の画像入力装置
から得た動物体を含む画像信号フレームで構成される当
該画像信号の画面上において異なる方向に異なる速度で
移動する物体から所望とする動物体を抽出,あるいはそ
の領域を特定することができる。
画面上の異なる方向に異なる速度で運動する物体から所
望とする運動物体を抽出でき、カメラ等の画像入力装置
から得た動物体を含む画像信号フレームで構成される当
該画像信号の画面上において異なる方向に異なる速度で
移動する物体から所望とする動物体を抽出,あるいはそ
の領域を特定することができる。
【0033】また、この動物体の抽出が時空間フィルタ
リングによる方式であるため、移動物体検出装置として
のハードウェアの構成が容易であり、実時間処理が実現
できる。さらに、時空間フィルタは毎フレーム更新され
ているため、移動物体の速度が変化する場合でも安定し
てその移動物体を抽出,あるいはその領域を特定でき
る。
リングによる方式であるため、移動物体検出装置として
のハードウェアの構成が容易であり、実時間処理が実現
できる。さらに、時空間フィルタは毎フレーム更新され
ているため、移動物体の速度が変化する場合でも安定し
てその移動物体を抽出,あるいはその領域を特定でき
る。
【0034】そして、カメラ等の画像入力装置自体が移
動する場合は、観測対象である移動物体はその相対速度
が変化することがあるばかりでなく、背景画像も移動す
るが、本発明によれば、これによる影響を受けることな
く所望の移動物体のみを抽出,またはその領域を特定で
きる。
動する場合は、観測対象である移動物体はその相対速度
が変化することがあるばかりでなく、背景画像も移動す
るが、本発明によれば、これによる影響を受けることな
く所望の移動物体のみを抽出,またはその領域を特定で
きる。
【図1】本発明による動物体抽出方式を説明する概略ブ
ロツク図である。
ロツク図である。
【図2】本発明による動物体抽出方式に用いる時空間フ
ィルタの説明図である。
ィルタの説明図である。
【図3】本発明による動物体抽出装置の一実施例の構成
を説明するブロツク図である。
を説明するブロツク図である。
【図4】図3における水平方向抽出フィルタ回路の構成
を示すブロツク図である。
を示すブロツク図である。
【図5】図3における垂直方向抽出フィルタ回路の構成
を示すブロツク図である。
を示すブロツク図である。
【符号の説明】図1 1 画像信号の入力端子 2 時空間フィルタリング手段 3 インパルス応答実数部格納手段 4 動物体抽出信号の出力端子図2 8 u=2.5の傾き 9 u=2.5の周波数折り返し図3 1 画像入力端子 21 水平方向動物体抽出フィルタ回路 22 垂直方向動物体抽出フィルタ回路 23 水平・垂直合成回路 4 動物体抽出信号出力端子図4 211,212,213 畳み込み回路 214 最大出力検出器 215 スイッチ 216 フィルタタイプ切り換え器 31 フィルタテーブル図5 221,222,223 畳み込み回路 224 最大出力検出器 225 スイッチ 226 フィルタタイプ切り換え器 32 フィルタテーブル
Claims (5)
- 【請求項1】入力信号を水平方向−時間方向および垂直
方向−時間方向に畳み込み積分する時空間フィルタリン
グ手段と、複数の時空間フィルタのインパルス応答の実
数部を格納するインパルス応答実数部格納手段とを備
え、入力した時系列2次元画像信号を前記時空間フィル
タリング手段で前記時空間フィルタのインパルス応答の
実数部を格納するインパルス応答実数部格納手段から選
択した所定の実数部と畳み込み積分することにより時空
間フィルタリングを行い、前記入力した画像信号を水平
成分,垂直成分および時間の3次元とし、動きのある物
体の時空間周波数成分がその速度に比例した傾きになる
ことを利用して前記入力画像信号内の動物体を抽出する
ことを特徴とする動物体抽出方式。 - 【請求項2】画像信号を水平成分,垂直成分および時間
の3次元とし、動きのある物体の時空間周波数成分はそ
の速度に比例した傾きになることを利用して時空間フィ
ルタをかけることにより、前記入力画像信号内の動物体
の抽出信号を得る動物体抽出方式において、 前記時空間フィルタを、前記速度の傾きに対応して、
この傾きを中心とする近傍領域を通過させる型、空間
周波数方向には低域を通過させる型、空間周波数をω
sp,時間周波数をωt としたとき、ωsp>0かつωt >
0のみを通過させる型、あるいはωsp>0かつωt >0
とωsp<0かつωt <0とを対称な型とし、これらの領
域のみを通過させる型、からなる複数のフィルタを備え
ることで、速度が1フレーム当り1画素以上の動きのあ
る物体を含む複数の物体から所望とする動きの物体を抽
出する動物体抽出方式。 - 【請求項3】請求項2において、ある速度に対応する時
空間周波数領域における傾きをu0、より遅い速度に対
応する傾きをu-1、より速い速度に対応する傾きをu1
としたとき、これら各傾きu0,u-1,u1 に対応して、
1フレームで3種類の時空間フィルタをかけ、前記3種
類のうちの出力が最大となるフィルタを、次のフレーム
における傾きu0 に対応するフィルタとして更新するこ
とにより、速度が変化する物体を安定して抽出できるよ
うにしたことを特徴とする動物体抽出方式。 - 【請求項4】画像信号を水平方向−時間方向に畳み込み
積分を施す水平方向動物体抽出フィルタ回路と、前記画
像信号を垂直方向−時間方向に畳み込み積分を施す垂直
方向動物体抽出フィルタ回路と、前記水平方向動物体抽
出フィルタ回路と前記垂直方向動物体抽出フィルタ回路
の出力信号を合成して動物体抽出信号を生成する水平・
垂直合成回路とを有し、画像信号を水平成分,垂直成分
および時間の3次元とし、動きのある物体の時空間周波
数成分はその速度に比例した傾きになることを利用して
時空間フィルタをかけることにより、前記入力画像信号
内の動物体の抽出信号を得る動物体抽出装置。 - 【請求項5】請求項4において、前記水平方向動物体抽
出フィルタおよび垂直方向動物体抽出フィルタの各々
は、ある速度に対応する時空間周波数領域における傾き
をu0、より遅い速度に対応する傾きをu-1、より速い
速度に対応する傾きをu1としたとき、これら各傾きu
0,u-1,u1 に対応した重みで畳み込み積分を施す3つ
の畳み込み積分回路と、前記2つの畳み込み積分回路の
出力の最大値を検出する最大値検出器と、前記最大値検
出器で最大と検出された前記畳み込み積分回路の出力を
選択出力するスイッチと、前記最大値検出器の最大値検
出信号に応じて前記各傾きu0,u-1,u1 に対応したフ
ィルタタイプを切り換えるフィルタタイプ切り換え器
と、前記フィルタタイプ切り換え器により更新される前
記各畳み込み積分回路に与える重みを格納するフィルタ
テーブルとを有することを特徴とする動物体抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4068839A JPH07101458B2 (ja) | 1992-03-26 | 1992-03-26 | 動物体抽出方式およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4068839A JPH07101458B2 (ja) | 1992-03-26 | 1992-03-26 | 動物体抽出方式およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06119450A true JPH06119450A (ja) | 1994-04-28 |
| JPH07101458B2 JPH07101458B2 (ja) | 1995-11-01 |
Family
ID=13385268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4068839A Expired - Lifetime JPH07101458B2 (ja) | 1992-03-26 | 1992-03-26 | 動物体抽出方式およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07101458B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0944630A (ja) * | 1995-07-26 | 1997-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像表現方法及び装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01116853U (ja) * | 1988-01-28 | 1989-08-07 | ||
| JPH02228116A (ja) * | 1989-03-01 | 1990-09-11 | Fujitsu Ltd | 時空間フィルタ |
| JPH03140069A (ja) * | 1989-10-26 | 1991-06-14 | Canon Inc | 動きベクトル検出装置 |
-
1992
- 1992-03-26 JP JP4068839A patent/JPH07101458B2/ja not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01116853U (ja) * | 1988-01-28 | 1989-08-07 | ||
| JPH02228116A (ja) * | 1989-03-01 | 1990-09-11 | Fujitsu Ltd | 時空間フィルタ |
| JPH03140069A (ja) * | 1989-10-26 | 1991-06-14 | Canon Inc | 動きベクトル検出装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0944630A (ja) * | 1995-07-26 | 1997-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像表現方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07101458B2 (ja) | 1995-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0180446B1 (en) | Methods of detecting motion of television images | |
| US5325449A (en) | Method for fusing images and apparatus therefor | |
| JPH06511339A (ja) | センサの動きとシーン構造を決定する方法及びイメージ処理システム | |
| CN109690620A (zh) | 三维模型生成装置以及三维模型生成方法 | |
| JPH0829126A (ja) | 対応点マッチング方法および装置 | |
| EP0020417A1 (en) | ELECTRONIC ENHANCEMENT OF AN IMAGE. | |
| JPH02181882A (ja) | 画像シーケンスの1個以上のターゲットの運動を評価する方法及び装置 | |
| JPH0823888B2 (ja) | 最小差プロセッサ | |
| Wang et al. | Tracking moving objects in video sequences | |
| JP3067275B2 (ja) | シーンチェンジ検出装置 | |
| JPH06119450A (ja) | 動物体抽出方式およびその装置 | |
| US5583947A (en) | Device for the detection of objects in a sequence of images | |
| US4238772A (en) | Image enhancement using on-line spatial filtering | |
| JPH06327013A (ja) | 動物体抽出方式およびその装置 | |
| Webster et al. | Radial deblurring with ffts | |
| JPH01269378A (ja) | 動き検出方法および動き検出器 | |
| JP2726180B2 (ja) | 相関追尾装置 | |
| JPH07101456B2 (ja) | 動物体抽出方式およびその装置 | |
| JPH0622213A (ja) | 動画像フィルタ | |
| JPH05274433A (ja) | 動物体位置認識方式およびその装置 | |
| DE68927814T2 (de) | Bildverarbeitungssystem | |
| JP3103169B2 (ja) | 二次元動画像のオプティカルフロー生成方式 | |
| Burt | Image motion analysis made simple and fast, one component at a time | |
| EP0966727A1 (de) | Kompaktes sensorsystem zur optischen bewegungserkennung in echtzeit | |
| Wayman et al. | Target detection using image motion error measure |