JPH08194822A - 移動物体検知装置及びその方法 - Google Patents
移動物体検知装置及びその方法Info
- Publication number
- JPH08194822A JPH08194822A JP7007446A JP744695A JPH08194822A JP H08194822 A JPH08194822 A JP H08194822A JP 7007446 A JP7007446 A JP 7007446A JP 744695 A JP744695 A JP 744695A JP H08194822 A JPH08194822 A JP H08194822A
- Authority
- JP
- Japan
- Prior art keywords
- image
- small area
- moving
- foe
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【目的】 自律移動車、知能作業ロボット、画像監視等
の分野に用いられる移動物体検知装置に関するものであ
り、高速かつ安定に移動物体検知を行う。 【構成】 観測された画像中の局所領域毎の動きベクト
ルであるオプティカルフローを抽出するオプティカルフ
ロー抽出部１と、抽出したオプティカルフローからこの
オプティカルフローを延長した直線の交点であるＦＯＥ
を計算するＦＯＥ計算部２と、計算したＦＯＥの時間的
位置変化を解析して、この時間的位置変化が所定の変化
量以上のときに移動物体が存在すると判断する移動物体
検知部３とよりなる。
の分野に用いられる移動物体検知装置に関するものであ
り、高速かつ安定に移動物体検知を行う。 【構成】 観測された画像中の局所領域毎の動きベクト
ルであるオプティカルフローを抽出するオプティカルフ
ロー抽出部１と、抽出したオプティカルフローからこの
オプティカルフローを延長した直線の交点であるＦＯＥ
を計算するＦＯＥ計算部２と、計算したＦＯＥの時間的
位置変化を解析して、この時間的位置変化が所定の変化
量以上のときに移動物体が存在すると判断する移動物体
検知部３とよりなる。
Description
【０００１】
【産業上の利用分野】本発明は、自律移動車、知能作業
ロボット、画像監視等の分野に用いられる移動物体検知
装置及びその方法に関する。
ロボット、画像監視等の分野に用いられる移動物体検知
装置及びその方法に関する。
【０００２】
【従来の技術】近年、集積化技術の進歩によるＴＶカメ
ラなどの画像センサや処理プロセッサの小型化、高機能
化に伴い、ＴＶカメラをセンサとして利用する自律移動
車、知能作業ロボット、高度画像監視などの研究が活発
に行われており、実用化が強く望まれている。
ラなどの画像センサや処理プロセッサの小型化、高機能
化に伴い、ＴＶカメラをセンサとして利用する自律移動
車、知能作業ロボット、高度画像監視などの研究が活発
に行われており、実用化が強く望まれている。
【０００３】これら自律移動車、知能作業ロボット、画
像監視装置等のシステムを構築する際、時々刻々変化す
る画像を処理し、移動する物体を高速かつ安定に検出す
る移動体検出装置が不可欠となる。
像監視装置等のシステムを構築する際、時々刻々変化す
る画像を処理し、移動する物体を高速かつ安定に検出す
る移動体検出装置が不可欠となる。
【０００４】従来は、固定カメラ等の静止した観測系か
ら、画像差分、閾値処理により侵入した物体の領域を検
出する手法が一般的であった。しかし、この手法では自
律移動車等のように観測系が移動する場合、背景全体も
変化するため、移動物体領域を背景から安定に分離・検
出できないという問題点があった。
ら、画像差分、閾値処理により侵入した物体の領域を検
出する手法が一般的であった。しかし、この手法では自
律移動車等のように観測系が移動する場合、背景全体も
変化するため、移動物体領域を背景から安定に分離・検
出できないという問題点があった。
【０００５】画像から動きの情報を直接検出する技術
は、画像情報処理技術におけるオプティカルフロー抽出
の問題として活発に研究されている。このオプティカル
フローは３次元空間における動きが画像平面上に投影さ
れたものであり、画像中の局所領域毎の動きベクトルと
して求められるため、上記の変化検出手法に対し移動物
体・背景分離が安定に行うことができるという利点があ
った。
は、画像情報処理技術におけるオプティカルフロー抽出
の問題として活発に研究されている。このオプティカル
フローは３次元空間における動きが画像平面上に投影さ
れたものであり、画像中の局所領域毎の動きベクトルと
して求められるため、上記の変化検出手法に対し移動物
体・背景分離が安定に行うことができるという利点があ
った。
【０００６】
【発明が解決しようとする課題】しかしながら、観測系
が移動する場合には、この動きにより背景領域も動きを
生ずるため、移動物体が出現した場合の検知が簡便に行
えないという問題点があった。
が移動する場合には、この動きにより背景領域も動きを
生ずるため、移動物体が出現した場合の検知が簡便に行
えないという問題点があった。
【０００７】本発明は、上記の移動物体検知に関わる問
題点を解決し、高速かつ安定に移動物体検知を行う装置
及び方法を提供することを目的としている。
題点を解決し、高速かつ安定に移動物体検知を行う装置
及び方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】第１の発明の移動物体検
知装置は、移動しながら採った画像を観測する移動観測
手段と、この移動観測手段によって観測された画像中の
観測対象の動きを示す動きベクトルを複数抽出する動き
ベクトル抽出手段と、この動きベクトル抽出手段によっ
て抽出した複数の動きベクトルを延長し、これら延長し
た動きベクトルが集中する点を求める集中点計算手段
と、この集中点計算手段によって計算した集中点の時間
的位置変化を解析して、この時間的位置変化が所定の変
化量以上のときに移動物体が存在すると判断する移動物
体検知手段とよりなる。
知装置は、移動しながら採った画像を観測する移動観測
手段と、この移動観測手段によって観測された画像中の
観測対象の動きを示す動きベクトルを複数抽出する動き
ベクトル抽出手段と、この動きベクトル抽出手段によっ
て抽出した複数の動きベクトルを延長し、これら延長し
た動きベクトルが集中する点を求める集中点計算手段
と、この集中点計算手段によって計算した集中点の時間
的位置変化を解析して、この時間的位置変化が所定の変
化量以上のときに移動物体が存在すると判断する移動物
体検知手段とよりなる。
【０００９】第２の発明の移動物体検知装置は、移動し
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出するオプティカルフロー抽出手段と、この
オプティカルフロー抽出手段によって抽出した複数のオ
プティカルフローを延長した直線の交点であるＦＯＥを
計算するＦＯＥ計算手段と、このＦＯＥ計算手段によっ
て計算したＦＯＥの時間的位置変化を解析して、この時
間的位置変化が所定の変化量以上のときに移動物体が存
在すると判断する移動物体検知手段とよりなる。
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出するオプティカルフロー抽出手段と、この
オプティカルフロー抽出手段によって抽出した複数のオ
プティカルフローを延長した直線の交点であるＦＯＥを
計算するＦＯＥ計算手段と、このＦＯＥ計算手段によっ
て計算したＦＯＥの時間的位置変化を解析して、この時
間的位置変化が所定の変化量以上のときに移動物体が存
在すると判断する移動物体検知手段とよりなる。
【００１０】第３の発明の移動物体検知装置は、移動し
ながら採った画像を観測する移動観測手段と、この移動
観測手段が観測した画像において移動物体が出現しない
時点の画像を蓄積する画像蓄積手段と、この画像蓄積手
段により蓄積された画像群から時間的に推移する方向に
対して水平な断面を抽出する時間断面抽出手段と、この
時間断面抽出手段により抽出された断面から直線を検出
し、この交点であるＦＯＥを計算するＦＯＥ検出手段
と、このＦＯＥ検出手段によって計算したＦＯＥの時間
的位置変化を解析して、この時間的位置変化が所定の変
化量以上のときに移動物体が存在すると判断する移動物
体検知手段とよりなる。
ながら採った画像を観測する移動観測手段と、この移動
観測手段が観測した画像において移動物体が出現しない
時点の画像を蓄積する画像蓄積手段と、この画像蓄積手
段により蓄積された画像群から時間的に推移する方向に
対して水平な断面を抽出する時間断面抽出手段と、この
時間断面抽出手段により抽出された断面から直線を検出
し、この交点であるＦＯＥを計算するＦＯＥ検出手段
と、このＦＯＥ検出手段によって計算したＦＯＥの時間
的位置変化を解析して、この時間的位置変化が所定の変
化量以上のときに移動物体が存在すると判断する移動物
体検知手段とよりなる。
【００１１】第４の発明の移動物体検知装置は、移動し
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中の観測対象の動きを
示す動きベクトルを複数抽出する動きベクトル抽出手段
と、前記画像中において小領域を設定する領域設定手段
と、この領域設定手段によって設定された小領域に含ま
れる複数の動きベクトルを前記動きベクトル抽出手段か
ら抽出し、この抽出した複数の動きベクトルを延長し、
これら延長した動きベクトルが集中する点を求める小領
域内集中点を推定する集中点推定手段と、この集中点推
定手段によって推定された小領域内集中点からその小領
域における推定残差を計算する小領域推定残差計算手段
と、この小領域推定残差計算手段によって計算された推
定残差から移動体を検出する移動体検出手段とよりな
る。
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中の観測対象の動きを
示す動きベクトルを複数抽出する動きベクトル抽出手段
と、前記画像中において小領域を設定する領域設定手段
と、この領域設定手段によって設定された小領域に含ま
れる複数の動きベクトルを前記動きベクトル抽出手段か
ら抽出し、この抽出した複数の動きベクトルを延長し、
これら延長した動きベクトルが集中する点を求める小領
域内集中点を推定する集中点推定手段と、この集中点推
定手段によって推定された小領域内集中点からその小領
域における推定残差を計算する小領域推定残差計算手段
と、この小領域推定残差計算手段によって計算された推
定残差から移動体を検出する移動体検出手段とよりな
る。
【００１２】第５の発明の移動物体検知装置は、移動し
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中の観測対象の動きを
示す動きベクトルを抽出する動きベクトル抽出手段と、
前記画像中において小領域を設定する領域設定手段と、
この領域設定手段によって設定された小領域に含まれる
複数の動きベクトルを前記動きベクトル抽出手段から読
出し、この読出した複数の動きベクトルを延長し、これ
ら延長した動きベクトルが集中する点を求める小領域内
集中点を推定する集中点推定手段と、この集中点推定手
段によって推定された小領域内集中点からその小領域に
おける推定残差を計算する小領域推定残差計算手段と、
この小領域推定残差計算手段によって計算された複数の
小領域の推定残差を統合することにより、前記画像平面
上の全部又は一部の総合推定残差を計算する総合推定残
差計算手段と、この総合推定残差計算手段により計算さ
れた前記画像中における総合推定残差の分布状態より移
動体を検出する移動体検出手段とよりなる。
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中の観測対象の動きを
示す動きベクトルを抽出する動きベクトル抽出手段と、
前記画像中において小領域を設定する領域設定手段と、
この領域設定手段によって設定された小領域に含まれる
複数の動きベクトルを前記動きベクトル抽出手段から読
出し、この読出した複数の動きベクトルを延長し、これ
ら延長した動きベクトルが集中する点を求める小領域内
集中点を推定する集中点推定手段と、この集中点推定手
段によって推定された小領域内集中点からその小領域に
おける推定残差を計算する小領域推定残差計算手段と、
この小領域推定残差計算手段によって計算された複数の
小領域の推定残差を統合することにより、前記画像平面
上の全部又は一部の総合推定残差を計算する総合推定残
差計算手段と、この総合推定残差計算手段により計算さ
れた前記画像中における総合推定残差の分布状態より移
動体を検出する移動体検出手段とよりなる。
【００１３】第６の発明の移動物体検知装置は、移動し
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出するオプティカルフロー抽出手段と、前記
画像中において小領域を設定する領域設定手段と、この
領域設定手段によって設定された小領域に含まれる複数
のオプティカルフローを前記オプティカルフロー抽出手
段から読出し、この読出した複数のオプティカルフロー
から小領域内ＦＯＥを推定するＦＯＥ推定手段と、この
ＦＯＥ推定手段によって推定された小領域内ＦＯＥから
その小領域における推定残差を計算する小領域推定残差
計算手段と、この小領域推定残差計算手段によって計算
された推定残差から移動体を検出する移動体検出手段と
よりなる。
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出するオプティカルフロー抽出手段と、前記
画像中において小領域を設定する領域設定手段と、この
領域設定手段によって設定された小領域に含まれる複数
のオプティカルフローを前記オプティカルフロー抽出手
段から読出し、この読出した複数のオプティカルフロー
から小領域内ＦＯＥを推定するＦＯＥ推定手段と、この
ＦＯＥ推定手段によって推定された小領域内ＦＯＥから
その小領域における推定残差を計算する小領域推定残差
計算手段と、この小領域推定残差計算手段によって計算
された推定残差から移動体を検出する移動体検出手段と
よりなる。
【００１４】第７の発明の移動物体検知装置は、移動し
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出するオプティカルフロー抽出手段と、前記
画像中において小領域を設定する領域設定手段と、この
領域設定手段によって設定された小領域に含まれる複数
のオプティカルフローを前記オプティカルフロー手段か
ら読出し、この読出した複数のオプティカルフローから
小領域内ＦＯＥを推定するＦＯＥ推定手段と、このＦＯ
Ｅ推定手段によって推定された小領域内ＦＯＥからその
小領域における推定残差を計算する小領域推定残差計算
手段と、この小領域推定残差計算手段によって計算され
た複数の小領域の推定残差を統合することにより、前記
画像平面上の全部又は一部の総合推定残差を計算する総
合推定残差計算手段と、この総合推定残差計算手段によ
り計算された前記画像中における総合推定残差の分布状
態より移動体を検出する移動体検出手段とよりなる。
ながら採った画像を観測する移動観測手段と、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出するオプティカルフロー抽出手段と、前記
画像中において小領域を設定する領域設定手段と、この
領域設定手段によって設定された小領域に含まれる複数
のオプティカルフローを前記オプティカルフロー手段か
ら読出し、この読出した複数のオプティカルフローから
小領域内ＦＯＥを推定するＦＯＥ推定手段と、このＦＯ
Ｅ推定手段によって推定された小領域内ＦＯＥからその
小領域における推定残差を計算する小領域推定残差計算
手段と、この小領域推定残差計算手段によって計算され
た複数の小領域の推定残差を統合することにより、前記
画像平面上の全部又は一部の総合推定残差を計算する総
合推定残差計算手段と、この総合推定残差計算手段によ
り計算された前記画像中における総合推定残差の分布状
態より移動体を検出する移動体検出手段とよりなる。
【００１５】
【作 用】第１の発明について説明する。
【００１６】移動観測手段は、移動しながら採った画像
を観測する。
を観測する。
【００１７】動きベクトル抽出手段は、この移動観測手
段によって観測された画像中の観測対象の動きを示す動
きベクトルを複数抽出する。
段によって観測された画像中の観測対象の動きを示す動
きベクトルを複数抽出する。
【００１８】集中点計算手段は、この動きベクトル抽出
手段によって抽出した複数の動きベクトルを延長し、こ
れら延長した動きベクトルが集中する点を求める。
手段によって抽出した複数の動きベクトルを延長し、こ
れら延長した動きベクトルが集中する点を求める。
【００１９】移動物体検知手段は、この集中点計算手段
によって計算した集中点の時間的位置変化を解析して、
この時間的位置変化が所定の変化量以上のときに移動物
体が存在すると判断する。
によって計算した集中点の時間的位置変化を解析して、
この時間的位置変化が所定の変化量以上のときに移動物
体が存在すると判断する。
【００２０】第２の発明について説明する。
【００２１】移動観測手段は、移動しながら採った画像
を観測する。
を観測する。
【００２２】オプティカルフロー抽出手段は、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出する。
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出する。
【００２３】ＦＯＥ計算手段は、このオプティカルフロ
ー抽出手段によって抽出した複数のオプティカルフロー
を延長した直線の交点であるＦＯＥを計算する。
ー抽出手段によって抽出した複数のオプティカルフロー
を延長した直線の交点であるＦＯＥを計算する。
【００２４】移動物体検知手段は、このＦＯＥ計算手段
によって計算したＦＯＥの時間的位置変化を解析して、
この時間的位置変化が所定の変化量以上のときに移動物
体が存在すると判断する。
によって計算したＦＯＥの時間的位置変化を解析して、
この時間的位置変化が所定の変化量以上のときに移動物
体が存在すると判断する。
【００２５】第３の発明について説明する。
【００２６】移動観測手段は、移動しながら採った画像
を観測する。
を観測する。
【００２７】画像蓄積手段は、この移動観測手段が観測
した画像において移動物体が出現しない時点の画像を蓄
積する。
した画像において移動物体が出現しない時点の画像を蓄
積する。
【００２８】時間断面抽出手段は、この画像蓄積手段に
より蓄積された画像群から時間的に推移する方向に対し
て水平な断面を抽出する。
より蓄積された画像群から時間的に推移する方向に対し
て水平な断面を抽出する。
【００２９】ＦＯＥ検出手段は、この時間断面抽出手段
により抽出された断面から直線を検出し、この交点であ
るＦＯＥを計算する。
により抽出された断面から直線を検出し、この交点であ
るＦＯＥを計算する。
【００３０】移動物体検知手段は、このＦＯＥ検出手段
によって計算したＦＯＥの時間的位置変化を解析して、
この時間的位置変化が所定の変化量以上のときに移動物
体が存在すると判断する。
によって計算したＦＯＥの時間的位置変化を解析して、
この時間的位置変化が所定の変化量以上のときに移動物
体が存在すると判断する。
【００３１】第４の発明について説明する。
【００３２】移動観測手段は、移動しながら採った画像
を観測する。
を観測する。
【００３３】動きベクトル抽出手段は、この移動観測手
段によって観測された画像中の観測対象の動きを示す動
きベクトルを複数抽出する。
段によって観測された画像中の観測対象の動きを示す動
きベクトルを複数抽出する。
【００３４】領域設定手段は、前記画像中において小領
域を設定する。
域を設定する。
【００３５】集中点推定手段は、この領域設定手段によ
って設定された小領域に含まれる複数の動きベクトルを
前記動きベクトル抽出手段から抽出し、この抽出した複
数の動きベクトルを延長し、これら延長した動きベクト
ルが集中する点を求める小領域内集中点を推定する。
って設定された小領域に含まれる複数の動きベクトルを
前記動きベクトル抽出手段から抽出し、この抽出した複
数の動きベクトルを延長し、これら延長した動きベクト
ルが集中する点を求める小領域内集中点を推定する。
【００３６】小領域推定残差計算手段は、この集中点推
定手段によって推定された小領域内集中点からその小領
域における推定残差を計算する。
定手段によって推定された小領域内集中点からその小領
域における推定残差を計算する。
【００３７】移動体検出手段は、この小領域推定残差計
算手段によって計算された推定残差から移動体を検出す
る。
算手段によって計算された推定残差から移動体を検出す
る。
【００３８】第５の発明について説明する。
【００３９】移動観測手段は、移動しながら採った画像
を観測する。
を観測する。
【００４０】動きベクトル抽出手段は、この移動観測手
段によって観測された画像中の観測対象の動きを示す動
きベクトルを抽出する。
段によって観測された画像中の観測対象の動きを示す動
きベクトルを抽出する。
【００４１】領域設定手段は、前記画像中において小領
域を設定する。
域を設定する。
【００４２】集中点推定手段は、この領域設定手段によ
って設定された小領域に含まれる複数の動きベクトルを
前記動きベクトル抽出手段から読出し、この読出した複
数の動きベクトルを延長し、これら延長した動きベクト
ルが集中する点を求める小領域内集中点を推定する。
って設定された小領域に含まれる複数の動きベクトルを
前記動きベクトル抽出手段から読出し、この読出した複
数の動きベクトルを延長し、これら延長した動きベクト
ルが集中する点を求める小領域内集中点を推定する。
【００４３】小領域推定残差計算手段は、この集中点推
定手段によって推定された小領域内集中点からその小領
域における推定残差を計算する。
定手段によって推定された小領域内集中点からその小領
域における推定残差を計算する。
【００４４】総合推定残差計算手段は、この小領域推定
残差計算手段によって計算された複数の小領域の推定残
差を統合することにより、前記画像平面上の全部又は一
部の総合推定残差を計算する。
残差計算手段によって計算された複数の小領域の推定残
差を統合することにより、前記画像平面上の全部又は一
部の総合推定残差を計算する。
【００４５】移動体検出手段は、この総合推定残差計算
手段により計算された前記画像中における総合推定残差
の分布状態より移動体を検出する。
手段により計算された前記画像中における総合推定残差
の分布状態より移動体を検出する。
【００４６】第６の発明について説明する。
【００４７】移動観測手段は、移動しながら採った画像
を観測する。
を観測する。
【００４８】オプティカルフロー抽出手段は、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出する。
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出する。
【００４９】領域設定手段は、前記画像中において小領
域を設定する。
域を設定する。
【００５０】ＦＯＥ推定手段は、この領域設定手段によ
って設定された小領域に含まれる複数のオプティカルフ
ローを前記オプティカルフロー抽出手段から読出し、こ
の読出した複数のオプティカルフローから小領域内ＦＯ
Ｅを推定する。
って設定された小領域に含まれる複数のオプティカルフ
ローを前記オプティカルフロー抽出手段から読出し、こ
の読出した複数のオプティカルフローから小領域内ＦＯ
Ｅを推定する。
【００５１】小領域推定残差計算手段は、このＦＯＥ推
定手段によって推定された小領域内ＦＯＥからその小領
域における推定残差を計算する。
定手段によって推定された小領域内ＦＯＥからその小領
域における推定残差を計算する。
【００５２】移動体検出手段は、この小領域推定残差計
算手段によって計算された推定残差から移動体を検出す
る。
算手段によって計算された推定残差から移動体を検出す
る。
【００５３】第７の発明について説明する。
【００５４】移動観測手段は、移動しながら採った画像
を観測する。
を観測する。
【００５５】オプティカルフロー抽出手段は、この移動
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出する。
観測手段によって観測された画像中のオプティカルフロ
ーを複数抽出する。
【００５６】領域設定手段は、前記画像中において小領
域を設定する。
域を設定する。
【００５７】ＦＯＥ推定手段は、この領域設定手段によ
って設定された小領域に含まれる複数のオプティカルフ
ローを前記オプティカルフロー手段から読出し、この読
出した複数のオプティカルフローから小領域内ＦＯＥを
推定する。
って設定された小領域に含まれる複数のオプティカルフ
ローを前記オプティカルフロー手段から読出し、この読
出した複数のオプティカルフローから小領域内ＦＯＥを
推定する。
【００５８】小領域推定残差計算手段は、このＦＯＥ推
定手段によって推定された小領域内ＦＯＥからその小領
域における推定残差を計算する。
定手段によって推定された小領域内ＦＯＥからその小領
域における推定残差を計算する。
【００５９】総合推定残差計算手段は、この小領域推定
残差計算手段によって計算された複数の小領域の推定残
差を統合することにより、前記画像平面上の全部又は一
部の総合推定残差を計算する。
残差計算手段によって計算された複数の小領域の推定残
差を統合することにより、前記画像平面上の全部又は一
部の総合推定残差を計算する。
【００６０】移動体検出手段は、この総合推定残差計算
手段により計算された前記画像中における総合推定残差
の分布状態より移動体を検出する。
手段により計算された前記画像中における総合推定残差
の分布状態より移動体を検出する。
【００６１】
【実施例】第１〜３の発明 以下、図１〜図９に基づき本発明の一実施例について説
明を行う。
明を行う。
【００６２】図１に本実施例の全体の構成及び情報の流
れを示し、図２にこれら構成の情報の流れに対応した処
理の流れ（方式）を示す。
れを示し、図２にこれら構成の情報の流れに対応した処
理の流れ（方式）を示す。
【００６３】なお、本実施例では、観測系が直線運動を
するとする。この場合、環境に静止した背景領域のオプ
ティカルフローは１点（ＦＯＥ）から沸きだす直線上に
存在する。
するとする。この場合、環境に静止した背景領域のオプ
ティカルフローは１点（ＦＯＥ）から沸きだす直線上に
存在する。
【００６４】オプティカルフロー抽出部１では、観測系
の持つＴＶカメラ画像の時間変化を解析することによ
り、局所領域単位の動きであるオプティカルフローを抽
出する（図２のステップａ１参照）。
の持つＴＶカメラ画像の時間変化を解析することによ
り、局所領域単位の動きであるオプティカルフローを抽
出する（図２のステップａ１参照）。
【００６５】ＦＯＥ計算部２では、このオプティカルフ
ローを直線の方程式に変換し、これらを連立させて解く
ことにより、観測系の直進運動の方向の投影点であるＦ
ＯＥ位置を求め、記憶する（図２のステップａ２参
照）。
ローを直線の方程式に変換し、これらを連立させて解く
ことにより、観測系の直進運動の方向の投影点であるＦ
ＯＥ位置を求め、記憶する（図２のステップａ２参
照）。
【００６６】移動物体検知部３では、まず、移動物体が
存在しない時点でのＦＯＥの位置を読出す（図２のステ
ップａ３参照）。次に、現時点のＦＯＥと記憶領域に格
納された移動物体が存在しない時点でのＦＯＥの位置の
差を解析することにより、移動物体の出現検知を行う
（図２のステップａ４参照）。
存在しない時点でのＦＯＥの位置を読出す（図２のステ
ップａ３参照）。次に、現時点のＦＯＥと記憶領域に格
納された移動物体が存在しない時点でのＦＯＥの位置の
差を解析することにより、移動物体の出現検知を行う
（図２のステップａ４参照）。
【００６７】移動物体が存在しない場合は、ＦＯＥは前
時点の位置の近傍に存在する（図２のステップａ５参
照）。
時点の位置の近傍に存在する（図２のステップａ５参
照）。
【００６８】これに対し、移動物体が出現した場合は、
画像中にこの物体による異なる動きが生じ、このオプテ
ィカルフローを含んだ上記連立方程式の解は、移動物体
が存在しない場合に比べて大きく変化するため、この変
化量を解析することにより、移動物体の出現検知が実現
できる（図２のステップａ６参照）。
画像中にこの物体による異なる動きが生じ、このオプテ
ィカルフローを含んだ上記連立方程式の解は、移動物体
が存在しない場合に比べて大きく変化するため、この変
化量を解析することにより、移動物体の出現検知が実現
できる（図２のステップａ６参照）。
【００６９】次に、各構成要素の詳細について説明す
る。
る。
【００７０】［オプティカルフロー抽出部１］図３に、
オプティカルフロー抽出部１の具体化構成の一例を示
す。本例では、画像中の特徴点の局所相関によるオプテ
ィカルフロー検出の実現例について説明する。また、図
４に、オプティカルフロー抽出部１の各構成要素に対応
した処理の流れを示す。これは、図２のステップａ１の
処理の流れにおける具体化方式に対応している。
オプティカルフロー抽出部１の具体化構成の一例を示
す。本例では、画像中の特徴点の局所相関によるオプテ
ィカルフロー検出の実現例について説明する。また、図
４に、オプティカルフロー抽出部１の各構成要素に対応
した処理の流れを示す。これは、図２のステップａ１の
処理の流れにおける具体化方式に対応している。
【００７１】候補点検出部４で、基準画像におけるオプ
ティカルフローを求める候補点群を検出する（図４のス
テップｂ１参照）。
ティカルフローを求める候補点群を検出する（図４のス
テップｂ１参照）。
【００７２】具体的には、画像中にＮ画素×Ｎ画素の局
所領域を設定し、この領域内の濃度分散値を計算する処
理を、移動物体が出現する可能性のある領域全域に渡っ
て行う。領域の大きさＮは、検出する対象の種類、大き
さに応じて設定する定数である。分散値が小さい点は、
濃度的に平坦な部分領域に含まれオプティカルフロー抽
出の精度が大幅に低下するため、候補点から排除し、分
散値が予め定めた閾値以上の点のみを、候補点として順
次選択し、この候補点の位置を局所相関値検出部５に送
信する。
所領域を設定し、この領域内の濃度分散値を計算する処
理を、移動物体が出現する可能性のある領域全域に渡っ
て行う。領域の大きさＮは、検出する対象の種類、大き
さに応じて設定する定数である。分散値が小さい点は、
濃度的に平坦な部分領域に含まれオプティカルフロー抽
出の精度が大幅に低下するため、候補点から排除し、分
散値が予め定めた閾値以上の点のみを、候補点として順
次選択し、この候補点の位置を局所相関値検出部５に送
信する。
【００７３】局所相関値検出部５では、基準画像におけ
る上記候補点（Ｘｏ，Ｙｏ）を中心とするＭ画素×Ｍ画
素の局所領域と、次時点の画像の上記候補点近傍領域内
部の各点の周囲のＭ画素×Ｍ画素の局所領域との間の相
関値を順次計算する（図４のステップｂ２参照）。近傍
領域の大きさは、移動物体の速度に応じて設定する。
又、相関窓の大きさＭは、検出する対象の種類、大き
さ、及び速度に応じて設定する定数である。
る上記候補点（Ｘｏ，Ｙｏ）を中心とするＭ画素×Ｍ画
素の局所領域と、次時点の画像の上記候補点近傍領域内
部の各点の周囲のＭ画素×Ｍ画素の局所領域との間の相
関値を順次計算する（図４のステップｂ２参照）。近傍
領域の大きさは、移動物体の速度に応じて設定する。
又、相関窓の大きさＭは、検出する対象の種類、大き
さ、及び速度に応じて設定する定数である。
【００７４】相関値Ｓは、以下の式で計算される。ここ
で、Ｉ（ｘ，ｙ），Ｊ（ｘ，ｙ）は各々基準画像、次時
点の画像の点（ｘ，ｙ）の画素濃度値、Ｉ，Ｊは各々基
準画像、次時点の画像中の候補点近傍領域内の平均濃度
である。
で、Ｉ（ｘ，ｙ），Ｊ（ｘ，ｙ）は各々基準画像、次時
点の画像の点（ｘ，ｙ）の画素濃度値、Ｉ，Ｊは各々基
準画像、次時点の画像中の候補点近傍領域内の平均濃度
である。
【００７５】
【数１】 最大相関点位置検出部６では、この相関値が最大となる
次時点画像上の点の位置（Ｘｓ，Ｙｓ）を求める（図４
のステップｂ３参照）。
次時点画像上の点の位置（Ｘｓ，Ｙｓ）を求める（図４
のステップｂ３参照）。
【００７６】オプティカルフロー計算部７では、両者の
差（ｖｘ，ｖｙ）＝（Ｘｓ−Ｘｏ，Ｙｓ−Ｙｏ）を計算
し、これを基準画像の点（Ｘｏ，Ｙｏ）におけるオプテ
ィカルフローベクトルとして、オプティカルフローメモ
リ８に書き込む（図４のステップｂ４参照）。
差（ｖｘ，ｖｙ）＝（Ｘｓ−Ｘｏ，Ｙｓ−Ｙｏ）を計算
し、これを基準画像の点（Ｘｏ，Ｙｏ）におけるオプテ
ィカルフローベクトルとして、オプティカルフローメモ
リ８に書き込む（図４のステップｂ４参照）。
【００７７】移動観測系が直線的に運動する場合、環境
に対し静止した物体のオプティカルフローは、図５に示
すように１点から沸きだすオプティカルフローとして得
られる。この点をＦＯＥと呼び、各オプティカルフロー
を延長した直線の交点として求めることができる。
に対し静止した物体のオプティカルフローは、図５に示
すように１点から沸きだすオプティカルフローとして得
られる。この点をＦＯＥと呼び、各オプティカルフロー
を延長した直線の交点として求めることができる。
【００７８】［ＦＯＥ計算部２］図６に、ＦＯＥ計算部
２の具体化構成の一例を示す。また、図７に、ＦＯＥ計
算部２の各構成要素に対応した処理の流れを示す。これ
は、図２のステップａ２の処理の流れにおける具体化方
式に対応している。
２の具体化構成の一例を示す。また、図７に、ＦＯＥ計
算部２の各構成要素に対応した処理の流れを示す。これ
は、図２のステップａ２の処理の流れにおける具体化方
式に対応している。
【００７９】オプティカルフロー・直線変換部１１で
は、前記オプティカルフローメモリ８に格納された各オ
プティカルフローベクトルから、直線の方程式を求める
（図７のステップｃ１参照）。
は、前記オプティカルフローメモリ８に格納された各オ
プティカルフローベクトルから、直線の方程式を求める
（図７のステップｃ１参照）。
【００８０】点（Ｘｏ，Ｙｏ）においてオプティカルフ
ローベクトル（ｖｘ，ｖｙ）が得られたとすると、この
直線の方程式は、
ローベクトル（ｖｘ，ｖｙ）が得られたとすると、この
直線の方程式は、
【数２】 として与えられる。
【００８１】連立方程式管理部１２では、これら直線の
交点を求めるため、連立方程式の係式行列Ａ、定式行列
Ｂを記憶領域に設定する（図７のステップｃ２参照）。
Ａ、Ｂは以下で与える。Ｌは、オプティカルフローベク
トルが得られた点の総式である。
交点を求めるため、連立方程式の係式行列Ａ、定式行列
Ｂを記憶領域に設定する（図７のステップｃ２参照）。
Ａ、Ｂは以下で与える。Ｌは、オプティカルフローベク
トルが得られた点の総式である。
【００８２】
【数３】
【数４】 求解部１３では、この行列を読み込み、方程式
【数５】 をＬＵ分解法、特異値分解法等の式値計算手法を用いて
解ｘ（ＦＯＥ値（ＸＦ，ＹＦ））を求め、ＦＯＥメモリ
１６に格納する（図７のステップｃ３参照）。
解ｘ（ＦＯＥ値（ＸＦ，ＹＦ））を求め、ＦＯＥメモリ
１６に格納する（図７のステップｃ３参照）。
【００８３】［移動物体検知部３］図８に、移動物体検
知部３の具体化構成の一例を示す。また、図９に、移動
物体検知部３の各構成要素に対応した処理の流れを示
す。これは、図２のステップａ３，ａ４の処理の流れに
おける具体化方式に対応している。
知部３の具体化構成の一例を示す。また、図９に、移動
物体検知部３の各構成要素に対応した処理の流れを示
す。これは、図２のステップａ３，ａ４の処理の流れに
おける具体化方式に対応している。
【００８４】ＦＯＥ変位計算部１７では、前記ＦＯＥメ
モリ１６に格納された、移動物体が存在しない時点での
ＦＯＥ値（ＸＦｏ，ＹＦｏ）を読出し（図９のステップ
ｄ１参照）、これと現時点のＦＯＥ値（ＸＦ，ＹＦ）の
位置の差Ｄを求める（図９のステップｄ２参照）。
モリ１６に格納された、移動物体が存在しない時点での
ＦＯＥ値（ＸＦｏ，ＹＦｏ）を読出し（図９のステップ
ｄ１参照）、これと現時点のＦＯＥ値（ＸＦ，ＹＦ）の
位置の差Ｄを求める（図９のステップｄ２参照）。
【００８５】具体的には、
【数６】 の式を用いて計算する。
【００８６】移動物体出現判定部１８は、この変位量Ｄ
と予め設定した閾値とを比較し、閾値より大きければ移
動物体が出現したためＦＯＥ値が変動したと判定する
（図９のステップｄ３参照）。
と予め設定した閾値とを比較し、閾値より大きければ移
動物体が出現したためＦＯＥ値が変動したと判定する
（図９のステップｄ３参照）。
【００８７】以上に述べた各構成要素の構成例を図１に
基づき組み合わせることにより、移動物体検知装置の一
例を作成することが可能となる。
基づき組み合わせることにより、移動物体検知装置の一
例を作成することが可能となる。
【００８８】［変更例］なお、本発明は上述した実施例
に限定されるものではない。
に限定されるものではない。
【００８９】例えば、ＦＯＥ計算部２において、オプテ
ィカルフロー・直線変換部１１及び連立方程式管理部１
２、求解部１３による構成により、ＦＯＥ位置を随時計
算する処理について述べたが、図１０に示すように、こ
の構成に更に画像蓄積部１９、３次元メモリ２０、断面
抽出部２１、直線交点検出部２２を付加することによ
り、移動物体が存在しない場合の背景領域の動きによる
ＦＯＥ値の推定を精度よく行うことができる。
ィカルフロー・直線変換部１１及び連立方程式管理部１
２、求解部１３による構成により、ＦＯＥ位置を随時計
算する処理について述べたが、図１０に示すように、こ
の構成に更に画像蓄積部１９、３次元メモリ２０、断面
抽出部２１、直線交点検出部２２を付加することによ
り、移動物体が存在しない場合の背景領域の動きによる
ＦＯＥ値の推定を精度よく行うことができる。
【００９０】画像蓄積部１９は、前記移動物体出現判定
部１８の結果を用いて、観測系のＴＶカメラ画像のうち
移動物体が存在しない場合の画像を３次元メモリ２０に
格納する。
部１８の結果を用いて、観測系のＴＶカメラ画像のうち
移動物体が存在しない場合の画像を３次元メモリ２０に
格納する。
【００９１】断面抽出部２１は、この３次元メモリに蓄
積された動画像系列から、時間軸方向に平行な断面を抽
出する。
積された動画像系列から、時間軸方向に平行な断面を抽
出する。
【００９２】この断面上で、環境に静止した物体は直線
の軌跡を描き、この交点がＦＯＥの水平位置となる。Ｆ
ＯＥの垂直位置は、観測系が平面上を移動する場合は、
画像中心と等しい値を持つため、推定する必要はない。
図１１に、この様子を模式的に示す。断面は、画像中心
を通る水平面を選択する。Ａ、Ｂ、Ｃ、Ｄを各々画像中
の背景領域とすれば、この断面上の軌跡は、ＦＯＥから
放射状に延びる直線となるため、これらの交点を求める
ことによりＦＯＥのＸ座標が推定できる。
の軌跡を描き、この交点がＦＯＥの水平位置となる。Ｆ
ＯＥの垂直位置は、観測系が平面上を移動する場合は、
画像中心と等しい値を持つため、推定する必要はない。
図１１に、この様子を模式的に示す。断面は、画像中心
を通る水平面を選択する。Ａ、Ｂ、Ｃ、Ｄを各々画像中
の背景領域とすれば、この断面上の軌跡は、ＦＯＥから
放射状に延びる直線となるため、これらの交点を求める
ことによりＦＯＥのＸ座標が推定できる。
【００９３】直線交点検出部２２では、この断面画像か
ら直線を検出し、この交点を求めることにより、ＦＯＥ
のＸ座標を推定し、垂直位置と合わせて前記ＦＯＥメモ
リ１６に格納する。
ら直線を検出し、この交点を求めることにより、ＦＯＥ
のＸ座標を推定し、垂直位置と合わせて前記ＦＯＥメモ
リ１６に格納する。
【００９４】また、前記移動物体検知部３におけるＦＯ
Ｅ変位計算部１７において、
Ｅ変位計算部１７において、
【数７】 を用いてＦＯＥ変位量を計算したが、観測系が回転運動
を含む場合、背景領域のオプティカルフローから求めた
ＦＯＥ位置は水平方向に移動するが、垂直位置は変化し
ない。これに対し、移動物体が出現した場合は、ＦＯＥ
の垂直位置も変化する。このため、上式の代わりに、
を含む場合、背景領域のオプティカルフローから求めた
ＦＯＥ位置は水平方向に移動するが、垂直位置は変化し
ない。これに対し、移動物体が出現した場合は、ＦＯＥ
の垂直位置も変化する。このため、上式の代わりに、
【数８】 なる式を用いて変位量を求めることにより、回転運動を
含む場合にも安定に移動物体検出を行うことができる。
上式で、Ｗｘ，Ｗｙは各々ＦＯＥの水平位置変化、垂直
位置変化に対する重み係式で、Ｗｘに比べＷｙを充分大
きく設定することにより、上記の効果が実現できる。
含む場合にも安定に移動物体検出を行うことができる。
上式で、Ｗｘ，Ｗｙは各々ＦＯＥの水平位置変化、垂直
位置変化に対する重み係式で、Ｗｘに比べＷｙを充分大
きく設定することにより、上記の効果が実現できる。
【００９５】以上、本発明はその趣旨を逸脱しない範囲
で種々変形して実施することが可能である。
で種々変形して実施することが可能である。
【００９６】第４〜７の発明 以下、図１２から図２４に基づき本発明の一実施例につ
いて説明を行う。
いて説明を行う。
【００９７】図１２に本実施例の全体の構成を示し、こ
の処理の流れを図１３に示す。
の処理の流れを図１３に示す。
【００９８】なお、本実施例では観測系が直線運動をす
るとする。この場合、環境に静止した背景領域のオプテ
ィカルフローは１点（ＦＯＥ）から沸きだす直線上に存
在することになる。
るとする。この場合、環境に静止した背景領域のオプテ
ィカルフローは１点（ＦＯＥ）から沸きだす直線上に存
在することになる。
【００９９】オプティカルフロー抽出部１１２では、観
測系の持つＴＶカメラ画像の時間変化を解析することに
より、局所領域単位の動きであるオプティカルフローを
抽出する（図１３のステップｅ１参照）。
測系の持つＴＶカメラ画像の時間変化を解析することに
より、局所領域単位の動きであるオプティカルフローを
抽出する（図１３のステップｅ１参照）。
【０１００】移動体分離制御部１１１は、小領域が画像
上（オプティカルフロー場上）の一部または全てを覆う
ように、領域制御情報を生成し領域設定部１１３に順次
転送する。移動体分離部１１６で行われる処理を除き、
以下の処理は領域設定部１１３で設定される小領域毎に
行われる。
上（オプティカルフロー場上）の一部または全てを覆う
ように、領域制御情報を生成し領域設定部１１３に順次
転送する。移動体分離部１１６で行われる処理を除き、
以下の処理は領域設定部１１３で設定される小領域毎に
行われる。
【０１０１】領域設定部１１３では、移動体分離制御部
１１２から転送される領域制御情報に基づき、ＦＯＥを
推定する単位となる小領域を設定する（図１３のステッ
プｅ２参照）。
１１２から転送される領域制御情報に基づき、ＦＯＥを
推定する単位となる小領域を設定する（図１３のステッ
プｅ２参照）。
【０１０２】ＦＯＥ推定部１１４では、オプティカルフ
ロー抽出部１１２で得られるオプティカルフローを領域
設定部１１３で設定される小領域でクリッピングし、小
領域内のオプティカルフローを直線の方程式に変換し、
これらを連立させて解くことにより、観測系の直進運動
の方向の投影点であるＦＯＥ位置を求める（図１３のス
テップｅ３参照）。
ロー抽出部１１２で得られるオプティカルフローを領域
設定部１１３で設定される小領域でクリッピングし、小
領域内のオプティカルフローを直線の方程式に変換し、
これらを連立させて解くことにより、観測系の直進運動
の方向の投影点であるＦＯＥ位置を求める（図１３のス
テップｅ３参照）。
【０１０３】総合推定残差計算部１１５では、ＦＯＥ推
定部１１４で推定されたＦＯＥと推定パラメータより、
推定残差を計算する。更に、前記領域設定部１１３で設
定された領域内を推定残差値で一定とし、順次領域毎に
これを積算しながら記憶する（図１３のステップｅ４参
照）。
定部１１４で推定されたＦＯＥと推定パラメータより、
推定残差を計算する。更に、前記領域設定部１１３で設
定された領域内を推定残差値で一定とし、順次領域毎に
これを積算しながら記憶する（図１３のステップｅ４参
照）。
【０１０４】領域設定部１１３で生成された小領域が最
後の小領域であれば、積算された推定残差値を積算回数
で除し、総合推定残差値として記憶する（図１３のステ
ップｅ５参照）。
後の小領域であれば、積算された推定残差値を積算回数
で除し、総合推定残差値として記憶する（図１３のステ
ップｅ５参照）。
【０１０５】移動体分離部１１６は、画像（図２４
（ａ）参照）中の総合推定残差値が大きい点ではその近
傍で背景画像と異なるＦＯＥを持つ物体が存在すること
から、これを閾値処理することにより移動体領域を分離
し、領域情報を記憶する（図１３のステップｅ６、図２
４（ｂ）参照）。また、総合推定残差値が小さい点では
背景画像のみが存在していることとなる（図２４（ｃ）
参照）。これら領域情報は、制御情報などとして利用さ
れる。
（ａ）参照）中の総合推定残差値が大きい点ではその近
傍で背景画像と異なるＦＯＥを持つ物体が存在すること
から、これを閾値処理することにより移動体領域を分離
し、領域情報を記憶する（図１３のステップｅ６、図２
４（ｂ）参照）。また、総合推定残差値が小さい点では
背景画像のみが存在していることとなる（図２４（ｃ）
参照）。これら領域情報は、制御情報などとして利用さ
れる。
【０１０６】次に、本実施例の各構成要素の詳細につい
て説明する。
て説明する。
【０１０７】［オプティカルフロー抽出部１１２］この
実施例では、複数の時空間フィルタ出力の各々に、濃度
勾配の拘束条件である
実施例では、複数の時空間フィルタ出力の各々に、濃度
勾配の拘束条件である
【数９】 を適用し、次式を解くことによってオプティカルフロー
を求める。
を求める。
【０１０８】
【数１０】 Ｉixはｉ番目の時空間フィルタ出力の微分係数、ｖ＝
（ｕ，ｖ）T は求めたいオプティカルフローである。こ
こでは、(10)式を変形し、
（ｕ，ｖ）T は求めたいオプティカルフローである。こ
こでは、(10)式を変形し、
【数１１】 左辺の観測行列［Ａ｜Ｉt ］を特異値分解することによ
り、次式を用いて推定を行う。
り、次式を用いて推定を行う。
【０１０９】
【数１２】 ここで、λ3 は観測行列の最小の固有値である。
【０１１０】時空間フィルタとしては分離型フィルタを
用い、空間方向にはガウス関数とそれと直交する方向に
その一次または二次微分関数の積をとったフィルタと、
ＬＯＧ（Laplacian Of Gaussian ）フィルタを用いる。
時間フィルタはガウス（のピークから半分）型フィルタ
である。
用い、空間方向にはガウス関数とそれと直交する方向に
その一次または二次微分関数の積をとったフィルタと、
ＬＯＧ（Laplacian Of Gaussian ）フィルタを用いる。
時間フィルタはガウス（のピークから半分）型フィルタ
である。
【０１１１】推定は複数のスケールで独立に行い、固有
値の比λ3 ／λ2 に対し拘束条件を設定し、適当なスケ
ールの結果をこの逆数で重み付けして統合することによ
り、(12)式で再度推定を行う。
値の比λ3 ／λ2 に対し拘束条件を設定し、適当なスケ
ールの結果をこの逆数で重み付けして統合することによ
り、(12)式で再度推定を行う。
【０１１２】オプティカルフロー抽出部１１２の構成に
ついて図１４に基いて説明する。この構成要素に対応し
たオプティカルフロー抽出の処理の流れを図１５に示
す。
ついて図１４に基いて説明する。この構成要素に対応し
たオプティカルフロー抽出の処理の流れを図１５に示
す。
【０１１３】フレームメモリ１３１には、時々刻々とＴ
Ｖカメラで撮像される画像を蓄積する。
Ｖカメラで撮像される画像を蓄積する。
【０１１４】時空間フィルタリング処理部１３２では、
フレームメモリ１３１に蓄積された画像に対し前記の時
空間フィルタを用いフィルタリング処理する。この処理
は２時点で行われる（図１５のステップｆ１参照）。
フレームメモリ１３１に蓄積された画像に対し前記の時
空間フィルタを用いフィルタリング処理する。この処理
は２時点で行われる（図１５のステップｆ１参照）。
【０１１５】勾配計算部１３３では、各フィルタ出力の
空間勾配及び時間勾配を計算し、連立方程式管理部１３
４に転送する（図１５のステップｆ２参照）。
空間勾配及び時間勾配を計算し、連立方程式管理部１３
４に転送する（図１５のステップｆ２参照）。
【０１１６】連立方程式管理部１３４では、各フィルタ
出力の勾配について、(10)式の行列Ａ及びベクトルＩt
を求め、推定パラメータメモリ１３５に書き込む（図１
５のステップｆ３参照）。
出力の勾配について、(10)式の行列Ａ及びベクトルＩt
を求め、推定パラメータメモリ１３５に書き込む（図１
５のステップｆ３参照）。
【０１１７】求解部１３６では、各スケール毎に(12)式
を用いて推定を行う。この時の推定結果とλ3 ／λ2 の
値をスケール統合部１３７に転送する。この後、スケー
ル統合部１３７から転送されてくる総合推定パラメータ
（Ａ，Ｉt ）について(12)式を用いて再度推定を行う。
この推定結果はオプティカルフローメモリ１３８に書き
込まれる（図１５のステップｆ４参照）。
を用いて推定を行う。この時の推定結果とλ3 ／λ2 の
値をスケール統合部１３７に転送する。この後、スケー
ル統合部１３７から転送されてくる総合推定パラメータ
（Ａ，Ｉt ）について(12)式を用いて再度推定を行う。
この推定結果はオプティカルフローメモリ１３８に書き
込まれる（図１５のステップｆ４参照）。
【０１１８】スケール統合部１３７では、求解部１３６
から転送されるλ3 ／λ2 の値及びフィルタのスケール
から決定される速度域により閾値処理し、信頼性の低い
スケールを除き、推定パラメータから各スケールの方程
式(10)を統合する（図１５のステップｆ５参照）。この
統合した結果は求解部１３６に転送される（図１５のス
テップｆ６参照）。
から転送されるλ3 ／λ2 の値及びフィルタのスケール
から決定される速度域により閾値処理し、信頼性の低い
スケールを除き、推定パラメータから各スケールの方程
式(10)を統合する（図１５のステップｆ５参照）。この
統合した結果は求解部１３６に転送される（図１５のス
テップｆ６参照）。
【０１１９】［領域設定部１１３］図１６に、領域設定
部１１３の具体化構成の一例を示し、この処理の流れを
図１７に示す。
部１１３の具体化構成の一例を示し、この処理の流れを
図１７に示す。
【０１２０】領域設定部１１３では、移動体分離制御部
１１１から転送される領域制御情報に基き、順次小領域
の設定を行う。
１１１から転送される領域制御情報に基き、順次小領域
の設定を行う。
【０１２１】初期小領域形状メモリ１５１は、予め決め
てある領域形状（ブロックなど）を記憶してある。
てある領域形状（ブロックなど）を記憶してある。
【０１２２】座標変換部１５２では、初期小領域形状メ
モリから初期小領域形状を読み込み（図１６のステップ
ｇ１参照）、移動体分離制御部１１１から転送される領
域制御情報（座標変換パラメータ）を用い座標変換を行
い、小領域形状メモリ１５３に書き込む（図１６のステ
ップｇ２参照）。
モリから初期小領域形状を読み込み（図１６のステップ
ｇ１参照）、移動体分離制御部１１１から転送される領
域制御情報（座標変換パラメータ）を用い座標変換を行
い、小領域形状メモリ１５３に書き込む（図１６のステ
ップｇ２参照）。
【０１２３】［ＦＯＥ計算部１１４］図１８に、ＦＯＥ
推定部１１４の具体化構成の一例を示し、図１９に各構
成要素に対応した処理の流れを示す。
推定部１１４の具体化構成の一例を示し、図１９に各構
成要素に対応した処理の流れを示す。
【０１２４】オプティカルフロー選択部１７１では、前
記小領域形状メモリ１５３から領域形状を読み込む。更
に、オプティカルフローメモリ１３８から小領域内存在
するオプティカルフローを読み込み、オプティカルフロ
ー・直線変換部１７２に転送する（図１９のステップｈ
１参照）。
記小領域形状メモリ１５３から領域形状を読み込む。更
に、オプティカルフローメモリ１３８から小領域内存在
するオプティカルフローを読み込み、オプティカルフロ
ー・直線変換部１７２に転送する（図１９のステップｈ
１参照）。
【０１２５】オプティカルフロー・直線変換部１７２で
は、オプティカルフロー選択部１７１から得られる各オ
プティカルフローベクトルから、各オプティカルフロー
の直線の方程式を求める（図１９のステップｈ２参
照）。
は、オプティカルフロー選択部１７１から得られる各オ
プティカルフローベクトルから、各オプティカルフロー
の直線の方程式を求める（図１９のステップｈ２参
照）。
【０１２６】点（ｘi ，ｙi ）においてオプティカルフ
ローベクトル（ｕi ，ｖi ）が得られたとすると、この
直線の方程式は、
ローベクトル（ｕi ，ｖi ）が得られたとすると、この
直線の方程式は、
【数１３】 として与えられる。ここで
【数１４】 である。
【０１２７】連立方程式管理部１７３では、これら直線
の交点を求めるため、連立方程式の係数行列Ａ、定数ベ
クトルｃを設定する（図１９のステップｈ３参照）。こ
れらは求解部１７５、推定パラメータメモリ１７４に転
送、書き込まれる。Ａ、ｃは以下で与える。ｎは小領域
内のオプティカルフローベクトル数である。
の交点を求めるため、連立方程式の係数行列Ａ、定数ベ
クトルｃを設定する（図１９のステップｈ３参照）。こ
れらは求解部１７５、推定パラメータメモリ１７４に転
送、書き込まれる。Ａ、ｃは以下で与える。ｎは小領域
内のオプティカルフローベクトル数である。
【０１２８】
【数１５】
【数１６】 求解部１７５では（図１９のステップｈ４参照）、この
係数行列及び定数ベクトルから、方程式
係数行列及び定数ベクトルから、方程式
【数１７】
【０１２９】［総合推定残差計算部１１５］図２０は総
合推定残差計算部１１５の具体化構成の一例である。こ
の処理の流れを図２１に示す。
合推定残差計算部１１５の具体化構成の一例である。こ
の処理の流れを図２１に示す。
【０１３０】推定残差計算部１９１はＦＯＥ推定部１１
４での推定結果ｘ′及びＡ、ベクトルｃより、小領域内
のオプティカルフローからＦＯＥを推定したときの推定
残差値
４での推定結果ｘ′及びＡ、ベクトルｃより、小領域内
のオプティカルフローからＦＯＥを推定したときの推定
残差値
【数１８】 を計算する（図２１のステップｉ１参照）。
【０１３１】 推定残差積算部１９２では、小領域形
状メモリより領域形状を読み込み、領域内を推定残差値
で一定として総合推定残差メモリ１９３に加算、記憶す
る。但し、総合推定残差メモリ１９３の構造は、原画像
の座標と対応が取られており、又、処理の開始時には０
で初期化されている。
状メモリより領域形状を読み込み、領域内を推定残差値
で一定として総合推定残差メモリ１９３に加算、記憶す
る。但し、総合推定残差メモリ１９３の構造は、原画像
の座標と対応が取られており、又、処理の開始時には０
で初期化されている。
【０１３２】なお、本実施例のオプティカルフロー抽出
部１１２で実装されている手法のように、オプティカル
フローが抽出されない点が存在する場合、小領域内のオ
プティカルフロー数の違いにより推定残差に著しい相違
が生じる場合がある。この場合は推定残差をオプティカ
ルフロー数（ｎ）で除し、これを推定残差として用い
る。
部１１２で実装されている手法のように、オプティカル
フローが抽出されない点が存在する場合、小領域内のオ
プティカルフロー数の違いにより推定残差に著しい相違
が生じる場合がある。この場合は推定残差をオプティカ
ルフロー数（ｎ）で除し、これを推定残差として用い
る。
【０１３３】 積算処理は各小領域毎に行われ、結果
として空間的に共有する領域を持つ場合には、共有領域
内でそれらの推定残差が積算されていくことになる。
として空間的に共有する領域を持つ場合には、共有領域
内でそれらの推定残差が積算されていくことになる。
【０１３４】 このときの積算回数も付加情報として
総合推定残差メモリ１９３に記憶される（図２１のステ
ップｉ２参照）。
総合推定残差メモリ１９３に記憶される（図２１のステ
ップｉ２参照）。
【０１３５】さらに、全ての小領域の推定残差の積算後
（図２１のステップｉ３参照）、積算結果を各点の積算
回数で除し、総合推定残差メモリ１９３に書き込む（図
２１のステップｉ４参照）。但し、積算回数が０の点は
０を書き込む。この結果を総合推定残差値と呼ぶ。
（図２１のステップｉ３参照）、積算結果を各点の積算
回数で除し、総合推定残差メモリ１９３に書き込む（図
２１のステップｉ４参照）。但し、積算回数が０の点は
０を書き込む。この結果を総合推定残差値と呼ぶ。
【０１３６】すなわち、この総合推定残差は、画像中に
おける二次元的な分布状態の小領域の設定に対応した三
次元的な分布状態となる。
おける二次元的な分布状態の小領域の設定に対応した三
次元的な分布状態となる。
【０１３７】［移動体分離部１１６］図２２は移動体分
離部１１６の具体化構成の一例であり、図２３にこの処
理の流れを示す。
離部１１６の具体化構成の一例であり、図２３にこの処
理の流れを示す。
【０１３８】画像（図２４（ａ）参照）上に移動体が存
在する場合には、小領域内で異なるＦＯＥをもつオプテ
ィカルフローが存在することになるため（図２４（ｂ）
参照）、移動体上または周辺で総合推定残差値が背景上
の総合推定残差値（図２４（ｃ）参照）と比較して大き
くなる。この結果、総合推定残差値を閾値処理すること
により、移動体の背景画像からの分離が可能となる。
在する場合には、小領域内で異なるＦＯＥをもつオプテ
ィカルフローが存在することになるため（図２４（ｂ）
参照）、移動体上または周辺で総合推定残差値が背景上
の総合推定残差値（図２４（ｃ）参照）と比較して大き
くなる。この結果、総合推定残差値を閾値処理すること
により、移動体の背景画像からの分離が可能となる。
【０１３９】閾値処理部２１１では、総合推定残差メモ
リ１９３から、総合推定残差値を読み出し、設定された
閾値ｔh に対し
リ１９３から、総合推定残差値を読み出し、設定された
閾値ｔh に対し
【数１９】 を満たす領域を移動体領域として移動体領域メモリ２１
２に記憶する（図２３のステップｊ１参照）。ここで、
ｅall は総合推定残差メモリ１９３から読み出される総
合推定残差値である。
２に記憶する（図２３のステップｊ１参照）。ここで、
ｅall は総合推定残差メモリ１９３から読み出される総
合推定残差値である。
【０１４０】この移動体領域情報は、移動体認識の認識
処理部等で用いられる制御情報などとして利用する。
処理部等で用いられる制御情報などとして利用する。
【０１４１】
【発明の効果】第１の発明においては、移動観測手段の
観測した画像を処理して得られる動きベクトルの集中点
を随時計算し、この時間的位置変位を求めることによ
り、移動観測手段が直線的に移動する場合も高速かつ安
定に移動物体の出現を検知することが実現でき、その実
用的効果は多大である。
観測した画像を処理して得られる動きベクトルの集中点
を随時計算し、この時間的位置変位を求めることによ
り、移動観測手段が直線的に移動する場合も高速かつ安
定に移動物体の出現を検知することが実現でき、その実
用的効果は多大である。
【０１４２】第２の発明においては、移動観測手段の観
測した画像を処理して得られるオプティカルフローを用
いてＦＯＥを随時計算し、この時間的位置変位を求める
ことにより、移動観測手段が直線的に移動する場合も高
速かつ安定に移動物体の出現を検知することが実現で
き、その実用的効果は多大である。
測した画像を処理して得られるオプティカルフローを用
いてＦＯＥを随時計算し、この時間的位置変位を求める
ことにより、移動観測手段が直線的に移動する場合も高
速かつ安定に移動物体の出現を検知することが実現で
き、その実用的効果は多大である。
【０１４３】第３の発明においては、移動観測手段から
得られる画像の時間的に推移する方向に水平な断面を抽
出して、この断面を処理してＦＯＥを随時計算し、この
時間的位置変位を求めることにより、移動観測手段が直
線的に移動する場合も高速かつ安定に移動物体の出現を
検知することが実現でき、その実用的効果は多大であ
る。
得られる画像の時間的に推移する方向に水平な断面を抽
出して、この断面を処理してＦＯＥを随時計算し、この
時間的位置変位を求めることにより、移動観測手段が直
線的に移動する場合も高速かつ安定に移動物体の出現を
検知することが実現でき、その実用的効果は多大であ
る。
【０１４４】第４の発明においては、移動観測手段の観
測した画像を処理して得られる動きベクトルを求め、設
定した小領域内の動きベクトルから集中点を推定し、そ
の小領域内の集中点推定残差を処理することにより、移
動観測手段が直線的に移動する場合も高速かつ安定に移
動体の分離検出をすることができ、その実用的効果は多
大である。
測した画像を処理して得られる動きベクトルを求め、設
定した小領域内の動きベクトルから集中点を推定し、そ
の小領域内の集中点推定残差を処理することにより、移
動観測手段が直線的に移動する場合も高速かつ安定に移
動体の分離検出をすることができ、その実用的効果は多
大である。
【０１４５】第５の発明においては、移動観測手段の観
測した画像を処理して得られる動きベクトルを求め、設
定した小領域内の動きベクトルから集中点を推定し、そ
の小領域内の集中点推定残差を小領域毎に順次積算し、
画像中におけるその積算結果である総合推定残差の分布
状態を処理することにより、移動観測手段が直線的に移
動する場合も高速かつ安定に移動体の分離検出をするこ
とができ、その実用的効果は多大である。
測した画像を処理して得られる動きベクトルを求め、設
定した小領域内の動きベクトルから集中点を推定し、そ
の小領域内の集中点推定残差を小領域毎に順次積算し、
画像中におけるその積算結果である総合推定残差の分布
状態を処理することにより、移動観測手段が直線的に移
動する場合も高速かつ安定に移動体の分離検出をするこ
とができ、その実用的効果は多大である。
【０１４６】第６の発明においては、移動観測手段の観
測した画像を処理して得られるオプティカルフローを求
め、設定した小領域内のオプティカルフローからＦＯＥ
を推定し、その小領域内のＦＯＥ推定残差を処理するこ
とにより、移動観測手段が直線的に移動する場合も高速
かつ安定に移動体の分離検出をすることができ、その実
用的効果は多大である。
測した画像を処理して得られるオプティカルフローを求
め、設定した小領域内のオプティカルフローからＦＯＥ
を推定し、その小領域内のＦＯＥ推定残差を処理するこ
とにより、移動観測手段が直線的に移動する場合も高速
かつ安定に移動体の分離検出をすることができ、その実
用的効果は多大である。
【０１４７】第７の発明においては、移動観測手段の観
測した画像を処理して得られるオプティカルフローを求
め、設定した小領域内のオプティカルフローからＦＯＥ
を推定し、その小領域内のＦＯＥ推定残差を小領域毎に
順次積算し、画像中におけるその積算結果である総合推
定残差の分布状態を処理することにより、移動観測手段
が直線的に移動する場合も高速かつ安定に移動体の分離
検出をすることができ、その実用的効果は多大である。
測した画像を処理して得られるオプティカルフローを求
め、設定した小領域内のオプティカルフローからＦＯＥ
を推定し、その小領域内のＦＯＥ推定残差を小領域毎に
順次積算し、画像中におけるその積算結果である総合推
定残差の分布状態を処理することにより、移動観測手段
が直線的に移動する場合も高速かつ安定に移動体の分離
検出をすることができ、その実用的効果は多大である。
【図１】第１〜３の発明の一実施例の全体の構成であ
る。
る。
【図２】図１における構成の処理の流れである。
【図３】オプティカルフロー抽出部の具体化構成例であ
る。
る。
【図４】オプティカルフロー抽出処理の流れである。
【図５】直線運動する観測系における背景領域のオプテ
ィカルフローとＦＯＥとの関係である。
ィカルフローとＦＯＥとの関係である。
【図６】ＦＯＥ計算部の構成例である。
【図７】ＦＯＥ計算処理の流れである。
【図８】移動物体検知部の構成例である。
【図９】移動物体検知処理の流れである。
【図１０】ＦＯＥ計算部の変形例である。
【図１１】時間軸に平行な断面上の背景領域の軌跡であ
る。
る。
【図１２】第４〜７の発明の一実施例の全体の構成であ
る。
る。
【図１３】図１２における構成の処理の流れである。
【図１４】オプティカルフロー抽出部の構成である。
【図１５】オプティカルフロー抽出処理の流れである。
【図１６】領域設定部の構成である。
【図１７】領域設定の処理の流れである。
【図１８】ＦＯＥ推定部の構成である。
【図１９】ＦＯＥ推定処理の流れである。
【図２０】総合推定残差計算部の構成である。
【図２１】総合推定残差計算の処理の流れである。
【図２２】移動体分離部の構成である。
【図２３】移動体分離の処理の流れである。
【図２４】第３，４の発明の一実施例の説明図である。
１ オプティカルフロー抽出部 ２ ＦＯＥ計算部 ３ 移動物体検知部 １１１ 移動体分離制御部 １１２ オプティカルフロー抽出部 １１３ 領域設定部 １１４ ＦＯＥ推定部 １１５ 総合推定残差計算部 １１６ 移動体分離部
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｋ
Claims (18)
- 【請求項１】移動しながら採った画像を観測する移動観
測手段と、 この移動観測手段によって観測された画像中の観測対象
の動きを示す動きベクトルを複数抽出する動きベクトル
抽出手段と、 この動きベクトル抽出手段によって抽出した複数の動き
ベクトルを延長し、これら延長した動きベクトルが集中
する点を求める集中点計算手段と、 この集中点計算手段によって計算した集中点の時間的位
置変化を解析して、この時間的位置変化が所定の変化量
以上のときに移動物体が存在すると判断する移動物体検
知手段とよりなることを特徴とする移動物体検知装置。 - 【請求項２】移動しながら採った画像を観測する移動観
測手段と、 この移動観測手段によって観測された画像中のオプティ
カルフローを複数抽出するオプティカルフロー抽出手段
と、 このオプティカルフロー抽出手段によって抽出した複数
のオプティカルフローを延長した直線の交点であるＦＯ
Ｅを計算するＦＯＥ計算手段と、 このＦＯＥ計算手段によって計算したＦＯＥの時間的位
置変化を解析して、この時間的位置変化が所定の変化量
以上のときに移動物体が存在すると判断する移動物体検
知手段とよりなることを特徴とする移動物体検知装置。 - 【請求項３】前記ＦＯＥ計算手段において、 前記オプティカルフロー抽出手段によって抽出した各点
のオプティカルフローから直線の方程式を求める直線方
程式算出手段と、 この直線方程式算出手段によって得られた各点毎の直線
の方程式に基いて、これら直線の交点を求め、この交点
をＦＯＥとする解析手段を具備したことを特徴とする請
求項２記載の移動物体検知装置。 - 【請求項４】移動しながら採った画像を観測する移動観
測手段と、 この移動観測手段が観測した画像において移動物体が出
現しない時点の画像を蓄積する画像蓄積手段と、 この画像蓄積手段により蓄積された画像群から時間的に
推移する方向に対して水平な断面を抽出する時間断面抽
出手段と、 この時間断面抽出手段により抽出された断面から直線を
検出し、この交点であるＦＯＥを計算するＦＯＥ検出手
段と、 このＦＯＥ検出手段によって計算したＦＯＥの時間的位
置変化を解析して、この時間的位置変化が所定の変化量
以上のときに移動物体が存在すると判断する移動物体検
知手段とよりなることを特徴とする移動物体検知装置。 - 【請求項５】移動しながら採った画像を観測し、 この観測される画像中の観測対象の動きを示す動きベク
トルを複数抽出し、 この抽出した複数の動きベクトルを延長し、これら延長
した動きベクトルが集中する点を求め、 この求めた集中点の時間的位置変化を解析して、この時
間的位置変化が所定の変化量以上のときに移動物体が存
在すると判断することを特徴とする移動物体検知方法。 - 【請求項６】移動しながら採った画像を観測し、 この観測された画像中のオプティカルフローを複数抽出
し、 この抽出した複数のオプティカルフローを延長した直線
の交点であるＦＯＥを計算し、 この計算したＦＯＥの時間的位置変化を解析して、この
時間的位置変化が所定の変化量以上のときに移動物体が
存在すると判断することを特徴とする移動物体検知方
法。 - 【請求項７】前記ＦＯＥの計算方法において、 前記抽出した各点のオプティカルフローから直線の方程
式を求め、 この得られた各点毎の直線の方程式に基いて求められた
直線の交点をＦＯＥとすることを特徴とする請求項７記
載の移動物体検知方法。 - 【請求項８】移動しながら採った画像を観測し、 この観測した画像において移動物体が出現しない時点の
画像を蓄積し、 この蓄積された画像群から時間的に推移する方向に対し
て水平な断面を抽出し、 この抽出された断面から直線を検出し、この交点である
ＦＯＥを計算し、 この計算したＦＯＥの時間的位置変化を解析して、この
時間的位置変化が所定の変化量以上のときに移動物体が
存在すると判断することを特徴とする移動物体検知方
法。 - 【請求項９】移動しながら採った画像を観測する移動観
測手段と、 この移動観測手段によって観測された画像中の観測対象
の動きを示す動きベクトルを複数抽出する動きベクトル
抽出手段と、 前記画像中において小領域を設定する領域設定手段と、 この領域設定手段によって設定された小領域に含まれる
複数の動きベクトルを前記動きベクトル抽出手段から抽
出し、この抽出した複数の動きベクトルを延長し、これ
ら延長した動きベクトルが集中する点を求める小領域内
集中点を推定する集中点推定手段と、 この集中点推定手段によって推定された小領域内集中点
からその小領域における推定残差を計算する小領域推定
残差計算手段と、 この小領域推定残差計算手段によって計算された推定残
差から移動体を検出する移動体検出手段とよりなること
を特徴とする移動体検出装置。 - 【請求項１０】移動しながら採った画像を観測する移動
観測手段と、 この移動観測手段によって観測された画像中の観測対象
の動きを示す動きベクトルを抽出する動きベクトル抽出
手段と、 前記画像中において小領域を設定する領域設定手段と、 この領域設定手段によって設定された小領域に含まれる
複数の動きベクトルを前記動きベクトル抽出手段から読
出し、この読出した複数の動きベクトルを延長し、これ
ら延長した動きベクトルが集中する点を求める小領域内
集中点を推定する集中点推定手段と、 この集中点推定手段によって推定された小領域内集中点
からその小領域における推定残差を計算する小領域推定
残差計算手段と、 この小領域推定残差計算手段によって計算された複数の
小領域の推定残差を統合することにより、前記画像平面
上の全部又は一部の総合推定残差を計算する総合推定残
差計算手段と、 この総合推定残差計算手段により計算された前記画像中
における総合推定残差の分布状態より移動体を検出する
移動体検出手段とよりなることを特徴とする移動体検出
装置。 - 【請求項１１】移動しながら採った画像を観測する移動
観測手段と、 この移動観測手段によって観測された画像中のオプティ
カルフローを複数抽出するオプティカルフロー抽出手段
と、 前記画像中において小領域を設定する領域設定手段と、 この領域設定手段によって設定された小領域に含まれる
複数のオプティカルフローを前記オプティカルフロー抽
出手段から読出し、この読出した複数のオプティカルフ
ローから小領域内ＦＯＥを推定するＦＯＥ推定手段と、 このＦＯＥ推定手段によって推定された小領域内ＦＯＥ
からその小領域における推定残差を計算する小領域推定
残差計算手段と、 この小領域推定残差計算手段によって計算された推定残
差から移動体を検出する移動体検出手段とよりなること
を特徴とする移動体検出装置。 - 【請求項１２】移動しながら採った画像を観測する移動
観測手段と、 この移動観測手段によって観測された画像中のオプティ
カルフローを複数抽出するオプティカルフロー抽出手段
と、 前記画像中において小領域を設定する領域設定手段と、 この領域設定手段によって設定された小領域に含まれる
複数のオプティカルフローを前記オプティカルフロー手
段から読出し、この読出した複数のオプティカルフロー
から小領域内ＦＯＥを推定するＦＯＥ推定手段と、 このＦＯＥ推定手段によって推定された小領域内ＦＯＥ
からその小領域における推定残差を計算する小領域推定
残差計算手段と、 この小領域推定残差計算手段によって計算された複数の
小領域の推定残差を統合することにより、前記画像平面
上の全部又は一部の総合推定残差を計算する総合推定残
差計算手段と、 この総合推定残差計算手段により計算された前記画像中
における総合推定残差の分布状態より移動体を検出する
移動体検出手段とよりなることを特徴とする移動体検出
装置。 - 【請求項１３】前記総合推定残差計算手段において、 前記領域設定手段によって設定された小領域内に、前記
小領域推定残差計算手段によって計算された一つの推定
残差を与え、 複数の小領域が互いにその領域を共有する部分には、前
記複数の小領域の推定残差の積算結果、あるいは、その
積算結果を積算回数で除した結果を総合推定残差とする
ことを特徴とする請求項１２記載の移動体検出装置。 - 【請求項１４】移動しながら採った画像を観測し、 この観測された画像中の観測対象の動きを示す動きベク
トルを複数抽出し、 前記画像中において小領域を設定し、 この設定された小領域に含まれる複数の動きベクトルを
前記抽出した中から読出し、この読出した複数の動きベ
クトルを延長し、これら延長した動きベクトルが集中す
る点を求める小領域内集中点を推定し、 この推定された小領域内集中点からその小領域における
推定残差を計算し、 この計算された推定残差から移動体を検出することを特
徴とする移動体検出方法。 - 【請求項１５】移動しながら採った画像を観測し、 この観測された画像中の観測対象の動きを示す動きベク
トルを複数抽出し、 前記画像中において小領域を設定し、 この設定された小領域に含まれる複数の動きベクトルを
前記抽出した中から読出し、この読出した複数の動きベ
クトルを延長し、これら延長した動きベクトルが集中す
る点を求める小領域内集中点を推定し、 この推定された小領域内集中点からその小領域における
推定残差を計算し、 この計算された複数の小領域の推定残差を統合すること
により、前記画像平面上の全部又は一部の総合推定残差
を計算し、 この計算された前記画像中における総合推定残差の分布
状態より移動体を検出することを特徴とする移動体検出
方法。 - 【請求項１６】移動しながら採った画像を観測し、 この観測された画像中のオプティカルフローを計算し、 前記画像中において小領域を設定し、 この設定された小領域に含まれる複数のオプティカルフ
ローを読出し、この読出した複数のオプティカルフロー
から小領域内ＦＯＥを推定し、 この推定された小領域内ＦＯＥからその小領域における
推定残差を計算し、 この計算された推定残差から移動体を検出することを特
徴とする移動体検出方法。 - 【請求項１７】移動しながら採った画像を観測し、 この観測された画像中のオプティカルフローを計算し、 前記画像中において小領域を設定し、 この設定された小領域に含まれる複数のオプティカルフ
ローを読出し、この読出した複数のオプティカルフロー
から小領域内ＦＯＥを推定し、 この推定された小領域内ＦＯＥからその小領域における
推定残差を計算し、 この計算された複数の小領域の推定残差を統合すること
により、前記画像平面上の全部又は一部の総合推定残差
を計算し、 この計算された前記画像中における総合推定残差の分布
状態より移動体を検出することを特徴とする移動体検出
方法。 - 【請求項１８】前記総合推定残差を計算する方法におい
て、 前記設定された小領域内に、前記計算された一つの推定
残差を与え、 複数の小領域が互いにその領域を共有する部分には、前
記複数の小領域の推定残差の積算結果、あるいは、その
積算結果を積算回数で除した結果を総合推定残差とする
ことを特徴とする請求項１７記載の移動体検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00744695A JP3435240B2 (ja) | 1995-01-20 | 1995-01-20 | 移動物体検知装置及びその方法 |
| US08/588,845 US5777690A (en) | 1995-01-20 | 1996-01-19 | Device and method for detection of moving obstacles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00744695A JP3435240B2 (ja) | 1995-01-20 | 1995-01-20 | 移動物体検知装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08194822A true JPH08194822A (ja) | 1996-07-30 |
| JP3435240B2 JP3435240B2 (ja) | 2003-08-11 |
Family
ID=11666074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00744695A Expired - Fee Related JP3435240B2 (ja) | 1995-01-20 | 1995-01-20 | 移動物体検知装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3435240B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010266963A (ja) * | 2009-05-12 | 2010-11-25 | Nippon Telegr & Teleph Corp <Ntt> | 消失点推定装置、消失点推定方法及び消失点推定プログラム |
| JP2011081613A (ja) * | 2009-10-07 | 2011-04-21 | Denso It Laboratory Inc | 画像処理装置 |
| CN102036054A (zh) * | 2010-10-19 | 2011-04-27 | 北京硅盾安全技术有限公司 | 一种基于三维虚拟场景的智能视频监控系统 |
| US8041415B2 (en) | 2002-07-31 | 2011-10-18 | Tsuyoshi Shiina | Ultrasonic diagnosis system and strain distribution display method |
| JP2012010145A (ja) * | 2010-06-25 | 2012-01-12 | Jvc Kenwood Corp | 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム |
| JP2012123751A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
| US8964034B2 (en) | 2009-08-04 | 2015-02-24 | Aisin Seiki Kabushiki Kaisha | Vehicle surroundings awareness support device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4660736B2 (ja) * | 2004-09-24 | 2011-03-30 | 独立行政法人産業技術総合研究所 | 動画像時間分割処理方法および装置 |
-
1995
- 1995-01-20 JP JP00744695A patent/JP3435240B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041415B2 (en) | 2002-07-31 | 2011-10-18 | Tsuyoshi Shiina | Ultrasonic diagnosis system and strain distribution display method |
| US8382670B2 (en) | 2002-07-31 | 2013-02-26 | Tsuyoshi Shiina | Ultrasonic diagnosis system and distortion distribution display method |
| JP2010266963A (ja) * | 2009-05-12 | 2010-11-25 | Nippon Telegr & Teleph Corp <Ntt> | 消失点推定装置、消失点推定方法及び消失点推定プログラム |
| US8964034B2 (en) | 2009-08-04 | 2015-02-24 | Aisin Seiki Kabushiki Kaisha | Vehicle surroundings awareness support device |
| JP2011081613A (ja) * | 2009-10-07 | 2011-04-21 | Denso It Laboratory Inc | 画像処理装置 |
| JP2012010145A (ja) * | 2010-06-25 | 2012-01-12 | Jvc Kenwood Corp | 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム |
| CN102036054A (zh) * | 2010-10-19 | 2011-04-27 | 北京硅盾安全技术有限公司 | 一种基于三维虚拟场景的智能视频监控系统 |
| JP2012123751A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3435240B2 (ja) | 2003-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Moving object detection and tracking from video captured by moving camera | |
| US5777690A (en) | Device and method for detection of moving obstacles | |
| Smith et al. | Tracking the visual focus of attention for a varying number of wandering people | |
| EP2858008B1 (en) | Target detecting method and system | |
| EP2330557B1 (en) | Moving body detection method and moving body detection device | |
| CN118506252B (zh) | 一种基于3d卷积和循环神经网络的动态目标行为预测系统 | |
| US8706663B2 (en) | Detection of people in real world videos and images | |
| US8363902B2 (en) | Moving object detection method and moving object detection apparatus | |
| EP2461292A1 (en) | Mobile body detection apparatus and mobile body detection method | |
| WO2008020598A1 (en) | Subject number detecting device and subject number detecting method | |
| Smith | ASSET-2: Real-time motion segmentation and object tracking | |
| Hu et al. | Robust object tracking via multi-cue fusion | |
| Piater et al. | Event-based activity analysis in live video using a generic object tracker | |
| Pinto et al. | A flow-based motion perception technique for an autonomous robot system | |
| US20090297036A1 (en) | Object detection on a pixel plane in a digital image sequence | |
| JP3435240B2 (ja) | 移動物体検知装置及びその方法 | |
| Mohanty et al. | A survey on moving object detection using background subtraction methods in video | |
| JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| CN107665495B (zh) | 对象跟踪方法及对象跟踪装置 | |
| CN117606500A (zh) | 减速带检测方法、通过方法、网络训练方法及相关装置 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| JP2009205695A (ja) | 対象個数検出装置および対象個数検出方法 | |
| He | Face tracking using Kanade-Lucas-Tomasi algorithm | |
| JP2002358526A (ja) | 映像オブジェクト検出・追跡装置 | |
| Gheissari et al. | Parametric model-based motion segmentation using surface selection criterion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |