JP2003196664A - 物体検出装置 - Google Patents

物体検出装置

Info

Publication number
JP2003196664A
JP2003196664A JP2001399472A JP2001399472A JP2003196664A JP 2003196664 A JP2003196664 A JP 2003196664A JP 2001399472 A JP2001399472 A JP 2001399472A JP 2001399472 A JP2001399472 A JP 2001399472A JP 2003196664 A JP2003196664 A JP 2003196664A
Authority
JP
Japan
Prior art keywords
flow
local
flow information
local region
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001399472A
Other languages
English (en)
Other versions
JP3885999B2 (ja
Inventor
Koji Tsujino
広司 辻野
Hiroshi Kondo
宏 近藤
Atsushi Miura
淳 三浦
Shinichi Nagai
慎一 永井
Koji Akatsuka
浩二 赤塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2001399472A priority Critical patent/JP3885999B2/ja
Priority to US10/322,307 priority patent/US7062071B2/en
Priority to EP02028805A priority patent/EP1329850B1/en
Publication of JP2003196664A publication Critical patent/JP2003196664A/ja
Application granted granted Critical
Publication of JP3885999B2 publication Critical patent/JP3885999B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【課題】 自己運動する物体から撮像された画像から、
静止物体及び移動物体の両方を高精度に検出できる物体
検出装置を提供する。 【解決手段】 本発明の物体検出装置は、運動体に搭載
されたＣＣＤカメラ等の撮像手段により撮像された時間
的に連続する２枚以上の入力画像に対し、ガボールフィ
ルタを適用して入力画像中の局所領域のオプティカルフ
ローを取得する。次いで、背景画像からのオプティカル
フローを予測することによって、運動体の運動により生
じるフロー情報をより厳密に排除する処理を行う。すな
わち、入力画像から物体の存在しない領域（「地」の部
分）を明確化し、この「地」の部分を排除することで結
果として入力画像中で物体の存在しそうな領域（「図」
の部分）を抽出し、この抽出した「図」の部分のフロー
情報を用いて物体の有無を判定する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、入力画像から画像
内の物体を検出する物体検出装置に関し、より具体的に
は、自己運動する物体から撮像された画像内の静止物体
と移動物体とを検出できる物体検出装置に関する。
【０００２】
【従来の技術】従来、取得画像に基づいて画像から物体
を検出する方法はいくつか知られているが、中でも取得
された時間画像からオプティカルフローを求め、同一運
動成分を持つ領域から物体に相当する部分を検出する方
法がある。この方法は、画像内で移動する物体を容易に
検出できるため、この方法が適用された物体検出装置が
多く知られている（例えば、特開平７−２４９１２７号
公報）。
【０００３】しかし、画像を取得するための撮像装置そ
のものが運動する場合、例えば、自動車等に撮像装置が
搭載されている場合、撮像装置自体の運動によってもオ
プティカルフローが生じるため、上記方法では移動物体
を正確に検出するのが困難となる。
【０００４】このような場合、求めたオプティカルフロ
ーから、撮像装置自体の運動による成分を除去できれ
ば、画像内で移動する物体をより正確に検出できるよう
になる。例えば、特開平２０００−２４２７９７号公報
には、グラディエント法によって画像内のオプティカル
フローを検出する際に使用する拡散係数を可変にした運
動検出方法が開示されている。この方法によると、拡散
係数を従来のように一定ではなく所定の条件を付加して
変化させることで、耐ノイズ性が向上し、かつ物体境界
でのオプティカルフローの差分を強調することができる
としている。
【０００５】
【発明が解決しようとする課題】しかしながら、上記方
法では、検出が容易である移動物体のオプティカルフロ
ーは高精度に得ることができても、静止背景中の静止物
体は背景とみなされているためオプティカルフローの補
正がなされず、静止物体を高精度に検出することはでき
ない。運動体から静止背景中の静止物体を観測すると、
実はそれぞれの物体に応じたオプティカルフローを得る
ことができるのであるが、背景からのオプティカルフロ
ーとの分離が困難であり、これを高精度に分離する技術
は実現されていない。
【０００６】従って、本発明は、オプティカルフローを
用いて、自己運動する撮像装置により取得される画像か
ら、静止物体及び移動物体の両方を高精度に検出するこ
とのできる物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明の物体検出装置
は、運動体に搭載されたＣＣＤカメラ等の撮像手段によ
り撮像された時間的に連続する２枚以上の入力画像に対
し、ガボールフィルタを適用して入力画像中の局所領域
のオプティカルフローを取得する。次いで、背景画像か
らのオプティカルフローを予測することによって、運動
体の運動により生じるフロー情報をより厳密に排除する
処理を行う。すなわち、入力画像から物体の存在しない
領域（「地」の部分）を明確化し、この「地」の部分を
排除することで結果として入力画像中で物体の存在しそ
うな領域（「図」の部分）を抽出し、この抽出した
「図」の部分のフロー情報を用いて物体の有無を判定す
る。
【０００８】より具体的には、本発明の物体検出装置
は、前記入力画像における局所領域毎のフロー情報を得
るローカルフロー処理手段と、前記各局所領域における
フロー情報を利用して、前記入力画像中の所定数の大領
域に関するフロー情報を得るグローバルフロー処理手段
と、前記大領域に関するフロー情報に基づいて前記運動
体の運動を推測し、推測された運動に応じた新たなフロ
ー情報を得て、該新たなフロー情報と前記各局所領域に
おけるフロー情報とを比較して前記推測された運動と異
なるフローを有する局所領域を抽出するフロー特徴計算
手段と、該抽出された局所領域において物体の有無を判
定する物体有無判定手段と、を備える。
【０００９】この構成によると、入力画像から運動体の
運動により生じるフロー情報を排除することができるの
で、入力画像中の物体を高精度に検出することができ
る。さらに、物体の有無の判定は、抽出された「図」の
部分の画像のみに対して実行されるので、高速に計算を
行うことができる。尚、「推測された運動に応じた新た
なフロー情報」とは、具体的には詳細な説明に述べる
「フィードバック局所フロー」のことを指す。
【００１０】前記ローカルフロー処理手段は、局所領域
のフロー情報を計算する役割を持つ。ここで局所領域と
は入力画像を等分した局所領域のことを指し、各局所領
域は互いにオーバーラップしていることが好ましい。各
局所領域のサイズ及び、オーバーラップの程度は、計算
に要する時間と物体検出の精度に応じて選択される。
【００１１】局所領域のフロー情報とは、例えば各局所
領域において支配的なフローの方向とそのフローの大き
さとを含む。これらは以下の手順により求められる。す
なわち、まず時間的に連続する入力画像中の前記局所領
域毎にガボールフィルタを適用して、各局所領域のフロ
ー情報として所定の方向毎にオプティカルフローの大き
さを得る。所定の方向は、上下左右の４方向であること
が好ましい。続いて各局所領域について各方向のオプテ
ィカルフローの大きさを比較し、大きさが最大のフロー
をその局所領域のフローの大きさとし、対応する方向を
その局所領域のフローの方向とする。この処理によっ
て、各局所領域において支配的なフロー方向、つまり各
局所領域のオプティカルフローが運動体の運動によるも
のと画像中の物体の存在によるもののどちらの影響を強
く受けているかを計算することができる。
【００１２】計算した局所領域のフロー情報は、グロー
バルフロー処理部でも用いられる。グローバルフロー処
理部は、前記大領域毎に、その大領域に含まれる全ての
局所領域のフロー情報を取得し、取得したフロー情報に
基づいて、前記大領域毎に予め設定されているフロー方
向を有する局所領域を選択し、選択した局所領域のフロ
ーの大きさの平均値をその大領域のフロー情報とする。
このグローバルフロー処理は、運動体の運動の種類に応
じて大領域には特徴的なフロー情報が生じることから、
後に行う運動体の運動の推定に用いるために行われる。
【００１３】従って大領域は適当な数だけ用意し、また
各大領域は、運動体の運動を最も良く反映するように、
入力画像の互いに異なる周縁部を占める領域であるのが
好ましい。周縁部を占める領域とは、例えば入力画像の
各辺から２/５の領域である。より好適には入力画像の
上部２/５の領域、下部２/５の領域、左部２/５の領
域、右部２/５の領域であり、上部、下部の領域に付い
てはそれぞれ上下方向のフロー、左部、右部の領域に付
いてはそれぞれ左右方向のフローの局所領域のフローの
大きさの平均値を取るのが好ましい。但し、大領域の全
入力画像に対する大きさは、運動体の運動が反映されに
くい入力画像中央付近の領域を除けば、２/５でなく他
の値であっても良い。
【００１４】フロー特徴計算手段は、前記大領域に関す
るフロー情報を第１の学習の結果に適用して前記運動体
の運動を推測する。この第１の学習は 画面中に物体を
余り含まない入力画像を用いて行われ、大領域に関する
フロー情報と、センサ等により得られるかあるいは予め
教師データとして与えられる運動体の運動との関係をニ
ューラルネットワークを用いて関連付けることによって
行われる。この第１の学習により、大領域に関するフロ
ー情報から運動体の運動を推測することが可能になる。
また、画面中に物体を余り含まない画像を用いて学習を
行うことで、後述するように画像中の動いている物体だ
けでなく静止物体をも検出することできる。
【００１５】尚、ニューラルネットワークの例として
は、パーセプトロンが挙げられる。この場合、運動体の
運動はパーセプトロンの出力セルの値として推測され
る。
【００１６】さらに、フロー特徴計算手段は、推測した
運動体の運動によって生じるフローと異なるフローを持
つ局所領域を抽出する。そして、物体有無判定手段は、
抽出された局所領域に対して第２の学習結果に基づいて
物体が本当に存在するかを判定する。この第２の学習
は、運動体から外部環境を撮像させて、そのとき抽出さ
れた局所領域のフロー情報と物体の有無とを関連付けさ
せることによって行われる。この学習により得られたデ
ータセットに対し主成分分析を施して得られる固有ベク
トルを用いて、物体有無判定が行われる。この方法は記
憶容量等の面から好ましいが、パターンマッチング等の
他の既知の方法で物体有無判定を行っても良い。
【００１７】尚、ローカルフロー処理手段で得られるフ
ロー情報から直接運動体の運動を推測し、推測した運動
体の運動によって生じるフローと異なるフローを持つ局
所領域を抽出することも可能である。このようにすれ
ば、本発明による物体検出装置は、グローバルフロー処
理手段を備えていなくても物体検出処理を実行すること
ができる。
【００１８】また、フロー特徴計算手段における局所領
域の抽出は、２回繰り返されることが好ましい。すなわ
ち、フロー特徴計算手段において抽出された局所領域
は、再度前記グローバルフロー処理手段とフロー特徴計
算手段により既に述べたと同様に処理され、再び運動体
の運動によって生じるフローと異なるフローを持つ局所
領域を抽出するようにすることもできる。この再度抽出
された局所領域に対して物体有無判定処理を行うことに
よって、フロー特徴の抽出精度と物体領域の特徴抽出精
度をより向上させることができる。
【００１９】本発明は別の一面によると、上記構成をプ
ログラムにより実現すると捉えることもできる。すなわ
ち、本発明は、運動体において時間的に連続して撮像さ
れる入力画像から物体を検出する物体検出プログラムで
あって、前記入力画像における局所領域毎のフロー情報
を得るローカルフロー処理ステップと、前記各局所領域
におけるフロー情報を利用して、前記入力画像中の所定
数の大領域に関するフロー情報を得るグローバルフロー
処理ステップと、前記大領域に関するフロー情報に基づ
いて前記運動体の運動を推測し、推測された運動に応じ
た新たなフロー情報を得て、該新たなフロー情報と前記
各局所領域におけるフロー情報とを比較して前記推測さ
れた運動と異なるフローを有する局所領域を抽出するフ
ロー特徴計算ステップと、該抽出された局所領域におい
て物体の有無を判定する物体有無判定ステップと、を含
むプログラムを含む。
【００２０】上記プログラムには、上記の他の特徴を実
現するステップをさらに含めることが可能である。
【００２１】
【発明の実施の形態】以下、図を参照して本発明による
物体検出装置の実施形態を説明する。
【００２２】図１は物体検出装置10の全体的な構成を示
すブロック図である。物体検出装置10は、自律走行自動
車等の運動体に搭載されたＣＣＤカメラ等の撮像装置12
により所定時間間隔で撮像された運動体の移動方向の画
像を常時受け取り、画像から運動体の移動に障害となる
物体があるか否かを判定し、判定結果を出力することが
できる。出力は、運動体のモータや舵等に送られて、必
要に応じて運動体は減速、停止や物体の回避等の動作を
行う。また判定結果に基づき、運動体の移動に障害とな
る物体の有無を自律走行自動車の乗員に通知等を行うよ
うにしてもよい。
【００２３】物体検出装置10は、例えば、種々の演算を
実行するＣＰＵ、演算結果を一時記憶するためのメモ
リ、学習結果等を記憶するＲＯＭ、データの入出力を行
うインタフェース等を備えるマイクロコンピュータによ
り実現される。また、物体検出装置10は一般に撮像装置
12と共に上記運動体に搭載され、物体検出処理を行う
が、撮像装置12により撮像された画像を運動体に搭載さ
れた任意の無線通信手段を介して別の場所にあるコンピ
ュータへと送信し、そのコンピュータにより物体検出処
理を行っても良い。以上のことを踏まえて、図１では物
体検出装置10を機能ブロック図で表してある。これら各
機能ブロックの一部または全部は、ソフトウェア、ファ
ームウェア、あるいはハードウェアの何れでも実現する
ことができる。
【００２４】撮像装置12により所定の時間間隔毎に撮像
された画像は、画像入力部1を介してローカルフロー処
理部2に送られる。ローカルフロー処理部2は、少なくと
も２枚の時間的に連続する画像に対し、ガボールフィル
タを適用して画像内の複数の局所領域におけるフロー情
報（以下、「ローカルフロー」という）を計算する。こ
れらローカルフローは、フロー特徴計算部4に送られる
と共に、更なる処理を受けるためにグローバルフロー処
理部3にも送られる。
【００２５】グローバルフロー処理部3は、ローカルフ
ローを使用して、局所領域よりも大きい大領域のフロー
情報（以下、「グローバルフロー」という）を計算す
る。
【００２６】フロー特徴計算部4は、ローカルフロー、
グローバルフロー、及び予め学習済みのデータ5に基づ
いて推定される運動体のフローに整合しないローカルフ
ローを持つ局所領域を上記画像から抽出する。物体有無
判定部7は、抽出された局所領域に実際に物体が存在す
るか否かを予め学習済みのデータ6に基づいて判定し、
その判定結果は判定出力部8を介して出力される。
【００２７】次に、各ブロックについてそれぞれの機能
を詳細に説明する。
【００２８】＜ローカルフロー処理部＞図２は、ローカ
ルフロー処理部2の物体検出実行時の処理を説明するフ
ローチャートである。
【００２９】まず、ローカルフロー処理部2は画像入力
部1から連続する２枚の画像を受け取る（S2-1）。時刻
ｔ、ｔ＋１における連続する２枚の画像をそれぞれImg
(x,y,t)、Img(x,y,t+1)と表すことにする。ここで、座
標(x,y)は、入力画像の左上を原点とした直交座標であ
り、Img(x,y,t)は時刻ｔにおける座標（x,y）の画素の
輝度値であり、０から２５５の数値で表される。
【００３０】また、画像のｘ方向、ｙ方向について、そ
れぞれガボールフィルタの基底を次式により計算してお
く。
【００３１】
【数１】
【００３２】ここで、Gs(x,y)はガボールフィルタの基
底のsin成分であり、Gc(x,y)はガボールフィルタの基底
のcos成分である。この二式とそれぞれ軸を９０度回転
させたときの二式によって、上下左右４方向のオプティ
カルフローが検出される。
【００３３】また上記式(1)中のｘ、ｙは画像の中心を
原点とした座標で記述している（式(1)中のｘ、ｙ、ｒ
には、ｒ＝(ｘ２＋ｙ２)１/２の関係がある）。式(1)中
の「ａ」は定数であり、「ａ」を中心にフィルター感度
が高くなるように設定されている。また式(1)は、空間
周波数の帯域幅が約１オクターブになるように設定され
ている。
【００３４】ガボールフィルタは人間の受容野の特性に
似せたフィルタである。運動体が運動すると、オプティ
カルフローは中心部分よりも周辺の方がフローの特徴が
はっきりと現れる特性がある。そこで、後述するように
ガボールフィルタを局所領域毎にｘ、ｙの正負方向（画
像の上下左右の各方向）に対して適用することによっ
て、オプティカルフローがその局所領域でどの方向に動
いたのかを明確に捉えることができる。なお、画像の位
置(x,y)に応じてガボールフィルタの特性（受容野サイ
ズすなわちフィルターの大きさ(窓)）や空間周波数の最
適化を行っても良い。
【００３５】次に、ローカルフロー処理部2は画像内の
１つの局所領域を選択する（S2-2）。局所領域とは画像
内の局所的なフローを計算するために設定される所定の
サイズの複数の領域であり、例えば、画像全体が３２０
×２４０画素である場合、局所領域はそれぞれ４５×４
５画素の大きさである。初回には、画像の左上隅に位置
する局所領域が選ばれる。
【００３６】１つの局所領域に対して以下に説明するよ
うな処理が終わると、次の局所領域に移動するが、この
とき局所領域同士が少しずつオーバーラップするように
右方にスライドして行く（図３(a)）。そして画像の最
右端まで達すると、今度は下方向にもオーバーラップす
るようにスライドする。このように局所領域をオーバー
ラップさせるのは、局所領域の境界付近の画素値を複数
回局所領域に含めることによって、より正確な物体検出
が可能となるためである。しかし、オーバーラップ量を
多くすると処理速度が低下するので、オーバーラップ量
はこれらを検討して適切な値に設定される。
【００３７】図２に戻り、時刻ｔ、ｔ＋１の画像につい
て、ステップS2-2で選択された局所領域に含まれる各画
素値 Img(x,y,t)、Img(x,y,t+1)と、上記式(1)のガボー
ル基底との積和演算を行って、当該局所領域の全画素に
ついての積和値ｘｔ、ｘｔ＋ １、ｙｔ、ｙｔ＋１を計算
する（S2-3）。これは次式で表される。
【００３８】
【数２】
【００３９】続いて、計算した積和値を用いて次式によ
りコントラスト(ｘ２＋ｙ２)を加重した位相の時間微分
値ｄｗを計算する（S2-4）。
【００４０】
【数３】
【００４１】ステップS2-3、S2-4によって、局所フロー
の上下左右の４方向の成分が算出される。すなわち、選
択された局所領域について４方向のｄｗが算出される。
【００４２】続いてこの各方向のｄｗを比較して最大の
ものを選出する。そしてそのｄｗを当該局所領域のｄｗ
値とし、その方向を当該局所領域のフロー方向とする
（S2-5）。局所領域について得られたこれらｄｗ値とフ
ロー方向は、図３(b)に示すように各局所領域の画像内
の位置に対応する箇所のｄｗマップ、方向マップにそれ
ぞれ代入される（S2-6）。
【００４３】１つの局所領域について計算が終了する
と、既に説明したように現在の局所領域とオーバーラッ
プする次の局所領域に移り、以後全ての局所領域につい
て上記の計算が行われる（S2-7）。
【００４４】ローカルフロー処理の具体例を図４、５を
参照して説明する。図４の(a)、(b)は、ｄｗマップのう
ち、上下二方向のｄｗマップを代表して表したものであ
る。ｄｗマップ中の数字は、それぞれの箇所に対応する
局所領域のｄｗ値であり、図では一部の局所領域につい
てのみその値が記載してある。そして、各局所領域につ
いて全方向のｄｗ値が比較され、最大のものがその局所
領域のｄｗマップの値として選出され、また最大のｄｗ
値を有する方向がその局所領域の方向マップのフロー方
向として決定される。例えば、図４(a)、(b)の左上隅に
位置する局所領域のｄｗ値を比較すると、それぞれ
「３」、「１」であるから、この局所領域におけるｄｗ
マップの値は「３」となり（図５の(a)）、またフロー
方向は「３」の値を持つ方向である「上」となるのであ
る（図５の(b)）。実際の物体検出処理では、上下左右
の４方向のｄｗ値について同様の比較がなされる。この
作業を全ての局所領域に対して順次繰り返していくと、
図５(a)、(b)のように画像フレーム全体についてｄｗマ
ップと方向マップとを得ることができる。なお、ｄｗ値
が同一であった場合は、前回と同じ値が付与される。
【００４５】以上説明したローカルフロー処理によっ
て、各局所領域のオプティカルフローが上下左右のうち
どの方向の成分を強く持っているかが分かる。
【００４６】＜グローバルフロー処理部＞図６はグロー
バルフロー処理部3の物体検出実行時の処理を説明する
フローチャートである。グローバルフロー処理部3は、
ローカルフロー処理部2で求められたｄｗマップと方向
マップとを受け取る（S3-1）。次に、所定の８つの大領
域(a)〜(h)のうち１つの大領域を選択する（S3-2）。
【００４７】大領域の例を図７に示す。図７において、
(a)〜(h)の太線の長方形は画像全体のフレームであり、
斜線のかかった領域が大領域である。大領域は、画像全
体のフレームの端部から全長の２/５の長さになるよう
に設定されている。さらに、大領域にはそれぞれ上下左
右のうち何れか１つのフロー方向が指定されている（図
７においては矢印で示されている）。
【００４８】グローバルフロー処理部3は、ステップS3-
2で選択された大領域内に含まれる局所領域のうち、そ
のフロー方向が図７の大領域(a)〜(h)について予め指定
されている方向である局所領域を選ぶ（S3-3）。そし
て、選ばれた局所領域に対応するｄｗ値の平均値を算出
する（S3-4）。より具体的に説明すると、大領域(a)が
選択された場合、斜線の領域に含まれる局所領域につい
て、方向マップを検索して上方向のフローを持つ局所領
域を選び出す。そして、ｄｗマップを検索して、選び出
した局所領域のｄｗ値を得て、それらの平均値を取るの
である。例えば、大領域(a)については、図５(a)の上方
向のｄｗマップのうち太線で囲まれた部分の値の平均値
が算出される。
【００４９】大領域(a)についてｄｗ値の平均値が算出
されると、続いて(b)以下の大領域についても同様の計
算が行われる（S3-5）。８つの大領域全てについてｄｗ
値の平均値が算出されると、図８に示すようなグローバ
ルフローマップを作成する（S3-6）。このマップには、
大領域(a)についてフロー方向が「上」である局所領域
のｄｗ値の平均値、大領域(b)についてフロー方向が
「下」である局所領域のｄｗ値の平均値、というように
上から順に格納される。
【００５０】このようなグローバルフローマップを作成
することで、運動体の運動に応じて出現する画像の特徴
をマップで表現することができる。例えば、運動体が前
進移動をしている場合は、図７中の大領域(a)、(d)、
(e)、(g)のｄｗ値の平均値が大きな値となる。また、右
折前進移動をしている場合は、大領域(a)、(d)、(f)、
(g)に大きなｄｗ値が現れるし、左折前進移動をしてい
る場合は大領域(a)、(d)、(e)、(h)に大きなｄｗ値が現
れる。
【００５１】本実施形態では８つの大領域を用いている
が、より多種の大領域を用いることで運動体の運動に応
じた画像をさらに詳細に表現することもできる。
【００５２】図７の８つの大領域の大きさを全画像フレ
ームの全長の「２/５」とした理由は、既に述べたよう
にオプティカルフローは画像の中央部分よりも周辺領域
により特徴が強調されて出てくるので、この特徴を効果
的に捉えるためである。大領域を画像全体フレームの周
辺に限定適用することにより、計算負荷を大きく低減さ
せたまま、運動体の運動に応じて現れる画像の特徴を適
確に捉えることが可能となる。従って、画像フレームの
中心を外れていれば、全画像フレームの全長の１/３、
１/４といった他の大きさを大領域の範囲に設定しても
良い。
【００５３】＜フロー特徴計算部＞フロー特徴計算部4
では、運動体の運動により生じるフローと同じフロー方
向を持つ局所領域（「地」）と、異なるフローをもつ局
所領域（「図」）とに分離するいわゆる図地分離が行わ
れる。
【００５４】既に述べたように、運動体の運動に応じて
出現する画像の特徴は８個のｄｗ値の平均値、すなわち
８個の特徴量で表現することができる。そこで、８個の
特徴量と運動体の運動を表すパラメータ（以下「自己運
動パラメータ」と呼ぶ）との対応関係の教師データを用
いてパーセプトロン等により学習を行えば、８個の特徴
量から自己運動パラメータへの写像を容易に得ることが
できる。そして、この学習により、物体検出時にはセン
サ等を用いることなく８個の特徴量から自己運動パラメ
ータを推測することが可能となる。
【００５５】自己運動パラメータの例としては、運動体
に付設されたスピードメータから得られる運動体の速度
や、ジャイロスコープにより検出される回転角などが挙
げられる。採用するべき自己運動パラメータの種類は、
物体検出装置10の処理する画像内で排除すべき自己運動
の影響を考慮して、運動体の運動の特徴に応じて決定さ
れる。例えば回転運動している運動体において物体を検
出したい場合は、運動体の回転方向等が自己運動パラメ
ータとして採用される。また、速度が可変の運動体にお
いて物体を検出したい場合は、運動体の速度等を自己運
動パラメータとして採用することが考えられる。また運
動体の運動を示すコードを自己運動パラメータとして用
いることもできる。本実施形態では、運動体の進行方
向、すなわち前進移動、右折前進移動、左折前進移動の
何れかのパラメータがその進行方向に応じてフロー特徴
計算部4に与えられる。
【００５６】図９は、フロー特徴計算部4で予め行われ
る８個の特徴量と自己運動パラメータの対応関係の学習
を行うパーセプトロンの概念図である。左側のセル（入
力層）Ｘｉはグローバルフロー処理部3の処理の結果算
出される８個の特徴量にそれぞれ対応している。つまり
一番上のセルは図７の大領域(a)におけるｄｗ値の平均
値であり、２番目のセルは大領域(b)におけるｄｗ値の
平均値であり、以下同様である。また右側のセル（出力
層）Ｙｊは、各自己運動パラメータに相当する。本実施
形態では、上から前進移動、右折前進移動、左折前進移
動の各自己運動パラメータに対応して設けられる。入力
層、出力層のセルは、それぞれ特徴量、自己運動パラメ
ータの種類に応じて適当な数だけ準備される。
【００５７】８個の特徴量と自己運動パラメータの対応
関係の教師データは、例えば図１０のようなデータ構造
で与えられる。自己運動パラメータは、セルＹｊと同数
与えられる。フロー特徴計算部4は、以下の手順により
学習を行う。
【００５８】Ｘｉを入力層のｉ番目のセルの値、Ｙｊを
出力層のｊ番目のセルの値とすると、Ｙｊは次式により
計算される。
【００５９】
【数４】
【００６０】ここで、Ｗijは入力層のセル（入力セル）
ｉと出力層のセル（出力セル）ｊの間の重みであり、適
当な初期値が与えられている。
【００６１】式(4)のＸｉに教師データの特徴量（８
個）を代入してＹｊが求められると、教師データの自己
運動パラメータとの比較が行われる。そして、Ｙｊが教
師データの自己運動パラメータと一致したときはＴｉ＝
１とし、異なるときはＴｉ＝０をとして、次式により出
力セルｊの誤差Ｅｊが求められる。
【００６２】
【数５】
【００６３】続いて重みＷijが更新される。この重みの
更新は、誤差逆伝播法により次式に従って行われる。
【００６４】
【数６】
【００６５】こうして、与えられた全ての教師データセ
ットについて同様の処理が行われ、次々に重みＷijが更
新されていく。そして学習が終わると、８個の特徴量
（ｄｗ値の平均値）から重みＷijを用いて自己運動パラ
メータ、すなわち、運動体がどのような運動をしている
かを推測できるようになる。
【００６６】なお、この対応関係の学習には、他の任意
の学習方法を用いても良い。
【００６７】また、一般にオプティカルフローにおいて
は、局所領域のフローの抽出を行うと、静止物体がある
領域には異種のフローが生じるという性質があるので、
教師データは障害物（静止物体）を余り含まない画像に
基づいて準備されるのが好ましい。このような教師デー
タを用いて学習することで、自己運動パラメータと整合
する局所領域のフロー方向と異なるフローとして、画像
内を移動する物体のみならず静止物体をも検出すること
ができるようになる。
【００６８】図１１はフロー特徴計算部4の物体検出実
行時の処理を説明するフローチャートである。
【００６９】まず、フロー特徴計算部4は、ローカルフ
ロー処理部2で得られたｄｗマップと方向マップ、グロ
ーバルフロー処理部3で得られた８個の特徴量（ｄｗ値
の平均値）を受け取る（S4-1）。そして受け取った８個
の特徴量と学習済みのパーセプトロンの重みＷｉから、
式(4)により出力セルの出力値Ｙｊを算出し、その中か
ら最大値を持つ出力セルを選択する（S4-2）。例えば、
図９のパーセプトロンの３つの出力セルの出力値がそれ
ぞれ（0.5, 0.25, 0.25）の場合、「0.5」を出力したセ
ルを勝者として選択する。そして、選択された出力セル
の値を「1」、他の出力セルの値を「0」と設定する（つ
まり、３つの出力セルの出力値を(1, 0,0)と設定す
る）。
【００７０】続いて、正規化された出力値と設定された
出力値との誤差を計算する（S4-3）。上記の例では、誤
差は(-0.5, 0.25, 0.25)となる。これを「誤差パラメー
タ」と呼ぶ。
【００７１】この誤差パラメータに逆にパーセプトロン
の重みＷｉをかけることによって、入力セルにそれぞれ
対応する新たな８つのパラメータを得ることができる
（S4-4）。これを「新８つのパラメータ値」と呼ぶ。こ
の新８つのパラメータ値は、全て０以外の値となり、ま
た負の値になることもある。
【００７２】新８つのパラメータ値と、対応する図５
(a)のｄｗマップの値との掛け算を行う（S4-5）。具体
的に説明すると、新８つのパラメータ値が入力セルの上
から順に（1,2,3,4,5,6,7,8）と算出された場合、つま
り図７の大領域(a)〜(h)にそれぞれ対応して（1,2,3,4,
5,6,7,8）と計算された場合、大領域(a)に含まれかつフ
ロー方向が上の局所領域のｄｗ値をｄｗマップと方向マ
ップの検索によって選び出し（図５(a)の太線Ａ内の
値）、それぞれ新８つのパラメータ値である「１」と掛
け合わされる。また、例えば大領域(g)に含まれかつフ
ロー方向が左の局所領域のｄｗ値を、ｄｗマップと方向
マップとを検索して選び出し（図５(a)の太線Ｂ内の
値）、それぞれ新８つのパラメータ値である「７」と掛
け合わされる。同様の計算を新８つのパラメータ値の全
てについて行った結果の例を図１２の(a)に示す（これ
を「フィードバック局所フロー」と呼ぶ）。なお、図１
２(a)中の数値は負の値となることもある。
【００７３】そして、図１２(a)のマップの各数値につ
いて所定のしきい値（図１２の例ではしきい値「1.
0」）と比較し、しきい値より小さい部分を「地」の部
分（図１２(b)）、しきい値以上の部分を「図」の部分
（図１２(c)）として分離する（S4-6）。
【００７４】さらに、分離された「図」の部分の数値を
「0」とした新たな局所フローのｄｗマップを得る（図
１２(d)）。この新たな局所フローに対して、上記グロ
ーバルフロー処理及び上記ステップS4-1からS4-6の処理
を再び実行する（S4-7）。
【００７５】そして、２回目のステップS4-6において分
離された「図」の部分の局所領域（図１０(c)）を含む
矩形の領域（図１０(c)の太線で囲われた領域）を、画
像の中で物体が存在する可能性のある領域（以下、「物
体存在可能性領域」という）と推定する（S4-8）。この
矩形の領域は予め定められた一定のサイズであり、２回
目のステップS4-6で分離された局所領域が所定の矩形の
サイズに対し大きかったりあるいは小さかったりする場
合は、「図」の領域が最もよく含まれるように矩形領域
を設定する。この矩形の領域、すなわち物体存在可能性
領域は、入力画像の中で物体が含まれている可能性が高
いと予想される領域であり、この領域に対して物体有無
判定部7により物体の有無が判定される。
【００７６】上記のように誤差パラメータを算出した後
さらにフィードバック局所フローを計算するのは、真の
自己運動パラメータとの誤差を強調することによって、
しきい地による分離を実行し易くするためである。以上
の処理によって、より精度良く物体存在可能性領域を切
り出すことができるようになる。特に、S4-1〜S4-2の処
理を繰り返すことで、物体存在可能性領域の抽出がより
精度良く達成されることになる。
【００７７】＜物体有無判定部＞物体有無判定部7は、
フロー特徴計算部4で分離された物体存在可能性領域に
物体が本当に含まれているか否かを判定する。
【００７８】物体有無判定部7は予め第２の学習を行っ
て、物体有無の判定を行うための固有空間ベクトルを作
成しておく。
【００７９】図１３は、固有空間ベクトルを作成するた
めの学習を示すフローチャートである。
【００８０】まず、物体検出装置10に「物体有り」と判
定させたい種々の物体を含む環境を物体検出装置10の撮
像装置12により撮像させ（S6-1）、既に述べたようにロ
ーカルフロー処理部2、グローバルフロー処理部3、フロ
ー特徴抽出部4により順に処理し、自己運動と整合しな
いフローが得られた局所領域を含む矩形の領域（図１２
(c)の物体存在可能性領域）を得る（S6-2）。このとき
撮像させる物体には、移動している物体と静止している
物体の両方が含まれ、また物体が存在しない画像も撮像
させる。さらに、運動体の移動時と静止時の両方の場合
について画像の撮像を行う。
【００８１】そして、得られた物体存在可能性領域を人
間が見て、実際に物体が存在するか否かの教師信号を物
体検出装置10に与える（S6-3）。この教師信号は、例え
ば物体が存在するときは「1.0」、存在しないときは
「0.0」を示すような、物体の有無を表す信号である。
【００８２】一連の画像の撮像と教師信号の付与を繰り
返すことによって（S6-1〜S6-4）、画像（入力画像の全
体フレームではなく、物体存在可能性領域の画像）と物
体の有無を表す数値化表現とのセットを多数集めたデー
タセットが得られる（S6-5）。このデータセットは、例
えば図１４のようなデータ構造を有している。図１４
(a)において、１段目は、現実の画像フレーム内の物体
存在可能性領域に含まれる画素の系列であり、所定順序
で画素毎の０から２５５の画素濃度が格納される。２段
目は、物体存在可能性領域内の各局所領域のフローの系
列であり、例えば図１４(b)に示すように、各局所領域
のフロー方向とｄｗ値がそれぞれ格納される。３段目に
は、物体存在可能性領域内の画像フレーム全体の中での
位置情報が格納される。ここで、既に述べたように物体
存在可能性領域の矩形サイズは一定なので、例えば矩形
の左上隅の位置(x，y)を記憶すれば十分である。そして
４段目には物体の有無を表す数値化表現（1.0または0.
0）が格納される。例えば、１段目から順に２０個、２
０個、２個、１個のデータがある場合は、合計４３次元
のデータセットが得られることになる。
【００８３】さらに、事前の学習時には、得られたデー
タセットについて、主成分分析により固有空間ベクトル
PCA1、PCA2、…、PCAnを計算しておく（S6-6）。ここで
ｎは使用する固有ベクトルの数であり、データセットの
特徴をどの程度正確に表現するかによって定められる累
積寄与率に応じて決定される。
【００８４】以上の学習を予め行っておくことによっ
て、物体存在可能性領域内における物体の有無を正確に
判定できるようになる。図１５は、この物体有無判定部
7における有無判定処理を説明するフローチャートであ
る。
【００８５】まずフロー特徴計算部4から自己運動と整
合しない局所領域（物体存在可能性領域）に関するデー
タを得る（S7-1）。このデータは、図１１を用いて説明
した計算により得られた物体存在可能性領域について図
１４と同じデータ構造を有する。そして、図１４(a)の
４段目のデータ欄（物体有無の数値化表現）を「0.5」
として、既に説明した主成分分析で計算された固有空間
ベクトルにより張られた固有空間に、当該物体存在可能
性領域に基づくデータを投射する（S7-2）。すなわち、
物体存在可能性領域に関するデータに基づいた入力ベク
トルに主成分ベクトルを第１次〜第ｎ次までかけていく
ことによって、投射した固有空間の座標位置が得られ
る。以上の説明を数式で表現すると、以下のようにな
る。
【００８６】
【数７】 x1 = X・PCA1 x2 = X・PCA2 … xn = X・PCAn (7) 上式において、Xが入力ベクトルであり、(x1,x2,…,xn)
が固有空間の座標位置である。そして、次式により入力
ベクトルを再合成して、再合成された入力ベクトルX’
を得る（S7-3）。
【００８７】
【数８】 X’ = x1・PCA1 + x2・PCA2 + … + xn・PCAn (8) 得られた再合成後の入力ベクトルX’と0.5（物体有無の
数値化表現）との大小を比較し（S7-4）、X’が0.5より
大きいときは、物体存在可能性領域に「物体有り」と判
定し（S7-5）、X’が0.5以下であるときは「物体なし」
と判定する（S7-6）。
【００８８】以上のような処理によって、物体有無判定
部7は、フロー特徴計算部の出力する図の部分における
物体の有無を正確に判定することができる。
【００８９】＜物体検出処理の実施例＞以上で各機能ブ
ロックにおける処理の説明を終わり、続いて、物体検出
装置10を運動体に搭載して実際に物体を検出させるとき
の手順について説明する。
【００９０】物体検出を実行する前に、まず２種類の学
習を行っておく。第１の学習は、上述したようにグロー
バルフロー処理部3で行われ、グローバルフロー（８個
の特徴量）と自己運動パラメータとの対応関係を得る学
習である。この学習により、物体検出装置10はグローバ
ルフローから自己運動パラメータを計算することができ
るようになる。
【００９１】第２の学習は、上述したように物体有無判
定部7で行われ、運動体を運動させながら、認識させた
い物体を撮像装置12に撮像させたときの局所領域のフロ
ーの系列と物体の有無の関係の学習である。この学習の
結果得られる固有空間ベクトルを用いることにより、物
体存在可能性領域での物体の有無を判定することができ
るようになる。
【００９２】第１、第２の学習結果は、それぞれ学習済
みデータ5、6（図１）として物体検出装置10内の図示し
ないＲＯＭ等に格納される。
【００９３】図１６は物体検出処理のフローチャートで
ある。まず取得した２枚以上の連続画像（S100）につい
て、ローカルフロー処理部2により局所領域のローカル
フローが計算される（S102）。ローカルフローを求めた
後、グローバルフロー処理部により大領域のグローバル
フローが計算される（S104）。
【００９４】フロー特徴計算部4は、ローカルフローと
グローバルフローから自己運動パラメータを推定し（S1
06）、自己運動パラメータに整合する領域と整合しない
領域（物体存在可能性領域）とに分離する図地分離を行
う（S108）。そして、物体存在可能性領域があるか否か
を判定する（S110）。ステップS110の答がNO、つまり物
体存在可能性領域がない場合は、入力画像内に物体が存
在する可能性がないので、新たな連続画像について一連
の処理が繰り返される。ステップS110の答がYESであり
物体存在可能性領域がある場合は、画像全体から物体存
在可能性領域を除いた領域について、さらに上述したの
と同様の処理を繰り返す。つまり、ローカルフローの計
算（S112）、グローバルフローの計算（S114）、自己運
動パラメータの推定（S116）、図地分離（S118）が行わ
れる。
【００９５】ステップS108で分離した物体存在可能性領
域について直ちに物体有無判定を行っても良いが、本実
施形態ではステップS112〜S118のように画像全体から物
体存在可能性領域を除いた領域について再度同じ処理を
繰り返す。これは、１回の図地分離では、ノイズ等によ
り正確な物体存在可能性領域が得られないことがあるの
で、繰り返し処理することによって図地分離の精度を高
めるためである。
【００９６】ステップS118で再度求められた物体存在可
能性領域は、物体有無判定部7に送られ、当該領域に物
体が本当にあるか否かが判定される（S120）。「物体有
り」と判定された場合は、判定出力部8によりその結果
が出力される（S122）。「物体なし」と判定された場合
は、ステップS124に進む。ステップS124で物体検出処理
を継続するか否かが判定され、継続する場合はステップ
S100に戻り、さらに連続画像について一連の処理が繰り
返される。
【００９７】ステップS122で出力された判定結果は運動
体のモータや舵に送られ、または乗員に通知される。こ
れによって運動体または運動体の乗員は、入力画像中の
物体の有無に応じた適切な停止、回避等の動作をとるこ
とができる。
【００９８】以上特定の実施形態について詳細に説明し
たが、本発明はこれらに限定されるものではない。例え
ば、物体有無判定部7での判定は上記のような固有ベク
トルに基づく方法によらず、周知のパターンマッチング
による方法でも良い。
【００９９】またグローバルフローとして、上記の方法
によらず、例えば画像中央部から左右に寄った領域と中
央部より下側に広がる領域の３点、あるいはこの３点に
中央部より上側に広がる領域を加えた４点のローカルフ
ローの特徴の組み合わせを用いることも可能である。
【０１００】さらに、ローカルフロー処理部2で得られ
るフロー情報から運動体の運動を推測し、推測された運
動により生ずると（第１の学習の結果）考えられるフロ
ーと異なるフロー部分を物体存在可能性領域として切り
出すことが可能である。このようにすれば、物体検出装
置10は、グローバルフロー処理部3を備えていなくても
物体検出処理を実行することができる。
【０１０１】以上説明してきたように、本発明は、自己
運動に応じて生じるフローを有する部分を最初に明確化
し、その他の残りの部分について物体有無の判定を行う
点に特徴がある。
【０１０２】
【発明の効果】本発明によれば、ローカルフロー処理と
グローバルフロー処理を共に実行し、自己運動に整合し
ない領域を分離して、その領域のみに対して物体の有無
の判定計算を実行するようにしたので、少ない負荷でか
つ高速に物体の有無を検出することができる。
【０１０３】また、グローバルフロー処理部におけるパ
ーセプトロン学習において、静止物体を余り含まない画
像に基づいて学習することで、自己運動パラメータと整
合する局所領域のフロー方向と異なるフローとして、画
像内を移動する物体のみならず静止物体をも検出するこ
とができるようになる。
【図面の簡単な説明】
【図１】本発明の物体検出装置の全体構成を表すブロッ
ク図である。
【図２】ローカルフロー処理部のフローチャートであ
る。
【図３】局所領域の位置とマップの対応関係を示す概念
図である。
【図４】各方向のｄｗマップを示す概念図である。
【図５】方向マップとｄｗマップを示す概念図である。
【図６】グローバルフロー処理部のフローチャートであ
る。
【図７】大領域の一例を示す図である。
【図８】グローバルフローマップを示す図である。
【図９】フロー特徴計算部における学習を行うパーセプ
トロンの一例を示す図である。
【図１０】教師データのデータ構造を示す図である。
【図１１】フロー特徴計算部のフローチャートである。
【図１２】図地分離を説明するための概念図である。
【図１３】物体有無判定部における学習のフローチャー
トである。
【図１４】教師データのデータ構造を示す図である。
【図１５】物体有無判定部のフローチャートである。
【図１６】物体検出装置による物体検出処理の全体のフ
ローチャートである。
【符号の説明】
1 画像入力部 2 ローカルフロー処理部 3 グローバルフロー処理部 4 フロー特徴計算部 5 学習済みデータ 6 学習済みデータ 7 物体有無判定部 8 判定出力部 10 物体検出装置 12 撮像装置
フロントページの続き (72)発明者 三浦 淳 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 永井 慎一 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 赤塚 浩二 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 Ｆターム(参考） 5H180 AA01 CC04 LL01 LL04 LL06 LL09 5L096 AA06 FA27 GA19 GA51 GA55 HA04 HA11 JA11

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 運動体において時間的に連続して撮像さ
    れる入力画像から物体を検出する物体検出装置であっ
    て、 前記入力画像における局所領域毎のフロー情報を得るロ
    ーカルフロー処理手段と、 前記各局所領域におけるフロー情報を利用して、前記入
    力画像中の所定数の大領域に関するフロー情報を得るグ
    ローバルフロー処理手段と、 前記大領域に関するフロー情報に基づいて前記運動体の
    運動を推測し、推測された運動に応じた新たなフロー情
    報を得て、該新たなフロー情報と前記各局所領域におけ
    るフロー情報とを比較して前記推測された運動と異なる
    フローを有する局所領域を抽出するフロー特徴計算手段
    と、 該抽出された局所領域において物体の有無を判定する物
    体有無判定手段と、 を備える物体検出装置。
  2. 【請求項２】 前記ローカルフロー処理手段は、前記局
    所領域毎にガボールフィルタを適用して、各局所領域の
    フロー情報として所定の方向毎にオプティカルフローの
    大きさを得る、請求項１に記載の物体検出装置。
  3. 【請求項３】 前記ローカルフロー処理手段は、 各局所領域について各方向のオプティカルフローの大き
    さを比較し、 大きさが最大のフローをその局所領域のフローの大きさ
    とし、 対応する方向をその局所領域のフローの方向とする、 請求項２に記載の物体検出装置。
  4. 【請求項４】 前記グローバルフロー処理手段は、 前記大領域毎に、その大領域に含まれる全ての局所領域
    のフロー情報を取得し、 取得したフロー情報に基づいて、前記大領域毎に予め設
    定されているフロー方向を有する局所領域を選択し、 選択した局所領域のフローの大きさの平均値をその大領
    域のフロー情報とする、 請求項３に記載の物体検出装置。
  5. 【請求項５】 前記所定数の大領域は前記入力画像にお
    いて互いに異なる周縁部を占める領域である、請求項１
    乃至４の何れか１項に記載の物体検出装置。
  6. 【請求項６】 前記フロー特徴計算手段は、前記大領域
    に関するフロー情報を第１の学習の結果に適用して前記
    運動体の運動を推測する、請求項１乃至５の何れか１項
    に記載の物体検出装置。
  7. 【請求項７】 前記第１の学習は、前記大領域に関する
    フロー情報と前記運動体の運動との関係をニューラルネ
    ットワークを用いて関連付けることによって行われる、
    請求項６に記載の物体検出装置。
  8. 【請求項８】 前記ニューラルネットワークはパーセプ
    トロンである、請求項７に記載の物体検出装置。
  9. 【請求項９】 前記フロー特徴計算手段において抽出さ
    れた局所領域が再度前記グローバルフロー処理手段及び
    フロー特徴計算手段において処理される、請求項１乃至
    ８の何れか１項に記載の物体検出装置。
  10. 【請求項１０】 前記物体有無判定手段は、前記運動体
    から外部環境を撮像させ、抽出された局所領域と物体の
    有無とを関連付けさせる第２の学習に基づいて前記判定
    を行う、請求項１乃至９の何れか１項に記載の物体検出
    装置。
  11. 【請求項１１】 運動体において時間的に連続して撮像
    される入力画像から物体を検出する物体検出装置であっ
    て、 前記入力画像における局所領域毎にガボールフィルタを
    適用して、各局所領域について所定の方向毎にオプティ
    カルフローを取得し、該オプティカルフローに基づいて
    前記運動体の運動を推測し、推測された運動に応じた新
    たなフロー情報を得て、該新たなフロー情報と前記各局
    所領域におけるオプティカルフローとを比較して前記推
    測された運動と異なるフローを有する局所領域を抽出す
    るフロー特徴計算手段と、 前記抽出された局所領域において物体の有無を判定する
    物体有無判定手段と、 を備える物体検出装置。
  12. 【請求項１２】 運動体において時間的に連続して撮像
    される入力画像から物体を検出する物体検出プログラム
    であって、 前記入力画像における局所領域毎のフロー情報を得るロ
    ーカルフロー処理ステップと、 前記各局所領域におけるフロー情報を利用して、前記入
    力画像中の所定数の大領域に関するフロー情報を得るグ
    ローバルフロー処理ステップと、 前記大領域に関するフロー情報に基づいて前記運動体の
    運動を推測し、推測された運動に応じた新たなフロー情
    報を得て、該新たなフロー情報と前記各局所領域におけ
    るフロー情報とを比較して前記推測された運動と異なる
    フローを有する局所領域を抽出するフロー特徴計算ステ
    ップと、 該抽出された局所領域において物体の有無を判定する物
    体有無判定ステップと、 を含む物体検出プログラム。
  13. 【請求項１３】 前記ローカルフロー処理ステップは、
    前記局所領域毎にガボールフィルタを適用し、各局所領
    域のフロー情報として所定の方向毎にオプティカルフロ
    ーの大きさを得ることを含む、請求項１２に記載の物体
    検出プログラム。
  14. 【請求項１４】 前記ローカルフロー処理ステップは、 各局所領域について各方向のオプティカルフローの大き
    さを比較すること、 大きさが最大のフローをその局所領域のフローの大きさ
    とすること、 対応する方向をその局所領域のフローの方向とするこ
    と、を含む請求項１３に記載の物体検出プログラム。
  15. 【請求項１５】 前記グローバルフロー処理ステップ
    は、 前記大領域毎に、その大領域に含まれる全ての局所領域
    のフロー情報を取得すること、 取得したフロー情報に基づいて、前記大領域毎に予め設
    定されているフロー方向を有する局所領域を選択するこ
    と、 選択した局所領域のフローの大きさの平均値をその大領
    域のフロー情報とすること、を含む請求項１４に記載の
    物体検出プログラム。
  16. 【請求項１６】 前記所定数の大領域は前記入力画像に
    おいて互いに異なる周縁部を占める領域である、請求項
    １２乃至１５の何れか１項に記載の物体検出プログラ
    ム。
  17. 【請求項１７】 前記フロー特徴計算ステップは、前記
    大領域に関するフロー情報を第１の学習の結果に適用し
    て前記運動体の運動を推測することを含む、請求項１２
    乃至１６の何れか１項に記載の物体検出プログラム。
  18. 【請求項１８】 前記第１の学習は、前記大領域に関す
    るフロー情報と前記運動体の運動との関係をニューラル
    ネットワークを用いて関連付けることによって行われ
    る、請求項１７に記載の物体検出プログラム。
  19. 【請求項１９】 前記ニューラルネットワークはパーセ
    プトロンである、請求項１８に記載の物体検出プログラ
    ム。
  20. 【請求項２０】 前記フロー特徴計算ステップにおいて
    抽出された局所領域が再度前記グローバルフロー処理ス
    テップ及びフロー特徴計算ステップにおいて処理され
    る、請求項１２乃至１９の何れか１項に記載の物体検出
    プログラム。
  21. 【請求項２１】 前記物体有無判定ステップは、前記運
    動体から外部環境を撮像させ、抽出された局所領域と物
    体の有無とを関連付けさせる第２の学習に基づいて前記
    判定を行うことを含む、請求項１２乃至２０の何れか１
    項に記載の物体検出プログラム。
  22. 【請求項２２】 運動体において時間的に連続して撮像
    される入力画像から物体を検出する物体検出プログラム
    であって、 前記入力画像における局所領域毎にガボールフィルタを
    適用し、各局所領域について所定の方向毎にオプティカ
    ルフローを取得するステップと、 該オプティカルフローに基づいて前記運動体の運動を推
    測するステップと、 推測された運動に応じた新たなフロー情報を得るステッ
    プと、 該新たなフロー情報と前記各局所領域におけるオプティ
    カルフローとを比較して前記推測された運動と異なるフ
    ローを有する局所領域を抽出するステップと、 該抽出された局所領域において物体の有無を判定するス
    テップと、 を含む物体検出プログラム。
  23. 【請求項２３】 運動体において時間的に連続して撮像
    される入力画像から物体を検出する物体検出方法であっ
    て、 前記入力画像における局所領域毎のフロー情報を取得
    し、 前記各局所領域におけるフロー情報を利用して、前記入
    力画像中の所定数の大領域に関するフロー情報を取得
    し、 前記大領域に関するフロー情報に基づいて前記運動体の
    運動を推測し、 推測された運動に応じた新たなフロー情報を取得し、 該新たなフロー情報と前記各局所領域におけるフロー情
    報とを比較して前記推測された運動と異なるフローを有
    する局所領域を抽出し、 該抽出された局所領域において物体の有無を判定する、 ことを含む物体検出方法。
  24. 【請求項２４】 運動体において時間的に連続して撮像
    される入力画像から物体を検出する物体検出方法であっ
    て、 前記入力画像における局所領域毎のフロー情報を取得
    し、 前記各局所領域におけるフロー情報を利用して、前記入
    力画像中の所定数の大領域に関するフロー情報を取得
    し、 前記大領域に関するフロー情報を第１の学習の結果に適
    用して前記運動体の運動を推測し、 推測された運動に応じた新たなフロー情報を取得し、 該新たなフロー情報と前記各局所領域におけるフロー情
    報とを比較して前記推測された運動と異なるフローを有
    する局所領域を抽出し、 抽出された局所領域に対して再度上記の一連の処理を施
    して前記抽出された局所領域とは異なる第２の局所領域
    を抽出し、 第２の学習に基づいて、抽出された第２の局所領域にお
    ける物体の有無を判定する、 ことを含む物体検出方法。
JP2001399472A 2001-12-28 2001-12-28 物体検出装置 Expired - Fee Related JP3885999B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001399472A JP3885999B2 (ja) 2001-12-28 2001-12-28 物体検出装置
US10/322,307 US7062071B2 (en) 2001-12-28 2002-12-17 Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow
EP02028805A EP1329850B1 (en) 2001-12-28 2002-12-23 Apparatus, program and method for detecting both stationary objects and moving objects in an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001399472A JP3885999B2 (ja) 2001-12-28 2001-12-28 物体検出装置

Publications (2)

Publication Number Publication Date
JP2003196664A true JP2003196664A (ja) 2003-07-11
JP3885999B2 JP3885999B2 (ja) 2007-02-28

Family

ID=19189475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001399472A Expired - Fee Related JP3885999B2 (ja) 2001-12-28 2001-12-28 物体検出装置

Country Status (3)

Country Link
US (1) US7062071B2 (ja)
EP (1) EP1329850B1 (ja)
JP (1) JP3885999B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293479A (ja) * 2004-04-05 2005-10-20 Denso Corp 物体危険判定装置
US7286688B2 (en) 2003-11-26 2007-10-23 Gifu University Object detection apparatus, distance measuring apparatus and object detection method
JP2008108118A (ja) * 2006-10-26 2008-05-08 Honda Motor Co Ltd 画像処理装置
JP2009509085A (ja) * 2005-09-21 2009-03-05 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング センサに基づく車両の始動制御方法及び運転者支援システム
JP2010101073A (ja) * 2008-10-24 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> 崩落検知システムおよび方法
US8085344B2 (en) 2005-09-30 2011-12-27 Molex Incorporated Module socket
KR101141312B1 (ko) 2011-05-16 2012-05-04 동국대학교 산학협력단 영상의 융합 기법을 이용한 의료용 혈관영상 처리방법
JP2014182759A (ja) * 2013-03-21 2014-09-29 Osaka City Univ 画像処理装置、画像処理プログラム及び画像処理方法

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092841B2 (en) 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
US7545949B2 (en) * 2004-06-09 2009-06-09 Cognex Technology And Investment Corporation Method for setting parameters of a vision detector using production line information
JP3979894B2 (ja) * 2002-07-22 2007-09-19 本田技研工業株式会社 物体検出装置及び方法
US7305145B2 (en) * 2003-05-23 2007-12-04 Lockheed Martin Corporation Method and apparatus for filtering an image
US8989516B2 (en) * 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8180173B2 (en) 2007-09-21 2012-05-15 DigitalOptics Corporation Europe Limited Flash artifact eye defect correction in blurred images using anisotropic blurring
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
JP2005078528A (ja) * 2003-09-02 2005-03-24 Honda Motor Co Ltd 物体検出装置及び方法
US20050276445A1 (en) * 2004-06-09 2005-12-15 Silver William M Method and apparatus for automatic visual detection, recording, and retrieval of events
US8891852B2 (en) 2004-06-09 2014-11-18 Cognex Technology And Investment Corporation Method and apparatus for configuring and testing a machine vision detector
US8127247B2 (en) 2004-06-09 2012-02-28 Cognex Corporation Human-machine-interface and method for manipulating data in a machine vision system
US8243986B2 (en) 2004-06-09 2012-08-14 Cognex Technology And Investment Corporation Method and apparatus for automatic visual event detection
DE102004044626B4 (de) * 2004-09-13 2008-11-20 Leica Microsystems Cms Gmbh Verfahren zur Untersuchung von Transportprozessen
US8121392B2 (en) * 2004-10-25 2012-02-21 Parata Systems, Llc Embedded imaging and control system
US20060098844A1 (en) * 2004-11-05 2006-05-11 Huitao Luo Object detection utilizing a rotated version of an image
US7639888B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US7636449B2 (en) 2004-11-12 2009-12-22 Cognex Technology And Investment Corporation System and method for assigning analysis parameters to vision detector using a graphical interface
US9292187B2 (en) 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US7720315B2 (en) * 2004-11-12 2010-05-18 Cognex Technology And Investment Corporation System and method for displaying and using non-numeric graphic elements to control and monitor a vision system
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
JP4724638B2 (ja) * 2006-10-20 2011-07-13 株式会社日立製作所 オブジェクト検出方法
DE102006053286A1 (de) * 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US8237099B2 (en) 2007-06-15 2012-08-07 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8103085B1 (en) 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
CN100465989C (zh) * 2007-10-09 2009-03-04 天津工业大学 基于综合特征一致性模型的人造目标检测方法
DE102007062996A1 (de) * 2007-12-21 2009-06-25 Robert Bosch Gmbh Werkzeugmaschinenvorrichtung
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
FR2935214B1 (fr) * 2008-08-20 2010-10-08 Eads Europ Aeronautic Defence Procede et un dispositif de commande, a distance, d'une camera embarquee dans une station mobile
KR101199492B1 (ko) * 2008-12-22 2012-11-09 한국전자통신연구원 광역 이동을 고려한 실시간 카메라 트래킹 장치 및 방법
EP2419881B1 (en) 2009-04-15 2016-03-30 Toyota Jidosha Kabushiki Kaisha Object detection device
US9651499B2 (en) 2011-12-20 2017-05-16 Cognex Corporation Configurable image trigger for a vision system and method for using the same
US9361575B2 (en) * 2013-12-11 2016-06-07 Volvo Car Corporation Method of programming a neural network computer
US10643338B2 (en) * 2015-12-02 2020-05-05 Mitsubishi Electric Corporation Object detection device and object detection method
DE102017104957A1 (de) 2017-03-09 2018-09-13 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10565714B2 (en) 2018-05-25 2020-02-18 Denso Corporation Feature tracking for visual odometry
JP2021149446A (ja) * 2020-03-18 2021-09-27 株式会社日立製作所 注視物体認識システム及び方法
CN113033552B (zh) * 2021-03-19 2024-02-02 北京字跳网络技术有限公司 文本识别方法、装置和电子设备
CN116188521B (zh) * 2022-12-26 2026-04-17 爱芯元智半导体股份有限公司 基于光流估计的图像处理方法、装置以及计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3364771B2 (ja) 1994-03-09 2003-01-08 本田技研工業株式会社 移動物体検出装置
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
US6185337B1 (en) * 1996-12-17 2001-02-06 Honda Giken Kogyo Kabushiki Kaisha System and method for image recognition
JPH10334270A (ja) * 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
JP2000242797A (ja) 1999-02-18 2000-09-08 Toyota Motor Corp 画像の運動検出方法及び物体検出装置
JP3979894B2 (ja) * 2002-07-22 2007-09-19 本田技研工業株式会社 物体検出装置及び方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7286688B2 (en) 2003-11-26 2007-10-23 Gifu University Object detection apparatus, distance measuring apparatus and object detection method
JP2005293479A (ja) * 2004-04-05 2005-10-20 Denso Corp 物体危険判定装置
JP2009509085A (ja) * 2005-09-21 2009-03-05 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング センサに基づく車両の始動制御方法及び運転者支援システム
US8085344B2 (en) 2005-09-30 2011-12-27 Molex Incorporated Module socket
JP2008108118A (ja) * 2006-10-26 2008-05-08 Honda Motor Co Ltd 画像処理装置
JP2010101073A (ja) * 2008-10-24 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> 崩落検知システムおよび方法
KR101141312B1 (ko) 2011-05-16 2012-05-04 동국대학교 산학협력단 영상의 융합 기법을 이용한 의료용 혈관영상 처리방법
US8428323B2 (en) 2011-05-16 2013-04-23 Dongguk University Industry-Academic Cooperation Foundation Method of processing medical image of blood vessel using image fusion method
JP2014182759A (ja) * 2013-03-21 2014-09-29 Osaka City Univ 画像処理装置、画像処理プログラム及び画像処理方法

Also Published As

Publication number Publication date
EP1329850B1 (en) 2013-01-23
EP1329850A3 (en) 2008-07-02
EP1329850A2 (en) 2003-07-23
US20030152271A1 (en) 2003-08-14
JP3885999B2 (ja) 2007-02-28
US7062071B2 (en) 2006-06-13

Similar Documents

Publication Publication Date Title
JP3885999B2 (ja) 物体検出装置
CN110349082B (zh) 图像区域的裁剪方法和装置、存储介质及电子装置
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
JP3979894B2 (ja) 物体検出装置及び方法
CN114616591B (zh) 物体跟踪装置以及物体跟踪方法
CN114556268B (zh) 一种姿势识别方法及装置、存储介质
US20030185421A1 (en) Image processing apparatus and method
CN111862154B (zh) 机器人视觉跟踪方法、装置、机器人及存储介质
JP7106296B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018022340A (ja) 画像処理装置、情報処理方法及びプログラム
WO2024060978A1 (zh) 关键点检测模型训练及虚拟角色驱动的方法和装置
US11080562B1 (en) Key point recognition with uncertainty measurement
CN112085789A (zh) 位姿估计方法、装置、设备及介质
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2021009493A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
CN102542240A (zh) 用于估计人体朝向的设备和方法
JP7128578B2 (ja) 物体検出装置、物体検出プログラム、物体検出方法、及び学習装置
JP2019211914A (ja) 物体らしさ推定装置、方法、およびプログラム
CN119672766A (zh) 眼镜设备中手关节检测的方法、存储介质、电子设备及产品
JP2022099120A5 (ja)
CN118776556A (zh) 一种导航物体的位姿估计方法、装置及相关产品
JP4921847B2 (ja) 対象物の三次元位置推定装置
JP2006010652A (ja) 物体検出装置
CN112949761A (zh) 三维图像神经网络模型的训练方法、装置和计算机设备
JP6995960B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3885999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091201

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131201

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees