JP2004203068A

JP2004203068A - 移動体周辺監視装置

Info

Publication number: JP2004203068A
Application number: JP2002371231A
Authority: JP
Inventors: Toshiaki Kakinami; 俊明柿並; Shuji Yamamoto; 修司山本
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2002-12-24
Filing date: 2002-12-24
Publication date: 2004-07-22
Anticipated expiration: 2022-12-24
Also published as: JP4374850B2

Abstract

【課題】移動体周辺の環境の中から、移動体の移動空間予想軌跡及びこの軌跡内の障害物を確実に検出して報知する。
【解決手段】移動体の周辺の環境情報を順次検出し蓄積する環境情報検出手段ＳＲと、移動体が移動するときの移動空間予想軌跡を推定する軌跡推定手段ＴＲを備え、障害物検出手段ＯＪにおいて、検出環境情報に基づいて作成する複数の画像のうちの移動空間予想軌跡に適合する所定の画像に重合し、この所定の画像上で移動体の移動空間予想軌跡内に存在する障害物を検出する。そして、対象特定手段ＤＯにより、障害物検出手段ＯＪが検出した障害物を含む移動空間予想軌跡内の注意喚起対象を特定し、表示手段ＶＳにて検出障害物と共に所定の画像を表示する。この画像表示に対し、対象特定手段ＤＯが特定した注意喚起対象を、強調手段ＡＴにて、濃淡、色彩の変化等によって強調して表示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境の中から、移動空間予想軌跡内に存在する障害物を検出して報知する移動体周辺監視装置に係る。
【０００２】
【従来の技術】
車両の移動予想軌跡上に存在する障害物を検出する装置については、従来から種々提案されており、例えば、下記の特許文献１（特開平１０−１１７３４０）には、車両の操作に応じて当該車両が走行する軌跡の推定範囲である自車両走行予想軌跡範囲内に、撮像画像に基づいて少なくとも１つ以上の障害物が存在すると推定される場合、当該障害物の中から、指定された任意の障害物の画像を強調して表示する車両周辺監視装置が提案されている。
【０００３】
また、下記の特許文献２（特開平８−４８１９８）には、車両周囲検知手段よりの信号を基に合成した画像を表示する車両用周囲モニタ装置において、周囲が固定され自車両が移動する表示と、自車両を固定し周囲が回転する表示の２つの表示モードを有し、各表示モードを切り換え可能にした車両用周囲モニタ装置が提案されている。
【０００４】
更に、下記の特許文献３（特開平９−２５４７２６）には、自車両の走行状態を検出する走行状態検出手段と、自車両と周辺の物体との相対位置を求める相対位置算出手段と、上記走行状態検出手段で検出した走行状態と上記相対位置算出手段で求めた相対位置とに基づき、自車両に対し接触可能性のある周辺の物体を判定し、接触する自車両の部位を算出する接触予測手段と、上記接触予測手段で接触の可能性があると判定した物体の中から自車両が最も注意すべき物体を要注意物体として選定する要注意物体選定手段と、上記要注意物体が接触する自車両の部位を報知する報知手段と、上記要注意物体が予め定めた設定条件を満足した際に少なくとも上記報知手段に対して出力する出力手段とを備えた車両用運転支援装置が提案されている。
【０００５】
そして、下記の特許文献４（特開２００２−５２９９９）には、自車両の停止位置マーカと横方向距離計測マーカをモニタ画面に重畳描画し、測距センサを設けることなく、カメラ画像と汎用の舵角センサを利用し、自車両と基準物との相対位置を検出し得る相対位置検出装置、及びこれを備えた駐車補助装置が提案されている。ここで、自車両の停止位置マーカは、自車両と基準物とが所定方位を有する位置関係で自車両を停止させるためのマーカと定義され、横方向距離計測マーカは、モニタ画面上の移動量に応じて自車両と基準物との横方向の距離を計測するマーカと定義されている。
【０００６】
一方、下記の特許文献５（特開２００１−１８７５５３）には、車両の移動中に、単一のカメラによって、異なる第１および第２の地点での周辺画像を、時系列的に視差付けされた第１および第２の画像として撮像する撮像装置、それぞれの画像に撮像された立体物を検出し特定する立体物特定部と、第１の地点から第２の地点まで車両の移動データを算出する車両位置算出部と、立体物の第１および第２の画像上での位置と、車両の移動データとを用いて、車両から立体物までの距離を算出する立体物距離算出部と、撮像装置によって撮像された画像および立体物距離算出部で算出されたデータに基づいて、運転者に伝達するための第３の画像を生成するようにした駐車支援装置が提案されている。これにより、２つの画像に撮像された立体物に対して三角測量の原理で正確に上記立体物までの距離を算出することができる旨記載されている。
【０００７】
これに関し、画像処理技術の分野においては、２台のカメラから３次元形状を復元する技術が知られている。例えば、下記の非特許文献１には、ステレオによる立体形状計測について解説されている。この非特許文献１には、その前提として、２つのカメラそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、そして２つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【０００８】
同様に、下記の非特許文献２にも、２台のカメラから撮った画像間の対応関係から三角測量の原理で物体の３次元形状を計算する技術が開示されており、ロボットの制御のために画像から３次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【０００９】
また、下記の非特許文献３には、上記のステレオと同じ原理に基づき、動画像から対象の３次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、２枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【００１０】
【特許文献１】
特開平１０−１１７３４０号公報
【特許文献２】
特開平８−４８１９８号公報
【特許文献３】
特開平９−２５４７２６公報
【特許文献４】
特開２００２−５２９９９号公報
【特許文献５】
特開２００１−１８７５５３号公報
【非特許文献１】
「情報処理」Vol.37 No.7 (１９９６年７月号)における出口光一郎著
「２．ステレオの仕掛けを解き明かす」
【非特許文献２】
「空間データの数理」 (金谷健一著。１９９５年３月１０日初版第１刷。朝倉書店発行)における１６１頁及び１６２頁に記載の
「ステレオ視による３次元復元」
【非特許文献３】
「情報処理」Vol.37 No.8 (１９９６年８月号)における出口光一郎著
「３．動画像の扱い」
【００１１】
【発明が解決しようとする課題】
前掲の特許文献１に記載の装置においては、車両の走行予想軌跡範囲内に障害物が存在するとき、走行方向に対して最も車両に近い位置の障害物として強調表示することとしている。そして、このとき障害物の位置を表示画面上で特定しやすいように所定形状のマークを障害物の移動に同期してスーパーインポーズすることとしている。また、強調表示方法として、指定した障害物を包含する四角形で囲むようなマーキングを用いることとしている。然し乍ら、このようなマーキングは専門的な技術説明用としては有効であるものの、そのマーキング形状は障害物の形状とは一致していないため、一般ユーザーには、必ずしも認知し易いものということはできない。
【００１２】
また、前掲の特許文献２に記載の装置においては、自車両を基準に周囲が回転するモードと、周囲が固定され自車両が移動するモードとが示されており、距離が小さくなると自車両が移動するモードから周囲が回転するモードに切り替え、また表示を拡大する等の対策が講じられている。そして、実施例では、周囲の障害物の配置を上面図の画像を用いて表示することとしているが、従来のナビゲーション技術におけるコマ地図的な表示に留まっている。即ち、自車両のどの部位が接触するのか、接触する対象物はどのようなものであり、どの部位に接触するかについて具体的に示されたものではない。従って、接触を回避するためにどのような行動をとるべきかの判断の一助とすることは困難である。
【００１３】
更に、前掲の特許文献３に記載の装置においては、車両周辺の障害物を検出し、自車両との相対的な位置関係を求め、接触する可能性のある自車両の部位を予測し、車両外形の上面図を用いて表示装置に表示することとしている。ここでは、接触に至る時間を予測し、その時間が設定値を超えたか否かに応じて、自車両の接触可能性のある部位に関し点滅表示又は点灯表示と音声の組み合わせで報知することとしている。しかし、周辺視界の中のどの障害物と接触するかは表示されず、自車両の挙動との関連を把握しにくいので、これも、接触を回避するためにどのような行動をとるべきかの判断の一助とすることは困難である。
【００１４】
また、前掲の特許文献４においては、測距センサを設けることなく自車両と基準物との相対位置を検出し得る相対位置検出装置が提案されているが、駐車時の停止状態を前提とし、停止位置マーカと横方向距離計測マーカを用いた位置検出が行われている。同様に、特許文献５においては、２つの画像に撮像された立体物に対する距離を算出する手段が開示されており、これも測距センサを設ける必要はないが、画像に撮像された立体物を検出し特定する立体物特定部と、車両の移動データを算出する車両位置算出部と、車両から立体物までの距離を算出する立体物距離算出部によって、車両から立体物までの距離を算出することとしている。従って、特許文献４及び５の何れにおいても、例えば車両の移動空間予想軌跡内に存在する障害物を検出するという課題に対しては別途対応が必要であり、上記の立体物距離算出部等によって解決し得るか否かは不明である。
【００１５】
一方、前述の非特許文献１乃至３に記載の画像処理技術を利用すれば、例えば１個のカメラによっても障害物の３次元形状を復元し得るように構成することができる。従って、このような画像処理技術を、車両等の移動体の周辺を監視する装置に適切に組み入れることも考え得るが、これらの具体的手段については何れの文献にも言及されていない。
【００１６】
そこで、本発明は、移動体周辺の環境の中から、移動体の移動空間予想軌跡及びこの軌跡内の障害物を確実に検出して報知し得る移動体周辺監視装置を提供することを課題とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するため、本発明の移動体周辺監視装置は、請求項１に記載のように、移動体の周辺の環境情報を該移動体の移動に応じて順次検出し蓄積する環境情報検出手段と、前記移動体が移動するときの移動空間予想軌跡を推定する移動空間予想軌跡推定手段と、該移動空間予想軌跡推定手段が推定した移動空間予想軌跡を、前記環境情報検出手段が検出した環境情報に基づいて作成する複数の画像のうちの前記移動空間予想軌跡に適合する所定の画像に重合し、該所定の画像上で前記移動体の移動空間予想軌跡内に存在する障害物を検出する障害物検出手段と、該障害物検出手段が検出した前記障害物を含む前記移動空間予想軌跡内の注意喚起対象を特定する対象特定手段と、前記障害物検出手段が検出した前記障害物と共に前記所定の画像を表示する表示手段と、該表示手段が表示する前記所定の画像に対し、少なくとも前記対象特定手段が特定した前記注意喚起対象を強調して表示する強調手段とを備えることとしたものである。尚、上記の環境情報とは、移動体周辺の物体の大きさ、位置等を含み、移動体には、車両のほか、移動ロボット等を含む。
【００１８】
前記環境情報検出手段は、請求項２に記載のように、前記移動体に搭載し前記移動体の周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、前記移動体が第１の状態から第２の状態に移動したときに少なくとも前記第１の状態及び第２の状態で前記撮像手段によって撮像した二つの画像に基づき、前記第１の状態で撮像した画像から特徴点の座標を検出すると共に、前記第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段と、少なくとも前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢を検出する移動状態検出手段と、該移動状態検出手段で検出した前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢、前記第１の状態で撮像した画像の前記特徴点の座標、及び前記第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段とを備えたものとすることができる。
【００１９】
更に、請求項２に記載の移動体周辺監視装置において、請求項３に記載のように、前記環境情報検出手段の検出情報に基づき前記移動体の特定の視界を作成する特定視界作成手段を備えたものとし、前記表示手段が、前記障害物を含む前記特定の視界を画像表示すると共に、前記強調手段が、前記特定の視界の画像に対し前記注意喚起対象を強調して表示するように構成するとよい。
【００２０】
前記強調手段は、請求項４に記載のように、前記表示手段による表示画像における、前記移動空間予想軌跡推定手段が推定した前記移動空間予想軌跡内の領域と前記移動空間予想軌跡外の領域とを、前記表示手段による表示画像の濃淡及び色彩変化の少なくとも一方の変調によって区別して表示するように構成することができる。また、請求項５に記載のように、前記表示手段による表示画像の前記注意喚起対象の最外輪郭線及び主要輪郭線の少なくとも一方を、濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することもできる。更に、請求項６に記載のように、前記表示手段による表示画像の前記注意喚起対象に対し、所定の指示マークを重合し、該指示マークを濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することもできる。
【００２１】
あるいは、前記強調手段は、請求項７に記載のように、前記表示手段による表示画像の前記注意喚起対象に対し、半透明スクリ−ン又は不透明スクリ−ンを重合し、該半透明スクリ−ン又は不透明スクリ−ンを濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することもできる。また、請求項８に記載のように、前記表示手段による表示画像における前記移動空間予想軌跡推定手段が推定した前記移動空間予想軌跡内の領域を、前記表示手段による表示画像の濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することもできる。尚、上記の変調は、一定とは限らず、経過時間に応じて変化する場合を含む。
【００２２】
更に、請求項１、２又は３記載の移動体周辺監視装置において、請求項９に記載のように、前記対象特定手段が特定した前記注意喚起対象に関する情報を音声で報知する音声装置を備えることとしてもよい。
【００２３】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、車両に搭載される場合には、例えば図２及び図３に示す駐車案内装置に供される。図１において、本実施形態の移動体周辺監視装置は、移動体（図示せず）の周辺の環境情報を移動体の移動に応じて順次検出し蓄積する環境情報検出手段ＳＲと、移動体が移動するときの移動空間予想軌跡を推定する移動空間予想軌跡推定手段ＴＲを備えている。そして、この移動空間予想軌跡推定手段ＴＲが推定した移動空間予想軌跡を、環境情報検出手段ＳＲが検出した環境情報に基づいて作成する複数の画像のうちの前記移動空間予想軌跡に適合する所定の画像に重合し、この所定の画像上で移動体の移動空間予想軌跡内に存在する障害物（図示せず）を検出する障害物検出手段ＯＪと、この障害物検出手段ＯＪが検出した障害物を含む前記移動空間予想軌跡内の注意喚起対象（図示せず）を特定する対象特定手段ＤＯと、障害物検出手段ＯＪが検出した障害物と共に前記所定の画像を表示する表示手段ＶＳを備えている。更に、この表示手段ＶＳが表示する前記所定の画像に対し、少なくとも対象特定手段ＤＯが特定した前記注意喚起対象を強調して表示する強調手段ＡＴを備えている。
【００２４】
本実施形態の環境情報検出手段ＳＲは、図１に破線で示すように、移動体に搭載し移動体の周辺を撮像し画像情報を出力する撮像手段ＣＤと、移動体が第１の状態から第２の状態に移動したときに少なくとも第１の状態及び第２の状態で撮像手段ＣＤによって撮像した二つの画像に基づき、第１の状態で撮像した画像から特徴点の座標を検出すると共に、第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段ＰＦと、少なくとも第１の状態及び第２の状態における移動体の位置及び姿勢を検出する移動状態検出手段ＤＳと、この移動状態検出手段ＤＳで検出した第１の状態及び第２の状態における移動体の位置及び姿勢、第１の状態で撮像した画像の特徴点の座標、及び第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段ＲＣを備えている。尚、撮像手段ＣＤとしては、後述するｃｃｄカメラ等がある。
【００２５】
移動体が車両である場合には、上記の移動状態検出手段ＤＳは、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができ、これについては後述する。また、これらのセンサのうちの、少なくとも一つのセンサ出力に基づき、車両の位置を表わすファクタとして座標、及び車両の姿勢を表わすファクタとして角度を検出することができるが、これについても後述する。そして、上記の移動空間予想軌跡推定手段ＴＲ（以下、単に軌跡推定手段ＴＲという）としては、例えば図２に示す操舵角センサ４の検出操舵角等に基づき車両の前進時又は後退時の移動空間予想軌跡を推定する手段があり、これについては図７乃至図１１を参照して後述する。
【００２６】
更に、図１に破線で示すように、環境情報検出手段ＳＲの検出情報に基づき移動体の特定の視界を作成する特定視界作成手段ＳＶを備えた態様としてもよい。この場合には、表示手段ＶＳは、前記障害物を含む特定の視界を画像表示し、強調手段ＡＴは前記特定の視界の画像に対し前記注意喚起対象を強調して表示することになる。これにより、前記障害物を含む視界のバーチャル画像を自動的に表示すると共に、前記注意喚起対象を強調して表示するように構成することができる。尚、この詳細については、図２２を参照して後述する。
【００２７】
強調手段ＡＴは、表示手段ＶＳによる表示画像における、軌跡推定手段ＴＲが推定した移動空間予想軌跡内の領域と移動空間予想軌跡外の領域とを、表示手段ＶＳによる表示画像の濃淡及び色彩変化の少なくとも一方の変調によって区別して表示するように構成される。この変調は、前述のように、一定とは限らず、経過時間に応じて変化する場合を含む。尚、これについては図１３を参照して後述する。
【００２８】
更に、強調手段ＡＴは、表示手段ＶＳによる表示画像の前記注意喚起対象の最外輪郭線及び主要輪郭線の少なくとも一方を、濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することができる。また、表示手段ＶＳによる表示画像の前記注意喚起対象に対し、所定の指示マークを重合し、該指示マークを濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することができる。あるいは、表示手段ＶＳによる表示画像の前記注意喚起対象に対し、半透明スクリ−ン又は不透明スクリ−ンを重合し、この半透明スクリ−ン又は不透明スクリ−ンを濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することもできる。更に、表示手段ＶＳによる表示画像における前記移動空間予想軌跡内の領域（即ち、原画像）を、表示手段ＶＳによる表示画像の濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成することもできる。
【００２９】
尚、図１に破線で示すように、更に、対象特定手段ＤＯが特定した注意喚起対象に関する情報を音声で報知する音声装置ＡＶを備えることとしてもよい。
【００３０】
上記の移動体が車両である場合の一例として、図２及び図３に示す駐車案内装置について説明する。図２は本実施形態の駐車案内装置を搭載した車両１の全体構成を示すもので、車両１の後部には、その周辺を撮像し画像を取得するカメラ２（例えばｃｃｄカメラで上記の撮像手段ＣＤを構成する）が装着されており、画像情報が電子制御装置１０に供給される。この電子制御装置１０は、図２に示すように車両１に搭載された筐体中に収容され、図１の特徴点追跡手段ＰＦ、移動状態検出手段ＤＳ、３次元座標推定手段ＲＣ、特定視界作成手段ＳＶ、軌跡推定手段ＴＲ、障害物検出手段ＯＪ及び対象特定手段ＤＯが構成されている。また、ステアリングホイール３の操舵角を検出し軌跡推定手段ＴＲの一部を構成する操舵角センサ４が車両１に装着されると共に、シフトレバー５がリバース位置とされたときにオンとなるシフトレバースイッチ６が装着されており、これらの検出舵角及びオン信号が電子制御装置１０に供給される。
【００３１】
更に、本実施形態では、各車輪の回転速度を検出する車輪速度センサ（代表して７で示す）が装着されており、検出車輪速度が電子制御装置１０に供給される。これらの車輪速度センサ７の検出結果に基づき移動体の少なくとも２位置間の移動距離を測定することができる。そして、運転者から視認可能な車両１内の所定位置にモニタ８が配置されており、電子制御装置１０の出力信号に応じてモニタ８に駐車案内用の視覚情報が表示される。即ち、本実施形態においては、モニタ８が図１の表示手段ＶＳとして機能している。更に、車両１内の所定位置にスピーカ９が配置されており、電子制御装置１０の出力信号に応じてスピーカ９から駐車案内用の音声情報が出力される。そして、このスピーカ９が本実施形態の音声装置ＡＶとして機能する。
【００３２】
図３は、上記の駐車案内装置のシステム構成図であり、電子制御装置１０の構成を示すものである。上記の操舵角センサ４、シフトレバースイッチ６及び車輪速度センサ７は、図示しない入力インターフェースを介して電子制御装置１０内のＣＰＵ１１に接続されており、図示しない出力インターフェースを介して、モニタ８が電子制御装置１０内のスーパーインポーズ部１４に接続され、スピーカ９が音声出力部１５を介してＣＰＵ１１に接続されている。カメラ２は、図示しない入力インターフェースを介して、画像認識部１２、グラフィックス描画部１３及びスーパーインポーズ部１４に接続されている。尚、ＣＰＵ１１、画像認識部１２、グラフィックス描画部１３、スーパーインポーズ部１４及び音声出力部１５は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【００３３】
本実施形態においては、車両１周辺の環境を表示するカメラ２の画像信号が画像認識部１２を介してＣＰＵ１１に供給されると共に、車輪速度センサ７等の出力信号がＣＰＵ１１に供給され、ＣＰＵ１１にて演算処理される。このＣＰＵ１１の演算結果に基づき、グラフィックス描画部１３において、カメラ２の画像から抽出される同期信号に応じて３次元のグラフィックスが描画される。また、ＣＰＵ１１においては、駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部１３にて描画される。そして、グラフィックス描画部１３にて描画されるグラフィックスとカメラ２の画像とが適宜スーパーインポーズ部１４にて重畳され、モニタ８の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。而して、図１の３次元座標推定手段ＲＣ等はＣＰＵ１１、画像認識部１２及びグラフィックス描画部１３によって構成されている。
【００３４】
上記の３次元座標推定手段ＲＣにおいては、特徴点追跡手段ＰＦにて、車両１が第１の状態から第２の状態に移動したときに撮像手段ＣＤたるカメラ２によって第１の状態で撮像された画像から特徴点の座標が検出されると共に、第２の状態で撮像された画像での前記特徴点に対応する座標が検出され、移動状態検出手段ＤＳでは、第１の状態及び第２の状態における車両１の位置及び姿勢が検出される。そして、第１の状態及び第２の状態における車両１の位置及び姿勢、第１の状態で撮像された画像の特徴点の座標、及び第２の状態で撮像された画像の前記特徴点に対応する座標に基づき、３次元再構成が行われ、前記特徴点の３次元座標が求められる。
【００３５】
上記の３次元再構成は、例えば前述の非特許文献２に記載のように、画像を用いて三角測量の原理に基づいて行われるものであり、図２３乃至図２５を参照して以下に説明する。図２３において、少なくとも２つのカメラ位置（左右のｏ及びｏ'で示す）から空間中の同一の点Ｍを観測しているとき、各カメラの画像で観測された点ｍ₁，ｍ₂とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Ｍを表す。ここで、対象視界（Scene）中の３次元の点Ｍは各画像間で同定される必要がある。また、単眼カメラで３次元の再構成を行う場合には、画像中から対象物体の特徴点（Point of Interest）の抽出とその追跡が必要である。更に、カメラの内部パラメータ（スケールファクタ、光軸位置座標等）と外部パラメータ（カメラの配置）は既知である（予め校正されている）ことが必要であり、これらを前提に３次元再構成が行われる。
【００３６】
次に、対象視界の動きからの３次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、ステレオ対応という手段を使うことができる。但し、３次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の３次元構造を復元することができる。
【００３７】
対象視界からの特徴点の検出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を検出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象である。このような特徴点の検出には下記［数１］式に示す行列Ａによる自動相関（auto-correlation）を用いることができる。行列Ａは画像中の点ｐ(x,y)を含むウインドウ領域Ｗ中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点（例えば、図２４の左側の図におけるコーナーの黒点）であり、この行列はこれらの特徴点を検出するものである。尚、下記［数１］式において、Ｉ(x,y)は画像の関数、Ｉxはｘ軸に沿った画像の勾配、Ｉyはｙ軸に沿った画像の勾配、(x_k,y_k) は(x,y)を中心としたウインドウＷ中の画像点を夫々表わす。
【００３８】
【数１】

【００３９】
次に、特徴点の追跡（Feature Tracking）に関し、u＝[x,y]^Tが画像点の座標であるような画像列Ｉ(u,t)を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記［数２］式が成り立つ。
【００４０】
【数２】

【００４１】
上記の［数２］式において、δ(u)はモーションフィールド（３次元の動きベクトルの画像への投影）を表す。サンプル周期が十分に短いので、下記［数３］式に示すように、モーションは並進（translation）のみで近似することができる。尚、［数３］式のｄは変移ベクトル（displacement vector）を表わす。
【００４２】
【数３】

【００４３】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルｄを計算するため、トラッカー（Tracker）が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので［数２］式は十分に機能しない。従って、下記［数４］式に示すように、差の自乗和(Sum of Square Difference)によって変移ベクトルｄを計算する。そして、この［数４］式の残渣を最小にする変移ベクトルｄを求め、その方向に特徴点を追跡する。尚、下記［数４］式のＷは、点ｕを中心とする特徴点抽出のためのウインドウを表わす。
【００４４】
【数４】

【００４５】
図２５はトラッキングの一例を説明するもので、トラック（Tracks）とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の３次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって抽出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において抽出された特徴点の集合から開始し、前の画像（図２５のImg Ａ）での特徴点は次の画像（図２５のImg Ｂ）で追跡される。画像（Img Ａ）のうちの一部のトラックが停止すると、画像（Img Ｂ）において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【００４６】
そして、３次元構造の再構成に関しては、３次元空間中の位置Ｍの点の距離がＺであるとき、その画像上の投影位置をｍとすると下記［数５］式の関係が成り立つ。下記の［数５］式において、距離ｆは焦点距離と呼ばれるが、ここではｆ＝１なる単位長さを用いて簡単化している。このようにモデル化すると、２台のカメラで空間中の（物体の頂点等の）特徴点を撮影する幾何学的な関係は図２３に示すようになる。
【００４７】
【数５】

【００４８】
図２３において、第２のカメラ座標系は第１のカメラ座標系をその原点の周りにＲだけ回転してからＴだけ平行移動して得られる位置にある。尚、このベクトルＴは基線ベクトルと呼ばれる。パラメータ｛Ｔ，Ｒ｝は２つのカメラ視点の相対的な位置姿勢関係を表しているので、１台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【００４９】
図２３に示すように、ある３次元空間中の位置Ｍのそれぞれの画像面上の投影像がｍ₁，ｍ₂にあるとする。この状態で、第２のカメラ座標系の原点０'から見た特徴点の方向は第２のカメラ座標系に関してベクトルｍ₂で表されるが、第２のカメラ座標系は第１のカメラ座標系に対してＲだけ回転しているから、第２のカメラ座標系を経由して第１のカメラから見た物体Ｍの方向は、ベクトルで表せばＲｍ₂である。従って、図２３より下記［数６］式の関係が成立する。
【００５０】
【数６】

【００５１】
上記［数６］式から、距離Ｚ，Ｚ'が下記［数７］式のように計算される。
【００５２】
【数７】

【００５３】
このようにして、２つの視点から画像面上の投影像の座標ｍ₁，ｍ₂から３次元空間上の距離Ｚ，Ｚ'を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記［数７］式を計算すれば、３次元的な構造を復元することができる。
【００５４】
図１に戻り、移動状態検出手段ＤＳとしては、前述のように車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによってデッドレコニングシステムを構成することができるが、本実施形態においては、後述するように車輪速度センサ７によって構成されている。このようにして特定される第１の状態及び第２の状態における車両１の位置及び姿勢と、夫々の状態でカメラ２によって撮像された画像における特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体が特定され、撮像領域の３次元座標が推定される。
【００５５】
本実施形態においては、車輪速度センサ７によって検出された車輪速度信号に基づき、以下のように、車両１の状態、即ち車両１の位置及び方向（鉛直軸周りの角度）を検出するようにデッドレコニングシステムが構成されている。以下、本実施形態における車両１の状態を検出する方法について説明する。図４は、本実施形態における車両１のモデルを表したものであり、車両１の位置及び方向は、（ｘ，ｙ，θ）の３つの変数により定義される。また、車両１の速度（車速）をＶ、車両１の角速度をωとすると、車両の状態、車速及び角速度の間に次の等式が成立する。即ち、ｄｘ／ｄｔ＝Ｖ・ｃｏｓθ、ｄｙ／ｄｔ＝Ｖ・ｓｉｎθ、及びｄθ／ｄｔ＝ωとなる。
【００５６】
上記の車速Ｖ及び角速度ωは直接計測することはできないが、車輪速度センサ７によって検出された左右後輪の車輪速度を用いて、次のように求めることができる。即ち、Ｖ＝（Ｖrr＋Ｖrl）／２、及びω＝（Ｖrr−Ｖrl）／Ｌｔとなる。ここで、Ｖrrは右後輪の車輪速度、Ｖrlは左後輪の車輪速度で、Ｌｔは車両１のトレッド長を表す。
【００５７】
上記の式を用いると、時刻ｔにおける車両の状態（ｘ，ｙ，θ）は、ｔ＝０における初期値（ｘ0，ｙ0，θ0）が決まっておれば下記［数８］式のように表すことができる。
【００５８】
【数８】

【００５９】
図５は、所定の３次元座標における車両１の移動開始位置の座標及び姿勢（方向）を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す。即ち、図５は（Ｘｏ，Ｙｏ，Ｚｏ）の３次元座標において、Ｘｏ−Ｙｏ平面（Ｚｏ＝０）上で車両が旋回運動する状態を示し、位置（座標（ｘ１，ｙ１））及び方向（角度θ１）で決まる第１の状態から、位置（座標（ｘ２，ｙ２））及び方向（角度θ２）で決まる第２の状態に移動したときの位置関係を特定することができる。本実施形態では、左右後輪の車輪速度センサ７の検出車輪速度に基づき、車両１の位置（座標）及び方向（角度）が検出されるが、操舵角センサ４、ヨーレイトセンサ（図示せず）、距離センサ（図示せず）等を用いることとしてもよく、これらのセンサを組み合わせて用いることとしてもよい。図５は単純円旋回の例であるが、複数円弧や直線が組み合わされた軌跡に対し、上記のように検出された車両１の座標と方向に基づき、同様に追跡することができる。
【００６０】
一方、図１に記載の３次元座標推定手段ＲＣにおいて推定された３次元座標が、図６に破線の格子で示すように、（Ｘ，Ｙ，Ｚ）の３次元座標を基準とする３次元座標マップとしてメモリに格納されている。尚、図６に破線の格子で示した３次元座標マップの中には、カメラ２で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している。この３次元座標マップに対し、図５の３次元座標の対応が行われる。即ち、図６に破線の格子で示す３次元座標マップの中に、図５に示す車両１が配置され、３次元座標マップでの車両１の位置（座標）、及び姿勢、即ち方向（角度）が特定される。
【００６１】
上記のように特定された３次元座標マップにおける車両１の位置（座標）及び方向（角度）に基づき、３次元座標に存在する障害物との位置関係が明確になる。例えば、図２のステアリングホイール３が中立位置にあって、図７に示すように車両１が前方に直進している場合において、その前方に障害物ＯＢが存在するときには、車両１がそのまま前進すると図７のバンパ部分１ａが障害物ＯＢの左方角部に接触することになり、両者間の距離ｄ１が移動至近距離となることが分かる。
【００６２】
これに対し、図２のステアリングホイール３が操作され、例えば図８に示すように車両１が旋回中心Ｃを中心に半径Ｒで旋回している場合には、その前方に障害物ＯＢが存在しても、車両１がそのまま旋回すれば車両１のどの部分も障害物ＯＢに接触しないことが分かる。このことは、旋回中心Ｃを中心とする障害物ＯＢのどの部分の円弧（図８には最小半径の円弧をＡ１で示す）も車両１とは重合しないことから、図８に示す位置関係に基づき推定することができる。尚、旋回中心Ｃは車両１の後車軸の延長上にあり、その位置はステアリングホイール３の操舵角によって決まる。
【００６３】
一方、図９に示すように車両１が旋回中心Ｃを中心に半径Ｒで旋回し、その前方の障害物ＯＢが旋回中心Ｃを中心とする円弧Ａ２（半径Ｒａ）上を相対移動する場合、即ち円弧Ａ２が車両１と重合する場合には、車両１がそのまま旋回すれば車両１のバンパ部分１ｂが障害物ＯＢに接触することになる。この場合には、両者間の距離ｄ２が移動至近距離となる。
【００６４】
図９から明らかなように、旋回中心Ｃを中心とし障害物ＯＢを通過する円弧と、旋回中心Ｃを中心とし車両１を通過する円弧とが一致する場合が、車両１と障害物ＯＢが接触する場合であり、両者間の距離が最小となる障害物ＯＢの円弧をＡ２として特定することができる。従って、図１０に示す関係となり、車両１のバンパ部分１ｂと障害物ＯＢとの間の距離が移動至近距離ｄ２となり、車両１のバンパ部分１ａと障害物ＯＢ間の直線距離ｄ１より長くなる。尚、この移動至近距離ｄ２はＣＰＵ１１による演算処理によって求められる。
【００６５】
上記の図７乃至図１０においては説明の便宜上Ｘ−Ｙ平面上で説明したが、本実施形態では３次元座標に存在する障害物との位置関係が明確になることから、Ｚ軸方向での状況も考慮に入れた移動至近距離を測定することができる。例えば、図１１に示すように、車両１のバンパ部分１ａと障害物たる他の車両ＯＶのバンパ部分Ｏｂとの間の水平距離はｄ３であるが、他の車両ＯＶの後端部Ｏａとの間の水平距離はｄ４（＜ｄ３）という状況が生じ得る。従って、仮に車両１のバンパ部分１ａと他の車両ＯＶとの間が距離ｄ３とされると、距離ｄ４に達した時点で車両１の前方上部が他の車両ＯＶの後端部Ｏａに接触することになるが、本実施形態ではこのような事態も回避することができる。即ち、自車両（車両１）が移動するときの移動空間予想軌跡を推定し、これを複数の検出画像のうちの、移動空間予想軌跡が適合する所定の画像に重合させて、移動空間予想軌跡内に存在する障害物を検出することができる。ここで、移動空間予想軌跡は、自車両（車両１）が移動したときに通過すると予想される空間の軌跡である。従って、移動空間予想軌跡は３次元となるが、これも基本的には図２の操舵角センサ４の検出結果に基づいて演算することができ、自車両（車両１）が所定の操舵角でステアリング操作が行なわれたときに自車両（車両１）の外郭部分が通過する空間が予測演算される。尚、この演算処理については、前掲の特許文献４等に記載されているので説明は省略する。
【００６６】
而して、上記のように推定された車両１の移動空間予想軌跡が、それまでに検出された複数の画像のうち、この移動空間予想軌跡に適合する所定の画像に重合され、この所定の画像上で車両１の移動空間予想軌跡内に存在する障害物が検出され、図１の表示手段ＶＳに以下のように表示される。即ち、図１の表示手段ＶＳを構成する図２のモニタ８に、カメラ２で撮像された画像のうち、車両１の移動空間予想軌跡内に存在する障害物を含む画像が表示されると共に、強調手段ＡＴによる表示等が重合して表示される。
【００６７】
例えば、図１２に示すように、他の車両ＯＶ及びＰＶ等が存在する駐車領域に車両１の駐車作動を行う場合には、図１３に示すように車両１の移動空間予想軌跡８ａ及び８ｂ（図１３の点描領域）が、図１の対象特定手段ＤＯによって注意喚起対象として特定され、濃淡及び色彩変化の少なくとも一方の変調によって強調される。また、障害物（図１３では他の車両ＰＶの一部）が強調されて表示される。このとき、そのまま後退すれば接触すると予想される車両ＰＶの一部も図１の対象特定手段ＤＯによって注意喚起対象として特定され、更に当該部分に濃淡もしくは色彩を変化させたマーカ８ｃが表示される。例えば、移動空間予想軌跡８ａ及び８ｂ内に侵入している障害物の領域（図１３の格子領域）の画像濃度が濃く設定され、そうでない領域は薄く設定され、両領域が明確に識別可能となる。あるいは、障害物の実際の色彩に対して、そのカラーパターンを変化（色彩変化）させることとしても、両領域が明確に識別可能となる（以下における濃淡及び色彩変化についても同様）。
【００６８】
そして、更に車両１が後退し他の車両ＯＶに接近すると、図１４に示すように、色彩を施したフレーム８ｄが画像周囲に表示され、これがブリンクする。また、そのまま後退すれば接触すると予想される車両ＯＶの一部が注意喚起対象とされ、この部分に対し、濃淡及び色彩変化の少なくとも一方の変調によって強調するためのマーカ８ｃが表示され、更に、この位置を示すメッセージ８ｅ（例えば「左後方です」）が表示される。この表示に加え、図１の音声装置ＡＶにより、例えば、移動至近距離の値に応じて、音声による報知あるいはビープ音による報知を行うこととしてもよい。尚、説明の便宜上省略したが、図１３に示すようにマーカ８ｃが表示される状態においても、マーカ８ｃと共に画像周囲にフレーム８ｄが表示され、これがブリンクすると共に、図１４と同様のメッセージ（図１３では省略）が表示される。
【００６９】
また、図１５に示すように、注意喚起対象（車両ＯＶの一部）に対し、所定の指示マーク（例えば図１５の矢印８ｆ）を重合し、この矢印８ｆを濃淡及び色彩変化の少なくとも一方の変調によって強調することとしてもよい。あるいは、注意喚起対象を車両ＯＶ全体ととらえ、図１６に示す車両ＯＶの最外輪郭線８ｇ、及び図１７に示す車両ＯＶの主要輪郭線８ｈの少なくとも一方を、濃淡及び色彩変化の少なくとも一方の変調によって強調することとしてもよい。ここで、主要輪郭線８ｈとしては、例えば所定長さ以上の長さを有する輪郭線とし、これを選択して表示するように構成することができる。
【００７０】
あるいは、図１８及び図１９に示すように、車両ＯＶに対し半透明スクリ−ン８ｊ（図１８の点描領域）もしくは不透明スクリ−ン８ｋ（図１９のハッチング領域）を重合し、これら半透明スクリ−ン８ｊもしくは不透明スクリ−ン８ｋを画像の濃淡及び色彩変化の少なくとも一方の変調によって強調することとしてもよい。尚、図示は省略するが、図１３の表示画像における移動空間予想軌跡内の領域あるいは車両ＯＶそのもの（即ち、原画像）を、画像の濃淡及び色彩変化の少なくとも一方の変調によって強調することとしてもよい。
【００７１】
更に、図２２に示すように、バーチャル画像を用いて上記表示による報知を行うこともできる。図２２は自車両たる車両１の一部（図２２では後部）と障害物ＯＢを表す図形が表示されると共に、濃淡もしくは色彩を変化させた強調パターン８ｐ（図２２の点描領域）及びマーカ８ｃ（図２２の太線部分）も重畳表示されているので、車両１と障害物ＯＢとの関係を確認することができる。もちろん、アナウンス（音声）、アラーム音あるいはビープ音による報知と組み合わせることとしてもよい。上記のバーチャル画像は、図１に破線で示すように、特定視界作成手段ＳＶ等を構成することによって実現でき、以下、これについて説明する。
【００７２】
即ち、特定視界作成手段ＳＶによって、周辺状況を含む３次元座標内における車両１の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、図１の表示手段ＶＳ（図２のモニタ８）に表示される。この場合において、例えば図２０に示すように、車両１の後方に仮想カメラ２ａが配置されているとしたときに、移動後の車両１から見た３次元座標マップ（図２０の破線の格子で示す）において、どの領域が仮想カメラ２ａの視界に入っているかが分かる。換言すれば、図２０にＳａで示す領域が、仮想カメラ２ａの視界に入り、モニタ８にバーチャル画像として表示し得る領域（以下、表示視界という）である。尚、仮想カメラを前方あるいは側方に配置する場合も同様である。
【００７３】
上記図２０の例では、実際のカメラ２の画角と類似する視界が設定されているが、図２１の仮想カメラ２ｅのように、１８０度の表示視界Ｓｅを設定することもできる。これにより、実際のカメラ２では視界に入らない部分をも視界に入れたバーチャル画像を表示するように構成することもできる。更に、図示は省略するが、車両１の上空部分に仮想カメラを配置して３６０度の表示視界を設定し、この視界のバーチャル画像を表示するように構成することもできる。尚、図２０及び図２１においても、破線の格子で示した３次元座標マップの中には、カメラ２で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している。
【００７４】
このように形成されるバーチャル画像は、車両１の移動、即ち仮想カメラ２ａ等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜（移動後も）表示し得るように構成されている。例えば、車両１と障害物ＯＢとの距離が所定距離未満となったと判定されると、自動的に、図２２に示すバーチャル画像がモニタ８に表示される。あるいは、運転者の指示に応じてバーチャル画像に切り替えるように構成することもできる。
【００７５】
以上のように、上記の各実施形態によれば、例えば障害物が存在する画像に自動的に切り替えて表示することができ、また、画像中の所定の視界範囲内の障害物に関し、接触が予想される部分を明示することができる。従って、車両１の運転者は単に障害物の接近を認識することができるだけでなく、その障害物が車両１に対しどの方向に存在しているかを短時間で認識することができる。しかも、移動空間予想軌跡内に障害物が存在する場合には、画像中の障害物の最外輪郭線や主要輪郭線、あるいは障害物そのものの濃淡や色彩変化によって強調して表示されるので、注意喚起すべき対象を容易且つ迅速に把握することができる。
【００７６】
尚、図２及び図１２乃至図２２は、カメラ２が車両１の後方に配置された場合の実施形態に係り、図７乃至図１１は、カメラ２が車両１の前方に配置された場合の実施形態に係るものであることから明らかなように、前後いずれの障害物に対しても同様に処理することができる。また、上記の実施形態においては１台のカメラ２のみで３次元座標マップを作成することとしたが、もちろん複数台のカメラを用いることとしてもよい。
【００７７】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置によれば、画像を用いて移動体の移動空間予想軌跡内の障害物を検出することができ、移動体のどの部分と障害物のどの部分が接触するかを容易に判定することができる。しかも、障害物の当該部分が注意喚起対象として強調して表示されるので、容易且つ迅速に把握することができる。
【００７８】
前記環境情報検出手段は、請求項２に記載のように構成すれば、一つの撮像手段によっても容易且つ確実に環境情報を検出することができ、安価な装置を提供することができる。
【００７９】
また、請求項３に記載のように構成すれば、移動体における所望の位置での視界を確保し、移動体の移動空間予想軌跡内の障害物を検出し、移動体のどの部分と障害物のどの部分が接触するかを容易に判定することができ、注意喚起対象を容易且つ迅速に把握することができる。
【００８０】
前記強調手段は、請求項４乃至８に記載のように構成すれば、移動空間予想軌跡内において移動体のどの部分と障害物のどの部分が接触するかを適切且つ確実に表示することができ、運転者は容易に判定することができる。従って、例えば駐車案内装置に適用すれば、表示手段を介して障害物を確実に回避するように案内することができる。
【００８１】
更に、請求項９に記載のように構成すれば、更に音声装置によって、運転者は移動体の移動空間予想軌跡内の障害物を一層容易に判定することができる。
【図面の簡単な説明】
【図１】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図２】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図３】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図４】本発明の一実施形態における車両モデルの平面図である。
【図５】本発明の一実施形態において、所定の３次元座標における車両の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す平面図である。
【図６】本発明の一実施形態において、３次元座標マップでの車両の位置（座標）及び姿勢（方向）を特定する状態の一例を示す平面図である。
【図７】本発明の一実施形態において、車両が直進している場合の前方の障害物に対する移動至近距離の一例を示す平面図である。
【図８】本発明の一実施形態において、車両が旋回している場合に前方の障害物に接触しない状態の一例を示す平面図である。
【図９】本発明の一実施形態において、車両が旋回している場合に前方の障害物に接触するときの移動至近距離の一例を示す平面図である。
【図１０】図９の車両と障害物との間の移動至近距離部分を拡大して示す平面図である。
【図１１】本発明の一実施形態において、垂直方向の位置関係でみたときの車両と障害物との間の移動至近距離の一例を示す正面図である。
【図１２】本発明の一実施形態において、車両の駐車作動を行う場合の一例を示す平面図である。
【図１３】本発明の一実施形態において、図１２に示すように車両の駐車作動を行う場合に、移動空間予想軌跡を強調して示すと共に、障害物を強調して表示した状態の画像の正面図である。
【図１４】本発明の一実施形態において、表示画像のフレームをブリンクすると共に、そのまま後退すれば接触すると予想される車両の一部に対し、接触予想部分を濃淡及び色彩変化の少なくとも一方の変調によって強調する状態を示す画像の正面図である。
【図１５】本発明の一実施形態において、注意喚起対象として車両の一部に対し、所定の指示マークを重合し、これを濃淡及び色彩変化の少なくとも一方の変調によって強調する状態を示す画像の正面図である。
【図１６】本発明の一実施形態において、注意喚起対象として車両に対し、その最外輪郭線を、濃淡及び色彩変化の少なくとも一方の変調によって強調する状態を示す画像の正面図である。
【図１７】本発明の一実施形態において、注意喚起対象として車両に対し、その主要輪郭線を、濃淡及び色彩変化の少なくとも一方の変調によって強調する状態を示す画像の正面図である。
【図１８】本発明の一実施形態において、注意喚起対象として車両に対し、半透明スクリ−ンを重合し、この半透明スクリ−ンを濃淡及び色彩変化の少なくとも一方の変調によって強調する状態を示す画像の正面図である。
【図１９】本発明の一実施形態において、注意喚起対象として車両に対し、不透明スクリ−ンを重合し、この不透明スクリ−ンを濃淡及び色彩変化の少なくとも一方の変調によって強調する状態を示す画像の正面図である。
【図２０】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図２１】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの１８０度の表示視界を示す平面図である。
【図２２】本発明の一実施形態において、車両の後方のカメラ画像に障害物を表示したバーチャル画像における注意喚起対象に対し、濃淡及び色彩変化の少なくとも一方の変調によって強調する状態を示す平面図である。
【図２３】本発明の一実施形態における三次元再構成に関し、２台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図２４】本発明の一実施形態における三次元再構成に関し、特徴点の追跡の一例を示す説明図である。
【図２５】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【符号の説明】
ＳＲ環境情報検出手段，ＣＤ撮像手段，ＤＳ移動状態検出手段，
ＲＣ３次元座標推定手段，ＳＶ特定視界作成手段，ＶＳ表示手段，
ＴＲ移動空間予想軌跡推定手段，ＯＪ障害物検出手段，
ＤＯ対象特定手段，強調手段ＡＴ，１車両，２カメラ，
３ステアリングホイール，４操舵角センサ，５シフトレバー，
６シフトレバースイッチ，７車輪速度センサ，８モニタ，
９スピーカ，１０電子制御装置

Claims

移動体の周辺の環境情報を該移動体の移動に応じて順次検出し蓄積する環境情報検出手段と、前記移動体が移動するときの移動空間予想軌跡を推定する移動空間予想軌跡推定手段と、該移動空間予想軌跡推定手段が推定した移動空間予想軌跡を、前記環境情報検出手段が検出した環境情報に基づいて作成する複数の画像のうちの前記移動空間予想軌跡に適合する所定の画像に重合し、該所定の画像上で前記移動体の移動空間予想軌跡内に存在する障害物を検出する障害物検出手段と、該障害物検出手段が検出した前記障害物を含む前記移動空間予想軌跡内の注意喚起対象を特定する対象特定手段と、前記障害物検出手段が検出した前記障害物と共に前記所定の画像を表示する表示手段と、該表示手段が表示する前記所定の画像に対し、少なくとも前記対象特定手段が特定した前記注意喚起対象を強調して表示する強調手段とを備えたことを特徴とする移動体周辺監視装置。
前記環境情報検出手段は、前記移動体に搭載し前記移動体の周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、前記移動体が第１の状態から第２の状態に移動したときに少なくとも前記第１の状態及び第２の状態で前記撮像手段によって撮像した二つの画像に基づき、前記第１の状態で撮像した画像から特徴点の座標を検出すると共に、前記第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段と、少なくとも前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢を検出する移動状態検出手段と、該移動状態検出手段で検出した前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢、前記第１の状態で撮像した画像の前記特徴点の座標、及び前記第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段とを備えたことを特徴とする請求項１記載の移動体周辺監視装置。
前記環境情報検出手段の検出情報に基づき前記移動体の特定の視界を作成する特定視界作成手段を備え、前記表示手段が、前記障害物を含む前記特定の視界を画像表示すると共に、前記強調手段が、前記特定の視界の画像に対し前記注意喚起対象を強調して表示するように構成したことを特徴とする請求項２記載の移動体周辺監視装置。
前記強調手段は、前記表示手段による表示画像における、前記移動空間予想軌跡推定手段が推定した前記移動空間予想軌跡内の領域と前記移動空間予想軌跡外の領域とを、前記表示手段による表示画像の濃淡及び色彩変化の少なくとも一方の変調によって区別して表示するように構成したことを特徴とする請求項１、２又は３記載の移動体周辺監視装置。
前記強調手段は、前記表示手段による表示画像の前記注意喚起対象の最外輪郭線及び主要輪郭線の少なくとも一方を、濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成したことを特徴とする請求項１、２又は３記載の移動体周辺監視装置。
前記強調手段は、前記表示手段による表示画像の前記注意喚起対象に対し、所定の指示マークを重合し、該指示マークを濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成したことを特徴とする請求項１、２又は３記載の移動体周辺監視装置。
前記強調手段は、前記表示手段による表示画像の前記注意喚起対象に対し、半透明スクリ−ン又は不透明スクリ−ンを重合し、該半透明スクリ−ン又は不透明スクリ−ンを濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成したことを特徴とする請求項１、２又は３記載の移動体周辺監視装置。
前記強調手段は、前記表示手段による表示画像における前記移動空間予想軌跡推定手段が推定した前記移動空間予想軌跡内の領域を、前記表示手段による表示画像の濃淡及び色彩変化の少なくとも一方の変調によって強調するように構成したことを特徴とする請求項１、２又は３記載の移動体周辺監視装置。
前記対象特定手段が特定した前記注意喚起対象に関する情報を音声で報知する音声装置を備えたことを特徴とする請求項１、２又は３記載の移動体周辺監視装置。