JP4228246B2 - ノーズビューモニタ装置 - Google Patents

Description

本発明は、車両側方を撮像したノーズビュー画像中の接近移動物体を視認性良く表示することのできるノーズビューモニタ装置に関する。

ノーズビューモニタ装置は、例えば図１にその概念を示すように車両の前部に組み込んだカメラ（ノーズビューカメラ）にて、運転席からは死角となり易い車両前方の側方領域ＦＬ,ＦＲの情景を撮像し、その側方画像を該車両の運転席に設けたモニタにて表示するもので（例えば特許文献１を参照）、例えば交差点や路地から大通りに車両が進入する際の安全性の確認に利用される。ちなみにこの種のノーズビューモニタ装置は、そのメインスイッチがオン（ＯＮ）に設定されていることを条件として、例えばその車速が１０ｋｍ／ｈ以下になったとき、或いは停車したときにノーズビュー画像を表示するように構成される。

また最近では車両に搭載したカメラにより撮像される画像から、オプティカルフローの手法を用いて、該画像中の移動物体を検出することも提唱されている（例えば特許文献２を参照）。
特開平１０−２５９６８２号公報 特開２００３−１７９９１６号公報

ところで一般に車両に搭載されたモニタ（ディスプレイ）は、主たる運転操作を妨げることのない程度の小型のものが多い。しかもノーズビューカメラとしては、車両側方のなるべく多くの情報を取り込むべく広角のものが用いられることが多い。この為、小型のモニタに表示される画像には多くの情報が含まれる上、遠方から接近してくる車両の映像が小さいことも希ではない。これ故、急速に接近してくる車両があっても、これを見落とす虞がある。また天候等の状況によって車両等の移動体の像が、その背景に溶け込み易く、その確認が著しく困難となる。しかしながらモニタを長時間に亘って注視してその画像に含まれる情報内容を理解し、把握することは、運転操作自体に支障を来すので現実性がない。

本発明はこのような事情を考慮してなされたもので、その目的は、車両側方を撮像したノーズビュー画像中の接近移動物体を視認性良く表示することができ、運転者に負担を掛けることなくその認識を確実に行い得るようにしたノーズビューモニタ装置を提供することにある。

上述した目的を達成するべく本発明に係るノーズビューモニタ装置は、請求項１に記載するように車両の前部または後部に取り付けられて該車両の左右側方を撮像するノーズビューカメラと、このノーズビューカメラにて撮像された左右の側方画像を左右に並べて表示するモニタと、
前記側方画像中の特徴点を検出すると共に、検出した特徴点の動きベクトルを計算する特徴点検出手段と、
上記計算された各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる複数の特徴点のまとまりを接近移動物体として検出する移動物体検出手段と、
前記側方画像中における上記移動物体検出手段にて検出された接近移動物体の画像領域を特定する物体画像検出手段と、
この物体画像検出手段にて特定された前記接近移動物体の画像と前記モニタ中に設定した特定のウインド領域とを引き出し線にて結ぶと共に該ウインド領域に前記接近移動物体の存在を示すアイコンを表示する画像表示制御手段とを具備し、
前記特定のウインド領域は前記左右の側方画像用に共用されることを特徴とする。

好ましくは請求項２に記載するように前記特定のウインド領域は左右に並べて表示する左右の側方画像の中間に配置されるように構成される。
また、請求項３に記載するように、前記引き出し線の先端にポインタが付されているように構成される。
また、請求項４に記載するように、前記特徴点検出手段は、前記側方画像中の特徴点のオプティカルフローを計算するように構成される。

上述した如く構成された装置によれば、側方画像（ノーズビュー画像）中からの接近移動物体の検出を、該側方画像における特徴点のオプティカルフローを計算するだけで簡易に求め、例えば動きベクトルの等しい特徴点のまとまりを１つの接近移動物体として認識するだけで良いので、移動物体の検出が容易であることにのみならず、その物体像が小さい場合であってもその移動物体を確実に検出することができる。

その上で、左右の側方画像中における接近移動物体の像と、接近移動物体の存在を示すアイコンとの間を引き出し線を用いて結ぶので、左右の側方画像を左右に並べてモニタに表示していても左右どちらに接近移動物体が存在するか左右の側方画像中におけるどの画像部分が接近移動物体であるかを明確に指示することが可能となり、その全体的な状況把握を容易化し得る。また、特定のウインド領域は左右の側方画像用に共用されるのでウインド領域に表示されるアイコンによる注意喚起を運転者に理解させ易い。

従って側方画像（ノーズビュー画像）を長時間に亘って注視しなくても、その表示画像から接近移動物体の存在を確実に把握することができるので、運転の安全性を高める上で大きく寄与する。

以下、図面を参照して本発明の一実施形態に係るノーズビューモニタ装置について説明する。
図２はこの実施形態に係るノーズビューモニタ装置の要部概略構成図で、１は車両の前部に組み込まれて該車両の左右側方の情景をそれぞれ撮像する左右一対のノーズビューカメラである。このノーズビューカメラ１は、例えば図１に示すように車両Ａの前端両側部にそれぞれ組み込まれたＣＣＤカメラからなり、車両側部の所定の視野領域ＦＬ,ＦＲをそれぞれ撮像するように設けられる。尚、ノーズビューカメラ１は、車両の後部に組み込まれて該車両の左右側方の情景をそれぞれ撮像するものであっても良い。

このようなノーズビューカメラ１にて撮像された側方画像（ノーズビュー画像）を取り込むノーズビューシステム２は、例えばマイクロコンピュータを主体とする電子制御ユニット（ＭＰＵ）により構成される。このノーズビューシステム２は、基本的には図３にその制御手順を示すように、ノーズビュースイッチ３が投入（ＯＮ）されていることを条件として［ステップＳ１］、車速センサ４により検出される当該車両Ａの車速が、例えば１０ｋｍ／ｈ以下に低下したとき［ステップＳ２］、或いは車両Ａが停止したときにノーズビュー機能をＯＮ動作させて前記ノーズビューカメラ１にて撮像された側方画像（ノーズビュー画像）をモニタ５に表示し［ステップＳ３］、また上記各条件が満たされないときにはノーズビュー機能をＯＦＦさせることで、その表示を行わないものとなっている［ステップＳ４］。

尚、上記側方画像（ノーズビュー画像）の表示に用いられるモニタ５は、運転席前方のセンターコンソールに組み込まれたマルチディスプレイからなり、常時はＧＰＳを利用したカーナビゲーション情報の表示や、車室空間の環境を設定するエアコンの情報、或いは各種オーディオ機器の設定状態等の情報表示に用いられる。尚、ノーズビュー表示専用のモニタであっても良いことは言うまでもない。

さて基本的には上述した如く構成されるノーズビューモニタ装置において、この発明が特徴とするところは、図２に示すように前記ノーズビューシステム２において、
[ａ] 前述した如くノーズビューカメラ１を用いて撮像した側方画像（ノーズビュー画像）中の複数の特徴点を検出し、これらの各特徴点のオプティカルフローを計算することでその動きベクトルを求める特徴点検出手段１１と、
[ｂ] この特徴点検出手段１１にて求められた各特徴点の動きベクトルから前記側方画像（ノーズビュー画像）中の自車（車両Ａ）に接近してくる複数の特徴点のまとまりを、他の車両等からなる接近移動物体として検出する移動物体検出手段１２と、
[ｃ] 前記側方画像（ノーズビュー画像）中における上記移動物体検出手段１２にて検出された接近移動物体の画像領域を特定し（物体画像検出手段）、特定した接近移動物体の画像を前記モニタ５にて表示される側方画像（ノーズビュー画像）中に強調表示する画像表示制御手段１３と
を備えている点にある。

具体的にはこれらの各手段（機能）１１,１２,１３によって実現されるノーズビュー処理は、例えば図４に示すように、先ずノーズビューカメラ１を介して撮像されたノーズビュー画像を所定の周期で順次取得することから開始される［ステップＳ１１］。そしてノーズビュー画像中の、例えば画像信号レベル（輝度）や色相が、その周辺部と大きく異なるような特徴点を抽出し［ステップＳ１２］、これらの特徴点についてのオプティカルフローを計算することで、その動きベクトルを求める［ステップＳ１３］。このオプティカルフローの計算処理については、前述した特許文献２等に詳しく紹介される通りのものであるが、これを簡単に説明すると、基本的には所定の周期で撮像される連続した複数のノーズビュー画像間における互いに共通する特徴点の座標変化を検出することで、その特徴点が移動しているか否か、更には座標が変化している場合には、その移動（座標変化）の向きとその大きさがどの程度であるかをそれぞれ計算することによってなされる。

そして動きのベクトルが略同じである複数の特徴点の連続性等から、その特徴点のまとまりを１つの移動物体として検出する［ステップＳ１４］。この際、動くベクトルが検出されない特徴点については、建物等の固定物（背景）であるとして認識処理対象から排除する。そして動きのベクトルが自車（車両Ａ）に向いている複数の特徴点の連続したまとまりを、自車（車両Ａ）方向に移動している接近移動物体であるとして検出する。尚、動きのベクトルが自車（車両Ａ）に向いているか否かは、複数の特徴点のまとまりによって示される移動物体の大きさが時間経過と共に大きくなるか否かを判定することによって求められる。同時に移動物体の大きさの変化の割合から、当該移動物体の移動速度を計算することも可能である。

このようにしてノーズビュー画像中から接近移動物体を検出したならば、次にその接近移動物体の画像を切り出す［ステップＳ１５］。この画像の切り出しは、例えば前述した特徴点のまとまりによって示される画像部分に外接する四角形の画像領域を抽出することによってなされる。そして上述した如く切り出した接近移動物体を前記モニタ５に表示したノーズビュー画像中で明示するべく、例えば接近移動物体を含む該当画像領域特定を四角形状の枠にて囲み表示する等して強調表示する［ステップＳ１６］。

より具体的に実際に求められるノーズビュー画像を例に説明すると、図５に示すように左右のノーズビュー画像Ｌ,Ｒ中から、その微小領域の特徴点ａ毎にオプティカルフローの手法を用いてその動きベクトルを計算する。次いで図６に示すように自車（車両Ａ）方向に移動している複数の特徴点の連続したまとまりを１つの移動物体として検出し、これらの特徴点のまとまりに外接する枠ｂ内を接近移動物体の画像として検出する。そして前記表示制御手段１３の制御の下で、例えば図７に示すように前記モニタ５に表示されているノーズビュー画像Ｌ,Ｒ中に、接近移動物体の像を囲む物体表示枠ｃを重ねて表示して移動物体の存在を強調提示する。

尚、モニタ５に表示するを物体表示枠ｃについては、ノーズビュー画像Ｌ,Ｒの全体的な色相を配慮して、例えば黄色や赤等の鮮やかで目立つ色とすることが望ましい。このようにして強調表示される物体表示枠ｃによれば、モニタ５の表示画面を瞬間的に見るだけでも、その表示画面内に特殊な物体表示枠ｃが表示されていることから、何等かの接近移動物体が存在することを一目瞭然に認識することができ、更にはその表示画面を注視することがその接近移動物体が何であるかを把握することが可能となる。特にノーズビュー画像Ｌ,Ｒ中に表示された接近移動物体が小さく、物体表示枠ｃが小さい場合であっても、これを確実に認識することができるので、ノーズビュー画像Ｌ,Ｒを見誤る虞を大幅に軽減することができる。

この際、上述した接近移動物体の強調表示と共に警報器６を用いて警報音を発したり、接近移動物体が存在する旨の情報を音声メッセージ等として報知するようにしても良い。このような報知手段を併用すれば、視覚的なノーズビュー画像の確認と相俟って聴覚を利用して注意力の喚起を促すことができるので、見通しの悪い公差点等に車両が進入する際の安全確認を、より効果的にアシストすることが可能となる等の実用上多大なる効果が奏せられる。

また、図８に示すようにノーズビュー画像Ｌ,Ｒ中から検出された接近移動物体の像を切り出し、上記ノーズビュー画像Ｌ,Ｒを表示したモニタ５上に設定したウインド５ａ内に上記接近移動物体の像を拡大表示するようにしても良い。このようにして接近移動物体の像を拡大表示するようにすれば、常時は表示されていないウインド５ａが表示されていることだけで、接近移動物体の存在を把握することができる。またウインド５ａ内に表示される接近移動物体の像が拡大表示されたものであるので、ノーズビュー画像Ｌ,Ｒ中において小さく表示される接近移動物体であっても、その接近移動物体が何であるか（移動物体の種別）を容易に把握することが可能となる。

この際、ノーズビュー画像Ｌ,Ｒ中における接近移動物体の像と、前記ウインド５ａとの間を引き出し線ｅを用いて結ぶようにしておけば、ウインド５ａ内に拡大表示された接近移動物体がノーズビュー画像Ｌ,Ｒ中におけるどの画像部分かを明確に指示することができるので、その全体的な状況把握を容易にすることが可能となる。この場合の引き出し線についても、前述した表示枠ｃと同様に他の画像部分から明確に識別し得るものを用いるようにすれば良い。また引き出し線ｅの先端に丸印や矢印等のポインタｆを付し、ノーズビュー画像Ｌ,Ｒ中における接近移動物体の特定を容易化することも好ましい。

また、ウインド５ａ内に接近移動物体の像を拡大表示することに代えて、例えば図９に示すように接近移動物体が存在することを示すアイコンｇを表示すると良い。この場合においても、ノーズビュー画像Ｌ,Ｒ中における接近移動物体の像と、前記アイコンｇとの間を引き出し線ｅを用いて結ぶようにしておけば、ノーズビュー画像Ｌ,Ｒ中におけるどの画像部分が接近移動物体であるを明確に指示することが可能となり、その全体的な状況把握を容易化し得る。

尚、このようにしてウインド５ａまたはアイコンｇとノーズビュー画像Ｌ,Ｒ中における接近移動物体の像とを結ぶ引き出し線ｅについては、時間経過に伴って接近移動物体が移動し、図１０に示すようにノーズビュー画像Ｌ,Ｒが変化するに伴い、該ノーズビュー画像Ｌ,Ｒ中における接近移動物体の変化に追従して時々刻々その表示位置が変化していくことは言うまでもない。

かくして上述した如くしてノーズビュー画像（側方画像）中の接近移動物体の像を強調表示するようにした本ノーズビューモニタ装置によれば、ノーズビュー画像（側方画像）を表示したモニタ５を長時間に亘って注視しなくても、接近移動物体の存在を示す表示枠ｃやウインド５ａの特異な表示により、自車（車両Ａ）に向かってくる接近移動物体の存在を確実に、しかも容易に把握することができる。その上で、必要に応じてモニタ５に表示されたノーズビュー画像（側方画像）を注視すれば、これによって接近移動物体が何であるか、またその周囲の状況がどのようであるか等を全体的に把握することが可能となる。従ってノーズビューモニタ装置の遣い勝手を格段に向上させることができ、安全運転に対する注意力喚起を促す上で大きく貢献することが可能となる。

尚、本発明は上述した実施形態に限定されるものではない。例えばノーズビューカメラ１の視野角（撮像画角）やその撮像の向き等は、車両に要求される仕様に応じて定めれば良いものである。ここでは車両の前部にノーズビューカメラ１を組み込んだものとして説明したが、ノーズビューカメラ１を車両の後部に組み込んだ場合にも有用である。この場合には、例えば車両を後退して車庫から出そうとする場合に有効に機能する。更にはウインド５ａ内に接近移動物体を拡大表示する際の拡大率については、ウインド５ａの大きさとノーズビュー画像中において検出された接近移動物体の大きさに応じて定めれば良いものである。

また同一方向からの複数の接近移動物体が検出されるような場合には、最も近く存在する接近移動物体を拡大表示するようにしたり、或いはウインド５ａによる拡大表示と表示枠ｃによる強調表示とを併用するようにしても良い。更には接近移動物体の移動速度とその大きさに応じて、接近移動物体が自動車か自転車か、更には人であるかを判定し、その判定結果に従って表示枠ｃの表示形態を異ならせることも有用である。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。

ノーズビューモニタ装置を備えた車両とノーズビューの向きを示す図。 本発明の一実施形態に係るノーズビューモニタ装置の要部概略構成図。 ノーズビューモニタ装置の基本的な動作制御手順を示す図。 本発明に係るノーズビューモニタ装置における基本的な接近移動物体の検出処理とその強調表示の処理手順を示す図。 ノーズビュー画像に対する特徴点検出の例を示す図。 ノーズビュー画像中からの接近移動物体の像の切り出し例を示す図。 ノーズビュー画像中における表示枠を用いた接近移動物体の強調表示の例を示す図。 ノーズビュー画像中におけるウインドを用いた接近移動物体の拡大表示の例を示す図。 ノーズビュー画像中における接近移動物体の存在を示すアイコンの表示例を示す図。 ノーズビュー画像中におけるアイコンと接近移動物体とを結ぶ引き出し線の変化を説明する為の図。

符号の説明

１ ノーズビューカメラ
２ ノーズビューシステム（ＥＣＵ）
３ ノーズビュースイッチ
４ 車速センサ
５ モニタ
６ 警報器
１１ 特徴点検出手段
１２ 接近移動物体検出手段
１３ 表示制御手段

Claims (4)

1. 車両の前部または後部に取り付けられて該車両の左右側方を撮像するノーズビューカメラと、
   このノーズビューカメラにて撮像された左右の側方画像を左右に並べて表示するモニタと、
   前記側方画像中の特徴点を検出すると共に、検出した特徴点の動きベクトルを計算する特徴点検出手段と、
   上記計算された各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる複数の特徴点のまとまりを接近移動物体として検出する移動物体検出手段と、
   前記側方画像中における上記移動物体検出手段にて検出された接近移動物体の画像領域を特定する物体画像検出手段と、
   この物体画像検出手段にて特定された前記接近移動物体の画像と前記モニタ中に設定した特定のウインド領域とを引き出し線にて結ぶと共に該ウインド領域に前記接近移動物体の存在を示すアイコンを表示する画像表示制御手段とを具備し、
   前記特定のウインド領域は前記左右の側方画像用に共用されることを特徴とするノーズビューモニタ装置。
2. 前記特定のウインド領域は左右に並べて表示する左右の側方画像の中間に配置されることを特徴とする請求項１に記載のノーズビューモニタ装置。
3. 前記引き出し線の先端にポインタが付されていることを特徴とする請求項１に記載のノーズビューモニタ装置。
4. 前記特徴点検出手段は、前記側方画像中の特徴点のオプティカルフローを計算するものである請求項１に記載のノーズビューモニタ装置。