JP5709460B2

JP5709460B2 - 運転支援システム、運転支援方法および運転支援プログラム

Info

Publication number: JP5709460B2
Application number: JP2010239460A
Authority: JP
Inventors: 五十嵐　洋二; 洋二五十嵐
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2010-10-26
Filing date: 2010-10-26
Publication date: 2015-04-30
Anticipated expiration: 2030-10-26
Also published as: JP2012091625A

Description

本発明は、車載用カメラを搭載した電子装置の運転支援システム、運転支援方法および運転支援プログラムに関し、特に、ナビゲーション画面を表示しているときの車載カメラによる映像の切替に関する。

自動車等の移動体に撮像カメラを搭載し、その撮像映像を利用したアプリケーションが急拡大している。このようなアプリケーションの多くは、撮像カメラで撮像された画像を表示し、運転者の死角を補助するような運転支援システムに関するものである。例えば、車両遠方の障害物を撮影するカメラシステム(コーナーモニターシステムなど)、車両近傍の死角障害物を撮影するシステム（サイドビューカメラシステム）、後方障害物を撮像したり車庫入れを案内するシステム（リアビューシステムなど）である。また、車両の前方、後方、側方に複数の撮像カメラを装備し、これらの撮像カメラからの画像を組み合わせて車両の真上方向から見下ろすような俯瞰画像（トップビューシステムなど）を表示したり、各撮像カメラの画像に視点を切替られるようにした運転支援システムも実用化されている。

車両後方に１つの撮像カメラを搭載し、後退時の駐車支援などの安全確認を行うリアビューシステムとナビゲーションシステムとの組み合わせでは、一般にバックギアに連動してディスプレイに後方の撮像画像を表示している。また、撮像カメラによる撮像画像の表示とナビゲーション動作との連携を試みた提案がなされている。例えば、特許文献１は、ナビゲーション画像上に、撮像手段によって撮像された異なる方向の複数の画像を重畳して表示するものである。特許文献２は、自車周辺の環境状態または自車の走行状態に基づいて、表示させる画像の優先度を変更し、切替スイッチから信号を受けたときに優先度の順位に従って順次画像を切替えるものである。さらに特許文献３は、自車が交差点又は分岐点の手前の所定距離に至った時点で、撮像カメラにより撮像された周辺画像を表示させ、自車位置が交差点内の視認可能な位置に進入したと判断された時点で周辺画像を停止させるものである。

特開２００１−８４５００号公報特開２０１０−６９９４３号公報特許４４３２８０１号号公報

しかしながら、複数の車載カメラにより撮像画像を表示する従来の運転支援システムには、次のような課題がある。車両に搭載される撮像カメラの数が増えるにつれ、特に、撮像カメラの視点切替え操作が煩雑になっている。また、道路地図を表示しているナビゲーションシステムから所望の撮像カメラの画像への切替を簡便かつ操作が容易な方法で行えることが安全上重要である。そこで、車両の走行状態や運転状態に応じて、最適な視点のカメラ画像を表示する運転支援システムが考案されている。

図１４は、従来の運転支援システムの一例を説明する図である。図１4(ａ)に示すように、ディスプレイ上にナビゲーションシステムによる道路地図が表示されているとき、その画面には、カメラ画像に切替えるための入力キーＫ１が表示されている。ユーザが入力キーＫ１を選択すると、図１４（ｂ）に示すように、道路地図画面の全体または一部に、フロントの撮像カメラで撮像されたカメラ画像が表示される。このとき、ディスプレイには、フロントカメラ画像を切替えるための、パノラマ、コーナー、トップ（俯瞰画像）のカメラ画像に視点変換を行うための視点切替キーＫ２が表示される。ユーザによっていずれの視点切替キーＫ２が選択されると、選択されたカメラ画像に切替えられる。また、予めカメラ画像を表示したい地点を登録しておき、その地点で自動的にカメラ画像を表示させることも可能になっている。

しかし、このような従来の運転支援システムにおいて、走行状態や運転状態、周囲環境を最適に把握することは現実には難しく、必ずしもドライバが所望するカメラ画像が表示されるとは限らなかった。また、場合によっては、ドライバがナビゲーションの道路地図画面を見たいにも関わらず、意図しないカメラ画像が表示されてしまうこともあった。さらにユーザによる操作性も煩雑であった。

そこで本発明では、道路地図の表示を基本としながらも、できるだけ簡便でかつ分かりやすい方法で、ドライバの操作に応じた撮像映像を表示する運転支援システム、運転支援方法および運転支援プログラムを提供することを目的とする。

本発明に係る運転支援システムは、自車位置を検出する検出手段と、ディスプレイと、前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、自車周辺を撮像する撮像手段と、前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段とを有する。

好ましくは前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する。好ましくは前記撮像画像は、予め決められたサイズのサムネイル画像である。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる。好ましくは前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる。好ましくは前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる。

本発明に係る運転支援方法は、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置におけるものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。

本発明に係る運転支援プログラムは、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行するものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。

本発明によれば、通常のナビゲーション動作により道路地図が表示されているとき、ユーザ入力により自車位置マークが選択されると、自車位置マーク周辺に撮像画像を表示させるようにしたので、ユーザ（ドライバ）は、見たいときに簡単に自車位置周辺の撮像画像を確認することができる。さらに、そのような撮像画像の表示位置は、自車位置マークを基準に撮像手段の取り付け位置と対応するため、ユーザにとって、どの方向の撮像画像の認識が容易になる。さらに撮像画像を選択することでその拡大画像を表示させることで、ユーザにって確認したい撮像画像の操作が容易になる。

本発明の実施例に係る運転支援システムの全体構成を示すブロック図である。図１に示すナビゲーション装置の構成を示すブロック図である。撮像カメラの取り付けを説明する図である。画像処理装置の構成を示すブロック図である。運転支援プログラムの機能ブロック図である。本実施例の運転支援プログラムの機能ブロック図である。表示状態と表示内容の関係を説明するテーブルである。各表示状態における入力判定部の入力判定内容を説明するテーブルである。表示状態の判定結果および入力判定部の判定結果と切替画像との関係を説明するテーブルである。本発明の実施例に係る運転支援システムの動作を説明するフローチャートである。本発明の実施例に係る画面切替シーケンスを説明する図である。本実施例の変形例による表示状態３の例を示す図である。８つの撮像カメラを搭載したときのサムネイル画像の表示例である。従来の運転支援システムにおける撮像画像の表示例を説明する図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の好ましい実施の形態において、運転支援システムは、自車の前方、後方および左右の側方にそれぞれ撮像カメラを搭載し、それらの４つの撮像カメラから得られた撮像画像の視点切替をナビゲーション動作中に実行する機能を有する。

図１は、本発明の実施例に係る運転支援システムの全体の構成を示すブロック図である。運転支援システム１０は、自車位置周辺の道路地図を表示し目的地までのルート案内などの機能を備えたナビゲーション装置２０と、ナビゲーション装置２０に接続され道路地図や撮像カメラにより撮像された画像（以下、カメラ画像と言うことがある）を表示する機能に加え、タッチパネルによる位置入力機能を備えた表示装置３０と、車両の前方、後方、右側方、左側方にそれぞれ設置された撮像カメラ４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ（以下、総称するときは撮像カメラ４０という）と、撮像カメラ４０からの撮像データを画像処理し、カメラ画像や俯瞰画像等を生成する画像処理装置５０とを含んで構成される。

図２は、典型的なナビゲーション装置２０の構成を示すブロック図である。ナビゲーション装置２０は、自車位置を検出する自車位置検出部１００と、ユーザからの入力を受け取る入力部１１０と、ナビゲーション動作に必要な同地地図データ等を格納した記憶部１２０と、ナビゲーション動作のためのプログラムを記憶したプログラムメモリ１３０と、演算されたデータや画像処理装置５０からのデータを保持するデータメモリ１４０と、表示装置３０および画像処理装置５０とバス等を介して接続されるインターフェース部１５０と、各部を制御する制御部１６０とを有する。

位置検出部１００は、ＧＰＳ衛星を利用した自車の絶対位置を測位可能なＧＰＳ測位器、車速センサや方位センサを利用した自車の相対位置を測位可能な自立航法センサを有することができる。位置検出部１００で検出された位置情報は制御部１６０へ出力され、自車位置周辺の道路地図データの読み出しや自車位置マークの表示等に利用される。

入力部１１０は、好ましくは、表示装置３０に搭載されたタッチパネルによる入力を含む。タッチパネルは、公知のように、ユーザの指などがディスプレイに接触または接近したとき、その座標位置を検出する。入力部１１０は、タッチパネルによる入力のほかにも、マウス、リモコン、キーボード等による入力インターフェースであってもよく、それらを用いてディスプレイ上に表示されたカーソルにより入力を行うことができる。

記憶部１２０は、道路地図を表示するために必要なリンクデータ、交差点データ、施設データ等を含む。さらに、道路地図上に表示される自車位置マークを示すポリゴンデータ等を含む。なお、記憶部１２０は、必ずしも必須ではなく、ナビゲーション装置によっては、外部サーバとの通信によって道路地図データを取得してもよいし、半導体メモリなどの外部記憶装置から道路地図データを入手するものであってもよい。

プログラムメモリ１３０は、運転支援システムに必要なプログラムを保持する。本実施例では、運転支援システムは、ナビゲーション動作を実行するためのプログラムと、撮像カメラによる画像を表示するためのプログラムとを有する。ナビゲーション動作を実行するためのプログラムとして、自車位置周辺の道路地図データを記憶部１２０から読み出しこれを表示装置３０に表示するためのプログラム、目的地までのルートを探索するためのプログラム、ルートを案内するプログラムなどを含む。さらに撮像カメラの画像を表示するプログラムとして、ユーザ入力に応じて道路地図画面上に撮像カメラの画像を合成させたり、ユーザ入力に応じて撮像カメラの視点を切替えたり、さらに撮像カメラの画像の表示に関する種々の設定をするプログラムを備えている。

データメモリ１４０は、記憶部１２０から読み出された道路地図データや画像処理装置５０で生成された画像データを保持する。インターフェース部１５０は、画像処理装置５０との間で制御信号やデータの送受を制御し、また表示装置３０との間で制御信号やデータの送受を制御する。

表示装置３０は、インターフェース部１５０を介して画像データを受け取りこれを表示する。さらに表示装置３０は、ユーザにより入力されたディスプレイ上の位置を検出する検出手段としてタッチパネルを含む。タッチパネルは、公知のように、静電容量変化などを測定することで、ユーザの指等が接触または接近した座標位置を検出する。検出された座標位置は、インターフェース部１５０を介して制御部１６０へ送信される。

撮像カメラ４０は、ＣＣＤやＣＭＯＳイメージセンサを用いて構成される。図３に示すように、撮像カメラ４０Ａは、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ１で撮像する。撮像カメラ４０Ｃ、４０Ｄは、車両のドアミラーから車両の側部を視野角θ２、θ３で撮像する。撮像カメラ４０Ｂは、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ４で撮像する。撮像カメラの視野角θ１、θ２、θ３、θ４は、隣接する撮像カメラの視野角と端部がオーバーラップし、撮像カメラ４０Ａ〜４０Ｄにより車両の全周囲を撮像できるようになっている。

図４は、画像処理装置５０の内部構成を示すブロック図である。画像処理装置５０は、撮像カメラ４０Ａ〜４０Ｄの撮像信号を入力し、これをディジタル信号に変換する入力部２００と、入力部２００からの画像データを受け取り、各撮像カメラ４０の視点方向で撮像された画像からサムネイル画像を生成するサムネイル画像生成部２１０と、入力部２００からの画像データを受け取り、サムネイル画像を拡大した拡大画像を生成する拡大画像生成部２２０と、入力部２００からの画像データを受け取り、自車の真上から見下ろすような俯瞰画像（トップビュー画像）を生成する俯瞰画像生成部２３０とを有する。各生成部２１０、２２０、２３０には、ナビゲーション装置２０からの制御信号Ｃ１、Ｃ２、Ｃ３が入力され、各生成部２１０、２２０、２３０は、制御信号Ｃ１、Ｃ２、Ｃ３に基づき画像を生成する。各生成部２１０、２２０、２３０で生成された画像データは、インターフェース部１５０を介してデータメモリ１４０へ転送される。各生成部２１０、２２０、２３０の処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。

サムネイル画像生成部２１０は、予め決められたサイズのサムネイル画像を生成する。サムネイルのサイズは、表示装置（ディスプレイ）３０の大きさ、道路地図画面の大きさ、そこに表示される自車位置マークの大きさ等に基づき決定される。好ましくは、自車位置マークを中心にその前後左右に４つのサムネイル画像が同時に表示できる大きさである。

拡大画像生成部２２０は、サムネイル画像を拡大するような拡大画像を生成する。拡大画像のサイズは、好ましくは、ディスプレイの画面と同等であることができるが、それよりも小さくサイズであってもよい。

俯瞰画像生成部２３０は、例えば図５に示すように、車両の前方のカメラ４０Ａで撮像された画像３００Ａ、車両の後方のカメラ４０Ｂで撮像された画像３００Ｂ、左右のカメラで撮像された画像信号３００Ｃ、３００Ｄを、基準点Ｏを基準に視点変換し、車両の真上から放射状に見下ろすように合成された画像を生成する。

図６は、図２に示したプログラムメモリ１３０に格納された撮像画像の表示のためのプログラムの機能ブロック図である。撮像画像表示プログラム３１０は、表示装置３０の表示状態を判定する表示状態判定部３２０と、ユーザ入力された位置から選択された対象を判定する入力判定部３３０と、表示状態判定部３２０および入力判定部３３０の各判定結果に基づき画像の切替を行う画像切替部３４０とを有する。

図７は、表示状態判定部３２０の判定動作を説明する図である。本実施例では、表示状態判定図３２０は、図７に示すような表示状態１ないし４のいずれかを判定する。すなわち、表示状態１は、ナビゲーション装置２０により自車位置周辺の道路地図が表示されている状態、表示状態２は、道路地図画面にサムネイル画像が合成して表示されている状態、表示状態３は、サムネイル画像の拡大画像が表示されている状態、表示状態４は、俯瞰画像が表示されている状態である。表示状態判定部３００は、画像の切替が行われたとき表示状態を判定しその内容を保持する。

入力判定部３３０は、表示状態１〜４に応じて、ユーザ入力により検出された座標位置に基づき、表示装置３０に表示されている画像のどの部分が選択されたのかを判定する。図８は、入力判定部の判定内容を説明するテーブルである。入力判定部３３０は、表示状態１のとき、ユーザ入力の座標位置により自車位置マークが選択されたか否かを判定する。表示状態２のとき、自車位置マーク、サムネイル画像、これらの画像以外のいずれが選択されたかを判定する。表示状態３のとき、拡大画像が選択されたか否かを判定し、表示状態４のとき、俯瞰画像が選択されたか否かを判定する。

画像切替部３３０は、表示状態判定部３２０の判定結果および入力判定部３３０の判定結果に基づき表示装置３０に表示すべき画像を決定し、また必要があれば画像の切替を行う。図９は、表示状態の判定結果、入力の判定結果、および切替画像の関係を説明するテーブルである。表示状態１において、すなわち道路地図が表示されたナビゲーション画面において自車位置マークが選択された場合には、道路地図画面の自車位置マークの周辺にサムネイル画像が表示される。表示状態２において、自車位置マークが選択された場合には、自車を真上から見下ろすような俯瞰画像が表示される。また、表示状態２において、サムネイル画像が選択された場合には、選択されたサムネイル画像の拡大画像が表示され、自車位置マークおよびサムネイル画像以外の領域が選択された場合には、元の道路地図を表したナビゲーション画面が表示される。表示状態３において、拡大画像が選択された場合には、サムネイル画像すなわち表示状態２に戻り、また表示状態４において、俯瞰画像が選択された場合には、サムネイル画像すなわち表示状態２に戻る。

次に、本発明の実施例の運転支援動作を図１０のフローチャート、および図１１の画面切替シーケンスを用いて説明する。先ず、自車の走行が開始されると、位置検出部１００によって自車位置が検出され、制御部１６０は、自車位置周辺の道路地図データを記憶部１２０から読み出し、表示装置３０に自車位置周辺の道路地図を表示させる（ステップＳ１０１）。道路地図画面は、図１１（ａ）に示されるように、道路地図上に自車位置を示す自車位置マークＭが合成して表示される。自車位置マークＭは、自車位置が一見して分かるようにするために道路地図上に合成して表示され、走行中の道路上に表示される。自車位置マークの形状、大きさ、色彩、点滅の有無等は、特に制限されるものではなく、自車位置を表すことができるマークであればよい。典型的に自車位置マークは、道路地図画面のほぼ中央に固定的に表示され、自車位置の変更に伴い道路地図がスクロールされる。道路地図画面は、ノースアップであってよいし、ヘディングアップであってもよい。また、目的地までのルートが探索されていれば、当該ルートが道路上に合成して表示され、そのルート案内が行われる。

自車の走行開始に伴い、前方、後方、左右の撮像カメラ４０も起動され、撮像カメラ４０からの撮像信号が画像処理装置５０へ提供される。画像処理装置５０の各生成部（図４を参照）は、入力された撮像信号に基づきサムネイル画像、拡大画像、俯瞰画像の生成を開始してもよいし、制御部１６０からの制御信号Ｃ１、Ｃ２、Ｃ３からの指示に応答してサムネイル画像、拡大画像、俯瞰画像を生成するようにしてもよい。

道路地図が表示されることで、表示状態判定部３２０は、表示装置３０が表示状態１であることを判定し、その判定結果を保持する。次いで、入力判定部３３０は、ユーザからの入力を監視し（ステップＳ１０２）、ユーザからの座標位置の入力があると、自車位置マークＭが選択されたか否かを判定する（ステップＳ１０３）。自車位置マークＭに対応する座標エリアが予め設定され、その座標エリアへの入力があったとき、自車位置マークＭが選択されたと判定される。

自車位置マークＭが選択された判定されると、画像切替部３４０は、図９のテーブルに示したように、道路地図画面上にサムネイル画像を合成して表示させる（ステップＳ１０４）。サムネイル画像は、各撮像カメラ４０Ａ〜４０Ｄの視点方向を撮像した画像であってこれを予め決められたサイズに縮小したものであり、道路地図画面には、サムネイル画像のウインドウが表示される。このサムネイル画像は、サムネイル画像生成部２１０により生成され、画像切替部３４０からの制御信号Ｃ１に基づき生成されるようにしてもよい。

図１１（ｂ）は、サムネイル画像の表示例を示している。図に示すように、サムネイル画像ＴＨ−Ａは、撮像カメラ４０Ａにより撮像された前方画像であり、自車位置マークＭの前方すなわち進行方向に表示され、このサムネイル画像ＴＨ−Ａの表示位置は、自車を真上から見たときの撮像カメラ４０Ａの位置に対応する。サムネイル画像ＴＨ−Ｂは、撮像カメラ４０Ｂにより撮像された後方画像であり、自車位置マークＭの後方に表示され、この表示位置は、撮像カメラ４０Ｂの位置に対応する。同様に、サムネイル画像ＴＨ−Ｃ、ＴＨ−Ｄは、撮像カメラ４０Ｃ、４０Ｄによって撮像された左右の側方画像であり、自車位置マークの左側および右側に表示され、これらの表示位置は、撮像カメラ４０Ｃ、４０Ｄの位置にそれぞれ対応する。

こうして自車位置マークＭの周囲に撮像カメラ４０の位置に対応したサムネイル画像のウインドウが合成して表示されるため、ユーザは、一見してサムネイル画像と自車位置との関係を容易に理解し、自車のどの方向の撮像画像かを認識する。

サムネイル画像に画面が切替えられたことで、表示状態判定部３２０は、表示状態を表示状態２に更新する（ステップＳ１０５）。引き続き、入力判定部３３０は、ユーザ入力を監視し、ユーザ入力があったとき（ステップＳ１０６）、ユーザ入力によって、自車位置マーク、サムネイル画像、それ以外の画像のいずれが選択されたかを判定する（図８を参照）。

入力判定部３３０により自車位置マークＭが選択されたと判定された場合（ステップＳ１０７）、画像切替部３４０は、表示状態２において自車位置マークＭが選択されたので、表示装置３０には俯瞰画像が表示される（ステップＳ１０８）。図１１（ｃ）は、俯瞰画像の表示例である。俯瞰画像は、表示装置３０の画面全体に拡大して表示されるようにしてもよいし、予め一定のサイズをもって道路地図上に合成して表示されるようにしてもよい。俯瞰画像は、俯瞰画像生成部２２０によって生成され、画像切替部３４０からの制御信号Ｃ３に応じて生成するようにすることができる。俯瞰画像が表示されたことで、表示状態判定部３２０は、表示状態を表示状態４に更新する。こうして、ユーザは、自車位置周辺に障害物等が存在するか否かの確認などを行うことができる。

一方、入力判定部３３０によりサムネイル画像が選択されたと判定された場合（ステップＳ１０９）、画像切替部３４０は、選択されたサムネイル画像の拡大画像を表示させる（ステップＳ１１０）。例えば、自車前方を撮像したサムネイル画像ＴＨ−Ａが選択された場合には、その拡大画像が表示され、左側方のサムネイル画像ＴＨ−Ｃが選択された場合には、その拡大画像が表示される。サムネイル画像の拡大画像は、拡大画像生成部２２０によって生成され、拡大画像の大きさは、表示装置３０のサイズ全体であってもよいし、一定のサイズで道路地図画面上に合成されてもよい。図１１（ｄ）は、サムネイル画像ＴＨ−Ｂが選択されたときのその拡大画像の表示例である。拡大画像が表示されたことで、表示状態判定部３２０は、表示状態を表示状態３に更新する。

さらに、入力判定部３３０により、サムネイル画像および自車位置マークＭでもない領域が選択されたと判定された場合(ステップＳ１１１)、画像切替部３４０は、表示状態１の道路地図画面を表示させる（ステップＳ１１２）。なお、表示状態３または表示状態４の状態で、入力判定部３３０により拡大画像または俯瞰画像が選択されたと判定された場合には、画像切替部３４０は、表示状態２の画像に画面を切替える。

このように本実施例の運転支援システムによれば、簡便かつ直感的な操作で必要な撮像カメラの視点の画像を表示することができる。また、撮像カメラの台数が増えても、同様の操作手法で対応することが可能である。

次に、本実施例の変形例について説明する。上記実施例では、表示状態２において自車位置マークＭが選択されたとき、表示状態４において俯瞰画像に切替える例を示したが、表示状態４において、どのような画像を表示させるかをユーザ設定できるようにしてもよい。ユーザ設定は、運転支援システムを動作させる前に初期設定として実行される。例えば、表示状態４において、俯瞰画像と、任意に選択した撮像カメラの拡大画像との組合せを表示させるようにしてもよい。図１２は、俯瞰画像と左側方の拡大画像とを組み合わせたものである。勿論、これ以外の任意の組合せであってもよく、俯瞰画像とサムネイル画像の組合せであってもよい。

また、上記実施例では、自車の前後左右に４つの撮像カメラを搭載した例を示したが、これ以外の撮像カメラの数であってもよい。例えば、自車の前方に３つの撮像カメラを搭載し（自車の左右のコーナーと中央を撮像）、自車の左右にそれぞれ２つの撮像カメラを搭載し、自車の後方に３つの撮像カメラと搭載し（自車の左右のコーナーと中央を撮像）、合計で８つの撮像カメラを備えるものであってもよい。この場合、サムネイル画像のウインドウ表示は、図１３に示すようになる。勿論、撮像カメラの数は、４つよりも少ない数であってもよく、例えば、自車の前方と後方の合計２つの撮像カメラであってもよいし、自車の前方のみ、あるいは自車の後方のみの１つの撮像カメラであっても良い。撮像カメラが１つの場合には、表示状態２から自車位置マークが選択されたことが判定されると、同様に俯瞰画像が表示されるが、俯瞰画像は、自車周辺の一部に限られることになる。

また、上記実施例では、道路地図画面がヘディングアップのときを示したが、ノースアップでもよい。この場合には、道路地図画面にて自車位置マークを選択すると、一時的に道路地図画面をヘディングアップに切り替えるとともに、自車位置マーク周辺にサムネイル画像を表示する、すなわち、図１１（ｂ）に示す画像を表示するようにしてもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。上記実施例では、ユーザ入力により自車位置マークが選択された場合に自車位置マークの周辺にサムネイル画像のウインドウを表示するようにしたが、サムネイル画像以外にも撮像カメラの視点方向により撮像された画像をそのまま表示するようにしてもよい。さらに運転支援システムは、ナビゲーション機能に加えて、オーディオ機能、ビデオ機能、通信機能などを備えた電子装置を含むものであってもよい。

１０：運転支援システム２０：ナビゲーション装置
３０：表示装置４０：撮像カメラ
５０：画像処理装置１００：位置検出部
１１０：入力部１２０：記憶部
１３０：プログラムメモリ１４０：データメモリ
１５０：インターフェース部２００：入力部
２１０：サムネイル画像生成部２２０：拡大画像生成部
２３０：俯瞰画像生成部３００Ａ：前方画像
３００Ｂ：後方画像３００Ｃ、３００Ｄ：側方画像
Ｍ：自車位置マークＣ１、Ｃ２、Ｃ３：制御信号

Claims

自車位置を検出する検出手段と、
タッチパネルを含むディスプレイと、
前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、
自車周辺を撮像する撮像手段と、
前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、
ユーザにより接触または接近された前記タッチパネル上の座標位置を検出する入力位置検出手段と、
前記表示手段を制御する表示制御手段とを含み、
前記画像処理手段は、前記撮像手段からの撮像信号に基づき予め決められたサイズのサムネイル画像、前記サムネイル画像を拡大した拡大画像、および自車を見下ろすような俯瞰画像を生成し、
前記表示制御手段は、前記表示手段によって道路地図が表示されているとき、前記入力位置検出手段の検出結果に基づき自車位置マークが選択されたか否かを判定し、自車位置マークが選択されたと判定した場合には、自車位置マークの前方、後方、左右のそれぞれの表示位置に、自車の前方、後方、左右を撮像したサムネイル画像を表示させ、
さらに表示制御手段は、前記サムネイル画像が表示されているとき、前記入力位置検出手段の検出結果に基づきサムネイル画像、自車位置マーク、前記サムネイル画像および前記自車位置マーク以外の領域のいずれかが選択されたか否かを判定し、前記サムネイル画像および前記自車位置マーク以外の領域が選択されたと判定した場合には、元の道路地図を表示させ、前方、後方、左右のいずれかのサムネイル画像が選択されたと判定した場合には、選択されたサムネイル画像に対応する拡大画像を表示させ、前記自車位置マークが選択されたと判定した場合には、前記俯瞰画像を表示させる、運転支援システム。
前記表示制御手段は、前記サムネイル画像が前記自車位置マークの周辺に表示されている状態で、前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、前記俯瞰画像と共に予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる、請求項１に記載の運転支援システム。
前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に前記サムネイル画像が表示された元の画面を表示させる、請求項１または２に記載の運転支援システム。
前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に前記サムネイル画像が表示された元の画面を表示させる、請求項１ないし３いずれか１つに記載の運転支援システム。
タッチパネルを用いたユーザ入力機能、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置における運転支援方法であって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択されたか否かを判定し、自車位置マークが選択された場合には、自車位置マークの前方、後方、左右のそれぞれの表示位置に、前記撮像手段により撮像された撮像信号に基づき生成された、自車の前方、後方、左右を撮像した予め決められたサイズのサムネイル画像を表示させ、
前記サムネイル画像が表示されているとき、ユーザ入力によりサムネイル画像、自車位置マーク、前記サムネイル画像および前記自車位置マーク以外の領域のいずれかが選択されたか否かを判定し、
前記サムネイル画像および前記自車位置マーク以外の領域が選択されたと判定した場合には、道路地図を表示させ、前方、後方、左右のいずれかのサムネイル画像が選択されたと判定した場合には、選択されたサムネイル画像に対応する拡大画像を表示させ、前記自車位置マークが選択されたと判定した場合には、自車を見下ろすような俯瞰画像を表示させる、運転支援方法。
タッチパネルを用いたユーザ入力機能、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行する運転支援プログラムであって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択されたか否かを判定し、自車位置マークが選択された場合には、自車位置マークの前方、後方、左右のそれぞれの表示位置に、前記撮像手段により撮像された撮像信号に基づき生成された、自車の前方、後方、左右を撮像した予め決められたサイズのサムネイル画像を表示させ、
前記サムネイル画像が表示されているとき、ユーザ入力によりサムネイル画像、自車位置マーク、前記サムネイル画像および前記自車位置マーク以外の領域のいずれかが選択されたか否かを判定し、
前記サムネイル画像および前記自車位置マーク以外の領域が選択されたと判定した場合には、道路地図を表示させ、前方、後方、左右のいずれかのサムネイル画像が選択されたと判定した場合には、選択されたサムネイル画像に対応する拡大画像を表示させ、前記自車位置マークが選択されたと判定した場合には、自車を見下ろすような俯瞰画像を表示させる、運転支援プログラム。