JP4959812B2 - ナビゲーション装置 - Google Patents

Description

この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像を用いて案内する技術に関する。

従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた実写映像の上に、ＣＧ（Computer Graphics）によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている（例えば、特許文献１参照）。

また、同様の技術として、特許文献２は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献２には、実写映像を用いた交差点で経路を誘導する際に、誘導する道路に沿って矢印を表示する技術が開示されている。

特許第２９１５５０８号公報 特開平１１−１０８６８４号公報

一般に、運転を行う際には、自車から見える範囲だけでなく、自車周辺の道路形状を把握することができれば、迂回または経路の修正が可能となるため運転行動に余裕が生まれ、より安全な運転が可能になる。しかしながら、特許文献１および特許文献２に開示された技術では、実写映像を用いて経路誘導を行うので、前方の状況を詳しく知ることはできるが、自車周辺の道路形状を知ることができない。そこで、自車周辺の道路形状を知ることができるようにして、より安全な運転が可能になるカーナビゲーション装置の開発が望まれている。

この発明は、上述した要請に応えるためになされたものであり、その課題は、より安全な運転を可能にできるナビゲーション装置を提供することにある。

この発明に係るナビゲーション装置は、上記課題を解決するために、地図データを保持する地図データベースと、現在位置および方位を計測する位置方位計測部と、位置方位計測部で計測された位置の周辺の地図データを地図データベースから取得し、該地図データから道路データを収集する道路データ収集部と、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、映像取得部で取得された映像に、透視変換を用いて、道路データ収集部で収集された道路データによって示される道路の図を重畳させた映像を生成する映像合成処理部と、映像合成処理部で生成された映像を表示する表示部を備え、映像合成処理部は、映像取得部で取得された映像に、道路データ収集部で収集された道路データによって示される道路の図を、該道路データに含まれる道路の重要性に応じた輝度または透過度に変更して重畳させた映像を生成することを特徴とするものである。

この発明に係るナビゲーション装置によれば、表示部に、カメラで撮影した前方の映像を表示する際に、現在位置の周辺の道路の図を道路の重要性に応じた輝度または透過度に変更して、重畳して表示するように構成したので、運転者は、自車周辺の見えない位置にある道路状況を知ることができ、より安全な運転が可能になる。また、自車周辺の道路の存在に加え、道路の情報も一目で知ることが可能になる。

この発明の実施の形態１に係るカーナビゲーション装置の構成を示すブロック図である。 この発明の実施の形態１に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。 この発明の実施の形態１に係るカーナビゲーション装置において実写映像に道路を合成する前後の映像の例を示す図である。 この発明の実施の形態１に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。 この発明の実施の形態１に係るカーナビゲーション装置において使用されるコンテンツの種類を説明するための図である。 この発明の実施の形態２に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。 この発明の実施の形態２に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理における統廃合を説明するための図である。 この発明の実施の形態３に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。 この発明の実施の形態４に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。 この発明の実施の形態５に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。 この発明の実施の形態５に係るカーナビゲーション装置において実写映像に交差点が合成された映像の例を示す図である。 この発明の実施の形態６に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。 この発明の実施の形態６に係るカーナビゲーション装置において実写映像の道路が強調された映像の例を示す図である。 この発明の実施の形態６に係るカーナビゲーション装置において実写映像の道路が強調された映像の他の例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について添付した図に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るナビゲーション装置、特に車に適用したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、ＧＰＳ（Global Positioning System）レシーバ１、車速センサ２、方位センサ３、位置方位計測部４、地図データベース５、入力操作部６、カメラ７、映像取得部８、ナビゲーション制御部９および表示部１０を備えている。

ＧＰＳレシーバ１は、複数の衛星からの電波を受信することにより自車位置を計測する。このＧＰＳレシーバ１で計測された自車位置は、自車位置信号として位置方位計測部４に送られる。車速センサ２は、自車の速度を逐次計測する。この車速センサ２は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ２で計測された自車の速度は、車速信号として位置方位計測部４に送られる。方位センサ３は、自車の進行方向を逐次計測する。この方位センサ３で計測された自車の進行方位（以下、単に「方位」という）は、方位信号として位置方位計測部４に送られる。

位置方位計測部４は、ＧＰＳレシーバ１から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、ＧＰＳレシーバ１からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化したりするため、車速センサ２からの車速信号および方位センサ３からの方位信号を用いた自律航法を利用して自車位置を計測し、ＧＰＳレシーバ１による計測を補う処理を実行する。

位置方位計測部４で計測された自車の現在位置および方位は、上述したように、ＧＰＳレシーバ１の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部４は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース５から取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部９に送られる。

地図データベース５は、道路の位置、道路の種別（高速道路、有料道路、一般道路または細街路など）、道路に関する規制（速度制限または一方通行など）または交差点近傍のレーン情報といった道路データの他、道路周辺の施設の情報などを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現し、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに３つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース５に保持されている地図データは、上述したように位置方位計測部４によって読み出される他、ナビゲーション制御部９によって読み出される。

入力操作部６は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも１つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部６の操作によって発生されたデータは、操作データとしてナビゲーション制御部９に送られる。

カメラ７は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも１つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ７で撮影することにより得られた映像信号は、映像取得部８に送られる。

映像取得部８は、カメラ７から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部８における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部９に送られる。

ナビゲーション制御部９は、入力操作部６から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部６から入力された条件にマッチした施設の検索といったデータ処理を実行する。

また、ナビゲーション制御部９は、地図データベース５から読み出した地図データに基づき生成した地図、映像取得部８から取得した映像データによって示される映像または自己の内部の映像合成処理部１４（詳細は後述する）で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部９の詳細は後述する。ナビゲーション制御部９における種々の処理によって生成された表示データは、表示部１０に送られる。

表示部１０は、例えばＬＣＤ（Liquid Crystal Display）から構成されており、ナビゲーション制御部９から送られてくる表示データにしたがって、地図および／または実写映像などを画面に表示する。

次に、ナビゲーション制御部９の詳細を説明する。ナビゲーション制御部９は、目的地設定部１１、経路計算部１２、案内表示生成部１３、映像合成処理部１４、表示決定部１５および道路データ収集部１６を備えている。なお、図１においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。

目的地設定部１１は、入力操作部６から送られてくる操作データにしたがって目的地を設定する。この目的地設定部１１で設定された目的地は、目的地データとして経路計算部１２に送られる。

経路計算部１２は、目的地設定部１１から送られてくる目的地データ、位置方位計測部４から送られてくる自車位置方位データ、および、地図データベース５から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部１２で計算された誘導経路は、誘導経路データとして表示決定部１５に送られる。

案内表示生成部１３は、表示決定部１５からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図（以下、「地図案内図」という）を生成する。この案内表示生成部１３で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、３次元ＣＧを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部１３で生成された地図案内図は、地図案内図データとして表示決定部１５に送られる。

映像合成処理部１４は、表示決定部１５からの指示に応じて、実写映像を用いた案内図（以下、「実写案内図」という）を生成する。例えば、映像合成処理部１４は、地図データベース５から、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部８から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど（以下、「コンテンツ」という）を重ね合わせた実写案内図を生成する。

また、映像合成処理部１４は、映像取得部８で取得された実写映像に、道路データ収集部１６で収集された道路データによって示される道路の図を重畳させた実写案内図を生成する。この映像合成処理部１４で生成された実写案内図は、実写案内図データとして表示決定部１５に送られる。

表示決定部１５は、上述したように、案内表示生成部１３に対して地図案内図の生成を指示するとともに、映像合成処理部１４に対して実写案内図の生成を指示する。また、表示決定部１５は、位置方位計測部４から送られてくる自車位置方位データ、地図データベース５から読み出した自車周辺の地図データ、入力操作部６から送られてくる操作データ、案内表示生成部１３から送られてくる地図案内図データおよび映像合成処理部１４から送られてくる実写案内図データに基づき表示部１０の画面に表示する内容を決定する。この表示決定部１５において決定された表示内容に対応するデータは、表示データとして表示部１０に送られる。

これにより、表示部１０には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部６のメニューボタンが押されている場合はメニューが表示され、入力操作部６によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。

また、表示部１０の画面に表示する案内図は、例えば案内表示生成部１３で生成された地図案内図（例えば平面地図）を画面の左側に配置し、映像合成処理部１４で生成された実写案内図（例えば実写映像を用いた交差点拡大図）を画面の右側に配置するというように、実写案内図と地図案内図とを１つの画面内に同時に表示するように構成できる。

道路データ収集部１６は、映像合成処理部１４からの指示に応答して、地図データベース５から、位置方位計測部４から送られてくる位置方位データによって示される自車位置の周辺の道路データ（道路リンク）を収集する。この道路データ収集部１６によって収集された道路データは、映像合成処理部１４に送られる。

次に、上記のように構成される、この発明の実施の形態１に係るカーナビゲーション装置の動作を、映像合成処理部１４で行われる映像合成処理を中心に、図２に示すフローチャートを参照しながら説明する。

映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。すなわち、映像合成処理部１４は、位置方位計測部４から自車位置方位データを取得するとともに、その時点において映像取得部８で生成された映像データを取得する。このステップＳＴ１１で取得される映像データによって示される映像は、例えば図３（ａ）に示すような実写映像である。

次いで、コンテンツ生成が行われる（ステップＳＴ１２）。すなわち、映像合成処理部１４は、地図データベース５から自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報は、誘導する経路、自車周辺の道路ネットワーク、ランドマーク、交差点などユーザに提示したいコンテンツが、図形、文字列またはイメージとそれを表示すべき座標値の集合として表現される。この座標値は、例えば、緯度および経度のように地上で一意に決定されるような座標系（以下、「基準座標系」と呼ぶ）で与えられる。そして、図形であれば、各頂点の基準座標系での座標、文字列またはイメージであれば、それが表示される基準となる座標が与えられる。

また、映像合成処理部１４は、道路データ収集部１６で収集された道路データを取得し、コンテンツ情報として追加する。このステップＳＴ１２において、ユーザに提示したいコンテンツと、その総数ａが確定する。このステップＳＴ１２で行われるコンテンツ生成処理については、後にさらに詳細に説明する。

次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツの総数ａを取得する。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容ｉが「１」に設定される。なお、カウンタは、映像合成処理部１４の内部に設けられている。

次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）、具体的には、映像合成処理部１４は、カウンタの内容である合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなったかどうかを調べる。このステップＳＴ１５において、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなったことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部１５に送られる。

一方、ステップＳＴ１５において、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツ情報のうちのｉ番目のコンテンツ情報を取得する。

次いで、透視変換によるコンテンツ情報の映像上の位置が計算される（ステップＳＴ１７）。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した自車位置方位（基準座標系における自車の位置方位）、カメラ７の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ７の固有値を使用し、ステップＳＴ１１で取得した映像上のコンテンツを表示すべき基準座標系における位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。

次いで、映像合成処理が行われる（ステップＳＴ１８）。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した映像上の、ステップＳＴ１７で計算された位置に、ステップＳＴ１６で取得したコンテンツ情報によって示された図形、文字列またはイメージなどを描画する。これにより、図３（ｂ）に示すように、実写映像に道路の図が重畳された映像が生成される。

次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ１９）。すなわち、映像合成処理部１４は、カウンタの内容ｉをインクリメントする。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。

次に、上述した映像合成処理のステップＳＴ１２で行われるコンテンツ生成処理の詳細を、図４に示すフローチャートを参照しながら説明する。

コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される（ステップＳＴ２１）。すなわち、映像合成処理部１４は、例えば自車を中心とする半径５０ｍの円形、または、自車から前方５０ｍ、左右１０ｍの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。

次いで、収集するコンテンツの種類が決定される（ステップＳＴ２２）。収集するコンテンツの種類は、例えば図５に示すように、案内する状況に応じて変化する。映像合成処理部１４は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。

次いで、コンテンツの収集が行われる（ステップＳＴ２３）。すなわち、映像合成処理部１４は、ステップＳＴ２１で決定された範囲内に存在するコンテンツであって、ステップＳＴ２２で決定された種類のコンテンツを、地図データベース５または他の処理部などから収集する。

次いで、道路データを収集する範囲が決定される（ステップＳＴ２４）。すなわち、映像合成処理部１４は、例えば自車を中心とする半径５０ｍの円形、または、自車から前方５０ｍ、左右１０ｍの矩形といった範囲を、道路データを収集する範囲と定め、その範囲を道路データ収集部１６に指示する。この道路データを収集する範囲は、ステップＳＴ２１で決定されたコンテンツを収集する範囲と同じであってもよいし、異なる範囲であってもよい。

次いで、道路データが収集される（ステップＳＴ２５）。すなわち、道路データ収集部１６は、映像合成処理部１４からの指示に応答して、ステップＳＴ２４で決定された道路データを収集する範囲内に存在する道路データを収集し、映像合成処理部１４に送る。

次いで、道路データがコンテンツに追加される（ステップＳＴ２６）。すなわち、映像合成処理部１４は、ステップＳＴ２５で収集した道路データをコンテンツに加える。以上により、コンテンツ生成処理は終了し、シーケンスは、映像合成処理に戻る。

なお、上述した映像合成処理部１４では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。

以上説明したように、この発明の実施の形態１に係るカーナビゲーション装置によれば、表示部１０の画面内に、カメラ７で撮影した自車周辺の実写映像を表示する際に、自車周辺の道路の図を重畳して表示するように構成したので、運転者は、自車周辺の見えない位置にある道路形状を知ることができ、より安全な運転が可能になる。

実施の形態２．
この発明の実施の形態２に係るカーナビゲーション装置の構成は、映像合成処理部１４の機能を除き、図１に示した実施の形態１に係るカーナビゲーション装置の構成と同じである。映像合成処理部１４は、映像取得部８で取得された実写映像に、道路データ収集部１６で収集された道路データ（以下、「収集道路データ」という）から、高架道路の除去または道路の統合などを行った後の道路データ（以下、「統廃合後道路データ」という）、換言すれば、最終的な描画に使用される道路データによって示される道路を重畳させた実写案内図を生成する。

また、実施の形態２に係るカーナビゲーション装置で行われる映像合成処理は、ステップＳＴ１２で行われるコンテンツ生成処理を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態１と相違するコンテンツ生成処理の詳細を、高架道路のような道路に接続されていない道路を除去する処理を例に挙げて、図６に示すフローチャートを参照しながら説明する。なお、図４のフローチャートに示した実施の形態１に係るカーナビゲーション装置のコンテンツ生成処理と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。

コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される（ステップＳＴ２１）。次いで、収集するコンテンツの種類が決定される（ステップＳＴ２２）。次いで、コンテンツの収集が行われる（ステップＳＴ２３）。次いで、道路データを収集する範囲が決定される（ステップＳＴ２４）。次いで、道路データが収集される（ステップＳＴ２５）。

次いで、現在走行中の道路データが統廃合後データとされる（ステップＳＴ３１）。すなわち、映像合成処理部１４は、自車が現在走行中の道路に対応する道路データを、統廃合後道路データとする。

次いで、統廃合後道路データ内の道路データと接続される道路データを探す処理が行われる（ステップＳＴ３２）。すなわち、映像合成処理部１４は、統廃合後道路データに接続されている道路データを、収集道路データから探す。ここで、「接続されている」とは、２つの道路データにおいて、端点の片方が同一であることを意味する。

次いで、接続する道路データが存在するかどうかが調べられる（ステップＳＴ３３）。このステップＳＴ３３において、接続する道路データが存在することが判断されると、接続する道路データが統廃合後道路データに移される（ステップＳＴ３４）。すなわち、映像合成処理部１４は、ステップＳＴ３２で見つかった道路データを、収集道路データから削除し、統廃合後道路データに加える。その後、シーケンスはステップＳＴ３２に戻り、上述した処理が繰り返される。

ステップＳＴ３３において、接続する道路データが存在しないことが判断されると、統廃合後道路データがコンテンツに追加される（ステップＳＴ３５）。これにより、映像合成処理において、統廃合後道路データによって示される道路の図のみが、換言すれば、高架道路のような走行中の道路に接続されていない道路を除く走行可能な道路のみが実写映像に重畳される。その後、コンテンツ生成処理は終了する。

なお、上述したコンテンツ生成処理では、高架道路のような道路に接続していない道路を除去するという条件下での処理についてのみ説明したが、それ以外の条件下、例えば図７（ａ）に示すような、中央分離帯が存在するために道路データが複数に分割されているときに、これらを統合するように構成することもできる。今、道路データに基づく道路を全部描画すると、図７（ｂ）に示すように全ての道路の図が描画されるが、例えば案内に必要な道路のみを描画するように統廃合すると、図７（ｃ）に示すような道路の図が描画され、中央分離帯を統合すると、図７（ｄ）に示すような走行中の道路とその延長および脇道の図みが描画され、交差点で曲がった先のみ描画するように統廃合すると、図７（ｅ）に示すように、交差点で曲がった先の道路の図のみが描画される。

以上説明したように、この発明の実施の形態２に係るカーナビゲーション装置によれば、例えば、道路が中央分離帯で分割されている場合には上りと下りで別の道路データが存在するが、これらの道路データを統合して１本の道路として描画し、または、高架などで通過できない道路データは描画しないように構成したので、一般の地図と同様の道路表示を行うことができる。

実施の形態３．
この発明の実施の形態３に係るカーナビゲーション装置の構成は、道路データ収集部１６の機能を除き、図１に示した実施の形態１に係るカーナビゲーション装置の構成と同じである。道路データ収集部１６は、自車の速度に応じて、道路データを収集する範囲を変更する。

また、実施の形態３に係るカーナビゲーション装置で行われる映像合成処理は、ステップＳＴ１２で行われるコンテンツ生成処理を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態１と相違するコンテンツ生成処理の詳細を、図８に示すフローチャートを参照しながら説明する。なお、上述した実施の形態１または実施の形態２に係るカーナビゲーション装置のコンテンツ生成処理と同じ処理を行うステップには、実施の形態１または実施の形態２で使用した符号と同じ符号を付して説明を簡略化する。

コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される（ステップＳＴ２１）。次いで、収集するコンテンツの種類が決定される（ステップＳＴ２２）。次いで、コンテンツの収集が行われる（ステップＳＴ２３）。次いで、道路データを収集する範囲が決定される（ステップＳＴ２４）。

次いで、車速が所定の閾値ｖ［ｋｍ／ｈ］より大きいかどうかが調べられる（ステップＳＴ４１）。すなわち、映像合成処理部１４は、車速センサ２から得られる車速信号によって示される車速が、所定の閾値ｖ［ｋｍ／ｈ］より大きいかどうかを調べる。ここで、閾値ｖ［ｋｍ／ｈ］は、ナビゲーション装置の製作者があらかじめ定めておくように構成できるし、ユーザが任意に変更できるように構成することもできる。

このステップＳＴ４１において、車速が所定の閾値ｖ［ｋｍ／ｈ］より大きいことが判断されると、コンテンツを収集する範囲が縦長にされる（ステップＳＴ４２）。すなわち、映像合成処理部１４は、ステップＳＴ２４で決定された道路データを収集する範囲を、自車の進行方向に２倍に拡大し、その範囲を道路データ収集部１６に指示する。なお、道路データを収集する範囲の拡大方法としては、例えば自車の進行方向に１０ｍ分拡大するというように、任意の距離だけ拡大する方法を用いることもできる。また、道路データを収集する範囲の拡大方法および拡大率は、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。また、自車の進行方向を拡大する代わりに、自車の左右方向の幅を狭める方法を用いることもできる。その後、シーケンスはステップＳＴ４４に進む。

一方、ステップＳＴ４１において、車速が所定の閾値ｖ［ｋｍ／ｈ］より大きくないことが判断されると、コンテンツを収集する範囲が横長にされる（ステップＳＴ４３）。すなわち、映像合成処理部１４は、ステップＳＴ２４で決定された道路データを収集する範囲を、自車の左右方向に２倍に拡大し、その範囲を道路データ収集部１６に指示する。なお、道路データを収集する範囲の拡大方法としては、例えば自車の左右方向に１０ｍ分拡大するというように、任意の距離だけ拡大する方法を用いることもできる。また、道路データを収集する範囲の拡大方法および拡大率は、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。その後、シーケンスはステップＳＴ４４に進む。

ステップＳＴ４４では、道路データが収集される。すなわち、道路データ収集部１６は、ステップＳＴ４２またはステップＳＴ４３で拡大された範囲内に存在する道路データを収集し、映像合成処理部１４に送る。

次いで、表示する案内の種類が調べられる（ステップＳＴ４５）。このステップＳＴ４５において、表示する案内が「交差点誘導案内」であることが判断されると、交差点までの経路と交差点を曲がった先の経路が選択される（ステップＳＴ４６）。すなわち、映像合成処理部１４は、ステップＳＴ４４で収集した道路データをフィルタリングして、自車から交差点までの経路に対応する道路データと、交差点を曲がった先の道路データのみを選択する。その後、シーケンスはステップＳＴ４８に進む。

上記ステップＳＴ４５において、表示する案内が「料金所案内」であることが判断されると、料金所までの経路が選択される（ステップＳＴ４７）。すなわち、映像合成処理部１４は、ステップＳＴ４４で収集した道路データをフィルタリングして、自車から料金所までの経路に対応する道路データのみを選択する。その後、シーケンスはステップＳＴ４８に進む。

上記ステップＳＴ４５において、表示する案内が「交差点誘導案内」および「料金所案内」以外であることが判断されると、経路の選択は行われず、シーケンスはステップＳＴ４８に進む。ステップＳＴ４８においては、ステップＳＴ４４、ＳＴ４６およびＳＴ４７で選択された道路データがコンテンツに追加される。その後、コンテンツ生成処理は終了する。

なお、上述したコンテンツ生成処理では、実施の形態２に係るカーナビゲーション装置で行われる処理、つまり道路データを実際の道路に合わせて統廃合する処理は行っていないが、上述した実施の形態３に係るカーナビゲーション装置におけるコンテンツ生成処理は、この統廃合する処理と組み合わせて実行するように構成することもできる。

以上説明したように、この発明の実施の形態３に係るカーナビゲーション装置によれば、例えば、車速が速い時は進行方向に広範囲で道路データを描画し、車速が遅い時は左右に広範囲に描画するように構成できるので、運転に必要な道路のみを表示することができ、不要な道路表示を抑制することができる。

実施の形態４．
この発明の実施の形態４に係るカーナビゲーション装置の構成は、映像合成処理部１４の機能を除き、図１に示した実施の形態１に係るカーナビゲーション装置の構成と同じである。映像合成処理部１４の機能は、以下において詳細に説明する。

また、実施の形態４に係るカーナビゲーション装置の映像合成処理部１４で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態１と相違する部分を中心に、図９に示すフローチャートを参照しながら説明する。なお、実施の形態１に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。

映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。このステップＳＴ１２で実行されるコンテンツ生成処理としては、実施の形態１に係るコンテンツ生成処理（図４参照）に限らず、実施の形態２に係るコンテンツ生成処理（図６参照）または実施の形態３に係るコンテンツ生成処理（図８参照）を用いることができる。

次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部１５に送られる。

一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、コンテンツが道路データであるかどうかが調べられる（ステップＳＴ５１）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツが道路データであるかどうかを調べる。このステップＳＴ５１において、コンテンツが道路データでないことが判断されると、シーケンスはステップＳＴ１７に進む。

一方、ステップＳＴ５１において、コンテンツが道路データであることが判断されると、次いで、車線数ｎが取得される（ステップＳＴ５２）。すなわち、映像合成処理部１４は、ステップＳＴ１６でコンテンツ情報として取得した道路データから車線数ｎを取得する。次いで、描画する道路データの幅が決定される（ステップＳＴ５３）。すなわち、映像合成処理部１４は、ステップＳＴ５２で取得した車線数ｎに応じて描画する道路の幅を決定する。例えば、描画する道路の幅＝ｎ×１０［ｃｍ］、というように決定する。なお、描画する道路の幅の決定方法は、上記に限定するものではなく、道路の幅の値を非線形に変化させたり、ユーザが定めた値に変化させたりするように構成することもできる。その後、シーケンスはステップＳＴ１７に進む。

ステップＳＴ１７においては、透視変換によるコンテンツ情報の映像上の位置が計算される。次いで、映像合成処理が行われる（ステップＳＴ１８）。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ１９）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。

なお、上述した例では、道路の属性の１つである車線数に応じて描画する道路幅を変更するように構成したが、道路の他の属性（幅、種別、重要性など）に応じて描画する道路の表示形態（幅、色、輝度、透過度など）を変更するように構成することもできる。

以上説明したように、この発明の実施の形態４に係るカーナビゲーション装置によれば、道路の属性（幅、車線数、種別または重要性など）に応じて道路の表示形態（幅、色、輝度または透過度など）を変更するように構成したので、例えば、一方通行で入れない道路は色を変更して表示するように構成したので、運転者は自車周辺の道路の存在に加え、道路の情報も一目で知ることができる。

実施の形態５．
この発明の実施の形態５に係るカーナビゲーション装置の構成は、映像合成処理部１４の機能を除き、図１に示した実施の形態１に係るカーナビゲーション装置の構成と同じである。映像合成処理部１４の機能は、以下において詳細に説明する。

また、実施の形態５に係るカーナビゲーション装置の映像合成処理部１４で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態１と相違する部分を中心に、図１０に示すフローチャートを参照しながら説明する。なお、実施の形態４に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態４で使用した符号と同じ符号を付して説明を簡略化する。

映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。このステップＳＴ１２で実行されるコンテンツ生成処理としては、実施の形態１に係るコンテンツ生成処理（図４参照）に限らず、実施の形態２に係るコンテンツ生成処理（図６参照）または実施の形態３に係るコンテンツ生成処理（図８参照）を用いることができる。

次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）、このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部１５に送られる。

一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、コンテンツが道路データであるかどうかが調べられる（ステップＳＴ５１）。このステップＳＴ５１において、コンテンツが道路データでないことが判断されると、シーケンスはステップＳＴ１７に進む。

一方、ステップＳＴ５１において、コンテンツが道路データであることが判断されると、次いで、道路データの端点が取得される（ステップＳＴ６１）。すなわち、映像合成処理部１４は、ステップＳＴ１６で取得された道路データの端点を取得する。その後、シーケンスはステップＳＴ１７に進む。

ステップＳＴ１７においては、透視変換によるコンテンツ情報の映像上の位置が計算される。このステップＳＴ１７においては、映像合成処理部１４は、道路データに関しては、ステップＳＴ６１で取得した端点の映像上における位置計算を実行する。次いで、映像合成処理が行われる（ステップＳＴ１８）。このステップＳＴ１８においては、映像合成処理部１４は、道路データに関しては、ステップＳＴ１７で計算された端点の描画を行う。これにより、図１１に示すように、交差点が所定の図形で描画される。なお、交差点の図形に色彩を付するように構成することもできる。また、ステップＳＴ１８においては、端点の描画だけでなく、道路を同時に描画するように構成できる。次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ１９）。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。

なお、上述した例では、道路を描画する際に、端点のみ、または端点と道路の描画を行うように構成したが、実施の形態４に係るカーナビゲーション装置と類似の方法で、道路の属性（幅、車線数、種別または重要性など）に応じて道路の表示形態（幅、色、格子パターンなどの模様、輝度または透過度など）および／または端点の属性（大きさ、色、格子パターンなどの模様、輝度または透過度など）を変更する処理を行うように構成することもできる。

以上説明したように、この発明の実施の形態５に係るカーナビゲーション装置によれば、道路の交点（交差点）を所定の図形で描画できるので、交差点が明示され、道路の把握が容易になる。

実施の形態６．
この発明の実施の形態６に係るカーナビゲーション装置の構成は、映像合成処理部１４の機能を除き、図１に示した実施の形態１に係るカーナビゲーション装置の構成と同じである。映像合成処理部１４の機能は、以下において詳細に説明する。

また、実施の形態６に係るカーナビゲーション装置の映像合成処理部１４で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図２に示した実施の形態１に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態１と相違する部分を中心に、図１２に示すフローチャートを参照しながら説明する。なお、実施の形態４に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態４で使用した符号と同じ符号を付して説明を簡略化する。

映像合成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。次いで、コンテンツ生成が行われる（ステップＳＴ１２）。このステップＳＴ１２で実行されるコンテンツ生成処理としては、実施の形態１に係るコンテンツ生成処理（図４参照）に限らず、実施の形態２に係るコンテンツ生成処理（図６参照）または実施の形態３に係るコンテンツ生成処理（図８参照）を用いることができる。

次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ１４）。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）、このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部１５に送られる。

一方、ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。次いで、コンテンツが道路データであるかどうかが調べられる（ステップＳＴ５１）。このステップＳＴ５１において、コンテンツが道路データでないことが判断されると、シーケンスはステップＳＴ１７に進む。

一方、ステップＳＴ５１において、コンテンツが道路データであることが判断されると、次いで、道路データの幅情報が取得される（ステップＳＴ７１）。すなわち、映像合成処理部１４は、ステップＳＴ１６で取得された道路データ（道路リンク）から幅情報を取得する。通常、道路リンクには幅情報が含まれているので、その幅情報が取得される。なお、道路リンクに幅情報が含まれていない場合は、車線数情報から、例えば、幅＝車線数×２［ｍ］、というように間接的に算出するか、幅に関連する情報が全く存在しない場合は、一律に例えば３［ｍ］のように概算で定めることができる。

次いで、道路データの形状が決定される（ステップＳＴ７２）。すなわち、映像合成処理部１４は、ステップＳＴ７１で取得した幅情報を用いて、描画する道路の形状を決定する。この道路の形状は、例えば、道路の端点間の距離×幅の矩形とすることができる。なお、道路の形状は２次元の図形である必要はなく、道路の端点間の距離×幅×幅の直方体といった３次元図形とすることもできる。その後、シーケンスはステップＳＴ１７に進む。

ステップＳＴ１７においては、透視変換によるコンテンツ情報の映像上の位置が計算される。このステップＳＴ１７においては、映像合成処理部１４は、道路データに関しては、ステップＳＴ７２で決定された形状の頂点の映像上の位置計算を実行する。次いで、映像合成処理が行われる（ステップＳＴ１８）。このステップＳＴ１８においては、映像合成処理部１４は、道路データに関しては、ステップＳＴ７２で決定された形状の描画を行う。これにより、図１３−１（ａ）に示すように、道路の部分のみがＣＧで上書きされた実写映像が描画される。なお、図１３−１（ｂ）に示すように、ステップＳＴ７２で決定された形状の輪郭を縁取り、各面は透明に描画するように構成することもできる。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。

なお、上記の説明では実写映像の上に道路を描画しているが、エッジ抽出やパターンマッチングなどの画像認識技術を用いて実写映像内の車両・歩行者・ガードレール・街路樹などの道路（歩道）上に存在する物体を認識し、認識した物体の上には道路を描画しないといった処理を行ってもよい。この処理を行った場合は、例えば図１３−２（ｃ）、図１３−２（ｄ）のような表示データが得られる。

以上説明したように、この発明の実施の形態６に係るカーナビゲーション装置によれば、実写映像上の道路がＣＧで上書きされて強調されるので、運転者は自車周囲の道路を容易に知ることができる。また、実写映像上の道路をＣＧで上書きする代わりに道路の輪郭を表示する場合は、運転者は自車周囲の道路を容易に知ることができるとともに、道路面が覆い隠されないので運転の邪魔にならず、ユーザは道路面を容易に評価することができる。

また、実写映像上の道路に上書きまたは輪郭を表示するときに、車速に応じて範囲を変更することができるので、運転に必要な道路のみを表示し、不要な道路表示を抑制することができる。さらに、実写映像上の道路に上書きまたは輪郭を表示するときに、道路の属性に応じて上書きまたは輪郭の表示形態を変更することができるので、運転に必要な道路のみを表示し、不要な道路表示を抑制することができる。

なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したが、この発明に係るナビゲーション装置は、カメラを有する携帯電話機、飛行機等の移動体に対しても同様に適用することができる。

以上のように、この発明に係るナビゲーション装置は、表示部に、カメラで撮影した前方の映像を表示する際に、現在位置の周辺の道路の図を重畳して表示するように構成したので、カーナビゲーション装置などに用いるのに適している。

Claims (6)

1. 地図データを保持する地図データベースと、
   現在位置および方位を計測する位置方位計測部と、
   前記位置方位計測部で計測された位置の周辺の地図データを前記地図データベースから取得し、該地図データから道路データを収集する道路データ収集部と、
   前方を撮影するカメラと、
   前記カメラで撮影された前方の映像を取得する映像取得部と、
   前記映像取得部で取得された映像に、透視変換を用いて、前記道路データ収集部で収集された道路データによって示される道路の図を重畳させた映像を生成する映像合成処理部と、
   前記映像合成処理部で生成された映像を表示する表示部とを備え、
   前記映像合成処理部は、前記映像取得部で取得された映像に、前記道路データ収集部で収集された道路データによって示される道路の図を、該道路データに含まれる道路の重要性に応じた輝度または透過度に変更して重畳させた映像を生成する
   ことを特徴とするナビゲーション装置。
2. 映像合成処理部は、映像取得部で取得された映像に、道路データ収集部で収集された道路データを所定の条件下で統廃合し、統廃合後の道路データによって示される道路の図を重畳させた映像を生成する
   ことを特徴とする請求項１記載のナビゲーション装置。
3. 車速を計測する車速センサを備え、
   道路データ収集部は、前記車速センサで計測された車速に応じて、地図データベースに保持されている地図データから道路データを収集する範囲を変更する
   ことを特徴とする請求項１記載のナビゲーション装置。
4. 映像合成処理部は、映像取得部で取得された映像に、道路データ収集部で収集された道路データによって示される道路の図を、該道路の交点を所定の表示形態に変更して重畳させた映像を生成する
   ことを特徴とする請求項１記載のナビゲーション装置。
5. 映像合成処理部は、映像取得部で取得された映像に、道路データ収集部で収集された道路データによって示される道路の図を、コンピュータグラフィックスで描画して重畳させた映像を生成する
   ことを特徴とする請求項１記載のナビゲーション装置。
6. 映像合成処理部は、映像取得部で取得された映像に、道路データ収集部で収集された道路データによって示される道路の図を、該道路の輪郭で表現して重畳させた映像を生成する
   ことを特徴とする請求項５記載のナビゲーション装置。

Images