JP6424100B2 - ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法 - Google Patents

Description

この発明は、ナビゲーション装置とグラス型デバイスとからなるシステム、当該システムで用いられる装置、方法に関する。

特許文献１には、眼鏡型表示装置を備えたナビゲーション装置に関する発明が開示されている。当該ナビゲーション装置は、ＧＰＳ受信機でユーザーの位置を検出すると共に、視線検知センサでユーザーの視線上の所定位置にある物体を認識する。そして、ＧＰＳ受信機で検出された位置と視線検知センサによって認識した物体とに関連する付加情報を、眼鏡型表示装置に表示するというものである。このように、眼鏡型表示装置に付加情報を表示することは、ユーザーの視線が向けられている先に存在する認識した物体の近傍に、その認識した物体に関する付加情報を表示できるので、ユーザーに対して必要な情報を分かりやすい態様で提供できる。

特開２００５−０３７１８１号公報

上述した特許文献１に記載のナビゲーション装置において、眼鏡型表示装置には視線検出センサが設けられるものの、主に表示装置として用いられるものである。このため、ナビゲーション装置によって制御される構成になっている。近年においては、グラス型スマートデバイスなどと呼ばれるグラス（眼鏡）型デバイスが提供されるようになってきている。近年のグラス型デバイスは、例えば、スマートフォンなどと呼ばれる高機能携帯電話端末と協働し、顔認識して人物属性情報を表示したり、文字認識して翻訳結果を表示したりするなどの新たな機能が実現できるようになってきている。

グラス型デバイスは、依然として表示装置としての機能が重要視されているが、グラス型デバイスの中にはＣＰＵ（Central Processing Unit）が搭載され、複雑な判別処理などが可能なものもある。このため、ナビゲーション装置と連携し、協調動作することによって、より使い勝手のよいナビゲーション装置を実現することが望まれている。

以上のことに鑑み、この発明は、グラス型デバイスとナビゲーション装置とをシームレスに連携させ、従来にない機能を実現させることを目的とする。

上記課題を解決するため、請求項１に記載の発明のナビゲーションシステムは、
ナビゲーション装置とグラス型デバイスとにより形成されるナビゲーションシステムであって、
前記ナビゲーション装置は、
前記グラス型デバイスと通信するためのナビ側通信手段と、
所定の事象が発生した場合に、少なくとも当該事象に応じて、前記グラス型デバイスの使用者に対するメッセージデータを形成し、当該メッセージデータに応じた案内情報を音声出力以外の態様で出力することを指示する出力指示と共に、前記ナビ側通信手段を通じて前記グラス型デバイスに送信するように制御するナビ側指示制御手段と、
前記メッセージデータと前記出力指示とを送信した後に、前記ナビ側通信手段を通じて前記グラス型デバイスからの撮影映像を受信した場合に、当該撮影映像を処理する映像処理手段と、
前記映像処理手段での処理の結果を利用して、所望の処理を実行するように制御する処理制御手段と
を備え、
前記グラス型デバイスは、
前記ナビゲーション装置と通信するためのグラス側通信手段と、
撮像手段と、
前記グラス側通信手段を通じて、前記出力指示と前記メッセージデータとを受信した場合に、前記出力指示に応じて、前記メッセージデータに応じた案内情報を音声出力以外の態様で出力するように制御するグラス側指示制御手段と、
前記撮像手段を通じて撮像して得た撮影映像を、前記グラス側通信手段を通じて前記ナビゲーション装置に送信するように制御する提供制御手段と
を備えることを特徴とする。

この発明によれば、グラス型デバイスとナビゲーション装置とをシームレスに連携させ、従来にない機能を実現させることができる。

実施形態のナビゲーションシステムの全体構成を説明するための図である。 ナビゲーション装置１の構成例を説明するためのブロック図である。 グラス型デバイス２の耳かけ部（テンプル部）に設けられる制御機構部２１の構成例を説明するためのブロック図である。 記憶装置１０３に用意される出力メッセージの例を示す図である。 交差点の３次元画像の例を示す図である。 ナビゲーション装置１の制御部１０２により実行されるナビゲーション処理について説明するためのフローチャートである。 ナビゲーション処理時にグラス型デバイス２で実行されるナビゲーション連携処理を説明するためのフローチャートである。 グラス型デバイス２のレンズ部に表示される出力メッセージの例を示す図である。 グラス型デバイス２のレンズ部に表示される出力メッセージの例を示す図である。 ナビゲーション処理時にナビゲーション装置１の主に連携制御部１０２Ｃで実行されるルート確認処理を説明するためのフローチャートである。 ルート確認処理時において、グラス型デバイス２を通じて出力するメッセージの例を示す図である。 ルート確認処理時において、グラス型デバイス２の使用者の行う動作の例とグラス型デバイス２を通じて出力するメッセージの例を示す図である。 ナビゲーション処理時にナビゲーション装置１の主に連携制御部１０２Ｃで実行される情報共有処理を説明するためのフローチャートである。 情報共有処理時において、グラス型デバイス２を通じて出力されるメッセージの例を示す図である。 ナビゲーション処理時にナビゲーション装置１の主に連携制御部１０２Ｃで実行される情報更新処理を説明するためのフローチャートである。 情報更新処理時において、グラス型デバイス２を通じて出力されるメッセージの例を示す図である。 ナビゲーション装置１において、ＧＰＳロストになった場合に、連携制御部１０２Ｃによって実行される処理を説明するためのフローチャートである。 図１７に続くフローチャートである。 グラス型デバイス２のレンズ部に表示される表示メッセージと、グラス型デバイス２のレンズ部を介して見える景色の例を示す図である。

以下、図を参照しながら、この発明のシステム、装置、方法の一実施の形態について説明する。

［ナビゲーションシステムの全体構成］
図１は、この実施形態のナビゲーションシステムの全体構成を説明するための図である。この実施形態のナビゲーションシステムは、図１に示すように、ナビゲーション装置１とグラス型スマートデバイス（以下、グラス型デバイスと記載する。）２により構成される。この実施形態において、ナビゲーション装置１とグラス型デバイス２とは近距離無線通信により相互に通信を行うことができる。

ナビゲーション装置１は、例えば、スマートフォンなどと呼ばれる高機能携帯電話端末やタブレットＰＣ（Personal Computer）などと呼ばれる情報処理装置にナビゲーション用のアプリケーションソフトウェア、地図データ、ネットワークデータなどが搭載されて実現される。ナビゲーション装置１は、歩行者用のナビゲーション装置としても、自転車用のナビゲーション装置としても、また、バイクや自動車などの車両用のナビゲーション装置としても用いることができるものである。

ナビゲーション装置１は、一般的なナビゲーション装置の場合と同様に、ＧＰＳ部、表示部、操作部、音声処理部等を備える。そして、ナビゲーション装置１は、使用者からの指示入力に応じてルート探索を行って使用者に提示し、使用者の指示に応じて選択されたルートを設定して、地図表示と音声メッセージとによりルート案内を行う機能を実現する。

グラス型デバイス２は、外観はグラス（眼鏡）であるが、耳かけ部（テンプル部）には制御部、スイッチ２０４Ａ、カメラ部２０９、表示処理部や投影部２０６、骨伝導振動部２０８などからなる制御機構部２１が構成されている。グラス型デバイス２は、制御部を備えることにより、当該制御部でアプリケーションソフトウェアを実行し、ナビゲーション装置１と連携動作することができるようになっている。

なお、この実施形態においてスイッチ２０４Ａは、グラス型デバイス２からナビゲーション装置１に対して要求を送信する場合に操作される。具体的に、スイッチ２０４Ａは、ナビゲーション装置１においてナビゲーション処理が実行されている場合に、ルート確認を要求したり、詳しくは後述する情報共有処理や情報更新処理などを実行したりする場合などに操作される。投影部２０６は、例えば特殊コーティングされたレンズ部分に種々の表示情報を投影することにより表示する。これにより、当該グラス型デバイス２を装着している使用者が、レンズ部に表示された当該表示情報を視認できる。

また、この実施形態のグラス型デバイス２においては、説明を簡単するため、制御機構部２１は、向かって左側（使用者が装着した場合には使用者の右側）の耳かけ部（テンプル部）に設けた構成になっている。しかし、これに限るものではない。例えば、投影部２０６を左右両方の耳かけ部に設け、左右両方のレンズに表示情報を表示させることにより、使用者が両目で視認可能な範囲に表示情報を表示させることも可能である。

同様に、カメラ部２０９を左右両方の耳かけ部に設け、左右両方のカメラ部で撮影した撮影映像から使用者が両目で視認している映像と同等の映像を形成することもできる。また、骨伝導振動部２０８を左右両方の耳かけ部に設け、左右両方の骨伝導振動部を作用させて使用者に情報を伝達するように構成することも可能である。もちろん、スイッチ２０４Ａを左右両方の耳かけ部に設け、いずれのスイッチ２０４Ａを操作してもよい構成とすることもできる。

そして、ナビゲーション装置１とグラス型デバイス２とは連携（協働）して協調動作し、従来にない機能を実現する。なお、連携パターンには、以下の３つがある。（１）ナビゲーション装置１からグラス型デバイス２に情報などを提供して協調動作するパターン、（２）グラス型デバイス２からナビゲーション装置１に情報などを提供して協調動作するパターン、（３）ナビゲーション装置１とグラス型デバイス２とで双方向に情報などを提供し合い協調動作をするパターンである。

このため、ナビゲーション装置１とグラス型デバイス２とのそれぞれは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成される制御部を備えることにより、それぞれにおいてアプリケーションソフトウェアを実行し、相互に連携することができるようになっている。以下においては、この実施形態のナビゲーションシステムを構成するナビゲーション装置１とグラス型デバイス２の構成例を説明した後に、それぞれで行われる動作（処理）について具体的に説明する。

［ナビゲーション装置１の構成例］
図２は、この実施形態のナビゲーションシステムで用いられるナビゲーション装置１の構成例を説明するためのブロック図である。図１において、近距離送受信アンテナ１０１Ａ及び近距離通信部１０１は、グラス型デバイス２と相互に通信を行うためのものである。このため、近距離通信部１０１では、後述するグラス型デバイス２側に設けられる近距離通信部と同じ通信方式が用いられる。例えば、ブルートゥース（登録商標）規格など、少なくとも数メートル程度の通信距離が維持できる種々の通信方式を用いることができる。

制御部１０２はナビゲーション装置１の各部を制御する機能を実現する。また、制御部１０２は、提供制御部１０２Ａ、処理制御部１０２Ｂ、連携制御部１０２Ｃとしても機能する。提供制御部１０２Ａは、上述した（１）ナビゲーション装置１からグラス型デバイス２に情報などを提供して協調動作する場合に機能する。また、処理制御部１０２Ｂは、上述した（２）グラス型デバイス２からナビゲーション装置１に情報などを提供して協調動作する場合に機能する。また、連携制御部１０２Ｃは、上述した（３）ナビゲーション装置１とグラス型デバイス２とで双方向に情報などを提供し合い協調動作をする場合に機能する。

記憶装置１０３は情報記憶保持機能を実現する。記憶装置１０３には、種々のプログラム、処理に必要になる種々のデータ、出力メッセージなどが記憶される。また、記憶装置１０３は、各種の処理の途中結果を一時記憶する作業領域としても用いられる。図４は、記憶装置１０３の所定の記憶領域に記憶保持される出力メッセージの一例を説明するための図である。図４に示すように、記憶装置１０３には、ナビゲーション処理において使用される種々の案内メッセージや後述もするがグラス型デバイス２からの撮影映像の解析結果を通知するためのメッセージなどの種々のメッセージが記憶保持されている。操作部１０４は、電源のオン／オフスイッチや幾つかのファンクションボタンなどからなる。

ナビゲーション装置１は、図２に示すように、地図ＤＢ１０５、ネットワークＤＢ１０６、３Ｄ画像ＤＢ１０７、時刻表ＤＢ１０８、ＰＯＩ（point of interest）ＤＢを備える。なお、「ＤＢ」はデータベース（Data Base）の略称である。地図ＤＢ１０５は、ナビゲーション処理に用いられる地図を表示するための地図データを記憶保持する。ネットワークＤＢ１０６は、ノードＩＤ、緯度・経度、ノード種別からなるノードデータと、リンクＩＤ、リンク両端のノードＩＤ、リンクコスト、リンク種別などからなるリンクデータとを記憶保持する。当該ネットワークデータは経路探索処理において用いられる。なお、地図ＤＢ１０５、ネットワークＤＢ１０６には、歩行者用、自転車用、自動車用など、用途（目的）に応じた地図データ、ネットワークデータが格納されている。

３Ｄ画像ＤＢ１０７は、実世界の状態を３次元画像として描画するための３次元（three-dimensional）画像データと実世界における位置（緯度、経度）とを対応付けて記憶保持する。図５は、実世界に存在する交差点の３次元画像の例を示す図である。３Ｄ画像ＤＢ１０７には、図５に示すような３次元画像を描画するための３次元画像データが、実世界における位置（緯度、経度）に対応して記憶保持されている。３Ｄ画像ＤＢ１０７の記憶データは、ナビゲーション処理時に分かり難い交差点などにおいてルートを分かりやすく示すなどのために用いられる。

また、３Ｄ画像ＤＢ１０７の記憶データは、使用者の移動ルート上に存在する交差点の撮影映像と、３Ｄ画像ＤＢ１０７に記憶保持されている交差点の３Ｄ画像データとのマッチングを行うことにより、移動ルートが適切か否かを判別する場合にも用いられる。また、３Ｄ画像ＤＢ１０７の記憶データは、グラス型デバイス２からの撮影映像と比較することによって、道路標識、交差点、信号設置状況、街並み、ランドマークなどについての変化を検知する場合にも用いられる。

時刻表ＤＢ１０８は、鉄道、路線バス、航空路線、定期航路など公共交通機関の運転時刻をまとめた情報を記憶保持する。これにより、例えば、鉄道の場合には、乗車駅と乗車時刻が分ければ、目的とする降車駅（目的駅）への到着時刻が分かる。また、乗り換えが必要な場合には、乗換駅、乗換ホーム、乗り換える電車の発車時刻なども把握できる。

ＰＯＩＤＢ１０９は、緯度・経度により特定される種々の店舗や種々の施設、あるいは、地形上の特徴点などである種々の拠点についての情報である拠点情報を記憶保持する。例えば、地図上にランドマークとなる建物や種々の施設等の拠点が存在する場合、その拠点は、どのような拠点なのか、どのような特徴を有しているかなどの詳細情報が整えられている。

センサ部１１０は、自律航法機能を実現するため、例えば、６軸センサ、地磁気センサ（方位センサ）などの種々のセンサなどを備える。時刻情報提供部１１１は、現在年月日、現在曜日、現在時刻などの時刻に関する情報を提供する。ＧＰＳ部１１２及びＧＰＳアンテナ１１２Ａは、複数の人工衛星からの送信信号（測位情報）を受信して解析することにより、自機の現在位置を正確に取得（測位）する機能を実現する部分である。

タッチパネル１１５は、ＬＣＤ（Liquid Crystal Display）などの表示部１１３とタッチセンサ１１４とからなり、情報表示手段としての機能と、情報入力手段としての機能を実現する。なお、ナビゲーション機能の実行時には、表示部１１３には案内用の地図が表示され、当該地図上にルート探索の結果得られたルートと、自機の現在位置とが表示されて経路案内（ナビゲーション）が行われる。

音声処理部１１６とスピーカ１１７若しくは音声出力端子１１８は、制御部２０２の制御に応じて、アラーム音や音声メッセージなどを放音する機能を実現する。音声出力端子１１８には、イヤホンが接続される。例えば、ナビゲーション機能の実行時には、制御部１０２を通じて音声処理部１１６に音声メッセージデータが供給され、ここでアナログ音声信号に変換されて、スピーカ１１７あるいは音声出力端子１１８に接続されたイヤホンから音声メッセージが放音される。

なお、音声出力端子１１８にイヤホンが接続されている場合、音声処理部１１６は、スピーカ１１７に音声信号は供給せず、音声出力端子１１８を介してイヤホンのみに音声信号を供給する。このため、音声処理部１１６は、音声出力端子にイヤホンが接続されたか否かを検知できるようになっており、検知結果を制御部１０２にも通知する。

ルート探索部１１９は、ナビゲーション機能が実行された場合に、ルート探索を行って、その結果を地図ＤＢ１０５の地図データを用いて表示部１１３に表示する処理を行う。具体的にルート探索部１１９は、出発地、経由地、目的地等のルート探索に必要な情報を受け付けるための画面表示を表示部１１３に表示する。そして、ルート探索部１１９は、タッチパネル１１５を通じて、出発地、経由地、目的地等の必要情報を受け付け、これらの情報に基づいて、ネットワークＤＢ１０６の格納データを参照し、ルート探索を行い、その結果を地図ＤＢ１０５の地図データを用いて表示部１１３に表示する。

使用者は、当該表示を確認し、探索されたルートを変更したい場合には、再度のルート探索を行う操作を、タッチパネル１１５を通じて行う。この場合には、ルート探索部１１９が機能し、再度のルート探索処理が行われる。また、使用者は、当該表示を確認し、探索されたルートを辿る場合には、当該ルートを辿るようにするナビゲーションを開始する操作を、タッチパネル１１５を通じて行う。

この後、制御部１０２は、ルート案内部１２０を機能させ、現在位置を含むエリアの地図を表示部１１３に表示し、当該地図上にルート探索により得られたルートと、自機の現在位置を表示してナビゲーションを行う。この場合、ルート案内部１２０は、自機の現在位置を含むエリアの地図を、地図ＤＢ１０５から読み出す地図データにより表示部１１３に表示する。そして、ルート案内部１２０は、ネットワークＤＢ１０６のネットワークデータに応じたネットワーク上の設定されたルートを自機が辿れるように、ナビゲーションを行う。

３Ｄ画像比較部１２１は、グラス型デバイス２から提供される使用者の移動ルート上に存在する交差点の撮影映像と、３Ｄ画像ＤＢ１０７に記憶保持されている交差点の３Ｄ画像データとのマッチング処理を行い、マッチング処理の結果を制御部１０２に通知する。これにより制御部１０２においては、処理制御部１０２Ｂが機能し、設定したルートから外れていないか否かを判別したり、外れている場合には、ルート探索部１１９を制御して、ルート探索を行い、ルートを補正したりすることができる。

画像認識部１２２は、グラス型デバイス２のカメラ部を通じて撮影した撮影映像の提供を受けて、これを解析し、解析結果を制御部１０２に通知する。画像認識部１２２は、例えば、撮影映像に含まれる地名、駅名、ビル名などの情報を認識し、これを制御部１０２に通知したり、移動中のルート（道路）の混雑、天候、事故、工事状況などを認識し、これを制御部１０２に通知したりする。これにより、制御部１０２においては、処理制御部１０２Ｂが機能し、歩行者ナビや自動車ナビの実行時にルートから外れたか否かを判定し、必要に応じてリルート処理を行ったり、電車ナビの実行時に到着時刻の補正や乗り越し防止処理を行ったりできる。また、移動中のルートの状況を所定のサーバに投稿して、他の運転者と情報を共有することもできる。

また、ＰＯＩ比較部１２３は、グラス型デバイス２のカメラ部を通じて撮影した撮影映像の提供を受けて、当該撮影映像と、３Ｄ画像ＤＢ１０７の当該撮影映像に対応する部分の３Ｄ画像とを自動比較する。そして、ＰＯＩ比較部１２３は、異なっている箇所が存在する場合には、異なっている箇所を示す位置情報（緯度、経度）とその箇所の画像認識結果を示す情報とを対応付けた更新情報を形成して、記憶装置１０３に記録する。当該更新情報は、例えば、所定のサーバ装置に送信し、３Ｄ画像データの更新処理に利用することができる。

なお、ＰＯＩ比較部１２３は、グラス型デバイス２からの撮影映像と、３Ｄ画像ＤＢ１０７の３Ｄ画像データとを比較するものとして説明したが、これに限るものではない。ＰＯＩ比較部１２３では、グラス型デバイス２からの撮影映像を解析することにより、撮影映像中に存在する各種のＰＯＩとその所在位置（緯度、経度）とを認識（特定）するようにし、その特定結果とＰＯＩＤＢ１０９の格納データとの突き合せを行ってもよい。このようにしても、新たに存在するようになったＰＯＩや既に存在しなくなったＰＯＩを特定でき、その特定結果を両者の差分を示すデータとして利用することが可能である。

また、送受信アンテナ１２４Ａ及び無線通信部１２４は、携帯電話網やインターネットを通じての通信機能を実現する。これにより、制御部２０２は、例えば、使用者からの指示に応じて、インターネット上の所定の地図サーバにアクセスし、最新の地図データ、最新のネットワークデータ、最新の３Ｄ画像データなどの提供を受けられる。そして、制御部２０２は、提供を受けた最新の地図データや最新のネットワークデータを、地図ＤＢ１０５、ネットワークＤＢ１０６、３Ｄ画像ＤＢ１０７に格納し、利用することができる。また、ナビゲーション装置１は、無線通信部１２４及び送受信アンテナ１２４Ａを通じて、ナビゲーション装置１が取得した種々の情報を目的とするサーバなどに送信することもできる。

［グラス型デバイス２の制御機構部２１の構成例］
図３は、図１に示した外観を有するグラス型デバイス２の耳かけ部（テンプル部）に設けられる制御機構部２１の構成例を説明するためのブロック図である。図３において、近距離送受信アンテナ２０１Ａ及び近距離通信部２０１は、ナビゲーション装置１と相互に通信を行うためのものである。このため、近距離通信部２０１では、上述したナビゲーション装置１の近距離通信部１０１と同じ通信方式のものとなる。

制御部２０２はグラス型デバイス２の各部を制御する機能を実現する。また、制御部２０２は、処理制御部２０２Ａ、提供制御部２０２Ｂ、連携制御部２０２Ｃとしても機能する。処理制御部２０２Ａは、上述した（１）ナビゲーション装置１からグラス型デバイス２に情報などを提供して協調動作する場合に機能する。また、提供制御部２０２Ｂは、上述した（２）グラス型デバイス２からナビゲーション装置１に情報などを提供して協調動作する場合に機能する。また、連携制御部２０２Ｃは、上述した（３）ナビゲーション装置１とグラス型デバイス２とで双方向に情報などを提供し合い協調動作をする場合に機能する。

記憶装置２０３は情報記憶保持機能を実現する。記憶装置２０３には、種々のプログラムや処理に必要になる種々のデータが記憶される。また、記憶装置２０３は、各種の処理の途中結果を一時記憶する作業領域としても用いられる。操作部２０４は、電源のオン／オフスイッチや上述したスイッチ２０４Ａや幾つかのファンクションボタンなどからなる。

表示処理部２０５は、制御部２０２の制御の下、これに提供される表示用データから、投影部２０６に供給する表示用信号を形成し、これを投影部２０６に供給する。投影部２０６は、表示処理部２０５からの表示用信号に応じた表示情報を、グラス型デバイス２のレンズ部分に投影する処理を行う。これにより、グラス型デバイス２のレンズ部分には、表示情報が表示され、グラス型デバイス２をそのレンズ部分が目の前方に位置するように頭部に装着した使用者が見ることができる。

骨伝導駆動部２０７及び骨伝導振動部２０８は、骨伝導機能を実現する。骨伝導は、空気を伝って鼓膜（中耳）を振動させ聴覚神経（内耳）に伝わる（気導音）に対して、例えば声帯などの振動が頭蓋骨を伝わり直接聴覚神経に伝わる（骨導音）ものである。このため、骨伝導駆動部２０７は、制御部２０２の制御の下、これに供給される出力用データである表示用データや音声データから骨伝導振動部２０８に供給する駆動信号を形成し、これを骨伝導振動部２０８に供給する。骨伝導振動部２０８は、骨伝導駆動部２０７からの駆動信号に応じて振動する。これにより、表示用データや音声データである出力用データに応じた振動が頭蓋骨を介して直接聴覚神経に伝わり、放音された音声を聴取する場合と同様に、出力用データに応じた内容が骨導音として使用者に認識される。

カメラ部２０９は、図１にも示したように、グラス型デバイス２の耳かけ部（テンプル部）の前方端部（レンズ部側の端部）に設けられている。そして、カメラ部２０９は、使用者がグラス型デバイス２をそのレンズ部分が目の前方に位置するように頭部に装着した場合に、使用者の視線方向の映像を撮影し、映像データとして取り込む機能を実現する。そして、カメラ部２０９を通じて撮影された撮影映像（映像データ）は、近距離通信部２０１及び近距離送受信アンテナ２０１Ａを通じて、ナビゲーション装置１に送信できる。

ＧＰＳ部２１０及びＧＰＳアンテナ２１０Ａは、複数の人工衛星からの送信信号（測位情報）を受信して解析することにより、自機の現在位置を正確に検出（測位）する機能を実現する部分である。センサ部２１１は、少なくともカメラ部２０９の向きを特定するための地磁気センサ（方位センサ）を備える。地磁気センサの他にも、例えば、６軸センサなどを備える場合もある。

［ナビゲーションシステムで行われる処理の詳細］
次に、上述した構成を有するナビゲーション装置１とグラス型デバイス２とからなるこの実施形態のナビゲーションシステムで実行される処理について説明する。ここでは、ナビゲーション装置１で実行されるナビゲーション処理と、ナビゲーション装置１においてナビゲーション処理が実行されているときにグラス型デバイス２で実行されるナビゲーション連携処理とのそれぞれについて説明する。

［ナビゲーション装置１で実行されるナビゲーション処理］
図６は、ナビゲーション装置１で実行されるナビゲーション処理を説明するためのフローチャートである。図６に示す処理は、ナビゲーション装置１に電源が投入された後、ルート探索を行うようにする操作がされた場合に、ナビゲーション装置１の制御部１０２により実行される。まず、制御部１０２は、ルート探索部１１９を制御し、ルート探索条件の入力画面を表示部１１３に表示し、タッチパネル１１５を通じて、ナビゲーションモード（ナビモード）の選択入力とルート探索情報の入力を受け付ける（ステップＳ１０１）。ナビモードは、徒歩ナビ、自転車ナビ、自動車ナビ、電車ナビといった、実行すべきナビゲーション処理のモードを示すものである。また、ルート探索情報は、出発地、経由地、目的地などのルート探索処理に必要となる情報である。

次に、ルート探索部１１９は、制御部１０２の制御の下、ステップＳ１０１で受け付けたナビモードとルート探索情報に基づいて、ネットワークＤＢ１０６の選択されたナビモードに対応するネットワークデータを参照し、ルート探索を実行する（ステップＳ１０２）。そして、ルート探索部１１９は、ステップＳ１０２のルート探索の結果を表示部１１３に表示し、ルートの選択及び設定の操作を受け付ける（ステップＳ１０３）。

なお、図６には示さなかったが、ステップＳ１０３において表示部１１３に表示したルート探索の結果が満足するものでなかった場合には、ステップＳ１０１からの処理を繰り返し、ナビモードやルート探索情報を変えて、再度のルート探索処理を行うこともできるようになっている。

ステップＳ１０３の処理の後、制御部１０２を近距離通信部１０１及び近距離送受信アンテナ１０１Ａを通じて、グラス型デバイス２と近距離通信を行い、相互に通信が可能な状態を形成する（ステップＳ１０４）。この後、制御部１０２はルート案内部１２０を制御し、グラス型デバイス２と連携したナビゲーション処理を開始する（ステップＳ１０５）。ステップＳ１０５において、ルート案内部１２０は、地図ＤＢ１０５から該当エリアの地図データを抽出して、抽出した地図データに応じて地図を表示部１１３に表示する。また、ルート案内部１２０は、表示した地図上に設定されたルートとＧＰＳ部１１２を通じて取得する自機の現在位置を表示する。

さらに、ステップＳ１０５において、ルート案内部１２０は、提供制御部１０２Ａの制御の下、必要に応じた案内メッセージを、記憶装置１０３から読み出して、これをグラス型デバイス２に供給して、グラス型デバイス２を通じて出力する。また、後述もするように、ステップＳ１０５においては、処理制御部１０２Ｂの制御の下、画像認識部１２２がグラス型デバイス２からの撮影映像を解析し、例えば、信号の状態や道路標識を認識し、この認識結果をグラス型デバイス２に供給して、グラス型デバイス２を通じて出力する処理も行う。このようにして、ナビゲーション処理が開始される。

そして、制御部１０２は、詳しくは後述するルート確認処理、情報共有処理、情報更新処理といったユーザーの指示やグラス型デバイス２からの指示があった場合に実行する、いわゆるイベントドリブン型の処理についての実行処理を行う（ステップＳ１０６）。ステップＳ１０６においては、主に連携制御部１０２Ｃの制御の下に各部が機能し、ルート確認処理、情報共有処理、情報更新処理などが行われる。この後、目的地に到着したり、ナビゲーション処理を終了する所定の処理が行われたりするなどのナビゲーション処理を終了させる所定の事象が発生したか否かを判別する（ステップＳ１０７）。

ステップＳ１０７の判別処理において、ナビゲーション処理を終了させる所定の事象は発生していないと判別したときには、制御部１０２は、ステップＳ１０６からの処理を繰り返す。また、ステップＳ１０７の判別処理において、ナビゲーション処理を終了させる所定の事象が発生したと判別したときには、制御部１０２は、ナビゲーション処理を終了させ、ナビゲーション装置１をナビゲーション処理実行前の状態に戻す所定のナビゲーション終了処理を実行して（ステップＳ１０８）、この図６に示すナビゲーション処理を終了させる。

そして、図６に示したステップＳ１０５においては、制御部１０２の提供制御部１０２Ａと処理制御部１０２Ｂとが機能する。そして、ステップＳ１０５においては、（１）ナビゲーション装置１からグラス型デバイス２に情報などを提供して協調動作する。また、ステップＳ１０５においては、（２）グラス型デバイス２からナビゲーション装置１に情報などを提供して協調動作する。また、ステップＳ１０６においては、連携制御部２０２Ｃが機能し、（３）ナビゲーション装置１とグラス型デバイス２とで双方向に情報などを提供し合い協調動作する。

［グラス型デバイス２で実行されるナビゲーション連携処理］
図７は、ナビゲーション装置１において図６に示したナビゲーション処理が実行されている場合に、グラス型デバイス２で実行されるナビゲーション連携処理を説明するためのフローチャートである。グラス型デバイス２に電源が投入されると、グラス型デバイス２の制御部２０２は、図７に示すナビゲーション連携処理を実行する。

まず、制御部２０２は、近距離通信部２０１及び近距離送受信アンテナ２０１Ａを通じて、ナビゲーション装置１からの要求に応じて通信を行い、相互に通信が可能な状態を形成する（ステップＳ２０１）。このステップＳ２０１の処理は、図６に示したナビゲーション装置１において実行されるナビゲーション処理のステップＳ１０４において実行される処理に対応している。

そして、制御部２０２は、提供制御部２０２Ｂの制御の下、カメラ部２０９を機能させ、カメラ部２０９を通じて撮影した映像（撮影映像）を、近距離通信部２０１及び近距離送受信アンテナ２０１Ａを通じて、ナビゲーション装置１に送信する処理を開始させる（ステップＳ２０２）。

この後、制御部２０２は、ナビゲーション装置１からの指示等を受信するようにし（ステップＳ２０３）、ナビゲーション装置１からの指示等を受信したか否かを判別する（ステップＳ２０４）。ステップＳ２０４の判別処理において、ナビゲーション装置１からの指示等を受信したと判別したときには、制御部１０２は、ナビゲーション装置１からの指示等に応じた処理を実行する（ステップＳ２０５）。

ステップＳ２０５においては、処理制御部２０２Ａの制御の下、ナビゲーション装置１からの指示に応じてメッセージを表示出力したり、骨伝導出力したりする。また、ステップＳ２０５においては、連携制御部２０２Ｃの制御の下、ＧＰＳ部２１０を通じて取得した現在位置を示す情報を提供するなどの処理も行われる。

ステップＳ２０５の処理の後においては、例えば、電源をオフにする操作が行われたか否かを判別し（ステップＳ２０６）、電源をオフにする操作が行われたと判別したときには、所定の終了処理を行って（ステップＳ２０７）、この図７に示す処理を終了する。また、ステップＳ２０６の判別処理において、電源をオフにする操作は行われていないと判別したときには、ステップＳ２０３からの処理を繰り返す。

一方、ステップＳ２０４の判別処理において、ナビゲーション装置１からの指示等を受信していないと判別したとする。この場合、制御部２０２は、スイッチ２０４Ａに対する操作入力を受け付けるようにし（ステップＳ２０８）、スイッチ２０４Ａに対する操作を受け付けたか否かを判別する（ステップＳ２０９）。

ステップＳ２０９の判別処理において、スイッチ２０４Ａに対する操作を受け付けたと判別したときには、連携制御部２０２Ｃの制御の下、操作に応じた要求を形成し、ナビゲーション装置１に送信する（ステップＳ２１０）。例えば、スイッチ２０４Ａが１回操作された場合には、ルート確認要求を形成し、スイッチ２０４Ａが２回連続して操作された場合には、情報共有要求を形成し、スイッチ２０４Ａが３回連続して操作された場合には、情報更新要求を形成して、ナビゲーション装置１に送信する。

ステップＳ２１０の処理の後と、ステップＳ２０９の判別処理において、スイッチ２０４Ａに対する操作を受け付けていないと判別したときには、ステップＳ２０６の処理に進む。そして、上述もしたように、電源をオフにする操作が行われたか否かを判別し（ステップＳ２０６）、電源をオフにする操作が行われたと判別したときには、所定の終了処理を行って（ステップＳ２０７）、この図７に示す処理を終了する。また、ステップＳ２０６の判別処理において、電源をオフにする操作は行われていないと判別したときには、ステップＳ２０３からの処理を繰り返す。

このようにして、グラス型デバイス２において、ナビゲーション装置１で実行されるナビゲーション処理と連携するナビゲーション連携処理が行われる。そして、メッセージ情報の出力処理、現在位置などの情報の提供処理、さらには、ナビゲーション装置１に対して種々の要求を形成して送信する処理が行われる。

［（１）ナビゲーション装置１からグラス型デバイス２に情報を提供して協調動作］
次に、ナビゲーション装置１からグラス型デバイス２に情報を提供して協調動作する場合の処理について説明する。ここでは、ナビゲーション装置１で発生した音声案内を、グラス型デバイス２で文字として表示したり、骨伝導で伝えたりする場合について説明する。

［ナビゲーション装置１の処理］
この実施形態のナビゲーション装置１は、歩行者用ナビゲーション処理を実行している場合に、周囲への影響を考慮して、音声出力端子１１８に接続されたイヤホンを通じてのみ音声案内を出力する。しかし、イヤホンが使用者の耳から外れていた場合には、使用者は音声案内を聴取できない。そこで、この実施形態のナビゲーション装置１においては、グラス型デバイス２を通じても、音声案内に応じた情報を使用者に提供する。

歩行者用ナビモードが選択され、歩行者用の地図データやネットワークデータが用いられて歩行者用のナビゲーション処理が実行されている場合に、何らかの音声案内が発生したとする。この場合、図６に示したステップＳ１０５の処理において、提供制御部１０２Ａは、音声処理部１１６のイヤホンの接続の有無の検知結果に基づいて、音声出力端子１１８にイヤホンが接続されているか否かを判別する。

そして、イヤホンが接続されていると判別した場合には、提供制御部１０２Ａは、音声案内に応じた案内情報の表示のみを行うことを指示する指示情報と、当該音声案内の音声データとを、グラス型デバイス２に送信する。イヤホンは接続されていないと判別したとする。この場合、提供制御部１０２Ａは、音声案内に応じた案内情報の表示と骨伝導出力との両方を行うことを指示する指示情報と、当該音声案内の音声データとを、グラス型デバイス２に送信する。

［グラス型デバイス２の処理］
グラス型デバイス２においては、図７に示したステップＳ２０５の処理において、ナビゲーション装置１から受信した指示が案内情報の表示のみを指示するものである場合には、音声案内に応じた案内情報の表示出力処理を実行する。この場合、処理制御部２０２Ａが機能し、一緒に送信されてきている音声案内に応じた音声データを、表示用データに変換し、これを表示処理部２０５に供給する。表示処理部２０５は、これに供給された表示用データから投影部２０６に供給する表示用信号を形成し、これを投影部２０６に供給する。これにより、投影部２０６は供給された表示用信号に応じた案内情報がグラス型デバイス２のレンズ部に表示される。

図８は、表示処理部２０５及び投影部２０６が機能して、グラス型デバイス２のレンズ部に表示された案内情報の例を示す図である。図８に示すように、本来、音声案内として音声出力される「次の交差点を右折して下さい」という案内情報が、表示メッセージとしてグラス型デバイス２のレンズ部に表示（投影）される。また、この実施形態において、処理制御部２０２Ａは、案内情報の「右折して下さい」とのメッセージに応じて、右折を指示する矢印マークをも付加して表示する表示用データを形成し、表示処理部２０５に供給している。これにより、たとえ音声出力端子１１８に接続されたイヤホンが使用者の耳から外れていても、使用者は、徒歩ナビゲーション処理において発生した案内情報を確実に認識できる。

また、図７に示したステップＳ２０５の処理において、ナビゲーション装置１から受信した指示が音声案内に応じた案内情報の表示出力処理と骨伝導出力処理とを実行することを指示するものであったとする。この場合、処理制御部２０２Ａは、上述もしたように、表示処理部２０５及び投影部２０６を機能させ、グラス型デバイス２のレンズ部に例えば図８に示した態様で案内情報を表示する。

さらに、処理制御部２０２Ａは、一緒に送信されてきている音声案内に応じた音声データを、骨伝導駆動部２０７に供給する。骨伝導駆動部２０７は、これに供給された音声データから骨伝導振動部２０８に供給する駆動信号を形成し、これを骨伝導振動部２０８に供給する。骨伝導振動部２０８は、骨伝導駆動部２０７からの駆動信号に応じて振動する。これにより、音声案内用の音声データに応じた振動が頭蓋骨を介して直接聴覚神経に伝わり、放音された音声を聴取する場合と同様に、発生した音声案内に応じた内容が骨導音として使用者に認識される。

このように、ナビゲーション装置１とグラス型デバイス２とが協調動作することにより、歩行者用ナビゲーション処理の実行時においてナビゲーション装置１において発生した音声案内に応じた案内情報を、グラス型デバイス２を通じて確実に使用者に提供できる。しかも、グラス型デバイス２は、単に案内情報を出力するだけでなく、ナビゲーション装置１からの要求に応じて、表示により、あるいは、表示と骨導音とにより、案内情報を出力できると共に、必要な情報を付加するなどのこともできる。

［（２）グラス型デバイス２からナビゲーション装置１に情報を提供して協調動作］
次に、グラス型デバイス２からナビゲーション装置１に情報を提供して協調動作する場合の処理について説明する。ここでは、上述もしたように、グラス型デバイス２から順次に提供される撮影映像について画像認識を行い、認識結果を報知する場合について説明する。

［ナビゲーション装置１の処理］
この実施形態のナビゲーション装置１は、ナビゲーション処理を実行している場合には、図６、図７のフローチャートを用いて説明したように、グラス型デバイス２と連携できるようになり、グラス型デバイス２から順次に撮影映像が提供されるようになっている。この場合、ナビゲーション装置１の処理制御部１０２Ｂの制御の下、画像認識部１２２が機能し、グラス型デバイス２からの撮影映像を解析して画像認識を行い、この画像認識の結果を制御部１０２に通知できるようになっている。

例えば、グラス型デバイス２からの撮影映像の中に、信号機が存在しており、その信号機の点灯状態を認識したところ赤信号の状態であることが認識できたとする。この場合、処理制御部１０２Ｂが機能し、前方の信号機の状態が赤信号であることを、表示部１１３に表示された地図上に表示したり、音声情報として音声処理部１１６及びスピーカ１１７、或いは、音声出力端子１１８に接続されたイヤホンから放音したりできる。

なお、画像認識の結果を、グラス型デバイス２に通知して、グラス型デバイス２を通じて出力することもできる。この場合には、上述もしたように、表示だけを用いたり、表示と骨伝導とを用いたりすることができる。図９は、画像認識の結果を、グラス型デバイス２を通じて表示出力した場合の例を示す図である。グラス型デバイス２からの撮影映像を解析することによりルート上の状況を認識した結果、進行方向の交差点の信号が赤信号であることを認識したとする。

この場合には、図９（Ａ）に示すように、「赤信号です」との認識結果を表示させたり、また、骨伝導出力させたりできる。また、グラス型デバイス２からの撮影映像を解析することによりルート上の状況を認識した結果、進行方向の交差点の道路が侵入禁止であることを認識したとする。この場合には、図９（Ｂ）に示すように、「侵入禁止です」との認識結果を表示させたり、また、骨伝導出力させたりできる。

［（３）ナビゲーション装置１とグラス型デバイス２とで情報を提供し合い協調動作］
次に、ナビゲーション装置１とグラス型デバイス２とで情報を提供し合い協調動作する場合の処理について説明する。ここでは、ナビゲーション処理中に行われるルート確認処理、情報共有処理、情報更新処理について説明する。また、ナビゲーション装置１のＧＰＳ部１１２を通じて現在位置を示す情報が取得できなくなった場合に、ナビゲーション装置１とグラス型デバイス２とが協働することによって、ナビゲーション処理を継続させる場合の協調動作についても説明する。

［ルート確認処理］
図１０は、図６に示したナビゲーション処理のステップＳ１０６において制御部１０２により実行されるルート確認処理について説明するためのフローチャートである。図６のステップＳ１０６において、図１０に示したルート確認処理が実行されると、ルート確認処理を実行するための指示入力を受け付けるようにする（ステップＳ３０１）。ここで、ルート確認処理を実行するための指示入力は、例えば、表示部１１３に表示されているルート確認処理を実行するための表示ボタンに対する指示入力やナビゲーション装置１に設けられた所定のハードウェアキーに対する指示入力などである。

次に、制御部１０２は、ルート確認処理を実行するための指示入力を受け付けたか否かを判別し（ステップＳ３０２）、受け付けたと判別したときには、グラス型デバイス２に対して注目対象の指示を形成して送信する（ステップＳ３０３）。ステップＳ３０３では、現在位置、実行されているナビモード、現在位置において対比可能な対象物などを総合的に考慮し、どのような撮影映像が必要かを判別して、目的とする撮影映像の提供を受けられるようにグラス型デバイス２を装着した使用者に要求する処理となる。

図１１は、ナビゲーション装置１からグラス型デバイス２に提供される注目対象の指示とルート判定結果等の例とを説明するための図である。ナビモードが電車ナビモードであるとする。この場合に、図１１の左列に示したように、例えば、現在位置が出発駅や到着駅である場合には、「駅名に注目して下さい」といった注目指示を、現在位置が乗換駅である場合には、「番線表示に注目して下さい」といった注目指示をグラス型デバイス２に送信する。

また、ナビモードが電車ナビモード以外であるとする。この場合に、図１１の左列に示したように、現在位置と存在する比較対象に応じて、「交差点名に注目して下さい」、「建物名に注目して下さい」、「道路名に注目して下さい」といった注目指示をグラス型デバイス２に送信する。また、いずれのナビモードであっても、現在位置に応じた比較対象の位置に応じて、「右を見て下さい」、「左を見て下さい」といったカメラ部２０９の対物レンズを向ける方向を注目指示としてグラス型デバイス２に送信できる。当該注目指示は、グラス型デバイス２のレンズ部に表示されたり、骨伝導出力されたりして、グラス型デバイス２を装着した使用者に提供され、ルート確認に必要な映像を、カメラ部２０９を通じて撮影できるようにする。なお、図１１に示した注目対象の指示の例はあくまでも例であり、この他にも種々の指示が存在する。

ステップＳ３０３の処理の後、処理制御部１０２Ｂは画像認識部１２２を制御し、注目指示をグラス型デバイス２に送信した後に、ルート確認のために利用可能な撮影映像が送信されてきているか否かを確認する（ステップＳ３０４）。当該確認は、連携制御部１０２Ｃの制御の下、グラス型デバイス２から送信されてきた撮影映像を、画像認識部１２２で画像認識して、目的とする対象物が含まれているか否かを確認する処理である。

そして、制御部１０２は、ステップＳ３０４の確認処理において、グラス型デバイス２からの撮影映像に目的とする対象物が含まれているか否か（ＯＫか否か）を判別する（ステップＳ３０５）。ステップＳ３０５の判別処理において、グラス型デバイス２からの撮影映像に目的とする対象物が含まれていない（ＯＫでない）と判別した場合には、ステップＳ３０３からの処理を繰り返す。

ステップＳ３０５の判別処理において、グラス型デバイス２からの撮影映像に目的とする対象物が含まれている（ＯＫである）と判別したとする。この場合には、連携制御部１０２Ｃの制御の下、画像認識部１２２が機能して、認識対象の撮影映像を抽出し（ステップＳ３０６）、抽出した撮影映像の認識処理と移動ルートの特定処理を実行する（ステップＳ３０７）。ステップＳ３０７では、ナビゲーション装置１及びグラス型デバイス２の使用者は、どこをどの方向に移動しているのかが正確に特定される。

そして、連携制御部１０２Ｃは、ナビゲーション装置１及びグラス型デバイス２の使用者の現在位置及び移動方向と、ルート探索されて設定されたルートとを比較し、誘導内容を特定して誘導メッセージを形成するなどの処理を行う（ステップＳ３０８）。このステップＳ３０８においては、例えば、図１１の右列に示したように、「右方向、南改札に進む」、「隣のホームに移動」、「一つ前の交差点に戻る」、［入口は反対側です］といった特定した誘導内容に合致する誘導メッセージを形成する。

この後、ステップＳ３０８で形成した誘導メッセージ等をグラス型デバイス２に通知し（ステップＳ３０９）、この図１０に示すルート確認処理ルーチンを終了し、次の実行タイミングを待つことになる。また、ステップＳ３０２の判別処理において、ルート確認処理を実行するための指示入力を受け付けていないと判別したとする。この場合、制御部１０２は、グラス型デバイス２からの要求を受信するようにし（ステップＳ３１０）、グラス型デバイス２からのルート確認要求を受信したか否かを判別する（ステップＳ３１１）。

図１２は、グラス型デバイス２からルート確認要求が送信される動作とルート判定結果等の例とを説明するための図である。グラス型デバイス２においては、スイッチ２０４Ａを１回だけ押す操作がなされると、ルート探索要求を形成し、これをナビゲーション装置１に送信する。このため、図１２の左列に示したように、「駅名を見てスイッチ２０４Ａを押す」、「交差点名を見てスイッチ２０４Ａを押す」というように、注目対象に注目した後に、スイッチ２０４Ａを１回だけ押す操作を行うと、注目対象を含む撮影映像とルート探索要求とをナビゲーション装置１に送信できる。

このため、ステップＳ３１１の判別処理において、グラス型デバイス２からルート探索要求を受信したと判別したとする。この場合、連携制御部１０２Ｃの制御の下、画像認識部１２２が機能して認識対象の撮影映像を特定する処理を行う（ステップＳ３１２）。このステップＳ３１２の特定処理は、実行されているナビモード、現在位置において対比可能な対象物などを総合的に考慮し、どのような撮影映像が必要かを判別して、その判別した撮影映像を画像認識部１２２において特定する。

すなわち、ステップＳ３１２の処理において画像認識部１２２は、グラス型デバイス２からの撮影映像を一時記憶する所定容量のバッファメモリを備えており、そのバッファメモリに一時記憶されている撮影映像から必要な撮影映像を特定する。なお、ステップＳ３１２においては、撮影映像に付加されている撮影方向を示す情報も考慮され、例えば、連続して右を見たときの撮影映像と左を見たときの撮影映像が存在する場合には、その両方が認識対象の撮影映像として特定される。また、前後を連続して見た場合や前後左右を連続して見た場合も同様である。

ステップＳ３１２の処理の後においては、ステップＳ３０６からの処理が行われる。すなわち、上述した撮影映像の抽出（ステップＳ３０６）、撮影映像の認識処理及び移動ルートの特定処理（ステップＳ３０７）、メッセージ形成等の処理（ステップＳ３０８）、形成したメッセージのグラス型デバイス２への通知処理（ステップＳ３０９）が行われる。これらの処理は、上述したように、連携制御部１０２Ｃの制御の下、画像認識部１２２が機能して実行される。

このように、ルート確認処理は、ナビゲーション装置１に対する操作に応じて、ナビゲーション装置１からグラス型デバイス２に働きかけて行うことができる。また、ルート確認処理は、グラス型デバイス２に対する操作に応じて、グラス型デバイス２からナビゲーション装置１に働きかけて行うことができる。すなわち、ナビゲーション装置１とグラス型デバイス２との間で双方向に情報などを提供し合い協調動作することができる。

［交差点判別処理］
なお、この実施形態のナビゲーション装置１は、３Ｄ画像ＤＢ１０７に、交差点の３次元画像データを記憶保持している。この交差点の３次元データを用いて、ルート確認を行うこともできる。

図１０に示したステップＳ３０６において抽出した撮影映像に交差点の映像が含まれていたとする。また、当該撮影映像には、グラス型デバイス２のセンサ部２１１で検出された撮影方向（カメラ部２０９の対物レンズが向けられた方向）を示す情報やグラス型デバイス２のＧＰＳ部２１０を通じて取得した現在位置を示す情報が付加されているものとする。

この場合、ナビゲーション装置１の連携制御部１０２Ｃは、ステップＳ３０７において、グラス型デバイス２からの当該撮影映像を３Ｄ画像比較部１２１に供給し、撮影映像に含まれる交差点の特徴を抽出する処理を開始するように制御する。さらに、連携制御部１０２Ｃは、抽出した交差点の特徴と３Ｄ画像ＤＢ１０７の交差点の３Ｄ画像データとのマッチング処理を開始するように３Ｄ画像比較部１２１を制御する。

ここでは、ＧＰＳ部１１２で取得された現在位置の近傍に存在する交差点であって、グラス型デバイス２からの撮影映像に付加されている撮影方向から見た場合の交差点の３Ｄ画像データとのマッチングが行われる。この場合、グラス型デバイス２からの撮影映像に現在位置を示す情報が付加されている場合には、ナビゲーション装置１のＧＰＳ部１１２で取得された現在位置に替えて、グラス型デバイス２からの現在位置を示す情報を用いてもよい。

これにより、使用者が通る（通過しようとしている）交差点を特定することができ、使用者が移動している場所を特定できる。そして、連携制御部１０２Ｃは、ステップＳ３０７において、当該マッチング結果に基づいて、ルート設定されたルートを辿れているか否かを判別する処理を開始し、ルート設定されたルートから外れている場合には、ルートを補正する処理を行う。ルートを補正する処理は、連携制御部１０２Ｃが、ルート探索部１１９を制御して、ＧＰＳ部１１２を通じて取得した現在位置から設定されたルートに戻る経路を探索する処理となる。

この後、連携制御部１０２Ｃは、ステップＳ３０９において、処理結果の通知を形成し、これをグラス型デバイス２に送信する処理を行う。これにより、グラス型デバイス２のレンズ部には、例えば、「設定ルートから外れました。次の交差点を右折してください」などと言った、設定ルートに戻るための案内メッセージを形成して、これをグラス型デバイス２を通じて使用者に提供することができる。

［電車ナビ協調処理］
また、この実施形態のナビゲーション装置１は、電車ナビモード時には、遅延状況を把握して、目的地への到着時間を変更したり、乗り越し防止機能を調整したりすることもできるようになっている。

例えば、ステップＳ３０６において抽出した撮影映像に駅名看板の画像が含まれていたとする。当該撮影映像もまた、グラス型デバイス２のセンサ部２１１で検出された撮影方向（カメラ部２０９の対物レンズが向けられた方向）を示す情報やグラス型デバイス２のＧＰＳ部２１０を通じて取得した現在位置を示す情報が付加されている。そして、ステップＳ３０７の処理において、ナビゲーション装置の連携制御部１０２Ｃの制御の下、画像認識部１２２において、駅名が抽出されたとする。この場合、連携制御部１０２Ｃは、抽出した駅名と時刻情報提供部１１１が提供する現在時刻とに基づいて、目的駅への到着時刻の補正処理を当該ステップＳ３０７の処理において行う。

すなわち、連携制御部１０２Ｃは、設定されたルートにおいて、使用者が乗車しているであろう電車が抽出された駅名により特定される駅に到着する時刻を時刻表ＤＢ１０８の情報に基づいて特定する。この特定した到着する時刻と、時刻情報提供部１１１が提供する現在時刻と比較することにより、乗車している電車が遅延しているか否が判別できる。そして、遅延している場合には、連携制御部１０２Ｃは、駅名を認識した駅から目的駅までの所要時間を考慮し、目的駅への到着時刻を補正する処理を行う。また、乗り換えがある場合には、乗換駅への到着時刻も補正する。

そして、連携制御部１０２Ｃは、当該補正結果に基づいて、乗り越し防止設定を修正する処理をステップＳ３０７において行う。当該乗り越し防止設定は、乗換駅や目的駅への到着時刻の所定時間分前（例えば、５分前）にナビゲーション装置１を図示しないバイブレータを振動させるなどして通知したり、グラス型デバイス２を通じて表示メッセージや骨伝導出力により通知したりするための到着時刻の設定を修正する。

この後、連携制御部１０２Ｃは、ステップＳ３０８において、到着時間の補正処理や乗り越し防止設定の修正処理についての結果通知を形成し、これをステップＳ３０９においてグラス型デバイス２に通知する。このようにして、電車ナビモード時における到着時間の補正処理や乗り越し防止設定の修正処理についても、グラス型デバイス２からの駅名看板を含む撮影映像を利用することによって複雑な操作を一切行うことなく、簡単に行える。

［情報共有処理］
図１３は、図６に示したナビゲーション処理のステップＳ１０６において制御部１０２により実行される情報共有処理について説明するためのフローチャートである。図６のステップＳ１０６において、図１３に示した情報共有処理が実行されると、情報共有処理を実行するための指示入力を受け付けるようにする（ステップＳ４０１）。ここで、情報共有処理を実行するための指示入力は、例えば、表示部１１３に表示されている情報共有処理を実行するための表示ボタンに対する指示入力やナビゲーション装置１に設けられた所定のハードウェアキーに対する指示入力などである。

次に、制御部１０２は、情報共有処理を実行するための指示入力を受け付けたか否かを判別し（ステップＳ４０２）、受け付けたと判別したときには、グラス型デバイス２に対して投稿対象への注目指示を形成して送信する（ステップＳ４０３）。図１４は、この情報共有処理において用いられる出力メッセージの一例を示す図である。ステップＳ４０３においては、図１４（Ｂ）に示すように、「投稿したい状況に注目して下さい」といった指示メッセージが形成され、これがグラス型デバイス２に通知され、表示出力されたり、骨伝導出力されたりすることになる。

そして、グラス型デバイス２から順次に送信されてくる撮影映像を受信し、連携制御部１０２Ｃの下、受信したグラス型デバイス２からの撮影映像を画像認識部１２２において画像認識を行う（ステップＳ４０４）。そして、連携制御部１０２Ｃは、混雑、天候、事故、工事状況などルート上の状態（状況）の検出を行う（ステップＳ４０５）。なお、上述もしたように、グラス型デバイス２から送信されてくる撮影映像には、グラス型デバイス２のセンサ部２１１で検出された撮影方向（カメラ部２０９の対物レンズが向けられた方向）を示す情報やグラス型デバイス２のＧＰＳ部２１０を通じて取得した現在位置を示す情報が付加されている。

ここで、混雑状況は、進行方向に存在する自動車の変化の状況などによって検出できる。また、天候状況は、画像の明るさ、空の色、水溜りや傘の有無などにより検出できる。また、事故状況は、道路上の自動車の停止位置、自動車の形状、警察車両や救急車の有無などにより検出できる。また、工事状況は、工事看板や工事車両（トラック、ブルドーザ、ショベルカーなどを含む）の有無などにより検知できる。

この後、連携制御部１０２Ｃは、検出したルート上の状態を、無線通信部１２４及び送受信アンテナ１２４Ａを通じてインターネット上の所定のサーバに投稿する処理を実行する（ステップＳ４０６）。ルート上の状態の投稿は、検出した状態とＧＰＳ部１１２を通じて取得した現在位置とを対にして行われる。これにより、例えば、渋滞が発生している場合、どこで渋滞が発生しているのかを通知できるし、事故が発生している場合に、どこで事故が発生しているのかを通知できる。

なお、例えば、渋滞が発生している場合、時刻情報提供部１１１の提供する現在時刻を用い、処理制御部１０２Ｂが、単位距離当たりの移動時間を計測し、どの位の速さで移動しているのかを示す情報を通知することもできる。ステップＳ４０６の処理により、所定のサーバに投稿された情報は、当該サーバの利用が可能な他の自動車の運転者と共有できる。

この後、連携制御部１０２Ｃは、ルート上の状態の通知に関する結果通知を形成し、これをグラス型デバイス２に通知する（ステップＳ４０７）。これにより、グラス型デバイス２のレンズ部には、図１４（Ｂ）に示すように、「渋滞の発生を投稿しまた」というように、投稿した事実と投稿内容が表示され、使用者に通知できる。そして、この図１３に示す処理を終了し、次の実行タイミングを待つ。

また、ステップＳ４０２の判別処理において、情報共有処理を実行するための指示入力を受け付けていないと判別したとする。この場合、制御部１０２は、グラス型デバイス２からの要求を受信するようにし（ステップＳ４０８）、グラス型デバイス２からの情報共有要求を受信したか否かを判別する（ステップＳ４０９）。

ステップＳ４０９の判別処理において、情報共有要求を受信したと判別したときには、ステップＳ４０４からの処理を行う。これにより、グラス型デバイス２からの情報共有要求に応じても、ナビゲーション装置１において情報共有処理を実行できる。また、ステップＳ４０９の判別処理において、情報共有要求を受信していないと判別したときには、この図１３に示す処理を終了し、次の実行タイミングを待つ。

なお、グラス型デバイス２からの情報共有要求は、例えば、スイッチ２０４Ａが２回連続して操作されたり、操作部２０４の所定のファンクションキーが操作されたりした場合に形成してナビゲーション装置１に送信できるようにされている。

このように、情報共有処理は、ナビゲーション装置１に対する操作に応じて、ナビゲーション装置１からグラス型デバイス２に働きかけて行うことができる。また、情報共有処理は、グラス型デバイス２に対する操作に応じて、グラス型デバイス２からナビゲーション装置１に働きかけて行うことができる。すなわち、ナビゲーション装置１とグラス型デバイス２との間で双方向に情報などを提供し合い協調動作することができる。

［情報更新処理］
図１５は、図６に示したナビゲーション処理のステップＳ１０６において制御部１０２により実行される情報更新処理について説明するためのフローチャートである。図６のステップＳ１０６において、図１５に示した情報更新処理が実行されると、情報更新処理を実行するための指示入力を受け付けるようにする（ステップＳ５０１）。ここで、情報更新処理を実行するための指示入力は、例えば、表示部１１３に表示されている情報更新処理を実行するための表示ボタンに対する指示入力やナビゲーション装置１に設けられた所定のハードウェアキーに対する指示入力などである。

次に、制御部１０２は、情報更新処理を実行するための指示入力を受け付けたか否かを判別し（ステップＳ５０２）、受け付けたと判別したときには、グラス型デバイス２に対して変化を検知したい場所への注目指示を形成して送信する（ステップＳ５０３）。図１６は、この情報更新処理において用いられる出力メッセージの一例を示す図である。ステップＳ５０３においては、図１６（Ａ）に示すように、「変化を検知したい方向に注目して下さい」といった指示メッセージが形成され、これがグラス型デバイス２に通知され、表示出力されたり、骨伝導出力されたりすることになる。

そして、グラス型デバイス２から順次に送信されてくる撮影映像を受信し、連携制御部１０２Ｃの下、グラス型デバイス２からの撮影映像をＰＯＩ比較部１２３に供給し、３Ｄ画像ＤＢ１０７の位置的に対応する３Ｄ画像データとの比較処理を開始させる（ステップＳ５０４）。なお、上述もしたように、グラス型デバイス２から送信されてくる撮影映像には、グラス型デバイス２のセンサ部２１１で検出された撮影方向（カメラ部２０９の対物レンズが向けられた方向）を示す情報やグラス型デバイス２のＧＰＳ部２１０を通じて取得した現在位置を示す情報が付加されている。

このため、ステップＳ５０４での比較処理では、ＧＰＳ部１１２からの現在位置、あるいは、グラス型デバイス２からの撮影映像に付加されている現在位置を示す情報が考慮されると共に、グラス型デバイス２からの撮影映像に付加されている撮影方向も考慮される。すなわち、ステップＳ５０４では、同じ位置から同じ方向を見た場合の撮影映像と３Ｄ画像との比較が行われる。

そして、連携制御部１０２Ｃは、ＰＯＩ比較部１２３を制御して、撮影映像と３Ｄ画像との差分を特定する（ステップＳ５０５）。すなわち、撮影映像にあって３Ｄ画像にないもの、撮影映像になくて、３Ｄ画像にあるものを特定する。そして、ＰＯＩ比較部１２３は、特定した差分を記憶装置の所定の記録エリアに記録する（ステップＳ５０６）。このステップＳ５０６の記録処理では、「どの位置の」、「どの方向に見える」、「何が」、撮影映像にあって３Ｄ画像にないか、「どの位置の」、「どの方向に見える」、「何が」、撮影映像になくて３Ｄ画像にあるかを示す情報が記録される。

「どの位置の」が示す情報は、ＧＰＳ部１１２やグラス型デバイス２から提供された現在位置を示す情報に応じた緯度、経度である。「どの方向に見える」が示す情報は、東西南北を基準とした方位である。したがって、南東方向や北北東方向などの特定可能な種々の方位が含まれる。「何が」が示す情報は、例えば、「ビルディング」、「信号機」、「道路標識」などといった、差分そのものの対象を示す情報であり、撮影映像を画像認識することにより、あるいは、３Ｄ画像データを解析等することにより特定可能な対象物を示す情報である。

この後、処理制御部１０２Ｂは、情報更新処理に関する結果通知を形成し、これをグラス型デバイス２に通知する（ステップＳ５０７）。これにより、図１６（Ｂ）に示すように、例えば、「どの位置の」、「どの方向に見える」、「何が」、撮影映像にあって３Ｄ画像にないかが、グラス型デバイス２を通じて使用者に通知できる。もちろん、「どの位置の」、「どの方向に見える」、「何が」、撮影映像になくて３Ｄ画像にあるかを示す情報も通知できる。そして、この図１５に示す処理を終了し、次の実行タイミングを待つ。

また、ステップＳ５０２の判別処理において、情報更新処理を実行するための指示入力を受け付けていないと判別したとする。この場合、制御部１０２は、グラス型デバイス２からの要求を受信するようにし（ステップＳ５０８）、グラス型デバイス２からの情報更新要求を受信したか否かを判別する（ステップＳ５０９）。

ステップＳ５０９の判別処理において、情報更新要求を受信したと判別したときには、ステップＳ５０４からの処理を行う。これにより、グラス型デバイス２からの情報更新要求に応じても、ナビゲーション装置１において情報更新処理を実行できる。また、ステップＳ５０９の判別処理において、情報更新要求を受信していないと判別したときには、この図１５に示す処理を終了し、次の実行タイミングを待つ。

なお、グラス型デバイス２からの情報更新要求は、例えば、スイッチ２０４Ａが３回連続して操作されたり、操作部２０４の所定のファンクションキーが操作されたりした場合に形成してナビゲーション装置１に送信できるようにされている。

このように、情報更新処理は、ナビゲーション装置１に対する操作に応じて、ナビゲーション装置１からグラス型デバイス２に働きかけて行うことができる。また、情報更新処理は、グラス型デバイス２に対する操作に応じて、グラス型デバイス２からナビゲーション装置１に働きかけて行うことができる。すなわち、ナビゲーション装置１とグラス型デバイス２との間で双方向に情報などを提供し合い協調動作することができる。

すなわち、この実施形態のナビゲーションシステムにおいては、ナビゲーション装置１が、グラス型デバイス２からの撮影映像の提供を受けて、これを処理することにより、情報更新処理を行える。情報更新処理を行った場合には、既に把握している種々のＰＯＩ等について情報（既存情報）についての変化を検知し、変化分の情報を形成して蓄積することにより、既存情報の更新に役立てることができる。

［ナビゲーション装置１で現在位置が測位できなくなった場合の協調処理］
次に、ナビゲーション装置１のＧＰＳ部１１２を通じて現在位置を示す情報が取得できなくなった場合に、ナビゲーション装置１とグラス型デバイス２とが協働することによって、ナビゲーション処理を継続させる場合の協調動作について説明する。

［ナビゲーション装置１の処理］
図１７、図１８は、ナビゲーション処理の実行時において、ナビゲーション装置１のＧＰＳ部１１２を通じて現在位置を示す情報が取得できなくなった場合に（ＧＰＳロストとなった場合に）、連携制御部１０２Ｃによって実行される処理を説明するためのフローチャートである。

ＧＰＳロストとなると、連携制御部１０２Ｃは、ＧＰＳデータの提供要求を形成し、これをグラス型デバイス２に送信する処理を行う（ステップＳ６０１）。そして、連携制御部１０２Ｃは、グラス型デバイス２からの応答を受信する処理を行う（ステップＳ６０２）。なお、ステップＳ６０２の処理では、グラス型デバイス２からの応答を受信するまで待ち状態となる。

ステップＳ６０２の応答の受信処理を通じてグラス型デバイス２からの応答を受信すると、連携制御部１０２Ｃは、グラス型デバイス２からの応答は、グラス型デバイス２のＧＰＳ部２１０を通じて取得する現在位置を示す情報（ＧＰＳデータ）を有するものか否かを判別する（ステップＳ６０３）。ステップＳ６０３の判別処理において、グラス型デバイス２からの応答がＧＰＳデータを含むものであると判別したとする。この場合、連携制御部１０２Ｃは、ルート案内部１２０を制御し、グラス型デバイス２からのＧＰＳデータを自機の現在位置として用いてナビゲーション処理を継続させる（ステップＳ６０４）。

そして、連携制御部１０２Ｃは、自機のＧＰＳ部１１２を通じて現在位置を示す情報の取得が可能になったか否かを判別する（ステップＳ６０５）。ステップＳ６０５の判別処理において、ＧＰＳ部１１２を通じて現在位置を示す情報の取得が可能になっていないと判別したときには、ステップＳ６０４からの処理を繰り返し、グラス型デバイス２から供給されるＧＰＳデータを用いたナビゲーション処理を継続する。

ステップＳ６０５の判別処理において、ＧＰＳ部１１２を通じて現在位置を示す情報の取得が可能になったと判別したときには、連携制御部１０２Ｃは、ＧＰＳデータの送信停止要求を形成し、これをグラス型デバイス２に送信する（ステップＳ６０６）。この後、連携制御部１０２Ｃは、ルート案内部１２０を制御し、自機のＧＰＳ部１１２からの現在位置を示す情報（ＧＰＳデータ）を用いてナビゲーション処理を行うようにする（ステップＳ６０７）。そして、この図１７、図１８に示す処理を終了し、通常のナビゲーション処理に戻る。

また、ステップＳ６０３の判別処理において、グラス型デバイス２からの応答がＧＰＳデータを含むものではないと判別したとする。この場合、連携制御部１０２Ｃは、ルート案内部１２０の動作状態を確認し、位置確認が必要か否かを判別する（ステップＳ６０８）。具体的に、このステップＳ６０８の判別処理は、ルート案内部１２０において、自機の現在位置を把握しており、センサ部１１０からのセンサ出力に応じて自律航法によるナビゲーションが可能か否かを判別する処理である。

ステップＳ６０８の判別処理において、位置確認が必要である（自機の現在位置を把握していない）と判断したときには、連携制御部１０２Ｃは、看板、住所表示等の映像の提供要求を形成し、これをグラス型デバイス２に送信する（ステップＳ６０９）。そして、連携制御部１０２Ｃは、グラス型デバイス２から送信されてくる撮影映像の受信処理を行う（ステップＳ６１０）。なお、ステップＳ６１０の処理では、グラス型デバイス２からの撮影映像を受信するまで待ち状態となる。

ステップＳ６１０において、グラス型デバイス２からの撮影映像を受信すると、連携制御部１０２Ｃは、撮影画像に基づいて、現在位置を特定する処理を行う（ステップＳ６１１）。ステップＳ６１１において、連携制御部１０２Ｃは、グラス型デバイス２から撮影映像を画像認識部１２２に供給して画像認識処理を実行させ、撮影映像に含まれる看板等に記載されている会社名、住所表示等の注目情報（文字情報）を抽出する。注目情報が住所表示である場合には、その住所表示が示す位置がナビゲーション装置１の現在位置となる。

また、注目情報が会社の看板などである場合には、連携制御部１０２Ｃは、取得不能になる前に取得した最新のＧＰＳデータが示す位置を基準にして、地図ＤＢ１０５の地図データにより形成される地図上において、認識した注目情報により示される会社等の位置を特定する。次に、連携制御部１０２Ｃは、注目情報により示される位置と、グラス型デバイス２のカメラ部２０９の性能に応じて、撮影位置から注目情報が表示（記載）された被写体までの距離を算定する。さらに、グラス型デバイス２からの撮影映像に付加された撮影方向を示す情報をも考慮して、撮影位置を特定する。この特定した撮影位置が、ナビゲーション装置１の現在位置となる。

ステップＳ６０８の判別処理において、位置確認は必要ない（自機の現在位置を把握している）と判断したときと、ステップＳ６１１の処理の後においては、連携制御部１０２Ｃは、図１８の処理に進む。この場合、連携制御部１０２Ｃは、ステップＳ６１１で特定したナビゲーション装置１の現在位置、あるいは、把握しているナビゲーション装置１の現在位置を基準にして、センサ部１１０からのセンサ出力を利用した自立航法によるナビゲーション処理を実行する（ステップＳ６１２）。そして、連携制御部１０２Ｃは、自機のＧＰＳ部１１２を通じて現在位置を示す情報の取得が可能になったか否かを判別する（ステップＳ６１３）。

ステップＳ６１３の判別処理において、自機のＧＰＳ部１１２を通じて現在位置を示す情報の取得は可能になっていないと判別したときには、図１７に示したステップＳ６０８からの処理を繰り返す。また、ステップＳ６１３の判別処理において、自機のＧＰＳ部１１２を通じて現在位置を示す情報の取得が可能になったと判別したとする。この場合、連携制御部１０２Ｃは、ルート案内部１２０を制御し、自機のＧＰＳ部１１２を通じて取得する現在位置を示す情報（ＧＰＳデータ）を用いた通常のナビゲーション処理に戻るようにする（ステップＳ６１４）。そして、この図１７、図１８に示した処理を終了する。

［グラス型デバイス２の処理］
一方、グラス型デバイス２では、図７のフローチャートを用いて説明したように、ナビゲーション装置１からの指示等を受信するようにしている。そして、図７のステップＳ２０５の処理において、ナビゲーション装置１からの要求に応じた処理が行われる。すなわち、図７のステップＳ２０５においては、ＧＰＳ２１０を通じて取得した現在位置を示す情報のナビゲーション装置１への提供を開始や終了、注目対象を示すメッセージの表示などの処理が行われる。

図１９は、ナビゲーション装置１でＧＰＳロストとなった場合であって、ナビゲーション装置１において現在位置が不明である場合に、ナビゲーション装置１からの指示に応じてグラス型デバイス２のレンズ部に表示される表示メッセージ（図１９（Ａ））と、グラス型デバイス２のレンズ部を介して見える景色（図１９（Ｂ））の例を示す図である。

ナビゲーション装置１でＧＰＳロストとなった場合であって、ナビゲーション装置１において現在位置が不明である場合には、上述したようにナビゲーション装置１からは、看板や住所表示への注目を指示してくる。このため、連携制御部２０２Ｃは、まず、看板、住所表示に注目することの指示メッセージを表示処理部２０５に供給する。これにより、表示処理部２０５と投影部２０６とが機能し、グラス型デバイス２のレンズ部に図１９（Ａ）に示すような、看板や住所表示に注目することの指示メッセージを表示する。

この場合、図１９（Ａ）に示した態様で表示される指示メッセージに応じて、グラス型デバイス２を頭部に装着している使用者は、例えば、図１９（Ｂ）に示すように、自分の所在位置を特定するために用いることができる看板などを注目（見る）ようにする。これにより、使用者の場所の特定に利用可能な映像が撮影され、ナビゲーション装置１に送信される。これにより、ナビゲーション装置１では、グラス型デバイス２からの映像を解析することによい、現在位置の特定に資する情報を抽出し、その抽出した情報をももちいて、上述したように現在位置を特定し、自律航法機能を適切に機能させることができる。

このように、ナビゲーション装置１とグラス型デバイス２とで情報を提供し合い協調動作することで、ナビゲーション装置１において現在位置が測位できない状態となっても、ナビゲーション処理を適切に続行させることができる。

［実施の形態の効果］
上述した実施の形態のナビゲーションシステムによれば、（１）ナビゲーション装置１からグラス型デバイス２に情報などを提供して協調動作を行わせることができる。具体的には、ナビゲーション装置１において、音声案内が発生した場合に、当該音声案内に応じた案内情報を、グラス型デバイス２のレンズ部に表示して通知したり、骨伝導により通知したりすることができる。

また、（２）グラス型デバイス２からナビゲーション装置１に情報などを提供して協調動作を行わせることができる。具体的には、上述もしたように、グラス型デバイス２からの撮影映像を利用することによって、例えば、進行方向の信号の状態、進入禁止の道路か否かなど、種々の状態を判別して使用者に通知できる。

また、（３）ナビゲーション装置１とグラス型デバイス２とで双方向に情報などを提供し合い協調動作を行わせることができる。具体的には、ルート確認機能、情報共有機能、情報更新機能を実現できる。また、ナビゲーション装置１において、ＧＰＳ部１１２で現在位置の測位が不能になった場合に、グラス型デバイス２からのＧＰＳデータを利用したり、グラス型デバイス２からの撮影映像を利用したりして、ナビゲーション処理を継続させることができる。この場合に、相互に指示等を提供し、適切な処理を行うことができる。

［変形例等］
なお、上述した実施の形態では、グラス型デバイス２のカメラ部２０９からの撮影映像を用いた現在位置の特定処理では、看板や住所表示を撮影し、これを利用する場合を説明したが、これに限るものではない。例えば、地図上に存在する２つのランドマークを同じ場所から見て撮影することにより、そのように２つのランドマークが見える位置を地図上で特定することにより、現在位置を特定することもできる。もちろん、２つともランドマークに限らず、１つは太陽や月で、もう一つはランドマークを用いるといったことも可能である。

また、２つ以上の適宜の数のランドマークを同じ場所から見て撮影することにより、そのように２以上のランドマークが見える位置を地図上で特定することにより、現在位置を特定することもできる。この場合に、グラス型デバイス２のセンサ部２１１に６軸センサを搭載しておくことにとり、異なるランドマークを見るようにした場合の使用者の回転角度を考慮し、現在位置を正確に特定することも可能である。

また、ナビゲーション装置１から目的とする被写体への注目指示を、グラス型デバイス２を通じて表示出力したり骨伝導出力したりすることにより通知する。これに応じて、グラス型デバイス２を装着した使用者が、目的とする被写体に注目し、グラス型デバイス２の耳かけ部などに設けられている操作部のシャッターを操作することにより、目的とする被写体の静止画像を撮影し、これをナビゲーション装置１に送信する構成とすることもできる。この場合、ナビゲーション装置１では、グラス型デバイス２からの静止画像を解析し、文字認識や目的とする対象物などを認識する処理を行うようにすればよい。すなわち、グラス型デバイス２からナビゲーション装置１に送信する撮影映像は、動画像、静止画像のいずれの構成とすることができ、その処理方式はナビゲーション装置１側で決めておけばよい。

また、例えば、ナビゲーション装置１に騒音センサを設けておき、周囲の騒音が所定レベル以上になった場合であって、音声案内が発生した場合に、グラス型デバイス２を通じて骨伝導による案内通知を行うようにしてもよい。

［その他］
上述した実施の形態からも分かるように、ナビゲーション装置のナビ側通信手段の機能は、ナビゲーション装置１の近距離送受信アンテナ１０１Ａ及び近距離通信部１０１が実現し、ナビゲーション装置のナビ側指示制御手段の機能は、ナビゲーション装置１の提供制御部１０２Ａが実現している。また、ナビゲーション装置の映像処理手段の機能は、ナビゲーション装置１の３Ｄ画像比較部１２１、画像認識部１２２、ＰＯＩ比較部１２３が実現し、ナビゲーション装置の処理制御手段の機能は、ナビゲーション装置１の処理制御部１０２Ｂが実現している。ナビゲーション装置の現在位置取得手段の機能は、ナビゲーション装置１のＧＰＳ部１１２及びＧＰＳアンテナ１１２Ａが実現している。また、ナビゲーション装置の第１、第２の連携制御手段の機能は、ナビゲーション装置１の連携制御部１０２Ｃが実現している。また、ナビゲーション装置の抽出手段の機能は、ナビゲーション装置１の画像認識部１２２が実現している。

また、グラス型デバイスのグラス側通信手段の機能は、グラス型デバイス２の近距離送受信アンテナ２０１Ａ及び近距離通信部２０１が実現し、グラス型デバイスのグラス側指示制御手段の機能は、グラス型デバイス２の処理制御部２０２Ａが実現している。また、グラス型デバイスの表示手段の機能は、グラス型デバイス２の表示処理部２０５及び投影部２０６が実現し、グラス型デバイスの骨伝導手段の機能は、グラス型デバイス２の骨伝導駆動部２０７及び骨伝導振動部２０８が実現している。また、グラス型デバイスの撮像手段の機能は、グラス型デバイス２のカメラ部２０９が実現し、グラス型デバイスの提供制御手段の機能は、グラス型デバイス２の提供制御部２０２Ｂが実現している。また、グラス型デバイスの第１、第２の連携制御手段の機能は、グラス型デバイス２の連携制御部２０２Ｃが実現している。

また、上述した実施の形態のナビゲーションシステムを構成するナビゲーション装置１が、この発明のナビゲーション装置の一実施の形態が適用されたものである。また、上述した実施の形態のナビゲーションシステムを構成するグラス型デバイス２が、この発明のグラス型デバイスの一実施の形態が適用されたものである。

また、図６〜図７、図１０、図１３、図１５、図１７〜図１８のフローチャートに示した処理を行う方法が、この発明による装置間連携方法の一実施の形態が適用されたものである。

１…ナビゲーション装置、１０１Ａ…近距離送受信アンテナ、１０１…近距離通信部、１０２…制御部、１０２Ａ…提供制御部、１０２Ｂ…処理制御部、１０２Ｃ…連携制御部、１０３…記憶装置、１０４…操作部、１０５…地図ＤＢ、１０６…ネットワークＤＢ、１０７…３Ｄ画像ＤＢ、１０８…時刻表ＤＢ、１０９…ＰＯＩＤＢ、１１０…センサ部、１１１…時刻情報提供部、１１２…ＧＰＳ部、１１２Ａ…ＧＰＳアンテナ、１１３…表示部、１１４…タッチセンサ、１１５…タッチパネル、１１６…音声処理部、１１７…スピーカ、１１８…音声出力端子、１１９…ルート探索部、１２０…ルート案内部、１２１…３Ｄ画像比較部、１２２…画像認識部、１２３…ＰＯＩ比較部、１２４…無線通信部、１２４Ａ…送受信アンテナ、２…グラス型デバイス、２０１Ａ…近距離送受信アンテナ、２０１…近距離通信部、２０２…制御部、２０２Ａ…処理制御部、２０２Ｂ…提供制御部、２０２Ｃ…連携制御部、２０３…記憶装置、２０４…操作部、２０５…表示処理部、２０６…投影部、２０７…骨伝導駆動部、２０８…骨伝導振動部、２０９…カメラ部、２１０…ＧＰＳ部、２１０Ａ…ＧＰＳアンテナ、２１１…センサ部

Claims (9)

1. ナビゲーション装置とグラス型デバイスとにより形成されるナビゲーションシステムであって、
   前記ナビゲーション装置は、
   前記グラス型デバイスと通信するためのナビ側通信手段と、
   所定の事象が発生した場合に、少なくとも当該事象に応じて、前記グラス型デバイスの使用者に対するメッセージデータを形成し、当該メッセージデータに応じた案内情報を音声出力以外の態様で出力することを指示する出力指示と共に、前記ナビ側通信手段を通じて前記グラス型デバイスに送信するように制御するナビ側指示制御手段と、
   前記メッセージデータと前記出力指示とを送信した後に、前記ナビ側通信手段を通じて前記グラス型デバイスからの撮影映像を受信した場合に、当該撮影映像を処理する映像処理手段と、
   前記映像処理手段での処理の結果を利用して、所望の処理を実行するように制御する処理制御手段と
   を備え、
   前記グラス型デバイスは、
   前記ナビゲーション装置と通信するためのグラス側通信手段と、
   撮像手段と、
   前記グラス側通信手段を通じて、前記出力指示と前記メッセージデータとを受信した場合に、前記出力指示に応じて、前記メッセージデータに応じた案内情報を音声出力以外の態様で出力するように制御するグラス側指示制御手段と、
   前記撮像手段を通じて撮像して得た撮影映像を、前記グラス側通信手段を通じて前記ナビゲーション装置に送信するように制御する提供制御手段と
   を備えることを特徴とするナビゲーションシステム。
2. 請求項１に記載のナビゲーションシステムであって、
   前記グラス型デバイスは、
   表示手段と、
   骨伝導手段と
   を備え、
   前記グラス側指示制御手段は、前記出力指示に応じて、前記表示手段と前記骨伝導手段との一方あるいは両方を通じて、前記メッセージデータに応じた案内情報を出力するように制御することを特徴とするナビゲーションシステム。
3. 請求項１に記載のナビゲーションシステムであって、
   前記ナビゲーション装置において、
   前記ナビ側指示制御手段は、前記所定の事象として、ルート確認処理の実行指示を受け付けた場合に、撮影すべき注目対象を指示する前記メッセージデータを形成するものであり、
   前記映像処理手段は、前記グラス型デバイスからの前記撮影映像から認識対象の抽出と認識処理を行って移動ルートを特定する処理を行うものであり、
   前記処理制御手段は、前記移動ルートを特定する処理の結果に基づいて、誘導メッセージを形成して、前記グラス型デバイスに提供する処理を行うことを特徴とするナビゲーションシステム。
4. 請求項１に記載のナビゲーションシステムであって、
   前記ナビゲーション装置は、現在位置を取得する現在位置取得手段を備え、
   前記ナビゲーション装置において、
   前記ナビ側指示制御手段は、前記所定の事象として、情報共有処理の実行指示を受け付けた場合に、投稿対象への注目を指示する前記メッセージデータを形成するものであり、
   前記映像処理手段は、前記グラス型デバイスからの撮影映像を解析することにより、走行ルートの状況を特定することができるものであり、
   前記処理制御手段は、前記映像処理手段での特定結果を、前記現在位置取得手段で取得した現在位置と共に、前記ナビ側通信手段を通じて所定の送信先に送信し、他の自動車の運転者と共有できるように制御することを特徴とするナビゲーションシステム。
5. 請求項１に記載のナビゲーションシステムであって、
   前記ナビゲーション装置は、現在位置を取得する現在位置取得手段を備え、
   前記ナビゲーション装置において、
   前記ナビ側指示制御手段は、前記所定の事象として、情報更新処理の実行指示を受け付けた場合に、変化を検知したい場所への注目を指示する前記メッセージデータを形成するものであり、
   前記映像処理手段は、前記グラス型デバイスから提供された前記撮影映像と当該撮影映像に対応する自機が保持する既存情報とを比較し、その差分を位置に応じて検出できるものであり、
   前記処理制御手段は、前記映像処理手段で検出された前記差分を蓄積するように制御することを特徴とするナビゲーションシステム。
6. 請求項１に記載のナビゲーションシステムであって、
   前記ナビゲーション装置は、現在位置を取得する現在位置取得手段を備え、
   前記ナビゲーション装置において、
   前記ナビ側指示制御手段は、前記所定の事象として、前記現在位置取得手段で現在位置の取得ができず、かつ、現在位置の確認が必要な場合に、現在位置の特定に資する映像の提供を指示する前記メッセージデータを形成するものであり、
   前記映像処理手段は、前記グラス型デバイスからの前記撮影映像から注目すべき画像を特定し、その特定した画像に基づいて現在位置を特定する処理を行うものであり、
   前記処理制御手段は、特定された前記現在位置を利用して自律航法によるナビゲーション処理を行うことを特徴とするナビゲーションシステム。
7. ナビゲーション装置とグラス型デバイスとが通信接続されて形成されるナビゲーションシステムの前記ナビゲーション装置であって、
   前記グラス型デバイスは、前記ナビゲーション装置と通信するためのグラス側通信手段と、撮像手段と、前記グラス側通信手段を通じて、出力指示とメッセージデータとを受信した場合に、前記出力指示に応じて、前記メッセージデータに応じた案内情報を音声出力以外の態様で出力するように制御するグラス側指示制御手段と、前記撮像手段を通じて撮像して得た撮影映像を、前記グラス側通信手段を通じて前記ナビゲーション装置に送信するようの制御する提供制御手段とを備えるものであり、
   前記グラス型デバイスと通信するためのナビ側通信手段と、
   所定の事象が発生した場合に、少なくとも当該事象に応じて、前記グラス型デバイスの使用者に対する前記メッセージデータを形成し、当該メッセージデータに応じた案内情報を音声出力以外の態様で出力することを指示する前記出力指示と共に、前記ナビ側通信手段を通じて前記グラス型デバイスに送信するように制御するナビ側指示制御手段と、
   前記メッセージデータと前記出力指示とを送信した後に、前記ナビ側通信手段を通じて前記グラス型デバイスからの撮影映像を受信した場合に、当該撮影映像を処理する映像処理手段と、
   前記映像処理手段での処理の結果を利用して、所望の処理を実行するように制御する処理制御手段と
   を備えることを特徴とするナビゲーション装置。
8. ナビゲーション装置とグラス型デバイスとが通信接続されて形成されるナビゲーションシステムの前記グラス型デバイスであって、
   前記ナビゲーション装置は、前記グラス型デバイスと通信するためのナビ側通信手段と、所定の事象が発生した場合に、少なくとも当該事象に応じて、前記グラス型デバイスの使用者に対するメッセージデータを形成し、当該メッセージデータに応じた案内情報を音声出力以外の態様で出力することを指示する出力指示と共に、前記ナビ側通信手段を通じて前記グラス型デバイスに送信するように制御するナビ側指示制御手段と、前記メッセージデータと前記出力指示とを送信した後に、前記ナビ側通信手段を通じて前記グラス型デバイスからの撮影映像を受信した場合に、当該撮影映像を処理する映像処理手段と、前記映像処理手段での処理の結果を利用して、所望の処理を実行するように制御する処理制御手段とを備えるものであり、
   前記ナビゲーション装置と通信するためのグラス側通信手段と、
   撮像手段と、
   前記グラス側通信手段を通じて、前記出力指示と前記メッセージデータとを受信した場合に、前記出力指示に応じて、前記メッセージデータに応じた案内情報を音声出力以外の態様で出力するように制御するグラス側指示制御手段と、
   前記撮像手段を通じて撮像して得た撮影映像を、前記グラス側通信手段を通じて前記ナビゲーション装置に送信するようの制御する提供制御手段と
   を備えることを特徴とするグラス型デバイス。
9. ナビゲーション装置とグラス型デバイスとが通信接続されて形成されるナビゲーションシステムで用いられる装置間連携方法であって、
   前記ナビゲーション装置においては、
   所定の事象が発生した場合に、ナビ側指示制御手段が、少なくとも当該事象に応じて、前記グラス型デバイスの使用者に対するメッセージデータを形成し、当該メッセージデータに応じた案内情報を音声出力以外の態様で出力することを指示する出力指示と共に、前記グラス型デバイスと通信するためのナビ側通信手段を通じて前記グラス型デバイスに送信するように制御するナビ側指示制御工程と、
   前記メッセージデータと前記出力指示とを送信した後に、前記ナビ側通信手段を通じて前記グラス型デバイスからの撮影映像を受信した場合に、映像処理手段が、当該撮影映像を処理する映像処理工程と、
   前記映像処理工程での処理の結果を利用して、処理制御手段が、所望の処理を実行するように制御する処理制御工程と
   を有し、
   前記グラス型デバイスにおいては、
   前記ナビゲーション装置と通信するためのグラス側通信手段を通じて、前記出力指示と前記メッセージデータとを受信した場合に、前記出力指示に応じて、グラス側指示制御手段が、前記メッセージデータに応じた案内情報を音声出力以外の態様で出力するように制御するグラス側指示制御工程と、
   提供制御手段が、撮像手段を通じて撮像して得た撮影映像を、前記グラス側通信手段を通じて前記ナビゲーション装置に送信するようの制御する提供制御工程と
   を有することを特徴とする装置間連携方法。

Images