JP6025433B2 - 携帯ナビゲーション装置 - Google Patents

Description

本発明は、携帯ナビゲーション装置に関する。

近年、スマートフォン等の携帯端末の普及に伴い、歩行者向けのナビゲーションサービスが利用されるようになってきている。このようなサービスでは、例えば、現在位置付近の地図や目的地までの経路などを含む経路情報が、携帯端末の画面上に表示される。ところが、自動車向けのナビゲーションの場合と異なり、歩行者は進行方向の自由度が高いため、画面上に表示された地図と現実との整合に時間がかかってしまうことがある。

そこで、地図を表示するのではなく、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）によってナビゲーションをすることが考えられている。例えば、特許文献１には、ヘッドマウントディスプレイ（ＨＭＤ）を用いることにより、現実世界の画像上に、目的地に向かって移動していくキャラクタを重畳して表示する手法が開示されている。

特開２０１２−６３２５３号公報

たしかに、ＡＲによるナビゲーションは、案内人に道案内される際の感覚に近く、歩行者にとっては違和感が少ない。しかしながら、ＡＲによるナビゲーションだけでは、歩行者の目の前の状況しか把握することができず、不便である場合もある。例えば、歩行者は、ＡＲによるナビゲーションを利用している際にも、地図上で経路や周辺の状況を確認したい場合もある。

本発明はこのような事情に鑑みてなされたものであり、ＡＲによるナビゲーションを利用する際の利便性を高めることを目的とする。

本発明の一側面に係る携帯ナビゲーション装置は、画像を表示する表示部と、目的地までの経路を示す経路情報を取得する経路情報取得部と、現実世界の画像を取得する画像取得部と、経路情報に基づいて、経路に従って進行するキャラクタの画像を現実世界の画像に重畳した拡張現実画像を生成する拡張現実画像生成部と、経路情報に基づいて、経路を地図上に示した地図画像を生成する地図画像生成部と、表示部の水平方向からの傾き角度を検出する角度検出部と、角度が所定の閾値以上である場合は、拡張現実画像を表示部に出力し、角度が所定の閾値未満である場合は、地図画像を表示部に出力する表示制御部と、を備える。

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されてもよい。

本発明によれば、ＡＲによるナビゲーションを利用する際の利便性を高めることが可能となる。

本発明の一実施形態である携帯端末を含むナビゲーションシステムの構成の一例を示す図である。 携帯端末の外観の一例を示す図である。 ＡＲ画像の生成の一例を説明するための図である。 経路の分岐点においてキャラクタ１００が待機しているＡＲ画像の一例を示す図である。 地図画像生成部によって生成される地図画像の一例を示す図である。 表示制御部による表示制御の一例を示す図である。 ＡＲ画像及び地図画像をディスプレイ５２に同時に表示した画面の一例を示す図である。 アイコン操作の一例を示す図である。 アイコンの移動に伴うＡＲ画像の変化の一例を示す図である。 ユーザが経路を間違えてしまった場合の地図画像の一例を示す図である。 ユーザが経路を間違えてしまった場合のＡＲ画像の一例を示す図である。 ユーザを元の経路に誘導するためのＡＲ画像の一例を示す図である。 キャラクタをユーザの進行方向の地点に移動させる場合のＡＲ画像の一例を示す図である。 キャラクタが移動した地点を経由して目的地に到達するまでの経路を再探索する場合の地図画像の一例を示す図である。 方位センサの検出感度が低いことをユーザに通知するＡＲ画像の一例を示す図である。 撮影画面の一例を示す図である。 目標物を撮影する際の撮影画面の一例を示す図である。 方位の補正方法を説明するための図である。 携帯端末におけるＡＲ画像と地図画像の表示切替処理の一例を示すフローチャートである。 携帯端末における方位補正処理の一例を示すフローチャートである。

以下、図面を参照して本発明の一実施形態について説明する。図１は、本発明の一実施形態である携帯端末を含むナビゲーションシステムの構成の一例を示す図である。図１に示すように、ナビゲーションシステムは、ナビゲーションサーバ１０及び携帯端末２０を含んで構成されている。ナビゲーションサーバ１０及び携帯端末２０は、例えば、携帯電話の基地局やインターネットを介して通信可能に接続されている。

まず、ナビゲーションサーバ１０について説明する。ナビゲーションサーバ１０は、携帯端末２０に対して歩行者向けのナビゲーションサービスを提供するものであり、１台または複数台の情報処理装置を用いて構成される。図１に示すように、ナビゲーションサーバ１０は、経路ネットワーク情報記憶部３０、地図情報記憶部３２、施設位置情報記憶部３４、経路探索部３６、経路情報提供部３８、及び位置特定部４０を含んで構成することができる。これらの各部は、例えば、メモリや記憶装置等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。

経路ネットワーク情報記憶部３０は、経路ネットワークを構成するノードやリンクに関する情報である経路ネットワーク情報を記憶している。具体的には、経路ネットワーク情報には、各ノードの緯度・経度等を示す位置情報や、ノード間を接続する道路であるリンクを示す情報が含まれる。

地図情報記憶部３２は、経路案内において利用可能な地図情報を記憶している。地図情報には、例えば、平面地図や三次元空間画像等の画像情報が含まれている。三次元空間画像とは、例えば、事前に撮影された画像（いわゆる、ストリートビュー（登録商標）画像）や、ポリゴンにより表現された画像等である。

施設位置情報記憶部３４は、各種施設の位置情報である施設位置情報を記憶している。施設位置情報には、例えば、施設ＩＤ、緯度・経度、特徴情報等が含まれる。なお、施設には、例えば、建物や店舗等の施設そのものの他に、建物に設置された看板等の各種物体も含まれる。また、特徴情報は、施設の特徴を示す情報であり、例えば、施設の外観画像や名称等を示す情報が含まれる。例えば、施設が看板である場合、特徴情報には、看板に記載されている文字を示す文字情報が含まれることとしてもよい。

経路探索部３６は、携帯端末２０からの経路探索要求に応じて、経路ネットワーク情報記憶部３０を参照し、経路探索を実行する。経路探索要求には、例えば、出発地や目的地、経由地等の、経路探索条件が含まれる。

経路情報提供部３８は、経路探索結果に基づいて経路案内を行う際に必要となる経路情報を携帯端末２０に提供する。経路情報には、経路を構成するノードやリンクの情報の他に、経路案内用の地図情報や音声情報も含まれる。例えば、経路情報提供部３８は、携帯端末２０から表示対象の地図の種類や中心位置、縮尺、サイズ等を含む地図取得要求を受信し、該要求に応じた地図情報を地図情報記憶部３２から取得することができる。

位置特定部４０は、携帯端末２０からの目標物の位置特定要求に基づいて、該目標物の位置を特定することができる。目標物は、位置を特定可能な物であり、例えば、建物に設置された看板や、建物自身等である。位置特定要求には、例えば、目標物に記載された文字を示す文字情報や目標物を撮影した画像、現在位置等が含まれる。位置特定部４０は、このような位置特定要求から目標物の特徴を示す特徴情報を抽出することができる。そして、位置特定部４０は、抽出した特徴情報を施設位置情報記憶部３４に記憶されている特徴情報と照合することにより、目標物に対応する施設を特定し、目標物の位置を特定することができる。なお、位置特定部４０は、目標物を特定する際に、位置特定要求に含まれる現在位置を考慮することができる。例えば、位置特定部４０は、特徴情報をもとに特定される施設が複数存在する場合に、現在位置に近い施設を目標物に対応する施設として特定することとしてもよい。

次に、携帯端末２０について説明する。携帯端末２０は、スマートフォンやタブレット端末等の携帯型情報処理装置である。本実施形態の携帯端末２０は、ナビゲーション機能を備えた携帯ナビゲーション装置として用いることができる。図１に示すように、携帯端末２０は、カメラ５０、ディスプレイ５２、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール５４、角度センサ５６、方位センサ５８、感度判定部６０、照度センサ６２、経路情報取得部６４、経路情報記憶部６６、拡張現実画像生成部６８、地図画像生成部７０、表示制御部７２、アイコン操作部７４、通知部７６、音声案内出力部７８、撮影データ記憶部８０、目標位置特定部８２、目標方位特定部８４、方位補正部８６、及び補正データ記憶部８８を含んで構成することができる。これらの各部は、例えば、各種デバイスを用いたり、メモリや記憶装置等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。

図２には、携帯端末２０の外観の一例を示す図が示されている。図２（Ａ）に示すように、携帯端末２０には、ユーザが見る側の面（前面）にディスプレイ５２（表示部）が設けられている。また、図２（Ｂ）に示すように、携帯端末２０の背面には、カメラ５０（画像取得部）が設けられている。携帯端末２０では、カメラ５０が向けられた方向の画像を撮影することができる。

ＧＰＳモジュール５４（現在位置特定部）は、ＧＰＳ衛星と通信することにより、ユーザの現在位置（携帯端末２０の現在位置）を示す位置情報を出力することができる。位置情報には、例えば、緯度、経度、高度、測位精度などの情報が含まれる。

角度センサ５６（角度検出部）は、携帯端末２０のディスプレイ５２の水平方向からの傾き角度を検出可能なセンサである。角度センサ５６は、例えば、ジャイロセンサを用いて構成することができる。例えば、角度センサ５６は、ジャイロセンサから出力される角速度を積分することにより、角度を検出することができる。

方位センサ５８（方位検出部）は、携帯端末２０が向けられている方位を検出可能なセンサである。ここで、携帯端末２０が向けられている方位とは、例えば、携帯端末２０の背面に設けられたカメラ５０が向けられている方位である。方位センサ５８は、例えば、地磁気センサを用いて構成することができる。

感度判定部６０は、方位センサ５８による方位検出の感度を判定することができる。感度判定部６０は、例えば、方位センサ５８の出力レベルの変化や、方位センサ５８の出力信号に含まれる精度情報等に基づいて、方位検出の感度を判定することができる。

照度センサ６２（照度検出部）は、携帯端末２０の周囲の照度（明るさ）を検出可能なセンサである。照度センサ６２は、例えば、フォトダイオード等の光学素子と、光学素子の出力に基づいて照度を検出する集積回路とを用いて構成することができる。

経路情報取得部６４は、ユーザに対して経路案内を行うために必要となる経路情報をナビゲーションサーバ１０から取得し、経路情報記憶部６６に格納する。具体的には、経路情報取得部６４は、ユーザから、目的地や経由地等の経路探索条件を受け付け、該経路探索条件に基づいて、ナビゲーションサーバ１０に経路探索要求を送信することができる。

経路情報取得部６４が取得する経路情報には、例えば、経路を構成するノードやリンクの情報や、経路案内用の地図情報、音声情報等が含まれる。なお、経路情報取得部６４は、全ての経路情報を一度に取得するのではなく、必要な情報を必要なタイミングで取得することができる。例えば、経路情報取得部６４は、最初に、経路を構成するノードやリンクの情報を取得することができる。その後、経路情報取得部６４は、携帯端末２０において経路とともに地図を表示するための地図情報を取得することができる。例えば、経路情報取得部６４は、表示対象の地図の種類や中心位置、縮尺、サイズ等を含む地図取得要求をナビゲーションサーバ１０に送信することにより、地図情報を取得することができる。

拡張現実画像生成部６８は、カメラ５０によって撮影された現実世界の画像に、経路案内を行うための画像を重畳した拡張現実（ＡＲ）画像を生成する。図３は、ＡＲ画像の生成の一例を説明するための図である。図３（Ａ）には、カメラ５０によって撮影された画像がディスプレイ５２に表示された例が示されている。拡張現実画像生成部６８は、この現実世界の画像に、経路案内を行うための画像を重畳したＡＲ画像を生成することができる。図３（Ｂ）には、図３（Ａ）の画像をもとに生成されたＡＲ画像の一例が示されている。図３（Ｂ）に示すＡＲ画像では、現実世界の画像に、キャラクタ１００の画像が重畳されている。キャラクタ１００は、経路情報によって示される経路に従って進行するものである。ユーザは、ディスプレイ５２に表示されたキャラクタ１００の後を追うことにより、経路どおりに進むことができる。

なお、拡張現実画像生成部６８は、ユーザの現在位置やユーザ操作に応じて、キャラクタ１００が表示される位置を制御することができる。例えば、拡張現実画像生成部６８は、経路上の、現在位置から所定距離離れた位置にキャラクタ１００を表示することとしてもよい。また、拡張現実画像生成部６８は、キャラクタ１００が経路上を所定速度で移動するようにしてもよい。この速度は、例えば、あらかじめユーザによって設定されていてもよいし、ＡＲ画像が表示された状態において、ユーザからの指示によって設定されることとしてもよい。また、拡張現実画像生成部６８は、ユーザからの指示に応じて、キャラクタの進行を停止させたり、進行を再開させたりしてもよい。

また、拡張現実画像生成部６８は、経路の分岐点においてキャラクタ１００が待機するようにＡＲ画像を生成することとしてもよい。図４には、経路の分岐点においてキャラクタ１００が待機しているＡＲ画像の一例が示されている。図４に示すように、キャラクタ１００が経路の分岐点に到達した場合、拡張現実画像生成部６８は、ユーザの現在位置とキャラクタ１００の位置とが所定範囲内となるまでキャラクタ１００を分岐点に待機させることとしてもよい。そして、拡張現実画像生成部６８は、ユーザの現在位置とキャラクタ１００の位置とが所定範囲内になると、キャラクタ１００の進行を再開させることとしてもよい。このようにキャラクタ１００の動きを制御することにより、経路の分岐点においてユーザがキャラクタ１００を見失ってしまうことを防ぐことができる。

また、図３（Ｂ）に示す例では、ＡＲ画像が表示される画面に「ＡＲ＋地図」ボタン１１０が表示されている。このボタン１１０は、ＡＲ画像とともに地図画像を表示する画面に切り替えるためのものである。これについては後述する。

なお、拡張現実画像生成部６８は、カメラ５０によって撮影された画像の代わりに、ナビゲーションサーバ１０から取得される三次元空間画像を用いることも可能である。三次元空間画像は、カメラ５０が向けられた方向に対応する画像であり、経路情報取得部６４によってナビゲーションサーバ１０から取得することができる。例えば、拡張現実画像生成部６８は、夜間や雨天時など、照度センサ６２によって検出される照度が所定の閾値未満である場合に、カメラ５０によって撮影された画像の代わりに三次元空間画像を用いることとしてもよい。照度が低い場合はカメラ５０によって撮影された画像が見にくくなるため、三次元空間画像を用いることにより、ユーザにとって見やすい経路案内画像を提供することができる。

図１に戻り、地図画像生成部７０は、経路案内を行うための地図画像を生成する。例えば、地図画像生成部７０は、経路情報に基づいて、現在位置付近の地図上に経路を示した地図画像を生成することができる。図５には、地図画像生成部７０によって生成される地図画像の一例が示されている。図５に示す例では、経路を示す破線が地図上に表示されている。また、地図画像には、キャラクタ１００の位置を示すアイコン１２０と、現在位置を示すアイコン１３０とが表示されている。

図１に戻り、表示制御部７２は、経路案内を行うための画像の表示を制御する。例えば、表示制御部７２は、ディスプレイ５２に表示する画像をＡＲ画像または地図画像のいずれとするかを切り替えることができる。図６には、表示制御部７２による表示制御の一例が示されている。図６に示すように、表示制御部７２は、角度センサ５６によって検出された、携帯端末２０のディスプレイ５２の水平方向からの角度が所定の閾値（例えば４５°）以上である場合は、ＡＲ画像をディスプレイ５２に表示し、該角度が該閾値未満である場合は、地図画像をディスプレイ５２に表示することができる。なお、図６に示される閾値（４５°）は一例であり、他の閾値を用いることも可能である。

ユーザがＡＲ画像を見ながら経路を進む際には、進行方向の画像を確認するために、ディスプレイ５２が垂直に近い角度となるように携帯端末２０が保持された状態が自然であると考えられる。そのため、表示制御部７２は、携帯端末２０のディスプレイ５２の水平方向からの角度が所定の閾値以上である場合は、ＡＲ画像をディスプレイ５２に表示する。

一方、ユーザは、ＡＲ画像による経路案内中においても、例えば、現在位置付近の地図を確認したい場合がある。ユーザが地図画像を見る場合においては、ディスプレイ５２を水平に近い角度となるように携帯端末２０が保持された状態が自然であると考えられる。そのため、表示制御部７２は、携帯端末２０のディスプレイ５２の水平方向からの角度が所定の閾値未満である場合は、地図画像をディスプレイ５２に表示する。

このように、表示制御部７２は、携帯端末２０のディスプレイ５２の水平方向からの角度に基づいて、ユーザがＡＲ画像または地図画像のいずれを見たいのかを判断し、ディスプレイ５２に表示される画像を自動的に切り替えることができる。つまり、ユーザは、携帯端末２０のディスプレイ５２の水平方向からの角度を変えることにより、その角度に応じた適切な画像を見ることができる。

また、表示制御部７２は、ユーザからの要求に応じて、ＡＲ画像及び地図画像をディスプレイ５２に同時に表示することも可能である。例えば、図３（Ｂ）に示した画面において「ＡＲ＋地図」１１０ボタンが押下されると、表示制御部７２は、図７に示すように、ＡＲ画像及び地図画像をディスプレイ５２に同時に表示することができる。また、例えば、図７に示す画面において「ＡＲのみ」ボタン１４０が押下されると、表示制御部７２は、図３（Ｂ）に示したように、ＡＲ画像のみをディスプレイ５２に表示することができる。

図１に戻り、アイコン操作部７４は、地図画像に表示されたアイコンに対する操作を行うことができる。図８には、アイコン操作の一例が示されている。ユーザは、ディスプレイ５２に表示された地図画像上において、キャラクタ１００のアイコン１２０を移動させることができる。図８に示す例では、位置Ａから位置Ｂにアイコン１２０が移動されている。このようにアイコン１２０が移動された後、ＡＲ画像が表示されると、図９に示すように、移動後のアイコン１２０に対応した位置Ｂにキャラクタ１００が表示される。このようにアイコン１２０が移動された場合、拡張現実画像生成部６８は、例えば図９に示すように、移動された位置でキャラクタが待機しているＡＲ画像を生成することとしてもよい。

図１に戻り、通知部７６は、経路案内中にユーザに対する様々な通知を行う。例えば、通知部７６は、ユーザが経路を外れたことを通知することができる。具体例を用いて説明する。図１０には、ユーザが経路を間違えてしまった場合の地図画像が表示されている。図１０に示す地図画像は、本来であればアイコン１２０が表示されているＣ点にて右折すべきであったところ、間違えて直進し、Ｄ点に到達してしまった状況を表している。図１１には、この状況におけるＡＲ画像の一例が表示されている。図１１に示す例では、経路上にキャラクタ１００が表示されていない。その代わりに、通知部７６は、ＡＲ画像に、経路を間違えていることを示すメッセージ１４０や、キャラクタを呼ぶためのボタン１５０を表示することができる。また、通知部７６は、キャラクタの音声（例えば、「ワンワン」など）を出力することもできる。

ユーザは、図１１に例示した画面で、経路を間違えていることに気付くと、携帯端末２０を向ける方向を変えることにより、経路に戻るための方向を探すことができる。具体的には、図１０に示したＤ点において、携帯端末２０をＣ点の方向に向けると、拡張現実画像生成部６８は、例えば、図１２に示すＡＲ画像を表示することができる。図１２に示すＡＲ画像では、Ｃ点に位置するキャラクタ１００がユーザのいるＤ点の方向を向いて表示されている。ユーザはキャラクタ１００を発見し、キャラクタ１００のいる方向に進むことによって経路に戻ることができる。

なお、拡張現実画像生成部６８は、元の経路上ではなく、元の経路にユーザを誘導可能な位置にキャラクタ１００を表示することとしてもよい。例えば、拡張現実画像生成部６８は、図１０に示したＤ点とＣ点とを結ぶ線上にキャラクタ１００を表示してもよい。このとき、必要に応じて、経路情報取得部６４が、元の経路に戻るための経路情報をナビゲーションサーバ１０から取得することとしてもよい。

また、ユーザは、図１１に例示した画面で、「犬を呼ぶ」ボタン１５０を押下することにより、キャラクタ１００をユーザの進行している方向に表示させることができる。具体的には、拡張現実画像生成部６８は、「犬を呼ぶ」ボタン１５０が押下されると、図１３に例示するように、キャラクタ１００がユーザの進行方向の地点Ｅに移動するようにＡＲ画像を生成することができる。この場合、経路情報取得部６４は、図１４に示すように、キャラクタ１００が移動した地点Ｅを経由して目的地に到達するまでの経路を再探索することができる。

また、通知部７６は、感度判定部６０の判定結果に基づいて、方位センサ５８の検出感度が所定レベル未満であることをユーザに通知することができる。図１５には、方位センサ５８の検出感度が低いことをユーザに通知するＡＲ画像の一例が示されている。図１５に示すように、通知部７６は、方位センサ５８の検出感度が低いことを示すメッセージ１８０や、方位の補正に関するボタン１９０，２００を出力することができる。方位の補正については後述する。

また、方位センサ５８の検出感度が低い場合、拡張現実画像生成部６８は、キャラクタ１００の表示態様を変更することとしてもよい。例えば、図１５に示すＡＲ画像では、キャラクタ１００はユーザの方を向いた画像となっている。なお、図１５に示すキャラクタ１００の表示態様は一例であり、これに限られない。例えば、キャラクタ１００の表情が変更されたり、キャラクタ１００の動作が変更されたりしてもよい。

図１に戻り、音声案内出力部７８は、経路情報取得部６４によって取得された経路情報に基づいて、ユーザを経路案内するための音声を出力することができる。なお、拡張現実画像生成部６８は、音声案内出力部７８による音声案内にあわせて、キャラクタ１００の表示態様を変更することとしてもよい。例えば、拡張現実画像生成部６８は、音声案内が出力される際に、キャラクタ１００の顔がユーザの方向に向けられるようにＡＲ画像を生成してもよい。

撮影データ記憶部８０は、方位を補正するためにカメラ５０によって撮影された画像を記憶する。また、撮影データ記憶部８０は、該画像が撮影された際の現在位置を示す情報、および、該画像が撮影された際に方位センサ５８によって検出された方位（検出方位）を示す情報を画像と対応づけて記憶する。

例えば、図１５に示すＡＲ画像において、「センサ補正」ボタン１９０が押下されると、カメラ５０は、図１６に示す撮影画面を表示する。この画面には、例えば、目標物を捉える範囲２２０や撮影ボタン２３０等が表示される。ここで、目標物とは、方位を補正する際に基準とするものであり、その位置がナビゲーションサーバ１０の施設位置情報記憶部３４に登録されているものである。図１６に示す画面には、目標物の一例として看板２４０が表示されている。そして、例えば、図１７に示すように、目標物（看板２４０）の少なくとも一部が範囲２２０に含まれる状態で撮影ボタン２３０が押下されると、カメラ５０は、撮影された画像を現在位置及び検出方位と対応づけて撮影データ記憶部８０に格納する。なお、図１５に示すＡＲ画像において「無視」ボタン２００が押下されると、方位補正が行われることなく経路案内が継続される。

図１に戻り、目標位置特定部８２は、撮影データ記憶部８０に格納された画像に基づいて、目標物の位置（目標位置）を特定する。例えば、目標位置特定部８２は、この画像をナビゲーションサーバ１０に送信し、目標位置に関する情報をナビゲーションサーバ１０から受信することとしてもよい。また例えば、目標位置特定部８２は、この画像から文字等の特徴情報を抽出してナビゲーションサーバ１０に送信することにより、目標位置に関する情報を取得することとしてもよい。いずれの場合においても、ナビゲーションサーバ１０の位置特定部４０は、施設位置情報記憶部３４を参照することにより、携帯端末２０から受信する情報に基づいて目標位置を特定することができる。

目標方位特定部８４は、目標位置特定部８２によって特定された目標位置と、ＧＰＳモジュール５４によって検出された現在位置とに基づいて、携帯端末２０が向けられている方位を特定する。つまり、目標方位特定部８４は、現在位置から目標位置への方位（目標方位）を特定する。

方位補正部８６は、目標方位特定部８４によって特定された目標方位に基づいて、方位センサ５８によって検出された方位（検出方位）を補正する。図１８は、方位の補正方法を説明するための図である。図１８に示すように、方位補正部８６は、目標方位と検出方位との差を補正角度θとして算出する。この補正角度θが、方位センサ５８の感度低下による検出方位のずれを表している。方位補正部８６は、このように算出した補正角度θを示す補正データを補正データ記憶部８８に格納する。携帯端末２０においては、方位センサ５８で検出された方位を補正データ記憶部８８に記憶された補正データで補正して用いることができる。つまり、補正された方位に基づいて経路案内を行うことができる。

図１９は、携帯端末２０におけるＡＲ画像と地図画像の表示切替処理の一例を示すフローチャートである。角度センサ５６は、ディスプレイ５２の水平方向からの傾き角度を検出する（Ｓ１９０１）。表示制御部７２は、検出された角度が所定の閾値以上であるかどうか判定する（Ｓ１９０２）。

検出された角度が所定の閾値以上である場合（Ｓ１９０２：Ｙ）、すなわち、ディスプレイ５２の傾き角度が垂直方向に近い範囲にある場合、表示制御部７２は、図３（Ｂ）に示したように、拡張現実画像生成部６８によって生成されたＡＲ画像をディスプレイ５２に表示する（Ｓ１９０３）。また、表示制御部７２は、ユーザからの指示に応じて、例えば図７に示したように、ＡＲ画像と地図画像とをディスプレイ５２に同時に表示することができる。

一方、検出された角度が所定の閾値である場合（Ｓ１９０２：Ｎ）、すなわち、ディスプレイ５２の傾き角度が水平方向に近い範囲にある場合、表示制御部７２は、図５に示したように、地図画像生成部７０によって生成された地図画像をディスプレイ５２に表示する（Ｓ１９０４）。

このように、ディスプレイ５２の水平方向からの傾き角度に応じた画像の切替処理が、ユーザからの指示によって表示処理が終了されるまで（Ｓ１９０５）、繰り返し実行される。

図２０は、携帯端末２０における方位補正処理の一例を示すフローチャートである。感度判定部６０は、方位センサ５８の出力を取得し（Ｓ２００１）、方位センサ５８の感度を判定する（Ｓ２００２）。方位センサ５８の感度が所定の閾値以上である場合（Ｓ２００３：Ｎ）、方位補正部８６は方位センサ５８の方位補正を行わずに処理を終了する。

方位センサ５８の感度が所定の閾値未満である場合（Ｓ２００３：Ｙ）、通知部７６は、方位センサ５８の感度が低いことをユーザに通知する（Ｓ２００４）。ユーザが方位の補正を行わないことを選択すると（Ｓ２００５：Ｎ）、方位補正部８６は方位センサ５８の方位補正を行わずに処理を終了する。

方位センサ５８の感度が低いことの通知に応じて、ユーザが、方位の補正を行うことを選択すると（Ｓ２００５：Ｙ）、目標位置特定部８２は、カメラ５０によって撮影された目標物の撮影データを取得する（Ｓ２００６）。そして、目標位置特定部８２は、該撮影データに基づいて目標物の位置（目標位置）を特定する（Ｓ２００７）。なお、目標位置特定部８２は、目標位置の特定にあたり、ナビゲーションサーバ１０と通信を行うことができる。

目標位置が特定されると、目標方位特定部８４は、目標物が撮影された際の現在位置から目標位置の方位（目標方位）を特定する（Ｓ２００８）。なお、目標物が撮影された際の現在位置を示す情報、および、方位センサ５８により検出された方位（検出方位）を示す情報は、目標物の画像と対応づけて撮影データ記憶部８０に格納されている。

目標方位が特定されると、方位補正部８６は、図１８に示したように、目標方位と、方位センサ５８によって検出された方位（検出方位）とに基づいて補正角度を算出し、補正角度を示す補正データを補正データ記憶部８８に格納する（Ｓ２０１０）。これにより、方位センサ５８の感度が低い場合において、目標物の位置に基づいて方位を補正することができる。なお、図２０に示した処理は、経路案内が行われている間、繰り返し実行することができる。

以上、本実施形態について説明した。本実施形態によれば、ディスプレイ５２の水平方向からの傾き角度に応じて、ＡＲ画像の表示と地図画像の表示とを自動的に切り替えることができる。これにより、ＡＲによるナビゲーションを利用する際の利便性を向上させることができる。

また、本実施形態では、地図画像上でキャラクタ１００のアイコン１２０の位置を変更することにより、ＡＲ画像に切り替わった際に、キャラクタ１００の位置をアイコン１２０に応じた位置に変更することができる。このように、地図画像上での操作とＡＲ画像の表示とを連携させることにより、ＡＲによるナビゲーションを利用する際の利便性を向上させることができる。

また、本実施形態では、ユーザが経路を外れてしまった場合に、すぐにユーザの進行方向を前提とした経路の再探索を行うのではなく、元の経路にユーザを誘導可能な位置にキャラクタ１００を表示することができる。

また、本実施形態では、例えば、周囲が暗い場合等において、カメラ５０で撮影される画像に代えて、ストリートビュー画像等の三次元空間画像を用いることができる。これにより、ＡＲ画像による経路案内時の視認性を向上させることができる。

また、本実施形態では、方位センサ５８の感度が低い場合に、あらかじめ位置が特定されている目標物を撮影することにより、方位センサ５８によって検出される方位を補正することができる。これにより、例えば、経路案内時の進行方向の特定精度を向上させることが可能となる。

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

１０ ナビゲーションサーバ
２０ 携帯端末
３０ 経路ネットワーク情報記憶部
３２ 地図情報記憶部
３４ 位置情報記憶部
３６ 経路探索部
３８ 経路情報提供部
４０ 位置特定部
５０ カメラ
５２ ディスプレイ
５４ ＧＰＳモジュール
５６ 角度センサ
５８ 方位センサ
６０ 感度判定部
６２ 照度センサ
６４ 経路情報取得部
６６ 経路情報記憶部
６８ 拡張現実画像生成部
７０ 地図画像生成部
７２ 表示制御部
７４ アイコン操作部
７６ 通知部
７８ 音声案内出力部
８０ 撮影データ記憶部
８２ 目標位置特定部
８４ 目標方位特定部
８６ 方位補正部
８８ 補正データ記憶部

Claims (10)

1. 画像を表示する表示部と、
   目的地までの経路を示す経路情報を取得する経路情報取得部と、
   現実世界の画像を取得する画像取得部と、
   前記経路情報に基づいて、前記経路に従って進行するキャラクタの画像を前記現実世界の画像に重畳した拡張現実画像を生成する拡張現実画像生成部と、
   前記経路情報に基づいて、前記拡張現実画像における前記キャラクタの位置を示すアイコンが含まれる、前記経路を地図上に示した地図画像を生成する地図画像生成部と、
   前記表示部の水平方向からの傾き角度を検出する角度検出部と、
   前記角度が所定の閾値以上である場合は、前記拡張現実画像を前記表示部に出力し、前記角度が前記所定の閾値未満である場合は、前記地図画像を前記表示部に出力する表示制御部と、
   前記表示部に表示された前記地図画像上において、ユーザ操作に応じて、前記アイコンの位置を変更するアイコン操作部と、
   を備え、
   前記拡張現実画像生成部は、前記アイコンの前記変更された位置に対応する位置に前記キャラクタの画像が重畳された前記拡張現実画像を生成する、
   携帯ナビゲーション装置。
2. 請求項１に記載の携帯ナビゲーション装置であって、
   前記拡張現実画像生成部は、前記現実世界の画像で示される範囲に前記経路が含まれない場合、前記キャラクタの画像を前記現実世界の画像に重畳せずに前記拡張現実画像を生成する、
   携帯ナビゲーション装置。
3. 請求項２に記載の携帯ナビゲーション装置であって、
   前記拡張現実画像生成部は、前記現実世界の画像が前記経路に戻る方向の画像である場合、ユーザを前記経路に誘導可能な位置に前記キャラクタの画像を重畳した前記拡張現実画像を生成する、
   携帯ナビゲーション装置。
4. 請求項２または３に記載の携帯ナビゲーション装置であって、
   前記現実世界の画像で示される範囲に前記経路が含まれない場合、経路を外れていることをユーザに通知する通知部をさらに備える、
   携帯ナビゲーション装置。
5. 請求項１〜４の何れか一項に記載の携帯ナビゲーション装置であって、
   前記経路情報取得部は、前記現実世界の画像に対応する三次元空間画像を取得可能であり、
   前記拡張現実画像生成部は、前記キャラクタの画像を重畳する画像を前記三次元空間画像に切り替え可能である、
   携帯ナビゲーション装置。
6. 請求項５に記載の携帯ナビゲーション装置であって、
   周囲の照度を検出する照度検出部をさらに備え、
   前記拡張現実画像生成部は、前記周囲の照度が所定レベル未満である場合、前記現実世界の画像の代わりに前記三次元空間画像に前記キャラクタの画像を重畳して前記拡張現実画像を生成する、
   携帯ナビゲーション装置。
7. 請求項１〜６の何れか一項に記載の携帯ナビゲーション装置であって、
   前記表示制御部は、前記拡張現実画像及び前記地図画像を含む画像を前記表示部に出力可能である、
   携帯ナビゲーション装置。
8. 請求項１〜７の何れか一項に記載の携帯ナビゲーション装置であって、
   現在位置を特定する現在位置特定部と、
   前記現実世界の画像に含まれる目標物の位置である目標位置を特定する目標位置特定部と、
   方位を検出する方位検出部と、
   前記現在位置から前記目標位置への方位である目標方位を特定する目標方位特定部と、
   前記検出された方位と前記目標方位との差に基づいて、前記検出された方位を補正する方位補正部と、
   をさらに備える携帯ナビゲーション装置。
9. 請求項８に記載の携帯ナビゲーション装置であって、
   前記方位の検出結果に基づいて前記方位の検出感度を判定する感度判定部をさらに備え、
   前記拡張現実画像生成部は、前記検出感度に応じて前記キャラクタの画像の表示態様を変更する、
   携帯ナビゲーション装置。
10. 画像を表示する表示部を有する携帯ナビゲーション装置に、
    目的地までの経路を示す経路情報を取得する経路情報取得部と、
    現実世界の画像を取得する画像取得部と、
    前記経路情報に基づいて、前記経路に従って進行するキャラクタの画像を前記現実世界の画像に重畳した拡張現実画像を生成する地図画像生成部と、
    前記経路情報に基づいて、前記拡張現実画像における前記キャラクタの位置を示すアイコンが含まれる、前記経路を地図上に示した地図画像を生成する拡張現実画像生成部と、
    前記表示部の水平方向からの傾き角度を検出する角度検出部と、
    前記角度が所定の閾値以上である場合は、前記拡張現実画像を前記表示部に出力し、前記角度が前記所定の閾値未満である場合は、前記地図画像を前記表示部に出力する表示制御部と、
    前記表示部に表示された前記地図画像上において、ユーザ操作に応じて、前記アイコンの位置を変更するアイコン操作部と、
    を実現させ、
    前記拡張現実画像生成部は、前記アイコンの前記変更された位置に対応する位置に前記キャラクタの画像が重畳された前記拡張現実画像を生成する、
    プログラム。

Images