JP7852901B2 - ハンズフリー歩行者ナビゲーションのためのシステムと方法 - Google Patents

Description

本発明は歩行者ナビゲーションシステムに関する。いくつかの実施形態では、これは、歩行者の運動方向が目的の目的地に一致することを保証するための慣性磁気ユニット（ＩＭＵ）の磁力計の較正に関する。

本発明の背景として関連すると考えられる先行技術の参考文献を以下に列挙し、それらの内容を参照により本明細書に組み込む。本明細書の参考文献は、これらが本明細書に開示された発明の特許性に何らかの形で関連していることを意味するものとして推測されるべきではない。各参照は角括弧で囲まれた番号で識別されるため、従来技術は、仕様全体で角括弧で囲まれた番号で参照される。
［１］Ｎｅｈｌａ Ｇｈｏｕａｉｅｌ， Ｊｅａｎ－Ｍａｒｃ Ｃｉｅｕｔａｔ， Ｊｅａｎ Ｐｉｅｒｒｅ Ｊｅｓｓｅｌ．「Ｈａｐｔｉｃ Ｓｙｓｔｅｍ ｆｏｒ Ｅｙｅｓ Ｆｒｅｅ ａｎｄ Ｈａｎｄｓ Ｆｒｅｅ Ｐｅｄｅｓｔｒｉａｎ Ｎａｖｉｇａｔｉｏｎ．」ＡＣＨＩ ２０１３：Ｔｈｅ Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ－Ｈｕｍａｎ Ｉｎｔｅｒａｃｔｉｏｎｓ，Ｆｅｂ ２０１３， Ｆｒａｎｃｅ ｐｐ．３３０－３３５＜ｈａｌ－００９０８０２８＞
［２］ＭｃＧｏｏｋｉｎ， Ｄ．， Ｂｒｅｗｓｔｅｒ， Ｓ．， ＆ Ｐｒｉｅｇｏ， Ｐ． （２００９）．「Ａｕｄｉｏ Ｂｕｂｂｌｅｓ：Ｅｍｐｌｏｙｉｎｇ Ｎｏｎ－ｓｐｅｅｃｈ Ａｕｄｉｏ ｔｏ Ｓｕｐｐｏｒｔ Ｔｏｕｒｉｓｔ Ｗａｙｆｉｎｄｉｎｇ」．Ｉｎ Ｍ． Ｅｒｃａｎ Ａｌ Ａｕｄｉｏ Ｂｕｂｂｌｅｓ： ｔｉｎｓｏｙ， Ｕ． Ｊｅｋｏｓｃｈ， ＆ Ｓ． Ｂｒｅｗｓｔｅｒ （Ｅｄｓ．）， Ｈａｐｔｉｃ ａｎｄ Ａｕｄｉｏ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｓｉｇｎ： ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ， ＨＡＩＤ ２００９ Ｄｒｅｓｄｅｎ， Ｇｅｒｍａｎｙ， Ｓｅｐｔｅｍｂｅｒ １０－１１， ２００９ Ｐｒｏｃｅｅｄｉｎｇｓ （Ｖｏｌ． ５７６３， ｐｐ． ４１－５０）． Ｓｐｒｉｎｇｅｒ． ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１００７／９７８－３－６４２－０４０７６－４＿５
［３］Ｉｏａｎｎｉｓ Ｇｉａｎｎｏｐｏｕｌｏｓ ｅｔ ａｌ． ＧａｚｅＮａｖ： Ｇａｚｅ－Ｂａｓｅｄ Ｐｅｄｅｓｔｒｉａｎ Ｎａｖｉｇａｔｉｏｎ， Ｍｏｂ ｉｌｅＨＣＩ ’１５， Ａｕｇｕｓｔ ２５ - ２９， ２０１５， Ｃｏｐｅｎｈａｇｅｎ， Ｄｅｎｍａｒｋ
［４］Ｍｉｃｈａｅｌ Ｍｉｎｏｃｋ ｅｔ ａｌ． Ａ Ｔｅｓｔ－Ｂｅｄ ｆｏｒ Ｔｅｘｔ－ｔｏ－Ｓｐｅｅｃｈ－Ｂａｓｅｄ Ｐｅｄｅｓｔｒｉａｎ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍｓ
［５］Ｊｏｈａｎ Ｂｏｙｅ ｅｔ ａｌ． Ｗａｌｋ Ｔｈｉｓ Ｗａｙ： Ｓｐａｔｉａｌ Ｇｒｏｕｎｄｉｎｇ ｆｏｒ Ｃｉｔｙ Ｅｘｐｌｏｒａｔｉｏｎ Ｊ． Ｍａｒｉａｎｉ ｅｔ ａｌ． （ｅｄｓ．）， Ｎａｔｕｒａｌ Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｒｏｂｏｔｓ， Ｋｎｏｗｂｏｔｓ ａｎｄ Ｓｍａｒｔｐｈｏｎｅｓ： Ｐｕｔｔｉｎｇ Ｓｐｏｋｅｎ Ｄｉａｌｏｇ Ｓｙｓｔｅｍｓ ｉｎｔｏ Ｐｒａｃｔｉｃｅ， ＤＯＩ １０．１００７／９７８－１－４６１４－８２８０－２ ６， Ｓｐｒｉｎｇｅｒ Ｓｃｉｅｎｃｅ＋Ｂｕｓｉｎｅｓｓ Ｍｅｄｉａ Ｎｅｗ Ｙｏｒｋ ２０１４
［６］Ｄ．Ｗ．Ｆ． ｖａｎ Ｋｒｅｖｅｌｅｎ ａｎｄ Ｒ． Ｐｏｅｌｍａｎ Ａ Ｓｕｒｖｅｙ ｏｆ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｌｉｍｉｔａｔｉｏｎｓ ｉｎ Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ， ２０１０， ９（２）：１－２０
［７］Ｂａｒｔｉｅ Ｐ， Ｍａｃｋａｎｅｓｓ Ｗ， Ｌｅｍｏｎ Ｏ， Ｄａｌｍａｓ Ｔ， Ｊａｎａｒｔｈａｎａｍ Ｓ， Ｈｉｌｌ Ｒ， Ｄｉｃｋｉｎｓｏｎ Ａ ＆ Ｌｉｕ Ｘ （２０１８） Ａ ｄｉａｌｏｇｕｅ ｂａｓｅｄ ｍｏｂｉｌｅ ｖｉｒｔｕａｌ ａｓｓｉｓｔａｎｔ ｆｏｒ ｔｏｕｒｉｓｔｓ： Ｔｈｅ ＳｐａｃｅＢｏｏｋ Ｐｒｏｊｅｃｔ， Ｃｏｍｐｕｔｅｒｓ， Ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ Ｕｒｂａｎ Ｓｙｓｔｅｍｓ， ６７， ｐｐ． １１０－１２３．
［８］Ｇａｂｒｉｅｌ Ｓｋａｎｔｚｅ Ｅｒｒｏｒ Ｈａｎｄｌｉｎｇ ｉｎ Ｓｐｏｋｅｎ Ｄｉａｌｏｇｕｅ Ｓｙｓｔｅｍｓ ＰｈＤ Ｔｈｅｓｉｓ， Ｓｔｏｃｋｈｏｌｍ， Ｓｗｅｄｅｎ ２００７
［９］Ｒｉｃｋｙ Ｊａｃｏｂ， ＰｈＤ Ｔｈｅｓｉｓ “Ｉｎｔｅｇｒａｔｉｎｇ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ ｉｎｔｏ Ｍｏｂｉｌｅ Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅｓ” Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｒｅｌａｎｄ Ｍａｙｎｏｏｔｈ， Ｊｕｌｙ ２０１３

スマートフォンの急増により、スマートフォンとその標準的な内蔵ＧＰＳの普及を活用する、さまざまな個人用または歩行者用ナビゲーションシステムが生まれた。一般的なシステムはハンドヘルドである。つまり、ユーザーは手動でシステムを保持する必要があり、多くの場合、ユーザーのスマートフォンのＧＰＳ座標に基づいてダウンロードされた自分のすぐ近くの地図を読む必要がある。

スマートフォンを手に持って画面を見下ろしたり、画面を視線に向けて持ち上げたりする必要があるため、このような手法は混乱を招くものであり、望ましくない制限が課せられる。たとえば、外国の都市の通りを歩いている観光客は、観光スポットを見ることに夢中になっている。観光客が、特定の観光スポットにたどりつくための方向を知りたいために、視線をスマートフォンの画面に向けることを強いられるというのは邪魔である。また、観光客はスマートフォンを手に持つ必要があるが、これも望ましくない場合がある。

この不便さの認識は、いわゆるハンズフリーナビゲーションシステムにつながった。

Ｇｈｏｕａｉｅｌら［１］は、振動要素と拡張現実を触覚モダリティで使用して、ハンズフリーおよびアイズフリーナビゲーションを介して都市環境における歩行者を誘導するハンズフリーナビゲーションシステムを開示している。

ＭｃＧｏｏｋｉｎら［２］はオーディオバブルの概念を開示しており、これは、物理的なランドマークを中心に配置されている、音声で満たされた仮想球体であり、ユーザーがランドマークをより簡単に見つけるためのナビゲーションホーミング情報を提供する。

Ｇｉａｎｎｏｐｏｕｌｏｓら［３］は、ヘッドマウントアイトラッカーを使用して、歩行者のナビゲーションに視線ベースのインタラクションを提供し、ユーザーが見ている通りが追跡する通りである場合に、ナビゲーション情報を提供することを開示している。

Ｍｉｎｏｃｋら［４］は、 街中でアイズフリーやハンズフリーのナビゲーションをサポートするＡｎｄｒｏｉｄシステムを開示している。1つのモードでは、人間のオペレーターがＴＴＳを介して実現されたテキストメッセージをユーザーのイヤピースに送信する。オペレーターは、地図上で対者象のＧＰＳ位置を確認し、対象者のスピーチを聞き、ネックレスの形態で着用された対象者の電話から取得した１ｆｐｓの動画を確認する。

Ｂｏｙｅら［５］は、ストックホルムでの歩行者ナビゲーションの音声対話プロトタイプについて記述している。これは、さまざまな接地戦略を使用してＧＰＳ読み取り値のノイズの問題に対処している。これは、ナビゲーションシステムに指示を与える前に、近くにある参照ランドマークを使用してユーザーの現在の位置と方向を最初に設置する必要があることに関する。

この論文における接地の議論は、本発明が関係する同様の問題に対処するので、本発明に関連する。しかし、提案される解決策は全く異なる。特に、Ｂｏｙｅら［５］はランドマークを使用してユーザーをマップ内の最初のノードに誘導し、指定されたノードへのユーザーの進行状況をリアルタイムで監視する。次のノードまでの距離が短くなっている限り、問題はない。次のノードまでの距離が増加し始めると、システムは後続のノードＢまでの距離もチェックして、ユーザーが予想されるノードＡを通過し、正しい方向に進んでいるかどうかを判断する。しかし、予想される次のノードＡと予想される連続するノードＢの両方までの距離が増加していると判断され、このパターンが１０秒間続く場合、システムはユーザーが間違った方向に歩いていると想定し、再計画を発行する。

これが意味するのは、Ｂｏｙｅら［５］は、モバイルユーザーを指定された目的地に正しく誘導するという問題と、ユーザーの位置を正確に特定するためのＧＰＳの欠点に注意を払っている一方で、方向性に関するエラーを修正するために試行錯誤のアプローチを使用しているということである。言い換えれば、彼らのアプローチは、ランドマークベースのガイダンスが歩行者を目的の目的地から遠ざける結果になる可能性があるという事実を考慮に入れているが、エラーを検出して適切な是正措置を取るということである。

Ｋｒｅｖｅｌｅｎら［６］はヘッドトラッキングの説明を含むＡＲテクニックの詳細な概要を開示している。彼らは、慣性航法システムが加速度計とジャイロスコープを採用していることを指摘している。これらの計器は、正確な方位情報と組み合わせた場合に、時間測定によって位置を推定するための実用的な推測航法を提供できる。ドリフトによるエラーを最小限に抑えるために、推定は定期的に正確な測定値で更新する必要がある。また、準備が整っていない環境での追跡を確認し、これらのデバイスのキャリブレーションに問題があることを認めている。

Ｂａｒｔｉｅら［７］は同様に、拡張現実（ＡＲ）アプリケーションを含む歩行者ナビゲーションシステムの完全な概要を提供する。これは通常、ヘッドマウントカメラを使用してユーザーの視線の風景を画像化し、ユーザーのスマートフォンを介してナビゲーションサーバーに画像を送信する。このようなアプローチの問題は、デジタル画像を送信するために比較的高い帯域幅が必要であり、これによりスマートフォンのバッテリーが消耗することである。また、全地球型衛星航法システム（ＧＮＳＳ）は移動履歴からしか方向を計算できないため、全地球型衛星航法システム（ＧＮＳＳ）の方向値が信頼できない場合に、どの方向から歩行を開始するかを明確にする必要があることについても説明している。彼らは、スマートフォンが平らに保持されておらず、ユーザーのポケットやバッグに入れられていたため、スマートフォンの磁力計を利用できず、非常にノイズの多い出力が発生したと述べている。

ユーザーを誘導するために［７］によって提案された解決策は、よく知られている近くのランドマークを参照し、出発時にそれらを右または左に保つようにユーザーに依頼することである（たとえば、「ブラックウェルの書店を右にしたまま」）。これにより全地球型衛星航法システム（ＧＮＳＳ）が軌道履歴から適切な方向を導き出すことができれば、ユーザーは後戻りする必要がなくなる。

Ｂａｒｔｉｅ［７］らはまた、建物へのシステムの参照がユーザーのビューと一致するように、ユーザーのアプローチ角度に基づいて名前の選択をカスタマイズする必要性にも言及している。これは、特定の居住者の番地情報を道路網にリンクして、各居住者のポイントに方向が割り当てられるようにすることで行われる。

Ｓｋａｎｔｚｅ［８］はさらに歩行者ナビゲーションと接地に関係のある問題の多くにバックグラウンドを提供する。§６．１では、仮想都市のシミュレートされた３Ｄモデルで使用され、口頭での対話を使用して歩行者を誘導するＨｉｇｇｉｎｓ Ｓｐｏｋｅｎ Ｄｉａｌｏｇｕｅ Ｓｙｓｔｅｍについて説明している。このシステムは、測位デバイスによってユーザーの位置にアクセスすることはできない。代わりに、ユーザーが周囲を説明する対話を行うことによって、位置を把握する必要がある。しかし、著者は、都市を完全にモデル化することは不可能であり、実際のアプリケーションはＧＰＳを利用するため、これは実際の都市では実行不可能であることを認めている。

ＵＳ２００３／０１８４３０は、加速度信号の源として標準の小型慣性航法システム（ＩＮＳ）モジュールを使用して、推測航法モードで作動する歩行者ナビゲーションの方法および装置を開示している。図１２Ｋは、デジタル磁気コンパスおよび／またはコンパス出力と最初に位置合わせされた１つまたは複数のジャイロスコープによって提供される変位の方位の比較に基づくデジタル磁気コンパスの磁気擾乱の自動検出および補正のためのアルゴリズムを示すフローチャートである。

ＵＳ２０１５／０３５４９５１は、制約されたまたは制約されていない方法で、異なる方向に装置を保持または着用している歩行者と、装置との間の不整合を決定するための方法および装置を開示している。装置は、スマートグラス、スマートゴーグル、耳に取り付けられたシステム、ヘルメット上のシステムといったように、頭部に取り付けられている場合がある。一実施形態は、装置の方位と歩行者の方位との間の不整合を修正するための歩行者の推測航法を提供する。

ＵＳ２０１３／０３２２６６７は、ユーザーが補聴器をユーザーの頭の意図した操作位置に装着したとき、ユーザーの耳に向かって音を放出するためのスピーカーを備えたヘッドマウント補聴器、ユーザーの頭の揺れを決定するための慣性磁気ユニットを収容する補聴器を含むパーソナルナビゲーションシステムを開示している。このシステムには、ユーザーの地理的位置を特定するためのＧＰＳユニット、音声信号をスピーカーに出力するために接続された音声発生器、および音声発生器とバイノーラル音響信号の生成のためのスピーカーの間に並列に接続された頭部伝達関数を備えた一対のフィルターが含まれ、ここで、スピーカーは、頭部伝達関数に対応する方向に配置された音源からの音としてユーザーが 知覚するように、ユーザーの耳に向かって音を発するように構成されている。

ＵＳ２０１２００５０１４４は、方向を決定するための磁力計またはジャイロスコープを含み得るウェアラブルヘッドマウント拡張現実コンピューティング装置を開示している。ＩＮＳを構成する一連のセンサーは、視野の方向を正確に判断するために使用できるように、ユーザーの頭に取り付ける必要がある。この装置は、歩行者のルーティング／ナビゲーションに使用される可能性がある。この目的のために、ディスプレイ（スマートフォンの一部として表示）と反射デバイスが頭に装着されたハーネスに取り付けられ、表示された情報が実際に重ねて表示できるように構成されている。口頭でのコマンドと音声出力を提供するために、マイクとイヤホンがハーネスに取り付けられるかもしれないが、ナビゲーションを支援するためにそのような機能を統合することは提案されていない。実際、装置の提案された用途はナビゲーションのためであって、装置がそのような目的のためにどうやって使用され得るかについての説明は提供されておらず、説明は、ユーザーの視線の方向を決定できるセンサーを備えたスマートフォンを使用できる、ヘッドマウントのシースルーディスプレイの提供に限定されている。このような装置は扱いにくく、スマートフォンをサポートするためのカスタムハーネスが必要であり、おそらく最も重要なこととして、スマートフォンを通常の使用にアクセスできなくさせる。

ＵＳ２０２００１９５３３３は、それぞれがＲＦビーコンを含む、ユーザー本体の右側および左側に関連付けられた２つのウェアラブルデバイスを含むシステムを開示する。頭部の姿勢または視線の検出は、デジタルカメラデバイスのウェアラブルデバイスからの信号強度（ＲＳＳＩなど）またはＲＦ信号の位相を比較することによって推定される。視線検出とカメラの間の角度偏差（視線など）が推定され、角度偏差を設定されたしきい値と比較することに基づいて、カメラがアクティブ化または制御される。

人間の動きや姿勢のためのＩＭＵの使用については、Ｍａｓａｒｙｋ Ｕｎｉｖｅｒｓｉｔｙ， Ｆａｃｕｌｔｙ ｏｆ ＩｎｆｏｒｍａｔｉｃｓのＭａｒｔｉｎ Ｖｅｓｋｒｎａによる２０１３年の修士論文、“Ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ｓｍａｌｌ ｄｅｖｉｃｅｓ ｕｓｉｎｇ ｐｒｉｎｃｉｐｌｅｓ ｏｆ ｉｎｅｒｔｉａｌ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ”、および２００７年に Ｘｉａｏｐｉｎｇ Ｙｕｎ ｅｔ ａｌによって２００７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ （Ｒｏｍｅ， Ｉｔａｌｙ， １０－１４ Ａｐｒ． ２００７） において発表された“Ｓｅｌｆ－Ｃｏｎｔａｉｎｅｄ Ｐｏｓｉｔｉｏｎ Ｔｒａｃｋｉｎｇ ｏｆ Ｈｕｍａｎ Ｍｏｖｅｍｅｎｔ Ｕｓｉｎｇ Ｓｍａｌｌ Ｉｎｅｒｔｉａｌ／Ｍａｇｎｅｔｉｃ Ｓｅｎｓｏｒ Ｍｏｄｕｌｅ”に記述されている。

これらの論文は両方とも、歩行者のナビゲーションと、磁気センサーのドリフトを修正するために慣性ナビゲーションシステムを較正する必要性に関連している。異なる技術が使用されている。たとえば、一般的にジャイロスコープは指向性信号を提供するために提供される。

Ｊａｃｏｂｓ［９］は、歩行者ナビゲーションのための当時の（２０１３）アプローチの詳細な調査を提供しており、モバイルベースの位置情報サービス（ＭＢＬＳ）に関連して、ＭＢＬＳで使用される最も一般的な対話方法は、ナビゲーション支援と空間クエリ応答のための地図上の情報のオーバーレイの使用であると述べている。ターンバイターン方式の経路案内を含むテキストフィードバックを提供したシステムもあれば、ランドマーク情報と写真を統合したシステムもある。また研究者らは、ユーザーにフィードバックを提供するために、情報オーバーレイとともに場所のパノラマ画像または他のジオタグ付き画像を統合した。彼は、低コストのオンボードデジタルコンパスが利用できるため、ベアリングベースのモバイル空間インタラクションの人気が高まり、純粋な位置ベースのシステムから方向認識システムへ移行していることに注目している。

彼はまた、モバイルデバイスの位置と方向が、デバイスのカメラとともに使用され、リアルタイム画像にオーバーレイされたユーザーに空間情報を提供する、モバイル空間インタラクションシステムにおける拡張現実の使用についても言及している。

ＵＳ２０１６０２２４８５５は、光学センサーを使用して、携帯電話／スマートフォンなどのポータブルデバイスとデバイスを携帯している人との間の方位のずれを推定する。従来の慣性航法システムでは、通常、プラットフォーム内の慣性センサーの位置合わせ（たとえば、慣性センサーを含むポータブル電子デバイスとプラットフォームの前方軸、横軸、および垂直軸との位置合わせ）が必要である。慣性センサーが適切に位置合わせされていない場合、慣性センサーからの測定値を使用して計算された位置と姿勢は、プラットフォームの状態を表すものではない。そのため、高精度のナビゲーションソリューションを実現するには、慣性センサーをプラットフォーム内につなぐ必要がある。

上記の評論は、歩行者ナビゲーションシステムおよび、慣性誘導システムの初期化または較正を提供する、または場合によってはそうする必要を回避する、ハンズフリーシステムを提供するための複数のさまざまな取り組みについて、表面上を述べたにすぎない。このように、Ｂａｒｔｉｅら［７］はスマートフォンの磁力計に依存する必要性のない完全に音声ベースのナビゲーションシステムを提供することにより、そうする必要性を回避する。

このような手法は、非常に混乱を招く可能性がある。不慣れな環境での1人の観光客にとっては、その絶え間ない口頭での対話のおかげで安心できるかもしれないが、効率的にユーザーはナビゲーションシステムへ注意を払い続けることになる。休暇中のカップルがそのようなシステムを使用すれば、絶えず中断されることなく会話をするのが難しいだろう。

Ｂｏｙｅら［５］はまた、試行錯誤によって位置合わせエラーを修正する音声ベースのシステムを採用している。

本出願人名義のＷＯ２０１９／２１５７３９は、取り外し可能な眼鏡に取り付けられた拡張現実（ＡＲ）装置およびクリップオンユニットを開示している。デバイスは、クリップオンユニットを取り外し可能に支持するハウジング、ユーザーが景色を観察するためのハウジング内の出口窓と入口窓、ハンドヘルドデバイスに結合するための通信インターフェース、景色内の指定された特徴にユーザーの視線を向けるために、ユーザーの視野に少なくとも１つのマーカーを表示する、ＩＭＵに動作可能に結合された視線ガイドユニット、ユーザーが見た景色に重ね合わせるための距離でマーカーを投影するためのハウジング内の光学系を有する。

米国特許第１０，０１２，５０６号公報は、電子コンパスを利用して、２つのウェイポイント間の所望の直線移動経路を決定し、ユーザーの移動方向を監視するナビゲーションガイダンスシステムを開示している。進行方向が確立された許容範囲内にあるとシステムが判断した場合、システムは1つまたは複数のアラートインジケータコンポーネントを介してユーザーにアラートを送信する。

ＵＳ２０１６／１８９４２６は、仮想プロキシオブジェクトを生成するための方法を開示し、拡張現実環境内の仮想プロキシオブジェクトの位置を制御するための方法が説明されている。ヘッドマウントディスプレイデバイス（ＨＭＤ）は、仮想プロキシオブジェクトを生成するための実世界オブジェクトを特定し、実世界オブジェクトに対応する仮想プロキシオブジェクトを生成し、仮想プロキシオブジェクトがＨＭＤのエンドユーザーに表示される拡張現実環境内に存在すると認識されるように、ＨＭＤを使用して仮想プロキシオブジェクトを表示することができる。

本発明は、上記欠点のうちのいくつかを回避する歩行者ナビゲーションのためのシステムおよび方法を提供することを目的とする。

具体的には、本発明はコンパクトで軽量の付属品の必要性に対する解決策を提供するものであって、ユーザーの眼鏡フレームにクリップで留めることができ、ＩＭＵ、マイクロディスプレイ、光学機器、そして指定されたランドマークにユーザー自身を向けて、シースルーディスプレイを介してユーザーの遠視野に投影される視覚的マーキングの形での補助的なガイダンスと、必要な目的地への口頭ガイダンスの両方を受け取るための、オーディオインターフェースを備える。

ＩＭＵは磁力計および／または、ＧＰＳを内蔵したスマートフォンを使用して地図に対してユーザーを方向付け、ユーザーを要求された方向に誘導するための音声指示を提供するハンズフリーナビゲーションシステムで方向信号を提供するジャイロを含む。

本発明はまた、正しいナビゲーションコマンドを発行して、ユーザーを正しい経路に沿って所望の目的地に向けることができるように、ユーザーを地図に対して正しく向ける方法を提供する。

本発明は、初期の位置合わせを提供するためにカメラを必要としないナビゲーションシステムで使用することができ、したがって、そのようなシステムの増加した帯域幅要件を回避することができる。また、歩行者が数百メートル歩いてから間違った方向に歩いてから戻らなければならないことに気付くのはフラストレーションがたまることであるので、試行錯誤による修正を避ける。

本発明は、ユーザーが目的地に到達するのを支援するためのハンズフリー歩行者ナビゲーションのための方法を提供し、この方法は以下を含む：
（ａ）（ｉ）ユーザーの視線の前に視覚画像を投影するためのシースルーディスプレイ、および（ｉｉ）ＩＭＵを、ユーザーの頭に取り付ける工程；
（ｂ）ユーザーが携帯しているＧＰＳユニットからユーザーのおおよその位置を取得する工程；
（ｃ）ユーザーのおおよその位置を使用して、ユーザーを含むエリアのコンピューター化された地図においてユーザーを特定する工程；
（ｄ）前記エリアにおいて、ユーザーの視野内に既知のランドマーク位置を有するランドマークを決定する工程；
（ｅ）ユーザーの視線がランドマークに向けられていることをユーザーに確認する工程；
（ｆ）ユーザーの位置と、コンピューター化された地図から抽出されたランドマークの位置との間の、計算された方位を決定する工程；
および、
（ｇ）音声プロンプトを提供し、シースルーディスプレイを介して補助的な視覚プロンプトを投影することにより、歩行者を誘導する工程。

このようなアプローチはすべてのナビゲーションシステムに固有の問題に対する非常に軽量な解決策を提供し、ユーザーの位置だけでなく、より重要なユーザーの移動方向をも確立する。これが確立されると、コンピューター化されたナビゲーションシステムは、ユーザーが方向を変える必要がある場合にのみ明確な音声指示を与える車両ナビゲーションシステムと同様の方法で、ユーザーを地図上で方向付け、要求された目的地に誘導することができる。したがって、歩行者が右折する必要がある交差点に到達すると、次の通りで右折してリンカーンアベニューに沿って５００メートル進むように音声で指示することができる。システムは、ユーザーがＩＭＵの測定された方向に基づいて指示に従ったことを識別し、したがって、方向の別の変更が要求されるまで、それ以上の指示をやめることができる。

逆に、ユーザーが間違った方向に曲がった場合、システムはこれを即座に識別し、リアルタイムでユーザーに「いいえ、この道路ではありません。幹線道路に戻り、さらに１００メートル進み、右折してください。」と警告することができる。または、システムは、再調整されたルートが元のルートよりも著しく最適でないかどうかによって、事前にプログラムされた設定に応じてルートを再調整できる。ユーザーが今すぐに曲がっても、さらに１００メートル先に曲がっても、実際に違いがない場合、システムは、混乱を招く可能性のある口頭での警告を発さず、そのままにしておくことを決定できる。

いくつかの実施形態では、システムによって選択されたランドマークを見るようにユーザーに指示することによって、ナビゲーションシステムにより較正を開始することができる。あるいは、ユーザーは自分の視野でランドマークを選択し、自分の視線が指定されたランドマークに向けられていることをナビゲーションシステムに口頭で通知することができる。いくつかの実施形態では、ＩＭＵは、ユーザーが自分の視野内の離れた物体にマーカーを投影することを可能にするシースルーディスプレイを含むデバイスの一部である。このような場合、ユーザーはナビゲーションシステムに、自分の視線が指定されたランドマークに向けられていることを口頭で通知でき、上記のようにＩＭＵを較正できる。

デバイスは頭部に取り付けることが望ましく、ＩＭＵと、ユーザーのスマートフォンへの通信インターフェース（通常はＢｌｕｅｔｏｏｔｈ（商標）などのワイヤレス接続）が含まれ、ハンズフリーナビゲーションが可能であるが、有線接続も可能である。ユーザーはスマートフォンを介して指示を聞くが、プライバシーと礼儀のため、音声による指示はイヤホンに中継される。イヤホンは、短距離ワイヤレスインターフェイスまたはワイヤーを介してスマートフォンに接続することもできる。ユーザーは、衣服にクリップで留めることができる、または同様にワイヤーまたはワイヤレスでスマートフォンに接続されているデバイスの一部であってもよいミニチュアマイクを介して、音声で命令を伝達するが、後者はＢｌｕｅｔｏｏｔｈ（商標）接続を介して行うことが好ましい。

いくつかの実施形態では、ナビゲーションシステムは、上記のＷＯ２０２０／２１５７３９に開示されているような、コンパクトな視覚ベースのアクセサリと組み合わせて使用されるＡｍａｚｏｎ Ａｌｅｘａなどの音声制御仮想アシスタントＡＩ技術に基づく。これは、必要に応じて、Ｅｃｈｏ ＦｒａｍｅやＢｏｓｅ Ｆｒａｍｅなどのアイウェアフレーム、またはマイクとイヤホンを支持するアイウェアフレームにクリップで留めることができる。これにより、現実に重ね合わせられた視覚的な指示と組み合わせて、フレンドリーな音声ベースの対話が可能になる。

本発明を理解し、それが実際にどのように実施され得るかを見るために、ここで、添付の図面を参照して、非限定的な例としてのみ実施形態を説明する。

本発明によるデバイスを着用しているユーザーの図解である。 典型的な寸法を示すデバイスの図解である。 本発明によるシステムを示すブロック図である。 図３ａは、後部から見たときの取り外し可能な装置の図解である。 図３ｂは、前部から見たときの取り外し可能な装置の図解である。 図３ｃは、背面から見たときの取り外し可能なデバイスの部分的に切り取られた図であり、中に収められている光学機器の部分的な詳細を示している。 図３ｄは、光学機器の概略図である。 図４ａは、無線構成におけるデバイスのブロック図である。 図４ｂは、有線構成におけるデバイスのブロック図である。 図５は、ＩＭＵ磁力計を較正し、ユーザーにナビゲーション指示を提供するための方法に関する主要な操作を示している。 図６は、ユーザーが正しいルートをたどっていることを確認するための方法に関する主要な操作を示している。 図７は、識別可能な目印が認識できない場合に磁力計を較正するための代替的な実施形態を示している。

図１ａは、ユーザー（１２）が着用する眼鏡フレーム１１の前面に取り外し可能にクリップ留めされたデバイス（１０）を示している。このような手段によって、デバイス（１０）は、ユーザーの目の前に直接取り付けられ、ユーザーが出口ウィンドウ（１３）を通して風景を観察することを可能にする。また、ユーザーは、取り外し可能なデバイス（１０）によって目に投影され、実際の風景に重ね合わされたグラフィカルな注釈を見ることができる。好ましくは、眼鏡フレーム（１１）は、マイクロフォンおよびイヤホンを支持するいわゆる「スマートフレーム」であるが、これらは、追加の別個のマイクロフォンおよびイヤホンを備えた従来の眼鏡フレームに後付けするか、または独立した付属品として個別に取り付けることができる。好ましくは、デバイス（１０）は、眼鏡フレームの前面に取り付けるように構成された一体型アクセサリであり、その構成要素はいずれもユーザーの眼鏡のテンプルピース（サイドアーム）に取り付けられていないため、デバイスを従来の眼鏡フレームに取り付けることができる。しかしながら、本発明は、構成要素の一部をカスタムフレームのサイドアームに取り付けるまたは構築する可能性を排除するものではない。

図１ｂは、好ましい実施形態によるデバイス（１０）の典型的な寸法を示し、その最小構成要素は、ＩＭＵ、マイクロディスプレイと、半透明ミラーと、図２および３を参照して以下に説明するような光学機器を含むシースルーディスプレイ、ならびに通信手段である。このような小型化を可能にするために、シースルーディスプレイのＦＯＶは小さく、デバイスの横方向の調整によって光学出口ウィンドウはユーザーの目と位置合わせするように移動できる。無線通信を使用する場合、デバイスには小さなバッテリーが含まれる。消費電力を削減するために、最も重要なコンポーネントのみが使用されるか含まれている。最も重要なことにカメラは必須ではなく、部分的にはサイズを縮小するためであるが主に過度の電力消費、画像圧縮用の電子機器の追加、スマートフォンに映像を送信するための高帯域幅通信（ＷｉＦｉなど）を回避するために、省くことができる。これらは全てデバイスをかさばらせ、バッテリーを消耗させるものである。

図２は、ＧＰＳユニット（２２）およびホストスマートフォンアプリケーション（２３）を有するスマートフォン（２１）を、ホストクラウドアプリケーション（２４）およびクリップ式デバイス（１０）として示される音声制御ナビゲーションシステムに統合するシステム２０のブロック図である。クリップ式デバイス（１０）は、ＩＭＵ（２５）およびマイクロディスプレイ（２６）を包含し、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（商標） Ｌｏｗ Ｅｎｅｒｇｙ）を介してスマートフォン制御アプリケーション（２７）に接続されている。スマートフレーム（１１）は、Ｂｌｕｅｔｏｏｔｈ（商標）を介してホストスマートフォンアプリケーション（２３）に接続する。スマートフレームは、一体型コンポーネントとしてマイクとイヤホン（２８）を有するＡｍａｚｏｎ Ｅｃｈｏ Ｆｒａｍｅであり得、ホストクラウドアプリケーション（２４）は、Ａｍａｚｏｎ Ａｌｅｘａ ａｎｄ Ｓｋｉｌｌｓであり得る。
このような実装は、オーディオコンポーネントをデバイス（１０）に組み込む必要性をなくすものであり、このオプションは明らかに可能であるが、そのかわりにかさがいくらか余分に高くなり、電池消費が増加してしまう。説明を簡単かつ一貫させるために、スマートフォンにロードされるソフトウェアアプリケーションをスマートフォンアプリケーションと呼び、インターネット上で操作されるソフトウェアアプリケーションをクラウドアプリケーションと呼ぶ。

スマートフォン制御アプリケーション（２７）は、ナビゲーションアプリケーションクラウド（２９）に接続し、そこでは、すべてのナビゲーションタスクが実行され、インターネットを介して制御アプリケーションとの間で伝達される。ホストスマートフォンアプリケーション（２３）は、インターネットを介してホストクラウドアプリケーション（２４）に接続する。この図では、短距離Ｂｌｕｅｔｏｏｔｈ（商標）通信は黒い矢印で示され、インターネット通信は白い矢印で示されている。ホストスマートフォンアプリケーション２３は、音声／テキスト変換を実行し、インターネットを介してナビゲーションアプリケーションクラウド（２９）にインターフェースする。Ａｍａｚｏｎ Ｓｈａｒｉｎｇ Ａｌｅｘａ Ｓｋｉｌｌｓは、ホストクラウドアプリケーション（２４）とナビゲーションアプリケーションクラウド（２９）の間でデータを転送するために使用され、ナビゲーションアプリケーションクラウド（２９）においてナビゲーションなどの必要な機能をアクティブ化することもできる。より具体的には、Ａｍａｚｏｎでは、デバイス製造者が、ＡｌｅｘａとインターフェースするためのＡＰＩを提供するクラウドベースのサービスであるＡｌｅｘａ Ｖｏｉｃｅ Ｓｅｒｖｉｃｅ（ＡＶＳ）を使用して、Ａｌｅｘａ音声機能を自社の接続製品に統合できるようにしている。これには、ホストスマートフォンアプリケーション（２３）とスマートフォン制御アプリケーション（２７）との間の通信が、クラウド（２４）および（２９）を介して行われることが必要である。しかしながら、他のプラットフォームも２つのスマートフォンアプリケーション（２３）と（２７）との間の直接の内部通信に対応し得る。

図３ａは、デバイス（１０）の背面図を示す図である。ユーザー（１２）は、出口ウィンドウ（３０）を通して実際の風景を見て、また、この風景に重ね合わされたグラフィカルな注釈を見る。これらの注釈には、マーク、テキスト、グラフィック形状などが含まれる場合がある。取り外し可能な装置は、ＷＯ ２０１９／２１５７３９に記載されているようなクリップオンユニット（図示せず）を支持するために取り付けブラケット（３２）が固定されているハウジング（３１）を有し、これによってデバイス（１０）がユーザーの眼鏡の前面にクリップで留められる。あるいは、デバイス（１０）は、ユーザーの眼鏡に磁気的に取り付けられてもよく、または他の種類のヘッドマウントデバイスであってもよい。任意選択で、デバイス（１０）をスマートフォン（１９）に結合するために、ＵＳＢコネクタ（３４）
が設けられる。

図３ｂは、正面から見た、すなわち、ユーザー（１２）の方を向いた、取り外し可能なデバイス（１０）の正面図を示している。いくつかの実施形態では、オプションのウィンドウ（３６）が提供され、それを通して、デバイスの内部に配置されるとともに、図３ｃに点線で概略的に示されるオプションの内蔵カメラ（３７）が、外部の風景を画像化する。また、風景からの光が出口ウィンドウ（３０）に通過し、ユーザーが観察するための入口ウィンドウ（３０‘）も示されている。提供されたときにカメラは、上記のＷＯ ２０１９／２１５７３９に記載されているように、補助的なナビゲーション支援として使用することができ、また、Ｇｏｏｇｌｅのライブビューと同じ方法でＩＭＵを較正するために使用することもできるが、ユーザーがスマートフォンを手に持つ必要がないという利点がある。

図３ｃは、デバイス（１０）の内部構造をより詳細に示している。プリント回路基板（ＰＣＢ）（３８）は、取り外し可能なデバイスの電子操作のための電子回路をサポートする。また、ＰＣＢ（３８）には、ＩＭＵ（２５）、ＵＳＢコネクタ（３４）（有線通信を使用する場合にのみ必要）、マイクロディスプレイ（２６）、および任意選択の内蔵カメラ（３７）が接続されている。

マイクロディスプレイ（２６）は、以下の主な特徴を有する高輝度モノクロディスプレイである；
ピクセル数：３０４ｘ２５６
ピクセルサイズ：１２μｍ ｘ １２μｍ
アクティブエリア：３．６４８ ｍｍ ｘ ３．９７２ ｍｍ

デバイス１０は、図３ｄに示される光学機器（４０）を収容し、これは、２つのダブレット（４１）、（４１‘）および組み合わされたプリズム（４２）を含む。ダブレット（４１）、（４１’）は、２１ｍｍ相当の焦点距離を持つ複合対物レンズを形成する。マイクロディスプレイ（２６）の発光面は、この組み合わされた対物レンズの焦点面に配置され、そうすることでディスプレイの画像が無限遠に作成され、それによって、ユーザ（１２）は、実際の風景に投影されたディスプレイ上の画像を見る。画面の一般的な画像には、ユーザーが視野内のオブジェクトを指定するために使用する十字型のマーカーまたはレチクルが含まれている。矢印によって示されるように、画像は、最初に組み合わされたプリズム（４２）の鏡面（４５）によってさらに折り返され、次に、部分的な鏡面（４６）によってユーザー（１２）の目に向けられ、これにより、ディスプレイ（２６）からの光がユーザーの目に到達することが可能になり、同時にユーザーは、図３ｂの出口ウィンドウ（３０）を介して部分的な鏡面（４６）を透過した実際の風景を見ることができる。典型的には、部分的な鏡面（４６）は、５０％以下の反射および５０％以下の透過を有する。組み合わせたダブレットの焦点距離は２１ｍｍであるため、ディスプレイ画面はＨ：１０×Ｖ：８．３度（対角１３度）の視野をとらえる。光学設計により、ユーザーは直径４．５ｍｍのアイモーションボックスを使用できる。

このような配置は、出口ウィンドウ（３０）がユーザーの眼と位置合わせされ、これによりよりかさ高い光学機器の使用を強いる大きなアイモーションボックスの必要性をなくすように横方向の調整を可能とする方法で、非常にコンパクトなデバイスをユーザーの眼鏡フレームに取り付けることを可能にする。多くの従来のシースルーＡＲシステムは、現実にグラフィカルな注釈を表示するために広い視野を必要とする。そのようなシステムは、重く、扱いにくく、高価である。さらに、多くの場合、内蔵カメラを使用してランドマークを画像化し、ナビゲーションシステムがランドマーク画像に基づいてユーザーの位置を特定できるようにする。これにより、ＡＲデバイスのかさがさらに増加し、通信帯域幅にかなりのオーバーヘッドが追加される。

本発明による装置において、マーカーおよび方向のみに対するＡＲ注釈が最小限でありカメラに依存しない小さな視野によって、コンパクトな装置が可能になる。これと音声を組み合わせることで、複雑な注釈（つまり、ランドマークの名前、複雑な方向）が口頭で与えられ、小さな視野の使用が可能となる。これにより、外出先でのハンズフリーのコンパクトなＡＲ歩行者ナビゲーションが実現する。

図４ａおよび４ｂは、それぞれ、無線構成および有線構成におけるデバイス（１０）のブロック図である。よって図４ａに示されるように、上記の光学機器（４０）は、スクリーン画像が外部の風景にオーバーレイされるマイクロディスプレイ２６をユーザー１２の目に投影する。デバイス（１０）は、デバイスの動きを追跡し、それによってユーザーの頭の動きを追跡するための慣性磁気ユニット（ＩＭＵ）２５を収容する。マイクロディスプレイ（２６）およびＩＭＵ（２５）は、マイクロコントローラ（７２）に接続されている。マイクロコントローラ（７２）はまた、ＲＦアンテナ（７５）を介したＬｏｗ Ｅｎｅｒｇｙ （ＬＥ） Ｂｌｕｅｔｏｏｔｈ（商標）ユニット（７４）との双方向通信のためのデータを処理する。Ｂｌｕｅｔｏｏｔｈ（商標）ユニット（７４）は、スマートフォン（２１）のＢｌｕｅｔｏｏｔｈ（商標）ユニット（７６）と通信する。内蔵電池（７７）は、デバイス構成要素に電力を供給する。

図４ｂは、ＵＳＢ有線通信を使用する代替的な実施形態を示している。マイクロコントローラ（７２）は、ＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）ドライバと、ディスプレイ（２６）およびＩＭＵ（２５）をそれぞれＵＳＢハブ（７９）に接続するＵＳＶからＳＰＩへの変換器（７８）、（７８’）を含む。ＵＳＢハブ（７９）は、ＵＳＢケーブルを介してスマートフォン（２１）に接続する。

図５は、ＩＭＵ磁力計を較正し、ユーザーにナビゲーション指示を提供する方法に関連する主な操作を示す。わかりやすくするために、磁力計はＩＭＵ（２５）のコンポーネントであり、図面に個別に示されていない。ユーザー（１２）は、最初に、デバイス（１０）を眼鏡フレーム（１１）に取り付け、電源をつける。最初のステップでは、ユーザーが既知のランドマークを見ているときに、地球座標に対するデバイス（１０）の向きを確立するために、磁力計の較正が実行される。

この磁力計の較正（８０）は次のように行われる。
・スマートフォン制御アプリケーション（２７）は、スマートフォンＧＰＳユニット（２２）からＧＰＳデータを取得する。
・スマートフォン制御アプリケーションは「視界」を決定し、ＧＰＳの位置と推定観測エリアに基づいて、ＧＰＳ／地図データベース、つまりＧｏｏｇｌｅマップから関連するランドマークを取得する。地図はナビゲーションアプリケーションクラウド（２９）に保存され、そこから「視界」に対応する地図の関連部分がスマートフォンにダウンロードされる。スマートフォン制御アプリケーションはユーザーの近くにある目に見えるランドマーク（既知のデパートなど）を識別し、デバイス（１０）のディスプレイ（２６）上にマーカーを描画し、マーカーがこのランドマーク上にオーバーレイされるまで、このランドマークに向かって自分の視点を向けるようにユーザーに指示する。ユーザーは、自分の視線がランドマークに向けられていることを口頭で確認する。
・スマートフォン制御アプリケーションは、磁力計で測定された方位角を読み取り、地図に基づいてユーザーの位置とランドマークの位置の間の方位角を計算し、磁力計を較正してディスプレイに「Ｖ」をマークすると、ユーザーはナビゲートを開始できる。

ランドマークはスマートフォンアプリケーション（２７）によって提案される場合があるが、ユーザーによって提案される場合もある。この場合、ユーザーは「右側にスターバックスコーヒーが見えます」と言うと、システムがそれを認識し、プロセスは以前と同じように続行される。これは、ユーザーがリクエストを発声するという従来のＡｌｅｘａの使用法に対応している。Ａｌｅｘａは音声をテキストに変換してＡｌｅｘａクラウドに伝達し、そこで解析および処理されて適切な応答が導き出され、テキスト文字列としてユーザーに伝達される。この応答はローカルで音声に変換され、発声される。

磁力計が較正されると、スマートフォンアプリケーション（２７）は、マイクロディスプレイ（２６）に、方向が磁北を指す矢印などの補助的な視覚的プロンプトおよび／または北北西などのテキストを表示することによって、計算された移動方向をグラフィカルに示すことができる。表示画像は、光学機器（４０）によって外部風景に重ね合わされる。ただし、シースルーディスプレイのない簡略化されたデバイスでは、ＩＭＵは、マーカーを投影せずに、またはＧｏｏｇｌｅＧｌａｓｓなどの非シースルーディスプレイを使用してマーカーを投影して頭部に取り付けできる。名前付きのランドマークとの位置合わせは口頭で簡単に確認され、ユーザーの向きはスマートフォンアプリケーション（２７）に伝達されたＩＭＵ測定値に基づいて決定される。これは精度が低くなる可能性が高いが、それでも、スマートフォンアプリケーション（２７）がユーザーを方向付け、包括的なナビゲーション指示を提供できるランドマークをユーザーが注視できるようになる。また、口頭のコマンドが好ましいが、本発明は、クリップ式デバイス（１０）上で押しボタン式マイクロスイッチの使用を企図し、これは、ユーザーの視線がランドマークに向けられたときにスマートフォンアプリケーションに確認するために、ユーザーによって押され得る。もちろん、これは完全にハンズフリーの操作ではないが、それでもスマートフォンでの手動操作は必要ない。さらに、較正はナビゲーションアプリケーションの初期化時および検証中にのみ実行されるため、そのような変形形態はすべての意図および目的において、音声ナビゲーションシステムと見なされ得る。

較正が行われると、ナビゲーション（８１）が開始され得る。
・ユーザーはシステムに行きたい場所を伝える。
・スマートフォンアプリケーションは、ルートを計算し、ルートに沿ってランドマークをコンパイルし、ＩＭＵおよびＧＰＳデータを取得し、準備ができたら、ユーザーが進むべき方向を示す矢印などのグラフィカルなナビゲーション支援機能をディスプレイ（２６）に表示し、かつ／またはナビゲーションを支援するための口頭での指示を伝える。
・ナビゲーション中、スマートフォンアプリケーションはユーザーに口頭での指示とグラフィック注釈を提供する。
・ナビゲーション中に、ユーザーまたはスマートフォンアプリケーションのいずれかが検証モードを開始して、ユーザーがまだ軌道上にいることを確認できる。

図６は、ユーザーが正しいルートをたどっていることを確認する方法に関連する主な操作を示す。示されているように、検証は、たとえば疑わしい場合には（８２）に示されているようにユーザーによって開始され、または（８３）に示されているスマートフォンアプリケーションによって開始される。ユーザーが起動した場合、ユーザーはたとえば「右側にスターバックスが見えます」といったように通過するランドマークを声に出して確認する。スマートフォンアプリはこれが正しいかどうかをチェックし、正しい場合は「良いです、歩き続けてください」と応答する。それ以外の場合、スマートフォンアプリケーションはユーザーを近くのランドマークに誘導し、図５に（８０）として示されているものと同様の較正ルーチンを実行するようにユーザーに指示し、必要に応じてナビゲーション手順を更新する。

スマートフォンによる検証（８３）は、最初の較正と同じように動作するが、スマートフォンは、視野にあるべきランドマークが正しく見えていることを確認するようにユーザーに音声で促す。検証がスマートフォンアプリケーションのユーザーによって開始されたかどうかに関係なく、ランドマークはユーザーまたはスマートフォンアプリケーションのいずれかによって選択され得る。たとえば、ユーザーは次のように簡潔に言うことができる：「ヘルプ」。するとスマートフォンアプリケーションが検証プロトコル（８３）を実行する。

上記のように、本発明の一様態は、ディスプレイなしで実施することができるが、ＩＭＵ、マイクロフォン、およびイヤホンを含むスマートガラスフレームまたはイヤホンでのみ実施することができる。

この場合、ユーザーは、較正または検証が必要なときに、ランドマークの大体の方向に頭を向ける。この方法で決定された方向は、投影されたマーカーを使用して達成された方向よりも正確でないが、現在の磁力計で利用できる方向よりも正確である。しかしこの場合、グラフィカルな注釈は不可能であり、口頭での指示しか利用できないことは明らかである。

図７は、識別可能なランドマークが識別できない場合に、ＩＭＵを較正するための代替的な実施形態を図で示している。これはたとえば建物に標識がないため、ユーザーもシステムもユーザーの周りのオブジェクトを口頭で説明できない場合といったように、ユーザーを取り巻く要素に特別な属性がない状況で発生する可能性がある。このような場合、スマートフォンアプリケーションは、ユーザーのＧＰＳ位置に基づいて、ユーザーの視界のパノラマ写真をユーザーの携帯電話に提供する。このような写真はＳｔｒｅｅｔ Ｖｉｅｗのクラウドデータベースなどから取得できる。ユーザーは、表示されたパノラマ写真で見ているオブジェクトを見つけてクリックする。スマートフォンアプリケーションは、パノラマ写真の選択されたエリアに基づいて、選択された画像をユーザーが見ている実際のオブジェクトに関連付け、それを識別して、ユーザーの視線の方向を確定することができる。

特許請求される本発明の範囲から逸脱することなく修正を行うことができることが理解されよう。たとえば、マイクとイヤホンを眼鏡フレームに統合する必要はない。マイクはユーザーのジャケットにクリップで留めて、イヤホンと同じようにスマートフォンに接続することができる。このような場合、どちらかまたは両方をスマートフォンにワイヤレスで接続するか、典型的にはスマートフォンのＢｌｕｅｔｏｏｔｈ（商標）インターフェースを使用するか、適切なケーブルを介して接続することができる。

実施形態は、磁力計を使用するＩＭＵの較正を特に参照して説明されてきたが、上記のように、ＩＭＵは、相対角変位を提供するジャイロスコープを使用し得ることにも留意されたい。このような場合、ＩＭＵの較正により、既知のランドマークに対する歩行者の初期の方位角が決定され、ジャイロスコープは初期方位角に対するＩＭＵの、したがってユーザーの相対回転を示す。

本発明は、シースルーではないが視覚的なナビゲーション信号を提供するディスプレイを使用して実施することができる。例えば、異なる色または幾何学的形態を有するＬＥＤは、ユーザーが遠くからその方を見ているときに見えるように、頭部取り付け可能なデバイスと空間的に関連して取り付けられ得る。点灯しているＬＥＤは、ピントが合っていなくてもユーザーの目に見え、方向を示している場合がある。ユーザーは、これらのＬＥＤの特定の１つによって視線を向けたり、前述のように較正または検証が必要な場合は、頭をランドマークの大体の方向に向けたりすることができる。ＬＥＤは、眼鏡レンズに組み込んだり、眼鏡レンズの前に取り付けたりすることができる。

１つまたは複数の実施形態を参照して説明される特徴は、それらの実施形態への限定としてではなく、例として説明されることに留意されたい。したがって、特に明記しない限り、または特定の組み合わせが明らかに許容されない場合を除き、いくつかの実施形態のみを参照して説明されるオプションの特徴は、他のすべての実施形態にも同様に適用可能であると想定される。本発明によるソフトウェアは、本発明の方法を実行するためのコンピュータプロセッサによって読み取り可能なコンピュータプログラムによって実装され得ることも理解されよう。本発明はさらに、本発明の方法を実行するために機械によって実行可能な命令のプログラムを具体的に具体化する機械可読メモリを企図する。

Claims (20)

1. ユーザーが目的地に到達するのを支援するためのハンズフリー歩行者ナビゲーション方法であって、
   （ａ）（ｉ）ユーザーの視線の前に視覚画像を投影するためのディスプレイ、および（ｉｉ）ＩＭＵをユーザーの頭に取り付ける工程、
   （ｂ）ユーザーが携帯しているＧＰＳユニットからユーザーのおおよその位置を取得する工程、
   （ｃ）ユーザーのおおよその位置を使用して、ユーザーを含むエリアのコンピュータ化された地図でユーザーの位置を特定する工程、
   （ｄ）前記エリアにおいて、ユーザーの視野内に既知のランドマーク位置を有するランドマークを決定する工程、
   （ｅ）ユーザーの視線がランドマークに向けられていることの確認をユーザーから取得する工程、
   （ｆ）ユーザーの位置と前記コンピュータ化された地図から抽出されたランドマークの位置との間の計算された方位角を決定する工程、
   （ｇ）前記計算された方位角を使用して、前記ＩＭＵの磁力計またはジャイロスコープ素子を較正する工程、および、
   （ｈ）音声プロンプトを提供し、ディスプレイを介して補助的な視覚的プロンプトを投影することにより、ユーザーをナビゲートする工程
   を含む、方法。
2. 前記方法は、
   （ａ）ユーザーの視線が前記ランドマークに向けられる場合に、前記ＩＭＵの頭部に取り付けられた磁力計から測定された方位角を取得する工程、および、
   （ｂ）測定された方位角と計算された方位角の間のオフセットの計算により、ユーザーを方向付ける工程
   をさらに含む、請求項１に記載の方法。
3. （ｉ）ユーザーの視線が前記ランドマークに向けられていることのユーザーからの確認、（ｉｉ）前記ランドマークの識別、および、（ｉｉｉ）前記目的地の識別の少なくとも１つが音声で伝達される、請求項１に記載の方法。
4. ユーザーが携帯するスマートフォン上に視界のエリアのパノラマ写真を表示し、ユーザーが選択した前記パノラマ写真内の物体を識別することにより、前記ランドマークを識別する、請求項１から３のいずれか１項に記載の方法。
5. 前記ディスプレイを介してマーカーをユーザーの視野に投影し、前記マーカーが前記ランドマークと位置合わせされたときにユーザーの視線が前記ランドマークに向けられていることの確認をユーザーから取得する工程、任意選択で、前記ディスプレイを介してユーザーの視野に視覚的表示を表示することにより、ユーザーが正しいルートをたどっていることを確認する工程、および任意選択で、前記ディスプレイを介してユーザーの視野に視覚的表示を表示することにより、ユーザーに正しいルートから逸脱していることを警告する工程を含む、請求項１から４のいずれか１項に記載の方法。
6. 前記ユーザーは、ナビゲーションサーバーに結合されたサードパーティーのバーチャルアシスタントへのインターフェースを有するソフトウェアアプリケーションを介して音声で情報を伝達する、請求項１から５のいずれか１項に記載の方法。
7. 前記サードパーティーのバーチャルアシスタントはＡｍａｚｏｎ（商標）Ａｌｅｘａ ａｎｄ Ｓｋｉｌｌｓをサポートするクラウドアプリケーションであり、インターネットを介して前記ナビゲーションサーバーに結合されている、請求項６に記載の方法。
8. コンピュータ処理ユニットによって実行されると、請求項１から７のいずれか１つに記載の方法を実行する、プログラムコード命令を格納するコンピュータ可読メモリを含むコンピュータプログラム製品。
9. ユーザーを目的地に誘導するための歩行者ナビゲーションシステムであって、
   ユーザーが携帯するＧＰＳユニットと、
   ユーザーが着用するための頭部取り付け可能なデバイスであり、ＩＭＵ、およびユーザーの視線の前に視覚画像を投影するためのディスプレイを含む、頭部取り付け可能なデバイスと、
   前記ＧＰＳユニットおよび前記頭部取り付け可能なデバイスに動作可能に結合され、メモリおよび処理ユニットを有する、ユーザーによって運ばれる携帯型コンピューティングデバイスであって、前記メモリおよび処理ユニットは、
   （ａ）ユーザーが携帯しているＧＰＳユニットからユーザーのおおよその位置を取得すること、
   （ｂ）ユーザーのおおよその位置を使用して、ユーザーを含むエリアのコンピュータ化された地図でユーザーの位置を特定すること、
   （ｃ）前記エリアにおいて、ユーザーの視野内に既知のランドマーク位置を有するランドマークを決定すること、
   （ｄ）ユーザーの視線が前記ランドマークに向けられていることの確認をユーザーの音声によって得ること、
   （ｅ）ユーザーの位置と前記コンピュータ化された地図から抽出された前記ランドマークの位置との間の計算された方位角を決定すること、
   （ｆ）前記計算された方位角を使用して、前記ＩＭＵの磁力計またはジャイロスコープ素子を較正すること、および、
   （ｇ）音声プロンプトを提供し、前記ディスプレイを介して補助的な視覚的プロンプトを投影することにより、ユーザーをナビゲートすることを行うようにプログラムされた、携帯型コンピューティングデバイスと、
   を含むシステム。
10. （ｇ）ユーザーの視線が前記ランドマークに向けられたときに、前記頭部取り付け可能なデバイスの磁力計から測定された方位角を取得すること、
    （ｈ）測定された方位角と計算された方位角の間のオフセットを計算することによって歩行者を方向付けることをさらに含む、請求項９に記載のシステム。
11. 前記コンピュータ化された地図を前記携帯型コンピューティングデバイスに伝達するために、前記携帯型コンピューティングデバイスと通信する、地図データを格納している遠隔ナビゲーションサーバーをさらに含む、請求項９または１０に記載のシステム。
12. 前記携帯型コンピューティングデバイスが、ＧＰＳユニットを内蔵したスマートフォンである、請求項９から１１のいずれか１項に記載のシステム。
13. 前記頭部取り付け可能なデバイスは、眼鏡フレームに取り外し可能に取り付けられ、前記ディスプレイは、画像を表示するためのマイクロディスプレイと、ユーザーが見た風景に前記画像を投影するための光学機器とを含み、任意選択で、マイクとイヤホンが前記眼鏡フレームに組み込まれており、前記携帯型コンピューティングデバイスに結合して音声情報を伝達し、ユーザーを必要な目的地に誘導するための音声命令を伝達するように構成される、請求項９から１２のいずれか１項に記載のシステム。
14. 前記画像は、前記ユーザーの視線が前記ランドマークと整列したときに前記ランドマークに投影されるマーカーである、請求項１３に記載のシステム。
15. 前記処理ユニットは、ナビゲーション援助を前記マイクロディスプレイに伝達するようにプログラムされている、請求項１３に記載のシステム。
16. 音声情報を伝達し、前記ユーザーを必要な目的地に誘導するための音声命令を伝達するために、前記携帯型コンピューティングデバイスに結合されたマイクおよびイヤホンをさらに含む、請求項９から１５のいずれか１項に記載のシステム。
17. 前記携帯型コンピューティングデバイスは、ナビゲーションサーバーに接続されたサードパーティーのバーチャルアシスタントへのインターフェースを備えたソフトウェアアプリケーションを実行し、任意選択で、前記マイクおよびイヤホンは、Ｂｌｕｅｔｏｏｔｈ（商標）を介して前記携帯型コンピューティングデバイスのホストアプリケーションに接続し、および前記ホストアプリケーションは、Ａｍａｚｏｎ（商標）Ａｌｅｘａ ａｎｄ Ｓｋｉｌｌｓをサポートするクラウドアプリケーションとインターネット経由で通信するように構成される、請求項１６に記載のシステム。
18. 前記頭部取り付け可能なデバイスは、眼鏡フレームに取り外し可能に取り付けられ、
    前記眼鏡フレームはＡｍａｚｏｎ（商標） Ｅｃｈｏ Ｆｒａｍｅであって、
    前記携帯型コンピューティングデバイスは、ナビゲーションサーバーに結合されたサードパーティーのバーチャルアシスタントへのインターフェースを備えたソフトウェアアプリケーションを実行し、前記眼鏡フレームは、Ｂｌｕｅｔｏｏｔｈ（商標）を介して前記携帯型コンピューティングデバイスのホストアプリケーションに接続し、前記ホストアプリケーションは、Ａｍａｚｏｎ（商標）Ａｌｅｘａ ａｎｄ Ｓｋｉｌｌｓをサポートするクラウドアプリケーションとインターネット経由で通信するように構成される、請求項１７に記載のシステム。
19. ホストアプリケーションは、音声／テキスト変換を実行し、インターネット経由でナビゲーションアプリケーションクラウドに接続するように構成され、Ａｍａｚｏｎ（商標）Ｓｈａｒｉｎｇ Ａｌｅｘａ Ｓｋｉｌｌｓは、前記ホストアプリケーションと前記ナビゲーションアプリケーションクラウド間でデータを転送して、前記ナビゲーションアプリケーションクラウドのナビゲーション機能をアクティブにし、インターネット経由で前記ホストアプリケーションにナビゲーション命令を返すために使用される、請求項１７または１８に記載のシステム。
20. 前記ディスプレイがシースルーディスプレイである、請求項９から１９のいずれか１項に記載のシステム。