JP2017211284A

JP2017211284A - モバイル端末およびこれを用いた自己位置推定システム並びにサーバおよび自己位置推定方法

Info

Publication number: JP2017211284A
Application number: JP2016104808A
Authority: JP
Inventors: 昌則田正司; Masanori Tashoji
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-05-26
Filing date: 2016-05-26
Publication date: 2017-11-30
Anticipated expiration: 2036-05-26
Also published as: JP6727032B2

Abstract

【課題】位置を一意に識別できる構造物がない場所でも高精度に自己位置を推定できる自己位置推定システムを得る。【解決手段】自己位置推定システムは、モバイル端末１００とサーバ２００によって構成され、モバイル端末１００は、画像撮影部１２０がカメラ１１０を介して画像を撮影し、画像内識別情報抽出部１４０により、画像内の識別情報を抽出し、識別情報取得部１５０により、予め作成された位置情報を含む識別情報を有するサーバ２００から、識別情報を取得して、この取得した識別情報を、画像内識別情報抽出部１４０により抽出された識別情報と、識別情報比較部１７０で比較し、両識別情報を対応付けて、自己位置推定部１８０が、対応付けられた識別情報に基づき、自己位置を推定するようにした。【選択図】図１

Description

この発明は、道路等の保守・点検などの維持管理を行うシステムにおいて、屋外でモバイル端末の自己位置を推定するモバイル端末およびこれを用いた自己位置推定システム並びにサーバおよび自己位置推定方法に関するものである。

道路等の長大なインフラ設備の点検業務等で異常個所を見つけた場合等に自己位置を記録したい場合がある。自己位置の推定には、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）が利用できるが、最大１０メートル程度の誤差があり、業務で必要な自己位置精度を確保できない。
このため、人工構造物の３Ｄ（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）モデルをあらかじめ持ち、現在のカメラ映像内のオブジェクトと３Ｄモデルとの対応を取ることで、精度の高い撮影位置を求める手法が開示されている。（たとえば、特許文献１）

特開２０１２−７９１２９号公報（第７〜１１頁、第２図）

従来の自己位置推定システムは、以上のように構成されているので、団地や高速道路上などの同じ形状の構造物が並ぶ場所では、構造物の形状のみでは位置を識別できず、自己位置が推定できないという問題があった。

この発明は、上述のような課題を解決するためになされたものであり、位置を一意に識別できる構造物がない場所でも高精度に自己位置を推定できるモバイル端末およびこれを用いた自己位置推定システム並びにサーバおよび自己位置推定方法を得ることを目的とする。

この発明に係わるモバイル端末においては、カメラによって画像を撮影する画像撮影部、この画像撮影部により撮影された画像内の識別情報を抽出する識別情報抽出部、予め作成された位置情報を含む識別情報を有するサーバから、識別情報を取得する識別情報取得部、識別情報抽出部により抽出された識別情報と、識別情報取得部によりサーバから取得された識別情報とを比較し、両識別情報を対応付ける識別情報比較部、およびこの識別情報比較部により対応付けられた識別情報に基づき、自己位置を推定する自己位置推定部を備えたものである。

この発明によれば、カメラによって画像を撮影する画像撮影部、この画像撮影部により撮影された画像内の識別情報を抽出する識別情報抽出部、予め作成された位置情報を含む識別情報を有するサーバから、識別情報を取得する識別情報取得部、識別情報抽出部により抽出された識別情報と、識別情報取得部によりサーバから取得された識別情報とを比較し、両識別情報を対応付ける識別情報比較部、およびこの識別情報比較部により対応付けられた識別情報に基づき、自己位置を推定する自己位置推定部を備えたので、同じ形状の構造物が並ぶような場所でも高精度に自己位置を推定することができる。

この発明の実施の形態１による自己位置推定システムを示すブロック図である。この発明の実施の形態１による自己位置推定システムのモバイル端末のハードウェア構成を示す図である。この発明の実施の形態１による自己位置推定システムのサーバのハードウェア構成を示す図である。この発明の実施の形態１による自己位置推定システムの識別情報ＤＢ（ｄａｔａｂａｓｅ）のデータ構造を示す図である。この発明の実施の形態１による自己位置推定システムの表示画面を示す図である。この発明の実施の形態１による自己位置推定システムのサーバ内の識別情報ＤＢを更新するまでの流れを示すフローチャートである。この発明の実施の形態１による自己位置推定システムの指定された位置周辺の識別情報をモバイル端末内の識別情報ＤＢに格納するまでの流れを示すフローチャートである。この発明の実施の形態１による自己位置推定システムの自己位置推定の流れを示すフローチャートである。この発明の実施の形態２による自己位置推定システムを示すブロック図である。この発明の実施の形態２による自己位置推定システムの自己位置推定の流れを示すフローチャートである。この発明の実施の形態３による自己位置推定システムを示すブロック図である。この発明の実施の形態３による自己位置推定システムの自己位置推定の流れを示すフローチャートである。この発明の実施の形態４による自己位置推定システムを示すブロック図である。この発明の実施の形態４による自己位置推定システムの自己位置推定の流れを示すフローチャートである。この発明の実施の形態５による自己位置推定システムを示すブロック図である。この発明の実施の形態５による自己位置推定システムの自己位置推定の流れを示すフローチャートである。

実施の形態１．
以下、この発明の実施の形態１を図に基づいて説明する。
図１は、この発明の実施の形態１による自己位置推定システムを示すブロック図である。
図１において、自己位置推定システムは、通信回線により通信可能になっているモバイル端末１００とサーバ２００を有する。
モバイル端末１００は、次のように構成されている。
カメラ１１０は、周辺を撮影する。画像撮影部１２０は、カメラ１１０を通じて、周辺の画像を撮影する。画面表示部１３０（表示部）は、カメラ映像および地図情報などを表示装置に画面表示する。
画像内識別情報抽出部１４０（識別情報抽出部）は、画像内に含まれる文字列等の識別情報を抽出する。識別情報取得部１５０は、サーバ２００から指定位置の識別情報を取得する。識別情報ＤＢ１６０は、識別情報取得部１５０によって取得された識別情報を保持する。
識別情報比較部１７０は、画像から抽出された識別情報と、識別情報ＤＢ１６０が保持する識別情報とを比較し、識別情報同士の対応付けを行なう。自己位置推定部１８０は、識別情報比較部１７０により対応付けられた識別情報から自己位置を推定する。ＧＰＳ受信部１９０は、ＧＰＳ衛星より位置情報を受信する。

サーバ２００は、次のように構成されている。
３Ｄモデル生成部２１０は、ＭＭＳ（ｍｏｂｉｌｅｍａｐｐｉｎｇｓｙｓｔｅｍ）などで計測された３Ｄ点群データから３Ｄモデルを生成する。３ＤモデルＤＢ２２０は、３Ｄモデル生成部２１０により生成された３Ｄモデルを保持する。
３Ｄモデル識別情報抽出部２３０は、３Ｄモデルから文字列等の識別情報を抽出する。識別情報ＤＢ２４０（識別情報データベース）は、３Ｄモデル識別情報抽出部２３０により抽出された識別情報を保持する。識別情報送信部２５０は、モバイル端末１００からの要求に応じて、識別情報を送信する。

図２は、この発明の実施の形態１による自己位置推定システムのモバイル端末のハードウェア構成を示す図である。
図２において、モバイル端末１００の主要なハードウェアを示す。ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２に格納されたソフトウェアにより、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１がＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３に一時的にデータを格納しつつ処理を行ない、表示装置１５にカメラ映像および処理結果を表示する。識別情報ＤＢ１６０は、フラッシュメモリ１４に格納される。
ＲＯＭ１２に格納されるソフトウェアは、画像撮影部１２０、画像内識別情報抽出部１４０、画面表示部１３０、識別情報取得部１５０、識別情報比較部１７０、自己位置推定部１８０およびＧＰＳ受信部１９０を含む。

図３は、この発明の実施の形態１による自己位置推定システムのサーバのハードウェア構成を示す図である。
図３において、サーバ２００の主要なハードウェアを示す。ＲＯＭ２２に格納されたソフトウェアにより、ＣＰＵ２１がＲＡＭ２３に一時的にデータを格納しつつ処理を行なう。３ＤモデルＤＢ２２０および識別情報ＤＢ２４０は、ＨＤＤ（ｈａｒｄｄｉｓｋｄｒｉｖｅ）２４に格納される。
ＲＯＭ２２に格納されるソフトウェアは、３Ｄモデル生成部２１０、３Ｄモデル識別情報抽出部２３０および識別情報送信部２５０を含む。

図４は、この発明の実施の形態１による自己位置推定システムの識別情報ＤＢのデータ構造を示す図である。
図４において、識別情報ＤＢ２４０の各データは、識別情報と位置情報とを有する。識別情報は、文字列と、その大きさを有し、位置情報は、文字列のある看板などの緯度、経度である。

図５は、この発明の実施の形態１による自己位置推定システムの表示画面を示す図である。
図５において、画面表示部１３０により表示される画面１３０１は、カメラ映像を表示する領域１３０２と、モバイル端末１００の自己位置を地図上に表示する領域１３０３と、自己位置の緯度経度を表示する領域１３０４とを有する。
領域１３０２のカメラ映像中の識別情報の文字列で、識別情報ＤＢ１６０が保持する識別情報の文字列と対応付けられた文字列は、強調表示されるようになっている。

次に、動作について、図６、図７、図８を用いて説明する。
図６は、ＭＭＳ等で計測された３Ｄ点群データをもとに、サーバ２００内の識別情報ＤＢ２４０を更新するまでの流れを示す。
図７は、ユーザが指定した位置周辺の識別情報をモバイル端末１００内の識別情報ＤＢ１６０に格納するまでの流れを示す。
図８は、現場で自己位置推定を行う際の流れを示す。

まず、図６を用いて、ＭＭＳ等で計測された３Ｄ点群データをもとに、サーバ２００内の識別情報ＤＢ２４０を更新するまでの流れについて説明する。
サーバ２００の３Ｄモデル生成部２１０は、ＭＭＳ等で計測された３Ｄ点群データを受信し、３Ｄモデルを生成する（ステップＳＴ１００１）。
３Ｄモデル生成部２１０は、生成した３Ｄモデルを３ＤモデルＤＢ２２０に格納する（ステップＳＴ１００２）。
３Ｄモデル識別情報抽出部２３０は、３ＤモデルＤＢ２２０に格納された３Ｄモデル内の看板や標識、道路脇の距離標等から文字列等の識別情報を抽出し、図４の示すように、文字列と、その大きさと、文字列を有する看板などの位置情報とを、識別情報ＤＢ２４０に格納する（ステップＳＴ１００３）。

次に、図７を用いて、ユーザが指定した位置周辺の識別情報をモバイル端末１００内の識別情報ＤＢ１６０に格納するまでの流れ（第三のステップ）について説明する。
モバイル端末１００の識別情報取得部１５０は、サーバ２００の識別情報送信部２５０に、指定位置付近の識別情報を要求する（ステップＳＴ２００１）。この指定位置は、ＧＰＳ受信部１９０により受信された位置情報に基づき、指定するものとする。
識別情報送信部２５０は、識別情報ＤＢ２４０から指定された位置付近の識別情報を取得し、モバイル端末１００の識別情報取得部１５０に送信する（ステップＳＴ２００２）。
識別情報取得部１５０は、受信した識別情報を識別情報ＤＢ１６０に格納する（ステップＳＴ２００３）。

次に、図８を用いて、モバイル端末１００が、現場で自己位置推定を行う際の流れについて説明する。
モバイル端末１００の画像撮影部１２０は、カメラ１１０を通じて、現在の場所の画像を撮影する（ステップＳＴ３００１、第一のステップ）。
画像内識別情報抽出部１４０は、画像から看板、標識、距離標等に描かれた文字列等の識別情報、すなわち、文字列とその大きさを抽出する（ステップＳＴ３００２、第二のステップ）。
識別情報比較部１７０は、画像内識別情報抽出部１４０によって抽出された識別情報と、識別情報ＤＢ１６０の識別情報とを比較し、対応する識別情報ＤＢ１６０の識別情報を特定する（ステップＳＴ３００４、第四のステップ）。特定できた場合には、画面１３０１のカメラ映像を表示する領域１３０２の該当する文字列を強調表示する。

自己位置推定部１８０は、特定された識別情報ＤＢ１６０の識別情報の位置情報から自己位置を推定する（ステップＳＴ３００５、第五のステップ）。
このとき、画像内識別情報抽出部１４０によって抽出された識別情報における文字列の大きさにより、この文字列までの距離を算出する。また、複数の文字列が特定された場合には、自己位置の方向も算出される。これらにより、自己位置を推定する。
すなわち、文字列を識別情報の特定に用い、文字列の大きさを距離の算出に用い、複数の文字列で自己位置の方向も算出する。
そして、推定した自己位置を、画面１３０１の領域１３０３の地図上に表示するとともに、正確な緯度経度を領域１３０４に表示する。

実施の形態１によれば、ＭＭＳ等で取得した３Ｄ点群データから抽出した看板、標識、距離標等に描かれた文字列等の識別情報と、カメラ画像内の識別情報との比較により、自己位置を推定するので、同じ形状の構造物が並ぶような場所でも高精度に自己位置を推定できるという効果がある。

実施の形態２．
図９は、この発明の実施の形態２による自己位置推定システムを示すブロック図である。
図９において、１００〜２５０は図１におけるものと同一のものである。図９では、モバイル端末１００に、マンホールを検出することで、自己位置を推定する自己位置推定補完部１８１を設けている。

実施の形態２は、実施の形態１に対し、図９に示すように、マンホールを検出することで、自己位置を推定する自己位置推定補完部１８１を追加したものである。

以下、実施の形態２の動作について、図１０を用いて説明する。
図１０は、実施の形態１の図８のフローチャートに、マンホールによる自己位置推定の補完処理を追加したものである。
図１０のステップＳＴ３００１、３００２、３００４、３００５は図８における処理と同一の処理である。図１０では、ステップＳＴ３００２の処理の後に、識別情報を抽出できたかどうかの判断処理（ステップＳＴ３００３）を追加し、抽出できなかった場合に、ステップＳＴ３１０１とステップＳＴ３１０２の処理を追加している。

図１０で、ステップＳＴ３００２の処理に次いで、識別情報が抽出できたかどうかを判断し（ステップＳＴ３００３）、抽出できなかった場合に、自己位置推定補完部１８１は、撮影画像からマンホールを検出する（ステップＳＴ３１０１）。
次いで、自己位置推定補完部１８１は、検出したマンホールの位置及びマンホールとの距離から自己位置を推定する（ステップＳＴ３１０２）。自己位置推定補完部１８１は、推定した自己位置を、画面１３０１の領域１３０３の地図上に表示するとともに、正確な緯度経度を領域１３０４に表示する。
なお、マンホールは、その位置が明確になっているものとする。

実施の形態２によれば、位置を識別できるマンホールを検出することにより、識別情報が少なく自己位置の推定が困難な場所が続いた場合でも、自己位置推定を継続できるという効果がある。

実施の形態３．
図１１は、この発明の実施の形態３による自己位置推定システムを示すブロック図である。
図１１において、１００〜２５０は図１におけるものと同一のものである。図１１では、モバイル端末１００に、モーションステレオにより、モバイル端末１００の移動量を推定する自己位置推定補完部１８２を設けている。

実施の形態３は、実施の形態１に対し、図１１に示すように、モーションステレオにより、モバイル端末１００の移動方向および移動量を推定する自己位置推定補完部１８２を追加したものである。

以下、実施の形態３の動作について、図１２を用いて説明する。
図１２は、実施の形態１の図８のフローチャートに、連続するカメラ画像の変化量から移動量を推定する処理を追加したものである。
図１２のステップＳＴ３００１〜ステップＳＴ３００５は、図１０における処理と同一の処理である。図１２では、ステップＳＴ３００３で、識別情報を抽出できなかった場合の処理として、ステップＳＴ３２０１〜ステップＳＴ３２０３の処理を追加している。

図１２で、ステップＳＴ３１０２の処理に次いで、識別情報を抽出できたかどうかを判断し（ステップＳＴ３００３）、抽出できなかった場合に、自己位置推定補完部１８２は、連続する２枚の撮影画像から対応する特徴点を抽出する（ステップＳＴ３２０１）。
次いで、自己位置推定補完部１８２は、抽出した特徴点の変化量（差分）から、モバイル端末１００の移動方向および移動量を算出する（ステップＳＴ３２０２）。
次に、自己位置推定補完部１８２は、移動前の自己位置に基づき、ステップＳＴ３２０２で算出された移動方向および移動量から自己位置を推定する（ステップＳＴ３２０３）。自己位置推定補完部１８２は、推定した自己位置を、画面１３０１の領域１３０３の地図上に表示するとともに、正確な緯度経度を領域１３０４に表示する。

実施の形態３によれば、カメラ画像内の特徴点の変化量から移動方向および移動量を算出して自己位置を推定することにより、周囲に識別情報が少なく識別情報から自己位置の推定が困難な場所が続いた場合でも、自己位置推定を継続できるという効果がある。

実施の形態４．
図１３は、この発明の実施の形態４による自己位置推定システムを示すブロック図である。
図１３において、１００〜２５０は図１におけるものと同一のものである。図１３では、モバイル端末１００に、加速度センサ１１１から計測した加速度と、ジャイロセンサ１１２から計測した角速度をもとに、モバイル端末１００の移動方向および移動量を計算し、自己位置を推定する自己位置推定補完部１８３を設けている。

実施の形態４は、実施の形態１に対し、図１３に示すように、モバイル端末１００に搭載されたセンサの計測値から移動方向および移動量を推定し、自己位置を推定する自己位置推定補完部１８３を追加したものである。

以下、実施の形態４の動作について、図１４を用いて説明する。
図１４は、実施の形態１の図８のフローチャートに、加速度センサ１１１から計測した加速度と、ジャイロセンサ１１２から計測した角速度をもとに、モバイル端末１００の移動方向および移動量を計算し、自己位置を推定する処理を追加したものである。
図１４のステップＳＴ３００１〜ステップＳＴ３００５は、図１０における処理と同一の処理である。図１４では、ステップＳＴ３００３で、識別情報を抽出できなかった場合の処理として、ステップＳＴ３３０１とステップＳＴ３３０２の処理を追加している。

図１４で、ステップＳＴ３１０２の処理に次いで、識別情報を抽出できたかどうかを判断し（ステップＳＴ３００３）、抽出できなかった場合に、自己位置推定補完部１８３は、加速度センサ１１１から加速度、ジャイロセンサ１１２から角速度を計測し、モバイル端末１００の移動方向および移動量を算出する（ステップＳＴ３３０１）。
次いで、自己位置推定補完部１８３は、移動前の自己位置に基づき、算出した移動方向および移動量から自己位置を推定する（ステップＳＴ３３０２）。自己位置推定補完部１８３は、推定した自己位置を、画面１３０１の領域１３０３の地図上に表示するとともに、正確な緯度経度を領域１３０４に表示する。

実施の形態４によれば、モバイル端末に搭載されたセンサ類の計測値から移動方向および移動量を算出し、自己位置を推定することにより、周囲に識別情報が少なく識別情報から自己位置の推定が困難な場所が続いた場合でも、自己位置推定を継続できるという効果がある。

実施の形態５．
図１５は、この発明の実施の形態５による自己位置推定システムを示すブロック図である。
図１５において、１００〜１４０、２００〜２４０は図１におけるものと同一のものである。図１５では、モバイル端末１００に、自己位置推定をサーバ２００に要求する自己位置推定要求部１８４を設けている。また、サーバ２００に、画像から抽出した識別情報と識別情報ＤＢ２４０（識別情報データベース）が保持する識別情報とを比較し、識別情報の対応付けを行なう識別情報比較部２６０と、対応付けられた識別情報からモバイル端末１００の位置を推定する端末位置推定部２７０とを設けている。

実施の形態５は、実施の形態１に対し、図１５に示すように、識別情報比較部と自己位置推定部を、モバイル端末１００からサーバ２００に移動したものである。

以下、実施の形態５の動作について、図１６を用いて説明する。
図１６は、実施の形態１の図８のフローチャートに対し、カメラ画像から現在の場所の識別情報を抽出した後の識別情報の比較処理と、自己位置推定処理をサーバ２００で実施する流れに変更したものである。
図１６のステップＳＴ３００１、ステップＳＴ３００２は、図８における処理と同一の処理である。図１６では、ステップＳＴ３００２の次の処理として、ステップＳＴ３４０１〜ステップＳＴ３４０５の処理を追加している。このうち、ステップＳＴ３４０２〜ステップＳＴ３４０５の処理は、サーバ２００の処理である。

図１６で、モバイル端末１００の自己位置推定要求部１８４は、サーバ２００の端末位置推定部２７０に、自己位置推定を要求する（ステップＳＴ３４０１）。このとき、自己位置推定要求部１８４は、画像内識別情報抽出部１４０によって抽出された識別情報をサーバ２００の端末位置推定部２７０に送る。
サーバ２００の端末位置推定部２７０は、識別情報比較部２６０に識別情報の比較を要求する（ステップＳＴ３４０２）。
識別情報比較部２６０は、モバイル端末１００から送られた識別情報（指定された識別情報）と識別情報ＤＢ２４０の識別情報とを比較し、モバイル端末１００から送られた識別情報に対応する識別情報ＤＢ２４０の識別情報を特定する（ステップＳＴ３４０３）。

端末位置推定部２７０は、特定された識別情報と、識別情報ＤＢ２４０の位置情報からモバイル端末１００の位置を推定する（ステップＳＴ３４０４）。
次いで、端末位置推定部２７０は、自己位置推定要求部１８４に推定結果を送信する（ステップＳＴ３４０５）。この送信される推定結果には、画面表示部１３０で表示するための画面表示情報が含まれる。自己位置推定要求部１８４は、推定された自己位置を、画面１３０１の領域１３０３の地図上に表示するとともに、正確な緯度経度を領域１３０４に表示する。

実施の形態５によれば、識別情報の比較処理をサーバで行うことにより、事前にモバイル端末へのサーバの識別情報ＤＢからの識別情報の送信が不要となることで、作業時間を削減できる効果がある。
また、演算能力の高いサーバで、識別情報比較処理を行うことで、自己位置推定時間が短縮できるという効果がある。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１１ＣＰＵ、１２ＲＯＭ、１３ＲＡＭ、１４フラッシュメモリ、１５表示装置、
２１ＣＰＵ、２２ＲＯＭ、２３ＲＡＭ、２４ＨＤＤ、
１００モバイル端末、１１０カメラ、１１１加速度センサ、
１１２ジャイロセンサ、１２０画像撮影部、１３０画面表示部、
１４０画像内識別情報抽出部、１５０識別情報取得部、１６０識別情報ＤＢ、
１７０識別情報比較部、１８０自己位置推定部、１８１自己位置推定補完部、
１８２自己位置推定補完部、１８３自己位置推定補完部、
１８４自己位置推定要求部、１９０ＧＰＳ受信部、２００サーバ、
２１０３Ｄモデル生成部、２２０３ＤモデルＤＢ、
２３０３Ｄモデル識別情報抽出部、２４０識別情報ＤＢ、２５０識別情報送信部、２６０識別情報比較部、２７０端末位置推定部

Claims

カメラによって画像を撮影する画像撮影部、
この画像撮影部により撮影された画像内の識別情報を抽出する識別情報抽出部、
予め作成された位置情報を含む識別情報を有するサーバから、上記識別情報を取得する識別情報取得部、
上記識別情報抽出部により抽出された識別情報と、上記識別情報取得部により上記サーバから取得された識別情報とを比較し、両識別情報を対応付ける識別情報比較部、
およびこの識別情報比較部により対応付けられた識別情報に基づき、自己位置を推定する自己位置推定部を備えたことを特徴とするモバイル端末。
上記識別情報は、文字列であることを特徴とする請求項１に記載のモバイル端末。
上記画像撮影部によって撮影された画像から、道路上のマンホールを認識し、このマンホールの位置によって自己位置を推定することにより、上記自己位置推定部による推定を補完する自己位置推定補完部を備えたことを特徴とする請求項１または請求項２に記載のモバイル端末。
上記画像撮影部により直前に撮影された画像と現在の画像との差分から上記モバイル端末の移動方向および移動量を算出し、この移動方向および移動量によって自己位置を推定することにより、上記自己位置推定部による推定を補完する自己位置推定補完部を備えたことを特徴とする請求項１または請求項２に記載のモバイル端末。
上記モバイル端末に搭載されたセンサ類の計測値から上記モバイル端末の移動方向および移動量を推定し、この移動方向および移動量によって自己位置を推定することにより、上記自己位置推定部による推定を補完する自己位置推定補完部を備えたことを特徴とする請求項１または請求項２に記載のモバイル端末。
上記画像撮影部により撮影された画像を表示するとともに、上記識別情報比較部により上記両識別情報が対応付けられた場合に、上記表示された画像上の当該識別情報を強調表示する表示部を備えたことを特徴とする請求項１から請求項５のいずれか一項に記載のモバイル端末。
上記表示部は、上記自己位置推定部により推定された自己位置を、上記画像の表示領域とは別の画面領域に表示することを特徴とする請求項６に記載のモバイル端末。
請求項１から請求項７のいずれか一項に記載のモバイル端末、
および予め作成された位置情報を含む識別情報を格納した識別情報データベースを有するサーバを備えたことを特徴とする自己位置推定システム。
上記サーバは、
別途計測された３Ｄ点群データから３Ｄモデルを生成する３Ｄモデル生成部と、
この３Ｄモデル生成部により生成された３Ｄモデルから、位置情報を含む識別情報を抽出する３Ｄモデル識別情報抽出部とを有し、
上記識別情報データベースは、上記３Ｄモデル識別情報抽出部により抽出された識別情報を格納していることを特徴とする請求項８に記載の自己位置推定システム。
別途計測された３Ｄ点群データから３Ｄモデルを生成する３Ｄモデル生成部、
この３Ｄモデル生成部により生成された３Ｄモデルから、位置情報を含む識別情報を抽出する３Ｄモデル識別情報抽出部、
この３Ｄモデル識別情報抽出部により抽出された識別情報を格納した識別情報データベース、
モバイル端末から送信される識別情報と、上記識別情報データベースに格納された識別情報とを比較し、両識別情報を対応付ける識別情報比較部、
およびこの識別情報比較部により対応付けられた識別情報に基づき、上記モバイル端末の位置を推定する端末位置推定部を備えたことを特徴とするサーバ。
画像撮影部が、カメラによって画像を撮影する第一のステップ、
識別情報抽出部が、上記第一のステップにより撮影された画像内の識別情報を抽出する第二のステップ、
予め作成された位置情報を含む識別情報を有するサーバから、識別情報取得部により上記識別情報を取得する第三のステップ、
識別情報比較部が、上記第二のステップにより抽出された識別情報と、上記第三のステップにより上記サーバから取得された識別情報とを比較し、両識別情報を対応付ける第四のステップ、
および自己位置推定部が、上記第四のステップにより対応付けられた識別情報に基づき、自己位置を推定する第五のステップを含むことを特徴とする自己位置推定方法。