JP4236372B2

JP4236372B2 - 空間情報利用システムおよびサーバシステム

Info

Publication number: JP4236372B2
Application number: JP2000290065A
Authority: JP
Inventors: 聡一横田
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2000-09-25
Filing date: 2000-09-25
Publication date: 2009-03-11
Anticipated expiration: 2020-09-25
Also published as: US6604049B2; JP2002108873A; US20020045988A1

Description

【０００１】
【発明の属する技術分野】
本発明は、空間情報利用システム等にかかり、特に、取得された画像情報とその画像情報が得られた位置情報等に基づいて所定の付加情報等を提供する空間情報利用システム等に関する。
【０００２】
【従来の技術】
ＧＰＳ(Global Positioning System：全地球測位システム)は、地球の周回軌道を回る２４個の衛星(米国国防総省が運営)から発信される情報を利用して、受信者と各衛星との位置関係を測定し、現在地の緯度・経度を計算するシステムである。このＧＰＳの民生用の利用としては、カーナビゲーションが代表的なものであるが、近年、このＧＰＳを利用した新しい発想の機器が存在している。
【０００３】
その代表的なものとして、ＧＰＳを搭載したカメラ(ＧＰＳカメラ)がある。このＧＰＳカメラでは、例えば、ＧＰＳ受信機，方向角センサを内蔵し、撮影時の位置(緯度・経度)、方向角(どの方向を撮影したか)などを記録することで、映像情報と共に、撮影した被写体の場所、部位を具体的な形で表示することが可能である。この用途としては、学術研究，環境保護調査，施設・現場の記録写真等があり、例えば、特開平８−８８８２５号公報では、ＧＰＳカメラを用いて工事の進捗状態を示す工事影像の編集方法について示されている。また、近年、超小型ＧＰＳと携帯電話を連結させ、携帯電話や電子メール、ＦＡＸなど多彩なメディアを利用して、移動者や第三者に位置情報サービスを提供する技術についても提案がなされている。
【０００４】
【発明が解決しようとする課題】
このように、例えば従来のＧＰＳカメラを用いれば、所定の影像記録を残して資産として有効利用することができ、また、位置情報や日時、撮影部位、撮影角度などの付加情報を用いて格納すれば、映像記録に対するアクセスも容易になる。しかしながら、これらのＧＰＳカメラによる技術だけでは、撮影した対象物に関する他の情報を引き出すきっかけを提供することができない。
【０００５】
一方で、前述のＧＰＳを搭載した携帯電話のように、対象物を正確に特定し、インターネット等に無線アクセスすることで、歩行者や車等の利用者は、自分がいる周囲の情報を限られた範囲(建物、店の名前、内容)で知ることができ、所定の情報検索を実行することも可能である。しかしながら、従来の技術では、利用者に要求される選択や判断のための作業が多く、対象物の特定の際に利用者の介入の度合いが高い。また、リアルタイム性も悪く、使い易さの点で実用性に欠ける。
【０００６】
また、特開２０００−９０２５５号公報には、地勢学的情報を形状情報や位置情報からなる幾何学情報に構造化し、データベース化を試みる手法について開示されている。ここでは、例えば、ハンドヘルド機器を有する人が「現実の道路交通に従って地点Ａから地点Ｂへ行くには？」の質問を移動体通信にて通信サーバに尋ねると、その結果として、ナビゲーション情報がハンドヘルド機器の画面に送られるというシナリオが示されている。しかしながら、かかる公報では、あくまでも幾何学情報に基づいた地勢学的情報(例えば地図)を利用者に提供することに留まり、他の付加情報等を提供することは困難である。特に、データ量が多く、構造化が困難な、例えばカメラで捉えた映像情報(風景情報)そのものをデータベース化する技術については言及されていない。
【０００７】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、屋外を移動中の利用者が情報を得たいと欲する対象物に対して、リアルタイムにその対象物に関する情報を得ることを可能とすることにある。
また他の目的は、屋外を移動中の利用者によって撮影されたイメージ情報に対して、利用者による独自の注釈情報(付加情報)を付加し、遠隔地にあるサーバに対して格納可能とすることにある。
【０００８】
【課題を解決するための手段】
かかる目的のもと、本発明は、移動体に携帯される複数のクライアント装置とこの複数のクライアント装置の各々に対して所定の情報を提供するセンターシステムとを含む空間情報利用システムであって、この複数のクライアント装置の各々は、イメージ情報を取得するための撮影機器とこのクライアント装置自身が位置する位置情報を取得するための位置情報取得機器とを備え、取得されたイメージ情報および位置情報をクライアント装置のユーザを識別するためのユーザＩＤと共にセンターシステムに対して送信し、センターシステムは、ユーザＩＤと共に受信された位置情報に基づいて、ユーザＩＤとは無関係に予め格納されている格納イメージ情報の中からユーザＩＤと共に受信されたイメージ情報とベストマッチングした格納イメージ情報を抽出し、抽出された格納イメージ情報に対してリンクされた属性情報に基づいて付加情報を検出し、イメージ情報と位置情報と付加情報とをユーザＩＤに関連づけて蓄積し、付加情報をユーザＩＤに対応するクライアント装置に対して送信することを特徴としている。
【０００９】
ここで、このセンターシステムは、受信された位置情報に基づいて、蓄積されている蓄積イメージ情報の中から受信されたイメージ情報とベストマッチングした蓄積イメージ情報を抽出し、抽出された蓄積イメージ情報に対してリンクされた属性情報に基づいて付加情報を検出することを特徴とすることができる。ベストマッチングとは、所定のパターンマッチング手法を用いてほぼ一致した蓄積イメージ情報を抽出するものであり、必ずしも完全に一致している必要はない。
また、このセンターシステムは、ネットワークに接続されたウェブサーバから付加情報や後述する詳細情報を検出することを特徴とすることができる。
【００１０】
更に、クライアント装置は、送信された付加情報の中から特定の付加情報を選択し、選択された旨をセンターシステムに送信し、センターシステムは、選択された付加情報に対する詳細情報をクライアント装置に対して送信することを特徴とすれば、クライアント装置を利用するユーザが、更に詳細な内容を入手することができる点で好ましい。
【００１１】
他の観点から把えると、本発明は、移動体に携帯される複数のクライアント装置とこの複数のクライアント装置の各々によって形成された所定の情報を処理するセンターシステムとを含む空間情報利用システムであって、この複数のクライアント装置の各々は、イメージ情報を取得するためのカメラ等のイメージ情報取得手段と、このクライアント装置の位置情報を取得するためのＧＰＳ受信機等の位置情報取得手段と、このイメージ情報に対するメモしたい情報等である付加情報を生成する付加情報生成手段と、取得されたイメージ情報と位置情報取得手段により取得された位置情報と生成された付加情報とをクライアント装置のユーザを識別するためのユーザＩＤと共にセンターシステムに対して送信する送信手段とを備え、センターシステムは、送信されるイメージ情報、位置情報、および付加情報をユーザＩＤと共に受信する受信手段と、受信されたイメージ情報、位置情報、および付加情報を前記ユーザＩＤに関連づけて蓄積する蓄積手段と、ユーザＩＤと共に蓄積されたイメージ情報および付加情報を、ユーザＩＤに対応するクライアント装置に対して送信する送信手段とを備えたことを特徴としている。
【００１２】
ここで、このクライアント装置における付加情報生成手段は、音声情報および/またはテキスト情報を付加情報として生成し、センターシステムにおける蓄積手段は、イメージ情報に対応付けて、付加情報生成手段により生成された音声情報および/またはテキスト情報を蓄積することを特徴とすることができる。より具体的には、イメージ情報をイメージＩＤで特定し、そのイメージ情報の中に存在する対象物である各オブジェクトをオブジェクトＩＤで特定し、そのオブジェクトＩＤ毎に、テキスト、音声、イメージ、ウェブサイトへのリンク等のオブジェクトインフォメーションとして蓄積することが可能である。
【００１３】
一方、本発明をクライアント装置側から把えると、本発明は、風景を撮影してイメージ情報を得るイメージ情報撮影手段と、このイメージ情報撮影手段により撮影がなされたときにおける自己の位置を把握する位置情報把握手段と、得られたイメージ情報と把握された位置に関する情報とをサーバに対して送信する送信手段と、イメージ情報撮影手段により得られた風景に存在する所定の対象に関する付加情報をサーバから受信する受信手段と、受信された付加情報を出力する出力手段とを備えたことを特徴としている。「撮影がなされたとき」とは、完全に時間が一致している必要はない。
【００１４】
ここで、このイメージ情報撮影手段により撮影がなされたときにおけるイメージ情報撮影手段が向いている方位および/または角度を検出する方位センサや角度センサ等からなる検出手段とを更に備え、送信手段は、検出された方位および/または角度に関する情報を送信することを特徴とすれば、パターンマッチングする際に蓄積イメージ情報を特定するのが容易となる点で好ましい。
【００１５】
また、この受信手段は、付加情報が所定のイメージ情報に付加された状態にて受信することを特徴とすれば、情報取得装置側およびサーバ側にて、付加情報付与にかかる手間を省くことが可能となる。この付加情報が付加されるイメージ情報は、情報取得装置にて撮影されたそのままのイメージ情報の他、予めデータベースに格納されていたベストマッチングしたイメージ情報でも構わない。また、このイメージ情報に付加情報を付加する態様としては、情報取得装置側で撮影されたイメージ情報を蓄積し、付加情報だけを取得してこのイメージ情報に付加することも可能である。
【００１６】
更に、受信手段により受信された所定のイメージ情報と付加情報とを表示する表示手段と、表示される付加情報の中から特定の付加情報を選択する選択手段とを更に備え、送信手段は、選択された特定の付加情報に関する情報をサーバに対して送信し、受信手段は、特定の付加情報に関する詳細情報をサーバから受信することを特徴とすることができる。
【００１７】
また、本発明が適用される情報取得装置は、風景を撮影して風景情報を得る撮影機器と、ＧＰＳ衛星から得られる信号によって自己の位置を把握するＧＰＳ受信機と、得られた風景情報と把握された自己の位置に関する情報とを送信するコミュニケーションデバイスとを備え、このコミュニケーションデバイスは、送信された風景情報にある対象物に関する付加情報を受信することを特徴とすることができる。
【００１８】
ここで、風景情報に基づくイメージ情報を表示すると共に、コミュニケーションデバイスにより受信された付加情報を表示するディスプレイデバイスと、このディスプレイデバイスにより表示された付加情報の中から特定の付加情報を選択するポインティングデバイスとを更に備え、コミュニケーションデバイスは、このポインティングデバイスにより選択された特定の付加情報に関する情報を送信し、送信した情報に関する詳細情報を受信することを特徴とすることができる。これらの機能を有する情報取得装置は、例えば、移動体である人に対して装着されるものである他、移動体である車に対して装着される態様が考えられる。
【００１９】
他の観点から把えると、本発明が適用される情報取得装置は、風景を撮影して風景情報を得る撮影手段と、得られた風景情報を表示する表示手段と、表示された風景情報に存在する特定部位を指定する指定手段と、指定された特定部位に対して、例えば自己がメモ情報等として保存したいと欲する所定の付加情報を入力する付加情報入力手段と、撮影された風景情報と入力された付加情報とをサーバに対して送信する送信手段と、を備えたことを特徴としている。
【００２０】
ここで、この送信手段は、ユーザ自身の情報として、独自情報の格納要求であることを明かにして風景情報および付加情報をサーバに対して送信することを特徴とすれば、蓄積する際に、独自情報を区別して蓄積することが可能になると共に、必要に応じて蓄積した情報を迅速に引き出すことが可能となる。
【００２１】
一方、本発明をサーバシステム(センターシステム)側から把握すると、本発明が適用されるサーバシステムは、複数のクライアント装置の各々によって得られた風景情報をクライアント装置のユーザを識別するためのユーザＩＤと共にクライアント装置から受信する受信手段と、受信された風景情報をユーザＩＤに関連づけて蓄積する蓄積手段と、ユーザＩＤとは無関係に複数のイメージ情報が予め格納されたイメージ格納手段と、このイメージ格納手段に格納されている複数のイメージ情報の各々を構成するオブジェクトに対する付加情報であるオブジェクトインフォメーションをユーザＩＤとは無関係に予め格納するオブジェクトインフォメーション格納手段と、格納されている複数のイメージ情報の中からユーザＩＤと共に受信された風景情報に近似する近似イメージ情報を選定する近似イメージ情報選定手段と、選定された近似イメージ情報に対応するオブジェクトインフォメーションをオブジェクトインフォメーション格納手段から読み出し、読み出されたオブジェクトインフォメーションをユーザＩＤに対応するクライアント装置に送信する送信手段とを備えたことを特徴としている。
【００２２】
ここで、この受信手段は、クライアント装置が風景情報を得たときのクライアント装置における位置情報を受信し、イメージ格納手段は、所定の位置情報によって識別された状態にて複数のイメージ情報が予め格納されており、近似イメージ情報選定手段は、受信された位置情報に基づいて、近似イメージ情報を選定することを特徴とすれば、例えば、パターンマッチングによる近似イメージの選定をより迅速に実行できる点で優れている。
【００２３】
また、この送信手段は、近似イメージ情報選定手段により選定された近似イメージ情報に対し、読み出されたオブジェクトインフォメーションを付加してクライアント装置に送信することを特徴とすることができる。
更に、この送信手段は、近似イメージ情報を構成するオブジェクトの位置に対し、読み出されたオブジェクトインフォメーションを位置に対応させた状態にてクライアント装置に送信することを特徴とすることができる。例えば、オブジェクトの上にテキスト情報を貼り付けることや、オブジェクトの上や近傍に対して所定の記号を設けることで、所定の機能を伝達する等である。
【００２４】
また更に、この受信手段は、送信されたオブジェクトインフォメーションに対するクライアント装置からの指定を受信し、送信手段は、受信手段により指定を受けたオブジェクトインフォメーションに対する詳細情報をクライアント装置に対して送信することを特徴とすることができる。
また、近似イメージ情報を構成するオブジェクトに対応する付加情報または詳細情報をネットワークを介してウェブサーバから受信するウェブサーバアクセス手段とを備えたことを特徴とすることができる。これによれば、サーバシステム自身で全てのオブジェクトインフォメーションを格納する必要がなくなり、更に、膨大かつ最新な情報を得ることが可能となる点で好ましい。
【００２５】
一方、本発明が適用されるサーバシステムは、クライアント装置によって得られた風景情報と、風景情報を構成する部位に対する付加情報とをクライアント装置から受信する受信手段と、受信された風景情報を格納するイメージ格納手段と、格納される風景情報との対応関係を、例えば、イメージＩＤ、オブジェクトＩＤ等によって保持した状態にて受信した付加情報を格納するオブジェクトインフォメーション格納手段とを備えたことを特徴としている。
更には、この受信手段は、風景情報に関する位置情報を受信し、このイメージ格納手段は、受信手段により受信された位置情報と共に風景情報を格納することを特徴とすることができる。
【００２６】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいてこの発明を詳細に説明する。
図１は、本実施の形態における空間情報利用システムの概要を示した説明図である。図１に示すように、このシステムでは、移動体である人や車に携帯される情報取得装置としてのクライアント装置１０、このクライアント装置１０における現在地の緯度・経度を計算するための信号を出すＧＰＳ衛星９、クライアント装置１０から送られた映像情報(イメージ情報)を格納すると共に、クライアント装置１０に対して所定の付加情報や詳細情報を提供する、サーバシステムとしてのセンターシステム３０、インターネットに接続されて対象物(オブジェクト)の各種情報(付加情報、詳細情報等)を提供するウェブサーバ４０とを備えている。
【００２７】
人に搭載されるクライアント装置１０は、後述するようにＧＰＳ受信機やカメラ等を備え、人に対して、例えば眼鏡のようにして装着されるヘッドセットとして構成される。また、車に搭載されるクライアント装置１０では、ＧＰＳ受信機や地図表示のためのカーナビゲーションシステムにカメラを搭載した形で構成される。また、クライアント装置１０では、後述するように通信手段を備え、カメラによって取得された空間イメージの情報と、ＧＰＳ受信機により取得された位置情報とをセンターシステム３０のサーバに対して送出する。センターシステム３０では、パターンマッチングの手法を用いて、蓄積された映像情報(蓄積イメージ情報)の中から、クライアント装置１０から送られてきた風景情報(イメージ情報)にベストマッチングした映像情報を抽出して、風景情報の中の対象物(オブジェクト)を特定する。センターシステム３０は、この対象物(オブジェクト)に関する情報を、例えばインターネットを介してウェブサーバ４０から入手し、風景情報を送出したクライアント装置１０に対して送信している。
【００２８】
図２は、クライアント装置１０の構成を説明するためのブロック図である。本実施の形態におけるクライアント装置１０は、処理部１１、映像を撮るためのデジタルカメラ等の撮影機器であるカメラ１２、映像を表示するためのディスプレイデバイス１３、マイクやスピーカ、ヘッドフォン等からなる音声入出力装置１４、対象物を指定するため等に用いる、特定の部位等を選択する選択手段としてのポインティングデバイス１５、名称の指定等、テキスト入力を行うためのテキスト入力デバイス１６を備えている。
【００２９】
処理部１１は、クライアント装置１０の全体制御を実行するマイクロプロセッサ２１、位置情報取得機器としてのＧＰＳ受信機２２、方位センサ２３、角度センサ２４、カメラ１２により得られた映像情報や各種センサによる計測情報等を格納するメモリ２５、センターシステム３０との無線による情報の送受信を行うコミュニケーションデバイス２６とを備えている。カメラ１２は、撮影した光学像をディジタル画像からなる映像に変換する電子スチールカメラであり、得られる映像が静止画か動画かを問わない。ディスプレイデバイス１３は、人に装着される態様では、例えば、小型の液晶パネル(ＬＣＤ)の映像を光学的に拡大するように構成されたものを採用し、眼鏡と同様に用いた場合であっても大型スクリーンと同等の大画面を形成できるようにされている。また、車に搭載される場合には、カーナビゲーションシステムに用いられているＬＣＤを用いることができる。音声入出力装置１４は、例えば、ヘッドフォンやスピーカによって音声出力し、マイクロフォンによる音声入力が可能である。ポインティングデバイス１５は、リモコンによる手からのクリック操作の他、例えば、目の動き(黒目の動き)をセンサ(アイトラッキングセンサ：eye tracking sensor、等)により捉え、ポインティングしたいところに目を合わせて“まばたき”をすることで特定の表示エリアの所定箇所を選択できるものを採用することができる。テキスト入力デバイス１６は、例えば、ＰＤＡ(Personal Digital Assistants)や携帯電話等のモバイル機器に用いられているキーと同等のキーを採用することが可能である。
【００３０】
処理部１１にて用いられるＧＰＳ受信機２２は、図示しないアンテナ部や信号処理部等を備え、例えば４つのＧＰＳ衛星９から捕捉されたＧＰＳ衛星９の位置(軌道)情報と、ＧＰＳ衛星９からＧＰＳ受信機２２までの信号の伝播距離とに基づいて、クライアント装置１０の緯度・経度を算出している。但し、このＧＰＳによる測位だけでは、そこから得られる位置情報に数１０〜数１００メートルの誤差が生じてしまう。走行中の車での使用であればその程度の誤差は瞬時に移動してしまうため問題にはならないが、人の歩行時における使用では、その誤差を完全に無視することができない。そのために、本実施の形態におけるクライアント装置１０では、例えば、ディファレンシャルＧＰＳにより誤差を補正している。このディファレンシャルＧＰＳは、全国に設置されたＧＰＳ基地局からの信号によってその誤差を補正するシステムであり、このディファレンシャル機能により、誤差約２〜５ｍを実現している。
【００３１】
方位センサ２３は、例えば、磁気センサによって構成することができる。この磁気センサを用いた方位センサ２３では、例えば、センサ内部に直交して巻かれた２組のコイルとその中心部に配置されたＭＲ素子(磁気抵抗素子)とで地磁気(地球を南北に走る磁力線)を感知し、方位を計測して出力することができる。また、角度センサ２４は、例えば、マイクロマシニング技術を用いて物体の傾きを検出する傾斜角センサ等を用いることができる。このマイクロマシニング技術は、半導体の製造工程を使ってシリコンウエハ上にミクロンオーダーの小さな機構部を形成する技術であり、０.１°程度のわずかな傾きも検出可能である。
【００３２】
マイクロプロセッサ２１は、メモリ２５を用いて、カメラ１２により得られた映像の表示や、ポインティングデバイス１５、テキスト入力デバイス１６等の入出力手段に対する処理、ＧＰＳ受信機２２、方位センサ２３、角度センサ２４から得られた位置や方位、角度等の情報を受けて、本システムにて必要な一連の処理を実行している。メモリ２５は、マイクロプロセッサ２１の処理に必要な情報を格納すると共に、カメラ１２から得られた映像情報や、各種インフォメーション情報等を格納している。コミュニケーションデバイス２６は、マイクロプロセッサ２１の制御に基づいて、センターシステム３０に対して映像データや各種センサ等によって取得された情報等の送信を制御する他、センターシステム３０から送信されるインフォメーションデータ等を受信するための処理を実行している。
【００３３】
図３は、人に装着されるクライアント装置１０の一例を示した図である。図３に示す例では、眼鏡のフレームと同様な本体フレーム１７に、図２のブロック図に示した機能を達成するユニットが配置されている。また、クライアント装置１０を動かすためのバッテリ１８も設けられている。例えば、コミュニケーションデバイス２６は、無線用のアンテナ１９を備えて本体フレーム１７の側部に設けられている。また、このアンテナ１９によってまたは他のアンテナによって、ＧＰＳ衛星９からの信号を捉え、ＧＰＳ受信機２２に供給している。カメラ１２は、人(ユーザ)における目の位置の近傍に配置されて、人が実際に見ている方向と撮られる映像とがほぼ一致できるように構成されている。このカメラ１２の近傍には、方位センサ２３や角度センサ２４が設けられ、カメラ１２の方位や角度を正確に把握することで、映像された対象をより正確に特定できるように配慮されている。更には、人(ユーザ)の目の位置にディスプレイデバイス１３が設けられると共に、前述したアイトラックセンサが設けられ、ポインティングデバイス１５として機能している。
【００３４】
次に、センターシステム３０について説明する。
図４は、センターシステム３０の概略構成を示したブロック図である。本実施の形態におけるセンターシステム３０は、クライアント装置１０からイメージ情報等を受信するコミュニケーションデバイス３１と、ファイルの保管や入出力、アクセスなどの管理サービスや、本実施の形態における空間情報処理システムに要求される業務処理を実行し、処理結果をクライアント装置１０に対して通知するためのサーバ３２を備えている。また、データベースとして、一般用のイメージ情報を格納するイメージＤＢ(一般用)３３、クライアント装置１０に提供すべきオブジェクト毎(部位毎)に対応したインフォメーション情報を格納するオブジェクトインフォメーションＤＢ(一般用)３４がある。また、クライアント装置１０を有する利用者の個人用のデータベースとして、イメージＤＢ(個人用)３５、オブジェクトインフォメーションＤＢ(個人用)３６を備えている。この個人用のデータベースを備えることで、利用者が興味のある対象物に対し、メモ等を施したい独自情報をイメージと関連させて蓄積することが可能となる。更に、センターシステム３０には、外部のネットワーク(インターネット等)にアクセスするために用いられるゲートウェイ３７を備えており、図１に示したウェブサーバ４０に対してアクセスすることが可能である。
【００３５】
次に、本実施の形態にて用いられるデータ構造について説明する。
図５(ａ)〜(ｄ)は、クライアント装置１０からセンターシステム３０に対して送出されるデータ構造を示した図であり、例えば、パケット形式によってデータが送出される場合には、その１つ１つのフレームの構造を説明するものである。図５(ａ)は、オブジェクトインフォメーションリクエストのデータ構造を示しており、カメラ１２によって取得された実空間イメージ情報と共に、ＧＰＳ受信機２２によって得られた位置情報、方位センサ２３および角度センサ２４によって把握された方位や位置に対する情報が示されている。データが送出される際に、まず、一般のインフォメーションリクエストなのか、一般および独自のインフォメーションリクエストなのかを示すデータタイプ１０１の情報が必要である。また、測定された位置１０２、方位１０３、角度１０４の各情報の他、事象が生じた時刻を示すタイムスタンプ１０５、ユーザを識別するためのユーザＩＤ１０６、例えば、ＭＰＥＧ２やＪＰＥＧ等、圧縮方式などの情報を格納したイメージフォーマット１０７の情報が送出される。これらの管理情報に加えて、実際のイメージ１０８の情報が送出される。
【００３６】
図５(ｂ)は、詳細オブジェクトインフォメーションリクエストのデータ構造を示している。このリクエストは、図５(ａ)によってクライアント装置１０からセンターシステム３０に対してアクセスし、センターシステム３０から特定の情報を得た後に、クライアント装置１０から送出されるデータ構造を示している。データタイプ１０１、ユーザＩＤ１０６が図５(ａ)と同様に送出されるが、ここでは、詳細な情報を送る対象となるイメージを指定するためのイメージＩＤ１０９、例えば、ポインティングデバイス１５によって指示された、イメージの中におけるカーソルの位置１１０の情報が示されている。これらの情報を受けることによって、センターシステム３０のサーバ３２は、送出すべき対象を特定して、詳細なインフォメーション情報(詳細情報)を提供することが可能となる。
【００３７】
図５(ｃ)は、独自情報格納要求のデータ構造を示している。このデータ構造は、図５(ａ)に示したデータ構造と同様であるが、データタイプ１０１に格納される情報は、独自インフォメーションリクエストを示すものとなる。図５(ｄ)は、独自情報付加要求のデータ構造を示している。図５(ｃ)に示す情報に加えて、イメージを特定するためのイメージＩＤ１０９と、イメージの中におけるカーソルの位置１１１の情報が含まれる。また、このカーソルの位置１１１には、テキスト情報や音声情報、イメージ情報等からなる格納情報が含まれている。このような情報によって、センターシステム３０のイメージＤＢ３５およびオブジェクトインフォメーションＤＢ３６に対して、利用者(ユーザ)が興味のある対象物に、利用者がメモしたい独自情報をイメージ情報と関連させて、音声、テキスト、画像を含めた個人情報として蓄積することが可能となる。
【００３８】
図５(ａ)、図５(ｃ)のデータ構造によって情報を得たセンターシステム３０では、所定のパターンマッチング手法を用いて、蓄積された映像情報の中から、送られてきたイメージとの比較が行われる。このパターンマッチング手法については、いくつかの手法があるが、例えば、統計的識別法や構造識別法によってパターンマッチングを行うことができる。また、あらかじめ用意した標準パターンであるテンプレートに対して、入力画像にテンプレートを重ねながら移動し、２つの画像が画素データレベル対応の相関を調べる、所謂テンプレートマッチングによることもできる。送られてくるイメージ情報である入力画像については、そのイメージ情報と共に、ＧＰＳ受信機２２によって得られた位置情報、方位センサ２３および角度センサ２４によって把握された方位や位置に対する情報が存在する。このような情報に基づいてイメージＤＢ(一般用)３３やイメージＤＢ(個人用)３５から比較の対象となるテンプレート(映像情報)を選定した後にパターンマッチングを実行することで、パターンマッチングに要する処理を大幅に削減することができる。また、これらのパターンマッチングには、二値化した白黒画像を対象として外形を抽出する場合の他、色情報を有効に活用すれば、より迅速かつ正確な映像情報の抽出が可能となる。例えば、「黄色」の建物の特徴をもとに、送られてきたイメージ情報と蓄積された映像情報との一致を判断する等である。
【００３９】
図６(ａ)〜(ｃ)は、センターシステム３０からクライアント装置１０に対して送出されるデータ構造を示した図であり、図５にて説明したものと同様に、例えば、パケット形式によってデータが送出される場合には、その１つ１つのフレームの構造を説明するものである。図６(ａ)は、マッチングイメージとオブジェクトインフォメーションを合成した構造を示している。ここでは、データタイプ１２１の情報の他、クライアント装置１０から送られた情報をもとに、位置１２２、方位１２３、角度１２４、タイムスタンプ１２５、ユーザＩＤ１２６の各情報が送られる。また、イメージＩＤ１２７、圧縮形式等が示されるイメージフォーマット１２８の情報と共に、イメージ情報とオブジェクトインフォメーションとが合成された合成画像１２９がクライアント装置１０に対して送出される。
【００４０】
図６(ｂ)は、詳細オブジェクトインフォメーション応答であり、図５(ｂ)に示した、クライアント装置１０から送出される詳細オブジェクトインフォメーションリクエストに対する応答である。ここでは、データタイプ１２１、ユーザＩＤ１２６、イメージＩＤ１２７と共に、ユーザがポインティングデバイス１５によって指定した対象に対する詳細情報(テキスト、音声、ウェブインフォメーション)が送出される。このウェブインフォメーションは、センターシステム３０がウェブサーバ４０にアクセスして得られた情報であり、かかるウェブインフォメーションが得られることで、膨大な量の、かつ最新な情報を確保することが可能となる。
【００４１】
図６(ｃ)は、独自情報格納要求受理を示したデータ構造であり、図５(ｃ)に示した、クライアント装置１０から送出される独自情報格納要求に対する応答である。ここでは、図６(ａ)に示した合成画像１２９に変えて、格納されたイメージ１３１の情報が送出される。これによって、クライアント装置１０を操作する利用者は、格納されたイメージ情報を確認することができると共に、更なる詳細情報を欲する際に特定の対象を指定することが可能となる。
【００４２】
図７(ａ),(ｂ)は、イメージＤＢ３３,３５、オブジェクトインフォメーションＤＢ３４,３６に格納されるデータベース構造を示した図である。図７(ａ)に示すように、イメージＤＢ３３,３５には、イメージに対する位置１４１、方位１４２、角度１４３、タイムスタンプ１４４、イメージＩＤ１４５の情報が格納される。また、フォーマットやサイズ、一般/個人、等のイメージ属性情報１４６と共に、イメージ１４７が格納されている。このようなデータ構造にて、イメージＤＢ(一般用)３３に格納される場合には、複数のクライアント装置１０から得られたイメージ情報を格納することができ、例えば、位置１４１の情報を元にして層別がなされて格納される。また、クライアント装置１０からの情報以外に、例えば、所定の業者によって作成されたイメージ情報を格納することも可能である。イメージＤＢ(個人用)３５に格納される場合には、ユーザにより撮影された独自なイメージ情報が中心となる。
【００４３】
図７(ｂ)は、オブジェクトインフォメーションＤＢ３４,３６に格納されるデータベース構造を示した図である。ここでは、イメージＩＤ１５１の情報の他、オブジェクト位置(１)１５２、オブジェクトＩＤ(１)１５３、オブジェクト位置(２)１５４、オブジェクトＩＤ(２)１５５、…オブジェクト位置(ｎ)１５６、オブジェクトＩＤ(ｎ)１５７の１〜ｎ個のオブジェクト情報が格納されている。更に、これらのオブジェクトＩＤ１５８と共に、テキスト、音声、イメージ、ウェブサイトへのリンク等の情報からなるオブジェクトインフォメーション１５９が格納されている。このようにして、イメージＤＢ３３,３５に対応して、格納されたイメージ情報を構成するオブジェクトを識別可能とし、識別されたオブジェクト毎にオブジェクトインフォメーション１５９を格納することが可能である。
【００４４】
図８は、クライアント装置１０のディスプレイデバイス１３に実際に表示される合成画像の例を示している。この例で示される合成画像は、前述のように、クライアント装置１０にて撮影されて送出されたイメージ情報を元に、センターシステム３０のサーバ３２にてパターンマッチングがなされ、関連するインフォメーションが抽出されてクライアント装置１０に戻されたものである。この例では、イメージ情報の上に、４種類のオブジェクトインフォメーションが重ね合わされている。ここでは、４種類の記号によって、「この情報だけ」、「クリックによりテキスト情報を得る」、「クリックにより音声情報を得る」、「クリックによりウェブ情報を得る」を識別している。
【００４５】
例えばユーザが、イメージ情報の各オブジェクトの中からＢ会社(Ｂ Ltd.)の記号位置に、ポインティングデバイス１５を用いてカーソルを移動し、クリックをしたものとする。マイクロプロセッサ２１は、Ｂ会社(Ｂ Ltd.)が選択されたことを認識し、コミュニケーションデバイス２６を介して、図５(ｂ)に示すような詳細オブジェクトインフォメーションリクエストのデータ構造によって、認識された内容を含むパケットをセンターシステム３０に送出する。センターシステム３０は、このパケットに基づいて、図６(ｂ)に示すような詳細オブジェクトインフォメーション応答の詳細情報１３０にＢ会社(Ｂ Ltd.)のウェブ情報(ウェブインフォメーション)を格納し、例えば、パケットによってクライアント装置１０に返信する。このパケットを受信したユーザは、Ｂ会社(Ｂ Ltd.)のウェブ情報を例えばディスプレイデバイス１３によって閲覧することができる。同様に、Ｘデパート(Ｘ Department)やＹ商店(Ｙ Store)のテキスト情報、７階にあるＥ商店(７ＦＥ store)の音声情報を得ることが可能である。尚、Ａビルディング(Ａ bld)、３階にあるＺ商店(３ＦＺ store)、Ｓ通り(Ｓ street)、Ｎ通り(Ｎ street)には、付加情報が存在していない。
【００４６】
また、図８に示すような合成情報を取得したユーザは、音声入出力装置１４、ポインティングデバイス１５、テキスト入力デバイス１６を用いて、特定の部位に対して音声、映像、テキスト入力を実施し、個人情報であることを示した状態にてその情報をセンターシステム３０に送信することで、自分自身、即ち、移動体(人)独自の風景情報をセンターシステム３０のイメージＤＢ(個人用)３５およびオブジェクトインフォメーションＤＢ(個人用)３６に格納することができる。ここでは、例えば、営業者が、自分の訪問先や得意先の情報をイメージと共にセンターシステム３０に格納し、必要に応じてセンターシステム３０にアクセスすることで情報を得るような利用形態が考えられる。
【００４７】
ここで、この図８に示すような合成画像を得る態様としては、例えば以下の３つが考えられる。１つ目は、センターシステム３０のイメージＤＢ(一般用)３３やイメージＤＢ(個人用)３５に格納されていたイメージ情報に関連するインフォメーション(付加情報)が付加される態様である。この態様では、合成にかかる手間が省ける点で優れている。２つ目は、クライアント装置１０からセンターシステム３０に送られてきたそのままの画像にインフォメーションを付加してクライアント装置１０に送信するものである。この態様では、クライアント装置１０の利用者側にて、イメージ情報に違和感がない点で優れている。３つ目は、クライアント装置１０にてイメージ情報を保持し、センターシステム３０からは、付加情報の貼り付け位置情報と共に付加情報だけを受信する態様である。この態様であれば、送受信に要するデータ量を削減することが可能となる。
【００４８】
尚、図８の例では、一旦、受信した合成画像に対してポインティングデバイス１５を用いて指定し、更に詳細な情報を得るように構成したが、合成画像に対して完結した情報、例えばテキストによる付加情報を付加することも可能である。即ち、ポインティングデバイス１５を用いた指定を省略し、センターシステム３０から受信した最初の合成画像によって一連の処理を完結するように構成することも可能である。このように構成すれば、得られる情報は限定されるものの、通信時間の短縮が図れ、より迅速な情報取得が可能となる。
【００４９】
このように、本実施の形態では、小型の撮影機器であるカメラ１２、小型の映像装置(モニタ)であるディスプレイデバイス１３、およびＧＰＳ受信機２２等を有するクライアント装置１０を携帯した移動体(人や車)が、まず、カメラ１２に移る風景情報とＧＰＳ受信機２２による位置情報、および各種センサによる状態情報を、移動体通信によってリアルタイムにセンターシステム３０のサーバ３２に送信する。受信したサーバ３２は、所定のパターンマッチング手法を用いて、イメージＤＢ３３,３５に蓄積された映像情報の中から、移動体から送られてきた風景情報にベストマッチングした映像情報を抽出する。そして、その映像情報に存在する対象物に対して、予めリンクされた属性情報(例えば、店の種類、宣伝等)をオブジェクトインフォメーションＤＢ３４,３６から呼び出し、風景情報に合成して合成風景情報に変換する。センターシステム３０は、その合成風景情報を発信元のクライアント装置１０に送信する。クライアント装置１０では、受信した合成風景情報をディスプレイデバイス１３に表示する。これによって、ユーザは、ディスプレイデバイス１３に表示された合成風景情報と実際の風景情報とを比較し、眼前にある対象物に対する付加情報を引き出すことが可能となる。
【００５０】
更に、ユーザは、ディスプレイデバイス１３に表示されている合成風景情報の特定部位に対してポインティングデバイス１５を用いて指定することで、指定された対象物に関する更に詳細な付加情報を得ることが可能である。
また更に、頻繁に利用する空間情報に関しては、ローカルな記憶装置に保持し、そのローカルな記憶装置に対してイメージのパターンマッチングを行うように構成することも可能である。このように構成すれば、パターンマッチングの対象となる映像情報の数が限定され、より迅速な情報取得が可能となる。
【００５１】
また、風景情報の特定部位を指定し、音声、映像、テキスト入力等を行うことで、移動体(人)独自の合成風景情報をセンターシステム３０側に格納することができる。これによって、個人が頻繁に利用する空間情報に関して、そのアクションが容易になると共に、趣味等への適用を含めたパーソナルな個人用データベースの構築が可能となる。
尚、本実施の形態にて送受信される映像情報(イメージ情報)は、静止画に限定されず、動画であっても構わない。但し、動画の場合には、単に動画を垂れ流すのではなく、例えば、ある時間隔でサンプリングされた、静止画に位置情報を付加して送信する方法が好ましい。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、屋外を移動中の利用者が情報を得たいと欲する対象物に対して、リアルタイムにその対象物に関する情報を得ることができる。
【図面の簡単な説明】
【図１】本実施の形態における空間情報利用システムの概要を示した説明図である。
【図２】クライアント装置１０の構成を説明するためのブロック図である。
【図３】人に装着されるクライアント装置１０の一例を示した図である。
【図４】センターシステム３０の概略構成を示したブロック図である。
【図５】 (ａ)〜(ｄ)は、クライアント装置１０からセンターシステム３０に対して送出されるデータ構造を示した図である。
【図６】 (ａ)〜(ｃ)は、センターシステム３０からクライアント装置１０に対して送出されるデータ構造を示した図である。
【図７】 (ａ),(ｂ)は、イメージＤＢ３３,３５、オブジェクトインフォメーションＤＢ３４,３６に格納されるデータベース構造を示した図である。
【図８】クライアント装置１０のディスプレイデバイス１３に実際に表示される合成画像の例を示した図である。
【符号の説明】
９…ＧＰＳ衛星、１０…クライアント装置、１１…処理部、１２…カメラ、１３…ディスプレイデバイス、１４…音声入出力装置、１５…ポインティングデバイス、１６…テキスト入力デバイス、１７…本体フレーム、１８…バッテリ、１９…アンテナ、２１…マイクロプロセッサ、２２…ＧＰＳ受信機、２３…方位センサ、２４…角度センサ、２５…メモリ、２６…コミュニケーションデバイス、３０…センターシステム、３１…コミュニケーションデバイス、３２…サーバ、３３…イメージＤＢ(一般用)、３４…オブジェクトインフォメーションＤＢ(一般用)、３５…イメージＤＢ(個人用)、３６…オブジェクトインフォメーションＤＢ(個人用)、４０…ウェブサーバ

Claims

移動体に携帯される複数のクライアント装置と当該複数のクライアント装置の各々に対して所定の情報を提供するセンターシステムとを含む空間情報利用システムであって、
前記複数のクライアント装置は、各々、
イメージ情報を取得するための撮影機器と、
前記クライアント装置自身が位置する位置情報を取得するための位置情報取得機器と、を備え、
前記撮影機器により取得されたイメージ情報、前記位置情報取得機器により取得された位置情報、ユーザＩＤ、および一般または一般・個人を示すリクエスト種別を含むオブジェクトインフォメーション要求を前記センターシステムに送信し、
前記センターシステムは、
位置情報に関連づけて、複数のイメージ情報を格納する一般用イメージＤＢと、
前記一般用イメージＤＢに格納されている複数のイメージ情報を構成するオブジェクトに対応させてオブジェクトインフォメーションを格納する一般用オブジェクトインフォメーションＤＢと、
前記クライアント装置の独自情報格納要求に応じて、位置情報と関連づけてイメージ情報を格納する個人用イメージＤＢと、
前記クライアント装置の単独情報付加要求に応じて、前記個人用データイメージＤＢに格納されるイメージ情報を構成するオブジェクトに対応させてオブジェクトインフォメーションを格納する個人用オブジェクトインフォメーションＤＢと、
を備え、
前記クライアント装置からのオブジェクトインフォメーション要求のリクエスト種別が一般を示す場合は、前記一般用イメージＤＢに格納されている複数のイメージ情報の中から当該オブジェクトインフォメーション要求のイメージ情報とマッチするイメージ情報を検索し、前記一般用オブジェクトインフォメーションＤＢから、前記検索したイメージ情報に対応する１または複数のオブジェクトインフォメーションを検索し、
また、前記クライアント装置からのオブジェクトインフォメーション要求のリクエスト種別が一般・個人を示す場合は、前記一般用および個人用イメージＤＢに格納されている複数のイメージ情報の中から当該オブジェクトインフォメーション要求のイメージ情報とマッチするイメージ情報を検索し、前記リクエスト種別に応じて、前記一般用および個人用オブジェクトインフォメーションＤＢから、前記検索したイメージ情報に対応する１または複数のオブジェクトインフォメーションを検索し、
前記検索した１または複数のオブジェクトインフォメーションを前記オブジェクトインフォメーション要求のユーザＩＤに対応するクライアント装置に送信することを特徴とする空間情報利用システム。
前記センターシステムは、ネットワークに接続されたウェブサーバから前記オブジェクトインフォメーションを取得することを特徴とする請求項１記載の空間情報利用システム。
前記クライアント装置は、前記センターシステムから前記１または複数のオブジェクトインフォメーションを受信した場合には、当該１または複数のオブジェクトインフォメーション中から特定のオブジェクトインフォメーションを選択して、選択したオブジェクトインフォメーションを指定する情報および前記ユーザＩＤを含む詳細オブジェクトインフォメーション要求を前記センターシステムに送信し、
前記センターシステムは、前記詳細オブジェクトインフォメーション要求を受信した場合には、指定されるオブジェクトインフォメーションの詳細情報を、前記詳細オブジェクトインフォメーション要求のユーザＩＤに対応するクライアント装置に対して送信することを特徴とする請求項１記載の空間情報利用システム。
移動体に携帯される複数のクライアント装置の各々に対して所定の情報を提供するサーバシステムであって、
位置情報に関連づけて、複数のイメージ情報を格納する一般用イメージＤＢと、
前記一般用イメージＤＢに格納されている複数のイメージ情報を構成するオブジェクトに対応させてオブジェクトインフォメーションを格納する一般用オブジェクトインフォメーションＤＢと、
クライアント装置の独自情報格納要求に応じて、位置情報と関連づけてイメージ情報を格納する個人用イメージＤＢと、
前記クライアント装置の単独情報付加要求に応じて、前記個人用データイメージＤＢに格納されるイメージ情報を構成するオブジェクトに対応させてオブジェクトインフォメーションを格納する個人用オブジェクトインフォメーションＤＢと、
前記クライアント装置から送出される、イメージ情報、位置情報、ユーザＩＤ、および一般または一般・個人を示すリクエスト種別を含むオブジェクトインフォメーション要求を受信する受信手段と、
前記受信したオブジェクトインフォメーション要求のリクエスト種別が一般を示す場合は、前記一般用イメージＤＢに格納されている複数のイメージ情報の中から当該オブジェクトインフォメーション要求のイメージ情報とマッチするイメージ情報を検索し、前記一般用オブジェクトインフォメーションＤＢから、前記検索したイメージ情報に対応する１または複数のオブジェクトインフォメーションを検索し、また、前記受信したオブジェクトインフォメーション要求のリクエスト種別が一般・個人を示す場合は、前記一般用および個人用イメージＤＢに格納されている複数のイメージ情報の中から当該オブジェクトインフォメーション要求のイメージ情報とマッチするイメージ情報を検索し、前記一般用および個人用オブジェクトインフォメーションＤＢから、前記検索したイメージ情報に対応する１または複数のオブジェクトインフォメーションを検索する第１の検索手段と、
前記検索した１または複数のオブジェクトインフォメーションを前記オブジェクトインフォメーション要求のユーザＩＤに対応するクライアント装置に送信する第１の送信手段と、
を備えたことを特徴とするサーバシステム。
前記ネットワークに接続されたウェブサーバから前記オブジェクトインフォメーションを取得することを特徴とする請求項４記載のサーバシステム。
前記クライアント装置から、前記第１の送信手段で送信したオブジェクトインフォメーションを指定する情報および前記ユーザＩＤを含む詳細オブジェクトインフォメーション要求を受信する第２の受信手段と、
前記詳細オブジェクトインフォメーション要求を受信した場合には、指定されるオブジェクトインフォメーションの詳細情報を、前記詳細オブジェクトインフォメーション要求のユーザＩＤに対応するクライアント装置に対して送信する第２の送信手段と、
を備えたことを特徴とする請求項４記載のサーバシステム。