JP6523362B2 - サーバ装置、端末装置及びプログラム - Google Patents

Description

本発明は、携帯型の端末装置に仮想物体を表示させる技術に関する。

非特許文献１は、端末装置の撮像部、加速度センサ及びジャイロセンサにより場所記述情報を生成し、生成した場所記述情報により、現実には存在しない仮想物体があたかも存在しているかの様に、撮像部が撮像している撮像画像に仮想物体を重畳させてディスプレイに表示する技術を開示している。

まず、非特許文献１に記載の場所記述情報の生成について簡単に説明する。場所記述情報とは、撮像部が撮像している画像から撮像部の３次元空間位置と撮像部による撮像方向とを判定できる情報である。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部により画像を撮像しながら、撮像位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の撮像部の位置を原点とし、加速度センサ及びジャイロセンサにより測定した加速度情報及び角速度情報に基づき、撮像部による撮像位置及び撮像方向を判定し続ける。また、端末装置は、撮像部が撮像している画像内の特徴点を求める。このとき、端末装置は、３次元空間における撮像位置及び撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各撮像位置及び各撮像方向において、撮像部が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部が撮像している画像の特徴点とを比較することで、そのときの撮像部の撮像位置と撮像方向を判定することができる。なお、３次元空間の原点は、場所記述情報を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像部が撮像している画像の特徴点との比較により撮像位置及び撮像方向を判定すると同時に、撮像部が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞

非特許文献１に記載の技術により各ユーザは、それぞれ独自の仮想物体を端末装置のディスプレイに表示することができる。しかしながら、例えば、様々な目的のために、予め作成した仮想物体を示す情報を各ユーザに配布したい場合がある。例えば、ハイキングの参加者の端末装置にハイキングコース内を案内する仮想物体を表示させたり、ゲームの参加者の端末装置にゲームで使用する仮想物体を表示させたり、観光地を訪れた人の端末装置に、当該観光地の観光名所を示す仮想物体を表示させたりしたい場合がある。このため、例えば、サーバ装置に、ハイキングコース内の場所記述情報及び当該ハイキングコースを案内する仮想物体を示す情報、ゲームを行うエリア内の場所記述情報及び当該ゲームで使用する仮想物体を示す情報、観光エリアの場所記述情報及び当該観光エリア内の観光地を示す仮想物体を示す情報を予め格納し、必要に応じて端末装置に配布する構成を考えることができる。この場合、サーバ装置は、保持する複数の場所記述情報及び仮想物体を示す仮想物体情報から端末装置に配布する場所記述情報及び仮想物体情報を選択する必要がある。

本発明は、端末装置に配布する場所記述情報及び仮想物体情報を効率的に選択する仕組みを提供するものである。

本発明の一態様によると、サーバ装置は、複数のエリアのそれぞれについて、エリアの場所記述情報及び仮想物体情報を保持する保持手段であって、エリアの場所記述情報は、当該エリア内で撮像手段により撮像した画像の特徴点から、当該撮像手段の位置及び方向を求めることができる情報であり、エリアの仮想物体情報は、当該エリア内の仮想物体の位置と、当該仮想物体を示す情報と、を含む情報である、前記保持手段と、端末装置から当該端末装置が撮像した撮像画像を示す情報を受信する受信手段と、前記保持手段が保持する場所記述情報のうち、前記撮像画像の特徴点に基づき前記撮像画像を撮像した撮像手段の位置及び方向を判定できる場所記述情報を判定し、判定した場所記述情報と、判定した場所記述情報と同じエリアの仮想物体情報と、を選択する選択手段と、前記選択手段が選択した場所記述情報及び仮想物体情報を前記端末装置に送信する送信手段と、を備えていることを特徴とする。

本発明によると、端末装置に配布する場所記述情報及び仮想物体情報を効率的に選択することができる。

一実施形態によるシステム構成図。 一実施形態によるサーバ装置が保持する情報を示す図。 一実施形態による各エリアの範囲を示す図。 一実施形態による各エリアの範囲を示す図。 一実施形態による判定用画像を示す図。 一実施形態による各エリアの範囲を示す図。 一実施形態によるサーバ装置が保持する情報を示す図。 一実施形態によるサーバ装置の機能ブロック図。 一実施形態による端末装置の構成図。 一実施形態による制御部の機能ブロック図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本発明の各実施形態によるシステムの構成図である。端末装置１０は、例えば、スマートフォンやタブレット等の無線通信機能を有する携帯型の通信装置であり、ネットワーク５０を介してサーバ装置６０と通信することができる。サーバ装置６０には、複数のエリアのそれぞれに対応する場所記述情報と、仮想物体情報を予め保存しておく。ここで、エリアの場所記述情報とは、当該エリア内で端末装置１０が撮像した画像の特徴点から、端末装置１０の位置、より詳しくは、端末装置１０の撮像部の位置と、その撮像方向を求めることができる情報である。エリアの仮想物体情報とは、当該エリア内の仮想物体の位置と、当該仮想物体を示す情報と、を含む情報である。なお、上述した様に、場所記述情報により取得できる位置は、場所記述情報の取得を開始した位置を原点とする座標系で示される。したがって、エリアの仮想物体情報が示す仮想物体の位置は、当該エリアの場所記述情報で使用されている座標系での位置とする。なお、場所記述情報の取得後、当該場所記述情報の取得を開始した位置の緯度、経度及び高度と、その方向に基づき、エリアの場所記述情報により取得できる位置が緯度、経度及び高度となる様に、取得した場所記述情報を変換することもできる。この場合、当該エリアの仮想物体情報が示す仮想物体の位置は緯度、経度及び高度となる。

端末装置１０は、あるエリアの場所記述情報及び仮想物体情報をサーバ装置６０から取得できる。この端末装置１０は、あるエリアの場所記述情報及び仮想物体情報を取得すると、撮像部により撮像した撮像画像に基づきその撮像位置及び撮像方向を判定し、撮像画像に仮想物体に関連付けられた位置が含まれると、当該位置に当該仮想物体が存在している様に、仮想物体を撮像画像に重畳させてディスプレイ表示することができる。なお、撮像画像に仮想物体に関連付けられた位置が含まれるか否かは、場所記述情報に基づき判定した撮像位置及び撮像方向と、撮像部の光学系パラメータにより判定することができる。

まず、以下では、この様なシステムにより提供されるサービスの例を説明する。例えば、観光地を含むエリアの場所記述情報と、当該エリア内にある観光名所の位置に関連付けられた仮想物体を示す仮想物体情報を、サーバ装置６０に用意しておく。この場合、サーバ装置６０から当該エリアの場所記述情報と仮想物体情報とを受信した端末装置１０は、その撮像部により撮像した撮像画像に観光名所が含まれていると、撮像画像内の観光名所に対応する位置に仮想物体を表示する。これにより、端末装置１０のユーザは、観光名所の位置を容易に把握できる。なお、この場合、仮想物体情報には、各仮想物体に関連付けて、仮想物体により示される観光名所の名称等、観光名所を特定できる補助情報を含めておき、この補助情報を仮想物体とともに表示することで、ユーザは訪れたい観光名所を容易に把握することができる。

また、他の例として、ハイキングコースを含むエリアの場所記述情報と、当該エリア内のハイキングコースの分岐点等の位置に関連付けられた仮想物体を示す仮想物体情報を、サーバ装置６０に用意しておく。この場合、サーバ装置６０から当該エリアの場所記述情報と仮想物体情報とを受信した端末装置１０は、その撮像部により撮像した撮像画像に分岐点が含まれていると、撮像画像内の分岐点に対応する位置に仮想物体を表示する。例えば、分岐点に示す仮想物体を正しい進行方向を示す矢印とすることで、ユーザは道に迷うことなくハイキングを楽しむことができる。また、分岐点が、第１ハイキングコースと第２ハイキングコースの分岐点である場合には、それぞれのコースの簡単な説明、例えば、所要時間等を仮想物体とともに表示することで、ユーザはそれぞれの目的に合ったコースを選択することができる。

さらに、他の例として、当該システムはゲームに使用できる。この場合、ゲームを行うエリアの場所記述情報と、当該エリア内の様々な位置に関連付けられた仮想物体を示す仮想物体情報を、サーバ装置６０に用意しておく。そして、端末装置１０のユーザは、例えば、当該エリアにおいてディスプレイに撮像画像を表示させながら仮想物体の探索を行う。

なお、仮想物体としてどのようなものを使用するかは任意である。例えば、仮想物体として、矢印、球状、方形状等の任意の形状の画像を使用することができる。また、仮想物体として、動物体や、所謂、キャラクタ画像を使用することができる。また、仮想物体を示す情報は、２次元の画像データとすることも、例えば、任意形状の３Ｄモデルと、当該仮想物体の動作を示すモーションデータとを含むものとすることができる。３Ｄモデルを使用する場合、端末装置１０は、場所記述情報に基づき判定した撮像位置及び撮像方向において、仮想物体情報が示す位置に配置された仮想物体がどの様に見えるかを求め、ディスプレイに仮想物体を表示する。

図２は、サーバ装置６０に保存されている情報の説明図である。サーバ装置は、各エリアそれぞれについて、場所記述情報と仮想物体情報とを保持する。例えば、エリアＡの場所記述情報は、場所記述情報Ａであることが図２には示されている。また、エリアＡの仮想物体情報では、座標Ａ１にデータＡ１で示される仮想物体を表示することが図２には示されている。さらに、サーバ装置６０は、上述した様に、仮想物体とともに表示する補助情報を保持していても良い。以下では、サーバ装置６０がどの様に、端末装置１０に配布するエリアの場所記述情報と仮想物体情報を選択するかについて説明する。

＜第一実施形態＞
まず、本実施形態において、サーバ装置６０は、各エリアの範囲を示す情報を保持している。エリアの範囲を示す情報は、当該エリアの場所記述情報で撮像位置及び撮像方向を特定できる実空間の範囲を示す情報であり、例えば、エリアの外周を示す一連の緯度及び経度の座標とすることができる。図３は、本実施形態において、サーバ装置６０が場所記述情報及び仮想物体情報を保持しているエリアＡ〜Ｄの一例を示している。図１において、各エリアＡ〜Ｄそれぞれの距離は、端末装置１０がＧＰＳ等の測位システムで取得できる位置の誤差が問題とならない程度に離れているものとする。

この場合、端末装置１０は、測位システムで取得した端末装置１０の位置を示す位置情報を、ネットワーク５０を介してサーバ装置６０に送信する。サーバ装置６０は、受信した位置情報を含むエリアの場所記述情報及び仮想物体情報を端末装置１０に送信する。なお、端末装置１０は、エリアの範囲を認識できず、かつ、測位システムで取得できる位置には誤差が含まれるため、受信した位置情報との距離が所定値以内であるエリアの場所記述情報及び仮想物体情報を端末装置１０に送信する構成とすることもできる。

＜第二実施形態＞
図４は、本実施形態において、サーバ装置６０が場所記述情報及び仮想物体情報を保持しているエリアＡ〜Ｄの一例を示している。図４において、エリアＤは、第一実施形態と同様に、他のエリアＡ〜Ｃとは、測位システムで取得できる位置情報の誤差が問題とならない程度に離れている。一方、エリアＡ〜Ｃは、測位システムで取得できる位置情報の誤差が問題となる程度に近接している。例えば、端末装置１０が実際には位置２０に、つまり、エリアＡ内にいるものとする。測位システムで取得できる位置情報の誤差が０であれば、サーバ装置６０は、端末装置１０にエリアＡの場所記述情報及び仮想物体情報を送信することができる。しかしながら、測位システムの誤差により、端末装置１０の取得位置には誤差が含まれる。例えば、端末装置１０が取得した位置情報が示す位置が位置２０であっても、測位システムの誤差を考慮すると、端末装置１０が領域２１内にいることのみが判定できるものとする。この場合、サーバ装置６０は、エリアＡ、Ｂ、Ｃのいずれのエリアの場所記述情報及び仮想物体情報を端末装置１０に送信すべきかを判定できない。この様に、端末装置１０から受信する位置情報では、サーバ装置６０は、端末装置１０にどのエリアの場所記述情報及び仮想物体情報を送信すべきかを判定できない場合がある。

このため、本実施形態では判定用画像を使用する。図５は、判定用画像の例を示している。判定用画像は、判定対象物２１を含んでいる。判定対象物２１とは、タワー、城等の特徴のある建造物や、特徴のある形状の山等の自然物であり得る。つまり、判定対象物２１は、公知の画像認識技術により特定できるものであれば良い。サーバ装置６０には、１つ以上の判定対象物２１それぞれについて、判定対象物２１に関連付けられたエリアと、当該判定対象物２１を様々な方向から撮像した判定用画像を格納しておく。なお、判定対象物２１に関連付けられたエリアとは、判定対象物２１が存在する位置をその領域内に含むエリアである。

本実施形態では、ユーザは、エリアの場所記述情報及び仮想物体情報を取得したい場合、例えば、ユーザが進みたい方向に向けて端末装置１０の撮像部により画像を撮像し、撮像した撮像画像をサーバ装置６０に送信する。例えば、ユーザが位置２０にいて、図４の上側に進みたいものとする。また、位置２２には、判定対象物が存在するものとする。この場合、端末装置１０がサーバ装置６０に送信する撮像画像には、位置２２の判定対象物が含まれる。

サーバ装置６０は、自装置に予め格納された判定用画像と、端末装置１０から受信した撮像画像とを比較することで、撮像画像に判定対象物が含まれているかと、含まれている場合には、サーバ装置６０が保持する判定用画像の判定対象物のうちのどの判定対象物であるかを特定する。そして、サーバ装置６０は、撮像画像に含まれていると特定した判定対象物に関連付けられたエリアの場所記述情報及び仮想物体情報を端末装置１０に送信する。なお、サーバ装置６０は、端末装置１０から位置情報を合わせて受信することもできる。例えば、端末装置１０が位置２０にいる場合、位置情報の誤差を考慮しても、端末装置１０がエリアＤにいることはない。したがって、サーバ装置６０は、位置２３にある、エリアＤに関連付けられた判定対象物を含む判定用画像を撮像画像と比較する必要はない。つまり、サーバ装置６０は、エリアＡ〜Ｃに関連付けられた判定対象物を含む判定用画像と撮像画像との比較を行えばよく、撮像画像に含まれる判定対象物の特定に要する時間を短縮することができる。また、端末装置１０から先に位置情報を取得し、受信した位置情報からエリアを１つに特定できない場合、ユーザに通知して撮像画像をサーバ装置６０に送信させる構成であっても良い。

＜第三実施形態＞
本実施形態においても、サーバ装置６０が場所記述情報及び仮想物体情報を保持しているエリアＡ〜Ｄは図４の通りとする。本実施形態においても、端末装置１０は、サーバ装置６０に撮像画像を送信する。上述した様に、エリアの場所記述情報を使用すると、当該エリアの中で撮影した画像の特徴点に基づき、当該エリア内の撮像位置及び撮像方向を判定できる。したがって、サーバ装置６０は、端末装置１０から受信した撮像画像の特徴点と、エリアＡ〜Ｄそれぞれの場所記述情報とに基づき、撮像位置及び撮像方向を判定できるかを検査する。例えば、受信した撮像画像からエリアＢの場所記述情報では撮像位置及び撮像方向を判定できるが、エリアＡ、Ｃ及びＤの場所記述情報では、撮像位置及び撮像方向を判定できない場合、サーバ装置６０は、端末装置１０にエリアＢの場所記述情報及び仮想物体情報を送信する。なお、第一実施形態と同様に、撮像画像と共に位置情報を送信することができる。第二実施形態と同様、端末装置１０から受信する位置情報が位置２０を示している場合、測位システムの誤差から、端末装置１０が、エリアＡ〜Ｃのいずれにいるかを判定することはできない。しかしながら、エリアＤにいないことは判定できる。したがって、サーバ装置６０は、エリアＡ〜Ｃの場所記述情報により、撮像画像の撮像位置及び撮像方向を判定できるかのみを判定すればよく、エリアＤの場所記述情報を考慮する必要がなくなる。つまり、エリアの判定に要する時間を短縮することができる。なお、本実施形態においても、端末装置１０から先に位置情報を取得し、受信した位置情報からエリアを１つに特定できない場合、ユーザに通知して撮像画像をサーバ装置６０に送信させる構成であっても良い。また、端末装置１０は、撮像部が撮像した画像そのものを撮像画像としてサーバ装置６０の送るのではなく、端末装置１０において特徴点を判定し、当該特徴点の撮像画像内の位置（スクリーン座標）と、特徴点の値を撮像画像としてサーバ装置６０に送信する構成であっても良い。

＜第四実施形態＞
図６は、本実施形態において、サーバ装置６０が場所記述情報及び仮想物体情報を保持しているエリアＡ〜Ｄの一例を示している。本実施形態では、エリアＣ及びエリアＤの様に、２つ以上のエリアに重複領域があることや、エリアＡ及びエリアＢの様に、２つ以上のエリアが完全に一致する領域であることを許容する。図７は、本実施形態においてサーバ装置が保持する情報を示している。本実施形態では、図２に示す情報に加えて、各エリアに関連付けられた属性情報をサーバ装置６０は保持する。例えば、図７では、エリアＡ及びＣには、属性情報"ゲーム"が対応付けられており、エリアＢ及びＤには、属性情報"ハイキング"が対応付けられている。なお、エリアＡとエリアＢの領域は完全に一致しているため、その場所記述情報Ａ及びＢは同一であり共用できる。一方、仮想物体情報は、属性毎に異なる情報となる。したがって、属性情報は、エリアではなく仮想物体情報に関連付けることもできる。

図６に示す様に、２つのエリアの領域が完全に一致している場合や、２つのエリアの領域に重複範囲がある場合、第一実施形態から第三実施形態の方法では、これら領域が一致或いは重複しているエリアのいずれのエリアの場所記述情報及び仮想物体情報を端末装置１０に送信すべきかをサーバ装置６０は特定できない。この場合、候補となる総ての場所記述情報及び仮想物体情報を端末装置１０に送信する構成とすることもできる。例えば、サーバ装置６０は、ユーザ装置１０から受信した撮像画像（第二実施形態や第三実施形態の場合）では、エリアＣとエリアＤのいずれの場所記述情報及び仮想物体情報を端末装置１０に送信すべきかを判定できない場合、エリアＣとエリアＤの両方の場所記述情報及び仮想物体情報を端末装置１０に送信することもできる。しかしながら、本実施形態では、このような場合でも、エリアＣとエリアＤのいずれの場所記述情報及び仮想物体情報を端末装置１０に送信すべきかをサーバ装置６０に判定させるために属性情報を使用する。

＜第１の例＞
本例において、端末装置１０は、位置情報又は撮像画像を送信する際に、要求するエリアの属性情報を送信する。ここで、位置情報を送信するのは第一実施形態に対応し、撮像画像を送信するのは第二実施形態及び第三実施形態に対応する。なお、端末装置１０は、エリアの属性情報としてどのようなものが用意されているかを予め知っているもの、或いは、事前にサーバ装置６０から取得しているものとする。例えば、位置情報又は撮像画像からエリアＡ（よって、エリアＢ）が特定された場合、サーバ装置６０は、端末装置１０から受信した属性情報がゲームを示していると、エリアＡの場所記述情報及び仮想物体情報を送信し、属性情報がハイキングを示していると、エリアＢの場所記述情報及び仮想物体情報を送信する。

＜第２の例＞
本例において、端末装置１０は、第一実施形態と同様に位置情報、或いは、第二実施形態及び第三実施形態と同様に撮像画像をサーバ装置６０にまず送信する。サーバ装置６０は、受信した位置情報又は撮像画像に基づき判定されるエリアが複数ある場合、当該複数のエリアそれぞれの属性情報を端末装置１０に送信する。端末装置１０は、エリアの場所記述情報及び仮想物体情報を受信する前に、サーバ装置６０から属性情報を受信すると、受信した属性情報をディスプレイに表示してユーザに選択させる。例えば、サーバ装置６０は、端末装置１０からの位置情報又は撮像画像からエリアＣとエリアＤの両方が特定された場合、サーバ装置６０は、属性情報としてゲーム及びハイキングを端末装置１０に送信する。端末装置１０は、ゲーム及びハイキングをディスプレイに表示してユーザに選択させる。ユーザによる選択結果は、サーバ装置６０に送信され、サーバ装置６０は、選択された属性情報に対応するエリアの場所記述情報及び仮想物体情報を送信する。

＜補足＞
なお、図７に示す属性情報は、ゲーム及びハイキングといったアプリケーションとしてのカテゴリを示すものであったが、属性情報は、アプリケーションのカテゴリを示すものに限定されない。例えば、３つのエリアが互いに重複した領域を有する、或いは、完全に一致する領域であり、これら３つのエリアが総てハイキングのためのものであるとする。この場合、サーバ装置６０には、エリアＡ〜Ｃの属性情報としてハイキングのコースの概略、例えば、所要時間、難易度、見どころ等の情報を設定しておく。また、コースに名称が付与されている場合には、コース名を属性情報として使用できる。そして、サーバ装置６０は、これら属性情報を端末装置１０に送信してユーザに選択させることができる。

＜第五実施形態＞
図４を用いて説明した様に、端末装置１０が取得した位置情報が示す位置が位置２０であっても、測位システムの誤差を考慮すると、サーバ装置６０は、エリアＡ、Ｂ、Ｃのいずれのエリアの場所記述情報及び仮想物体情報を端末装置１０に送信すべきかを判定できない。この場合、例えば、サーバ装置６０は、端末装置１０にエリアＡ、Ｂ、Ｃの総ての場所記述情報及び仮想物体情報を送信する構成とすることができる。このように、端末装置１０は、複数のエリアの場所記述情報及び仮想物体情報をサーバ装置６０から受信し保存した場合、保存されている複数のエリアから１つのエリアを選択し、選択したエリアの場所記述情報及び仮想物体情報を使用してディスプレイへの表示処理等を行わなければならない。

このため、端末装置１０は、撮像画像の特徴点に基づき撮像位置及び撮像方向を判定できる場所記述情報を判定する。例えば、エリアＢの場所記述情報により撮像位置及び撮像方向を判定できる場合、エリアＢの場所記述情報及び仮想物体情報を使用すると判定する。そして、エリアＢの場所記述情報と撮像画像に基づき、撮像位置及び撮像方向を判定し、エリアＢの仮想物体情報が示す仮想物体の配置位置が撮像画像に含まれていると、撮像画像に仮想物体を重畳してディスプレイに表示する。また、エリア又は仮想物体情報に関連付けられた属性情報を合わせて受信している場合、端末装置１０は、属性に基づき使用する仮想物体情報を選択することができる。

＜その他の形態＞
また、上記各実施形態において、サーバ装置６０に、各エリアの実空間における範囲を示す範囲情報を設定しておき、サーバ装置６０は、エリアの場所記述情報及び仮想物体情報に加えて当該エリアの範囲情報を端末装置１０に送信する構成とすることもできる。端末装置１０は、エリアの範囲情報に基づき、例えば、ディスプレイに表示した地図上に、場所記述情報及び仮想物体情報が利用できるエリアの範囲を合わせて表示することができる。これにより、端末装置１０のユーザは、場所記述情報及び仮想物体情報が利用できるエリアを容易に把握できる。さらに、端末装置１０は、測位システムから取得した位置情報及び地磁気センサで取得した方位に基づき、撮像部の撮像位置及び撮像方向を判定することができる。したがって、端末装置１０は、範囲情報に基づき、撮像部が撮像している撮像画像に場所記述情報及び仮想物体情報を利用できるエリアが含まれているか否かを判定できる。よって、撮像画像に場所記述情報及び仮想物体情報を利用できるエリアが含まれている場合、端末装置１０は、撮像画像内の当該エリアに対応する部分に透過色を重畳してディスプレイに表示させることができる。これにより、端末装置１０のユーザは、場所記述情報及び仮想物体情報が利用できるエリアを容易に把握できる。

さらに、範囲情報に加えて、或いは、範囲情報に代えて、ハイキングコース等、エリア内において所定の経路が存在する場合、実空間での経路を示す経路情報を予めサーバ装置６０に設定しておき、サーバ装置６０は、エリアの場所記述情報及び仮想物体情報を端末装置１０に送信する際、当該エリアの経路情報も端末装置１０に送信する構成とすることもできる。端末装置１０は、エリアの経路情報に基づき、例えば、ディスプレイに表示した地図上に、場所記述情報及び仮想物体情報が利用できるエリアでの経路を合わせて表示することができる。これにより、端末装置１０のユーザは、場所記述情報及び仮想物体情報が利用できるエリアでの経路を容易に把握することができる。

＜サーバ装置の構成＞
図８は、上記各実施形態におけるサーバ装置６０の構成図である。サーバ装置６０の保持部６０１は、図２又は図７に示す情報や、各エリアの範囲を示す情報等を保持している。また、第二実施形態の場合には、判定用画像と、判定用画像に含まれる判定対象物とエリアとの関係を示す情報を保持している。通信部６０３は、ネットワーク５０を介して端末装置１０と通信する。選択部６０２は、上記各実施形態で説明したように、エリアを選択して選択したエリアの場所記述情報及び仮想物体情報を通信部６０３を介して端末装置１０に送信する。

＜端末装置の構成＞
図９は、本実施形態による端末装置１０の概略的な構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

図１０は、制御部１００の機能ブロック図である。情報受信部１００３は、ＧＰＳ処理部１０４が取得した位置情報や、撮像部１０３が取得した撮像画像や、ユーザが選択した属性情報を、通信部１０７を介してサーバ装置６０に送信する。なお、位置情報、撮像画像、属性情報の総てを送る必要は無く、位置情報、撮像画像、属性情報のいずれをどのタイミングで送信するかは上述した各実施形態の通りである。情報受信部１００３は、サーバ装置６０に送信した情報の応答として場所記述情報及び仮想物体情報を取得する。

表示処理部１００２は、情報受信部１００３が取得した場所記述情報と、撮像部１０３が撮像した撮像画像の特徴点に基づき、３次元空間における端末装置１０の位置及び方向を判定することができる。なお、ここでは、撮像部１０３の撮像方向を、端末装置の方向とする。また、場所記述情報生成部１００１は、情報受信部１００３が取得した場所記述情報を撮像画像に基づき更新することができる。以下では、情報受信部１００３が受信した場所記述情報と、当該場所記述情報の場所記述情報生成部１００１による更新後の場所記述情報を、単に、場所記述情報と表記する。

表示処理部１００２は、場所記述情報と撮像画像とに基づき、端末装置１０の位置及び方向を判定し、撮像画像に、受信した仮想物体情報が示す座標が含まれていると、当該座標に対応するディスプレイ１０５の位置に、当該座標に対応する仮想物体を撮像画像に重畳させてディスプレイ１０５に表示する。その際、深さセンサ１０６が取得する深さ情報を使用することで、仮想物体が撮像画像内のオブジェクトによって撮像位置からは隠れた位置になっているか否かを判定することができる。

なお、本発明によるサーバ装置６０及び端末装置１０は、それぞれ、コンピュータを上記サーバ装置６０及び端末装置１０として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

６０１：保持部、６０２：選択部、６０３：通信部

Claims (6)

1. 複数のエリアのそれぞれについて、エリアの場所記述情報及び仮想物体情報を保持する保持手段であって、エリアの場所記述情報は、当該エリア内で撮像手段により撮像した画像の特徴点から、当該撮像手段の位置及び方向を求めることができる情報であり、エリアの仮想物体情報は、当該エリア内の仮想物体の位置と、当該仮想物体を示す情報と、を含む情報である、前記保持手段と、
   端末装置から当該端末装置が撮像した撮像画像を示す情報を受信する受信手段と、
   前記保持手段が保持する場所記述情報のうち、前記撮像画像の特徴点に基づき前記撮像画像を撮像した撮像手段の位置及び方向を判定できる場所記述情報を判定し、判定した場所記述情報と、判定した場所記述情報と同じエリアの仮想物体情報と、を選択する選択手段と、
   前記選択手段が選択した場所記述情報及び仮想物体情報を前記端末装置に送信する送信手段と、
   を備えていることを特徴とするサーバ装置。
2. 前記受信手段は、前記端末装置から当該端末装置の位置情報を受信し、
   前記選択手段は、前記保持手段が保持する場所記述情報のうち、前記位置情報により示される位置を含むエリアの場所記述情報と、当該位置との距離が閾値以内であるエリアの場所記述情報とのそれぞれについて、前記撮像画像の特徴点に基づき前記撮像画像を撮像した前記撮像手段の位置及び方向を判定できるかを判定することを特徴とする請求項１に記載のサーバ装置。
3. 前記複数のエリアのそれぞれは属性情報に関連付けられており、
   前記受信手段は、前記端末装置から属性情報を受信し、
   前記選択手段が選択する場所記述情報及び仮想物体情報は、前記端末装置から受信した属性情報に関連付けられているエリアの場所記述情報及び仮想物体情報であることを特徴とする請求項１又は２に記載のサーバ装置。
4. 前記複数のエリアのそれぞれは属性情報に関連付けられており、
   前記送信手段は、前記選択手段が選択した場所記述情報及び仮想物体情報のエリアが複数であると、前記選択手段が選択した場所記述情報及び仮想物体情報それぞれのエリアに関連付けられた属性情報を前記端末装置に送信し、
   前記送信手段がエリアに関連付けられた属性情報を前記端末装置に送信したことの応答として、前記受信手段が前記端末装置から属性情報を受信すると、前記選択手段は、前記選択手段が選択した場所記述情報及び仮想物体情報のエリアのうち、前記受信手段が受信した属性情報に関連付けられたエリアの場所記述情報及び仮想物体情報をさらに選択し、
   前記送信手段は、前記選択手段がさらに選択した場所記述情報及び仮想物体情報を前記端末装置に送信することを特徴とする請求項１又は２に記載のサーバ装置。
5. ディスプレイと、
   撮像手段と、
   複数のエリアそれぞれについて、エリアの場所記述情報及び仮想物体情報を保持する保持手段であって、エリアの場所記述情報は、当該エリア内で前記撮像手段により撮像した画像の特徴点から、前記撮像手段の位置及び方向を求めることができる情報であり、エリアの仮想物体情報は、当該エリア内の仮想物体の位置と、当該仮想物体を示す情報と、を含む情報である、前記保持手段と、
   前記保持手段が保持する各エリアの場所記述情報のうち、前記撮像手段が撮像している撮像画像の特徴点に基づき前記撮像手段の位置及び方向を判定できる場所記述情報を判定し、前記撮像画像の特徴点と、前記判定した場所記述情報とに基づき前記撮像手段の位置及び方向を判定する判定手段と、
   前記判定した場所記述情報と同じエリアの仮想物体情報が示す仮想物体の位置が前記撮像画像に含まれている場合、前記撮像画像に当該仮想物体を重畳させて前記ディスプレイに表示する処理を行う処理手段と、
   を備えていることを特徴とする端末装置。
6. 請求項１から４のいずれか１項に記載のサーバ装置としてコンピュータを機能させることを特徴とするプログラム。

Images