JP5511084B2 - 通信装置、通信システム、通信方法、及び通信プログラム - Google Patents

Description

本発明は、通信装置、通信システム、通信方法、及び通信プログラムに関する。特に、現実環境の対象物（物理オブジェクト）に関する情報（アノテーション）をユーザに提供する拡張現実感（ＡＲ：Augmented Reality）システムで用いられる技術に関する。

近年、現実環境にコンピュータを用いて情報を付加提示する技術、及び情報を付加提示された環境そのものを示す言葉として、「拡張現実感（拡張現実ともいう）」が知られつつある。拡張現実感技術（ＡＲ技術）では、現実環境における特定の物体に関する説明や関連情報を含む電子情報（アノテーション）が、説明対象となる実物体（物理オブジェクト）に対応付けて提示される。

拡張現実感に関する技術として、以下のような技術が知られている。例えば、撮影映像の部分映像から抽出された視覚的特徴情報と、記憶装置により記憶されている物理オブジェクトの視覚的特徴情報と、の類似度を算出し、算出された類似度により、物理オブジェクトが撮影映像に存在するか否かを判定する。そして、物理オブジェクトが撮影映像に存在しない場合には、アノテーションを表示しないようにする装置が知られている（例えば、特許文献１参照）

また、実世界映像に映し出される物理オブジェクトと実世界映像の視点との距離し、取得された距離に応じて、アノテーションの表示を変更する装置が知られている（例えば、特許文献２参照）。

また、従来、インターネット等の通信網を介したデジタルコンテンツの販売及び配信が盛んに行われている。このようなデジタルコンテンツの配信技術の一例として、属性情報、位置情報、時間情報などを利用して潜在的な消費者を識別し、その消費者が要求する前にコンテンツ・アイテムを配信するシステムが知られている（特許文献３参照）。このシステムにより、消費者はコンテンツ・アイテムを即時に利用することができる。

特許第４４８８２３３号公報 国際公開第２０１０／０７３６１６号パンフレット 特表２００９−５２７８０７号公報

拡張現実感システムが今後一層普及してくると、携帯電話等の通信装置を利用したＥメールシステムにおいても拡張現実感システムを取り入れたサービスが行われると予想される。例えば、携帯電話のカメラで撮影された画像に含まれる物理オブジェクトに関して、Ｅメールを介して何らかのコンテンツを提供することが予想される。

特許文献３によれば、消費者が要求する前に、消費者の嗜好に合せたコンテンツを配信することは可能である。この技術を特許文献１及び２に示された拡張現実感システムに適用すれば、コンテンツとしてのアノテーションを提供する側（送信側）は、特定の物理オブジェクトに関するアノテーションを提供することが可能になり、アノテーションの提供を受けた側（受信側）は、そのアノテーションを表示して確認することが可能になると考えられる。

しかしながら、受信側では、様々なシチュエーションを考慮してアノテーションを表示するようにしなければ、そのアノテーションが、視覚的に邪魔になる可能性があったり、実世界とはかけ離れた違和感のあるものとなってしまったりする可能性がある。

本発明は、上記事情に鑑みてなされたものであって、様々なシチュエーションを考慮したアノテーションの提供又は表示を行うことが可能な通信装置、通信システム、通信方法、及び通信プログラムを提供することを目的とする。

本発明の通信装置は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、前記アノテーションを表示するための条件を示す表示条件情報、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、及び、誘導情報を提示するための条件を示す誘導情報提示条件情報、を生成する情報生成部と、前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、前記表示対象情報、及び、前記誘導情報提示条件情報、を送信する送信部と、を備え、前記誘導情報は、前記アノテーションを表示させるために、前記アノテーションの確認者を、前記物理オブジェクトが撮影される画像に含まれるように誘導する情報である。

この構成により、表示条件や表示対象の情報を送信することで、様々なシチュエーションを考慮したアノテーションの提供を行うことが可能であるとともに、所望のタイミングで、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。

また、本発明の通信装置は、前記情報生成部が、前記誘導情報を提示する方法を示す誘導情報提示方法情報を生成し、前記送信部が、前記情報生成部により生成された前記誘導情報提示方法情報を送信する。

この構成により、所望の方法で、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。

また、本発明の通信装置は、前記物理オブジェクトの画像に対応する参照画像を記憶する参照画像記憶部を備え、前記アノテーション生成部は、前記参照画像記憶部に記憶された参照画像を用いて、前記アノテーション生成情報を生成する。

この構成により、参照画像を用いて視覚的に容易にアノテーション生成情報を生成することができる。

また、本発明の通信装置は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信する受信部と、状態を検出する状態検出部と、画像を取得する画像取得部と、前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かを判定する表示対象判定部と、前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、を備える。

この構成により、表示条件や表示対象の情報を取得することで、様々なシチュエーションを考慮したアノテーションの表示を行うことが可能である。

また、本発明の通信装置は、誘導情報提示条件判定部と、誘導情報提示部と、を備え、前記受信部が、誘導情報を提示するための条件を示す誘導情報提示条件情報を受信し、前記誘導情報提示条件判定部が、前記状態検出部により検出された状態の情報と前記受信部により受信された誘導情報提示条件情報とが略一致するか否かを判定し、前記誘導情報提示部が、前記誘導情報提示条件判定部により略一致すると判定された場合、前記誘導情報を提示し、前記誘導情報が、前記アノテーションを表示させるために、前記アノテーションの確認者を、前記物理オブジェクトが撮影される画像に含まれるように誘導する情報である。

この構成により、所望のタイミングで、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。

また、本発明の通信装置は、前記受信部が、前記誘導情報を提示する方法を示す誘導情報提示方法情報を受信し、前記誘導情報提示部が、前記受信部により受信された前記誘導情報提示方法情報に従って、前記誘導情報を提示する。

この構成により、所望の方法で、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。

また、本発明の通信システムは、第１の通信装置と第２の通信装置との間で通信を行う通信システムであって、前記第１の通信装置は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成する情報生成部と、前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、及び前記表示対象情報、を送信する送信部と、を備え、前記第２の通信装置は、前記アノテーション生成情報、前記表示条件情報、及び、前記表示対象情報、を受信する受信部と、状態を検出する状態検出部と、画像を取得する画像取得部と、前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かを判定する表示対象判定部と、前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、を備える。

この構成により、表示条件や表示対象の情報を用いて、様々なシチュエーションを考慮したアノテーションの提供及び表示を行うことが可能である。

また、本発明の第１の通信方法は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するステップと、前記アノテーションを表示するための条件を示す表示条件情報、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、及び、誘導情報を提示するための条件を示す誘導情報提示条件情報を、生成するステップと、前記アノテーション生成情報、前記表示条件情報、前記表示対象情報、及び、前記誘導情報提示条件情報を送信するステップと、を有し、前記誘導情報は、前記アノテーションを表示させるために、前記アノテーションの確認者を、前記物理オブジェクトが撮影される画像に含まれるように誘導する情報である。

この方法により、表示条件や表示対象の情報を送信することで、様々なシチュエーションを考慮したアノテーションの提供を行うことが可能であるとともに、所望のタイミングで、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。

また、本発明の第２の通信方法は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信するステップと、状態を検出するステップと、画像を取得するステップと、前記取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するステップと、前記検出された状態の情報と前記受信された表示条件情報とが略一致するか否かを判定するステップと、前記認識された物理オブジェクト識別情報と前記受信された表示対象情報とが略一致するか否かを判定するステップと、前記状態の情報と前記表示条件情報とが略一致すると判定され、かつ、前記物理オブジェクト識別情報と前記表示対象情報とが略一致すると判定された場合、前記アノテーション生成情報に基づいてアノテーションを再現するステップと、を有する。

この方法により、表示条件や表示対象の情報を取得することで、様々なシチュエーションを考慮したアノテーションの表示を行うことが可能である。

また、本発明の通信プログラムは、上記第１の通信方法の各ステップをコンピュータに実行させるためのプログラムである。

このプログラムにより、表示条件や表示対象の情報を送信することで、様々なシチュエーションを考慮したアノテーションの提供を行うことが可能であるとともに、所望のタイミングで、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。

また、本発明の通信プログラムは、上記第２の通信方法の各ステップをコンピュータに実行させるためのプログラムである。

このプログラムにより、表示条件や表示対象の情報を取得することで、様々なシチュエーションを考慮したアノテーションの表示を行うことが可能である。

本発明によれば、様々なシチュエーションを考慮したコンテンツの提供又は表示を行うことが可能である。

本発明の実施形態における本実施形態における拡張現実感システムの概要を説明するためのイメージ図 本発明の実施形態の拡張現実感システムにおける送信装置の構成例を示すブロック図 本発明の実施形態の拡張現実感システムにおける受信装置の構成例を示すブロック図 本発明の実施形態における送信装置の動作例を説明するための図 本発明の実施形態における送信装置の動作例を説明するための図（図４の続き） 本発明の実施形態における受信装置の動作例を示すフローチャート

以下、本発明の実施形態について、図面を参照して詳細に説明する。

本実施形態での物理オブジェクトとしては、地物、移動体、場所等を想定する。地物とは、建物や記念碑など特定の位置に固定された建造物等である。移動体とは、人や車などの移動可能な物体である。場所とは、緯度経度により一意に特定され、所定の地点、公園、街路など、特定の名称により一意にされる地区である。また、アノテーション（コンテンツ）としては、文字情報等のテキスト情報、２Ｄ／３Ｄグラフィックなどの画像情報、等を想定する。画像には、静止画だけでなく、動画も含まれる。

図１は、本実施形態における拡張現実感システムの概要を説明するためのイメージ図である。本実施形態の拡張現実感システムでは、１又は複数の送信装置と１又は複数の受信装置との間で、ＡＲ技術を採用したメール（ＡＲメール）の通信を行う。図１では、ユーザＡが所有する送信装置Ａが、所定の物理オブジェクトに対応するアノテーションに関する情報を生成する。そして、ユーザＢが所有する受信装置Ｂが、受信装置Ｂのカメラ機能により撮影された画像内の所定の位置に、受信されたアノテーションを表示することを想定している。

まず、送信装置Ａが、ＡＲメールに関する情報を生成して、その情報を送信する。ＡＲメールを生成する際には、ＡＲメールの送信先、ＡＲメールの内容、表示対象、表示条件、デコレーションの内容、お知らせ方法、等の情報を生成する。

ここで、送信先の情報とは、ユーザＢが所有する受信装置Ｂを識別するための識別情報（Ｅメールアドレス等）である。ＡＲメールの内容の情報とは、受信装置Ｂによりアノテーションを生成するための情報や、一般的なＥメールの本文に相当する内容の情報である。表示対象の情報とは、ＡＲメールに含まれるアノテーションに対応する物理オブジェクトの全体又は一部を識別するための物理オブジェクト識別情報である。表示条件の情報とは、アノテーションを表示する条件を示すタイミング情報である。デコレーションの内容の情報とは、受信装置Ｂにより表示されるアノテーションを装飾するための装飾情報である。お知らせ方法の情報とは、受信装置Ｂによりアノテーションを確認する受信者を誘導するための誘導情報を提示する方法を示す情報である。

受信装置Ｂは、送信装置Ａからの各情報を受信すると、それらの情報に基づいて、送信装置Ａにより生成されたＡＲメールの内容に対応する物理オブジェクト（全体又は一部）を探索する。そして、受信装置Ｂは、その物理オブジェクトを特定すると、その物理オブジェクトが受信装置Ｂにより撮影される画像に含まれるように、ユーザＢを誘導する。例えば、「後ろを振り向いてください」のようなメッセージを受信装置Ｂの表示画面上に表示させたり、音声メッセージとして音声出力したり、バイブレータにより提示したりすることで、ユーザＢを誘導する。そして、受信装置Ｂは、その物理オブジェクトに対して、ＡＲメールに含まれるアノテーションを例えばオーバーレイ表示（重畳表示）する。

次に、本発明の拡張現実感システムの構成について説明する。

本実施形態における拡張現実感システムでは、複数の通信装置がインターネット網や携帯電話網等の通信網を介して接続されている。通信装置には、ＡＲメールを送信する送信装置、ＡＲメールを受信する受信装置が含まれる。通信装置としては、例えば、携帯電話、携帯情報端末、ノートパソコン等のモバイル機器、デジタルカメラ、デジタルビデオカメラ、車載用カメラ等の撮影装置、が考えられる。

まず、送信装置の構成について説明する。
図２は、本発明の実施形態における送信装置１００の構成例を示すブロック図である。

送信装置１００は、記憶部１０１、表示条件設定部１０２、表示対象設定部１０３、参照画像選択部１０４、誘導情報提示方法設定部１０５、誘導情報提示条件設定部１０６、コンテンツ生成部１０７、コンテンツ表示情報設定部１０８、通信部１０９、操作部１１０、を有して構成される。

記憶部１０１は、各種情報を記憶する。例えば、アノテーションとしてのコンテンツの表示位置を指定するための参照画像（テンプレート画像）を記憶する。参照画像は、例えば実世界の物理オブジェクトを模擬的に表した画像であり、実際の物理オブジェクトに対応する画像である。参照画像としては、物理オブジェクトとしての建物、場所、移動体、に関する画像等がある。また、記憶部１０１は、送信装置１００が備える不図示のカメラにより撮影された画像を参照画像として記憶しておいてもよいし、所定のサーバから通信部１０９によりダウンロード等することで参照画像を取得し、記憶しておいてもよい。

また、記憶部１０１は、例えば、コンテンツを装飾するための装飾情報としてのデコレーションアイテムの情報を記憶する。デコレーションアイテムとしては、「☆」、「＃」、「＄」、等の画像、イルミネーション、クリスマス、誕生日等に関する画像、効果音やＢＧＭとしての音情報、等を記憶する。

表示条件設定部１０２は、操作部１１０を介して、受信装置２００によりコンテンツを表示するための条件を設定する。設定された条件の情報は、表示条件情報としてコンテンツ表示情報設定部１０８に送られる。また、表示条件情報を設定しないこともできる。

ここで、表示条件情報には、表示時間情報、受信者姿勢情報、移動速度情報、等が含まれる。表示時間情報とは、コンテンツの表示を行うべき日時等を示す時間情報であり、○月○日○○時、等の情報である。受信者姿勢情報とは、コンテンツの表示を行うべき受信者の姿勢を示す情報であり、見ている、下を見ている、前を見ている、座っている、寝ている、等の情報である。移動速度情報とは、コンテンツの表示を行うべき受信装置２００の移動速度を示す情報であり、○○ｋｍ／ｈ、停止中、特定の乗り物（電車、車等）に乗っている、等の情報である。

また、上記の情報以外であっても、表示条件情報として、コンテンツの表示を行うべき位置の情報（緯度、経度、高度、等の情報）、方角の情報、向きの情報（受信装置２００の向きを示す情報）、場所の情報（駅、繁華街、家、静かな場所、等の情報）、等が考えられる。

表示対象設定部１０３は、操作部１１０を介して、コンテンツを対応付けて表示すべき表示対象を識別するための表示対象情報を設定する。表示対象情報は、コンテンツが表示される表示対象となる物理オブジェクトを識別するための物理オブジェクト識別情報である。表示対象情報は、コンテンツ表示情報設定部１０８に送られる。

表示対象情報には、例えば、物理オブジェクトの種別を示す種別情報、物理オブジェクトの大きさを示すサイズ情報、物理オブジェクトの色を示す色情報、物理オブジェクトの複雑さを示す複雑さ情報、等が含まれる。

種別情報としては、ビル、広場、空、等が考えられる。サイズ情報としては、物理オブジェクトの面積等の情報が考えられる。色情報としては、白色、ガラス等の透明色、等が考えられる。複雑さ情報としては、例えば、物理オブジェクトとしての建物の窓が平らであり単純である、建物の壁が凸凹を有しており複雑である、等の情報が考えられる。

参照画像選択部１０４は、記憶部１０１に記憶されたテンプレート画像を参照し、操作部１１０を介して、複数のテンプレート画像から所望のテンプレート画像を選択する。

誘導情報提示方法設定部１０５は、操作部１１０を介して、受信装置２００の表示部２１３や不図示のスピーカを介して、物理オブジェクトに対応するコンテンツを確認できるように、コンテンツを確認する受信者（確認者）を誘導するための誘導情報を提示するための誘導情報提示方法情報を生成する。誘導情報提示方法情報は、コンテンツ表示情報設定部１０８に送られる。

誘導情報提示方法情報は、「振り向いて下さい」、「見上げて下さい」、のような誘導情報を、音声、文字、画像等により提示するための情報、受信装置２００の表示部２１３にアイコンや矢印等を表示するための情報、バイブレーションにより提示するための情報、等である。

誘導情報提示条件設定部１０６は、操作部１１０を介して、誘導情報を提示するための条件を設定する。設定された条件の情報は、誘導情報提示条件情報としてコンテンツ表示情報設定部１０８に送られる。

ここで、誘導情報提示条件情報には、受信装置２００の状態を示す受信装置状態情報、受信装置２００を所有する受信者の状態を示す受信者状態情報、コンテンツの表示条件を満たしたときに直ぐに誘導情報を提示することを示す即時提示情報、等が含まれる。

受信装置状態情報としては、受信装置２００がＡＲアプリケーションを起動中であるか否かを示す情報、受信装置２００の表示部２１３（ＬＣＤ（Liquid Crystal Display）等）の電源がＯＦＦであるか否かを示す情報、受信装置２００の通信部２０１によりメール通信中であるか否かを示す情報、等がある。

受信者状態情報としては、受信者が歩行中であるか否かを示す情報、受信者が停止中であるか否かを示す情報、受信者が表示すべきコンテンツに対応する物理オブジェクトとは逆方向を向いているか否かを示す情報、等がある。

コンテンツ生成部１０７は、操作部１１０を介して、コンテンツを生成するためのコンテンツ生成情報を生成する。このとき、テンプレート画像を用いて、アノテーション生成情報を生成することができる。

例えば、コンテンツ生成部１０７は、参照画像選択部１０４により選択されたテンプレート画像を利用して、コンテンツを表示すべき表示位置を指定する。この表示位置に係る位置情報は、例えば、テンプレート画像における座標位置として指定される。この表示位置の指定に対応して、受信装置２００のカメラ部２０５により撮影された画像において、コンテンツを表示させる表示位置が指定される。

また、コンテンツ生成部１０７は、操作部１１０を介して、コンテンツに含まれる文字情報（テキスト情報）、画像情報、等を生成する。例えば、図１に示した例では、「Ｔｏ Ｂｅ Ｈａｐｐｙ」の文字列、文字列の背後の画像「☆」（星印）を生成する。また、図１に示した例では、コンテンツが表示される領域を強調するための画像（赤枠での縁取り、二重外枠線、等）を生成する。また、コンテンツ生成部１０７は、コンテンツにおけるこの文字列が表示される位置、文字色、文字の向き（斜体等）、文字のサイズ、文字のフォント、等の情報も、文字自体と合わせて生成する。

また、コンテンツ生成部１０７は、記憶部１０１に記憶されたデコレーションアイテムを参照し、操作部１１０を介して、複数のデコレーションアイテムから所望のデコレーションアイテムを選択する。

また、コンテンツ生成部１０７は、参照画像選択部１０４により選択されたテンプレート画像上で、選択されたデコレーションアイテムを表示すべき表示位置を指定する。この表示位置の指定に対応して、受信装置２００のカメラ部２０５により撮影された画像において、デコレーションアイテムを表示させる表示位置が指定される。

コンテンツ生成部１０７は、このようなコンテンツを生成するためのコンテンツ生成情報（コンテンツ生成部１０７により生成、指定、選択等された情報）を、ＡＲメールの本文、ヘッダ、又は添付ファイルの少なくとも一部として設定する。また、生成されたコンテンツ自体を、ＡＲメールに設定してもよい。

コンテンツ表示情報設定部１０８は、受信装置２００によりコンテンツを表示するためコンテンツ表示情報を、ＡＲメールの本文、ヘッダ、又は添付ファイルの少なくとも一部として設定する。コンテンツ表示情報には、表示条件設定部１０２からの表示条件情報、表示対象設定部１０３からの表示対象情報、誘導情報提示方法設定部１０５からの誘導情報提示方法情報、誘導情報提示条件設定部１０６からの誘導情報提示条件情報、等が含まれる。

通信部１０９は、コンテンツ生成部１０７により生成されたコンテンツ生成情報と、コンテンツ表示情報設定部１０８により設定されたコンテンツ表示情報と、を含むＡＲメールを、所定の通信網を介して受信装置２００へ送信する。

操作部１１０は、ユーザからの操作入力を受け付けるものであり、例えば、テンキー、十字キー、タッチパネル等である。

次に、受信装置の構成について説明する。
図３は、本発明の実施形態における受信装置２００の構成例を示すブロック図である。

受信装置２００は、通信部２０１、記憶部２０２、情報解析部２０３、状態検出部２０４、カメラ部２０５、オブジェクト認識部２０６、表示条件判定部２０７、表示対象探索部２０８、誘導情報提示条件判定部２０９、誘導情報提示部２１０、コンテンツ再現部２１１、合成部２１２、表示部２１３、を有して構成される。

通信部２０１は、所定の通信網を介して、送信装置１００からのＡＲメールを受信する。ＡＲメールには、コンテンツ生成情報及びコンテンツ表示情報が含まれる。

記憶部２０２は、各種情報を記憶する。例えば、通信部２０１により受信されたコンテンツ生成情報と、コンテンツ表示情報と、を対応付けて記憶する。

情報解析部２０３は、記憶部２０２により記憶されたコンテンツ表示情報に含まれる、表示条件情報、表示対象情報、誘導情報提示方法情報、誘導情報提示条件情報、等を抽出し、解析する。

状態検出部２０４は、各種状態を検出する。例えば、ＧＰＳ機能を有することで、受信装置２００の位置情報（緯度、経度、高度、等の情報）を検出する。また、地磁気センサを有することで、受信装置２００の向きの情報（東西南北の方位等の情報）を検出する。また、加速度センサや速度センサを有することで、受信装置２００の移動速度の情報を検出する。また、タイマを有することで、時刻情報を検出する。また、状態検出部２０４が受信装置２００内の他の構成部の情報を取得することで、表示部２１３等の電源がＯＦＦ状態であることを検出する。

カメラ部２０５は、２Ｄ又は３Ｄの静止画像又は動画像を撮影する撮影装置であり、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサである。

オブジェクト認識部２０６は、カメラ部２０５により撮影された画像の特徴を抽出する特徴抽出処理を行う。この特徴抽出処理には、特徴点抽出やエッジ抽出等の公知の特徴抽出方法を用いる。そして、オブジェクト認識部２０６は、抽出された特徴から、物理オブジェクトを認識する認識処理を行う。この認識処理には、パターンマッチング等の公知の画像認識方法を用いる。この認識処理により、物理オブジェクトを識別するための物理オブジェクト識別情報を認識し、これにより表示対象としての物理オブジェクトを認識する。

認識処理により認識される物理オブジェクト識別情報には、種別情報、サイズ情報、色情報、複雑さ情報、等がある。種別情報としては、ドア、ビル、地面、空、等が考えられる。サイズ情報としては、物理オブジェクトの面積等が大きい、中程度、小さい、等の情報が考えられる。色情報としては、白色、ガラス等の透明色、等が考えられる。複雑さ情報としては、例えば、物理オブジェクトが全体的に平面で構成されている、物理オブジェクトに凹凸が多くガタガタしている、等の情報である。つまり、送信装置１００により設定される表示対象情報に対応している。

表示条件判定部２０７は、記憶部２０２に記憶されたコンテンツを表示する条件を満たしているか否かを判定する。例えば、表示条件判定部２０７は、情報解析部２０３により解析された表示条件情報と、状態検出部２０４により検出された状態の情報のうち表示条件情報に対応する情報（表示時間情報、受信者姿勢情報、移動速度情報、等の情報）と、が略一致した場合には、コンテンツを表示する条件を満たしていると判定する。

表示対象探索部２０８は、カメラ部２０５により撮影された画像から、コンテンツに対応する表示対象となる物理オブジェクトを探索する。例えば、情報解析部２０３により解析された表示対象情報と、オブジェクト認識部２０６により認識された物理オブジェクト識別情報と、が略一致する場合には、その物理オブジェクト識別情報により識別される物理オブジェクトを、表示対象となる物理オブジェクトとして特定する。

誘導情報提示条件判定部２０９は、コンテンツを確認する受信者を誘導するための誘導情報を提示する条件を満たすか否かを判定する。例えば、情報解析部２０３により解析された誘導情報提示条件情報と、状態検出部２０４により検出された状態の情報のうち誘導情報提示条件情報に対応する情報（受信装置状態情報、受信者状態情報、等の情報）とが、略一致した場合には、誘導情報を提示する条件を満たしていると判定する。

誘導情報提示部２１０は、表示部２１３、不図示のスピーカ、不図示のバイブレーション、等を介して、情報解析部２０３により解析された誘導情報提示方法情報に従って、誘導情報を提示する。

コンテンツ再現部２１１は、記憶部２０２により記憶されたコンテンツ生成情報に基づいて、コンテンツを再現する。このとき、コンテンツ生成情報に基づいて、コンテンツに含まれる文字列や画像を生成し、さらにデコレーションアイテムを再現する。

例えば、コンテンツ再現部２１１は、コンテンツの表示位置を、送信装置１００により指定されたその（表示位置の）情報に従って認識する。また、コンテンツの内容を、文字情報や画像情報に従って認識する。また、文字列が表示される位置、文字色、文字の向き（斜体等）、文字のサイズ、文字のフォント、等を、送信装置１００により生成されたそれらの情報に従って認識する。また、デコレーションアイテムの情報を、送信装置１００により選択されたその（デコレーションアイテムの）情報に従って認識する。なお、デコレーションアイテムについては、記憶部２０２にあらかじめ記憶しておいてもよいし、送信装置１００から通信部２０１を介してデコレーションアイテム自体を取得してもよい。

合成部２１２は、カメラ部２０５により撮影された画像に、コンテンツ再現部２１１により再現されたコンテンツを合成する。これにより、画像に含まれる物理オブジェクトに対して、送信装置１００が意図した形態でコンテンツが対応付けられる。

表示部２１３は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）やヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）であり、合成部２１２により対応付けて合成された物理オブジェクトとコンテンツとを表示する。表示部２１３による表示では、例えば物理オブジェクトにコンテンツがオーバーレイ表示（重畳表示）される。また、表示部２１３は、他にプロジェクタを用いて物理オブジェクトにコンテンツを投影して表示するようにしてもよい。

次に、送信装置１００の動作について説明する。
図４及び図５は、送信装置１００の動作例を説明するための図である。

まず、表示条件設定部１０２は、操作部１１０への操作入力を介して、表示条件情報を設定する。ここでは、表示条件情報として、表示位置の情報（ステップＳ１０１）、表示向きの情報（ステップＳ１０２）、表示タイミングの情報（ステップＳ１０３）、表示条件達成の情報（ステップＳ１０４）を、順に設定する。

表示位置の情報は、操作部１１０を介して所定の地図上で座標を指定すること、操作部１１０を介して地名等を入力し場所を指定すること、等により設定される。受信装置２００は、ＧＰＳ等により取得される情報により表示位置を認識することが可能である。なお、表示位置の情報が未設定であってもよい。

表示向きの情報は、操作部１１０を介してコンテンツを表示すべき受信装置２００の向き（方角）を指定すること、操作部１１０を介して受信者を基準とした受信装置２００の向き（受信者基準角度）を指定すること、等により設定される。受信装置２００は、地磁気センサ等により取得される情報により表示向きを認識することが可能である。なお、表示向きの情報が未設定であってもよい。

表示タイミングの情報は、操作部１１０を介して日時等の時間を指定すること、操作部１１０を介して受信者の姿勢（受信装置２００の傾き）を指定すること、操作部１１０を介して受信装置２００の移動速度を指定すること、等により設定される。受信装置２００は、タイマ等により取得される情報により時間を認識することが可能である。また、ジャイロセンサ等により取得される情報により受信装置２００の傾きを認識することが可能である。また、速度センサ等により取得される情報により受信装置２００の移動速度を認識することが可能である。表示タイミングの情報が未設定であってもよい。

表示条件達成の情報は、操作部１１０を介して表示条件の達成レベルを指定すること、操作部１１０を介して表示条件未達成時の挙動を指定すること、等により設定される。ここで、表示条件の達成レベルの情報とは、複数の表示条件のうち必須の表示条件は満たしているか、必須ではない表示条件はいくつ満たしているか、表示条件と比較した場合の誤差がどの程度まで許容されるか、などの情報である。なお、この許容誤差の情報を、あらかじめ表示条件設定部１０２が設定し、通信部１０９により受信装置２００へ送信しておいてもよい。また、表示条件未達成時の挙動の情報とは、表示条件の達成レベルを緩和する、未達成であってもタイムアウト時にはコンテンツを表示させる、などの情報である。受信装置２００は、各状態検出センサにより取得される情報に基づいて、表示条件の達成レベルを認識することが可能である。なお、表示条件達成の情報が未設定であってもよい。

続いて、表示対象設定部１０３は、操作部１１０への操作入力を介して、表示対象情報を設定する。ここでは、表示対象情報として、表示対象種別の情報（ステップＳ１０５）、表示対象発見の情報（ステップＳ１０６）を、順に設定する。

表示対象種別の情報は、操作部１１０を介して種別情報を指定すること、操作部１１０を介してサイズ情報を指定すること、操作部１１０を介して色情報を指定すること、操作部１１０を介して複雑さ情報を指定すること、等により設定される。受信装置２００は、オブジェクト認識部２０６によりこれらの情報を認識することが可能である。

表示対象発見の情報は、操作部１１０を介して表示対象の発見レベルを指定すること、操作部１１０を介して表示対象未発見時の挙動を指定すること、等により設定される。ここで、表示対象の発見レベルの情報とは、表示対象種別の情報のうち必須の情報は満たしているか、必須ではない情報はいくつ満たしているか、表示対象種別の情報と比較した場合の誤差がどの程度まで許容されるか、などの情報である。なお、この許容誤差の情報を、あらかじめ表示対象設定部１０３が設定し、通信部１０９により受信装置２００へ送信しておいてもよい。また、表示対象未発見時の挙動の情報とは、表示対象の発見レベルを緩和する、未達成であってもタイムアウト時にはコンテンツを表示させる、未発見時でもコンテンツを表示させる、未発見時にはコンテンツを表示させない、表示対象種別の情報が類似する表示対象であってもコンテンツを表示する、などの情報である。受信装置２００は、各状態検出センサにより取得される情報に基づいて、表示対象の発見レベルを認識することが可能である。なお、表示対象発見の情報が未設定であってもよい。

続いて、参照画像選択部１０４は、記憶部１０１に記憶されたテンプレート画像のうち、ステップＳ１０５において設定された表示対象種別の情報と略一致するテンプレート画像を抽出する。そして、参照画像選択部１０４は、操作部１１０への操作入力を介して、抽出されたテンプレート画像から、所望のテンプレート画像を選択する（ステップＳ１０７）。図５に示す例では、記憶部１０１にテンプレート画像としてのテンプレート候補Ａ〜Ｃが記憶されている。ここでは、テンプレート候補Ｂに類似する物理オブジェクトに対応するコンテンツを提供すべく、参照画像選択部１０４によりテンプレート候補Ｂを選択する。

また、参照画像選択部１０４は、ステップＳ１０１において設定された表示位置の情報に基づいて、その表示位置に存在すると想定される物理オブジェクトに近いものを、操作部１１０を介して選択してもよい。また、参照画像選択部１０４は、ステップＳ１０１において設定された表示位置の情報を有するサーバと連携し、このサーバから通信部１０９により実際の物理オブジェクトの画像を取得するようにしてもよい。

続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、テンプレート画像におけるコンテンツを表示させる表示位置（表示領域）を指定する（ステップＳ１０８）。図５に示す例では、建物の１階正面部分をコンテンツの表示位置に指定している。なお、矩形以外の領域で表示領域を指定してもよい。

続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、コンテンツの内容を設定する（ステップＳ１０９）。図５に示す例では、ステップＳ１０８において指定されたコンテンツの表示領域における、背景色に青色、外周部分に赤太線、中央部分に☆印（☆印）、文字としての「Ｔｏ Ｂｅ Ｈａｐｐｙ」を設定する。さらに、文字のフォント、サイズ、色、等も設定する。これらの情報がコンテンツ生成情報に含めて設定される。

続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、デコレーションアイテムを表示させる表示位置（表示領域）を指定する（ステップＳ１１０）。図５に示す例では、コンテンツの表示領域としての矩形の４隅をデコレーションアイテムの表示領域に指定している。なお、矩形以外の領域で表示領域を指定してもよい。

続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、記憶部１０１に記憶されたデコレーションアイテムから所望のデコレーションアイテムを選択する（ステップＳ１１１）。図５に示す例では、デコレーションアイテムとして星画像「☆」を選択している。

このように、コンテンツ生成部１０７は、図５のステップＳ１０８〜Ｓ１１１の処理により、デコレーションアイテムを含むコンテンツの内容を生成する。

続いて、誘導情報提示方法設定部１０５は、操作部１１０への操作入力を介して、誘導情報提示方法情報を設定する（ステップＳ１１２）。誘導情報提示方法情報は、操作部１１０を介して音声により誘導情報を提示するよう指定すること、操作部１１０を介して表示により誘導情報を提示するよう指定すること、操作部１１０を介してバイブレーション（振動）により誘導情報を提示するよう指定すること、等により設定される。

続いて、誘導情報提示条件設定部１０６は、操作部１１０への操作入力を介して、誘導情報提示条件情報を設定する（ステップＳ１１３）。誘導情報提示条件情報は、操作部１１０を介して受信装置状態情報を指定すること、操作部１１０を介して受信者状態情報を指定すること、操作部１１０を介して即時提示情報を指定すること、等により設定される。受信装置２００は、各状態検出センサにより取得される情報により受信装置２００の状態及び受信者の状態を認識することが可能である。

続いて、通信部１０９は、コンテンツ生成部１０７により生成されたコンテンツ生成情報と、コンテンツ表示情報設定部１０８により設定されたコンテンツ表示情報と、を受信装置２００へ送信する。ここでは、コンテンツ生成情報は、ステップＳ１０８〜Ｓ１１１により生成されたコンテンツ画像自体であってもよいし、送信装置により生成されたコンテンツを再現するための情報（メタデータ）であってもよい。メタデータには、ステップＳ１０８〜Ｓ１１１により指定された各情報が含まれる。

このような送信装置１００の動作によれば、様々なシチュエーションを考慮したアノテーションとしてのコンテンツを提供することができる。また、実際の物理オブジェクトに類似する参照画像を利用してコンテンツ生成情報を生成することができるので、実際には送信装置１００を所有する送信者が訪れたことのない場所にある物理オブジェクトに対するアノテーションを生成することもできる。

なお、送信装置１００は、図４及び図５の各ステップＳ１０１〜Ｓ１１３において、図４及び図５に示すような画像を送信装置１００の表示画面上に表示させ、操作部１１０を介してタッチパネルにより入力を行うことで、直感的に操作を行うようにしてもよい。また、送信装置１００は、各ステップＳ１０１〜Ｓ１１３における指定をウィザード形式やナビゲーション形式で行うようにしてもよい。

次に、受信装置２００の動作について説明する。
図６は、受信装置２００の動作例を示すフローチャートある。図６では、ウィンドウショッピング中にカメラ部２０５により画像を撮影し、撮影画像に含まれる店舗の窓（ウィンドウ）にコンテンツを重畳表示することを想定している。

まず、通信部２０１が送信装置１００からのコンテンツ生成情報及びコンテンツ表示情報を含む情報を受信し、記憶部２０２がそれらの情報を記憶する（ステップＳ２０１）。そして、情報解析部２０３が、記憶部２０２に記憶された情報のうちコンテンツ表示情報を解析する。

続いて、状態検出部２０４は、各種状態を検出する（ステップＳ２０２）。例えば、時計（タイマ）により時刻を検出し、ＧＰＳ等により受信装置２００の位置を検出し、地磁気センサ等により受信装置２００の向きを検出し、速度センサ等により受信装置２００の移動速度を検出する。

続いて、表示条件判定部２０７は、情報解析部２０３により解析されたコンテンツ表示情報に含まれる表示条件情報と、状態検出部２０４により検出された状態が略一致するか否かを判定する（ステップＳ２０３）。ここで、表示条件情報には、例えば、表示タイミングの情報として「６月７日（金）の１８時以降」、表示位置の情報として「緯度３５度、経度１３９度」、表示向きの情報として「東」、移動速度の情報として「１分以上停止中」、のような情報が含まれている。

また、表示条件判定部２０７は、表示条件達成の情報が設定されている場合には、この情報を加味して、表示条件情報と検出された状態の情報とが略一致するか否かを判定する。例えば、表示条件達成の情報には、必須条件の情報として「日時」、オプション条件の必達個数の情報として「１」、許容誤差の情報として「２０％以内」が設定されているとする。この場合、「６月７日（金）の１８時以降」と状態検出部２０４により検出された時刻情報との誤差が２０％以内（所定範囲内）であり、その他の条件、例えば「経度３５度、経度１３９度」と状態検出部２０４により検出された位置情報との誤差が２０％以内（所定範囲内）である場合には、表示条件判定部２０７は、表示条件を満たしていると判定する。

ステップＳ２０３において両情報が略一致しない場合には、略一致するまでステップＳ２０３を繰り返す。

ステップＳ２０３において両情報が略一致した場合には、オブジェクト認識部２０６が、カメラ部２０５により撮影された画像から、物理オブジェクト毎に物理オブジェクト識別情報（種別情報、サイズ情報、色情報、複雑さ情報、等）を認識する（ステップＳ２０４）。

続いて、表示対象探索部２０８が、情報解析部２０３により解析されたコンテンツ表示情報に含まれる表示対象情報と、オブジェクト認識部２０６により認識された物理オブジェクト情報とが略一致するか否かを判定する（ステップＳ２０５）。ここで、表示対象情報には、例えば、種別情報として「２階建てのビル」、サイズ情報として「中程度」、色情報として「ガラス」、複雑さ情報として「全平面」、のような情報が含まれている。

また、表示対象探索部２０８は、表示対象発見の情報が設定されている場合には、この情報を加味して、表示対象情報と認識された物理オブジェクト識別情報とが略一致するか否かを判定する。例えば、表示対象発見の情報には、必須条件の情報として「色」、オプション条件の必達個数の情報として「１」、許容誤差の情報として「３０％以内」が設定されているとする。この場合、「ガラス」とオブジェクト認識部２０６により認識された色情報との誤差が３０％以内（所定範囲内）であり、その他の条件、例えば「中程度」とオブジェクト認識部２０６により認識されたサイズ情報との誤差が３０％以内（所定範囲内）である場合には、表示対象探索部２０８は、表示対象の物理オブジェクトであると判定する。

ステップＳ２０５において両情報が略一致しない場合には、略一致するまでステップＳ２０５を繰り返す。

ステップＳ２０５において両情報が略一致した場合には、状態検出部２０４は、各種状態を検出する（ステップＳ２０６）。例えば、時計（タイマ）により時刻を検出し、ＧＰＳ等により位置を検出し、地磁気センサ等により受信装置２００の向きを検出し、速度センサ等により受信装置２００の移動速度を検出し、不図示のアプリケーション監視部により実行中のアプリケーション（ＡＲ中、メール中）を検出し、不図示の電源監視部により表示部２１３の電源がＯＮ状態であるか否かを検出する。

続いて、表示対象探索部２０８が、情報解析部２０３により解析されたコンテンツ表示情報に含まれる誘導情報提示条件情報と、状態検出部２０４により検出された状態とが略一致するか否かを判定する（ステップＳ２０７）。ここで、誘導情報提示条件情報には、例えば、受信装置状態情報として「ＡＲアプリケーションの実行中」、受信者状態情報として「停止中」、即時提示情報として「Ｎｏ」、のような情報が含まれている。

ステップＳ２０７において両情報が略一致しない場合には、略一致するまでステップＳ２０７を繰り返す。

ステップＳ２０７において両情報が略一致した場合には、誘導情報提示部２１０は、情報解析部２０３により解析されたコンテンツ表示情報に含まれる誘導情報提示方法情報に従って、誘導情報を提示する（ステップＳ２０８）。ここで、誘導情報提示方法情報には、例えば、音声により提示するための情報として「少しウィンドウから離れて」、表示により提示するための情報として「ウィンドウに向けて矢印表示」、バイブレーションにより提示するための情報として「バイブＯＮ」、のような情報が含まれている。

なお、誘導情報の提示を行うまでもなく、受信者がコンテンツを確認できる状態にある場合には、誘導情報の提示の処理を省略してもよい。つまり、ステップＳ２０６〜Ｓ２０８の処理を省略してもよい。

続いて、コンテンツ再現部２１１は、記憶部２０２に記憶されたコンテンツ生成情報から、コンテンツ生成情報を抽出する。ここで、コンテンツ生成情報には、例えば、コンテンツ内でのテキストや画像を配置する位置の情報として「中央」、そのテキストや画像の色の情報として「赤」、そのテキストや画像の向きの情報として「傾き２０度」、そのテキストのフォントの情報として「２０ｐｏｉｎｔ、ゴシック体」、撮影画像における表示対象の位置の情報として「（３２１，２２０）」（座標情報）、コンテンツのエッジの情報（デコレーションアイテムの表示位置の情報及びデコレーションアイテムの内容の情報）として「頂点に星画像」、コンテンツの背景の情報として「青塗り」、のような情報が含まれる。

続いて、コンテンツ再現部２１１は、抽出されたコンテンツ生成情報に基づいて、コンテンツを再現する（ステップＳ２０９）。例えば、コンテンツ生成情報に上記のような情報が含まれる場合には、図５のステップＳ１１１で完成したコンテンツが、表示部２１３により再現される。

続いて、合成部２１２が、カメラ部２０５により撮影された画像における送信装置１００が指定した位置（コンテンツ生成情報に含まれる表示対象の位置）に、コンテンツ再現部２１１により再現されたコンテンツを重畳して合成し、表示部２１３が、この合成された画像を表示する（ステップＳ２１０）。

このような受信装置２００の動作によれば様々なシチュエーションを考慮したコンテンツの提示を行うことが可能である。また、受信装置２００は、表示条件及び表示対象の許容誤差が所定範囲内であれば、撮影画像に含まれる実際の物理オブジェクトのサイズや形状に合わせてコンテンツを生成してもよい。つまり、コンテンツ生成情報に含まれる情報を多少加工して、コンテンツを生成してもよい。これにより、実際の物理オブジェクトに合せてコンテンツを表示させることができる。

このような拡張現実感システムによれば、例えば以下の（１）〜（８）のようなシチュエーションで、アノテーション（コンテンツ）を表示することができる。

（１）あるビルの中から見た向かいのビルの窓にアノテーションを表示
（２）歩行中に振り向いた後ろのビルの全体にアノテーションを表示
（３）夕方ふと見上げた空にアノテーションを表示
（４）ウィンドウショッピング中のウィンドウにアノテーションを表示
（５）広場で下を見たときにアノテーションを表示
（６）誕生日の帰宅した家の玄関にアノテーションを表示
（７）ベッドに寝転んだときの天井にアノテーションを表示
（８）通勤時のバスの横（側面）一面にアノテーションを表示

また、グラフィカルなメールを実世界の物理オブジェクトに合わせて表示させることができる。したがって、視覚的にアノテーションの表示が邪魔になる可能性は極めて低く、実世界に溶け込ませてアノテーションを表示させることができる。また、受信者や受信装置２００の状況に応じてアノテーションを表示できるので、例えば振り向いた瞬間にアノテーションを表示したり、見上げた瞬間にアノテーションを表示したりすることができる。

なお、本実施形態の拡張現実感システムでは、送信装置１００と受信装置２００とはＥメールの通信により情報を共有していたが、Ｅメール通信以外の方法で情報を共有するようにしてもよい。

本発明は、様々なシチュエーションを考慮したコンテンツの提供又は表示を行うことが可能な通信装置、通信システム、通信プログラム等に有用である。

１００ 送信装置
１０１ 記憶部
１０２ 表示条件設定部
１０３ 表示対象設定部
１０４ 参照画像選択部
１０５ 誘導情報提示方法設定部
１０６ 誘導情報提示条件設定部
１０７ コンテンツ生成部
１０８ コンテンツ表示情報設定部
１０９ 通信部
１１０ 操作部
２００ 受信装置
２０１ 通信部
２０２ 記憶部
２０３ 情報解析部
２０４ 状態検出部
２０５ カメラ部
２０６ オブジェクト認識部
２０７ 表示条件判定部
２０８ 表示対象探索部
２０９ 誘導情報提示条件判定部
２１０ 誘導情報提示部
２１１ コンテンツ再現部
２１２ 合成部
２１３ 表示部

Claims (11)

1. 物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、
   前記アノテーションを表示するための条件を示す表示条件情報、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、及び、誘導情報を提示するための条件を示す誘導情報提示条件情報、を生成する情報生成部と、
   前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、前記表示対象情報、及び、前記誘導情報提示条件情報、を送信する送信部と、
   を備え、
   前記誘導情報は、前記アノテーションを表示させるために、前記アノテーションの確認者を、前記物理オブジェクトが撮影される画像に含まれるように誘導する情報である通信装置。
2. 請求項１に記載の通信装置であって、
   前記情報生成部は、前記誘導情報を提示する方法を示す誘導情報提示方法情報を生成し、
   前記送信部は、前記情報生成部により生成された前記誘導情報提示方法情報を送信する通信装置。
3. 請求項１または請求項２に記載の通信装置であって、更に、
   前記物理オブジェクトの画像に対応する参照画像を記憶する参照画像記憶部を備え、
   前記アノテーション生成部は、前記参照画像記憶部に記憶された参照画像を用いて、前記アノテーション生成情報を生成する通信装置。
4. 物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信する受信部と、
   状態を検出する状態検出部と、
   画像を取得する画像取得部と、
   前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、
   前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、
   前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かを判定する表示対象判定部と、
   前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、
   を備える通信装置。
5. 請求項４に記載の通信装置であって、更に、
   誘導情報提示条件判定部と、誘導情報提示部と、を備え、
   前記受信部は、誘導情報を提示するための条件を示す誘導情報提示条件情報を受信し、
   前記誘導情報提示条件判定部は、前記状態検出部により検出された状態の情報と前記受信部により受信された誘導情報提示条件情報とが略一致するか否かを判定し、
   前記誘導情報提示部は、前記誘導情報提示条件判定部により略一致すると判定された場合、前記誘導情報を提示し、
   前記誘導情報は、前記アノテーションを表示させるために、前記アノテーションの確認者を、前記物理オブジェクトが撮影される画像に含まれるように誘導する情報である通信装置。
6. 請求項５に記載の通信装置であって、
   前記受信部は、前記誘導情報を提示する方法を示す誘導情報提示方法情報を受信し、
   前記誘導情報提示部は、前記受信部により受信された前記誘導情報提示方法情報に従って、前記誘導情報を提示する通信装置。
7. 第１の通信装置と第２の通信装置との間で通信を行う通信システムであって、
   前記第１の通信装置は、
   物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、
   前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成する情報生成部と、
   前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、及び前記表示対象情報、を送信する送信部と、
   を備え、
   前記第２の通信装置は、
   前記アノテーション生成情報、前記表示条件情報、及び、前記表示対象情報、を受信する受信部と、
   状態を検出する状態検出部と、
   画像を取得する画像取得部と、
   前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、
   前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、
   前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かを判定する表示対象判定部と、
   前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、
   を備える通信システム。
8. 物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するステップと、
   前記アノテーションを表示するための条件を示す表示条件情報、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、及び、誘導情報を提示するための条件を示す誘導情報提示条件情報を、生成するステップと、
   前記アノテーション生成情報、前記表示条件情報、前記表示対象情報、及び、前記誘導情報提示条件情報を送信するステップと、
   を有し、
   前記誘導情報は、前記アノテーションを表示させるために、前記アノテーションの確認者を、前記物理オブジェクトが撮影される画像に含まれるように誘導する情報である通信方法。
9. 物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信するステップと、
   状態を検出するステップと、
   画像を取得するステップと、
   前記取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するステップと、
   前記検出された状態の情報と前記受信された表示条件情報とが略一致するか否かを判定するステップと、
   前記認識された物理オブジェクト識別情報と前記受信された表示対象情報とが略一致するか否かを判定するステップと、
   前記状態の情報と前記表示条件情報とが略一致すると判定され、かつ、前記物理オブジェクト識別情報と前記表示対象情報とが略一致すると判定された場合、前記アノテーション生成情報に基づいてアノテーションを再現するステップと、
   を有する通信方法。
10. 請求項８に記載の通信方法の各ステップをコンピュータに実行させるための通信プログラム。
11. 請求項９に記載の通信方法の各ステップをコンピュータに実行させるための通信プログラム。