JP7207549B2 - 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム - Google Patents

複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム Download PDF

Info

Publication number
JP7207549B2
JP7207549B2 JP2021536539A JP2021536539A JP7207549B2 JP 7207549 B2 JP7207549 B2 JP 7207549B2 JP 2021536539 A JP2021536539 A JP 2021536539A JP 2021536539 A JP2021536539 A JP 2021536539A JP 7207549 B2 JP7207549 B2 JP 7207549B2
Authority
JP
Japan
Prior art keywords
information
mixed reality
terminal
space
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021536539A
Other languages
English (en)
Other versions
JPWO2021019723A1 (ja
Inventor
和哉 松尾
雅 高木
亮太 中田
航哉 森
裕之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021019723A1 publication Critical patent/JPWO2021019723A1/ja
Application granted granted Critical
Publication of JP7207549B2 publication Critical patent/JP7207549B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Description

この発明の一態様は、複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラムに関する。
近年、拡張現実（ＡＲ：Augmented Reality）／仮想現実（ＶＲ：Virtual Reality）の進化に伴い、これらを統合した複合現実（ＭＲ:Mixed Reality）が注目されている。ＭＲとは、仮想情報を現実空間上に投影することによって、仮想空間と現実空間とが混合した空間（複合現実空間）を構築する技術のことを指す。このＭＲの市場規模は、年々増加している。このＭＲを実現する代表的なデバイスとして、Ｍｉｃｒｏｓｏｆｔ社のＨｏｌｏＬｅｎｓ（例えば、非特許文献１参照）がある。ＨｏｌｏＬｅｎｓには、現実空間を３次元（３Ｄ）情報として取得するためのセンサが搭載されてする。ＨｏｌｏＬｅｎｓは、このセンサが取得した現実空間の３Ｄモデルに対して仮想情報をマッピングすることによって、仮想空間と現実空間とを混合する。ＨｏｌｏＬｅｎｓは、このようにして構築された複合現実空間を、透過型のホログラムレンズに投影することによって、ユーザに複合現実空間を体験させている。また、ＨｏｌｏＬｅｎｓをはじめとするＭＲ端末は、スマートフォンに代わる次世代モバイル端末としても注目を浴びつつある（例えば、非特許文献２、３および４参照）。ＭＲ端末は、将来的には上記の例に限らず、より汎用的に、かつ屋外屋内問わず様々な場所で使われるものと考えられる。
ＭＲの応用例としては、「室内に３Ｄモデルを投影し、レイアウトをシミュレーションする（例えば、非特許文献５参照）」といった個人で完結するものが挙げられる。その他に、「建設業や製造業において、オペレータからの指示を現場作業員の視界に仮想情報として提示する（例えば、非特許文献６参照）」、「不動産業において、ビルの建設予定地に完成後のビルの姿を３Ｄオブジェクトとして顧客の視界に提示する（例えば、非特許文献７参照）」、なども挙げられる。このように、ＭＲは、現状、複数人での協調作業や意思決定において、現実空間内で仮想情報を共有するための技術として注目を浴びている。
このような背景のもと、Ｍｉｃｒｏｓｏｆｔ社は「コラボラティブ・コンピューティング」を提唱している。コラボラティブ・コンピューティングとは、現在個々人がＰＣを介して見ている情報を現実空間に投影し、その情報とあたかも現実物体に触れるかのようにインタラクションしながら、複数人で共有するコンピューティングモデルである。このコンピューティングモデルが浸透すれば、情報を見たり共有したりする場所が、パーソナルコンピュータ（ＰＣ）やスマートフォンのディスプレイではなく、現実空間そのものになる。このように、ＭＲにおいて複合現実空間を複数人で共有する技術は、今後ますます重要になっていくものと考えられる。
Ｍｉｃｒｏｓｏｆｔ社では、複合現実空間の共有を簡単に実現できるように、空間共有サービス（以下、シェアリングサービスと称する）（例えば、非特許文献８参照）を提供している。このシェアリングサービスは、異なるＭＲ端末間で複合現実空間を共有するために、サーバを介してＭＲ端末間で、仮想物体を複合現実空間内に固定するための情報（アンカー情報）を共有する。アンカー情報を受け取った各ＭＲ端末は、アンカー情報を基に計算された座標からの相対位置に仮想物体を表示する。これにより、各ＭＲ端末は、部屋等の特定のエリアである現実空間内の同じ位置に仮想物体を表示できるため、複数のユーザが同じ複合現実空間を見ることができる。また、サーバプログラム内では、共有する複合現実空間に関する情報がルームとして管理されており、アンカー情報もこのルーム内に保存されている。プログラム上では、同じルームに紐づけられたＭＲ端末へ当該アンカー情報を送信することによって、複合現実空間の共有が実現されている。
"Microsoft HoloLens ビジネスを支援するMixed Realityテクノロジ"［Online］、［令和１年６月２４日検索］、インターネット＜URL: https://www.microsoft.com/ja-jp/HoloLens＞ Taleb, Tarik, et al. "PERMIT: Network slicing for personalized 5G mobile telecommunications," IEEE Communications Magazine, 55(5), pp.88-93, 2017. Debandi, Federico, et al. "Enhancing cultural tourism by a mixed reality application for outdoor navigation and information browsing using immersive devices," IOP Conference Series: Materials Science and Engineering, 364(1), pp.12-48, 2018. "How Microsoft Jumped on Apple's Laptop Stumbles - Bloomberg"［Online］、［令和１年６月２４日検索］、インターネット＜URL: https://www.bloomberg.com/news/features/2017-05-03/microsoft-gets-hardware-religion＞ "Layout│Microsoft Dynamics 365"［Online］、［令和１年６月２４日検索］、インターネット＜URL: https://dynamics.microsoft.com/ja-jp/mixed-reality/layout/＞ "Remote Aassist│Microsoft Dynamics 365"［Online］、［令和１年６月２４日検索］、インターネット＜URL: https://dynamics.microsoft.com/ja-jp/mixed-reality/remote-assist/＞ "日本初！ マイクロソフト ホロレンズをマンション販売に採用"［Online］、［令和１年６月２４日検索］、インターネット＜URL: https://www.nextscape.net/news/2017/05/20170523＞ "GitHub - microsoft/MixedRealityToolkit at c562ff9582cd10ea0448fd846f7b2bb261e8f551"［Online］、［令和１年６月２４日検索］、インターネット＜URL: https://github.com/Microsoft/MixedRealityToolkit/tree/c562ff9582cd10ea0448fd846f7b2bb261e8f551＞
前述のように、現実空間の３Ｄ情報と仮想物体とを複合現実空間内に固定するためのアンカー情報が、特定のエリア（部屋等）ごとに仮想のルームと対応付けてサーバで管理されている。このアンカー情報がサーバを介してＭＲ端末間で共有されることで、同一の複合現実空間が複数のＭＲ端末で共有されることができる。この場合、実際に複合現実空間を共有するためには、ユーザがＭＲ端末ごとに事前に対象となる現実空間を隅々までセンシングして、ＭＲ端末に現実空間の３Ｄ情報を認識させておく必要がある。そのため、対象となる現実空間が大きくなるほど、事前の情報処理に時間がかかってしまう。
この発明は、上記事情に着目してなされたもので、その目的とするところは、長い処理時間をかけることなく、複数のＭＲ端末間で対象の現実空間の３Ｄ情報を共有できる複合現実空間共有システム、共有情報管理サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラムを提供することにある。
上記課題を解決するために、この発明の第１の態様は、それぞれ、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複数の複合現実端末と、前記複数の複合現実端末が接続されるサーバと、を有する複合現実共有システムであって、前記複数の複合現実端末の内の少なくとも一つである第１端末は、前記現実空間をセンシングして前記３Ｄ情報を取得する３Ｄセンサと、前記３Ｄセンサによって取得した前記３Ｄ情報と仮想情報を固定するためのアンカー情報を生成し、前記３Ｄ情報と前記アンカー情報とを前記サーバに送信するアップロード部と、を有し、前記サーバは、前記第１端末から送信された前記３Ｄ情報と前記アンカー情報とを関連付けてルームを作成し、情報を管理する情報管理部と、前記３Ｄ情報と前記アンカー情報とを、前記複数の複合現実端末の内の前記第１端末とは異なる第２端末へ送信する共有部と、を有し、前記第２端末は、前記サーバから送信された前記３Ｄ情報と前記アンカー情報とをダウンロードするダウンロード部を有し、前記ダウンロードした前記３Ｄ情報と前記アンカー情報を用いて前記複合現実空間を作成するようにしたものである。
この発明の第２の態様は、それぞれ、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複数の複合現実端末で利用される、前記複数の複合現実端末の内の少なくとも１つの端末が生成した前記３Ｄ情報と仮想情報を固定するためのアンカー情報と前記３Ｄ情報を関連付けてルームを作成し、情報を管理する情報管理部と、前記３Ｄ情報と前記アンカー情報とを、前記複数の複合現実端末の内の何れかからの要求に応じて、その要求元の前記複合現実端末へ送信する共有部と、を有する、サーバとしたものである。
この発明の第３の態様は、現実空間の３Ｄ情報と仮想情報を固定するためのアンカー情報とに基づいて、前記３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複合現実端末であって、前記現実空間をセンシングして前記３Ｄ情報を取得する３Ｄセンサと、前記３Ｄセンサによって取得した前記３Ｄ情報と前記アンカー情報とをサーバに送信するアップロード部と、前記３Ｄセンサが取得した前記３Ｄ情報を以前の情報と比較して、変化した部分のみの３Ｄ情報を更新情報として前記サーバに送信する更新情報アップロード部と、を有するようにしたものである。
この発明の第４の態様は、それぞれ、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複数の複合現実端末と、前記複数の複合現実端末が接続されるサーバと、を有する複合現実共有システムにおける複合現実空間共有方法であって、前記複数の複合現実端末の内の少なくとも一つである第１端末が、前記現実空間をセンシングして前記３Ｄ情報を取得し、前記３Ｄ情報と仮想情報を固定するためのアンカー情報を生成して前記３Ｄ情報と前記アンカー情報とを前記サーバにアップロードし、前記サーバにおいて、前記第１端末からアップロードされた前記３Ｄ情報と前記アンカー情報とを関連付けてルームを作成し、情報を管理し、前記複数の複合現実端末の内の前記第１端末とは異なる第２端末からの要求に応じて、前記管理している前記３Ｄ情報と前記アンカー情報とを、前記第２端末へ送信し、前記第２端末において、前記サーバから送信された前記３Ｄ情報と前記アンカー情報とをダウンロードして、それらダウンロードした前記３Ｄ情報と前記アンカー情報を用いて前記複合現実空間を作成するようにしたものである。
この発明の第５の態様は、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複合現実端末であって、前記現実空間をセンシングして前記３Ｄ情報を取得する３Ｄセンサと、前記３Ｄ情報と仮想情報を固定するためのアンカー情報を生成し前記３Ｄセンサによって取得した前記３Ｄ情報と前記アンカー情報とをサーバに送信するアップロード部と、を有するようにしたものである。
この発明の第６の態様は、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複合現実端末であって、自端末の認識する複合現実空間および当該複合現実空間に関する３Ｄ情報をサーバに問い合わせ、前記サーバから送信された、前記３Ｄ情報と仮想情報を固定するためのアンカー情報と前記３Ｄ情報をダウンロードするダウンロード部を有し、前記ダウンロードした前記３Ｄ情報と前記アンカー情報を用いて前記複合現実空間を作成するようにしたものである。
この発明の第７の態様は、前記第２の態様のサーバが備えるプロセッサが行う処理を共有情報管理プログラムにより実行させるものである。
この発明の第８の態様は、前記第３の態様、前記第５の態様及び前記第６の態様のうちのいれか１つの複合現実端末が備えるプロセッサが行う処理を共有情報管理プログラムにより実行させるものである。
この発明の各態様によれば、共有情報管理サーバによってルームに対応する現実空間の３Ｄ情報を管理することで、長い処理時間をかけることなく、複数のＭＲ端末間で対象の現実空間の３Ｄ情報を共有できるようになる複合現実空間共有システム、共有情報管理サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラムを提供することができる。
図１は、この発明の一実施形態に係る複合現実空間共有システムの全体構成を示す図である。 図２は、この発明の一実施形態に係る複合現実端末としてのＭＲ端末のハードウェア構成を示すブロック図である。 図３は、図２のＭＲ端末のソフトウェア構成を示すブロック図である。 図４は、図３中の初期設定部の構成を示すブロック図である。 図５は、この発明の一実施形態に係る共有情報管理サーバとしてのシェアリングサーバのハードウェア構成を示すブロック図である。 図６は、図５のシェアリングサーバのソフトウェア構成を示すブロック図である。 図７Ａは、図１中のＭＲ端末およびシェアリングサーバのそれぞれの処理部における複数のＭＲ端末間での複合現実空間の共有に係わる処理の動作例を示すそれぞれのフローチャートの第１の部分を示す図である。 図７Ｂは、図１中のＭＲ端末およびシェアリングサーバのそれぞれの処理部における複数のＭＲ端末間での複合現実空間の共有に係わる処理の動作例を示すそれぞれのフローチャートの第２の部分を示す図である。 図７Ｃは、図１中のＭＲ端末およびシェアリングサーバのそれぞれの処理部における複数のＭＲ端末間での複合現実空間の共有に係わる処理の動作例を示すそれぞれのフローチャートの第３の部分を示す図である。 図８は、二つのＭＲ端末間での現実空間の３Ｄ情報の共有処理を説明するための模式図である。 図９は、二つのＭＲ端末間での現実空間の３Ｄ情報の共有時に共有情報管理サーバが管理する共有情報の一例を示す図である。 図１０は、三つ目のＭＲ端末が加わる際の現実空間の３Ｄ情報の共有処理を説明するための模式図である。 図１１は、三つのＭＲ端末間での現実空間の３Ｄ情報の共有時に共有情報管理サーバが管理する共有情報の一例を示す図である。 図１２は、センシング対象の箱と当該箱の３Ｄ情報とを示す図である。 図１３は、現実空間の３Ｄ情報のアップロードを説明するための模式図である。 図１４は、図３中の３Ｄ情報変化検知部における３Ｄ情報変化検知の一例を説明するための図である。
以下、図面を参照してこの発明に係わる一実施形態を説明する。
（構成）
（１）システム
図１は、この発明の一実施形態に係る複合現実空間共有システムの全体構成を示す図である。この複合現実空間共有システムは、複数のクライアントがサーバに接続されるサーバ－クライアントシステムである。複合現実空間共有システムは、複数のＭＲ端末１０＃１，１０＃２，…，１０＃ｎ（ｎは整数）（以下、まとめて「ＭＲ端末１０」とも言う）と、シェアリングサーバ２０と、を備えている。ＭＲ端末１０は、必要に応じて、通信ネットワークＮＷを介してシェアリングサーバ２０と通信可能となっている。
ＭＲ端末１０は、現実空間の３Ｄ情報を取得して仮想情報を固定するためのアンカー情報に基づき３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成して可視化する、この発明の一実施形態に係る複合現実端末である。
シェアリングサーバ２０は、例えばサーバコンピュータやサーバプログラムが動作しているパーソナルコンピュータ等からなり、ＭＲ端末１０から送信された３Ｄ情報およびアンカー情報を関連付けてルームを作成し、そのルームに関する共有情報を管理する、この発明の一実施形態に係る共有情報管理サーバである。
通信ネットワークＮＷは、例えばインターネットに代表されるＩＰ（Internet Protocol）網と、このＩＰ網に対しアクセスするための複数のアクセス網とから構成される。アクセス網としては、光ファイバーを使用した有線アクセス網はもとより、例えば３Ｇ、４Ｇまたは５Ｇ等の規格の下で動作する携帯電話網や、無線ＬＡＮ（Local Area Network）等の無線アクセス網が用いられる。ＭＲ端末１０とＩＰ網とのアクセス網は、無線アクセス網が用いられることが望ましい。シェアリングサーバ２０とＩＰ網とのアクセス網は、有線および無線の何れのアクセス網であって構わない。
（２）ＭＲ端末
（２－１）ハードウェア構成
図２は、図１に示したＭＲ端末１０のハードウェア構成の一例を示すブロック図である。
ＭＲ端末１０は、例えば、３Ｄ表示が可能なホログラフィックコンピュータ等からなり、例えばＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ１１Ａを有する。そして、このハードウェアプロセッサ１１Ａに対し、プログラムメモリ１１Ｂ、データメモリ１２、通信インタフェース１３、入力装置１４、表示装置１５、および３Ｄセンサ１６を、バス１７を介して接続したものとなっている。
プログラムメモリ１１Ｂは、記憶媒体として、例えば、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用したもので、各種処理を実行するために必要なプログラムが格納されている。
データメモリ１２は、記憶媒体として、例えば、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて使用したもので、各種処理を行う過程で取得および作成されたデータを記憶するために用いられる。
通信インタフェース１３は、通信ネットワークＮＷを介してシェアリングサーバ２０との間でデータの送受信を可能にする。通信プロトコルは、通信ネットワークＮＷで規定されるプロトコルが使用される。通信インタフェース１３としては、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの小電力無線データ通信規格を採用したインタフェースが使用されることができる。
表示装置１５は、プロセッサ１１Ａの処理によって構築された複合現実空間をユーザに提示するユーザインタフェースである。表示装置１５は、例えば、透過型のホログラムレンズに複合現実空間を投影するヘッドマウントディスプレイであることができる。
入力装置１４は、ユーザの指示を受け付けて、プロセッサ１１Ａに通知するユーザインタフェースである。入力装置１４は、キーボードやタッチパネル、操作ボタン、マウス等のポインティングデバイス、などを含むことができる。
３Ｄセンサ１６は、現実空間を３Ｄ情報として取得するためのセンサである。プロセッサ１１Ａは、この３Ｄセンサ１６により取得した現実空間の３Ｄ情報に基づいて現実空間の３Ｄモデルを作成し、その３Ｄモデルに対して仮想情報をマッピングすることによって、仮想空間と現実空間とを混合して複合現実空間を構築する処理を行うことができる。
（２－２）ソフトウェア構成
図３は、図１に示したＭＲ端末１０のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示すブロック図である。
データメモリ１２の記憶領域は、３Ｄ情報記憶部１２１と、アンカー情報記憶部１２２と、仮想情報記憶部１２３と、を備える。
３Ｄ情報記憶部１２１は、現実空間の３Ｄ情報を記憶するために使用される。この３Ｄ情報記憶部１２１に記憶される現実空間の３Ｄ情報は、３Ｄセンサ１６によって取得したもの、または、ネットワークＮＷを介してシェアリングサーバ２０からダウンロードした他のＭＲ端末１０が取得したものであることができる。
アンカー情報記憶部１２２は、アンカー情報を記憶するために使用される。このアンカー情報記憶部１２２に記憶されるアンカー情報は、自ＭＲ端末１０が生成したもの、または、ネットワークＮＷを介してシェアリングサーバ２０からダウンロードした他のＭＲ端末１０が生成したものであることができる。
仮想情報記憶部１２３は、現実空間の３Ｄ情報に基づいて作成される現実空間の３Ｄモデルに対してマッピングされる仮想情報を記憶している。この実施形態では、仮想情報の作成方法については問わない。自ＭＲ端末１０で作成したものであっても良いし、ネットワークＮＷなどを介して外部装置からダウンロードしたものであっても構わない。
処理部１１は上記ハードウェアプロセッサ１１Ａと、上記プログラムメモリ１１Ｂとから構成され、ソフトウェアによる処理機能部として、３Ｄ情報取得部１１１と、初期設定部１１２と、表示情報生成部１１３と、３Ｄ情報変化検知部１１４と、更新情報アップロード部１１５と、を備える。これらの処理機能部は、いずれもプログラムメモリ１１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ１１Ａに実行させることにより実現される。処理部１１は、また、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（field-programmable gate array）などの集積回路を含む、他の多様な形式で実現されても良い。
３Ｄ情報取得部１１１は、３Ｄセンサ１６によって取得した現実空間の３Ｄ情報を３Ｄ情報記憶部１２１に記憶する処理を行う。
図４Ａは、初期設定部１１２の構成を示すブロック図である。この初期設定部１１２は、ルーム確認部１１２１、ルーム作成要求部１１２２、アンカー情報アップロード部１１２３、アンカー情報ダウンロード部１１２４、３Ｄ情報確認部１１２５、３Ｄ情報アップロード部１１２６、および３Ｄ情報ダウンロード部１１２７を備える。
ルーム確認部１１２１は、自ＭＲ端末１０が認識している複合現実空間がシェアリングサーバ２０で管理されているか否かを、通信インタフェース１３により通信ネットワークＮＷを介してシェアリングサーバ２０に問い合わせる処理を行う。すなわち、ルーム確認部１１２１は、自ＭＲ端末１０が認識している複合現実空間に対応するルームの有無を、シェアリングサーバ２０に問い合わせる処理を行う。この問い合わせは、ルームの名前を含む確認メッセージをシェアリングサーバ２０に送信することにより行われることができる。
ルーム作成要求部１１２２は、ルーム確認部１１２１がシェアリングサーバ２０からルーム無しの返信を受けた場合に、新しいルームを作成することを、通信インタフェース１３により通信ネットワークＮＷを介してシェアリングサーバ２０に指示する処理を行う。
アンカー情報アップロード部１１２３は、同様に、ルーム確認部１１２１がシェアリングサーバ２０からルーム無しの返信を受けた場合に、自ＭＲ端末１０が認識している複合現実空間におけるアンカー情報を生成する処理を行う。そして、アンカー情報アップロード部１１２３は、その生成したアンカー情報を、通信インタフェース１３により通信ネットワークＮＷを介してシェアリングサーバ２０にアップロードする処理を行う。またこのとき、アンカー情報アップロード部１１２３は、生成したアンカー情報を、アンカー情報記憶部１２２に記憶する処理も行う。
アンカー情報ダウンロード部１１２４は、ルーム確認部１１２１がシェアリングサーバ２０からルーム有りの返信を受けた場合に、通信インタフェース１３により通信ネットワークＮＷを介してシェアリングサーバ２０にアンカー情報の送信を要求する処理を行う。そして、アンカー情報ダウンロード部１１２４は、シェアリングサーバ２０から送信されてくるアンカー情報をダウンロードして、アンカー情報記憶部１２２に記憶する処理を行う。
３Ｄ情報確認部１１２５は、自ＭＲ端末１０が認識している複合現実空間に関する３Ｄ情報がシェアリングサーバ２０で管理されているか否かを、通信インタフェース１３により通信ネットワークＮＷを介してシェアリングサーバ２０に問い合わせる処理を行う。
３Ｄ情報アップロード部１１２６は、３Ｄ情報確認部１１２５がシェアリングサーバ２０から３Ｄ情報無しによる３Ｄ情報の送信要求を返信として受けた場合に、３Ｄ情報記憶部１２１に記憶されている現実空間の３Ｄ情報を、通信ネットワークＮＷを介してシェアリングサーバ２０にアップロードする処理を行う。
３Ｄ情報ダウンロード部１１２７は、３Ｄ情報確認部１１２５がシェアリングサーバ２０から３Ｄ情報有りによる他のＭＲ端末１０がアップロードした現実空間の３Ｄ情報を返信として受けた場合に、通信インタフェース１３により通信ネットワークＮＷを介してシェアリングサーバ２０から該当３Ｄ情報をダウンロードする処理を行う。３Ｄ情報ダウンロード部１１２７は、このダウンロードした現実空間の３Ｄ情報を、３Ｄ情報記憶部１２１に記憶する処理を行う。
表示情報生成部１１３は、３Ｄ情報記憶部１２１に記憶されている現実空間の３Ｄ情報に基づいて現実空間の３Ｄモデルを作成する処理を行う。さらに、表示情報生成部１１３は、その作成した３Ｄモデルに対して、仮想情報記憶部１２３に記憶されている仮想情報に対応する仮想物体をマッピングすることによって、仮想空間と現実空間とを混合して複合現実空間を構築する処理を行う。この際、表示情報生成部１１３は、アンカー情報記憶部１２２に記憶されているアンカー情報を基に計算された座標からの相対位置に、仮想物体を配置する。そして、表示情報生成部１１３は、この構築した複合現実空間を表示装置１５によりユーザに提示する処理を行う。
３Ｄ情報変化検知部１１４は、３Ｄ情報取得部１１１が取得した現時点における現実空間の３Ｄ情報と、３Ｄ情報記憶部１２１に記憶されている現実空間の３Ｄ情報と、に基づいて３Ｄ情報の変化の有無を検知する処理を行う。３Ｄ情報変化検知部１１４は、３Ｄ情報に変化が有ることが検知された際に、３Ｄ情報取得部１１１が取得した現時点における現実空間の３Ｄ情報を、３Ｄ情報記憶部１２１に更新記憶する処理を行う。さらに、３Ｄ情報変化検知部１１４は、３Ｄ情報に変化が有ることが検知された際には、その現時点における現実空間の３Ｄ情報を更新情報アップロード部１１５に供給する処理を行う。但しこの場合、３Ｄ情報変化検知部１１４は、現時点における現実空間の３Ｄ情報のすべてではなく、詳細は後述するように、変化が検出された部分に対応する一部の３Ｄ情報のみを更新情報アップロード部１１５に供給する。
更新情報アップロード部１１５は、３Ｄ情報変化検知部１１４から供給された現時点における現実空間の３Ｄ情報の変化部分の情報を、通信インタフェース１３により通信ネットワークＮＷを介してシェアリングサーバ２０にアップロードする処理を行う。
なお、本発明のＭＲ端末１０の処理部１１は、コンピュータであるプロセッサ１１Ａとプログラムメモリ１１Ｂに記憶されたプログラムによって実現されるものであるが、このプログラムを、非一時的なコンピュータ可読媒体に記録して、あるいは、ネットワークを通して、ＭＲ端末１０に提供することも可能である。こうして提供されたプログラムは、プログラムメモリ１１Ｂに格納されることができる。あるいは、提供されたプログラムは、ストレージであるデータメモリ１２に格納されて、必要に応じてプロセッサ１１Ａで実行されることで、プロセッサ１１Ａが処理部１１として機能することも可能である。
（３）シェアリングサーバ
（３－１）ハードウェア構成
図５は、図１に示したシェアリングサーバ２０のハードウェア構成の一例を示すブロック図である。
シェアリングサーバ２０は、例えばサーバコンピュータやパーソナルコンピュータ等からなり、例えば、ＣＰＵ等のハードウェアプロセッサ２１Ａを有する。そして、このハードウェアプロセッサ２１Ａに対し、プログラムメモリ２１Ｂ、データメモリ２２、通信インタフェース２３を、バス２４を介して接続したものとなっている。
プログラムメモリ２１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとを組み合わせて使用したもので、各種処理を実行するために必要なプログラムが格納されている。
データメモリ２２は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ等の揮発性メモリとを組み合わせて使用したもので、各種処理を行う過程で取得および作成されたデータを記憶するために用いられる。
通信インタフェース２３は、通信ネットワークＮＷを介してＭＲ端末１０との間でデータの送受信を可能にする。通信プロトコルは、通信ネットワークＮＷで規定されるプロトコルが使用される。通信インタフェース２３としては、例えば有線ＬＡＮが使用される。通信インタフェース２３は、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの小電力無線データ通信規格を採用したインタフェースが使用されても良い。
（３－２）ソフトウェア構成
図６は、図１に示したシェアリングサーバ２０のソフトウェア構成を、図５に示したハードウェア構成と関連付けて示すブロック図である。
シェアリングサーバ２０は、上述のように、通信ネットワークＮＷを介して複数のＭＲ端末１０＃１，１０＃２，…，１０＃ｎと通信可能である。
データメモリ２２の記憶領域は、共有情報記憶部２２１を備える。この共有情報記憶部２２１は、一つのＭＲ端末１０から送信された３Ｄ情報およびアンカー情報を関連付けて作成したルームに関する共有情報を記憶するために使用される。
処理部２１は上記ハードウェアプロセッサ２１Ａと、上記プログラムメモリ２１Ｂとから構成され、ソフトウェアによる処理機能部として、ルーム管理部２１１、ルーム作成部２１２、アンカー情報共有部２１３、３Ｄ情報管理部２１４、３Ｄ情報共有部２１５、および更新情報管理部２１６を備える。これらの処理機能部は、いずれもプログラムメモリ２１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ２１Ａに実行させることにより実現される。処理部２１は、また、ＡＳＩＣやＦＰＧＡなどの集積回路を含む、他の多様な形式で実現されても良い。
ルーム管理部２１１は、何れかのＭＲ端末１０のルーム確認部１１２１から通信ネットワークＮＷを介して送信されてくるルームの名前を含む確認メッセージを受信すると、共有情報記憶部２２１に当該ルームの共有情報が記憶されているか否かを確認する処理を行う。そして、ルーム管理部２１１は、その確認結果を、通信インタフェース１３により通信ネットワークＮＷを介してメッセージの送信元のＭＲ端末１０へ返信する処理を行う。なおこの時、共有情報記憶部２２１に当該ルームの共有情報が記憶されている場合には、ルーム管理部２１１は、確認メッセージを送信したＭＲ端末１０を特定するＩＤ情報を、共有情報記憶部２２１に記憶されている当該ルームの共有情報に登録することで、当該ＭＲ端末１０とそのルームとを紐づける。以降ではこの処理を、「ＭＲ端末１０をルームに入れる」と表現する。ＭＲ端末１０のＩＤ情報は、確認メッセージに含めてＭＲ端末１０から送信することができる。
ルーム作成部２１２は、何れかのＭＲ端末１０のルーム作成要求部１１２２から通信ネットワークＮＷを介して送信されてくる、新しいルームの作成指示を受信すると、新しいルームを作成する処理を行う。すなわち、ルーム作成部２１２は、共有情報記憶部２２１に、その新しいルームの共有情報を記憶するためのエリアを確保する処理を行う。
アンカー情報共有部２１３は、何れかのＭＲ端末１０のアンカー情報アップロード部１１２３から通信ネットワークＮＷを介して送信されてくる、新しいルームに関するアンカー情報を受信すると、それを共有情報記憶部２２１に確保した当該新しいルームの共有情報を記憶するためのエリアに記憶する処理を行う。これにより、受信したアンカー情報が、新しいルームに紐づけられる。また、アンカー情報共有部２１３は、共有情報記憶部２２１に既に共有情報が記憶されているルームに入っている何れかのＭＲ端末１０のアンカー情報ダウンロード部１１２４から通信ネットワークＮＷを介して送信されてくる、アンカー情報の送信要求を受信すると、当該ルームに紐づけられているアンカー情報を共有情報記憶部２２１から読み出す。そして、アンカー情報共有部２１３は、その読み出したアンカー情報を、通信インタフェース１３により通信ネットワークＮＷを介して要求元のＭＲ端末１０へ送信する処理を行う。
３Ｄ情報管理部２１４は、ルームに入っている何れかのＭＲ端末１０の３Ｄ情報確認部１１２５から通信ネットワークＮＷを介して送信されてくる、そのルームについての共有対象の現実空間の３Ｄ情報がシェアリングサーバ２０で管理されているか否かの問い合わせを受信すると、それが共有情報記憶部２２１に記憶されているか否かを確認する処理を行う。そして、３Ｄ情報管理部２１４は、その確認の結果、該当する３Ｄ情報が記憶されていれば、それを通信インタフェース１３により通信ネットワークＮＷを介して問い合わせ元のＭＲ端末１０へ送信する処理を行う。
３Ｄ情報共有部２１５は、ルームに入っている何れかのＭＲ端末１０の３Ｄ情報アップロード部１１２６から通信ネットワークＮＷを介してアップロードされてくる３Ｄ情報を受信すると、それを共有情報記憶部２２１の該当ルームの共有情報として記憶する処理を行う。また、３Ｄ情報管理部２１４がＭＲ端末１０から問い合わせを受けた３Ｄ情報が共有情報記憶部２２１に記憶されていることを確認した場合には、３Ｄ情報共有部２１５は、その３Ｄ情報を共有情報記憶部２２１から読み出して、通信インタフェース１３により通信ネットワークＮＷを介して問い合わせ元のＭＲ端末１０へ送信する処理を行う。
更新情報管理部２１６は、ルームに入っている何れかのＭＲ端末１０の更新情報アップロード部１１５から通信ネットワークＮＷを介してアップロードされてくる現時点における現実空間の３Ｄ情報の変化部分の情報を受信すると、共有情報記憶部２２１に該当ルームの共有情報として記憶されている現実空間の３Ｄ情報の該当箇所を、その受信した情報に更新する処理を行う。
なお、本発明のシェアリングサーバ２０の処理部２１は、コンピュータであるプロセッサ２１Ａとプログラムメモリ２１Ｂに記憶されたプログラムによって実現されるものであるが、このプログラムを、非一時的なコンピュータ可読媒体に記録して、あるいは、ネットワークを通して、シェアリングサーバ２０に提供することも可能である。こうして提供されたプログラムは、プログラムメモリ２１Ｂに格納されることができる。あるいは、提供されたプログラムは、ストレージであるデータメモリ２２に格納されて、必要に応じてプロセッサ２１Ａで実行されることで、プロセッサ２１Ａが処理部２１として機能することも可能である。
（動作）
次に、以上のように構成された複合現実空間共有システムの動作を説明する。図７Ａ乃至図７Ｃは、ＭＲ端末１０のプロセッサ１１Ａ（処理部１１）における処理の動作例を示す一連のフローチャートと、シェアリングサーバ２０のプロセッサ２１Ａ（処理部２１）における処理の動作例を示す一連のフローチャートと、を示す図である。これらのフローチャートは、複数のＭＲ端末間での複合現実空間の共有に係わる処理の部分についてのみを示している。
ここで、ＭＲ端末１０が所定の手順により既に通信ネットワークＮＷを介してシェアリングサーバ２０に接続している状態にあるものとする。すなわち、シェアリングサーバ２０に接続したＭＲ端末１０のプロセッサ１１Ａは、まず、初期設定部１１２のルーム確認部１１２１により、自ＭＲ端末１０が認識している複合現実空間がシェアリングサーバ２０で管理されているか否か、すなわち、自ＭＲ端末１０が認識している複合現実空間に対応するルームの有無を、シェアリングサーバ２０に問い合わせる。この問い合わせは、当該ルームの名前を含む確認メッセージをシェアリングサーバ２０に送信することにより行われる（ステップＳ１０１）。その後、プロセッサ１１Ａは、ルーム確認部１１２１により、シェアリングサーバ２０からの返信を待つことになる（ステップＳ１０２）。
シェアリングサーバ２０のプロセッサ２１Ａは、後述するステップＳ２０１、ステップＳ２１１、ステップＳ２１７の処理ループにおいて、ＭＲ端末１０からの受信待ちとなっている。
シェアリングサーバ２０のプロセッサ２１Ａは、ルーム管理部２１１により、何れかのＭＲ端末１０のルーム確認部１１２１からルームの名前を含む確認メッセージを受信すると（ステップＳ２０１のＹＥＳ）、データメモリ２２の共有情報記憶部２２１に、該当するルームの共有情報が記憶されているか否かを確認する（ステップＳ２０２）。この時、共有情報記憶部２２１に該当ルームの共有情報が記憶されている場合には、プロセッサ２１Ａは、ルーム管理部２１１により、メッセージ送信元のＭＲ端末１０と該当ルームとを紐づける、すなわち、メッセージ送信元のＭＲ端末１０を該当ルームに入れる。そして、プロセッサ２１Ａは、ルーム管理部２１１により、その確認結果を、メッセージ送信元のＭＲ端末１０へ返信する（ステップＳ２０３）。
その後、プロセッサ２１Ａは、上記ステップＳ２０２での確認の結果が該当ルーム有りであったか否かを判断する（ステップＳ２０４）。ここで、該当ルーム有りの確認結果であった場合には（ステップＳ２０４のＹＥＳ）、プロセッサ２１Ａは、処理を後述するステップＳ２０９に進める。これに対して、上記ステップＳ２０２での確認の結果が該当ルーム無しであった場合には（ステップＳ２０４のＮＯ）、プロセッサ２１Ａは、ルーム作成部２１２により、上記メッセージ送信元のＭＲ端末１０からのルーム作成要求を受信するのを待つことになる（ステップＳ２０５）。
メッセージ送信元のＭＲ端末１０のプロセッサ１１Ａは、ルーム確認部１１２１により、シェアリングサーバ２０から返信を受信すると（ステップＳ１０２のＹＥＳ）、その返信内容が該当ルーム有りであったか否かを判断する（ステップＳ１０３）。該当ルームが有ったという返信であった場合には（ステップＳ１０３のＹＥＳ）、プロセッサ１１Ａは、処理を後述するステップＳ１０７に進める。これに対して、該当ルームが無いという返信を受けた場合には（ステップＳ１０３のＮＯ）、プロセッサ１１Ａは、初期設定部１１２におけるルーム作成要求部１１２２により、シェアリングサーバ２０上に該当ルーム名を持つ新しいルームを作成するよう、シェアリングサーバ２０にルーム作成要求を送信する（ステップＳ１０４）。
シェアリングサーバ２０のプロセッサ２１Ａは、ルーム作成部２１２がＭＲ端末１０からのルーム作成要求を受信すると（ステップＳ２０５のＹＥＳ）、ルーム作成部２１２により、要求された新しいルームを作成する（ステップＳ２０６）。すなわち、プロセッサ２１Ａは、ルーム作成部２１２により、共有情報記憶部２２１に、その要求された新しいルームの共有情報を記憶するためのエリアを確保する。その後、プロセッサ２１Ａは、アンカー情報共有部２１３により、ＭＲ端末１０からの新しいルームに関するアンカー情報を受信するのを待つことになる（ステップＳ２０７）。
メッセージ送信元のＭＲ端末１０のプロセッサ１１Ａは、上記ステップＳ１０４でシェアリングサーバ２０にルーム作成要求を送信した後に、アンカー情報アップロード部１１２３により、自ＭＲ端末１０が認識している複合現実空間におけるアンカー情報を計算により生成して、データメモリ１２のアンカー情報記憶部１２２に記憶する（ステップＳ１０５）。そして、プロセッサ１１Ａは、この生成したアンカー情報をアンカー情報アップロード部１１２３により、シェアリングサーバ２０へアップロードする（ステップＳ１０６）。その後は、プロセッサ１１Ａは、処理を後述するステップＳ１１３に進める。
シェアリングサーバ２０のプロセッサ２１Ａは、アンカー情報共有部２１３により、新しいルームに関するアンカー情報を受信すると（ステップＳ２０７のＹＥＳ）、アンカー情報共有部２１３により、その受信したアンカー情報を共有情報記憶部２２１に登録する（ステップＳ２０８）。すなわち、プロセッサ２１Ａは、アンカー情報共有部２１３により、共有情報記憶部２２１に確保した当該新しいルームの共有情報を記憶するためのエリアに、受信したアンカー情報を記憶することで、そのアンカー情報を新しいルームに紐づける。その後は、プロセッサ２１Ａは、処理を後述するステップＳ２１４に進める。
一方、ＭＲ端末１０のプロセッサ１１Ａは、上記ステップＳ１０３において、シェアリングサーバ２０から該当ルームが有ったという返信を受けた場合には（ステップＳ１０３のＹＥＳ）、アンカー情報ダウンロード部１１２４により、シェアリングサーバ２０へ該当ルームのアンカー情報の送信を要求する（ステップＳ１０７）。そして、プロセッサ１１Ａは、アンカー情報ダウンロード部１１２４により、シェアリングサーバ２０からのアンカー情報を受信するのを待つことになる（ステップＳ１０８）。
シェアリングサーバ２０のプロセッサ２１Ａは、上記ステップＳ２０４において、該当ルーム有りの確認結果であった場合には（ステップＳ２０４のＹＥＳ）、アンカー情報共有部２１３により、共有情報記憶部２２１に既に共有情報が記憶されているルームに入っている何れかのＭＲ端末１０からアンカー情報の送信要求を受信するのを待つこととなる（ステップＳ２０９）。そして、ＭＲ端末１０からアンカー情報の送信要求を受信すると（ステップＳ２０９のＹＥＳ）、プロセッサ２１Ａは、アンカー情報共有部２１３により、当該ルームに紐づけられているアンカー情報を共有情報記憶部２２１から読み出して、それを要求元のＭＲ端末１０へ送信する（ステップＳ２１０）。こうして、同じルームに入っている別のＭＲ端末１０からアンカー情報の要求を受信した場合、プロセッサ２１Ａは、アンカー情報をそのＭＲ端末１０へ送信する。
ＭＲ端末１０のプロセッサ１１Ａは、上記ステップＳ１０８において、シェアリングサーバ２０からアンカー情報を受信すると（ステップＳ１０８のＹＥＳ）、アンカー情報ダウンロード部１１２４により、そのアンカー情報をダウンロードして、データメモリ１２のアンカー情報記憶部１２２に記憶することで、自ＭＲ端末１０が認識している複合現実空間に、ダウンロードしたアンカー情報を取り付ける（ステップＳ１０９）。これにより、同じルームに入ったＭＲ端末１０は同じアンカー情報を取得でき、結果として、同じ複合現実空間を見ることができるようになる。
以上のようにして、アンカー情報を共有した後、ＭＲ端末１０のプロセッサ１１Ａは、シェアリングサーバ２０に対して、共有対象の現実空間の３Ｄ情報がアップロードされているか否かを確認する。すなわち、プロセッサ１１Ａは、３Ｄ情報確認部１１２５により、自ＭＲ端末１０が認識している複合現実空間に関する３Ｄ情報がシェアリングサーバ２０で管理されているか否かの問い合わせを、シェアリングサーバ２０に送信する（ステップＳ１１０）。
シェアリングサーバ２０のプロセッサ２１Ａは、上記ステップＳ２１０においてアンカー情報を送信後、３Ｄ情報管理部２１４により、ルームに入っている何れかのＭＲ端末１０の３Ｄ情報確認部１１２５から、そのルームについての共有対象の現実空間の３Ｄ情報についての問い合わせを受信したか否かを判断する（ステップＳ２１１）。そのような問い合わせを受信していない場合には（ステップＳ２１１のＮＯ）、プロセッサ２１Ａは、処理を後述するステップＳ２１７に進める。これに対して、そのような問い合わせを受信したときには（ステップＳ２１１のＹＥＳ）、プロセッサ２１Ａは、３Ｄ情報管理部２１４により、そのルームについての共有対象の現実空間の３Ｄ情報がデータメモリ２２の共有情報記憶部２２１に記憶されているか否かを確認する（ステップＳ２１２）。そして、該当する３Ｄ情報が共有情報記憶部２２１に記憶されていない場合には（ステップＳ２１２のＮＯ）、プロセッサ２１Ａは、処理を後述するステップＳ２１４に進める。該当する３Ｄ情報が共有情報記憶部２２１に記憶されている場合には（ステップＳ２１２のＹＥＳ）、プロセッサ２１Ａは、３Ｄ情報管理部２１４により、共有情報記憶部２２１から該当する３Ｄ情報を読み出して、それを問い合わせ元のＭＲ端末１０へ送信する（ステップＳ２１３）。その後は、プロセッサ２１Ａは、処理を後述するステップＳ２１７に進める。
ＭＲ端末１０のプロセッサ１１Ａは、上記ステップＳ１１０において３Ｄ情報についての問い合わせを送信した後、シェアリングサーバ２０からの３Ｄ情報のダウンロード待ちとなっている（ステップＳ１１１）。シェアリングサーバ２０から３Ｄ情報が送信されてくると（ステップＳ１１１のＹＥＳ）、プロセッサ１１Ａは、３Ｄ情報ダウンロード部１１２７により、その３Ｄ情報をダウンロードして、データメモリ１２の３Ｄ情報記憶部１２１に記憶する（ステップＳ１１２）。こうして、ＭＲ端末１０は、現実空間をセンシングすることなく、他のＭＲ端末１０がセンシングしてアップロードした現実空間の３Ｄ情報を認識することができる。その後、プロセッサ１１Ａは、処理を後述するステップＳ１１６に進める。
一方、３Ｄ情報がアップロードされていない場合、または新たにルームを作成した場合には、対象の現実空間をＭＲ端末１０でセンシングする必要がある。シェアリングサーバ２０のプロセッサ２１Ａは、上記ステップＳ２１２において、該当する３Ｄ情報が共有情報記憶部２２１に記憶されていない場合には（ステップＳ２１２のＮＯ）、３Ｄ情報管理部２１４により、問い合わせ元のＭＲ端末１０へ対象の現実空間の３Ｄ情報のアップロードを要求する３Ｄ情報要求を送信する（ステップＳ２１４）。その後、プロセッサ２１Ａは、３Ｄ情報共有部２１５により、当該ＭＲ端末１０からの３Ｄ情報を受信するのを待つこととなる（ステップＳ２１５）。
ＭＲ端末１０のプロセッサ１１Ａは、上記ステップＳ１０６においてアンカー情報をアップロードした後、３Ｄ情報確認部１１２５により、シェアリングサーバ２０から３Ｄ情報要求を受信したか否かを判断する（ステップＳ１１３）。３Ｄ情報要求を受信していない場合には（ステップＳ１１３のＮＯ）、プロセッサ１１Ａは、処理を後述するステップＳ１１６に進める。これに対して、３Ｄ情報要求を受信した場合には（ステップＳ１１３のＹＥＳ）、プロセッサ１１Ａは、３Ｄ情報確認部１１２５により、例えば、表示装置１５または図示しないスピーカなどにより、シェアリングサーバ２０上に３Ｄ情報が無いことをユーザに通知し、ユーザに対象の現実空間をＭＲ端末１０でセンシングさせることで、３Ｄ情報を取得させる（ステップＳ１１４）。３Ｄセンサ１６により取得された３Ｄ情報は、３Ｄ情報取得部１１１により、データメモリ１２の３Ｄ情報記憶部１２１に記憶される。その後、プロセッサ１１Ａは、３Ｄ情報アップロード部１１２６により、３Ｄ情報記憶部１２１に記憶した３Ｄ情報をシェアリングサーバ２０にアップロードする（ステップＳ１１５）。
シェアリングサーバ２０のプロセッサ２１Ａは、上記ステップＳ２１５において、ＭＲ端末１０からの３Ｄ情報を受信すると（ステップＳ２１５のＹＥＳ）、３Ｄ情報共有部２１５により、その３Ｄ情報をデータメモリ２２の共有情報記憶部２２１の該当ルームの共有情報として記憶する（ステップＳ２１６）。
以上のようにして、各ＭＲ端末１０は、同じルームに入って、共有対象の現実空間の形状を一通り把握することができる。すなわち、過去にセンシングされたことがある現実空間であれば、再度別のＭＲ端末１０で当該空間をセンシングすることなく、その空間の形状をＭＲ端末１０が認識できる。よって、各ＭＲ端末１０のプロセッサ１１Ａは、表示情報生成部１１３により、３Ｄ情報記憶部１２１に記憶されている現実空間の３Ｄ情報と仮想情報記憶部１２３に記憶されている仮想情報とに基づく複合現実空間を構築して、それを表示装置１５によりユーザに提示することができる。
図８は、二つのＭＲ端末１０（第１のＭＲ端末１０＃１、第２のＭＲ端末１０＃２）間での現実空間の３Ｄ情報の共有処理を説明するための模式図である。図９は、二つのＭＲ端末１０間での現実空間の３Ｄ情報の共有時に共有情報管理サーバであるシェアリングサーバ２０が管理する共有情報の一例を示す図である。
例えば、対象の現実空間の形状のセンシングが完了している第１のＭＲ端末１０＃１が、未だシェアリングサーバ２０が当該現実空間に関する共有情報を管理していないルームに入ろうとしたとする。この場合は、第１のＭＲ端末１０＃１のプロセッサ１１Ａは、上記ステップＳ１０１から上記ステップＳ１０６の処理を行う。これにより、プロセッサ１１Ａは、自ＭＲ端末１０＃１が認識している複合現実空間ＣＳにおけるアンカー情報ＡＮＣ＃１を生成し、それを第１のアンカー情報ＡＮＣ＃１として、シェアリングサーバ２０にアップロードする。その後、第１のＭＲ端末１０＃１のプロセッサ１１Ａは、上記ステップＳ１１３から上記ステップＳ１１５の処理を行う。これにより、プロセッサ１１Ａは、対象の現実空間の３Ｄ情報である第１の３Ｄ情報３Ｄ＃１をシェアリングサーバ２０にアップロードすることができる。これにより、シェアリングサーバ２０の共有情報記憶部２２１には、当該ルームを示すルームＩＤ（ＲＭ＃１）に対応づけて、当該ルームに入っているＭＲ端末のＩＤ（ＴＡ＃１）と、アンカー情報（ＡＮＣ＃１）と、３Ｄ情報（３Ｄ＃１）と、が記憶されて、それらがシェアリングサーバ２０において共有情報として管理されることとなる。
その後、新しいユーザが対象の部屋などの特定のエリアに入室して、第２のＭＲ端末１０＃２を起動すると、第２のＭＲ端末１０＃２のプロセッサ１１Ａは、上記ステップＳ１０１から上記ステップＳ１０３の処理を行うことで、シェアリングサーバ２０に第２のＭＲ端末１０＃２のＩＤ（ＴＡ＃２）を登録した後、上記ステップＳ１０７へ処理を進める。そして、上記ステップＳ１０７から上記ステップＳ１０９の処理によりシェアリングサーバ２０から当該ルームのアンカー情報（ＡＮＣ＃１）をダウンロードし、さらに、上記ステップＳ１１０から上記ステップＳ１１２の処理によりシェアリングサーバ２０から当該ルームの３Ｄ情報（３Ｄ＃１）をダウンロードすることができる。第２のＭＲ端末１０＃２では、これらダウンロードしたアンカー情報ＡＮＣ＃１と３Ｄ情報３Ｄ＃１とを用いることで、第１のＭＲ端末１０＃１と座標軸を合わせて同じ複合現実空間ＣＳにおいて同じ仮想物体ＶＯを見ることができるようになる。
図１０は、さらに三つ目のＭＲ端末が加わる際の現実空間の３Ｄ情報の共有処理を説明するための模式図であり、図１１は、三つのＭＲ端末間での現実空間の３Ｄ情報の共有時に共有情報管理サーバが管理する共有情報の一例を示す図である。
その後、さらに新しいユーザが対象の部屋に入室して、第３のＭＲ端末１０＃３を起動すると、第３のＭＲ端末＃２のプロセッサ１１Ａも、上記第２のＭＲ端末１０＃２と同様にして、シェアリングサーバ２０に第３のＭＲ端末１０＃３のＩＤ（ＴＡ＃３）を登録し、シェアリングサーバ２０から当該ルームのアンカー情報（ＡＮＣ＃１）および３Ｄ情報（３Ｄ＃１）をダウンロードすることができる。したがって、第３のＭＲ端末１０＃３においても、ダウンロードしたアンカー情報ＡＮＣ＃１と３Ｄ情報３Ｄ＃１とを用いることで、第１および第２のＭＲ端末１０＃１、１０＃２と座標軸を合わせて同じ複合現実空間ＣＳにおいて同じ仮想物体ＶＯを見ることができるようになる。
このように、対象の現実空間の３Ｄ情報をもつ第１のＭＲ端末１０＃１がアップロードしたアンカー情報（ＡＮＣ＃１）と３Ｄ情報（３Ｄ＃１）により、第２および第３のＭＲ端末１０＃２、１０＃３は、第１のＭＲ端末１０＃１と同じ絶対座標と座標軸を認識しつつ、現実空間をセンシングすることなく、その空間の３Ｄ情報を認識することができる。したがって、第２のＭＲ端末１０＃２および第３のＭＲ端末１０＃３では、短時間で、複合現実空間を利用できるようになる。
一般に、処理時間が１秒を超えるとユーザは遅いと感じ始め、処理時間が１０秒を超えてくると、ユーザは、注意を向け続けることが困難になると言われている（例えば、“Response Time Limits: Article by Jakob Nielsen”［Online］、［令和１年６月２４日検索］、インターネット＜URL: https://www.nngroup.com/articles/response-times-3-important-limits/＞参照）。本実施形態によれば、例えば、第１のＭＲ端末１０＃１となるＨｏｌｏＬｅｎｓとＷｉ－Ｆｉ接続しているノートＰＣ（メモリ：１６ＧＢ、ＣＰＵ：Ｉｎｔｅｌ Ｃｏｒｅ ｉ７ ２．８ＧＨｚ、ＯＳ：Ｗｉｎｄｏｗｓ（登録商標）１０ ６４ｂｉｔ）をシェアリングサーバ２０とし、このシェアリングサーバ２０へ第１のＭＲ端末１０＃１から１．５６ＭＢの３Ｄ情報（点数：約５万個）をＨＴＴＰ通信でアップロードした場合、約１．５秒を要する。また、シェアリングサーバ２０から同じ３Ｄ情報を第２のＭＲ端末１０＃２となるＨｏｌｏＬｅｎｓにＨＴＴＰ通信でダウンロードした場合、約０．５秒を要する。この結果より、例えば部屋全体のセンシングに１分を要する場合、本実施形態では、従来の各ＭＲ端末１０でセンシングを行う場合に比べて、約１分早く複合現実空間の共有を開始できることとなる。
このような状況において、現実空間は、机や椅子の位置が変わったり、人の立ち位置が変わったりなど、その形状が頻繁に変化する。その形状変化に応じてシェアリングサーバ２０にアップロードされた現実空間の３Ｄ情報が更新されないと、その変化した形状とは異なる形状を示す３Ｄ情報がＭＲ端末１０へ送信されてしまうことになる。その結果、そのような味情報をダウンロードしたＭＲ端末１０では、複合現実空間を利用した際に、仮想情報が現実空間の形状を無視して表示されてしまうという課題が発生する。すなわち、現実空間は、人や物の移動により頻繁に形状が変化するため、違和感なく複合現実空間を形成するためには、常に最新の現実空間の３Ｄ情報を更新しておく必要がある。しかしながら、現実空間全体の３Ｄ情報の更新を行うと、その都度、処理に時間がかかってしまう。そこで、本実施形態では、以下のようにして、シェアリングサーバ２０にアップロードされた現実空間の３Ｄ情報を更新する。
ＭＲ端末１０のプロセッサ１１Ａは、３Ｄ情報取得部１１１により、ユーザが向いている方向を３Ｄセンサ１６によりセンシングした現実空間の形状を例えば周期Ｔ秒で再取得する（ステップＳ１１６）。さらに、プロセッサ１１Ａは、３Ｄ情報変化検知部１１４により、その取得した現実空間の３Ｄ情報とデータメモリ１２の３Ｄ情報記憶部１２１に記憶されている前回取得した３Ｄ情報とを比較し、形状の変化が有ったかどうか判断する（ステップＳ１１７）。例えば、ＨｏｌｏＬｅｎｓなどのＭＲ端末１０では、現実空間の形状を点と面の集合（点群データ）として認識する。図１２は、センシング対象の現実物体ＲＯである箱と当該箱の３Ｄ情報３ＤＩとを示す図である。例えば、図１２に示すような箱をＨｏｌｏＬｅｎｓでセンシングした場合、ＨｏｌｏＬｅｎｓは、それを点と面の集合として認識する。よって、プロセッサ１１Ａは、３Ｄ情報変化検知部１１４により、３Ｄ情報３ＤＩに含まれる点と面の数を確認し、それらを前回取得したときのそれらの数と比較して、点または面の数が、前回取得したときの値から閾値以上変化しているか否かにより、形状変化の有無を判断する。形状変化が無いと判断した場合には（ステップＳ１１７のＮＯ）、プロセッサ１１Ａは、上記ステップＳ１１６から処理を繰り返す。
これに対して、形状変化が有ると判断した場合には（ステップＳ１１７のＹＥＳ）、プロセッサ１１Ａは、更新情報アップロード部１１５により、その形状に変化が有ったと判断した現実空間の３Ｄ情報の変化部分の情報を、更新情報としてシェアリングサーバ２０へアップロードする（ステップＳ１１８）。その後、プロセッサ１１Ａは、上記ステップＳ１１６から処理を繰り返す。
なお、プロセッサ１１Ａは、３Ｄ情報取得部により現時点に取得した現実空間の３Ｄ情報を、常に３Ｄ情報記憶部１２１に記憶するのではなく、３Ｄ情報変化検知部１１４によって形状変化が有ったと判断したときにのみ記憶するようにしても良い。これにより、プロセッサ１１Ａの処理時間の短縮化が図れると共に、３Ｄ情報記憶部１２１の記憶内容更新に伴うメモリ寿命の浪費を削減することが可能となる。
一方、シェアリングサーバ２０のプロセッサ２１Ａは、更新情報管理部２１６により、ルームに入っている何れかのＭＲ端末１０からアップロードされてくる現時点における現実空間の３Ｄ情報の更新情報を受信したかどうか判断する（ステップＳ２１７）。更新情報を受信していないと判断した場合（ステップＳ２１７のＮＯ）、プロセッサ２１Ａは、上記ステップＳ２０１から処理を繰り返す。これに対して、更新情報を受信したと判断した場合には（ステップＳ２１７のＹＥＳ）、プロセッサ２１Ａは、更新情報管理部２１６により、その受信した現時点における現実空間の３Ｄ情報の変化部分の情報によって、共有情報記憶部２２１に該当ルームの共有情報として記憶されている現実空間の３Ｄ情報の該当箇所を更新する（ステップＳ２１８）。その後、プロセッサ２１Ａは、上記ステップＳ２０１から処理を繰り返す。
ここで、更新情報について説明する。図１３は、現実空間の３Ｄ情報のアップロードを説明するための模式図である。ＨｏｌｏＬｅｎｓをはじめとするＭＲ端末１０が取得した３Ｄ情報は、図１３に示すように、ＭＲ端末１０内部で複数のグループ（この例ではａ～ｇ）に分かれている。本実施形態では、このグループに合わせて、対象の複合現実空間ＣＳを複数の部分空間ＰＳに分けて管理し、その部分空間ごとに、形状が変化したか否かを判断する。ここで、図中の矢印に従って現実物体ＲＯである椅子が移動した場合、部分空間ＰＳｂと部分空間ＰＳｆの形状が変化する。センシング機能を持ったＭＲ端末１０が、この空間の形状の変化を検知した場合、部分空間ＰＳｂおよびＰＳｆの３Ｄ情報３Ｄｂ、３Ｄｆとその取得時刻を、更新情報としてシェアリングサーバ２０へアップロードする。これにより、現実空間の形状が変わるたびに、シェアリングサーバ２０で管理するその３Ｄ情報を更新することができる。
ここで、３Ｄ情報が変化したか否かをＭＲ端末１０が検知するためには、形状が変わる前の３Ｄ情報と、形状が変化した後の３Ｄ情報との比較が必要となる。３Ｄ情報の比較方法の一つとして、二つの３Ｄ情報がもつ点群間の距離が最小となる、点と点の組み合わせを探索する方法がある。これは、点群Ａ内の点ａｉに最も近い点を、比較対象の点Ｂの中から探索する処理を、すべての点に対して行う方法であり、Ｏ（Ｎ２）の計算量となる。そのため、現実空間のように点の数が多い３Ｄ情報同士を比較する場合、非常に処理時間が長くなってしまう。その結果、形状の変化が頻繁に発生すると、形状の変化に対して３Ｄ情報の更新が追い付かなくなるという課題がある。
そこで、本実施形態では、点同士の比較をするのではなく、３Ｄ情報に含まれる点・面の数の増減のみを確認するという軽量な処理のみで、現実空間の形状の変化を検知する。具体的には、ＭＲ端末１０がＴ秒間隔で空間の形状をセンシングし、そのたびに自身が認識した３Ｄ情報の点と面の数を記録する。そして、その変化量の絶対値が閾値以上になった場合に、現実空間の形状が変化したと判断する。各３Ｄ情報内の点・面の数え上げは高々Ｏ（Ｎ）の計算量であるため、３Ｄ情報の変化を高速に検知できる。この例を、図１４を用いて説明する。図１４は、図３中の３Ｄ情報変化検知部における３Ｄ情報変化検知の一例を説明するための図である。図１４では、図１２の現実物体ＲＯである箱の３Ｄ情報３ＤＩが、図中の点線が示すように複数のグループに分かれている。各グループの３Ｄ情報は、その取得時刻と各点の（ｘ，ｙ，ｚ）座標ＣＯとを含んでいる。図１４は、グループの内の一つであるグループＯｂｊ＿ａの３Ｄ情報の形状が変化した状態を示している。このグループＯｂｊ＿ａの３Ｄ情報の形状変化とともに、当該グループに該当する点の数も、図の通りｎ個からｎ－ｋ個に減少している。本実施形態では、この点の減少量（図ではｋ個）が閾値以上の場合、当該グループ内で形状が変化したものと判断し、グループＯｂｊ＿ａの３Ｄ情報のみを更新情報としてシェアリングサーバ２０へアップロードするようにしている。
（効果）
以上述べたように、一実施形態においては、シェアリングサーバ２０は、対象の部屋などの特定のエリアに最初に入ったＭＲ端末１０が現実空間をセンシングして得た３Ｄ情報とアンカー情報とを管理し、何れかのＭＲ端末１０がルームに入室しようとした際に、その管理している３Ｄ情報およびアンカー情報を当該ＭＲ端末１０に送信するようにしている。よって、シェアリングサーバ２０を介して、他のＭＲ端末１０が３Ｄ情報およびアンカー情報を取得可能となる。したがって、一度センシングされたことのある現実空間であれば、ユーザが隅々までその空間をセンシングする必要がないため、素早く複合現実空間の共有を開始することができるようになる。よって、一実施形態によれば、長い処理時間をかけることなく、複数のＭＲ端末間で対象の現実空間の３Ｄ情報を共有できるようになる。
また、一実施形態においては、ＭＲ端末１０は、現実空間をセンシングした際に、センシング前の形状との変化の有無を、３Ｄ情報に含まれる点と面の数のみを使って、計算するようにしている。よって、ＭＲ端末１０は、高速に形状の変化の有無を判断することができる。そして、変化があったと判断した場合に、ＭＲ端末１０は、その周辺の情報のみをシェアリングサーバ２０へアップロードするようにしている。これにより、少ない通信量で、シェアリングサーバ２０上の現実空間の情報がリアルタイムに更新されることができる。すなわち、一実施形態によれば、長い処理時間をかけることなく、対象の現実空間の３Ｄ情報を最新の状態に保ちつつ、複数のＭＲ端末間でその情報を共有できるようになる。
［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。
例えば、上記一実施形態では、ルームに入室している何れかのＭＲ端末１０からシェアリングサーバ２０に更新情報をアップロードすることで、これから入出してくるＭＲ端末１０に最新の現実空間の３Ｄ情報をダウンロードできるようにしている。シェアリングサーバ２０は、この更新情報のアップロードを受けたときに、送信元のＭＲ端末１０以外に更新が有ったことを通知して、それらのＭＲ端末１０でも更新情報された３Ｄ情報を利用できるようにしても良い。例えば、現実物体ＲＯに形状の変化が無い場合であっても、当該現実物体ＲＯについて、あるＭＲ端末１０ではセンシングできない場所が存在しても、当該ＭＲ端末１０とは異なる位置にいる別のＭＲ端末１０ではそれがセンシングできる場合が有る。この３Ｄ情報を予めダウンロードしておけば、当該端末が移動して現実物体ＲＯの今まで必要なかった形状の情報が必要となったときに、新たにセンシングする時間を省略することが可能になる。
また、上記一実施形態では、すべてのＭＲ端末１０が、３Ｄセンサ１６を備えるものとしたが、最初に３Ｄ情報をアップロードする第１のＭＲ端末１０＃１以外は、３Ｄセンサを有さない安価な端末としても良い。すなわち、第２および第３のＭＲ端末１０＃２、１０＃３では、現実空間をセンシングすることなく、その空間の３Ｄ情報を認識することができるので、それらＭＲ端末１０＃２、１０＃３が、現実空間の形状をセンシングする３Ｄセンサ１６を有さない端末であったとしても、現実空間の３Ｄ情報を取得することができる。よって、３Ｄセンサ１６を有さなくとも、複合現実空間を利用および共有できるようになる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。
１０，１０＃１，１０＃２，１０＃ｎ…ＭＲ端末
１１，２１…処理部
１１Ａ，２１Ａ…プロセッサ
１１Ｂ，２１Ｂ…プログラムメモリ
１２，２２…データメモリ
１３，２３…通信インタフェース
１４…入力装置
１５…表示装置
１６…３Ｄセンサ
１７，２４…バス
２０…シェアリングサーバ
１１１…３Ｄ情報取得部
１１２…初期設定部
１１３…表示情報生成部
１１４…３Ｄ情報変化検知部
１１５…更新情報アップロード部
１２１…３Ｄ情報記憶部
１２２…アンカー情報記憶部
１２３…仮想情報記憶部
２１１…ルーム管理部
２１２…ルーム作成部
２１３…アンカー情報共有部
２１４…３Ｄ情報管理部
２１５…３Ｄ情報共有部
２１６…更新情報管理部
２２１…共有情報記憶部
１１２１…ルーム確認部
１１２２…ルーム作成要求部
１１２３…アンカー情報アップロード部
１１２４…アンカー情報ダウンロード部
１１２５…３Ｄ情報確認部
１１２６…３Ｄ情報アップロード部
１１２７…３Ｄ情報ダウンロード部
３Ｄ＃１，３ＤＩ，３Ｄｂ，３Ｄｆ…３Ｄ情報
ＡＮＣ＃１…アンカー情報
ＣＯ…（ｘ，ｙ，ｚ）座標
ＣＳ…複合現実空間
ＮＷ…通信ネットワーク
ＰＳ，ＰＳｂ，ＰＳｆ…部分空間
ＲＯ…現実物体
ＶＯ…仮想物体

Claims (11)

  1. それぞれ、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複数の複合現実端末と、前記複数の複合現実端末が接続されるサーバと、を有する複合現実共有システムであって、
    前記複数の複合現実端末の内の少なくとも一つである第１端末は、
    前記現実空間をセンシングして前記３Ｄ情報を取得する３Ｄセンサと、
    前記３Ｄセンサによって取得した前記３Ｄ情報と仮想情報を固定するためのアンカー情報を生成し、前記３Ｄ情報と前記アンカー情報とを前記サーバに送信するアップロード部と、
    を有し、
    前記サーバは、
    前記第１端末から送信された前記３Ｄ情報と前記アンカー情報とを関連付けてルームを作成し、情報を管理する情報管理部と、
    前記３Ｄ情報と前記アンカー情報とを、前記複数の複合現実端末の内の前記第１端末とは異なる第２端末へ送信する共有部と、
    を有し、
    前記第２端末は、前記サーバから送信された前記３Ｄ情報と前記アンカー情報とをダウンロードするダウンロード部を有し、前記ダウンロードした前記３Ｄ情報と前記アンカー情報を用いて前記複合現実空間を作成する、
    複合現実共有システム。
  2. 前記第１端末は、前記３Ｄセンサが取得した前記３Ｄ情報を以前の情報と比較して、変化した部分のみの３Ｄ情報を更新情報として前記サーバに送信する更新情報アップロード部をさらに有し、
    前記サーバは、前記第１端末から送信された前記更新情報により、前記情報管理部が管理する情報を更新する更新情報管理部をさらに有する、請求項１に記載の複合現実共有システム。
  3. 前記第２端末は、
    前記現実空間をセンシングして前記３Ｄ情報を取得する３Ｄセンサと、
    前記３Ｄセンサが取得した前記３Ｄ情報を以前の情報と比較して、変化した部分のみの３Ｄ情報を更新情報として前記サーバに送信する更新情報アップロード部と、
    をさらに有し、
    前記サーバは、前記第２端末から送信された前記更新情報により、前記情報管理部が管理する情報を更新する更新情報管理部をさらに有する、
    請求項１に記載の複合現実共有システム。
  4. それぞれ、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複数の複合現実端末で利用される、前記複数の複合現実端末の内の少なくとも１つの端末が生成した前記３Ｄ情報と仮想情報を固定するためのアンカー情報と前記３Ｄ情報を関連付けてルームを作成し、情報を管理する情報管理部と、
    前記３Ｄ情報と前記アンカー情報とを、前記複数の複合現実端末の内の何れかからの要求に応じて、その要求元の前記複合現実端末へ送信する共有部と、
    を有する、サーバ。
  5. 前記複数の複合現実端末の内の何れかから、前記情報管理部が管理している前記３Ｄ情報に関して変化した部分があった際に送信されてくる、前記３Ｄ情報の該当部分の更新情報を受信し、前記更新情報により、前記情報管理部が管理する情報を更新する更新情報管理部をさらに有する、請求項４に記載のサーバ。
  6. 現実空間の３Ｄ情報と仮想情報を固定するためのアンカー情報とに基づいて、前記３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複合現実端末であって、
    前記現実空間をセンシングして前記３Ｄ情報を取得する３Ｄセンサと、
    前記３Ｄセンサによって取得した前記３Ｄ情報と前記アンカー情報とをサーバに送信するアップロード部と、
    前記３Ｄセンサが取得した前記３Ｄ情報を以前の情報と比較して、変化した部分のみの３Ｄ情報を更新情報として前記サーバに送信する更新情報アップロード部と、
    を有する、複合現実端末。
  7. それぞれ、現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複数の複合現実端末と、前記複数の複合現実端末が接続されるサーバと、を有する複合現実共有システムにおける複合現実空間共有方法であって、
    前記複数の複合現実端末の内の少なくとも一つである第１端末が、前記現実空間をセンシングして前記３Ｄ情報を取得し、前記３Ｄ情報と仮想情報を固定するためのアンカー情報を生成して前記３Ｄ情報と前記アンカー情報とを前記サーバにアップロードし、
    前記サーバにおいて、前記第１端末からアップロードされた前記３Ｄ情報と前記アンカー情報とを関連付けてルームを作成し、情報を管理し、
    前記複数の複合現実端末の内の前記第１端末とは異なる第２端末からの要求に応じて、前記管理している前記３Ｄ情報と前記アンカー情報とを、前記第２端末へ送信し、
    前記第２端末において、前記サーバから送信された前記３Ｄ情報と前記アンカー情報とをダウンロードして、それらダウンロードした前記３Ｄ情報と前記アンカー情報を用いて前記複合現実空間を作成する、
    複合現実空間共有方法。
  8. 現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複合現実端末であって、
    前記現実空間をセンシングして前記３Ｄ情報を取得する３Ｄセンサと、
    前記３Ｄ情報と仮想情報を固定するためのアンカー情報を生成し、前記３Ｄセンサによって取得した前記３Ｄ情報と前記アンカー情報とをサーバに送信するアップロード部と、
    を有する、複合現実端末。
  9. 現実空間の３Ｄ情報に対して仮想情報をマッピングした複合現実空間を作成し、前記複合現実空間を可視化する複合現実端末であって、
    自端末の認識する複合現実空間および当該複合現実空間に関する３Ｄ情報をサーバに問い合わせ、
    前記サーバから送信された、前記３Ｄ情報と仮想情報を固定するためのアンカー情報と前記３Ｄ情報をダウンロードするダウンロード部を有し、前記ダウンロードした前記３Ｄ情報と前記アンカー情報を用いて前記複合現実空間を作成する、
    複合現実端末。
  10. 請求項４に記載の前記サーバが行う処理を、前記サーバが備えるプロセッサに実行させる共有情報管理プログラム。
  11. 請求項６、８及び、９のうちのいずれか１つに記載の前記複合現実端末が行う処理を、前記複合現実端末が備えるプロセッサに実行させる共有情報管理プログラム。
JP2021536539A 2019-07-31 2019-07-31 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム Active JP7207549B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/030002 WO2021019723A1 (ja) 2019-07-31 2019-07-31 複合現実空間共有システム、共有情報管理サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム

Publications (2)

Publication Number Publication Date
JPWO2021019723A1 JPWO2021019723A1 (ja) 2021-02-04
JP7207549B2 true JP7207549B2 (ja) 2023-01-18

Family

ID=74229484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021536539A Active JP7207549B2 (ja) 2019-07-31 2019-07-31 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム

Country Status (3)

Country Link
US (1) US12182946B2 (ja)
JP (1) JP7207549B2 (ja)
WO (1) WO2021019723A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7835040B2 (ja) * 2022-02-21 2026-03-25 株式会社リコー 情報処理システム、通信システム、画像送信方法、プログラム
CN115934463A (zh) 2022-12-09 2023-04-07 Abb瑞士股份有限公司 用于监测和维护电力设备的健康状态的方法和电子设备
US12555333B2 (en) 2023-10-17 2026-02-17 International Business Machines Corporation Data transfer reduction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2006293604A (ja) 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4032403B2 (ja) * 1997-10-03 2008-01-16 ソニー株式会社 仮想現実空間共有システム、仮想現実空間共有方法、クライアント、データ送信方法、および、データ送信プログラムを記録した記録媒体
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
JP2018506797A (ja) * 2015-02-12 2018-03-08 ネクストブイアール・インコーポレイテッド 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
JP2018514968A (ja) * 2015-03-01 2018-06-07 ネクストブイアール・インコーポレイテッド ３ｄ画像レンダリングにおいて環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10586302B1 (en) * 2017-08-23 2020-03-10 Meta View, Inc. Systems and methods to generate an environmental record for an interactive space
US10838574B2 (en) * 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US10908769B2 (en) * 2018-04-09 2021-02-02 Spatial Systems Inc. Augmented reality computing environments—immersive media browser
US10957112B2 (en) * 2018-08-13 2021-03-23 Magic Leap, Inc. Cross reality system
EP3922011A4 (en) * 2019-02-07 2022-10-26 Magic Leap, Inc. LIGHTWEIGHT, LOW POWER, HIGH TIME RESOLUTION VIRTUAL REALITY DEVICE
US11727643B1 (en) * 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US12488384B2 (en) * 2021-05-27 2025-12-02 Shopify Inc. Build and update a virtual store based on a physical store

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2006293604A (ja) 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置

Also Published As

Publication number Publication date
US12182946B2 (en) 2024-12-31
WO2021019723A1 (ja) 2021-02-04
US20220335693A1 (en) 2022-10-20
JPWO2021019723A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
US11595477B2 (en) Cloud storage methods and systems
US12039220B2 (en) Computerized system and method for generating and dynamically updating a dashboard of multiple processes and operations across platforms
US9003424B1 (en) Snapshot view of multi-dimensional virtual environment
JP4662675B2 (ja) コンテキスト認識型のコンピューティングデバイスおよび方法
US10341424B1 (en) Annotations of objects in multi-dimensional virtual environments
TWI396991B (zh) 具像化背景
US8458600B2 (en) Distributed multi-user mashup session
US20090125481A1 (en) Presenting Media Data Associated with Chat Content in Multi-Dimensional Virtual Environments
US10636207B1 (en) Systems and methods for generating a three-dimensional map
JP2018522329A (ja) 対話型デジタルマップ上の位置にリンクされるユーザ管理オンラインページ（ＭＡＰｐａｇｅ）を作成するためのシステム及び方法
JP6905087B2 (ja) 物品探索方法、装置及びロボット
JP7207549B2 (ja) 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
US9081749B2 (en) Automatic language sensitive, event based activity feeds
JP7163855B2 (ja) 情報処理システム、情報処理端末、サーバ装置、情報処理方法およびプログラム
JP2023541116A (ja) 分散型の再構築３ｄマップへのアクセスを可能にするためのシステムおよび方法
KR20180004128A (ko) 콘텐츠를 사람과 자동으로 관련짓는 기법
KR20120001175A (ko) 상황 기반 소셜 네트워크를 이용한 사용자 상황 인지 모바일 마이크로블로깅 서비스 시스템 및 제공방법
US8595299B1 (en) Portals between multi-dimensional virtual environments
KR20230075147A (ko) 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법 및 장치
JPH08256142A (ja) コミュニケーション・ナビゲーション・システム
Daradkeh et al. Network proximity and physical web
KR20060059432A (ko) 위치-기반 메신저 시스템 및 그 서비스 방법
Gómez-Torres et al. An approach of context-aware mobile applications for Internet of Things
US20120030279A1 (en) Systems and Methods for Enabling Places and Objects with Virtual Services
KR101551387B1 (ko) 인터페이스 제공 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7207549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350