JP2018000577A - 情報処理方法、システム - Google Patents

Abstract

【課題】 仮想情報が重畳された現実世界を観察してゲームをプレイするユーザが複数人存在するような場合に、第１のユーザに第２のユーザに係る情報を提示するための技術を提供すること。【解決手段】 サーバ装置は第１の頭部装着型表示装置に対し、該第１の頭部装着型表示装置とは異なる第２の頭部装着型表示装置の位置情報を送信し、第１の頭部装着型表示装置は、第１の頭部装着型表示装置の位置情報とサーバ装置から受信した第２の頭部装着型表示装置の位置情報とに基づき、表示画面上にオブジェクトを表示する。【選択図】図１

Description

本発明は、ネットワークを介したゲームに係る技術に関するものである。

近年、複数人のユーザがネットワークを介して遊ぶゲーム、所謂オンラインゲームが多数開発されている。また近年では、現実世界に仮想情報を重ねてユーザに提示する技術、所謂ＡＲ（Augmented Reality）技術も普及しつつある。例えばユーザは自身の頭部に特許文献１に開示されているようなヘッドマウント型装置を装着することで、仮想情報が重畳された現実空間を観察することができる。

特開2016-5125号公報

仮想情報が重畳された現実世界を観察してゲームを進めるユーザが複数人存在するようなオンラインゲームシステムにおいて、自分以外のユーザの存在を何らかの方法で通知することは有益である。そこで本発明は、仮想情報が重畳された現実世界を観察してゲームをプレイするユーザが複数人存在するような場合に、第１のユーザに第２のユーザに係る情報を提示するための技術を提供する。

本発明に係る情報処理方法は、サーバ装置は第１の頭部装着型表示装置に対し、該第１の頭部装着型表示装置とは異なる第２の頭部装着型表示装置の位置情報を送信し、前記第１の頭部装着型表示装置は、前記第１の頭部装着型表示装置の位置情報と前記サーバ装置から受信した前記第２の頭部装着型表示装置の位置情報とに基づく表示画面上の位置にオブジェクトを表示する情報処理方法である。

本発明によって、仮想情報が重畳された現実世界を観察してゲームをプレイするユーザが複数人存在するような場合に、第１のユーザに第２のユーザに係る情報を提示するための技術を提供することができる。

システムの構成例を示す図。 サーバ装置１９０が管理している情報の構成例を示す図。 システムの動作を表すフローチャート。 ゲーム情報の一例を示す図。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。

［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。ユーザ１０１，１０２のそれぞれの頭部には、光学シースルー方式の頭部装着型表示装置であるＨＭＤ（Head Mounted Display）１０１ａ、１０２ａが装着されている。ＨＭＤ１０１ａ、１０２ａは何れも、サーバ装置１９０が提供するオンラインゲームに参加している。なお、以下では図１に示す如く、ユーザの数を２としているが、ユーザの数を２以上としても良い。

ＨＭＤ１０１ａ、１０２ａの表示画面には、サーバ装置１９０から送信されたオブジェクト（ゲームキャラクタ、各種の文字情報等）が表示される。ユーザ１０１，１０２はそれぞれＨＭＤ１０１ａ、１０２ａの表示画面越しに現実世界が観察可能であるため、結果としてユーザ１０１、１０２はオブジェクトが重畳された現実世界を観察することができる。

先ず、ＨＭＤ１０１ａの構成例について説明する。制御部１１１は、自身のメモリ内に格納されているコンピュータプログラムやデータを用いて処理を実行することで、ＨＭＤ１０１ａを構成する各機能部の動作制御を行う。表示部１１２は、ＨＭＤ１０１ａを頭部に装着したユーザ１０１の眼前に位置しており、サーバ装置１９０から受信したオブジェクトを表示する。また、ユーザ１０１は表示部１１２越しに現実世界を観察可能である。通信部１１３は、外部の機器とのデータ通信を行うためのものである。計測部１１４は、ＨＭＤ１０１ａの位置姿勢を計測するためのもので、ジャイロセンサやＧＰＳセンサなどの位置姿勢計測センサによって構成されている。スピーカ１１５は、ユーザ１０１の左右の耳に対して設けられており、音声情報に基づく音を出力するものである。制御部１１１、表示部１１２、通信部１１３、計測部１１４、スピーカ１１５は何れもバス１１６に接続されている。なお、ＨＭＤ１０２ａついてもＨＭＤ１０１ａと同様の構成を有しているものとする。

次に、サーバ装置１９０の構成例について説明する。ＣＰＵ１９１はＲＡＭ１９２やＲＯＭ１９３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、サーバ装置１９０全体の動作制御を行うと共に、サーバ装置１９０が行うものとして後述する各処理を実行若しくは制御する。

ＲＡＭ１９２は、外部記憶装置１９６からロードされたコンピュータプログラムやデータ、通信部１９７によって外部から受信したデータ、を格納するためのエリアを提供する。更にＲＡＭ１９２は、ＣＰＵ１９１が各種の処理を実行する際に用いるワークエリアを提供する。このようにＲＡＭ１９２は、各種のエリアを適宜提供することができる。

ＲＯＭ１９３には、書き換え不要のサーバ装置１９０の設定データやブートプログラムなどが格納されている。

操作部１９４は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１９１に対して入力することができる。

表示部１９５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１９１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置１９６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１９６には、ＯＳ（オペレーティングシステム）や、サーバ装置１９０が行うものとして後述する各処理をＣＰＵ１９１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１９６に保存されているコンピュータプログラムやデータは、ＣＰＵ１９１による制御に従って適宜ＲＡＭ１９２にロードされ、ＣＰＵ１９１による処理対象となる。

通信部１９７は、外部の機器とのデータ通信を行うためのものである。ＣＰＵ１９１、ＲＡＭ１９２、ＲＯＭ１９３、操作部１９４、表示部１９５、外部記憶装置１９６、通信部１９７は何れもバス１９８に接続されている。

次に、本システムの動作について、図３のフローチャートに従って説明する。本システムでは、オンラインゲームの処理に加えて、図３のフローチャートに従った処理が行われる。オンラインゲームの処理では、ＨＭＤ１０１ａは計測部１１４が計測したＨＭＤ１０１ａの位置姿勢を定期的若しくは不定期的にサーバ装置１９０に対して送信していると共に、ＨＭＤ１０２ａは計測部１１４が計測したＨＭＤ１０２ａの位置姿勢を定期的若しくは不定期にサーバ装置１９０に対して送信しているものとする。

以下ではＨＭＤ１０１ａとサーバ装置１９０との間における処理について説明するが、同様の処理はＨＭＤ１０２ａとサーバ装置１９０との間でも行われる。ステップＳ３０１〜Ｓ３０４の処理がＨＭＤ１０１ａによって行われ、ステップＳ３５１〜Ｓ３５２の処理がサーバ装置１９０によって行われる。

ユーザ１０１がユーザ１０２の近くに位置している場合等、ＨＭＤ１０１ａとＨＭＤ１０２ａとの間で近距離無線通信が可能な状態になれば、ＨＭＤ１０１ａとＨＭＤ１０２ａとの間で周知の近距離無線通信が行われて相手を同定する（互いの通信部１１３によって相手を同定する）。このような同定が行われると、ＨＭＤ１０１ａの通信部１１３は、ＨＭＤ１０１ａの制御部１１１が管理しているユーザ情報をＨＭＤ１０２ａに対して送信すると共に、ＨＭＤ１０２ａの通信部１１３は、ＨＭＤ１０２ａの制御部１１１が管理しているユーザ情報をＨＭＤ１０１ａに対して送信する。

制御部１１１は、このように通信部１１３の通信機能により相手のＨＭＤ（ここではＨＭＤ１０２ａ）を同定したか否かを判断し、同定した場合には、処理はステップＳ３０２に進み、同定していない場合には、処理はステップＳ３０１で待機する。

ステップＳ３０２では、制御部１１１は、上記の同定によってＨＭＤ１０２ａから受信したＨＭＤ１０２ａのユーザ情報をサーバ装置１９０に対して送信する。

ステップＳ３５１では、ＣＰＵ１９１は、ＨＭＤ１０１ａから送信されたユーザ情報を、通信部１９７を介して受信する。ステップＳ３５２では、ＣＰＵ１９１は通信部１９７を制御して、ステップＳ３５１にて受信したユーザ情報に対応する「ＨＭＤ１０２ａの位置姿勢」と「ゲーム情報」とをＨＭＤ１０１ａに対して送信する。

サーバ装置１９０の外部記憶装置１９６には、図２に示す如く、サーバ装置１９０が提供するオンラインゲームに参加するためにサーバ装置１９０にログインしているユーザのユーザ情報（図２ではユーザＩＤとしている）と関連づけて、ゲーム情報、位置、姿勢が登録されている。

ユーザＩＤ「０００１」に対応するゲーム情報ＧＤ１には、ユーザＩＤ「０００１」に対応するユーザに係る情報及び／又はユーザＩＤ「０００１」に対応するユーザのゲームキャラクタに係る情報が含まれている。ゲーム情報については図４を用いて後述する。

ユーザＩＤ「０００１」に対応する位置Ｐ１（ｘ１，ｙ１，ｚ１）は、ユーザＩＤ「０００１」のユーザが頭部に装着しているＨＭＤの位置であり、該ＨＭＤから定期的若しくは不定期に送信される情報である。

ユーザＩＤ「０００１」に対応する姿勢Ｏ１（α１，β１，γ１）は、ユーザＩＤ「０００１」のユーザが頭部に装着しているＨＭＤの姿勢であり、該ＨＭＤから定期的若しくは不定期に送信される情報である。

なお、サーバ装置１９０がＨＭＤの位置姿勢を取得するための構成は特定の構成に限るものではない。

然るにステップＳ３５２ではＣＰＵ１９１は、図２のテーブルから、ステップＳ３５１で受信したユーザ情報と関連づけて登録されているゲーム情報とＨＭＤ１０２ａの位置姿勢とを取得し、通信部１９７を制御して、該取得したゲーム情報とＨＭＤ１０２ａの位置姿勢とをＨＭＤ１０１ａに対して送信する。

ステップＳ３０３では、制御部１１１は、サーバ装置１９０から送信されたゲーム情報とＨＭＤ１０２ａの位置姿勢とを、通信部１１３を介して受信する。

ステップＳ３０４では、制御部１１１は先ず、ＨＭＤ１０１ａの計測部１１４が計測したＨＭＤ１０１ａの位置姿勢と、ステップＳ３０３で受信したＨＭＤ１０２ａの位置姿勢と、を用いて、表示部１１２の表示画面上におけるＨＭＤ１０２ａの位置を特定する。例えば、ＨＭＤ１０１ａの位置姿勢を基準とする座標系におけるＨＭＤ１０２ａの位置を求め、該求めた位置に対応する表示部１１２の表示画面上における位置ＳＰを求める。その際、計測部１１４と表示部１１２との位置姿勢関係は既知とする。もちろん、表示部１１２の表示画面上におけるＨＭＤ１０２ａの位置を求めるための方法は上記の方法に限らず、他の方法を採用しても良い。

そしてステップＳ３０４では更に、制御部１１１は、表示部１１２の表示画面上におけるＨＭＤ１０２ａの位置ＳＰ若しくはその近傍位置に、ゲーム情報に基づくオブジェクトを配置（表示）する。オブジェクトの配置例について、図４を用いて説明する。

例えば、図４（ａ）に示す如く、ＨＭＤ１０２ａ（ユーザ１０２）の位置ＳＰの左上の位置に旗などのマーカを配置しても良いし、図４（ｂ）に示す如く、ＨＭＤ１０２ａ（ユーザ１０２）の位置ＳＰの直上の位置にユーザ１０２の位置を報知するための矢印などのマーカを配置しても良いし、図４（ｃ）に示す如く、ＨＭＤ１０２ａ（ユーザ１０２）の位置ＳＰの直下の位置にユーザ１０２の位置を報知するためのマーカを配置しても良い。また、位置ＳＰの近傍領域から人物検出を行うことでユーザ１０２の領域（ユーザ領域）を認識した場合には、図４（ｄ）に示す如く、ユーザ１０２に対応するゲームキャラクタの状態（戦闘状態、ライフ値など）に応じた色・パターンのオーラを表すオブジェクトをユーザ領域に配置しても良いし、図４（ｅ）に示す如く、ユーザ１０２に対応するゲームキャラクタが現在手にしているアイテム（剣など）を表すオブジェクトをユーザ領域内においてユーザ１０２の手の位置に配置しても良いし、図４（ｆ）に示す如く、ユーザ領域に壁などのオブジェクトを配置しても良い。なお、過去のＨＭＤ１０１ａの各位置姿勢に応じた現実空間の画像を格納しておき、現在のＨＭＤ１０１ａの位置姿勢に元も近い位置姿勢について格納している現実空間の画像においてユーザ領域に対応する領域内の画像をユーザ領域に上書きすることで、あたかもＨＭＤ１０１ａの視界からユーザ１０２が消えたかのような映像をユーザ１０１に提供するようにしても良い。また、図４（ｇ）に示す如く、ＨＭＤ１０２ａ（ユーザ１０２）の位置ＳＰの直上の位置に、ユーザ１０２に対応するゲームキャラクタに割り当てられている家紋などのマークを配置しても良い。また、図４（ｈ）に示す如く、ＨＭＤ１０２ａ（ユーザ１０２）の位置ＳＰの近傍位置に、ＨＭＤ１０１ａの位置からＨＭＤ１０２ａの位置に向かうベクトルのオブジェクトを配置しても良い。また、図４（ｉ）に示す如く、ユーザ領域の周囲に、ユーザ１０２に対応するゲームキャラクタと関連する他のゲームキャラクタ（例えばユーザ１０２に対応するゲームキャラクタの家来としてのゲームキャラクタ）を複数並べて配置しても良い。また、図４（ｊ）に示す如く、位置ＳＰの近傍位置に、ユーザ１０２に対応するゲームキャラクタのライフ値ＨＰや魔法力ＭＰ、現在の得点等、ユーザ１０２に対応するゲームキャラクタの状態を表す情報を文字や画像でもって配置しても良い。 このように、配置するオブジェクトを規定するものが上記のゲーム情報である。なお、図４に示した様々なオブジェクトのうち２種類以上を配置しても良いし、配置パターンも図４に示した配置パターンに限らない。また、配置するオブジェクトは図４に示したオブジェクトに限らず、他のオブジェクトを配置しても良い。

このように、本実施形態によれば、ユーザ１０１の視界においてユーザ１０２がどの位置に位置しているのかをユーザ１０１に通知することができる。加えて、本実施形態によれば、ユーザ１０２に対応するゲームキャラクタの状態、ユーザ１０２に対応するゲームキャラクタが現在手にしているアイテム、ユーザ１０２に対応するゲームキャラクタに割り当てられている家紋などのマーク、ユーザ１０１の位置から見てユーザ１０２がどの方向に位置しているのか、ユーザ１０２に対応するゲームキャラクタと関連する他のゲームキャラクタ（例えばユーザ１０２に対応するゲームキャラクタの家来としてのゲームキャラクタ）、ユーザ１０２に対応するゲームキャラクタのライフ値ＨＰや魔法力ＭＰ、現在の得点等、をユーザ１０１に通知することができる。

［第２の実施形態］
サーバ装置１９０はＨＭＤ１０１ａ、１０２ａのそれぞれの位置姿勢を管理しているので、例えばＨＭＤ１０１ａの近傍に位置している他のＨＭＤを特定することができる。然るに、サーバ装置１９０は、ＨＭＤ１０１ａの近傍に位置している他のＨＭＤを特定すると、該特定したＨＭＤの位置姿勢と、該位置姿勢と関連づけてサーバ装置１９０が管理しているゲーム情報と、をＨＭＤ１０１ａに対して送信するようにしても良い。

［第３の実施形態］
第１の実施形態ではＨＭＤ１０１ａは光学シースルー方式のＨＭＤであるとしたが、ビデオシースルー方式のＨＭＤであっても良い。

また、上記の実施形態では、ユーザ１０１とユーザ１０２とが同じゲームに参加しているケースを例にとり説明したが、ユーザ１０１とユーザ１０２とが異なるゲームに参加しているケースであっても良い。この場合、サーバ装置１９０は、提供するゲームのコンピュータプログラムごとに、該ゲームに関連するオブジェクト（例えば、ゲームのキャラクタやタイトルなど）を管理しておき、ＨＭＤ１０１ａの近傍に位置するＨＭＤ１０２ａに対しては、ＨＭＤ１０１ａが参加しているゲームのコンピュータプログラムに関連づけられているオブジェクトをゲーム情報として送信する。これによりＨＭＤ１０２ａのユーザ１０２は、ユーザ１０１がどのようなゲームに参加しているのかを把握することができる。

［第４の実施形態］
ゲーム情報には文字や画像だけでなく、音声情報を含めても良い。例えば、ＨＭＤ１０１ａに対して送信する音声情報は、ＨＭＤ１０２ａの位置を音源とし、ＨＭＤ１０１ａの位置における頭部の左右の耳に対する音を表す音声情報であっても良い。このような場合、スピーカ１１５を構成する右耳及び左耳それぞれに対するスピーカのうち、右耳用のスピーカは、右耳用の音声情報に応じた音を出力し、左耳用のスピーカは、左耳用の音声情報に応じた音を出力することになる。例えば、ユーザ１０１にとってＨＭＤ１０２ａを音源として定位できるように音声情報を処理し、該処理した音声情報に基づく音をユーザ１０１に伝えることで、ユーザ１０１にユーザ１０２の位置や方向を通知することができる。また、音は骨伝導によってユーザに伝えるようにしても良い。

＜第１乃至４の実施形態の変形例＞
上記の実施形態では、サーバ装置１９０はオンラインゲームを提供するものとして説明したが、提供するものはオンラインゲームに限らない。また、上記の実施形態においてサーバ装置１９０が行うものとして説明した処理、ＨＭＤ１０１ａ（１０２ａ）が行うものとして説明した処理、のそれぞれはサーバ装置１９０、ＨＭＤ１０１ａ（１０２ａ）が行うことに限らない。つまり、上記の実施形態に係るシステムの動作として説明した各処理をどのようにサーバ装置１９０及びＨＭＤ１０１ａ（１０２ａ）のそれぞれに分散させるのかについては様々な分散パターンが考えられる。

また、仮想情報が重畳された現実空間を観察するためにユーザが使用する表示装置はＨＭＤに限らない。例えば、カメラ付のスマートフォンやカメラ付のタブレット端末装置であっても、仮想情報が重畳された現実空間を観察することはできる。また、表示以外の処理を行う処理装置（例えばカメラ付のスマートフォンやカメラ付のタブレット端末装置）と、該処理装置による処理結果を表示する表示装置と、を組み合わせたものを上記のＨＭＤとして使用しても構わない。すなわち、カメラで撮像した現実空間に仮想情報が重畳された映像をスマートフォンやタブレット端末装置の表示画面上に表示すればよい。

また、上記の各実施形態や変形例は適宜組み合わせて使用することが可能である。

Claims (10)

1. サーバ装置は第１の頭部装着型表示装置に対し、該第１の頭部装着型表示装置とは異なる第２の頭部装着型表示装置の位置情報を送信し、
   前記第１の頭部装着型表示装置は、前記第１の頭部装着型表示装置の位置情報と前記サーバ装置から受信した前記第２の頭部装着型表示装置の位置情報とに基づき、表示画面上にオブジェクトを表示する
   情報処理方法。
2. サーバ装置は第１の頭部装着型表示装置に対し、該第１の頭部装着型表示装置とは異なる第２の頭部装着型表示装置の位置情報を送信し、
   前記第１の頭部装着型表示装置は、前記第１の頭部装着型表示装置の位置情報と前記サーバ装置から受信した前記第２の頭部装着型表示装置の位置情報とに基づく音声を出力する
   情報処理方法。
3. 前記第１の頭部装着型表示装置は、前記第１の頭部装着型表示装置の位置情報と前記サーバ装置から受信した前記第２の頭部装着型表示装置の位置情報とに基づいて、前記第２の頭部装着型表示装置のユーザの現実空間における位置に対応する前記表示画面上の位置を求め、前記第２の頭部装着型表示装置のユーザの現実空間における位置に対応する前記表示画面上の位置若しくは前記第２の頭部装着型表示装置のユーザの現実空間における位置に対応する前記表示画面上の位置の近傍の位置にオブジェクトを表示する請求項１又は２に記載の情報処理方法。
4. 前記第１の頭部装着型表示装置は、前記第１の頭部装着型表示装置の位置情報と前記サーバ装置から受信した前記第２の頭部装着型表示装置の位置情報とに基づいて前記表示画面上における前記第２の頭部装着型表示装置のユーザの位置を求め、該求めた位置に基づいて前記第２の頭部装着型表示装置のユーザの領域を求め、該領域に基づいてオブジェクトを表示する請求項１乃至３の何れか１項に記載の情報処理方法。
5. 前記オブジェクトは、前記第２の頭部装着型表示装置のユーザのゲームキャラクタに係る情報である請求項１，３，４の何れか１項に記載の情報処理方法。
6. 前記ゲームキャラクタに係る情報は、前記ゲームキャラクタの状態を表すオブジェクト、前記ゲームキャラクタが有するアイテムを表すオブジェクト、前記ゲームキャラクタの位置を報知するためのオブジェクト、前記ゲームキャラクタと関連する他のゲームキャラクタ、である請求項５に記載の情報処理方法。
7. 前記オブジェクトは、前記第２の頭部装着型表示装置のユーザに係る情報である請求項１，３，４の何れか１項に記載の情報処理方法。
8. 前記第１の頭部装着型表示装置及び前記第２の頭部装着型表示装置は前記サーバ装置が提供するオンラインゲームに参加している請求項１乃至７の何れか１項に記載の情報処理方法。
9. サーバ装置、第１の頭部装着型表示装置、第２の頭部装着型表示装置を有するシステムであって、
   前記サーバ装置は前記第１の頭部装着型表示装置に対して前記第２の頭部装着型表示装置の位置情報を送信し、
   前記第１の頭部装着型表示装置は、前記第１の頭部装着型表示装置の位置情報と前記サーバ装置から受信した前記第２の頭部装着型表示装置の位置情報とに基づき、表示画面上にオブジェクトを表示する
   システム。
10. サーバ装置、第１の頭部装着型表示装置、第２の頭部装着型表示装置を有するシステムであって、
    前記サーバ装置は前記第１の頭部装着型表示装置に対して前記第２の頭部装着型表示装置の位置情報を送信し、
    前記第１の頭部装着型表示装置は、前記第１の頭部装着型表示装置の位置情報と前記サーバ装置から受信した前記第２の頭部装着型表示装置の位置情報とに基づく音声を出力する
    システム。

Images