JP2017005387A - 通信装置およびその制御方法 - Google Patents

Abstract

【課題】効率的な無線帯域割当を可能とする技術を提供する。
【解決手段】通信装置は、他の通信装置から撮像画像に係る情報を第１の無線帯域を用いた無線通信によって受信する受信手段と、情報に基づいて撮像画像に重畳表示されるＣＧ画像を生成するＣＧ画像生成手段と、ＣＧ画像を第２の無線帯域を用いた無線通信によって他の通信装置に送信する送信手段と、第１及び第２の無線帯域のそれぞれに対して割り当てる無線帯域を決定する決定手段と、を有する。決定手段は、使用可能な無線帯域が複数存在する場合は、第１及び第２の無線帯域のそれぞれに対して個別の無線帯域を割り当て、使用可能な無線帯域が複数存在せずに１つ存在する場合は、第１及び第２の無線帯域に対して当該１つの無線帯域を割り当てる。
【選択図】図１

Description

本発明は、無線通信技術、特に無線帯域の割り当て技術に関するものである。

近年、現実世界の映像にＣＧ（Computer Graphics）画像で表現した仮想世界の映像を重畳して表示するＭＲ（Mixed Reality）技術が知られている。また、ＭＲ技術を利用した装置としてビデオシースルー型のＨＭＤ（Head Mounted Display）がある。ビデオシースルー型のＨＭＤでは、ＨＭＤ使用者の瞳位置から観察される映像と略一致する映像をビデオカメラなどで撮像し、その撮像画像にＣＧ画像を重畳表示している。

ビデオシースルー型では、ＨＭＤに搭載された撮像ユニットが撮像した撮像画像を、ＰＣ（Personal Computer）などの画像処理装置に伝送し、ＰＣは取得した撮像画像に基づいてＣＧ画像の描画処理を行う。ＰＣが描画したＣＧ画像をＨＭＤに伝送し、ＨＭＤが撮像画像とＣＧ画像とを合成し表示を行うことで、ＨＭＤを装着しているユーザーにＭＲ空間の体験を提供することが出来る。

また、近年の無線通信技術の発達・高速化に伴い、ＨＭＤとＰＣ間のデータ伝送を無線で行う無線ＭＲシステムが登場している。無線化に伴う利便性の増加により、今後はより一層幅広い分野で無線ＭＲシステムの適用が見込まれている。ところで、一般に無線通信は有線通信に比べ実効伝送速度が低速であり、また無線通信プロトコル処理に伴う伝送遅延が発生する。そのため、無線ＭＲシステムにおいてはＨＭＤの撮像カメラが撮像処理を行ってからＨＭＤのディスプレイにＭＲ画像を表示するまでのタイムラグが大きくなる。タイムラグが大きくなると、ＭＲシステムにおけるユーザーの没入感を損ねてしまう可能性がある。したがって無線ＭＲシステムに適用する無線通信は、遅延時間が少なく、高速な実効伝送速度が実現できるものが好ましい。

そこで、例えば特許文献１では、無線局から接続要求に伴う帯域割当要求があったとき使用していない無線帯域が無い場合に、すでに使用している無線帯域を減じる技術が開示されている。具体的には、複数の無線帯域を割り当てている無線局に対する無線帯域の割当数を減じて、空いた無線帯域を、帯域割当を要求した無線局に割り当てている。

特開平１０−２７６４６８号公報

しかしながら、上述の特許文献１の方法は、必ずしも無線ＭＲシステムに対して有効ではない。例えば、単純に複数割り当てていた無線帯域を減少させるように動作した場合、無線帯域数の減少に伴うシステム遅延時間の増加を複数のユーザーに対して一律に強いることになる。すなわち、システム遅延時間が長いユーザーと、システム遅延時間が短いユーザーとの両方に同様のシステム遅延時間の増加を強いることになる。そのため、システム遅延時間が一定の範囲以内に収まらないユーザーが生じてきてしまい、無線帯域数の減少に伴い一部のユーザーが著しく不利益を被ることになる。

本発明は、このような問題に鑑みてなされたものであり、無線帯域を公平かつ効率的に利用可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る通信装置は以下の構成を備える。すなわち、他の通信装置と無線通信が可能な通信装置において、前記他の通信装置から、撮像画像に係る情報を第１の無線帯域を用いた無線通信によって受信する受信手段と、前記情報に基づいて、前記撮像画像に重畳表示されるＣＧ画像を生成するＣＧ画像生成手段と、前記ＣＧ画像を第２の無線帯域を用いた無線通信によって前記他の通信装置に送信する送信手段と、前記第１の無線帯域及び前記第２の無線帯域のそれぞれに対して割り当てる無線帯域を決定する決定手段と、を有し、前記決定手段は、前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域が複数存在する場合は、該第１の無線帯域及び該第２の無線帯域のそれぞれに対して個別の無線帯域を割り当て、前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域が複数存在せずに１つ存在する場合は、該第１の無線帯域及び該第２の無線帯域に対して該１つの無線帯域を割り当てる。

あるいは、他の通信装置と無線通信が可能な通信装置において、前記他の通信装置から、撮像画像に係る情報を第１の無線帯域を用いた無線通信によって受信する受信手段と、前記情報に基づいて、前記撮像画像に重畳表示されるＣＧ画像を生成するＣＧ画像生成手段と、前記ＣＧ画像を前記第１の無線帯域を用いた無線通信によって前記他の無線通信装置に送信する送信手段と、前記第１の無線帯域に割り当てる無線帯域幅を決定する決定手段と、を有し、前記決定手段は、前記第１の無線帯域に対して使用可能な無線帯域幅が所定の閾値を超える場合は、該第１の無線帯域に対して第１の無線帯域幅を割り当て、前記第１の無線帯域に対して使用可能な無線帯域幅が前記所定の閾値以下である場合は、該第１の無線帯域に対して前記第１の無線帯域幅より狭い第２の無線帯域幅を割り当てる。

本発明によれば、無線帯域を公平かつ効率的に利用可能とする技術を提供することができる。

第１実施形態に係るＭＲシステムの構成図である。 第１実施形態におけるＨＭＤの動作を説明する図である。 第１実施形態におけるＰＣの動作を説明する図である。 ＨＭＤ装着者の視野範囲、撮像画像、ＭＲ画像を例示的に示す図である。 無線帯域を例示的に示す図である。 第２実施形態に係るＭＲシステムの構成図である。 第２実施形態におけるＨＭＤの動作を説明する図である。 第２実施形態におけるＰＣの動作を説明する図である。 無線帯域を例示的に示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る通信システムの第１実施形態として、ＨＭＤとＰＣを含むＭＲシステムを例に挙げて以下に説明する。

＜システム構成＞
図１は、第１実施形態に係るＭＲシステムの構成図である。ＭＲシステムは利用者の頭部に装着する、撮像機能付表示装置であるＨＭＤ１００と、画像処理装置であるＰＣ１１０で構成する。

ＨＭＤ１００とＰＣ１１０間の通信はＨＭＤ１００の無線Ｉ／Ｆ部１０９、ＰＣ１１０の無線Ｉ／Ｆ部１２２による無線通信を介して接続される。通信方式として例えば無線ＬＡＮ規格である８０２．１１ａｃや８０２．１１ａｄなどの任意の無線方式が用いられるが、その他の通信方式が用いられても構わない。

まず、ＨＭＤ１００の構成について説明する。ＨＭＤ１００は、撮像部１０１、画像情報生成部１０２、メモリー１０３、画像情報取得部１０４、表示部１０５を含んでいる。更に、要求信号生成部１０６、割当信号解析部１０７、端末情報生成部１０８、無線Ｉ／Ｆ部１０９を含んでいる。

撮像部１０１は、ＨＭＤ装着者の左右の視線と略一致する周辺環境をステレオ撮像する機能部である。撮像部１０１は、撮像画像および当該撮像画像の撮像時刻を示すフレーム番号を取得する。撮像部１０１は、ステレオ画像を生成するための右目用、左目用の２つの撮像素子と光学系、および、画像処理を行うためのＤＳＰなどによる信号処理回路から構成される。

画像情報生成部１０２は、ＨＭＤ１００の位置姿勢をＰＣ１１０が検出できる情報を生成する。例えば、画像情報生成部１０２は、非圧縮の撮像画像、圧縮された撮像画像、撮像画像における特徴点に関する情報を選択的に生成する。特徴点は、ＨＭＤ装着者の位置姿勢を求めることが可能な指標であればよく、例えばそれぞれが異なる色を有する円形状のマーカーによって構成してもよい。また、それぞれが異なる特徴量を有する座標で、ある程度の面積を有する四角形領域によって形成されるような四角形指標を用いることも可能である。

特徴点検出技術としては、たとえば公知の特徴点検出技術であるＦＡＳＴ（Features from Accelerated Segment Test）が挙げられ、ＦＡＳＴを用いることで特徴点の座標および特徴量の算出が可能となる。また、マーカーを使用せずに特徴点検出を行う自然特徴点検出技術では、特徴量の閾値を変更することで、検出する特徴点の数を任意に設定することができる。そのため検出した特徴点の中から、無線帯域の逼迫状況や使用状況に応じて例えばコントラスト比などのパラメータに基づいて無線送信を行う特徴点を選択することも可能である。

メモリー１０３は、撮像部１０１が取得したステレオ撮像画像を、撮像画像時刻を示すフレーム番号とともに保持する。

画像情報取得部１０４は、無線Ｉ／Ｆ部１０９が受信した、ＰＣ１１０が生成したＭＲ画像情報を取得する。詳細は後述するが、ＭＲ画像情報は非圧縮ＭＲ画像または圧縮ＭＲ画像であるため、後段の表示部１０５が表示できるデータ形式にして、表示部１０５に出力する。

なお、ＭＲ画像が無線Ｉ／Ｆ部１０９において所定の時間までに受信されない場合には、メモリー１０３から出力された撮像画像をそのまま表示部１０５に出力する。なお、圧縮方式としては、例えば、フレーム毎に非可逆圧縮を行うＪＰＥＧ（JOINT Photographic Experts Group）方式やＧＩＦ（Graphics Interchange Format）方式が用いられる。また、フレーム間の圧縮を併せて行うＨ．２６４方式なども用いられる。

表示部１０５は、画像情報取得部１０４が出力したＭＲステレオ画像を左右の目それぞれに対応したディスプレイに表示する。表示デバイスは小型の液晶ディスプレイや有機ＥＬディスプレイなどが使用される。

要求信号生成部１０６は、ＰＣ１１０に無線ＭＲシステム構築を要求する信号を生成する。要求信号は自身のＭＡＣアドレス等のＩＤ情報を含み、要求信号の送信はＰＣ１１０により通知されるタイミングで実行される。

要求信号の送信は、ＨＭＤ１００が、無線ＬＡＮで標準的に利用されるＣＳＭＡ／ＣＡプロトコルに則り、使用可能と判断した無線帯域を使用してＰＣ１１０に対して行う。つまり、ＨＭＤ１００が３つの無線帯域が使用可能であると判断した場合には、ＨＭＤ１００がＰＣ１１０に対して少なくとも３回、要求信号を無線帯域を変えて送信することになる。ＰＣ１１０は、ＨＭＤ１００が無線帯域を変えて送信することを想定し、それぞれの無線帯域で一定時間、受信状態を保つように動作する。それぞれの無線帯域の受信品質を算出し、撮像画像伝送およびＭＲ画像伝送の実行に使用可能な無線帯域であるかを判定する。

要求信号は、例えば無線パケットのペイロードデータ部を使用する方法でも、無線パケットのヘッダ部のリサーブビットを使用する方法でも、ＲＴＳ信号でもよい。つまり、受信するＰＣ１１０が、ＨＭＤ１００が使用可能と判断した無線帯域を特定できればよい。

割当信号解析部１０７は、ＰＣ１１０が生成した割当信号を解析し、無線ＭＲシステムに必要な撮像画像伝送用およびＭＲ画像伝送用にそれぞれどの帯域が割り当てられているかを取得する。

どの帯域が割り当てられたかを通知する方法は、例えば無線パケットのペイロードデータ部を使用する方法でも、無線パケットのヘッダ部のリサーブビットを使用する方法でもよい。また、ＲＴＳ信号に対する応答としてのＣＴＳ信号を利用する方法でもよい。つまり、受信するＨＭＤ１００が、ＰＣ１１０が使用可能と判断した無線帯域を特定できればよい。

また、ＨＭＤ１００の状況に応じて、割当信号に指定されている無線帯域の削減要求または拡張要求を拒絶することもできる。これにより、ＨＭＤのユーザー毎に遅延時間に対する要求や、電源残量値に対する要求を設定することができる。そのため、より自由度の高い無線ＭＲシステムを構築することができる。

端末情報生成部１０８は、ＨＭＤ１００自身に関する端末情報を生成する機能部である。端末情報生成部１０８は、例えば、撮像部１０１が撮像処理を行った時刻から、同一フレームのＭＲ画像を受信した時刻までを「システム遅延時間」として取得する。さらに、ＨＭＤ１００を駆動する電源の「電源残量値情報」を取得する。そして、それぞれを端末情報として無線Ｉ／Ｆ部１０９に出力する。

無線Ｉ／Ｆ部１０９は、無線通信帯域を使用してＰＣ１１０との無線通信を行う。無線Ｉ／Ｆ部１０９は、画像情報信号・端末情報信号・要求信号にＣＲＣ（Cyclic Redundancy Check）などのエラー検出符号を付加した無線パケットをＰＣ１１０に無線送信する。また、ＰＣ１１０が送信する、画像情報信号・割当信号を受信し、ＣＲＣなどのエラー検出符号を除去したデータ信号をＨＭＤ１００内の各機能部に出力する。

次に、ＰＣ１１０の構成について説明する。ＰＣ１１０は、画像情報取得部１１１、位置姿勢取得部１１２、ＣＧ＿ＤＢ部１１３、ＣＧ描画部１１４、画像情報生成部１１５を含んでいる。更に、要求信号解析部１１６、端末情報取得部１１７、使用状況取得部１１８、割当部１１９、割当信号生成部１２０、変更指示部１２１、無線Ｉ／Ｆ部１２２を含んでいる。

画像情報取得部１１１は、ＨＭＤ１００が生成した画像情報を取得する。画像情報が非圧縮撮像画像の場合はそのまま位置姿勢取得部１１２に出力する。画像情報が圧縮撮像画像の場合は伸長処理を行った後、位置姿勢取得部１１２に出力する。画像情報が特徴点だった場合にはそのまま位置姿勢取得部１１２に出力する。

位置姿勢取得部１１２では、ＨＭＤの位置姿勢検出処理を行う。画像情報取得部１１１から取得した情報が撮像画像であれば特徴点検出を行い、得られた特徴点に基づいてＨＭＤの位置姿勢特定を行う。位置姿勢特定は、特徴点の移動をフレームにまたがって追跡することで実現でき、装着者の位置・姿勢の変化が算出され、現在のＨＭＤ装着者の位置姿勢が算出できる。

ＣＧ＿ＤＢ部１１３は、仮想物体の形状・質感・色・大きさ・座標に関する情報を保持する。ＣＧ描画部１１４は、ＣＧ＿ＤＢ部１１３が保存する仮想物体を、位置姿勢取得部１１２が取得したＨＭＤ装着者の位置姿勢情報に基づき、ＨＭＤ装着者が観察した場合のＣＧ画像を描画するＣＧ画像生成のための機能部である。そして、対応する撮像画像に対する重畳表示に利用可能なＭＲ画像を生成し、画像情報生成部１１５に送信する。

画像情報生成部１１５は、ＣＧ描画部１１４が生成したＭＲ画像を非圧縮ＭＲ画像、または圧縮ＭＲ画像に変換した後、無線Ｉ／Ｆ部１２２に出力する。

要求信号解析部１１６は、ＨＭＤ１００が生成した要求信号を解析し、要求信号に基づき、ＨＭＤ１００が使用可能と判断した無線帯域に関する情報を取得する。

端末情報取得部１１７は、ＨＭＤ１００が生成した端末情報を取得する。また、無線ＭＲシステムに存在する他のＨＭＤの端末情報も同様に取得する。端末情報の取得は、例えば、無線パケットのペイロードデータ部を使用する方法でも、無線パケットのヘッダ部のリザーブビットを使用する方法でもよい。また、ＰＣ間が有線ＬＡＮで接続している場合であれば、有線ＬＡＮを介して通知する方法でもよい。

使用状況取得部１１８は、他のＨＭＤおよびＰＣが使用している無線帯域の情報を取得する。また、現在他のＨＭＤおよびＰＣが使用している無線帯域の情報に加え、要求信号解析部１１６が取得した要求信号も含めて無線帯域の使用状況として取得する。無線帯域の使用状況は、キャリアセンスにより取得する方法でも、他のＨＭＤおよびＰＣとの無線通信・有線通信により取得する方法でもよい。つまり、無線ＭＲシステムに参加しているＨＭＤおよびＰＣが撮像画像伝送およびＭＲ画像伝送に用いている無線帯域が特定できればよい。また、無線局間の距離が離れていれば、無線局間での電波干渉の割合は減少するので、無線帯域の使用状況を判定するのに無線局の位置を考慮に加えることができる。

ところで、無線ＭＲシステムに参加しているＰＣは、ＨＭＤの位置姿勢情報を、ＭＲ画像の描画のために保持している。そのため、位置姿勢情報に基づき、ＨＭＤ同士が一定の距離に離れていれば、同一の無線帯域を使用しても影響が無いと判定し、距離が近づけば同一の無線帯域では干渉が生じると判定して、無線帯域の使用状況を決定してもよい。特にミリ波無線通信で指向性アンテナを用いる場合、指向性アンテナにより電波放射領域が限定されるのに加え、自由空間での減衰が大きい。そのため、例えば数１０メートル離れていれば影響を与えないと決定してもよい。

割当部１１９は、無線帯域の使用状況・端末情報・変更指示信号に基づき、撮像画像伝送用およびＭＲ画像伝送用に使用する無線帯域を決定する。詳細については後述する。

割当信号生成部１２０は、割当部１１９が決定した撮像画像伝送用およびＭＲ画像伝送用に使用する無線帯域をＨＭＤ１００に通知する信号を生成する。どの帯域が割り当てられたかを通知する方法は、例えば無線パケットのペイロードデータ部を使用する方法でも、無線パケットのヘッダ部のリサーブビットを使用する方法でもよい。つまり、受信するＨＭＤ１００が、ＰＣ１１０が割り当てた無線帯域を特定できればよい。

変更指示部１２１は、無線ＭＲシステムに存在する他のＰＣからの変更指示信号を解析する。変更指示部１２１は、ＨＭＤから無線ＭＲシステム構築要求があり、割り当てる無線帯域が存在しない場合、認識している全ＨＭＤの端末情報を比較する。そして、変更指示部１２１は、最も余裕のあるＨＭＤまたはＨＭＤが接続しているＰＣに対して、変更指示信号を通知することで割当無線帯域の削減を要求する。

ここで述べる「余裕のあるＨＭＤ」とは、例えば、システム遅延時間が短いＨＭＤや、電源残量値が多いＨＭＤを指す。変更指示信号は、無線パケットのペイロードデータ部を使用する方法でも、無線パケットのヘッダ部のリサーブビットを使用する方法でもよい。また、ＰＣ間が有線ＬＡＮで接続されている場合であれば、有線ＬＡＮを介して通知する方法でもよい。

また、ＰＣもしくはＨＭＤが一定時間使用されていない無線帯域を検出した場合も同様に、ＰＣもしくはＨＭＤは全ＨＭＤの端末情報を比較してもよい。そして、最も余裕の無いＨＭＤまたはＨＭＤが接続しているＰＣに対して、変更指示信号を通知することで、割当無線帯域を増やすように指示する。

尚、図１に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。機能部がソフトウェアとして実装される場合には、これらの機能を実行するためのプログラムが、ＨＭＤ１００又はＰＣ１１０が備える記憶部（ＲＯＭ，ＲＡＭ等のメモリ）に記憶されることになる。そして、ＨＭＤ１００又はＰＣ１１０が備えるＣＰＵが、記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現されることになる。

＜システムの動作＞
図２は、第１実施形態におけるＨＭＤ１００の動作を説明する図である。また、図３は、第１実施形態におけるＰＣ１１０の動作を説明する図である。なお、以下の処理は、例えば、ユーザにより開始指示を受け付けることにより開始される。

ステップＳ２０１およびＳ３０１では、ＨＭＤ１００とＰＣ１１０が無線リンクの確立を行う。Ｓ２０１およびＳ３０１の段階では、撮像画像情報およびＭＲ画像情報を双方向に通信できる回線速度である必要はなく、制御信号などの低レート信号が伝送できる無線リンクであればよい。

ステップＳ２０２では、無線Ｉ／Ｆ部１０９は、キャリアセンスを行い、一定時間使用されておらずＰＣ１１０とのデータ通信に使用可能な無線周波数帯域の判定を行う。同様に、ステップＳ３０２では、無線Ｉ／Ｆ部１２２は、キャリアセンスを行い、一定時間使用されておらずＨＭＤ１００とのデータ通信に使用可能な無線周波数帯域の判定を行う。

ステップＳ２０３では、要求信号生成部１０６は、Ｓ２０２で取得した使用可能と判定した無線周波数帯域の情報をＰＣ１１０に通知する。すなわち、実施の撮像画像情報の送信に先立って、無線周波数帯域の情報を通知する。例えば、ＰＣ１１０への通知は、使用可能と判定した無線周波数帯域でのＲＴＳ信号で行う。もしくは、Ｓ２０１で確立した無線リンクを用いて、無線パケットのペイロード部またはリサーブビットを用いて行う。ステップＳ２０４では、無線Ｉ／Ｆ部１０９は、Ｓ２０３で生成した要求信号をＰＣ１１０に送信する。

ステップＳ３０３では、端末情報取得部１１７は、他のＨＭＤの端末情報を取得する。これは後述のステップで、割当無線帯域が存在しない状態で割当無線帯域を減じるＨＭＤを選択するために端末情報を取得する。同様に、使用されていない無線帯域が存在する状態で割当無線帯域を増やすＨＭＤを選択するためにもこの端末情報は使用される。他のＨＭＤの端末情報はＰＣとの間の無線通信または有線通信で取得する。

ステップＳ３０４では、ＰＣ１１０は、ＨＭＤ１００と既に無線ＭＲシステムを構築しているかを判定する。構築していない場合はＳ３０５に進み、ＨＭＤ１００からの無線ＭＲシステム構築を要求する要求信号がＨＭＤ１００により送信されるのを待つ。既に無線ＭＲシステムを構築している場合には、Ｓ３０７に進む。

ステップＳ３０５では、無線Ｉ／Ｆ部１２２は、ＨＭＤ１００から要求信号を受信したかを判定し、受信した場合にはＳ３０６に進み、一定時間受信しなかった場合にはＳ３０２に戻る。ステップＳ３０６では、要求信号解析部１１６は、ＨＭＤ１００がキャリアセンスした結果、使用可能と判定した無線帯域の情報を取得する。

ステップＳ３０７では、変更指示部１２１は、他のＰＣからの変更指示信号が存在するか否かを判定する。変更指示信号は、新たにＨＭＤ１００に割り当てる無線帯域が存在しない場合で、端末情報の比較結果に基づき他のＰＣから指示されるものである。具体的には、ＰＣ１１０が既に無線ＭＲシステムを構築しているＨＭＤ１００の無線帯域割当を減じる必要がある場合に他のＰＣから指示される。あるいは、変更指示信号は、一定時間使用されていない無線帯域があり、端末情報の比較結果に基づき他のＰＣから指示されるものである。具体的には、ＰＣ１１０が既に無線ＭＲシステムを構築しているＨＭＤ１００の無線帯域割当を増やすことが可能である場合に他のＰＣから指示される。変更指示信号がある場合にはＳ３０８に進み、変更指示信号が無い場合にはＳ３１６に進む。

ステップＳ３０８では、変更指示部１２１は、変更指示信号の解析を行い、使用可能な無線帯域の割当数を取得する。

ステップＳ３０９では、割当部１１９は、ＨＭＤ１００が撮像画像伝送に使用可能な帯域と、ＰＣ１１０がＭＲ画像伝送に使用可能な帯域が、それぞれ取得できるかを判定し、無線帯域の割当数を決定する。ＨＭＤ１００が新規に無線ＭＲシステムを構築する場合、ＰＣ１１０とＨＭＤ１００がキャリアセンスして双方が使用可能である帯域が複数存在する場合（２つ以上の場合）は、Ｓ３１０に進み、割当無線帯域数を”２”とする。すなわち、撮像画像情報の送信及びＭＲ画像の送信それぞれに対して個別の無線帯域を割り当てる。ＰＣ１１０とＨＭＤ１００がキャリアセンスして双方が使用可能な無線帯域が１つしかない場合、Ｓ３１１に進み、割当無線帯域数を”１”とする。すなわち、撮像画像情報の送信及びＭＲ画像の送信に対して無線帯域を１つ割り当てる。ＰＣ１１０とＨＭＤ１００がキャリアセンスして双方が使用可能である帯域が存在しない場合、Ｓ３１２に進む。

なお、ＨＭＤ１００が既に無線ＭＲシステムを構築している場合には、Ｓ３０８で取得した変更指示信号の割当無線帯域数を上限として、双方使用可能な帯域が存在するかを決定する。例えば、変更指示信号で割当られた無線帯域数が１つだった場合において、ＰＣ１１０とＨＭＤ１００との双方がキャリアセンスした結果使用可能な無線帯域が２つ以上あったとしても、割当無線帯域数は”１”となる。

ステップＳ３１２では、変更指示部１２１は、他のＨＭＤの端末情報を比較し、最も余裕のあるＨＭＤまたは当該ＨＭＤが接続しているＰＣに対して、無線帯域割当数の削減を指示する。そして、空いた無線帯域をＨＭＤ１００に割り当てるため、Ｓ３１１に進み、割当無線帯域数を”１”にする。

ステップＳ３１３では、割当信号生成部１２０は、Ｓ３１０またはＳ３１１で設定した割当無線帯域数・無線帯域番号を含めた割当信号を生成する。

図５は、無線帯域を例示的に示す図である。ここでは、各無線帯域に対して無線帯域番号を示す図である。無線帯域にはそれぞれチャネル番号が付されている。例えば、チャネル番号をＰＣ１１０がＨＭＤ１００に通知することで、ＨＭＤ１００は使用可能な無線帯域を特定することが可能となる。

なお、図５においては、同一の帯域幅である９つの無線帯域の例を示しているが、同一の帯域幅である必要はない。また、無線帯域は複数個あればよく、９個より少なくてもよいし多くてもよい。

ステップＳ２０５では、無線Ｉ／Ｆ部１０９は、ＰＣ１１０が送信した割当信号を受信し、Ｓ２０６に進む。割当信号が受信できなかった場合には、Ｓ２０２に戻り、再度要求信号を生成する。

ステップＳ２０６では、割当信号解析部１０７は、ＨＭＤ撮像画像伝送およびＭＲ画像伝送に用いる無線帯域を決定する。

ステップＳ２０７では、撮像部１０１は、周辺の撮像を行い撮像画像を取得する。さらに、ＨＭＤ１００は、撮像画像時刻を示すフレーム番号とともに、撮像画像をメモリー１０３に保存する。

ステップＳ２０８では、割当信号解析部１０７は、Ｓ２０６で取得した割当無線帯域情報における割当無線帯域数を取得する。割当無線帯域数が”２”である場合は、撮像画像伝送およびＭＲ画像伝送にそれぞれ別の無線帯域が割り当てられているため、低遅延でユーザーの没入感を損ねることのない無線ＭＲシステムを提供することができる。一方、割当無線帯域数が”１”の場合は、撮像画像伝送およびＭＲ画像伝送に同一の無線帯域が割り当てられていることになる。割当無線帯域数が”２”の場合はＳ２１１に進み、割当無線帯域数が”１”の場合はＳ２０９に進む。

ステップＳ２０９では、割当信号解析部１０７は、データ量削減指示情報を取得する。データ量削減指示情報の詳細についてはＳ３１６〜Ｓ３２５において後述する。

無線ＭＲシステムは双方向画像伝送システムであるが、必ずしも撮像画像のデータ量とＭＲ画像のデータ量とが同一のデータ量になるわけではない。図４を参照して、撮像画像データ量とＭＲ画像データ量について説明する。

図４は、ＨＭＤ装着者の視野範囲状態、撮像画像、ＭＲ画像を例示的に示す図である。図４における視野範囲状態４０１１〜４０１４はＨＭＤ装着者・視野範囲・仮想物体の位置関係を例示的に示す図である。

視野範囲状態４０１１（状態１）は、視野範囲内の比較的遠い位置に仮想物体が存在する状態を示す。視野範囲状態４０１２（状態２）は、視野範囲内の比較的近い位置に仮想物体の中心および仮想物体が存在する状態を示す。視野範囲状態４０１３（状態３）は、視野範囲内の比較的近い位置に仮想物体が存在するが、中心は視野範囲外に存在する状態を示す。視野範囲状態４０１４（状態４）は、ＨＭＤ装着者の視野外に仮想物体が存在する状態を示す。

視野範囲状態４０１１〜４０１４において、ＨＭＤ装着者４００、４０３、４０６、４０９は各状態におけるＨＭＤ装着者を示す。マーカー４０１、４０４、４０７、４１０は各状態におけるマーカーを示す。視野範囲４０２、４０５、４０８、４１１は各状態における視野範囲を示す。

撮像画像４０２１〜４０２４は、各状態において、ＨＭＤ装着者が観察している画像を示す。ＭＲ画像４０３１〜４０３４は、各状態において、描画されるＭＲ画像を示す。

撮像画像４０２１〜４０２４において、マーカー４１２，４１３は装着者が観察するマーカーを示す。ＭＲ画像４０３１〜４０３４において、ＣＧ画像４１４、４１５、４１６は装着者が観察するＣＧ画像を示す。

なお、ここで、「ＣＧ画像」とは、重畳表示されることになるオブジェクト画像を意味する。一方、「ＭＲ画像」とは、重畳表示の対象となる撮像画像と同一の解像度で生成された画像を意味する。ＭＲ画像４０３１〜４０３３のようにＣＧ画像を含む場合もあるが、ＭＲ画像４０３４のようにＣＧ画像を含まない場合もある。

状態１、状態２、状態３、状態４において、ＨＭＤ装着者の視野範囲におけるＭＲ画像の大きさが異なるため、ＭＲ画像のデータ量も異なる。しかしながら、撮像画像のデータ量は、撮像画像の画素数・色階調度・フレームレートが決まればほぼ一意に決定できる。そのため、無線ＭＲシステムは、撮像画像のデータ量が固定値でＭＲ画像のデータ量が大きく変動するシステムであるといえる。

前述したようにＳ２０９では、割当信号解析部１０７は、データ量削減指示情報を取得して、データ量削減指示があった場合には、Ｓ２１０に進み、データ量削減指示が無い場合にはＳ２１１に進む。

ステップＳ２１０では、画像情報生成部１０２は、データ量削減指示に基づき、撮像画像のデータ量削減を行う。撮像画像のデータ量を削減する方法としては、撮像画像を圧縮処理して画像情報を圧縮撮像画像とする方法と、撮像画像から特徴点情報を検出して画像情報を特徴点情報とする方法の主に２つがある。特徴点情報は特徴点の座標、特徴量により構成され、データ量は、「特徴点の座標情報および特徴量を表すのに必要なデータ量」×「特徴点の個数」になる。

特徴点の座標情報は撮像画像の画素位置を表現できるビット数であればよく、特徴量は例えばＦＡＳＴであれば、定義された最大の輝度差を分解能で表現できるビット数であればよい。ゆえに一般に、画像情報のデータ量としては
非圧縮撮像画像 ＞ 圧縮撮像画像 ＞ 特徴点情報
であるが、処理負荷は
特徴点情報 ＞ 圧縮撮像画像 ＞ 非圧縮撮像画像
である。そこで、ＨＭＤ１００の端末情報に基づいて適切な撮像画像情報のデータ形式をＰＣ１１０が指定するとよい。

ステップＳ２１１では、無線Ｉ／Ｆ部１０９は、Ｓ２１０で生成した画像情報および端末情報を含む無線パケットを生成し、ＰＣ１１０に送信する。

ステップＳ３１４では、無線Ｉ／Ｆ部１２２は、Ｓ２１１でＨＭＤ１００が送信した無線パケットを受信する。そして、端末情報取得部１１７が受信パケット内の端末情報を他のＰＣに通知する。

ステップＳ３１５では、ＣＧ描画部１１４は、ＨＭＤ１００の位置姿勢で仮想物体を観察した場合のＣＧ画像を描画しＭＲ画像を生成する。また、生成したＭＲ画像のデータ量の算出を行う。具体的には、画像情報取得部１１１が取得したＨＭＤ１００からの受信パケットにおける撮像画像情報に基づき、特徴点情報を取得する。そして、位置姿勢取得部１１２は、特徴点情報に基づき、ＨＭＤ１００の位置姿勢を算出し、ＣＧ描画部１１４は、ＭＲ画像を生成する。

ステップＳ３１６では、画像情報生成部１１５は、割当無線帯域が１つであり、かつ、ＭＲ画像のデータ量が閾値を超えて大きい場合にはＳ３１７に進む。閾値より小さい場合にはＳ３１９に進む。

ステップＳ３１７では、画像情報生成部１１５は、Ｓ３１５で生成したＭＲ画像のデータ量の削減を行う。すなわち、無線割当帯域が１つであり、かつ、ＭＲ画像のデータ量が閾値を超えて大きい場合、１つの無線帯域で非圧縮撮像画像および非圧縮ＭＲ画像による双方向通信を一定の時間の範囲内で実行するのは困難であるからである。

なお、無線ＭＲシステムは双方向通信システムであるため、ＰＣ１１０からＨＭＤ１００へのＭＲ画像のデータ量のみを削減するのはシステムの構成上効果的な方法ではない。そのため、撮像画像のデータ量も同時に削減するのが好ましい。

また、更に、Ｓ３１７では、端末情報取得部１１７は、ＨＭＤ１００のシステム遅延時間および電源残量値に基づき、撮像画像のデータ量の削減する。削減方法として、撮像画像圧縮処理による削減、または撮像画像から特徴点検出までをＨＭＤ１００側で実行するかを指定する。指定方法は、後述のＳ３１９で無線Ｉ／Ｆ部１２２が送信するＭＲ画像情報を含む無線パケットのペイロードデータ部を使用する方法でも、ヘッダ部のリザーブビットを使用する方法でもよい。

ステップＳ３１８では、画像情報生成部１１５は、ＭＲ画像のデータ量の削減を行う。データ量の削減方法は、圧縮・解像度の削減・フレームレートの削減などが用いられる。

ステップＳ３１９では、無線Ｉ／Ｆ部１２２は、Ｓ３１７で生成したＭＲ画像情報、および、もしあれば、撮像画像情報量の削減指示信号を含んだ無線パケットを生成する。また、ＭＲ画像情報には、ＭＲ画像情報を生成する基になった撮像画像のフレーム番号も含める。

ステップＳ３２０では、使用状況取得部１１８は、キャリアセンスを行い、一定時間使用されていない無線帯域が存在するかを検出する。すなわち追加で使用可能な無線帯域が存在するか否かを確認する。一定時間使用されていない無線帯域が存在した場合には、無線ＭＲシステムにおいて現在最も余裕が少ないＨＭＤに無線帯域を割り当てる必要があるため、Ｓ３２１に進む。一定時間使用されていない無線帯域が存在しない場合には、Ｓ３２５に進む。

ステップＳ３２１では、端末情報取得部１１７は、全ＨＭＤの端末情報を比較し、最も余裕が少ないＨＭＤを特定する。そして、ステップＳ３２２では、端末情報取得部１１７は、特定されたＨＭＤは、ＨＭＤ１００であるか他のＨＭＤであるかを判定する。ＨＭＤ１００であれば、後述のＳ３２５でＨＭＤにＭＲ画像情報を含むパケットを送信するタイミングで、新たに無線帯域が割り当てられることを通知するため、Ｓ３２３に進む。他のＨＭＤであれば、そのＨＭＤと無線ＭＲシステムを構築しているＰＣに通知する必要があるため、Ｓ３２４に進む。

ステップＳ３２３では、無線Ｉ／Ｆ部１２２は、ＨＭＤ１００に対して新たに無線帯域が割り当てられることを通知するため、変更指示信号を含む無線パケットを生成する。一方、ステップＳ３２４では、変更指示部１２１は、Ｓ３２１で決定したＨＭＤと無線ＭＲシステムを構築しているＰＣに対して、新たに無線帯域が割り当てられることを通知する。

ステップＳ３２５では、無線Ｉ／Ｆ部１２２は、Ｓ３１９で生成したＭＲ画像情報を含む無線パケットをＨＭＤ１００に送信する。もしあれば、Ｓ３２３で生成した変更指示信号を併せてＨＭＤ１００に送信する。

ステップＳ２１２では、無線Ｉ／Ｆ部１０９は、ＰＣ１１０が送信した無線パケットを受信し、受信パケット内のＭＲ画像情報を画像情報取得部１０４に出力する。さらに、ＭＲ画像情報に存在するフレーム番号に基づき、撮像画像を行ったフレーム番号の時刻と、無線パケットを受信した時刻の差をシステム遅延時間として端末情報生成部１０８に出力する。他にも、無線パケット内にＰＣが生成した撮像画像情報量削減指示信号および変更指示信号があれば、それぞれ画像情報生成部１０２および割当信号解析部１０７に出力する。

ステップＳ２１３では、割当信号解析部１０７は、Ｓ２１２で受信した無線パケット内に変更指示信号が存在するかを判定し、存在すればＳ２１４に進み、存在しなければＳ２１５に進む。

ステップＳ２１４では、割当信号解析部１０７は、Ｓ２１２で受信した変更指示信号に基づき、撮像画像伝送帯域およびＭＲ画像伝送帯域として用いる無線帯域を更新する。

前述の通り、変更指示信号は、割り当てる無線帯域が存在しない場合に”割当無線帯域を減じる指示”か、一定時間使用されない無線帯域を検出した場合に”割当無線帯域を増やす指示”のいずれかを指示する信号である。

割当無線帯域指示情報は、新しい撮像画像伝送用無線帯域、新しいＭＲ画像伝送用無線帯域、および無線帯域の切替タイミングを含んでいる。変更指示信号があった場合には、無線Ｉ／Ｆ部１０９が、使用する無線帯域を切り替える。

ステップＳ２１５では、画像情報取得部１０４は、受信した無線パケット内に存在するＭＲ画像情報を取得し、表示部１０５に出力する。ＭＲ画像情報が圧縮ＭＲ画像情報であれば、伸長処理を行い、表示部１０５が表示できるデータ形式で出力する。また、所定の時間までＭＲ画像が受信されない場合には、メモリー１０３が保存する撮像画像を表示部１０５に出力し、表示部１０５がディスプレイにＭＲ画像または撮像画像を表示する。

以上説明したとおり第１実施形態によれば、適応的に撮像画像伝送用帯域およびＭＲ画像伝送用帯域を決定する。具体的には、通常時には、撮像画像伝送帯域およびＭＲ画像伝送帯域で異なる帯域を割り当てる。一方、無線帯域逼迫時には、同一の無線帯域を割り当てる。また、無線帯域の使用状況および遅延時間情報や電源残量値などの無線ＭＲシステム状況に応じて、帯域割当を適応的に変更する。

この構成により、参加するユーザーが経験することになるシステム遅延時間を一定の範囲以内に収めつつ、無線ＭＲシステム内のユーザー数をより多くすることが可能となる。すなわち、無線帯域を公平かつ効率的に利用可能とすることが可能となる。

（第２実施形態）
第２実施形態では、無線帯域逼迫時において割当無線帯域の周波数帯域幅を適応的に減じる構成について説明する。

＜前提技術＞
まず、無線ＬＡＮ規格であるＩＥＥＥ８０２．１１ｎやＩＥＥＥ８０２．１１ａｃ、ＩＥＥＥ８０２．１１ａｄで規格化されているＲＤ（Reverse Direction）プロトコルについて説明する。ＲＤプロトコルは、送信局と受信局の間での双方向伝送の高効率化を実現するプロトコルである。

ＲＤプロトコルは、ＣＳＭＡ／ＣＡに基づき送信局が送信期間を獲得し、獲得した送信期間の一部を受信局がＡＣＫ伝送およびデータ伝送を実行する送信期間として、送信局が受信局に譲渡することを規定している。

ＲＤプロトコルを用いない場合で二つの無線局が双方向通信を行うには、まず無線局ＡがＲＴＳ（Request to Send）信号を送信し、宛先局である無線局ＢがＲＴＳ信号を受信する。そして、無線局ＢがＣＴＳ（Clear to Send）信号を送信し、無線局ＡがＣＴＳ信号を受信することで無線局Ａが送信期間を獲得する。同様に無線局Ｂが送信期間を獲得するには、上述の手順における無線局Ａの動作を実行する必要があり、双方向通信を実行するにはＲＴＳ信号とＣＴＳ信号が最低でも２回ずつ送信されることになる。

ＲＤプロトコルを用いる場合、一方の無線局ＡがＲＴＳ信号を送信し、宛先局である他方の無線局ＢがＲＴＳ信号を受信する。そして、無線局ＢがＣＴＳ信号を送信し、無線局ＡがＣＴＳ信号を受信することで無線局Ａが送信期間を獲得する。送信期間を獲得した無線局Ａは無線局Ｂに、ＲＤＧ（Reverse Direction Grant）を含んだデータを送信する。一方、ＲＤＧを受信した無線局Ｂは、無線局ＡがＲＴＳ／ＣＴＳで獲得した送信期間の一部が譲渡されたことを認識し、無線局Ａに対してＡＣＫとともにデータを送信する。

ＲＤプロトコルを用いることで、無線局Ｂが送信期間を獲得するためのＲＴＳ信号／ＣＴＳ信号の送信が不要になる。そのため、ネットワークのオーバーヘッド低減が可能になる。また、ＲＴＳ／ＣＴＳ信号の送信回数を減少により、ネットワークにおけるパケット衝突が生じる可能性を減少させることができる。

＜システム構成＞
図６は、第２実施形態に係るＭＲシステム構成図である。ＨＭＤ６００は、撮像部６０１、画像情報生成部６０２、メモリー６０３、画像情報取得部６０４、表示部６０５を含んでいる。更に、要求信号生成部６０６、割当信号解析部６０７、端末情報生成部６０８、譲渡信号生成部６０９、無線Ｉ／Ｆ部６１０を含んでいる。

すなわち、第１実施形態のＨＭＤ１００に対して、ＨＭＤ６００は、ＨＭＤ６００が獲得した無線帯域の一部を譲渡する譲渡信号を生成する譲渡信号生成部６０９を更に含んでいる。

また、ＰＣ６２０は、画像情報取得部６２１、位置姿勢取得部６２２、ＣＧ＿ＤＢ部６２３、ＣＧ描画部６２４、画像情報生成部６２５を含んでいる。更に、要求信号解析部６２６、端末情報取得部６２７、使用状況取得部６２８、割当部６２９、割当信号生成部６３０、変更指示部６３１、譲渡信号解析部６３２、無線Ｉ／Ｆ部６３３を含んでいる。

すなわち、第１実施形態のＰＣ１１０に対して、ＰＣ６２０は、ＨＭＤ６００が送信した譲渡信号を解析する譲渡信号解析部６３２を更に含んでいる。

＜システムの動作＞
図７は、第２実施形態におけるＨＭＤ６００の動作を説明する図である。また、図８は、第２実施形態におけるＰＣ６２０の動作を説明する図である。なお、以下の処理は、例えば、ユーザにより開始指示を受け付けることにより開始される。

ステップＳ７０１およびＳ８０１では、ＨＭＤ６００とＰＣ６２０が無線リンクの確立を行う。

図９は、無線帯域を例示的に示す図である。具体的には、無線ＭＲシステムで用いられる周波数バンドプランを示す。ここでは、３種類の帯域幅があることを想定する。無線帯域９０１は、もっとも狭帯域である狭帯域周波数幅を示している。無線帯域９０２は、狭帯域周波数幅を２つチャネルボンディングした中帯域周波数幅を示している。無線帯域９０３は、中帯域周波数幅を２つチャネルボンディングした広帯域周波数幅を示している。Ｓ７０１およびＳ８０１の段階では、狭帯域周波数幅での無線リンクが確立できていればよい。

ステップＳ７０２では、無線Ｉ／Ｆ部６１０は、キャリアセンスを行い、一定期間使用されておらずＰＣ６２０とのデータ通信に使用可能な無線周波数帯域の判定を行う。ここでは、狭帯域周波数幅の無線帯域９０１の特定を行うものとする。同様に、ステップＳ８０２では、無線Ｉ／Ｆ部６３３は、キャリアセンスを行い、一定期間使用されていない狭帯域周波数幅の無線帯域９０１の特定を行う。

ステップＳ７０３では、要求信号生成部６０６は、Ｓ７０２で取得した使用可能と推定される狭帯域周波数幅の無線帯域９０１を用いて、周波数を変えたＲＴＳ信号を要求信号を、それぞれ生成する。ステップＳ７０４では、無線Ｉ／Ｆ部６１０は、Ｓ７０３で生成したＲＴＳ信号をＰＣ６２０に送信する。

ステップＳ８０３では、端末情報取得部６２７は、他のＨＭＤの端末情報を取得する。

ステップＳ８０４では、ＰＣ６２０は、ＨＭＤ６００と既に無線ＭＲシステムを構築しているかを判定する。構築していない場合はＳ８０５に進み、ＨＭＤからのＭＲシステム構築を要求する要求信号がＨＭＤにより送信されるのを待つ。既に無線ＭＲシステムを構築している場合には、Ｓ８０７に進む。

ステップＳ８０５では、無線Ｉ／Ｆ部６３３は、ＨＭＤから要求信号を受信したかを判定し、受信した場合にはＳ８０６に進み、一定時間受信しなかった場合にはＳ８０２に戻る。

ステップＳ８０６では、要求信号解析部６２６は、ＨＭＤ６００が送信した要求信号としてのＲＴＳ信号を受信し、受信品質を取得する。受信品質を判定した結果、画像伝送が可能な品質であれば、ＲＴＳ信号への応答としてのＣＴＳ信号を生成する。

ステップＳ８０７では、変更指示部６３１は、他のＰＣからの変更指示信号を取得する。変更指示信号がある場合にはＳ８０８に進み、変更指示信号が無い場合にはＳ８１６に進む。

ステップＳ８０８では、変更指示部６３１は、変更指示信号の解析を行い、使用可能な無線帯域の周波数帯域幅を取得する。

ステップＳ８０９では、割当部６２９は、使用可能な周波数帯域幅を決定する。ＨＭＤ６００が新規に無線ＭＲシステムを構築する場合であれば、ＰＣ６２０とＨＭＤ６００がキャリアセンスして双方が使用可能である無線帯域があれば、Ｓ８１０に進む。Ｓ８１０では、使用可能な無線帯域の帯域幅に応じて”広帯域幅”または”中帯域幅”とする。ＰＣ６２０とＨＭＤ６００がキャリアセンスして双方が使用可能な無線帯域の周波数幅が狭帯域周波数幅しかない場合、Ｓ８１１に進み、”狭帯域幅”とする。更に、双方が使用可能な無線帯域が存在しない場合、Ｓ８１２に進む。

なお、ＨＭＤ６００が既に無線ＭＲシステムを構築している場合には、Ｓ８０８で取得した変更指示信号の割当無線帯域幅を上限として、双方使用可能な帯域幅を決定する。

ステップＳ８１２では、変更指示部６３１は、他のＨＭＤの端末情報を比較し、最も余裕のあるＨＭＤまたはＨＭＤが接続しているＰＣに対して割当無線帯域幅の削減を指示する。そして、空いた無線帯域をＨＭＤ６００に割り当てるため、Ｓ８１１に進み、割当無線帯域幅を”狭帯域幅”とする。

ステップＳ８１３では、割当信号生成部６３０は、Ｓ８１０またはＳ８１１で設定した割当無線帯域幅に基づいて、Ｓ８０６で生成したＣＴＳ信号のうちＨＭＤ６００に送信するＣＴＳ信号を決定する。

ステップＳ７０５では、無線Ｉ／Ｆ部６１０は、ＰＣ６２０が送信した割当信号を受信し、Ｓ７０６に進む。連続したＣＴＳ信号が受信できなかった場合には、Ｓ７０２に戻り、再度ＲＴＳ信号を生成する。ステップＳ７０６では、割当信号解析部６０７は、画像伝送に使用する無線帯域を決定する。

ステップＳ７０７では、撮像部６０１は、周辺の撮像を行い、撮像画像を取得する。さらに、ＨＭＤ６００は、撮像画像時刻を示すフレーム番号とともに、撮像画像をメモリー６０３に保存する。

ステップＳ７０８では、割当信号解析部６０７は、Ｓ７０６で取得した割当無線帯域情報における割当無線帯域幅が所定の閾値以下であるか否かを判定する。割当無線帯域幅が閾値を超える場合はＳ７１１に進み、割当無線帯域幅が閾値以下の場合はＳ７０９に進む。

ステップＳ７０９では、割当信号解析部６０７は、後述のＳ７１５で取得したデータ量削減指示情報を取得する。データ量削減指示があった場合には、Ｓ７１０に進み、データ量削減指示が無い場合にはＳ７１１に進む。ステップＳ７１０では、画像情報生成部６０２は、データ量削減指示に基づき、撮像画像のデータ量削減を行う。

ステップＳ７１１では、無線Ｉ／Ｆ部６１０は、Ｓ７０６で割り当てられた無線周波数帯域を使用して、ＲＴＳ信号をＰＣ６２０に送信する。

ステップＳ８１４では、無線Ｉ／Ｆ部６３３は、ＲＴＳ信号を受信すると、Ｓ８１３で決定したＣＴＳ信号を送信する。ＣＴＳ信号の送信は、チャネルボンディングした無線帯域で双方向通信を行うため、連続した無線帯域のＣＴＳ信号を送信する。例えば、割り当てられた無線帯域が、中帯域周波数幅であれば２つの連続したＣＴＳ信号を送信する。一方、割り当てられた無線帯域が、広帯域周波数幅であれば４つの連続したＣＴＳ信号を送信する。これにより、ＨＭＤ６００およびＰＣ６２０で画像伝送に使用する周波数帯域を確定する。

ステップＳ７１２では、無線Ｉ／Ｆ部６１０は、Ｓ７１０で生成した画像情報および端末情報を含む無線パケットを生成し、さらに、譲渡信号生成部６０９は、譲渡信号を加えて、ＰＣ６２０に送信する。譲渡信号の付与は、例えば無線パケットのペイロードデータ部を使用する方法でも、無線パケットのヘッダ部のリサーブビットを使用する方法でもよい。他にもＲＤＧを含めたＰＰＤＵ（PLCP Protocol Data Unit）により通知される方法でもよい。つまり、ＣＳＭＡ／ＣＡに基づきＨＭＤ６００が送信局として有している送信期間を、ＰＣ６２０が送信局として使用することをＨＭＤ６００とＰＣ６２０が互いに認識できる方法であれば、これら方式に限定されない。

ステップＳ８１５では、無線Ｉ／Ｆ部６３３は、Ｓ７１１でＨＭＤ６００が送信した無線パケットを受信し、譲渡信号解析部６３２は、無線パケット内の譲渡信号を解析する。そして、端末情報取得部６２７は、受信パケット内の端末情報を他ＰＣに通知する。

ステップＳ８１６では、画像情報取得部６２１は、ＨＭＤ６００からの受信パケットにおける撮像画像情報に基づき、特徴点情報を取得する。取得した特徴点情報に基づき、位置姿勢取得部６２２は、ＨＭＤ６００の位置姿勢を算出する。その後、ＣＧ描画部６２４は、ＨＭＤ６００の位置姿勢で仮想物体を観察した場合のＣＧ画像を描画しＭＲ画像を生成する。また、生成したＭＲ画像のデータ量算出を行う。

ステップＳ８１７では、ＣＧ描画部６２４は、割当無線帯域幅が狭帯域幅であり、かつ、ＭＲ画像のデータ量が所定の閾値を超えて大きい場合にはＳ８１７に進む。一方、閾値より小さい場合にはＳ８１９に進む。

ステップＳ８１８では、画像情報生成部６２５は、ＭＲ画像のデータ量の削減を指示するための削減指示信号の生成を行う。そして、ステップＳ８１９では、画像情報生成部６２５は、ＭＲ画像のデータ量の削減を行う。画像データの削減方法は、圧縮・解像度の削減・フレームレートの削減などが用いられる。

ステップＳ８２０では、無線Ｉ／Ｆ部６３３は、Ｓ８１６で生成したＭＲ画像情報、および、もしあれば、撮像画像情報量削減指示信号を含んだ無線パケットを生成する。また、ＭＲ画像情報には、ＭＲ画像情報を生成する基になった撮像画像のフレーム番号も含める。

ステップＳ８２１では、使用状況取得部６２８は、キャリアセンスを行い、一定時間使用されていない無線帯域が存在するかを検出する。一定時間使用されていない無線帯域が存在した場合には、Ｓ８２２に進む。一定時間使用されていない無線帯域が存在しない場合には、Ｓ８２６に進む。

ステップＳ８２２では、端末情報取得部６２７は、全ＨＭＤの端末情報を比較し、最も余裕が少ないＨＭＤを特定する。そして、ステップＳ８２３では、端末情報取得部６２７は、特定されたＨＭＤは、ＨＭＤ６００であるか他のＨＭＤであるかを判定する。ＨＭＤ６００であれば、Ｓ８２４に進む。他のＨＭＤであれば、そのＨＭＤと無線ＭＲシステムを構築しているＰＣに通知する必要があるため、Ｓ８２５に進む。

ステップＳ８２４では、無線Ｉ／Ｆ部６３３は、ＨＭＤ６００に対して新たに無線帯域が割り当てられることを通知するため、変更指示信号を含む無線パケットを生成する。一方、ステップＳ８２５では、変更指示部６３１は、Ｓ８２１で決定したＨＭＤと無線ＭＲシステムを構築しているＰＣに対して、新たに無線帯域が割り当てられることを通知する。

ステップＳ８２６では、無線Ｉ／Ｆ部６３３は、Ｓ８１９で生成したＭＲ画像情報を含む無線パケットと、もしあれば、Ｓ８２３で生成した変更指示信号を含む無線パケットをＨＭＤ６００に送信する。

ステップＳ７１３では、無線Ｉ／Ｆ部６１０は、ＰＣ６２０が送信した無線パケットを受信し、受信パケット内のＭＲ画像情報を画像情報取得部６０４に出力する。さらに、ＭＲ画像情報に存在するフレーム番号に基づき、撮像画像を行ったフレーム番号の時刻と、無線パケットを受信した時刻の差をシステム遅延時間として端末情報生成部６０８に出力する。他にも、無線パケット内にＰＣが生成した撮像画像情報量削減指示信号および変更指示信号があれば、それぞれ画像情報生成部６０２および割当信号解析部６０７に出力する。

ステップＳ７１４では、割当信号解析部６０７は、Ｓ７１３で受信した無線パケット内に変更指示信号が存在するかを判定し、存在すればＳ７１５に進み、存在しなければＳ７１６に進む。

ステップＳ７１５では、無線Ｉ／Ｆ部６１０は、Ｓ７１４で受信した変更指示信号に基づき、撮像画像伝送帯域およびＭＲ画像伝送帯域として用いる無線帯域を更新する。

ステップＳ７１６では、画像情報取得部６０４は、受信した無線パケット内に存在するＭＲ画像情報を取得し、表示部６０５に出力する。ＭＲ画像情報が圧縮ＭＲ画像情報であれば、伸長処理を行い、表示部６０５が表示できるデータ形式で出力する。また、所定の時間までＭＲ画像が受信されない場合には、メモリー６０３が保存する撮像画像を表示部６０５に出力し、表示部６０５がディスプレイにＭＲ画像または撮像画像を表示する。

以上説明したとおり第２実施形態によれば、割当無線帯域の周波数帯域幅を適応的に更新する。また、当該構成には、双方向無線通信システムを構築するためのＲＤプロトコルを適用できる。この構成により、第１実施形態の構成よりさらにシステム遅延時間を低減することが可能となり、ユーザーの没入感を損ねることのない無線ＭＲシステムを提供することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ ＨＭＤ； １０１ 撮像部； １０２ 画像情報生成部； １０３ メモリー； １０４ 画像情報取得部； １０５ 表示部； １０６ 要求信号生成部； １０７ 割当信号解析部； １０８ 端末情報生成部； １０９ 無線Ｉ／Ｆ部； １１０ ＰＣ； １１１ 画像情報取得部； １１２ 位置姿勢取得部； １１３ ＣＧ＿ＤＢ部； １１４ ＣＧ描画部； １１５ 画像情報生成部； １１６ 要求信号解析部； １１７ 端末情報取得部； １１８ 使用状況取得部； １１９ 割当部； １２０ 割当信号生成部； １２１ 変更指示部； １２２ 無線Ｉ／Ｆ部

Claims (14)

1. 他の通信装置と無線通信が可能な通信装置であって、
   前記他の通信装置から、撮像画像に係る情報を第１の無線帯域を用いた無線通信によって受信する受信手段と、
   前記情報に基づいて、前記撮像画像に重畳表示されるＣＧ画像を生成するＣＧ画像生成手段と、
   前記ＣＧ画像を第２の無線帯域を用いた無線通信によって前記他の通信装置に送信する送信手段と、
   前記第１の無線帯域及び前記第２の無線帯域のそれぞれに対して割り当てる無線帯域を決定する決定手段と、
   を有し、
   前記決定手段は、
   前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域が複数存在する場合は、該第１の無線帯域及び該第２の無線帯域のそれぞれに対して個別の無線帯域を割り当て、
   前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域が複数存在せずに１つ存在する場合は、該第１の無線帯域及び該第２の無線帯域に対して該１つの無線帯域を割り当てる
   ことを特徴とする通信装置。
2. 前記他の通信装置は、前記撮像画像に係る情報の送信に先立って、前記第１の無線帯域として使用可能な無線帯域に関する第１の情報を前記通信装置に無線通信によって送信するよう構成されており、
   前記通信装置は、前記送信手段による前記ＣＧ画像の送信に先立って、前記第２の無線帯域として使用可能な無線帯域に関する第２の情報を取得するよう構成されており、
   前記決定手段は、前記第１の情報と前記第２の情報とに基づいて、前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域がいくつ存在するかを判定する
   ことを特徴とする請求項１に記載の通信装置。
3. 前記決定手段は、前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域が存在しない場合は、無線帯域を使用している他装置に対して、使用する無線帯域を変更するよう指示し、該指示の後に使用可能となった１以上の無線帯域を前記第１の無線帯域及び前記第２の無線帯域に対して割り当てる
   ことを特徴とする請求項１又は２に記載の通信装置。
4. 前記ＣＧ画像のデータ量を削減する削減手段を更に有し、
   前記削減手段は、前記第１の無線帯域及び前記第２の無線帯域に対して前記決定手段が前記１つの無線帯域を割り当てており、かつ、前記ＣＧ画像のデータ量が所定の閾値より大きい場合に、前記ＣＧ画像のデータ量を削減する
   ことを特徴とする請求項１乃至３の何れか１項に記載の通信装置。
5. 前記決定手段による無線帯域の割り当てを更新する更新手段を更に有し、
   前記更新手段は、前記第１の無線帯域及び前記第２の無線帯域に対して前記決定手段が前記１つの無線帯域を割り当てており、かつ、前記第１の無線帯域及び前記第２の無線帯域に対して追加で使用可能な無線帯域が存在する場合に、該第１の無線帯域及び該第２の無線帯域に対する無線帯域の割り当てを更新するよう前記決定手段に指示する
   ことを特徴とする請求項１乃至４の何れか１項に記載の通信装置。
6. 他の通信装置と無線通信が可能な通信装置であって、
   前記他の通信装置から、撮像画像に係る情報を第１の無線帯域を用いた無線通信によって受信する受信手段と、
   前記情報に基づいて、前記撮像画像に重畳表示されるＣＧ画像を生成するＣＧ画像生成手段と、
   前記ＣＧ画像を前記第１の無線帯域を用いた無線通信によって前記他の無線通信装置に送信する送信手段と、
   前記第１の無線帯域に割り当てる無線帯域幅を決定する決定手段と、
   を有し、
   前記決定手段は、
   前記第１の無線帯域に対して使用可能な無線帯域幅が所定の閾値を超える場合は、該第１の無線帯域に対して第１の無線帯域幅を割り当て、
   前記第１の無線帯域に対して使用可能な無線帯域幅が前記所定の閾値以下である場合は、該第１の無線帯域に対して前記第１の無線帯域幅より狭い第２の無線帯域幅を割り当てる
   ことを特徴とする通信装置。
7. 前記他の通信装置は、前記撮像画像に係る情報の送信に先立って、前記第１の無線帯域として使用可能な無線帯域に関する第１の情報を前記通信装置に無線通信によって送信するよう構成されており、
   前記送信手段は、前記ＣＧ画像の送信に先立って、前記第１の無線帯域として使用可能な無線帯域に関する第２の情報を取得し、
   前記決定手段は、前記第１の情報と前記第２の情報とに基づいて、前記第１の無線帯域として使用可能な無線帯域幅を判定する
   ことを特徴とする請求項６に記載の通信装置。
8. 前記決定手段は、前記第１の無線帯域に対して使用可能な無線帯域が存在しない場合は、無線帯域を使用している他装置に対して、使用する無線帯域を変更するよう指示し、該指示の後に使用可能となった無線帯域幅を含む無線帯域を前記第１の無線帯域に対して割り当てる
   ことを特徴とする請求項６又は７に記載の通信装置。
9. 前記ＣＧ画像のデータ量を削減する削減手段を更に有し、
   前記削減手段は、前記第１の無線帯域に対して前記決定手段が前記第２の無線帯域幅を割り当てており、かつ、前記ＣＧ画像のデータ量が所定の閾値より大きい場合に、前記ＣＧ画像のデータ量を削減する
   ことを特徴とする請求項６乃至８の何れか１項に記載の通信装置。
10. 前記決定手段による無線帯域幅の割り当てを更新する更新手段を更に有し、
    前記更新手段は、前記第１の無線帯域に対して前記決定手段が前記第２の無線帯域幅を割り当てており、かつ、前記第１の無線帯域に対して追加で使用可能な無線帯域が存在する場合に、該第１の無線帯域に対する無線帯域幅の割り当てを更新するよう前記決定手段に指示する
    ことを特徴とする請求項６乃至９の何れか１項に記載の通信装置。
11. 前記撮像画像に係る情報は、非圧縮の撮像画像、圧縮された撮像画像、撮像画像における特徴点に関する情報の少なくとも何れかを含む
    ことを特徴とする請求項１乃至１０の何れか１項に記載の通信装置。
12. 他の通信装置と無線通信が可能な通信装置の制御方法であって、
    前記他の通信装置による無線送信に用いられる第１の無線帯域及び前記通信装置による無線送信に用いられる第２の無線帯域のそれぞれに対して割り当てる無線帯域を決定する決定工程と、
    前記他の通信装置から、撮像画像に係る情報を前記第１の無線帯域を用いた無線通信によって受信する受信工程と、
    前記情報に基づいて、前記撮像画像に重畳表示されるＣＧ画像を生成するＣＧ画像生成工程と、
    前記ＣＧ画像を前記第２の無線帯域を用いた無線通信によって前記他の通信装置に送信する送信工程と、
    を含み、
    前記決定工程では、
    前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域が複数存在する場合は、該第１の無線帯域及び該第２の無線帯域のそれぞれに対して個別の無線帯域を割り当て、
    前記第１の無線帯域及び前記第２の無線帯域に対して使用可能な無線帯域が複数存在せずに１つ存在する場合は、該第１の無線帯域及び該第２の無線帯域に対して該１つの無線帯域を割り当てる
    ことを特徴とする制御方法。
13. 他の通信装置と無線通信が可能な通信装置の制御方法であって、
    前記他の通信装置による無線送信及び前記通信装置による無線送信に用いられる第１の無線帯域に割り当てる無線帯域幅を決定する決定工程と、
    前記他の通信装置から、撮像画像に係る情報を前記第１の無線帯域を用いた無線通信によって受信する受信工程と、
    前記情報に基づいて、前記撮像画像に重畳表示されるＣＧ画像を生成するＣＧ画像生成工程と、
    前記ＣＧ画像を前記第１の無線帯域を用いた無線通信によって前記他の無線通信装置に送信する送信工程と、
    を含み、
    前記決定工程では、
    前記第１の無線帯域に対して使用可能な無線帯域幅が所定の閾値を超える場合は、該第１の無線帯域に対して第１の無線帯域幅を割り当て、
    前記第１の無線帯域に対して使用可能な無線帯域幅が前記所定の閾値以下である場合は、該第１の無線帯域に対して前記第１の無線帯域幅より狭い第２の無線帯域幅を割り当てる
    ことを特徴とする制御方法。
14. 請求項１乃至１１の何れか１項に記載の通信装置の各手段としてコンピュータを機能させるためのプログラム。