JP7819782B2 - 体性感覚制御装置、方法およびプログラム - Google Patents

Description

この発明の一態様は、例えば仮想現実（Virtual Reality：ＶＲ）技術を用いた体性感覚制御装置、方法およびプログラムに関する。

近年、ＶＲ技術を活用したサービスが種々提案されている。例えば、非特許文献１には、ＶＲ技術を活用してスポーツトレーニングを行うサービスに関する技術が記載されている。このサービスは、スポーツシーンにおいて取得される計測データに基づいて、スポーツの状態を仮想空間に再現し、これをユーザがヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）を通じて体験することで、自身のトレーニングに役立てるようにしたものである。また、ＶＲ技術を活用した他のサービスとして、メタバース上でアバタを用いたオンライン会議等のコミュニケーションを行うサービスも提案されている。

三上弾ほか、「ＶＲ技術を活用したスポーツトレーニングの試み」、日本画像学会誌 第５８巻 第３号 p316-323 (2019)

ところで、ＨＭＤを装着してＶＲ空間を体験する場合、ユーザは現実空間を視認できないため、現実空間における自身の体性感覚の認識が困難となる。そこで、例えば現実空間におけるユーザの状態をカメラで撮像してその映像データをＶＲ空間に併せて表示したり、ユーザの状況を表すテキストデータをＶＲ空間に表示することで、ＶＲ空間に没入しているユーザが現実空間における自身の体性感覚を認識できるようにする手法が考えられている。

しかし、この手法では、ＨＭＤを用いたＶＲ空間の体験の特徴である没入感が阻害され、ＶＲ技術を活用したトレーニングや会議等に対するユーザの集中力の低下や意欲の低下を招くおそれがある。

この発明は上記事情に着目してなされたもので、ユーザが仮想現実空間への没入感を損なうことなく現実空間における自身の体性感覚を認識できるようにする技術を提供しようとするものである。

上記課題を解決するためにこの発明に係る体性感覚制御装置又は方法の一態様は、ユーザに装着されるヘッドマウントディスプレイに前記ユーザに対応するアバタを含む仮想現実空間を表す情報を表示する際に、前記ユーザが所定の心身状態と関連性を有する擬似的な行動を行ったときの当該行動の内容を表す情報として、ノンアルコール飲料を飲んだときの飲量を表す情報を取得し、取得された前記飲量を表す情報をもとに、前記ユーザに前記飲量に対応する酒酔い状態を錯覚させるための効果情報を生成する。そして、前記仮想現実空間を表す情報に含まれる前記アバタに対し前記効果情報を反映し、前記効果情報が反映された前記アバタを含む前記仮想現実空間を表す情報を前記ヘッドマウントディスプレイへ出力するようにしたものである。

この発明の一態様によれば、例えば、仮想現実空間を表す情報に含まれる、ユーザに対応するアバタに、ユーザがノンアルコール飲料を飲んだときの飲量に対応する酒酔い状態を錯覚させる効果情報が反映される。このため、ユーザはヘッドマウントディスプレイにおいて仮想現実空間を表す情報を見ながら、自身のアバタの様子からノンアルコール飲料を飲んだときの飲量に対応する酒酔い状態を錯覚することが可能となる。この結果、ユーザは仮想現実空間に対する没入感を損なうことなく自身の体性感覚を認識することが可能となる。

すなわち、この発明の一態様によれば、ユーザが仮想現実空間に対する没入感を損なうことなく現実空間における自身の体性感覚を認識できるようにする技術を提供することができる。

図１は、この発明の第１の実施形態に係る体性感覚制御装置を備えるオンライン会議システムの一例を示す図である。 図２は、この発明の第１の実施形態に係る体性感覚制御装置のハードウェア構成の一例を示すブロック図である。 図３は、この発明の第１の実施形態に係る体性感覚制御装置のソフトウェア構成の一例を示すブロック図である。 図４は、図３に示した体性感覚制御装置の制御部が実行する体性感覚制御処理の処理手順と処理内容の一例を示すフローチャートである。 図５は、第１の実施形態の実施例１の説明に使用するＶＲ効果情報の一例を示す図である。 図６は、第１の実施形態の実施例２の説明に使用するＶＲ効果情報の一例を示す図である。 図７は、第１の実施形態の実施例３の説明に使用するＶＲ効果情報の一例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［原理］
この発明の実施形態は、ＶＲ技術を活用したオンライン会議システム等において、ユーザの分身を表すアバタ等のキャラクタの表情や振る舞いが、そのユーザの行動特性や外向性に影響を与える「プロテウス効果」に着目する。

「プロテウス効果」とは、例えばＶＲ技術を用いたオンラインゲームにおいて、アバタとして屈強な肉体を持つキャラクタを操る人に、ゲーム内でより大胆な行動をしたり、強気に交渉するといった変化が発生することを表す。この行動の変化は、オンライン上のみならずユーザの現実の行動にも及ぶ可能性がある。「プロテウス効果」については、例えば以下の参考文献において詳しく報告されている。

参考文献１；Nick Yee, & Jeremy Bailenson, “The Proteus effect: The effect of transformed self-representation on behavior”. Human communication research, 33(3), 271-290. 2019.
参考文献２；Konstantina Kilteni, Ilias Bergstrom and Mel SlaterBergstrom, “Drumming in immersive virtual reality: the body shapes the way we play”. IEEE transactions on visualization and computer graphics, 19(4), 597-605. 2013.
この発明の実施形態は、上記「プロテウス効果」に着目し、ユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に、例えばオンライン会議上の様子をＶＲ空間データとして表示させる際に、ユーザの心身の状態をセンサにより測定する。そして、その測定情報をもとに、ユーザの心身の状態をユーザに知覚または錯覚させるためのＶＲ効果情報を生成し、生成した上記ＶＲ効果情報をＶＲ空間データ中のユーザのアバタに反映させる。そして、このＶＲ効果情報が反映されたアバタを含む上記ＶＲ空間データを、上記ＨＭＤに表示させる。

この発明の実施形態によれば、ＨＭＤに表示されるＶＲ空間データに含まれるアバタの様子により、ユーザに自身の現実空間における心身状態を知覚、或いは錯覚させることが可能となる。すなわち、ユーザに対し、ＶＲ空間への没入感を損なうことなく現実空間における自身の体性感覚を認識させることが可能となる。

［第１の実施形態］
（構成例）
（１）システム
図１は、この発明の第１の実施形態に係る体性感覚制御装置を備えるＶＲオンライン会議システムの一例を示す図である。

第１の実施形態に係るシステムは、ユーザがマイクロフォン２を備えたヘッドセット型のＨＭＤ１を使用して、他の参加者の会議端末６１～６ｎとの間で、ネットワーク４上に配置されたオンライン会議サーバ５を介して、ＶＲ空間でのオンライン会議を行うもので、ＨＭＤ１には体性感覚制御装置３が接続されている。

マイクロフォン２には、ユーザの呼気に含まれるアルコール濃度を検出するための呼気センサ７が付設されている。呼気センサは、呼気アルコール濃度の検出信号をＨＭＤ１を介して体性感覚制御装置３へ送信する。

なお、呼気アルコール濃度を検出するためのセンサとしては、例えば以下のサイトに記載されたものを使用することができる。
＜URL: https://www.switch-science.com/catalog/6652/＞。

オンライン会議サーバ５は、ユーザを含む複数の会議参加者の端末間でＶＲ空間を用いたオンライン会議通信を可能にする。なお、会議参加者が使用する端末は、汎用のパーソナルコンピュータが使用される。

ネットワーク４は、例えばインターネットを中核とする広域ネットワークと、この広域ネットワークに対しアクセスするためのアクセスネットワークとを備える。アクセスネットワークとしては、例えば、有線または無線を使用する公衆通信ネットワーク、有線または無線を使用するＬＡＮ（Local Area Network）、ＣＡＴＶ（Cable Television）ネットワークが使用される。また、ネットワーク４には、地上波または衛星を使用する放送媒体が含まれていてもよい。

（２）体性感覚制御装置３
図２および図３は、それぞれこの発明の第１の実施形態に係る体性感覚制御装置３のハードウェア構成およびソフトウェア構成の一例を示すブロック図である。

体性感覚制御装置３は、例えばパーソナルコンピュータからなり、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部３１を備える。そして、この制御部３１に対し、バス３７を介して、プログラム記憶部３２およびデータ記憶部３３を有する記憶ユニットと、センサインタフェース（以後インタフェースをＩ／Ｆと略称する）部３４と、通信Ｉ／Ｆ部３５と、入出力Ｉ／Ｆ部３６とを接続したものとなっている。

なお、体性感覚制御装置３としては、例えばパーソナルコンピュータ以外にスマートフォンやタブレット型端末が用いられてもよい。また体性感覚制御装置３は、ユーザがオンライン会議通信のために使用する端末と兼用されてもよく、さらにはその機能がＨＭＤ１に内蔵されてもよい。

センサＩ／Ｆ部３４は、呼気センサ７から出力された呼気アルコール濃度の検出信号を受信してデジタルデータに変換する。通信Ｉ／Ｆ部３５は、ネットワーク４を介してオンライン会議サーバ５との間でＶＲ空間データの送受信を行う。入出力Ｉ／Ｆ部３６は、ＨＭＤ１から出力されるユーザの映像および音声等を含む送信データを受信すると共に、ＨＭＤ１へ制御部３１から出力されるＶＲ空間データを送信する。

なお、センサＩ／Ｆ部３４は入出力Ｉ／Ｆ部３６に統合してもよく、またセンサＩ／Ｆ部３４および入出力Ｉ／Ｆ部３６には、例えばBluetooth（登録商標）等の小電力無線データ通信規格を採用した無線インタフェース機能が備えられていてもよい。無線インタフェース機能を用いることで、体性感覚制御装置３とＨＭＤ１との間の信号の送受信をコードレスで行うことが可能となる。

プログラム記憶部３２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、第１の実施形態に係る各種制御を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。

データ記憶部３３は、例えば記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、その記憶領域には、この発明の第１の実施形態を実施するために必要な主たる記憶部として、心身情報記憶部３３１と、ＶＲ効果リスト記憶部３３２と、ＶＲ空間データ記憶部３３３とが設けられている。

心身情報記憶部３３１は、上記呼気センサ７から受信した呼気アルコール濃度の検出データを一時保存するために使用される。ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の複数の値に対応付けて、ＶＲ空間のアバタを変化させるためのＶＲ効果情報が事前に記憶されている。ＶＲ空間データ記憶部３３３は、オンライン会議サーバ５から送信されたＶＲ空間データを、アバタの制御処理のために一時保存するために使用される。

制御部３１は、この発明の第１の実施形態を実施するために必要な処理機能として、心身情報取得処理部３１１と、ＶＲ効果情報生成処理部３１２と、ＶＲ空間データ取得処理部３１３と、アバタ制御処理部３１４と、ＶＲ空間データ出力処理部３１５とを備える。これらの処理部３１１～３１５は、何れもプログラム記憶部３２に格納されたアプリケーション・プログラムを制御部３１のハードウェアプロセッサに実行させることにより実現される。

なお、上記処理部３１１～３１５の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

心身情報取得処理部３１１は、オンライン会議参加中のユーザの呼気アルコール濃度検出データを呼気センサ７から受信し、受信した呼気アルコール濃度検出データをユーザの心身状態を表す情報として心身情報記憶部３３１に一時保存する。

ＶＲ効果情報生成処理部３１２は、上記心身情報記憶部３３１に記憶された呼気アルコール濃度の検出データをもとに、ＶＲ効果リスト記憶部３３２から対応するＶＲ効果情報を検索する。

ＶＲ空間データ取得処理部３１３は、オンライン会議サーバ５から送信された、会議スペースを表すＶＲ空間データを通信Ｉ／Ｆ部３５を介して受信し、受信したＶＲ空間データをＶＲ空間データ記憶部３３３に一時記憶する。

アバタ制御処理部３１４は、上記ＶＲ空間データ記憶部３３３からＶＲ空間データを読み込み、読み込んだＶＲ空間データに含まれるユーザのアバタに対し、上記ＶＲ効果情報生成処理部３１２により生成されたＶＲ効果情報を反映させる。なお、アバタに対するＶＲ効果情報の反映処理の一例は動作例において述べる。

ＶＲ空間データ出力処理部３１５は、上記アバタ制御処理部３１４によりＶＲ効果情報が反映されたアバタを含む上記ＶＲ空間データを入出力Ｉ／Ｆ部３６からＨＭＤ１へ出力し表示させる。

（動作例）
次に、以上のように構成された体性感覚制御装置３の動作例を説明する。
図４は、体性感覚制御装置３の制御部３１が実行する体性感覚制御処理の処理手順と処理内容の一例を示すフローチャートである。

（１）心身情報の取得
体性感覚制御装置３の制御部３１は、ステップＳ１０によりユーザがオンライン会議に参加したか否かを監視する。

この状態で、ユーザが会議に参加すると、体性感覚制御装置３の制御部３１は、先ずステップＳ１１において、心身情報取得処理部３１１の制御の下、呼気センサ７により検出されたユーザの呼気アルコール濃度の検出データをセンサＩ／Ｆ部３４を介して受信し、受信した検出データをユーザの心身状態を表す情報として心身情報記憶部３３１に保存する。

なお、上記呼気アルコール濃度の検出データは、常時取得してもよいし、所定の時間間隔で周期的に一定期間分を取得するようにしてもよい。また、取得した検出データを所定のサンプリング間隔でサンプリングして保存するようにしてもよい。

（２）ＶＲ効果情報の生成
体性感覚制御装置３の制御部３１は、次にステップＳ１２において、ＶＲ効果情報生成処理部３１２の制御の下、上記心身情報記憶部３３１から一定期間ごとに呼気アルコール濃度の検出データを読み込む。そして、読み込んだ上記呼気アルコール濃度の検出データに対応するＶＲ効果情報をＶＲ効果リスト記憶部３３２から検索する。そして、検索したＶＲ効果情報をアバタ制御処理部３１４に渡す。

なお、ユーザが会議参加前に飲酒をしていた場合には、呼気アルコール濃度がそれ以上増加することはないと推定されるので、上記呼気アルコール濃度の検出データの読み込みは会議への参加開始直後に１回のみ行われるようにしてもよい。但し、ユーザが会議中も飲酒を続ける場合に備え、呼気アルコール濃度の検出データの読み込みはその後も定期的に行い、ＶＲ効果情報を更新することが望ましい。

（３）ＶＲ空間情報の取得
体性感覚制御装置３の制御部３１は、ユーザが会議に参加している期間中に、オンライン会議サーバ５から送信されるＶＲ空間データを、ＶＲ空間データ取得処理部３１３の制御の下、ステップＳ１３により通信Ｉ／Ｆ部３５を介して受信し、受信したＶＲ空間データをＶＲ空間データ記憶部３３３に一旦保存する。

（４）アバタの制御
体性感覚制御装置３の制御部３１は、次にステップＳ１４において、アバタ制御処理部３１４の制御の下、上記ＶＲ空間データ記憶部３３３からＶＲ空間データを読み込み、読み込んだＶＲ空間データに含まれるユーザのアバタを認識する。そして、アバタ制御処理部３１４は、認識した上記アバタに対し、上記ＶＲ効果情報生成処理部３１２により生成されたＶＲ効果情報を反映させる処理を行う。

以下に、反映処理の一例を示すいくつかの実施例を説明する。

（実施例１）
実施例１は、ＶＲ効果をアバタの腕の動きに反映させるものである。

図５は、実施例１において使用されるＶＲ効果リストの一例を示すものである。すなわち、ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の予め設定された複数の値の範囲に対応付けてアバタの腕の制御量Ｃ１が記憶されている。この制御量Ｃ１は、ＶＲ効果としてアバタに対し腕の震えを与えるもので、例えば単位時間ごとの腕の振れ幅を定義する。

アバタ制御処理部３１４は、上記制御量Ｃ１に従いアバタの腕の部位を表す画像を振動させるように映像変換を行う。例えば、呼気アルコール濃度［mg/L］が０．１未満であれば腕に震えを発生させないが、呼気アルコール濃度［mg/L］が０．２以上０．４未満であれば腕を毎秒２cmで振動させる。同様に、呼気アルコール濃度［mg/L］が０．４以上であれば腕を毎秒３cmでさらに大きく振動させる。

そして、アバタ制御処理部３１４は、上記のように腕に震えが与えられたアバタを含むＶＲ空間データをＶＲ空間データ出力処理部３１５に渡す。

（実施例２）
実施例２は、ＶＲ効果をアバタの声の質に反映させるものである。

図６は、実施例２において使用されるＶＲ効果リストの一例を示すものである。すなわち、ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の予め設定された複数の値に対応付けてアバタの声の質を変化させるための制御量Ｃ２が記憶されている。この制御量Ｃ２は、ＶＲ効果としてアバタの声に対しぼかしを与えるもので、例えば声の周波数特性を変化させるフィルタ特性の制御情報により表される。

アバタ制御処理部３１４は、上記制御量Ｃ２に従いアバタの声の周波数特性をフィルタ処理により変化させ、これにより声にぼかしを与える。例えば、呼気アルコール濃度［mg/L］が０．１未満であれば声にぼかしを与えないが、呼気アルコール濃度［mg/L］が０．２以上０．４未満であれば声の周波数特性を６０％変化させる。同様に、呼気アルコール濃度［mg/L］が０．４以上であれば声の周波数特性を９０％変化させる。

そして、アバタ制御処理部３１４は、上記のように声の質が変換されたアバタを含むＶＲ空間データをＶＲ空間データ出力処理部３１５に渡す。

（実施例３）
実施例３は、ＶＲ効果をアバタの周囲の映像に反映させるものである。

図７は、実施例３において使用されるＶＲ効果リストの一例を示すものである。すなわち、ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の予め設定された複数の値に対応付けてアバタの周囲映像を変化させるための制御量Ｃ３が記憶されている。この制御量Ｃ３は、ＶＲ効果としてアバタの周囲に存在するオブジェクトに対し揺れまたは回転を与えるもので、例えば周囲映像の表示位置を揺動または回転させるための映像制御情報により表される。

アバタ制御処理部３１４は、上記制御量Ｃ３に従い、ＶＲ空間データ中のアバタの周囲に存在するオブジェクトに対し揺れまたは歪みを与えるための映像処理を行い、これによりアバタが見ている景色が酒酔いのため揺れているまたは回っている状態を表現する。例えば、呼気アルコール濃度［mg/L］が０．１未満であれば周囲映像を変化させないが、呼気アルコール濃度［mg/L］が０．２以上０．４未満であれば周囲映像の表示位置を６０％変化させる。同様に、呼気アルコール濃度［mg/L］が０．４以上であれば周囲映像の表示位置を９０％変化させる。

そして、アバタ制御処理部３１４は、上記のようにアバタの周囲のオブジェクトに揺れまたは回転が加えられたＶＲ空間データを、ＶＲ空間データ出力処理部３１５に渡す。

（５）ＶＲ空間データの出力
体性感覚制御装置３の制御部３１は、続いてステップＳ１５において、ＶＲ空間データ出力処理部３１５の制御の下、上記アバタ制御処理部３１４からユーザのアバタが制御されたＶＲ空間データを受け取り、受け取った上記ＶＲ空間データを入出力Ｉ／Ｆ部３６からＨＭＤ１に向け出力する。

この結果ＨＭＤ１には、ユーザの呼気アルコール濃度に応じて酒酔い状態を表すＶＲ効果が反映されたアバタを含むＶＲ空間データが表示される。従って、ユーザは、ＨＭＤ１に表示されるＶＲ空間に没入した状態で、このＶＲ空間データに存在する自身のアバタの様子により現実空間における自身の状態を知覚することが可能となる。

体性感覚制御装置３の制御部３１は、最後にステップＳ１６において、ユーザが会議から離脱したか否かを判定する。そして、会議への参加を継続してする場合には、ステップＳ１１に戻って心身情報の取得からアバタに対するＶＲ効果情報の反映、反映後のＶＲ空間データの表示までの一連の処理を繰り返し実行する。これに対し、会議が終了するかまたは会議を中途離脱すると、処理を終了し待機状態に復帰する。

（作用・効果）
以上述べたように第１の実施形態では、ＶＲ空間を用いたオンライン会議に参加中のユーザの呼気アルコール濃度の検出データを呼気センサ７から取得し、取得した上記呼気アルコール濃度に対応するＶＲ効果情報をＶＲ効果リスト記憶部３３２をもとに生成する。そして、上記ＶＲ効果情報を、オンライン会議サーバ５から受信されたＶＲ空間データに含まれるユーザのアバタに反映させる処理を行い、この反映処理後のアバタを含むＶＲ空間データをＨＭＤ１へ出力して表示させるようにしている。

従って、ユーザは、ＨＭＤ１に表示されるＶＲ空間に没入した状態でも、このＶＲ空間データ中の自身のアバタの様子により現実空間における自身の酒酔いの状態を知覚することが可能となる。すなわち、ユーザに対し、ＶＲ空間への没入感を損なうことなく現実空間における自身の体性感覚を認識させることが可能となる。

なお、上記説明では、酒酔いの症状として「腕の震え」、「声のぼかし」、「周囲オブジェクトの揺動または回転」を選択的に用いているが、ユーザによって酒酔いの症状の種類およびその程度は異なるため、事前にユーザの酒酔いの症状を聴取してその結果を反映させるようにするとよい。また、酒酔いの症状としては、他に「顔の色の変化」や「顔の弛緩」、「眠気の表情」等を用いてもよい。

また、酒酔いの状態としては、他に例えば千鳥足などの歩き方を表すＶＲ効果情報を生成してアバタに反映させることにより、ユーザに酒酔いの状態の程度を知覚させるようにしてもよい。

［第２の実施形態］
第１の実施形態では、ユーザの酒酔いの状態をアバタに反映させる場合を例にとって説明した。これに対し、この発明の第２の実施形態は、ユーザの疲労度または覚醒度をアバタに反映させるようにしたものである。

なお、体性感覚制御装置３が備える各機能およびその処理手順は、図３および図４に示したものと基本的には変わらないので、第２の実施形態でも図３および図４を用いて説明を行う。

ユーザの疲労度または覚醒度は、生体センサにより得られる生体情報から推定することが可能である。例えば疲労度は、心拍数や顔色を心拍センサまたはカメラにより撮影される顔画像から推定可能である。

また、覚醒度は、ＨＭＤ１に光電容積脈波センサとサーモパイルの２種類のセンサを配置し、これらのセンサにより光電容積脈波と呼吸波形を計測する。呼吸を計測するには、例えばサーモパイルを配置して呼気と吸気の温度差を求める。光電容積脈波は、光電容積脈波センサを用いて計測し、脈波のピーク間隔RRIを計算するこれにより求める。覚醒度は、心拍変動のパターンを評価することにより推定することができる。

なお、上記覚醒度の計測方法については、例えば以下のサイトにより紹介されている。
＜URL: https://www.itmedia.co.jp/news/articles/2001/24/news030.html＞。

体性感覚制御装置３の制御部３１は、上記生体センサから出力される生体情報を、ステップＳ１１により心身情報取得処理部３１１の制御の下で取得する。そして、ステップＳ１２において、ＶＲ効果情報生成処理部３１２の制御の下、取得した上記生体情報から疲労度または覚醒度を推定し、推定した上記疲労度または覚醒度をもとにＶＲ効果リスト記憶部３３２から対応するＶＲ効果情報を読み出す。

例えば、ＶＲ効果リスト記憶部３３２に、疲労度または覚醒度の推定値％に対応付けて、アバタの顔または身体の映像を変化させる映像制御量、音声の制御量、または視野の変化を表すための周囲オブジェクトの表示範囲やその表示状態の制御量を登録する。そして、上記疲労度または覚醒度の推定値をもとに、ＶＲ効果リスト記憶部３３２から対応する映像制御量、音声の制御量、または周囲オブジェクトの表示範囲やその表示状態の制御量を読み出し、読み出した上記制御量をＶＲ効果情報とする。

体性感覚制御装置３の制御部３１は、次にステップＳ１４において、アバタ制御処理部３１４の制御の下、ＶＲ空間データ取得処理部３１３により取得されたＶＲ空間データに含まれるアバタに対し、上記ＶＲ効果情報を反映させるための処理を行う。そして、上記ＶＲ効果情報が反映されたＶＲ空間データを、ステップＳ１５において、ＶＲ空間データ出力処理部３１５の制御の下、入出力Ｉ／Ｆ部３６からＨＭＤ１に向け出力する。

かくしてＨＭＤ１には、アバタにそのユーザの疲労度または覚醒度が反映されたＶＲ空間データが表示され、ユーザはＶＲ空間に没入した状態で、当該ＶＲ空間内のアバタにより現実空間における自身の疲労度または覚醒度を知覚することが可能となる。

［第３の実施形態］
上記第１の実施形態では、ユーザの酒酔いの状態をアバタに反映させる場合について述べた。これに対し、この発明の第３の実施形態は、ユーザがノンアルコール飲料を飲んだ場合にその飲量の計測値を取得し、取得した上記飲量に対応する酒酔いの状態を表すＶＲ効果情報を生成してアバタに反映させることにより、ユーザに酒酔い状態を錯覚させるものである。

なお、第３の実施形態においても、体性感覚制御装置３が備える各機能およびその処理手順は、図３および図４に示したものと基本的には変わらないので、図３および図４を用いて説明を行う。

ユーザがノンアルコール飲料を飲んだ量は、例えばコップ自体またはコースター或いはマットに重量センサを設け、この重量センサから出力される重量の計測値を飲量を表す情報として取得することが可能である。

体性感覚制御装置３の制御部３１は、上記重量センサから出力される計測データを、ステップＳ１１により心身情報取得処理部３１１の制御の下で取得する。そして、ステップＳ１２において、ＶＲ効果情報生成処理部３１２の制御の下、取得した上記計測データからユーザが飲んだノンアルコール飲料の量を算出し、算出した上記ノンアルコール飲料の飲量をもとに、ＶＲ効果リスト記憶部３３２から酒酔い状態を錯覚させるためのＶＲ効果情報を読み出す。

例えば、ＶＲ効果リスト記憶部３３２に、飲量mL（またはmg）に対応付けて、アバタの顔または身体を酒酔い状態に変化させる映像制御量、音声の制御量、または周囲オブジェクトに揺れや回転を与えるための制御量を登録する。そして、ＶＲ効果情報生成処理部３１２は、上記ノンアルコール飲料の計測値をもとに、ＶＲ効果リスト記憶部３３２から対応する映像制御量、音声の制御量、または周囲オブジェクトの表示状態の制御量を読み出し、読み出した上記制御量をＶＲ効果情報とする。

体性感覚制御装置３の制御部３１は、次にステップＳ１４において、アバタ制御処理部３１４の制御の下、ＶＲ空間データ取得処理部３１３により取得されたＶＲ空間データに含まれるアバタに対し、上記ＶＲ効果情報を反映させるための処理を行う。そして、上記ＶＲ効果情報が反映されたＶＲ空間データを、ステップＳ１５において、ＶＲ空間データ出力処理部３１５の制御の下、入出力Ｉ／Ｆ部３６からＨＭＤ１に向け出力する。

かくしてＨＭＤ１には、アバタにユーザが飲んだノンアルコール飲料の量に対応する酒酔いの状態が反映されたＶＲ空間データが表示され、これによりユーザに対しＶＲ空間内のアバタを用いて酒酔い状態を錯覚させることが可能となる。

［その他の実施形態］
（１）第２の実施形態では、疲労度または覚醒度をアバタを用いてユーザに知覚させる場合を例にとって説明した。しかし、疲労度または覚醒度が予め設定されたしきい値未満の場合には、ユーザを活気づけるためのＶＲ効果情報を生成してアバタに反映し、このアバタを含むＶＲ空間データをＨＭＤ１に表示させるようにしてもよい。このようにすると、ユーザに対しアバタを用いたプロテウス効果により、活気ややる気を与えることが可能となる。

（２）ＶＲ空間に没入しているユーザの体温を例えばＨＭＤ１に設けた温度センサにより計測し、その計測値をもとにユーザの発熱の程度をアバタを用いてユーザに知覚させるようにしてもよい。その他、取得対象となるユーザの心身状態の種類や、アバタにＶＲ効果を反映させるための制御内容については、どのようなものであってもよい。

（３）その他、体性感覚制御装置の機能構成やその処理手順と処理内容、ＶＲ効果情報の種類や内容等については、この発明の要旨を何時堕しない範囲で種々変形して実施可能である。

以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…ヘッドマウントディスプレイ（ＨＭＤ）
２…マイクロフォン
３…体性感覚制御装置
４…ネットワーク
５…オンライン会議サーバ
６１～６ｎ…参加者の会議端末
７…呼気センサ
３１…制御部
３２…プログラム記憶部
３３…データ記憶部
３４…センサＩ／Ｆ部
３５…通信Ｉ／Ｆ部
３６…入出力Ｉ／Ｆ部
３７…バス
３１１…心身情報取得処理部
３１２…ＶＲ効果情報生成処理部
３１３…ＶＲ空間データ取得処理部
３１４…アバタ制御処理部
３１５…ＶＲ空間データ出力処理部
３３１…心身情報記憶部
３３２…ＶＲ効果リスト記憶部
３３３…ＶＲ空間データ記憶部

Claims (4)

1. ユーザに装着され当該ユーザに対応するアバタを含む仮想現実空間を表す情報を表示するヘッドマウントディスプレイに接続される体性感覚制御装置であって、
   前記ユーザが所定の心身状態と関連性を有する擬似的な行動を行ったときの当該行動の内容を表す情報として、ノンアルコール飲料を飲んだときの飲量を表す情報を取得する第１の処理部と、
   取得された前記飲量を表す情報をもとに、前記ユーザに前記飲量に対応する酒酔い状態を錯覚させるための効果情報を生成する第２の処理部と、
   前記仮想現実空間を表す情報に含まれる前記アバタに対し前記効果情報を反映する第３の処理部と、
   前記効果情報が反映された前記アバタを含む前記仮想現実空間を表す情報を前記ヘッドマウントディスプレイへ出力する第４の処理部と
   を具備する体性感覚制御装置。
2. 前記第２の処理部は、前記ユーザに前記飲量に対応する酒酔い状態を錯覚させるための前記効果情報として、前記アバタの体の動きを変化させる映像制御情報、前記アバタが発する声を変化させる音声制御情報、および前記アバタとその周囲映像の表示状態を変化させる表示制御情報のうちの少なくとも１つを生成し、
   前記第３の処理部は、前記映像制御情報、前記音声制御情報および前記表示制御情報の少なくとも１つに基づいて、前記仮想現実空間を表す情報に含まれる前記アバタの体の動き、声および周囲映像の少なくとも１つを変化させる
   請求項１に記載の体性感覚制御装置。
3. ユーザに装着され当該ユーザに対応するアバタを含む仮想現実空間を表す情報を表示するヘッドマウントディスプレイに接続される情報処理装置が実行する体性感覚制御方法であって、
   前記ユーザが所定の心身状態と関連性を有する擬似的な行動を行ったときの当該行動の内容を表す情報として、ノンアルコール飲料を飲んだときの飲量を表す情報を取得する第１の過程と、
   取得された前記飲量を表す情報をもとに、前記ユーザに前記飲量に対応する酒酔い状態を錯覚させるための効果情報を生成する第２の過程と、
   前記仮想現実空間を表す情報に含まれる前記アバタに対し前記効果情報を反映する第３の過程と、
   前記効果情報が反映された前記アバタを含む前記仮想現実空間を表す情報を前記ヘッドマウントディスプレイへ出力する第４の過程と
   を具備する体性感覚制御方法。
4. 請求項１又は２に記載の体性感覚制御装置が具備する第１乃至第４の処理部が実行する処理を、前記体性感覚制御装置が備えるプロセッサに実行させるプログラム。