JP2000338858A - 仮想空間体感装置 - Google Patents

仮想空間体感装置

Info

Publication number
JP2000338858A
JP2000338858A JP11149744A JP14974499A JP2000338858A JP 2000338858 A JP2000338858 A JP 2000338858A JP 11149744 A JP11149744 A JP 11149744A JP 14974499 A JP14974499 A JP 14974499A JP 2000338858 A JP2000338858 A JP 2000338858A
Authority
JP
Japan
Prior art keywords
sensation
virtual space
user
space
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11149744A
Other languages
English (en)
Inventor
Hiroyuki Kobayashi
広幸 小林
Nobuyuki Saijo
信之 西條
Kanji Inagaki
完治 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP11149744A priority Critical patent/JP2000338858A/ja
Publication of JP2000338858A publication Critical patent/JP2000338858A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 本発明は、仮想現実空間において映像のみな
らず、触感、運動感覚などを体感することができる仮想
空間体感装置を提供する。 【解決手段】 コンピュータグラフィックスを表示して
仮想的な現実を使用者5に提供する頭部装着型表示装置
202と、複数の駆動装置付き身体保持部で使用者を保
持するとともに、仮想的な現実に対応して駆動装置によ
り使用者の姿勢を変更する運動体感装置204と、駆動
装置に接続された複数の装着部が使用者の手に装着され
るように構成されるとともに、仮想的な現実に対応して
駆動装置により使用者の手の動きを制御する体感グロー
ブ203とを備えた仮想空間体感装置。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は仮想空間体感装置
に関するものである。
【0002】
【従来の技術】近年、仮想現実(virtual reality)な
いし仮想体験と呼ばれる,現実感を伴った仮想的な世界
をコンピュータの中に作り出す技術が開発されている。
この仮想体験技術を用いれば、例えばコンピュータ画面
に立体視CG(コンピュータグラフィックス)で表示さ
れた3次元物体を仮想的な手(データグローブ)を使っ
て持ち上げたりすることができる。
【0003】しかしながら、従来の仮想体験は、その体
験感覚も操作対象も視覚を中心とした映像主体なもので
あり、触感、温感、運動感覚まで再現することは考えら
れていない。このため、映像として表示されている盤お
よび制御装置などを仮想空間上で操作しても操作感など
に乏しい。
【0004】この操作感を補うために、例えば自動車教
習所においては、現物のハンドル、操作ペダルなどのハ
ードウェアと映像表示を組み合わせたドライブシミュレ
ータなどが利用されている。このような場合には、像表
示装置として大型スクリーンなどをシミュレータに組み
合わせるが、スクリーン装置では360度全周の映像を
表示することはできないため、仮想体験に比べれば視覚
的に現実感に乏しいものとなる。
【0005】
【発明が解決しようとする課題】このように従来の仮想
体験関連の装置は、主として視覚中心のものであり、身
体全体に作用するものではない。
【0006】一方、操作感の再現という課題を解決する
ために、ハードウェアを用いたシミュレータを用いる場
合には、操作感の変更が必要になったときに、装置の構
成を変更して対応しなければならない。したがって、こ
のようなシミュレータではシミュレート対象の仕様変更
等、種々の状況変化に柔軟に対応することは困難であ
る。
【0007】また、この種のシミュレータでは上記した
ように仮想現実という機能を十分に発揮することができ
ないので、使用できる用途がドライブシミュレータ等に
限定されてしまう。
【0008】本発明は、このような実情を考慮してなさ
れたもので、仮想現実空間において映像のみならず、触
感、運動感覚などを体感することができる仮想空間体感
装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記課題を解決するため
になされた第1の発明は、仮想的な現実を使用者に提供
する頭部装着型表示装置と、複数の駆動装置付き身体保
持部で使用者を保持するとともに、仮想的な現実に対応
して駆動装置により使用者の姿勢を変更する運動体感装
置とを備えた仮想空間体感装置である。
【0010】本発明はこのような手段を設けたので、仮
想現実空間において映像のみならず、運動感覚などを体
感することができる。
【0011】次に、課題解決のための第2の発明は、上
記第1の発明において、身体保持部には、各駆動装置の
動作位置を検知するセンサーが設けられており、センサ
ーからの位置情報に基づいて使用者の姿勢及び動作を確
認するとともに、仮想的な現実を与えるための仮想空間
情報並びに姿勢及び動作の情報に基づいて使用者の次の
姿勢を決定し、当該決定内容に基づき運動体感装置に姿
勢変更を指令する空間状態管理装置を備えた仮想空間体
感装置である。
【0012】本発明はこのような手段を設けたので、使
用者の姿勢制御を確実に行うことができる。
【0013】次に、課題解決のための第3の発明は、上
記第2の発明において、運動体感装置は、身体保持部ご
と使用者を回動させる1以上の回転リングを備え、空間
状態管理装置は、回転リングをも制御することにより使
用者の姿勢を変更させる仮想空間体感装置である。
【0014】本発明はこのような手段を設けたので、使
用者により現実的な体感を与えることができる。
【0015】次に、課題解決のための第4の発明は、上
記第2の発明において、空間状態管理装置は、人間の筋
力を向上させるような範囲に各駆動装置の動作範囲を規
定し、かつ反発力を与えるように各駆動装置を動作させ
ることで使用者の運動機能を向上させるように運動体感
装置を制御する仮想空間体感装置である。
【0016】本発明はこのような手段を設けたので、使
用者の運動能力を高めることができる。
【0017】次に、課題解決のための第5の発明は、上
記第2の発明において、頭部装着型表示装置は、使用者
に映像又は音声により動作タイミングを与えるタイミン
グ手段を備え、空間状態管理装置は、タイミング手段が
与えたタイミング及び運動体感装置からのセンサー情報
に基づき、使用者の運動能力を測定する仮想空間体感装
置である。
【0018】本発明はこのような手段を設けたので、使
用者の運動能力を測定することができる。
【0019】次に、課題解決のための第6の発明は、上
記第2の発明において、空間状態管理装置は、使用者の
柔軟性向上させるための重さを各駆動装置から当該使用
者に与えるよう運動体感装置を制御する仮想空間体感装
置である。
【0020】本発明はこのような手段を設けたので、使
用者の柔軟性を向上させることができる。
【0021】次に、課題解決のための第7の発明は、上
記第1の発明において、運動体感装置は、1以上のスピ
ーカーを備え、スピーカーから仮想的な現実に対応させ
た音声を出力させる仮想空間体感装置である。
【0022】本発明はこのような手段を設けたので、使
用者に音による臨場感を与えることができる。
【0023】次に、課題解決のための第8の発明は、仮
想的な現実を使用者に提供する頭部装着型表示装置と、
駆動装置に接続された複数の装着部が使用者の手に装着
されるように構成されるとともに、仮想的な現実に対応
して駆動装置により使用者の手の動きを制御する体感グ
ローブとを備えた仮想空間体感装置である。
【0024】本発明はこのような手段を設けたので、仮
想現実空間において映像のみならず、触感などを体感す
ることができる。
【0025】次に、課題解決のための第9の発明は、上
記第8の発明において、体感グローブには、駆動装置の
動作を監視することで指の位置を検出するセンサーが設
けられており、センサーからの指位置情報と、仮想的な
現実を与えるための仮想空間情報とに基づいて、使用者
の指位置を制限するように体感グローブを制御する空間
状態管理装置を備えた仮想空間体感装置である。
【0026】本発明はこのような手段を設けたので、仮
想空間上の物体に対応して使用者の手の動きを制限する
ことができる。
【0027】次に、課題解決のための第10の発明は、
上記第9の発明において、空間状態管理装置は、仮想空
間情報が与える物体の硬さに対応して指に力を加えるよ
うに体感グローブを制御することで指に触感を与えさせ
る仮想空間体感装置である。
【0028】本発明はこのような手段を設けたので、仮
想空間上の物体の硬さ柔らかさに応じて指に触感を与え
ることができる。
【0029】次に、課題解決のための第11の発明は、
上記第8の発明において、体感グローブには、駆動装置
の動作を監視することで指の位置及び手首の傾き位置を
検出するセンサーが設けられており、センサーからの指
手首位置情報と、仮想的な現実を与えるための仮想空間
情報とに基づいて、使用者の指手首位置を制限するよう
に体感グローブを制御する空間状態管理装置を備えた仮
想空間体感装置である。
【0030】本発明はこのような手段を設けたので、指
手首を含めた手全体に対して仮想空間上の物体に対応す
る動作制限を与えることができる。
【0031】次に、課題解決のための第12の発明は、
上記第11の発明において、空間状態管理装置は、仮想
空間情報が与える物体の硬さに対応して指及び手首に力
を加えるように体感グローブを制御することで手に触感
を与えさせる仮想空間体感装置である。
【0032】本発明はこのような手段を設けたので、仮
想空間上の物体の柔らかさに対応して指手首を含めた手
全体に触感を与えることができる。
【0033】次に、課題解決のための第13の発明は、
上記第8の発明において、体感グローブは、掌への触圧
覚を感じさせるために、仮想的な現実に対応して形状を
変化させて掌に接触させる柔軟な板状部材を備えた仮想
空間体感装置である。
【0034】本発明はこのような手段を設けたので、仮
想現実に対応して掌に触感を与えることができる。
【0035】次に、課題解決のための第14の発明は、
上記第8の発明において、体感グローブは、仮想的な現
実に対応して手に熱又は冷熱を与える温度制御手段を備
えた仮想空間体感装置である。
【0036】本発明はこのような手段を設けたので、仮
想現実に対応して手に温度を与えることができる。
【0037】次に、課題解決のための第15の発明は、
仮想的な現実を使用者に提供する頭部装着型表示装置
と、複数の駆動装置付き身体保持部で使用者を保持する
とともに、仮想的な現実に対応して駆動装置により使用
者の姿勢を変更する運動体感装置と、駆動装置に接続さ
れた複数の装着部が使用者の手に装着されるように構成
されるとともに、仮想的な現実に対応して駆動装置によ
り使用者の手の動きを制御する体感グローブとを備えた
仮想空間体感装置である。
【0038】本発明はこのような手段を設けたので、仮
想現実空間において映像のみならず、触感、運動感覚な
どを体感することができる。
【0039】次に、課題解決のための第16の発明は、
上記第15の発明において、使用者の身体状態を測定す
る1以上のセンサからなる運動機能測定装置と、運動機
能測定装置からのセンサ情報を入力し、身体状態が所定
条件となる場合にシステムを停止する空間状態管理装置
とを備えた仮想空間体感装置である。
【0040】本発明はこのような手段を設けたので、使
用者の安全性を図ることができる。
【0041】次に、課題解決のための第17の発明は、
上記第15の発明において、頭部装着型表示装置は、左
右の目それぞれに対応する独立した画像表示部を備え、
当該各画像表示部から左右の両眼視差と動眼視差を利用
した画像を表示することで立体映像を使用者に与える仮
想空間体感装置である。
【0042】本発明はこのような手段を設けたので、立
体視となる仮想現実を使用者に与えることができる。
【0043】次に、課題解決のための第18の発明は、
上記第17の発明において、頭部装着型表示装置は、使
用者の視界に合わせた映像を取り込み可能な画像取込手
段を備えるとともに、その画像表示部は外界視認の可不
可を切替可能に構成されており、画像取込手段から取り
込まれた実際の景色内の物体位置を検出し、画像表示部
が提供すべき画像を実際の景色内の物体に位置合わせし
て合成するとともに、当該画像に画像表示部から表示さ
せ、かつ外界視認を可能な状態に切替えるよう指令する
空間状態管理装置とを備えた仮想空間体感装置である。
【0044】本発明はこのような手段を設けたので、現
実の景色と仮想空間中の物体を合わせて使用者に与える
ことができる。
【0045】次に、課題解決のための第19の発明は、
上記第15の発明において、頭部装着型表示装置は、使
用者の音声を入力する音声入力手段を備えており、頭部
装着型表示装置、運動体感装置及び体感グローブを制御
する手段であって、音声入力手段からの入力音声を解析
するとともに、解析された入力音声に対応する動作命令
を実行する空間状態管理装置とを備えた仮想空間体感装
置である。
【0046】本発明はこのような手段を設けたので、使
用者が音声により簡単にシステムに対して命令を与える
ことができる。
【0047】次に、課題解決のための第20の発明は、
上記第1〜19の発明のうち何れかの仮想空間体感装置
を複数接続するとともに、各仮想空間体感装置間におい
て、それぞれの使用者に仮想的な現実を与えるための情
報を共有させる仮想空間体感システム。
【0048】本発明はこのような手段を設けたので、各
仮想空間体感装置上の各使用者が同一の仮想空間上で共
通した仮想現実を得ることができる。
【0049】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。
【0050】(発明の第1の実施の形態)図1は本発明
の第1の実施形態に係る仮想空間体感装置の一例を示す
全体構成図であり、図2は同実施形態の仮想空間体感装
置の機能的な構成を示すブロック図である。
【0051】この仮想空間体感装置は、仮想空間中の使
用者5の姿勢、位置を管理すると共に、使用者の動作に
よって物体の移動、または、歩行などによる場所移動な
どが発生した場合の仮想空間中の状態管理を行うもので
ある。すなわち、図1及び図2に示すように、体感装置
本体100と、ヘッドマウントディスプレイ202と、
体感グローブ203と、仮想空間データ記憶装置200
とが空間状態管理装置201に電気的に接続されて構成
されている。なお、この空間状態管理装置201及び仮
想空間データ記憶装置200は体感装置本体100に組
み込むようにしてもよい。
【0052】また、体感装置本体100は、運動体感装
置204及び運動機能測定装置205とからなり、図1
に示す装置台1の上に動作部やセンサが取り付けられて
構成される。すなわち装置台1から傾斜駆動部4を介し
て前後回転リング3が取り付けられ、さらに前後回転リ
ング3の内側に左右回転リング2が取り付けられた構造
となっている。左右回転リング2の内側に使用者5が入
り、体感グローブ203を付け、ヘッドマウントディス
プレイ202を装着し、各関節を駆動部(後述)に固定
した状態で装置のセットアップが完了するようになって
いる。
【0053】上記のごとく図2には、仮想空間体感装置
を構成する各駆動部、センサ及び計算機からなる機能構
成が示されている。さらに、これらの各部200〜20
5は図3〜図7に詳細構成が示されている。
【0054】図3は空間状態管理装置の構成例を示すブ
ロック図である。
【0055】空間状態管理装置201は、ヘッドマウン
トディスプレイ制御部207、グローブ制御部208、
運動体感装置制御部209及び運動機能測定部210が
空間状態管理部206に接続されて構成されている。
【0056】空間状態管理部206は、環境データ、音
響データ及び物体データ等を記憶する仮想空間データ記
憶装置200から、これらの各データを入力し、仮想空
間を構築する。また、接続された各装置202〜205
に対応する各制御部207〜209,測定部210を介
して取得した情報に基づき、使用者5に提供すべき画像
やその身体状態等を判断する。さらに、各制御部207
〜209に指示を与えることにより、制御部207〜2
09による各装置202〜204の制御を実現させるよ
うになっている。
【0057】つまりヘッドマウントディスプレイ制御部
207,グローブ制御部208,運動体感装置制御部2
09及び運動機能測定部210は、それぞれ対応するヘ
ッドマウントディスプレイ202,体感グローブ20
3,運動体感装置204及び運動機能測定装置205か
らの信号を取り込み、また、空間状態管理部206に従
ってこれらを制御するものである。以下に、各制御部2
07〜209,測定部210について具体的に説明す
る。
【0058】まず、ヘッドマウントディスプレイ制御部
207は、ディスプレイの左右の映像を制御する映像制
御部211、左右のカメラ映像を入力するカメラ映像入
力部212、使用者の発話音を認識する声認識部213
及びヘッドマウントディスプレイの向き、仮想空間中で
の位置を各センサーから入力するヘッドマウントディス
プレイ位置認識部214から構成されている。
【0059】次に、グローブ制御部208は、仮想空間
中でのグローブ203の位置を把握する左グローブ位置
認識部216及び右グローブ部位置認識部221を備え
ている。また、各指及び掌の動きを検出する左グローブ
動作検出部215及び右グローブ動作検出部220を備
えており、空間状態管理部206へグローブ位置及び動
作情報を伝送する。
【0060】また、グローブ制御部208から空間状態
管理部206へ伝送された情報と仮想空間中に配置され
た物体データの位置情報とから、手に物体が触れてお
り、かつその物体データに温度情報が含まれていれる場
合には、空間情報管理部206から制御要求が出力され
る。この場合に対応して、グローブ制御部208は、左
グローブ温感再現部217及び右グローブ温感再現部2
22を備えており、これらの温感再現部217,222
は、グローブ203上の温度制御素子を制御するように
なっている。
【0061】また、空間状態管理部206における”物
体に手が触れた状態の認識”に対応して、グローブ制御
部208には左グローブ感触再現部218及び右グロー
ブ感触再現部223が設けられており、これらの感触再
現部218,223は、指または掌にその感触を再現す
るようにグローブ203に設置されているリンクを制御
する。
【0062】次に、運動体感装置制御部209は、使用
者の身体部位の動作を検出する身体動作検出部224
と、空間状態管理部206からの指示に基づき運動体感
装置204上の各駆動部を制御することで使用者5の姿
勢を制御する姿勢制御部225と、内側リング制御部2
26と、外側リング制御部227とから構成されてい
る。
【0063】次に、運動機能測定部210は、使用者の
血圧、心拍数などの身体生理機能の値を測定するセンサ
ーから情報を入力し、空間状態管理部206へ情報を伝
送する身体データ入力部228から構成されている。
【0064】図4はヘッドマウントディスプレイの構成
例を示すブロック図である。
【0065】本実施形態のヘッドマウントディスプレイ
202には、使用者5の左目に作用する左側映像表示部
230、この映像表示の透過/不透過を行う左側液晶部
231が設けられている。右目にも同様に右側映像表示
部232、右側液晶部233が設けられている。
【0066】これら映像表示部230,232は、仮想
空間状態及び使用者5の動作に基づき、空間状態管理装
置201にて決められた表示すべき映像を表示するもの
である。この映像情報はヘッドマウントディスプレイ制
御部207の映像制御部211から伝送される。また、
左右別々の映像表示が行われるのは、映像を立体的に表
示し仮想空間を見るのを可能にするためである。
【0067】両目の液晶部231,233は、外観を見
ながら仮想空間の状態を同時に見る場合は透過し、仮想
空間ものを見る場合には不透過とする。すなわち画像合
成や通常の景色を見るためのものである。なお、液晶部
231,233の制御は仮想空間データの情報に基づい
て行われる他、使用者5の命令によっても制御可能とな
っている。
【0068】また、ヘッドマウントディスプレイ202
は、カメラ映像を仮想空間中に表示し、外の景色を仮想
空間に取り込むために、左側カメラ234,右側カメラ
235を備えている。これらのカメラ234,235は
仮想空間中に立体映像を表示するため左右で視差を持っ
ている。
【0069】また、本実施形態では、通常のキーボー
ド、マウスの他、音声でも仮想空間体感装置の制御を行
い得るようになっている。このためにヘッドマウントデ
ィスプレイ202には、音声入力を用いた命令及び会話
用の音声入力部236が設けられている。
【0070】さらに、仮想空間中における使用者5の動
作及び置かれている状態に応じ、仮想空間の音場を再生
出力するために、左側音声出力部238及び右側音声出
力部239が設けられている。ヘッドマウントディスプ
レィ202の位置や動作状態の監視、使用者の向いてい
る方向及び位置を検出するために、3次元センサー23
7が設けられている。
【0071】図5は体感グローブの構成例を示すブロッ
ク図である。
【0072】グローブ202は、指や手の状態を監視す
る各センサー241〜244,247,248と駆動部
245,246で構成される。
【0073】各指の状態を検出するためには、左センサ
ー241及び右センサー242が設けられている。これ
らセンサー241,242が検出するセンサ情報は、空
間状態管理装置201を構成しているグローブ制御部2
08の左グローブ動作検出部215、右グローブ動作検
出部220へ伝送されるようになっている。
【0074】また、仮想空間中における手(腕)の位置
を検出するため、左3次元センサー243及び右3次元
センサー244が設けられている。左右3次元センサー
情報もグローブ制御部208の左グローブ位置検出部2
16及び右グローブ位置検出部221へ伝送されるよう
になっている。
【0075】グローブ202の動作及び位置情報に基づ
いて仮想空間中で物体を掴んだ状態が空間状態管理部2
06にて検出されるようになっている。この検出に対応
した指示により左グローブ感触再現部217又は右グロ
ーブ感触再現部222が制御信号を出力する。この制御
信号に従って使用者5の指を動かすために左駆動部24
5及び右駆動部246がグローブ202に設けられてい
る。
【0076】また、上記物体把握に対応し、掴んだ物体
に温度データが設定されていれば、左グローブ温感再現
部218又は右グローブ温感再現部223が温感再現の
ための制御信号を出力する。この制御信号に従い、グロ
ーブ温度をコントロールするための左温度コントロール
部247a及び右温度コントロール部248a(例えば
ペルチェ素子、電子式ヒータからなる)がグローブ20
2に設けられている。また、これらの左温度コントロー
ル部247a及び右温度コントロール部248aに対応
して温度センサー247b及び温度センサー248bが
設けられ、その検出信号が各グローブ温感再現部21
8,223に出力するようになっている。
【0077】なお、左センサー241及び右センサー2
42には、指の状態を監視する親指センサー、人差し指
センサー、中指センサー、薬指センサー及び小指センサ
ー、手首の状態を監視する手首センサーA、手首センサ
ーB、手首センサーC及び手首センサーDが設けられ
る。右駆動部246及び左駆動部246には、親指駆動
部、人差し指駆動部、中指駆動部、薬指駆動部及び小指
駆動部、さらに、手首駆動部A、手首駆動部B、手首駆
動部C及び手首駆動部D、掌にあたる触圧駆動部A、触
圧駆動部Bが設けられる。
【0078】図6は運動体感装置の構成例を示すブロッ
ク図である。
【0079】運動体感装置204は、装置台1と、その
台上の傾斜駆動部4に支えられた左右回転リング2、及
びその左右回転リング2に保持され内側に設けられる前
後回転リング3の2つのリングを主要構成とするもので
ある。これらの回転リング2,3に、使用者の身体部位
の状態を検知する各センサー251や各駆動部252が
取り付けられて構成されている。なお、傾斜駆動部4
は、図6のセンサ251及び駆動部252に含めて表示
される傾斜センサー4aと傾斜駆動部4bとが一体にし
て構成されたものである。
【0080】また、傾斜駆動部4を除く各駆動部は、前
後回転部3の中で使用者5の体を保持するものである。
各駆動部は、実際には図6の対応する駆動部252とセ
ンサー251とが一体になって構成されたものである。
頭部駆動部A/Bと頭部センサーA/B、背部駆動部A
/Bと背部駆動部A/B、腰部駆動部A/Bと腰部セン
サーA/B、尻部駆動部A/Bと尻部センサーA/B、
左肩部駆動部A/Bと左肩部センサーA/B、右肩部駆
動部A/Bと右肩部センサーA/B、左肘部駆動部A/
Bと左肘部センサーA/B、右肘部駆動部A/Bと右肘
部センサーA/B、左膝部駆動部A/Bと左膝部センサ
ーA/B、右膝部駆動部A/Bと右膝部センサーA/
B、左足部駆動部A/Bと左足センサーA/B、右足部
駆動部A/Bと右足部センサーA/Bが対になってい
る。また、センサー部251の左右回転センサー部と左
右回転駆動部253、センサー部251の前後回転セン
サー部と前後回転駆動部254も対になり、一体に構成
されている。
【0081】また、前後回転部リング3には、周囲環境
音再生用に環境音声出力部A、環境音声出力部B、環境
音声出力部C、環境音声出力部Dを備えている(図示せ
ず)。さらに、装置台1には緊急停止センサー1aが備
えられている。
【0082】ここで、図6に示すように、センサー25
1からのセンサー情報は、空間状態管理装置201の構
成機能である運動体感装置制御部209の身体動作検出
部224へ伝送され、さらに空間状態管理部206へ伝
送され、仮想空間中の身体情報となる。空間状態管理装
置201では、この身体部位情報、グローブ情報等を総
合的に判断し、使用者5の姿勢を決定する。この姿勢情
報は、空間状態管理部206から運動体感装置制御部2
09の姿勢制御部225に与えられ、姿勢制御部225
は姿勢情報に基づく制御信号を出力する。各駆動部25
2はこの制御出力に従って駆動動作を行うようになって
いる。
【0083】また、姿勢情報は空間状態管理装置201
の外側リング制御部226及び内側リング制御部227
にも与えられる。外側リング制御部226及び内側リン
グ制御部227は、姿勢情報に対応して制御信号を出力
する。左右回転駆動部253及び前後回転駆動部254
は、この制御信号に従い、左右方向に動作する左右回転
リング2又は前後方向に動作する前後回転リング3を左
右前後方向へ回転(回動)駆動する。
【0084】図7は運動機能測定装置の構成例を示すブ
ロック図である。
【0085】運動機能測定装置205は、使用者5の身
体の生理機能の状態監視用データを収集するものであ
り、運動体感装置204に組み込まれた血圧測定センサ
ー261及び心拍数測定センサー262からなる。
【0086】各センサー261,262に収集される測
定値は、空間状態管理装置201における運動機能測定
部210の身体データ入力部228へ伝送される。身体
データ入力部228では、この測定値を空間状態管理部
206へ伝送する。ここで身体生理データに異常があれ
ば、空間状態管理部206は、本装置の自動停止などを
行うようになっている。また、空間状態管理部206
は、このデータを連続的に収集することで、体調変化を
見るようになっている。
【0087】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。こ
の仮想空間体感装置では、全体を統括している空間状態
管理装置201を中心に仮想空間データ記憶装置200
から環境データ、音響データ、物体データなどが入力さ
れ、仮想空間が構築される。また、グローブ203、運
動体感装置204、ヘッドマウントディスプレイ20
2、運動機能測定装置205が設けられることで、仮想
空間中の使用者の姿勢、位置が管理されると共に、使用
者の動作によって物体の移動、または、歩行などによる
場所移動などが発生した場合の仮想空間中の状態管理が
行われる。
【0088】また、空間状態管理装置201には、ヘッ
ドマウントディスプレイ202、グローブ203、運動
体感装置204、運動機能測定装置205が接続されて
おり、これら各機器から送られて来る各種情報を元に、
使用者に提供する画像、身体状態が判断される。
【0089】ヘッドマウントディスプレイに表示される
画像は、HMDの3次元センサー、グローブの3次元セ
ンサー、グローブ動作検出部及び身体動作検出部の情報
に基づいて決められている。したがって、本装置起動直
後は仮想空間データに従った画像が表示されるが、使用
者の向いている方向や、歩く、つかむなどの身体動作を
これらセンサー、手段で検出し、空間状態管理装置20
1へ伝送される。これら情報に基づいて、空間状態管理
装置201により仮想空間中の使用者に提供する映像が
更新される。すなわち、使用者5が歩く動作をすれば、
画像も歩く速度に応じて更新される。この画像は映像制
御部211より使用者に提供される。また、本システム
ではカメラの映像を取り込み、仮想空間中に合成表示す
ることも可能である。
【0090】また、仮想空間中にある物体を手で触った
場合、物体に温度データが設定されているときには、グ
ローブ202の温感再現部によって温感が再現される。
一方、触感再現部では、仮想空間中にある物体と、手の
指の位置から指が物体に触れたと判断された場合、対象
となる指のリンクを引いて感触が再現される。物体と指
の位置関係は空間状態管理装置201にて管理されてい
る。なお、グローブ動作検出部215,220では、各
指の位置が検出され、空間状態管理装置201へ伝送さ
れる。
【0091】運動体感装置204においては、各関節が
駆動部252で支持され、関節の動きは身体動作検出部
251で感知される。また空間状態管理部209からの
情報をに基づいて、運動体感装置制御部209の姿勢制
御部225により身体の姿勢が制御され、同じく空間状
態管理部206からの情報に基づいて、内外のリングが
外側リング制御部226及び内側リング制御部227に
よって制御される。
【0092】以上の各部の処理がシステム立上時からい
かなる経緯を辿って行われるかについて、システム全体
の流れを追って説明する。
【0093】図8は仮想空間体感装置の全体的な処理を
示す流れ図である。まず、本装置(仮想空間体感装置)
が起動されると、仮想空間データ記憶装置200から、
環境データ、物体データ、音響データ等が空間状態管理
部206へ入力され(s1)、仮想空間が構築される
(s2)。
【0094】これにより使用者5はヘッドマウンドディ
スプレイ202を通して仮想空間の映像を見ることが可
能となる(s3)。これは空間状態管理装置206にお
いて、使用者5の身体状態に対応した仮想空間中での体
位位置評価が行われた結果に基づく映像である。すなわ
ち、ヘッドマウンドディスプレイ202および腕、脚な
どの身体部位の向き及び位置が初期状態からの変化量か
ら計算され、映像を決定するなどの制御が行われ、その
評価結果を含めて映像がディスプレイ202から出力さ
れる(s3)。
【0095】続いて、グローブ203の制御として、使
用者5の手が物体に触れた場合は、感触が再現され、さ
らに温度データが設定されていれば、温感が再現される
などの制御が行われる(s4)。
【0096】身体部位の動作は、運動体感装置204で
検出又は制限が行われる。これは、先の動作変化量を元
に、使用者5の仮想空間中の位置が評価され、空間制限
と比較することで行われる(s5)。
【0097】また、使用者5の身体的な異常を検知する
ため、運動機能測定装置205により運動機能測定デー
タが評価され(s6)、異常が検出された場合には、空
間状態管理装置201からただちに停止要求が出力され
る。一連の制御が完了した場合には停止要求の有無が確
認される(s7)。
【0098】ここで自動停止要求あるいは使用者自身が
出した停止要求があれば(s7:Yes)、本装置が停
止される(s8)。停止要求がなければ(s7:N
o)、ステップs3に戻って一連の処理が繰り返され
る。
【0099】以上が仮想空間体感装置における全体的な
処理であるが、これらの処理は、上記のように、ヘッド
マウントディスプレイ202,グローブ203,運動体
感装置204及び運動機能測定装置205に設けられる
各種センサからの情報に基づき、空間状態管理装置20
1が各種判断を行い、これら装置202,203,20
4に対して各種の制御を行うことで実現されるものであ
る。そこで、次に、空間状態管理装置201の処理につ
いて詳細に説明する。
【0100】図9は空間状態管理装置の処理を示す流れ
図である。
【0101】本装置が起動されると、仮想空間データ記
憶装置200から、初期データが入力される(t1)。
このデータには部屋の様子、照明などの環境データ、部
屋に配置されている例えばテーブル、コップなどの物体
データの他、音響データ、温度データなどがある。この
データ情報を基づいて空間状態管理部206によって仮
想空間が構築される(t2)。
【0102】次に、使用者5の身体各部位が運動体感装
置204の各駆動部に固定され、さらにヘッドマウント
ディスプレイ202及びグローブ203が装着されて、
身体の初期状態が設定される(t3)。これは、泳ぐ場
合を例にすると身体をうつ伏せに設定する。
【0103】初期状態設定が完了した後、使用者身体状
態が入力される。まず、向いている方向としてヘッドマ
ウントディスプレイ202の向きと位置が3次元センサ
ー237からHMD位置認識部214へ入力される(t
4)。続いて、グローブ202の位置が各センサ241
等からグローブ制御部208へ入力され(t5)、さら
に、腕、脚などの身体状態が運動体感装置204のセン
サ251から身体動作検出部224へ入力される(t
6)。
【0104】これらセンサー入力が完了したら各身体の
初期状態(あるいは1サイクル前の身体状態)からの変
化量が空間状態管理部206によって計算される。すな
わちまず、ヘッドマウントディスプレイ202の向きと
位置の変化量が計算され(t7)、続いてグローブ位置
の変化量が計算される(t8)。さらに腕、脚、頭など
の身体動作の変化量が計算される(t9)。各変化量の
計算が完了した後、使用者5の仮想空間中状態が評価さ
れる(t10)。これにより使用者が仮想空間中のどの
位置にいて、どのような姿勢なのかが把握される。
【0105】次に使用者5に提供する映像を決定するた
め、まず、カメラ映像と仮想空間の合成要求の有無が判
断される(t11)。カメラ映像の要求があれば、カメ
ラ映像入力部212を介して入力された,ヘッドマウン
トディスプレイ202のカメラ234,235からのカ
メラ映像と、仮想空間との合成処理が空間状態管理部2
06にて行われる(t12)。さらにこの合成画像がヘ
ッドマウントディスプレイ202に表示される(t1
3)。
【0106】一方、カメラ映像の合成要求が無い場合
(t10:No)、仮想空間の表示のみがヘッドマウン
トディスプレイ202に表示される(t13)。なお、
この表示には身体の状態および、カメラ映像の合成要求
などが考慮される。
【0107】ヘッドマウントディスプレイ202に表示
する映像が決定された後、手の感触および温感の再現処
理が行われる。まず、仮想空間中にある物体の位置とグ
ローブの位置が空間状態管理部206に評価される(t
14)。ここで、物体とグローブの位置が交わっている
場合には(t14:Yes)、初期データ入力で得た情
報を基に感触が再現される(t15)。この触感再現は
グローブ制御部208からの制御によりグローブ202
の駆動部245,246が駆動されることで実現され
る。物体とグローブの位置が離れている場合(t14:
No)、感触の再現はせず(t16)、ステップt20
に進む。
【0108】感触の再現がある場合は、さらに温感の再
現判断が行われる(t17)。これは、物体の初期デー
タに温度データが設定されていれば(t17:Ye
s)、この値に従って使用者の手に温感が再現される
(t18)。この温感再現は、グローブ制御部208か
らの制御に従い、温度コントロール部247a,247
bが温度上昇降下を行うことで実現される。温度データ
がない場合、温感の再現はしない(t19)。
【0109】手の感触、温感の再現判断の後、空間制限
の有無が判断される。空間中の制限条件とは、使用者が
仮想空間中に動くことを許容されている範囲である。例
えば、ある部屋を仮想空間中に再現した場合、歩ける範
囲は部屋の壁の位置であり、下限は床となる。また、大
空を仮想空間で再現した場合には空間制限は無いことに
なる。
【0110】ここでは、まず、初期データの情報(ある
いは1サイクル前の情報)に基づいて空間制限の有無が
判断される(t20)。制限がある場合には(t20:
Yes)、この制限情報が入力される(t21)。空間
制限が無い場合には(t20:No)、身体の動作制限
はせず(t22)、ステップt27に進む。
【0111】空間制限がある場合、環境データ、仮想空
間中の身体位置などから身体部位の動作範囲が空間状態
管理部206により判断される(t23)。例えば、床
を歩いて先の階段を昇る場面において、脚の動作制限は
床を歩いてる時は左右の脚の動作に段差はないが、階段
を昇る時は脚動作の下限値が左右で違ってくる。
【0112】身体部位が空間制限を越えた場合(t2
3:Yes)、対象身体部位の動作制限が行われる(t
24)。この動作制限は運動体感制御部209の姿勢制
御部225からの駆動部252の制御によって実現され
る。なお、制限以内であれば、動作制限は行わない(t
25)。この身体部位と空間制限の比較は、全ての身体
部位について行う(t26〜t23)。すなわち全身体
部位について空間制限処理が終わるまで、ステップt2
3〜t26が繰り返される。
【0113】次に、運動体感装置204の各センサ25
1から身体部位の入力が行われる(t27)。これは、
使用者5の身体姿勢制御と内外のリング制御を行うため
である。なお、上記の空間制御(t20〜t26)は、
仮想空間内の空間的条件に対応して行われる制御であ
り、ここで行われる制御は、使用者5の動作や環境等に
対応して行われる姿勢の制御である。
【0114】このめにまず、姿勢制御では、入力された
身体部位と環境条件の評価が空間状態管理部206にお
いて行われる(t28)。環境条件は、使用者の仮想空
間中の位置、空間を構成している物体データなどであ
る。この評価に基づき、内側リング3が前後方向に制御
される(t29)。同様に外側リング2が左右方向に制
御される(t30)。
【0115】次に、効果音発生の有無が効果音データの
有無で決定される(t31)。ここで、音響データがあ
れば(t31:Yes)、音響データに従って音が出力
される(t32)。音響データが無い場合は(t31:
No)、音は出力されない(t33)。
【0116】これら一連の処理が完了したならば、停止
要求の有無が空間状態管理部206にて確認される(t
34)。この停止要求は、使用者の発話による命令の
他、身体生理データの異常、タイマーなどがある。停止
要求があれば(t34:Yes)、本装置が停止される
(t35)。停止要求が無ければ(t34:No)、ス
テップt4に戻ってヘッドマウントディスプレイの向き
位置入力からこれら処理が再度行われる。
【0117】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、ヘッドマウントディスプレイ2
02、グローブ203、運動体感装置204を設けると
ともに、これらの各装置を空間状態管理装置201で制
御するようにしたので、仮想現実空間において映像のみ
ならず、触感、温度、映像、音声、運動感覚及び平衡感
覚を体感することができる。このように、映像と触感、
温感および運動感覚を仮想現実空間上で再現し、柔軟な
空間レイアウト機能を有するので、仮想現実空間の環境
および仮想制御盤などを自由に設定することができ、各
種シミュレーションおよび通常は危険な所の探索などを
仮想現実的に体験することができる。
【0118】また、本実施形態によれば、空間状態管理
装置201は各動作センサーからの情報に基づいて運動
体感装置204等における各駆動部を駆動制御するよう
にしたので、使用者の実際の動きにあわせた画像・音声
をヘッドマウントディスプレイ202等から与えること
ができる。つまり、空間状態管理装置201にて、ヘッ
ドマウントディスプレイの表示映像、効果音、身体の姿
勢など一元管理するので、使用者の動作に合わせた、映
像の更新、効果音の発生などを行うと共に、仮想空間に
おける状況に応じた姿勢制御などの身体への感覚の制御
を行うことができる。
【0119】また、使用者に提供される映像は、ヘッド
マウントディスプレイの向きを検知する3次元ジャイロ
センサーによるディスプレイの向きと、身体の各関節を
支持する駆動部とによって決まる身体の動きに従うの
で、より現実的な仮想空間映像を提供することができ
る。
【0120】さらに、臨場感をより高めるために、音響
装置を用いて、例えば、制御盤上のスイッチを操作した
時の音、その操作によって動き出す機器の音などを再現
することができる。したがって、仮想現実空間中で映像
表示の他、スイッチの操作感などを仮想体験することが
できる。
【0121】本装置で用いられる情報は仮想空間状態管
理装置にて管理されるが、この情報を各種通信手段を用
いて伝送することにより、離れた箇所でも仮想空間を共
有することができ、遠隔地での教育などを効果的に行う
ことができる。
【0122】このように、本実施形態の仮想空間体感装
置は、仮想空間体感装置と違い、直接手で触ることがで
き、仮想空間内の物体に直接触れ物体の質感を直接体感
できるので、従来行ってきた製品製作時のモックアップ
等を省略でき、コストと開発期間の短縮を行うことがで
きる。また、作業等で行う操作もシュミレーションでき
るため、各種作業のトレーニングにも使用できる。操作
盤等を仮想空間内に製作すれば操作手順等を練習でき
る。また、操作盤を実際に製作しなくても操作性の試験
を行うことができ、効果的なコストダウンを図ることが
できる。
【0123】(発明の第2の実施の形態)第1の実施形
態では仮想空間体感装置の全体的な機能構成並びに空間
状態管理装置201の処理について説明した。以下、第
2〜第5の実施形態では、第1の実施形態の仮想空間体
感装置におけるグローブ203,ヘッドマウントディス
プレイ202、運動体感装置204及び運動機能測定装
置205のそれぞれについて詳しく説明する。さらに、
第6の実施形態では、この第1〜第5の実施形態で説明
する仮想空間体感装置に提供されるべき仮想空間データ
の概念について、説明する。
【0124】本実施形態では、第1の実施形態の仮想空
間体感装置におけるグローブ203について説明する。
なお、グローブ203の機能構成は、第1の実施形態に
て図5に示した通りである。
【0125】グローブ203は、図5における駆動部2
45,246及びセンサー241〜244によって実現
される指感触再現・動作検出機能と、駆動部245,2
46の触圧駆動部により実現される掌感触再現機能と、
温度コントロール部247a,248a及び温度センサ
ー247b,248bにより実現される温度再現機能と
を有している。
【0126】まず、図10,図11を用いて指感触再現
・動作検出機能に関する構成を説明する。図10はグロ
ーブの手の甲側に配置される駆動部分及びセンサー部分
を示す構成図であり、図1〜図9と同一部分には同一符
号を付して説明を省略し、ここでは異なる部分について
のみ述べる。また、図11はグローブの手の掌側に配置
される駆動部分及びセンサー部分を示す構成図であり、
図1〜図10と同一部分には同一符号を付して説明を省
略し、ここでは異なる部分についてのみ述べる。
【0127】グローブ203における指感触再現・動作
検出機能に関する構成部分は、手首に装着するグローブ
本体400に設けられる指駆動部・センサー404,3
次元センサー243(右手の場合は3次元センサー24
4)及び手首駆動部・センサー405と、使用者5の手
に取り付けられる指先リンク401,関節リンク402
及び手首リンク403とからなっている。なお、図1
0,図11は左手の場合を示しているが、右手も左手と
同様に構成される。
【0128】ここで、指駆動部・センサー404並びに
手首駆動部・センサー405は、それぞれ対応するセン
サー241(右手の場合はセンサー242)と駆動部2
45(右手の場合は駆動部246)とが一体に構成され
たものである。
【0129】さらに具体的には、グローブ203は、ワ
イヤー399が各指の指先リンク401から各関節に設
けられた関節リンク402を介して指駆動部・センサー
404に取り付けられる。指駆動部・センサー404に
てリンク間のワイヤー長さ(以下、リンクの長さともい
う)を仮想空間内の物体に併せて変更することで各指の
可動範囲を決定するようになっている。センサー24
1,242でリンクの長さを監視して駆動部245,2
46に空間状態管理装置201からの可動域の指示を与
える。駆動部245,246は仮想空間内で触っている
物体の反力を与えたり、可動域より動かないように固定
したりするようになっている。
【0130】また、手首リンク403からワイヤー39
9が手首駆動部・センサー405に取り付けられ、手首
リンク403との間のワイヤー長さをセンサー241,
242で監視して駆動部245,246に空間状態管理
装置201からの可動域の指示を与える。駆動部24
5,246は仮想空間内で触っている物体の反力を与え
たり、可動域より動かないように固定したりするように
なっている。なお、手首駆動部・センサー405のセッ
トは図10,図11に示すように4セット設けられる。
【0131】また、腕の位置を監視するために3次元セ
ンサー243,244で位置・傾き・移動速度を監視す
るようになっている。
【0132】次に、図12を用いて掌感触再現機能に関
する構成を説明する。図12はグローブの掌触感を体感
する駆動部分について示す構成図であり、図1〜図11
と同一部分には同一符号を付して説明を省略し、ここで
は異なる部分についてのみ述べる。グローブ203にお
ける掌感触再現機能に関する構成部分は、グローブ本体
400に設けられる前後駆動部505と、この前後駆動
部505に設けられるリンク駆動部504と、リンク駆
動部504に取り付けられたリンクA502及びリンク
B503と、リンクA502〜リンクB503間に設け
られた感触部501とからなっている。
【0133】具体的には、掌感触再現機能は、感触部5
01により掌に感触を与えるものである。このために、
リンクA502とリンクB503とは、止め部507に
より中間で固定され、かつ止め部507を中心に回動す
るようになっている。図12(b)に示すように、リン
ク駆動部504の移動部508が長さ方向にリンクA5
02を動かすことで感触部501が押されて変形し仮想
空間内の物体形状に合わせる構造となっている。また、
リンク駆動部704の移動部509が高さ方向にリンク
B503を動かすことにより手との角度を変更できる構
造となっている。さらに前後駆動部505によって感触
部501と手の距離を変更できる構造となっている。
【0134】次に、図13を用いて温度再現機能に関す
る構成を説明する。図13はグローブにおける温度感覚
を体感するための温度コントロール部及び温度センサー
の配置例を示す図であり、図1〜図12と同一部分には
同一符号を付して説明を省略し、ここでは異なる部分に
ついてのみ述べる。グローブ203における温度再現機
能に関する構成部分は、感触部501の裏側(掌と反対
側)に温度コントロール部247a(右手の場合は温度
コントロール部248a)が取り付けられ、温度コント
ロール部247aに温度センサー247b(右手の場合
は温度センサー248b)が取り付けられてなってい
る。
【0135】ここで、温度コントロール部247a,2
48aは温度情報を感触部501に与え、温度センサー
247b,248bは温度の制御を行う構造となってい
る。
【0136】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。 [動作検出機能]図14は各指の駆動並びに位置検出を
行う様子を示す図である。
【0137】同図に示すように、仮想空間体感グローブ
203においては、ワイヤー399が指の各部に装着さ
れた指先リンク401と関節リンク402を介して指駆
動部・センサー405に接続されている。この状態で指
駆動部・センサー405からワイヤー399を送り出す
ことにより指先リンク501までの長さが長くなり指の
関節は曲がる方向に動かされる。
【0138】図14を見て解るように指の関節は握る方
向にしか動かないため全体のリンク長を駆動部で変化さ
せることで必要な可動範囲が確保される。また、仮想空
間の物体に反力がある場合には、駆動部・センサー40
5からワイヤー399を引っ張ってリンク401,40
2に重さを与えることで感触が得られる。
【0139】図15は手首の駆動並びに位置検出を行う
様子を示す図である。
【0140】グローブ203では、対角線上の4方向の
位置に置いて、それぞれ手首リンク403からワイヤー
399が手首駆動部・センサー405に接続される。図
15に示すように手首を動かすことによりリンク長a、
b(反対側にc、dがある)に相当するワイヤー長さが
変更される。このリンク長a,b,c,dが手首駆動部
・センサー405のセンサー部により監視されること
で、手首の状態が検出される。また、3次元センサー2
43により腕の位置・傾き・移動速度が監視される。
【0141】また、図15に示されるように、手首を動
かすことによりリンク長a,b,c,dの長さが変更さ
れる。さらに、手首駆動部・センサー405の駆動部分
によりリンク長の範囲が制限されることで可動範囲が決
定される。また、ワイヤー399を引っ張ることにより
各リンク403にそれぞれの負荷をかけることで、重さ
が体感される。
【0142】次に、グローブの動作検出の流れを示す。
【0143】図16はグローブ動作検出の処理を示す流
れ図である。
【0144】この処理のための演算は空間状態管理装置
201の各グローブ動作検出部215,220において
実行される。
【0145】まず、動作検出を行うために、指先や手首
の動作を検出するセンサー241,242から値が入力
される(u1)。このセンサー値と前回のセンサー値を
保持したものとが比較される(u2)。この比較はセン
サーで得られる3次元の座標X、Y、Zについて行わ
れ、これら座標値に保持値との違いを検出した場合、動
作ありと判断される。すなわちセンサー値と保持値が同
一ならば(u2:No)、動作なしと判断され(u
6)、ステップu7へ進む。
【0146】一方、上記比較で保持値とセンサー値の値
に違いがあれば(u2:Yes)、動作有ありと判断さ
れる(u3)。動作ありと判断された場合、各座標値を
元に移動量が計算される(u4)。この移動量はグロー
ブの指先および掌の動作状況として空間状態管理部20
6へ伝送される。この計算の後、入力したセンサー値を
保持値として保持される(u5)。この保持値は次回の
動作判断に用いられる。
【0147】最後に、対象とするセンサー値入力状態が
判断され(u7)。これにより、グローブ全てに設置さ
れているセンサー値の入力が完了したと判断された場合
には、次の処理へ移行する(u7:Yes)。一方、入
力が完了していない場合には(u7:No)、ステップ
u1に戻って一連の処理が繰り返えされる。
【0148】[感触再現機能]次に、感触再現の処理に
ついて図17を用いて説明する。ここでは掌感触のみな
らず指感触の再現についても併せて説明する。この感触
再現処理は、空間状態管理装置201において演算され
るものである。
【0149】図17はグローブの感触再現の処理を示す
流れ図である。
【0150】まず、仮想空間中に使用者の手が物体に触
れた場合、その物体の硬さデータが入力され(v1)、
続いて、表面データが入力される(v2)。この硬さデ
ータとは物体の「硬い/柔らかい」を示しているデータ
で、表面データは「つるつる/でこぼこ」などの状態を
示している。これらデータは数値で物体データの一部と
して定義されている。データ入力の後、指位置と物体表
面の評価が行われる(v3)。指が物体表面に触れてい
ないと判断されると(v3:No)、ステップv8に進
む。
【0151】一方、指が物体表面に触れていると判断さ
れると(v3:Yes)、対象となる指のリンクの動作
制限が開始される(v4)。動作制限にあたり、その物
体の硬さを考慮する(v5)。例えば、スチール製の缶
ならば、缶表面より先に指先が行かないようにリンク
(ワイヤー)が制御される。また、ゴムボールの場合
は、ボール表面より奥へ指先が行くように制御される。
この際、指先がボールに食い込んでいる状態を表現する
ためボール表面より先に指が行く場合は、対象となる指
に反力を返し、ある程度指先が進んだ時に動作が制限さ
れる。この反力および制限値は先ほどの硬さデータを元
に決められる。
【0152】次に指先が物体表面を移動する状態が評価
される(v6)。これは、指先が物体表面を撫ぜた状態
を検出するものである。この移動がない場合(v6:N
o)にはステップv8に進む。一方、この評価で移動が
ある場合(v6:Yes)、物体表面の状態が表現され
る(v7)。ここでは、表面が「でこぼこ」なら、ワイ
ヤー前後でリンクを細かく振動させ「でこぼこ」を表現
させる。この振動の周期は指の移動速度に比例する。移
動速度が早い場合には周期を短く、遅い場合には周期を
長くする。物体の表面を表す座標データに細かいでこぼ
こが定義されていれば、指先移動時にこの座標データに
従ってリンクを制御することは可能である。しかし、物
体を3次元データで表現する場合、見た目の現実感を重
視して表面はテクスチャ処理を行う場合が多く、表面の
座標データは定義されていないことが多い。
【0153】これと同様の処理が掌についても行われ
る。指と物体との感触処理が行われた後、掌と物体表面
の位置関係が評価される(v8)。ここで掌が物体表面
に触れている場合は、掌感触用のリンクA502,リン
クB503を動作させる(v9)。この場合、物体の硬
さが指先と同様に考慮される(v10)。次に、掌が物
体表面を移動したか否かが評価される(v11)。この
評価で掌の移動を検知した場合、指先と同様の制御で掌
に表面状態が再現される(v12)。
【0154】なお、掌の処理については図17に示すよ
うに指の処理の後に行われるとしたが、この掌処理は指
の処理と並列に行うようにしてもよい。その場合、ステ
ップv8以降の掌処理を実行する前にステップv1,v
2を行う必要がある。また、ステップv8〜v12の掌
感触再現は、図12に示す構成を用いて行うとしたが、
この処理(v8〜v12)に代えて、あるいはこの処理
(v8〜v12)とともに、手首リンク403及び手首
駆動部・センサー405を用いてステップv8〜v12
と同様な処理を行うようにしてもよい。
【0155】[温度再現機能]次に、温度再現の処理に
ついて図17を用いて説明する。この温度再現処理は、
空間状態管理装置201において演算される。
【0156】図18はグローブの温度再現の処理を示す
流れ図である。
【0157】まず、初期データの中に物体の温度データ
が定義されており、かつ、グローブ203がその物体を
掴んだとき、当該物体についての温度データが入力され
る(w1)。次に、グローブ203に設けられている温
度センサー247b,248bの値が入力される(w
2)。さらに、この温度データとセンサー値が比較され
る(w3)。
【0158】この比較において、物体の温度データがセ
ンサー値より大きい場合には(w3:Yes)、使用者
に「暖かい」を体感させるために、温度コントロール部
247a,248aに対して指先の温度を上昇させる制
御が行われる。また、温度データがセンサー値より小さ
い場合(w3:No)、「冷たい」を体感させるため温
度を降下させる制御が行われる(w5)。さらに、安全
保護のため温度の上限/下限値が設定されており使用者
の火傷および凍傷が防止されるようになっている。
【0159】このために、温度制御のあと、まず、温度
センサー値と温度上限の比較が行われる(w6)。この
比較でセンサー値が温度上限より大きい場合には(w
6:Yes)、温度制御を停止するよう温度コントロー
ル部247a,248aに指令される(w7)。一方、
センサー値が温度上限以下であれは(w6:No)、さ
らに温度センサー値と温度下限との比較が行われる(w
8)。この比較でセンサー値が下限以上であれば、ステ
ップw2に戻り、温度制御のため再び温度センサー値の
入力が行われる(w8:No)。センサー値が下限より
低ければ温度制御を停止するよう温度コントロール部2
47a,248aに指令される(w7)。
【0160】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、グローブ20に各指の動作状態
を監視するセンサーを備えて各指の動作状態を監視する
ようにしたので、仮想空間上に存在する物体との位置関
係を監視することができる。
【0161】また、本実施形態によれば、グローブ20
3に、各指に触感を伝える駆動部を備えて駆動部から各
指に必要な駆動を与え、物体にふれた場合には駆動部の
動きを固定するようにしたので、触感を体感することが
できる。
【0162】さらに、本実施形態によれば、グローブ2
03に、手の位置及び傾きを監視するために状態監視セ
ンサーを備え、さらに、3次元センサーにより手首の状
態と移動速度等を知るようにしたので、手首を含めた手
全体の状態を監視することができる。
【0163】また、本実施形態によれば、グローブ20
3により手首位置制御用の駆動部によって手首に対して
必要な方向からの力を加えるようにしたので、手の位置
に応じて傾き等の感覚を与えることができる。さらに、
物体にふれた場合には駆動部の動きを固定して動作制限
を与えるようにしたので、物体の存在を手全体で体感す
ることができる。
【0164】また、本実施形態によれば、掌への触圧覚
や皮膚感覚を感じさせるために柔軟な板状の物質に力を
加え、仮想空間の物体形状に近づけた変形をさせて掌へ
触れるようにしたので、グローブ203によって触圧覚
や皮膚感覚を与えることで物体を体感させることができ
る。
【0165】さらに、本実施形態によれば、指先および
掌への温度感覚(暖かい、冷たい)などを再現するため
に電子式の温度制御素子(例えばペルチェ素子、電子式
ヒータ)をグローブ203備えたので、物体に指先ある
いは掌が触れた場合に、この温度制御素子により、接触
部位に対して暖かい冷たいといった温度感覚を与えるこ
とができ、温度による物体体感を与えることができる。
【0166】さらに、本実施形態によれば、グローブ2
03は空間状態管理装置201からの指令に基づいて各
指先および掌の駆動部の動作量を制御することにより、
指先および掌に対する感触を与えることできる。
【0167】また、本実施形態によれば、グローブ20
3の動作状態は各指先および掌に設置されているセンサ
ーを通して空間状態管理装置201に伝送される。この
際、グローブ203の動作状態を統括的に監視するよう
にしたので、グローブの動作に応じた体感を与えること
ができる。
【0168】また、本実施形態によれば、グローブ20
3は空間状態管理装置201からの要求により、指先お
よび掌に設置されている温度装置の温度を上昇/降下さ
せる温度再現部を設けるようにしたので、指先および掌
に効果的に温感を与えることができる。
【0169】(発明の第3の実施の形態)本実施形態で
は、第1の実施形態の仮想空間体感装置におけるヘッド
マウントディスプレイ202について説明する。なお、
ヘッドマウントディスプレイ202の機能構成は、第1
の実施形態にて図4に示した通りである。
【0170】図19はヘッドマウントディスプレイの一
例を示す構成図であり、図1〜図18と同一部分には同
一符号を付して説明を省略し、ここでは異なる部分につ
いてのみ述べる。
【0171】このヘッドマウントディスプレイ202
は、人間の頭部の目及び耳の部分が覆われるように装着
されるリング状の本体部601と、この本体部601
に、図19に示すように、左側映像表示部230,左側
液晶部231,右側映像表示部232,右側液晶部23
3,左側カメラ234,右側カメラ235,音声入力部
236,3次元センサー237,左側音声出力部238
及び右側音声出力部239が設けられて構成されてい
る。
【0172】右側映像表示部232と左側映像表示部2
30は、仮想空間の映像を見て視覚効果が得られるよう
に映像を表示する。また右側液晶部233と左側液晶部
231は、外部の景色を見るために設けられている。さ
らに右側カメラ235と左側カメラ235は外部映像取
り込み用に右側液晶部233と左側液晶部231の外側
にそれぞれ取り付けられている。
【0173】右側音声出力部239と左側音声出力23
8は、仮想空間の音声を再生するために設けられ、耳に
入る直接音を聞くように配置されている。また、音声入
力部236は音声入力による命令や会話用に用いられる
ようになっている。さらに、3次元センサー237は使
用者がどこを見ているのか等の監視するために頭の位置
・傾き・移動速度を監視するようになっている。
【0174】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。基
本的な動作は、第1の実施形態で説明した通りである。
ここではヘッドマウントディスプレイの立体映像表示機
能、画像合成機能及び音声処理について説明する。図2
0はヘッドマウントディスプレイの立体映像表示機能を
説明するための図である。
【0175】同図に示すように、矢が自分にめがけて飛
んできた場合に左右の目には視差が発生する。矢が近づ
けば近ずくほど通常は視差が大きくなり、左側映像61
1右側映像612のように映し出される。人間の目は通
常左右の映像を合成して距離感を求めている、このこと
を利用して仮想空間の立体映像を表示することにより現
実に近い映像を見せるようになっている。
【0176】図21はヘッドマウントディスプレイの画
像合成機能を説明するための図である。
【0177】映像表示部230,232の外側には、デ
ィスプレイ外側の景色を透過・非透過切り換えを行うた
めの液晶部231,233が設けられ、この液晶部23
1,233は外部からのコントロールにより液晶の開閉
を行える構造となっている。また、カメラ234,23
5を用いて外部映像を取り込み、その外部映像内の情報
を読み取んで仮想空間の一部に重ねて表示できるように
なっている。その演算処理は空間状態管理装置201に
て行われる。
【0178】図21を用いて画像合成の例を説明する。
目で見ている実際の景色中に、仮想空間内で作成された
花びん626を合成する場合を考える。ここで、実際の
景色中には、机625がある。
【0179】この場合、まず、机625をカメラ部23
4,235で取り込まれる。この取込画像と仮想空間内
の花びん626との両者の位置が比較されることで、画
像表示部230,232のどこの位置に花びん626を
映し出せば現実の景色と一致するかがが空間状態管理装
置201により決定される。その上で画像表示部23
0,232に上記花びん626のみが表示される。画像
表示部230,232への花びん626の表示後、液晶
部1101を開けることにより目624には机625上
に花びん626が載っているように見える。
【0180】また、仮想空間体感装置では、使用者の発
話により動作を制御可能となっている。この点につき、
音声入力部236(以下、マイクともいう)からの音声
入力に対応した音声処理について説明する。
【0181】図22は音声処理を示す流れ図である。
【0182】まず、音声はマイクによって仮想空間体感
装置に入力される(x1)。次に、この入力された音声
はヘッドマウントディスプレイ制御部207の音声認識
部213にてテキストに変換され、さらに空間状態管理
部206に入力される(x2)。このテキストと動作命
令データ記憶部631に予め登録されている動作命令と
比較される。なお、動作命令データ記憶部631は、仮
想空間データ記憶装置200に設けられていてもよく、
また、空間状態管理装置201内の記憶装置に設けられ
ていてもよい。
【0183】上記比較のために、動作命令データ記憶部
631から空間状態管理部206にデータが入力され
(x3)、これらの比較が実行される(x4)。両者が
一致した場合には(x4:Yes)、その動作命令が実
行される(x6)。一致しない場合には(x4:N
o)、全動作命令との比較が完了していない限りステッ
プx3に戻り(x5:No)、次の動作命令データが入
力される。また、ステップx5において、登録されてい
る全データとの比較が完了した場合には(x5:Ye
s)、対応する命令なしと判断される(x7)。
【0184】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、ヘッドマウントディスプレイ
を、左右独立した画像表示部と左右独立した音声出力部
と音声入力するためのマイク、自分の視界に合わせた映
像を取り込むことが可能なカメラと位置、移動速度、傾
きを監視できる3次元センサーから構成させたので、立
体映像の表示やリアルな音の再現を行うことができる。
【0185】また、本実施形態によれば、ヘッドマウン
トディスプレイ202の左右独立した画像表示部を用い
たので、左右の両眼視差と動眼視差を利用した立体映像
を表示することができ、ひいては仮想空間内の遠近感を
体感できる。
【0186】また、本実施形態によれば、ヘッドマウン
トディスプレイ202の画像表示部は透過方式にも切替
可能な構造を有しており、ヘッドマウントディスプレイ
に取り付けられたカメラを使用して実際の景色内の物体
の位置検出を行うようにしたので、透過で見ている景色
内に仮想空間で作成した画像を合成して見せることがで
きる。つまり、仮想空間に現実の風景などを取り込むこ
とができる。
【0187】さらに、本実施形態によれば、ヘッドマウ
ントディスプレイ202の音声入力部を用いて音声入力
を行うことで空間状態管理装置に動作命令を与えること
ができる。
【0188】(発明の第4の実施の形態)本実施形態で
は、第1の実施形態の仮想空間体感装置における運動体
感装置204について説明する。なお、運動体感装置2
04の機能構成は、第1の実施形態にて図6に示した通
りである。
【0189】この運動体感装置204においては、図1
に示すように、装置台1の上で傾斜駆動部4によって左
右回転リング2、さらには前後回転リング3が支えられ
ている。さらに、この前後回転リング3の内面に駆動部
とセンサーが一体になった駆動部センサーが設けられて
使用者5が支えられている。
【0190】ここで、図1に示す装置台1は台表面が緊
急停止センサー1aになっており、台の上にものが触れ
ると停止するようになっている。例えば使用者が身につ
けている物を落下させたり、使用者以外が台1に触れた
場合には、停止信号が空間状態管理装置201に送信さ
れ、システムが停止する仕組みになっている。
【0191】また、傾斜駆動部4は、左右回転リング2
と前後回転リング3を前後左右に傾斜させることが可能
な構造となっている。
【0192】左右回転リング2は前後回転部3を取り付
けている軸が左右に移動して前後回転リング自体を左右
に動かす構造となっている。前後回転リング3はその軸
を中心に回転でき、この回転を組み合わせることで平衡
感覚と加速感覚を体感させる構造となっている。
【0193】さらに、前後回転リング3内において使用
者5を支える各駆動部センサー(図1には図示せず)
は、センサー部分で当該使用者の状態を観測するととも
に、駆動部分で平衡感覚・加速度感覚の体感を与えるも
のである。
【0194】図23は運動体感装置における駆動部セン
サーの配置構成を示す正面図であり、図1〜図22と同
一部分には同一符号を付して説明を省略し、ここでは異
なる部分についてのみ述べる。
【0195】また、図24は運動体感装置における駆動
部センサーの配置構成を示す側面図であり、図1〜図2
3と同一部分には同一符号を付して説明を省略し、ここ
では異なる部分についてのみ述べる。
【0196】図23,図24に示すように、運動体感装
置204の中では使用者5の各関節部を駆動部251が
保持しており、仮想空間内での制限に併せて動作範囲の
設定及び負荷を駆動部251が駆ける構造となってい
る。各駆動部251は、図23,図24に示すように2
本の駆動部で一対となっており、それぞれの駆動部の長
さを変えることで方向を変えることができる構造となっ
ている。また、第1の実施形態で説明したように、これ
らの各駆動部251は対応するセンサー252と対にな
って一体構造となっており、各体位部に設けられる2本
の駆動部それぞれ対応してセンサーが設けられる。
【0197】したがって、各関節部は、センサー251
と駆動部252の対応部分の対からなる頭部駆動部セン
サー701、背部駆動部センサー702、腰部駆動部セ
ンサー703、尻部駆動部センサー704、左肩部駆動
部センサー705、右肩部駆動部センサー706、左肘
部駆動部センサー707、右肘部駆動部センサー70
8、左膝部駆動部センサー709、右膝部駆動部センサ
ー710、左足部駆動部センサー711及び右足部駆動
部センサー712から構成される。
【0198】次に、運動体感装置204による周囲音場
再現のための構成について説明する。図25は運動体感
装置における周囲音場再現のための構成を示す図であ
る。すなわち運動体感装置203の前後回転リング3に
は、使用者5に向けて環境音声が出力されるように、使
用者5の背面側の環境音声出力部803、前面側の環境
音声出力部804、右面側の環境音声出力部805、左
面側の環境音声出力部806が取り付けられている。こ
れらの各環境音声出力部803〜806は、仮想空間内
の音の発生場所や反響を正確に反映し周囲音場を再現す
る構造となっている。
【0199】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。ま
ず、各駆動部による姿勢制御について説明する。
【0200】図26は姿勢制御の処理を示す流れ図であ
る。姿勢制御は仮想空間の状態に応じて、使用者5の動
作を制限する機能である。例えば、床を歩く動作では、
「歩く」動作に対応して、脚の可動範囲は、床面とな
り、床面より下に脚が行かないように制御する。すなわ
ち、前後左右には動けるが、脚動作の下限は床となる。
【0201】使用者の姿勢制御にあたり、まず、空間状
態管理装置201において仮想空間状態が把握される。
これは、使用者5が体感している環境、配置されている
物体などの状態が把握される(y1)。次に、身体各部
分の位置と動作状況から移動量が把握される(y2)。
移動量の把握は身体動作検出部で行われる。これらの情
報を元に仮想空間中の配置物と身体位置から、空間状態
管理装置201において物体に接触している身体部分が
検出される(y3)。
【0202】この検出(y3)で物体との接触が検出さ
れた場合(y4)、その身体部位が可動範囲以内かの判
断が行われる(y5)。この判断で、可動範囲以内であ
ればその動作が許容される(y6)。一方、身体部位の
位置が可動範囲を越えていれば動作が制限される(y
7)。すなわち、駆動部によって先の床面より下に脚が
いかないようにするものである。
【0203】次に、センサー251及び空間状態管理部
201の身体動作検出部224による身体動作検出につ
いて説明する。
【0204】図27は身体動作の検出処理を示す流れ図
である。
【0205】まず、動作検出を行うため、腕、脚などの
動作を検出するセンサー251から値が身体動作検出部
224に入力される(z1)。次に、このセンサー値と
前回のセンサー値を保持したものとが比較される(z
2)。この比較で保持値とセンサー値の値に違いがあれ
ば(z2:Yes)、動作有ありと判断される(z
4)。センサー値と保持値が同一ならば(z2:N
o)、動作なしと判断される(z3)。この比較はセン
サーで得られる3次元の座標X、Y、Zについて行わ
れ、これら座標値に保持値との違いを検出した場合、動
作ありと判断される。
【0206】動作ありと判断された場合、身体動作検出
部224において各座標値を元に移動量が計算される
(z5)。この移動量は使用者の腕、脚などの身体部位
の動作状況として空間状態管理部206へ伝送される。
この計算の後、次回の動作判断に用いるために入力した
センサー値が新たな保持値される(z6)。
【0207】そして、対象とするセンサー値入力状態が
判断される(z7)。この判断において、運動体感装置
全てに設置されているセンサー値の入力が完了した場合
は、次の処理へ移行する(z7:Yes)。入力が完了
していない場合には(z7:No)、ステップz1に戻
って一連の処理が繰り返し行われる。
【0208】次に左右前後の内外リング2,3に対する
制御について説明する。図28は内外リングの制御処理
を示す流れ図である。内外のリング(内側リング;前後
回転リング2,外側リング;左右回転リング3)は、使
用者5に、加速感、上昇又は下降感などを与えるための
ものである。これらのリング制御は空間状態管理装置2
01の外側リング制御部226及び内側リング制御部2
27によって行われる。
【0209】まず、左右方向の制御を行っている左右回
転リング2(外側リング)の制御から述べる。リングの
制御には、まず、仮想空間の状態が把握される必要があ
る(a1)。これは、使用者5の動作によって、物体移
動、身体位置移動などが発生するからである。次に、使
用者の身体位置が把握される(a2)。これは、身体動
作検出部224およびグローブ動作検出部215,22
0からの情報が、空間状態管理部206へ伝送され、こ
こで、情報が統合される。この統合情報を再び運動体感
装置制御部209入力するものある。これら情報を元に
リング制御が行われる。
【0210】まず、入力情報から身体の慣性計算が行わ
れる(a3)。計算結果から慣性の有無が判断される
(a4)。この判断で慣性が無ければ(a4:No)、
ステップa1に戻り、再度、仮想空間状態の把握からや
り直される。慣性があれば(a4:Yes)、仮想空間
上での身体の移動速度が把握される(a5)。続いて身
体の移動方向が把握される(a6)。
【0211】これら速度および方向から、左右方向の制
御要素若しくは前後方向の制御要素の何れかが選択され
るが(a7)、ここでは左右方向の制御要素が選択され
るものとする。
【0212】すなわち左右方向の制御要素が選択される
ことで(a8)、外側リング制御が開始される(a
9)。この制御では、方向を変える場合の向き、および
角度などを把握した情報を元に動作を決める。もし、向
き変更要求が左なら(a10)、移動速度を考慮して左
にリングを回転させる(a11)。向き変更が左ではな
い場合、右向きの要求か否かが判断され(a12)、要
求があれば、同様に移動速度を考慮し右にリングを回転
させる(a13)。ステップa12でNoの場合、ある
いはステップa11,a13の処理が終了した場合はス
テップa1に戻る。
【0213】次に、ステップa7で前後制御要素が選択
されて内側リングが制御する場合を説明する。内側リン
グは前後方向の制御を行うものでありこの制御において
も、先の外側リングと同様に、仮想空間状態の把握(a
1)、身体部位の把握(a2)、身体慣性の計算(a
3)、慣性の有無判断(a4)、移動速度の把握(a
5)および身体移動方向の把握(a6)の順に処理が行
われる。
【0214】次の制御要素の選択(a7)にて、前後方
向の制御要素が選択されると(a14)、内側リングの
制御が開始される(a15)。この制御で前傾きの要求
が出ていれば(a16)、移動速度を考慮して前方にリ
ングを回転させる(a17)。前傾きの要求がなけれ
ば、後傾きの要求があるかが判断され(a18)、後傾
き要求があれば移動速度を考慮してリングを後ろ方向に
回転させる(a19)。ステップa18でNoの場合、
あるいはステップa17,a19の処理が終了した場合
はステップa1に戻る。
【0215】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、運動体感装置204に、左右方
向への回転運動用のリングとその内側に前後方向への回
転運動を行うリングとリング自体を傾斜させる駆動部を
設けたので、それぞれの回転の組合せと傾斜リングによ
る運動感覚の平衡感覚と加速度感覚を体感することがで
きる。
【0216】また、本実施形態によれば、運動体感装置
204は内側の前後回転用リングから駆動部によって使
用者5の体を保持するようにしたので、体の各関節に移
動位置の制限や重さを与えることで運動を体感させるこ
とができる。
【0217】また、本実施形態によれば、運動体感装置
204は各リング位置や駆動部の位置を知るための状態
監視センサーを設けたので、リング位置と駆動部の位置
により体の動作状態を監視することができる。
【0218】さらに、本実施形態によれば、運動体感装
置204のリングには複数のスピーカーが設置されてお
り、リングから周囲で発生する音の方向と位置を調整し
て効果音を発生させるようにしたので、人間の耳に実際
に聞こえる効果的な臨場感を演出したり、音場を動かす
ことで平衡感覚を演出することができる。
【0219】さらに、本実施形態によれば、運動体感装
置204は空間状態管理装置201からの要求により、
身体各部の駆動部を制御するようにしたので、使用者5
の姿勢に応じた体感を与えることができる。
【0220】さらに、本実施形態によれば、運動体感装
置204は身体の動きを駆動部で検出し、この情報を空
間状態管理装置201に伝送するようにしたので、使用
者5の身体の動作に応じた体感を与えることができる。
【0221】また、本実施形態によれば、運動体感装置
204は空間状態管理装置201からの要求により、左
右方向への回転運動を制御する回転運動用リングの動き
を制御するようにしたので、使用者の左右方向への動き
を体感させることができる。
【0222】また、本実施形態によれば、運動体感装置
204は空間状態管理装置201からの要求により、前
後方向への回転運動を制御する回転運動用リングの動き
を制御するようにしたので、使用者5の前後方向への動
きを体感させることができる。
【0223】(発明の第5の実施の形態)本実施形態で
は、第1の実施形態の仮想空間体感装置における運動機
能測定装置205について説明する。なお、運動機能測
定装置205の機能構成は、第1の実施形態にて図7に
示した通りである。
【0224】図29は運動機能測定装置を構成する各セ
ンサーを使用者に装着した状態を示す図であり、図1〜
図28と同一部分には同一符号を付して説明を省略し、
ここでは異なる部分についてのみ述べる。
【0225】同図に示すように、使用者5に対し、運動
機能測定装置205を構成する心拍数センサー262と
血圧センサー261とが装着され、使用者5の心拍数、
血圧が測定されるようになっている。測定値は、空間状
態管理装置201における運動機能測定部210の寝台
データ入力部228に入力され、さらに空間状態管理部
206に入力されるようになっている。また、心拍数、
血圧が上がった場合にはシステムの動作を停止させ、使
用者5の安全性を確保する構造となっている。
【0226】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。図
30はセンサー値の評価処理を示す流れ図である。この
処理は、主として、空間状態管理装置201にて行われ
る。
【0227】まず、使用者5の身体データとして、身
長、体重、性別、体調などが入力される(b1)。これ
らデータを元に血圧、心泊数などの制限値が算出される
(b2)。この後、仮想空間を体感している使用者5の
血圧センサー値が血圧測定センサー261から入力され
る(S3)。この入力値は先ほど算出した血圧制限値と
比較される(b4)。この比較で、血圧値が制限値を越
えている場合(b4:No)、装置を停止する(b
9)。制限値以下であれば(b4:Yes)、血圧は安
全値と判断される(b5)。
【0228】同様に、心泊数のセンサー値が心拍数測定
センサー262から入力され(b6)、この入力値と心
泊数の制限値の比較が行われる(b7)。ここで、心泊
数が制限値を越えていれば(b7:No)、装置を停止
する(b9)。逆に制限値以下であれば(b7:Ye
s)、心泊数は安全値と評価される。なお、これらの処
理は周期的に行われる。
【0229】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、心拍数・心電図センサー26
1,262を用いて測定を行い、異常を検出すると装置
を停止するようにしたので、仮想空間内での使用者の安
全を確保した運用を行うことができる。
【0230】(発明の第6の実施の形態)本実施形態の
仮想空間体感装置は、第1〜第5の仮想空間体感装置に
おける仮想空間データ記憶装置200に仮想空間を構築
するための環境データ、物体データおよび音響データな
どを記憶するとともに、これらデータを変更することで
柔軟な仮想空間変更が行えるものである。
【0231】図31は本実施形態に係る仮想空間体感装
置に用いられる仮想空間データの概念例を示す図であ
る。
【0232】本実施形態の仮想空間体感装置は、同図に
示す仮想空間データが仮想空間データ記憶装置200に
格納されるとともに、空間状態管理装置201がこれら
の各データを変更や追加して利用できるようになってい
る他、第1〜第5の実施形態と同様に構成されている。
【0233】また、図31においては、仮想空間データ
1101は、仮想空間を構築するための環境データ11
02、仮想空間中に配置される物体データ1103に分
類される。この物体データ1103は、空間上に配置さ
れているデータ毎に独立したデータから構成されてい
る。図32では、物体#1データ1104、物体#2デ
ータ1105〜物体#nデータ1106が対応する。
【0234】環境データ1102は、使用者5が体感す
る想定場面に応じて、データ項目が変わるが、基本的に
は空間の大きさ、照明、環境音及び各物体を配置する初
期座標からなる。この他、想定場面の特定情報などを設
定する場合もある。
【0235】物体データ1103としては、仮想空間中
にあるさまさまな物の形のCADデータ、物の動作ルー
ルを規定した動作データ、動作したときに発する物体固
有の音データ、物体表面の状態(でこぼこ/つるつる、
など)を示す表面係数、物体の硬さを示す反力係数等が
設定され、必要に応じて物体特定情報も設定される。
【0236】これらデータは、変更可能であり、仮想空
間データを全て変更すれば、使用者が体験する仮想空間
を全面的に変更することができる。もちろん、配置物体
はそのままで環境データのみを変更する、または各物体
データを変更、追加するなどということも可能である。
【0237】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。こ
こでは、部屋の中にテーブルがあり、その上にコップが
置いてある場面を想定する。環境データ1102には、
仮想空間の大きさとして部屋の四方の壁までの距離が定
義され、部屋の中を見渡すため明るい電灯が天井にある
状態が照明データとして定義される。壁、床の色、材質
などは物体データ1103で定義する。
【0238】物体データ1103では、部屋に置かれて
いるテーブル、コップの形状データなどが定義される。
動作データとしては、部屋に入るためのドアを例にする
と、ヒンジを支点に、0°〜90°回転する。回転は使
用者の身体部位が触れた時に空間状態管理部206によ
り行われれる。この空間に追加物体として椅子が配置さ
れる場合、椅子の物体データが入力され、環境データ1
102により椅子が配置する座標が定義される。これに
より仮想空間中に椅子を追加することが可能となる。
【0239】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、仮想空間データ記憶装置200
から仮想空間を構築するための環境データ、物体データ
および音響データなどを変更自在に空間状態管理装置2
01に与えるようにしたので、これらデータを変更する
ことにより柔軟な仮想空間変更,すなわち環境、構成装
置等を柔軟に変更することができる。
【0240】例えば使用者の体験状況、体調に応じて、
環境データを変更することにより使用者に提供する映像
を容易に切り替えることができる。
【0241】(発明の第7の実施の形態)上記第1〜第
6の実施形態では、まず、第1の実施形態において仮想
空間体感装置の全体説明及び空間状態管理装置の詳細説
明を行い、第2〜第5の実施形態において、それぞれグ
ローブ、ヘッドマウントディスプレイ、運動体感装置及
び運動機能測定装置の詳細説明を行った。さらに、第6
の実施形態で仮想空間データ記憶装置200に記憶さ
れ、提供される仮想空間データについて説明した。以下
の実施形態においては、この第1〜第6の実施形態の仮
想空間体感装置における変形例あるいは改良例について
説明する。
【0242】本実施形態の仮想空間体感システムは、第
1〜第6の仮想空間体感装置を複数使用して他者と同じ
空間を共有して使用することにより距離等を関係なく他
の仮想空間体感装置の相手とコミュニケーションを取る
ことを可能とするものである。
【0243】図32は複数台の仮想空間体感装置を接続
する様子を示す図であり、図1〜図31と同一部分には
同一符号を付して説明を省略し、ここでは異なる部分に
ついてのみ述べる。
【0244】同図に示すように、仮想空間体感システム
は、仮想空間体感装置1001と仮想空間体感装置10
02とがそれぞれの空間状態管理装置201に通信装置
(図示せず)を備えるとともに、その通信装置間を通信
媒体1003により接続して構成している。また、各仮
想空間体感装置1001,1002の空間状態管理部2
06は、仮想空間体感装置間で送受する一つのデータ等
に基づいて仮想空間を共有できるように構成されてい
る。なお、上記点を除き、各仮想空間体感装置100
1,1002は、第1〜第6の実施形態における装置と
同様に構成されている。
【0245】次に、以上のように構成された本実施形態
における仮想空間体感システムの動作について説明す
る。仮想空間体感装置1001及び1002の仮想空間
を共有する場合には、各空間状態管理装置201の管理
する使用者位置、環境情報等の情報が通信媒体1003
を介して双方向で通信される。通信を受けた側の空間状
態管理装置201は受信情報をその仮想空間に反映させ
る。これにより、仮想空間体感装置1001と仮想空間
体感装置1002との仮想空間が共有され、ひいては両
装置上の使用者5は同一仮想空間中における体感を得る
ことになる。
【0246】上述したように、本発明の実施の形態に係
る仮想空間体感システムは、当該仮想空間体感装置本体
を複数使用して他者と同じ空間を共有して使用するよう
にしたので、現実の距離等に関係なく仮想空間上で相手
とコミュニケーションを取ることができる。
【0247】(発明の第8の実施の形態)本実施形態の
仮想空間体感装置は、第1〜第6の仮想空間体感装置に
おいて人間の運動機能の筋力向上のために各駆動部の動
作範囲を規定し、反発力を与えることにより運動機能向
上に必要な筋力の強化等を行えるようにしたものであ
る。
【0248】この仮想空間体感装置は、各駆動部の動作
範囲を筋力の強化等を行える範囲に規定する他、第1〜
第6の仮想空間体感装置と同様に構成されている。
【0249】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。図
33は筋力向上のための反発力発生の処理を示す流れ図
である。
【0250】同図にいう反発力は運動体感装置204の
各駆動部を制御することで与えられる。この制御は姿勢
制御にて行われる。このため反発力の発生は姿勢制御部
で動作許容と判断された場合に行われる。
【0251】まず、姿勢制御部で動作許容が判断された
場合(c1)、反発力発生の有無が判断される(c
2)。この判断で、反発力発生要求があれば(c2:Y
es)、反発係数が入力される(c3)。この係数は、
使用者5が音声又はハード機器から入力する他、各デー
タに予め登録しておくことも可能である。反発力係数の
入力完了後、筋力向上を対象とする身体部分の駆動部に
反発力の模擬が行われる(c4)。
【0252】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、人間の運動機能の筋力向上のた
めに各駆動部の動作範囲を規定し、必要な重さを与える
ようにしたので、運動機能向上に必要な筋力の強化等を
行うことができる。
【0253】(発明の第9の実施の形態)本実施形態の
仮想空間体感装置は、第1〜第6の仮想空間体感装置に
おいて人間の運動機能の測定を行うために映像・音声を
用いて動作までの反射運動、動作時の筋力測定等を行え
るようにしたものである。
【0254】この仮想空間体感装置は、各種測定のため
の測定プログラムが空間状態管理装置201に設けられ
る他、第1〜第6の仮想空間体感装置と同様に構成され
ている。
【0255】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。図
34は反射運動及び筋力測定の処理を示す流れ図であ
る。
【0256】同図に示すように、反射および筋力を測定
するには、まず、測定対象とする身体部として腕、脚な
どの設定が行われる(d1)。
【0257】次に、この対象部分の駆動部に筋力測定用
の反力を設定する(d2)。反射運動の時間測定のみの
場合はこの設定はしなくてもよい。
【0258】これら、設定が完了したなら、反射運動測
定の開始トリガを発生させる(d3)。このトリガは映
像・音声など開始測定のきっかけとなる動作である。こ
のトリガ発生と同時に反応時間の測定を開始させる(d
4)。この後、測定継続状態を経て(d5)対象とした
動作の検知が行われる(d6)。動作が検知されない場
合(d6:No)、ステップd5に戻って時間測定が継
続され、動作が検知された場合(d6:Yes)、反応
時間の測定が完了し(d7)、同時に筋力が測定される
(d8)。
【0259】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、人間の運動機能の測定を行うよ
うにしたので、映像・音声を用いて動作までの反射運
動、動作時の筋力測定等を行うことができる。
【0260】(発明の第10の実施の形態)本実施形態
の仮想空間体感装置は、第1〜第6の仮想空間体感装置
において人間の運動機能の柔軟性向上のために各駆動部
に必要な重さを与え、静的柔軟運動や動的柔軟運動、反
射による柔軟運動を強制的に与えることにより運動機能
の柔軟性の向上を行えるようにしたものである。
【0261】この仮想空間体感装置は、各種の柔軟運動
プログラムが空間状態管理装置201に設けられる他、
第1〜第6の仮想空間体感装置と同様に構成されてい
る。
【0262】次に、以上のように構成された本実施形態
における仮想空間体感装置の動作について説明する。図
35は柔軟運動機能の処理を示す流れ図である。
【0263】同図に示すように、柔軟運動を行うにあた
り、まず、個人データが入力される(e1)。この個人
データとして、使用者の年齢、性別、身長、体重および
その日の体調が入力される。これらの入力データから柔
軟度が計算される(e2)。この計算結果から使用者5
に与える重さが空間状態管理装置201において計算さ
れる。さらに、柔軟体操のデータが入力され(e3)、
身体各部の駆動部が制御される(e4)。柔軟運動の順
序、動かす部分は、この柔軟体操のデータに入力されて
いる。
【0264】すなわち、上記計算(e2)及び入力(e
1,e3)が完了した後、身体の駆動部が制御されるも
のである(e4)。この制御には先に計算した柔軟度な
どが考慮される。さらに、駆動部の動作確認として身体
状態が入力される(e5)。ここでは、腕、脚など身体
の位置の他に、駆動部にかかる抵抗が入力されており、
もし、この身体抵抗が大きければ(e6:Yes)、駆
動部の動作が制限される(e7)。これは、身体を無理
に曲げないための配慮である。身体抵抗が小さければ
(e6:No)、ステップe4に戻り繰り返し身体部位
の駆動部が制御される。
【0265】上述したように、本発明の実施の形態に係
る仮想空間体感装置は、人間の運動機能の柔軟性向上の
ために各駆動部に必要な重さを与え、静的柔軟運動や動
的柔軟運動、反射による柔軟運動を強制的に与えるよう
にしたので、運動機能の柔軟性の向上を行うことができ
る。
【0266】
【実施例】ここで、上記実施形態の実施例について説明
する。
【0267】本発明の実施例に係る仮想空間体感装置
は、2重リングの内側に身体を固定する駆動部が設置さ
れている。各身体の関節はこの駆動部によって支持され
ており、仮想空間の状態により身体の姿勢を制御する。
【0268】また、外側のリングは左右方向に回転し、
内側のリングは前後方向に回転する。例えば、水面をク
ロールで泳いでいる場面を想定する。人間が水面をクロ
ールで泳ぐ場合、身体はうつ伏せの状態となり、ばた足
で腕を回転させている状態である。このため、内側リン
グが前方向に回転し、同時に使用者の身体部位を支持し
ている駆動部で胴、腕、脚などを支持する。
【0269】空間状態管理装置201には、環境データ
として水面を、物体データとして水を、音響データとし
て水しぶきの音などの環境データが仮想空間データ記憶
装置200から入力される。
【0270】ヘッドマウントディスプレイ202には、
水面の映像が表示され、泳ぐ動作とともに、水面を前進
している映像が写し出される。また、泳ぐ動作と連動し
て、水しぶきの音が再現される。
【0271】運動体感装置204では、仮想空間中の水
中にある腕および足には水の抵抗を再現する。これによ
り、使用者は「泳ぐ」ことを仮想体験できる。
【0272】足および腕の動きは、身体部位のセンサー
251を介して、身体動作検出部224へ入力され、こ
こで身体状態の情報を適正化して空間状態管理装置20
1へ伝送される。
【0273】ここで、例えば使用者がマイクに向かって
「システム停止」と発話した場合、これが音声認識部2
13で認識され、空間状態管理装置201にシステム停
止の要求が出力される。
【0274】次に、物体を掴んだ時の感触再現と温度再
現の例としてテーブルの上にお湯の入ったコップを手に
取る場面を想定する。
【0275】空間状態管理装置201には仮想空間デー
タ記憶装置200から環境データとしてテーブル、コッ
プおよびお湯の物体データとこれら物体が配置されてい
る部屋の照明、壁色などの環境データなどが入力され
る。物体データには「お湯」の温度データも含まれてお
り、仮想空間中で、コップを手に取った時、温感の再現
を行う。
【0276】使用者は仮想空間中でテーブルに歩いて近
づき、コップを手に取る。この「歩く」動作は、運動体
感装置204の身体動作検出部224にて検出される。
仮想空間中で使用者がテーブル着いた後、コップを取
る。さらに、コップの位置に手がかかった時、手に圧力
を体感させる。これにより使用者はコップをつかむ動作
をするとともに手にさらに圧力を体感させて、コップを
つかむ感覚を体感する。手の動きは左右のグローブにあ
るグローブ動作検出部215、220によって検知す
る。手に感触を再現するには、仮想空間状態管理装置2
01に入力される身体位置、手の位置と仮想空間中に配
置されているコップの位置を評価することにより、手の
駆動部245、246を制御して再現する。これと同時
に温度制御部218、223を介して温度コントロール
部247、248を制御してを行い手に「暖かい」とい
う温感を与える。これにより、仮想空間中でコップのお
湯の温感を体感することができる。
【0277】なお、本発明は、上記各実施形態・実施例
に限定されるものでなく、その要旨を逸脱しない範囲で
種々に変形することが可能である。また、各実施形態・
実施例は可能な限り適宜組み合わせて実施してもよく、
その場合組み合わされた効果が得られる。例えば各実施
形態を組み合わせることで病気や怪我等のリハビリや体
験したことのないスポーツ等の体感も行うことができ
る。
【0278】また、実施形態・実施例に記載した手法
は、計算機(コンピュータ)に実行させることができる
プログラム(ソフトウエア手段)として、例えば磁気デ
ィスク(フロッピーディスク、ハードディスク等)、光
ディスク(CD−ROM、DVD等)、半導体メモリ等
の記憶媒体に格納し、また通信媒体により伝送して頒布
することもできる。なお、媒体側に格納されるプログラ
ムには、計算機に実行させるソフトウエア手段(実行プ
ログラムのみならずテーブルやデータ構造も含む)を計
算機内に構成させる設定プログラムをも含むものであ
る。本装置を実現する計算機は、記憶媒体に記録された
プログラムを読み込み、また場合により設定プログラム
によりソフトウエア手段を構築し、このソフトウエア手
段によって動作が制御されることにより上述した処理を
実行する。
【0279】
【発明の効果】以上詳記したように本発明によれば、仮
想現実空間において映像のみならず、触感、運動感覚な
どを体感することができる仮想空間体感装置を提供する
ことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る仮想空間体感装
置の一例を示す全体構成図。
【図2】実施形態の仮想空間体感装置の機能的な構成を
示すブロック図。
【図3】空間状態管理装置の構成例を示すブロック図。
【図4】ヘッドマウントディスプレイの構成例を示すブ
ロック図。
【図5】体感グローブの構成例を示すブロック図。
【図6】運動体感装置の構成例を示すブロック図。
【図7】運動機能測定装置の構成例を示すブロック図。
【図8】仮想空間体感装置の全体的な処理を示す流れ
図。
【図9】空間状態管理装置の処理を示す流れ図。
【図10】グローブの手の甲側に配置される駆動部分及
びセンサー部分を示す構成図。
【図11】グローブの手の掌側に配置される駆動部分及
びセンサー部分を示す構成図。
【図12】グローブの掌触感を体感する駆動部分につい
て示す構成図。
【図13】グローブにおける温度感覚を体感するための
温度コントロール部及び温度センサーの配置例を示す
図。
【図14】各指の駆動並びに位置検出を行う様子を示す
図。
【図15】手首の駆動並びに位置検出を行う様子を示す
図。
【図16】グローブ動作検出の処理を示す流れ図。
【図17】グローブの感触再現の処理を示す流れ図。
【図18】グローブの温度再現の処理を示す流れ図。
【図19】ヘッドマウントディスプレイの一例を示す構
成図。
【図20】ヘッドマウントディスプレイの立体映像表示
機能を説明するための図。
【図21】ヘッドマウントディスプレイの画像合成機能
を説明するための図。
【図22】音声処理を示す流れ図。
【図23】運動体感装置における駆動部センサーの配置
構成を示す正面図。
【図24】運動体感装置における駆動部センサーの配置
構成を示す側面図。
【図25】運動体感装置における周囲音場再現のための
構成を示す図。
【図26】姿勢制御の処理を示す流れ図。
【図27】身体動作の検出処理を示す流れ図。
【図28】内外リングの制御処理を示す流れ図。
【図29】運動機能測定装置を構成する各センサーを使
用者に装着した状態を示す図。
【図30】センサー値の評価処理を示す流れ図。
【図31】本発明の第6の実施の形態に係る仮想空間体
感装置に用いられる仮想空間データの概念例を示す図。
【図32】複数台の仮想空間体感装置を接続する様子を
示す図。
【図33】筋力向上のための反発力発生の処理を示す流
れ図。
【図34】反射運動及び筋力測定の処理を示す流れ図。
【図35】柔軟運動機能の処理を示す流れ図。
【符号の説明】
1…装置台 1a…緊急停止センサー 2…左右回転リング 3…前後回転リング 4…傾斜駆動部 200…仮想空間データ記憶装置 201…空間状態管理装置 202…ヘッドマウントディスプレイ 203…体感グローブ 204…運動体感装置 205…運動機能測定装置 206…空間状態管理部 207…ヘッドマウントディスプレイ制御部 208…グローブ制御部 209…運動体感装置制御部 210…運動機能測定部 211…映像制御部 212…カメラ映像入力部 213…声認識部 214…ヘッドマウントディスプレイ位置認識部 215…左グローブ動作検出部 216…左グローブ位置認識部 217…左グローブ温感再現部 218…左グローブ感触再現部 220…右グローブ動作検出部 221…右グローブ部位置認識部 222…右グローブ温感再現部 223…右グローブ感触再現部 225…姿勢制御部 226…内側リング制御部 227…外側リング制御部 228…身体データ入力部 230…左側映像表示部 231…左側液晶部 232…右側映像表示部 233…右側液晶部 234…左側カメラ 235…右側カメラ 236…音声入力部 237…3次元センサー 238…左側音声出力部 239…右側音声出力部 241…左センサー 242…右センサー 243…左3次元センサー 244…右3次元センサー 245…左駆動部 246…右駆動部 247a…左温度コントロール部 248a…右温度コントロール部 247b…温度センサー 248b…温度センサー 251…センサー 252…駆動部 253…左右回転駆動部 254…前後回転駆動部 261…圧測定センサー 262…心拍数測定センサー 401…指先リンク 402…関節リンク 403…手首リンク 404…指駆動部・センサー 405…手首駆動部・センサー 501…感触部 502…リンクA 503…リンクB 504…リンク駆動部・センサー 505…前後駆動部・センサー 701…頭部駆動部・センサー 702…背部駆動部・センサー 703…腰部駆動部・センサー 704…尻部駆動部・センサー 705…左肩部駆動部・センサー 706…右肩部駆動部・センサー 707…左肘部駆動部・センサー 708…右肘部駆動部・センサー 709…左膝部駆動部・センサー 710…右膝部駆動部・センサー 711…左足部駆動部・センサー 712…右足部駆動部・センサー 803…環境音声出力部 804…環境音声出力部 805…環境音声出力部 806…環境音声出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 稲垣 完治 東京都府中市東芝町1番地 株式会社東芝 府中工場内 Fターム(参考) 5B087 AA00 AA07 AB12 AE00 BC06 BC12 BC13 BC19 BC26 CC02 CC26 DD03 9A001 BB06 DD12 DD13 HH32 JJ71 KK29 KK31 KK32

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 仮想的な現実を使用者に提供する頭部装
    着型表示装置と、 複数の駆動装置付き身体保持部で使用者を保持するとと
    もに、前記仮想的な現実に対応して前記駆動装置により
    使用者の姿勢を変更する運動体感装置とを備えたことを
    特徴とする仮想空間体感装置。
  2. 【請求項2】 前記身体保持部には、各駆動装置の動作
    位置を検知するセンサーが設けられており、 前記センサーからの位置情報に基づいて使用者の姿勢及
    び動作を確認するとともに、前記仮想的な現実を与える
    ための仮想空間情報並びに前記姿勢及び動作の情報に基
    づいて使用者の次の姿勢を決定し、当該決定内容に基づ
    き前記運動体感装置に姿勢変更を指令する空間状態管理
    装置を備えたことを特徴とする請求項1記載の仮想空間
    体感装置。
  3. 【請求項3】 前記運動体感装置は、前記身体保持部ご
    と使用者を回動させる1以上の回転リングを備え、 前記空間状態管理装置は、前記回転リングをも制御する
    ことにより使用者の姿勢を変更させることを特徴とする
    請求項2記載の仮想空間体感装置。
  4. 【請求項4】 前記空間状態管理装置は、人間の筋力を
    向上させるような範囲に各駆動装置の動作範囲を規定
    し、かつ反発力を与えるように各駆動装置を動作させる
    ことで使用者の運動機能を向上させるように前記運動体
    感装置を制御することを特徴とする請求項2記載の仮想
    空間体感装置。
  5. 【請求項5】 前記頭部装着型表示装置は、使用者に映
    像又は音声により動作タイミングを与えるタイミング手
    段を備え、 前記空間状態管理装置は、前記タイミング手段が与えた
    タイミング及び前記運動体感装置からのセンサー情報に
    基づき、使用者の運動能力を測定することを特徴とする
    請求項2記載の仮想空間体感装置。
  6. 【請求項6】 前記空間状態管理装置は、使用者の柔軟
    性向上させるための重さを各駆動装置から当該使用者に
    与えるよう前記運動体感装置を制御することを特徴とす
    る請求項2記載の仮想空間体感装置。
  7. 【請求項7】 前記運動体感装置は、1以上のスピーカ
    ーを備え、前記スピーカーから前記仮想的な現実に対応
    させた音声を出力させることを特徴とする請求項1記載
    の仮想空間体感装置。
  8. 【請求項8】 仮想的な現実を使用者に提供する頭部装
    着型表示装置と、 駆動装置に接続された複数の装着部が使用者の手に装着
    されるように構成されるとともに、前記仮想的な現実に
    対応して前記駆動装置により使用者の手の動きを制御す
    る体感グローブとを備えたことを特徴とする仮想空間体
    感装置。
  9. 【請求項9】 前記体感グローブには、前記駆動装置の
    動作を監視することで指の位置を検出するセンサーが設
    けられており、 前記センサーからの指位置情報と、前記仮想的な現実を
    与えるための仮想空間情報とに基づいて、前記使用者の
    指位置を制限するように前記体感グローブを制御する空
    間状態管理装置を備えたことを特徴とする請求項8記載
    の仮想空間体感装置。
  10. 【請求項10】 前記空間状態管理装置は、仮想空間情
    報が与える物体の硬さに対応して指に力を加えるように
    前記体感グローブを制御することで指に触感を与えさせ
    ることを特徴とする請求項9記載の仮想空間体感装置。
  11. 【請求項11】 前記体感グローブには、前記駆動装置
    の動作を監視することで指の位置及び手首の傾き位置を
    検出するセンサーが設けられており、 前記センサーからの指手首位置情報と、前記仮想的な現
    実を与えるための仮想空間情報とに基づいて、前記使用
    者の指手首位置を制限するように前記体感グローブを制
    御する空間状態管理装置を備えたことを特徴とする請求
    項8記載の仮想空間体感装置。
  12. 【請求項12】 前記空間状態管理装置は、仮想空間情
    報が与える物体の硬さに対応して指及び手首に力を加え
    るように前記体感グローブを制御することで手に触感を
    与えさせることを特徴とする請求項11記載の仮想空間
    体感装置。
  13. 【請求項13】 前記体感グローブは、掌への触圧覚を
    感じさせるために、前記仮想的な現実に対応して形状を
    変化させて掌に接触させる柔軟な板状部材を備えたこと
    を特徴とする請求項8記載の仮想空間体感装置。
  14. 【請求項14】 前記体感グローブは、前記仮想的な現
    実に対応して手に熱又は冷熱を与える温度制御手段を備
    えたことを特徴とする請求項8記載の仮想空間体感装
    置。
  15. 【請求項15】 仮想的な現実を使用者に提供する頭部
    装着型表示装置と、 複数の駆動装置付き身体保持部で使用者を保持するとと
    もに、前記仮想的な現実に対応して前記駆動装置により
    使用者の姿勢を変更する運動体感装置と、 駆動装置に接続された複数の装着部が使用者の手に装着
    されるように構成されるとともに、前記仮想的な現実に
    対応して前記駆動装置により使用者の手の動きを制御す
    る体感グローブとを備えたことを特徴とする仮想空間体
    感装置。
  16. 【請求項16】 前記使用者の身体状態を測定する1以
    上のセンサからなる運動機能測定装置と、 前記運動機能測定装置からのセンサ情報を入力し、前記
    身体状態が所定条件となる場合にシステムを停止する空
    間状態管理装置とを備えたことを特徴とする請求項15
    記載の仮想空間体感装置。
  17. 【請求項17】 前記頭部装着型表示装置は、左右の目
    それぞれに対応する独立した画像表示部を備え、当該各
    画像表示部から左右の両眼視差と動眼視差を利用した画
    像を表示することで立体映像を使用者に与えることを特
    徴とする請求項15記載の仮想空間体感装置。
  18. 【請求項18】 前記頭部装着型表示装置は、使用者の
    視界に合わせた映像を取り込み可能な画像取込手段を備
    えるとともに、その画像表示部は外界視認の可不可を切
    替可能に構成されており、 前記画像取込手段から取り込まれた実際の景色内の物体
    位置を検出し、前記画像表示部が提供すべき画像を実際
    の景色内の物体に位置合わせして合成するとともに、当
    該画像に前記画像表示部から表示させ、かつ外界視認を
    可能な状態に切替えるよう指令する空間状態管理装置と
    を備えたことを特徴とする請求項17記載の仮想空間体
    感装置。
  19. 【請求項19】 前記頭部装着型表示装置は、使用者の
    音声を入力する音声入力手段を備えており、 前記頭部装着型表示装置、前記運動体感装置及び前記体
    感グローブを制御する手段であって、前記音声入力手段
    からの入力音声を解析するとともに、解析された入力音
    声に対応する動作命令を実行する空間状態管理装置とを
    備えたことを特徴とする請求項15記載の仮想空間体感
    装置。
  20. 【請求項20】 請求項1乃至19のうち何れかの仮想
    空間体感装置を複数接続するとともに、各仮想空間体感
    装置間において、それぞれの使用者に前記仮想的な現実
    を与えるための情報を共有させることを特徴とする仮想
    空間体感システム。
JP11149744A 1999-05-28 1999-05-28 仮想空間体感装置 Pending JP2000338858A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11149744A JP2000338858A (ja) 1999-05-28 1999-05-28 仮想空間体感装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11149744A JP2000338858A (ja) 1999-05-28 1999-05-28 仮想空間体感装置

Publications (1)

Publication Number Publication Date
JP2000338858A true JP2000338858A (ja) 2000-12-08

Family

ID=15481840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11149744A Pending JP2000338858A (ja) 1999-05-28 1999-05-28 仮想空間体感装置

Country Status (1)

Country Link
JP (1) JP2000338858A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065675A (ja) * 2006-09-08 2008-03-21 Ritsumeikan 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ
US7520836B2 (en) 2001-07-23 2009-04-21 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat attached to movable base structure
US7588516B2 (en) 2001-07-23 2009-09-15 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat
JP2012037420A (ja) * 2010-08-09 2012-02-23 Nippon Hoso Kyokai <Nhk> 表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラム
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
JP2016520901A (ja) * 2013-04-10 2016-07-14 カクマク、トゥンカイCakmak Tuncay 人を収容し、人の動作の自由を部分的に制限するためのデバイス
JPWO2016038964A1 (ja) * 2014-09-08 2017-06-22 ソニー株式会社 情報処理装置及び情報処理方法
KR101979591B1 (ko) * 2018-01-04 2019-08-28 연세대학교 원주산학협력단 다방향 삼차원 팔다리 교대 재활 운동 기기와 그것의 제어 방법
CN110502833A (zh) * 2019-08-20 2019-11-26 浙江天元十杰装饰股份有限公司 一种房间模拟方法、系统、存储介质
JP2020173326A (ja) * 2019-04-10 2020-10-22 新日本建工株式会社 現場作業教育システム
WO2021107595A1 (ko) * 2019-11-29 2021-06-03 주식회사 코믹스브이 가상콘텐츠 체험 시스템 및 그 제어방법
JP2023050191A (ja) * 2021-09-29 2023-04-10 国立大学法人 東京大学 情報処理装置及びプログラム
WO2023127078A1 (ja) * 2021-12-28 2023-07-06 株式会社ソニー・インタラクティブエンタテインメント 操作装置及び操作システム
WO2023127403A1 (ja) * 2021-12-27 2023-07-06 パナソニックホールディングス株式会社 Vr臨場感向上システムおよびvr臨場感向上プログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7520836B2 (en) 2001-07-23 2009-04-21 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat attached to movable base structure
US7588516B2 (en) 2001-07-23 2009-09-15 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat
JP2008065675A (ja) * 2006-09-08 2008-03-21 Ritsumeikan 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ
JP2012037420A (ja) * 2010-08-09 2012-02-23 Nippon Hoso Kyokai <Nhk> 表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラム
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
US9454006B2 (en) 2012-02-28 2016-09-27 Seiko Epson Corporation Head mounted display and image display system
JP2016520901A (ja) * 2013-04-10 2016-07-14 カクマク、トゥンカイCakmak Tuncay 人を収容し、人の動作の自由を部分的に制限するためのデバイス
JPWO2016038964A1 (ja) * 2014-09-08 2017-06-22 ソニー株式会社 情報処理装置及び情報処理方法
KR101979591B1 (ko) * 2018-01-04 2019-08-28 연세대학교 원주산학협력단 다방향 삼차원 팔다리 교대 재활 운동 기기와 그것의 제어 방법
JP2020173326A (ja) * 2019-04-10 2020-10-22 新日本建工株式会社 現場作業教育システム
CN110502833A (zh) * 2019-08-20 2019-11-26 浙江天元十杰装饰股份有限公司 一种房间模拟方法、系统、存储介质
CN110502833B (zh) * 2019-08-20 2023-02-24 浙江天元十杰装饰股份有限公司 一种房间模拟方法、系统、存储介质
WO2021107595A1 (ko) * 2019-11-29 2021-06-03 주식회사 코믹스브이 가상콘텐츠 체험 시스템 및 그 제어방법
US20230052104A1 (en) * 2019-11-29 2023-02-16 Belivvr. Inc. Virtual content experience system and control method for same
JP2023050191A (ja) * 2021-09-29 2023-04-10 国立大学法人 東京大学 情報処理装置及びプログラム
WO2023127403A1 (ja) * 2021-12-27 2023-07-06 パナソニックホールディングス株式会社 Vr臨場感向上システムおよびvr臨場感向上プログラム
WO2023127078A1 (ja) * 2021-12-28 2023-07-06 株式会社ソニー・インタラクティブエンタテインメント 操作装置及び操作システム
JPWO2023127078A1 (ja) * 2021-12-28 2023-07-06

Similar Documents

Publication Publication Date Title
Caserman et al. A survey of full-body motion reconstruction in immersive virtual reality applications
JP6761340B2 (ja) シミュレーションシステム及びプログラム
US20060017654A1 (en) Virtual reality interactivity system and method
TWI648655B (zh) 虛擬實境系統中顯示使用者移動的方法及相關裝置
RU2109336C1 (ru) Способ погружения пользователя в виртуальную реальность и устройство для его реализации
Laycock et al. Recent developments and applications of haptic devices
Romanus et al. Mid-air haptic bio-holograms in mixed reality
Pai et al. Armswing: Using arm swings for accessible and immersive navigation in ar/vr spaces
JP6481057B1 (ja) 仮想空間におけるキャラクタの制御方法
US20130198625A1 (en) System For Generating Haptic Feedback and Receiving User Inputs
CN109643161A (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
JP2002540864A (ja) シミュレートされた人間相互交流システム
JP7160669B2 (ja) プログラム、情報処理装置、および方法
CN108139804A (zh) 信息处理装置与信息处理方法
JP4025230B2 (ja) 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法
JP6964302B2 (ja) アニメーション制作方法
JP2021064399A (ja) プログラム、情報処理装置、および方法
JP2003271891A (ja) 商品仮想体験システム
Matsumaru et al. Image-projecting desktop arm trainer for hand-eye coordination training
Yasmin Virtual Reality and Assistive Technologies: A Survey.
KR102905878B1 (ko) 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치
Whitton et al. Locomotion interfaces
JP2019133677A (ja) 仮想空間におけるキャラクタの制御方法
KR20240062067A (ko) 촉감을 제공하는 성인 콘텐츠용 vr 장치