JPH11249772A - 仮想環境提示装置 - Google Patents
仮想環境提示装置Info
- Publication number
- JPH11249772A JPH11249772A JP4553798A JP4553798A JPH11249772A JP H11249772 A JPH11249772 A JP H11249772A JP 4553798 A JP4553798 A JP 4553798A JP 4553798 A JP4553798 A JP 4553798A JP H11249772 A JPH11249772 A JP H11249772A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- user
- presentation device
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Computer And Data Communications (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 実践の場で演技や作業等を続けながら、映像
によりその支援を受けることができる環境を提供する。 【解決手段】 液晶ゴーグル１２、小型ビデオカメラ１
４、ヘッドフォン１６、マイクロフォン１８を一体化し
たヘッドセット１０と、コンピュータ本体（クランアン
ト端末）Ａをワイヤレスで接続すると共に、該コンピュ
ータ本体Ａをインターネットを介してＷＷＷサーバＢの
ファイルサーバＣを接続し、マイクロフォン１８から音
声で音声認識モジュール３０にコード入力することによ
り、ファイルサーバＣから模範演技、指示に関する映
像、音声情報を画像処理部３８、音声合成モジュール３
４に入力し、液晶ゴーグル１２に模範演技の映像を、ヘ
ッドフォン１６から音声指示、効果音等を出力する。
によりその支援を受けることができる環境を提供する。 【解決手段】 液晶ゴーグル１２、小型ビデオカメラ１
４、ヘッドフォン１６、マイクロフォン１８を一体化し
たヘッドセット１０と、コンピュータ本体（クランアン
ト端末）Ａをワイヤレスで接続すると共に、該コンピュ
ータ本体Ａをインターネットを介してＷＷＷサーバＢの
ファイルサーバＣを接続し、マイクロフォン１８から音
声で音声認識モジュール３０にコード入力することによ
り、ファイルサーバＣから模範演技、指示に関する映
像、音声情報を画像処理部３８、音声合成モジュール３
４に入力し、液晶ゴーグル１２に模範演技の映像を、ヘ
ッドフォン１６から音声指示、効果音等を出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、特に医療行為（救
急処置、外科手術、マッサージ、介護等）、ダンス・体
操等、主として人が対人的に行う各種演技・手技の修得
や、マニュアル類を持ち込めない実践の場、例えば教育
現場等で身体で覚える実技の修得に、あるいは多くの図
面を要する設備類のメンテナンス作業等の支援に適用し
て好適な、仮想環境提示装置に関する。
急処置、外科手術、マッサージ、介護等）、ダンス・体
操等、主として人が対人的に行う各種演技・手技の修得
や、マニュアル類を持ち込めない実践の場、例えば教育
現場等で身体で覚える実技の修得に、あるいは多くの図
面を要する設備類のメンテナンス作業等の支援に適用し
て好適な、仮想環境提示装置に関する。
【０００２】
【従来の技術】医療行為等、主として人が対人的に行う
各種演技・手技又は実技（以下、単に演技ともいう）を
修得する場合、実践の場ではマニュアルを参照する余地
がないため、指導者によるマンツーマン教育が最も効率
的で不可欠になっている。
各種演技・手技又は実技（以下、単に演技ともいう）を
修得する場合、実践の場ではマニュアルを参照する余地
がないため、指導者によるマンツーマン教育が最も効率
的で不可欠になっている。
【０００３】とは言うものの、誰もが常にマンツーマン
教育を受けられるとは限らない。そのため、このマンツ
ーマン教育以外に、依然として教則本・マニュアルとし
て印刷物、ビデオ等が利用され、更にＣＤ−ＲＯＭ、最
近ではインターネットＷＷＷ（Ｗorld Ｗide Ｗeb）の
媒体を利用して修得することが可能になっている。
教育を受けられるとは限らない。そのため、このマンツ
ーマン教育以外に、依然として教則本・マニュアルとし
て印刷物、ビデオ等が利用され、更にＣＤ−ＲＯＭ、最
近ではインターネットＷＷＷ（Ｗorld Ｗide Ｗeb）の
媒体を利用して修得することが可能になっている。
【０００４】
【発明が解決しようとする課題】しかしながら、実践の
場にこれらマニュアル類を持ち込むことは困難であり、
仮に持ち込めたとしても演技を修得をしながら、同時に
マニュアルを参照することは困難であると共に、媒体の
違いによっても以下のような各種の問題がある。
場にこれらマニュアル類を持ち込むことは困難であり、
仮に持ち込めたとしても演技を修得をしながら、同時に
マニュアルを参照することは困難であると共に、媒体の
違いによっても以下のような各種の問題がある。
【０００５】（１）印刷物：携帯性はよいが、演技中に
参照したり、頁をめくったりできない。
参照したり、頁をめくったりできない。
【０００６】（２）ビデオ：操作が不要で遠方から視聴
しながら演技を同時にできるという利点はあるが、後戻
りや速度変更、アングルの変更ができないため、テンポ
を遅くしたいという初心者のニーズや、アングルを変え
て死角に入っている箇所を見たいというニーズに応える
ことができない。又、模範演技と利用者が対面している
向きが逆の場合は、頭の中で絶えず逆向きに手技を翻訳
しなくてはならず、初心者には難しいということもあ
る。
しながら演技を同時にできるという利点はあるが、後戻
りや速度変更、アングルの変更ができないため、テンポ
を遅くしたいという初心者のニーズや、アングルを変え
て死角に入っている箇所を見たいというニーズに応える
ことができない。又、模範演技と利用者が対面している
向きが逆の場合は、頭の中で絶えず逆向きに手技を翻訳
しなくてはならず、初心者には難しいということもあ
る。
【０００７】（３）ＣＤ−ＲＯＭ：ビデオの問題点は解
決されているが、マウス操作が必要になる。
決されているが、マウス操作が必要になる。
【０００８】（４）ＷＷＷ：ＣＤ−ＲＯＭに比べて提供
できるコンテンツが拡大するという利点はあるが、同様
にマウス操作が必要で、回線接続等、携帯性は逆に劣
る。
できるコンテンツが拡大するという利点はあるが、同様
にマウス操作が必要で、回線接続等、携帯性は逆に劣
る。
【０００９】本発明は、前記従来の問題点を解決するべ
くなされたもので、実践の場で演技や作業を続けなが
ら、その支援をオンラインマニュアルにより受けること
ができる環境、即ちいわばウォーキング・ディクショナ
リ環境を提供することを課題とする。
くなされたもので、実践の場で演技や作業を続けなが
ら、その支援をオンラインマニュアルにより受けること
ができる環境、即ちいわばウォーキング・ディクショナ
リ環境を提供することを課題とする。
【００１０】
【課題を解決するための手段】本発明は、仮想環境提示
装置において、マルチメディア情報を画像認識手段及び
音声認識手段により提示制御可能となるように構成した
情報提示装置と、前記装置に対するハンズフリーによる
遠隔対話操作、及び前記装置により提供される情報に対
するシースルー視聴を可能にした、少なくとも映像入力
手段、映像出力手段、音声入力手段、音声出力手段を有
するユーザインタフェース装置とを備えたことにより、
前記課題を解決したものである。
装置において、マルチメディア情報を画像認識手段及び
音声認識手段により提示制御可能となるように構成した
情報提示装置と、前記装置に対するハンズフリーによる
遠隔対話操作、及び前記装置により提供される情報に対
するシースルー視聴を可能にした、少なくとも映像入力
手段、映像出力手段、音声入力手段、音声出力手段を有
するユーザインタフェース装置とを備えたことにより、
前記課題を解決したものである。
【００１１】即ち、本発明においては、ユーザインタフ
ェース装置が有する映像入力手段により、演技等をサポ
ートするマニュアル情報を映像として利用者に提示でき
るようにすると共に、その映像を音声出力手段や映像出
力手段等を介して、例えば利用者の声や視線により、手
を使うことなく、即ちハンズフリーで希望する情報コン
テンツに切り替えることができるようにしたので、利用
者は演技等を続けながら、その演技等を支援する所望の
サポート情報を受け取ることができる。
ェース装置が有する映像入力手段により、演技等をサポ
ートするマニュアル情報を映像として利用者に提示でき
るようにすると共に、その映像を音声出力手段や映像出
力手段等を介して、例えば利用者の声や視線により、手
を使うことなく、即ちハンズフリーで希望する情報コン
テンツに切り替えることができるようにしたので、利用
者は演技等を続けながら、その演技等を支援する所望の
サポート情報を受け取ることができる。
【００１２】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について詳細に説明する。
実施の形態について詳細に説明する。
【００１３】図１は、本発明に係る一実施形態の救急医
療支援システム（仮想環境提示装置）を概念的に示すブ
ロック図、図２は、同システムの構成をより具体的に示
したブロック図である。又、図３は、本実施形態の支援
システムを構成するヘッドセット（ユーザインタフェー
ス装置）を、利用者が装着した状態と共に示した正面
図、図４は、その平面図である。
療支援システム（仮想環境提示装置）を概念的に示すブ
ロック図、図２は、同システムの構成をより具体的に示
したブロック図である。又、図３は、本実施形態の支援
システムを構成するヘッドセット（ユーザインタフェー
ス装置）を、利用者が装着した状態と共に示した正面
図、図４は、その平面図である。
【００１４】本実施形態の救急医療支援システムは、マ
ニュアルとして電子媒体で提供される模範映像を、離れ
た位置から視聴しながら演技修得をハンズフリーで行う
ことができる仮想環境を実現する家庭向けのシステムで
ある。
ニュアルとして電子媒体で提供される模範映像を、離れ
た位置から視聴しながら演技修得をハンズフリーで行う
ことができる仮想環境を実現する家庭向けのシステムで
ある。
【００１５】本実施形態の支援システムは、前記図１、
２に示すように、救急医療支援のためのマニュルアル映
像を初めとする、マルチメディア情報を提示・制御可能
に構成されているパーソナルコンピュータ本体（情報提
示装置、クライアント端末）Ａと、該本体Ａにワイヤレ
スで接続されたヘッドセット（ユーザインタフェース装
置）１０とを備えている。
２に示すように、救急医療支援のためのマニュルアル映
像を初めとする、マルチメディア情報を提示・制御可能
に構成されているパーソナルコンピュータ本体（情報提
示装置、クライアント端末）Ａと、該本体Ａにワイヤレ
スで接続されたヘッドセット（ユーザインタフェース装
置）１０とを備えている。
【００１６】本実施形態では、前記マルチメディア情報
が、インターネットを介してＷＷＷサーバＢのファイル
サーバ（マルチメディアサーバ）Ｃから、上記コンピュ
ータ本体Ａに提供されるようになっている。
が、インターネットを介してＷＷＷサーバＢのファイル
サーバ（マルチメディアサーバ）Ｃから、上記コンピュ
ータ本体Ａに提供されるようになっている。
【００１７】なお、図１中ＨＴＭＬ（Ｈyper Ｔext Ｍ
arkup Ｌanguage ）は、インターネットのホームページ
の作成に用いられる言語、Ｊａｖａはサン・マイクロシ
ステムズ社が開発したプログラム言語で、この言語で作
成したプログラム（アプレット）は、インターネットの
ホームページを表示する際に実行される。又、ＶＲＭＬ
（Ｖirtual Ｒeality Ｍodeling Ｌauguage ）はイン
ターネットで３次元のグラフィックスを表現できる言語
であり、ＭＩＤＩ（Ｍusical ＩnstrumentsＤigital
Ｉnterface）はコンピュータで音楽データをやり取りす
るための規格である。
arkup Ｌanguage ）は、インターネットのホームページ
の作成に用いられる言語、Ｊａｖａはサン・マイクロシ
ステムズ社が開発したプログラム言語で、この言語で作
成したプログラム（アプレット）は、インターネットの
ホームページを表示する際に実行される。又、ＶＲＭＬ
（Ｖirtual Ｒeality Ｍodeling Ｌauguage ）はイン
ターネットで３次元のグラフィックスを表現できる言語
であり、ＭＩＤＩ（Ｍusical ＩnstrumentsＤigital
Ｉnterface）はコンピュータで音楽データをやり取りす
るための規格である。
【００１８】上記ＷＷＷは、オンラインで豊富なコンテ
ンツを提供でき、後戻り、速度変更、アングル変更等の
機能も技術的には提供可能であるという点で、現状最も
有望なメディアである。
ンツを提供でき、後戻り、速度変更、アングル変更等の
機能も技術的には提供可能であるという点で、現状最も
有望なメディアである。
【００１９】本実施形態では、又、利用者が演技等の修
得をしながら、電子マニュアルを参照できるようにする
ために、ユーザインタフェースとして必要とされる以下
の５つの機能を実現している。
得をしながら、電子マニュアルを参照できるようにする
ために、ユーザインタフェースとして必要とされる以下
の５つの機能を実現している。
【００２０】（１）両手を使わず、コンピュータ操作が
行えること（ハンズフリー操作）。
行えること（ハンズフリー操作）。
【００２１】（２）演技に支障がない程度に移動が可能
であること（携帯性・軽量性）。
であること（携帯性・軽量性）。
【００２２】（３）模範演技（バーチャル映像）と現実
像を同時に視聴可能であること（シースルー）。
像を同時に視聴可能であること（シースルー）。
【００２３】（４）模範演技のアングルはユーザの視点
にできるだけ近いこと（少なくとも逆向きでないこ
と）。
にできるだけ近いこと（少なくとも逆向きでないこ
と）。
【００２４】（５）模範演技の速度はユーザのスキルに
応じて可変であり、演技中に変更も可能であること。
応じて可変であり、演技中に変更も可能であること。
【００２５】本実施形態においては、以下のシステム構
成とすることにより、以上の各機能を実現している。
成とすることにより、以上の各機能を実現している。
【００２６】即ち、前記ヘッドセット１０を、図３、４
に示すように、液晶ゴーグル１２、小型ビデオカメラ１
４、左右のイヤパッドからなるヘッドフォン１６と、矢
印方向に可動なハンズフリーのマイクロフォン１８と、
上記液晶ゴーグル１２の上に固定されているペンライト
２０と、伸縮自在なヘッドバンド１０Ａとを一体とした
構成としている。
に示すように、液晶ゴーグル１２、小型ビデオカメラ１
４、左右のイヤパッドからなるヘッドフォン１６と、矢
印方向に可動なハンズフリーのマイクロフォン１８と、
上記液晶ゴーグル１２の上に固定されているペンライト
２０と、伸縮自在なヘッドバンド１０Ａとを一体とした
構成としている。
【００２７】上記液晶ゴーグル１２は、半透明液晶ディ
スプレイを用いた光学的シースルー機能を有するシース
ルータイプである。このゴーグル１２とヘッドフォン１
６は、それぞれゴーグルビデオケーブル１２Ｃと、ヘッ
ドフォンオーディオケーブル１６Ｃを介して、利用者の
腰にベルトで固定されている受信器（映像受信手段、音
声受信手段）２２に接続されている。そして、受信器２
２にはバッテリーが内蔵されており、前記映像受信手段
及び音声受信手段に電源を供給する以外に、ゴーグル１
２に対してゴーグルビテオケーブル１２Ｃを介して必要
な電源を供給している。
スプレイを用いた光学的シースルー機能を有するシース
ルータイプである。このゴーグル１２とヘッドフォン１
６は、それぞれゴーグルビデオケーブル１２Ｃと、ヘッ
ドフォンオーディオケーブル１６Ｃを介して、利用者の
腰にベルトで固定されている受信器（映像受信手段、音
声受信手段）２２に接続されている。そして、受信器２
２にはバッテリーが内蔵されており、前記映像受信手段
及び音声受信手段に電源を供給する以外に、ゴーグル１
２に対してゴーグルビテオケーブル１２Ｃを介して必要
な電源を供給している。
【００２８】又、前記小型ビデオカメラ１４とマイクロ
フォン１８は、それぞれビデオカメラケーブル１４Ｃと
マイクオーディオケーブル１８Ｃを介して送信器（映像
送信手段、音声送信手段）２４に接続されている。そし
て、送信器２４にもバッテリーが内蔵されており、前記
映像送信手段及び音声送信手段に電源を供給する以外
に、ビデオカメラ１４に対してビデオカメラケーブル１
４Ｃを介して必要な電源を供給すると共に、マイクロフ
ォン１８に対してマイクオーディオケーブル１８Ｃ介し
て必要な電源を供給している。
フォン１８は、それぞれビデオカメラケーブル１４Ｃと
マイクオーディオケーブル１８Ｃを介して送信器（映像
送信手段、音声送信手段）２４に接続されている。そし
て、送信器２４にもバッテリーが内蔵されており、前記
映像送信手段及び音声送信手段に電源を供給する以外
に、ビデオカメラ１４に対してビデオカメラケーブル１
４Ｃを介して必要な電源を供給すると共に、マイクロフ
ォン１８に対してマイクオーディオケーブル１８Ｃ介し
て必要な電源を供給している。
【００２９】又、本実施形態では、前記コンピュータ本
体Ａ（クライアント端末）が、図２に示したように音声
認識モジュール３０、ステータス制御部３２、音声合成
モジュール（又はＭＩＤＩ音源）３４、再生速度制御部
３６、レンダリングやビデオ復号再生、背景実写像との
合成を行う画像処理部３８、カメラパラメータ抽出機能
を有する画像認識モジュール４０を備えている。
体Ａ（クライアント端末）が、図２に示したように音声
認識モジュール３０、ステータス制御部３２、音声合成
モジュール（又はＭＩＤＩ音源）３４、再生速度制御部
３６、レンダリングやビデオ復号再生、背景実写像との
合成を行う画像処理部３８、カメラパラメータ抽出機能
を有する画像認識モジュール４０を備えている。
【００３０】そして、上記ヘッドセット１０を利用者が
頭部に取付けることにより、その利用者は演技を行いな
がら、電子媒体で提供されるマニュアルを視聴できるよ
うにするために、該ヘッドセット１０と前記コンピュー
タ本体Ａとが、前記受信器２２、送信器２４を介してワ
イヤレス・アナログ回線で接続されている。
頭部に取付けることにより、その利用者は演技を行いな
がら、電子媒体で提供されるマニュアルを視聴できるよ
うにするために、該ヘッドセット１０と前記コンピュー
タ本体Ａとが、前記受信器２２、送信器２４を介してワ
イヤレス・アナログ回線で接続されている。
【００３１】即ち、前記液晶ゴーグル１２には、受信器
２２を介して画像処理部３８から赤外線で送信されるビ
デオ信号が入力され、ヘッドフォン１６には音声合成モ
ジュール３４から同様にしてオーディオ信号が入力され
るようになっている。一方、ビデオカメラ１４からは送
信器２４を介して画像処理部３８及び画像認識モジュー
ル４０にＶＨＦ帯の電波で送信されるビデオ信号が出力
され、マイクロフォン１８からは音声認識モジュール３
０に同様にしてオーディオ信号が出力されるようになっ
ている。
２２を介して画像処理部３８から赤外線で送信されるビ
デオ信号が入力され、ヘッドフォン１６には音声合成モ
ジュール３４から同様にしてオーディオ信号が入力され
るようになっている。一方、ビデオカメラ１４からは送
信器２４を介して画像処理部３８及び画像認識モジュー
ル４０にＶＨＦ帯の電波で送信されるビデオ信号が出力
され、マイクロフォン１８からは音声認識モジュール３
０に同様にしてオーディオ信号が出力されるようになっ
ている。
【００３２】このように、ここでは、ヘッドセット１０
とコンピュータ本体Ａの間において、映像と音声の双方
向ワイヤレス伝送を実現するにあたり、双方の干渉を避
けるため、現在入手可能な赤外線とＶＨＦ帯の２種の伝
送装置を共用する方策を取っている。
とコンピュータ本体Ａの間において、映像と音声の双方
向ワイヤレス伝送を実現するにあたり、双方の干渉を避
けるため、現在入手可能な赤外線とＶＨＦ帯の２種の伝
送装置を共用する方策を取っている。
【００３３】又、前記コンピュータ本体Ａは、インター
ネット・デジタル回線を介して前記ＷＷＷサーバＢと接
続され、前記ファイルサーバＣに対してステータス制御
部３２から演技状況が出力され、又、画像認識モジュー
ル４０から視点情報が出力され、逆にファイルサーバＣ
からは音声合成モジュール３４に音声情報が入力され、
又、画像処理部３８に映像情報が入力されるようになっ
ている。
ネット・デジタル回線を介して前記ＷＷＷサーバＢと接
続され、前記ファイルサーバＣに対してステータス制御
部３２から演技状況が出力され、又、画像認識モジュー
ル４０から視点情報が出力され、逆にファイルサーバＣ
からは音声合成モジュール３４に音声情報が入力され、
又、画像処理部３８に映像情報が入力されるようになっ
ている。
【００３４】本実施形態においては、前記（１）の機能
を、音声入力・認識によりコンピュータ操作をすること
により実現する。具体的には、前記マイクロフォン１８
により、利用者の音声を入力し、該音声から前記コンピ
ュータ本体Ａの音声認識モジュール３０により、利用者
が発声した文字列を認識し、該文字列に基づいて前記ス
テータス制御部３２によりファイルサーバＣに切り替え
信号を送ることにより、該ファイルサーバＣからコンピ
ュータ本体Ａに出力し、該本体Ａから液晶ゴーグル１
２、ヘッドフォン１６に提供する映像・音声のマルチメ
ディア情報のコンテンツを切り替えることができるよう
になっている。
を、音声入力・認識によりコンピュータ操作をすること
により実現する。具体的には、前記マイクロフォン１８
により、利用者の音声を入力し、該音声から前記コンピ
ュータ本体Ａの音声認識モジュール３０により、利用者
が発声した文字列を認識し、該文字列に基づいて前記ス
テータス制御部３２によりファイルサーバＣに切り替え
信号を送ることにより、該ファイルサーバＣからコンピ
ュータ本体Ａに出力し、該本体Ａから液晶ゴーグル１
２、ヘッドフォン１６に提供する映像・音声のマルチメ
ディア情報のコンテンツを切り替えることができるよう
になっている。
【００３５】なお、この機能を実現するにあたり、ＨＴ
ＭＬアンカー（アンダーラインのある文字列：クリック
すると所定の頁にジャンプする機能）については、音声
認識で得た文字コードに基づいて指定された先にジャン
プさせるような制御プログラムをＨＴＭＬ文に追加する
方法を採用した。
ＭＬアンカー（アンダーラインのある文字列：クリック
すると所定の頁にジャンプする機能）については、音声
認識で得た文字コードに基づいて指定された先にジャン
プさせるような制御プログラムをＨＴＭＬ文に追加する
方法を採用した。
【００３６】図５は、これを概念的に示したブロック図
である。コンピュータ本体Ａをインターネットでサーバ
に接続すると、メイン管理プログラム起動用ＨＴＭＬ文
により、Ｊａｖａアプレットで記述されたメイン管理プ
ログラム本体が起動する。その後、マウス等により、こ
の本体のメニューボタンに対してキー入力を行うことに
より、マルチメディア表示プログラム起動用ＨＴＭＬ文
により、同じくＪａｖａアプレットで記述されたマルチ
メディア表示プログラム本体を起動することができる。
そして、この状態で上記表示プログラム本体のメニュー
ボタンに対してキー入力を行うことにより、ファイルサ
ーバＣから希望するファイルの情報を読み出すことがで
きる。このように、現状はマウスクリック入力でしかＷ
ＷＷサーバＢとの間で情報伝達のためのメニューの切り
替えができないところ、キー入力でも実現可能にした。
である。コンピュータ本体Ａをインターネットでサーバ
に接続すると、メイン管理プログラム起動用ＨＴＭＬ文
により、Ｊａｖａアプレットで記述されたメイン管理プ
ログラム本体が起動する。その後、マウス等により、こ
の本体のメニューボタンに対してキー入力を行うことに
より、マルチメディア表示プログラム起動用ＨＴＭＬ文
により、同じくＪａｖａアプレットで記述されたマルチ
メディア表示プログラム本体を起動することができる。
そして、この状態で上記表示プログラム本体のメニュー
ボタンに対してキー入力を行うことにより、ファイルサ
ーバＣから希望するファイルの情報を読み出すことがで
きる。このように、現状はマウスクリック入力でしかＷ
ＷＷサーバＢとの間で情報伝達のためのメニューの切り
替えができないところ、キー入力でも実現可能にした。
【００３７】そして、音声コマンドがマイクロフォン１
８から音声認識モジュール３０に入力されると、該モジ
ュール３０では所定のメニューボタンに対応する文字コ
ードに変換し、該文字コードをキー入力したのと同等な
入力処理が実行される。即ち、音声コンマドにより別の
ＨＴＭＬ頁にジャンプする所望のアンカー機能を実現し
ている。
８から音声認識モジュール３０に入力されると、該モジ
ュール３０では所定のメニューボタンに対応する文字コ
ードに変換し、該文字コードをキー入力したのと同等な
入力処理が実行される。即ち、音声コンマドにより別の
ＨＴＭＬ頁にジャンプする所望のアンカー機能を実現し
ている。
【００３８】前記（２）の機能を実現するために、前記
図３、４に示したように、前記液晶ゴーグル１２、小型
ビデオカメラ１４、ヘッドフォン１６、マイクロフォン
１８を有するヘッドセット１０を、利用者の頭部に取り
付けて使用できるようにすると共に、前述のように該ヘ
ッドセット１０とＷＷＷ端末であるコンピュータ本体Ａ
とはワイヤレス接続することにより、結果的にヘッドセ
ット１０とＷＷＷサーバＢとのワイヤレス接続を実現し
ている。
図３、４に示したように、前記液晶ゴーグル１２、小型
ビデオカメラ１４、ヘッドフォン１６、マイクロフォン
１８を有するヘッドセット１０を、利用者の頭部に取り
付けて使用できるようにすると共に、前述のように該ヘ
ッドセット１０とＷＷＷ端末であるコンピュータ本体Ａ
とはワイヤレス接続することにより、結果的にヘッドセ
ット１０とＷＷＷサーバＢとのワイヤレス接続を実現し
ている。
【００３９】前記（３）の機能を実現するために、前記
ビデオカメラ１４で入力された実写映像と、前記コンピ
ュータ本体Ａで提供されるＣＧ（コンピュータグラフィ
ックス）による模範映像とを画像処理部３８で合成し、
その合成画像をシースルー機能を閉じた状態にした前記
液晶ゴーグル１２に提供するようにしてある。このよう
にすることにより、ＣＧ画像では背景部を完全な無地の
状態にすることが容易であることから、いわゆるクロマ
キー合成法を用いて背景部に実写映像を埋め込めむよう
にすれば、双方の品質が劣化しないようにできるため、
鮮明な模範映像を提供することができる。但し、模範映
像は不鮮明になるが、シースルー機能をそのまま使用す
ることもできる。
ビデオカメラ１４で入力された実写映像と、前記コンピ
ュータ本体Ａで提供されるＣＧ（コンピュータグラフィ
ックス）による模範映像とを画像処理部３８で合成し、
その合成画像をシースルー機能を閉じた状態にした前記
液晶ゴーグル１２に提供するようにしてある。このよう
にすることにより、ＣＧ画像では背景部を完全な無地の
状態にすることが容易であることから、いわゆるクロマ
キー合成法を用いて背景部に実写映像を埋め込めむよう
にすれば、双方の品質が劣化しないようにできるため、
鮮明な模範映像を提供することができる。但し、模範映
像は不鮮明になるが、シースルー機能をそのまま使用す
ることもできる。
【００４０】前記（４）の機能を実現するためには、例
えば利用者がビデオカメラ１４で捕らえた視線映像の中
の被写体（例えば施術者）のシルエット像から、図６に
示すような４種類のカメラワークを自動的に選択できる
ようにしてもよい。
えば利用者がビデオカメラ１４で捕らえた視線映像の中
の被写体（例えば施術者）のシルエット像から、図６に
示すような４種類のカメラワークを自動的に選択できる
ようにしてもよい。
【００４１】又、ビデオカメラ１４が利用者の視野画像
を入力し、該視野画像に基づいて前記コンピュータ本体
Ａの画像認識モジュール１０により利用者の視線を認識
し、前記液晶ゴーグル１２に提供する映像のアングルを
前記視線に近付けるように制御するようにしてもよい。
を入力し、該視野画像に基づいて前記コンピュータ本体
Ａの画像認識モジュール１０により利用者の視線を認識
し、前記液晶ゴーグル１２に提供する映像のアングルを
前記視線に近付けるように制御するようにしてもよい。
【００４２】具体的には、利用者の視野画像から被写体
の顔の向きだけ、画像処理のモーメント法で認識し、そ
の方向に最も近いアングルの映像を提供する。そのため
に、模範映像を３次元ＣＧで制作し、１つのシーンに付
き数方向のアングルでレンダリングした映像を用意する
か、数方向から撮影した実写映像を用意しておく。な
お、現状の画像処理では正確な視点を認識するのは困難
であるが、３次元ＣＧの手法の場合は、計算に時間がか
かる問題があるが、端末の処理能力が大きければ、グラ
フィックスエンジンを搭載するなどして、リアルタイム
にレンダリングする手法をとり、アングルを任意に変更
できるようにしてもよい。又、他に、この用途には移動
範囲に制約が大きいために不適当であるが、位置センサ
をゴーグルに取り付けて、視点に完全に追従させる方法
もある。
の顔の向きだけ、画像処理のモーメント法で認識し、そ
の方向に最も近いアングルの映像を提供する。そのため
に、模範映像を３次元ＣＧで制作し、１つのシーンに付
き数方向のアングルでレンダリングした映像を用意する
か、数方向から撮影した実写映像を用意しておく。な
お、現状の画像処理では正確な視点を認識するのは困難
であるが、３次元ＣＧの手法の場合は、計算に時間がか
かる問題があるが、端末の処理能力が大きければ、グラ
フィックスエンジンを搭載するなどして、リアルタイム
にレンダリングする手法をとり、アングルを任意に変更
できるようにしてもよい。又、他に、この用途には移動
範囲に制約が大きいために不適当であるが、位置センサ
をゴーグルに取り付けて、視点に完全に追従させる方法
もある。
【００４３】本実施形態では、利用者が液晶ゴーグル１
２を通して見ることのできる映像のカメラワークとして
は、ＣＧ映像の場合のみではあるが、施術者の背中に隠
れた動作を透過して見ることができるように、該施術者
をスケルトン（骸骨）表示する機能と、逆に解剖学的に
動作を見ることができるように、被施術者（患者）をス
ケルトン表示する機能もある。これについては、後に具
体例を示す。
２を通して見ることのできる映像のカメラワークとして
は、ＣＧ映像の場合のみではあるが、施術者の背中に隠
れた動作を透過して見ることができるように、該施術者
をスケルトン（骸骨）表示する機能と、逆に解剖学的に
動作を見ることができるように、被施術者（患者）をス
ケルトン表示する機能もある。これについては、後に具
体例を示す。
【００４４】同様に、ＣＧ映像の場合のみではあるが、
複数のパーツ（頭や手等）が協調して動いている場合、
選択したパーツ以外の全パーツの動作を止めて再生した
り、選択したパーツの動作を止めて再生したりできる、
単一パーツの動作表示機能もある。
複数のパーツ（頭や手等）が協調して動いている場合、
選択したパーツ以外の全パーツの動作を止めて再生した
り、選択したパーツの動作を止めて再生したりできる、
単一パーツの動作表示機能もある。
【００４５】又、液晶ゴーグル１２に提示される模範映
像を再生する際、指定領域に対する時間軸を拡大する機
能がある。
像を再生する際、指定領域に対する時間軸を拡大する機
能がある。
【００４６】動画の再生映像は、基本的に時間的に変化
する動きを、連続的な静止画で表示するようになってい
る。従って、データベースには連続的に変化する静止画
の１つ１つが、図７（Ａ）に示すようなフレーム１〜７
・・・の画像データとして保存されている。
する動きを、連続的な静止画で表示するようになってい
る。従って、データベースには連続的に変化する静止画
の１つ１つが、図７（Ａ）に示すようなフレーム１〜７
・・・の画像データとして保存されている。
【００４７】ところが、模範演技の中では１回しか出て
こないため、見落とされ易い繰り返し演技の開始又は終
了部分や、熟練者では繰り返し演技にスムーズに結合さ
れ、見落とされ易く、時には簡素化又は省略されること
がある繰り返し演技のつなぎ部分のように、図７（Ａ）
のフレームの再生速度を単に遅らせるスロー再生では対
応できない場合がある。このような映像については、例
えばフレーム２とフレーム３の間の詳細な映像を再生す
る超スローモーション再生に対応できるように、同図
（Ｂ）に示したように、これら両フレーム間を細分割し
たフレーム２．１〜２．７・・・の映像を別途用意して
ある。
こないため、見落とされ易い繰り返し演技の開始又は終
了部分や、熟練者では繰り返し演技にスムーズに結合さ
れ、見落とされ易く、時には簡素化又は省略されること
がある繰り返し演技のつなぎ部分のように、図７（Ａ）
のフレームの再生速度を単に遅らせるスロー再生では対
応できない場合がある。このような映像については、例
えばフレーム２とフレーム３の間の詳細な映像を再生す
る超スローモーション再生に対応できるように、同図
（Ｂ）に示したように、これら両フレーム間を細分割し
たフレーム２．１〜２．７・・・の映像を別途用意して
ある。
【００４８】又、本実施形態では、前記（５）の機能を
実現するために、前記マイクロフォン１８が、利用者の
音声を入力し、該音声から前記コンピュータ本体Ａの音
声認識モジュール３０により、利用者が発声した複数の
文字列を認識し、文字列と文字列との時間間隔に基づい
て、再生速度制御部３６で前記コンピュータ本体Ａの音
声合成モジュール３４や画像処理部３８から、ヘッドフ
ォン１６や液晶ゴーグル１２にそれぞれ提供する支援映
像や音声等の時系列マルチメディア情報の再生速度を制
御するようになっている。なお、ここでいう文字列に
は、「あ」、「い」、「う」等の１文字も含まれる。
実現するために、前記マイクロフォン１８が、利用者の
音声を入力し、該音声から前記コンピュータ本体Ａの音
声認識モジュール３０により、利用者が発声した複数の
文字列を認識し、文字列と文字列との時間間隔に基づい
て、再生速度制御部３６で前記コンピュータ本体Ａの音
声合成モジュール３４や画像処理部３８から、ヘッドフ
ォン１６や液晶ゴーグル１２にそれぞれ提供する支援映
像や音声等の時系列マルチメディア情報の再生速度を制
御するようになっている。なお、ここでいう文字列に
は、「あ」、「い」、「う」等の１文字も含まれる。
【００４９】即ち、動画再生のフレームレートを可変に
構成すると共に、ＢＧＭサウンドをＭＩＤＩで記述して
おく。利用者が、マイクロフォン１８を使って、例えば
「１，２，３」を「いち、にい、さん」という複数の文
字列として所定の間隔で発声すると、「１」と「３」の
発音開始時間の間隔を測定し、その間隔で、例えば動画
３０フレーム分、四部音符８個分を再生するように制御
することができるようになっている。
構成すると共に、ＢＧＭサウンドをＭＩＤＩで記述して
おく。利用者が、マイクロフォン１８を使って、例えば
「１，２，３」を「いち、にい、さん」という複数の文
字列として所定の間隔で発声すると、「１」と「３」の
発音開始時間の間隔を測定し、その間隔で、例えば動画
３０フレーム分、四部音符８個分を再生するように制御
することができるようになっている。
【００５０】この機能を概念的に示したのが図８であ
る。この図には、「１，２，３」の発声を、一番上のユ
ーザ入力パルスのパルス１〜３に置き換えて示してあ
り、パルス３のタイミングでシステム・クロックのパル
ス間隔が変化している。そして、これに同期して動画は
既製のフレームデータを上書きする間隔が制御され、Ｃ
Ｇ画像はバックグラウンドで描画したフレームをフロン
トに交替させる間隔が制御され、ＭＩＤＩは強拍音符演
奏間隔が制御されるようになっている。なお、ＭＩＤＩ
の演奏間隔制御では、パルスの振幅の揺らぎ成分で音の
強さを変調することも可能となっている。
る。この図には、「１，２，３」の発声を、一番上のユ
ーザ入力パルスのパルス１〜３に置き換えて示してあ
り、パルス３のタイミングでシステム・クロックのパル
ス間隔が変化している。そして、これに同期して動画は
既製のフレームデータを上書きする間隔が制御され、Ｃ
Ｇ画像はバックグラウンドで描画したフレームをフロン
トに交替させる間隔が制御され、ＭＩＤＩは強拍音符演
奏間隔が制御されるようになっている。なお、ＭＩＤＩ
の演奏間隔制御では、パルスの振幅の揺らぎ成分で音の
強さを変調することも可能となっている。
【００５１】又、上記再生速度制御部３６には、外部同
期信号も入力可能になっており、該速度制御部３６に利
用者もしくは利用者に対面している人物の心拍等の生体
信号を入力し、該生体信号に基づいて同様に前記時系列
マルチメディア情報の再生速度を制御することもできる
ようになっている。
期信号も入力可能になっており、該速度制御部３６に利
用者もしくは利用者に対面している人物の心拍等の生体
信号を入力し、該生体信号に基づいて同様に前記時系列
マルチメディア情報の再生速度を制御することもできる
ようになっている。
【００５２】又、前記支援システムには、図１に示した
ように、利用者が前記ゴーグルを通して見ている映像
を、他の者も見れるようにＣＲＴモニタも設置されてい
る。
ように、利用者が前記ゴーグルを通して見ている映像
を、他の者も見れるようにＣＲＴモニタも設置されてい
る。
【００５３】次に、本実施形態の救急医療支援システム
の使用方法を説明する。
の使用方法を説明する。
【００５４】近年、高齢化社会を迎え、生活習慣病（旧
成人病）の増加は最早避けることができない。この生活
習慣病の中でも、狭心症・心筋硬塞等の循環器疾患は、
発作により一刻を争う危険性を秘めている。このような
救急医療においては、病院に搬送されるまでの救命・応
急処置が非常に重要であり、周囲に医者がいない、画像
検査機器がない、治療用薬剤がないという環境の下で、
周囲にいる人々の適切な医療行為が患者の運命を決定す
ることになる。本実施形態の支援システムは、このよう
な環境下で、特に優れた効果を発揮する。
成人病）の増加は最早避けることができない。この生活
習慣病の中でも、狭心症・心筋硬塞等の循環器疾患は、
発作により一刻を争う危険性を秘めている。このような
救急医療においては、病院に搬送されるまでの救命・応
急処置が非常に重要であり、周囲に医者がいない、画像
検査機器がない、治療用薬剤がないという環境の下で、
周囲にいる人々の適切な医療行為が患者の運命を決定す
ることになる。本実施形態の支援システムは、このよう
な環境下で、特に優れた効果を発揮する。
【００５５】まず、前記図３に示したように、ユーザー
インタフェース装置であるヘッドセット１０を利用者の
頭部に取り付ける。
インタフェース装置であるヘッドセット１０を利用者の
頭部に取り付ける。
【００５６】次いで、利用者はキー入力又はマイクロフ
ォン１８を通して音声コマンドにより、コンピュータ本
体Ａに対してコード入力し、該本体ＡをＷＷＷサーバＢ
に接続させ、ファイルサーバＣより模範演技に関する映
像、音声等の情報が入力できる状態に立ち上げる。
ォン１８を通して音声コマンドにより、コンピュータ本
体Ａに対してコード入力し、該本体ＡをＷＷＷサーバＢ
に接続させ、ファイルサーバＣより模範演技に関する映
像、音声等の情報が入力できる状態に立ち上げる。
【００５７】そうすると、前記図５に示したメイン管理
プログラムにより、図９に端末制御プログラムの概要と
して示した（１）〜（１０）の各静止映像を、救急医療
支援用のモードメニューとして、液晶ゴーグル１２に順
次表示できる状態になる。
プログラムにより、図９に端末制御プログラムの概要と
して示した（１）〜（１０）の各静止映像を、救急医療
支援用のモードメニューとして、液晶ゴーグル１２に順
次表示できる状態になる。
【００５８】図１０には、便宜上ＣＲＴモニタのメニュ
ー画面を示したが、前記液晶ゴーグル１２には、この画
面のウィンドウに表示されている映像（ここでは図９に
示した（６）の映像）が表示されると共に、同画面内に
あるような指示や質問がヘッドフォン１６を通して利用
者に伝えられる。
ー画面を示したが、前記液晶ゴーグル１２には、この画
面のウィンドウに表示されている映像（ここでは図９に
示した（６）の映像）が表示されると共に、同画面内に
あるような指示や質問がヘッドフォン１６を通して利用
者に伝えられる。
【００５９】利用者は、その指示に従って動作を行うと
共に、質問に対して“はい”又は“いいえ”でマイクロ
フォン１８を通して回答することにより、図９に示した
各メニュー映像を順次更新することができる。
共に、質問に対して“はい”又は“いいえ”でマイクロ
フォン１８を通して回答することにより、図９に示した
各メニュー映像を順次更新することができる。
【００６０】ここでは、便宜上、利用者が図９のメニュ
ーの中から（９）の心臓マッサージのモードを選択した
とする。利用者は、図１０の画面に示した“映像”を指
示するコマンドをマイクロフォン１８を通して入力する
と、前記図５に示したマルチメディア表示プログラムが
起動し、前記ファイルサーバＣから必要な映像、音声情
報がローディングされ、液晶ゴーグル１２に心臓マッサ
ージの模範映像が動画として表示される。
ーの中から（９）の心臓マッサージのモードを選択した
とする。利用者は、図１０の画面に示した“映像”を指
示するコマンドをマイクロフォン１８を通して入力する
と、前記図５に示したマルチメディア表示プログラムが
起動し、前記ファイルサーバＣから必要な映像、音声情
報がローディングされ、液晶ゴーグル１２に心臓マッサ
ージの模範映像が動画として表示される。
【００６１】図１１は、この模範映像の１フレーム、そ
れも被施術者（患者）が前述したスケルトン表示された
フレームを、前記図１０の場合と同様のモニタ画面に示
したものである。実際には、この画面に文字で表示され
ているような操作メニューを、利用者が文字コードを音
声入力することにより選択して希望する状態の支援映像
を表示させ、その模範演技を見ながら心臓マッサージの
方法を修得することになる。
れも被施術者（患者）が前述したスケルトン表示された
フレームを、前記図１０の場合と同様のモニタ画面に示
したものである。実際には、この画面に文字で表示され
ているような操作メニューを、利用者が文字コードを音
声入力することにより選択して希望する状態の支援映像
を表示させ、その模範演技を見ながら心臓マッサージの
方法を修得することになる。
【００６２】因みに、操作メニューとしては、速度（Ｓ
peed）、再生、停止が音声入力により選択できると共
に、前記図６に示したカメラワークに相当する正面、上
面、側面、拡大の４つの映像を加えて、映像の開始部
を、ビデオカメラ１４のアングルや音声入力により選択
できる。
peed）、再生、停止が音声入力により選択できると共
に、前記図６に示したカメラワークに相当する正面、上
面、側面、拡大の４つの映像を加えて、映像の開始部
を、ビデオカメラ１４のアングルや音声入力により選択
できる。
【００６３】又、心臓マッサージの動画映像に対応する
連続したフレーム映像の図示は省略するが、本実施形態
の救急医療支援システムが有する他の映像表示機能につ
いて説明する。
連続したフレーム映像の図示は省略するが、本実施形態
の救急医療支援システムが有する他の映像表示機能につ
いて説明する。
【００６４】図１２は、横方向に仰向けになっている患
者に対して、その胸の上に施術者が覆い被さって心臓マ
ッサージをしている場面の１映像であるが、この映像で
は患者の胸部から上の状態が分かり難い。そこで、この
図に対応する図１３に示したように、施術者をスケルト
ンで表示できるようになっている。
者に対して、その胸の上に施術者が覆い被さって心臓マ
ッサージをしている場面の１映像であるが、この映像で
は患者の胸部から上の状態が分かり難い。そこで、この
図に対応する図１３に示したように、施術者をスケルト
ンで表示できるようになっている。
【００６５】又、図１４は、施術者が患者の胸に手を当
てている場面を正面から見た映像であるが、この映像が
施術者の手が患者の心臓に対してどのような位置関係に
なっているか不明である。そこで、図１５に示すよう
に、患者の方をスケルトン表示し、肋骨の内側にある心
臓と施術者の手の位置の関係も分かるように表示できる
ようになっている。
てている場面を正面から見た映像であるが、この映像が
施術者の手が患者の心臓に対してどのような位置関係に
なっているか不明である。そこで、図１５に示すよう
に、患者の方をスケルトン表示し、肋骨の内側にある心
臓と施術者の手の位置の関係も分かるように表示できる
ようになっている。
【００６６】このようなスケルトン表示は、例えば特に
演技上ポイントとなるような映像に対して、前記４つの
カメラワークによる動画フレームの他に、予め別途作成
してデータベース化しておくことで対応できる。
演技上ポイントとなるような映像に対して、前記４つの
カメラワークによる動画フレームの他に、予め別途作成
してデータベース化しておくことで対応できる。
【００６７】以上、詳述した如く、本実施形態の救急医
療支援システムによれば、利用者が救急医療の施術又は
その練習を行う際、両手を使わずにシステムを操作でき
る上に、演技に支障がない程度に移動することができ、
模範映像と現実像を同時に、しかも利用者の希望する方
向の映像を視聴でき、又、模範映像の速度を利用者の技
術に応じて、演技中にも変更することができる。従っ
て、家庭においても、容易に救急医療の施し方を修得す
ることができる。
療支援システムによれば、利用者が救急医療の施術又は
その練習を行う際、両手を使わずにシステムを操作でき
る上に、演技に支障がない程度に移動することができ、
模範映像と現実像を同時に、しかも利用者の希望する方
向の映像を視聴でき、又、模範映像の速度を利用者の技
術に応じて、演技中にも変更することができる。従っ
て、家庭においても、容易に救急医療の施し方を修得す
ることができる。
【００６８】以上、本発明について具体的に説明した
が、本発明は、前記実施形態に示したものに限られるも
のでなく、その要旨を逸脱しない範囲で種々変更可能で
ある。
が、本発明は、前記実施形態に示したものに限られるも
のでなく、その要旨を逸脱しない範囲で種々変更可能で
ある。
【００６９】例えば、前記実施形態では、仮想環境表示
装置が救急医療支援システムである場合を示したが、こ
れに限定されない。又、ヘッドセットの具体的な外観形
状や構成は同様に限定されない。
装置が救急医療支援システムである場合を示したが、こ
れに限定されない。又、ヘッドセットの具体的な外観形
状や構成は同様に限定されない。
【００７０】又、前記実施形態では、マルチ情報のサー
バとしてＷＷＷサーバを利用する場合を示したが、他の
ネットワークを利用してもよく、又、ネットワークを使
わずにデータベースと直接交信できるようにしてもよ
い。
バとしてＷＷＷサーバを利用する場合を示したが、他の
ネットワークを利用してもよく、又、ネットワークを使
わずにデータベースと直接交信できるようにしてもよ
い。
【００７１】又、コンピュータ本体（端末）が据え置き
型である場合を示したが、コンピュータの小型化が進ん
でいることから、コンピュータ本体そのものを身に付
け、該本体とデータサーバの間をワイアレスで接続する
ようにしてもよい。
型である場合を示したが、コンピュータの小型化が進ん
でいることから、コンピュータ本体そのものを身に付
け、該本体とデータサーバの間をワイアレスで接続する
ようにしてもよい。
【００７２】
【発明の効果】以上説明したとおり、本発明によれば、
実践の場で演技や作業等を続けながら、映像や音声によ
りその支援を受けることができる環境を提供することが
できる。
実践の場で演技や作業等を続けながら、映像や音声によ
りその支援を受けることができる環境を提供することが
できる。
【００７３】又、本発明によれば、指導者がいない実践
の場において、度忘れした事項や参照したい文献等が出
てきた場合に、作業を中断することなく、文献の検索や
参照もできるようになり、インターネット環境で運用さ
れていれば、一人の指導者では対応できないような難し
い局面に対しても、解決策が得られる可能性を提供する
こともできる。
の場において、度忘れした事項や参照したい文献等が出
てきた場合に、作業を中断することなく、文献の検索や
参照もできるようになり、インターネット環境で運用さ
れていれば、一人の指導者では対応できないような難し
い局面に対しても、解決策が得られる可能性を提供する
こともできる。
【００７４】又、薄暗くて狭い作業現場で、多くの図面
を参照する必要がある場合、従来は設計事務所の担当者
と無線連絡を取りながら作業を進めざるを得なかった
が、本発明によれば、現場で仮想的に図面を見ながら作
業ができるため、効率良く作業を進めることができる。
を参照する必要がある場合、従来は設計事務所の担当者
と無線連絡を取りながら作業を進めざるを得なかった
が、本発明によれば、現場で仮想的に図面を見ながら作
業ができるため、効率良く作業を進めることができる。
【図１】本発明に係る一実施形態の救急医療支援システ
ムの概略構成を示すブロック図
ムの概略構成を示すブロック図
【図２】上記救急医療支援システムの具体的構成を概念
的に示すブロック図
的に示すブロック図
【図３】上記救急医療支援システムを構成するヘッドセ
ットを、装着状態と共に示す正面図
ットを、装着状態と共に示す正面図
【図４】上記ヘッドセットを上から見た平面図
【図５】音声によるＷＷＷコンテンツの切り換え方法を
概念的に示すブロック図
概念的に示すブロック図
【図６】再生映像のカメラワークの種類を示す説明図
【図７】標準と時間軸を拡大した再生映像シーケンスの
関係を示す説明図
関係を示す説明図
【図８】データ再生速度制御を説明するための説明図
【図９】救急医療支援の制御プログラムの概要を示す説
明図
明図
【図１０】仮想映像に対応するモニタ画面を示す説明図
【図１１】他の仮想映像に対応するモニタ画面を示す説
明図
明図
【図１２】模範映像の１場面を示す説明図
【図１３】図１２のスケルトン表示の例を示す説明図
【図１４】模範映像の他の１場面を示す説明図
【図１５】図１４のスケルトン表示の例を示す説明図
Ａ…コンピュータ本体 Ｂ…ＷＷＷサーバ Ｃ…ファイルサーバ １０…ヘッドセット １２…液晶ゴーグル １４…小型ビデオカメラ １６…ヘッドフォン １８…マイクロフォン ２０…ペンライト ２２…受信器 ２４…送信器 ３０…音声認識モジュール ３２…ステータス制御部 ３４…音声合成モジュール ３６…再生速度制御部 ３８…画像処理部 ４０…画像認識モジュール
フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ１０Ｌ 3/00 ５５１ Ｇ０６Ｆ 15/62 ３５０Ｋ
Claims (11)
- 【請求項１】マルチメディア情報を画像認識手段及び音
声認識手段により提示制御可能となるように構成した情
報提示装置と、前記装置に対するハンズフリーによる遠
隔対話操作、及び前記装置により提供される情報に対す
るシースルー視聴を可能にした、少なくとも映像入力手
段、映像出力手段、音声入力手段、音声出力手段を有す
るユーザインタフェース装置とを備えていることを特徴
とする仮想環境提示装置。 - 【請求項２】請求項１において、 前記映像入力手段は利用者の視野画像を入力し、該視野
画像に基づいて前記情報提示装置の画像認識手段により
利用者の視線を認識し、前記映像出力手段に提供する映
像のアングルを前記視線に近付けるように制御すること
を特徴とする仮想環境提示装置。 - 【請求項３】請求項１において、 前記映像入力手段で入力された映像と、前記情報提示装
置で提供される映像とを合成し、その合成画像を前記映
像出力手段に提供するようにしたことを特徴とする仮想
環境提示装置。 - 【請求項４】請求項１において、 前記音声入力手段は利用者の音声を入力し、該音声から
前記情報提示装置の音声認識手段により利用者が発声し
た文字列を認識し、該文字列に基づいて前記情報提示装
置で提供するマルチメディア情報のコンテンツを切り替
えるようにしたことを特徴とする仮想環境提示装置。 - 【請求項５】請求項１において、 前記音声入力手段は利用者の音声を入力し、該音声から
前記情報提示装置の音声認識手段により利用者が発声し
た複数の文字列を認識し、文字列と文字列との時間間隔
に基づいて、前記情報提示装置で提供する時系列マルチ
メディア情報の再生速度を制御するようにしたことを特
徴とする仮想環境提示装置。 - 【請求項６】請求項１において、 利用者もしくは利用者に対面している人物の生体信号を
入力し、該生体信号に基づいて前記情報提示装置で提供
する時系列マルチメディア情報の再生速度を制御するよ
うにしたことを特徴とする仮想環境提示装置。 - 【請求項７】請求項１において、 前記映像入力手段、映像出力手段、音声入力手段及び音
声出力手段を有するユーザインタフェース装置が、利用
者の頭部に取付け可能なヘッドセットで構成されている
ことを特徴とする仮想環境提示装置。 - 【請求項８】請求項７において、 前記ヘッドセットが、映像送信手段、映像受信手段、音
声送信手段及び音声受信手段を介して、前記情報提示装
置と無線で情報伝送が可能になっていることを特徴とす
る仮想環境提示装置。 - 【請求項９】請求項７において、 前記情報提示装置が、マルチメディア情報を提供するデ
ータサーバに接続されていることを特徴とする仮想環境
提示装置。 - 【請求項１０】請求項９において、 前記ヘッドセットが、利用者の身体に取り付けられた前
記情報提示装置にワイヤ接続され、前記情報提示装置が
前記データサーバに無線接続されていることを特徴とす
る仮想環境提示装置。 - 【請求項１１】請求項９において、 前記情報提示装置及び前記データサーバが、それぞれイ
ンターネットに接続されたＷＷＷクライアント及びＷＷ
Ｗサーバであることを特徴とする仮想環境提示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4553798A JP3829005B2 (ja) | 1998-02-26 | 1998-02-26 | 仮想環境提示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4553798A JP3829005B2 (ja) | 1998-02-26 | 1998-02-26 | 仮想環境提示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11249772A true JPH11249772A (ja) | 1999-09-17 |
| JP3829005B2 JP3829005B2 (ja) | 2006-10-04 |
Family
ID=12722139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4553798A Expired - Fee Related JP3829005B2 (ja) | 1998-02-26 | 1998-02-26 | 仮想環境提示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3829005B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002054309A1 (en) * | 2000-12-28 | 2002-07-11 | Atsushi Takahashi | Remote internet technical guidance/education distribution system using practitioner's vision, and guidance system using communication network |
| JP2005237017A (ja) * | 2005-03-07 | 2005-09-02 | Toshiba Corp | コミュニケーション記録システム |
| US7062297B2 (en) | 2000-07-21 | 2006-06-13 | Telefonaktiebolaget L M Ericsson (Publ) | Method and system for accessing a network using voice recognition |
| US7418281B2 (en) | 2005-09-13 | 2008-08-26 | International Business Machines Corporation | Centralized voice recognition unit for wireless control of personal mobile electronic devices |
| JP2018163662A (ja) * | 2018-04-16 | 2018-10-18 | 株式会社東芝 | 電子機器、支援システムおよび支援方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6250850B2 (ja) * | 1983-02-21 | 1987-10-27 | Nippon Electric Co | |
| JPH021897A (ja) * | 1988-06-13 | 1990-01-08 | Hitachi Ltd | 三次元映像表示装置、コピユータグラフイツクスシステム及びオーデイオビジユアルシステム |
| JPH03176718A (ja) * | 1989-11-24 | 1991-07-31 | Crowe Hansen Per | 光学的ポインティング装置 |
| JPH06176131A (ja) * | 1992-12-03 | 1994-06-24 | Namco Ltd | 画像合成装置及びこれを用いた仮想体験装置 |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| JPH08167047A (ja) * | 1994-12-13 | 1996-06-25 | Toshiba Corp | ３次元画像表示装置 |
| JPH08336128A (ja) * | 1995-04-05 | 1996-12-17 | Matsushita Electric Ind Co Ltd | 映像視聴装置 |
| JPH0924160A (ja) * | 1996-07-11 | 1997-01-28 | Sega Enterp Ltd | 電子遊戯機器 |
| JPH09200803A (ja) * | 1996-01-23 | 1997-07-31 | Canon Inc | 画像処理装置及び画像処理方法 |
| JPH09211375A (ja) * | 1996-01-31 | 1997-08-15 | Nikon Corp | ヘッドマウントディスプレイ装置 |
| JPH09218770A (ja) * | 1996-02-14 | 1997-08-19 | Toshiba Corp | 対話処理装置および対話処理方法 |
| JPH1027264A (ja) * | 1996-07-09 | 1998-01-27 | Canon Inc | 画像処理装置及び画像処理方法 |
-
1998
- 1998-02-26 JP JP4553798A patent/JP3829005B2/ja not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6250850B2 (ja) * | 1983-02-21 | 1987-10-27 | Nippon Electric Co | |
| JPH021897A (ja) * | 1988-06-13 | 1990-01-08 | Hitachi Ltd | 三次元映像表示装置、コピユータグラフイツクスシステム及びオーデイオビジユアルシステム |
| JPH03176718A (ja) * | 1989-11-24 | 1991-07-31 | Crowe Hansen Per | 光学的ポインティング装置 |
| JPH06176131A (ja) * | 1992-12-03 | 1994-06-24 | Namco Ltd | 画像合成装置及びこれを用いた仮想体験装置 |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| JPH08167047A (ja) * | 1994-12-13 | 1996-06-25 | Toshiba Corp | ３次元画像表示装置 |
| JPH08336128A (ja) * | 1995-04-05 | 1996-12-17 | Matsushita Electric Ind Co Ltd | 映像視聴装置 |
| JPH09200803A (ja) * | 1996-01-23 | 1997-07-31 | Canon Inc | 画像処理装置及び画像処理方法 |
| JPH09211375A (ja) * | 1996-01-31 | 1997-08-15 | Nikon Corp | ヘッドマウントディスプレイ装置 |
| JPH09218770A (ja) * | 1996-02-14 | 1997-08-19 | Toshiba Corp | 対話処理装置および対話処理方法 |
| JPH1027264A (ja) * | 1996-07-09 | 1998-01-27 | Canon Inc | 画像処理装置及び画像処理方法 |
| JPH0924160A (ja) * | 1996-07-11 | 1997-01-28 | Sega Enterp Ltd | 電子遊戯機器 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7062297B2 (en) | 2000-07-21 | 2006-06-13 | Telefonaktiebolaget L M Ericsson (Publ) | Method and system for accessing a network using voice recognition |
| WO2002054309A1 (en) * | 2000-12-28 | 2002-07-11 | Atsushi Takahashi | Remote internet technical guidance/education distribution system using practitioner's vision, and guidance system using communication network |
| JP2002207832A (ja) * | 2000-12-28 | 2002-07-26 | Atsushi Takahashi | インターネット技術指導教育配信システム、及び通信網を利用した指導システム |
| CN100432982C (zh) * | 2000-12-28 | 2008-11-12 | 高桥淳 | 利用操作者视觉的远程因特网技术指导教育传输系统 |
| JP2005237017A (ja) * | 2005-03-07 | 2005-09-02 | Toshiba Corp | コミュニケーション記録システム |
| US7418281B2 (en) | 2005-09-13 | 2008-08-26 | International Business Machines Corporation | Centralized voice recognition unit for wireless control of personal mobile electronic devices |
| JP2018163662A (ja) * | 2018-04-16 | 2018-10-18 | 株式会社東芝 | 電子機器、支援システムおよび支援方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3829005B2 (ja) | 2006-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190240842A1 (en) | Robot assisted interaction system and method thereof | |
| JP4439740B2 (ja) | 音声変換装置及び方法 | |
| US7780450B2 (en) | Video instructional system and method for teaching motor skills | |
| US6881067B2 (en) | Video instructional system and method for teaching motor skills | |
| WO2020179128A1 (ja) | 学習支援システム、学習支援装置及びプログラム | |
| US20050255434A1 (en) | Interactive virtual characters for training including medical diagnosis training | |
| JPWO2017130486A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP3670180B2 (ja) | 補聴器 | |
| JPWO2000049834A1 (ja) | 音声変換装置及び方法 | |
| JP7066115B2 (ja) | パブリックスピーキング支援装置、及びプログラム | |
| CN110176284A (zh) | 一种基于虚拟现实的言语失用症康复训练方法 | |
| US12101576B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2022182673A (ja) | 学習システム及び学習方法 | |
| JP2011152333A (ja) | 身体技能習得支援装置および身体技能習得支援方法 | |
| WO2022091832A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、および情報処理端末 | |
| CN113694343A (zh) | 一种基于vr技术的沉浸式抗压力心理训练系统及方法 | |
| JP2021107873A (ja) | 音声特性変更システムおよび音声特性変更方法 | |
| CN109119057A (zh) | 音乐创作方法、装置及存储介质和穿戴式设备 | |
| WO2018135057A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP3829005B2 (ja) | 仮想環境提示装置 | |
| JP6150935B1 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
| CN106618610B (zh) | 一种面向害羞儿童社会技能训练的头戴终端系统 | |
| CN215875885U (zh) | 一种基于vr技术的沉浸式抗压力心理训练系统 | |
| JPWO2018198447A1 (ja) | 情報処理装置および情報処理方法 | |
| Macele et al. | Playing with the Eyes. A Media History of Eye Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050516 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060404 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060605 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060710 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |