WO2005016137A1

WO2005016137A1 - 画像表示システム、画像表示装置、画像表示方法

Info

Publication number: WO2005016137A1
Application number: PCT/JP2004/011707
Authority: WO
Inventors: Yasushi Miyajima; Yoichiro Sako; Toshiro Terauchi; Makoto Inoue; Katsuya Shirai; Motoyuki Takai; Kenichi Makino; Akiko Inoue; Masamichi Asukai
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-08-19
Filing date: 2004-08-13
Publication date: 2005-02-24
Anticipated expiration: 2006-02-19
Also published as: JP3931889B2; EP2298157B1; EP1656880A1; JP2005095570A; EP1656880A4; EP2298157A1; KR101072561B1; EP2298156A1; KR20060058105A; SG142298A1; HK1095506A1; US7731656B2; AU2004264761A1; US20060217598A1

Description

明細書

画像表示システム、画像表示装置、画像表示方法

技術分野

[0001] 本発明は、被測定者の状態を視認可能な形態で表示装置にて表示する画像表示システム及び画像表示方法、並びに離れた場所にある被測定者の生体情報を視認可能な形態で表示する画像表示装置に関する。

本出願は、日本国にぉレ、て 2003年 8月 19日に出願された日本特許出願番号 200 3— 295482及び 2004年 4月 30日に出願された日本特許出願番号 2004— 136918 を基礎として優先権を主張するものであり、これらの出願は参照することにより、本出願に援用される。

背景技術

[0002] 人間は、一般的に、緊張したときに心拍数が上昇し、落ち着いたときに心拍数が安定する。心拍数は、心臓の収縮リズムであり、人間の状態を示すパラメータである。人間の状態を示すデータには、心拍数の他にも呼吸や脳波など複数存在する。これらのデータは、生体データと称され、人間の状態を定量的に示すパラメータとして医療やサービスの分野で活用されている。また、環境情報は、気温の変化や風の強さなど、人間を取り巻く周囲の環境を定量的に示したものである。環境情報は、生体情報と同様に人間の置かれている状態を知るために情報として活用されている。

従来、生体情報と環境情報を活用した装置の例として、特開 2002— 282227号公報に開示されるような、浴槽に入った被測定者の心電図を計測し、この心電図の計測結果に応じて画像を生成するという装置がある。この装置では、生体情報として心電図を計測し、環境情報として浴槽の温度を計測している。そして、計測動作に伴つて変化する画像を生体情報の被測定者に対して提示し、被測定者がこの画像を楽しんでレ、る間に心電図を測定する。

上記文献に開示される装置は、心電図を正確に測定させるためのものであり、測定する生体情報の種類及び使用目的が限定されている。また、この装置は、被測定者が自分の心電図を確認するためのものであるため、被測定者以外の人間に被測定者の状態を通知するものではない。

上述したように、生体情報や環境情報は、ユーザの感情や体調、周囲の環境などを示す指標である。生体情報や環境情報を活用すると、被測定者以外の人間に被測定者の状態を通知することができる。しかしながら、生体情報は、数値情報であるため、その数値の意味を理解するための経験と時間が必要になる。また、生々しい情報を観測されることは、見られる側にとっても苦痛である。また、被測定者の体の一部や部屋の一角にビデオカメラを設置し、被測定者の画像を撮影する方法もある。この方法を用いると被測定者の状態が一目でわカ^)が、被測定者のプライバシーを侵害してしまう。

発明の開示

発明が解決しょうとする課題

本発明の目的は、上述したような従来の技術が有する問題点を解消することができる新規な被測定者の状態を視認可能な形態で表示装置にて表示する画像表示システム及び画像表示方法、並びに離れた場所にある被測定者の生体情報を視認可能な形態で表示する画像表示装置を提供することにある。

本発明の他の目的は、人間の状態や環境状態を漠然と表出する画像表示装置、画像表示システム及び画像表示方法を提供することにある。

本発明に係る画像表示システムは、生体情報測定装置と画像表示装置とを異なる 2地点に配置し、生体情報測定装置はネットワークを介して測定した生体情報を画像表示装置に送信する。画像表示装置は、生体情報を基に被測定者の状態を表出する画像を生成して表示する。

本発明に係る画像表示装置は、生体情報測定装置が送信した生体情報を受信し、この生体情報を基に被測定者の状態を表出する画像を生成して表示する。

本発明に係る画像表示方法は、被測定者の生体情報を遠隔に送信し、この生体情報を基に被測定者の状態を表出する画像を生成する。

本発明によれば、被測定者の生体情報や環境情報に基づく画像を生成し、被測定者の状態を被測定者とは異なる地点に存在する画像表示装置に表示できる。本発明で生成される画像は、遠隔地の被測定者の状態を実画像ではなぐ生体情報や環境情報を基に生成された画像画像であるため、精密な医用用途とは異なり、被測定者の状態を漠然と表現することができるだけでなく、生成された画像を楽しむことが出来エンタテインメント性が向上する。

本発明によれば、被測定者の状態を被測定者とは異なる地点で表示することができ、遠隔地から被測定者の状態をさりげなく把握することができる。画像表示装置は、被測定者の漠然とした状態を表しているため、被測定者のプライバシーを侵害することはない。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下において図面を参照して説明される実施の形態の説明から一層明らかにされるであろう。図面の簡単な説明

[図 1]図 1は、本発明に係る画像表示システムのシステム構成を示す図である。

[図 2]図は、本発明に係る画像表示システムを構成する携帯端末を示すブロック図である。

[図 3]図 3は、本発明に係る画像表示システムを構成する画像表示装置を示すブロック図である。

[図 4]図 4は、同一の生体情報及び環境情報から異なる画像を生成する過程を示す図である。

[図 5]図 5は、本発明に係る画像表示システムの他の例のシステム構成を示す図である。

[図 6]図 6は、位置関係を画像に反映させた例を模式的に示す図である。

[図 7]図 7は、データの同期関係を画像に反映させた例を模式的に示した図である。

[図 8]図 8は、被測定者の感情の関係を画像に反映させた例を模式的に示した図である。

[図 9]図 9は、多重化データの構成を示す図である。

[図 10]図 10は、刺激提示デバイスの取付位置を示す図である。

[図 11]図 11は、視聴者がタツチパネルに触れる様子を示す図である。

[図 12]図 12は、対応表の一例を示す図である。

[図 13]図 13は、視聴者が画面に触れてからエリアを特定するまでの過程を模式的に示す図である。

[図 14]図 14は、画像表示装置から刺激提示デバイスへの触覚の提示を模式的に示す図である。

[図 15]図 15は、本発明に係る画像表示システムのさらに他の例のシステム構成を示す図である。

[図 16]図 16は、本発明に係る画像表示システムのさらに他の例のシステム構成を示す図である。

発明を実施するための最良の形態

本発明に係る画像表示システムは、生体情報測定装置を備える。生体情報測定装置は、人物（以下、被測定者という。）の生体情報及び被測定者の周囲の環境情報を測定し、測定した生体情報及び環境情報を遠隔地に存在する画像表示装置に出力する。画像表示装置は、画像表示装置が生体情報及び環境情報を基に被測定者の状態を表出する画像を生成して表示する。画像表示システムでは、ネットワークを介して生体情報を伝送することにより、遠隔地に存在する人間の状態を伝達することができる。

以下、本発明に係る画像表示システムを図面を参照して具体的に説明する。本発明に係る画像表示システム 1は、図 1に示すように、ネットワーク接続可能であって生体情報の測定機能を備えた電子機器 10と、この電子機器 10にて測定された被測定者の生体情報を受信して表示する画像表示装置 20とを備える。電子機器 10と画像表示装置 20は、互いにネットワーク 100を介して接続されている。ここで、ネットワーク 100としては、いわゆるインターネットが用いられる。電子機器 10として、携帯型電話機、携帯型個人情報端末 (Personal Digital Assistant)等、常時携帯して持ち歩くような機器であることが好ましい。この機器には、この機器の使用者の生体情報を効率的に取得できる位置に生体センサが設けられている。

以下、電子機器として携帯型電話機 10を用いた例を挙げて説明する。

なお、生体センサには、携帯型電話機 10に内蔵されたものと、携帯型電話機 10から分離したものがある。携帯型電話機 10と分離した生体センサには、イスやベッド、他の電子機器等と人体の接触部分に設けられる機器接触型センサ l la、人体各部に直接装着して生体データが検出できるようになった人体接触型センサ 1 lb等が挙げられる。ここでは、被測定者を撮像するビデオカメラ l lc、被測定者の音声を収集するマイクロフォンも生体センサに含む。

図 2に示す携帯端末 10は、生体情報を測定する生体センサ 11と、環境情報を測定する環境情報センサ 12と、プログラムや設定情報などを記録する ROM (Read Only Memory) 13と、一時記憶領域としての RAM (Random Access Memory) 14と、 ROM13に記述されたプログラムに従った演算及び携帯端末 10全体の制御を行う C PU (Central Processing Unit) 15と、インターネットプロトコルに従いデータ通信を行う通信インタフェース 16と、外部の生体センサ 11から生体情報を受信する生体情報受信部 17を備え、これらの各ブロックはバス 18を介して接続されてレ、る。

生体センサ 11は、生体情報を測定する。生体情報は、血圧、脈拍、脳波など人体を構成する器官の動きを定量的に示した情報である。生体センサ 11は、携帯端末 1 0の表面や携帯端末 10内部に設けられる。例えば、携帯端末 10の把持部分には、体温計、脈拍計、発汗計などが設けられる。携帯端末 10の内部には、加速度計、振動計などが設けられる。また、携帯端末 10のマイクロフォン部分には、呼吸計が設けられる。

また、生体センサ 11は、ユーザの体の一部、家具、部屋の一部など携帯端末 10と異なる位置にも設けられている。様々な位置に生体センサを取り付けることにより、さらに多様な生体情報を測定することができる。

ユーザの体の一部に取り付ける生体センサ l ibには、血流計、脳波計、眼球運動センサ、心電計、振動ジャイロ、加速度センサ、皮膚温度センサ、体動加速度センサ、皮膚導電率センサ、脈拍計、血圧計、呼吸センサ、瞳孔径センサ、傾斜センサ、血中酸素飽和度センサなどがある。血流計は、人体に赤外線を放射し、その赤外光の反射により脳内血流量や血中酸素の濃度を測定する。脳波計は、脳内を流れる電流を基にひ波や β波などの脳波を測定する。眼球運動センサは、頭部に取り付けられ頭部電圧を基に眼球の振動周波数成分を測定する。心電計は、心筋が発信する電流を基に心拍数を計測する。振動ジャイロは、角速度を基に胸部運動や呼吸数を測定する。皮膚温度センサは、体温を計測する。皮膚導電率センサは、皮膚電気抵抗を基に発汗量を測定する。呼吸センサは、ユーザの腹胸部に卷きつけてその呼吸に応じた圧力変動を検出する。傾斜センサは、体の各部の傾きを基に体位を測定するまた、家具や床面に設ける生体センサ 11aには、サーモグラフィ、体動計、呼吸計、脈拍計などがある。ソファやベッドなどに設置する生体センサ 11は、ソファやベッドの弾性体を介して伝達される人体による圧力変化のパターンを基に脈拍、呼吸、体動を抽出する。サーモグラフィは、赤外線センサにより人体の温度分布を測定する。被測定者の映像や音声を収集する生体センサ 11cには、ビデオカメラやマイクロフォンがある。ビデオカメラが撮像した画像力人間の動作、表情の変化、眼球の動きを測定すること力 Sできる。マイクロフォンは、人間の声を収集する。これらの生体センサ 11 は、赤外線若しくは無線を介して測定した生体情報を携帯端末 10に送信する。環境情報センサ 12は、測定者の周囲の環境情報を測定するセンサである。環境情報センサ 12には、明度計、ガスセンサ、温度計、気圧計、高度計、 GPS (Global Positioning System)などがある。明度計は被測定者の周囲の明るさを測定し、ガスセンサは匂いを測定する。 GPSは、衛星からの電波を基に被測定者が存在する位置の緯度経度を測定する。携帯端末 10は、ネットワーク 100を介して環境情報を取得することもできる。ネットワーク 100を介して取得する環境情報には、天気、月齢、積雪量、降雨量、大気汚染度、風速などがある。

通信インタフェース 16は、生体センサ 11が測定した生体情報と、環境情報センサ 1 2が測定した環境情報とを画像表示装置 20に送信する。通信インタフェース 16の送信処理は、 CPU15が制御している。 CPU15は、生体情報と環境情報を送信するプログラムをバックグラウンドで実行し、タイマの値をトリガとして、通信インタフェース 16 に指示信号を出力する。

画像表示装置 20は、携帯端末 10から受信した生体情報と環境情報とを基に被測定者の状態を表出する画像を生成する。画像表示装置 20は、テレビや携帯電話、パーソナルコンピュータなど表示画面と情報処理部を備えた装置でもよいし、専用の装置でもよい。

図 3は画像表示装置 20の内部構成を示す。画像表示装置 20は、ユーザのキー入力を受け付ける入力部 21、音声を出力する音声出力部 22、画像を表示する表示部 23、プログラムや設定情報を記録する ROM24、 CPU29の作業領域としての RAM 25、記録媒体に記録された情報を読み出すデバイスドライバ 26、所定の通信プロトコルに従いデータ通信を行う通信インタフェース 27と、画像を記憶する画像記憶部 2 8とを備え、これらの各ブロックはバス 200を介して接続されている。

CPU29は、生体情報を基に被測定者の大ま力^感情や動作を推測し、被測定者の状態を表出する画像を生成する。生成した画像は、被測定者の状態を抽象化及び象徴化したものである。すなわち、画像表示装置 20が生成する画像は、被測定者の大まかな感情や動作を表現するが、リアルな描写はしない。この発明では、被測定者の漠然とした画像を生成し、何気なく表示することを特徴とする。

画像生成方法の一例を説明する。ここでは、被測定者を魚で表現する。画像記憶部 28には、生体情報と環境情報とから画像を生成するプログラムと、被測定者の状態を表現する魚の画像が複数格納されている。魚の画像は、例えば、魚がエサをとつている画像、魚が勢いよく泳いでいる画像、睡眠中の魚の画像などがある。また、画像記憶部 28には、背景画像が複数格納されている。背景画像には、清んだ水、濁つた水、流れの激しい水、夜の水中などがある。

CPU29は、生体情報や環境情報力も被測定者の状態を推測し、この状態を表現する魚の画像を選択する。状態の推測方法を説明する。被測定者の状態には、喜怒哀楽などの感情、快不快のような感覚、食事、移動、睡眠などの動作がある。

感情、感覚、動作の推測方法には、様々な方法がある。例えば、皮膚抵抗を基に驚き、恐怖、不安という感情を推測することができる。また、心拍数と体温が上昇し、心電図周波数が上昇したとき、喜びという感情を推測することができる。さらに、精神的、心理的に安定な状態にある場合は、抹消血管が拡張し、動脈血が流入するため、心拍数や脈拍はゆっくりとした変化を示し、体温は上昇傾向にある。また、精神的、心理的に高い緊張状態にある場合は、抹消血管が収縮し、動脈血流が減るため、心拍ゃ脈拍は速まり、体温は下降傾向にある。さらに、人は緊張すると手に汗をかき皮膚電気反射の値、心拍数、呼吸サイクルふり幅などに差ができるとこが知られている。不快な状況では、指先と掌にあるいは、鼻の頭と額の温度差が大きくなることが報告されている。脳波から喜怒哀楽を推定する方法も既に発表されている。これらの生理指標とともに表情による筋電の変化や画像による表情認識、加速度センサ、傾斜センサによる姿勢認識、音声認識などを複合的に用いることによって怒りや悲しみなどの感情を評価することができる。

以上、感情、感覚、動作の推測方法の一例を説明したが、推測の精度をより高めるためには、複数のセンサを使用し、複数の生体情報からこれらの推測を行うことがより望ましいことはもちろんである。

次いで、動作の推測について説明する。人間の動作は、例えば、ビデオカメラが撮像した画像を基に推測することができる。ビデオカメラは、被測定者の頭部や部屋の一角に設けられる。 CPU15は、ビデオカメラが撮像した画像を基に被測定者の周囲に存在する物体や被測定者の動作を推測することができる。また、被測定者の動作は、被測定者の位置からも推定することができる。例えば、会社にいるときは仕事をし、病院にいるときは不調であり、ジムにいるときは運動し、レストランにいるときは食事をしている可能性が高い。被測定者の位置情報のみでは、動作を特定することが難しいので、 CPU15は、被測定者の生体情報や環境情報と複合した情報を用いて被測定者の動作を推測する。例えば、体温の高い被測定者が病院にいる場合、被測定者が病気であると推測し、ジムにいる被測定者の体温が徐々に上昇すると被測定者が運動中であると推測する。さらに、被測定者の周囲の音声から被測定者の動作を推測することができる。この場合、収集した音の音質や音程などから周囲に何が存在するかを推測したり、人間の声をテキストマイニングして被測定者の動作を推測すること力 Sできる。

以上説明したように、 CPU29は、被測定者の感情、感覚、動作を推測する。そして、 CPU29は、被測定者の状態に応じた画像を生成する。画像の生成方法には、被測定者の状態と画像とを関連付けるテーブルを ROM24に格納し、このテーブルに従い画像記憶部 28に格納された画像を選択する方法や感情、感覚、動作などの状態の入力に対し画像を出力するオブジェクトを生成する方法等がある。何れの方法であっても生成された画像は、被測定者の状態を想起させるものとする。例えば、被測定者がレストランで食事をしているときには、魚がエサをとっている画像を生成し、気分のすぐれないときには濁った水の背景画像と水中深く沈んだ魚の画像を生成する。また、被測定者が活発で元気がよいときには、清んだ水の背景画像と勢いよく泳いでいる魚の画像を生成する。また、晴れた日には、明るい水中の背景画像を生成し、気温の高い日には少しのぼせた魚の画像を生成する。

CPU29は、魚の動き、水の動き、水中の泡の数や大きさ、水の濁り具合などの細かい動きを制御する。この動きの制御には、生体情報や環境情報に無相関な要素が入っていてもよい。また、 CPU29は、生体情報や環境情報に関係なぐ画像を自動的に生成することもある。画像の自動生成は、被測定者が生体情報の測定を拒否しているときや生体情報が測定できないときや伝送路の不具合により生体情報及び環境情報が受信できないときに実行される。

CPU29は、画像を表示部 23に表示させる。表示部 23には、被測定者の状態を表出する画像が表示されるが、これは、リアルな画像ではなぐ被測定者の状態を曖昧に表現した画像である。この画像は、抽象的であるため、常時表示していても被測定者のプライバシーに深く立ち入ることはなく長時間観測しても苦にならない。この画像で生物や風景などで表現すると、写真立てや絵画のようにリビングの壁や家具の上に設置することができる。また、携帯端末 10に画像を表示させると、被測定者の状態を常に観察することができる。

表示部 23に表示される画像は、魚に限定されず、犬や猫などの他の生物、コンビユータグラフィックスなどでもよぐ同時に音声出力部 22によりサンプリングされた音声、合成された音声などを出力するようにしてもよい。表示画像は、選択することができる。画像記憶部 28には、様々な画像や音声が格納されている。画像表示装置 20は、表示画像をユーザの選択に応じて、表示内容を変化させることができる。図 4では、魚を表示した画面 23aと猫を表示した画面 23bの例を示してレ、る。これらの画像は、表示内容が異なるが、同一の生体情報及び環境情報を基に生成される。表示画像は、写真のようにリアルな画像であってもよいし、アニメのようにデフォルメしたものでもよレ、。何れにしても、被測定者の状態を想起しやすい画像であればよい。

表示画像は、予め画像記憶部 28に記録していてもよいし、ネットワーク 100や記録媒体を介して外部から取得してもよい。画像記憶部 28に格納されていない表示画像を外部から取得するようにすると、表示できる画像のバリエーションが多様化し、画像を販売するビジネスを展開することができる。

このように、画像表示システム 1では、被測定者の状態を遠隔地に存在するユーザに通知する。被測定者の状態を示す画像は、漠然とした画像であり、見る側にも見られる側にも不快感を与えず被測定者の大まかな変化を通知することができる。この画像表示システム 1は、遠隔地に住む老人や遠くに出かけた子供の看視に役立てることができる。また、この画像表示システム 1では、人間の状態の変化を実画像ではなレ、イメージで表現することができる。

この画像表示システムは、被測定者の状況を画像で表現し遠隔地にレ、るユーザに通知するものであるが、この画像は観賞用の画像になりエンタテインメント的に活用することちでさる。

次に、多数の被測定者の画像を 1つの画像表示装置 20に表示させる例を説明する。この例では、図 5に示すように、複数の携帯端末 10からサーバ 30に対して被測定者の生体情報及び環境情報を集積される。サーバ 30は、携帯端末 10から伝送された生体情報及び環境情報を多重化して画像表示装置 20に転送する。なお、 1つの画像表示装置 20に被測定者の情報を集積する場合、サーバ 30は、不要である。画像表示装置 20は、被測定者の関係を画像に反映させる。被測定者の関係には、位置関係、データの同期関係、被測定者の環境の関係、被測定者の感情の関係などがある。位置情報は GPSが測定する。図 6は、左側に被測定者同士の地図上の位置関係を描画し、右側に位置関係を反映した画像を描画している。画像表示装置 20には、所定のルールに従い位置関係を画像の変化に反映する。このルールは、プログラムという形で画像表示装置 20の ROM24や RAM25に格納されている。 CP U29は、プログラムを読み込んで画像を変化させる。このプログラムでは、被測定者をあるオブジェクト、例えば、ここでは、クラゲとを対応付ける。そして、近い位置に存在する被測定者のオブジェクトを近づけて表示させる。また、このプログラムでは、被測定者と画像表示装置 20との距離からオブジェクトのサイズを決定する。このプログラムでは、画像表示装置 20に近い位置に存在する被測定者のオブジェクトを大きぐ遠い位置に存在する被測定者のオブジェクトを小さく表示させる。図 6の例では、被測定者 A， Bに対応するクラゲが近い位置に配置され、被測定者 Cに対応するクラゲが離れた位置に配置される。また、被測定者 A, Bは画像表示装置 20に近い位置に存在するので、被測定者 A, Bに対応するクラゲを大きく表示し、被測定者 Cに対応するクラゲを小さく表示している。

画像表示装置 20は、被測定者の位置情報を簡単なルールにあてはめて被測定者同士の関係や被測定者と画像表示装置 20の関係を画像に反映させる。被測定者の自発的な移動は、独立した事象であるがルールを適用することにより関係性が生まれる。

画像表示装置 20は、データの同期関係を画像生成に反映する。ここで、参照されるデータは、呼吸、心拍、歩行リズム、動作など所定の周期で発生又は変化するデータである。画像表示装置 20は、このようなデータが偶然に同期したとき、同期したことを示す画像を生成する。図 7の左図は被測定者 D, Eの心拍数が同期していることを示し、図 7の右図は被測定者 D, Eに対応するクラゲが協調してダンスを踊っていることを示す。ここでも、心拍数を入力し、ダンスを踊る画像を生成するというルールが週用してレヽる。

環境の関係とは、環境情報の差などである。明度、温度、気圧、高度、天気などの環境情報は、環境情報センサ 12で測定することができる。画像表示装置 20は、被測定者の周囲の温度差が激しいほど表示するクラゲの行動が激しくしたり、被測定者がいる場所の天気が悪いと、うねりの大きな波の画像を表示したり、濁った水を表示したりする。

画像表示装置 20は、被測定者の生体情報や環境情報から被測定者の感情や気分を推測し、被測定者の感情の関係を画像に反映させる。感情の推測方法は、上述したとおりである。図 8は、快不快という気分を画像に反映させた摸式図である。画像表示装置 20は、被測定者の気分が快であるか不快であるかによってグノレープ分けする。快のグノレープに属する被測定者に対応するクラゲを協調して動かせたり、近づかせたりする。一方、不快のグループに属する被測定者に対応するクラゲを敵対させたり、お互いに離れさせたり、攻撃的にさせたりする。

以上のように画像表示装置 20は、複数の被測定者のデータを受信すると、これらの被測定者の関係から画像を生成する。ここで入力されるデータは、被測定者の生体情報や環境情報である。画像表示装置 20は、入力されたデータから被測定者の関係を求め、この関係を画像に反映させるプログラムを格納している。入力されるデータゃ関係、画像への反映方法などを特に限定されるものではなレ、。本発明は、データから関係を求め、この関係を画像に反映させるというプロセスを提案している。次いで、複数の被測定者のデータを伝送する方法について説明する。サーバ 30は、携帯端末 10から伝送されたデータを多重化する。多重化された情報は、図 9に示すように、複数のパケット 40から構成される。各パケット 40は、通信ヘッダ 41とデータ部 42からなる。通信ヘッダ 41には、送信先と送信元のアドレスのような通信制御情報が格納されている。データ部 42は、データヘッダ 43と、データ格納部 44とから構成される。データヘッダ 43は、被測定者の ID45、時間的同期を取るためのタイムスタンプ 46、情報のカテゴリを示す情報カテゴリコード 47、情報の種類を示す情報種コード 48から構成される。情報カテゴリコード 47とは、データ格納部 44に格納されるデータが生体情報、環境情報の何れであるかを示すコードである。将来新たな情報カテゴリが測定されるようになった場合にはこのコードを拡張することが可能である。情報種コード 48は、データ格納部 44に格納された情報がどのようなものであるかを示すコードである。例えば、「心拍数」「筋電」「呼吸」を「H23」「H24」「H25」、「気温」「湿度」「天気」を「K11」「Κ12」「Κ13」というコードで示す。

データ格納部 44には、情報種コード 48で示された項目の実際の値が入る。例えば、情報種コード 48が「脈拍」であれば「72」などの数値が入り、情報種コード 48が「天気」であれば「晴れ」を表す数値若しくは文字列が入る。このフィールドは可変長であり、データ格納部 44の先頭にはデータ格納部自身の長さを示す数値が入る。

画像表示装置 20は、被測定者の IDを基にデータを多重化分離する。そして、タイムスタンプを基に情報を時系列に整列する。画像表示装置 20は、被測定者それぞれの状態を示す画像を生成し、生成した画像を表示部に表示させる。画像の生成方法は、図 5に示す例では、 3人の被測定者がそれぞれ携帯端末 10a， 10b, 10cを携帯し、 3つの携帯端末 10a, 10b, 10cがサーバ 30に生体情報及び環境情報を送信している。サーバ 30は受信した生体情報及び環境情報を多重化し、画像表示装置 2 0に送信する。画像表示装置 20は、 3人の被測定者の状態を示す画像を生成し、生成した画像を 1つの表示部 23に表示させている。

なお、上述した例では、データ伝送の中継装置としてサーバ 30を配置した力サーバ 30を配置せずに、携帯端末 10と画像表示装置 20とが直接データをやり取りする構成にしてもよい。また、サーバ 30が生成するパケットの構成やデータ識別子のコードなども上述のものに限定されるわけではない。

さらに、上述した例では、各被測定者を擬似生物で表現したが、実際には、各被測定者の生体情報及び環境情報を基に 1つの物体又は生物を表現してもよい。例えば、 1機の飛行機のエンジン、尾翼、主翼の動きをそれぞれ異なる被測定者に割り当てて、 1機の飛行機の飛行を表すような表現方法も可能である。また、あるいは、ボールの色、大きさ、弾み方など運動状態で表現することも考えられる。

次に、画像の視聴者と、被測定者とが相互に作用する例について説明する。この例では、視聴者が被測定者の皮膚感覚 (特に、触覚）に刺激を与える。被測定者の生体情報は、刺激により変化し、この変化により被測定者を示す画像も変化する。実施例 3では、被測定者と視聴者との間のフィードバックループが形成される。

被測定者には、皮膚に刺激を与える刺激提示デバイス 90が取り付けられる。図 10 は、刺激提示デバイス 90の取付位置を示している。刺激提示デバイス 90は、被測定者の体の 1つ以上の箇所に取り付けられる。刺激提示デバイス 90は、遠隔地で入力した触覚信号を物理的な刺激に変換する。触覚信号は、携帯端末 10から入力する。携帯端末 10と刺激提示デバイス 90とは、有線若しくは無線で接続されている。刺激提示デバイス 90は、触覚刺激を提示するために、ァクチユエータゃモータによる振動、低周波治療器に用いられるような電気刺激のうち少なくとも 1つを利用して被測定者に刺激を与える。なお、刺激提示デバイス 90を特別に設けなくとも、携帯端末 10 のバイブレーション機能により刺激を提示することも可能である。

画像表示装置 20の表示部 23には、タツチパネル 91が設けられている。タツチパネル 91は抵抗値や静電容量の変化により入力を感知するもの、 PVDF (ポリフッ化ビニリデン)などの圧電素子を利用してもよい。抵抗値ゃ圧電素子を使用したタツチパネルの場合、触覚の強さも取得することが可能である。次に示す例では、被測定者は、あるオブジェクト（ここでは、クラゲ）と対応付けられている。表示部 23には、被測定者と同じ数のクラゲが表示される。各クラゲはそれぞれ一枚のレイヤ上に描画されている。レイヤを重ねて表示することにより、複数のクラゲが 1つの表示部に表示される。図 11に示すように、ユーザがタツチパネル 91に触れると、画像表示装置 20は、触れた部分の座標 Pを得る。画像表示装置 20は、ォブジヱタトの座標と点 Pを比較し、点 Pがオブジェクトに含まれるか判別する。この判別は、最も奥のレイヤに順に行われる。最も手前のレイヤまで比較すると、画像表示装置 20は、最後に点 Pを含むオブジェクトと判別されたオブジェクトを触れられたオブジェタトであると判定する。

触れられたオブジェクトが回転しているとき、画像表示装置 20は、オブジェクトの正規化を行う。画像表示装置 20は、オブジェクトと判定すると、ユーザがオブジェクトのどの部位に触れた力 ^判定する。この判定を行うために、オブジェクトをエリアに分割されている。図 12に示す対応表 92には、エリアの座標と、触覚刺激を与える対応部位の名称が記録されている。図 13は、視聴者が画面に触れてから、エリアを特定するまでの過程を摸式的に示している。エリア aはクラゲの頭部に対応し、エリア bはクラゲの胸部に対応し、エリア cがクラゲの腹部に対応し、エリア dがクラゲの足上部に対応し、エリア dがクラゲの足下部に対応する。この例では、視聴者が触れた点 Pはエリ 7d、すなわち足上部に含まれる。

なお、この対応表 92は、タツチパネル 91を装備した画像表示装置 20上で表示する画像データとともに管理することが望ましい。画像データをネットワークからダウンロードして、例えばネコの画像にした場合には、同時に対応表もダウンロードされる。触覚刺激を与える部位は、各部位ごとに一意のコードが与えられており、表示画像がクラゲであってもネコであっても対応部位のコードは変わらなレ、。この例では、頭部は 0 X 01、胸部は 0 X 02などと決まっている。対応部位のコードは 2の n乗になっており、同時に複数の触覚刺激デバイスに対応させることができる。対応部位は、この例では 5 種類しかなレ、が、コードが重ならなければレ、くらでも増やしてもよレ、。但し、この番号は一意であるため、既に使用されているコードと重複してはならない。

画像表示装置 20は、対応部位を求めると、触れられたオブジェクトに対応する被測定者に対して、対応部位のコード及び刺激の強さ、刺激タイプなどをまとめた触覚信号を遠隔地にある携帯端末 10に送信する。携帯端末 10は、触覚信号を受信すると刺激提示デバイス 90を駆動して、被測定者に物理的な皮膚刺激を提示する。図 14 は、画像表示装置 20から刺激提示デバイス 90への触覚の伝達を模式的に示している。

刺激タイプは、ァクチユエータの振動パターンや電気刺激などの刺激の種類を表すコードである。このパラメータによりァクチユエータの振動周波数を変えたり、振動リズム、電気刺激のパターンを変化させることができ、単一ではない刺激パターンを与えることが可能である。

画像表示システム 3は、特定の被測定者の生体情報及び環境情報を不特定多数の画像表示装置 20に配信する構成にしてもよい。このとき、画像生成システム 3は、図 15に示すように被測定者の生体情報及び環境情報を測定する生体情報測定装置 50と、生体情報及び環境情報を多数の画像表示装置 20に送信するサーバ 60と、生体情報及び環境情報を基に画像を生成する画像表示装置 20とからなる。

生体情報測定装置 50は、上述した携帯端末 10と略同じ構成である。画像表示システム 3では、個人のプライベートな情報を多数の人間に配信するため、携帯端末のように常時携帯するものではなく、ある程度公共性が高レ、空間に設置されてレ、ること力 S 望ましい。もちろん、個人の承諾が得られれば、個人的な生体情報を配信してもよいこのシステムは、不特定多数の人間が欲する生体情報、例えば、コンサート中のミュージシャンや試合中のスポーツ選手の生体情報や環境情報の配信に利用される。ミユージシャンやスポーツ選手の生体情報や環境情報を配信することにより、仕事場で実際のスポーツを観戦することができない状況であっても、試合の大まかな流れを掴んだり、ビデオ画像では見えなレ、スポーツ選手の感情の変化などを観察することができる。

次いで、測定した生体情報及び環境情報をリアルタイムに再生するのではなぐ過去に測定された生体情報及び環境情報を基に画像を生成する画像表示装置 20について説明する。既に測定された生体情報や環境情報は、図 16に示すようにネットワーク 100上の生体情報格納サーバ 70あるいは CD— ROMや半導体メモリモジユールなどの記録媒体 80に記録されている。画像表示装置 20は、これらの生体情報や環境情報を基に画像を生成する。これにより、ユーザは、何度でも同じ映像を楽しむこと力 Sできる。また、生体情報や環境情報のみを予め測定しておき、時間の余裕があるときに表示させることもできる。例えば、故人の生体情報を生前に記録しておき、生前の様子を象徴的な画像により適時再生することができる。

なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなぐ様々な変更、置換又はその同等のものを行うことができることは当業者にとって明らかである。

Claims

請求の範囲

[1] 1.被測定者の生体情報を測定する生体情報測定手段と上記生体情報を送信する送信手段とを備えた生体情報測定装置と、

上記生体情報を受信する受信手段と上記生体情報を基に画像を生成する画像生成手段と上記画像を表示する表示手段とを備えた画像表示装置とを備え、

上記生体情報測定装置と画像表示装置とは異なる地点に存在し、ネットワークを介して接続されてレ、ることを特徴とする画像表示システム。

[2] 2.上記画像生成手段は、上記被測定者の状態を表出する画像を生成することを特徴とする請求の範囲第 1項記載の画像表示システム。

[3] 3.上記生体情報測定装置は、上記被測定者の周囲の環境を定量的に測定する環境情報測定手段を備え、

上記画像生成手段は、上記生体情報及び環境情報を基に被測定者の状態及び周囲の環境を表出する画像を生成することを特徴とする請求の範囲第 1項記載の画像表示システム。

[4] 4.複数の被測定者の生体情報を受信し、各被測定者の状態を表出する擬似生物の画像を生成し、上記表示手段は複数の擬似生物を同時に表示することを特徴とする請求の範囲第 1項記載の画像表示システム。

[5] 5.上記画像生成手段は、複数の被測定者の生体情報の関係性を画像の変化に反映させることを特徴とする請求の範囲第 1項記載の画像表示システム。

[6] 6.上記画像生成手段は、複数の被測定者の環境情報の関係性を画像の変化に反映させることを特徴とする請求の範囲第 3項記載の画像表示システム。

[7] 7.上記画像表示装置は、上記表示手段に対する接触を検出する接触検出手段と、上記接触検出手段の出力に基づく接触信号を上記生体情報測定装置に対して送信する接触信号送信手段とを備え、

上記生体情報測定装置は、上記接触信号を受信すると被測定者の皮膚感覚に刺激を与える皮膚刺激手段を備えることを特徴とする請求の範囲第 1項記載の画像表示システム。

[8] 8.上記皮膚刺激手段は、振動、電気刺激、摩擦の少なくとも 1つにより皮膚刺激を与えることを特徴とする請求の範囲第 7項記載の画像表示システム。

[9] 9.上記画像表示装置は、記録媒体に記録された情報を読み出す読出手段を備え、上記画像生成手段は、上記読出手段が読み出した生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成することを特徴とする請求の範囲第 1項記載の画像表示システム。

[10] 10.上記画像表示装置は、上記生体情報を基に上記被測定者の状態を表出する音声を生成する音声生成手段と上記音声を出力する音声出力手段とを備えることを特徴とする請求の範囲第 1項記載の画像表示システム。

[11] 11.被測定者の生体情報を測定する生体情報測定装置とネットワーク介して接続される画像表示装置であって、

上記生体情報測定装置から送信された生体情報を受信する生体情報受信手段と上記生体情報を基に画像を生成する画像生成手段と、

上記画像を表示する表示手段と

を備えることを特徴とする画像表示装置。

[12] 12.上記生体情報測定装置は、上記被測定者の周囲の環境を定量的に測定する環境情報測定手段を備え、上記画像生成手段は、上記生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成することを特徴とする請求の範囲第 11項記載の画像表示装置。

[13] 13.さらに、記録媒体に記録された情報を読み出す読出手段を備え、

上記画像生成手段は、記録媒体に予め記録された生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成することを特徴とする請求の範囲第 11項記載の画像表示装置。

[14] 14.複数の生体情報測定装置から異なる複数の被測定者の生体情報を受信したとき、上記画像生成手段は、各被測定者の状態を表出する画像を生成し、上記表示手段は、上記各被測定者の状態を表出画像を同時に表示することを特徴とする請求の範囲第 11項記載の画像表示装置。

[15] 15.上記画像生成手段は、複数の被測定者の生体情報の関係性を画像の変化に反映させることを特徴とする請求の範囲第 11項記載の画像表示装置。

[16] 16.上記画像生成手段は、複数の被測定者の環境情報の関係性を画像の変化に反映させることを特徴とする請求の範囲第 12項記載の画像表示装置。

[17] 17.上記画像表示手段は、上記表示手段に対する接触を検出する接触検出手段と

、上記接触検出手段の出力に基づく接触信号を上記生体情報測定装置に対して送信する接触信号送信手段とを備えることを特徴とする請求の範囲第 11項記載の画像表示装置。

[18] 18.記録媒体に記録された情報を読み出す読出手段を備え、

上記画像生成手段は、上記記録媒体に予め記録された生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成することを特徴とする請求の範囲第 11項記載の画像表示装置。

[19] 19.被測定者の生体情報を測定する生体情報測定工程と、

上記生体情報を遠隔に送信する送信工程と、

上記送信工程にて送信された生体情報を受信する受信工程と、

上記受信工程にて受信した生体情報を基に画像を生成する画像生成工程と、上記画像生成工程にて生成した画像を表示する表示工程と

を有することを特徴とする画像表示方法。

[20] 20.さらに、上記被測定者の周囲の環境を定量的に測定する環境情報測定工程を有し、

上記画像生成工程では、上記生体情報と環境情報とを基に上記被測定者の状態を表出する画像を生成することを特徴とする請求の範囲第 19項記載の画像表示方法。

[21] 21.上記受信工程にて複数の被測定者の生体情報を受信したとき、上記画像生成工程では、各被測定者の状態を表出する画像を生成し、上記表示工程では、複数の被測定者の状態を表出する画像を同時に表示することを特徴とする請求の範囲第 19項記載の画像表示方法。

[22] 22.上記複数の被測定者の生体情報の関係性を画像の変化に反映させることを特徴とする請求の範囲第 21項記載の画像表示方法。

[23] 23.上記複数の被測定者の環境情報の関係性を画像の変化に反映させることを特徴とする請求の範囲第 21項記載の画像表示方法。

[24] 24.上記画像に対する接触を検出する接触検出工程と、上記接触検出工程において検出される接触信号を基に被測定者の皮膚感覚に刺激を与える皮膚刺激工程とを備えることを特徴とする請求の範囲第 19項記載の画像表示方法。