JPH0758992A - 仮想現実感装置 - Google Patents

Abstract

(57)【要約】 【目的】 多数台のカメラを用いず観察者に不自然でな
い仮想現実感を起こさせるようにすること。 【構成】 広角撮像装置１に一対のレンズ２ａ，２ｂを
設ける。そしてこのレンズを介してＣＣＤセンサで読出
された画像の一部を眼鏡型表示装置４に夫々表示する。
この画像を見る観察者の眼球位置を眼球位置検出センサ
５ａ，５ｂで夫々検出する。そうすればその方向と角度
の相違から物体までの方向と距離が算出できる。又頭部
方向検知センサ７により眼鏡型表示装置４を取付けた観
察者の頭部方向が検出する。これらの信号に基づいて物
体の視点を演算する。そしてこの視点に基づいて広角撮
像装置の焦点距離及び画像を切出す領域を制御するよう
にしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は仮想現実感装置に関する
ものである。

【０００２】

【従来の技術】従来の仮想現実感装置は例えば図５に示
すような装置がある。この仮想現実感装置は複数のＴＶ
カメラ１００，１０１，１０２を有しており、夫々ＴＶ
カメラ駆動部１０３，１０４，１０５によって駆動され
る。そして観察者の視線方向を眼球位置及び頭部位置よ
り検出する視線方向検出部１０６を有しており、その出
力はＴＶカメラ駆動部１０３〜１０５と入力切換部１０
７に与えられる。入力切換部１０７は視線方向の信号に
基づいていずれかのＴＶカメラの信号を択一的に選択す
るものであり、その出力は画像表示部１０８に与えられ
る。

【０００３】又ＴＶカメラ駆動部１０３〜１０５は視線
方向検出部１０６からの信号に基づいてＴＶカメラ１０
０〜１０２の垂直位置を制御するものである。

【０００４】次にＴＶカメラ駆動部の動作について図６
を用いて説明する。図６（ａ）は対象物１１０とＴＶカ
メラ１００〜１０２との関係を示す上面図であり、
（ｂ）は観察者１０９と対象物１１０との関係を示す上
面図である。図６（ｂ）に示すように観察者１０９の
Ａ，Ｂ，Ｃの夫々の位置に対応してＴＶカメラ１００〜
１０２が配置されている。従って視線方向検出部１０６
によって図６（ｂ）に示す位置Ａにあると判別されれ
ば、ＴＶカメラ１００の信号を選択し、同時に垂直方向
の視線をＴＶカメラ駆動部によって制御する。同様にし
て図６（ｂ）に示す位置Ｂ，Ｃに観察者がいる場合に
は、夫々ＴＶカメラ１０１，１０２の信号を選択し、そ
の垂直位置を制御する。こうして入力切換部はいずれか
のＴＶカメラの入力を選択して画像表示部１０８に表示
している。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の仮想現実感装置では、観察者の視線方向が連
続的に変わっても画像は段階的にしか変化しない。その
ためカメラを多数台設ける必要がある。又カメラが向い
ている方向以外の方向に観察者の視線が移動した場合に
は、表示される画像が存在しないので違和感、不快感を
感じる。又カメラを多数増設しても、観察者の頭部が移
動し得る位置及び視線が移動し得る位置の全てにＴＶカ
メラを設置することは困難である。

【０００６】本発明は上記の課題に留意し、より自然
で、違和感及び不快感を低減させる仮想現実感装置を提
供することを目的としている。

【０００７】

【課題を解決するための手段】本願の請求項１の発明
は、レンズを有しその焦点距離を変化させて広角を撮影
すると共に、視点位置情報に基づいて視点位置を含む所
定範囲の画像信号を出力する広角撮像手段と、広角撮像
手段により出力された画像を表示する表示手段と、表示
手段を観察する観察者の視点を検出する視点検出手段
と、視点検出手段の出力に基づいて観察者が観察してい
る物体に焦点を合わせるように広角撮像手段の焦点及び
出力する画像位置を制御する焦点制御手段と、を具備す
ることを特徴とするものである。

【０００８】本願の請求項２の発明は、レンズを有しそ
の焦点距離を変化させて広角を撮影すると共に、視点位
置情報に基づいて視点位置を含む所定範囲の画像信号を
出力する広角撮像手段と、広角撮像手段により出力され
た画像を表示する表示手段と、表示手段を観察する観察
者の目の位置に基づいて視線方向を検出する眼球位置検
出センサと、観察者の頭部方向を検出する頭部方向検出
センサと、眼球位置検出センサ及び頭部方向検出センサ
の出力に基づいて観察者の観察する位置を検出する視点
演算回路と、視点演算回路の出力に基づいて観察者が観
察している物体に焦点を合わせるように広角撮像装置の
焦点及び出力する画像位置を制御する焦点制御手段と、
を具備することを特徴とするものである。

【０００９】本願の請求項４の発明は、レンズを有しそ
の焦点距離を変化させると共に、視点位置情報に基づい
て視点位置に向けた画像を撮影する撮像手段と、撮像手
段により撮像された画像を表示する表示手段と、表示手
段を観察する観察者の目の位置を検出する眼球位置検出
センサと、観察者の頭部方向を検出する頭部方向検出セ
ンサと、眼球位置検出センサ及び頭部方向検出センサの
出力に基づいて観察者の観察する位置を検出する視点演
算回路と、視点演算回路の出力に基づいて観察者が観察
している物体に焦点を合わせるように撮像装置の方向及
び焦点距離を制御する焦点制御手段と、を具備すること
を特徴とするものである。

【００１０】

【作用】このような特徴を有する本願の請求項１〜３の
発明によれば、広角撮像装置によって観察者が見る可能
性の位置を広範囲に撮影し、その一部を表示手段によっ
て表示する。そして表示手段を観察している観察者の視
点を検出し、観察者が観察している物体に常に焦点を合
わせるように広角撮像装置のレンズを制御するようにし
ている。こうすれば観察者が視点を変えればそれに対応
して表示画像が変化することとなるため、連続的に自然
な画像表示ができることとなる。又請求項２，３の発明
ではこれに加えて、観察者の頭部方向も同時に検出し、
これに基づいて観察者の観察する位置を算出しているた
め、頭部を回転させてもそれに応じた画像が表示される
こととなって仮想現実感が得られることとなる。

【００１１】又本願の請求項４及び５の発明において
も、撮像手段によって撮像された画像を表示手段によっ
て表示しており、表示された画像に対する観察者の目の
位置を検出し、又頭部方向を同時に検出して観察者が見
る方向に対して撮像装置の撮像方向及び焦点を変化させ
ることによって、観察者に仮想現実感を与えるようにし
ている。

【００１２】

【実施例】次に本発明の一実施例について図面を参照し
つつ説明する。図１は本実施例の構成を示すブロック図
である。本図において広角撮影装置１は水平方向及び垂
直方向に現行のテレビジョン受像機より広い画角を持つ
一対の撮影装置であって、夫々レンズ２ａ，２ｂとＣＣ
Ｄセンサ等を有している。レンズ２ａ，２ｂは後述する
ように焦点制御回路からの制御信号に基づいて観察者が
観察している物体３に焦点が合うように制御される。そ
してこれらの広角の画像信号のうちの視点位置を含む所
定範囲を一対の画像信号として画像表示装置４に与え
る。画像表示装置４は例えば眼鏡型の画像表示装置であ
って、左右の表示器に異なった画像を表示するものであ
る。この眼鏡型画像表示装置４には、夫々観察者の左右
の眼球位置を検出する眼球位置検出センサ５ａ，５ｂが
取付けられる。

【００１３】又この仮想現実感装置が用いられる室内の
所定位置には、磁界を発生させる磁界発生コイル６が設
けられており、この磁界発生コイル６との相対的な関係
で頭部方向を検出する頭部方向検出センサ７が眼鏡型画
像表示装置４に固定される。眼球位置検出センサ５及び
頭部方向検出センサ７の出力は視点演算回路８に与えら
れる。視点演算回路８はこれらのセンサからの信号に基
づいて観察者の視点を演算するものであって、その出力
は焦点制御回路９に与えられる。焦点制御回路９は観察
者の視点位置に焦点を合わせるように撮影装置のレンズ
２ａ，２ｂを制御し、その位置の画像を切出して出力す
るものである。

【００１４】この仮想現実感装置においては画像が眼鏡
型表示装置４に表示されると、眼球位置検出センサ５及
び頭部方向検出センサ７からの出力に基づいて視点演算
回路８によって観察者の視点が検知される。

【００１５】眼球位置検出センサ５は例えば強膜反射法
を用いて眼球位置を検出するものとする。強膜反射法は
赤外線に対する眼球の黒目と白目の反射率の違いに基づ
いて眼球位置を計測するものである。眼球位置検出セン
サ５には例えば図２（ａ）に示すように眼球位置に隣接
して赤外線発光素子１０，１１とその眼球からの反射光
を受光する一対の受光素子１２ａ，１２ｂ，１３ａ，１
３ｂとが設けられており、一対の受光素子１２ａ〜１３
ｂにより反射光の強さを電流に変換し、その比に基づい
て２次元の視線方向を検出するものである。又図２
（ｂ）に示すように左右の眼球の近傍にその眼球の位置
を検出するＣＣＤセンサ１４を設け、ＣＣＤセンサ１４
からの出力に基づいて黒目の位置を認識し視線方向を出
力するようにしてもよい。この場合にも光源として赤外
線発光ダイオード等を用いることができる。

【００１６】さてこの眼球位置検出センサは左右の目か
ら一対の視線方向を示す信号が夫々センサ５ａ，５ｂよ
り得られる。従ってこれらの角度の差に基づいて、使用
者が見ている物体３の頭部からの方向と距離とが認識で
きることとなる。

【００１７】一方頭部方向の検出は磁気センサを用いて
いる。即ち磁界発生コイル６に電流を流すことによって
一定の磁界を発生する。頭部方向検出センサ７はコイル
から成り、磁界中を移動することによって誘導電流が流
れる。この誘導電流の大きさを計測することによって頭
部の移動量を計測することができる。視点演算回路８に
は眼球位置検出センサ５の出力と頭部方向検出センサ７
の出力とが入力される。眼球位置検出センサ５の一対の
信号より人体の頭部から見て物体までの距離と方向とが
算出でき、これに人体の方向を加えることによって観察
者が観察している位置が計測される。

【００１８】次に本実施例の動作について図３を参照し
つつ説明する。図３において２０，２１は夫々広角撮像
装置の左右のレンズ２ａ，２ｂを通じて撮影された広範
囲の画像である。ここで２２，２３は物体３を示してお
り、この物体を含む長方形の部分２４，２５は夫々物体
３を含んだ画像であって、眼鏡型画像表示装置４によっ
て表示されている画像を示している。即ち広範囲に撮影
した画像の中から観察者が撮影している物体に焦点を合
わせ、その周辺の所定範囲の画像を出力して眼鏡型画像
表示装置４に表示している。さてこの物体３を画像２
２，２３として表示すると、観察者が観察している位置
が焦点制御回路９に入力され、観察している物体に焦点
が合うように広角撮影装置１の夫々のレンズ２ａ，２ｂ
を制御する信号が出力される。従って各レンズ２，２ｂ
に設けられている画像入力装置からは焦点制御回路９の
出力に基づいて観察している物体に焦点が合うように制
御され、撮影された画像が得られる。この画像中から表
示画像範囲に合わせて切取られた画像が画像表示装置４
に送られる。

【００１９】そして使用者が視線を動かして他の物体を
見たり他の物体に焦点を合わせた場合には、その焦点の
距離と方向とが眼球位置検出センサからの信号によって
算出され、広角撮像装置のレンズ及びその出力画像が変
換されて出力される。このため観察したい場所を自由に
見ることによってその位置が表示され、使用者に仮想現
実感が得られることとなる。

【００２０】尚本実施例において撮影装置は広視野の画
像を撮影する広角撮影装置としたが、広視野の画像を記
録したビデオディスクプレーヤ等でもよく、又コンピュ
ータグラフィックス等を用いた画像発生装置であっても
よい。更に図４に示すように画像を得る方向を上下右左
に駆動できるようにした通常の撮像装置２６ａ，２６ｂ
であってもよい。この場合には焦点制御回路９は視点演
算回路８の出力に基づいて観察者の左右の夫々の眼球の
方向と同一方向に撮像装置２６ａ，２６ｂ自体を回転さ
せ、同時に焦点距離をそのレンズ位置によって制御する
ものとする。こうすれば広角撮像装置を用いなくても仮
想現実感が実現できることとなる。

【００２１】

【発明の効果】以上詳細に説明したように本発明によれ
ば、最小限度のカメラで観察者が観察したい場所を目や
頭を動かすことによって観察することができる。そのた
め観察者は仮想現実感を得ることができ、実用上極めて
有利な発明である。

【図面の簡単な説明】

【図１】本発明の第１実施例の構成を示すブロック図で
ある。

【図２】本発明の第１実施例による眼球位置検出センサ
の構成を示す概略図である。

【図３】本発明の第１実施例による画像表示の説明図で
ある。

【図４】本発明の第２実施例による撮影装置の概略を示
す図である。

【図５】従来の仮想現実感装置の一例を示すブロック図
である。

【図６】従来の仮想現実感装置のカメラと物体の配置例
及び実体と物体との配置例を示す概略図である。

【符号の説明】

１ 広角撮像装置 ２ａ，２ｂ レンズ ３ 物体 ４ 眼鏡型画像表示装置 ５ 眼球位置検出センサ ６ 磁界発生コイル ７ 頭部方向検出センサ ８ 視点演算回路 ９ 焦点制御回路 １０，１１，１２ 赤外線発光素子 ２６ａ，２６ｂ 撮像装置

Claims (5)

【特許請求の範囲】
1. 【請求項１】 レンズを有しその焦点距離を変化させて
   広角を撮影すると共に、視点位置情報に基づいて視点位
   置を含む所定範囲の画像信号を出力する広角撮像手段
   と、 前記広角撮像手段により出力された画像を表示する表示
   手段と、 前記表示手段を観察する観察者の視点を検出する視点検
   出手段と、 前記視点検出手段の出力に基づいて観察者が観察してい
   る物体に焦点を合わせるように前記広角撮像手段の焦点
   及び出力する画像位置を制御する焦点制御手段と、を具
   備することを特徴とする仮想現実感装置。
2. 【請求項２】 レンズを有しその焦点距離を変化させて
   広角を撮影すると共に、視点位置情報に基づいて視点位
   置を含む所定範囲の画像信号を出力する広角撮像手段
   と、 前記広角撮像手段により出力された画像を表示する表示
   手段と、 前記表示手段を観察する観察者の目の位置に基づいて視
   線方向を検出する眼球位置検出センサと、 観察者の頭部方向を検出する頭部方向検出センサと、 前記眼球位置検出センサ及び前記頭部方向検出センサの
   出力に基づいて観察者の観察する位置を検出する視点演
   算回路と、 前記視点演算回路の出力に基づいて観察者が観察してい
   る物体に焦点を合わせるように前記広角撮像装置の焦点
   及び出力する画像位置を制御する焦点制御手段と、を具
   備することを特徴とする仮想現実感装置。
3. 【請求項３】 前記広角撮像手段は左右一対のレンズ及
   びレンズより得られる画像を所定範囲の画像に切出して
   出力するものであり、 前記表示手段は前記広角撮像手段より出力された左右の
   夫々の画像を表示する一対の表示手段であり、左右の視
   線方向に基づいて左右の夫々異なった画像を立体的に表
   示するものであることを特徴とする請求項１又は２記載
   の仮想現実感装置。
4. 【請求項４】 レンズを有しその焦点距離を変化させる
   と共に、視点位置情報に基づいて視点位置に向けた画像
   を撮影する撮像手段と、 前記撮像手段により撮像された画像を表示する表示手段
   と、 前記表示手段を観察する観察者の目の位置を検出する眼
   球位置検出センサと、 観察者の頭部方向を検出する頭部方向検出センサと、 前記眼球位置検出センサ及び前記頭部方向検出センサの
   出力に基づいて観察者の観察する位置を検出する視点演
   算回路と、 前記視点演算回路の出力に基づいて観察者が観察してい
   る物体に焦点を合わせるように前記撮像装置の方向及び
   焦点距離を制御する焦点制御手段と、を具備することを
   特徴とする仮想現実感装置。
5. 【請求項５】 前記撮像手段は左右一対のレンズ及び撮
   影方向を自在に制御できる一対の撮像手段であり、 前記表示手段は前記撮像手段より出力された左右の夫々
   の画像を表示する一対の表示手段であり、 左右の視線方向に基づいて左右の夫々異なった画像を立
   体的に表示するものであることを特徴とする請求項４記
   載の仮想現実感装置。