JP2000201289A - 映像入出力装置及び映像取得方法 - Google Patents

Abstract

(57)【要約】 【課題】 観察者に被写体の映像を見せながら、観察者
の眼球運動に基づいて撮像手段の焦点などを自動制御で
きるようにする。 【解決手段】 被写体３０の映像を撮像する被写体画像
取得用の撮像手段１と、この撮像手段１によって撮像さ
れた被写体３０の映像を表示する表示手段３と、この表
示手段３を注視する観察者の眼球運動を撮像する撮像手
段４又は４’とを備え、この眼球運動検出用の撮像手段
４は表示手段３の表側に設けられ、又は、眼球運動検出
用の撮像手段４’は表示手段３の裏側に設けられ、観察
者が注視した被写体映像の特定位置である注視点ｐを認
識するようになされたものである。この構成によって、
一方で観察者に映像を見せながら、他方で観察者の眼球
運動を取得することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、液晶表示部及び
ＣＣＤ撮像素子を有したビデオカメラや眼鏡型の表示装
置に適用して好適な映像入出力装置及び映像取得方法に
関する。詳しくは、被写体の映像を注視する観測者の眼
球運動を撮像するための撮像手段を表示手段の表側又は
裏側に設け、観察者に被写体の映像を見せながら、観察
者の眼球運動に基づいて被写体画像取得用の撮像手段の
焦点などを自動制御できるようにしたものである。

【０００２】

【従来の技術】近年、カメラ本体部の側面に「電子ビュ
ーファインダ」と呼ばれる液晶モニタを備えたビデオカ
メラが販売されるに至っている。この種の映像入出力装
置を備えたビデオカメラでは、アイフード（アイキャッ
プ）を覗き込んで内部の液晶モニタを見るタイプのビデ
オカメラに比べて表示画面が大きく、また、カラー化が
し易いという特徴を有している。

【０００３】また、バーチャル・リアリティ（仮想現実
感）に基づく表示技術の向上に伴い、複数の画像表示面
に跨って仮想現実感を観察者に提供するための立体表示
装置が販売されつつある。この種の立体表示装置は、特
開平９−２３７３５３号の技術文献に見られる。この技
術文献によれば、縦横数ｍ程度の大きさの映写空間が設
けられ、各々の面に表示装置が配置され、各々の表示装
置から恐竜、怪獣や武器などの仮想体の画像が立体表示
される。

【０００４】そして、観察者は映像入出力装置として液
晶シャッター付きの眼鏡型の表示装置を装着し、その映
写空間に立つと、あたかも、各々の表示装置で表示され
た仮想体と同じ場所に居るようなされる。また、観察者
が仮想空間上で手にする武器がカメラによって撮像さ
れ、その武器の動きによって仮想体が反応するように画
像処理されている。これにより、観察者は数千年前の原
始時代にタイムスリップして、恐竜退治などをゲーム感
覚で行うことができる。

【０００５】

【発明が解決しようとする課題】ところで、従来方式の
映像入出力装置によれば、観察者が注視した被写体映像
の特定位置である注視点を画像処理系に認識させ、その
観測者の眼球運動に基づいて被写体画像取得用の撮像手
段などを自動的に制御したいという要求がある。

【０００６】これに対して、電子ビューファインダ方式
の液晶モニタを備えたビデオカメラでは、観察者がこの
電子ビューファインダから離れて被写体映像を見ること
が多いことから、観察者が注視した被写体映像の特定位
置を再現性よく画像処理系に認識させることができない
という問題がある。

【０００７】この点で眼鏡型の映像入出力装置の場合に
は左右の表示装置に観測者の眼球が接近されるので、観
察者の眼球運動を検出し易い。しかしながら、特開平５
−２１１６２５号の公開特許公報に記載されている「撮
像装置」の注視点検出機構をそのまま眼鏡型の映像入出
力装置に応用すると、観察者の眼球と液晶モニタとの間
に注視点検出機構が配置されることになり、眼鏡型の映
像入出力装置の構造上好ましくない。

【０００８】また、電子ビューファインダ方式のビデオ
カメラでは、アイフードタイプのビデオカメラに比べて
表示電力を多く消費することから、特に、バッテリー駆
動タイプのものでは、こまめに電力供給を制御する必要
がある。しかしながら、前者のビデオカメラでは、観察
者に映像を見せながら、他方で観察者の眼球運動を取得
することが困難なことから、観察者の眼球運動に基づい
た表示手段の消費電力の自動セーブ制御などを行うこと
が難しい。

【０００９】そこで、本発明は上記の課題に鑑み創作さ
れたものであり、観察者に被写体の映像を見せながら、
観察者の眼球運動に基づいて撮像手段の焦点などを自動
制御できるようにした映像入出力装置及び映像取得方法
を提供することを目的とする。

【００１０】

【課題を解決するための手段】上述した課題は、被写体
を撮像してその被写体の映像を表示する装置であって、
被写体の映像を撮像する被写体画像取得用の撮像手段
と、この撮像手段によって撮像された被写体の映像を表
示する表示手段と、この表示手段を注視する観察者の眼
球運動を撮像する眼球運動検出用の撮像手段とを備え、
この眼球運動検出用の撮像手段は表示手段の表側又は裏
側に設けられ、観察者が注視した被写体映像の特定位置
である注視点を認識するようになされたことを特徴とす
る映像入出力装置によって解決される。

【００１１】本発明に係る映像入出力装置によれば、表
示手段の表側又は裏側に設けられた眼球運動検出用の撮
像手段によって、被写体の映像を注視した観測者の眼球
運動が撮像される。例えば、表示手段の表側に眼球運動
検出用の撮像手段が設けられる場合であって、その表示
手段を観察する観察者の顔面が顔面認識部によって認識
されると、この顔面認識部より得られた観察者の顔面画
像からその観察者の眼球が眼球認識部によって認識され
るので、一方で観察者に映像を見せながら、他方で観察
者の眼球運動を取得することができる。

【００１２】従って、観察者が注視した被写体映像の特
定位置である注視点を画像処理系に容易に認識させるこ
とができるので、観察者の眼球運動に基づいた被写体画
像取得用の撮像手段の焦点などを自動制御することがで
きる。しかも、観察者の眼球運動に基づいた表示手段の
消費電力の自動セーブ制御などを行うことができる。

【００１３】本発明の映像取得方法は、任意の被写体の
映像を取得する方法であって、被写体を注視する観察者
の眼球運動を撮像し、この観察者の眼球運動に基づいて
被写体の映像取得領域を決定し、この映像取得領域内の
被写体を含む映像のみを取得するようになされたことを
特徴とするものである。

【００１４】本発明に係る映像取得方法によれば、被写
体を注視する観察者の眼球運動に基づいて被写体の映像
取得領域が決定される。例えば、被写体を追従する観察
者の眼球の中心が算出されると、この観察者の眼球中心
の追従運動に基づいて被写体を含む映像取得領域が決定
される。又は、被写体を注視する観察者の瞳孔の開閉量
が算出され、観察者の瞳孔の絞り運動に基づいて被写体
を含む映像取得領域が決定される。

【００１５】従って、ズーム・アップ／ダウン機構など
の光学系を手動操作することなく、観察者の眼球中心の
追従運動又は瞳孔の絞り運動に基づいて映像取得領域内
の被写体を含む映像、すなわち、観察者が注視した（興
味を示した）領域の映像のみを取得することができる。
これにより、観察者が注視していない（興味を示さな
い）領域の映像を極力記録しないようにするトリミング
処理を画像取得段階で行うことができる。従って、被写
体映像を格納するための記憶媒体などを有効に使用する
ことができる。

【００１６】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施形態としての映像入出力装置及び映像取得方
法について説明をする。 （１）実施形態としての映像入出力装置 図１は、本発明に係る各実施形態としての映像入出力装
置１０の構成例を示すブロック図である。この実施形態
では、被写体の映像を注視する観測者の眼球運動を撮像
するための撮像手段を表示手段の表側又は裏側に設け、
観察者に被写体の映像を見せながら、観察者の眼球運動
に基づいて被写体画像取得用の撮像手段の焦点などを自
動制御できるようにしたものである。

【００１７】この発明の映像入出力装置１０は被写体３
０を撮像してその被写体３０の映像を表示する装置であ
る。図１に示す映像入出力装置１０には、被写体画像取
得用の撮像手段１が設けられ、焦点制御信号Ｓ２に基づ
いて被写体３０の映像が撮像され、撮像信号Ｓ１が発生
される。この撮像手段１の出力段には画像処理手段２が
接続され、撮像信号Ｓ１を所定の画像処理した後の映像
信号Ｓ３が出力される。この映像信号Ｓ３に基づいて撮
像手段１の焦点距離が自動調整される。この画像処理手
段２には表示手段３が接続され、映像信号Ｓ３に基づい
て被写体３０の映像が表示される。

【００１８】また、表示手段３の例えば表側には眼球運
動検出用の撮像手段４が設けられ、この表示手段３を注
視する観察者の眼球運動が撮像され、その観察者に係る
眼球検出信号Ｓ４が発生される。この撮像手段４では表
示手段３の任意の点ｐ’を注視する観測者の眼球運動を
撮像することにより、観察者が注視した被写体映像の特
定位置である注視点ｐを認識するようになされる。この
実施形態では表示手段３の裏側に眼球運動検出用の撮像
手段４’を設けるようにしてもよい。

【００１９】この例では、画像処理手段２は撮像手段１
に焦点制御信号Ｓ２を出力して、観測者の眼球運動から
認識された瞳孔の動きに基づく被写体３０における観察
者の注視点ｐと撮像手段１との間の焦点距離を補正する
ようになされる。ここで、観察者の眼球表面から被写体
における観察者の注視点ｐに至る離隔距離をＳｈとし、
撮像手段１のレンズ表面からその注視点ｐに至る焦点距
離をＳｃとし、観察者の眼球表面と撮像手段１のレンズ
表面との間のオフセット距離をＳoffとすると、その注
視点ｐに至る離隔距離Ｓｈが焦点距離Ｓｃ＋Ｓoffより
も多い場合には、画像処理手段２によってその焦点距離
Ｓｃを長くするように撮像手段１の絞りやレンズなどの
光学系が調整される。

【００２０】反対に、注視点ｐに至る離隔距離Ｓｈが焦
点距離Ｓｃ＋Ｓoffよりも少ない場合には、画像処理手
段２によってその焦点距離Ｓｃを短くするように撮像手
段１の光学系が調整される。これにより、観察者が注視
した被写体３０の任意の点ｐと撮像手段１の光学系との
間の焦点距離Ｓｃ＋Ｓoffを自動補正することができ
る。

【００２１】続いて、映像入出力装置１０の動作につい
て説明をする。図２は、映像入出力装置１０の動作例を
示すフローチャートである。この例では、被写体３０の
任意の点を注視する観測者の眼球運動が撮像手段４によ
って撮像されると、その観測者の眼球運動から認識され
た瞳孔の動きに基づいてその被写体における観察者の注
視点ｐと撮像手段１との間の焦点距離Ｓｃ＋Ｓoffを補
正することを前提とする。

【００２２】これを前提として、図２のフローチャート
のステップＡ１で、観察者の注視点ｐが撮像手段４で検
出される。その後、ステップＡ２で観察者の眼球表面か
ら注視点ｐに至る離隔距離Ｓｈと、その観察者が注視し
た被写体３０における注視点ｐと撮像手段１との間の焦
点距離Ｓｃ＋Ｓoffとが画像処理手段２よって比較され
る。ここで、注視点ｐに至る離隔距離Ｓｈと撮像手段１
の焦点距離Ｓｃ＋Ｓoffとが一致している場合には、光
学系の調整は不要なので、ステップＡ８に移行して、観
察者の眼球運動の監視を継続する。この注視点ｐに至る
離隔距離Ｓｈと撮像手段１の焦点距離Ｓｃ＋Ｓoffとが
不一致の場合には、ステップＡ３に移行する。

【００２３】このステップＡ３では、注視点ｐに至る離
隔距離Ｓｈが撮像手段１の焦点距離Ｓｃ＋Ｓoffよりも
多い（Ａ）か、少ない（Ｂ）かが判定される。例えば、
注視点ｐに至る離隔距離Ｓｈが撮像手段１の焦点距離Ｓ
ｃ＋Ｓoffよりも多い場合には、ステップＡ４に移行し
て画像処理手段２によってその焦点距離Ｓｃを増加する
ように撮像手段１の絞りやレンズなどの焦点光学系が自
動調整される。

【００２４】そして、この焦点光学系が自動調整される
結果で、ステップＡ５で離隔距離Ｓｈと焦点距離Ｓｃ＋
Ｓoffとが一致した場合には、ステップＡ８に移行し、
一致しない場合はステップＡ４に戻って調整を継続す
る。

【００２５】反対に、観察者の眼球表面から注視点ｐに
至る離隔距離Ｓｈが焦点距離Ｓｃ＋Ｓoffよりも少ない
場合には、ステップＡ６に移行して画像処理手段２によ
り、その焦点距離Ｓｃを減少するように撮像手段１の光
学系が調整される。その調整結果で、ステップＡ７で離
隔距離Ｓｈと焦点距離Ｓｃ＋Ｓoffとが一致した場合に
は、ステップＡ８に移行し、一致しない場合はステップ
Ａ６に戻って調整を継続する。これにより、観察者の注
視点ｐと撮像手段１の光学系との間の焦点距離Ｓｃ＋Ｓ
offを自動補正することができる。

【００２６】このように本実施形態によれば、表示手段
３の表側又は裏側に設けられた撮像手段４、４’によっ
て、被写体３０の映像を注視した観測者の眼球運動が撮
像されるので、観察者が注視した被写体３０映像の特定
位置である注視点ｐを画像処理手段２に認識させること
ができる。

【００２７】従って、撮像手段４から得られた眼球検出
信号Ｓ４に基づいて撮像手段１の焦点距離Ｓｃ＋Ｓoff
が画像処理手段２によって補正されるので、観測者の眼
球運動から認識された瞳孔の動きに基づいた最適な位置
に、その観察者の注視点ｐと撮像手段１との焦点距離Ｓ
ｃ＋Ｓoffを合わせ込むことができる（撮像手段１の自
動焦点制御）。

【００２８】しかも、観測者が注視した被写体３０の特
定位置に対して撮像手段１の焦点が最適に合わせ込まれ
るので、ベストフォーカスで被写体３０の映像を撮像す
ることができると共に、その映像を最適に表示すること
ができる（最適表示制御）。更に、観測者が表示手段３
を見ていない場合にはその表示手段３への電力供給を停
止する自動セーブ制御を行うことができる。これによ
り、映像入出力装置１０をビデオカメラ及び特殊グラス
トロンなどに十分に応用することができる。

【００２９】（２）第１の実施例 図３は、映像入出力装置１０を応用した第１の実施例と
しての眼球監視機能付きのビデオカメラ１００の構成例
を示す正面図、及び、図４は、広角レンズ付きＣＣＤ装
置１４の光学系の構成例を示す断面図である。この例で
は表示手段の表側に眼球運動検出用の撮像手段が設けら
れる場合である。

【００３０】この眼球監視機能付きのビデオカメラ１０
０はいわゆるハンディカム（ソニー：商標登録）タイプ
のものであり、図３に示すビデオカメラ本体部１１及び
図１に示した表示手段３として液晶モニタ（電子ビュ−
ファインダー）１３を有している。ビデオカメラ本体部
１１には光学レンズ１２、図示しない被写体画像取得用
のＣＣＤ（Ｃharge Ｃoupled Ｄevice）装置及び信号処
理回路などが設けられる。

【００３１】この液晶モニタ１３の表示枠上部には眼球
運動検出用の撮像手段として顔面認識用のＣＣＤ装置
（顔面認識部）１４及び眼球認識用のＣＣＤ装置（眼球
認識部）１５が設けられる。ＣＣＤ装置１４では液晶モ
ニタ１３を観察する観察者の顔面が撮像されてその観察
者の顔面画像情報が認識される。この例はＣＣＤ装置１
４に隣接して眼球認識用のＣＣＤ装置１５が設けられ、
ＣＣＤ装置１４より得られた観察者の顔面画像情報から
その観察者の眼球が撮像されてその観察者の眼球画像情
報が認識される。

【００３２】少なくとも、ＣＣＤ装置１４は図４に示す
広角レンズ付きＣＣＤ撮像素子３６により構成され、両
眼球の角膜（黒目）の位置が認識され、顔面を追尾する
ように撮像される。そのために、ＣＣＤ装置１４は図４
に示す魚眼レンズ３５を有している。魚眼レンズ３５は
例えばＣＣＤ撮像素子３６の光軸上に設けられる。この
魚眼レンズ３５によって観察者の顔面部位を広範囲に撮
像できるようになされる。もちろん、通常のレンズでも
構わないが、視野が狭くなるので、観察者はＣＣＤ装置
１４に対してより多く顔面部位を向けなければならな
い。ＣＣＤ装置１５では公知の眼球認識方法を使用して
眼球の運動が把握される。

【００３３】図５は、ビデオカメラ１００の液晶モニタ
周辺部の回路構成例を示すブロック図である。図５に示
すビデオカメラ１００には、被写体画像取得用のＣＣＤ
装置（撮像手段）１６が設けられ、焦点制御信号Ｓ２に
基づいて被写体３０の映像が撮像されて撮像信号Ｓ１が
発生される。このＣＣＤ装置１６の出力段には信号処理
回路（画像処理手段）１７が接続され、撮像信号Ｓ１を
画像処理した後の映像信号Ｓ３及び焦点制御信号Ｓ２が
出力される。この例では焦点制御信号Ｓ２に基づいてＣ
ＣＤ装置１６の焦点距離が自動調整される。

【００３４】この焦点制御信号Ｓ２は液晶モニタ（電子
ビューファインダー）１３の電力セーブ制御にも応用す
ることができる。この電力セーブ制御では一定時間、観
察者が液晶モニタ１３を見ていない場合には、液晶モニ
タ１３及びＣＣＤ装置１６への電力供給を停止するもの
である。なお、観察者が液晶モニタ１３を覗き込んだと
きは、ＣＣＤ装置１６及び液晶モニタ１３の電力供給を
再開（電源起動）するようになる。この機能によってバ
ッテリーの消費を抑えることができるので、携帯用のビ
デオカメラ１００のバッテリーの使用継続時間を長くす
ることができる。

【００３５】この信号処理回路１７には液晶モニタ（表
示手段）１３が接続され、映像信号Ｓ３に基づいて被写
体３０の映像が表示される。液晶モニタ１３の表側には
顔面認識用のＣＣＤ装置１４及び眼球認識用のＣＣＤ装
置１５が設けられる共に、この液晶モニタ１３を注視す
る観察者４０の顔面及び眼球４０Ａが撮像され、その観
察者に係る顔面認識信号Ｓ４１及び眼球認識信号Ｓ４２
が発生される。

【００３６】この顔面認識信号Ｓ４１及び眼球認識信号
Ｓ４２は顔面画像情報及び眼球画像情報となって信号処
理回路１７に出力される。信号処理回路１７では顔面認
識信号Ｓ４１及び眼球認識信号Ｓ４２に基づいて表示モ
ニタ１３の任意の点ｐ’を注視する観測者の眼球運動を
解析することにより、観察者が注視した被写体映像の特
定位置である注視点ｐを認識するようになされる。この
際の解析処理については、図１で説明した自動焦点補正
時の処理方法を応用することができる。

【００３７】図６は、本発明の映像取得方法に係るビデ
オカメラ１００のＣＣＤ装置１４及びＣＣＤ装置１５に
よる観察者の顔面部位の画像取得例を示すイメージ図で
ある。この例では、任意の被写体３０の映像を取得する
場合に、その被写体３０を注視する観察者４０の眼球運
動が撮像され、この観察者４０の眼球運動に基づいて被
写体３０の映像取得領域が決定され、この映像取得領域
内の被写体３０を含む映像のみを取得するようになされ
る。

【００３８】図６に示す波線は観察者４０の顔面部位の
輪郭である。この例では、少なくとも、ＣＣＤ装置１４
で常に眼球を検出するようにして観察者４０の顔面部位
のおおまかな位置が認識される。これと共に観察者４０
の頭部の変位量が検出され、顔面部位の動きが認識され
る。実線で示した撮像領域にはＣＣＤ装置１５により撮
像された観察者４０の両目の瞳孔映像が得られる。その
ために、ＣＣＤ装置１４によって得られた顔面部位の大
まかな位置情報から観察者の眼球位置が認識され、この
眼球位置情報に基づいてＣＣＤ装置１５により眼球４０
Ａ，４０Ｂの映像が撮像される。この眼球撮像情報から
例えば、眼球４０Ａ，４０Ｂの中心位置及び瞳孔絞り量
が算出される。

【００３９】この眼球４０Ａ，４０Ｂの認識には、白眼
の部分と瞳の黒部分のコントラストの差を応用して区別
する。もちろん、この区別は信号処理回路１７によって
行われる。例えば、眼球認識信号Ｓ４２が二値化され、
ＮＴＳＣ方式の眼球画像情報が生成され、予め準備され
た基準値とこの眼球画像情報とが比較され、この眼球画
像情報が基準値を越えた場合には、黒目領域と判断され
る。その眼球画像情報が基準値を越えない場合には、白
目領域と判断される。

【００４０】そして、この黒目領域から瞳孔部分のみを
抽出したＮＴＳＣ方式の眼球画像情報は、フレームメモ
リなどに展開され、水平走査線上における瞳孔部分（エ
ッジ）が抽出される。この瞳孔部分のエッジ位置をカウ
ンタなどにより計測することにより、カメラ座標系にお
ける瞳孔部分の位置座標を各水平走査線毎に決定するこ
とができる。例えば、瞳孔中心は黒目領域の反転画像の
エッジにより形成される輪郭円の重心を求めることによ
り得られる。瞳孔中心の動きは観察者４０の視覚反応に
よって上下左右に変動する眼球運動となって取得され
る。

【００４１】この例では、被写体３０を追従する観察者
４０の眼球の中心が算出されると、この観察者４０の眼
球中心の追従運動に基づいて被写体３０を含む映像取得
領域ｑが決定される。つまり、観察者４０の眼球運動の
速度と眼球の移動方向（共同運動又は離反運動）が求め
られ、その観察者４０の眼球の移動スピードが一定速度
以上で追従運動を起こす場合（眼球が跳躍的運動を起こ
す場合もある）には、この共同運動又は離反運動に基づ
いて被写体３０を含む映像取得領域ｑが決定される。

【００４２】ここで跳躍的運動とは、何かに反応して、
はっと振り向きざま人の顔をじっと見るような状態をい
う。また、眼球の共同運動とは、両方の黒目が同じ方向
へ移動する状態をいい、眼球の離反運動とは、黒目が別
方向へ移動する状態をいう。また、観察者４０の眼球の
移動スピードが一定速度以下で眼球が追従運動を起こす
ときは、観察者４０がその被写体（被追従対象）３０を
認識したら、その被写体３０の映像を追うように映像取
得領域を切り換える。ここで追従運動とは逃亡者を追い
かけるような状態である。

【００４３】図７Ａは、ビデオカメラ１００による移動
前の被写体映像、及び、図７Ｂはその移動後の被写体映
像の取得例を示すイメージ図である。

【００４４】この例では、図７Ａに示すイメージ図の左
側から図７Ｂに示すイメージ図の右側に移動する被写体
３０の映像を観察者４０がビデオカメラ１００を固定し
て撮像する場合を想定する。この場合に、図７Ａに示す
被写体３０を追従する観察者４０の眼球の中心が算出さ
れると、この観察者４０の眼球中心の追従運動に基づい
て被写体３０の注視点ｐを含む映像取得領域ｑが決定さ
れる。もちろん、映像取得領域ｑはパターン認識技術に
係るウインド設定時の画像処理概念のように予めｎ×ｍ
画素というように対象領域の大きさを決めて置いてもよ
く、その大きさを自由に可変設定できるようにしてもよ
い。

【００４５】この被写体３０が図７Ａに示すイメージ図
の左側から図７Ｂに示すイメージ図の右側に移動する間
において、映像取得領域ｑ内の被写体３０を含む映像の
みがＣＣＤ装置１６によって撮像され、図示しない８ｍ
ｍビデオテープなどの記憶媒体に記録される。

【００４６】従って、ズーム・アップ／ダウン（パー
ン）機構などの光学系を手動操作することなく、観察者
４０の眼球中心の追従運動に基づいて映像取得領域ｑ内
の被写体３０を含む映像、すなわち、観察者４０が注視
した（興味を示した）領域の映像のみを取得することが
できる。これにより、観察者４０が注視していない（興
味を示さない）領域の映像を極力記録しないようにする
トリミング処理を画像取得段階で行うことができる。従
って、被写体映像を格納するための８ｍｍビデオテープ
などの記憶媒体を有効に使用することができる。

【００４７】図８は、ビデオカメラ１００によるズーム
アップ時の被写体映像の取得例を示すイメージ図であ
る。図９Ａは、観察者４０の瞳孔（開度＝大）の絞り運
動例、図９Ｂはその瞳孔（開度＝小）の絞り運動例を示
すイメージ図である。

【００４８】この例では、図８に示すイメージ図の中心
に存在する被写体３０の映像を観察者４０がビデオカメ
ラ１００を固定して撮像する場合を想定する。この場合
に、図８に示す被写体３０を注視する観察者４０の瞳孔
の開閉量が算出される。例えば、上述した観察者の黒目
領域から瞳孔部分のみを抽出したＮＴＳＣ方式の眼球画
像情報が、フレームメモリなどに展開され、水平走査線
上における瞳孔部分（エッジ）が抽出される。この瞳孔
部分のエッジ位置がカウンタなどにより計測され、カメ
ラ座標系における瞳孔部分の位置座標が各水平走査線毎
に決定される。

【００４９】その後、黒目領域の反転画像のエッジによ
り形成される輪郭円（被比較パターン）が求められ、こ
の被比較パターンに基づいて瞳孔開閉量が得られる。こ
の例では予め設定された基準パターンとこの被比較パタ
ーンとを比較することによりその瞳孔開閉量の多少、つ
まり、瞳孔開度の大小が判定される。具体的には瞳孔開
度に関して基準値が設定され、この基準値と瞳孔の開閉
量とが比較され、基準値よりも瞳孔の開閉量が大きい場
合には瞳孔開度＝大と判定される。また、基準値よりも
瞳孔の開閉量が小さい場合には瞳孔開度＝小と判定され
る。その後、観察者４０の瞳孔運動に基づいて被写体３
０の注視点ｐを含む映像取得領域ｑが決定される。

【００５０】一般に、物体の一点を注視しない（物体に
集中しない）場合には図９Ａに示す観察者４０の眼球４
０Ａの瞳孔は広がる。これを瞳孔開度＝大の状態とす
る。また、物体の一点を注視する（物体に集中する）と
図９Ｂに示す観察者４０の眼球４０Ａの瞳孔は縮まる。
これを瞳孔開度＝小の状態とする。従って、観察者４０
が被写体３０の特定位置を注視したか否かは瞳孔開閉量
を検出することにより画像処理系に認識させることがで
きる。

【００５１】この例では、図８に示す被写体３０の注視
点ｐを含む映像取得領域ｑを決定するときに、物体の一
点を注視しない場合に比べて、物体の一点を注視した場
合には、観察者４０の瞳孔開度が小さくなるという性質
を利用するものである。もちろん、映像取得領域ｑは上
述したウインド設定時の画像処理概念のように予め大き
さを決めて置いてもよく、その大きさを自由に可変設定
できるようにしてもよい。この映像取得領域ｑ内の被写
体３０を含む映像のみがＣＣＤ装置１６によって撮像さ
れ、図示しない８ｍｍビデオテープなどの記憶媒体に記
録される。

【００５２】従って、ズーム・アップ／ダウン機構など
の光学系を手動操作することなく、観察者４０の瞳孔運
動に基づいて映像取得領域ｑ内の被写体３０を含む映
像、すなわち、観察者４０が注視した領域の映像のみを
取得することができる。これにより、観察者４０が注視
していない領域の映像を極力記録しないようにするトリ
ミング処理を画像取得段階で行うことができる。従っ
て、被写体映像を格納するための８ｍｍビデオテープな
どの記憶媒体を有効に使用することができる。

【００５３】上述の観察者４０の顔面部位の認識方法に
ついては、これに限られることはく、次のような方法で
もよい。図１０は被認識物体４１の装着例を示すイメー
ジ図である。この例では液晶モニタ１３及びＣＣＤ装置
１５が設けられる場合であって、予め液晶モニタ１３を
観察する観察者４０の顔面近くに被識別物体４１を装着
させ、この被識別物体４１を検出して観察者の顔面部位
を予測する方法である。

【００５４】この被識別物体４１として例えば磁気を帯
びたネックレス及びイヤリングなどを予め準備する。こ
のネックレス及びイヤリングなどを図１０に示す観察者
４０に装着してもらう。そして、ＣＣＤ装置１４に代わ
って磁気センサを利用した位置測定手段が設けられ、磁
気を帯びたネックレス及びイヤリングなどの位置情報が
検出される。この位置情報をＩＥＥＥ１３９４の通信プ
ロトコルに基づく信号線（赤外線又は無線方式でもよ
い）でカメラ本体部１１へ伝送し、観察者４０の顔面画
像情報を画像処理系に認識させるようにしてもよい。

【００５５】このように本実施例としてのビデオカメラ
１００によれば、液晶モニタ１３の表側に設けられた、
顔面認識用のＣＣＤ装置１４及び眼球認識用のＣＣＤ装
置１５によって、被写体３０の映像を注視した観測者４
０の眼球運動が撮像されるので、観察者４０が注視した
被写体映像の特定位置である注視点ｐを信号処理回路１
７に認識させることができる。

【００５６】例えば、液晶モニタ１３を観察する観察者
４０の顔面がＣＣＤ装置１４によって認識されると、こ
のＣＣＤ装置１４より得られた観察者４０の顔面画像情
報に基づいて、その観察者４０の眼球４０がＣＣＤ装置
１５によって認識されるので、一方で観察者４０に映像
を液晶モニタ１３で見せながら、他方で観察者４０の眼
球運動を取得することができる。

【００５７】従って、ＣＣＤ装置１４から得られた顔面
認識信号Ｓ４１及びＣＣＤ装置１５から得られた眼球認
識信号Ｓ４２に基づいて被写体画像取得用のＣＣＤ装置
１６の焦点距離Ｓｃ＋Ｓoffが信号処理回路１７によっ
て補正できるので、観測者の眼球運動から認識された瞳
孔の動きに基づいた最適な位置に、その観察者４０の注
視点ｐとＣＣＤ装置１６との焦点距離Ｓｃ＋Ｓoffを合
わせ込むことができる（ＣＣＤ装置１６の自動焦点制
御）。

【００５８】しかも、カメラ本体部１１の光学レンズ系
をズームアップさせたり、パーンさせたりするときに、
観測者が注視した被写体３０の特定位置に対してＣＣＤ
装置１６の焦点が最適に合わせ込まれるので、ベストフ
ォーカスで被写体３０の映像を撮像することができると
共に、その映像を最適に液晶モニタ１３に表示すること
ができる（最適表示制御）。これにより、高機能かつ高
性能のビデオカメラ１００を提供できる。

【００５９】（３）第２の実施例 図１１は、映像入出力装置１０を応用した第２の実施例
としての眼球監視機能付きのビデオカメラ２００の液晶
表示部周辺の回路構成例を示すブロック図である。この
例では表示手段の裏側に眼球運動検出用の撮像手段が設
けられる場合である。

【００６０】このビデオカメラ２００は表示手段として
図１１に示す液晶表示部２３、分光用のプリズム２５、
光源２８及びアイフード（アイキャップ）２９を有して
いる。この例では、光源２８から照射されたバックライ
ト光Ｌ１は分光用のプリズム２５で９０°に偏光され、
液晶表示部２３の裏面に導かれる。液晶表示部２３では
映像信号Ｓ３に基づいて光源２８によるバックライト光
Ｌ１がシャッター制御される。

【００６１】この液晶表示部２３の表面側にはアイフー
ド２９が設けられ、観察者の眼球４０Ａによって液晶表
示面が覗かれるようになされる。観察者の眼球４０Ａに
よる動きは液晶シャッターが開放されたときに、液晶表
示部２３及び分光用のプリズム２５を介して眼球運動検
出用の撮像手段としてのＣＣＤ撮像素子２４によって撮
像される。このＣＣＤ撮像素子２４を撮像許可信号Ｓ５
によって制御してもよい。例えば、液晶表示部２３への
映像信号Ｓ３がオフしているときに、液晶シャッターの
開放条件の下にＣＣＤ撮像素子２４による撮像を許可す
る。これによっても、観察者の眼球運動を認識できる。

【００６２】このＣＣＤ撮像素子２４によって発生され
た眼球検出信号Ｓ４は、信号処理回路２２に出力され
る。信号処理回路２２では眼球検出信号Ｓ４に基づいて
液晶表示部２３の任意の点ｐ’を注視する観測者の眼球
運動を解析することにより、観察者が注視した被写体映
像の特定位置である注視点ｐを認識するようになされ
る。そして、信号処理回路２２では被写体画像取得用の
ＣＣＤ装置（撮像手段）２１からの撮像信号Ｓ１を眼球
検出信号Ｓ４に基づいて所定の画像処理した後に、映像
信号Ｓ３及び焦点制御信号Ｓ２が出力される。この焦点
制御信号Ｓ２に基づいてＣＣＤ装置２１の焦点距離が自
動調整される。

【００６３】続いて、図１２〜図１４を参照しながら、
ビデオカメラ２００の動作例を説明する。この例では、
観察者の眼球画像を得るために２つの方法が準備されて
いる。第１の方法は、被写体画像及び眼球画像の合成画
像情報から被写体画像情報を差し引いて眼球画像情報を
得るものである。第２の方法は被写体画像取得用のＣＣ
Ｄ装置２１による撮像信号Ｓ１がオフする期間、例え
ば、当該表示画面と次の表示画面のフレーム間を利用し
て、液晶表示部２３のシャッターを全開して観察者の眼
球映像を取り込むものである。

【００６４】 第１の方法 図１２ＡはＣＣＤ撮像素子２４による取得画像例、図１
２Ｂは液晶表示部２３による画像表示例、図１２Ｃは観
察者の眼球画像例を示すイメージ図である。この例では
被写体画像取得用のＣＣＤ装置２１による被写体３０の
映像と観察者の眼球映像とがＣＣＤ撮像素子２４によっ
て合成して撮像されることを前提とする。

【００６５】例えば、液晶表示部２３には被写体画像取
得用のＣＣＤ装置２１により撮像された、被写体３０の
映像として図１２Ａに示す「山」の映像に関する映像信
号Ｓ３が供給される。従って、映像信号Ｓ３に基づいた
「山」の映像が観察者の眼球４０Ａに導かれる。そし
て、被写体として「山」の映像と観察者の眼球の映像と
を合成した図１２Ｂに示す合成画像がＣＣＤ撮像素子２
４によって撮像される。このとき、分光用のプリズム２
５から得られる戻り光Ｌ２がＣＣＤ撮像素子２４によっ
て撮像される。この戻り光Ｌ２には、「山」の映像と観
察者の眼球の映像とが含まれ、この戻り光Ｌ２をＣＣＤ
撮像素子２４によって検出すると、眼球検出信号Ｓ４が
発生される。

【００６６】そして、この眼球検出信号Ｓ４を入力した
信号処理回路２２では、ＣＣＤ撮像素子２４により撮像
された合成画像から被写体画像取得用のＣＣＤ装置２１
による被写体３０の「山」の映像を差し引く減算処理が
なされる。これにより、信号処理回路２２により図１２
Ｃに示す観察者の眼球映像のみを認識させることができ
る。従って、ＣＣＤ撮像素子２４から得られた眼球検出
信号Ｓ４に基づいて被写体画像取得用のＣＣＤ装置２１
の焦点距離Ｓｃ＋Ｓoffが信号処理回路２２によって補
正できる。

【００６７】 第２の方法 図１３Ａは、映像信号Ｓ３の波形例、図１３Ｂは撮像許
可信号Ｓ５の波形例を示す図である。図１４Ａは映像出
力信号による被写体３０の表示例、図１４Ｂは観察者の
眼球画像例を示すイメージ図である。この例では液晶表
示部２３への映像信号Ｓ３がオフしているときに、液晶
シャッターの開放条件の下にＣＣＤ撮像素子２４に、所
定レベルの撮像許可信号Ｓ５が出力されることを前提と
する。なお、制御対象となる信号は映像信号Ｓ３そのも
のでなくても、その映像信号Ｓ３を液晶表示部２３へ出
力許可する制御信号のようなものでもよい。

【００６８】そして、液晶表示部２３には被写体画像取
得用のＣＣＤ装置２１により撮像された、被写体３０の
映像として、図１４Ａに示した「山」の映像に関する映
像信号Ｓ３が供給される。その表示画面の１フレーム期
間中は例えば、映像信号Ｓ３の出力許可信号がハイ
（Ｈ）・レベルとなる。従って、映像信号Ｓ３に基づい
た「山」の映像が観察者の眼球４０Ａに導かれる。この
期間では図１３Ｂに示すロー（Ｌ）・レベルの撮像許可
信号Ｓ５がＣＣＤ撮像素子２４に出力されるので、観察
者の眼球映像は撮像されない。

【００６９】また、図１３Ｂに示すフレーム間では映像
信号Ｓ３の出力許可信号がロー（Ｌ）・レベルとなる。
従って、映像信号Ｓ３に基づいた映像は無くオフし、観
察者の眼球４０Ａには残像現象だけが作用する。その代
わりにこの期間では図１３Ｂに示すハイ（Ｈ）・レベル
の撮像許可信号Ｓ５がＣＣＤ撮像素子２４に出力され、
しかも、液晶シャッターが全開放されるので、分光用の
プリズム２５から得られる戻り光Ｌ２がＣＣＤ撮像素子
２４によって撮像される。この戻り光Ｌ２には、観察者
の眼球の映像が含まれ、この戻り光Ｌ２をＣＣＤ撮像素
子２４によって検出すると、眼球検出信号Ｓ４が発生さ
れる。

【００７０】そして、この眼球検出信号Ｓ４を入力した
信号処理回路２２によって、図１４Ｂに示す観察者の眼
球映像のみを認識させることができる。従って、ＣＣＤ
撮像素子２４から得られた眼球検出信号Ｓ４に基づいて
被写体画像取得用のＣＣＤ装置２１の焦点距離Ｓｃ＋Ｓ
offが信号処理回路２２によって補正できる。

【００７１】このように本実施例としてのビデオカメラ
２００によれば、液晶表示部２３の裏側に設けられた、
眼球運動検出用のＣＣＤ撮像素子２４によって、被写体
３０の映像を注視した観測者４０の眼球運動が撮像され
るので、観察者が注視した被写体映像の特定位置である
注視点ｐを信号処理回路２２に認識させることができ
る。

【００７２】従って、ＣＣＤ撮像素子２４から得られた
眼球検出信号Ｓ４に基づいて被写体画像取得用のＣＣＤ
装置２１の焦点距離Ｓｃ＋Ｓoffが信号処理回路２２に
よって補正できるので、観測者の眼球運動から認識され
た瞳孔の動きに基づいた最適な位置に、その観察者の注
視点ｐとＣＣＤ装置２１との焦点距離Ｓｃ＋Ｓoffを合
わせ込むことができる（ＣＣＤ装置２１の自動焦点制
御）。

【００７３】しかも、図示しないカメラ本体部の光学レ
ンズ系をズームアップさせたり、パーンさせたりすると
きに、観測者が注視した被写体３０の特定位置に対して
ＣＣＤ装置２１の焦点が最適に合わせ込まれるので、ベ
ストフォーカスで被写体３０の映像を撮像することがで
きると共に、その映像を最適に液晶表示部２３に表示す
ることができる（最適表示制御）。これにより、高機能
のビデオカメラ２００を提供できる。

【００７４】この例では液晶表示部２３のバックライト
として光源２８のみを設ける場合について説明したが、
これに限られることはなく、液晶表示部２３又は光源２
８の近くに、図１１に示す天窓１９を設け、この天窓１
９から自然光を取り込むようにしてもよい。その際に外
部の映像が入り込まないように曇りガラスなどでフィル
タリングする。この構成によって天窓１９からの自然光
と光源２８によるバックライト光Ｌ１とを液晶表示部２
３に導くことができる。このときに、分光用のプリズム
２５に集光用のプリズム１８を組み合わせ、自然光の光
軸を９０°偏光して、液晶表示部２３のプリズム２５に
導いてもよい。光源用の電力が節約できる。

【００７５】（４）第３の実施例 図１５は、映像入出力装置１０を応用した第３の実施例
としての眼球監視機能付きのビデオカメラ３００の液晶
表示面の構成例を示すイメージ図である。この例では表
示手段の裏側に第２の実施例と同様にして眼球運動検出
用のＣＣＤ撮像素子が設けられる場合であって、液晶表
示部２３がラスタ走査方式を採る場合に、その液晶表示
部２３にシャッター開放ラインが割り当てられ、そのラ
インの液晶シャッターが常時開放されるものである。

【００７６】図１５に示す液晶表示部２３はその走査ラ
インを拡大すると、図１３Ａに示した映像信号Ｓ３によ
って液晶シャッターが開閉するライン（図中白抜き部
分）Ｌｐと、その液晶シャッターが常時開放されるシャ
ッター開放ライン（図中斜線部分）Ｌｏとを有してい
る。このシャッター開放ラインＬｏは液晶表示画面にお
いて、観察者の眼球位置に対峙する領域の走査ラインに
割り当てられる。その領域の走査ラインの中で数ライン
置きにシャッター開放ラインＬｏが設けられ、観察者の
眼球映像が図１１に示したようなＣＣＤ撮像素子２４に
よって常時取り込まれる。その他の構成は第２の実施例
と同じ構成を採るのでその説明を省略する。シャッター
開放ラインＬｏは、１／３０フレームで書き換えられる
と共に液晶シャッターによって開閉されるラインＬｐ間
に挿入することが望ましい。

【００７７】このように本実施例としてのビデオカメラ
３００によれば、シャッター開放ラインＬｐによって観
察者の眼球映像を常時ＣＣＤ撮像素子２４に取り込むこ
とができるので、被写体３０の映像を注視した観測者４
０の眼球運動を常時撮像することができる。

【００７８】しかも、信号処理回路２２では、第２の実
施例のように減算処理を行うことなく、観察者が注視し
た被写体映像の特定位置である注視点ｐを認識させるこ
とができる。従って、第２の実施例と同様にして眼球検
出信号Ｓ４に基づいたＣＣＤ装置２１の自動焦点制御及
び液晶表示部２３の表示制御を行うことができる。

【００７９】（５）第４の実施例 図１６は、映像入出力装置１０を応用した第４の実施例
としての眼球監視機能付きのビデオカメラ４００の液晶
表示部裏面の構成例を示すイメージ図である。この例で
は液晶表示部３３の裏側に反射膜３２が形成されたいわ
ゆる反射型の液晶表示装置の場合において、第３の実施
例と同様にしてシャッター開放ラインＬｏを割り当てた
場合に、そのシャッター開放ラインＬｏの光量を補正す
るようになされたものである。

【００８０】図１６に示すビデオカメラ４００ではラス
タ走査方式が採られ、その液晶表示部２３にはシャッタ
ー開放ラインが割り当てられ、その走査ラインの液晶シ
ャッターが常時開放されるものである。この例では液晶
表示部２３の裏側には光源２８、反射膜３２、分光用の
プリズム２５、補助光源３８及び第３の実施例で説明し
たようなＣＣＤ撮像素子２４が設けられる。

【００８１】この反射膜３２はマジックミラー的に機能
するものであり、例えば、外部からの光を反射すると共
に、光源２８による光を透過するものである。反射膜３
２の裏面側には光源２８及び補助光源３８が設けられ、
光源２８による光は一定に照射され、補助光源３８によ
る光はフィードバック制御される。上述したシャッター
開放ラインＬｐの部分は反射膜３２が形成されずに開口
した状態となっている。

【００８２】従って、反射膜３２が形成された部分の反
射率と、シャッター開放ラインＬｐが形成された開口部
分の反射率とを比較した場合に、その差が大幅に異なっ
ている。そこで、この例ではＣＣＤ撮像素子２４の出力
段に光補正機構として光量調整回路３１が接続され、Ｃ
ＣＤ撮像素子２４による眼球検出信号Ｓ４に基づいて補
助光源３８による発光量が調整される。

【００８３】例えば、図１７に示す液晶表示部２３の被
写体の映像を表示する部分Ａの輝度と、観察者の眼球運
動を取得する部分Ｂの輝度とが均一になるように補助光
源３８がフィードバック制御される。この制御では液晶
表示部２３の外部の光量を検出してバックライトとして
の基準光量が決定され、その基準光量に見合う光量が補
助光源３８から照射される。この結果、反射膜３２によ
る光量と補助光源３８による光量とが同じくなるので、
映像表示部分Ａの輝度と眼球運動取得部分Ｂの輝度とを
均一にすることができる。

【００８４】（６）第５の実施例 図１８は、映像入出力装置１０を応用した第５の実施例
としての眼球監視機能付きのビデオカメラ５００の液晶
表示部４３の構成例を示す一部拡大図である。

【００８５】この例では液晶表示部４３の表示画面側に
眼球運動検出用の撮像手段が設けられる場合である。す
なわち、ビデオカメラ５００は図１８に示す液晶表示部
４３を有している。この例では、観察者の眼球に相対す
る位置であって、液晶表示部４３を構成する液晶表示セ
ル４３Ａ上に眼球運動検出用の撮像手段を構成する電荷
結合素子４４Ａが分散して配置されて成るものである。

【００８６】この液晶表示部４３は、所定の大きさの液
晶表示セル４３Ａが図１９Ａに示す行方向に７画素、列
方向に５画素というようにマトリックス状に配置された
半導体集積基板である。実際の液晶表示セル４３Ａの集
積規模は数百画素×数千画素単位である。そして、この
７×５画素の液晶表示セル領域（フィルム）とほぼ同じ
大きさの透明フィルム上に、図１９Ｂに示すような２×
３画素の電荷結合素子４４Ａが配置される。実際の電荷
結合素子４４Ａの集積規模は数十画素×数百画素単位で
ある。

【００８７】この電荷結合素子４４Ａの１画素は液晶表
示セル４３Ａの１画素とほぼ同じ大きさである。例え
ば、電荷結合素子４４Ａは列方向で２列目と４列目であ
って、行方向では２行目、４行目及び６行目の計６画素
である。

【００８８】この例では液晶表示セル４３Ａの半導体基
板上に電荷結合素子４４Ａの透明フィルムを重ね合わさ
れる。従って、図１９Ｃに示す液晶表示セル領域上の特
定位置に電荷結合素子４４Ａを分散させた歯抜け状の液
晶表示部４３を構成することができる。その際の半導体
基板にはサファイヤが使用され、その基板上にシリコン
を部分的に気相成長できるので、液晶表示セル４３Ａと
電荷結合素子４４Ａとを１チップ化したＣＣＤ付きの液
晶表示装置を構成することができる。更に、シリコンの
質は悪くなるが、ガラスにＳｉ膜を部分的に形成する方
法も使用することができる。

【００８９】このように本実施例としてのビデオカメラ
５００によれば、液晶表示セル４３Ａの半導体基板上に
電荷結合素子４４Ａの透明フィルムが重ね合わされるの
で、被写体の映像を注視した観測者の眼球運動を常時撮
像することができる。また、ＣＣＤ付き液晶表示装置を
薄型化することができる。

【００９０】しかも、第２の実施例のような減算処理を
行うことなく、観察者が注視した被写体映像の特定位置
である注視点を認識させることができる。従って、第２
の実施例と同様にして被写体画像取得用のＣＣＤ装置の
自動焦点制御及び液晶表示部４３の表示制御を行うこと
ができる。

【００９１】（７）第６の実施例 図２０は、映像入出力装置１０を応用した第６の実施例
としての眼球監視機能付きの特殊グラストロン６００の
構成例を示す正面図である。この例では図１１に示した
眼球運動検出機構が右目用及び左目用の液晶表示部の裏
側に適用されるものである。

【００９２】図２０に示す特殊グラストロン６００は非
透過型のヘッドマウントディスプレイを構成しており、
通常のＣＣＤ撮像装置５１と、第１の画像表示素子とし
ての右眼表示用の液晶表示装置（以下ＬＣＤという）２
６と、第２の画像表示素子としての左眼表示用のＬＣＤ
２７と、図示しない２組の眼球運動検出用のＣＣＤ撮像
素子５４Ａ、５４Ｂとを有している。

【００９３】つまり、観察者の眉間に相当する位置に
は、通常のＣＣＤ撮像装置（以下単にＣＣＤ装置とい
う）５１が配置され、観察者の属する外界像が撮像され
る。従って、観察者が被写体の方向に顔を向けると、そ
の被写体の方向にＣＣＤ装置５１が向くようになる。こ
の例では、ＣＣＤ装置５１に自動ズーム機構が設けら
れ、被写体の任意の点に注視すると、自動的にその被写
体の任意の点にズームさせることができる。この自動ズ
ーム機構に関しては、例えば、技術文献である特開平８
−１７９１９３号公報の電子機器及びカメラの技術を応
用することができる。

【００９４】そして、特殊グラストロン６００内の観察
者の右目に相対する位置にはＬＣＤ２６が取付けられ、
例えば、通常のＣＣＤ装置５１により撮影した被写体の
映像と、予め準備されたコンピユータ・グラフィックス
（ＣＧ）などによる仮想画像とを合成したステレオ画像
の一方が表示される。また、その観察者の左目に相対す
る位置にはＬＣＤ２７が取付けられ、上述の被写体の映
像と、仮想画像と合成したステレオ画像の他方が表示さ
れる。この特殊グラストロン６００は観察者の顔面又は
頭部に装着され、上述のＬＣＤ２６のステレオ画像と、
ＬＣＤ２７のステレオ画像とが観察者の眼球に導かれ、
ＬＣＤ２６のステレオ画像とＬＣＤ２７のステレオ画像
とは観察者の頭の中で合成される。

【００９５】続いて、特殊グラストロン６００の内部の
構成例について説明する。図２１は、特殊グラストロン
６００の内部構成例を示す一部破砕の上面図である。こ
の例では、観察者の眼球に相対する位置であって、図２
１に示す右眼表示用のＬＣＤ２６と、左眼表示用のＬＣ
Ｄ２７の裏側に、第２の実施例で説明したような観察者
の眼球運動を検出するためのＣＣＤ撮像素子５４Ａ、５
４Ｂが設けられる。バックライトは光源５８Ａ，５８Ｂ
から照射する。なお、第２の実施例と同じ名称のものは
同じ機能を有するためその説明を省略する。

【００９６】この特殊グラストロン６００ではＬＣＤ２
６及びＬＣＤ２７の表面側から観察者の眼球４０Ａ及び
４０Ｂによって液晶表示面が覗かれるようになされる。
観察者の右眼球４０Ａによる動きはＬＣＤ２６の液晶シ
ャッターが開放されたときに、ＬＣＤ２６及び分光用の
プリズム５５Ａを介してＣＣＤ撮像素子５４Ａによって
撮像される。また、観察者の左眼球４０Ｂによる動きは
ＬＣＤ２７の液晶シャッターが開放されたときに、ＬＣ
Ｄ２７及び分光用のプリズム５５Ｂを介してＣＣＤ撮像
素子５４Ｂによって撮像される。

【００９７】図２２は、特殊グラストロン６００の回路
構成例を示すブロック図である。この例の特殊グラスト
ロン６００では左右の映像が交互にＬＣＤ２６及びＬＣ
Ｄ２７に出力されるものである。従って、右目用のＬＣ
Ｄ２６にステレオ画像を出力しているときに、左目の眼
球運動を左目用のＬＣＤ２７の裏面に設けたＣＣＤ撮像
素子５４Ｂで撮像し、反対に、左目用のＬＣＤ２７にス
テレオ画像を出力しているときに、右目の眼球運動を右
目用のＬＣＤ２６の裏面に設けたＣＣＤ撮像素子５４Ａ
で撮像するようになされる。

【００９８】そのため、この例ではマルチプレックス回
路５３が設けられる。マルチプレックス回路内部には２
組の切り替えスイッチＳＷ１及びＳＷ２が設けられる。
各々のスイッチＳＷ１及びＳＷ２は２回路１選択スイッ
チを成している。スイッチＳＷ１の中性点ｃは信号処理
回路５２の入力に接続され、接点ａはＣＣＤ撮像素子５
４Ａに接続され、接点ｂはＣＣＤ撮像素子５４Ｂに接続
される。

【００９９】また、スイッチＳＷ２の中性点ｃは信号処
理回路５２の出力に接続され、接点ａは右目用のＬＣＤ
２６に接続され、接点ｂは左目用のＬＣＤ２７に接続さ
れる。この２つのスイッチＳＷ１及びＳＷ２は制御部５
７によってスイッチング制御される。例えば、スイッチ
ＳＷ１でその中性点ｃを接点ｂに接続しているときは、
スイッチＳＷ２でその中性点ｃを接点ａに接続する。反
対に、スイッチＳＷ１でその中性点ｃを接点ａに接続し
ているときは、スイッチＳＷ２でその中性点ｃを接点ｂ
に接続する。もちろん、スイッチＳＷ１及びＳＷ２は制
御部５７からのスイッチ制御信号Ｓ６によって切り替え
られる。

【０１００】これにより、右目用のＬＣＤ２６にステレ
オ画像信号Ｓ３１を出力しているときに、左目の眼球運
動を撮像したＣＣＤ撮像素子５４Ｂによる眼球検出信号
Ｓ４２’を選択し、反対に、左目用のＬＣＤ２７にステ
レオ画像信号Ｓ３２を出力しているときに、右目の眼球
運動を撮像したＣＣＤ撮像素子５４Ａによる眼球検出信
号Ｓ４１’を選択することができる。

【０１０１】図２３Ａ〜図２３Ｄは、特殊グラストロン
６００の動作例を示す波形図である。この例では、左右
のステレオ画像が交互にＬＣＤ２６及びＬＣＤ２７に出
力されると共に、左右の目の眼球運動がＣＣＤ撮像素子
５４Ａ及び５４Ｂによって交互に撮像されるものであ
る。

【０１０２】例えば、図２３Ａに示すスイッチ制御信号
Ｓ６がマルチプレックス回路５３に供給されると、スイ
ッチ制御信号Ｓ６の立ち上がりで、スイッチＳＷ１の
中性点ｃが接点ｂにされると共に、スイッチＳＷ２の中
性点ｃが接点ａに接続されるので、図２３Ｂに示すステ
レオ画像信号Ｓ３１がで立ち上がり、ＬＣＤ２６に出
力される。この結果、右目用のステレオ画像がＬＣＤ２
６で表示されると共に、図２３Ｅに示すの立ち上がり
で、左目の眼球運動を撮像したＣＣＤ撮像素子５４Ｂに
よる眼球検出信号Ｓ４２’が信号処理回路５２に出力さ
れる。

【０１０３】その際に、図２３Ｃに示す左目用のステレ
オ画像信号Ｓ３２はで立ち下がり、ＬＣＤ２７には何
も出力されないし、図２３Ｄに示す右目用のＣＣＤ撮像
素子５４Ａによる眼球検出信号Ｓ４１’は検出されな
い。

【０１０４】また、図２３Ａに示すスイッチ制御信号Ｓ
６の立ち上がりで、スイッチＳＷ１の中性点ｃが接点
ａにされると共に、スイッチＳＷ２の中性点ｃが接点ｂ
に接続されるので、図２３Ｃに示すステレオ画像信号Ｓ
３２がで立ち上がり、ＬＣＤ２７に出力される。この
結果、左目用のステレオ画像がＬＣＤ２７で表示される
と共に、図２３Ｄに示すの立ち上がりで、右目の眼球
運動を撮像したＣＣＤ撮像素子５４Ａによる眼球検出信
号Ｓ４１’が信号処理回路５２に出力される。

【０１０５】その際に図２３Ｂに示す右目用のステレオ
画像信号Ｓ３１はで立ち下がり、ＬＣＤ２６には何も
出力されないし、図２３Ｅに示す左目用のＣＣＤ撮像素
子５４Ｂによる眼球検出信号Ｓ４２’は検出されない。
従って、右目用のＬＣＤ２６にステレオ画像を出力して
いるときに、左目の眼球運動を左目用のＬＣＤ２７の裏
面に設けたＣＣＤ撮像素子５４Ｂで撮像し、反対に、左
目用のＬＣＤ２７にステレオ画像を出力しているとき
に、右目の眼球運動を右目用のＬＣＤ２６の裏面に設け
たＣＣＤ撮像素子５４Ａで撮像することができる。

【０１０６】このＣＣＤ撮像素子５４Ａ及び５４Ｂによ
って発生された眼球検出信号Ｓ４１’又はＳ４２’は、
信号処理回路５２に出力される。信号処理回路５２では
眼球検出信号Ｓ４１’又はＳ４２’に基づいてＬＣＤ２
６及びＬＣＤ２７の任意の点を注視する観測者の眼球運
動を解析することにより、観察者が注視した被写体映像
の特定位置である注視点を認識するようになされる。

【０１０７】そして、信号処理回路５２では被写体画像
取得用のＣＣＤ装置（撮像手段）５１からの撮像信号Ｓ
１を眼球検出信号Ｓ４１’及びＳ４２’に基づいて所定
の画像処理した後に、ステレオ画像信号Ｓ３１及びＳ３
２と、焦点制御信号Ｓ２とが出力される。この焦点制御
信号Ｓ２に基づいてＣＣＤ装置５１の焦点距離が自動調
整される。

【０１０８】このように本実施例としての特殊グラスト
ロン６００によれば、ＬＣＤ２６及びＬＣＤ２７の裏側
に設けられた、眼球運動検出用のＣＣＤ撮像素子５４Ａ
及び５４Ｂによって、被写体の映像を注視した観測者の
眼球運動が撮像されるので、観察者が注視した被写体映
像の特定位置である注視点を信号処理回路５２に認識さ
せることができる。

【０１０９】従って、ＣＣＤ撮像素子５４Ａから得られ
た眼球検出信号Ｓ４１’及びＣＣＤ撮像素子５４Ｂから
得られた眼球検出信号Ｓ４２’に基づいて被写体画像取
得用のＣＣＤ装置５１の焦点距離を信号処理回路５２に
よって補正することができる。これにより、観測者の眼
球運動から認識された左右の瞳孔の動きに基づいた最適
な位置に、その観察者の注視点とＣＣＤ装置５１との焦
点距離を合わせ込むことができる（ＣＣＤ装置５１の自
動焦点制御）。

【０１１０】しかも、図２２に示したＣＣＤ装置５１の
光学レンズ系をズームアップさせたり、パーンさせたり
するときに、観測者が注視した被写体の特定位置に対し
てＣＣＤ装置５１の焦点が最適に合わせ込まれるので、
ベストフォーカスで被写体の映像を撮像することができ
ると共に、その映像を最適に左右のＬＣＤ２６及び２７
に表示することができる（最適表示制御）。従って、高
性能の特殊グラストロン６００を提供できる。

【０１１１】（８）第７の実施例 図２４は、映像入出力装置１０を応用した第７の実施例
としての眼球監視機能付きの特殊グラストロン７００の
内部構成例を示す一部破砕の上面図である。この例で
は、第５の実施例で説明したＣＣＤ付きの液晶表示装置
が特殊グラストロン７００に適用されるものである。

【０１１２】図２４に示す特殊グラストロン７００は、
非透過型のヘッドマウントディスプレイを構成してお
り、通常のＣＣＤ装置７１と、第１の画像表示素子とし
ての右眼表示用の液晶表示装置（以下ＬＣＤという）７
６と、第２の画像表示素子としての左眼表示用のＬＣＤ
７７と、図示しない眼球運動検出用の撮像手段としての
フィルム状の電荷結合素子（以下フィルムＣＣＤとい
う）７４Ｒ、７４Ｌとを有している。

【０１１３】つまり、観察者の眉間に相当する位置に
は、通常のＣＣＤ装置７１が配置され、観察者の属する
外界像が撮像される。従って、観察者が被写体の方向へ
頭部を向けると、その被写体の方向にＣＣＤ装置７１が
向くようになる。この例でも、ＣＣＤ装置７１に自動ズ
ーム機構が設けられ、被写体の任意の位置を注視する
と、自動的にその被写体の任意の位置にＣＣＤ装置７１
をズームさせることができる。この自動ズーム機構に関
しては、上述した技術文献を応用することができる。

【０１１４】そして、特殊グラストロン７００内の観察
者の右目に相対する位置にはＬＣＤ７６が取付けられ、
例えば、通常のＣＣＤ装置７１により撮影した被写体映
像と、予め準備されたコンピユータ・グラフィックス
（ＣＧ）などによる仮想画像とを合成したステレオ画像
の一方が表示される。また、その観察者の左目に相対す
る位置にはＬＣＤ７７が取付けられ、上述の被写体映像
と仮想画像と合成したステレオ画像の他方が表示され
る。

【０１１５】この例では、右眼表示用のＬＣＤ７６と、
左眼表示用のＬＣＤ７７の表示面内に、眼球運動検出用
の撮像手段として、図２５Ａに示すフィルムＣＣＤ７４
Ｒ（右）及び７４Ｌ（左）が配置され、被写体の任意の
点を注視する観測者の眼球運動を撮像してその観測者の
注視点が検出される。この例では、フィルムＣＣＤ７４
Ｒ、７４Ｌは、観察者の眼球に相対するＬＣＤ７６及び
ＬＣＤ７７上に分散して配置されている。

【０１１６】このフィルムＣＣＤ７４Ｒ、７４Ｌでは、
図２５Ａに示す例えば、４×６画素のマトリクス状に配
置された液晶表示セルの全体画素に対して、歯抜け状
（斜線部分）に電荷結合素子７４Ａが配置されている。
従って、白抜き部分には電荷結合素子７４Ａが配置され
ておらず、ＬＣＤ７６及びＬＣＤ７７による映像を通す
ようになされる。眼球運動検出用のフィルムＣＣＤ７４
Ｒ及び７４Ｌの形成方法は、第５の実施例で説明してい
るので、その説明を省略する。

【０１１７】このフィルムＣＣＤ７４Ｒでは、図２５Ｂ
に示す観測者の右眼の瞳の動きや、その瞳孔の絞り状態
が撮像され、フィルムＣＣＤ７４Ｌでは、同図に示す観
測者の左眼の瞳の動きや、その瞳孔の絞り状態が撮像さ
れる。多少撮像性能は落ちるが、観測者の眼球運動を撮
像する分には支障はない。従って、フィルムＣＣＤ７４
Ｒ、７４Ｌから得られた眼球検出信号に基づいてピント
が常に一定になるようにＣＣＤ装置７１の自動ズーム機
構を制御することができる。

【０１１８】図２６は、その特殊グラストロン７００の
装着時の注視点ｐの位置関係例を示す概念図である。こ
の特殊グラストロン７００は図２６に示す観察者の顔面
又は頭部に装着され、上述のＬＣＤ７６のステレオ画像
と、ＬＣＤ７７のステレオ画像とが観察者の眼球に導く
ようになされている。

【０１１９】図２６において、特殊グラストロン７００
を装着した観察者の両目の光軸が重なったところが、注
視点ｐである。この注視点ｐを基準にして、観察者の属
する背景像のステレオ画像と仮想画像のステレオ画像と
が頭の中で合成される。ここで、観察者の眼球表面から
注視点ｐに至る離隔距離をＳｈとし、ＣＣＤ装置７１の
レンズ表面から注視点ｐに至る焦点距離をＳｃとし、観
察者の眼球表面とＣＣＤ装置のレンズ表面との間のオフ
セット距離をＳoffとする。

【０１２０】この例では、注視点ｐに至る離隔距離Ｓｈ
が焦点距離Ｓｃ＋Ｓoffよりも多い場合には、図示しな
い画像処理系によってその焦点距離Ｓｃを長くするよう
にＣＣＤ装置７１の絞りやレンズなどの光学系が調整さ
れる。反対に、注視点ｐに至る離隔距離Ｓｈが焦点距離
Ｓｃ＋Ｓoffよりも少ない場合には、画像処理系によっ
てその焦点距離Ｓｃを短くするようにＣＣＤ装置７１の
光学系が調整される。これにより、観察者が注視した被
写体の任意の点ｐとＣＣＤ装置７１の光学系との間の焦
点距離Ｓｃ＋Ｓoffを自動補正することができる。

【０１２１】この観察者の眼球映像は、上述したように
左右のＬＣＤ７６、ＬＣＤ７７の前面にフィルムＣＣＤ
７４Ｒ、７４Ｌを設ける場合に限られることはなく、左
眼表示用のＬＣＤ７７から背景映像を出力し、右眼表示
用のＬＣＤ７６上にフィルムＣＣＤ７４Ｒを設け、その
ＣＣＤ７４Ｒによって眼球映像を取得してもよい。この
逆の方法でもよい。

【０１２２】この例では、観察者の眼球運動から黒目と
瞳孔の位置関係及び瞳孔の形状を認識し、その認識情報
から注視点ｐの方向と離隔距離Ｓｈとを求め、その離隔
距離Ｓｈに基づいて特殊グラストロン７００と被写体の
任意の点との間の焦点距離Ｓｃ＋Ｓoffを補正するよう
になされる（図２参照）。

【０１２３】このように本実施例としての特殊グラスト
ロン７００によれば、右眼用のＬＣＤ７６の前面にフィ
ルムＣＣＤ７４Ｒが設けられ、左眼用のＬＣＤ７７の前
面にフィルムＣＣＤ７４Ｌが設けられるので、被写体の
映像を注視した観測者の眼球運動を常時撮像することが
できる。

【０１２４】しかも、第２の実施例のような減算処理を
行うことなく、観察者が注視した被写体映像の特定位置
である注視点を認識させることができる。従って、第２
の実施例と同様にして被写体画像取得用のＣＣＤ装置７
１の自動焦点制御及び液晶表示部４３の表示制御を行う
ことができる。

【０１２５】

【発明の効果】以上説明したように、本発明の映像入出
力装置によれば、被写体の映像を注視する観測者の眼球
運動を撮像する眼球運動検出用の撮像手段が表示手段の
表側又は裏側に設けられ、観察者が注視した被写体映像
の特定位置である注視点を認識するようになされたもの
である。

【０１２６】この構成によって、観察者に被写体の映像
を見せながら、観察者の眼球運動に基づいた被写体画像
取得用の撮像手段の焦点などを自動制御することができ
る。しかも、観察者の眼球運動に基づいた表示制御を行
うことができる。

【０１２７】本発明に係る映像取得方法によれば、被写
体を注視する観察者の眼球運動に基づいて決定された映
像取得領域内の被写体を含む映像のみを取得するように
なされる。

【０１２８】この構成によって、観察者が注視していな
い領域の映像を極力記録しないようにするトリミング処
理を画像取得段階で行うことができる。これにより、被
写体映像を格納するための記憶媒体などを有効に使用す
ることができる。

【０１２９】この発明は液晶表示部及びＣＣＤ撮像素子
を有したビデオカメラや眼鏡型の表示装置に適用して極
めて好適である。

【図面の簡単な説明】

【図１】本発明に係る各実施形態としての映像入出力装
置１０の構成例を示すブロック図である。

【図２】その映像入出力装置１０の動作例を示すフロー
チャートである。

【図３】映像入出力装置１０を応用した第１の実施例と
しての眼球監視機能付きのビデオカメラ１００の構成例
を示す正面図である。

【図４】そのＣＣＤ装置１４の光学系の構成例を示す断
面図である。

【図５】そのビデオカメラ１００の液晶モニタ周辺部の
回路構成例を示すブロック図である。

【図６】そのＣＣＤ装置１４による観察者の顔面部位の
画像取得例を示すイメージ図である。

【図７】Ａは、ビデオカメラ１００による移動前の被写
体映像、及び、Ｂはその移動後の被写体映像の取得例を
示すイメージ図である。

【図８】ビデオカメラ１００によるズームアップ時の被
写体映像の取得例を示すイメージ図である。

【図９】Ａは、観察者の瞳孔（開度＝大）の絞り運動
例、Ｂはその瞳孔（開度＝小）の絞り運動例を示すイメ
ージ図である。

【図１０】被認識物体４１等の装着例を示すイメージ図
である。

【図１１】映像入出力装置１０を応用した第２の実施例
としての眼球監視機能付きのビデオカメラ２００の液晶
表示部周辺の回路構成例を示すブロック図である。

【図１２】Ａは液晶表示部２３による表示画像例、Ｂは
ＣＣＤ装置２１による取得画像例、Ｃは観察者の眼球画
像例を示すイメージ図である。

【図１３】Ａは映像信号Ｓ３の波形例、Ｂは撮像許可信
号Ｓ５の波形例を示す図である。

【図１４】Ａは映像信号Ｓ３による被写体３０の画像
例、Ｂは観察者の眼球画像例を示すイメージ図である。

【図１５】映像入出力装置１０を応用した第３の実施例
としての眼球監視機能付きのビデオカメラ３００の液晶
表示部２３の構成例を示すイメージ図である。

【図１６】映像入出力装置１０を応用した第４の実施例
としての眼球監視機能付きのビデオカメラ４００のバッ
クライト補正に係る構成例を示すイメージ図である。

【図１７】そのバックライト補正時の機能例を示すイメ
ージ図である。

【図１８】映像入出力装置１０を応用した第５の実施例
としての眼球監視機能付きのビデオカメラ５００の液晶
表示部４３の構成例を示す一部拡大図である。

【図１９】Ａは５×７画素の液晶表示セル４３Ａの配置
例、Ｂは２×３画素の電荷結合素子４４Ａの配置例、Ｃ
は液晶表示セル４３Ａ及び電荷結合素子４４Ａの形成例
を示すイメージ図である。

【図２０】映像入出力装置１０を応用した第６の実施例
としての眼球監視機能付きの特殊グラストロン６００の
内部構成例を示す正面図である。

【図２１】その特殊グラストロン６００の内部構成例を
示す一部破砕の上面図である。

【図２２】その特殊グラストロン６００の回路構成例を
示すブロック図である。

【図２３】その特殊グラストロン６００の動作例を示す
波形図である。

【図２４】映像入出力装置１０を応用した第７の実施例
としての眼球監視機能付きの特殊グラストロン７００の
内部構成例を示す一部破砕の上面図である。

【図２５】その特殊グラストロン７００のフィルムＣＣ
Ｄ７４Ｒ、７４Ｌの構成例を示す上面から見た概念図で
ある。

【図２６】その特殊グラストロン７００の装着時の注視
点ｐの位置関係例を示す概念図である。

【符号の説明】

１・・・撮像手段、２・・・画像処理手段、３・・・表
示手段、４，４’・・・眼球運動検出用の撮像手段、１
０・・・映像入出力装置、１３・・・液晶モニタ、１４
・・・顔面認識用のＣＣＤ装置（顔面認識部）、１５・
・・眼球認識用のＣＣＤ装置（眼球認識部）、１６，２
１，５１，７１・・・ＣＣＤ装置（被写体画像取得用の
撮像手段）、１７，２２，５２・・・信号処理回路（画
像処理手段）、２３，３３，４３・・・液晶表示部（表
示手段）、２４，５４Ａ，５４Ｂ・・・ＣＣＤ撮像素
子、２５，５５Ａ，５５Ｂ・・・分光用のプリズム、２
６，７６・・・右眼表示用のＬＣＤ（第１の画像表示素
子）、２７，７７・・・左眼表示用のＬＣＤ（第２の画
像表示素子）、２８，５８Ａ，５８Ｂ・・・光源、３１
・・・光量調整回路（光補正機構）、３８・・・補助光
源、４１・・・被認識物体、４４Ａ・・・電荷結合素子
（眼球運動検出用の撮像手段）、１００〜５００・・・
ビデオカメラ、６００，７００・・・特殊グラストロン

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2G065 AA02 AB26 BA04 BA34 BB10 BB21 BB29 BC07 BC21 BD01 DA01 DA18 DA20 2H051 AA08 DA03 DA24 5C022 AA11 AB15 AB22 AB66 AB67 AB68 AC03 AC42 AC51 AC69 AC79 5C061 AA03 AB12 AB20

Claims (16)

【特許請求の範囲】
1. 【請求項１】 被写体を撮像して該被写体の映像を表示
   する装置であって、 前記被写体の映像を撮像する被写体画像取得用の撮像手
   段と、 前記撮像手段によって撮像された被写体の映像を表示す
   る表示手段と、 前記表示手段を注視する観察者の眼球運動を撮像する眼
   球運動検出用の撮像手段とを備え、 前記眼球運動検出用の撮像手段は前記表示手段の表側又
   は裏側に設けられ、 前記観察者が注視した被写体映像の特定位置である注視
   点を認識するようになされたことを特徴とする映像入出
   力装置。
2. 【請求項２】 前記表示手段の表側に眼球運動検出用の
   撮像手段が設けられる場合であって、 前記眼球運動検出用の撮像手段は、 前記表示手段を観察する観察者の顔面を認識する顔面認
   識部と前記顔面認識部より得られた観察者の顔面画像か
   ら該観察者の眼球を認識する眼球認識部とを有すること
   を特徴とする請求項１に記載の映像入出力装置。
3. 【請求項３】 前記表示手段及び顔面認識部が設けられ
   る場合であって、 予め前記表示手段を観察する観察者の顔面近くに被識別
   物体を装着させ、 前記被識別物体を検出して観察者の顔面部位を予測する
   ことを特徴とする請求項４に記載の映像入出力装置。
4. 【請求項４】 前記表示手段と、被写体画像取得用及び
   眼球運動検出用の撮像手段とが設けられる場合であっ
   て、 前記表示手段は、 光源と、 前記被写体画像取得用の撮像手段による撮像信号に基づ
   いて前記光源による光を液晶シャッター制御する液晶表
   示部と、 前記液晶表示部の裏面に設けられた分光用のプリズムと
   を有し、 前記眼球運動検出用の撮像手段は、 前記分光用のプリズムから得られる光を撮像して観察者
   の眼球運動を取得するようになされたことを特徴とする
   請求項１に記載の映像入出力装置。
5. 【請求項５】 前記液晶表示部と、被写体画像取得用及
   び眼球運動検出用の撮像手段とが設けられる場合であっ
   て、 前記被写体画像取得用の撮像手段による被写体の映像と
   前記観察者の眼球映像とが眼球運動検出用の撮像手段に
   合成して撮像される場合に、 前記眼球運動検出用の撮像手段により撮像された合成画
   像から前記被写体画像取得用の撮像手段による被写体の
   映像を差し引くことにより、前記観察者の眼球映像を取
   得するようになされたことを特徴とする請求項４に記載
   の映像入出力装置。
6. 【請求項６】 前記光源及び液晶表示部が設けられる場
   合であって、 自然光を取り込む天窓と、 前記天窓からの自然光と前記光源による光とを前記液晶
   表示部に導く集光用のプリズムが設けられることを特徴
   とする請求項４に記載の映像入出力装置。
7. 【請求項７】 前記液晶表示部と、被写体画像取得用及
   び眼球運動検出用の撮像手段とが設けられる場合であっ
   て、 前記被写体画像取得用の撮像手段による撮像信号がオフ
   する期間に、前記液晶表示部で液晶シャッターを開いて
   観察者の眼球映像を取り込むようになされたことを特徴
   とする請求項４に記載の映像入出力装置。
8. 【請求項８】 前記液晶表示部及び眼球運動検出用の撮
   像手段とが設けられる場合であって、 前記液晶表示部がラスタ走査方式を採る場合に、 前記液晶表示部で液晶シャッターを常時開放するシャッ
   ター開放ラインが割り当てられ、前記シャッター開放ラ
   インによって観察者の眼球映像を眼球運動検出用の撮像
   手段に取り込むようになされたことを特徴とする請求項
   ４に記載の映像入出力装置。
9. 【請求項９】 前記液晶表示部の裏側に前記光源及び眼
   球運動検出用の撮像手段が設けられる場合であって、 前記眼球運動検出用の撮像手段による撮像信号に基づい
   て前記光源をフィードバック制御する光補正機構が設け
   られ、 前記光補正機構は、 前記液晶表示部の被写体の映像を表示する部分の輝度
   と、観察者の眼球運動を取得する部分の輝度とが均一に
   なるように前記光源による発光量を調整することを特徴
   とする請求項４に記載の映像入出力装置。
10. 【請求項１０】 前記液晶表示部の表側に前記眼球運動
    検出用の撮像手段が設けられる場合であって、 前記眼球運動検出用の撮像手段は、 観察者の眼球に相対する位置であって前記液晶表示部の
    表示面内に分散して配置されることを特徴とする請求項
    ４記載の映像入出力装置。
11. 【請求項１１】 前記表示手段と、被写体画像取得用及
    び眼球運動検出用の撮像手段とが設けられる場合であっ
    て、 前記表示手段は、 前記被写体画像取得用の撮像手段による被写体の映像を
    加工したステレオ画像の一方を表示する第１の画像表示
    素子と、 前記ステレオ画像の他方を表示する第２の画像表示素子
    とを有し、 前記眼球運動検出用の撮像手段は、 前記観察者の眼球に相対する位置であって前記第１及び
    第２の画像表示素子の裏側に配置されることを特徴とす
    る請求項１記載の映像入出力装置。
12. 【請求項１２】 前記被写体画像取得用の撮像手段と、
    第１及び第２の画像表示素子とが設けられる場合であっ
    て、 前記被写体画像取得用の撮像手段による被写体の映像と
    予め準備された映像加工画像とを合成したステレオ画像
    の一方が第１の画像表示素子に表示され、 前記ステレオ画像の他方が第２の画像表示素子に表示す
    るようになされたことを特徴とする請求項１１記載の映
    像入出力装置。
13. 【請求項１３】 前記表示手段の表側に眼球運動検出用
    の撮像手段が設けられる場合であって、 前記眼球運動検出用の撮像手段は複数の電荷結合素子を
    有し、 前記表示手段は半導体基板上にマトリックス状に形成さ
    れた複数の液晶表示セルを有し、 前記半導体基板上に形成された液晶表示セルの特定の位
    置に前記電荷結合素子が分散して配置されることを特徴
    とする請求項１に記載の映像入出力装置。
14. 【請求項１４】 任意の被写体の映像を取得する方法で
    あって、 前記被写体を注視する観察者の眼球運動を撮像し、 前記観察者の眼球運動に基づいて前記被写体の映像取得
    領域を決定し、 前記映像取得領域内の被写体を含む映像のみを取得する
    ようになされたことを特徴とする映像取得方法。
15. 【請求項１５】 前記観察者の眼球運動が撮像される場
    合であって、 被写体を追従する前記観察者の眼球の中心を算出し、 前記観察者の眼球中心の追従運動に基づいて被写体を含
    む映像取得領域を決定することを特徴とする請求項１４
    に記載の映像取得方法。
16. 【請求項１６】 前記観察者の眼球運動が撮像される場
    合であって、 被写体を注視する前記観察者の瞳孔の開閉量を算出し、 前記観察者の瞳孔の絞り運動に基づいて被写体を含む映
    像取得領域を決定することを特徴とする請求項１４に記
    載の映像取得方法。