JPH0736610A - 提示画像制御装置 - Google Patents

Abstract

(57)【要約】 【目的】画像提示装置の動作状態を操作者の要求に合致
するように自動的に制御することの出来る提示画像制御
装置を提供する。 【構成】操作者に外部画像を提示する画像提示装置１ま
たは外部画像を記録するカメラ装置と、操作者の眼球の
運動を検出する眼球運動検出装置２０と、検出した眼球
運動電位信号を用いて上記画像提示装置またはカメラ装
置を制御する提示状態制御装置４０とを備え、操作者の
眼球運動に基づいて画像提示装置１またはカメラ装置の
調光、ズーミング、暗視カメラと通常カメラとの切り換
え等の制御を自動的に行なわせる提示画像制御装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、各種のシミュレーシ
ョン装置、遠隔操作装置、バーチャル・リアリティ装置
等に利用される提示画像制御装置に関する。

【０００２】

【従来の技術】提示画像制御装置とは、操作者に提示さ
れる画像、例えばビデオカメラ画像やコンピュータ・グ
ラフィックス画像等について、その調光やズーミング等
の提示状態を制御する装置である。従来の画像提示装置
としては、例えば図１９に示すようなものがある。図１
９は、ビデオ表示装置等の画像提示装置（またはカメラ
装置、以下、画像提示装置で代表する）１と操作者の頭
部２との上面図である。図１９においては、操作者が画
像提示装置１を自分の右眼に当てて提示画像を見ている
状態を示している。上記のごとき従来装置においては、
操作者が画像提示装置に提示された画像を見ながら、画
像提示装置を手動で制御することにより、その画像の明
るさ、拡大、縮小等を操作者の要求に合うように調節し
ていた。また、操作者の視線方向を検出し、その視線方
向へ照明装置の光を当てる装置も開発されている。

【０００３】

【発明が解決しようとする課題】上記のように、従来の
画像提示装置においては、画像の提示状態を操作者が手
動で操作するようになっていたため、操作者の手の動作
の一部が制限されるので、操作性が悪いという問題があ
った。また、操作者の視線方向へ照明光を当てるものに
おいても、単に照明状態を自動的に制御するだけであっ
て、提示画像の制御は依然として操作者が手動で行なう
必要があった。

【０００４】本発明は、上記のごとき従来技術の問題を
解決するためになされたものであり、画像提示装置の動
作状態を操作者の要求に合致するように自動的に制御す
ることの出来る提示画像制御装置を提供することを目的
とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、操作者に外部画像を提示する画像提示装置また
は外部画像を電気信号に変換するカメラ装置と、操作者
の眼球の運動を検出する眼球運動検出装置と、検出した
眼球運動電位信号を用いて上記画像提示装置またはカメ
ラ装置を制御する提示状態制御装置とを備えている。上
記眼球運動検出装置は、例えば、請求項２に記載のよう
に、眼球の上下に装着した垂直成分検出用電極と眼球の
左右に装着した水平成分検出用電極とによって検出した
眼球運動電位信号の垂直成分と水平成分とに基づいて眼
の開状態、閉状態、注目状態を検出するものであり、ま
た、上記画像提示装置は、例えば、外部のカメラ画像ま
たはコンピュータ・グラフィックス画像の提供装置であ
り、上記提示状態制御装置は、例えば、上記眼球運動検
出装置の検出結果に基づいて、提示画像の調光、暗視カ
メラと通常カメラの切り替え、ズーミング、映像のオン
／オフ、録画のオン／オフのうちの少なくとも一つの提
示状態制御を行うものである。なお、上記の眼球運動に
は、眼瞼の開閉運動も含まれる。すなわち、眼瞼の開閉
を含めて一括して眼球運動と総称する。

【０００６】

【作用】上記のように、本発明においては、操作者の眼
球運動を検出し、検出された眼球運動電位信号に応じて
提示画像の各種状態制御を行なうように構成したもので
あり、これにより、操作者の手動操作を省略することが
出来る。上記の眼球運動と提示画像制御との対応関係の
一例を示すと、例えば、後記実施例に記載のように、強
い開眼状態と判定した場合は、提示画像を明るくするよ
うに制御し、強い閉眼状態と判定した場合には提示画像
を暗くするように制御する。また、上記のごとき強い開
眼状態や閉眼状態の判別は、眼球運動検出装置におい
て、眼球の上下に装着した垂直成分検出用電極と眼球の
左右に装着した水平成分検出用電極とによって検出した
眼球運動電位信号の垂直成分と水平成分（例えば後記図
７〜図１０）に基づいて検出することが出来る。

【０００７】

【実施例】以下、この発明を図面に基づいて説明する。
図１は、本発明の一実施例図であり、（ａ）は装置の外
観の斜視図、（ｂ）はブロック図である。図１におい
て、１は操作者に外部画像を提示する画像提示装置であ
り、例えばビデオ表示装置やビデオカメラ装置である。
また、２０は操作者の眼球運動を検出する眼球運動検出
装置（詳細後述）、２１は眼球運動検出装置２０内の信
号検出部、２２は同じく信号処理部である。また、４０
は検出した眼球運動電位信号を用いて画像提示装置１を
制御する提示状態制御装置（詳細後述）である。

【０００８】次に、図２は、本発明の他の実施例図であ
り、（ａ）は装置の外観の斜視図、（ｂ）はブロック図
である。この実施例は３次元立体画像を提示する装置に
本発明を適用した例である。図２において、１０は操作
者に外部画像を提示する頭部搭載型３次元立体画像提示
装置、２０は操作者の眼球運動を検出する眼球運動検出
装置、２１は信号検出部、２２は信号処理部、３０はス
テレオカメラ式の画像提供装置であり、これの信号を頭
部搭載型３次元立体画像提示装置１０に送って操作者に
外部画像を提供する。また、４０は検出した眼球運動電
位信号を用いて頭部搭載型３次元立体画像提示装置１０
または画像提供装置３０を制御する提示状態制御装置で
ある。

【０００９】次に、図３は、頭部搭載型３次元立体画像
提示装置１０の一構成例の斜視図である。図３におい
て、１１、１１′は画像提供装置３０から得られた外部
画像を操作者に提示する小型の表示装置（以下、小型テ
レビと記す）であり、例えばＣＲＴや液晶の表示器であ
る。また、１２、１２′および１４は小型テレビ１１の
画像を操作者の眼に光学的に導くためのミラー、１３は
凸レンズ、２１は信号検出部である。２台の小型テレビ
１１、１１′から放射された画像は、それぞれミラー１
２、１２′で９０°回転され、凸レンズ１３を通った
後、ミラー１４で合成されると共に９０°回転されて操
作者の眼に入射する。したがって、この装置はミラー１
４の前に操作者の眼が位置するように装着されるが、そ
の際、操作者の眼の位置が複数の信号検出部２１の間に
来るように操作者の顔面に装着される。なお、信号検出
部２１の電極装着個所の詳細については後記図５で説明
する。

【００１０】次に、図４は、眼球運動検出装置２０にお
ける信号検出部２１の一構成例の側面図である。図４に
おいて、２１１は眼球運動電位信号を検出する信号導出
用電極、２１２は操作者に電極を固定するための吸着
板、２１３は画像提供装置１または頭部搭載型３次元立
体画像提示装置１０を操作者が装着したときに電極２１
１が正確に固定されるようにするためのスプリングであ
る。

【００１１】次に、図５は、操作者の顔面における信号
導出用電極２１１の装着個所を示す図である。図５にお
いて、２３０は操作者の眼の位置、２３１は鼻の位置を
示す。また、信号導出用電極２１１には、垂直成分検出
用電極２３２と接地用電極２３３と水平成分検出用電極
２３４との３種がある。そして垂直成分検出用電極２３
２は眼の上下、例えば眉の直上と眼下約２０mmの位置に
装着し、接地用電極２３３は眉間に装着し、水平成分検
出用電極２３４は眼の左右、例えば両目尻から約１５mm
外側に装着する。

【００１２】次に作用を説明する。この例は、人間が直
視困難な強烈な光線下あるいは極端な暗やみ下で作業す
るための実施例である。図６は、提示画像の明暗による
操作者の眼球（眼瞼）状態を示す図である。図６におい
て、（ａ）は通常の開眼よりも強い開眼状態、（ｂ）が
通常の閉眼よりも強い閉眼状態である。すなわち（ａ）
は極端に暗い作業環境において操作者が眼を凝らして対
象物に注目する状態であり、（ｂ）は極端に明るい作業
環境において操作者が眼を閉じるが、或いは強く細める
状態を想定している。また、（ｃ）は通常の注目状態で
ある。上記のような状況において、前記の信号導出用電
極２１１で検出される眼球運動電位信号を図７〜図１０
に示す。図７は通常状態、図８は強い開眼状態、図９は
強い閉眼状態、図１０は注目状態の眼球運動電位信号を
示す眼球電位図である。図７〜図１０においては、それ
ぞれ上から順に、眼球運動電位信号の水平成分(horizon
tal)、水平成分のフィルタリング処理を施した結果（af
ter filtering)、垂直成分（vertical）、垂直成分のフ
ィルタリング処理を施した結果（afterfiltering）を示
している。また、信号のサンプリング周波数は１kHz、
横軸は時間で単位はsec、縦軸は正規化した電位であ
る。ここで細かく振動している振動成分に着目すると、
図８の強い開眼状態では垂直成分にのみ振動成分が現わ
れているのに対し、図９の強い閉眼状態では垂直、水平
成分ともに振動成分が現われていることが確認される。
しかも、この振動成分は通常の視点移動における眼球電
位図（図７）には現われない成分である。したがって、
この振動成分を検出することによって操作者の意図を正
確に判定することが可能である。また、垂直成分に現わ
れているまばたき成分に着目すると、図１０の注目状態
では、図７の通常状態に比較して注目時間中にまばたき
成分が停止していることが確認される。

【００１３】以下、上記の点に着目して、信号処理部２
２で行なわれる操作者の眼球状態の判定手段について説
明する。図１１は、開閉眼判断のための信号処理フロー
チャートである。図１１において、垂直、水平成分ごと
に検出された眼球運動電位信号は、まずデータ切り出し
２２１において、例えば５１２msずつ切り出される。次
に切り出した信号を、バンドパス・フィルタ２２２によ
って１０〜１００Hz成分に変換し、基線変動分を除去す
る。この処理によって、眼球運動電位信号は、図８およ
び図９の（afterfiltering）に示したような極めて特徴
的な信号に変換される。次に、高速フーリエ変換器２２
３によって周波数分解する。次に、ステップ２２５で
は、上記の周波数分解された周波数成分において、垂直
成分での振動成分の有無を判定する。この振動成分の周
波数はおよそ５０〜１００Hz成分であるため、５０Hzを
しきい値にすることにより、切り出し区間の半分に振動
成分が入ってくれば、所定の眼球状態開始後約２５０ms
後に判定することが可能である。ここで、５０〜１００
Hz成分がない場合は、切り出し区間移動において、シフ
ト幅３２msでオーバーラップしながらシフトされた後、
データ切り出し２２１に戻る。一方、ステップ２２５に
おいて５０〜１００Hz成分がある場合には、ステップ２
２６において水平成分での振動成分の有無を判定する。
ここで５０〜１００Hz成分がない場合は、図６（ａ）に
示した強い開眼状態と判定し、５０〜１００Hz成分があ
る場合は、図６（ｂ）に示した強い閉眼状態と判定す
る。上記のように、強い開眼状態と判断した場合は、画
像提供装置１または頭部搭載型３次元立体画像提示装置
１０（以下、画像提示装置１で代表させる）の提示画像
を明るくし、強い閉眼状態と判定した場合には提示画像
を暗くするように制御する。上記の処理をリアルタイム
で繰り返し実施することにより、画像提供装置１に提示
される画像の調光制御を行なうことが可能となる。な
お、動作不良時あるいは眼球運動による制御が不必要に
なった場合は、手動スイッチでいつでも初期状態に戻れ
るものとする。

【００１４】次に、図１２は、上記図１１の信号処理と
同様の開閉眼判断の別構成のブロック図である。図１２
において、バンドパス・フィルタ２２２は前記図１１と
同様の基線変動を除去するフィルタである。また、判定
回路２２４は、所定のしきい値と比較することによって
５０Hz〜１００Hz成分の有無を判定する回路である。そ
して二つのＡＮＤ回路とＮＯＴ回路とを組み合わせた回
路により、垂直成分における５０Hz〜１００Hz成分と水
平成分における５０Hz〜１００Hz成分との両方がある場
合には閉眼状態、垂直成分ありで水平成分なしの場合に
開眼状態と判定する。

【００１５】次に、図１３は、まばたき成分検出の処理
を示すフローチャートである。図１３において、ステッ
プ２２７ではバンドパス・フィルタで基線変動を除去す
る。また、ステップ２２８では、所定のしきい値でまば
たき成分を含む０.１〜１０Hz成分の有無を判定する。
また、ステップ２２９では、約２秒間まばたき成分が検
出されない場合に、注目状態と判定する。

【００１６】以下、上記のごとき開閉眼および注目状態
の信号処理結果に基づいて、画像提示装置１または画像
提供装置３０を制御して提示画像の制御を行なう実施例
について説明する。図１４は、調光制御を行なう実施例
のブロック図、図１５は暗視カメラ制御を行なう実施例
のブロック図、図１６はズーミング制御を行なう実施例
のブロック図、図１７はコンピュータ・グラフィックス
画面制御を行なう実施例のブロック図である。まず、図
１４の実施例では、眼球運動検出装置２０で判断される
開眼信号と閉眼信号とによって電子スイッチ４１を動作
させる。そして開眼信号が与えられると調光を１段階上
げるように電子スイッチ４１が動作し、調光上げ制御回
路４２が動作して画像提示装置１の輝度を上げる。ま
た、閉眼信号が与えられると調光を１段階下げるように
電子スイッチ４１が動作し、調光下げ制御回路４３が動
作して画像提示装置１の輝度を下げる。なお、上記のご
とき開眼信号と閉眼信号とを利用して、テレビ／ビデオ
画像の切り替え、録画のオン／オフ等の制御を行なわせ
ることも出来る。

【００１７】次に、図１５の実施例では、画像提供装置
３０に暗視用ステレオカメラ３１と通常ステレオカメラ
３２を設けている。そして電子スイッチ４４は、眼球運
動検出装置２０の開眼信号がオンになると暗視用ステレ
オカメラ３１の画像情報を画像提示装置１に伝え、閉眼
信号がオンになると通常ステレオカメラ３２の画像情報
を画像提示装置１に伝えるようスイッチング制御するも
のである。これにより、暗いところで自然に眼を見開く
とカメラ系が暗視カメラとなって見やすくなり、まぶし
いとき自然に眼をつぶると通常カメラに切り替わること
になる。

【００１８】次に、図１６の実施例では、眼球運動検出
装置２０の開眼信号が出力されると電子スイッチ４５が
切り替わり、ズーム制御回路４６が動作して画像提供装
置３０のステレオカメラ（図示せず）がズーム動作に入
る。また、眼球運動検出装置２０の閉眼信号が出力され
ると電子スイッチ４５が切り替わり、ワイド制御回路４
６が動作して上記ステレオカメラがワイド動作に入る。
これにより、操作者が注目したいものがあって眼を見開
いたときにはカメラ系が自然にズームに入り、元に戻し
たいときには眼を細めればワイドに切り替わることにな
るので、感覚に適合した制御ができることになる。

【００１９】次に、図１７の実施例では、眼球運動検出
装置２０から出力された注目信号により、電子スイッチ
４９がセットされてＣＧ原点移動回路４９−１を介して
コンピュータグラフィックス用の原点の移動を行なう。
このときワンショットタイマ４８において５秒間の時間
経過を計測し、該時間経過後、ＣＧ原点復帰回路４９−
２を介して原点の復帰を実施する。これによってコンピ
ュータグラフィックス（ＣＧ）の画面制御を行なうこと
が出来る。

【００２０】図１８は、本発明の他の実施例の斜視図で
あり、遠隔操作におけるズーミング制御の一実施例を示
す。図１８において、１００は操作者に外部画像を提示
する頭部搭載型３次元立体画像提示装置、２００は操作
者の眼球運動を検出する眼球運動検出装置である。ま
た、３００はステレオカメラ式の画像提供装置であり、
これによって検出した外部画像を頭部搭載型３次元立体
画像提示装置１００を介して操作者に提供する。４００
は検出した眼球運動電位信号を用いて頭部搭載型３次元
立体画像提示装置１００または画像提供装置３００を制
御する提示状態制御装置、５００は遠隔操作を行なうロ
ボットの作業アームである。また、６００は操作者が操
作することによって作業アーム５００を遠隔操作する作
業アーム操作装置である。本実施例においては、例え
ば、前記図１１〜図１３に示した調光制御、すなわち強
い開眼状態と判断した場合は提示画像を明るくし、強い
閉眼状態と判定した場合には提示画像を暗くするように
制御する作用と、図１６に示したズーム・ワイド制御と
を組み合わせて行なうことにより、作業アームで行なう
作業対象の画像を自動的に最適の状態に制御することが
出来る。

【００２１】次に、これまでの実施例においては、眼球
の自然な動きに対応して調光、ズーミング等の制御を行
なうものについて説明したが、眼球の特定の動きと特定
の制御とを対応させて自動的に制御することも可能であ
る。すなわち、前記のように眼球運動電位信号の垂直成
分と水平成分から眼の開閉、注目状況を検出することが
出来るので、操作者の眼球の運動によって特定の制御を
行なうことが出来る。例えば、眼を強く開いた状態が検
出された場合に録画をスタートさせ、眼を強く閉じた状
態が検出された場合に録画を停止させるように構成する
ことにより、眼の開閉に応じて録画のオン／オフを自動
的に制御することが出来る。このように、操作者が予め
定められた眼球運動を行なうことにより、その運動に対
応して予め定められた特定の制御（例えば映像のオン／
オフ、録画のオン／オフ等）を自動的に行なわせること
が出来る。

【００２２】

【発明の効果】以上説明してきたように、この発明によ
れば、操作者の眼球運動電位信号を検出する装置を設
け、それに基づいて提示画像の調光、暗視カメラへの切
り替え、ズーミング、録画のオン／オフ等の提示状態制
御を行なうように構成したことにより、操作者が提示画
像の提示状態制御を行なうための手動操作を省略するこ
とが出来る、という効果が得られる。また、操作者の眼
球状態から判断して操作者が詳細を見たい場合に提示画
像を明るくし、或いはズームで提示し、逆の場合には提
示画像を暗くし、或いはワイドに表示するため、操作者
の自然な振る舞いに基づいた提示画像の制御を行なうこ
とが可能である。また、頭部搭載型３次元立体画像提示
装置を用いた場合には、操作者が対象物を直接に見るの
ではなく、頭部搭載型３次元立体画像提示装置を介して
間接的に見るため、本来の距離感を保持しながら、直接
視では不可能な付加価値の高い視覚情報を得ることが可
能である。

【図面の簡単な説明】

【図１】本発明の一実施例図であり、（ａ）は装置の外
観の斜視図、（ｂ）はブロック図。

【図２】本発明の他の実施例図であり、（ａ）は装置の
外観の斜視図、（ｂ）はブロック図。

【図３】頭部搭載型３次元立体画像提示装置１０の一構
成例の斜視図。

【図４】信号検出部２１の一構成例の側面図。

【図５】操作者の顔面における信号導出用電極２１１の
装着個所を示す図。

【図６】提示画像の明暗による操作者の眼球（眼瞼）状
態を示す図。

【図７】通常状態の眼球運動電位信号を示す眼球電位
図。

【図８】強い開眼状態の眼球運動電位信号を示す眼球電
位図。

【図９】強い閉眼状態の眼球運動電位信号を示す眼球電
位図。

【図１０】注目状態の眼球運動電位信号を示す眼球電位
図。

【図１１】開閉眼判断のための信号処理フローチャー
ト。

【図１２】開閉眼判断の別構成のブロック図。

【図１３】まばたき成分検出の処理を示すフローチャー
ト。

【図１４】調光制御を行なう実施例のブロック図。

【図１５】暗視カメラ制御を行なう実施例のブロック
図。

【図１６】ズーミング制御を行なう実施例のブロック
図。

【図１７】コンピュータ・グラフィックス画面制御を行
なう実施例のブロック図。

【図１８】本発明の他の実施例の斜視図。

【図１９】従来の画像提示装置の一例の上面図。

【符号の説明】

１…画像提示装置 １０…頭部搭載型３次元立体画像提示装置 １１、１１′…小型の表示装置（小型テレビ） １２、１２′、１４…ミラー １３…凸レンズ ４２…調
光上げ制御回路 ２０…眼球運動検出装置 ４３…調
光下げ制御回路 ２１…信号検出部 ４４…電
子スイッチ ２２…信号処理部 ４５…電
子スイッチ ３０…ステレオカメラ式の画像提供装置 ４６…ズ
ーム制御回路 ３１…暗視用ステレオカメラ ４８…ワ
ンショットタイマ ３２…通常ステレオカメラ ４９…電
子スイッチ ４０…提示状態制御装置 ４９−１
…ＣＧ原点移動回路 ４１…電子スイッチ ４９−２
…ＣＧ原点復帰回路 ２１１…信号導出用電極 ２３０…
操作者の眼の位置 ２１２…吸着板 ２３１…
操作者の鼻の位置 ２１３…スプリング ２３２…
垂直成分検出用電極 ２２２…バンドパス・フィルタ ２３３…
接地用電極 ２２３…高速フーリエ変換器 ２３４…
水平成分検出用電極 ２２４…判定回路 １００…頭部搭載型３次元立体画像提示装置 ２００…
眼球運動検出装置 ３００…ステレオカメラ式の画像提供装置 ４００…
提示状態制御装置 ５００…ロボットの作業アーム ６００…
作業アーム操作装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/00 Ａ 5/232 Ｚ 7/18 Ｕ

Claims (2)

【特許請求の範囲】
1. 【請求項１】操作者に外部画像を提示する画像提示装置
   または外部画像を電気信号に変換するカメラ装置と、 操作者の眼球の運動を検出する眼球運動検出装置と、 検出した眼球運動電位信号を用いて上記画像提示装置ま
   たはカメラ装置を制御する提示状態制御装置と、 を備えたことを特徴とする提示画像制御装置。
2. 【請求項２】上記眼球運動検出装置は、眼球の上下に装
   着した垂直成分検出用電極と眼球の左右に装着した水平
   成分検出用電極とによって検出した眼球運動電位信号の
   垂直成分と水平成分とに基づいて眼の開状態、閉状態、
   注目状態を検出するものであり、 上記画像提示装置は、外部のカメラ画像またはコンピュ
   ータ・グラフィックス画像の提供装置であり、 上記提示状態制御装置は、上記眼球運動検出装置の検出
   結果に基づいて、提示画像の調光、暗視カメラと通常カ
   メラの切り替え、ズーミング、映像のオン／オフ、録画
   のオン／オフのうちの少なくとも一つの提示状態制御を
   行うものである、ことを特徴とする請求項１に記載の提
   示画像制御装置。