JPH0568187A - ビデオカメラ - Google Patents

Abstract

(57)【要約】 【目的】 ビューファインダ光による視線検出用光電素
子へのノイズを除去することができ、検出精度を向上さ
せた視線検出手段を備えるビデオカメラを提供すること
を目的とする。 【構成】 撮影画像等を電気的に表示するビューファイ
ンダ１０１を備えたビデオカメラであって、前記ビュー
ファインダ１０１のファインダ画面１０２における撮影
者の視線位置を検出する視線検出手段を有し、前記視線
検出手段に属する視線検出用光電素子６の蓄積期間を、
前記ファインダ画面１０２に供給されるビデオ信号のブ
ランキング期間に対応させることを特徴としている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は撮影者の視線を検出す
る視線検出手段を備えたビデオカメラに関するものであ
る。

【０００２】

【従来の技術】従来、撮影画像を表示するビューファイ
ンダを備えるビデオカメラにおいて、撮影者が撮影中に
各種機能の入力を行おうとする際には、前記ビューファ
インダを覗きながら機能入力（スイッチ）等の操作を行
わなければならなかった。

【０００３】また、各種機能のスイッチを確認しながら
操作するためには一度前記ビューファインダから目を離
さなければならず、撮影画面が乱れたり被写体を見失っ
たりする可能性がある。

【０００４】更に、近年ユーザー用途の多様化などでビ
デオカメラに付随する各種機能は増加する傾向にある。

【０００５】このような背景を鑑みれば、ビューファイ
ンダを覗いている撮影者の視線を検出し、機能入力に応
用すれば、ビューファインダから目を離すこと無く、容
易に機能入力を行うことが可能となる。

【０００６】観察者が観察面上のどの位置を観察してい
るかを検出するいわゆる視線（視軸）を検出する装置は
既に提案されている。

【０００７】例えば、特開昭６１−１７２５５２号公報
においては、光源からの平行光束を観察者の眼球の前眼
部へ投射し、角膜からの反射光による角膜反射像と瞳孔
の結像位置を利用して視軸を求めている。

【０００８】図１０及び図１１は視線検出方法の原理説
明図で、図１０は視線検出光学系の概略図、図１１は図
１０の光電素子列６からの出力信号の強度図である。

【０００９】図１０において、５は観察者に対して不感
の赤外光を放射する発光ダイオードなどの光源であり、
投光レンズ３の焦点面に配置されている。

【００１０】光源５より発光した赤外光は投光レンズ３
により平行光となりハーフミラー２で反射し、眼球２０
１の角膜２１を照明する。

【００１１】この時、角膜２１の表面で反射した赤外光
の一部による角膜反射像ｄはハーフミラー２を透過し受
光レンズ４により集光され光電素子列６上の位置Ｚｄ’
に再結像する。

【００１２】また、虹彩２３の端部ａ，ｂからの光束は
ハーフミラー２、受光レンズ４を介して光電素子列６上
の位置Ｚａ’，Ｚｂ’に該端部ａ，ｂの像を結像する。

【００１３】受光レンズ４の光軸（光軸ア）に対する眼
球の光軸イの回転角θが小さい場合、虹彩２３の端部
ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩２３の中心
位置ｃの座標Ｚｃは Ｚｃ≒（Ｚａ＋Ｚｂ）／２ と表される。

【００１４】また、角膜反射像の発生位置ＤのＺ座標を
Ｚｄ、角膜２１の曲率中心Ｏと虹彩２３の中心Ｃまでの
距離をＯＣとすると眼球光軸イの回転角θは、 ＯＣ×ｓｉｎθ≒Ｚｃ−Ｚｄ ・・・（１） の関係式を略満足する。

【００１５】ここで、角膜反射像の位置ｄのＺ座標Ｚｄ
と角膜２１の曲率中心ＯのＺ座標Ｚとは一致している。
このため演算手段９において、図１１に示すごとく光電
素子列６面上に投影された各特異点（角膜反射像ｄ及び
虹彩の端部ａ，ｂ）の位置を検出することにより眼球光
軸イの回転角θを求めることができる。この時、（１）
式は、 β×ＯＣ×ｓｉｎθ≒（Ｚａ’＋Ｚｂ’）／２−Ｚｄ’ ・・・（２） と書き換えられる。

【００１６】但し、βは角膜反射像の発生位置ｄと受光
レンズ４との距離Ｌ１と受光レンズ４と光電素子列６と
の距離Ｌ０で決まる倍率で、通常略一定の値となってい
る。

【００１７】以上、説明したような視線（視軸）検出装
置をビデオカメラの動作制御等に利用すれば、操作性を
向上させた使い勝手が良いビデオカメラを実現できる。

【００１８】

【発明が解決しようとしている課題】しかしながら、ビ
ューファインダ画面における撮影者の視線情報をビデオ
カメラの制御に利用する場合、視線検出用の光電素子
（ＣＣＤ）が、視線検出用赤外光による眼球の反射像で
ある映像信号以外にビューファインダ光による眼球の反
射像である映像信号をも検出してしまい、結果的にＳ／
Ｎ比が低下してしまい、視線検出の精度も低下するとい
う問題がある。

【００１９】本願発明は斯かる背景下に於て、ビューフ
ァインダ光による視線検出用光電素子へのノイズを除去
することができ、より検出精度の高い視線検出手段を備
えるビデオカメラを提供することを目的とする。

【００２０】

【課題を解決するための手段】本願発明に係るビデオカ
メラは、撮影画像等を電気的に表示するビューファイン
ダを備えるビデオカメラであって、前記ビューファイン
ダの画面における撮影者の視線位置を検出する視線検出
手段を有し、前記視線検出手段に属する視線検出用光電
素子の蓄積期間を、前記ファインダ画面に供給されるビ
デオ信号のブランキング期間に対応させることを特徴と
するものである。

【００２１】

【作用】本願発明のビデオカメラによれば、視線検出用
光電素子の蓄積期間を、ファインダ画面に供給されるビ
デオ信号のブランキング期間に対応させることにより、
ビューファインダ光によるノイズを除去することがで
き、視線検出精度を高めることができる。

【００２２】

【実施例】以下、本願発明の第１の実施例にかかるビデ
オカメラを図１〜７を用いて詳細に説明する。

【００２３】図１は第１の実施例にかかるビデオカメラ
の要部ブロック図である。

【００２４】図１において、１は接眼レンズで、その内
側には可視光透過・赤外光反射のダイクロイックミラー
２が斜設されており、光路分割器を兼ねている。

【００２５】４は受光レンズ、５は照明手段であり、例
えば後述する各位置に配設された３個の各赤外発光ダイ
オード５ａ，５ｃ，不図示の５ｂより成る。

【００２６】６は光電素子列、受光レンズ４と光電素子
列６は受光手段の一要素を構成している。前記光電素子
列６は通常、図面垂直方向に一次元的に複数の光電素子
が並んだデバイスを使うが、必要に応じて２次元に光電
素子が並設されたデバイスを使用する。

【００２７】これらの各構成要素１，２，４，５，６よ
り撮影者（観察者）の眼球２０１の視線検出系を構成し
ている。

【００２８】１０１は電子ビューファインダ（ＥＶ
Ｆ）、１０２はそのファインダ画面を示す。

【００２９】本実施例では、ファインダ画面１０２に映
し出される映像は、接眼レンズ１を介してアイポイント
Ｅに導かれる。

【００３０】本実施例にかかる視線検出手段は、各構成
要素１，２，４，５，６で表された部材より構成された
前記視線検出系と、演算手段である注視点位置処理回路
１０９に含まれる眼球光軸検出回路、眼球判別回路、視
軸補正回路、注視点検出回路等から構成されている。

【００３１】前記視線検出系において、赤外発光ダイオ
ード（ＩＲＥＤ）５から放射される赤外光は、アイポイ
ントＥ近傍に位置する観察者の眼球２０１を照明する。

【００３２】また、眼球２０１で反射した赤外光は、ダ
イクロックミラー２で反射され受光レンズ４によって収
斂しながら光電素子列６上に像を形成する。

【００３３】また、前記注視点位置処理回路１０９はマ
イクロコンピュータのソフトウエアで実行される。

【００３４】また、１０３は映像信号に注視点表示をミ
ックスするための注視点表示処理回路、１０５は記録媒
体に記録する記録用信号を作成するための記録回路、１
０６はＣＣＤ（撮像素子）１１０の撮像を所定の映像信
号に変換するための映像信号処理回路である。

【００３５】１０７は露出制御を行うＡＥ回路、１０８
はＡＦ制御を行うＡＦ回路、１１３はフォーカスモー
タ、１１０は撮像用ＣＣＤ、１１１はレンズの絞り、１
１２はレンズ群を示す。

【００３６】ここで、レンズ群１１２を通じて得られた
映像は、絞り１１１を介してＣＣＤ１１０に撮像され
る。

【００３７】前記ＣＣＤ１１０より出力された信号は、
映像信号処理回路１０６を通して記録回路１０５へ送ら
れる。

【００３８】また、ＣＣＤ１１０から得られた出力信号
は、ＡＥ回路１０７及びＡＦ回路１０８へ入力され、そ
れぞれ映像のエッジ検出及び明るさ検出を行い、ＡＦモ
ータ１１３及び絞り１１１を制御する。

【００３９】一方、映像信号処理回路１０６の出力信号
は注視点表示処理回路１０３にて注視点位置とミックス
された後、ＥＶＦ１０１のファインダ画面１０２表示さ
れる。

【００４０】更に、後述する方法により注視点位置処理
回路１０９から得られた情報は、注視点表示処理回路１
０３へ送られると共に、ＡＥ回路１０７，ＡＦ回路１０
８へも伝送され、注視点近傍をＡＥ／ＡＦを行うエリア
として処理する。

【００４１】ここで、本願発明の実施例である撮影者
（観察者）の視線（注視点）位置検出方法を詳細に、図
１〜図５を用いて説明する。

【００４２】図２に、図１の視線検出系の要部斜視図、
また図３（Ａ），（Ｂ）に、視線検出系の光学原理図を
示す。

【００４３】照明用の赤外発光ダイオード５ａ，５ｂ，
５ｃは、カメラと観察者の眼球との距離を検出するため
に２個一組で使用され、カメラの姿勢に応じて赤外発光
ダイオード５ａ，５ｂで横位置、赤外発光ダイオード５
ｂ，５ｃで縦位置の検出を行っている。

【００４４】尚、図２及び図３にはカメラの姿勢検知手
段は図示されていないが、水銀スイッチ等を利用した姿
勢検知手段が有効である。

【００４５】赤外発光ダイオード５ａ，５ｂは受光レン
ズ４の光軸（Ｘ軸）に対して光電素子列６の列方向（Ｚ
軸方向）及びこの列方向と直交する方向にシフトした位
置に配置されている。

【００４６】図３（Ａ）において、光電素子列６の列方
向（Ｚ軸方向）に分離して配置された赤外発光ダイオー
ド５ａ，５ｂからの光束はＺ軸方向に分離した位置に角
膜反射像ｅ，ｄをそれぞれ形成する。

【００４７】この時、角膜反射像ｅ及びｄの中点のＺ座
標は角膜２１の曲率中心ＯのＺ座標と一致している。

【００４８】また、角膜反射像ｅ及びｄの間隔は赤外発
光ダイオードと観察者の眼球との距離に対応して変化す
るため、光電素子列６上に再結像した角膜反射像の位置
ｅ’，ｄ’を検出することにより眼球からの反射像の結
像倍率βを求めることが可能となる。

【００４９】また、図３（Ｂ）において、光電素子列６
の列方向と直交する方向に配置された赤外発光ダイオー
ド５ａ、不図示の５ｂは観察者の眼球を斜め上から照明
することになり、そのため観察者の眼球が垂直方向（Ｘ
−Ｙ平面内）に回転していない場合は角膜反射像ｅ（ｄ
は不図示）は角膜の曲率中心及び瞳孔の中心よりも図中
＋Ｙ方向に形成される。

【００５０】図４（Ａ）は、本実施例において光電素子
列６の複数の光電素子列面上に投影された眼球からの反
射像を示す説明図で、光電素子列６上に投影された眼球
からの反射像を示したものである。同図において角膜反
射像ｅ’，ｄ’は光電素子列Ｙｐ’上に再結像してい
る。この時光電素子列Ｙｐ’より得られる出力信号を図
４（Ｂ）に示す。

【００５１】次に、本実施例における視線検出動作を図
５のシーケンスフローチャートを用いて説明する。

【００５２】まず、ステップＳ１では注視点位置処理回
路１０９に含まれる眼球光軸検出回路において眼球光軸
の回転角が検出される。

【００５３】次いで光電素子列６の像信号の読み出しを
図４（Ａ）で示す−Ｙ方向より順次行い、角膜反射像
ｅ’，ｄ’が形成される光電素子列（ライン）Ｙｐ’を
検出する。

【００５４】次にステップＳ２では、角膜反射像ｅ’，
ｄ’の列方向の発生位置Ｚｄ’，Ｚｅ’を検出する。

【００５５】ステップＳ３では、この角膜反射像の間隔
｜Ｚｄ’−Ｚｅ’｜より光学系の結像倍率βを求める。

【００５６】更に次のステップＳ４で、この光電素子列
（ライン）Ｙｐ’上に虹彩２３と瞳孔２４との境界点Ｚ
２ａ’，Ｚ２ｂ’を検出し、ステップＳ５でこの光電素
子列Ｙｐ’上の瞳孔長｜Ｚ２ａ’−Ｚ２ｂ’｜を算出す
る。

【００５７】次にステップＳ６に進み、図４（Ａ）に示
すように通常、角膜反射像が形成される光電素子列Ｙ
ｐ’は瞳孔中心Ｃ’の存在する光電素子列ＹＯ’より図
中−Ｙ方向に発生し、像信号の読み出しを行うべきもう
一つの光電素子列Ｙ１’は前記結像倍率β及び瞳孔長の
値より算出される。この時、上記光電素子列Ｙ１’は光
電素子列Ｙｐ’に対して十分な間隔を有するように設定
される。

【００５８】同様に、ステップＳ７で光電素子列Ｙ１’
上の虹彩２３と瞳孔２４との境界点Ｚ１ａ’，Ｚ１ｂ’
が検出されると、これら境界点（Ｚ１ａ’，Ｙ１’），
（Ｚ１ｂ’，Ｙ１’）及び前記境界点（Ｚ２ａ’，Ｙ
２’），（Ｚ２ｂ’，Ｙ２’）のうち少なくとも３点を
用いて瞳孔の中心位置Ｃ’（Ｚｃ’，Ｙｃ’）が求めら
れる。

【００５９】更にステップＳ８では眼球光軸の回転角を
算出する。つまり前記角膜反射像の位置（Ｚｄ’，Ｙ
ｐ’），（Ｚｅ’，Ｙｐ’）を用いて前記（２）式を変
形すると眼球光軸の回転角θｚ，θｙは、 β×ＯＣ×ｓｉｎθｚ≒Ｚｃ’−（Ｚｄ’＋Ｚｅ’）／２ ・・・（３） β×ＯＣ×ｓｉｎθｙ≒Ｙｃ’−Ｙｐ’＋δＹ’ ・・・（４） を満足する。

【００６０】ただしδＹ’は赤外発光ダイオードが受光
レンズ４に対して光電素子列６の列方向と直交する方向
に配置されていることにより、角膜反射像の再結像位置
ｅ’，ｄ’が光電素子列６上で角膜２１の曲率中心のＹ
座標に対してＹ軸方向にシフトしている分を補正する値
である。

【００６１】更に、ステップＳ９では注視点位置処理回
路１０９に含まれる眼球判別回路においては、例えば算
出される眼球光軸の回転角の分布よりビューファインダ
１０１を覗いている観察者の目が右目か左目かを判別す
る。

【００６２】更にステップＳ１０で視軸補正回路におい
て該眼球判別情報と前記眼球光軸の回転角に基づいて視
軸の補正が行われる。また注視点検出回路においては、
ステップＳ１１でファインダ光学系の光学定数に基づい
て注視点を算出する。

【００６３】以下では、本願発明の主眼をなす注視点位
置処理回路１０９の動作を図１，図６及び図７を用いて
説明する。

【００６４】図１において、映像信号処理回路１０６で
行われる信号処理の一つにＣＣＤ１１０より出力される
映像信号に帰線消去（ブランキング）信号を付加する処
理がある。前記ブランキング信号は注視点位置処理回路
１０９にも入力されており、前記ブランキング信号によ
り光電素子列６の蓄積タイミングが制御されている。

【００６５】本実施例では注視点位置処理回路１０９に
は垂直帰線消去信号が入力されている。

【００６６】前記垂直帰線消去信号は、図６に示すよう
なもので、ファインダ画面１０２の垂直帰線消去期間に
対応するパルス上の信号である。図６中のａ期間が帰線
消去期間に対応している。

【００６７】次に、具体的に図７のフローチャートを用
いて注視点位置処理回路１０９の動作を説明する。

【００６８】まず、ステップＳ７０ではＩＲＥＤ５が発
光される。

【００６９】次に、ステップＳ７１へ進み映像信号処理
回路１０６より得られるファインダ画面の垂直帰線消去
期間の開始を検出するルーチンで、図２中のｂに示すパ
ルス信号の立ち下がりを検出する。パルス信号の立ち下
がりが検出された時はステップＳ７２へ進み、立ち下が
りが検出されなかった時は立ち下がりが検出されるまで
現状を維持する。

【００７０】ステップＳ７２では注視点位置処理回路１
０９より光電素子列６に光電荷の蓄積開始の信号を与え
て、前記光電素子列６にＩＲＥＤ５により眼球２０１の
角膜反射像による光電荷の蓄積を行う。

【００７１】次に、ステップＳ７３では映像信号処理回
路１０６より得られるファインダ画面の垂直帰線消去期
間の終了を検出するルーチンで、図２中のｃに示すパル
ス信号の立ち上がりを検出する。パルス信号の立ち上が
りが検出されれば次のステップＳ７４へ進み、立ち上が
りが検出されない場合は検出されるまで現状を維持す
る。

【００７２】ステップＳ７４では、光電素子列６の光電
荷を読み出し、上述した視線検出方法により観察者の注
視点を検出を行い、ステップＳ７１へ戻る。

【００７３】以下では、本願発明の第２の実施例にかか
るビデオカメラを図８及び図９を用いて詳細に説明す
る。

【００７４】図８は第２の実施例にかかるビデオカメラ
の要部ブロック図である。

【００７５】尚、図８中で図１と同一部分には同一の符
号を付し、その説明は省略する。

【００７６】第２の実施例では視線検出用のＩＲＥＤ５
の発光制御を行うＩＲＥＤ発光制御回路１０４が付加さ
れている。

【００７７】第２の実施例では光電素子列６の蓄積タイ
ミング及びＩＲＥＤ５の発光タイミングが制御される。

【００７８】図８において、映像信号処理回路１０６で
行われる信号処理の一つにＣＣＤ１１０より出力される
映像信号に帰線消去（ブランキング）信号を付加する処
理がある。前記ブランキング信号は注視点位置処理回路
１０９にも入力されており、前記ブランキング信号によ
り光電素子列６の蓄積タイミング及びＩＲＥＤ５の発光
タイミングが制御されている。

【００７９】次に、図９のフローチャートを用いて注視
点位置処理回路１０９の動作を説明する。

【００８０】まず、ステップＳ９０では映像信号処理回
路１０６より得られるファインダ画面の垂直帰線消去期
間の開始を検出するルーチンで、図２中のｂに示すパル
ス信号の立ち下がりを検出する。パルス信号の立ち下が
りが検出された時はステップＳ９１へ進み、立ち下がり
が検出されなかった時は立ち下がりが検出されるまで現
状を維持する。

【００８１】ステップＳ９１ではＩＲＥＤ５の発光を開
始させるべく、注視点位置処理回路１０９より発光制御
回路１０４に発光ＯＮ信号を与えてＩＲＥＤ５を発光さ
せる。

【００８２】ステップＳ９２では注視点位置処理回路１
０９より光電素子列６に光電荷の蓄積開始の信号を与え
て、前記光電素子列６にＩＲＥＤ５により眼球２０１の
角膜反射像による光電荷の蓄積を行う。

【００８３】次に、ステップＳ９３では映像信号処理回
路１０６より得られるファインダ画面の垂直帰線消去期
間の終了を検出するルーチンで、図２中のｃに示すパル
ス信号の立ち上がりを検出する。パルス信号の立ち上が
りが検出されれば次のステップＳ９４へ進み、立ち上が
りが検出されない場合は検出されるまで現状を維持す
る。

【００８４】ステップＳ９４では、ＩＲＥＤ５の発光を
終了させるべく、注視点位置処理回路１０９より発光制
御回路１１２に発光ＯＦＦ信号を与えてＩＲＥＤ５の発
光を終了する。

【００８５】次に、ステップＳ９５では、光電素子列６
の光電荷を読み出し、第１の実施例で上述した視線検出
方法により観察者の注視点を検出を行い、ステップＳ９
０へ戻る。

【００８６】第２の実施例では、映像信号処理回路１０
６からのブランキング信号に基づいてＩＲＥＤ５の発光
制御も行うことにより、必要最小限にＩＲＥＤ５の発光
を必要最小限にでき、節電効果を果たす。

【００８７】尚、上述の各実施例では垂直帰線消去期間
内に視線検出用光電素子列６の蓄積及びＩＲＥＤ５の発
光を行っていたが、何れもこれに限ることはなく、例え
ばファインダ画面の水平帰線消去期間内において、同様
に光電素子列６の蓄積制御及びＩＲＥＤ５の発光制御を
行っても同等の効果が得られることは言うまでもない。

【００８８】

【発明の効果】以上説明したように、上記発明によれば
視線検出手段を備えるビデオカメラにおいて、視線検出
用の光電素子の蓄積期間を、ファインダ画面の帰線消去
（ブランキング）期間に対応させることにより、ビュー
ファインダ光により生じる、視線検出用光電素子に対す
るノイズを除去することができ、より検出精度の高い視
線検出を可能にしたビデオカメラを提供することができ
る。

【図面の簡単な説明】

【図１】第１の実施例に係るビデオカメラの要部ブロッ
ク図である。

【図２】図１の視線検出系の要部斜視図である。

【図３】図２の光学原理図である。

【図４】本実施例に係る光電素子列上の反射象を説明す
る図である。

【図５】本実施例に係る視線検出方法のシーケンスフロ
ーチャートである。

【図６】垂直帰線消去信号を説明する図である。

【図７】第１の実施例に係る注視点位置処理回路１０９
の動作を説明するフローチャートである。

【図８】第２の実施例に係るビデオカメラの要部ブロッ
ク図である。

【図９】第２の実施例に係る注視点位置処理回路１０９
の動作を説明するフローチャートである。

【図１０】視線検出光学系の概略図である。

【図１１】図１０の光電素子列からの出力信号の強度図
である。

【符号の説明】

２ ダイクロイックミラー ４ 受光レンズ ５ 照明手段 ６ 光電素子列 １０１ 電子ビューファインダ １０２ ファインダ画面 １０３ 注視点位置表示回路 １０４ ＩＲＥＤ発光制御回路 １０６ 映像信号処理回路 １０６ 注視点位置処理回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 撮影画像等を電気的に表示するビューフ
   ァインダを備えるビデオカメラであって、 前記ビューファインダの画面における撮影者の視線位置
   を検出する視線検出手段を有し、 前記視線検出手段に属する視線検出用光電素子の蓄積期
   間を、前記ファインダ画面に供給されるビデオ信号のブ
   ランキング期間に対応させることを特徴とするビデオカ
   メラ。
2. 【請求項２】 前記視線検出手段に属する視線検出用照
   明手段の照明動作を、前記ファインダ画面に供給される
   ビデオ信号のブランキング期間に対応させることを特徴
   とする請求項１のビデオカメラ。
3. 【請求項３】 撮影画像等を電気的に表示するビューフ
   ァインダを備えるビデオカメラであって、 前記ビューファインダの画面における撮影者の視線位置
   を検出する視線検出手段を有し、 前記視線検出手段に属する視線検出用照明手段の照明動
   作を、前記ファインダ画面に供給されるビデオ信号のブ
   ランキング期間に対応させることを特徴とするビデオカ
   メラ。