JPH05304631A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 撮影者の画面内における注視点を検出して装
置を制御するための情報を得るようにした撮像装置にお
いて、注視点がいかなる位置にあつても、誤動作を生じ
ることなく常に安定な被写体追尾動作による撮影を行う
ことにある。 【構成】 撮像素子より出力される撮像信号に基づき撮
像面上の光学像をＥＶＦ画面に映出するＥＶＦと、ＥＶ
Ｆモニタ画面に対する操作者の注視点を検出する注視点
検出装置と、注視点検出装置によつて検出された注視点
の位置情報に基づいて前記注視点の移動を追尾する注視
点追尾回路と、注視点を用いずに被写体の特徴の時間的
変化から被写体の動きを追尾する特徴追尾回路と、これ
らの追尾回路を注視点の位置に応じて選択的に動作させ
る制御回路とを備え、被写体を追尾してＡＦ領域、ＡＳ
領域等の設定を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、操作者の注視点を検出
し、その検出情報を用いて撮影動作の制御を行うように
した撮像装置に関するものである。

【０００２】

【従来の技術】従来より、カメラの分野においては、自
動化，多機能化が著しく、自動焦点調節装置，自動露出
制御等、種々の機能が標準的に装備されるようになり、
その操作性の向上が著しい。

【０００３】これらの機能は、たとえば撮像画面内に設
定された検出領域内より得られる情報、たとえば自動焦
点調節（以下ＡＦと称す）では検出領域内に相当する撮
像信号中の高周波成分に基づいて合焦検出を行うように
なつており、これによつて主要被写体に確実に焦点を合
わせ続けることができる。

【０００４】また近年では、さらに制御を最適化する目
的で、検出領域の設定に操作者の意志を反映させるべ
く、操作者のフアインダ画面上の注視点すなわち視線を
検出し、操作者の注視している位置に上記各種機能の動
作に伴う情報を検出する検出領域を設置する視線検出装
置の導入が提案されている。これによつて撮影条件によ
つて合焦状態を外れたり、主被写体以外のものに合焦し
てしまう等の誤動作を生じることなく、時々刻々と変化
する被写体に対しても安定に且つ操作者の意志に基づい
て焦点を合わせ続けることができる。

【０００５】このような視点検出装置を開示するものと
しては、ＵＳＰ４０７５６５７，ＵＳＰ４１０９１４
５，ＵＳＰ４５７４３１４、特開昭６１−１７２５５２
号公報等がある。

【０００６】しかしながら操作者の注視点は必ずしも一
定しておらず、かなりのばらつきを生じることが予想さ
れ、単に検出された注視点に検出領域を設定してしまう
と、操作者の注視点がが主要被写体以外のものにずれた
り、フアインダの画面外にあつた場合に検出領域の設定
位置が不適切となり、検出領域から得られる情報の信頼
性、制御の精度が大幅に低下する問題がある。

【０００７】また操作者が撮影中に各機能の入力を行お
うとする際には、ビユーフアインダを除きながらその操
作を行わなければならず、また各種機能のスイツチ等を
確認しながら操作するためには操作者は一度ビユーフア
インダから目を離さなければならず、そのため撮影画面
が乱れたり、被写体を見失つたりする危険がある。そし
てこのような問題は、近年カメラ及びカメラ一体型ＶＴ
Ｒの多機能化の傾向とともにさらに大きくなる。

【０００８】この問題に対する対策としては、モニタ用
のビユーフアインダのフイアンダ画面に各種機能メニユ
ーを表示し、報じされた各種機能メニユーに注視点を合
致させ、この注視点を視線検出装置で検出して、注視点
と合致した機能メニユーに対応する機能を実行するカメ
ラ一体型ＶＴＲが考えられており、これによれば操作者
はビユーフアインダから目を離すことなく、容易に各種
機能の入力を行うことが可能となる。

【０００９】また自動焦点制御（ＡＦ），自動露出制御
（ＡＥ），自動ホワイトバランス（ＡＷＢ），自動ぶれ
補正（ＡＳ）等の撮影動作を補うための機能に対して、
時々刻々と変化する主要被写体の位置を操作者が注視し
ている位置として考え、視線検出装置によりその注視位
置を正確に検出し、その注視点の変化に前記各種制御に
用いる検出領域を追従させることによつて動きのある被
写体を追尾させ、たとえば焦点を合わせ続けるように構
成することが考えられる。

【００１０】このようにすることにとによつて、さらに
操作者の意志に反することのないより正確な各種機能を
実現することができると予想される。

【００１１】

【発明が解決しようとする課題】しかしながら、このよ
うに視線検出装置を用いて注視点に検出領域を移動させ
る追尾式のＡＦ，ＡＥ，ＡＷＢ，ＡＳ等各種制御動作に
おいては、操作者が被写体を注視している場合は何等問
題は生じないが、注視点がフアインダ画面外や実際には
検出領域を設定することのあり得ないような領域に位置
している場合に、その位置に検出領域を設定し、誤った
情報に基づく制御を行ってしまうことになり、特に動き
のある被写体を撮影する場合には、一瞬であつても注視
点を被写体から離すことによつて注視点と被写体とが大
きく離れてしまい、上述したように制御の低下を招くと
ともに、誤動作の原因となる問題を生じる危険がある。

【００１２】

【課題を解決するための手段】本発明は上述の問題点を
解決するためになされもので、撮像面に結像された光学
像を電気信号に変換する光電変換手段と、前記光電変換
手段より出力される電気信号に基づき前記撮像面上の光
学像をモニタ画面に映出するモニタと、前記モニタ画面
に対する操作者の注視点を検出する注視点検出手段と、
前記注視点検出手段によつて検出された注視点の位置情
報に基づいて前記注視点の移動を追尾する第１の追尾制
御手段と、前記注視点を用いずに前記光学像の動きを追
尾する第２の追尾制御手段と、前記第１の追尾制御モー
ドと第２の追尾制御モードとを選択的に動作させる制御
手段とを備える。

【００１３】また本発明によれば、撮像面に結像された
光学像を電気信号に変換する光電変換手段と、前記光電
変換手段より出力される電気信号に基づき前記撮像面上
の光学像をモニタ画面に映出するモニタと、前記モニタ
画面に対する操作者の注視点を検出する注視点検出手段
と、前記注視点検出手段によつて検出された注視点の位
置情報に基づいて前記注視点の移動を追尾する第１の追
尾制御手段と、前記注視点を用いずに前記光学像の動き
を追尾する第２の追尾制御手段と、前記注視点が前記モ
ニタの画面上の所定の領域内に存在するか否かを判定す
る判定手段と、前記判定手段の出力に基づいて前記第１
の追尾制御モードと第２の追尾制御モードとを選択的に
動作させる制御手段とを備える。

【００１４】また本発明によれば、撮像面に結像された
光学像を電気信号に変換する光電変換手段と、前記操作
者の注視点を検出する注視点検出手段と、前記注視点を
除く前記撮像面上の領域に所定の動きに関する情報を抽
出するためのぶれ検出領域を設定する検出領域設定手段
と、前記ぶれ検出領域より検出されたぶれ情報にもとづ
いて、そのぶれ補正を行うぶれ補正手段とを備える。

【００１５】また本発明によれば、撮像面に結像された
光学像を電気信号に変換する光電変換手段と、前記撮像
面上の画像をモニタ画面に表示するモニタ手段と、前記
モニタ画面に対する操作者の注視点を検出する注視点検
出手段と、前記注視点検出手段によつて検出された注視
点の位置情報に基づいて測距枠を設定する第１の追尾制
御手段と、前記注視点を用いずに前記光学像の動きを検
出して測距枠を追従させる第２の追尾制御手段と、前記
第１または第２の追尾制御モードにおいて設定された測
距枠の外の領域にぶれ検出領域を設定するぶれ検出手段
と前記第１の追尾制御モードと第２の追尾制御モードと
を選択的に動作させる制御手段とを備える。

【００１６】

【作用】これによつて、撮影者の画面内における注視点
を検出して装置を制御するための情報を得るようにした
撮像装置において、注視点がいかなる位置にあつても、
誤動作を生じることなく常に安定な制御を行うことが可
能となる。

【００１７】また移動する被写体に安定且つ確実に検出
領域を追尾させるとともに、操作者の注視点の位置が被
写体を離れ、画面外や実際に制御可能な領域外に位置し
ているときも、安定な被写体追尾動作を行なうことがで
き、最適な動画撮影を可能となる。

【００１８】また被写体と背景とな判別を正確に行なう
ことができ、被写体の動きの有無、撮影状況の如何にか
かわらず、適切な振れ補正行なうことができ、また被写
体追尾動作を行なっている間も、振れ補正を並行して行
なうことができる。

【００１９】

【実施例】以下本発明における撮影装置を各図を参照し
ながらカメラ一体型ＶＴＲ（ビデオテープレコーダ）に
適用した実施例について詳細に説明する。

【００２０】図１は本発明を適用したカメラ一体型ＶＴ
Ｒの一例を示すブロツク図である。

【００２１】同図において、１０１は電子ビユーフアイ
ンダ（ＥＶＦ）、１０２はフアインダ画面を示すもので
ある。ＥＤは撮影者の視線すなわち電子ビユーフアイン
ダ画面上における注視点を検出する視線検出装置で、光
電素子列６と、赤外発光ダイオード５ａ（５ｂ）、接眼
レンズ１，受光レンズ４，ダイクロイツクミラー２から
なる光学系と、信号処理回路９によつて構成されてい
る。尚、２０１は撮影者の眼球を表している。

【００２２】そして赤外発光ダイオード５ａ，５ｂによ
つて撮影者の眼球に赤外光を照射し、その反射光を光電
素子列６上で受光することにより、撮影者の視線が電子
ビユーフアインダ１０１のフアインダ画面１０２上のど
こを見ているか、すなわち注視点を検出するものであ
る。

【００２３】ここで、上記視線検出装置ＥＤについて、
第２図〜第７図を用いてさらに詳しく説明する。

【００２４】まず光学系ＥＤは、ダイクロイツクミラー
２，接眼レンズ１、受光レンズ４により構成されてお
り、ダイクロイツクミラー２は可視光は透過し、赤外光
は反射するようになつており、電子ビユーフアインダ１
０１のフアインダ画面１０２上の画像を撮影者の目へと
通過させるとともに、赤外発光ダイオードの眼球に対す
る反射光を光電素子６へと導くものである。そしてフア
インダ画面１０２からの光りはダイクロイツクミラー
２，接眼レンズ１を介して眼球２０１へと入射される。
Ｅはそのアイポイントを示す。ここでフアインダ画面１
０２から眼球２０１のアイポイントＥへと入射される光
の軸をＸ軸とする（図２参照）。

【００２５】赤外発光ダイオード５ａ，５ｂは接眼レン
ズ１の眼球２０１側上端部の近傍にＸ軸に対して対象に
配置され、赤外光がアイポイントＥの近傍に位置する眼
球２０１の中心に入射されるようになつている。眼球２
０１からの赤外光は、接眼レンズ１を通り、可視光透過
・赤外光反射のダイクロイツクミラー２により受光レン
ズ４に導かれ、光電素子列６に入射するようになつてい
る。光電素子列６面上の眼球反射像の一例を図６に示
す。ダイクロイツクミラー２により受光レンズ４に導か
れ、光電素子列６に入射される光の軸に平行で、かつＸ
軸に直行する軸をＹ軸とし、Ｘ軸とＹ軸を含む平面に直
行する軸をＺ軸とする（図２参照）。また光電素子列６
は複数の光電素子がＺ軸に平行な直線上に並べられてい
る。

【００２６】信号処理回路１０９は眼球光軸検出回路、
眼球判別回路、視軸補正回路、注視点検出回路等により
構成されている。眼球光軸検出回路は眼球光軸の回転角
を求めるものである。眼球判別回路はフアインダ画面１
０２を注視している眼球が左右いずれであるかを判別す
るものである。視軸補正回路は眼球光軸の回転角と眼球
判別情報に基づき視軸の補正を行うものである。注視点
検出回路は光学定数に基づき注視点を算出するものであ
る。これらの各回路は信号処理回路１０９をマイクロコ
ンピユータで構成することにより、ソフトウエアで実現
される。

【００２７】赤外発光ダイオード５ａ，５ｂからの光束
は、角膜反射像ｅと角膜反射像ｄがＺ軸と平行な方向に
それぞれ形成される（図４参照）。角膜反射像ｅと角膜
反射像ｄの中点のＺ座標は角膜２１の曲率中心ｏのＺ座
標と一致している。観察者の眼球光軸がＹ軸を中心に回
動していない場合、すなわち眼球光軸とＸ軸が一致して
いる場合（角膜の曲率中心ｏと瞳孔の中心Ｃ’がＸ軸上
にある）の角膜反射像ｅ（ｄ）は、Ｘ軸から＋Ｙ方向に
ずれて形成される（図５参照）。

【００２８】図３は信号処理回路１０９による視線検出
手順を示すフローチヤートである。

【００２９】眼球光軸検出回路により眼球光軸の回転角
を検出し、光電素子列６から像信号を図６において−Ｙ
方向から順次読み出し、角膜反射像ｅ’，ｄ’が形成さ
れた光電素子列６の行Ｙｐ’を検出し（ステツプＳ
１）、角膜反射像ｅ’，ｄ’が形成された光電素子列６
の列方向の発生位置Ｚｄ’，Ｚｅ’を検出する（ステツ
プＳ２）。

【００３０】光電素子列６の行Ｙｐ’から得られる出力
信号の一例を図７に示す。ついで角膜反射像の間隔｜Ｚ
ｄ’−Ｚｅ’｜より光学系の結像倍率βを求める（ステ
ツプＳ３）。眼球からの反射像の結像倍率βは、角膜反
射像ｅ，ｄの間隔が赤外発光ダイオード５ａ，５ｂと観
察者の眼球との距離に比例して変化するため、光電素子
列６上に再結像した角膜反射像の位置ｅ’，ｄ’を検出
することにより求めることができる。

【００３１】そして角膜反射像ｅ，ｄが再結像された光
電素子列６の行Ｙｐ’上の虹彩２３と瞳孔２４の境界Ｚ
２ｂ’，Ｚ２ａ’を検出し（ステツプＳ４）、行Ｙｐ’
上の瞳孔系｜Ｚ２ｂ’−Ｚ２ａ’｜を算出する（ステツ
プＳ５）。

【００３２】通常、角膜反射像が形成される光電素子列
６の行Ｙｐ’は、図６のように、瞳孔中心Ｃ’が存在す
る光電素子列６の行ＹＯ’より図６において−Ｙ方向に
ずれている。像信号を読み出すべきもう１つの光電素子
列の行Ｙｌ’を結像倍率βと瞳孔径により算出する（ス
テツプＳ６）。行Ｙｌ’は行Ｙｐ’から十分離れてい
る。

【００３３】ついで光電素子列の行Ｙｌ’上の虹彩２３
と瞳孔２４の境界Ｚｌｂ’，Ｚｌａ’を検出し（ステツ
プＳ７）、境界点（Ｚｌａ’，Ｙｌ’），境界点（Ｚｌ
ｂ’，Ｙｌ’），境界点（Ｚ２ａ，Ｙｐ’），境界点
（Ｚ２ｂ’，Ｙｐ’）のうちの少なくとも３点を用いて
瞳孔の中心位置Ｃ’（Ｚｃ’，Ｙｃ’）を求める。

【００３４】続いて角膜反射像の位置（Ｚｄ’，Ｙ
ｐ’），（Ｚｅ’，Ｙｐ’）と、次式（１），（２）か
ら眼球光軸の回転角θ_z ，θ_y を求める（ステツプＳ
８）。

【００３５】

【外１】

【００３６】ただしδＹ’は赤外発光ダイオード５ａ，
５ｂが受光レンズ４に対して光電素子列６の列方向の直
行する方向に配置されていることにより、角膜反射像の
再結像位置ｅ’，ｄ’が光電素子列６の上で角膜２１の
曲率中心のＹ座標に対してＹ軸方向のずれを補正する補
正値である。

【００３７】続いて眼球判別回路により、例えば算出さ
れる眼球光軸の回転角の分布からフアインダを覗いてい
る観察者の眼が右眼または左眼のいずれであるかを判別
し（ステツプＳ９）、眼球判別情報と眼球光軸の回転角
に元おづき補正回路により視軸を補正し（ステツプＳ１
０）、光学系１００の光学定数に基づき注視点を算出す
る（ステツプＳ１１）。

【００３８】次にカメラ部分全体の構成を説明する。１
２０はフオーカシングレンズ群、１２２はズーミングレ
ンズ群である。１１８はＣＣＤ等の撮像素子で、フオー
カシングレンズ群１２０、ズーミングレンズ群１２０を
含む光学系を介して入射された光信号を電気信号に変換
するものである。１３１はレンズ駆動回路で、フオーカ
シングレンズ群１２０を駆動するものである。

【００３９】１１６はカメラ信号処理回路で、撮像素子
１１８から出力された撮像信号に対して所定の信号処理
を施して企画かされた映像信号に変換するものである。
１１４はバンドパスフイルタ（ＢＰＦ）で、カメラ信号
処理回路１１６からの映像信号中より焦点状態に応じて
変化し、合焦状態に近づく程レベルが高くなる所定の高
周波成分を取り出すためのものである。

【００４０】１１０はＡＦ制御回路で、撮像素子１１８
の撮像面内に設定された制御対象領域としての測距枠に
対応する部分から、カメラ信号処理回路１１６、ＢＰＦ
１１４を介して得られる画像信号の高周波成分を抽出
し、この高周波成分が最大となるようにレンズ駆動回路
１３１を駆動し、フオーカシングレンズ群１２０を移動
制御するものである。またＡＦ制御回路１１０は視点検
出回路の信号処理回路１０９より検出された注視点情報
に基づいて測距枠の位置を注視点に設定すべく移動制御
する注視点被写体追尾機能と、被写体の特徴点を検出し
てこれを自動的に追尾する特徴点追尾機能を備えてお
り、各機能を選択的に動作可能であるとともに、注視点
がフアインダ画面１０２内あるいはフアインダ画面１０
２内に設定された所定の範囲内に存在するか否かを判定
し、その判定結果に応じて各追尾機能を自動選択し、測
距枠の設定動作のアルゴリズムを変更するものである。
その具体的制御動作については後述する。

【００４１】１１２は枠表示回路で、測距枠をフアイン
ダ画面内に表示するものであり、注視点がフアインダ画
面１０２内にある場合は、その注視点を中心として測距
枠を表示し、注視点がフアインダ画面１０２内にない場
合には後述するように他の被写体追尾動作によつて設定
された被写体の位置に測距枠を表示するものである。１
１２はＥＶＦ表示回路で、カメラ信号処理回路より出力
された映像信号をＥＶＦに表示するとともに各種制御情
報を表示すべくフアインダ画面１０２の表示を制御する
ものである。

【００４２】１４１はビデオ信号処理回路で、カメラ信
号処理回路１１６からのビデオ信号を磁気テープ等の記
録媒体に記録するのに適した形態に変換する処理を行う
ものである。１４０は時期記録装置で、ビデオ信号処理
回路１４１からのビデオ信号を磁気テープに記録するビ
デオテープレコーダ（ＶＴＲ）である。

【００４３】次に上述のＡＦ制御回路１１０内の構成に
ついて図８のブロツク図を用いて説明する。本発明のＡ
Ｆ制御回路１１０は、操作者が主要被写体を見ていると
判断できるときには注視点に測距枠を設定する視線検出
による被写体追尾動作を行い、操作者が主要被写体を見
ていないと判断される場合には、被写体の特徴の時間的
変化を検出して被写体を追尾する自動被写体追尾動作を
行うようにし、いかなる場合でも主要被写体を追尾し得
るようにしたものである。尚、被写体の特徴の時間的変
化を検出して被写体の移動を検出し、これを追尾する自
動追尾方式としては、たとえばＵＳＰ４８７２０５８，
ＵＳＰ５０３１０４９等に開示された方式を用いること
ができる。

【００４４】図８において、ゲート回路４０１は、ＢＰ
Ｆ１１４より出力された映像信号中の測距枠内に相当す
る信号のみを通過させるもので、この通過範囲を可変す
ることにより、測距枠の大きさ、位置を自由に設定する
ことができる。そして演算回路４０６は注視点情報を入
力してその注視点座標に測距枠を設定する場合のゲート
回路の開閉タイミングを演算し、スイツチ４０８を介し
てゲート回路４０１へと供給し、これを制御する。これ
によつて注視点座標に測距枠を位置させることができ
る。

【００４５】一方ＢＰＦ１１４の出力は、ピークホール
ド回路４０３へと供給され、ここで映像信号の１フイー
ルド期間内における高周波成分のピーク値が検出される
とともに、ピーク位置検出回路４０４によつてその画面
内におけるピーク検出位置が検出される。ここでピーク
値は主要被写体の中で高周波成分のレベルが最も高い部
分であり、すなわちコントラストの極めて高い部分であ
り、被写体の特徴として代表させることができる。そし
てそのピーク値の検出位置は主要被写体の位置を示すも
のと考えることができる。演算回路４０５はピーク位置
検出回路４０４より出力された主要被写体の位置座標に
基づいてその座標に測距枠を設定する場合のゲート回路
の開閉タイミングを演算し、スイツチ４０８を介してゲ
ート回路４０１へと供給し、これを制御する。これによ
つて主要被写体位置に測距枠を位置させることができ
る。

【００４６】また判定回路４０７は注視点情報を入力
し、注視点がフアインダ画面内か否かすなわち図１０に
示すフアインダ画面における有効画面領域（白抜き部分
Ａ）内か外側の領域（斜線部分Ｂ）かを判定し、その判
定結果に応じてスイツチオ４０８を切り換えるものであ
る。この有効画面領域は、フアインダ画面全体としても
よいし、フアインダ画面内の所定範囲としてもよく、設
計に応じて設定すればよい。

【００４７】注視点座標がフアインダ画面内であると判
定された場合には、撮影者が主要被写体を注視している
と考え、注視点に基づく被写体追尾を行うべく、演算回
路４０６を選択し、注視点座標がフアインダ画面外であ
つた場合には、撮影者が主要被写体を注視していないと
判断して演算回路４０５を選択する。

【００４８】図９は図８のＡＦ制御回路１１０の動作の
流れを示すフローチヤートである。

【００４９】まず注視点を検出するための信号処理回路
１０９から得られる注視点情報すなわち現在撮影者がフ
アインダが面のどの位置を注視しているかという信号を
フアインダ内座標値（ＩＰ_X ，ＩＰ_Y ）として受け取る
（ステツプＳ１０１）。

【００５０】次にこの受け取った注視点座標値（ＩＰ
_X ，ＩＰ_Y ）が、フアインダが面１０２の外か否かを判
別する（ステツプＳ１０２）。フアインダが面内外の判
別は、前述したように図１０に示すようなフアインダ画
面内に設定された所定の領域の内であるか外であるかに
よつて判定されるが、本実施例では、図１０において斜
線を施した部分がフアインダ画面外の領域であり、たと
えば視線入力用画面選択のための視線検出を行なう領域
として用いられている。したがつて上記の注視点座標値
がフアインダの映像表示画面内か否かを判別するため
に、本ルーチン（ステツプＳ１０２）においては、注視
点座標値とフアインダ画面内座標領域を確定する座標値
との比較を行なっている。

【００５１】撮影者の注視点がフアインダの映像表示画
面外、例えば斜線部分のメニユー表示画面領域であると
判別された場合には、注視点位置情報を用いない従来の
被写体追尾、すなわち先に述べた、たとえば高周波成分
のピーク位置情報による特徴点被写体追尾動作を行な
う。このとき追尾座標とともに追尾範囲も設定する（ス
テツプＳ１０３）。

【００５２】他方、撮影者の注視点がフアインダ画面内
であると判定された場合には、ピーク位置情報による被
写体追尾に、注視点位置情報を加味した被写体追尾動作
を行なう。たとえばピーク位置と注視点位置が一定距離
以上離れているときには注視点位置を優先する等の追尾
制御を行なう。このとき追尾座標とともに追尾範囲も設
定する（ステツプＳ１０４）。

【００５３】ステツプＳ１０３またはステツプＳ１０４
で得られた被写体追尾座標とその追尾範囲から、測距枠
表示回路１１２を用いて、測距枠の表示を更新する（ス
テツプＳ１０５）。

【００５４】次に、更新されたその測距領域内におい
て、高周波成分の検出を行ない、ＡＦ制御を行なう（ス
テツプＳ１０６）。

【００５５】すなわち撮影者が常に主要被写体を見てい
るとは限らず、また被写体は撮影者が目を離していると
きでも移動しており、被写体が急激に移動した場合など
は、画面内のどこにいるかわからず、ＡＦで見れば、測
距枠をたとえば画面中央部等の特定位置に固定しても、
確実に被写体をとらえていないことが考えられる。

【００５６】そこで、本実施例では、操作者が主要被写
体を見ていると判断できるときには注視点に測距枠を設
定する視線検出による被写体追尾動作を行い、操作者が
主要被写体を見ていないと判断される場合には、被写体
の特徴の時間的変化を検出して被写体を追尾する自動被
写体追尾動作を行うようにし、いかなる場合でも主要被
写体を追尾し得るようにしたものである。

【００５７】次に本発明における第２の実施例につき説
明する。上述の第１の実施例によれば、フアインダ画面
内における撮影者の注視点を検出し、その注視点座標に
測距枠を設定するようにした場合を例にして説明した。

【００５８】本第２の実施例は、撮影者の注視点座標に
防振を行うためのＡＳ枠を設定するようにした場合につ
いて説明する。

【００５９】まず防振システム（ＡＳ：Auto Stabilizi
ng System ）の背景について簡単に説明すると、一般に
工業用計測機器、民生用危機を問わず、カメラブレが画
像を劣化させるとともにあらゆる誤動作を引き起こす原
因となつている。特に歩行中や移動する乗り物上からの
撮影や、振動の甥場所における撮影では、画面ぶれを生
じやすく、従来より種図のぶれ補正方式が提案されてい
る。

【００６０】例えば特開昭61-248681 号広報に記載の防
振カメラでは、光学系及び光電変換素子からなる撮像系
により入射画像を電気信号に変換し、所定の信号処理を
施した映像信号をモニタ装置に供給するとともに、映像
信号を画像ぶれ検知回路に供給し、一定時間隔てた２画
面間の相関をとることによつて画像のぶれの大きさと方
向を検知する。そしてその検知結果に基づいて、画像ぶ
れを打ち消す方向に光学系を駆動制御することにより、
装置が振動しても安定した画像が得られるものである。
尚、『防振』とはカメラぶれを修正する機能をさす。

【００６１】またこのように、画像からぶれ量を検出す
る場合、画面全体に対し均一な感度でぶれ量を検出する
方式を採用すると、被写体が変形あるいは移動したの
か、撮影者の手ぶれによつてカメラが傾き、あるいは振
動したのかを区別することができず、撮影者の意志に反
した物体を認識し、誤ったぶれ補正を行ってしまうとい
う事態が生じ得る。

【００６２】この問題を解決するためには、各被写体の
位置と形状と動きを認識し、所定領域内において画像ぶ
れ量を検出する処理が必要となる。このようにした画像
ぶれ検知装置が、テレビジヨン学会技術報告Vol.11,No.
3,p34 〜48,PPOE,'87-12(May,1987)「画像ゆれ補正装置
について」に記載されている。この文献では、全画面を
１４０ブロツクの領域に分割し、各領域でのぶれ検知を
手動により任意にＯＮ／ＯＦＦし、ＯＮの領域のみを代
表点マツチング法動きベクトルを求め、ぶれ検知を行っ
ている。そして、画像ぶれを検知する領域を決定する方
法としては、背景と被写体の輝度差を利用する方法
や、一定時間隔てた画像間との差分（フレーム間差）
から動き領域を検出する方法が用いられてきた。

【００６３】しかしながら、上述のＡＳシステムによる
と、特にカメラ一体型ＶＴＲ等に搭載した場合、被写体
と背景の区別を確実に行うことは困難であり、ぶれ補正
対象画面のどの領域が手ぶれ検出に最適か否かの判別が
難しく、誤った検出領域においてぶれ補正を行ってしま
い、不自然な映像になつてしまう問題がある。

【００６４】そこで本実施例では、上述したように撮影
中は操作者の注視点が主要被写体上にあるとして、操作
者の視線を検出してその画面内における注視点を検出
し、この注視点を中心とする所定の範囲を主要被写体と
考え、その主要被写体の範囲以外の領域を背景と判断し
てぶれ検出領域とするものである。

【００６５】このようにすれば、常に背景に対してぶれ
検出，補正を行うことができ、被写体の動きをカメラぶ
れと誤判定して誤動作することを防止できる。

【００６６】そして本実施例では、さらに操作者の注視
点がフアインダ外の被写体が存在しない領域に位置して
いるとき、明らかに主要被写体を注視していないので、
ＡＳ領域の設定を所定の位置たとえば画面中央部を避け
た周辺位置に固定する等の安全対策を施したものであ
る。

【００６７】以下図１１に示すブロツク図を用いて本第
２の実施例を説明する。同図において、図１の第１の実
施例と同一構成部分については同一符号を付し、説明を
省略する。２１５は１フイールド遅延回路であり、カメ
ラ信号処理回路１１６から出力された画像信号を１フイ
ールド期間だけ遅延させるものである。２１４はＡ／Ｄ
変換器で、カメラ信号処理回路および１フイールド遅延
回路２１５よりそれぞれ出力された１フイールド期間隔
てた画像信号デジタル信号に変換するものである。２１
２はＡ／Ｄ変換器２１４より出力された各画像信号を記
憶するメモリである。２１０は防振動作を制御するＡＳ
制御回路で、メモリ２１２に記憶された１フイールド期
間ずれた２画面の画像信号に対して、ぶれ検出を行うた
めのぶれ検出領域（ＡＳ領域）内に相当する画像信号を
比較し、カメラぶれ、振動を動きベクトルとして検出す
るとともに、この動きベクトル情報に基づいて、メモリ
２１２から１フイールド分の画像信号を読み出す際に、
動きベクトルを打ち消す方向及び大きさに読み出し範囲
をシフトすることにより、ぶれを補正するものである。
またＡＳ制御回路２１０は視線検出回路ＥＤの信号処理
回路１０９より供給される注視点座標情報を入力し、そ
の注視点座標がフアインダ領域内（本実施例では図１０
で示したフアインダ内の所定領域をフアインダ画面全域
とし、フアインダ画角以外をフアインダ領域外とする）
であれば、その注視点座標を含む所定範囲以外の周辺領
域（背景）にＡＳ領域を設定するとともに、フアインダ
領域外であれば、画面中央部を除く周辺領域にＡＳ領域
を固定するものである。

【００６８】また２１８はＤ／Ａ変換器で、メモリ２１
２より読み出された画像信号をアナログ信号に変換して
ビデオ信号処理回路１４１へと出力するものである。

【００６９】ここで、ＡＳ制御回路による撮像画面内に
おけるＡＳ領域の設定処理について図１２〜１４を用い
て説明する。

【００７０】図１２はＡＳ領域設定処理の手順を示すフ
ローチヤートで、ステツプＳ２０１では視線検出回路Ｅ
Ｄの信号処理回路１０９より供給された注視点座標情報
（ＩＰｘ，ＩＰｙ）すなわち現在撮影者がフアインダ画
面のどの位置を注視しているかという信号をフアインダ
画面内の座標値で入力する。

【００７１】ステツピＳ２０２では、ステツプＳ２０１
で入力された注視点座標値のばらつき範囲より主要被写
体の存在する領域を判定する処理を行う。図１３に示す
ように、本実施例では一定時間内における注視点座標の
Ｘ方向、Ｙ方向の最大値、最小値を記憶させ、その領域
を被写体存在領域と判断する。すなわち図１３におい
て、画面のＸ方向の座標の最大値ＩＰｘｍａｘと最小値
ＩＰｘｍｉｎの間をＸ方向の幅とし、画面のＹ方向の座
標の最大値ＩＰｙｍａｘと最小値ＩＰｙｍｉｎの間をＹ
方向の幅とした領域ＯＡを主要被写体存在領域と判断す
る。

【００７２】ステツプＳ２０３では、ステツプＳ２０１
で求めた主要被写体存在領域と重ならない領域をＡＳ領
域すなわちぶれ検出領域として選択し、設定する処理が
行われる。たとえば図１４に示すように、画面内にあら
かじめＡＳ領域として〜の５つの領域が用意されて
いるとすると、ステツプＳ２０２では、主要被写体存在
領域が画面中央のＯＡ１のように判定されたとすると、
そのＯＡ１の含まれるＡＳ領域以外のの領域
を背景と考えＡＳ領域に設定し、また主要被写体存在領
域が画面中央のＯＡ２のように判定されたとすると、そ
のＯＡ２の含まれるＡＳ領域以外のの領域を
背景と考えＡＳ領域に設定するといつたものである。

【００７３】ステツプＳ２０４ではステツプＳ２０３で
設定されたＡＳ領域においてＩフイールド隔てた画像信
号を比較してぶれの大きさ及び方向を表すの動きベクト
ルを求め、これを打ち消すような補正を行うＡＳ動作の
処理（メモリがの読み出し位置を制御）が行われる。

【００７４】したがつてＡＳ制御において従来では困難
であつた主要被写体と背景との判別を操作者の意志に基
づく注視点すなわち視線を検出することによつて可能と
したので、高精度かつ誤動作のないＡＳ制御を行うこと
ができる。

【００７５】また上述の実施例では主被写体の存在領域
の設定に際して、一定時間内の注視点座標のｘ方向、Ｙ
方向の最大値、最小値を記憶させ、その領域を被写体存
在領域と判断していたが（図１３）、何もこれに限定さ
れるものではなく、たとえば図１５に示すように、注視
点座標のｘ方向、Ｙ方向ん御移動平均値を主被写体領域
の中心として設定し、領域の大きさは焦点距離等に応じ
て予め設定してあるものを用いてもよい。

【００７６】次に図１１に示す装置のＡＳ制御回路２１
０の全体の処理を、図１６に示すフローチヤートを用い
て説明する。

【００７７】ステツプＳ３０１において、視線検出回路
ＥＤの信号処理回路１０９からの注視点座標値（ＩＰ
ｘ，ＩＰｙ）すなわち撮影者が注視している位置の座標
値を入力し、ステツプＳ３０２で注視点座標値（ＩＰ
ｘ，ＩＰｙ）がフアインダ画面外か否かが判定される。
ここでフアインダ画面内外の判定基準は、図１０に示す
ような所定範囲内外の判別（画面内の斜線を施した部分
と施さない部分）によつて行われ、その判別を行う領域
は、フアインダ画面全体でもよいし、所定の範囲でもよ
い。

【００７８】ステツプＳ３０２の判定の結果、注視点座
標値（ＩＰｘ，ＩＰｙ）がフアインダ画面外であつた場
合は、ステツプＳ３０３へと進み、注視点を検出してＡ
Ｓ検出領域を決定（注視点以外の位置に設定）する被写
体追尾動作を中止し、ステツプＳ３０４にてＡＳ検出領
域を画面中央部を除く周辺領域たとえば図１３で見れば
中央部の領域を除くの領域をぶれ検出を行う
ＡＳ検出領域に設定し、ステツプＳ３０５に進んでＡＳ
検出領域より検出されぶれを表すた動きベクト
ルを打ち消す方向にメモリからの画像読み出し位置をシ
フトし、ぶれを補正する。

【００７９】またステツプＳ３０２で注視点座標がフア
インダ画面内であつた場合には、ステツプＳ３０６へと
移行して前述の図１１〜図１４で説明した手順で注視点
座標すなわち主要被写体の存在する領域を設定した後、
ステツプＳ３０７で主要被写体領域を除いた領域をＡＳ
検出領域として設定し、ステツプＳ３０５へと移行して
ＡＳ制御動作が行われる。

【００８０】これによつて、撮影者の注視している主要
被写体領域と背景とを正確に判別することができ、常に
背景に大してＡＳ動作を行うことができるとともに、撮
影者の注視点がフアインダ画面外へとはずれても、誤動
作を生じることなく安定なＡＳ制御を持続させることが
できる。

【００８１】尚、上述の各実施例においては、ＡＦとＡ
Ｓを例にして説明さひたが、これらの他にも自動露出制
御（ＡＥ）を行うための輝度信号検出用の測光領域の設
定や、自動ホワイトバランス（ＡＷＢ）の色情報検出領
域の設定にも適用することができる。

【００８２】以上述べたように、本実施例によれば、注
視点を検出し、その注視点座標を中心に例えば測距枠を
設定するとともに、その測距枠以外の領域をＡＳ領域す
なわち振れ補正領域に設定することにより、従来困難で
あつた主要被写体と背景との判別を行なうことができ、
従来に比較してより高精度のＡＳ制御を行なうことがで
き、動きを有する被写体に対しても、その背景において
振れ検出を行なうことができる。

【００８３】次に本発明における第３の実施例につき説
明する。本実施例は、上述の第１の実施例によつて設定
された測距枠によつてＡＦ動作を行うとともに、その測
距枠の外側の領域をＡＳ検出領域に設定してぶれ検出を
行い、自動焦点制御動作と防振制御動作を並行して行う
ようにしたものである。

【００８４】図１７は本実施例の構成を示すブロツク図
で、実質的には図１１の構成に、図８のＡＦ制御回路１
１０を組み合わせたもので、前述の実施例における構成
部分と同一構成のものについては、同一符号を付し、そ
の説明を省略する。ここで重要なのは、ＡＦ制御回路１
１０より測距枠の情報をＡＳ制御回路に供給し、ＡＳ制
御回路２１０では、測距枠を除く外側の領域をぶれ検出
用のＡＳ検出領域に設定している点である。

【００８５】図１８はＡＳ制御回路におけるＡＳ領域設
定処理の手順を示すフローチヤートで、ステツプＳ４０
１において、視線検出回路ＥＤの信号処理回路１０９か
らの注視点座標値（ＩＰｘ，ＩＰｙ）すなわち撮影者が
注視している位置の座標値を入力し、ステツプＳ４０２
で注視点座標値（ＩＰｘ，ＩＰｙ）がフアインダ画面外
か否かが判定される。ここでフアインダ画面内外の判定
基準は、図１０に示すような所定範囲内外の判別（画面
内の斜線を施した部分と施さない部分）によつて行われ
る。

【００８６】ステツプＳ４０２の判定の結果、注視点座
標値（ＩＰｘ，ＩＰｙ）がフアインダ画面外であつた場
合は、ステツプＳ４０３へと進み、ＡＦ制御回路１１０
内においてピーク追尾によつて設定された測距枠の情報
を入力し、画面内において測距枠を除く領域を背景と考
えてＡＳ検出領域に設定し、ステツプＳ４０４でＡＳ制
御すなわちぶれ検出及びぶれ補正処理を行う。すなわち
ＡＳ検出領域より検出されたぶれを表す動きベクトルを
打ち消す方向にメモリからの画像の切り出し範囲をシフ
トし、ぶれを補正する。

【００８７】またステツプＳ４０２で注視点座標がフア
インダ画面内であると判定された場合には、ステツプＳ
４０５へと移行して注視点座標すなわち主要被写体の存
在する領域を設定した後、ステツプＳ４０６で主要被写
体領域を除いた領域をＡＳ検出領域として設定し、ステ
ツプＳ４０５へと移行してＡＳ制御動作が行われる。

【００８８】これによつて、撮影者が主要被写体を注視
しているときは、その注視点座標に測距枠を設定してＡ
Ｆ動作を行うとともに、上述のようにその注視点以外の
領域をＡＳ領域に設定し、動きのある被写体に対する背
景に基づいてぶれ検出及びぶれ補正を行うことができ
る。また撮影者が主要被写体を注視していない場合に
は、高周波成分のピーク検出位置等による被写体の特徴
に基づく被写体特徴追尾動作によつて測距枠を設定し、
同様にその外側の領域をＡＳ領域に設定してぶれ補正を
行うことができる。すなわち被写体の動きの有無、撮影
者の注視点の状態、その他の撮影環境にかかわらず、常
に被写体を適確に追尾し、ＡＦ，ＡＳ等の各種機能を並
行して最適制御することができ、安定で最適の撮影を行
うことができる。

【００８９】また特にＡＳ制御において、撮影者の注視
している主要被写体領域と背景とを正確に判別すること
ができ、常に背景に対してＡＳ動作を行うことができる
とともに、撮影者の注視点がフアインダ画面外へとはず
れても、誤動作を生じることなく安定なＡＳ制御を持続
させることができる。

【００９０】尚、本実施例においても、図１３で説明し
たように、一定時間内における注視点座標のＸ方向、Ｙ
方向の最大値、最小値を記憶させ、その領域を被写体存
在領域と判断し、ＡＳ主要被写体存在領域と重ならない
領域をＡＳ領域すなわちぶれ検出領域として選択する点
では同一であり、図１４で説明したように、〜の５
つの領域から選択してもよいし、測距枠外全部をＡＳ検
出領域としてもよい。

【００９１】尚、上述の各実施例においては、ＡＦとＡ
Ｓを例にして説明したが、これらの他にも自動露出制御
（ＡＥ）を行うための輝度信号検出用の測光領域の設定
や、自動ホワイトバランス（ＡＷＢ）の色情報検出領域
の設定にも適用することができる。

【００９２】また撮影した画像を記録する装置も、カメ
ラ一体型ＶＴＲのような磁気テープを用いるものに限ら
れるものではなく、フロツピーデイスク、光デイスク、
光磁気デイスク等の記録媒体を仕様する撮影記録装置に
も適用可能であることは言うまでもなく、記録画像の種
類も、動画、静止画のいずれでも適用可能である。

【００９３】

【発明の効果】以上述べたように、本発明によれば、注
視点座標の検出によつて主要被写体の位置を適確に判定
してＡＦ，ＡＳ等の制御対象領域の設定を行なうことに
より、より撮影者の意志を尊重した撮影を可能が可能と
なるとともに、撮影者が主要被写体を注視しておらず、
その注視点座標がフアインダ画面外のような被写体を注
視していれば実際にはあり得ないような位置に検出され
た場合においては、視線追尾動作からたとえば他の被写
体の特徴点を追尾する特徴点追尾動作に切り換えること
により、被写体の種類、動きの有無、撮影環境にかかわ
らず、常に確実で高精度の制御が可能となり、最適な撮
影を行なうことができる。

【図面の簡単な説明】

【図１】本発明における視線検出装置を用いた撮像装置
の第１の実施例を示すブロツク図である。

【図２】図１のブロツク図における視線検出装置１００
の構造を示す図である。

【図３】Ｘ軸及びＹ軸を含む平面上の角膜反射像の位置
の一例を示す図である。

【図４】Ｘ軸及びＹ軸を含む平面上の角膜反射像の位置
の一例を示す図である。

【図５】視線検出装置の信号処理回路１０９んいよる視
線検出手順の一例を示すフローチヤートである。

【図６】眼球２０１からの反射像の一例を示す図であ
る。

【図７】光電素子列の行Ｙｐ’から得られる出力信号の
一例を示す図である。

【図８】図１のブロツク図において、ＡＦ制御回路の内
部構成を示すブロツク図である。

【図９】図１，図８におけるＡＦ制御回路の制御動作を
示すフローチヤートである。

【図１０】フアインダ画面上における注視点座標判別動
作を説明するためのフアインダが面の一例を示す図であ
る。

【図１１】視線検出装置を用いたＡＳ装置を搭載した本
発明における第２の実施例を示すブロツク図である。

【図１２】図１１の第２の実施例におけるＡＳ制御を説
明するためのフローチヤートである。

【図１３】主要被写体の存在する領域を判定する処理を
説明するための図である。

【図１４】ＡＳ制御用の振れ検出領域の設定動作を説明
するための図である。

【図１５】主要被写体の存在する領域を判定する処理の
他の例を説明するための図である。

【図１６】図１１に示す第２の実施例の動作を説明する
ためのフローチヤートである。

【図１７】視線検出装置を用いたＡＦ及びＡＳ装置を搭
載した本発明における第３の実施例を示すブロツク図で
ある。

【図１８】図１７に示す第３の実施例の動作を説明する
ためのフローチヤートである。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 撮像面に結像された光学像を電気信号に
   変換する光電変換手段と、 前記光電変換手段より出力される電気信号に基づき前記
   撮像面上の光学像をモニタ画面に映出するモニタと、 前記モニタ画面に対する操作者の注視点を検出する注視
   点検出手段前記注視点検出手段によつて検出された注視
   点の位置情報に基づいて前記注視点の移動を追尾する第
   １の追尾制御手段と、 前記注視点を用いずに前記光学像の動きを追尾する第２
   の追尾制御手段と、 前記第１の追尾制御モードと第２の追尾制御モードとを
   選択的に動作させる制御手段と、 を備えたことを特徴とする撮像装置。
2. 【請求項２】 撮像面に結像された光学像を電気信号に
   変換する光電変換手段と、 前記光電変換手段より出力される電気信号に基づき前記
   撮像面上の光学像をモニタ画面に映出するモニタと、 前記モニタ画面に対する操作者の注視点を検出する注視
   点検出手段と、 前記注視点検出手段によつて検出された注視点の位置情
   報に基づいて前記注視点の移動を追尾する第１の追尾制
   御手段と、 前記注視点を用いずに前記光学像の動きを追尾する第２
   の追尾制御手段と、 前記注視点が前記モニタの画面上の所定の領域内に存在
   するか否かを判定する判定手段と、 前記判定手段の出力に基づいて前記第１の追尾制御モー
   ドと第２の追尾制御モードとを選択的に動作させる制御
   手段と、 を備えたことを特徴とする撮像装置。
3. 【請求項３】 撮像面に結像された光学像を電気信号に
   変換する光電変換手段と、 前記操作者の注視点を検出する注視点検出手段と、 前記注視点を除く前記撮像面上の領域に所定の動きに関
   する情報を抽出するためのぶれ検出領域を設定する検出
   領域設定手段と、 前記ぶれ検出領域より検出されたぶれ情報にもとづい
   て、そのぶれ補正を行うぶれ補正手段と、 を備えたことを特徴とする撮像装置。
4. 【請求項４】 撮像面に結像された光学像を電気信号に
   変換する光電変換手段と、 前記操作者の注視点を検出する注視点検出手段と、 前記注視点検出手段によつて検出された注視点が前記モ
   ニタの画面上の所定の領域内に存在するか否かを判定す
   る判定手段と、 前記注視点を除く前記撮像面上の領域に所定の情報を抽
   出するための検出領域を設定する検出領域設定手段と、 前記判定手段の出力に基づいて前記検出領域設定手段を
   制御し、前記判定手段によつて注視点が前記所定の領域
   内に存在すると判定された場合にはその注視点を除く前
   記撮像面内の位置に前記検出領域を設定し、注視点が前
   記所定の領域外にあると判定された場合には、前記検出
   領域を前記撮像面内の所定の位置に設定する制御手段
   と、 を備えたことを特徴とする撮像装置。
5. 【請求項５】 撮像面に結像された光学像を電気信号に
   変換する光電変換手段と、 前記撮像面上の画像をモニタ画面に表示するモニタ手段
   と、 前記モニタ画面に対する操作者の注視点を検出する注視
   点検出手段と、 前記注視点検出手段によつて検出された注視点の位置情
   報に基づいて測距枠を設定する第１の追尾制御手段と、 前記注視点を用いずに前記光学像の動きを検出して測距
   枠を追従させる第２の追尾制御手段と、 前記第１または第２の追尾制御モードにおいて設定され
   た測距枠の外の領域にぶれ検出領域を設定するぶれ検出
   手段と、 前記第１の追尾制御モードと第２の追尾制御モードとを
   選択的に動作させる制御手段と、 を備えたことを特徴とする撮像装置。