JP2004129927A - 視線検出装置 - Google Patents
視線検出装置 Download PDFInfo
- Publication number
- JP2004129927A JP2004129927A JP2002298919A JP2002298919A JP2004129927A JP 2004129927 A JP2004129927 A JP 2004129927A JP 2002298919 A JP2002298919 A JP 2002298919A JP 2002298919 A JP2002298919 A JP 2002298919A JP 2004129927 A JP2004129927 A JP 2004129927A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- detection
- observer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
- Focusing (AREA)
Abstract
【課題】視線検出手段とAF手段を備えた光学装置において、使用者の意図するAF点を迅速に、正確に選択する。
【解決手段】視線検出装置は、プルキンエ像(以下、P像)配置状態を判別する手段を備え、予め、キャリブレーションでP像配置状態に応じた眼球回転角補正係数と回転角バラツキ(偏差)を求める手段を備える。▲2▼視線検出時、使用者のP像配置状態に応じた注視点とそれを中心とする注視点領域を可変させる手段を備える。▲3▼前記領域内の焦点検出点群から、所定のデフォーカス処理で、少なくとも1つを選択。
【選択図】 図1
【解決手段】視線検出装置は、プルキンエ像(以下、P像)配置状態を判別する手段を備え、予め、キャリブレーションでP像配置状態に応じた眼球回転角補正係数と回転角バラツキ(偏差)を求める手段を備える。▲2▼視線検出時、使用者のP像配置状態に応じた注視点とそれを中心とする注視点領域を可変させる手段を備える。▲3▼前記領域内の焦点検出点群から、所定のデフォーカス処理で、少なくとも1つを選択。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は視線検出手段を有した光学装置に関し、特に撮影系による被写体像が形成されている観察面(ピント面)上のファインダー系を介して観察者(撮影者)が観察している注視点方向の軸、いわゆる視線(視軸)を、観察者の眼球面上を照明したときに得られる眼球の反射像を利用して検出し、各種の撮影操作を行うようにした視線検出手段を有した光学装置に関するものである。
【0002】
【従来の技術】
従来より観察者が観察面上のどの位置を観察しているかを検出する、いわゆる視線(視軸)を検出する装置(例えばアイカメラ)が種々提案されている。
【0003】
例えば特開平1−274736号公報においては、光源からの平行光束を観察者の眼球の前眼部へ投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求めている。
【0004】
ここで、以下に、視線検出方法の原理から、角膜反射像(虚像;プルキンエ像もしくはP像)の配置状態が、1次元に存在する場合と、2次元に存在する場合では、第一に視線検出演算結果がどう異なるか、第二にそれらの個人差に関する補正係数が異なる点を述べる。
【0005】
図20は視線検出方法の原理説明図である。
【0006】
まず、角膜反射像(虚像;プルキンエ像もしくはP像)の配置状態が、1次元に存在する場合について説明する。
【0007】
各部の名称と記号については、図1、図2と同様である。13a、13bは各々ユーザに対して不感の赤外光を放射する発光ダイオードであり、各光源13a、13bは受光レンズ12の光軸に対してx方向にほぼ対称に配置され、さらにユーザの眼球17を下方(y方向にオフセットした位置)から照明するように配置されている。眼球17で反射した照明光の一部は受光レンズ12を介してCCD14に集光する。17bは角膜、17cは虹彩である。
【0008】
図21(a)はCCD14に投影される眼球像の概略図であり、図21(b)はCCD14の出力ラインからの信号の強度分布を示す図である。
【0009】
以下、上記の各図を用いて視線の検出方法について説明する。
【0010】
IRED13bより放射された赤外光はユーザの眼球17の角膜17bを照射する。このとき角膜17bの表面で反射した赤外光の一部により形成される角膜反射像d(虚像;プルキンエ像もしくはP像)は受光レンズ12により集光され、CCD14上の位置d′に結像する。同様にIRED13aにより放射された赤外光は、眼球17の角膜17bを照射する。このとき、角膜17bの表面で反射した赤外光の一部により形成された角膜反射像e(虚像;プルキンエ像もしくはP像)は受光レンズ12により集光され、CCD14上の位置e′に結像する。
【0011】
また、虹彩17cの端部a、bからの光束は、受光レンズ12を介してCCD14上の位置a′、b′に端部a、bの像を結像する。受光レンズ12の光軸に対する眼球17の光軸の回転角θが小さい場合、虹彩17cの端部a、bのx座標をxa、xbとすると、瞳孔17dの中心位置cの座標xは、
xc≒(xa+xb)/2…(1)
と表される。
【0012】
また、角膜反射像d及びeの中点のx座標と角膜17bの曲率中心oのx座標xoとはほぼ一致する。このため角膜反射像の発生位置d、eのx座標をxd、xe、角膜17bの曲率中心oと瞳孔17dの中心cまでの標準的な距離をLocとすると、眼球17の光軸17aの回転角θxは、
Loc×sinθx≒(xd+xe)/2‐xc…(2)
の関係式を満足する。このため、図21(a)に示した様に、CCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を検出することにより、眼球17の光軸17aの回転角θを求めることができる。
【0013】
眼球17の光軸17aの回転角は(2)式より、
β×Loc×sinθx≒{(xp0−δx)−xic}×Ptx…(3)
β×Loc×sinθy≒{(yp0−δy)−yic}×Pty…(4)
と求められる。ここで、βは受光レンズ12に対する眼球17の位置により決まる結像倍率で、実質的には2個の角膜反射像(プルキンエ像)の間隔|xd′−xe′|の関数として求められる。
【0014】
また、θxはz‐x平面内での眼球光軸の回転角、θyはy‐z平面内での眼球光軸の回転角である。(xpo,ypo)はCCD14上の2個の角膜反射像の中点の座標、(xic,yic)はCCD14上の瞳孔中心の座標である。Ptx,PtyはCCD14のx方向およびy方向の画素ピッチである。δx,δyは角膜反射像の中点の座標を補正する補正項であり、ユーザの眼球を平行光ではなく発散光にて照明していることにより生じる誤差を補正する補正項、及び、δyに関しては、ユーザの眼球を下まぶたの方から発散光にて照明していることにより生じるオフセット成分を補正する補正項も含まれている。
【0015】
ユーザの眼球光軸17aの回転角(θx,θy)が算出されると、ユーザの観察面上の注視点(x,y)は、
x[mm]=m×ax×(θx+bx)…(5)
y[mm]=m×ay×(θy+by)…(6)
と求められる。ここで、x方向は観察者に対して水平方向、y方向はユーザに対して垂直方向を示している。mは眼球17の回転角から観察面上の座標に変換する変換係数であり、ax,bx、ay,byは注視点キャリブレーション係数で、ユーザの眼球17の回転角と観察面上の注視点を一致させるための補正係数である。
【0016】
角膜反射像(プルキンエ像)の中点の位置の補正項δx、δyの算出方法を図22(a)、(b),(c)を用いて説明する。
【0017】
接眼レンズ射出面と視線検出光学系の光軸(z軸)との交点を原点に設定する。IRED1の座標を(−Sxi1,Syi,Szi)、IRED2の座標を(Sxi1,Syi,Szi)、撮影者の眼球の角膜の曲率中心Oの座標を(Sxc,Syc,Szc)とする。
【0018】
プルキンエ像dとeの中点P0は、IRED1,2の中点に配置された1個のIREDによって発生するプルキンエ像の位置と等価である。視線算出式は2つのプルキンエ像の中点P0の座標に基づいているため、以降IRED1とIRED2の中点(0,Si,Zi)と角膜の曲率中心Oとの距離をLとすると、
【外1】
【0019】
アッベの不変量より、角膜表面からプルキンエ像の発生する位置までの距離Kは、
【外2】
【0020】
と表される。また、プルキンエ像P1,P2の中点P0のx方向のシフト量δx(CCD座標系でのシフト量;眼球座標系でのΔx)は、
【外3】
【0021】
の関係を満足する。上式を展開するとシフト量δxは、
【外4】
【0022】
となる。同様にプルキンエ像P1,P2の中点P0のy方向のシフト量δyは、
【外5】
【0023】
ここで、視線検出光学系の結像倍率βを、接眼レンズ射出面(原点)からの距離Szの2次関数として定義すると、
β=b1・Sz2+b2・Sz+b3…(12)
となる。係数b1〜b3は、所定距離における結像倍率を光学シミュレーションにて求め、それらの値を2次近似することにより算出される。
【0024】
プルキンエ像の結像倍率βpは、角膜の頂点からのz方向の距離をSzpとすると、
βp=b1(−Szp−Szc)2+b2(−Szp−Szc)+b3…(13)
となる。
【0025】
以下、Szp、Szcを求めるため、算出ルーチンを複数回実行し、Szp、Szcを収束させる。
【0026】
ここで、式(9)と式(11)を比較した場合、式(11)では、
【外6】
【0027】
の1項が加えられている。
【0028】
これは、図22(b)に対して、図22(c)のごとく、y軸方向にz軸を挟んで、IREDが存在しないため、2次元に、プルキンエ像が無いことで生じている項である。即ち、y方向のシフト量δyは、プルキンエ像P1,P2の中点P0から、直接的に求めることが出来ない。
【0029】
このため、y方向のシフト量δyは、x方向のシフト量δxに対して、前述の係数b1〜b3の2次近似近似をはじめとして、収束計算での他の近似計算誤差、マイコン上の量子化誤差などが加わるため、精度が劣るという欠点を有する。
【0030】
したがって、δxを含む式(3)、δyを含む式(4)で求められるユーザの眼球光軸17aの回転角(θx,θy)において、θxに対して、θyは精度が劣るという欠点を有する。
【0031】
δxを含む式(3)、δyを含む式(4)から、撮影者の眼球回転角θx、θyが算出されると、式(5)、式(6)からの個人差に関するax,bx、ay,byの補正係数を与え、ピント板上の座標が算出される。
【0032】
ここで、θyの精度が劣るという欠点を回避するために、図2(b)のごとく、発光ダイオード13a、13bに対して、y軸方向にz軸を挟んで、13eまたは、13fを更に照明することで、新たな角膜反射像(虚像;プルキンエ像もしくはP像)を得ることで、即ち、2次元にプルキンエ像が配置された状態を得ることで、δyをδxと同様に、求めることで、θyを、θxと同様の精度にする必要がある。
【0033】
これを、発光ダイオード13cの照射を追加した図23で説明する。図23(a)は、図21(a)と同様に、CCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を示したもので、発光ダイオード13cに対応する新たな角膜反射像P3が、座標(Xe″,Ye″)に、発光ダイオード13a、13bに対応する従来の角膜反射像P1、P2の座標(Xe′,Ye′)、(Xd′,Yd′)のy座標から構成されるy方向P像中心が座標(xp1,yp1)にある。図23(b)は、図22(c)と同じy−z平面眼球座標図で表したものである。
【0034】
式(4)は、
β×Loc×sinθy≒{(yp1−δy)−yic}×Pty…(4)″
で表され、補正項δyに関しては、
【外7】
で表され、y方向のシフト量δyが、式(3)のx方向のシフト量δxと同様の式であることが判る。
【0035】
ここで、従来の発光ダイオード13a、13bでの角膜反射像で得られる式(11)のδyと、新たな角膜反射像を得ることで算出される式(10)″のδyの値は、当然異なるため、得られるθyの値も異なる。
【0036】
これは、観察者が同一注視点を観察した場合、角膜反射像の配置状態が、1次元である場合と、2次元である場合では、得られるθyの値も異なり、前述の如く、発光ダイオード13cの照射を追加して2次元にプルキンエ像が配置された状態で得られるθyの方が精度が良いことを示す。
【0037】
次に、眼球回転角θx、θyから、算出される式(5)、式(6)で与える個人差に関するax,bx、ay,byの補正係数も、同一個人であっても、発光ダイオード13a、13bで得られる角膜反射像から得られるax,bx、ay,byに対して、13eまたは、13fを更に照明し、新たな角膜反射像を加えて得られるay,byが異なる。
【0038】
以上が、視線検出原理である。
【0039】
この原理に対して、実際の視線検出において、観察者の観察条件、個人差からの2つの要因が加わり、次の3つの問題がある。
【0040】
一つは、観察者が同一点の注視を複数回行うと、本来視線検出結果は、同一となるが、実際には、結果にバラツキを生じる。これは、生理的な固視微動(意識としては、一点を注視していても、実際の注視点は、微動している)、光学装置の保持方法等に起因する個人差である。
【0041】
ここで、眼球回転角θx、θyから、算出される式(5)、式(6)で与える個人差に関するax,bx、ay,byの補正係数の取得は、同一個人の同一点の注視の複数回の視線検出から所定の演算で行われるが、補正係数同様に、同一点の注視を行っても、その視線検出結果のバラツキの大小もまた、観察者の個人差を有する。
【0042】
即ち、第1の問題として、現状、複数回の視線検出から所定の演算で、式(5)、式(6)で与える個人差に関するax,bx、ay,byの補正係数の取得は可能であっても、個人差によるその値のバラツキを考慮されていない。
【0043】
二つ目は、観察者の視線検出を行う際、必ずしも、照明光源に対応したプルキンエ像が得られるわけでは無い。特に、上側の発光ダイオード13eに対応する上側の角膜反射像は、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られることに起因する。前述の新たな照明光源を追加したとしてもそれに対応したプルキンエ像が得られるとは限らない。
【0044】
そこで、第2の問題として、観察者が同一注視点を観察し、視線検出を行った場合、前述の新たな照明光源を追加に対応したプルキンエ像が得られないと、得られるθyの値が異なり、注視点位置の演算結果のy方向精度が低下する。
【0045】
また、第3の問題として、前述のごとく、個人差に関するax,bx、ay,byの補正係数も、前述の角膜反射像の状態を考慮せず、一様に与えれば、y軸方向に関しての精度に問題が残る。
【0046】
そこで、従来の発光ダイオード13a、13bに対し、発光ダイオード13e、13fを追加して、照明に用いる提案がある。この様に行えば、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られたとしても、少なくとも発光ダイオード13e、13fに対応する角膜反射像のいずれかを得られる確率を増したものである。
【0047】
発光ダイオード13a、13b、13e、13fに対応して、3つの角膜反射像が得られた場合、前述のごとく、個人差に関するax,bx、ay,byの補正係数を正しく与えれば、眼球回転角θx、θyの精度は、同等となる。
【0048】
図24は、図21(a)、図23(a)と同様に、この時の4つの角膜反射像が得られた場合のCCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を示したものである。
【0049】
発光ダイオード13a、13b、13e、13fに対応する4つの角膜反射像が得られた場合、図21、図23に対して、x方向、y方向のP像中心位置は、各々2つの角膜反射像の座標でなく、4つの角膜反射像の座標から算出される為、個人差に関するax,bx、ay,byの補正係数を正しく与えれば、眼球回転角θx、θyの精度は、θyばかりで無く、θxも更に向上する。
【0050】
前述の第2、3の問題に対しては、従来提案として、特開平xx−xxxxx(キヤノン、大谷本人提案、整理番号4310030)にて、1回の個人差補正係数の取得動作で、角膜反射像の数、配置状態に応じたax,bx、ay,byの補正係数を取得し、観察者の視線検出時、角膜反射像の数、配置状態を判別し、対応した前記補正係数を与え、精度向上を図っている。
【0051】
しかし、第1の問題である観察者がある点を注視した場合、その視線検出結果に対して、バラツキの個人差を考慮した従来提案は無い。
また、特開平8−152552号公報(オリンパス)では、各々のフォーカスエリアに対し、視線検出情報からの注視点情報とその視線情報の信頼性から、更に、測距情報から、重み付けを行い、各々の総和から最も得点の高いフォーカスエリアを測距点として選択し、焦点調節を行っている。
【0052】
しかしながら、前段の視線検出において、「視線検出情報からの注視点情報と視線情報の信頼性」では、角膜反射像の数、配置状態が考慮されていない点と、個人差のバラツキが考慮されていない点から、第1、第2、第3の問題に対しての提案では無い。
【0053】
【発明が解決しようとする課題】
そこで、観察者の眼球の前眼部へ投射し、眼球像から特徴点(角膜反射像及び瞳孔の中心)を得るために、y軸方向にも、新たな角膜反射像(虚像;プルキンエ像もしくはP像)を得ることとした照明光源を設けた視線検出手段において、観察者の視線検出精度に、観察者の視線検出結果に個人差を考慮し、観察者の意図した注視点領域を決定可能とすることが課題である。
【0054】
次に、前記観察者の視線である注視点領域から、観察画面上、2次元に配置された複数のフォーカスエリアから、少なくとも1つのフォーカスエリアを選択可能とすることが課題である。
【0055】
【課題を解決するための手段】
複数の焦点検出点を選択するにあたって、y軸方向にも、新たな角膜反射像(虚像;プルキンエ像もしくはP像)を得ることとした照明光源を設けた視線検出手段において、視線検出時、第1に、角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態判断手段を設けた。
【0056】
第2に、視線補正手段(キャリブレーション)で、公知の特開平xx−xxxxx(キヤノン、大谷本人提案、整理番号4310030)の角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態に応じた個人差に関するax,bx、ay,byの補正係数の取得にあたって、その補正係数のバラツキを同時に、取得する手段を設けた。
【0057】
第3に、前記角膜反射像状態判断手段の結果、即ち、角膜反射像の配置状態から、視線検出演算の結果である注視点位置を算出した上で、前記視線補正手段(キャリブレーション)で、取得した補正係数のバラツキを観察者の視線の注視点位置が、どの程度バラツクかの個人差を加味した注視点領域を決定する手段を設ける。
【0058】
第4に、前記注視点領域に含まれる複数の焦点検出点から少なくとも1つのフォーカスエリアを選択する手段を設けた。
【0059】
その作用として、第1、第2の手段とで、観察者の視線検出で、得られた角膜反射像状態に応じ、かつ、観察者の個人差を考慮して、観察者の視線の注視点位置を精度良く、求めることが可能である。
【0060】
第2、第3の手段から、精度良く求められた前記観察者の視線の注視点位置に対して、個人差に起因する視線検出のバラツキを考慮した注視点領域を求めることが可能となる。
【0061】
第4の手段から、観察者の意図したフォーカスエリアを選択可能となる。
【0062】
【発明の実施の形態】
本実施例のカメラは、撮影者の眼球の光軸の回転角を検出し、該回転角から撮影者の視線を算出する視線検出装置を有するオートフォーカスカメラである。
【0063】
図1は本発明にかかる一眼レフカメラの要部概略図である。
【0064】
図1において、図中1は撮影レンズであり、図1では便宜上2枚のレンズ1a、1bで示したが、実際は多数のレンズから構成されている。2は主ミラーで、観察状態と撮影状態に応じて撮影光路へ斜設されあるいは退去される。3はサブミラーで、主ミラー2を透過した光束をカメラボデイの下方へ向けて反射する。4はシャッタ、5は感光部材で、銀塩フィルムあるいはCCDやMOS型等の固体撮像素子よりなっている。
【0065】
6は焦点検出装置であり、結像面近傍に配置されたフィールドレンズ6a、反射ミラー6b及び6c、2次結像レンズ6d、絞り6e、複数のCCDからなるラインセンサ6f等から構成されている周知の位相差方式を採用している。同図の焦点検出装置6は、図3に示すようにファインダー観察画面内300の複数の領域(7個の焦点検出点マーク301から307)は、焦点検出領域(以下、焦点検出点)と対応し、焦点検出可能なように構成されている。
【0066】
7は撮影レンズ1の予定結像面に配置されたピント板、8はファインダ光路変更用のペンタプリズム、9、10は観察画面内の被写体輝度を測定するための結像レンズと測光センサで、結像レンズはペンタプリズム8内の反射光路を介してピント板7と測光センサを共役に関係付けている。
【0067】
次に、ペンタプリズム8の射出面後方には光分割器11aを備えた接眼レンズ11が配され、撮影者の眼15によるピント板7の観察に使用される。光分割器11aは、例えば可視光を透過し赤外光及び赤外寄りの可視光(赤色光)を反射するダイクロイックミラーより成っている。12は受光レンズ、14はCCD等の光電素子列を2次元的に配したイメージセンサで受光レンズ12に関して所定の位置にある撮影者眼15の瞳孔近傍と共役になるように配置されている。
【0068】
イメージセンサ14と受光レンズ12は受光手段の一要素を構成している。13a〜13d、13e〜13hは各々撮影者の眼15の照明光源(投光手段)であるところの8個の赤外発光ダイオード(図では、2個のみ図示)で、接眼レンズ11の回りに配置されている。
【0069】
21は、明るい被写体の中でも視認出来る高輝度のスーパーインポーズ用LEDで、発光された光は、投光用プリズム22を介し、主ミラー2で反射してピント板7の表示部に設けた微小プリズムアレー7aで垂直方向に曲げられ、ペンタプリズム8、接眼レンズ11を通って撮影者の眼15に達する。
【0070】
そこで、ピント板7の焦点検出点に対応する複数の位置(焦点検出点マーク部)にこの微小プリズムアレイ7aを枠上に形成し、これを各々に対応した7つのLED21(各々をLED−L1、LED−L2、LED−C、LED−R1、LED−R2、LED−T、LED−Bとする)によって照明する。
【0071】
これによって、図3に示すように、各々の焦点検出点マークである301,302,303,304,305,306,307が、ファインダー視野内で光り、焦点検出点であることを表示させることが出来るものである(以下、これをスーパーインポーズ表示という)。
【0072】
ここで左右上下端の測距点マーク301、305、306,307は、眼球の個人差補正データ(視線補正係数)を採取する(以下この動作をキャリブレーションと称す)際に点灯するものである。本カメラのキャリブレーションは、撮影者がキャリブレーションを行う毎に、そのデータが所定回数まで蓄積され、所定の平均化作業によって算出される。
【0073】
23はファインダ視野領域を形成する視野マスク、24はファインダ視野外に撮影情報を表示するためのファインダ内LCDで、照明用LED(F−LED)25によって照明され、LCD24を透過した光が三角プリズム26によってファインダ内に導かれ、図3のファインダ視野外308に表示され、撮影者は該撮影情報を観察している。27は姿勢検知手段でありカメラの姿勢を検知するスイッチである。
【0074】
31は撮影レンズ1内に設けた絞り、32は後述する絞り駆動回路111を含む絞り駆動装置、33はレンズ駆動用モータ、34は駆動ギヤ等からなるレンズ駆動部材、35はフォトカプラでレンズ駆動部材34に連動するパルス板36の回転を検知してレンズ焦点調節回路37に伝えている。レンズ焦点調節回路37は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モータを所定量駆動させ、撮影レンズ1を合焦位置に移動させるようになっている。38は公知のカメラとレンズとのインターフェースとなるマウント接点である。
【0075】
図2(a)、図2(b)は、本発明のカメラ本体外観図で、図1での交換可能な撮影レンズ1は、不図示。図2(a)は、上面図、図2(b)は、背面図。
【0076】
200は、カメラ本体、201はレリーズボタン、202は外部モニタ表示装置としてのモニタ用LCDで図8の如く、予め決められたパターンを表示する固定セグメント表示部202aと、可変数値表示用の7セグメント表示部202b図2(a)、図2(b)において、カメラ本体200は、図1の交換可能なレンズ部は不図示であるが、とからなっている。
【0077】
203は測光値を保持するAEロック釦、204a、204b、204cはモード釦で撮影モード等の選択を行っている。
【0078】
モード釦45b、45cの同時押しでは、後述する眼球の個人差補正データ(視線補正係数)を採取する「視線キャリブレーション」モードとなる。
【0079】
205は電子ダイヤルで、回転してクリックパルスを発生させることによってモード釦204a、204b、204cで選択されたモードの中でさらに選択し得るモード、及び設定値を選択するためのものである。例えばモード釦204aを押して電子ダイヤル205にてシャッタ優先の撮影モードを選択すると、ファインダ内LCD24及びモニタ用LCD202には、現在設定されているモードとシャッタスピードが表示される。更に撮影者がモード釦204aを離した後、電子ダイヤル205を回転させるとその回転方向に従って現在設定されているシャッタスピードから順次シャッタスピードが変化していくように構成されている。この様にして撮影者がプログラムAEシャッタ優先AE、絞り優先AE、被写体深度優先AE、マニュアル露出の各撮影モードをモード釦204aを押すことで選択し、電子ダイヤル205を回転させることで撮影内容を設定できる。
【0080】
図8(a)、図8(b)はモニタ用LCD202とファインダ内LCD24である図3の308の全表示セグメントの内容を示した説明図である。図8(a)において固定表示セグメント部202aには公知の撮影モード表示以外に、カメラのAF動作や撮影モードの選択などの撮影動作を表示する部分を設けている。
【0081】
801は、視線検出モードであることを表示する部分で、視線検出モード時、表示される。視線検出モードにするためには、モード釦204bを押して、電子ダイヤル205を回転操作させ、801を表示させることで設定する。
【0082】
可変数値表示用の7セグメント部202bは、シャッタ秒時を表示する4桁の7セグメント802、絞り値を表示する2桁の7セグメント803と小数点804、フィルム枚数を表示する限定数値表示セグメント805と1桁の7セグメント806で構成されている。
【0083】
図8(b)において811は手ブレ警告マーク、812はAEロックマーク、813、814は、前記のシャッタ秒時表示802と絞り値表示803,804と同一の表示セグメント、815は露出補正設定マーク、816はストロボ充完マーク、817は視線入力状態であることを示す視線入力マークで、視線検出モードであることを表示する部分801と同様。818は撮影レンズ1の合焦状態を示す合焦マークである。
【0084】
206は、測距点選択モード釦で、撮影者がこれを押すことで、所定の焦点検出点を電子ダイヤル205の操作により、点灯表示している焦点検出点から任意の焦点検出点に移動操作可能とする。
【0085】
ここで、図6(a)でファインダー内の所定の焦点検出点マーク303が、点灯表示されているとすると、電子ダイヤル205を回すと回転方向に同期した形で図6(b)、図6(c)の如く、焦点検出点マーク304、305に移動することが可能である。そして、移動後の焦点検出点マークが点灯表示され、撮影者が選択した焦点検出点を認識可能としている。
【0086】
更に、同方向に電子ダイヤル205を回すと、図6(d)の如く、測距マーク301、302,303,304,305,306,307が同時に所定時間点灯し、測距点選択モードが、カメラが自動的に、測距点を選択する測距点自動選択モードとなったことを撮影者が認識可能としている。
【0087】
また、測距点選択モード釦206を再度押すと、電子ダイヤル205を回すことでの焦点検出点マークの移動方向が、測距マーク306,307を選択可能な方向に切り替わる。
【0088】
本カメラ200は、前述の撮影者が任意の焦点検出点を選択する事の可能な係る焦点検出点任意選択モード以外に、図3の7個の焦点検出点マークに対応する7個の焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を抽出、選択する焦点検出点自動選択モードの二つを備えている。また、前述のモード釦204b、電子ダイヤル205の操作で、視線検出モードであることを表示する部分801、817を表示させ、図3の7個の焦点検出点マークから選択するにあたり、撮影者の眼球の光軸の回転角を検出し、該回転角から撮影者の視線を算出する視線検出装置を利用して焦点検出点を選択する視線入力モードを備えている。
【0089】
本実施例では、カメラ200は、前記視線入力モードに設定されている。
【0090】
207は、カメラの電源スイッチでこれをON状態にすることでカメラが起動する。又OFFでカメラを不作動とするロックポジションとなる。
【0091】
点線208は、撮影者がカメラをホールドした状態の右手である。
【0092】
図4は本発明のカメラに内蔵された電気回路の要部ブロック図である。図4において図1及び図2と同一のものは同一符号を付けている。
【0093】
カメラ本体に内蔵されたマイクロコンピュータの中央処理装置(以下CPU)100には視線検出回路101、測光回路102、自動焦点検出回路103、信号入力回路104、LCD駆動回路105、バックライトLED駆動回路106、図1、図2の13a〜13gに相当するIRED1〜IRED8の8個のIRED駆動回路107、シャッタ制御回路108、モータ制御回路109が接続されている。また撮影レンズ内に配置された焦点調節回路37、絞り駆動回路111とは図1で示したマウント接点38を介して信号の伝達がなされる。
【0094】
CPU100は不図示のRAMを内蔵しており、視線のキャリブレーションデータを該内蔵RAMに記憶する機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、公知の視線の個人差の補正を行うための視線補正データ(以下キャリブレーションデータと称す)を取得するキャリブレーションモードが選択可能となり、各キャリブレーションデータ、及びキャリブレーション動作「OFF」が電子ダイヤル205にて可能となっている。
【0095】
CPU100に付随したEEPROM100aは記憶手段としての視線の個人差を補正する視線補正データの記憶機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、視線の個人差の補正を行なうための視線補正データ(以下「キャリブレーションデータ」と称する。)を採取するモードが選択可能となり、各キャリブレーションデータに対応したキャリブレーションナンバーの選択及びキャリブレーション動作のOFFが電子ダイヤル205にて可能となっている。
【0096】
キャリブレーションデータは複数設定可能で、カメラを使用する人物で区別したり、同一の使用者であっても観察の状態が異なる場合例えば眼鏡を使用する場合とそうでない場合、あるいは視度補正レンズを使用する場合とそうでない場合とで区別して設定するのに有効である。
【0097】
又、この時選択されたキャリブレーションナンバーは、後述するようにキャリブレーションデータナンバー(1,2,3・・・あるいは0)としてEEPROM100aに記憶される。
【0098】
本実施例では、1つのキャリブレーションナンバーに記憶されているキャリブレーションデータには、図10で、後述するように、正位置と縦位置でのキャリブレーションデータには、眼球回転角のバラツキも含まれている。、更にその中に角膜の反射像の数とその配置によって、各々キャリブレーションデータが記憶されている。
【0099】
視線検出回路101は、イメージセンサ14(CCD−EYE)からの眼球像の出力をA/D変換しこの像情報をCPUに送信する。CPU100は後述するように、公知の視線検出に必要な眼球像の各特徴点を所定のアルゴリズムに従って抽出し、さらに各特徴点の位置から撮影者の視線を算出する。CPU100と視線検出回路101、そしてイメージセンサ14は視線検出装置の一要素を構成している。
【0100】
測光回路102は測光センサ10からの出力を増幅後、対数圧縮、A/D変換し、各センサの輝度情報としてCPU100に送られる。測光センサ10は図3に示したファインダ画面内の7個の焦点検出点マーク301〜307の各々に対応した領域を測光するSPC−AからSPC−Gの7個のフォトダイオードから構成されている。
【0101】
焦点検出装置6fのラインセンサ116は前述のように画面内の7個の焦点検出点マーク301〜307に対応した7組のラインセンサCCD−C、CCD−R1、CCD−R2、CCD−L1、CCD−L2、CCD−T、CCD−Bから構成される公知のCCDラインセンサで、焦点検出を可能としている。自動焦点検出回路103はこれらラインセンサ116から得た電圧をA/D変換し、CPU100に送る。
【0102】
SW1はレリーズ釦201の第1ストロークでONし、測光、AF、視線検出動作を開始する測光スイッチ、SW2はレリーズ釦201の第2ストロークでONするレリーズスイッチ、ANG−SW1、ANG−SW2は姿勢検出装置27によって検知されるところの姿勢検知スイッチ、SW−AELはAEロック釦203を押すことによってONするAEロックスイッチ、SW−AFSは測距点選択釦206を押すことによってONする測距点選択モードスイッチ、SW−DIAL1とSW−DIAL2は既に説明した電子ダイヤル205内に設けたダイヤルスイッチで信号入力回路104のアップダウンカウンタ118に入力され、電子ダイヤル205の回転クイック量をカウントする。
【0103】
モード釦44a、44b、44cは、不図示。
【0104】
これらスイッチの信号が信号入力回路104に入力されデータバスによってCPU100に送信される。
【0105】
105はファインダー内LCD23、モニタ用LCD202を表示駆動させるための公知のLCD駆動回路で、CPU100からの信号に従い、絞り値、シャッタ秒時、設定した撮影モード等の表示を両方に同時に表示させている。
【0106】
LED駆動回路106は、LED21(各々をLED−L1、LED−L2、LED−C、LED−R1、LED−R2、LED−T、LED−Bとする)を点灯、点滅制御する。更に点灯時、測光回路102からの信号をCPU100が演算した信号に従い、点灯輝度を変化させ、ファインダー内の明るさに応じて測距点の表示を認識し易くしている。
【0107】
IRED駆動回路107は、撮影者が眼鏡をしない裸眼である場合に行う内周側のIRED13a、IRED13b、IRED13e、IRED13fの4つのIREDを同時点灯制御と、撮影者が眼鏡をしている場合に行う外周側のIRED13c、IRED13d、IRED13g、IRED13hの4つのIREDを同時点灯制御を、CPU100の信号に従い行う。
【0108】
シャッタ制御回路108は通電すると先幕を走行させるマグネットMG−1と、後幕を走行させるマグネットMG−2を制御し、感光部材に所定光量を露光させる。
【0109】
モータ制御回路109はフィルムの巻き上げを行うモーターM1と主ミラー2及びシャッタ4のチャージ、巻き戻しを行うモーターM2を制御している。これらシャッタ制御回路108、モータ制御回路109によって一連のカメラのレリーズシーケンズが動作する。
【0110】
図2の点線208の撮影者がカメラをホールドした右手部分のグリップ兼電池室112は、電池113を内蔵しており、コネクター114のP−GND、VBATの端子とメカ的電気的に接合し、本体電源系115にカメラ電源を供給している。
【0111】
コネクター114のP−GND、VBAT以外の端子とコネクター117の端子は、グリップ兼電池室112装着状態では、グリップ兼電池室112に端子が存在せず、接続状態になく、付属品の装着時に利用される端子である。
【0112】
スイッチ119は、グリップ兼内蔵電池室112,付属品の装着を認識するSWで装着状態でD−GNDと切り離されたことを検知する。
【0113】
次に図5で、本実施例のカメラの作動フローチャートを説明する。
【0114】
図2(b)の電源SW207を回転させてON位置にするとカメラを不作動状態からカメラの電源がONされる(S100)。
【0115】
次にCPU100の状態を確認し、焦点検出点選択モードを確認し(S101)、本実施例の視線入力モードかどうかを確認する(S102)。
【0116】
視線入力モードでなければ、視線入力禁止として、焦点検出点任意選択モードへ(S101a)。
【0117】
焦点検出点任意選択モードで無ければ、焦点検出点自動選択モード(S101b)に入る。ここでは、視線情報を用いずに、図3の7個の焦点検出点マークに対応する全ての焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を選択するサブルーチンを実行する。
【0118】
S101a、S101bで、LCD駆動回路105はファインダ内LCD24の視線入力マーク818を消灯するので、撮影者はファインダ画面外表示308でカメラが視線検出を行わないことを確認できる(図3,図8(b))。
【0119】
CPU100のEEPROM100aに記憶された視線のキャリブレーションデータ以外の視線検出に使われる変数と、所定のカメラ状態になるように、変数がリセットされる(S103)。
【0120】
そして、カメラはレリーズ釦201が押し込まれてスイッチSW1がONされるまで待機する(S104)。
【0121】
次に、視線検出を行なう際に、どのキャリブレーション(CAL)データを使用するかを視線検出回路101に確認する(S105)。
【0122】
この時、確認されたキャリブレーションデータナンバーのキャリブレーションデータが初期値のままで変更されていない場合、視線検出はこの初期値で行われる。また、同一キャリブレーションデータナンバーでも、一部キャリブレーションがなされず、初期値である場合、初期値で無いキャリブレーションデータを用いて視線検出が行われる。例えば、カメラ縦位置で、正位置しかキャリブレーションデータが存在しない場合、正位置のキャリブレーションデータが用いられる。
【0123】
次に、前記キャリブレーションデータナンバーに対応した視線のキャリブレーションデータが所定の値に設定されていてそのデータが撮影者により入力されたものであることが認識されると、視線検出回路101は、視線検出を実行し、角膜の反射像の数から選択されたキャリブレーションデータから、視線検出回路101において検出された視線は、撮影者の注視点として、ピント板7上の注視点座標に変換される視線検出が行われ、眼球回転角のバラツキを考慮した注視点領域が決定される(S106)。
【0124】
この時、LCD駆動回路105はファインダー内LCD24の視線入力マーク817を点灯させ、ファインダー画面外308で撮影者はカメラが視線検出を行なっている状態であることを確認することができるようになっている(図8(b))。
【0125】
また、7セグメント813には設定されたシャッタ秒時が、7セグメント814には設定された絞り値が、表示されている。
【0126】
この前記注視点領域が、どの注視点エリア群に内包され、前記注視点エリア群に、図3の7個の焦点検出点マークから対応するものを選択した(S107)後、選択された焦点検出点マークであるフォーカスエリアが焦点検出点となり、点灯表示される(S108)。
【0127】
図7(a)で、視線検出装置の一部であるイメージセンサ14は、ピント板7上の位置とピント板7上を観察する図3の観察画面300の位置に対応しており、ピント板7上及び、観察画面300上では、図7の如く、縦にL3,L2,L,C,R1,R2、R3の7列に、横にT,U,C,D,Bの5行で区切られた複数の注視点エリアで構成している。各注視点エリアは、縦列名・横行名で現される。 例えば、左上端エリアは、L3・T、右下端エリアは、R3・Bである。
【0128】
図7(a)で、注視点を座標(x、y)とすると、眼球回転角のバラツキを考慮した前記注視点領域309は、注視点エリア群である注視点エリアR1・D、R1・B、R2・D、R2・Bに内包される。ここで、前記注視点エリア群に、7つの焦点検出点が無い場合、視線検出を禁止し、焦点検出点自動選択モード(101b)に移る。
【0129】
撮影者が該撮影者の視線によって選択された焦点検出点が表示されたのを見て、その焦点検出点が正しくないと認識してレリーズ釦201から手を離しスイッチSW1をOFFすると(S109)、カメラはスイッチSW1がONされるまで待機する(S104)。
【0130】
撮影者が選択された焦点検出点が点灯表示されたのを見て、レリーズ釦201を押しつづけ、スイッチSW1をON続けたならば(S109)、選択された焦点検出点において自動焦点検出回路103は焦点検出動作を行う(S110)。
【0131】
焦点検出が可能(S111)であり、所定のアルゴリズムで選択された焦点検出点の焦点調節状態が合焦(S112)でなければ、CPU100はレンズ焦点調節回路110に信号を送って所定量撮影レンズ1を駆動させる(S113)。レンズ駆動後自動焦点検出回路103は再度焦点検出を行い(S110)、撮影レンズ1が合焦しているか否かの判定を行う(S112)。
【0132】
焦点検出が不能(S111)であれば、焦点検出NG表示として、図8の合焦マーク818を点滅させる(S111a)。更にSW1がONであれば、点滅を続け、OFFであれば(S111b)、再度、SW1がONされるまで待機する(S102)。
【0133】
所定の焦点検出点において撮影レンズ1が合焦していたならば、CPU100はLCD駆動回路105に信号を送ってファインダ内LCD24の合焦マーク818を点灯させると共に、IRED駆動回路107にも信号を送っての合焦している焦点検出点に合焦表示させる(S114)。
【0134】
合焦した焦点検出点がファインダ内に表示されたのを撮影者が見て、その焦点検出点が正しくないと認識してレリーズ釦41から手を離しスイッチSW1をOFFすると(S115)、引き続きカメラはスイッチSW1がONされるまで待機する(S102)。
【0135】
また、撮影者が合焦表示された焦点検出点を見て、引き続きスイッチSW1をONし続けたならば(S115)、CPU100は測光回路102に信号を送信して測光を行わせる(S116)。この時合焦した焦点検出点を含む測光領域SPC−A〜SPC−Gまでの7領域から選択し、重み付けを行った露出値が演算される。
【0136】
本実施例の場合、測光領域SPC−A〜SPC−G迄の7つの領域で、図3の選択された焦点検出点マークを含む測光領域を中心として、重み付けされた公知の測光演算を行い、この演算結果として外部表示部202の7セグメント803と小数点804、ファインダー外表示308の814を用いて絞り値(F5.6)を表示する。
【0137】
さらに、レリーズ釦201が押し込まれてスイッチSW2がONされているかどうかの判定を行い(S117)、スイッチSW2がOFF状態であれば再びスイッチSW1の状態の確認を行う(S115)。また、スイッチSW2がONされたならばCPU100はシャッタ制御回路108、モータ制御回路109、絞り駆動回路111にそれぞれ信号を送信する。
【0138】
まずMG2に通電し、主ミラー2をアップさせ、絞り31を絞り込んだ後、MG1に通電しシャッタ4の先幕を開放する。絞り31の絞り値及びシャッタ4のシャッタスピードは、前記測光回路102にて検知された露出値と感光部材であるフィルム5の感度から決定される。所定のシャッタ秒時(例えば,1/250秒)経過後MG2に通電し、シャッタ4の後幕を閉じる。フィルム5への露光が終了すると、MG2に再度通電し、ミラーダウン、シャッタチャージを行うと共にMG1にも通電し、フィルムのコマ送りを行い、一連のシャッタレリーズシーケンスの動作が終了する(S118)。その後カメラは再びスイッチSW1がONされるまで待機する(S102)。
【0139】
又、図5に示したカメラのシャッターレリーズ動作(S118)以外の一連の動作中にモード釦45b、45cの同時押しすると、眼球の個人差補正データ(視線補正係数)を採取する「視線キャリブレーション」モードに設定されたことを信号入力回路104が検知すると、CPU100はカメラの動作を一時停止し、視線検出回路101に送信して視線のキャリブレーション(S119)が可能な状態に設定する。視線のキャリブレーション方法については後述する。
【0140】
図9は視線検出(S106)のフローチャートである。前述のように視線検出回路101はCPU100より信号を受け取ると視線検出を実行する(S106)。視線検出回路101は、撮影モードの中での視線検出かあるいは視線のキャリブレーションモードの中での視線検出かの判定を行なう(S201)。同時に視線検出回路101はカメラが後述するどのキャリブレーションデータナンバーに設定されているかを認識する。
【0141】
視線検出回路101は、撮影モードでの視線検出の場合はまず最初にカメラがどのような姿勢になっているかを信号入力回路104を介して検知する(S202)。信号入力回路104は、CPU100はカメラ姿勢を姿勢検出回路27に確認する(S104)。図4のANG−SW1、ANG−SW2の出力により、正位置、図2の点線208の撮影者の右手が上にあるグリップ上縦位置、撮影者の右手208が下にあるグリップ下縦位置の3つの姿勢状態のいずれであるかを確認する。続いてCPU100を介して測光回路102から撮影領域の明るさの情報を入手する(S203)。
【0142】
次に先に検知されたカメラの姿勢情報とキャリブレーションデータに含まれる撮影者の眼鏡情報、後述するP像状態に応じたキャリブレーションデータの有無より赤外発光ダイオード(以下IREDと称す)13a〜13hの選択を行ない、照射される(S204)。
【0143】
S204を図25のフローで説明する。
【0144】
即ちカメラが正位置に構えられ、撮影者が眼鏡をかけていなかったならば、図2(b)に示すようにファインダー光軸よりのIRED13a,13b,13e,13fが選択される。又、カメラが正位置で、撮影者が眼鏡をかけていれば、ファインダー光軸から離れたIRED13c,13d,13g,13hが選択される(S2041)。
【0145】
このとき撮影者の眼鏡で反射した照明光の一部は、眼球像が投影されるイメージセンサー14上の所定の領域以外に達するため眼球像の解析に支障は生じない。また、カメラが縦位置で構えられていた場合も同様である。
【0146】
次に、後述するEEPROM100aのそれぞれのアドレス(図11)に記憶された、3P像以上のキャリブレーションデータ(図15、S503a、S503b)と2P像キャリブレーションデータ(図15、S503c)が、初期値か、否かを確認する。そこで、初期値であるものは、キャリブレーションデータが無いと判断する。
【0147】
次にイメージセンサー14(以下CCD−EYEと称す。)の蓄積時間及びIREDの照明パワーが前記測光情報及び撮影者の眼鏡情報等に基づいて設定される(S205)。該CCD−EYEの蓄積時間及びIREDの照明パワーは前回の視線検出時に得られた眼球像のコントラスト等から判断された値を基にして設定を行なっても構わない。
【0148】
CCD−EYE蓄積時間及びIREDの照明パワーが設定されると、CPU100はIRED駆動回路107を介してIREDを所定のパワーで点灯させるとともに、視線検出回路101はCCD−EYEの蓄積を開始する(S206)。
【0149】
又、先に設定されたCCD−EYEの蓄積時間にしたがってCCD−EYEは蓄積を終了し、それとともにIREDも消灯される。視線のキャリブレーションモードでなければ(S207)、CCD−EYEの読みだし領域が設定される(S208)。
【0150】
カメラ本体の電源がONされた後の1番最初の視線検出以外はCCD−EYEの読みだし領域は前回の視線検出時のCCD−EYEの読みだし領域を基準にして設定されるが、カメラの姿勢が変化したとき、あるいは眼鏡の有無が変化した場合等はCCD−EYEの読みだし領域は全領域に設定される。
【0151】
CCD−EYEの読みだし領域が設定されると、CCD−EYEの読みだしが実行される(S209)。この時読みだし領域以外の領域は空読みが行なわれ実際上読み飛ばされていく。これは、視線検出を迅速に行う為である。CCD−EYEより読みだされた像出力は視線検出回路101でA/D変換された後にCPU100にメモリーされ、該CPU100において眼球像の各特徴点の抽出のための演算が行なわれる(S210、S212)。
【0152】
即ち、CPU100において、眼球の照明に使用された4つ一組のIREDで、原理的には、図24のIREDの虚像である4つのプルキンエ像P1、P2、P3、P4の位置として、図24のP1(Xe′,Ye′)、P2(Xd′,Yd′)、P3(Xe″,Ye″)、P4(Xd″,Yd″)が検出される。プルキンエ像は光強度の強い輝点として現われるため、光強度に対する所定のしきい値を設け、該しきい値を超える光強度のものをプルキンエ像とすることにより検出可能である(S210)。
【0153】
次に、瞳孔の中心位置(Xic′,Yic′)は瞳孔19と虹彩17の境界点を複数検出し、各境界点を基に円の最小二乗近似を行なうことにより算出される。この時瞳孔径rpも算出される。
【0154】
CPU100は眼球像の解析を行なうとともに、眼球像のコントラストを検出してそのコントラストの程度からCCD−EYEの蓄積時間の再設定を行なう。
【0155】
又、プルキンエ像の位置及び瞳孔の位置よりCCD−EYEの読みだし領域を設定する。この時CCD−EYEの読みだし領域は、検出された瞳孔を含み該瞳孔の位置が所定量変化しても瞳孔全体が検出可能な範囲に設定される。そしてその大きさは虹彩の大きさより小さいのはいうまでもない。
【0156】
CCD−EYEの読みだし領域は長方形に設定され該長方形の対角の2点の座標がCCD−EYEの読みだし領域として視線検出回路101に記憶される。さらに眼球像のコントラストあるいは瞳孔の大きさ等から、算出されたプルキンエ像及び瞳孔中心の位置の信頼性が判定される(S210)。
【0157】
ここで、原理的には、図24のIREDの虚像である4つのプルキンエ像が得られることになっているが、撮影者の視線検出を行う際、観察条件、個人差によって、撮影者の上瞼、睫毛で、照明光源が遮られ、必ずしも、IREDに対応したプルキンエ像が得られるわけでは無いので、プルキンエ像の数とその配置をプルキンエ像状態判別として行う(S211)。
【0158】
本実施例では、プルキンエ像が得られない場合と1つしか得られない場合は、視線検出不可、または視線検出精度が著しく低下するので視線信頼性が無いと判断し、S201へ戻る。
【0159】
図10で、プルキンエ像の数と配置状態について説明する。P像状態判別、P像数は、プルキンエ像(図中P像)の数に応じて、プルキンエ像が4つ存在するものを4P像状態として、P像無し状態までを示し、P像状態図は、図24の4つのプルキンエ像P1、P2、P3、P4の存在状態を図示し、Xpo、Ypo算出に使用されるP像座標は、P1(Xe′,Ye′)、P2(Xd′,Yd′)、P3(Xe″,Ye″)、P4(Xd″,Yd″)で、Xpo、Ypo算出に使用されるを示したものである。
【0160】
図10の如く、4つのIREDの撮影者眼球照明に対し、得られるプルキンエ像の配置状態は、得られるプルキンエ像の数と配置状態は、16通りある。
【0161】
本実施例では、視線検出演算、特にプルキンエ像を他の特徴点と区別して抽出選択の迅速化のため、撮影者が眼鏡をしていない裸眼を例にするとして、下側のIRED13a、13bに対応するプルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)を抽出した後、二つのプルキンエ像の位置よりその間隔が算出される(S210)。次にIRED13aのプルキンエ像P1(Xe′,Ye′)から、Y軸上に前記のプルキンエ像間隔を元に所定の係数を乗じた値の所定範囲内に存在するプルキンエ像と推定される特徴点を、IRED13eに対応するプルキンエ像P3(Xe″,Ye″)として検出する。
【0162】
次にIRED13bに対応するプルキンエ像P2(Xd′,Yd′)から、Y軸上に同様に、IRED13fに対応するプルキンエ像の位置P4(Xd″,Yd″)を検出する。
【0163】
即ち、下側のIRED13a、13bに対応するプルキンエ像P1、P2を基準にプルキンエ像P3、P4の検出を行う。
【0164】
これは、4つのプルキンエ像P1、P2、P3、P4の検出を迅速に行う為と、撮影者の観察条件、個人差によって、上瞼、上睫毛で、照明光源のが遮られる可能性がある為、下側のIRED13a、13b(13c、13d)に対応するプルキンエ像P1、P2は、極めて高い確率で得られるのに対して、上側のIRED13e、13f(13g、13h)に対応するプルキンエ像P3、P4は、撮影者や撮影条件により、得られない確率が高いことによる。
【0165】
この様に本実施例では、Y軸上、下側に存在する2つのプルキンエ像の位置を基準として、視線検出に有効な図10の太枠で囲まれた4通りのプルキンエ像の数と配置状態を判断している。
【0166】
図10の太枠で囲まれた4通りのプルキンエ像の数と配置状態で無いと判断すると、視線信頼性が無いと判断し、S201へ戻る。S201へ戻り、再び、S211にて、視線信頼性が無いと判断とした場合は、図5の焦点検出点自動選択モード(S101b)に入る。
【0167】
尚、図10で、使用キャリブレーションデータは、後述するキャリブレーションで求められたキャリブレーションデータで、本実施例では、4つのプルキンエ像の数と配置状態に対して、4P像キャリブレーションデータと3P像キャリブレーションデータと2P像キャリブレーションデータの3つが用いられている。また、使用キャリブレーションデータには、後述する2方向(X方向、Y方向の)眼球回転角のバラツキであるσθx、σθyと、それをピント板7の座標に換算したσx、σyも含まれている。
【0168】
眼球像の解析が終了すると、キャリブレーションデータの確認手段を兼ねた視線検出回路101は算出されたプルキンエ像の間隔と点灯されたIREDの組合せよりキャリブレーションデータの中の眼鏡情報が正しいか否かの判定を行なう(S212)。これはその時々において眼鏡を使用したり使用しなかったりする撮影者に対処するためのものである。
【0169】
即ち、キャリブレーションデータの中の撮影者の眼鏡情報が、例えば眼鏡を使用するように設定されていて、図2(b)に示したIREDの内IRED13c,13d,13g,13hが点灯された場合、プルキンエ像の間隔が所定の大きさより大きければ撮影者は眼鏡装着者と認識され眼鏡情報が正しいと判定される。
【0170】
逆にプルキンエ像の間隔が所定の大きさより小さければ撮影者は裸眼あるいはコンタクトレンズ装着者と認識され眼鏡情報が誤っていると判定される。眼鏡情報が誤っていると判定されると(S212)、視線検出回路101は眼鏡情報の変更を行なって(S217)再度IREDの選択を行ない(S204)視線検出を実行する。但し眼鏡情報の変更を行なう際、CPU100のEEPROM100aに記憶された眼鏡情報は変更されない。
【0171】
又、眼鏡情報が正しいと判定されると(S212)、プルキンエ像の間隔よりカメラの接眼レンズ11と撮影者の眼球15との距離が算出され、さらには該接眼レンズ11と撮影者の眼球15との距離からCCD−EYEに投影された眼球像の結像倍率βが算出される(S213)。
【0172】
次にキャリブレーションモードか否かを確認する(S214)。キャリブレーションモードであれば、図14で後述するデータ処理が行われ、キャリブレーションモードで無ければ、眼球の光軸の回転角θx、θyを算出する(S215)。
【0173】
眼球15の光軸の回転角θx、θyは(3)(4)式を修正して
θx≒ARCSIN{((xp0−δx)−xic)/β/Loc}・・(6)
θy≒ARCSIN{((yp0−δy)−yic)/β/Loc}・・(7)
と表わされる。
【0174】
但し、xp0,yp0は、前述の図10のプルキニエ像の配置状態により、算出方法が異なる。
【0175】
例えば、図10の2P像状態であれば、図22(a)のプルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)の中点P0の座標を(xpo,ypo)として用いる。3P像状態であれば、xp0をプルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)のX座標の中点とし、yp0をプルキンエ像P2(Xd′,Yd′)、P4(Xd″,Yd″)、または、プルキンエ像P1(Xe′,Ye′),P3(Xe″,Ye″)のY座標の中点をとする。4P像状態であれば、プルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)、P3(Xe″,Ye″)、P4(Xd″,Yd″)の中点P0の座標を(xpo,ypo)として用いる。
【0176】
δx、δyは、(10)、(10)″、(11)式での二つのプルキンエ像の中心位置を補正する補正項である。
【0177】
δxは、(10)式で求めるが、δyは2P像状態であれば(11)式で求め、3P像状態と4P像状態であれば、(10)″式で求める。δyの求め方の差は、δxと同様に扱える、Y方向に直接演算可能なypoが存在するか否かである。
【0178】
例えば、図10の2P像状態であれば、図22(a)のプルキンエ像P1(Xd′,Yd′)、P2(Xe′,Ye′)の中点P0の座標を(xpo,ypo)として用いる。
【0179】
3P像状態であれば、プルキンエ像P1(Xd′,Yd′)、P2(Xe′,Ye′)のX座標の中点をxp0とし、Y方向はプルキンエ像P1(Xd′,Yd′)、P3(Xd″,Yd″)、または、プルキンエ像P2(Xe′,Ye′)、P4(Xe″,Ye″)のY座標の中点をxp0とする。4P像状態であれば、プルキンエ像P1(Xd′,Yd′)),P2(Xe′,Ye′),P3(Xd″,Yd″),P4(Xe″,Ye″)の中点P0の座標を(xpo,ypo)として用いる。
【0180】
この様に、眼球の光軸の回転角θx、θyを算出する上でも、プルキンエ像状態判別(S211)が必要であることが判る。
【0181】
撮影者の眼球の回転角θx、θyが求まると、ピント板7上での視線の位置(x,y)は、(5)(6)式より
x[mm]=m×ax×(θx+bx)・・・・(5)
y[mm]=m×ay×(θy+by)・・・・(6)
と求まる(S216)。但し、ax,ay,bx,byは視線の個人差を補正するためのパラメータで、ax,ayはキャリブレーションデータである。
【0182】
本実施例では、図10の如く、前記の眼球の光軸の回転角θx、θyの算出方法に合わせて、3P像以上キャリブレーションデータと2P像キャリブレーションデータの2つが用いられている。ここでも、プルキンエ像状態判別(S211)が必要であることが判る。
【0183】
ここで水平方向(x方向)と垂直方向(y方向)の眼球の光軸と視軸との補正量に相当するbx,byは、
bx=kx×(rp−rx)+b0x・・・・(15)
by=ky×(rp−rx)+b0y・・・・(16)
と表わされ、瞳孔径rpの関数である。ここでrxは定数で、kx,ky,b0x,b0yはキャリブレーションデータである。
【0184】
ピント板7上での視線の位置(x,y)が求められる(S216a)と、次に、図15で後述するキャリブレーションデータにある眼球回転角のバラツキである(σθx、σθy)より、ピント板7上座標に変換した(σx、σy)から、ピント板7上での視線の位置(x,y)を中心とした注視点領域が求められる(S216b)。
【0185】
まず、(5)(6)式を用いたバラツキ範囲σx、σyを下式より求める。
σx[mm]=m×ax×(σθx+bx)・・・・(5)′
σy[mm]=m×ay×(σθy+by)・・・・(6)′
次に、ピント板7上での視線の位置(x,y)を中心として、短軸、長軸半径をσx、σyとした楕円領域を決定する。この領域を注視点領域とする(S216b)。
【0186】
ここでも例えば、短軸、長軸半径をσx、σyは、視線検出時、図10の2P像状態であれば、σx2p、σy2pを、3P像状態であれば、σx3p、σy3pを、4P像状態であれば、σx4p、σy4pを用いる。
【0187】
この様に、注視点領域を算出する上でも、プルキンエ像状態判別(S211)が必要であることが判る。
【0188】
この視線のキャリブレーションデータを求める方法は後述する。
【0189】
ピント板7上の視線の座標と注視点領域が求まると、視線検出を1度行なったことを示すフラグをたてて(S217)、メインのルーチンに復帰する(S218)。
【0190】
又、図9に示した視線検出のフローチャートは視線のキャリブレーションモードにおいても有効である。S201において、キャリブレーションモードの中での視線検出であると判定すると次に今回の視線検出がキャリブレーションモードの中での最初の視線検出であるか否かの判定を行なう(S220)。
【0191】
今回の視線検出がキャリブレーションモードの中での最初の視線検出であると判定されると、CCD−EYEの蓄積時間およびIREDの照明パワーを設定するために周囲の明るさの測定が行なわれる(S203)。これ以降の動作は前述の通りである。
【0192】
又、今回の視線検出がキャリブレーションモードの中で2回目以上の視線検出であると判定されると(S201)、CCD−EYEの蓄積時間およびIREDの照明パワーは前回の値が採用され直ちにIREDの点灯とCCD−EYEの蓄積が開始される(S206)。
【0193】
又、視線のキャリブレーションモードでかつ視線検出回数が2回目以上の場合は(S207)、CCD−EYEの読みだし領域は前回と同じ領域が用いられるためCCD−EYEの蓄積終了とともに直ちにCCD−EYEの読みだしが実行される(S209)。これ以降の動作は前述の通りである。
【0194】
尚、図9に示した視線検出のフローチャートにおいてメインのルーチンに復帰する際の変数は、通常の視線検出の場合視線のピント板上の座標(x,y)と、これを中心とする前記注視点領域であるが、視線のキャリブレーションモードの中での視線検出の場合は撮影者の眼球光軸の回転角(θx,θy)である。又、他の変数である検出結果の信頼性、CCD−EYE蓄積時間、CCD−EYE読みだし領域等は共通である。
【0195】
又、本実施例においてCCD−EYEの蓄積時間およびIREDの照明パワーを設定するために、カメラの測光センサー10にて検出された測光情報を利用している。
【0196】
図12〜図15は視線のキャリブレーションのフローチャート、図17〜図19は視線のキャリブレーション時のファインダー内LCD308とモニター用LCD202の表示状態を示したものである。
【0197】
本実施例においては、ファインダー視野内の図3の7個の焦点検出点マークの内、4つのの焦点検出点マーク305,301,306,307を視標1、視標2、視標3、視標4として、順次、1回注視してもらい、そのときの視線を検出することにより、視線のキャリブレーションを実行している。以下同図を用いて説明する。
【0198】
図12において、撮影者がモード釦45b、45cの同時押しすると、視線のキャリブレーションモードに設定され、信号入力回路104はCPU100を介してLCD駆動回路105に信号を送信し、ファインダー内LCD308では、図3(b)のシャッター秒時表示部813と絞り表示部814で、モニター用LCD202では、同様にシャッター秒時表示部802と絞り表示部803で、図17の後述する視線のキャリブレーションモードのいずれかに入ったことを示す表示を行なう(S218)。
【0199】
CPU100はEEPROM100aに記憶されたキャリブレーションデータ以外の変数をリセットする(S301)。
【0200】
図11はCPU100のEEPROM100aに記憶されるキャリブレーションデータの種類とその初期値を示したものである。一度もキャリブレーションが行われていないので、全て初期値である。キャリブレーションデータナンバー1〜5に対応したEEPROM100aのアドレス上にはそれぞれに、カメラ姿勢情報、眼鏡情報(眼鏡は「1」、裸眼は「0」)、3P像以上キャリブレーションデータと2P像キャリブレーションデータの2つのax,ay,kx,ky,b0x,b0yが記憶されている。(実施例においては説明のためにデータを5つ記憶できるようにしているが、もちろんEEPROMの容量によっていかようにも設定できる)。
【0201】
キャリブレーションデータの初期値は標準の眼球パラメータで視線が算出されるような値に設定されている。さらに撮影者が眼鏡を使用するか否か、そしてキャリブレーションデータの信頼性の程度を表わすフラグも有している。眼鏡の有無を表わすフラグの初期値は眼鏡を使用しているように「1」に設定され、又キャリブレーションデータの信頼性のフラグの初期値は信頼性が無いように「0」に設定されている。
【0202】
又、ファインダー内LCD308、モニター用LCD202には図17(a)に示すように現在設定されているキャリブレーションモードを表示する。そのほかの表示部はすべて消灯している(実施例としてキャリブレーションナンバー1の状態を示し、7セグメント表示部のみを拡大して示している)。
【0203】
この時、設定されたキャリブレーションナンバーのキャリブレーションデータが初期値の場合はモニター用LCD42に表示されたキャリブレーションナンバーが点滅し(図17(b)、一方設定されたキャリブレーションナンバーにおいて既にキャリブレーションが行われ、キョリブレーションナンバーに対応したEEPROMのアドレス上に初期値と異なるキャリブレーションナンバーが入っていればファインダー内LCD308、モニター用LCD202に表示されたキャリブレーションナンバーがフル点灯するようになっている(図17(a))。
【0204】
その結果、撮影者は現在設定されている各々のキャリブレーションナンバーに既にキャリブレーションデータが入っているかどうかを認識できるようになっている。又、図17(a)の様にキャリブレーションデータナンバーの初期値は「1」に設定されている。
【0205】
図12に戻り続いてCPU100に設定されたタイマーがスタートし視線のキャリブレーションを開始する(S302)。タイマースタート後所定の時間中にカメラに対して何の操作もなされなかったならば視線検出回路101は、ファインダー内に視線のキャリブレーション用の視標が点灯していれば消灯(S304)してメインにリターンされる(S338)。
【0206】
撮影者が電子ダイヤル205を回転させると、前述のようにパルス信号によってその回転を検知した信号入力回路104はCPU100を介してLCD駆動回路105に信号を送信する。その結果電子ダイヤル205の回転に同期して、ファインダー内LCD308、モニター用LCD202に表示されたキャリブレーションナンバーが変化する。この様子を図18に示す。
【0207】
まず電子ダイヤル205を時計方向に回転させると「CAL−1」→「CAL−2」→「CAL−3」→「CAL−4」→「CAL−5」と変化し、後述のキャリブレーション操作で撮影者は希望する5つのキャリブレーションナンバーのいずれかにキャリブレーションデータを記憶させることができる。
【0208】
そして図18に示した状態は「CAL−1,2,3」にはすでにキャリブレーションデータが入っており、「CAL−4,5」には入っておらず初期値のままであることを表わしている。反時計方向に回転させた場合は図18の方向と正反対に表示する。
【0209】
このようにしてファインダー内LCD308、モニター用LCD202に表示されるキャリブレーションナンバーを見ながら撮影者が所望のキャリブレーションナンバーを選択したら、視線検出回路101はこれに対応するキャリブレーションデータナンバーの確認を信号入力回路104を介して行なう(S303)。確認されたキャリブレーションデータナンバーはCPU100のEEPROM100aの所定のアドレス上に記憶される。
【0210】
但し、確認されたキャリブレーションデータナンバーが変更されていなければEEPROM100aへのキャリブレーションデータナンバーの記憶は実行されない。
【0211】
続いて視線検出回路101は信号入力回路104を介して撮影モードの確認を行なう(S304)。撮影者が操作部材の操作で、視線のキャリブレーションモード以外の撮影モードに切り換えていることが確認されたら、ファインダー内に視線のキャリブレーション用の視標が点滅していれば、それを消灯させて(S305)メインのルーチンであるカメラの撮影動作に復帰する(S348)。そしてキャリブレーションナンバー「CAL1〜5」が表示されている状態で他の撮影モード(シャッター優先AE)に切り換えれば、そのキャリブレーションナンバーのデータを用いて視線検出を行ない、前述の視線情報を用いた撮影動作が行なえるようになっている。この時、ファインダー内LCD308、モニター用LCD202は、撮影モード表示以外に、図3(a)(b)の視線入力モード表示817、801を点灯させて、視線情報をもとに撮影動作を制御している視線入力モード(視線撮影モード)であることを撮影者に知らせている。
【0212】
ここで再度、撮影者がモード釦45b、45cの同時押しすると、視線のキャリブレーションモードに設定され、前述の視線検出に用いているキャリブレーションナンバーが表示され、キャリブレーション動作がスタートする。
【0213】
視線のキャリブレーションモードに設定されたままであることが確認されると、電子ダイヤル205にて設定されたキャリブレーションデータナンバーの確認を再度行ない(S304)、引続きCPU100は信号入力回路104を介してカメラの姿勢を検知する(S305)。信号入力回路104は姿勢検知装置27の出力信号を処理してカメラが正位置であるか縦位置であるか、又縦位置である場合は例えばグリップが天方向(上)にあるか地面方向(下)にあるかを判断する。
【0214】
カメラの姿勢が正位置であることが検知されると(S306)、視線検出回路101は視線検出回数nを0に設定する(S307)。但し視線検出回数nが40回の時はその回数を保持する。この時ファインダー内LCD308において、「CAL」表示が点滅していたらその点滅を中止する。視線のキャリブレーションはスイッチSW1をONにすることにより開始されるように設定されている。
【0215】
撮影者が視線のキャリブレーションを行なう準備が整う以前にカメラ側でキャリブレーションを開始するのを防ぐために、視線検出回路101はスイッチSW1の状態の確認を行いスイッチSW1がレリーズ釦201によって押されていてON状態であればスイッチSW1がOFF状態になるまで待機する(S308)。
【0216】
視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態であることを確認すると(S308)、視線検出回路101はLED駆動回路106に信号を送信して視線のキャリブレーション用の視標1である焦点検出点マーク305を点滅させる(S309)。(図16(A))。
【0217】
視線のキャリブレーションの開始のトリガー信号であるスイッチSW1のON信号が入ってなければカメラは待機する(S310)。又、点滅を開始した視標1を撮影者が注視しレリーズ釦201を押してスイッチSW1をONしたら(S310)視線検出が実行される(図13、S311)。
【0218】
次に視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy,瞳孔径rp及び各データの信頼性を記憶する(S312)。
【0219】
視線検出の動作は図11のフローチャートで説明した通りであるが、図9のキャリブレーションモードか否か(S214)の部分で異なり、キャリブレーションモードであれば、図14に示すフローチャートに進み、瞳孔径rp及び各データの信頼性を記憶する部分は、同様であるが、この眼球の回転角θx,θyを演算、記憶するフローチャートで通常の視線検出と異なる。
【0220】
ここで、図14のフローチャートを用いて、キャリブレーションモードでの眼球の回転角θx,θyを演算、記憶(S312)を説明する。
【0221】
図9のキャリブレーションモードが確認される(S214)と、プルキンエ像の数とその配置をプルキンエ像状態判別(S211)の結果であるプルキンエ像(P像)数の確認が行われる(S402)。
【0222】
P像数が4つ、即ち4P像状態であれば、前述の如く、回転角θx,θyは、プルキンエ像P1、P2、P3、P4から、θ4px、θ4pyとして算出され(S406)、θ4px、θ4pyが所定範囲にあるかの確認が行われ(S406a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの4P像状態の視標1に対応する部分のアドレスに記憶される(S407)。θ4px、θ4pyが所定範囲外であれば、視標を注視していないとして、眼球の回転角として、不適切であるとして、EEPROM100aに記憶されない。更に、プルキンエ像P1、P2から、θ2px、θ2pyとして算出され(S410)、θ2px、θ2pyが所定範囲にあるかの確認が行われ(S406a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの2P像状態の視標1に対応する部分のアドレスに記憶される(S411)。所定範囲外であれば、EEPROM100aに記憶されない。
【0223】
P像数が3つ、即ち3P像状態であれば、前述の如く、回転角θx,θyは、プルキンエ像P1、P2、P3、またはP4から、θ3px、θ3pyとして算出され(S408)、θ3px、θ3pyが所定範囲にあるかの確認が行われ(S408a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの3P像状態の視標1に対応する部分のアドレスに記憶される(S409)。更に、プルキンエ像P1、P2から、θ2px、θ2pyとして算出され(S410)、θ2px、θ2pyが所定範囲にあるかの確認が行われ(S406a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの2P像状態の視標1に対応する部分のアドレスに記憶される(S411)。所定範囲外であれば、眼球の回転角として、不適切であるとして、EEPROM100aに記憶されない。
【0224】
このように、キャリブレーションモードでは、P像数が3つ以上、即ち4P像状態、3P像状態であれば、1回の視線検出結果から、2P像状態のキャリブレーションデータをも算出し、記憶している。
【0225】
P像数が2つ、即ち2P像状態であれば、プルキンエ像P1、P2から、θ2px、θ2pyとして算出され(S410)、θ2px、θ2pyが所定範囲にあるかの確認が行われ(S410a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの2P像状態の視標1に対応する部分のアドレスに記憶される(S411)。
【0226】
ここでは、視標1点滅(S309)の状態であるので、視標1のアドレスに記憶したが、点滅する視標に応じて、記憶されるアドレスが設けてある。
【0227】
再び、図13に戻り、眼球の回転角θx,θy,瞳孔径rp及び各データの信頼性を記憶する(S312)と、更に視線検出回数nをカウントアップする(S313)。撮影者の視線は多少ばらつきがあるため正確な視線のキャリブレーションデータを得るためには1点の視標に対して複数回の視線検出を実行してその平均値を利用するのが有効である。
【0228】
本実施例においては1点の視標に対する視線検出回数は10回と設定されている。視線検出回数nが10回でなければ(S314)視線検出が続行される(S311)。
【0229】
視線検出回数nが10回であれば視標1(焦点検出点マーク305)に対する視線検出を終了し、視標1に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる(S315)。同時に視線検出回路101はLED駆動回路106を介して視標1を所定の時間フル点灯させ、撮影者に視標1でのキャリブレーションデータ採取終了を知らせる(S315)。
【0230】
引続き視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態になっているかどうかの確認を行なう(S318)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば視標1が消灯しそれと同時に左端の視標2(焦点検出点マーク301)が点滅を開始する(S317)(図16(b))。
【0231】
視線検出回路101は再度信号入力回路104を介してスイッチSW1がON状態になっているかどうかの確認を行なう(S318)。スイッチSW1がOFF状態であればONされるまで待機し、スイッチSW1がONされたら視線検出を実行する(S319)。
【0232】
視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy、瞳孔径rp及び各データの信頼性を記憶する(S320)。ここでも図14のフローチャートを用いて行われ、EEPROM100aの視標2のアドレスに記憶される。
【0233】
更に視線検出回数nをカウントアップする(S321)。更に視線検出回数nが20回でなければ(S322)視線検出が続行される(S319)。視線検出回数nが20回であれば視標2に対する視線検出を終了するし、視標2に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標2をフル点灯させ、撮影者に視標2でのキャリブレーションデータ採取終了を知らせる(S323)。
【0234】
引続き視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態になっているかどうかの確認を行なう(S324)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば視標2が消灯し、それと同時に上端の視標3(焦点検出点マーク306)が点滅を開始する(S325)(図16(C))。
【0235】
視線検出回路101は再度信号入力回路104を介してスイッチSW1がON状態になっているかどうかの確認を行なう(S326)。スイッチSW1がOFF状態であればONされるまで待機し、スイッチSW1がONされたら視線検出を実行する(S327)。
【0236】
視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy、瞳孔径rp及び各データの信頼性を記憶する(S328)。ここでも図14のフローチャートを用いて行われ、EEPROM100aの視標3のアドレスに記憶される。
【0237】
更に視線検出回数nをカウントアップする(S329)。更に視線検出回数nが30回でなければ(S330)視線検出が続行される(S327)。視線検出回数nが30回であれば視標3に対する視線検出を終了するし、視標3に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標3をフル点灯させ、撮影者に視標3でのキャリブレーションデータ採取終了を知らせる(S331)。
【0238】
引続き視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態になっているかどうかの確認を行なう(S332)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば視標3が消灯し、それと同時に下端の視標4(焦点検出点マーク306)が点滅を開始する(S333)(図16(d))。
【0239】
視線検出回路101は再度信号入力回路104を介してスイッチSW1がON状態になっているかどうかの確認を行なう(S334)。スイッチSW1がOFF状態であればONされるまで待機し、スイッチSW1がONされたら視線検出を実行する(S335)。
【0240】
視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy、瞳孔径rp及び各データの信頼性を記憶する(S336)。ここでも図14のフローチャートを用いて行われ、EEPROM100aの視標4のアドレスに記憶される。
【0241】
更に視線検出回数nをカウントアップする(S337)。更に視線検出回数nが40回でなければ(S338)視線検出が続行される(S335)。視線検出回数nが40回であれば視標4に対する視線検出を終了するし、視標4に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標4をフル点灯させ、撮影者に視標4でのキャリブレーションデータ採取終了を知らせる(S339)。これで視標1、視標2、視標3、視標4に対して視線検出が行なわれたなので、視線のキャリブレーションデータを求めるための視線検出は終了する。
【0242】
更に視線検出回路101に記憶された眼球の回転角θx,θy、瞳孔径rpより視線のキャリブレーションデータが算出される(S345)。視線のキャリブレーションデータの算出方法の概略は、以下の通りである。
【0243】
ピント板7上の視標1、視標2、視標3、視標4の座標をそれぞれ(x1,0),(x2,0),(0,y3),(0,y4)、EEPROM100aに記憶された視標1、視標2、視標3、視標4を注視したときの眼球の回転角(θx,θy)の平均値を(θx1,θy1),(θx2,θy2),(θx3,θy3),(θx4,θy4)とする。また、瞳孔径の平均値をr1,r2,r3,r4とする。
【0244】
X方向のキャリブレーションデータを求めるにあたっては、視標1、視標2のデータを用い、式(6)、(16)より、Y方向のキャリブレーションデータを求めるにあたっては、視標3、視標4のデータを用いる。
【0245】
そこで、瞳孔径の平均値のr1,r2の加重平均をrpx、瞳孔径の平均値のr3,r4の加重平均をrpyとすることで、ax,ay,kx,ky,b0x,b0Yのキャリブレーションデータが求まる。
【0246】
例えば、rpx,rpy≧rpの時、kx,ky=0と設定してされており、
・ax=(x1−x2)/m/(θx1−θx2)
・b0x=−(θx1+θx2)/2
・ay=(y3−y4)/m/(θy3−θy4)
・b0y=−(θy3+θy4)/2
前述の如く、(θx1,θy1),(θx2,θy2),(θx3,θy3),(θx4,θy4)それぞれには、4P像状態での(θ4px,θ4py)の平均値、3P像状態での(θ3px,θ3py)の平均値、2P像状態での(θ2px,θ2py)の平均値が存在し、4P像キャリブレーションデータと3P像キャリブレーションデータと2P像キャリブレーションデータの3つのキャリブレーション値算出(S340)について、図15のフローチャートで説明する。
【0247】
まず、EEPROM100aに記憶、蓄積された視標1〜4の2P像状態での(θ2px,θ2py)のデータ数を確認する(S501)。10回の視線検出を行って、所定範囲内(410a)にある2P像状態での(θ2px,θ2py)のデータが6以下であれば、キャリブレーションデータを算出しても信頼性が無いとして、再度、キャリブレーションを行う。(θ2px,θ2py)のデータが7以上であれば、キャリブレーションデータの信頼性があるとして、2P像のキャリブレーションデータの算出が行われる(S504c)。
【0248】
次に、(θ2px,θ2py)のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθ2px,σθ2py)を求め、前記のax,ay,kx,ky,b0x,b0Yより、ピント板7の座標に換算した(σx2px,σy2py)を求め、EEPROM100aの所定のアドレスに記憶する(S505c)。
【0249】
次に、EEPROM100aに記憶、蓄積された視標1〜4の3P像状態での(θ3px,θ3py)のデータ数を確認する(S502)。(θ3px,θ3py)のデータ数が5以上であれば、キャリブレーションデータの信頼性があるとして、3P像のキャリブレーションデータの算出が行われる(S504b)。
【0250】
次に、(θ3px,θ3py)のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθ3px,σθ3py)を求め、前記計算からのax,ay,kx,ky,b0x,b0Yより、ピント板7の座標に換算した(σx3px,σy3py)を求め、EEPROM100aの所定のアドレスに記憶する(S505b)。
【0251】
(θ3px,θ3py)のデータ数が4以下であれば、3P像のキャリブレーションデータの算出の信頼性が無く、2P像状態のキャリブレーションデータの算出のみが行われる(S504c)。
【0252】
次にEEPROM100aに記憶、蓄積された視標1〜4の4P像状態での(θ4px,θ4py)のデータ数を確認する(S503)。(θ4px,θ4py)のデータ数が3以上であれば、キャリブレーションデータの信頼性があるとして、4P像のキャリブレーションデータの算出が行われる(S504a)。
【0253】
次に、(θ4px,θ4py)のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθ4px,σθ4py)を求め、前記計算からのax,ay,kx,ky,b0x,b0Yより、ピント板7の座標に換算した(σx4px,σy4py)を求め、EEPROM100aの所定のアドレスに記憶する(S505a)。
【0254】
(θ4px,θ4py)のデータ数が2以下であれば、4P像のキャリブレーションデータの算出の信頼性が無く、3P像状態、2P像状態のキャリブレーションデータの算出のみが行われる(S504b、S504c)。
【0255】
ここで、(θx1,θy1),(θx2,θy2),(θx3,θy3),(θx4,θy4)から、前記のキャリブレーションデータを求める際、4P像状態での(θ4px,θ4py)の平均値、3P像状態での(θ3px,θ3py)の平均値から、前記計算に基づき、ax,ay,kx,ky,b0x,b0Yのキャリブレーションデータが求められる(S503a、S503b、S503c)。
【0256】
また、眼球回転角のバラツキとして、各P像数状態の標準偏差(σθx,σθy)は、絶対値及び、σθxとσθyとの量的関係は、観察者の個人差があるが、同一観察者では、次の一般的傾向がある。
【0257】
x方向のσθxについては、σθ4px:θ3px:σθ2px≒1.0:1.1:1.1
y方向のσθyについては、σθ4py:θ3py:σθ2py≒1.0:1.2:1.6
ここで、y方向のσθ2pyが大きいのは、y方向のP像が得られない為である。
【0258】
この様に、1回のキャリブレーションデータ算出で、観察者の個人の眼球回転角のバラツキを含んだ、4P像のキャリブレーションデータ、3P像のキャリブレーションデータと2P像状態のキャリブレーションデータの3つが算出される。
【0259】
再び、図13に戻り、視線のキャリブレーションデータ算出(S340)後、あるいは視線検出の終了後にタイマーがリセットされる(S341)。
【0260】
又、キャリブレーションデータの信頼性の判定手段を兼ねた視線検出回路101は算出された視線のキャリブレーションデータが適正かどうかの判定を行なう(S342)。
【0261】
算出された視線のキャリブレーションデータが一般的な個人差の範囲に入っていれば適正と判定し、一方算出された視線のキャリブレーションデータが一般的な個人差の範囲から大きく逸脱していれば算出された視線のキャリブレーションデータは不適性と判定する。
【0262】
算出された視線のキャリブレーションデータが不適性と判定されると(S349)、LED駆動回路106はスーパーインポーズ用LEDへの通電を止めて視標4を消灯する(S349)。更に視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を所定時間鳴らし視線のキャリブレーションが失敗したことを警告する。同時にLCD駆動回路105に信号を送信しファインダー内LCD308及びモニター用LCD202に「CAL」表示を点滅させて警告する(S350)(図17(c))。
【0263】
発音体による警告音とLCD308,202による警告表示を所定時間行なった後キャリブレーションルーチンの初期ステップ(S301)に移行し再度視線のキャリブレーションを実行できる状態に設定される。
【0264】
又、算出された視線のキャリブレーションデータが適正であれば(S342)、視線検出回路101はLCD駆動回路105、LED駆動回路106を介して視線のキャリブレーションの終了表示を行なう(S343)。LCD駆動回路105はファインダー内LCD308及びモニター用LCD202に信号を送信して、「End−キャリブレーションNo」の表示を所定時間実行するようになっている(図19(b))。
【0265】
視線検出回路101は視線検出回数nを1に設定し(S344)、更に算出された視線のキャリブレーションデータを現在設定されているキャリブレーションデータナンバーに相当するEEPROMのアドレス上に記憶する(S345)。この時記憶を行なおうとするEEPROMのアドレス上に既に視線のキャリブレーションデータが記憶されている場合はキャリブレーションデータの更新を行なう。
【0266】
一連の視線のキャリブレーション終了後、カメラは撮影者によって電子ダイヤル205か、あるいはモード釦204a204b、204cが操作されるまで待機する。撮影者が電子ダイヤル205を回転させて他のキャリブレーションナンバーを選択したならば、視線検出回路101は信号入力回路104を介してキャリブレーションナンバーの変更を検知し(S346)、視線のキャリブレーションルーチンの初期ステップ(S301)に移行する。
【0267】
又、撮影者がモード釦204a204b、204cを操作させて、他の撮影モードを選択したならば、視線検出回路101は信号入力回路104を介して撮影モードの変更を検知し(S347)メインのルーチンに復帰する(S348)。尚、本実施例においては1点の視標を注視しているときの視線検出回数を10回にして視線のキャリブレーションを行なった例を示したが10回以上の回数で行なっても構わない。
【0268】
図7(b)、図7(c)、図7(d)で、図5の焦点検出点選択(S107)について、視線検出(S106)で求められた注視点座標(x、y)と注視点領域309を用いて説明する。
【0269】
いずれも、注視点座標(x、y)を(0,0)の中央点とする。
【0270】
図7(b)は、視線検出時、4P像状態の説明図である。
【0271】
撮影者の眼球を4つのIREDで照明すると、4つのプルキンエ像が得られることで、y方向の精度は、x方向の精度と同等になることで、注視点を(0,0)が決定される。
【0272】
前記の同一観察者の一般的傾向から、注視点を(0,0)を中心として、最も量的に小さいσx4p、σy4pを、短軸、長軸半径として、注視点領域309aが決定される。注視点領域309aを内包する注視点エリアC・Cに含まれる焦点検出点303のみにて、焦点検出点303が選択され(S107)、表示される(S108)。
【0273】
図7(c)は、視線検出時、3P像状態の説明図である。
【0274】
撮影者の上瞼、睫毛で、照明光源が遮られ、IREDに対応したプルキンエ像が得られるわけでは無い場合でも、前記3つのプルキンエ像が得られれば、y方向の精度は、ほぼx方向の精度と同等になることで、注視点を(0,0)が決定される。
【0275】
注視点を(0,0)を中心として、短軸、長軸半径をσx3p、σy3pとして、注視点領域309bが決定される。前記の同一観察者の一般的傾向から、量的には共にσx3p、σy3pは、σx4p、σy4pより大きく、注視点領域309bを内包する注視点エリアは、注視点エリアC・U、注視点エリアC・C、注視点エリアC・Dと成る。前記注視点エリア群に含まれる焦点検出点は、焦点検出点303、306、307の3つとなり、焦点検出点303、306、307の焦点検出情報から、被写体が近距離優先で少なくとも1つが選択され(S107)、表示される(S108)。
【0276】
図7(d)は、視線検出時、2P像状態の説明図である。
【0277】
下側2つのプルキンエ像しか得られ無い場合でも、2つのプルキンエ像に応じたキャリブレーションデータにて、注視点を(0,0)が決定される。
【0278】
注視点を(0,0)を中心として、短軸、長軸半径をσx2p、σy2pとして、注視点領域309dが決定される。σx2p、σy2pは、σx4p、σy4pより大きく、特にσy2pは、個人差に依らず、y方向のP像が得られない為、精度が得られないので、大きい。注視点領域309bを内包する注視点エリアは、注視点エリアC・U、注視点エリアC・C、注視点エリアC・Dと変わらず、前記注視点エリア群に含まれる焦点検出点は、焦点検出点303、306、307の3つとなり、焦点検出点303、306、307の焦点検出情報から、被写体が近距離優先で少なくとも1つが選択され(S107)、表示される(S108)。
【0279】
図7(e)は、本実施例の変形で、視線検出時、3P像状態の説明図である。
【0280】
注視点を(0,0)を中心として、短軸、長軸半径をσx3p、σy3pとして、注視点領域309bが決定される部分は、前記実施例と変わらないが、前記実施例の注視点エリアは存在せず、選択される焦点検出点は、注視点領域309bに焦点検出点の座標が含まれるか否かで決定される。注視点領域309aに内包される焦点検出点は、焦点検出点303のみにて、焦点検出点303が選択され(S107)、表示される(S108)。注視点エリアを用いない為、焦点検出点の選択がより迅速となる。
【0281】
本実施例と本実施例の変形において、各P像数状態の標準偏差(σθx,σθy)に所定の係数をかけ、注視点領域の範囲を調整することも可能である。
【0282】
(実施例の特有の効果)
本実施例では、特開平xx−xxxxxで公知の視線検出精度を高める為、撮影者の視線検出を行う際、撮影者の眼球を4つのIREDで照明する場合、原理的には、図24のIREDの虚像である4つのプルキンエ像が得られることになっているが、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られ、IREDに対応したプルキンエ像が得られるわけでは無い場合でも、図10のプルキンエ像の数と配置の状態を判別(図9 S211)して、予め前記状態に応じたキャリブレーションデータである4P像キャリブレーションデータと3P像キャリブレーションデータと2P像キャリブレーションデータの3つを用意し、選択使用することで、視線検出精度の向上を可能としている(図9 S215、S216a)。
【0283】
更に、前記視線検出結果である注視点位置を中心として、同様に図10のプルキンエ像の数と配置の状態を判別(図9 S211)を利用して、各P像数状態に対応した眼球回転角のバラツキとしての標準偏差(σθx,σθy)を、ピント板7の座標に変換した(σx,σy)を短軸、長軸とした楕円領域を注視点領域として求めること(図9 S216b)で、4つのプルキンエ像が得られる場合はもとより、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られ、IREDに対応したプルキンエ像が得られるわけでは無い場合でも、観察者が注視しているであろう注視点領域に反映させることを可能とした。
【0284】
前記観察者が注視しているであろう注視点領域に関連する焦点検出点(図7b303、図7c、図d 303、306、307)、実施例の変形では、注視点領域に含まれる焦点検出点(図7e 303)が選択され、所定のデフォーカス処理がされて、少なくとも1つの焦点検出点が選択され、焦点検出(図5 S110)され、レンズ駆動(S113)をふくめた合焦動作が行われることで、観察者が注視している焦点検出点を選択可能としている。
【0285】
また、図10の16通りのプルキンエ像の数と配置の状態から、プルキンエ像の存在確率と視線検出演算精度の2つから、下側2つのP像を基準とした4通りの前記状態の判別に簡略化することにより、視線検出演算、即ち視線検出速度のの迅速化を計っている。
【0286】
次に、キャリブレーションデータの取得である4つの視標1〜4を各10回の視線検出で行われるキャリブレーションにおいても、図10のプルキンエ像の数と配置の状態を判別(図9 S211)して、図14の如く、眼球光軸の回転角、θx、θyの算出に於いて、プルキンエ像数が4つである場合には、4つのプルキンエ像から(θ4px,θ4py)と下側2つから(θ2px,θ2py)を、3つである場合には、3つのプルキンエ像から(θ3px,θ3py)と下側2つから(θ2px,θ2py)を、2つである場合には、プルキンエ像数が下側2つから(θ2px,θ2py)を、一回の視線検出で得られた情報から、図10のプルキンエ像の数と配置の状態に応じた眼球光軸の回転角θx、θyの算出を同時に行い、それぞれをEEPROM100aのアドレスに記憶し、
図15の如く、キャリブレーションデータの採取が終わった時点で、それぞれのアドレスに記憶された(θ4px,θ4py)、(θ3px,θ3py)と、(θ2px,θ2py)の平均値から、個人の眼球回転角の補正係数ax,ay,kx,ky,b0x,b0Yを、4P像のキャリブレーションデータ、3P像のキャリブレーションデータと2P像キャリブレーションデータの3つを算出している(S504a、S504b、S504c)。その後、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθx,σθy)から(σx,σy)を求めている。具体的には、同様に、(σx4p,σy4p)、(σx3p,σy3p)、(σx2p,σy2p)の4P像のキャリブレーションデータ、3P像のキャリブレーションデータと2P像キャリブレーションデータの3つを算出している(S505a、S505b、S505c)。
【0287】
このことにより、観察者は、個人の眼球回転角の補正係数ax,ay,kx,ky,b0x,b0Yと、眼球回転角のバラツキとしての(σx,σy)の2つのキャリブレーションデータを得るために、新たなキャリブレーションデータ取得動作、操作を行う事無く、従来のキャリブレーション動作と全く同じ1回のキャリブレーションデータ取得動作で、視線検出精度向上のためのキャリブレーションデータと眼球回転角のバラツキのキャリブレーションデータの2つを、4P像、3P像、2P像の3つのP像状態毎で、取得可能としている。
【0288】
図15で、それぞれのアドレスに記憶された(θ4px,θ4py)、(θ3px,θ3py)と、(θ2px,θ2py)のデータ数を確認することで、信頼性の無いキャリブレーションデータを算出しない効果を得ている。
【0289】
以上の効果を、観察者が、キャリブレーションさえを行えば、どの観察者にも与えること可能とした。
【0290】
【発明の効果】
請求項1においては、観察者の視線検出を行う際、視線補正手段で得られた補正データと観察者の眼球回転角のバラツキを予め取得し、観察者の視線検出をした上で、それを中心とする前記観察者の観察しているであろうとする注視点領域を決定することを可能としている。
【0291】
これは、観察者の眼球回転角のバラツキを含んだ個人特性を考慮した注視点領域を決定可能としている。
【0292】
そして、観察者が選択しようとしている焦点検出点の選択を可能としている。
【0293】
請求項2においては、観察者の視線検出を行う際、複数の照明光源より、撮影者の眼球の前眼部へ投射し、撮影者の眼球画像の状態である角膜反射像(プルキンエ像、P像)の角膜反射像数とその配置状態に応じたキャリブレーションデータ、即ち視線補正手段で得られた補正データと観察者の眼球回転角のバラツキを予め取得し、角膜反射像数とその配置状態を判断手段で判断し、前記補正データと観察者の眼球回転角のバラツキデータを選択使用することで、観察者の視線検出時の角膜反射像数とその配置状態に応じた視線検出精度の向上を可能とした上で、それを中心とする前記観察者の観察しているであろうとする注視点領域を決定することを可能としている。
【0294】
これは、観察条件、観察者の眼球回転角のバラツキを含んだ個人特性を考慮した注視点領域を決定可能としている。
【0295】
そして、観察者が選択しようとしている焦点検出点の選択を可能としている。
【0296】
請求項1、2においては、焦点検出点の選択動作で、注視点領域に関連した焦点検出点のみに、デフォーカス量を計算するので、迅速に行うことが可能。
【0297】
請求項3においては、観察者の眼球回転角のバラツキを、通常のキャリブレーション取得動作1回で、補正データと同時に行え、あらためて、取得動作を行う必要が無い。
【0298】
請求項4においては、観察者に新たな視線補正手段の取得動作、操作を行わせる事無く、一回の視線補正手段の取得動作で、角膜反射像数とその配置状態に応じた複数のキャリブレーションデータ、即ち視線補正手段で得られた補正データを取得すること可能とした。
【0299】
以上、特に、請求項2においては、複数の照明光源より観察画面内を覗く撮影者の眼球の前眼部へ投射し、角膜からの反射像と瞳孔結像位置より、前記撮影者の眼球光軸の回転角を検出し、前記回転角から観察者の視線を検出する視線検出手段において、視線検出精度の向上が計れる上に、観察者のあらゆる条件において、観察者の意図する焦点検出点の選択を迅速に行い、かつ、あらゆる観察者に、この効果を提供することを可能とした。
【図面の簡単な説明】
【図1】実施例のカメラ本体の要部概略図。
【図2】実施例のカメラ本体の外観図。
(a)実施例のカメラ本体の外観の上面図
(b)実施例のカメラ本体の外観の背面図
【図3】図1のファインダ視野内の表示状態の説明図である。
【図4】実施例の電気回路の要部ブロック図である。
【図5】実施例のカメラの作動シーケンス。
【図6】実施例の焦点検出点選択モード説明図。
【図7】(a)ファインダ視野内の注視点エリアの説明図である。
(b)焦点検出点選択とファインダ視野内の注視点エリアの関係説明図である。
(c)焦点検出点選択とファインダ視野内の注視点エリアと注視点領域の関係説明図。
(d)焦点検出点選択とファインダ視野内の注視点エリアと注視点領域の関係説明図。
(e)実施例の変形で、焦点検出点選択とファインダ視野内の注視点領域の関係説明図。
【図8】(a)実施例のカメラ本体の外部表示202の説明図である。
(b)ファインダ視野内の表示部308の説明図。
【図9】視線検出のフローチャート。
【図10】プルキンエ像の状態説明図。
【図11】キャリブレーションデータナンバーとキャリブレーションデータ説明図。
【図12】キャリブレーションのフローチャートその1。
【図13】キャリブレーションのフローチャートその2。
【図14】キャリブレーションでのθx、θy算出、データ記憶フローチャート。
【図15】キャリブレーションデータ算出のフローチャート。
【図16】(a)(b)(c)(d)キャリブレーションでの視標説明図。
【図17】キャリブレーションのファインダー内、外部表示説明その1。
【図18】キャリブレーションのファインダー内、外部表示説明その2。
【図19】キャリブレーションのファインダー内、外部表示説明その3。
【図20】従来の(IRED下側2つの)視線検出原理説明図。
【図21】(a)(b)眼球画像説明図。
【図22】(a)従来の眼球画像、プルキンエ像配置状態説明図。
(b)従来の視線検出原理説明図(x−z平面)。
(c)従来のIRED下側2つの視線検出原理説明図(y−z平面)。
【図23】(a)3つのIREDでの眼球画像、プルキンエ像配置状態説明図。
(b)3つのIREDでの視線検出原理説明図(y−z平面)。
【図24】4つのIREDでの眼球画像、プルキンエ像配置状態説明図。
【符号の説明】
7 ピント板
7a この微小プリズムアレイ
12 受光レンズ
13a〜13h 撮影者の眼15の照明光源(投光手段)
14 CCD等の光電素子列を2次元的に配したイメージセンサ
15 撮影者の眼
16 角膜
17 虹彩
101 視線検出回路
301,302,303,304,305,306,307 測距点マーク
200 本カメラ
300 ファインダー観察画面内
S211 プルキンエ像状態判別
S216b 注視点領域算出
S505a、S505b、S505c バラツキデータ算出
L3・T〜R3・B 注視点エリア
【発明の属する技術分野】
本発明は視線検出手段を有した光学装置に関し、特に撮影系による被写体像が形成されている観察面(ピント面)上のファインダー系を介して観察者(撮影者)が観察している注視点方向の軸、いわゆる視線(視軸)を、観察者の眼球面上を照明したときに得られる眼球の反射像を利用して検出し、各種の撮影操作を行うようにした視線検出手段を有した光学装置に関するものである。
【0002】
【従来の技術】
従来より観察者が観察面上のどの位置を観察しているかを検出する、いわゆる視線(視軸)を検出する装置(例えばアイカメラ)が種々提案されている。
【0003】
例えば特開平1−274736号公報においては、光源からの平行光束を観察者の眼球の前眼部へ投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求めている。
【0004】
ここで、以下に、視線検出方法の原理から、角膜反射像(虚像;プルキンエ像もしくはP像)の配置状態が、1次元に存在する場合と、2次元に存在する場合では、第一に視線検出演算結果がどう異なるか、第二にそれらの個人差に関する補正係数が異なる点を述べる。
【0005】
図20は視線検出方法の原理説明図である。
【0006】
まず、角膜反射像(虚像;プルキンエ像もしくはP像)の配置状態が、1次元に存在する場合について説明する。
【0007】
各部の名称と記号については、図1、図2と同様である。13a、13bは各々ユーザに対して不感の赤外光を放射する発光ダイオードであり、各光源13a、13bは受光レンズ12の光軸に対してx方向にほぼ対称に配置され、さらにユーザの眼球17を下方(y方向にオフセットした位置)から照明するように配置されている。眼球17で反射した照明光の一部は受光レンズ12を介してCCD14に集光する。17bは角膜、17cは虹彩である。
【0008】
図21(a)はCCD14に投影される眼球像の概略図であり、図21(b)はCCD14の出力ラインからの信号の強度分布を示す図である。
【0009】
以下、上記の各図を用いて視線の検出方法について説明する。
【0010】
IRED13bより放射された赤外光はユーザの眼球17の角膜17bを照射する。このとき角膜17bの表面で反射した赤外光の一部により形成される角膜反射像d(虚像;プルキンエ像もしくはP像)は受光レンズ12により集光され、CCD14上の位置d′に結像する。同様にIRED13aにより放射された赤外光は、眼球17の角膜17bを照射する。このとき、角膜17bの表面で反射した赤外光の一部により形成された角膜反射像e(虚像;プルキンエ像もしくはP像)は受光レンズ12により集光され、CCD14上の位置e′に結像する。
【0011】
また、虹彩17cの端部a、bからの光束は、受光レンズ12を介してCCD14上の位置a′、b′に端部a、bの像を結像する。受光レンズ12の光軸に対する眼球17の光軸の回転角θが小さい場合、虹彩17cの端部a、bのx座標をxa、xbとすると、瞳孔17dの中心位置cの座標xは、
xc≒(xa+xb)/2…(1)
と表される。
【0012】
また、角膜反射像d及びeの中点のx座標と角膜17bの曲率中心oのx座標xoとはほぼ一致する。このため角膜反射像の発生位置d、eのx座標をxd、xe、角膜17bの曲率中心oと瞳孔17dの中心cまでの標準的な距離をLocとすると、眼球17の光軸17aの回転角θxは、
Loc×sinθx≒(xd+xe)/2‐xc…(2)
の関係式を満足する。このため、図21(a)に示した様に、CCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を検出することにより、眼球17の光軸17aの回転角θを求めることができる。
【0013】
眼球17の光軸17aの回転角は(2)式より、
β×Loc×sinθx≒{(xp0−δx)−xic}×Ptx…(3)
β×Loc×sinθy≒{(yp0−δy)−yic}×Pty…(4)
と求められる。ここで、βは受光レンズ12に対する眼球17の位置により決まる結像倍率で、実質的には2個の角膜反射像(プルキンエ像)の間隔|xd′−xe′|の関数として求められる。
【0014】
また、θxはz‐x平面内での眼球光軸の回転角、θyはy‐z平面内での眼球光軸の回転角である。(xpo,ypo)はCCD14上の2個の角膜反射像の中点の座標、(xic,yic)はCCD14上の瞳孔中心の座標である。Ptx,PtyはCCD14のx方向およびy方向の画素ピッチである。δx,δyは角膜反射像の中点の座標を補正する補正項であり、ユーザの眼球を平行光ではなく発散光にて照明していることにより生じる誤差を補正する補正項、及び、δyに関しては、ユーザの眼球を下まぶたの方から発散光にて照明していることにより生じるオフセット成分を補正する補正項も含まれている。
【0015】
ユーザの眼球光軸17aの回転角(θx,θy)が算出されると、ユーザの観察面上の注視点(x,y)は、
x[mm]=m×ax×(θx+bx)…(5)
y[mm]=m×ay×(θy+by)…(6)
と求められる。ここで、x方向は観察者に対して水平方向、y方向はユーザに対して垂直方向を示している。mは眼球17の回転角から観察面上の座標に変換する変換係数であり、ax,bx、ay,byは注視点キャリブレーション係数で、ユーザの眼球17の回転角と観察面上の注視点を一致させるための補正係数である。
【0016】
角膜反射像(プルキンエ像)の中点の位置の補正項δx、δyの算出方法を図22(a)、(b),(c)を用いて説明する。
【0017】
接眼レンズ射出面と視線検出光学系の光軸(z軸)との交点を原点に設定する。IRED1の座標を(−Sxi1,Syi,Szi)、IRED2の座標を(Sxi1,Syi,Szi)、撮影者の眼球の角膜の曲率中心Oの座標を(Sxc,Syc,Szc)とする。
【0018】
プルキンエ像dとeの中点P0は、IRED1,2の中点に配置された1個のIREDによって発生するプルキンエ像の位置と等価である。視線算出式は2つのプルキンエ像の中点P0の座標に基づいているため、以降IRED1とIRED2の中点(0,Si,Zi)と角膜の曲率中心Oとの距離をLとすると、
【外1】
【0019】
アッベの不変量より、角膜表面からプルキンエ像の発生する位置までの距離Kは、
【外2】
【0020】
と表される。また、プルキンエ像P1,P2の中点P0のx方向のシフト量δx(CCD座標系でのシフト量;眼球座標系でのΔx)は、
【外3】
【0021】
の関係を満足する。上式を展開するとシフト量δxは、
【外4】
【0022】
となる。同様にプルキンエ像P1,P2の中点P0のy方向のシフト量δyは、
【外5】
【0023】
ここで、視線検出光学系の結像倍率βを、接眼レンズ射出面(原点)からの距離Szの2次関数として定義すると、
β=b1・Sz2+b2・Sz+b3…(12)
となる。係数b1〜b3は、所定距離における結像倍率を光学シミュレーションにて求め、それらの値を2次近似することにより算出される。
【0024】
プルキンエ像の結像倍率βpは、角膜の頂点からのz方向の距離をSzpとすると、
βp=b1(−Szp−Szc)2+b2(−Szp−Szc)+b3…(13)
となる。
【0025】
以下、Szp、Szcを求めるため、算出ルーチンを複数回実行し、Szp、Szcを収束させる。
【0026】
ここで、式(9)と式(11)を比較した場合、式(11)では、
【外6】
【0027】
の1項が加えられている。
【0028】
これは、図22(b)に対して、図22(c)のごとく、y軸方向にz軸を挟んで、IREDが存在しないため、2次元に、プルキンエ像が無いことで生じている項である。即ち、y方向のシフト量δyは、プルキンエ像P1,P2の中点P0から、直接的に求めることが出来ない。
【0029】
このため、y方向のシフト量δyは、x方向のシフト量δxに対して、前述の係数b1〜b3の2次近似近似をはじめとして、収束計算での他の近似計算誤差、マイコン上の量子化誤差などが加わるため、精度が劣るという欠点を有する。
【0030】
したがって、δxを含む式(3)、δyを含む式(4)で求められるユーザの眼球光軸17aの回転角(θx,θy)において、θxに対して、θyは精度が劣るという欠点を有する。
【0031】
δxを含む式(3)、δyを含む式(4)から、撮影者の眼球回転角θx、θyが算出されると、式(5)、式(6)からの個人差に関するax,bx、ay,byの補正係数を与え、ピント板上の座標が算出される。
【0032】
ここで、θyの精度が劣るという欠点を回避するために、図2(b)のごとく、発光ダイオード13a、13bに対して、y軸方向にz軸を挟んで、13eまたは、13fを更に照明することで、新たな角膜反射像(虚像;プルキンエ像もしくはP像)を得ることで、即ち、2次元にプルキンエ像が配置された状態を得ることで、δyをδxと同様に、求めることで、θyを、θxと同様の精度にする必要がある。
【0033】
これを、発光ダイオード13cの照射を追加した図23で説明する。図23(a)は、図21(a)と同様に、CCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を示したもので、発光ダイオード13cに対応する新たな角膜反射像P3が、座標(Xe″,Ye″)に、発光ダイオード13a、13bに対応する従来の角膜反射像P1、P2の座標(Xe′,Ye′)、(Xd′,Yd′)のy座標から構成されるy方向P像中心が座標(xp1,yp1)にある。図23(b)は、図22(c)と同じy−z平面眼球座標図で表したものである。
【0034】
式(4)は、
β×Loc×sinθy≒{(yp1−δy)−yic}×Pty…(4)″
で表され、補正項δyに関しては、
【外7】
で表され、y方向のシフト量δyが、式(3)のx方向のシフト量δxと同様の式であることが判る。
【0035】
ここで、従来の発光ダイオード13a、13bでの角膜反射像で得られる式(11)のδyと、新たな角膜反射像を得ることで算出される式(10)″のδyの値は、当然異なるため、得られるθyの値も異なる。
【0036】
これは、観察者が同一注視点を観察した場合、角膜反射像の配置状態が、1次元である場合と、2次元である場合では、得られるθyの値も異なり、前述の如く、発光ダイオード13cの照射を追加して2次元にプルキンエ像が配置された状態で得られるθyの方が精度が良いことを示す。
【0037】
次に、眼球回転角θx、θyから、算出される式(5)、式(6)で与える個人差に関するax,bx、ay,byの補正係数も、同一個人であっても、発光ダイオード13a、13bで得られる角膜反射像から得られるax,bx、ay,byに対して、13eまたは、13fを更に照明し、新たな角膜反射像を加えて得られるay,byが異なる。
【0038】
以上が、視線検出原理である。
【0039】
この原理に対して、実際の視線検出において、観察者の観察条件、個人差からの2つの要因が加わり、次の3つの問題がある。
【0040】
一つは、観察者が同一点の注視を複数回行うと、本来視線検出結果は、同一となるが、実際には、結果にバラツキを生じる。これは、生理的な固視微動(意識としては、一点を注視していても、実際の注視点は、微動している)、光学装置の保持方法等に起因する個人差である。
【0041】
ここで、眼球回転角θx、θyから、算出される式(5)、式(6)で与える個人差に関するax,bx、ay,byの補正係数の取得は、同一個人の同一点の注視の複数回の視線検出から所定の演算で行われるが、補正係数同様に、同一点の注視を行っても、その視線検出結果のバラツキの大小もまた、観察者の個人差を有する。
【0042】
即ち、第1の問題として、現状、複数回の視線検出から所定の演算で、式(5)、式(6)で与える個人差に関するax,bx、ay,byの補正係数の取得は可能であっても、個人差によるその値のバラツキを考慮されていない。
【0043】
二つ目は、観察者の視線検出を行う際、必ずしも、照明光源に対応したプルキンエ像が得られるわけでは無い。特に、上側の発光ダイオード13eに対応する上側の角膜反射像は、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られることに起因する。前述の新たな照明光源を追加したとしてもそれに対応したプルキンエ像が得られるとは限らない。
【0044】
そこで、第2の問題として、観察者が同一注視点を観察し、視線検出を行った場合、前述の新たな照明光源を追加に対応したプルキンエ像が得られないと、得られるθyの値が異なり、注視点位置の演算結果のy方向精度が低下する。
【0045】
また、第3の問題として、前述のごとく、個人差に関するax,bx、ay,byの補正係数も、前述の角膜反射像の状態を考慮せず、一様に与えれば、y軸方向に関しての精度に問題が残る。
【0046】
そこで、従来の発光ダイオード13a、13bに対し、発光ダイオード13e、13fを追加して、照明に用いる提案がある。この様に行えば、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られたとしても、少なくとも発光ダイオード13e、13fに対応する角膜反射像のいずれかを得られる確率を増したものである。
【0047】
発光ダイオード13a、13b、13e、13fに対応して、3つの角膜反射像が得られた場合、前述のごとく、個人差に関するax,bx、ay,byの補正係数を正しく与えれば、眼球回転角θx、θyの精度は、同等となる。
【0048】
図24は、図21(a)、図23(a)と同様に、この時の4つの角膜反射像が得られた場合のCCD14上に投影された眼球17の各特徴点(角膜反射像及び瞳孔の中心)の位置を示したものである。
【0049】
発光ダイオード13a、13b、13e、13fに対応する4つの角膜反射像が得られた場合、図21、図23に対して、x方向、y方向のP像中心位置は、各々2つの角膜反射像の座標でなく、4つの角膜反射像の座標から算出される為、個人差に関するax,bx、ay,byの補正係数を正しく与えれば、眼球回転角θx、θyの精度は、θyばかりで無く、θxも更に向上する。
【0050】
前述の第2、3の問題に対しては、従来提案として、特開平xx−xxxxx(キヤノン、大谷本人提案、整理番号4310030)にて、1回の個人差補正係数の取得動作で、角膜反射像の数、配置状態に応じたax,bx、ay,byの補正係数を取得し、観察者の視線検出時、角膜反射像の数、配置状態を判別し、対応した前記補正係数を与え、精度向上を図っている。
【0051】
しかし、第1の問題である観察者がある点を注視した場合、その視線検出結果に対して、バラツキの個人差を考慮した従来提案は無い。
また、特開平8−152552号公報(オリンパス)では、各々のフォーカスエリアに対し、視線検出情報からの注視点情報とその視線情報の信頼性から、更に、測距情報から、重み付けを行い、各々の総和から最も得点の高いフォーカスエリアを測距点として選択し、焦点調節を行っている。
【0052】
しかしながら、前段の視線検出において、「視線検出情報からの注視点情報と視線情報の信頼性」では、角膜反射像の数、配置状態が考慮されていない点と、個人差のバラツキが考慮されていない点から、第1、第2、第3の問題に対しての提案では無い。
【0053】
【発明が解決しようとする課題】
そこで、観察者の眼球の前眼部へ投射し、眼球像から特徴点(角膜反射像及び瞳孔の中心)を得るために、y軸方向にも、新たな角膜反射像(虚像;プルキンエ像もしくはP像)を得ることとした照明光源を設けた視線検出手段において、観察者の視線検出精度に、観察者の視線検出結果に個人差を考慮し、観察者の意図した注視点領域を決定可能とすることが課題である。
【0054】
次に、前記観察者の視線である注視点領域から、観察画面上、2次元に配置された複数のフォーカスエリアから、少なくとも1つのフォーカスエリアを選択可能とすることが課題である。
【0055】
【課題を解決するための手段】
複数の焦点検出点を選択するにあたって、y軸方向にも、新たな角膜反射像(虚像;プルキンエ像もしくはP像)を得ることとした照明光源を設けた視線検出手段において、視線検出時、第1に、角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態判断手段を設けた。
【0056】
第2に、視線補正手段(キャリブレーション)で、公知の特開平xx−xxxxx(キヤノン、大谷本人提案、整理番号4310030)の角膜反射像数をカウントする手段と角膜反射像の配置状態を判断する角膜反射像状態に応じた個人差に関するax,bx、ay,byの補正係数の取得にあたって、その補正係数のバラツキを同時に、取得する手段を設けた。
【0057】
第3に、前記角膜反射像状態判断手段の結果、即ち、角膜反射像の配置状態から、視線検出演算の結果である注視点位置を算出した上で、前記視線補正手段(キャリブレーション)で、取得した補正係数のバラツキを観察者の視線の注視点位置が、どの程度バラツクかの個人差を加味した注視点領域を決定する手段を設ける。
【0058】
第4に、前記注視点領域に含まれる複数の焦点検出点から少なくとも1つのフォーカスエリアを選択する手段を設けた。
【0059】
その作用として、第1、第2の手段とで、観察者の視線検出で、得られた角膜反射像状態に応じ、かつ、観察者の個人差を考慮して、観察者の視線の注視点位置を精度良く、求めることが可能である。
【0060】
第2、第3の手段から、精度良く求められた前記観察者の視線の注視点位置に対して、個人差に起因する視線検出のバラツキを考慮した注視点領域を求めることが可能となる。
【0061】
第4の手段から、観察者の意図したフォーカスエリアを選択可能となる。
【0062】
【発明の実施の形態】
本実施例のカメラは、撮影者の眼球の光軸の回転角を検出し、該回転角から撮影者の視線を算出する視線検出装置を有するオートフォーカスカメラである。
【0063】
図1は本発明にかかる一眼レフカメラの要部概略図である。
【0064】
図1において、図中1は撮影レンズであり、図1では便宜上2枚のレンズ1a、1bで示したが、実際は多数のレンズから構成されている。2は主ミラーで、観察状態と撮影状態に応じて撮影光路へ斜設されあるいは退去される。3はサブミラーで、主ミラー2を透過した光束をカメラボデイの下方へ向けて反射する。4はシャッタ、5は感光部材で、銀塩フィルムあるいはCCDやMOS型等の固体撮像素子よりなっている。
【0065】
6は焦点検出装置であり、結像面近傍に配置されたフィールドレンズ6a、反射ミラー6b及び6c、2次結像レンズ6d、絞り6e、複数のCCDからなるラインセンサ6f等から構成されている周知の位相差方式を採用している。同図の焦点検出装置6は、図3に示すようにファインダー観察画面内300の複数の領域(7個の焦点検出点マーク301から307)は、焦点検出領域(以下、焦点検出点)と対応し、焦点検出可能なように構成されている。
【0066】
7は撮影レンズ1の予定結像面に配置されたピント板、8はファインダ光路変更用のペンタプリズム、9、10は観察画面内の被写体輝度を測定するための結像レンズと測光センサで、結像レンズはペンタプリズム8内の反射光路を介してピント板7と測光センサを共役に関係付けている。
【0067】
次に、ペンタプリズム8の射出面後方には光分割器11aを備えた接眼レンズ11が配され、撮影者の眼15によるピント板7の観察に使用される。光分割器11aは、例えば可視光を透過し赤外光及び赤外寄りの可視光(赤色光)を反射するダイクロイックミラーより成っている。12は受光レンズ、14はCCD等の光電素子列を2次元的に配したイメージセンサで受光レンズ12に関して所定の位置にある撮影者眼15の瞳孔近傍と共役になるように配置されている。
【0068】
イメージセンサ14と受光レンズ12は受光手段の一要素を構成している。13a〜13d、13e〜13hは各々撮影者の眼15の照明光源(投光手段)であるところの8個の赤外発光ダイオード(図では、2個のみ図示)で、接眼レンズ11の回りに配置されている。
【0069】
21は、明るい被写体の中でも視認出来る高輝度のスーパーインポーズ用LEDで、発光された光は、投光用プリズム22を介し、主ミラー2で反射してピント板7の表示部に設けた微小プリズムアレー7aで垂直方向に曲げられ、ペンタプリズム8、接眼レンズ11を通って撮影者の眼15に達する。
【0070】
そこで、ピント板7の焦点検出点に対応する複数の位置(焦点検出点マーク部)にこの微小プリズムアレイ7aを枠上に形成し、これを各々に対応した7つのLED21(各々をLED−L1、LED−L2、LED−C、LED−R1、LED−R2、LED−T、LED−Bとする)によって照明する。
【0071】
これによって、図3に示すように、各々の焦点検出点マークである301,302,303,304,305,306,307が、ファインダー視野内で光り、焦点検出点であることを表示させることが出来るものである(以下、これをスーパーインポーズ表示という)。
【0072】
ここで左右上下端の測距点マーク301、305、306,307は、眼球の個人差補正データ(視線補正係数)を採取する(以下この動作をキャリブレーションと称す)際に点灯するものである。本カメラのキャリブレーションは、撮影者がキャリブレーションを行う毎に、そのデータが所定回数まで蓄積され、所定の平均化作業によって算出される。
【0073】
23はファインダ視野領域を形成する視野マスク、24はファインダ視野外に撮影情報を表示するためのファインダ内LCDで、照明用LED(F−LED)25によって照明され、LCD24を透過した光が三角プリズム26によってファインダ内に導かれ、図3のファインダ視野外308に表示され、撮影者は該撮影情報を観察している。27は姿勢検知手段でありカメラの姿勢を検知するスイッチである。
【0074】
31は撮影レンズ1内に設けた絞り、32は後述する絞り駆動回路111を含む絞り駆動装置、33はレンズ駆動用モータ、34は駆動ギヤ等からなるレンズ駆動部材、35はフォトカプラでレンズ駆動部材34に連動するパルス板36の回転を検知してレンズ焦点調節回路37に伝えている。レンズ焦点調節回路37は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モータを所定量駆動させ、撮影レンズ1を合焦位置に移動させるようになっている。38は公知のカメラとレンズとのインターフェースとなるマウント接点である。
【0075】
図2(a)、図2(b)は、本発明のカメラ本体外観図で、図1での交換可能な撮影レンズ1は、不図示。図2(a)は、上面図、図2(b)は、背面図。
【0076】
200は、カメラ本体、201はレリーズボタン、202は外部モニタ表示装置としてのモニタ用LCDで図8の如く、予め決められたパターンを表示する固定セグメント表示部202aと、可変数値表示用の7セグメント表示部202b図2(a)、図2(b)において、カメラ本体200は、図1の交換可能なレンズ部は不図示であるが、とからなっている。
【0077】
203は測光値を保持するAEロック釦、204a、204b、204cはモード釦で撮影モード等の選択を行っている。
【0078】
モード釦45b、45cの同時押しでは、後述する眼球の個人差補正データ(視線補正係数)を採取する「視線キャリブレーション」モードとなる。
【0079】
205は電子ダイヤルで、回転してクリックパルスを発生させることによってモード釦204a、204b、204cで選択されたモードの中でさらに選択し得るモード、及び設定値を選択するためのものである。例えばモード釦204aを押して電子ダイヤル205にてシャッタ優先の撮影モードを選択すると、ファインダ内LCD24及びモニタ用LCD202には、現在設定されているモードとシャッタスピードが表示される。更に撮影者がモード釦204aを離した後、電子ダイヤル205を回転させるとその回転方向に従って現在設定されているシャッタスピードから順次シャッタスピードが変化していくように構成されている。この様にして撮影者がプログラムAEシャッタ優先AE、絞り優先AE、被写体深度優先AE、マニュアル露出の各撮影モードをモード釦204aを押すことで選択し、電子ダイヤル205を回転させることで撮影内容を設定できる。
【0080】
図8(a)、図8(b)はモニタ用LCD202とファインダ内LCD24である図3の308の全表示セグメントの内容を示した説明図である。図8(a)において固定表示セグメント部202aには公知の撮影モード表示以外に、カメラのAF動作や撮影モードの選択などの撮影動作を表示する部分を設けている。
【0081】
801は、視線検出モードであることを表示する部分で、視線検出モード時、表示される。視線検出モードにするためには、モード釦204bを押して、電子ダイヤル205を回転操作させ、801を表示させることで設定する。
【0082】
可変数値表示用の7セグメント部202bは、シャッタ秒時を表示する4桁の7セグメント802、絞り値を表示する2桁の7セグメント803と小数点804、フィルム枚数を表示する限定数値表示セグメント805と1桁の7セグメント806で構成されている。
【0083】
図8(b)において811は手ブレ警告マーク、812はAEロックマーク、813、814は、前記のシャッタ秒時表示802と絞り値表示803,804と同一の表示セグメント、815は露出補正設定マーク、816はストロボ充完マーク、817は視線入力状態であることを示す視線入力マークで、視線検出モードであることを表示する部分801と同様。818は撮影レンズ1の合焦状態を示す合焦マークである。
【0084】
206は、測距点選択モード釦で、撮影者がこれを押すことで、所定の焦点検出点を電子ダイヤル205の操作により、点灯表示している焦点検出点から任意の焦点検出点に移動操作可能とする。
【0085】
ここで、図6(a)でファインダー内の所定の焦点検出点マーク303が、点灯表示されているとすると、電子ダイヤル205を回すと回転方向に同期した形で図6(b)、図6(c)の如く、焦点検出点マーク304、305に移動することが可能である。そして、移動後の焦点検出点マークが点灯表示され、撮影者が選択した焦点検出点を認識可能としている。
【0086】
更に、同方向に電子ダイヤル205を回すと、図6(d)の如く、測距マーク301、302,303,304,305,306,307が同時に所定時間点灯し、測距点選択モードが、カメラが自動的に、測距点を選択する測距点自動選択モードとなったことを撮影者が認識可能としている。
【0087】
また、測距点選択モード釦206を再度押すと、電子ダイヤル205を回すことでの焦点検出点マークの移動方向が、測距マーク306,307を選択可能な方向に切り替わる。
【0088】
本カメラ200は、前述の撮影者が任意の焦点検出点を選択する事の可能な係る焦点検出点任意選択モード以外に、図3の7個の焦点検出点マークに対応する7個の焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を抽出、選択する焦点検出点自動選択モードの二つを備えている。また、前述のモード釦204b、電子ダイヤル205の操作で、視線検出モードであることを表示する部分801、817を表示させ、図3の7個の焦点検出点マークから選択するにあたり、撮影者の眼球の光軸の回転角を検出し、該回転角から撮影者の視線を算出する視線検出装置を利用して焦点検出点を選択する視線入力モードを備えている。
【0089】
本実施例では、カメラ200は、前記視線入力モードに設定されている。
【0090】
207は、カメラの電源スイッチでこれをON状態にすることでカメラが起動する。又OFFでカメラを不作動とするロックポジションとなる。
【0091】
点線208は、撮影者がカメラをホールドした状態の右手である。
【0092】
図4は本発明のカメラに内蔵された電気回路の要部ブロック図である。図4において図1及び図2と同一のものは同一符号を付けている。
【0093】
カメラ本体に内蔵されたマイクロコンピュータの中央処理装置(以下CPU)100には視線検出回路101、測光回路102、自動焦点検出回路103、信号入力回路104、LCD駆動回路105、バックライトLED駆動回路106、図1、図2の13a〜13gに相当するIRED1〜IRED8の8個のIRED駆動回路107、シャッタ制御回路108、モータ制御回路109が接続されている。また撮影レンズ内に配置された焦点調節回路37、絞り駆動回路111とは図1で示したマウント接点38を介して信号の伝達がなされる。
【0094】
CPU100は不図示のRAMを内蔵しており、視線のキャリブレーションデータを該内蔵RAMに記憶する機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、公知の視線の個人差の補正を行うための視線補正データ(以下キャリブレーションデータと称す)を取得するキャリブレーションモードが選択可能となり、各キャリブレーションデータ、及びキャリブレーション動作「OFF」が電子ダイヤル205にて可能となっている。
【0095】
CPU100に付随したEEPROM100aは記憶手段としての視線の個人差を補正する視線補正データの記憶機能を有している。カメラのモードを前述の「視線キャリブレーション」にすると、視線の個人差の補正を行なうための視線補正データ(以下「キャリブレーションデータ」と称する。)を採取するモードが選択可能となり、各キャリブレーションデータに対応したキャリブレーションナンバーの選択及びキャリブレーション動作のOFFが電子ダイヤル205にて可能となっている。
【0096】
キャリブレーションデータは複数設定可能で、カメラを使用する人物で区別したり、同一の使用者であっても観察の状態が異なる場合例えば眼鏡を使用する場合とそうでない場合、あるいは視度補正レンズを使用する場合とそうでない場合とで区別して設定するのに有効である。
【0097】
又、この時選択されたキャリブレーションナンバーは、後述するようにキャリブレーションデータナンバー(1,2,3・・・あるいは0)としてEEPROM100aに記憶される。
【0098】
本実施例では、1つのキャリブレーションナンバーに記憶されているキャリブレーションデータには、図10で、後述するように、正位置と縦位置でのキャリブレーションデータには、眼球回転角のバラツキも含まれている。、更にその中に角膜の反射像の数とその配置によって、各々キャリブレーションデータが記憶されている。
【0099】
視線検出回路101は、イメージセンサ14(CCD−EYE)からの眼球像の出力をA/D変換しこの像情報をCPUに送信する。CPU100は後述するように、公知の視線検出に必要な眼球像の各特徴点を所定のアルゴリズムに従って抽出し、さらに各特徴点の位置から撮影者の視線を算出する。CPU100と視線検出回路101、そしてイメージセンサ14は視線検出装置の一要素を構成している。
【0100】
測光回路102は測光センサ10からの出力を増幅後、対数圧縮、A/D変換し、各センサの輝度情報としてCPU100に送られる。測光センサ10は図3に示したファインダ画面内の7個の焦点検出点マーク301〜307の各々に対応した領域を測光するSPC−AからSPC−Gの7個のフォトダイオードから構成されている。
【0101】
焦点検出装置6fのラインセンサ116は前述のように画面内の7個の焦点検出点マーク301〜307に対応した7組のラインセンサCCD−C、CCD−R1、CCD−R2、CCD−L1、CCD−L2、CCD−T、CCD−Bから構成される公知のCCDラインセンサで、焦点検出を可能としている。自動焦点検出回路103はこれらラインセンサ116から得た電圧をA/D変換し、CPU100に送る。
【0102】
SW1はレリーズ釦201の第1ストロークでONし、測光、AF、視線検出動作を開始する測光スイッチ、SW2はレリーズ釦201の第2ストロークでONするレリーズスイッチ、ANG−SW1、ANG−SW2は姿勢検出装置27によって検知されるところの姿勢検知スイッチ、SW−AELはAEロック釦203を押すことによってONするAEロックスイッチ、SW−AFSは測距点選択釦206を押すことによってONする測距点選択モードスイッチ、SW−DIAL1とSW−DIAL2は既に説明した電子ダイヤル205内に設けたダイヤルスイッチで信号入力回路104のアップダウンカウンタ118に入力され、電子ダイヤル205の回転クイック量をカウントする。
【0103】
モード釦44a、44b、44cは、不図示。
【0104】
これらスイッチの信号が信号入力回路104に入力されデータバスによってCPU100に送信される。
【0105】
105はファインダー内LCD23、モニタ用LCD202を表示駆動させるための公知のLCD駆動回路で、CPU100からの信号に従い、絞り値、シャッタ秒時、設定した撮影モード等の表示を両方に同時に表示させている。
【0106】
LED駆動回路106は、LED21(各々をLED−L1、LED−L2、LED−C、LED−R1、LED−R2、LED−T、LED−Bとする)を点灯、点滅制御する。更に点灯時、測光回路102からの信号をCPU100が演算した信号に従い、点灯輝度を変化させ、ファインダー内の明るさに応じて測距点の表示を認識し易くしている。
【0107】
IRED駆動回路107は、撮影者が眼鏡をしない裸眼である場合に行う内周側のIRED13a、IRED13b、IRED13e、IRED13fの4つのIREDを同時点灯制御と、撮影者が眼鏡をしている場合に行う外周側のIRED13c、IRED13d、IRED13g、IRED13hの4つのIREDを同時点灯制御を、CPU100の信号に従い行う。
【0108】
シャッタ制御回路108は通電すると先幕を走行させるマグネットMG−1と、後幕を走行させるマグネットMG−2を制御し、感光部材に所定光量を露光させる。
【0109】
モータ制御回路109はフィルムの巻き上げを行うモーターM1と主ミラー2及びシャッタ4のチャージ、巻き戻しを行うモーターM2を制御している。これらシャッタ制御回路108、モータ制御回路109によって一連のカメラのレリーズシーケンズが動作する。
【0110】
図2の点線208の撮影者がカメラをホールドした右手部分のグリップ兼電池室112は、電池113を内蔵しており、コネクター114のP−GND、VBATの端子とメカ的電気的に接合し、本体電源系115にカメラ電源を供給している。
【0111】
コネクター114のP−GND、VBAT以外の端子とコネクター117の端子は、グリップ兼電池室112装着状態では、グリップ兼電池室112に端子が存在せず、接続状態になく、付属品の装着時に利用される端子である。
【0112】
スイッチ119は、グリップ兼内蔵電池室112,付属品の装着を認識するSWで装着状態でD−GNDと切り離されたことを検知する。
【0113】
次に図5で、本実施例のカメラの作動フローチャートを説明する。
【0114】
図2(b)の電源SW207を回転させてON位置にするとカメラを不作動状態からカメラの電源がONされる(S100)。
【0115】
次にCPU100の状態を確認し、焦点検出点選択モードを確認し(S101)、本実施例の視線入力モードかどうかを確認する(S102)。
【0116】
視線入力モードでなければ、視線入力禁止として、焦点検出点任意選択モードへ(S101a)。
【0117】
焦点検出点任意選択モードで無ければ、焦点検出点自動選択モード(S101b)に入る。ここでは、視線情報を用いずに、図3の7個の焦点検出点マークに対応する全ての焦点検出点の焦点検出結果からカメラ自身が所定のアルゴリズムで焦点検出点を選択するサブルーチンを実行する。
【0118】
S101a、S101bで、LCD駆動回路105はファインダ内LCD24の視線入力マーク818を消灯するので、撮影者はファインダ画面外表示308でカメラが視線検出を行わないことを確認できる(図3,図8(b))。
【0119】
CPU100のEEPROM100aに記憶された視線のキャリブレーションデータ以外の視線検出に使われる変数と、所定のカメラ状態になるように、変数がリセットされる(S103)。
【0120】
そして、カメラはレリーズ釦201が押し込まれてスイッチSW1がONされるまで待機する(S104)。
【0121】
次に、視線検出を行なう際に、どのキャリブレーション(CAL)データを使用するかを視線検出回路101に確認する(S105)。
【0122】
この時、確認されたキャリブレーションデータナンバーのキャリブレーションデータが初期値のままで変更されていない場合、視線検出はこの初期値で行われる。また、同一キャリブレーションデータナンバーでも、一部キャリブレーションがなされず、初期値である場合、初期値で無いキャリブレーションデータを用いて視線検出が行われる。例えば、カメラ縦位置で、正位置しかキャリブレーションデータが存在しない場合、正位置のキャリブレーションデータが用いられる。
【0123】
次に、前記キャリブレーションデータナンバーに対応した視線のキャリブレーションデータが所定の値に設定されていてそのデータが撮影者により入力されたものであることが認識されると、視線検出回路101は、視線検出を実行し、角膜の反射像の数から選択されたキャリブレーションデータから、視線検出回路101において検出された視線は、撮影者の注視点として、ピント板7上の注視点座標に変換される視線検出が行われ、眼球回転角のバラツキを考慮した注視点領域が決定される(S106)。
【0124】
この時、LCD駆動回路105はファインダー内LCD24の視線入力マーク817を点灯させ、ファインダー画面外308で撮影者はカメラが視線検出を行なっている状態であることを確認することができるようになっている(図8(b))。
【0125】
また、7セグメント813には設定されたシャッタ秒時が、7セグメント814には設定された絞り値が、表示されている。
【0126】
この前記注視点領域が、どの注視点エリア群に内包され、前記注視点エリア群に、図3の7個の焦点検出点マークから対応するものを選択した(S107)後、選択された焦点検出点マークであるフォーカスエリアが焦点検出点となり、点灯表示される(S108)。
【0127】
図7(a)で、視線検出装置の一部であるイメージセンサ14は、ピント板7上の位置とピント板7上を観察する図3の観察画面300の位置に対応しており、ピント板7上及び、観察画面300上では、図7の如く、縦にL3,L2,L,C,R1,R2、R3の7列に、横にT,U,C,D,Bの5行で区切られた複数の注視点エリアで構成している。各注視点エリアは、縦列名・横行名で現される。 例えば、左上端エリアは、L3・T、右下端エリアは、R3・Bである。
【0128】
図7(a)で、注視点を座標(x、y)とすると、眼球回転角のバラツキを考慮した前記注視点領域309は、注視点エリア群である注視点エリアR1・D、R1・B、R2・D、R2・Bに内包される。ここで、前記注視点エリア群に、7つの焦点検出点が無い場合、視線検出を禁止し、焦点検出点自動選択モード(101b)に移る。
【0129】
撮影者が該撮影者の視線によって選択された焦点検出点が表示されたのを見て、その焦点検出点が正しくないと認識してレリーズ釦201から手を離しスイッチSW1をOFFすると(S109)、カメラはスイッチSW1がONされるまで待機する(S104)。
【0130】
撮影者が選択された焦点検出点が点灯表示されたのを見て、レリーズ釦201を押しつづけ、スイッチSW1をON続けたならば(S109)、選択された焦点検出点において自動焦点検出回路103は焦点検出動作を行う(S110)。
【0131】
焦点検出が可能(S111)であり、所定のアルゴリズムで選択された焦点検出点の焦点調節状態が合焦(S112)でなければ、CPU100はレンズ焦点調節回路110に信号を送って所定量撮影レンズ1を駆動させる(S113)。レンズ駆動後自動焦点検出回路103は再度焦点検出を行い(S110)、撮影レンズ1が合焦しているか否かの判定を行う(S112)。
【0132】
焦点検出が不能(S111)であれば、焦点検出NG表示として、図8の合焦マーク818を点滅させる(S111a)。更にSW1がONであれば、点滅を続け、OFFであれば(S111b)、再度、SW1がONされるまで待機する(S102)。
【0133】
所定の焦点検出点において撮影レンズ1が合焦していたならば、CPU100はLCD駆動回路105に信号を送ってファインダ内LCD24の合焦マーク818を点灯させると共に、IRED駆動回路107にも信号を送っての合焦している焦点検出点に合焦表示させる(S114)。
【0134】
合焦した焦点検出点がファインダ内に表示されたのを撮影者が見て、その焦点検出点が正しくないと認識してレリーズ釦41から手を離しスイッチSW1をOFFすると(S115)、引き続きカメラはスイッチSW1がONされるまで待機する(S102)。
【0135】
また、撮影者が合焦表示された焦点検出点を見て、引き続きスイッチSW1をONし続けたならば(S115)、CPU100は測光回路102に信号を送信して測光を行わせる(S116)。この時合焦した焦点検出点を含む測光領域SPC−A〜SPC−Gまでの7領域から選択し、重み付けを行った露出値が演算される。
【0136】
本実施例の場合、測光領域SPC−A〜SPC−G迄の7つの領域で、図3の選択された焦点検出点マークを含む測光領域を中心として、重み付けされた公知の測光演算を行い、この演算結果として外部表示部202の7セグメント803と小数点804、ファインダー外表示308の814を用いて絞り値(F5.6)を表示する。
【0137】
さらに、レリーズ釦201が押し込まれてスイッチSW2がONされているかどうかの判定を行い(S117)、スイッチSW2がOFF状態であれば再びスイッチSW1の状態の確認を行う(S115)。また、スイッチSW2がONされたならばCPU100はシャッタ制御回路108、モータ制御回路109、絞り駆動回路111にそれぞれ信号を送信する。
【0138】
まずMG2に通電し、主ミラー2をアップさせ、絞り31を絞り込んだ後、MG1に通電しシャッタ4の先幕を開放する。絞り31の絞り値及びシャッタ4のシャッタスピードは、前記測光回路102にて検知された露出値と感光部材であるフィルム5の感度から決定される。所定のシャッタ秒時(例えば,1/250秒)経過後MG2に通電し、シャッタ4の後幕を閉じる。フィルム5への露光が終了すると、MG2に再度通電し、ミラーダウン、シャッタチャージを行うと共にMG1にも通電し、フィルムのコマ送りを行い、一連のシャッタレリーズシーケンスの動作が終了する(S118)。その後カメラは再びスイッチSW1がONされるまで待機する(S102)。
【0139】
又、図5に示したカメラのシャッターレリーズ動作(S118)以外の一連の動作中にモード釦45b、45cの同時押しすると、眼球の個人差補正データ(視線補正係数)を採取する「視線キャリブレーション」モードに設定されたことを信号入力回路104が検知すると、CPU100はカメラの動作を一時停止し、視線検出回路101に送信して視線のキャリブレーション(S119)が可能な状態に設定する。視線のキャリブレーション方法については後述する。
【0140】
図9は視線検出(S106)のフローチャートである。前述のように視線検出回路101はCPU100より信号を受け取ると視線検出を実行する(S106)。視線検出回路101は、撮影モードの中での視線検出かあるいは視線のキャリブレーションモードの中での視線検出かの判定を行なう(S201)。同時に視線検出回路101はカメラが後述するどのキャリブレーションデータナンバーに設定されているかを認識する。
【0141】
視線検出回路101は、撮影モードでの視線検出の場合はまず最初にカメラがどのような姿勢になっているかを信号入力回路104を介して検知する(S202)。信号入力回路104は、CPU100はカメラ姿勢を姿勢検出回路27に確認する(S104)。図4のANG−SW1、ANG−SW2の出力により、正位置、図2の点線208の撮影者の右手が上にあるグリップ上縦位置、撮影者の右手208が下にあるグリップ下縦位置の3つの姿勢状態のいずれであるかを確認する。続いてCPU100を介して測光回路102から撮影領域の明るさの情報を入手する(S203)。
【0142】
次に先に検知されたカメラの姿勢情報とキャリブレーションデータに含まれる撮影者の眼鏡情報、後述するP像状態に応じたキャリブレーションデータの有無より赤外発光ダイオード(以下IREDと称す)13a〜13hの選択を行ない、照射される(S204)。
【0143】
S204を図25のフローで説明する。
【0144】
即ちカメラが正位置に構えられ、撮影者が眼鏡をかけていなかったならば、図2(b)に示すようにファインダー光軸よりのIRED13a,13b,13e,13fが選択される。又、カメラが正位置で、撮影者が眼鏡をかけていれば、ファインダー光軸から離れたIRED13c,13d,13g,13hが選択される(S2041)。
【0145】
このとき撮影者の眼鏡で反射した照明光の一部は、眼球像が投影されるイメージセンサー14上の所定の領域以外に達するため眼球像の解析に支障は生じない。また、カメラが縦位置で構えられていた場合も同様である。
【0146】
次に、後述するEEPROM100aのそれぞれのアドレス(図11)に記憶された、3P像以上のキャリブレーションデータ(図15、S503a、S503b)と2P像キャリブレーションデータ(図15、S503c)が、初期値か、否かを確認する。そこで、初期値であるものは、キャリブレーションデータが無いと判断する。
【0147】
次にイメージセンサー14(以下CCD−EYEと称す。)の蓄積時間及びIREDの照明パワーが前記測光情報及び撮影者の眼鏡情報等に基づいて設定される(S205)。該CCD−EYEの蓄積時間及びIREDの照明パワーは前回の視線検出時に得られた眼球像のコントラスト等から判断された値を基にして設定を行なっても構わない。
【0148】
CCD−EYE蓄積時間及びIREDの照明パワーが設定されると、CPU100はIRED駆動回路107を介してIREDを所定のパワーで点灯させるとともに、視線検出回路101はCCD−EYEの蓄積を開始する(S206)。
【0149】
又、先に設定されたCCD−EYEの蓄積時間にしたがってCCD−EYEは蓄積を終了し、それとともにIREDも消灯される。視線のキャリブレーションモードでなければ(S207)、CCD−EYEの読みだし領域が設定される(S208)。
【0150】
カメラ本体の電源がONされた後の1番最初の視線検出以外はCCD−EYEの読みだし領域は前回の視線検出時のCCD−EYEの読みだし領域を基準にして設定されるが、カメラの姿勢が変化したとき、あるいは眼鏡の有無が変化した場合等はCCD−EYEの読みだし領域は全領域に設定される。
【0151】
CCD−EYEの読みだし領域が設定されると、CCD−EYEの読みだしが実行される(S209)。この時読みだし領域以外の領域は空読みが行なわれ実際上読み飛ばされていく。これは、視線検出を迅速に行う為である。CCD−EYEより読みだされた像出力は視線検出回路101でA/D変換された後にCPU100にメモリーされ、該CPU100において眼球像の各特徴点の抽出のための演算が行なわれる(S210、S212)。
【0152】
即ち、CPU100において、眼球の照明に使用された4つ一組のIREDで、原理的には、図24のIREDの虚像である4つのプルキンエ像P1、P2、P3、P4の位置として、図24のP1(Xe′,Ye′)、P2(Xd′,Yd′)、P3(Xe″,Ye″)、P4(Xd″,Yd″)が検出される。プルキンエ像は光強度の強い輝点として現われるため、光強度に対する所定のしきい値を設け、該しきい値を超える光強度のものをプルキンエ像とすることにより検出可能である(S210)。
【0153】
次に、瞳孔の中心位置(Xic′,Yic′)は瞳孔19と虹彩17の境界点を複数検出し、各境界点を基に円の最小二乗近似を行なうことにより算出される。この時瞳孔径rpも算出される。
【0154】
CPU100は眼球像の解析を行なうとともに、眼球像のコントラストを検出してそのコントラストの程度からCCD−EYEの蓄積時間の再設定を行なう。
【0155】
又、プルキンエ像の位置及び瞳孔の位置よりCCD−EYEの読みだし領域を設定する。この時CCD−EYEの読みだし領域は、検出された瞳孔を含み該瞳孔の位置が所定量変化しても瞳孔全体が検出可能な範囲に設定される。そしてその大きさは虹彩の大きさより小さいのはいうまでもない。
【0156】
CCD−EYEの読みだし領域は長方形に設定され該長方形の対角の2点の座標がCCD−EYEの読みだし領域として視線検出回路101に記憶される。さらに眼球像のコントラストあるいは瞳孔の大きさ等から、算出されたプルキンエ像及び瞳孔中心の位置の信頼性が判定される(S210)。
【0157】
ここで、原理的には、図24のIREDの虚像である4つのプルキンエ像が得られることになっているが、撮影者の視線検出を行う際、観察条件、個人差によって、撮影者の上瞼、睫毛で、照明光源が遮られ、必ずしも、IREDに対応したプルキンエ像が得られるわけでは無いので、プルキンエ像の数とその配置をプルキンエ像状態判別として行う(S211)。
【0158】
本実施例では、プルキンエ像が得られない場合と1つしか得られない場合は、視線検出不可、または視線検出精度が著しく低下するので視線信頼性が無いと判断し、S201へ戻る。
【0159】
図10で、プルキンエ像の数と配置状態について説明する。P像状態判別、P像数は、プルキンエ像(図中P像)の数に応じて、プルキンエ像が4つ存在するものを4P像状態として、P像無し状態までを示し、P像状態図は、図24の4つのプルキンエ像P1、P2、P3、P4の存在状態を図示し、Xpo、Ypo算出に使用されるP像座標は、P1(Xe′,Ye′)、P2(Xd′,Yd′)、P3(Xe″,Ye″)、P4(Xd″,Yd″)で、Xpo、Ypo算出に使用されるを示したものである。
【0160】
図10の如く、4つのIREDの撮影者眼球照明に対し、得られるプルキンエ像の配置状態は、得られるプルキンエ像の数と配置状態は、16通りある。
【0161】
本実施例では、視線検出演算、特にプルキンエ像を他の特徴点と区別して抽出選択の迅速化のため、撮影者が眼鏡をしていない裸眼を例にするとして、下側のIRED13a、13bに対応するプルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)を抽出した後、二つのプルキンエ像の位置よりその間隔が算出される(S210)。次にIRED13aのプルキンエ像P1(Xe′,Ye′)から、Y軸上に前記のプルキンエ像間隔を元に所定の係数を乗じた値の所定範囲内に存在するプルキンエ像と推定される特徴点を、IRED13eに対応するプルキンエ像P3(Xe″,Ye″)として検出する。
【0162】
次にIRED13bに対応するプルキンエ像P2(Xd′,Yd′)から、Y軸上に同様に、IRED13fに対応するプルキンエ像の位置P4(Xd″,Yd″)を検出する。
【0163】
即ち、下側のIRED13a、13bに対応するプルキンエ像P1、P2を基準にプルキンエ像P3、P4の検出を行う。
【0164】
これは、4つのプルキンエ像P1、P2、P3、P4の検出を迅速に行う為と、撮影者の観察条件、個人差によって、上瞼、上睫毛で、照明光源のが遮られる可能性がある為、下側のIRED13a、13b(13c、13d)に対応するプルキンエ像P1、P2は、極めて高い確率で得られるのに対して、上側のIRED13e、13f(13g、13h)に対応するプルキンエ像P3、P4は、撮影者や撮影条件により、得られない確率が高いことによる。
【0165】
この様に本実施例では、Y軸上、下側に存在する2つのプルキンエ像の位置を基準として、視線検出に有効な図10の太枠で囲まれた4通りのプルキンエ像の数と配置状態を判断している。
【0166】
図10の太枠で囲まれた4通りのプルキンエ像の数と配置状態で無いと判断すると、視線信頼性が無いと判断し、S201へ戻る。S201へ戻り、再び、S211にて、視線信頼性が無いと判断とした場合は、図5の焦点検出点自動選択モード(S101b)に入る。
【0167】
尚、図10で、使用キャリブレーションデータは、後述するキャリブレーションで求められたキャリブレーションデータで、本実施例では、4つのプルキンエ像の数と配置状態に対して、4P像キャリブレーションデータと3P像キャリブレーションデータと2P像キャリブレーションデータの3つが用いられている。また、使用キャリブレーションデータには、後述する2方向(X方向、Y方向の)眼球回転角のバラツキであるσθx、σθyと、それをピント板7の座標に換算したσx、σyも含まれている。
【0168】
眼球像の解析が終了すると、キャリブレーションデータの確認手段を兼ねた視線検出回路101は算出されたプルキンエ像の間隔と点灯されたIREDの組合せよりキャリブレーションデータの中の眼鏡情報が正しいか否かの判定を行なう(S212)。これはその時々において眼鏡を使用したり使用しなかったりする撮影者に対処するためのものである。
【0169】
即ち、キャリブレーションデータの中の撮影者の眼鏡情報が、例えば眼鏡を使用するように設定されていて、図2(b)に示したIREDの内IRED13c,13d,13g,13hが点灯された場合、プルキンエ像の間隔が所定の大きさより大きければ撮影者は眼鏡装着者と認識され眼鏡情報が正しいと判定される。
【0170】
逆にプルキンエ像の間隔が所定の大きさより小さければ撮影者は裸眼あるいはコンタクトレンズ装着者と認識され眼鏡情報が誤っていると判定される。眼鏡情報が誤っていると判定されると(S212)、視線検出回路101は眼鏡情報の変更を行なって(S217)再度IREDの選択を行ない(S204)視線検出を実行する。但し眼鏡情報の変更を行なう際、CPU100のEEPROM100aに記憶された眼鏡情報は変更されない。
【0171】
又、眼鏡情報が正しいと判定されると(S212)、プルキンエ像の間隔よりカメラの接眼レンズ11と撮影者の眼球15との距離が算出され、さらには該接眼レンズ11と撮影者の眼球15との距離からCCD−EYEに投影された眼球像の結像倍率βが算出される(S213)。
【0172】
次にキャリブレーションモードか否かを確認する(S214)。キャリブレーションモードであれば、図14で後述するデータ処理が行われ、キャリブレーションモードで無ければ、眼球の光軸の回転角θx、θyを算出する(S215)。
【0173】
眼球15の光軸の回転角θx、θyは(3)(4)式を修正して
θx≒ARCSIN{((xp0−δx)−xic)/β/Loc}・・(6)
θy≒ARCSIN{((yp0−δy)−yic)/β/Loc}・・(7)
と表わされる。
【0174】
但し、xp0,yp0は、前述の図10のプルキニエ像の配置状態により、算出方法が異なる。
【0175】
例えば、図10の2P像状態であれば、図22(a)のプルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)の中点P0の座標を(xpo,ypo)として用いる。3P像状態であれば、xp0をプルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)のX座標の中点とし、yp0をプルキンエ像P2(Xd′,Yd′)、P4(Xd″,Yd″)、または、プルキンエ像P1(Xe′,Ye′),P3(Xe″,Ye″)のY座標の中点をとする。4P像状態であれば、プルキンエ像P1(Xe′,Ye′)、P2(Xd′,Yd′)、P3(Xe″,Ye″)、P4(Xd″,Yd″)の中点P0の座標を(xpo,ypo)として用いる。
【0176】
δx、δyは、(10)、(10)″、(11)式での二つのプルキンエ像の中心位置を補正する補正項である。
【0177】
δxは、(10)式で求めるが、δyは2P像状態であれば(11)式で求め、3P像状態と4P像状態であれば、(10)″式で求める。δyの求め方の差は、δxと同様に扱える、Y方向に直接演算可能なypoが存在するか否かである。
【0178】
例えば、図10の2P像状態であれば、図22(a)のプルキンエ像P1(Xd′,Yd′)、P2(Xe′,Ye′)の中点P0の座標を(xpo,ypo)として用いる。
【0179】
3P像状態であれば、プルキンエ像P1(Xd′,Yd′)、P2(Xe′,Ye′)のX座標の中点をxp0とし、Y方向はプルキンエ像P1(Xd′,Yd′)、P3(Xd″,Yd″)、または、プルキンエ像P2(Xe′,Ye′)、P4(Xe″,Ye″)のY座標の中点をxp0とする。4P像状態であれば、プルキンエ像P1(Xd′,Yd′)),P2(Xe′,Ye′),P3(Xd″,Yd″),P4(Xe″,Ye″)の中点P0の座標を(xpo,ypo)として用いる。
【0180】
この様に、眼球の光軸の回転角θx、θyを算出する上でも、プルキンエ像状態判別(S211)が必要であることが判る。
【0181】
撮影者の眼球の回転角θx、θyが求まると、ピント板7上での視線の位置(x,y)は、(5)(6)式より
x[mm]=m×ax×(θx+bx)・・・・(5)
y[mm]=m×ay×(θy+by)・・・・(6)
と求まる(S216)。但し、ax,ay,bx,byは視線の個人差を補正するためのパラメータで、ax,ayはキャリブレーションデータである。
【0182】
本実施例では、図10の如く、前記の眼球の光軸の回転角θx、θyの算出方法に合わせて、3P像以上キャリブレーションデータと2P像キャリブレーションデータの2つが用いられている。ここでも、プルキンエ像状態判別(S211)が必要であることが判る。
【0183】
ここで水平方向(x方向)と垂直方向(y方向)の眼球の光軸と視軸との補正量に相当するbx,byは、
bx=kx×(rp−rx)+b0x・・・・(15)
by=ky×(rp−rx)+b0y・・・・(16)
と表わされ、瞳孔径rpの関数である。ここでrxは定数で、kx,ky,b0x,b0yはキャリブレーションデータである。
【0184】
ピント板7上での視線の位置(x,y)が求められる(S216a)と、次に、図15で後述するキャリブレーションデータにある眼球回転角のバラツキである(σθx、σθy)より、ピント板7上座標に変換した(σx、σy)から、ピント板7上での視線の位置(x,y)を中心とした注視点領域が求められる(S216b)。
【0185】
まず、(5)(6)式を用いたバラツキ範囲σx、σyを下式より求める。
σx[mm]=m×ax×(σθx+bx)・・・・(5)′
σy[mm]=m×ay×(σθy+by)・・・・(6)′
次に、ピント板7上での視線の位置(x,y)を中心として、短軸、長軸半径をσx、σyとした楕円領域を決定する。この領域を注視点領域とする(S216b)。
【0186】
ここでも例えば、短軸、長軸半径をσx、σyは、視線検出時、図10の2P像状態であれば、σx2p、σy2pを、3P像状態であれば、σx3p、σy3pを、4P像状態であれば、σx4p、σy4pを用いる。
【0187】
この様に、注視点領域を算出する上でも、プルキンエ像状態判別(S211)が必要であることが判る。
【0188】
この視線のキャリブレーションデータを求める方法は後述する。
【0189】
ピント板7上の視線の座標と注視点領域が求まると、視線検出を1度行なったことを示すフラグをたてて(S217)、メインのルーチンに復帰する(S218)。
【0190】
又、図9に示した視線検出のフローチャートは視線のキャリブレーションモードにおいても有効である。S201において、キャリブレーションモードの中での視線検出であると判定すると次に今回の視線検出がキャリブレーションモードの中での最初の視線検出であるか否かの判定を行なう(S220)。
【0191】
今回の視線検出がキャリブレーションモードの中での最初の視線検出であると判定されると、CCD−EYEの蓄積時間およびIREDの照明パワーを設定するために周囲の明るさの測定が行なわれる(S203)。これ以降の動作は前述の通りである。
【0192】
又、今回の視線検出がキャリブレーションモードの中で2回目以上の視線検出であると判定されると(S201)、CCD−EYEの蓄積時間およびIREDの照明パワーは前回の値が採用され直ちにIREDの点灯とCCD−EYEの蓄積が開始される(S206)。
【0193】
又、視線のキャリブレーションモードでかつ視線検出回数が2回目以上の場合は(S207)、CCD−EYEの読みだし領域は前回と同じ領域が用いられるためCCD−EYEの蓄積終了とともに直ちにCCD−EYEの読みだしが実行される(S209)。これ以降の動作は前述の通りである。
【0194】
尚、図9に示した視線検出のフローチャートにおいてメインのルーチンに復帰する際の変数は、通常の視線検出の場合視線のピント板上の座標(x,y)と、これを中心とする前記注視点領域であるが、視線のキャリブレーションモードの中での視線検出の場合は撮影者の眼球光軸の回転角(θx,θy)である。又、他の変数である検出結果の信頼性、CCD−EYE蓄積時間、CCD−EYE読みだし領域等は共通である。
【0195】
又、本実施例においてCCD−EYEの蓄積時間およびIREDの照明パワーを設定するために、カメラの測光センサー10にて検出された測光情報を利用している。
【0196】
図12〜図15は視線のキャリブレーションのフローチャート、図17〜図19は視線のキャリブレーション時のファインダー内LCD308とモニター用LCD202の表示状態を示したものである。
【0197】
本実施例においては、ファインダー視野内の図3の7個の焦点検出点マークの内、4つのの焦点検出点マーク305,301,306,307を視標1、視標2、視標3、視標4として、順次、1回注視してもらい、そのときの視線を検出することにより、視線のキャリブレーションを実行している。以下同図を用いて説明する。
【0198】
図12において、撮影者がモード釦45b、45cの同時押しすると、視線のキャリブレーションモードに設定され、信号入力回路104はCPU100を介してLCD駆動回路105に信号を送信し、ファインダー内LCD308では、図3(b)のシャッター秒時表示部813と絞り表示部814で、モニター用LCD202では、同様にシャッター秒時表示部802と絞り表示部803で、図17の後述する視線のキャリブレーションモードのいずれかに入ったことを示す表示を行なう(S218)。
【0199】
CPU100はEEPROM100aに記憶されたキャリブレーションデータ以外の変数をリセットする(S301)。
【0200】
図11はCPU100のEEPROM100aに記憶されるキャリブレーションデータの種類とその初期値を示したものである。一度もキャリブレーションが行われていないので、全て初期値である。キャリブレーションデータナンバー1〜5に対応したEEPROM100aのアドレス上にはそれぞれに、カメラ姿勢情報、眼鏡情報(眼鏡は「1」、裸眼は「0」)、3P像以上キャリブレーションデータと2P像キャリブレーションデータの2つのax,ay,kx,ky,b0x,b0yが記憶されている。(実施例においては説明のためにデータを5つ記憶できるようにしているが、もちろんEEPROMの容量によっていかようにも設定できる)。
【0201】
キャリブレーションデータの初期値は標準の眼球パラメータで視線が算出されるような値に設定されている。さらに撮影者が眼鏡を使用するか否か、そしてキャリブレーションデータの信頼性の程度を表わすフラグも有している。眼鏡の有無を表わすフラグの初期値は眼鏡を使用しているように「1」に設定され、又キャリブレーションデータの信頼性のフラグの初期値は信頼性が無いように「0」に設定されている。
【0202】
又、ファインダー内LCD308、モニター用LCD202には図17(a)に示すように現在設定されているキャリブレーションモードを表示する。そのほかの表示部はすべて消灯している(実施例としてキャリブレーションナンバー1の状態を示し、7セグメント表示部のみを拡大して示している)。
【0203】
この時、設定されたキャリブレーションナンバーのキャリブレーションデータが初期値の場合はモニター用LCD42に表示されたキャリブレーションナンバーが点滅し(図17(b)、一方設定されたキャリブレーションナンバーにおいて既にキャリブレーションが行われ、キョリブレーションナンバーに対応したEEPROMのアドレス上に初期値と異なるキャリブレーションナンバーが入っていればファインダー内LCD308、モニター用LCD202に表示されたキャリブレーションナンバーがフル点灯するようになっている(図17(a))。
【0204】
その結果、撮影者は現在設定されている各々のキャリブレーションナンバーに既にキャリブレーションデータが入っているかどうかを認識できるようになっている。又、図17(a)の様にキャリブレーションデータナンバーの初期値は「1」に設定されている。
【0205】
図12に戻り続いてCPU100に設定されたタイマーがスタートし視線のキャリブレーションを開始する(S302)。タイマースタート後所定の時間中にカメラに対して何の操作もなされなかったならば視線検出回路101は、ファインダー内に視線のキャリブレーション用の視標が点灯していれば消灯(S304)してメインにリターンされる(S338)。
【0206】
撮影者が電子ダイヤル205を回転させると、前述のようにパルス信号によってその回転を検知した信号入力回路104はCPU100を介してLCD駆動回路105に信号を送信する。その結果電子ダイヤル205の回転に同期して、ファインダー内LCD308、モニター用LCD202に表示されたキャリブレーションナンバーが変化する。この様子を図18に示す。
【0207】
まず電子ダイヤル205を時計方向に回転させると「CAL−1」→「CAL−2」→「CAL−3」→「CAL−4」→「CAL−5」と変化し、後述のキャリブレーション操作で撮影者は希望する5つのキャリブレーションナンバーのいずれかにキャリブレーションデータを記憶させることができる。
【0208】
そして図18に示した状態は「CAL−1,2,3」にはすでにキャリブレーションデータが入っており、「CAL−4,5」には入っておらず初期値のままであることを表わしている。反時計方向に回転させた場合は図18の方向と正反対に表示する。
【0209】
このようにしてファインダー内LCD308、モニター用LCD202に表示されるキャリブレーションナンバーを見ながら撮影者が所望のキャリブレーションナンバーを選択したら、視線検出回路101はこれに対応するキャリブレーションデータナンバーの確認を信号入力回路104を介して行なう(S303)。確認されたキャリブレーションデータナンバーはCPU100のEEPROM100aの所定のアドレス上に記憶される。
【0210】
但し、確認されたキャリブレーションデータナンバーが変更されていなければEEPROM100aへのキャリブレーションデータナンバーの記憶は実行されない。
【0211】
続いて視線検出回路101は信号入力回路104を介して撮影モードの確認を行なう(S304)。撮影者が操作部材の操作で、視線のキャリブレーションモード以外の撮影モードに切り換えていることが確認されたら、ファインダー内に視線のキャリブレーション用の視標が点滅していれば、それを消灯させて(S305)メインのルーチンであるカメラの撮影動作に復帰する(S348)。そしてキャリブレーションナンバー「CAL1〜5」が表示されている状態で他の撮影モード(シャッター優先AE)に切り換えれば、そのキャリブレーションナンバーのデータを用いて視線検出を行ない、前述の視線情報を用いた撮影動作が行なえるようになっている。この時、ファインダー内LCD308、モニター用LCD202は、撮影モード表示以外に、図3(a)(b)の視線入力モード表示817、801を点灯させて、視線情報をもとに撮影動作を制御している視線入力モード(視線撮影モード)であることを撮影者に知らせている。
【0212】
ここで再度、撮影者がモード釦45b、45cの同時押しすると、視線のキャリブレーションモードに設定され、前述の視線検出に用いているキャリブレーションナンバーが表示され、キャリブレーション動作がスタートする。
【0213】
視線のキャリブレーションモードに設定されたままであることが確認されると、電子ダイヤル205にて設定されたキャリブレーションデータナンバーの確認を再度行ない(S304)、引続きCPU100は信号入力回路104を介してカメラの姿勢を検知する(S305)。信号入力回路104は姿勢検知装置27の出力信号を処理してカメラが正位置であるか縦位置であるか、又縦位置である場合は例えばグリップが天方向(上)にあるか地面方向(下)にあるかを判断する。
【0214】
カメラの姿勢が正位置であることが検知されると(S306)、視線検出回路101は視線検出回数nを0に設定する(S307)。但し視線検出回数nが40回の時はその回数を保持する。この時ファインダー内LCD308において、「CAL」表示が点滅していたらその点滅を中止する。視線のキャリブレーションはスイッチSW1をONにすることにより開始されるように設定されている。
【0215】
撮影者が視線のキャリブレーションを行なう準備が整う以前にカメラ側でキャリブレーションを開始するのを防ぐために、視線検出回路101はスイッチSW1の状態の確認を行いスイッチSW1がレリーズ釦201によって押されていてON状態であればスイッチSW1がOFF状態になるまで待機する(S308)。
【0216】
視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態であることを確認すると(S308)、視線検出回路101はLED駆動回路106に信号を送信して視線のキャリブレーション用の視標1である焦点検出点マーク305を点滅させる(S309)。(図16(A))。
【0217】
視線のキャリブレーションの開始のトリガー信号であるスイッチSW1のON信号が入ってなければカメラは待機する(S310)。又、点滅を開始した視標1を撮影者が注視しレリーズ釦201を押してスイッチSW1をONしたら(S310)視線検出が実行される(図13、S311)。
【0218】
次に視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy,瞳孔径rp及び各データの信頼性を記憶する(S312)。
【0219】
視線検出の動作は図11のフローチャートで説明した通りであるが、図9のキャリブレーションモードか否か(S214)の部分で異なり、キャリブレーションモードであれば、図14に示すフローチャートに進み、瞳孔径rp及び各データの信頼性を記憶する部分は、同様であるが、この眼球の回転角θx,θyを演算、記憶するフローチャートで通常の視線検出と異なる。
【0220】
ここで、図14のフローチャートを用いて、キャリブレーションモードでの眼球の回転角θx,θyを演算、記憶(S312)を説明する。
【0221】
図9のキャリブレーションモードが確認される(S214)と、プルキンエ像の数とその配置をプルキンエ像状態判別(S211)の結果であるプルキンエ像(P像)数の確認が行われる(S402)。
【0222】
P像数が4つ、即ち4P像状態であれば、前述の如く、回転角θx,θyは、プルキンエ像P1、P2、P3、P4から、θ4px、θ4pyとして算出され(S406)、θ4px、θ4pyが所定範囲にあるかの確認が行われ(S406a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの4P像状態の視標1に対応する部分のアドレスに記憶される(S407)。θ4px、θ4pyが所定範囲外であれば、視標を注視していないとして、眼球の回転角として、不適切であるとして、EEPROM100aに記憶されない。更に、プルキンエ像P1、P2から、θ2px、θ2pyとして算出され(S410)、θ2px、θ2pyが所定範囲にあるかの確認が行われ(S406a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの2P像状態の視標1に対応する部分のアドレスに記憶される(S411)。所定範囲外であれば、EEPROM100aに記憶されない。
【0223】
P像数が3つ、即ち3P像状態であれば、前述の如く、回転角θx,θyは、プルキンエ像P1、P2、P3、またはP4から、θ3px、θ3pyとして算出され(S408)、θ3px、θ3pyが所定範囲にあるかの確認が行われ(S408a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの3P像状態の視標1に対応する部分のアドレスに記憶される(S409)。更に、プルキンエ像P1、P2から、θ2px、θ2pyとして算出され(S410)、θ2px、θ2pyが所定範囲にあるかの確認が行われ(S406a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの2P像状態の視標1に対応する部分のアドレスに記憶される(S411)。所定範囲外であれば、眼球の回転角として、不適切であるとして、EEPROM100aに記憶されない。
【0224】
このように、キャリブレーションモードでは、P像数が3つ以上、即ち4P像状態、3P像状態であれば、1回の視線検出結果から、2P像状態のキャリブレーションデータをも算出し、記憶している。
【0225】
P像数が2つ、即ち2P像状態であれば、プルキンエ像P1、P2から、θ2px、θ2pyとして算出され(S410)、θ2px、θ2pyが所定範囲にあるかの確認が行われ(S410a)、所定範囲内の値であれば、EEPROM100aのキャリブレーションデータの2P像状態の視標1に対応する部分のアドレスに記憶される(S411)。
【0226】
ここでは、視標1点滅(S309)の状態であるので、視標1のアドレスに記憶したが、点滅する視標に応じて、記憶されるアドレスが設けてある。
【0227】
再び、図13に戻り、眼球の回転角θx,θy,瞳孔径rp及び各データの信頼性を記憶する(S312)と、更に視線検出回数nをカウントアップする(S313)。撮影者の視線は多少ばらつきがあるため正確な視線のキャリブレーションデータを得るためには1点の視標に対して複数回の視線検出を実行してその平均値を利用するのが有効である。
【0228】
本実施例においては1点の視標に対する視線検出回数は10回と設定されている。視線検出回数nが10回でなければ(S314)視線検出が続行される(S311)。
【0229】
視線検出回数nが10回であれば視標1(焦点検出点マーク305)に対する視線検出を終了し、視標1に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる(S315)。同時に視線検出回路101はLED駆動回路106を介して視標1を所定の時間フル点灯させ、撮影者に視標1でのキャリブレーションデータ採取終了を知らせる(S315)。
【0230】
引続き視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態になっているかどうかの確認を行なう(S318)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば視標1が消灯しそれと同時に左端の視標2(焦点検出点マーク301)が点滅を開始する(S317)(図16(b))。
【0231】
視線検出回路101は再度信号入力回路104を介してスイッチSW1がON状態になっているかどうかの確認を行なう(S318)。スイッチSW1がOFF状態であればONされるまで待機し、スイッチSW1がONされたら視線検出を実行する(S319)。
【0232】
視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy、瞳孔径rp及び各データの信頼性を記憶する(S320)。ここでも図14のフローチャートを用いて行われ、EEPROM100aの視標2のアドレスに記憶される。
【0233】
更に視線検出回数nをカウントアップする(S321)。更に視線検出回数nが20回でなければ(S322)視線検出が続行される(S319)。視線検出回数nが20回であれば視標2に対する視線検出を終了するし、視標2に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標2をフル点灯させ、撮影者に視標2でのキャリブレーションデータ採取終了を知らせる(S323)。
【0234】
引続き視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態になっているかどうかの確認を行なう(S324)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば視標2が消灯し、それと同時に上端の視標3(焦点検出点マーク306)が点滅を開始する(S325)(図16(C))。
【0235】
視線検出回路101は再度信号入力回路104を介してスイッチSW1がON状態になっているかどうかの確認を行なう(S326)。スイッチSW1がOFF状態であればONされるまで待機し、スイッチSW1がONされたら視線検出を実行する(S327)。
【0236】
視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy、瞳孔径rp及び各データの信頼性を記憶する(S328)。ここでも図14のフローチャートを用いて行われ、EEPROM100aの視標3のアドレスに記憶される。
【0237】
更に視線検出回数nをカウントアップする(S329)。更に視線検出回数nが30回でなければ(S330)視線検出が続行される(S327)。視線検出回数nが30回であれば視標3に対する視線検出を終了するし、視標3に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標3をフル点灯させ、撮影者に視標3でのキャリブレーションデータ採取終了を知らせる(S331)。
【0238】
引続き視線検出回路101は信号入力回路104を介してスイッチSW1がOFF状態になっているかどうかの確認を行なう(S332)。スイッチSW1がON状態であればOFF状態になるまで待機し、スイッチSW1がOFF状態であれば視標3が消灯し、それと同時に下端の視標4(焦点検出点マーク306)が点滅を開始する(S333)(図16(d))。
【0239】
視線検出回路101は再度信号入力回路104を介してスイッチSW1がON状態になっているかどうかの確認を行なう(S334)。スイッチSW1がOFF状態であればONされるまで待機し、スイッチSW1がONされたら視線検出を実行する(S335)。
【0240】
視線検出回路101は視線検出のサブルーチンからの変数である眼球の回転角θx,θy、瞳孔径rp及び各データの信頼性を記憶する(S336)。ここでも図14のフローチャートを用いて行われ、EEPROM100aの視標4のアドレスに記憶される。
【0241】
更に視線検出回数nをカウントアップする(S337)。更に視線検出回数nが40回でなければ(S338)視線検出が続行される(S335)。視線検出回数nが40回であれば視標4に対する視線検出を終了するし、視標4に対する視線検出が終了したことを撮影者に認識させるために視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を数回鳴らさせる。同時に視線検出回路101はLED駆動回路106を介して視標4をフル点灯させ、撮影者に視標4でのキャリブレーションデータ採取終了を知らせる(S339)。これで視標1、視標2、視標3、視標4に対して視線検出が行なわれたなので、視線のキャリブレーションデータを求めるための視線検出は終了する。
【0242】
更に視線検出回路101に記憶された眼球の回転角θx,θy、瞳孔径rpより視線のキャリブレーションデータが算出される(S345)。視線のキャリブレーションデータの算出方法の概略は、以下の通りである。
【0243】
ピント板7上の視標1、視標2、視標3、視標4の座標をそれぞれ(x1,0),(x2,0),(0,y3),(0,y4)、EEPROM100aに記憶された視標1、視標2、視標3、視標4を注視したときの眼球の回転角(θx,θy)の平均値を(θx1,θy1),(θx2,θy2),(θx3,θy3),(θx4,θy4)とする。また、瞳孔径の平均値をr1,r2,r3,r4とする。
【0244】
X方向のキャリブレーションデータを求めるにあたっては、視標1、視標2のデータを用い、式(6)、(16)より、Y方向のキャリブレーションデータを求めるにあたっては、視標3、視標4のデータを用いる。
【0245】
そこで、瞳孔径の平均値のr1,r2の加重平均をrpx、瞳孔径の平均値のr3,r4の加重平均をrpyとすることで、ax,ay,kx,ky,b0x,b0Yのキャリブレーションデータが求まる。
【0246】
例えば、rpx,rpy≧rpの時、kx,ky=0と設定してされており、
・ax=(x1−x2)/m/(θx1−θx2)
・b0x=−(θx1+θx2)/2
・ay=(y3−y4)/m/(θy3−θy4)
・b0y=−(θy3+θy4)/2
前述の如く、(θx1,θy1),(θx2,θy2),(θx3,θy3),(θx4,θy4)それぞれには、4P像状態での(θ4px,θ4py)の平均値、3P像状態での(θ3px,θ3py)の平均値、2P像状態での(θ2px,θ2py)の平均値が存在し、4P像キャリブレーションデータと3P像キャリブレーションデータと2P像キャリブレーションデータの3つのキャリブレーション値算出(S340)について、図15のフローチャートで説明する。
【0247】
まず、EEPROM100aに記憶、蓄積された視標1〜4の2P像状態での(θ2px,θ2py)のデータ数を確認する(S501)。10回の視線検出を行って、所定範囲内(410a)にある2P像状態での(θ2px,θ2py)のデータが6以下であれば、キャリブレーションデータを算出しても信頼性が無いとして、再度、キャリブレーションを行う。(θ2px,θ2py)のデータが7以上であれば、キャリブレーションデータの信頼性があるとして、2P像のキャリブレーションデータの算出が行われる(S504c)。
【0248】
次に、(θ2px,θ2py)のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθ2px,σθ2py)を求め、前記のax,ay,kx,ky,b0x,b0Yより、ピント板7の座標に換算した(σx2px,σy2py)を求め、EEPROM100aの所定のアドレスに記憶する(S505c)。
【0249】
次に、EEPROM100aに記憶、蓄積された視標1〜4の3P像状態での(θ3px,θ3py)のデータ数を確認する(S502)。(θ3px,θ3py)のデータ数が5以上であれば、キャリブレーションデータの信頼性があるとして、3P像のキャリブレーションデータの算出が行われる(S504b)。
【0250】
次に、(θ3px,θ3py)のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθ3px,σθ3py)を求め、前記計算からのax,ay,kx,ky,b0x,b0Yより、ピント板7の座標に換算した(σx3px,σy3py)を求め、EEPROM100aの所定のアドレスに記憶する(S505b)。
【0251】
(θ3px,θ3py)のデータ数が4以下であれば、3P像のキャリブレーションデータの算出の信頼性が無く、2P像状態のキャリブレーションデータの算出のみが行われる(S504c)。
【0252】
次にEEPROM100aに記憶、蓄積された視標1〜4の4P像状態での(θ4px,θ4py)のデータ数を確認する(S503)。(θ4px,θ4py)のデータ数が3以上であれば、キャリブレーションデータの信頼性があるとして、4P像のキャリブレーションデータの算出が行われる(S504a)。
【0253】
次に、(θ4px,θ4py)のデータから、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθ4px,σθ4py)を求め、前記計算からのax,ay,kx,ky,b0x,b0Yより、ピント板7の座標に換算した(σx4px,σy4py)を求め、EEPROM100aの所定のアドレスに記憶する(S505a)。
【0254】
(θ4px,θ4py)のデータ数が2以下であれば、4P像のキャリブレーションデータの算出の信頼性が無く、3P像状態、2P像状態のキャリブレーションデータの算出のみが行われる(S504b、S504c)。
【0255】
ここで、(θx1,θy1),(θx2,θy2),(θx3,θy3),(θx4,θy4)から、前記のキャリブレーションデータを求める際、4P像状態での(θ4px,θ4py)の平均値、3P像状態での(θ3px,θ3py)の平均値から、前記計算に基づき、ax,ay,kx,ky,b0x,b0Yのキャリブレーションデータが求められる(S503a、S503b、S503c)。
【0256】
また、眼球回転角のバラツキとして、各P像数状態の標準偏差(σθx,σθy)は、絶対値及び、σθxとσθyとの量的関係は、観察者の個人差があるが、同一観察者では、次の一般的傾向がある。
【0257】
x方向のσθxについては、σθ4px:θ3px:σθ2px≒1.0:1.1:1.1
y方向のσθyについては、σθ4py:θ3py:σθ2py≒1.0:1.2:1.6
ここで、y方向のσθ2pyが大きいのは、y方向のP像が得られない為である。
【0258】
この様に、1回のキャリブレーションデータ算出で、観察者の個人の眼球回転角のバラツキを含んだ、4P像のキャリブレーションデータ、3P像のキャリブレーションデータと2P像状態のキャリブレーションデータの3つが算出される。
【0259】
再び、図13に戻り、視線のキャリブレーションデータ算出(S340)後、あるいは視線検出の終了後にタイマーがリセットされる(S341)。
【0260】
又、キャリブレーションデータの信頼性の判定手段を兼ねた視線検出回路101は算出された視線のキャリブレーションデータが適正かどうかの判定を行なう(S342)。
【0261】
算出された視線のキャリブレーションデータが一般的な個人差の範囲に入っていれば適正と判定し、一方算出された視線のキャリブレーションデータが一般的な個人差の範囲から大きく逸脱していれば算出された視線のキャリブレーションデータは不適性と判定する。
【0262】
算出された視線のキャリブレーションデータが不適性と判定されると(S349)、LED駆動回路106はスーパーインポーズ用LEDへの通電を止めて視標4を消灯する(S349)。更に視線検出回路101はCPU100を介して図示されていない発音体を用いて電子音を所定時間鳴らし視線のキャリブレーションが失敗したことを警告する。同時にLCD駆動回路105に信号を送信しファインダー内LCD308及びモニター用LCD202に「CAL」表示を点滅させて警告する(S350)(図17(c))。
【0263】
発音体による警告音とLCD308,202による警告表示を所定時間行なった後キャリブレーションルーチンの初期ステップ(S301)に移行し再度視線のキャリブレーションを実行できる状態に設定される。
【0264】
又、算出された視線のキャリブレーションデータが適正であれば(S342)、視線検出回路101はLCD駆動回路105、LED駆動回路106を介して視線のキャリブレーションの終了表示を行なう(S343)。LCD駆動回路105はファインダー内LCD308及びモニター用LCD202に信号を送信して、「End−キャリブレーションNo」の表示を所定時間実行するようになっている(図19(b))。
【0265】
視線検出回路101は視線検出回数nを1に設定し(S344)、更に算出された視線のキャリブレーションデータを現在設定されているキャリブレーションデータナンバーに相当するEEPROMのアドレス上に記憶する(S345)。この時記憶を行なおうとするEEPROMのアドレス上に既に視線のキャリブレーションデータが記憶されている場合はキャリブレーションデータの更新を行なう。
【0266】
一連の視線のキャリブレーション終了後、カメラは撮影者によって電子ダイヤル205か、あるいはモード釦204a204b、204cが操作されるまで待機する。撮影者が電子ダイヤル205を回転させて他のキャリブレーションナンバーを選択したならば、視線検出回路101は信号入力回路104を介してキャリブレーションナンバーの変更を検知し(S346)、視線のキャリブレーションルーチンの初期ステップ(S301)に移行する。
【0267】
又、撮影者がモード釦204a204b、204cを操作させて、他の撮影モードを選択したならば、視線検出回路101は信号入力回路104を介して撮影モードの変更を検知し(S347)メインのルーチンに復帰する(S348)。尚、本実施例においては1点の視標を注視しているときの視線検出回数を10回にして視線のキャリブレーションを行なった例を示したが10回以上の回数で行なっても構わない。
【0268】
図7(b)、図7(c)、図7(d)で、図5の焦点検出点選択(S107)について、視線検出(S106)で求められた注視点座標(x、y)と注視点領域309を用いて説明する。
【0269】
いずれも、注視点座標(x、y)を(0,0)の中央点とする。
【0270】
図7(b)は、視線検出時、4P像状態の説明図である。
【0271】
撮影者の眼球を4つのIREDで照明すると、4つのプルキンエ像が得られることで、y方向の精度は、x方向の精度と同等になることで、注視点を(0,0)が決定される。
【0272】
前記の同一観察者の一般的傾向から、注視点を(0,0)を中心として、最も量的に小さいσx4p、σy4pを、短軸、長軸半径として、注視点領域309aが決定される。注視点領域309aを内包する注視点エリアC・Cに含まれる焦点検出点303のみにて、焦点検出点303が選択され(S107)、表示される(S108)。
【0273】
図7(c)は、視線検出時、3P像状態の説明図である。
【0274】
撮影者の上瞼、睫毛で、照明光源が遮られ、IREDに対応したプルキンエ像が得られるわけでは無い場合でも、前記3つのプルキンエ像が得られれば、y方向の精度は、ほぼx方向の精度と同等になることで、注視点を(0,0)が決定される。
【0275】
注視点を(0,0)を中心として、短軸、長軸半径をσx3p、σy3pとして、注視点領域309bが決定される。前記の同一観察者の一般的傾向から、量的には共にσx3p、σy3pは、σx4p、σy4pより大きく、注視点領域309bを内包する注視点エリアは、注視点エリアC・U、注視点エリアC・C、注視点エリアC・Dと成る。前記注視点エリア群に含まれる焦点検出点は、焦点検出点303、306、307の3つとなり、焦点検出点303、306、307の焦点検出情報から、被写体が近距離優先で少なくとも1つが選択され(S107)、表示される(S108)。
【0276】
図7(d)は、視線検出時、2P像状態の説明図である。
【0277】
下側2つのプルキンエ像しか得られ無い場合でも、2つのプルキンエ像に応じたキャリブレーションデータにて、注視点を(0,0)が決定される。
【0278】
注視点を(0,0)を中心として、短軸、長軸半径をσx2p、σy2pとして、注視点領域309dが決定される。σx2p、σy2pは、σx4p、σy4pより大きく、特にσy2pは、個人差に依らず、y方向のP像が得られない為、精度が得られないので、大きい。注視点領域309bを内包する注視点エリアは、注視点エリアC・U、注視点エリアC・C、注視点エリアC・Dと変わらず、前記注視点エリア群に含まれる焦点検出点は、焦点検出点303、306、307の3つとなり、焦点検出点303、306、307の焦点検出情報から、被写体が近距離優先で少なくとも1つが選択され(S107)、表示される(S108)。
【0279】
図7(e)は、本実施例の変形で、視線検出時、3P像状態の説明図である。
【0280】
注視点を(0,0)を中心として、短軸、長軸半径をσx3p、σy3pとして、注視点領域309bが決定される部分は、前記実施例と変わらないが、前記実施例の注視点エリアは存在せず、選択される焦点検出点は、注視点領域309bに焦点検出点の座標が含まれるか否かで決定される。注視点領域309aに内包される焦点検出点は、焦点検出点303のみにて、焦点検出点303が選択され(S107)、表示される(S108)。注視点エリアを用いない為、焦点検出点の選択がより迅速となる。
【0281】
本実施例と本実施例の変形において、各P像数状態の標準偏差(σθx,σθy)に所定の係数をかけ、注視点領域の範囲を調整することも可能である。
【0282】
(実施例の特有の効果)
本実施例では、特開平xx−xxxxxで公知の視線検出精度を高める為、撮影者の視線検出を行う際、撮影者の眼球を4つのIREDで照明する場合、原理的には、図24のIREDの虚像である4つのプルキンエ像が得られることになっているが、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られ、IREDに対応したプルキンエ像が得られるわけでは無い場合でも、図10のプルキンエ像の数と配置の状態を判別(図9 S211)して、予め前記状態に応じたキャリブレーションデータである4P像キャリブレーションデータと3P像キャリブレーションデータと2P像キャリブレーションデータの3つを用意し、選択使用することで、視線検出精度の向上を可能としている(図9 S215、S216a)。
【0283】
更に、前記視線検出結果である注視点位置を中心として、同様に図10のプルキンエ像の数と配置の状態を判別(図9 S211)を利用して、各P像数状態に対応した眼球回転角のバラツキとしての標準偏差(σθx,σθy)を、ピント板7の座標に変換した(σx,σy)を短軸、長軸とした楕円領域を注視点領域として求めること(図9 S216b)で、4つのプルキンエ像が得られる場合はもとより、観察条件、個人差によって、観察者の上瞼、睫毛で、照明光源が遮られ、IREDに対応したプルキンエ像が得られるわけでは無い場合でも、観察者が注視しているであろう注視点領域に反映させることを可能とした。
【0284】
前記観察者が注視しているであろう注視点領域に関連する焦点検出点(図7b303、図7c、図d 303、306、307)、実施例の変形では、注視点領域に含まれる焦点検出点(図7e 303)が選択され、所定のデフォーカス処理がされて、少なくとも1つの焦点検出点が選択され、焦点検出(図5 S110)され、レンズ駆動(S113)をふくめた合焦動作が行われることで、観察者が注視している焦点検出点を選択可能としている。
【0285】
また、図10の16通りのプルキンエ像の数と配置の状態から、プルキンエ像の存在確率と視線検出演算精度の2つから、下側2つのP像を基準とした4通りの前記状態の判別に簡略化することにより、視線検出演算、即ち視線検出速度のの迅速化を計っている。
【0286】
次に、キャリブレーションデータの取得である4つの視標1〜4を各10回の視線検出で行われるキャリブレーションにおいても、図10のプルキンエ像の数と配置の状態を判別(図9 S211)して、図14の如く、眼球光軸の回転角、θx、θyの算出に於いて、プルキンエ像数が4つである場合には、4つのプルキンエ像から(θ4px,θ4py)と下側2つから(θ2px,θ2py)を、3つである場合には、3つのプルキンエ像から(θ3px,θ3py)と下側2つから(θ2px,θ2py)を、2つである場合には、プルキンエ像数が下側2つから(θ2px,θ2py)を、一回の視線検出で得られた情報から、図10のプルキンエ像の数と配置の状態に応じた眼球光軸の回転角θx、θyの算出を同時に行い、それぞれをEEPROM100aのアドレスに記憶し、
図15の如く、キャリブレーションデータの採取が終わった時点で、それぞれのアドレスに記憶された(θ4px,θ4py)、(θ3px,θ3py)と、(θ2px,θ2py)の平均値から、個人の眼球回転角の補正係数ax,ay,kx,ky,b0x,b0Yを、4P像のキャリブレーションデータ、3P像のキャリブレーションデータと2P像キャリブレーションデータの3つを算出している(S504a、S504b、S504c)。その後、観察者の個人特性でもある眼球回転角のバラツキとして、標準偏差(σθx,σθy)から(σx,σy)を求めている。具体的には、同様に、(σx4p,σy4p)、(σx3p,σy3p)、(σx2p,σy2p)の4P像のキャリブレーションデータ、3P像のキャリブレーションデータと2P像キャリブレーションデータの3つを算出している(S505a、S505b、S505c)。
【0287】
このことにより、観察者は、個人の眼球回転角の補正係数ax,ay,kx,ky,b0x,b0Yと、眼球回転角のバラツキとしての(σx,σy)の2つのキャリブレーションデータを得るために、新たなキャリブレーションデータ取得動作、操作を行う事無く、従来のキャリブレーション動作と全く同じ1回のキャリブレーションデータ取得動作で、視線検出精度向上のためのキャリブレーションデータと眼球回転角のバラツキのキャリブレーションデータの2つを、4P像、3P像、2P像の3つのP像状態毎で、取得可能としている。
【0288】
図15で、それぞれのアドレスに記憶された(θ4px,θ4py)、(θ3px,θ3py)と、(θ2px,θ2py)のデータ数を確認することで、信頼性の無いキャリブレーションデータを算出しない効果を得ている。
【0289】
以上の効果を、観察者が、キャリブレーションさえを行えば、どの観察者にも与えること可能とした。
【0290】
【発明の効果】
請求項1においては、観察者の視線検出を行う際、視線補正手段で得られた補正データと観察者の眼球回転角のバラツキを予め取得し、観察者の視線検出をした上で、それを中心とする前記観察者の観察しているであろうとする注視点領域を決定することを可能としている。
【0291】
これは、観察者の眼球回転角のバラツキを含んだ個人特性を考慮した注視点領域を決定可能としている。
【0292】
そして、観察者が選択しようとしている焦点検出点の選択を可能としている。
【0293】
請求項2においては、観察者の視線検出を行う際、複数の照明光源より、撮影者の眼球の前眼部へ投射し、撮影者の眼球画像の状態である角膜反射像(プルキンエ像、P像)の角膜反射像数とその配置状態に応じたキャリブレーションデータ、即ち視線補正手段で得られた補正データと観察者の眼球回転角のバラツキを予め取得し、角膜反射像数とその配置状態を判断手段で判断し、前記補正データと観察者の眼球回転角のバラツキデータを選択使用することで、観察者の視線検出時の角膜反射像数とその配置状態に応じた視線検出精度の向上を可能とした上で、それを中心とする前記観察者の観察しているであろうとする注視点領域を決定することを可能としている。
【0294】
これは、観察条件、観察者の眼球回転角のバラツキを含んだ個人特性を考慮した注視点領域を決定可能としている。
【0295】
そして、観察者が選択しようとしている焦点検出点の選択を可能としている。
【0296】
請求項1、2においては、焦点検出点の選択動作で、注視点領域に関連した焦点検出点のみに、デフォーカス量を計算するので、迅速に行うことが可能。
【0297】
請求項3においては、観察者の眼球回転角のバラツキを、通常のキャリブレーション取得動作1回で、補正データと同時に行え、あらためて、取得動作を行う必要が無い。
【0298】
請求項4においては、観察者に新たな視線補正手段の取得動作、操作を行わせる事無く、一回の視線補正手段の取得動作で、角膜反射像数とその配置状態に応じた複数のキャリブレーションデータ、即ち視線補正手段で得られた補正データを取得すること可能とした。
【0299】
以上、特に、請求項2においては、複数の照明光源より観察画面内を覗く撮影者の眼球の前眼部へ投射し、角膜からの反射像と瞳孔結像位置より、前記撮影者の眼球光軸の回転角を検出し、前記回転角から観察者の視線を検出する視線検出手段において、視線検出精度の向上が計れる上に、観察者のあらゆる条件において、観察者の意図する焦点検出点の選択を迅速に行い、かつ、あらゆる観察者に、この効果を提供することを可能とした。
【図面の簡単な説明】
【図1】実施例のカメラ本体の要部概略図。
【図2】実施例のカメラ本体の外観図。
(a)実施例のカメラ本体の外観の上面図
(b)実施例のカメラ本体の外観の背面図
【図3】図1のファインダ視野内の表示状態の説明図である。
【図4】実施例の電気回路の要部ブロック図である。
【図5】実施例のカメラの作動シーケンス。
【図6】実施例の焦点検出点選択モード説明図。
【図7】(a)ファインダ視野内の注視点エリアの説明図である。
(b)焦点検出点選択とファインダ視野内の注視点エリアの関係説明図である。
(c)焦点検出点選択とファインダ視野内の注視点エリアと注視点領域の関係説明図。
(d)焦点検出点選択とファインダ視野内の注視点エリアと注視点領域の関係説明図。
(e)実施例の変形で、焦点検出点選択とファインダ視野内の注視点領域の関係説明図。
【図8】(a)実施例のカメラ本体の外部表示202の説明図である。
(b)ファインダ視野内の表示部308の説明図。
【図9】視線検出のフローチャート。
【図10】プルキンエ像の状態説明図。
【図11】キャリブレーションデータナンバーとキャリブレーションデータ説明図。
【図12】キャリブレーションのフローチャートその1。
【図13】キャリブレーションのフローチャートその2。
【図14】キャリブレーションでのθx、θy算出、データ記憶フローチャート。
【図15】キャリブレーションデータ算出のフローチャート。
【図16】(a)(b)(c)(d)キャリブレーションでの視標説明図。
【図17】キャリブレーションのファインダー内、外部表示説明その1。
【図18】キャリブレーションのファインダー内、外部表示説明その2。
【図19】キャリブレーションのファインダー内、外部表示説明その3。
【図20】従来の(IRED下側2つの)視線検出原理説明図。
【図21】(a)(b)眼球画像説明図。
【図22】(a)従来の眼球画像、プルキンエ像配置状態説明図。
(b)従来の視線検出原理説明図(x−z平面)。
(c)従来のIRED下側2つの視線検出原理説明図(y−z平面)。
【図23】(a)3つのIREDでの眼球画像、プルキンエ像配置状態説明図。
(b)3つのIREDでの視線検出原理説明図(y−z平面)。
【図24】4つのIREDでの眼球画像、プルキンエ像配置状態説明図。
【符号の説明】
7 ピント板
7a この微小プリズムアレイ
12 受光レンズ
13a〜13h 撮影者の眼15の照明光源(投光手段)
14 CCD等の光電素子列を2次元的に配したイメージセンサ
15 撮影者の眼
16 角膜
17 虹彩
101 視線検出回路
301,302,303,304,305,306,307 測距点マーク
200 本カメラ
300 ファインダー観察画面内
S211 プルキンエ像状態判別
S216b 注視点領域算出
S505a、S505b、S505c バラツキデータ算出
L3・T〜R3・B 注視点エリア
Claims (17)
- 複数の焦点検出点それぞれにおいてデフォーカス量を検出するデフォーカス量検出手段と、複数の照明光源より観察画面内を覗く観察者の眼球の前眼部へ投射し、角膜からの反射像と瞳孔結像位置より、前記観察者の眼球光軸の回転角を検出し、前記回転角から観察者の視線を検出する視線検出手段とを有する光学装置において、
予め前記使用者の眼球特性の個人差を補正する為に取得する視線補正手段(以下、キャリブレーション)と、
前記視線補正手段(キャリブレーション)からの前記観察者の眼球回転角を補正する補正係数の情報を得る手段と
前記視線補正手段(キャリブレーション)からの前記観察者の眼球回転角の偏差の情報を得る手段と、
前記観察者の視線を検出する際、
前記補正係数の情報から観察者の視線を検出し、前記視線検出位置を中心として、前記眼球回転角の偏差の情報から、前記観察者の視線検出領域を決定する手段と、
前記決定手段での視線検出領域に関連、または、含まれる前記複数の焦点検出点から得られる複数のデフォーカス量を基に所定の焦点検出点の選択処理を行い、少なくとも一つの焦点検出点を選択する焦点検出点選択手段とを有することを特徴とする光学装置。 - 複数の焦点検出点それぞれにおいてデフォーカス量を検出するデフォーカス量検出手段と
複数の照明光源より観察画面内を覗く観察者の眼球の前眼部へ投射し、角膜からの反射像と瞳孔結像位置より、前記観察者の眼球光軸の回転角を検出し、前記回転角から観察者の視線を検出する視線検出手段とを有する光学装置において、
予め前記使用者の眼球特性の個人差を補正する為に取得する視線補正手段(以下、キャリブレーション)と、
前記視線検出手段による視線検出時に、前記角膜からの反射像の数と配置状態を判別する判別手段と、
前記視線補正手段(キャリブレーション)は、前記前記角膜からの反射像の数と配置状態を判別する判別手段からの情報に応じて、
前記視線補正手段(キャリブレーション)からの前記観察者の眼球回転角を補正する補正係数の情報を得る手段と
前記視線補正手段(キャリブレーション)からの前記観察者の眼球回転角の偏差の情報を得る手段と、
観察者の視線を検出する際、前記前記角膜からの反射像の数と配置状態を判別する判別手段からの情報に基づいて、
前記補正係数の情報から観察者の視線を検出し、前記視線検出位置を中心として、前記眼球回転角の偏差の情報から、前記観察者の視線検出領域を決定する手段と、
前記決定手段での視線検出領域に関連、または、含まれる前記複数の焦点検出点から得られる複数のデフォーカス量を基に所定の焦点検出点の選択処理を行い、少なくとも一つの焦点検出点を選択する焦点検出点選択手段とを有することを特徴とする光学装置。 - 請求項1において、前記視線補正手段は、眼球の個人差による前記視線検出手段で得られる視線の検出誤差を補正する情報と、眼球回転角の偏差の情報の1回の取得動作で、前記観察者の眼球回転角を補正する補正係数の情報と前記観察者の眼球回転角の偏差の情報を得る為の演算し、記憶する記憶手段を有することを特徴とする請求項1記載の視線検出手段を有した光学装置。
- 請求項2において、前記視線補正手段は、眼球の個人差による前記視線検出手段で得られる視線の検出誤差を補正する情報と、眼球回転角の偏差の情報の1回の取得動作で、前記角膜反射像状態判断手段を用い、角膜からの反射像の数と配置状態に応じた、前記観察者の眼球回転角を補正する補正係数の情報と前記観察者の眼球回転角の偏差の情報を得る為の演算し、記憶する記憶手段を有することを特徴とする請求項2記載の視線検出手段を有した光学装置。
- 前記視線補正手段で得られる前記観察者の眼球回転角の偏差の情報は、前記視線検出手段で得られる視線の検出誤差を補正する情報と、同一の前記観察者の視線検出情報に、所定の処理を行うことを特徴とする請求項1、又は2記載の視線検出手段を有した光学装置。
- 前記複数の複数の照明光源は、2次元に配置された4つの照明光源であることを特徴とする請求項2記載の視線検出手段を有した光学装置。
- 状態と2次元に配置されている状態を判断することを特徴とする請求項2記載の視線検出手段を有した光学装置。前記角膜反射像状態判断手段は、少なくとも前記角膜反射像が、1次元に配置されている。
- 前記角膜からの反射像の数と配置状態の複数の状態が、同一の前記視線補正手段で得られた情報を用いることを特徴とする請求項2記載の視線検出手段を有した光学装置。
- 前記観察画面内には、複数の焦点検出点で、焦点検出が可能な焦点検出手段を有しており、前記機能の1つが該複数の焦点検出点からすくなくとも1つを選択することであることを特徴とする請求項1、又は2記載の視線検出手段を有した光学装置。
- 前記少なくとも一つの焦点検出点にて検出されるデフォーカス量に基づいて算出される信号により、焦点調節レンズのピント調整を行う焦点調節手段を有することを特徴とする請求項1〜9の何れかに記載の光学装置。
- 前記所定の焦点検出点の選択処理とは、光学装置に最も近い位置に存在する対象物を含む少なくとも一つの焦点検出点を選択する処理であることを特徴とする請求項1、または2に記載の光学装置。
- 前記複数の照明光源は、観察面の周辺において2次元方向に少なくとも3個具備されていることを特徴とする請求項1又は2記載の視線検出機能付き光学装置。
- 前記複数の照明光源は、観察面の下側に2個、上側に2個具備されていることを特徴とする請求項項1又は2記載の視線検出機能付き光学装置。
- 前記判別手段は、前記角膜からの反射像の数をカウントするカウント手段と、前記角膜からの反射像の配置状態を検出する配置状態検出手段とを有する特徴とする請求項項1又は2記載の視線検出機能付き光学装置。
- 前記配置状態検出手段は、前記角膜からの反射像が、1次元方向に配置されている状態か、2次元方向に配置されている状態かを判別することを特徴とする請求項14に記載の視線検出機能付き光学装置。
- 前記角膜からの反射像が1次元方向に配置されている状態とは、前記観察面の下側に具備された2個の照明光源それぞれに対応する前記角膜からの反射像が適正に得られている際の配置状態をいい、前記角膜からの反射像が2次元方向に配置されている状態とは、前記観察面の下側に具備された2個の照明光源それぞれに対応する前記角膜からの反射像と前記観察面の上側に2個具備された照明光源のうちの少なくとも1個に対応する前記角膜からの反射像が適正に得られている際の配置状態をいうことを特徴とする請求項15に記載の視線検出機能付き光学装置。
- 前記所定の関係にあるとは、前記角膜からの反射像の数が3以上で、その配置状態が2次元方向に配置された状態であることが判別されている場合をいうことを特徴とする請求項16に記載の視線検出機能付き光学装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002298919A JP2004129927A (ja) | 2002-10-11 | 2002-10-11 | 視線検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002298919A JP2004129927A (ja) | 2002-10-11 | 2002-10-11 | 視線検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004129927A true JP2004129927A (ja) | 2004-04-30 |
Family
ID=32288197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002298919A Withdrawn JP2004129927A (ja) | 2002-10-11 | 2002-10-11 | 視線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004129927A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016098406A1 (ja) * | 2014-12-17 | 2016-06-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US9900500B2 (en) | 2013-05-30 | 2018-02-20 | Samsung Electronics Co., Ltd. | Method and apparatus for auto-focusing of an photographing device |
| CN113438305A (zh) * | 2021-06-23 | 2021-09-24 | 鹤壁国立光电科技股份有限公司 | 一种泛在数据采集系统 |
| WO2022196093A1 (ja) * | 2021-03-17 | 2022-09-22 | ソニーグループ株式会社 | 情報処理装置、視線検出方法、プログラム |
| JP2022165239A (ja) * | 2021-04-19 | 2022-10-31 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
| WO2026004378A1 (ja) | 2024-06-25 | 2026-01-02 | 株式会社ガゾウ | 視線解析装置及び視線解析方法 |
-
2002
- 2002-10-11 JP JP2002298919A patent/JP2004129927A/ja not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9900500B2 (en) | 2013-05-30 | 2018-02-20 | Samsung Electronics Co., Ltd. | Method and apparatus for auto-focusing of an photographing device |
| WO2016098406A1 (ja) * | 2014-12-17 | 2016-06-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JPWO2016098406A1 (ja) * | 2014-12-17 | 2017-09-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US10452137B2 (en) | 2014-12-17 | 2019-10-22 | Sony Corporation | Information processing apparatus and information processing method |
| CN111493809A (zh) * | 2014-12-17 | 2020-08-07 | 索尼公司 | 信息处理装置和方法、眼镜式终端以及存储介质 |
| US11635806B2 (en) | 2014-12-17 | 2023-04-25 | Sony Corporation | Information processing apparatus and information processing method |
| WO2022196093A1 (ja) * | 2021-03-17 | 2022-09-22 | ソニーグループ株式会社 | 情報処理装置、視線検出方法、プログラム |
| JP2022165239A (ja) * | 2021-04-19 | 2022-10-31 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
| JP7739026B2 (ja) | 2021-04-19 | 2025-09-16 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
| CN113438305A (zh) * | 2021-06-23 | 2021-09-24 | 鹤壁国立光电科技股份有限公司 | 一种泛在数据采集系统 |
| CN113438305B (zh) * | 2021-06-23 | 2022-10-18 | 鹤壁国立光电科技股份有限公司 | 一种泛在数据采集系统 |
| WO2026004378A1 (ja) | 2024-06-25 | 2026-01-02 | 株式会社ガゾウ | 視線解析装置及び視線解析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6456788B1 (en) | Optical apparatus and camera provided with line-of-sight detecting device | |
| US6507702B2 (en) | Device having sight line detecting function | |
| US20020176708A1 (en) | Visual axis detecting apparatus | |
| JP2004008323A (ja) | 視線機能付光学装置 | |
| US5983030A (en) | Optical apparatus having a visual axis detector | |
| JPH05333259A (ja) | 視線検出手段を有した光学装置 | |
| JP2004188017A (ja) | 視線検出装置 | |
| JP2002301030A (ja) | 視線検出機能付き機器 | |
| JP2005140880A (ja) | 光学装置及びカメラ | |
| JP3372646B2 (ja) | 視線検出装置を有した光学装置 | |
| JPH0634874A (ja) | 視線検出装置を有した光学装置 | |
| JP3605081B2 (ja) | 視線検出装置 | |
| JP3184634B2 (ja) | 視線検出装置を有する光学装置 | |
| JP3605080B2 (ja) | 視線検出装置 | |
| JP2002287011A (ja) | 光学装置及びカメラ | |
| JP3219491B2 (ja) | 視線検出装置 | |
| JP2003339642A (ja) | 視線検出装置及びそれを有した光学装置 | |
| JP3309439B2 (ja) | 光学装置 | |
| JP3530647B2 (ja) | 視線検出装置及び光学装置 | |
| JP3391892B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
| JPH08194154A (ja) | 視線検出機能付き観察装置 | |
| JPH0634873A (ja) | 視線検出装置を有した光学装置 | |
| JP2000039551A (ja) | カメラ | |
| JP2003084193A (ja) | 光学機器 | |
| JP3211427B2 (ja) | 視線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |
