JP3630880B2 - 視線検出装置及び光学機器 - Google Patents
視線検出装置及び光学機器 Download PDFInfo
- Publication number
- JP3630880B2 JP3630880B2 JP27992596A JP27992596A JP3630880B2 JP 3630880 B2 JP3630880 B2 JP 3630880B2 JP 27992596 A JP27992596 A JP 27992596A JP 27992596 A JP27992596 A JP 27992596A JP 3630880 B2 JP3630880 B2 JP 3630880B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- edge
- circle
- edges
- center position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディスプレイ等を観察する観察者の視線を検出する視線検出装置及び該視線検出装置を有するカメラ等の光学機器の改良に関するものである。
【０００２】
【従来の技術】
従来より、観察者がファインダ上のどの位置を観察しているかを検出する、いわゆる視線検出装置が種々提案されている。例えば特開平１−２７４７３６号公報においては、光源からの平行光束を観察者の眼球に投射し、角膜からの反射像いわゆる角膜反射像（以下、Ｐ像（プルキニエ像）とも記す）と瞳孔の結像位置を利用して視軸を求めている。この視線検出装置の一例を、図１２〜図１６を用いて説明する。
【０００３】
図１２は視線検出装置の電気的構成の要部を示すブロック図であり、１はシステム全体のシーケンスを司るシーケンスコントローラ、２，３は観察者の眼球を照明する為に該観察者に対して水平方向に並置された１対のＩＲＥＤ、４は前記ＩＲＥＤ２，３を駆動する為のＩＲＥＤドライバ、５は前記ＩＲＥＤ２，３にて照明された眼球像を読み込む為のＣＣＤ等の撮像素子、６は前記撮像素子５で読み込まれた画像信号を処理し易いようにＡ／Ｄ変換するＡ／Ｄコンバータ、７は視線検出の開始／停止を設定する為のプッシュスイッチ、８はシステム全体に電源を供給する電池である。
【０００４】
図１３は従来の視線検出装置の一連の動作の一例を示すフローチャートであり、図１４は観察者が視線検出装置に近接した接眼状態の時に図１２の撮像素子５に投影される眼球像を示す図、図１５は図１４の撮像素子５上のＰ像が存在するラインの画像出力を示す図である。
【０００５】
図１３において、シーケンスコントローラ１は、まずＩＲＥＤ２，３を観察者の眼球に向けて点灯させる（ステップ＃１）。次に、その時の眼球像を撮像素子５によって読み込み、Ａ／Ｄコンバータ６を介してディジタル化して画像信号として内部のＲＡＭに格納する（ステップ＃２）。そして、前記画像信号を処理してＰ像を抽出する（ステップ＃３）。
【０００６】
Ｐ像の抽出の仕方としては、Ｐ像は明るくその出力は急峻であることを利用して、信号が一定レベル以上で、しかも傾きが大きいものをＰ像と見なす。例えば眼球像が図１４であったとする。この眼球像において、Ｐ像はａとｂであるが、これらを検出する為にＰ像条件を、信号レベルがＬ１ （図１５参照）以上であり、傾きが一定値以上であるとすると、Ｐ像ａ，ｂは水平ラインｙ１ で、図１５の様に条件を満たし、それらの位置はＬ１ を越える部分の重心演算等によってＩＰａ，ＩＰｂとして求められる。
【０００７】
次に、シーケンスコントローラ１は画像信号を処理して瞳孔エッジを抽出する（ステップ＃４）。
【０００８】
瞳孔エッジの抽出の仕方としては、瞳孔部分は暗く、虹彩部分がそれよりも明るいことを利用して、信号レベルが一定値レベル（これを図１５に示す様にＬ２ とする）であり、しかも一定期間以上傾きが継続する場合のＬ２ との交点を瞳孔エッジとみなすものとする。
【０００９】
例えば、眼球像が前述の様に図１４であった場合の水平ラインｙ１ における瞳孔エッジは、図１５に示すｅ１ ，ｅ６ が適正な瞳孔エッジとなる。しかしながら、Ｐ像ａ，ｂの裾野も瞳孔エッジの条件を満たしてしまうので、ｅ２ ，ｅ３ 、ｅ４ ，ｅ５ も本当は瞳孔エッジで無いにも拘らず瞳孔エッジとして処理される。従って、これを避ける為に、特開平６−１４８５０９号公報において提案されている様に、瞳孔エッジ抽出後、Ｐ像周辺の一定領域内にある瞳孔とみなしたエッジ（図１５のｅ２ ，ｅ３ ，ｅ４ ，ｅ５ ）を取り除く（ステップ＃５）。
【００１０】
また、瞳孔エッジ抽出（ステップ＃４）の際、エッジの傾きの方向により、負の傾きであるもの（図１５におけるｅ１ ）と正の傾きであるもの（図１５におけるｅ６ ）を瞳孔中心から見た方向でそれぞれ左エッジ，右エッジと呼んで２つのグループに区別して抽出するものとする。
【００１１】
上記ステップ＃５においてＰ像周辺の偽エッジを排除したが、これ以外にもまつ毛やその他種々のノイズによって偽エッジが発生する。
【００１２】
図１４の黒点は、検出され得る偽エッジを含めた全てのエッジを表している。これら偽エッジを排除するために、特開平４−３４７１３２号公報において提案されている様に、Ｐ像位置情報に基づいて、確からしいエッジの座標範囲を指定し、この範囲外のエッジを排除する（ステップ＃６）。
【００１３】
図１４においては、Ｆがその指定範囲に当たり、これによって範囲Ｆ以外のエッジ、例えばｅ１０，ｅ１１等が排除される。この排除手段によってもまだ若干の偽エッジが残る。これらをさらに排除するため、特開平６−１４８５０９号公報において提案されている様に、シーケンスコントローラ１は残りのエッジ座標に対する統計的処理を行い、全体に対して大きく離れたエッジを偽エッジとして排除する（ステップ＃７）。
【００１４】
図１６はこの「統計量による排除」を示すサブルーチンである。
【００１５】
図１６において、まず残った瞳孔エッジのうち、左エッジ（図１７に示す黒点）の水平方向座標の平均値ｍＬＨ及び標準偏差σＬＨを求める（ステップ＃２１）。そして左エッジの内で標準偏差外の大きく離れた座標、即ち
水平方向座標＞ｍＬＨ＋σＬＨ
または
水平方向座標＜ｍＬＨ−σＬＨ
である左エッジを排除する（ステップ＃２２）。
【００１６】
次に、残った左エッジの垂直方向座標の平均値ｍＬＶ及び標準偏差σＬＶを求める（ステップ＃２３）。そして、左エッジの内で標準偏差外の大きく離れた座標、即ち
垂直方向座標＞ｍＬＶ＋σＬＶ
または
垂直方向座標＜ｍＬＶ−σＬＶ
である左エッジを排除する（ステップ＃２４）。
【００１７】
同じ様にして、右エッジの水平方向座標の平均値ｍＲＨ及び標準偏差σＲＨを求め（ステップ＃２５）、右エッジの内で標準偏差外の大きく外れた座標、即ち
水平方向座標＞ｍＲＨ＋σＲＨ
または
水平方向座標＜ｍＲＨ−σＲＨ
である右エッジを排除する（ステップ＃２６）。
【００１８】
次に、残った右エッジの垂直方向座標の平均値ｍＲＶ及び標準偏差σＲＶを求める（ステップ＃２７）。そして、右エッジの内で標準偏差外の大きく外れた座標、即ち
垂直方向座標＞ｍＲＶ＋σＲＶ
または
垂直方向座標＜ｍＲＶ−σＲＶ
である左エッジを排除する（ステップ＃２８）。
【００１９】
以上の処理が終ったら、図１３のステップ＃８で瞳孔中心の検出を行う。ここでは瞳孔部が円形状（円形若しくは楕円形）であることを利用して最小二乗法等を用いて瞳孔中心を求める。この計算の後、計算値の確からしさをチェックするため、求められた瞳孔中心位置と各瞳孔エッジ位置をもとに瞳孔円推定誤差ＣＥＲの計算を行う（ステップ＃９）。計算の方法は、特開平４−３４７１３１号公報において提案されている様に、二乗誤差を用いて行う。そして、求められた瞳孔円推定誤差ＣＥＲが確からしいとするしきい値ＣＴ 以下かどうかをチェックし（ステップ＃１０）、ＣＴ 以下ならば求められた瞳孔中心位置とＰ像位置に基づいて眼球回転角の計算を行い（ステップ＃１２）、視線検出を終了する。
【００２０】
また、上記ステップ＃１０で瞳孔円推定誤差ＣＥＲがＣＴ よりも大きかった場合は、瞳孔エッジの中に未だ偽エッジが多く含まれていたとして、偽エッジの更なる排除、即ち「瞳孔円修正」を行い（ステップ＃１１）、再び瞳孔中心の計算（ステップ＃８）に戻る。
【００２１】
図１８は上記ステップ＃１１における「瞳孔円修正」を説明するフローチャートである。
【００２２】
図１８において、シーケンスコントローラ１は、まずこの瞳孔円修正が１回目（初めての修正）かどうかをチェックする（ステップ＃３１）。１回目ならば、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃３３）、エッジを１個抜く（ステップ＃３５）。ここでエッジを抜く順は特に考慮せず、とりあえずは左エッジから抜いていくものとし、さらに左エッジ内で抜く順番はシーケンスコントローラ内のメモリに保存されている順（通常は抽出された順）とする。
【００２３】
また、ステップ＃３１で瞳孔円修正が１回目でない場合、即ち１回目もしくは２回目以降の円修正後、図１３のステップ＃８に戻り、その後再度ステップ＃１０で瞳孔円推定誤差ＣＥＲがしきい値ＣＴ 以下でなく、再びステップ＃１１で「瞳孔円修正」を行う場合、求められた最新の瞳孔円推定誤差ＣＥＲがエッジを抜く前の瞳孔円推定誤差ＣＥＲ、即ちＣＥＲ０ よりも小さくなっている（これは抜いたエッジが偽エッジであり、真円に近づいていることを意味する）かどうかをチェックする（ステップ＃３２）。ここで、「ＣＥＲ＜ＣＥＲ０ 」でなければ、抜いたエッジは偽エッジでなかったとしてもとに戻し（ステップ＃３４）、順番に次のエッジを抜く（ステップ＃３５）。
【００２４】
また、上記ステップ＃３２において、「ＣＥＲ＜ＣＥＲ０ 」であった場合は、抜いたエッジはそのままにして、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃３３）、やはり順番に次のエッジを抜き（ステップ＃３５）、図１３のステップ＃８へ戻る。
【００２５】
【発明が解決しようとする課題】
上記従来例では、統計量によるエッジ排除においては、各エッジの水平方向座標及び垂直方向座標に対する統計量により行っているが、この方法では、左エッジ若しくは右エッジの内の大きく外れたエッジを排除することになり、それが偽エッジであれば良いが、正しいエッジを抜いてしまうことも多い。
【００２６】
例えば図１７において、垂直方向の統計量の排除を行うと、ｅ６１，ｅ６２などの正しい瞳孔エッジが排除されることになる。従って、この後瞳孔中心を求める際、正しいエッジが少なくなることによって瞳孔中心位置の検出誤差が大きくなっていまい、最終的な眼球回転角も本当の値と外れることにもなる。
【００２７】
次に、別の従来例の課題について説明する。
【００２８】
図１９は、従来の視線検出装置の一連の動作（図１３に対応）を示すフローチャートの他の例である。なお、該視線検出装置の電気的構成は図１２と同様であるので同一の符号を付して説明するが、ここではその図示は省略する。
【００２９】
図１９において、シーケンスコントローラ１は、まずＩＲＥＤ２，３を観察者の眼球に向けて点灯させる（ステップ＃４１）。次に、その時の眼球像を撮像素子５によって読み込み、Ａ／Ｄコンバータ６を介してディジタル化して画像信号として内部のＲＡＭに格納する（ステップ＃４２）。そして、前記画像信号を処理してＰ像を抽出する（ステップ＃４３）。
【００３０】
Ｐ像の抽出の仕方としては、Ｐ像は明るく、その出力は急峻であることを利用して、信号が一定レベル以上で、しかも傾きが大きいものをＰ像と見なす。例えば眼球像が前述の図１４であったとする。この眼球像において、Ｐ像はａとｂであるが、これらを検出する為にＰ像条件を、信号レベルがＬ１ （図１５参照）以上であり、傾きが一定値以上であるとすると、Ｐ像ａ，ｂは水平ラインｙ１ で、図１５の様に条件を満たし、それらの位置はＬ１ を越える部分の重心演算等によってＩＰａ，ＩＰｂとして求められる。
【００３１】
次に、シーケンスコントローラ１は画像信号を処理して瞳孔エッジを抽出する（ステップ＃４４）。
【００３２】
瞳孔エッジの抽出の仕方としては、瞳孔部分は暗く、虹彩部分がそれよりも明るいことを利用して、信号レベルが一定値レベル（これを図１５に示す様にＬ２ とする）であり、しかも一定期間以上傾きが継続する場合のＬ２ との交点を瞳孔エッジとみなすものとする。
【００３３】
例えば、眼球像が前述の様に図１４であった場合の水平ラインｙ１ における瞳孔エッジは、図１５に示すｅ１ ，ｅ６ が適正な瞳孔エッジとなる。しかしながら、Ｐ像ａ，ｂの裾野も瞳孔エッジの条件を満たしてしまうので、ｅ２ ，ｅ３ 、ｅ４ ，ｅ５ も本当は瞳孔エッジで無いにも拘らず瞳孔エッジとして処理される。従って、これを避ける為に、特開平６−１４８５０９号公報において提案されている様に、瞳孔エッジ抽出後、Ｐ像周辺の一定領域内にある瞳孔とみなしたエッジを取り除く（ステップ＃４５）。
【００３４】
ここで、このＰ像周辺の偽エッジ以外にも、まつ毛やその他種々のノイズによって偽エッジが発生する。図１７の黒点は、前述した様に検出され得る偽エッジを含めた全てのエッジを表している。これら偽エッジを排除するために、特開平４−３４７１３２号公報において提案されている様に、シーケンスコントローラ１は、Ｐ像位置情報に基づいて、確からしいエッジの座標範囲を限定する（ステップ＃４６）。
【００３５】
図２０はこの「瞳孔指定範囲の設定」を示すサブルーチンである。
【００３６】
図２０において、２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、瞳孔指定範囲を
ＩＳ１ ←ＩＰ１ −２０
ＩＳ２ ←ＩＰ２ ＋２０
ＪＳ１ ←（ＪＰ１ ＋ＪＰ２ ）／２−４０
ＪＳ２ ←（ＪＰ１ ＋ＪＰ２ ）／２＋２０
に設定する。ここで、ＩＳ１ は瞳孔指定範囲の左限，ＩＳ２ は右限，ＪＳ１ は上限，ＪＳ２ は下限を表すものとする。
【００３７】
これによれば、設定範囲は画面上で長方形となり、図１４に示す様に画像に対して範囲Ｆのようになる。
【００３８】
図２０のフローチャート終了後は、図１９におけるステップ＃４７において、「瞳孔指定範囲外の瞳孔エッジの排除」を行う。
【００３９】
図２１はこの「瞳孔指定範囲外の瞳孔エッジの排除」を示すサブルーチンである。
【００４０】
図２１において、図１９のステップ＃４４で抽出された瞳孔エッジの内のステップ＃４５における「Ｐ像周辺の瞳孔エッジの排除」後の全てのエッジに対して、「水平方向座標＜ＩＳ１ 」となるエッジ，「水平方向座標＞ＩＳ２ 」となるエッジを排除する（ステップ＃７１，＃７２）。そして、残ったエッジに対してさらに「垂直方向座標＜ＪＳ１ 」となるエッジ，「垂直方向座標＞ＪＳ２ 」となるエッジを排除する（ステップ＃７３，＃７４）。
【００４１】
以上の処理が終ったら、図１９のステップ＃４８で瞳孔中心の検出を行う。ここでは瞳孔部の形状が円形（楕円形も含む）であることを利用して、最小二乗法等を用いて瞳孔中心を求める。この計算の後、計算値の確からしさをチェックするため、求められた瞳孔中心位置と各瞳孔エッジ位置をもとに瞳孔円推定誤差ＣＥＲの計算を行う（ステップ＃５０）。計算の方法は、特開平４−３４７１３１号公報において提案されている様に、二乗誤差を用いて行う。
【００４２】
そして、求められた瞳孔円推定誤差ＣＥＲに対して確からしいとするしきい値ＣＴ 以下かどうかをチャックし（ステップ＃５１）、しきい値ＣＴ 以下ならば求めた瞳孔中心位置とＰ像位置に基づいて眼球回転角の計算を行い（ステップ＃５２）、視線検出を終了する。
【００４３】
また、上記ステップ＃５０で瞳孔円推定誤差ＣＥＲがＣＴ よりも大きかった場合は、瞳孔エッジの中に未だ偽瞳孔エッジ（偽エッジとも記す）が多く含まれていたとして、偽エッジの更なる排除、即ち「瞳孔円修正」（例えば図１８）を行い（ステップ＃５１）、再び瞳孔中心の計算（ステップ＃４８）に戻る。
【００４４】
ところで、瞳孔は円形（若しくは楕円形）であるので、偽エッジ排除のための瞳孔指定範囲も円形もしくは楕円形であるのが望ましい。
【００４５】
しかしながら、上記従来例では、上記瞳孔指定範囲が図１４の範囲Ｆの様に、長方形もしくは正方形となっており、ｅ２０，ｅ２１の様に、瞳孔中心から遠く離れたところの、上記長方形の４隅にある明らかな偽エッジもここで排除しきれないことになる。従って、瞳孔中心の計算を行っても、その後で必ず瞳孔円修正を行わなければならず、演算時間の長時間化につながる。
【００４６】
また、その瞳孔円修正に関しても、本来は最も偽エッジである可能性の高いものから抜いていくのが望ましいにもかかわらず、エッジを抜く順番は単に抽出された順のままであり、このままでは効率的な処理であるとはいえない。
【００４７】
（発明の目的）
本発明の目的は、偽瞳孔エッジの排除を効率的かつ適正に行い、精度の良いしかも高速処理の視線検出を行うことのできる視線検出装置及び光学機器を提供することにある。
【００４８】
【課題を解決するための手段】
上記目的を達成するために、請求項１，３及び９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部の形状を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からのエッジ毎の距離情報に対する統計的処理を施し、すなわち平均値と標準偏差を用い、不適当なエッジを排除して瞳孔円を算出する瞳孔円算出手段を設けた構成にしている。
【００４９】
同じく上記目的を達成するために、請求項２，３及び９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部の形状を円形として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、前記複数のエッジを所定の基準に基づいて複数のグループに分けると共に、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からの前記エッジグループ毎の距離情報に対する統計量に基づいたグループ順にエッジを排除して瞳孔円を算出する瞳孔円算出手段を具備した構成にしている。
【００５０】
同じく上記目的を達成するために、請求項４及び９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、前記複数のエッジのうち、前記仮の瞳孔中心位置を中心として描かれる円形状の領域内に含まれるエッジ情報から瞳孔円を算出する瞳孔円算出手段を具備した構成にしている。
【００５１】
同じく上記目的を達成するために、請求項５〜９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、算出した瞳孔円の信頼性が低い場合は、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、前記複数のエッジの中より、該仮の瞳孔中心位置からのエッジ毎の距離情報に基づいた順にエッジを排除して瞳孔円を算出する瞳孔円算出手段を具備した構成にしている。
【００５２】
具体的には、前記瞳孔円算出手段は、前記複数のエッジの中より、前記仮の瞳孔中心位置との距離の遠い順にエッジを排除したり、前記仮の瞳孔中心位置からの各エッジまでの距離の平均値との差に基づいてエッジを排除して、瞳孔円を算出するようにしている。
【００５３】
【発明の実施の形態】
以下、本発明を図示の実施の形態に基づいて詳細に説明する。
【００５４】
図１及び図２は本発明の実施の第１の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１３のステップ＃７の「統計量による排除」及びステップ＃１１の「瞳孔円修正」以外の処理は、該図１３と同様であるので、ここではその詳細は省略する。
【００５５】
まず、図１のフローチャートにより、「統計量による排除」の動作について説明する。
【００５６】
瞳孔は円形であるので、正しいエッジは円形にばらついている筈であり、エッジの統計量による排除も円形を前提として処理すべきである。よって、検出されたＰ像位置をもとに仮の瞳孔中心位置を推定し、そこからのエッジ毎の距離を処理情報として統計量の計算を行うものとする。
【００５７】
図１において、シーケンスコントローラ１は、まず、Ｐ像の位置をもとに仮の瞳孔中心位置Ｃ0 を決める。２個のＰ像座標のうち、左側を（ＩＰ1 ，ＪＰ1 ）、右側を（ＩＰ2 ，ＪＰ 2 ）として、仮の瞳孔中心位置Ｃ0 の座標（ＩＣ・ＪＣ）を
ＩＣ←（ＩＰ1 ＋ＩＰ2 ）／２
ＪＣ←（ＪＰ1 ＋ＪＰ2 ）／２−１０
とする（ステップ＃１０１）。
【００５８】
次に、エッジ毎に瞳孔中心位置Ｃ０ との距離を求める（ステップ＃１０２）。例えば、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める距離ＥＣ１ は
ＥＣ１ ＝√〔（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ 〕 …（１）
となる。
【００５９】
次に、求めた距離情報のうち、左エッジグループの瞳孔中心位置Ｃ０ との距離の平均値ｍＬＦ１ 及び標準偏差σＬＦ１ を求める（ステップ＃１０３）。そして、左エッジのうちで
Ｃ０ との距離＞ｍＬＦ１ ＋σＬＦ１
または
Ｃ０ との距離＜ｍＬＦ１ −σＬＦ１
であるエッジを排除する（ステップ＃１０４）。
【００６０】
次に、右エッジグループの瞳孔中心位置Ｃ０ との距離の平均値ｍＲＦ１ 及び標準偏差σＲＦ１ を求める（ステップ＃１０５）。そして、右エッジのうちで
Ｃ０ との距離＞ｍＲＦ１ ＋σＲＦ１
または
Ｃ０ との距離＜ｍＲＦ１ −σＲＦ１
であるエッジを排除する（ステップ＃１０６）。
【００６１】
この様にすれば、円形を前提としてエッジを排除できる。例えば、抽出された左エッジが図３における黒点（図１４の黒点位置と同じ）に示す様に存在しており、Ｐ像から求められる仮の瞳孔中心位置Ｃ０ が図３中に示す様に、半径ｒｅ６１の円の中心に位置していたとすれば、上記の統計量の計算により、偽エッジｅ５ １ は従来例と同様に排除され、正しいエッジｅ６１，ｅ６２は従来では排除されていたのが、この実施の形態では排除されないで残ることになる。
【００６２】
この様に本実施の形態により、従来に比べ正しいエッジを多く残すことができる。
【００６３】
ここで、この後の図１３のステップ＃１１「瞳孔円修正」において、左エッジと右エッジで上記統計量の計算で求めた標準偏差の大きいエッジグループを、偽エッジを多く含むグループであるとして先にエッジを抜いていくようにすれば、円修正をより効率的に行うことが出来る。
【００６４】
この「瞳孔円修正」について、図２のフローチャートにより説明する。
【００６５】
図２において、シーケンスコントローラ１は、まずこの瞳孔円修正が１回目（初めての修正）かどうかをチェックする（ステップ＃２０１）。１回目ならば、図１のステップ＃１０３，＃１０５で求められた左エッジ及び右エッジの標準偏差σＬＦ１ ，σＲＦ１ を比較し、大きい方を偽エッジを多く含むグループとして先にエッジ抜きを行うように順序を入れ換える（ステップ＃２０２）。その後、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃２０４）、エッジを並び順に１個抜く（ステップ＃２０６）。ここでは１回目のエッジ抜きなので、上記標準偏差の大きいグループの最初に存在するエッジとなる。
【００６６】
上記ステップ＃２０１で瞳孔円修正が１回目でなかった場合、即ち１回目もしくは２回目以降の円修正後、図１３のステップ＃８に戻り、その後再度ステップ＃１０で瞳孔円推定誤差ＣＥＲがしきい値ＣＴ 以下でなく、再びステップ＃１１で「瞳孔円修正」を行う場合、求めた最新の瞳孔円推定誤差ＣＥＲがエッジを抜く前の瞳孔円推定誤差ＣＥＲ、即ちＣＥＲ０ よりも小さくなっている（これは抜いたエッジが偽エッジであり、真円に近づいていることを意味する）かどうかをチェックする（ステップ＃２０３）。ここで、「ＣＥＲ＜ＣＥＲ０ 」でなければ、抜いたエッジは偽エッジでなかったとしてもとに戻し（ステップ＃２０５）、並び順に次のエッジを抜く（ステップ＃２０６）。
【００６７】
また、上記ステップ＃２０３において、「ＣＥＲ＜ＣＥＲ０ 」であった場合は、抜いたエッジはそのままにして、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃２０４）、並び順に次のエッジを抜く（ステップ＃２０６）。
【００６８】
なお、この実施の形態では、統計量によって排除される偽エッジを含んだままの標準偏差値を比較しているが、「統計量による排除」を行った後で残ったエッジに対して再度標準偏差を計算し、その値を比較してもよい。
【００６９】
（実施の第２の形態）
上記実施の第１の形態では、前述の（１）式の様にして平方根をとって、仮の瞳孔中心位置Ｃ０ （ＩＣ，ＪＣ）からの距離を算出しているが、演算上，平方根の計算は時間がかかるものである。
【００７０】
一方、上記距離情報は符号が正なので、その大小関係は（距離）２ と同じである。よって、平方根をとらず（距離）２ のままで平均値や標準偏差の演算を行えば、全体の演算時間短縮につながり、かつ、上記実施の第１の形態と同様の効果を持つ。これを本発明の実施の第２の形態として、以下に説明する。
【００７１】
図４は本発明の実施の第２の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１３のステップ＃７の「統計量による排除」以外の処理は、該図１３と同様であるので、ここではその詳細は省略する。
【００７２】
図４において、シーケンスコントローラ１は、まず、Ｐ像の位置をもとに仮の瞳孔中心位置Ｃ０ を決める。２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、仮の瞳孔中心位置Ｃ０ の座標（ＩＣ，ＪＣ）を
ＩＣ←（ＩＰ１ ＋ＩＰ２ ）／２
ＪＣ←（ＪＰ１ ＋ＪＰ２ ）／２−１０
とする（ステップ＃３０１）。
【００７３】
次に、エッジ毎に（瞳孔中心位置Ｃ０ との距離）２ を求める（ステップ＃３０２）。算出方法は、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める値ＥＣ１ ’は
ＥＣ１ ’＝（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ ………（２）
の様にして求められる。
【００７４】
次に、求めた（瞳孔中心位置Ｃ０ との距離）２ のうち、左エッジグループの（瞳孔中心位置Ｃ０ との距離）２ の平均値ｍＬＦ２ 及び標準偏差σＬＦ２ を求める（ステップ＃３０３）。そして、左エッジのうちで
（Ｃ０ との距離）２ ＞ｍＬＦ２ ＋σＬＦ２
または
（Ｃ０ との距離）２ ＜ｍＬＦ２ −σＬＦ２
であるエッジを排除する（ステップ＃３０４）。
【００７５】
次に、右エッジグループの（瞳孔中心位置Ｃ０ との距離）２ の平均値ｍＲＦ２ 及び標準偏差σＲＦ２ を求める（ステップ＃３０５）。そして、右エッジのうちで
（Ｃ０ との距離）２ ＞ｍＲＦ２ ＋σＲＦ２
または
（Ｃ０ との距離）２ ＜ｍＲＦ２ −σＲＦ２
であるエッジを排除する（ステップ＃３０６）。
【００７６】
（実施の第３の形態）
上記実施の第１及び第２の形態では、「統計量による排除」は左エッジと右エッジ別々に行っているが、エッジ全体に対してこれを行う方法も考えられる。これを本発明の実施の第３の形態として、以下に説明する。
【００７７】
図５は本発明の実施の第３の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１３のステップ＃７の「統計量による排除」以外の処理は、該図１３と同様であるので、ここではその詳細は省略する。
【００７８】
図５において、シーケンスコントローラ１は、まず、Ｐ像の位置をもとに仮の瞳孔中心位置Ｃ０ を決める。２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、仮の瞳孔中心位置Ｃ０ の座標（ＩＣ，ＪＣ）を
ＩＣ←（ＩＰ１ ＋ＩＰ２ ）／２
ＪＣ←（ＪＰ１ ＋ＪＰ２ ）／２−１０
とする（ステップ＃４０１）。
【００７９】
次に、エッジ毎に瞳孔中心位置Ｃ０ との距離を求める（ステップ＃４０２）。求め方は、上記実施の第１の形態と同様であるとする。次に、エッジ全体の瞳孔中心位置Ｃ０ との距離の平均値ｍＦ及び標準偏差σＦを求める（ステップ＃４０３）。そして、全エッジのうちで
Ｃ０ との距離＞ｍＦ＋σＦ
または
Ｃ０ との距離＜ｍＦ−σＦ
であるエッジを排除する（ステップ＃４０４）。
【００８０】
上記の実施の第１〜第３の形態によれば、検出されたＰ像の位置を基にして仮の瞳孔中心位置Ｃ０ を設定し、ここから各瞳孔エッジに対する距離情報を求め、求めた各距離情報に対する統計的処理を施すことによって偽エッジを排除するようにした為、正しいエッジが円形（若しくは楕円形）に存在することを前提とした排除となり、排除されるエッジが偽エッジのみとなる可能性が高くなり、従来に比べてより効果的なエッジ排除が行うことができるようになった。
【００８１】
また、瞳孔中心演算後の瞳孔円修正において、左エッジと右エッジで上記統計量の計算で求めた標準偏差の大きいエッジグループを、偽エッジを多く含むグループであるとして先にエッジを抜いていくようにしたので、瞳孔円修正をより効果的に行うことが出来、演算時間の短縮および視線検出成功率アップを達成できた。
【００８２】
なお、上記の実施の各形態では、複数のエッジを右エッジと左エッジに分けているが、仮の瞳孔中心位置Ｃ０ から遠い方のグループと近いグループに分けたり、上エッジ，下エッジに分けたり、或いは、撮像素子面の上半分，下半分に、又は右半分，左半分等、複数のグループに分けることも可能である。
【００８３】
（実施の第４の形態）
図６は本発明の実施の第４の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１９のステップ＃４６の「瞳孔指定範囲の設定」，ステップ＃４７の「瞳孔指定範囲外の瞳孔エッジの排除」，ステップ＃５１の「瞳孔円修正」以外の処理は、該図１９と同様であるので、ここではその詳細は省略する。
【００８４】
図６において、システムコントローラ１は、まずＰ像の位置を基に仮の瞳孔中心位置を決める。２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、仮の瞳孔中心位置座標（ＩＣ，ＪＣ）を
ＩＣ←（ＩＰ１ ＋ＩＰ２ ）／２
ＪＣ←（ＪＰ１ ＋ＪＰ２ ）／２−１０
とする（ステップ＃５０１）。
【００８５】
次に、上記の仮の瞳孔中心位置を中心とした円形の領域が瞳孔指定範囲となる様に、その半径Ｒを２０に設定する（ステップ＃５０２）。
【００８６】
上記の半径Ｒは、ここでは固定値にしたが、Ｐ像間隔から求められている像倍率を基にした計算式により求めることもできる。この半径Ｒを決めた後、図１９のステップ＃４７へリターンする。
【００８７】
図７は図１４と同じ眼球像に対して、本実施の形態の瞳孔指定範囲を当てはめたものである。
【００８８】
図８は、本発明の実施の第４の形態において、図１９のステップ＃４７に進んだ際に実行される「瞳孔指定範囲外の瞳孔エッジの排除」の動作を示すフローチャートである。
【００８９】
図８において、シーケンスコントローラ１は、まずエッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出する（ステップ＃６０１）。例えば、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める距離ＥＣ１ は
ＥＣ１ ＝√〔（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ 〕 …（３）
となる。求めた各エッジの距離は瞳孔指定範囲の半径Ｒと比較して
距離＞Ｒ
となるエッジを偽エッジとして排除して（ステップ＃６０２）、図１９のステップ＃４８へリターンする。
【００９０】
これより、図７においては、ｅ２０，ｅ２１など、従来（図１４）に比べて全部で８個余計に偽エッジを排除することができる。
【００９１】
図９は、本発明の実施の第４の形態において、図１９のステップ＃５１に進んだ際に実行される「瞳孔円修正」の動作を示すフローチャートである。
【００９２】
図３を見ても分かるように、偽エッジはまつ毛や眼鏡ゴースト等によるものが殆どであり、その位置は通常、瞳孔円の外側に存在する。よって、瞳孔中心位置から離れているエッジほど偽エッジである可能性が高いと考えて良い。これを利用して、前記の仮の瞳孔中心位置（本当の瞳孔中心位置に近いはず）を用いて、この座標との距離の遠い順に瞳孔エッジを抜いていけば瞳孔円修正、すなわち偽エッジ抜きが効率的に行われる。
【００９３】
図９において、シーケンスコントローラ１は、まずこの瞳孔円修正が１回目（初めての修正）かどうかをチェックする（ステップ＃７０１）。１回目ならば、エッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出し値の大きい（すなわち遠い）順に並べ換える。
【００９４】
ここで、もしエッジが抽出条件によって右方向エッジグループ，左方向エッジグループ等、複数のグループに分けられている場合は、その各グループ内でのみの順番の並べ換えでもよい。
【００９５】
その後、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃７０４）、エッジを並び順に１個抜く（ステップ＃７０６）。ここでは１回目のエッジ抜きになるので、座標（ＩＣ，ＪＣ）から一番遠いエッジを抜くことになる。
【００９６】
また、上記ステップ＃７０１で瞳孔円修正が１回目でなかった場合、すなわち１回目もしくは２回目以降の円修正後、図１９のステップ＃４８に戻り、その後再度ステップ＃５１で瞳孔円推定誤差ＣＥＲがしきい値ＣＴ 以下でなく、再びステップ＃５１で「瞳孔円修正」を行う場合、求めた最新の瞳孔円推定誤差ＣＥＲがエッジを抜く前の瞳孔円推定誤差ＣＥＲ、すなわちＣＥＲ０ よりも小さくなっている（これは抜いたエッジが偽エッジであり、真円に近づいていることを意味する）かどうかをチェックする（ステップ＃７０３）。ここで、「ＣＥＲ＜ＣＥＲ０ 」でなければ抜いたエッジは偽エッジでなかったとしてもとに戻し（ステップ＃７０５）、並び順に次のエッジを抜く（ステップ＃７０６）。
【００９７】
また、上記＃７０３において、「ＣＥＲ＜ＣＥＲ０ 」であった場合は、抜いたエッジは抜いたままにして、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃７０４）、並び順に次のエッジを抜く（ステップ＃７０６）。
【００９８】
なお、上記の実施の形態では、仮の瞳孔中心位置を中心とした円形の領域が瞳孔指定範囲となる様に、その半径Ｒを２０に設定する例を示しているが、これに限定されるものではなく、例えば仮の瞳孔中心位置からのエッジ毎の距離の平均距離を、又は該平均距離との各エッジ差を基に、半径Ｒを設定する様にしてもよい。
【００９９】
この実施の第４の形態によれば、Ｐ像位置を用いて仮の瞳孔中心位置を推定し、ここからの距離によって決められる円形の領域を偽エッジ排除のための瞳孔指定範囲としたので、従来に比べ、偽エッジをより多くより確実に排除することができる。
【０１００】
また、瞳孔円修正においても、仮の瞳孔中心位置（本当の瞳孔中心位置に近いはず）から離れているエッジほど偽エッジである可能性が高いとみなして、ここから距離の遠い順に瞳孔エッジを抜いていくようにしたので、従来に比べ円修正を効率的に行えるようになった。
【０１０１】
（実施の第５の形態）
上記実施の第４の形態では、図１９のステップ＃５１へ進んだ際に実行される「瞳孔円修正」において、仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出してエッジの並べ換えを行っているが、ステップ＃４７の「瞳孔指定範囲外の瞳孔エッジの排除」において、既に（ＩＣ，ＪＣ）からの距離を算出しているので、このサブルーチン内でエッジの並べ換えを済ませておけば、「瞳孔円修正」が行われる場合に限って、距離の算出に要する時間を半分に減らすことができる。これを本発明の実施の第５の形態として、以下に説明する。
【０１０２】
図１０は本発明の実施の第５の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１９のステップ＃５１の「瞳孔円修正」以外の処理は、該図１９と同様であるので、ここではその詳細は省略する。
【０１０３】
図１０において、シーケンスコントローラ１は、まずエッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出する（ステップ＃８０１）。算出方法は、上記実施の第１の形態と同じであるとする。
【０１０４】
求められた各エッジの距離は瞳孔指定範囲の半径Ｒと比較して
距離＞Ｒ
となるエッジを偽エッジとして排除する（ステップ＃８０１）。そして、排除されなかった残りのエッジに対してここで上記距離の遠い順に並べ換えておき（ステップ＃８０３）、図１９のステップ＃４８へリターンする。
【０１０５】
（実施の第６の形態）
上記実施の第４及び第５の形態では、いずれも上記（３）のようにして平方根をとって座標（ＩＣ，ＪＣ）からの距離を算出しているが、演算上、平方根の計算は時間がかかるものである。一方、上記距離情報は符号が正なので、その大小関係は（距離）２ と同じである。よって、平方根をとらず（距離）２ のままで半径Ｒ等との比較や並べ換えを行えば、全体の演算時間短縮につながり、かつ、上記実施の各形態と効果は同様となる。これを本発明の実施の第６の形態として、以下に説明する。
【０１０６】
図１１は本発明の実施の第６の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１９のステップ＃４５の「瞳孔指定範囲の設定」は上記実施の第４の形態と同様（図６）であり、図１９のステップ＃４７の「瞳孔指定範囲の瞳孔エッジの排除」以下の図１１に示す通りである。その他の動作は図１９と同様であるので、その詳細は省略する。
【０１０７】
図１１において、シーケンスコントローラ１は、まずエッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離の二乗を算出する（ステップ＃９０１）。算出方法は、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める距離の二乗のＥＣ１ ’は
ＥＣ１ ’＝（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ ……（４）
のようにして求められる。
【０１０８】
求められた各エッジの（距離）２ と瞳孔指定範囲の半径Ｒを用いて
（距離）２ ＞Ｒ２
となるエッジを偽エッジとして排除する（ステップ＃９０２）。そして、排除されなかった残りのエッジに対してここで上記（距離）２ の大きい順に並べ換えておき（ステップ＃９０３）、図１９のステップ＃４８へリターンする。
【０１０９】
上記実施の第４〜第６の実態によれば、Ｐ像位置を用いて仮の瞳孔中心位置を推定し、ここからの距離によって決められる円形（若しくは楕円形）の領域を偽エッジ排除のための瞳孔指定範囲とした為、従来に比べ、偽エッジをより多くより確実に排除することができる。
【０１１０】
また、瞳孔中心の検出後の推定円修正においても、上記仮の瞳孔中心位置から離れているエッジほど偽エッジである可能性が高いとみなして、距離の遠い順に瞳孔エッジを抜いていくようにしたので、従来に比べ上記の瞳孔円修正を効率的に行えるようになった。
【０１１１】
（発明と実施の形態の対応）
上記実施の各形態において、ＩＲＥＤ２，３及びＩＲＥＤドライバ４が本発明の照明手段に、撮像素子５が本発明の受光手段に、シーケンスコントローラ１が演算手段，瞳孔円算出手段に、それぞれ相当する。また、請求項１等に記載の円形状とは、円形のみならず、楕円形を含むものである。
【０１１２】
以上が実施の形態の各構成と本発明の各構成の対応関係であるが、本発明は、これら実施の形態の構成に限定されるものではなく、請求項で示した機能、又は実施の形態がもつ機能が達成できる構成であればどのようなものであってもよいことは言うまでもない。
【０１１３】
（変形例）
本発明は、銀塩カメラやビデオカメラ、更には電子スチルカメラ等、各種のカメラに適用できるものである。さらには、ディスプレイを有する機器や操作パネルを有する機器（ディスプレイや操作パネルを注視するオペレータ等の視線検出に用いることが可能なため）等にも適用可能である。その他の光学機器や他の装置、更には構成ユニットとしても適用することができるものである。
【０１１４】
また、本発明は、以上の実施の各形態、又はそれらの技術を適当に組み合わせた構成にしてもよい。具体的には、実施の第１〜第３の実施の形態の特徴とする処理を施した後に、実施の第４〜第６の形態の特徴とする処理を行うような視線検出装置とすることにより、より効果的に偽エッジの排除を行うことが可能となる。
【０１１５】
【発明の効果】
以上説明したように、本発明によれば、複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からのエッジ毎の距離情報に対する統計的処理を施し、すなわち平均値と標準偏差を用い、不適当なエッジを排除して瞳孔円を算出したり、
複数のエッジを所定の基準に基づいて複数のグループに分けると共に、複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からの前記エッジグループ毎の距離情報に対する統計量（例えば、標準偏差）に基づいたグループ順にエッジを排除して瞳孔円を算出したり、
複数の角膜反射像の位置から仮の瞳孔中心位置を求め、複数のエッジのうち、該仮の瞳孔中心位置を中心として描かれる円形状の領域内に含まれるエッジ情報から瞳孔円を算出したり、
算出した瞳孔円の信頼性が低い場合は、複数の角膜反射像の位置から仮の瞳孔中心位置を求め、複数のエッジの中より、該仮の瞳孔中心位置からのエッジ毎の距離情報に基づいた順にエッジを排除して瞳孔円を算出するようにしている。
【０１１６】
よって、偽瞳孔エッジの排除を効率的かつ適正に行い、精度の良いしかも高速処理の視線検出を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の第１の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図２】同じく本発明の実施の第２の形態に係る視線検出装置の瞳孔円修正の動作を示すフローチャートである。
【図３】図２の動作を助ける為の瞳孔円及び複数のエッジを示す図である。
【図４】本発明の実施の第２の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図５】本発明の実施の第３の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図６】本発明の実施の第４の形態に係る視線検出装置の瞳孔指定範囲の設定の動作を示すフローチャートである。
【図７】図６の動作を助ける為の瞳孔円及び複数のエッジを示す図である。
【図８】本発明の実施の第４の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図９】同じく本発明の実施の第４の形態に係る視線検出装置の瞳孔円修正の動作を示すフローチャートである。
【図１０】本発明の実施の第５の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図１１】本発明の実施の第６の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図１２】本発明及び従来の視線検出装置の電気的構成の要部を示すブロック図である。
【図１３】図１２の視線検出装置の一連の動作を示すフローチャートである。
【図１４】図１２の撮像素子に投影される眼球像を示す図である。
【図１５】図１４に示した撮像素子上のＰ像が存在するラインの画像出力及び瞳孔エッジの抽出について説明する為の図である。
【図１６】従来の第１の視線検出装置の統計量による排除の動作を示すフローチャートである。
【図１７】図１６の動作をエッジ排除について説明する為の図である。
【図１８】
同じく従来の第１の視線検出装置の瞳孔円修正の動作を示すフローチャートである。
【図１９】従来の第２の視線検出装置の一連の動作を示すフローチャートである。
【図２０】同じく従来の第２の視線検出装置の瞳孔指定範囲の設定の動作を示すフローチャートである。
【図２１】同じく従来の第２の視線検出装置の瞳孔指定範囲外の瞳孔エッジの排除の動作を示すフローチャートである。
【符号の説明】
１ シーケンスコントローラ
２，３ ＩＲＥＤ
４ ＩＲＥＤドライバ
５ 撮像素子
【発明の属する技術分野】
本発明は、ディスプレイ等を観察する観察者の視線を検出する視線検出装置及び該視線検出装置を有するカメラ等の光学機器の改良に関するものである。
【０００２】
【従来の技術】
従来より、観察者がファインダ上のどの位置を観察しているかを検出する、いわゆる視線検出装置が種々提案されている。例えば特開平１−２７４７３６号公報においては、光源からの平行光束を観察者の眼球に投射し、角膜からの反射像いわゆる角膜反射像（以下、Ｐ像（プルキニエ像）とも記す）と瞳孔の結像位置を利用して視軸を求めている。この視線検出装置の一例を、図１２〜図１６を用いて説明する。
【０００３】
図１２は視線検出装置の電気的構成の要部を示すブロック図であり、１はシステム全体のシーケンスを司るシーケンスコントローラ、２，３は観察者の眼球を照明する為に該観察者に対して水平方向に並置された１対のＩＲＥＤ、４は前記ＩＲＥＤ２，３を駆動する為のＩＲＥＤドライバ、５は前記ＩＲＥＤ２，３にて照明された眼球像を読み込む為のＣＣＤ等の撮像素子、６は前記撮像素子５で読み込まれた画像信号を処理し易いようにＡ／Ｄ変換するＡ／Ｄコンバータ、７は視線検出の開始／停止を設定する為のプッシュスイッチ、８はシステム全体に電源を供給する電池である。
【０００４】
図１３は従来の視線検出装置の一連の動作の一例を示すフローチャートであり、図１４は観察者が視線検出装置に近接した接眼状態の時に図１２の撮像素子５に投影される眼球像を示す図、図１５は図１４の撮像素子５上のＰ像が存在するラインの画像出力を示す図である。
【０００５】
図１３において、シーケンスコントローラ１は、まずＩＲＥＤ２，３を観察者の眼球に向けて点灯させる（ステップ＃１）。次に、その時の眼球像を撮像素子５によって読み込み、Ａ／Ｄコンバータ６を介してディジタル化して画像信号として内部のＲＡＭに格納する（ステップ＃２）。そして、前記画像信号を処理してＰ像を抽出する（ステップ＃３）。
【０００６】
Ｐ像の抽出の仕方としては、Ｐ像は明るくその出力は急峻であることを利用して、信号が一定レベル以上で、しかも傾きが大きいものをＰ像と見なす。例えば眼球像が図１４であったとする。この眼球像において、Ｐ像はａとｂであるが、これらを検出する為にＰ像条件を、信号レベルがＬ１ （図１５参照）以上であり、傾きが一定値以上であるとすると、Ｐ像ａ，ｂは水平ラインｙ１ で、図１５の様に条件を満たし、それらの位置はＬ１ を越える部分の重心演算等によってＩＰａ，ＩＰｂとして求められる。
【０００７】
次に、シーケンスコントローラ１は画像信号を処理して瞳孔エッジを抽出する（ステップ＃４）。
【０００８】
瞳孔エッジの抽出の仕方としては、瞳孔部分は暗く、虹彩部分がそれよりも明るいことを利用して、信号レベルが一定値レベル（これを図１５に示す様にＬ２ とする）であり、しかも一定期間以上傾きが継続する場合のＬ２ との交点を瞳孔エッジとみなすものとする。
【０００９】
例えば、眼球像が前述の様に図１４であった場合の水平ラインｙ１ における瞳孔エッジは、図１５に示すｅ１ ，ｅ６ が適正な瞳孔エッジとなる。しかしながら、Ｐ像ａ，ｂの裾野も瞳孔エッジの条件を満たしてしまうので、ｅ２ ，ｅ３ 、ｅ４ ，ｅ５ も本当は瞳孔エッジで無いにも拘らず瞳孔エッジとして処理される。従って、これを避ける為に、特開平６−１４８５０９号公報において提案されている様に、瞳孔エッジ抽出後、Ｐ像周辺の一定領域内にある瞳孔とみなしたエッジ（図１５のｅ２ ，ｅ３ ，ｅ４ ，ｅ５ ）を取り除く（ステップ＃５）。
【００１０】
また、瞳孔エッジ抽出（ステップ＃４）の際、エッジの傾きの方向により、負の傾きであるもの（図１５におけるｅ１ ）と正の傾きであるもの（図１５におけるｅ６ ）を瞳孔中心から見た方向でそれぞれ左エッジ，右エッジと呼んで２つのグループに区別して抽出するものとする。
【００１１】
上記ステップ＃５においてＰ像周辺の偽エッジを排除したが、これ以外にもまつ毛やその他種々のノイズによって偽エッジが発生する。
【００１２】
図１４の黒点は、検出され得る偽エッジを含めた全てのエッジを表している。これら偽エッジを排除するために、特開平４−３４７１３２号公報において提案されている様に、Ｐ像位置情報に基づいて、確からしいエッジの座標範囲を指定し、この範囲外のエッジを排除する（ステップ＃６）。
【００１３】
図１４においては、Ｆがその指定範囲に当たり、これによって範囲Ｆ以外のエッジ、例えばｅ１０，ｅ１１等が排除される。この排除手段によってもまだ若干の偽エッジが残る。これらをさらに排除するため、特開平６−１４８５０９号公報において提案されている様に、シーケンスコントローラ１は残りのエッジ座標に対する統計的処理を行い、全体に対して大きく離れたエッジを偽エッジとして排除する（ステップ＃７）。
【００１４】
図１６はこの「統計量による排除」を示すサブルーチンである。
【００１５】
図１６において、まず残った瞳孔エッジのうち、左エッジ（図１７に示す黒点）の水平方向座標の平均値ｍＬＨ及び標準偏差σＬＨを求める（ステップ＃２１）。そして左エッジの内で標準偏差外の大きく離れた座標、即ち
水平方向座標＞ｍＬＨ＋σＬＨ
または
水平方向座標＜ｍＬＨ−σＬＨ
である左エッジを排除する（ステップ＃２２）。
【００１６】
次に、残った左エッジの垂直方向座標の平均値ｍＬＶ及び標準偏差σＬＶを求める（ステップ＃２３）。そして、左エッジの内で標準偏差外の大きく離れた座標、即ち
垂直方向座標＞ｍＬＶ＋σＬＶ
または
垂直方向座標＜ｍＬＶ−σＬＶ
である左エッジを排除する（ステップ＃２４）。
【００１７】
同じ様にして、右エッジの水平方向座標の平均値ｍＲＨ及び標準偏差σＲＨを求め（ステップ＃２５）、右エッジの内で標準偏差外の大きく外れた座標、即ち
水平方向座標＞ｍＲＨ＋σＲＨ
または
水平方向座標＜ｍＲＨ−σＲＨ
である右エッジを排除する（ステップ＃２６）。
【００１８】
次に、残った右エッジの垂直方向座標の平均値ｍＲＶ及び標準偏差σＲＶを求める（ステップ＃２７）。そして、右エッジの内で標準偏差外の大きく外れた座標、即ち
垂直方向座標＞ｍＲＶ＋σＲＶ
または
垂直方向座標＜ｍＲＶ−σＲＶ
である左エッジを排除する（ステップ＃２８）。
【００１９】
以上の処理が終ったら、図１３のステップ＃８で瞳孔中心の検出を行う。ここでは瞳孔部が円形状（円形若しくは楕円形）であることを利用して最小二乗法等を用いて瞳孔中心を求める。この計算の後、計算値の確からしさをチェックするため、求められた瞳孔中心位置と各瞳孔エッジ位置をもとに瞳孔円推定誤差ＣＥＲの計算を行う（ステップ＃９）。計算の方法は、特開平４−３４７１３１号公報において提案されている様に、二乗誤差を用いて行う。そして、求められた瞳孔円推定誤差ＣＥＲが確からしいとするしきい値ＣＴ 以下かどうかをチェックし（ステップ＃１０）、ＣＴ 以下ならば求められた瞳孔中心位置とＰ像位置に基づいて眼球回転角の計算を行い（ステップ＃１２）、視線検出を終了する。
【００２０】
また、上記ステップ＃１０で瞳孔円推定誤差ＣＥＲがＣＴ よりも大きかった場合は、瞳孔エッジの中に未だ偽エッジが多く含まれていたとして、偽エッジの更なる排除、即ち「瞳孔円修正」を行い（ステップ＃１１）、再び瞳孔中心の計算（ステップ＃８）に戻る。
【００２１】
図１８は上記ステップ＃１１における「瞳孔円修正」を説明するフローチャートである。
【００２２】
図１８において、シーケンスコントローラ１は、まずこの瞳孔円修正が１回目（初めての修正）かどうかをチェックする（ステップ＃３１）。１回目ならば、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃３３）、エッジを１個抜く（ステップ＃３５）。ここでエッジを抜く順は特に考慮せず、とりあえずは左エッジから抜いていくものとし、さらに左エッジ内で抜く順番はシーケンスコントローラ内のメモリに保存されている順（通常は抽出された順）とする。
【００２３】
また、ステップ＃３１で瞳孔円修正が１回目でない場合、即ち１回目もしくは２回目以降の円修正後、図１３のステップ＃８に戻り、その後再度ステップ＃１０で瞳孔円推定誤差ＣＥＲがしきい値ＣＴ 以下でなく、再びステップ＃１１で「瞳孔円修正」を行う場合、求められた最新の瞳孔円推定誤差ＣＥＲがエッジを抜く前の瞳孔円推定誤差ＣＥＲ、即ちＣＥＲ０ よりも小さくなっている（これは抜いたエッジが偽エッジであり、真円に近づいていることを意味する）かどうかをチェックする（ステップ＃３２）。ここで、「ＣＥＲ＜ＣＥＲ０ 」でなければ、抜いたエッジは偽エッジでなかったとしてもとに戻し（ステップ＃３４）、順番に次のエッジを抜く（ステップ＃３５）。
【００２４】
また、上記ステップ＃３２において、「ＣＥＲ＜ＣＥＲ０ 」であった場合は、抜いたエッジはそのままにして、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃３３）、やはり順番に次のエッジを抜き（ステップ＃３５）、図１３のステップ＃８へ戻る。
【００２５】
【発明が解決しようとする課題】
上記従来例では、統計量によるエッジ排除においては、各エッジの水平方向座標及び垂直方向座標に対する統計量により行っているが、この方法では、左エッジ若しくは右エッジの内の大きく外れたエッジを排除することになり、それが偽エッジであれば良いが、正しいエッジを抜いてしまうことも多い。
【００２６】
例えば図１７において、垂直方向の統計量の排除を行うと、ｅ６１，ｅ６２などの正しい瞳孔エッジが排除されることになる。従って、この後瞳孔中心を求める際、正しいエッジが少なくなることによって瞳孔中心位置の検出誤差が大きくなっていまい、最終的な眼球回転角も本当の値と外れることにもなる。
【００２７】
次に、別の従来例の課題について説明する。
【００２８】
図１９は、従来の視線検出装置の一連の動作（図１３に対応）を示すフローチャートの他の例である。なお、該視線検出装置の電気的構成は図１２と同様であるので同一の符号を付して説明するが、ここではその図示は省略する。
【００２９】
図１９において、シーケンスコントローラ１は、まずＩＲＥＤ２，３を観察者の眼球に向けて点灯させる（ステップ＃４１）。次に、その時の眼球像を撮像素子５によって読み込み、Ａ／Ｄコンバータ６を介してディジタル化して画像信号として内部のＲＡＭに格納する（ステップ＃４２）。そして、前記画像信号を処理してＰ像を抽出する（ステップ＃４３）。
【００３０】
Ｐ像の抽出の仕方としては、Ｐ像は明るく、その出力は急峻であることを利用して、信号が一定レベル以上で、しかも傾きが大きいものをＰ像と見なす。例えば眼球像が前述の図１４であったとする。この眼球像において、Ｐ像はａとｂであるが、これらを検出する為にＰ像条件を、信号レベルがＬ１ （図１５参照）以上であり、傾きが一定値以上であるとすると、Ｐ像ａ，ｂは水平ラインｙ１ で、図１５の様に条件を満たし、それらの位置はＬ１ を越える部分の重心演算等によってＩＰａ，ＩＰｂとして求められる。
【００３１】
次に、シーケンスコントローラ１は画像信号を処理して瞳孔エッジを抽出する（ステップ＃４４）。
【００３２】
瞳孔エッジの抽出の仕方としては、瞳孔部分は暗く、虹彩部分がそれよりも明るいことを利用して、信号レベルが一定値レベル（これを図１５に示す様にＬ２ とする）であり、しかも一定期間以上傾きが継続する場合のＬ２ との交点を瞳孔エッジとみなすものとする。
【００３３】
例えば、眼球像が前述の様に図１４であった場合の水平ラインｙ１ における瞳孔エッジは、図１５に示すｅ１ ，ｅ６ が適正な瞳孔エッジとなる。しかしながら、Ｐ像ａ，ｂの裾野も瞳孔エッジの条件を満たしてしまうので、ｅ２ ，ｅ３ 、ｅ４ ，ｅ５ も本当は瞳孔エッジで無いにも拘らず瞳孔エッジとして処理される。従って、これを避ける為に、特開平６−１４８５０９号公報において提案されている様に、瞳孔エッジ抽出後、Ｐ像周辺の一定領域内にある瞳孔とみなしたエッジを取り除く（ステップ＃４５）。
【００３４】
ここで、このＰ像周辺の偽エッジ以外にも、まつ毛やその他種々のノイズによって偽エッジが発生する。図１７の黒点は、前述した様に検出され得る偽エッジを含めた全てのエッジを表している。これら偽エッジを排除するために、特開平４−３４７１３２号公報において提案されている様に、シーケンスコントローラ１は、Ｐ像位置情報に基づいて、確からしいエッジの座標範囲を限定する（ステップ＃４６）。
【００３５】
図２０はこの「瞳孔指定範囲の設定」を示すサブルーチンである。
【００３６】
図２０において、２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、瞳孔指定範囲を
ＩＳ１ ←ＩＰ１ −２０
ＩＳ２ ←ＩＰ２ ＋２０
ＪＳ１ ←（ＪＰ１ ＋ＪＰ２ ）／２−４０
ＪＳ２ ←（ＪＰ１ ＋ＪＰ２ ）／２＋２０
に設定する。ここで、ＩＳ１ は瞳孔指定範囲の左限，ＩＳ２ は右限，ＪＳ１ は上限，ＪＳ２ は下限を表すものとする。
【００３７】
これによれば、設定範囲は画面上で長方形となり、図１４に示す様に画像に対して範囲Ｆのようになる。
【００３８】
図２０のフローチャート終了後は、図１９におけるステップ＃４７において、「瞳孔指定範囲外の瞳孔エッジの排除」を行う。
【００３９】
図２１はこの「瞳孔指定範囲外の瞳孔エッジの排除」を示すサブルーチンである。
【００４０】
図２１において、図１９のステップ＃４４で抽出された瞳孔エッジの内のステップ＃４５における「Ｐ像周辺の瞳孔エッジの排除」後の全てのエッジに対して、「水平方向座標＜ＩＳ１ 」となるエッジ，「水平方向座標＞ＩＳ２ 」となるエッジを排除する（ステップ＃７１，＃７２）。そして、残ったエッジに対してさらに「垂直方向座標＜ＪＳ１ 」となるエッジ，「垂直方向座標＞ＪＳ２ 」となるエッジを排除する（ステップ＃７３，＃７４）。
【００４１】
以上の処理が終ったら、図１９のステップ＃４８で瞳孔中心の検出を行う。ここでは瞳孔部の形状が円形（楕円形も含む）であることを利用して、最小二乗法等を用いて瞳孔中心を求める。この計算の後、計算値の確からしさをチェックするため、求められた瞳孔中心位置と各瞳孔エッジ位置をもとに瞳孔円推定誤差ＣＥＲの計算を行う（ステップ＃５０）。計算の方法は、特開平４−３４７１３１号公報において提案されている様に、二乗誤差を用いて行う。
【００４２】
そして、求められた瞳孔円推定誤差ＣＥＲに対して確からしいとするしきい値ＣＴ 以下かどうかをチャックし（ステップ＃５１）、しきい値ＣＴ 以下ならば求めた瞳孔中心位置とＰ像位置に基づいて眼球回転角の計算を行い（ステップ＃５２）、視線検出を終了する。
【００４３】
また、上記ステップ＃５０で瞳孔円推定誤差ＣＥＲがＣＴ よりも大きかった場合は、瞳孔エッジの中に未だ偽瞳孔エッジ（偽エッジとも記す）が多く含まれていたとして、偽エッジの更なる排除、即ち「瞳孔円修正」（例えば図１８）を行い（ステップ＃５１）、再び瞳孔中心の計算（ステップ＃４８）に戻る。
【００４４】
ところで、瞳孔は円形（若しくは楕円形）であるので、偽エッジ排除のための瞳孔指定範囲も円形もしくは楕円形であるのが望ましい。
【００４５】
しかしながら、上記従来例では、上記瞳孔指定範囲が図１４の範囲Ｆの様に、長方形もしくは正方形となっており、ｅ２０，ｅ２１の様に、瞳孔中心から遠く離れたところの、上記長方形の４隅にある明らかな偽エッジもここで排除しきれないことになる。従って、瞳孔中心の計算を行っても、その後で必ず瞳孔円修正を行わなければならず、演算時間の長時間化につながる。
【００４６】
また、その瞳孔円修正に関しても、本来は最も偽エッジである可能性の高いものから抜いていくのが望ましいにもかかわらず、エッジを抜く順番は単に抽出された順のままであり、このままでは効率的な処理であるとはいえない。
【００４７】
（発明の目的）
本発明の目的は、偽瞳孔エッジの排除を効率的かつ適正に行い、精度の良いしかも高速処理の視線検出を行うことのできる視線検出装置及び光学機器を提供することにある。
【００４８】
【課題を解決するための手段】
上記目的を達成するために、請求項１，３及び９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部の形状を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からのエッジ毎の距離情報に対する統計的処理を施し、すなわち平均値と標準偏差を用い、不適当なエッジを排除して瞳孔円を算出する瞳孔円算出手段を設けた構成にしている。
【００４９】
同じく上記目的を達成するために、請求項２，３及び９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部の形状を円形として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、前記複数のエッジを所定の基準に基づいて複数のグループに分けると共に、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からの前記エッジグループ毎の距離情報に対する統計量に基づいたグループ順にエッジを排除して瞳孔円を算出する瞳孔円算出手段を具備した構成にしている。
【００５０】
同じく上記目的を達成するために、請求項４及び９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、前記複数のエッジのうち、前記仮の瞳孔中心位置を中心として描かれる円形状の領域内に含まれるエッジ情報から瞳孔円を算出する瞳孔円算出手段を具備した構成にしている。
【００５１】
同じく上記目的を達成するために、請求項５〜９記載の本発明は、観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備え、前記演算手段内に、算出した瞳孔円の信頼性が低い場合は、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、前記複数のエッジの中より、該仮の瞳孔中心位置からのエッジ毎の距離情報に基づいた順にエッジを排除して瞳孔円を算出する瞳孔円算出手段を具備した構成にしている。
【００５２】
具体的には、前記瞳孔円算出手段は、前記複数のエッジの中より、前記仮の瞳孔中心位置との距離の遠い順にエッジを排除したり、前記仮の瞳孔中心位置からの各エッジまでの距離の平均値との差に基づいてエッジを排除して、瞳孔円を算出するようにしている。
【００５３】
【発明の実施の形態】
以下、本発明を図示の実施の形態に基づいて詳細に説明する。
【００５４】
図１及び図２は本発明の実施の第１の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１３のステップ＃７の「統計量による排除」及びステップ＃１１の「瞳孔円修正」以外の処理は、該図１３と同様であるので、ここではその詳細は省略する。
【００５５】
まず、図１のフローチャートにより、「統計量による排除」の動作について説明する。
【００５６】
瞳孔は円形であるので、正しいエッジは円形にばらついている筈であり、エッジの統計量による排除も円形を前提として処理すべきである。よって、検出されたＰ像位置をもとに仮の瞳孔中心位置を推定し、そこからのエッジ毎の距離を処理情報として統計量の計算を行うものとする。
【００５７】
図１において、シーケンスコントローラ１は、まず、Ｐ像の位置をもとに仮の瞳孔中心位置Ｃ0 を決める。２個のＰ像座標のうち、左側を（ＩＰ1 ，ＪＰ1 ）、右側を（ＩＰ2 ，ＪＰ 2 ）として、仮の瞳孔中心位置Ｃ0 の座標（ＩＣ・ＪＣ）を
ＩＣ←（ＩＰ1 ＋ＩＰ2 ）／２
ＪＣ←（ＪＰ1 ＋ＪＰ2 ）／２−１０
とする（ステップ＃１０１）。
【００５８】
次に、エッジ毎に瞳孔中心位置Ｃ０ との距離を求める（ステップ＃１０２）。例えば、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める距離ＥＣ１ は
ＥＣ１ ＝√〔（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ 〕 …（１）
となる。
【００５９】
次に、求めた距離情報のうち、左エッジグループの瞳孔中心位置Ｃ０ との距離の平均値ｍＬＦ１ 及び標準偏差σＬＦ１ を求める（ステップ＃１０３）。そして、左エッジのうちで
Ｃ０ との距離＞ｍＬＦ１ ＋σＬＦ１
または
Ｃ０ との距離＜ｍＬＦ１ −σＬＦ１
であるエッジを排除する（ステップ＃１０４）。
【００６０】
次に、右エッジグループの瞳孔中心位置Ｃ０ との距離の平均値ｍＲＦ１ 及び標準偏差σＲＦ１ を求める（ステップ＃１０５）。そして、右エッジのうちで
Ｃ０ との距離＞ｍＲＦ１ ＋σＲＦ１
または
Ｃ０ との距離＜ｍＲＦ１ −σＲＦ１
であるエッジを排除する（ステップ＃１０６）。
【００６１】
この様にすれば、円形を前提としてエッジを排除できる。例えば、抽出された左エッジが図３における黒点（図１４の黒点位置と同じ）に示す様に存在しており、Ｐ像から求められる仮の瞳孔中心位置Ｃ０ が図３中に示す様に、半径ｒｅ６１の円の中心に位置していたとすれば、上記の統計量の計算により、偽エッジｅ５ １ は従来例と同様に排除され、正しいエッジｅ６１，ｅ６２は従来では排除されていたのが、この実施の形態では排除されないで残ることになる。
【００６２】
この様に本実施の形態により、従来に比べ正しいエッジを多く残すことができる。
【００６３】
ここで、この後の図１３のステップ＃１１「瞳孔円修正」において、左エッジと右エッジで上記統計量の計算で求めた標準偏差の大きいエッジグループを、偽エッジを多く含むグループであるとして先にエッジを抜いていくようにすれば、円修正をより効率的に行うことが出来る。
【００６４】
この「瞳孔円修正」について、図２のフローチャートにより説明する。
【００６５】
図２において、シーケンスコントローラ１は、まずこの瞳孔円修正が１回目（初めての修正）かどうかをチェックする（ステップ＃２０１）。１回目ならば、図１のステップ＃１０３，＃１０５で求められた左エッジ及び右エッジの標準偏差σＬＦ１ ，σＲＦ１ を比較し、大きい方を偽エッジを多く含むグループとして先にエッジ抜きを行うように順序を入れ換える（ステップ＃２０２）。その後、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃２０４）、エッジを並び順に１個抜く（ステップ＃２０６）。ここでは１回目のエッジ抜きなので、上記標準偏差の大きいグループの最初に存在するエッジとなる。
【００６６】
上記ステップ＃２０１で瞳孔円修正が１回目でなかった場合、即ち１回目もしくは２回目以降の円修正後、図１３のステップ＃８に戻り、その後再度ステップ＃１０で瞳孔円推定誤差ＣＥＲがしきい値ＣＴ 以下でなく、再びステップ＃１１で「瞳孔円修正」を行う場合、求めた最新の瞳孔円推定誤差ＣＥＲがエッジを抜く前の瞳孔円推定誤差ＣＥＲ、即ちＣＥＲ０ よりも小さくなっている（これは抜いたエッジが偽エッジであり、真円に近づいていることを意味する）かどうかをチェックする（ステップ＃２０３）。ここで、「ＣＥＲ＜ＣＥＲ０ 」でなければ、抜いたエッジは偽エッジでなかったとしてもとに戻し（ステップ＃２０５）、並び順に次のエッジを抜く（ステップ＃２０６）。
【００６７】
また、上記ステップ＃２０３において、「ＣＥＲ＜ＣＥＲ０ 」であった場合は、抜いたエッジはそのままにして、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃２０４）、並び順に次のエッジを抜く（ステップ＃２０６）。
【００６８】
なお、この実施の形態では、統計量によって排除される偽エッジを含んだままの標準偏差値を比較しているが、「統計量による排除」を行った後で残ったエッジに対して再度標準偏差を計算し、その値を比較してもよい。
【００６９】
（実施の第２の形態）
上記実施の第１の形態では、前述の（１）式の様にして平方根をとって、仮の瞳孔中心位置Ｃ０ （ＩＣ，ＪＣ）からの距離を算出しているが、演算上，平方根の計算は時間がかかるものである。
【００７０】
一方、上記距離情報は符号が正なので、その大小関係は（距離）２ と同じである。よって、平方根をとらず（距離）２ のままで平均値や標準偏差の演算を行えば、全体の演算時間短縮につながり、かつ、上記実施の第１の形態と同様の効果を持つ。これを本発明の実施の第２の形態として、以下に説明する。
【００７１】
図４は本発明の実施の第２の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１３のステップ＃７の「統計量による排除」以外の処理は、該図１３と同様であるので、ここではその詳細は省略する。
【００７２】
図４において、シーケンスコントローラ１は、まず、Ｐ像の位置をもとに仮の瞳孔中心位置Ｃ０ を決める。２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、仮の瞳孔中心位置Ｃ０ の座標（ＩＣ，ＪＣ）を
ＩＣ←（ＩＰ１ ＋ＩＰ２ ）／２
ＪＣ←（ＪＰ１ ＋ＪＰ２ ）／２−１０
とする（ステップ＃３０１）。
【００７３】
次に、エッジ毎に（瞳孔中心位置Ｃ０ との距離）２ を求める（ステップ＃３０２）。算出方法は、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める値ＥＣ１ ’は
ＥＣ１ ’＝（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ ………（２）
の様にして求められる。
【００７４】
次に、求めた（瞳孔中心位置Ｃ０ との距離）２ のうち、左エッジグループの（瞳孔中心位置Ｃ０ との距離）２ の平均値ｍＬＦ２ 及び標準偏差σＬＦ２ を求める（ステップ＃３０３）。そして、左エッジのうちで
（Ｃ０ との距離）２ ＞ｍＬＦ２ ＋σＬＦ２
または
（Ｃ０ との距離）２ ＜ｍＬＦ２ −σＬＦ２
であるエッジを排除する（ステップ＃３０４）。
【００７５】
次に、右エッジグループの（瞳孔中心位置Ｃ０ との距離）２ の平均値ｍＲＦ２ 及び標準偏差σＲＦ２ を求める（ステップ＃３０５）。そして、右エッジのうちで
（Ｃ０ との距離）２ ＞ｍＲＦ２ ＋σＲＦ２
または
（Ｃ０ との距離）２ ＜ｍＲＦ２ −σＲＦ２
であるエッジを排除する（ステップ＃３０６）。
【００７６】
（実施の第３の形態）
上記実施の第１及び第２の形態では、「統計量による排除」は左エッジと右エッジ別々に行っているが、エッジ全体に対してこれを行う方法も考えられる。これを本発明の実施の第３の形態として、以下に説明する。
【００７７】
図５は本発明の実施の第３の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１３のステップ＃７の「統計量による排除」以外の処理は、該図１３と同様であるので、ここではその詳細は省略する。
【００７８】
図５において、シーケンスコントローラ１は、まず、Ｐ像の位置をもとに仮の瞳孔中心位置Ｃ０ を決める。２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、仮の瞳孔中心位置Ｃ０ の座標（ＩＣ，ＪＣ）を
ＩＣ←（ＩＰ１ ＋ＩＰ２ ）／２
ＪＣ←（ＪＰ１ ＋ＪＰ２ ）／２−１０
とする（ステップ＃４０１）。
【００７９】
次に、エッジ毎に瞳孔中心位置Ｃ０ との距離を求める（ステップ＃４０２）。求め方は、上記実施の第１の形態と同様であるとする。次に、エッジ全体の瞳孔中心位置Ｃ０ との距離の平均値ｍＦ及び標準偏差σＦを求める（ステップ＃４０３）。そして、全エッジのうちで
Ｃ０ との距離＞ｍＦ＋σＦ
または
Ｃ０ との距離＜ｍＦ−σＦ
であるエッジを排除する（ステップ＃４０４）。
【００８０】
上記の実施の第１〜第３の形態によれば、検出されたＰ像の位置を基にして仮の瞳孔中心位置Ｃ０ を設定し、ここから各瞳孔エッジに対する距離情報を求め、求めた各距離情報に対する統計的処理を施すことによって偽エッジを排除するようにした為、正しいエッジが円形（若しくは楕円形）に存在することを前提とした排除となり、排除されるエッジが偽エッジのみとなる可能性が高くなり、従来に比べてより効果的なエッジ排除が行うことができるようになった。
【００８１】
また、瞳孔中心演算後の瞳孔円修正において、左エッジと右エッジで上記統計量の計算で求めた標準偏差の大きいエッジグループを、偽エッジを多く含むグループであるとして先にエッジを抜いていくようにしたので、瞳孔円修正をより効果的に行うことが出来、演算時間の短縮および視線検出成功率アップを達成できた。
【００８２】
なお、上記の実施の各形態では、複数のエッジを右エッジと左エッジに分けているが、仮の瞳孔中心位置Ｃ０ から遠い方のグループと近いグループに分けたり、上エッジ，下エッジに分けたり、或いは、撮像素子面の上半分，下半分に、又は右半分，左半分等、複数のグループに分けることも可能である。
【００８３】
（実施の第４の形態）
図６は本発明の実施の第４の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１９のステップ＃４６の「瞳孔指定範囲の設定」，ステップ＃４７の「瞳孔指定範囲外の瞳孔エッジの排除」，ステップ＃５１の「瞳孔円修正」以外の処理は、該図１９と同様であるので、ここではその詳細は省略する。
【００８４】
図６において、システムコントローラ１は、まずＰ像の位置を基に仮の瞳孔中心位置を決める。２個のＰ像座標のうち、左側を（ＩＰ１ ，ＪＰ１ ）、右側を（ＩＰ２ ，ＪＰ２ ）として、仮の瞳孔中心位置座標（ＩＣ，ＪＣ）を
ＩＣ←（ＩＰ１ ＋ＩＰ２ ）／２
ＪＣ←（ＪＰ１ ＋ＪＰ２ ）／２−１０
とする（ステップ＃５０１）。
【００８５】
次に、上記の仮の瞳孔中心位置を中心とした円形の領域が瞳孔指定範囲となる様に、その半径Ｒを２０に設定する（ステップ＃５０２）。
【００８６】
上記の半径Ｒは、ここでは固定値にしたが、Ｐ像間隔から求められている像倍率を基にした計算式により求めることもできる。この半径Ｒを決めた後、図１９のステップ＃４７へリターンする。
【００８７】
図７は図１４と同じ眼球像に対して、本実施の形態の瞳孔指定範囲を当てはめたものである。
【００８８】
図８は、本発明の実施の第４の形態において、図１９のステップ＃４７に進んだ際に実行される「瞳孔指定範囲外の瞳孔エッジの排除」の動作を示すフローチャートである。
【００８９】
図８において、シーケンスコントローラ１は、まずエッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出する（ステップ＃６０１）。例えば、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める距離ＥＣ１ は
ＥＣ１ ＝√〔（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ 〕 …（３）
となる。求めた各エッジの距離は瞳孔指定範囲の半径Ｒと比較して
距離＞Ｒ
となるエッジを偽エッジとして排除して（ステップ＃６０２）、図１９のステップ＃４８へリターンする。
【００９０】
これより、図７においては、ｅ２０，ｅ２１など、従来（図１４）に比べて全部で８個余計に偽エッジを排除することができる。
【００９１】
図９は、本発明の実施の第４の形態において、図１９のステップ＃５１に進んだ際に実行される「瞳孔円修正」の動作を示すフローチャートである。
【００９２】
図３を見ても分かるように、偽エッジはまつ毛や眼鏡ゴースト等によるものが殆どであり、その位置は通常、瞳孔円の外側に存在する。よって、瞳孔中心位置から離れているエッジほど偽エッジである可能性が高いと考えて良い。これを利用して、前記の仮の瞳孔中心位置（本当の瞳孔中心位置に近いはず）を用いて、この座標との距離の遠い順に瞳孔エッジを抜いていけば瞳孔円修正、すなわち偽エッジ抜きが効率的に行われる。
【００９３】
図９において、シーケンスコントローラ１は、まずこの瞳孔円修正が１回目（初めての修正）かどうかをチェックする（ステップ＃７０１）。１回目ならば、エッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出し値の大きい（すなわち遠い）順に並べ換える。
【００９４】
ここで、もしエッジが抽出条件によって右方向エッジグループ，左方向エッジグループ等、複数のグループに分けられている場合は、その各グループ内でのみの順番の並べ換えでもよい。
【００９５】
その後、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃７０４）、エッジを並び順に１個抜く（ステップ＃７０６）。ここでは１回目のエッジ抜きになるので、座標（ＩＣ，ＪＣ）から一番遠いエッジを抜くことになる。
【００９６】
また、上記ステップ＃７０１で瞳孔円修正が１回目でなかった場合、すなわち１回目もしくは２回目以降の円修正後、図１９のステップ＃４８に戻り、その後再度ステップ＃５１で瞳孔円推定誤差ＣＥＲがしきい値ＣＴ 以下でなく、再びステップ＃５１で「瞳孔円修正」を行う場合、求めた最新の瞳孔円推定誤差ＣＥＲがエッジを抜く前の瞳孔円推定誤差ＣＥＲ、すなわちＣＥＲ０ よりも小さくなっている（これは抜いたエッジが偽エッジであり、真円に近づいていることを意味する）かどうかをチェックする（ステップ＃７０３）。ここで、「ＣＥＲ＜ＣＥＲ０ 」でなければ抜いたエッジは偽エッジでなかったとしてもとに戻し（ステップ＃７０５）、並び順に次のエッジを抜く（ステップ＃７０６）。
【００９７】
また、上記＃７０３において、「ＣＥＲ＜ＣＥＲ０ 」であった場合は、抜いたエッジは抜いたままにして、瞳孔円推定誤差ＣＥＲをＣＥＲ０ として退避させ（ステップ＃７０４）、並び順に次のエッジを抜く（ステップ＃７０６）。
【００９８】
なお、上記の実施の形態では、仮の瞳孔中心位置を中心とした円形の領域が瞳孔指定範囲となる様に、その半径Ｒを２０に設定する例を示しているが、これに限定されるものではなく、例えば仮の瞳孔中心位置からのエッジ毎の距離の平均距離を、又は該平均距離との各エッジ差を基に、半径Ｒを設定する様にしてもよい。
【００９９】
この実施の第４の形態によれば、Ｐ像位置を用いて仮の瞳孔中心位置を推定し、ここからの距離によって決められる円形の領域を偽エッジ排除のための瞳孔指定範囲としたので、従来に比べ、偽エッジをより多くより確実に排除することができる。
【０１００】
また、瞳孔円修正においても、仮の瞳孔中心位置（本当の瞳孔中心位置に近いはず）から離れているエッジほど偽エッジである可能性が高いとみなして、ここから距離の遠い順に瞳孔エッジを抜いていくようにしたので、従来に比べ円修正を効率的に行えるようになった。
【０１０１】
（実施の第５の形態）
上記実施の第４の形態では、図１９のステップ＃５１へ進んだ際に実行される「瞳孔円修正」において、仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出してエッジの並べ換えを行っているが、ステップ＃４７の「瞳孔指定範囲外の瞳孔エッジの排除」において、既に（ＩＣ，ＪＣ）からの距離を算出しているので、このサブルーチン内でエッジの並べ換えを済ませておけば、「瞳孔円修正」が行われる場合に限って、距離の算出に要する時間を半分に減らすことができる。これを本発明の実施の第５の形態として、以下に説明する。
【０１０２】
図１０は本発明の実施の第５の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１９のステップ＃５１の「瞳孔円修正」以外の処理は、該図１９と同様であるので、ここではその詳細は省略する。
【０１０３】
図１０において、シーケンスコントローラ１は、まずエッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離を算出する（ステップ＃８０１）。算出方法は、上記実施の第１の形態と同じであるとする。
【０１０４】
求められた各エッジの距離は瞳孔指定範囲の半径Ｒと比較して
距離＞Ｒ
となるエッジを偽エッジとして排除する（ステップ＃８０１）。そして、排除されなかった残りのエッジに対してここで上記距離の遠い順に並べ換えておき（ステップ＃８０３）、図１９のステップ＃４８へリターンする。
【０１０５】
（実施の第６の形態）
上記実施の第４及び第５の形態では、いずれも上記（３）のようにして平方根をとって座標（ＩＣ，ＪＣ）からの距離を算出しているが、演算上、平方根の計算は時間がかかるものである。一方、上記距離情報は符号が正なので、その大小関係は（距離）２ と同じである。よって、平方根をとらず（距離）２ のままで半径Ｒ等との比較や並べ換えを行えば、全体の演算時間短縮につながり、かつ、上記実施の各形態と効果は同様となる。これを本発明の実施の第６の形態として、以下に説明する。
【０１０６】
図１１は本発明の実施の第６の形態に係る視線検出装置の主要部分の動作を示すフローチャートである。なお、該視線検出装置の電気的構成は、上記図１２と同様であり、又該視線検出装置の一連の動作は、図１９のステップ＃４５の「瞳孔指定範囲の設定」は上記実施の第４の形態と同様（図６）であり、図１９のステップ＃４７の「瞳孔指定範囲の瞳孔エッジの排除」以下の図１１に示す通りである。その他の動作は図１９と同様であるので、その詳細は省略する。
【０１０７】
図１１において、シーケンスコントローラ１は、まずエッジ毎に仮の瞳孔中心位置座標（ＩＣ，ＪＣ）からの距離の二乗を算出する（ステップ＃９０１）。算出方法は、あるエッジの座標が（ＩＥ１ ，ＪＥ１ ）であったとすると、求める距離の二乗のＥＣ１ ’は
ＥＣ１ ’＝（ＩＣ−ＩＥ１ ）２ ＋（ＪＣ−ＪＥ１ ）２ ……（４）
のようにして求められる。
【０１０８】
求められた各エッジの（距離）２ と瞳孔指定範囲の半径Ｒを用いて
（距離）２ ＞Ｒ２
となるエッジを偽エッジとして排除する（ステップ＃９０２）。そして、排除されなかった残りのエッジに対してここで上記（距離）２ の大きい順に並べ換えておき（ステップ＃９０３）、図１９のステップ＃４８へリターンする。
【０１０９】
上記実施の第４〜第６の実態によれば、Ｐ像位置を用いて仮の瞳孔中心位置を推定し、ここからの距離によって決められる円形（若しくは楕円形）の領域を偽エッジ排除のための瞳孔指定範囲とした為、従来に比べ、偽エッジをより多くより確実に排除することができる。
【０１１０】
また、瞳孔中心の検出後の推定円修正においても、上記仮の瞳孔中心位置から離れているエッジほど偽エッジである可能性が高いとみなして、距離の遠い順に瞳孔エッジを抜いていくようにしたので、従来に比べ上記の瞳孔円修正を効率的に行えるようになった。
【０１１１】
（発明と実施の形態の対応）
上記実施の各形態において、ＩＲＥＤ２，３及びＩＲＥＤドライバ４が本発明の照明手段に、撮像素子５が本発明の受光手段に、シーケンスコントローラ１が演算手段，瞳孔円算出手段に、それぞれ相当する。また、請求項１等に記載の円形状とは、円形のみならず、楕円形を含むものである。
【０１１２】
以上が実施の形態の各構成と本発明の各構成の対応関係であるが、本発明は、これら実施の形態の構成に限定されるものではなく、請求項で示した機能、又は実施の形態がもつ機能が達成できる構成であればどのようなものであってもよいことは言うまでもない。
【０１１３】
（変形例）
本発明は、銀塩カメラやビデオカメラ、更には電子スチルカメラ等、各種のカメラに適用できるものである。さらには、ディスプレイを有する機器や操作パネルを有する機器（ディスプレイや操作パネルを注視するオペレータ等の視線検出に用いることが可能なため）等にも適用可能である。その他の光学機器や他の装置、更には構成ユニットとしても適用することができるものである。
【０１１４】
また、本発明は、以上の実施の各形態、又はそれらの技術を適当に組み合わせた構成にしてもよい。具体的には、実施の第１〜第３の実施の形態の特徴とする処理を施した後に、実施の第４〜第６の形態の特徴とする処理を行うような視線検出装置とすることにより、より効果的に偽エッジの排除を行うことが可能となる。
【０１１５】
【発明の効果】
以上説明したように、本発明によれば、複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からのエッジ毎の距離情報に対する統計的処理を施し、すなわち平均値と標準偏差を用い、不適当なエッジを排除して瞳孔円を算出したり、
複数のエッジを所定の基準に基づいて複数のグループに分けると共に、複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からの前記エッジグループ毎の距離情報に対する統計量（例えば、標準偏差）に基づいたグループ順にエッジを排除して瞳孔円を算出したり、
複数の角膜反射像の位置から仮の瞳孔中心位置を求め、複数のエッジのうち、該仮の瞳孔中心位置を中心として描かれる円形状の領域内に含まれるエッジ情報から瞳孔円を算出したり、
算出した瞳孔円の信頼性が低い場合は、複数の角膜反射像の位置から仮の瞳孔中心位置を求め、複数のエッジの中より、該仮の瞳孔中心位置からのエッジ毎の距離情報に基づいた順にエッジを排除して瞳孔円を算出するようにしている。
【０１１６】
よって、偽瞳孔エッジの排除を効率的かつ適正に行い、精度の良いしかも高速処理の視線検出を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の第１の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図２】同じく本発明の実施の第２の形態に係る視線検出装置の瞳孔円修正の動作を示すフローチャートである。
【図３】図２の動作を助ける為の瞳孔円及び複数のエッジを示す図である。
【図４】本発明の実施の第２の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図５】本発明の実施の第３の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図６】本発明の実施の第４の形態に係る視線検出装置の瞳孔指定範囲の設定の動作を示すフローチャートである。
【図７】図６の動作を助ける為の瞳孔円及び複数のエッジを示す図である。
【図８】本発明の実施の第４の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図９】同じく本発明の実施の第４の形態に係る視線検出装置の瞳孔円修正の動作を示すフローチャートである。
【図１０】本発明の実施の第５の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図１１】本発明の実施の第６の形態に係る視線検出装置の統計量による排除の動作を示すフローチャートである。
【図１２】本発明及び従来の視線検出装置の電気的構成の要部を示すブロック図である。
【図１３】図１２の視線検出装置の一連の動作を示すフローチャートである。
【図１４】図１２の撮像素子に投影される眼球像を示す図である。
【図１５】図１４に示した撮像素子上のＰ像が存在するラインの画像出力及び瞳孔エッジの抽出について説明する為の図である。
【図１６】従来の第１の視線検出装置の統計量による排除の動作を示すフローチャートである。
【図１７】図１６の動作をエッジ排除について説明する為の図である。
【図１８】
同じく従来の第１の視線検出装置の瞳孔円修正の動作を示すフローチャートである。
【図１９】従来の第２の視線検出装置の一連の動作を示すフローチャートである。
【図２０】同じく従来の第２の視線検出装置の瞳孔指定範囲の設定の動作を示すフローチャートである。
【図２１】同じく従来の第２の視線検出装置の瞳孔指定範囲外の瞳孔エッジの排除の動作を示すフローチャートである。
【符号の説明】
１ シーケンスコントローラ
２，３ ＩＲＥＤ
４ ＩＲＥＤドライバ
５ 撮像素子
Claims (9)
- 観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部の形状を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備えた視線検出装置において、
前記演算手段は、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からのエッジ毎の距離情報に対する統計的処理を施し、不適当なエッジを排除して瞳孔円を算出する瞳孔円算出手段を有することを特徴とする視線検出装置。 - 観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部の形状を円形として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備えた視線検出装置において、
前記演算手段は、前記複数のエッジを所定の基準に基づいて複数のグループに分けると共に、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、該仮の瞳孔中心位置からの前記エッジグループ毎の距離情報に対する統計量に基づいたグループ順にエッジを排除して瞳孔円を算出する瞳孔円算出手段を有することを特徴とする視線検出装置。 - 前記統計的処理とは、仮の瞳孔中心位置からのエッジ毎の距離情報に対する平均値と標準偏差であることを特徴とする請求項１記載の視線検出装置。
- 観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備えた視線検出装置において、
前記演算手段は、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、前記複数のエッジのうち、前記仮の瞳孔中心位置を中心として描かれる円形状の領域内に含まれるエッジ情報から瞳孔円を算出する瞳孔円算出手段を有していることを特徴とする視線検出装置。 - 観察者の眼球を照明する複数の照明手段と、該照明手段による観察者の眼球からの反射光を受光する受光手段と、該受光手段で得られた画像信号に基づいて、眼球像中の瞳孔エッジとみなせるエッジと前記照明手段による複数の角膜反射像の位置を抽出する抽出手段と、前記抽出された複数の角膜反射像と複数のエッジ情報から瞳孔部を円形状として扱って瞳孔円を算出し、この瞳孔円より瞳孔中心を求め、該瞳孔中心と前記複数の角膜反射像の位置より観察者の視線を検出する演算手段とを備えた視線検出装置において、
前記演算手段は、算出した瞳孔円の信頼性が低い場合は、前記複数の角膜反射像の位置から仮の瞳孔中心位置を求め、前記複数のエッジの中より、該仮の瞳孔中心位置からのエッジ毎の距離情報に基づいた順にエッジを排除して瞳孔円を算出する瞳孔円算出手段を有することを特徴とする視線検出装置。 - 前記瞳孔円算出手段は、前記複数のエッジの中より、前記仮の瞳孔中心位置との距離の遠い順にエッジを排除して瞳孔円を算出することを特徴とする請求項５記載の視線検出装置。
- 前記瞳孔円算出手段は、前記複数のエッジの中より、前記仮の瞳孔中心位置からの各エッジまでの距離の平均値との差に基づいてエッジを排除して瞳孔円を算出することを特徴とする請求項５記載の視線検出装置。
- 前記瞳孔円算出手段は、前記複数のエッジの中より、前記仮の瞳孔中心位置からの各エッジまでの距離の平均値との差の大きい順にエッジを排除して瞳孔円を算出することを特徴とする請求項７記載の視線検出装置。
- 請求項１，２，４又は５記載の視線検出装置を具備したことを特徴とする光学機器。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27992596A JP3630880B2 (ja) | 1996-10-02 | 1996-10-02 | 視線検出装置及び光学機器 |
| US08/941,378 US6036316A (en) | 1996-10-02 | 1997-09-30 | Visual axis detecting device and apparatus including visual axis detecting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27992596A JP3630880B2 (ja) | 1996-10-02 | 1996-10-02 | 視線検出装置及び光学機器 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH1099279A JPH1099279A (ja) | 1998-04-21 |
| JPH1099279A5 JPH1099279A5 (ja) | 2004-10-07 |
| JP3630880B2 true JP3630880B2 (ja) | 2005-03-23 |
Family
ID=17617828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27992596A Expired - Fee Related JP3630880B2 (ja) | 1996-10-02 | 1996-10-02 | 視線検出装置及び光学機器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3630880B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3659937B2 (ja) | 2001-07-10 | 2005-06-15 | 参天製薬株式会社 | サルの視野測定システム及び視野測定方法 |
| SG181539A1 (en) | 2009-12-07 | 2012-07-30 | Hiok Nam Tay | Auto-focus image system |
| JP5277153B2 (ja) * | 2009-12-24 | 2013-08-28 | 本田技研工業株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| SG185345A1 (en) * | 2010-05-26 | 2012-12-28 | Hiok Nam Tay | Auto-focus image system |
| JP5643662B2 (ja) * | 2011-01-17 | 2014-12-17 | 株式会社トプコン | 眼科装置 |
| US9065999B2 (en) | 2011-03-24 | 2015-06-23 | Hiok Nam Tay | Method and apparatus for evaluating sharpness of image |
| CN119344950B (zh) * | 2024-09-26 | 2025-09-26 | 南开大学 | 一种飞秒激光屈光手术切削中心定位方法及设备 |
-
1996
- 1996-10-02 JP JP27992596A patent/JP3630880B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1099279A (ja) | 1998-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3259734B1 (en) | Glare reduction | |
| JP4004634B2 (ja) | 顔映像の目位置検出装置及び方法 | |
| EP3809692B1 (en) | Imaging device provided with event-based camera | |
| WO2004077376A2 (en) | Lane tracking system employing redundant image sensing devices | |
| CN113190115B (zh) | 眼球追踪方法及虚拟现实设备 | |
| CN104021382A (zh) | 一种眼部图像采集方法及其系统 | |
| JP3630880B2 (ja) | 視線検出装置及び光学機器 | |
| CN108062763A (zh) | 目标跟踪方法及装置、存储介质 | |
| CN118614863B (zh) | 裂隙灯设备的虹膜对焦方法、装置、电子设备和存储介质 | |
| US5815240A (en) | Ophthalmologic device having means for classifying the picture data in the frame memory into the bright point regions and the mask regions | |
| US6036316A (en) | Visual axis detecting device and apparatus including visual axis detecting device | |
| US10176375B2 (en) | High speed pupil detection system and method | |
| JP3726122B2 (ja) | 視線検出システム | |
| US12367710B2 (en) | Line-of-sight detection device and control method for controlling the same | |
| EP0554080A1 (en) | Transient event rejection for acquisition and tracking | |
| JPH1099278A (ja) | 視線検出装置及び光学機器 | |
| JP3178747B2 (ja) | 視線検出装置 | |
| JP3219426B2 (ja) | 視線検出装置 | |
| CN106210529B (zh) | 移动终端的拍摄方法以及装置 | |
| JP2002006203A (ja) | 合焦装置及び撮像装置 | |
| JPH06254053A (ja) | 視線検出装置 | |
| JP3256294B2 (ja) | 視線検出装置および視線検出方法 | |
| US20240377883A1 (en) | Display device, control method and non-transitory computer readable medium | |
| CN118799316B (zh) | 极耳检测方法、装置、电子设备、成像系统及存储介质 | |
| CN115567766B (zh) | 立杆摄像机、图像处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |