JP7638541B2 - 瞳孔検出装置 - Google Patents

Description

実施形態は、人の画像から瞳孔を検出する瞳孔検出装置に関する。

近年、視線検出等を目的として、近赤外光源等の光源とビデオカメラを使用して得られた画像から人の瞳孔の位置を検出する装置が普及しつつある（下記特許文献１）。この装置では、瞳孔を相対的に明るくする傾向を有する光を対象者の顔に照射して画像（明瞳孔画像）を取得し、瞳孔を相対的に暗くする傾向を有する光を対象者の顔に照射して画像（暗瞳孔画像）を取得する。その後、それらの画像を利用して差分画像を算出することにより、対象者の瞳孔を検出する。

このような差分画像に基づく瞳孔検出の方法においては、一般には、明瞳孔画像と暗瞳孔画像を取得するタイミングには時間差があるため、両画像の取得の間に対象者の頭部が移動すると、瞳孔も移動するため、明瞳孔画像中の瞳孔像と暗瞳孔画像中の瞳孔像に位置ずれが生じ、瞳孔の検出精度に限界が生じる。このような問題を改善する方法として、明瞳孔画像及び暗瞳孔画像から角膜反射像を検出して、角膜反射像の位置を基準に位置補正してから差分画像を生成する方法が用いられている（下記特許文献２参照。）。また、鼻孔の位置を利用した差分画像の生成方法も用いられている（下記特許文献３参照。）。

特開２００５－１８５４３１号公報 特開２００８－２９７０２号公報 特開２００７－２６８０２６号公報

上述した従来の方法では、対象者において高速な眼球回転が生じた際には、画像に写る瞳孔の形状自体が変化するため、明瞳孔画像と暗瞳孔画像とを位置合わせしても瞳孔の像が両画像間で一致しないため、差分画像を用いた場合の瞳孔の検出精度が十分ではない。高速度カメラを利用して明瞳孔画像と暗瞳孔画像の時間差をできるだけ小さくすることも考えられるが、高速度カメラを導入することはコスト面において困難な場合がある。

本実施形態は、上記課題に鑑みて為されたものであり、対象者の状態に関わらず瞳孔の検出精度を容易に高めることが可能な瞳孔検出装置を提供することを目的とする。

上記課題を解決するため、本開示の一形態にかかる瞳孔検出装置は、対象者の眼を撮像することにより眼画像を取得するカメラと、カメラの開口部の外側あるいは内側に設けられてカメラに対して対象者の瞳孔を第１の中心波長の光で照らす第１の光源と、カメラの開口部の外側あるいは内側に設けられてカメラに対して対象者の瞳孔を第１の中心波長と異なる第２の中心波長で照らす第２の光源と、眼画像を処理する演算装置とを備え、カメラは、互いに異なる少なくとも２種類の角度の直線偏光の光を透過する偏光子が、隣り合う画素毎に取り付けられたイメージセンサと、第１の中心波長の光を通過させるバンドパスフィルタと所定角度の直線偏光を透過する第１の偏光子とが組み合わされた第１の分割素子と、第２の中心波長の光を通過させるバンドパスフィルタと所定角度と異なる角度の直線偏光を透過する第２の偏光子とが組み合わされた第２の分割素子とが、開口部とイメージセンサとの間において開口部に沿って分割して設けられた光学素子と、を有し、演算装置は、眼画像のうちの隣り合う画素の輝度を基に、第１の中心波長の光に対応する輝度を計算し、計算した輝度を組み合わせて対象者の瞳孔が比較的明るく写った明瞳孔画像を取得し、眼画像のうちの隣り合う画素の輝度を基に、第２の中心波長の光に対応する輝度を計算し、計算した輝度を組み合わせて対象者の瞳孔が比較的暗く写った暗瞳孔画像を取得し、明瞳孔画像と暗瞳孔画像とを比較した比較画像を基に対象者の瞳孔像の位置を算出する。

なお、ここでいう「カメラの開口部」とは、カメラの外側からの像の光をカメラの内部のイメージセンサに取り込むための部位のことを意味し、必ずしもカメラの鏡筒の円形のレンズ部分には限定されず、カメラのレンズ部分をレンズ部分より狭い開口を有するカバー部材で覆う場合はその開口を意味する。また、開口部の形状は、円形には限定されず、長方形等の多角形、楕円形、等の様々な形状であってよい。

上記形態の瞳孔検出装置によれば、第１の光源によって第１の中心波長の光で照らされた対象者の瞳孔からの光が、光学素子の第１の分割素子を透過して所定角度の直線偏光に変換された後、イメージセンサの２種類の偏光子が取り付けられた隣り合う画素によって、その輝度が検出される。同時に、第２の光源によって第２の中心波長の光で照らされた対象者の瞳孔からの光が、光学素子の第２の分割素子を透過して所定角度と異なる角度の直線偏光に変換された後、イメージセンサの２種類の偏光子が取り付けられた隣り合う画素によって、その輝度が検出される。ここで、第１の中心波長の光で照らされた瞳孔の像は、第２の中心波長の光で照らされた瞳孔の像よりも比較的明るい。そして、演算装置によって、イメージセンサによって検出された隣り合う画素の輝度から第１の中心波長の光に対応する輝度が計算され、その輝度を組み合わせることで明瞳孔画像が取得され、イメージセンサによって検出された隣り合う画素の輝度から第２の中心波長の光に対応する輝度が計算され、その輝度を組み合わせることで暗瞳孔画像が取得され、明瞳孔画像と暗瞳孔画像を基に瞳孔像の位置が算出される。これにより、明瞳孔画像と暗瞳孔画像の取得タイミングに差が生じないので、対象者の状態に関わらず（例えば、対象者において眼球回転が生じても）瞳孔像の検出精度を容易に高めることができる。

実施形態によれば、対象者の状態に関わらず瞳孔の検出精度を容易に高めることができる。

第１実施形態にかかる瞳孔検出装置の概略構成を示す図である。 図１の照明装置を筐体の外側から見た平面図である。 図１の光学素子を筐体の外側から見た平面図である。 図１の光学素子を筐体の外側から見た平面図である。 図１の撮像素子の平面図である。 図１の制御装置のハードウェア構成を示すブロック図である。 図１の瞳孔検出装置の機能構成を示すブロック図である。 瞳孔面積Ａと明瞳孔画像における瞳孔輝度Ｌ_Ｂ及び暗瞳孔画像における瞳孔輝度Ｌ_Ｄとの関係を示すグラフである。 瞳孔面積Ａと差分画像における瞳孔輝度Ｌ_Ｓとの関係を示すグラフである。 カメラの開口部中心から光源までの距離と瞳孔輝度との関係を示すグラフである。 変形例にかかる光源及び光学素子の構成を示す平面図である。 変形例にかかる光源及び光学素子の構成を示す平面図である。

以下、図面を参照しつつ本発明に係る瞳孔検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

（第１実施形態）

図１に示されるように、本発明の第１実施形態である瞳孔検出装置１は、カメラ２と、照明装置（光源）３と、制御装置（演算装置）４と、を備えている。カメラ２は、筐体５と、筐体５内に収容されたＣＣＤ、ＣＭＯＳ等の撮像素子（イメージセンサ）６と、筐体５内に収容された対物レンズ７及び光学素子９とを有する。このカメラ２は、画像の１つのフレームの取得時間間隔が非常に短い高速度カメラであってもよいし、いわゆる中速度カメラ、低速度カメラ、又は６０Ｈｚ、３０Ｈｚ程度のフレームレートを有するカメラであってもよい。筐体５は、観察対象者の眼球Ａと対向する面に形成された円形状の開口部８を有する。対物レンズ７及び光学素子９は、筐体５の内部の開口部８と撮像素子６との間に配置されている。対物レンズ７の光軸Ｌ０は、開口部８の中心軸線と一致している。撮像素子６は、その受光面が対物レンズ７の光軸Ｌ０に対して垂直に交わるように固定されている。光学素子９は、対物レンズ７の光軸Ｌ０上において対物レンズ７の内側（撮像素子６側）に配置されている。撮像素子６は、観察対象者の眼球Ａの像を撮像することによって眼画像データを生成して制御装置４に出力する。制御装置４は、照明装置３の発光強度、点灯タイミング、及び点灯期間（発光期間）、並びにカメラ２の撮像タイミング及び撮像期間を制御する。また、制御装置４は、撮像素子６から出力された眼画像データに基づいて、画像生成処理、比較処理、瞳孔検出処理、及び角膜反射検出処理を実行する。すなわち、制御装置４は、瞳孔検出手段及び角膜反射検出手段としても機能する。

なお、開口部８の径は、対物レンズ７の径に比較して小さく、対物レンズ７の有効径と略同程度である。また、光学素子９は全体として略円形の形状を有し、対物レンズ７の有効径と略同程度の径を有する。このような構成により、観察対象者の眼球Ａ付近の像は、開口部８を経て対物レンズ７及びカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７及び光学素子９を含む光学系によって、撮像素子６の受光面に収束するように結像される。

照明装置３は、観察対象者の顔に向けて照明光を出射する。図２に示されるように、照明装置３は、ケーシング１０と、ケーシング１０に埋め込まれた光源３Ａ，３Ｂを有する。ケーシング１０は、開口部８の縁部に沿って開口部８の外側を覆うように筐体５に取り付けられている。光源３Ａ，３Ｂは、いずれも対物レンズ７の光軸Ｌ０に沿って照明光を出射するようにケーシング１０上に設けられ、開口部８の中心を基準に点対称となるように構成されている。

光源（第１の光源）３Ａは、明瞳孔画像を得るための照明光（第１の照明光）によって、観察対象者の眼部（瞳孔）を照らすための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して観察対象者の瞳孔が相対的に明るく写った画像をいう。光源３Ａは、例えば、出力光の中心波長（第１の中心波長）が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的近い第１の距離Ｄ１の位置に配置されている。具体的には、光源３Ａを構成する発光素子は、ケーシング１０上で、開口部８の外側において開口部８の縁に沿って等間隔でリング状に連続して配設されている。光源３Ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源３Ａにより照らし出される観察対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。

光源（第２の光源）３Ｂは、暗瞳孔画像を得るための照明光（第２の照明光）によって、観察対象者の眼部（瞳孔）を照らすための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して観察対象者の瞳孔が相対的に暗く映った画像をいう。光源３Ｂは、例えば、出力光の中心波長（第２の中心波長）が第１の中心波長よりも長い近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的遠い第２の距離Ｄ２の位置に配置されている。この第２の距離Ｄ２は第１の距離Ｄ１より大きい。具体的には、光源３Ｂを構成する発光素子は、ケーシング１０上で、光源３Ａから開口部８の外側に離間して等間隔でリング状に連続して配設されている。

上記の光源３Ａから観察対象者の眼球Ａに照明光が出射され、カメラ２によってその照明光で照らされた瞳孔が撮像されると明瞳孔画像が取得される。また、上記の光源３Ｂから観察対象者の眼球Ａに照明光が出射され、カメラ２によってその照明光で照らされた瞳孔が撮像されると暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、眼球Ａへの照明光がカメラ２の光軸Ｌ０から相対的に離れた位置から入射した場合には、眼球Ａの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ２に届きにくいため、瞳孔が相対的に暗く映るという性質である。

ここで、光源３Ａの出力光の第１の中心波長は、例えば、８５０ｎｍに設定され、光源３Ｂの出力光の第２の中心波長は、例えば、第１の中心波長よりも長い９４０ｎｍに設定される。ただし、明瞳孔画像取得用の光源である光源３Ａは、網膜を反射して戻ってくる光の輝度が強い点で、９００ｎｍ付近より短い出力光の波長の光源であれば、他の波長の光源を用いてもよい。同様に、暗瞳孔取得用の光源である光源３Ｂは、網膜を反射して戻ってくる光の輝度が弱い点で、９００ｎｍ付近より長い出力光の波長の光源であれば他の波長の光源を用いてもよい。一方で、長い波長の光源の発光パワーは弱くカメラの感度も一般に長波長になるに従って低くなるため、光源３Ｂは、光源３Ａに比べて２倍程度の数の発光素子を備えることが好ましい。多数の発光素子を配置する余地が無い場合には、光源３Ｂは２重のリング状に発光素子が配置された構造であってもよい。

また、光源３Ａ，３Ｂの発光強度（発光パワー）は、互いに同一の点灯期間で光源３Ａ及び光源３Ｂを発光させたときの撮影対象である観察対象者の顔面での照度が略同一になるように予め設定されている。そのために、例えば、制御装置４から光源３Ａ，３Ｂに供給される電流値あるいは電力値が予め設定される。

図３には、開口部８の内側に配置された光学素子９の構造を示す。光学素子９は、円板状の構造を有し、対物レンズ７の光軸Ｌ０がその中心近傍を通り、かつ、光軸Ｌ０に対して略垂直になるように配置されている。この光学素子９は、中心で２つに分割された半円の板状の分割素子９Ａ，９Ｂによって構成されている。分割素子９Ａは、第１の中心波長の第１の照明光を通過させるバンドパスフィルタと、開口部８の上下方向を基準にした０度の偏光方向の直線偏光を透過する第１の偏光子とが２枚重ねで組み合わされた光学素子である。分割素子９Ｂは、第２の中心波長の第２の照明光を通過させるバンドパスフィルタと、上下方向を基準にした９０度の偏光方向の直線偏光を透過する第２の偏光子とが２枚重ねで組み合わされた光学素子である。すなわち、第１の偏光子の透過する直線偏光の偏光方向と、第２の偏光子の透過する直線偏光の偏光方向とは略直交する。このような構造の光学素子９は、分割素子９Ａ，９Ｂが開口部８の開口面に沿ってその中心を水平方向に貫く中心軸（線）の両側に配置されるように、より具体的には、中心軸を基準に線対称となるように構成されている。照明装置３の光源３Ａ，３Ｂも同様に構成されている。なお、分割素子９Ａ，９Ｂを組み合わせた光学素子９の形状は円板状には限定されず、開口部８の縁の形状に対応した形状であれば、長方形状等の他の形状であってもよい。

一方、光学素子９は、図４に示すような構造であってもよい。図４に示す光学素子９は、開口部８の縁の形状に対応した連続した形状を有する分割素子９Ａ，９Ｂによって構成され、これらの分割素子９Ａ，９Ｂは、開口部８の縁に沿った境界線で２つに分割された形状を有し、分割素子９Ｂは分割素子９Ａの内側に配置されている。すなわち、分割素子９Ｂは、中心が光軸Ｌ０付近に位置する円板状の形状（円形形状）とされ、分割素子９Ａは分割素子９Ｂの外側に位置するリング状の形状とされる。このような構造の光学素子９は、照明装置３と同様に、分割素子９Ａ，９Ｂが開口部８の中心を基準に点対称となるように構成されている。照明装置３の光源３Ａ，３Ｂも同様に構成されている。なお、分割素子９Ａ，９Ｂを組み合わせた光学素子９の形状は円板状には限定されず、開口部８の縁の形状に対応した形状であれば、長方形状等の他の形状であってもよい。

図５には、開口部８の内側に配置された撮像素子６の開口部８側から見た構造を示す。撮像素子６は、光軸Ｌ０に略垂直となるように配置された受光面２０と、受光素子（図示せず）が内部に形成され、受光面２０上に二次元アレイ状に配置された複数の画素２１と、複数の画素２１のそれぞれの表面上に画素２１を覆うように配置された４種類の偏光子２２Ａ，２２Ｂ，２２Ｃ，２２Ｄとを有する。すなわち、互いに隣り合う４つの画素２１（以下、４画素群とも言う。）のそれぞれの表面に、互いに異なる種類の偏光子２２Ａ，２２Ｂ，２２Ｃ，２２Ｄが取り付けられる。偏光子２２Ａは、開口部８の上下方向に対して０度の偏光方向の直線偏光を透過する光学素子である。偏光子２２Ｂは、開口部８の上下方向に対して反時計回りに４５度回転させた偏光方向の直線偏光を透過する光学素子である。偏光子２２Ｃは、開口部８の上下方向に対して反時計回りに９０度回転させた偏光方向の直線偏光を透過する光学素子である。偏光子２２Ｄは、開口部８の上下方向に対して反時計回りに１３５度回転させた偏光方向の直線偏光を透過する光学素子である。撮像素子６はこのような構造が二次元的（図５の左右方向及び上下方向に）に繰り返されたような構造を有する。

撮像素子６の受光面２０上の４画素群の範囲は、対物レンズ７の大きさに比較して十分に小さい。従って、上記の光学素子９及び撮像素子６は、光学素子９の分割素子９Ａを透過する第１の照明光が４画素群を構成する４つの画素に同じ強度で入射し、光学素子９の分割素子９Ｂを透過する第２の照明光が４画素群を構成する４つの画素を同じ強度で入射するように、構成される。

続いて、図６及び図７を参照して、瞳孔検出装置１に含まれる制御装置４の構成について説明する。

制御装置４は、撮像素子６及び光源３Ａ，３Ｂの制御と、観察対象者の眼画像データを処理して瞳孔及び角膜反射の検出を実行するコンピュータであり得る。制御装置４は、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置４は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

図６に示されるように、制御装置４は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを備える。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭで構成される。補助記憶部１０３は、ハードディスクやフラッシュメモリなどで構成される。通信制御部１０４は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置１０５は、キーボードやマウスなどを含む。出力装置１０６は、ディスプレイやプリンタなどを含む。

後述する制御装置４の各機能要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４、入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。

図７に示されるように、制御装置４は機能的構成要素として、撮像素子駆動ユニット１１と、点灯制御ユニット１２と、検出ユニット１３とを有する。撮像素子駆動ユニット１１は、撮像素子６の撮影タイミングを制御する機能要素である。具体的には、撮像素子６を所定のフレームレート及び所定の露光時間で繰り返し撮像し、連続的に観察対象者の眼球Ａの像を表す眼画像データを取得するように制御する。点灯制御ユニット１２は、撮像素子６の撮影に合わせて、光源３Ａ，３Ｂを同時に点灯させるように点灯タイミングを制御するとともに、光源３Ａ，３Ｂの発光量を制御する機能要素である。このとき、点灯制御ユニット１２は、観察対象者の頭部に動きがある場合に瞳孔あるいは角膜反射の検出位置の精度向上のためには、光源３Ａ，３Ｂを同じ期間に点灯させることが好ましい。検出ユニット１３は、撮像素子６から出力された眼画像データを利用して、当該眼画像データにおける瞳孔及び角膜反射を検出する機能要素である。検出された瞳孔及び角膜反射に関する情報の出力先は何ら限定されない。例えば、制御装置４は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

検出ユニット１３は、機能的構成要素として、画像取得部１４と、画像計算部１６と、差分画像生成部１７と、瞳孔検出部１８と、角膜反射検出部１９、とを有する。画像取得部１４は、撮像素子６から所定のフレームレートで連続的に撮影（取得）される眼画像データを取得する。画像計算部１６は、各撮像タイミングの眼画像データを基に、明瞳孔画像の各画素の輝度値（光強度）を計算し、それらの輝度値を組み合わせることにより明瞳孔画像を取得する。また、画像計算部１６は、各撮像タイミングの眼画像データを基に、暗瞳孔画像の各画素の輝度値（光強度）を計算し、それらの輝度値を組み合わせることにより暗瞳孔画像を取得する。差分画像生成部１７は、明瞳孔画像及び暗瞳孔画像を比較した比較画像の一種としての差分画像を生成する。具体的には、差分画像生成部１７は、明瞳孔画像及び暗瞳孔画像の対応する画素間の輝度の差分を計算することにより、両画像を比較した差分画像を生成する。瞳孔検出部１８は、差分画像を利用して瞳孔像の位置を算出する機能要素である。角膜反射検出部１９は、明瞳孔画像あるいは暗瞳孔画像を利用して角膜反射像の位置を算出する機能要素である。瞳孔検出部１８及び角膜反射検出部１９により行われる処理の一例は、次の通りである。まず、瞳孔検出部１８は、差分画像を瞳孔用閾値を基準に２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔検出部１８は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、真の瞳孔輪郭の差分画像上の位置を検出し、楕円フィッティングで求まる楕円の式から瞳孔像の中心位置を算出する。また、角膜反射検出部１９は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い角膜反射用閾値で２値化し、角膜反射像の中心を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、２値化して得られた瞳孔を構成する画素の輝度平均で与えられる。角膜反射検出部１９は、角膜反射像の位置を、暗瞳孔画像を対象にして算出してもよい。

次に、画像計算部１６の機能構成について詳細に説明する。

画像計算部１６による明瞳孔画像及び暗瞳孔画像の取得の原理は次のとおりである。眼画像データの取得時に第１の分割素子９Ａ及び第２の分割素子９Ｂを透過した光は、それぞれ、互いに隣り合う４つの画素２１で構成される４画素群に同一の光強度で入射する。入射するそれぞれの光の光強度を、Ｉ（λ_ａ１），Ｉ（λ_ａ２）とすると、４画素群のうち、偏光子２２Ａ，２２Ｂ，２２Ｃ，２２Ｄが取り付けられた画素２１によって検出されるそれぞれの光強度Ｏ_ｉ（ｉ＝１～４）は、下記式で表わされる。

上記式中、偏光子２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの透過する光の偏光方向の角度をそれぞれ、θ_ｓｉで表わし、第１の分割素子９Ａ及び第２の分割素子９Ｂを透過する光の偏光方向の角度をそれぞれθ_ａ１、θ_ａ２と表している。

上記式は、行列式で表現することにより、下記式；

に変形される。このような関係から、第１の分割素子９Ａ及び第２の分割素子９Ｂのそれぞれを透過した第１及び第２の中心波長の光の光強度Ｉ（λ_ａ１），Ｉ（λ_ａ２）は、２行４列の擬似逆行列［Ｍ_ｉｊ］^＋を用いて、下記式；

によって計算される。

上記のような計算式を利用して、画像計算部１６は、眼画像データの中から各４画素群の輝度値［Ｏ_ｉ］を読み取り、輝度値［Ｏ_ｉ］と、予め設定された擬似逆行列［Ｍ_ｉｊ］^＋を用いて、４画素群に入射する第１の中心波長の光に対応する輝度値Ｉ（λ_ａ１）と、４画素群に入射する第２の中心波長の光に対応する輝度値Ｉ（λ_ａ２）とを計算する。そして、画像計算部１６は、受光面２０上の各４画素群を対象に計算した輝度値Ｉ（λ_ａ１）を組み合わせて二次元画像データを生成することにより明瞳孔画像を取得し、各４画素群を対象に計算した輝度値Ｉ（λ_ａ２）を組み合わせて二次元画像データを生成することにより暗瞳孔画像を取得する。

第１実施形態の瞳孔検出装置１の作用効果について説明する。

上述した実施形態の瞳孔検出装置１においては、光源３Ａによって第１の中心波長の光で照らされた観察対象者の瞳孔からの光が、光学素子９の第１の分割素子９Ａを透過して所定角度の直線偏光に変換された後、撮像素子６の４種類の偏光子２２Ａ，２２Ｂ，２２Ｃ，２２Ｄが取り付けられた隣り合う４画素によって、その輝度値が検出される。同時に、光源３Ｂによって第２の中心波長の光で照らされた観察対象者の瞳孔からの光が、光学素子９の第２の分割素子９Ｂを透過して上記所定角度と異なる角度の直線偏光に変換された後、撮像素子６の４種類の偏光子２２Ａ，２２Ｂ，２２Ｃ，２２Ｄが取り付けられた隣り合う４画素によって、その輝度値が検出される。ここで、第１の中心波長の光で照らされた瞳孔の像は、第２の中心波長の光で照らされた瞳孔の像よりも比較的明るい。そして、制御装置４によって、撮像素子６によって検出された隣り合う４画素の輝度値から第１の中心波長の光に対応する輝度値が計算され、その輝度値を組み合わせることで明瞳孔画像が取得され、撮像素子６によって検出された隣り合う画素の輝度値から第２の中心波長の光に対応する輝度値が計算され、その輝度値を組み合わせることで暗瞳孔画像が取得され、明瞳孔画像と暗瞳孔画像を基に瞳孔像の位置が算出される。これにより、明瞳孔画像と暗瞳孔画像の取得タイミングに差が生じないので、観察対象者の状態に関わらず（例えば、観察対象者において眼球回転が生じても）瞳孔像の検出精度を容易に高めることができる。

特に、本実施形態では、第１の分割素子９Ａの透過する光の偏光方向と、第２の分割素子９Ｂの透過する光の偏光方向とは、略直交している。この場合、撮像素子６の各画素に入射する第１の中心波長の光と第２の中心波長の光との間の偏光方向が明確に分かれているので、明瞳孔画像及び暗瞳孔画像の輝度計算の精度が向上し、結果としての瞳孔像の位置の検出精度も向上する。

また、撮像素子６は、互いに異なる４種類の角度の直線偏光の光を透過する偏光子２２Ａ，２２Ｂ，２２Ｃ，２２Ｄが、隣り合う４つの画素毎に取り付けられており、制御装置４は、眼画像データのうちの隣り合う４つの画素の輝度値を基に、第１及び第２の中心波長のそれぞれの光に対応する輝度値を計算している。この場合、受光面２０上において、第１及び第２の中心波長の光の様々な偏光方向成分を検出する複数の画素の配置バランスの均一化を図ることができる。これにより、明瞳孔画像及び暗瞳孔画像の像の均一化を図ることができ、検出する瞳孔像の位置の精度を安定化することができる。

また、光源３Ａのカメラ２の開口部８中心からの距離が、光源３Ｂの開口部８中心からの距離よりも小さくされている。このような構造により、第１の中心波長の光で照らされた瞳孔の像と、第２の中心波長の光で照らされた瞳孔の像との間の輝度差をより大きくすることができる。その結果、比較画像を用いた瞳孔像位置の検出精度をさらに向上させることができる。

また、光学素子９は、第１の分割素子９Ａ及び第２の分割素子９Ｂが開口部８を中心に点対称あるいは線対称となるように構成され、光源３Ａ及び光源３Ｂは、開口部８を中心に点対称あるいは線対称となるように構成されている。こうすれば、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度のムラを防ぐことができ、比較画像において瞳孔像のみを目立たせることができ、比較画像を用いた瞳孔像位置の検出精度を向上させることができる。

特に、光学素子９が図３に示すような構造を有する場合には、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度の上下方向のムラを防ぐことができ、比較画像を用いた瞳孔像位置の検出精度を向上させることができる。
また、光学素子９が図４に示すような構造を有する場合には、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度の二次元方向のムラを防ぐことができ、比較画像を用いた瞳孔像位置の検出精度を一層向上させることができる。

またさらに、制御装置４は、明瞳孔画像あるいは暗瞳孔画像を基に光源３Ａあるいは光源３Ｂの点灯によって生じた観察対象者の角膜反射像の位置を算出している。かかる構成によれば、角膜反射像の位置を安定して検出することができる。

本実施形態における照明装置３及び光学素子９の構成の利点について説明する。

差分画像等の比較画像を基にした瞳孔検出においては、明瞳孔画像と暗瞳孔画像との間で瞳孔像における輝度差が大きいほうが瞳孔の検出精度が高まる。また、光学系（カメラ２と照明装置３）に対して瞳孔位置が変化せず、かつ、光学系に対する視線方向も変化せず、さらには、照明装置３の光量、カメラ２の感度等が変化しなければ（「瞳孔検出条件」と呼ぶ）、瞳孔が大きいほど、明瞳孔画像における瞳孔も暗瞳孔画像における瞳孔も輝度が高くなる。図８は、瞳孔面積Ａと明瞳孔画像における瞳孔輝度Ｌ_Ｂ及び暗瞳孔画像における瞳孔輝度Ｌ_Ｄとの関係を示すグラフであり、図９は、瞳孔面積Ａと差分画像における瞳孔輝度Ｌ_Ｓとの関係を示すグラフである。このように、理想的には、次の関係式が成立する。
Ｌ_Ｂ＝ｋ_Ｂ・Ａ，
Ｌ_Ｄ＝ｋ_Ｄ・Ａ，
Ｌ_Ｓ＝ｋ_Ｓ・Ａ＝（ｋ_Ｂ－ｋ_Ｄ）・Ａ
上記関係式中、ｋ_Ｂ、ｋ_Ｄ、ｋ_Ｓは、それぞれ比例定数であり、上記「瞳孔検出条件」が成立する場合には一定値である。この関係式からも分かるように、瞳孔が大きいときは明瞳孔画像の瞳孔輝度が高くなり、差分画像においても瞳孔輝度が高くなる。よって、瞳孔部以外の輝度がゼロに近くなっているので、差分画像から瞳孔を検出するのが容易となる。一方で、瞳孔が小さいときには瞳孔に入射する光も瞳孔面積に応じて減るため、瞳孔の輝度が低くなる。その結果、瞳孔が小さいとき（例えば、直径2.5mm程度）には、より強い光を顔に照射する必要がある。光源の光量を挙げるためには、光源に供給する電流を増やしたり、光源の数を増やす必要があり、消費電力あるいはコストが増加する。また、明瞳孔画像における瞳孔輝度を高くするためには、カメラの開口部にできるだけ近い位置に光源を配置する必要があるが、その場合は物理的に光源を配置するスペースがないといった問題が生ずる可能性がある。

図１０には、カメラの開口部中心から光源までの距離（観察対象者の眼部と光源及び開口部中心と結ぶ直線の角度差）と、瞳孔輝度との関係を示すグラフであり、グラフＧ_Ｂは瞳孔が大きい場合の関係、グラフＧ_Ｓは瞳孔が小さい場合の関係を示す。このように、瞳孔輝度は、開口部と光源との距離が大きい値から小さくなるに従って急激に上昇する。上述したように、明瞳孔画像の瞳孔輝度と暗瞳孔画像の瞳孔輝度の差を大きくするためには、光源３Ａは開口部にできるだけ近づけて配置し、光源３Ｂは開口部から離して配置することが好ましい。このとき、瞳孔が大きいときは明瞳孔画像と暗瞳孔画像とで輝度差が大きくなりやすいので問題は生じにくい。問題になりやすいのは、瞳孔が極端に小さくなったときである。このようなときでも、より確実に差分画像から瞳孔を検出しやすくするためには、明瞳孔画像の瞳孔輝度を高くすることが望ましい。なぜならば、瞳孔が小さい場合には、グラフＧ_Ｓに示すように、光源３Ｂを開口部から少し離せば十分に瞳孔輝度は低くなり（距離Ｄ_Ａ）、必要以上に離してもほとんど瞳孔輝度は低くならない。それに対して、光源３Ａを開口部に近づければ（例えば、距離Ｄ_Ｂから距離Ｄ_Ｃに）、明瞳孔画像の瞳孔輝度は急激に高くなり、差分画像からの瞳孔検出の精度が高くなる。

一方で、瞳孔が大きいときには、グラフＧ_Ｂに示すように、光源３Ｂが開口部からかなり離れるまでは瞳孔は明るくなる傾向がある。明瞳孔画像の瞳孔輝度は暗瞳孔画像のそれよりもはるかに高いので、輝度値が飽和レベルに達していない限りは、明瞳孔画像と暗瞳孔画像との間で輝度差があるので瞳孔検出に問題は生じない。なんらかの理由、例えば、消費電力削減の理由で、光源の光量を抑制したい場合には、瞳孔が大きいときと小さいときとで瞳孔輝度を一定に保つために光源３Ａ，３Ｂの光量を下げることもできる。それにより、グラフＧ_ＢとグラフＧ_Ｓにおいて、瞳孔の大きい場合の輝度レベルが瞳孔の小さい場合の輝度レベルに近づくこととなる。

以上の知見を踏まえて、本実施形態では、図２及び図３に示すような照明装置３及び光学素子９の構成が採用されている。このような構成の採用により、光源３Ａをできるだけ開口部８に近づけて配置することができ、観察対象者からの瞳孔像のうち、第１の中心波長の光成分も第２の中心波長の光成分もバランスよく開口部８内の撮像素子６に導くことができる。

また、本実施形態では、図２及び図４に示すような照明装置３及び光学素子９の構成を採用した場合には、観察対象者からの瞳孔像のうち、第１の中心波長の光成分も第２の中心波長の光成分も二次元方向においてバランスよく開口部８内の撮像素子６に導くことができる。また、この構成により、光源３Ａを開口部８に近づけて配置することができる。分割素子９Ａはリング状の形状を有しているため、分割素子９Ａの任意の一点を基準にすると一部の光源３Ａは距離が遠くなってしまうが、その一点に近い光源３Ａが１つでもあれば瞳孔を明るくする効果が非常に高いので、光源３Ａ全体としては瞳孔を明るくする効果を十分に有する。また、光源３Ｂを開口部８内の分割素子９Ｂに対して十分に離すことができており、暗瞳孔画像の瞳孔輝度を十分に低くすることができる。

本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。

上述した実施形態では、差分画像生成部１７が、明瞳孔画像と暗瞳孔画像とを比較した比較画像として差分画像を生成していたが、特開２００８－２４６００４号公報に記載されたように、比較画像として除算画像を用いるようにしてもよい。さらには、比較画像として、他の演算により明瞳孔画像と暗瞳孔画像とを比較した画像が生成されてもよい。

また、上述した実施形態では、制御装置４が、瞳孔検出部１８によって差分画像を基に検出された瞳孔像の位置と、角膜反射検出部１９によって暗瞳孔画像及び明瞳孔画像のそれぞれを対象に検出された角膜反射像の位置とを基に、観察対象者の視線方向及び注視点を検出してもよい。視線方向および注視点の算出手法は、本発明者らによって開発された手法（国際公開ＷＯ２０１２／０２０７６０号公報参照）を採用することができる。本実施形態の制御装置４で検出された瞳孔像の位置を用いることで、観察対象者の視線方向および注視点を安定して検出することができる。

また、上述した実施形態にかかる照明装置３における各光源の構成、及び光学素子９の構成は、様々変更してもよい。

図１１には、光源３Ａ，３Ｂ及び分割素子９Ａ，９Ｂの配置の変形例を示している。この例においては、光源３Ａ，３Ｂ及び分割素子９Ａ，９Ｂは、開口部８の開口面に沿ってその中心を上下に貫く中心軸（線）の両側に配置されるように、より具体的には、中心軸を基準にして線対称となるように配置されている。分割素子９Ａは、開口部８の中心を上下に貫く中心軸の両側に設けられた、開口部８の縁の形状に対応した２つの分割形状である弓形の形状を左右に有する。なお、分割素子９Ａは、２つ以上（例えば、４つ）の分割形状を有していてもよい。また、分割素子９Ｂは、その弓形の形状に挟まれて開口部８の中心に配置されている。光源３Ａは、開口部８の近傍の分割素子９Ａの外側に左右に分離して配置され、光源３Ｂは、光源３Ａの外側に左右に分離して配置されている。この構成によっても、左右に対称な構成を有するので、明瞳孔画像及び暗瞳孔画像において顔領域で輝度差が小さく保たれ、照明装置３の上下方向のサイズを小さくしたい場合に有効な構成である。

図１２には、光源３Ａ，３Ｂ及び分割素子９Ａ，９Ｂの配置の他の変形例を示している。分割素子９Ａ，９Ｂの構成は、図３の構成と同一とされ、光源３Ａは分割素子９Ａ側（左側）の開口部８の近傍にのみ配置され、光源３Ｂも開口部８の左側に分離して配置される。このような構成においては、分割素子９Ａ側の開口部８と光源３Ａとの距離が近くされ、分割素子９Ａ側の開口部８から遠い光源３Ａは存在しないため、明瞳孔画像における瞳孔輝度が高く保たれる。さらに、光源３Ｂを、分割素子９Ｂ側の開口部８からの距離をある程度保ちつつ、光源３Ａとの距離及び開口部８の中心からの距離を小さくすることができる。その結果、光学系全体のサイズを小さくすることができる。仮に、明瞳孔画像及び暗瞳孔画像において顔又は瞳孔内の輝度傾斜が生じたとしても、光源３Ａと光源３Ｂの位置が近いため、輝度傾斜の傾向が両画像で大きく異なることは無いため、差分画像において瞳孔以外の部分が目立ちにくく、瞳孔の検出精度を保つことができる。

ここで、上述した実施形態、及び図１１に示す形態においては、点対称及び線対称の構成には限定されず、開口部８の中心あるいは中心軸を基準にした点対称あるいは線対称な配置及び形状からずれた配置及び形状とされてもよい。例えば、明瞳孔画像及び暗瞳孔画像の輝度を調整するために、点対称あるいは線対称な配置及び形状から調整された配置及び形状とされてもよい。

また、光学素子９は、任意の形状で複数に分割された複数の分割部によって構成されてもよい。例えば、四角形状の複数の分割部によって構成されてもよい。このような構成では、分割素子９Ａ，９Ｂは、それぞれ、複数の分割部に適宜（例えば、交互に）割り当てられる。

また、光学素子９は、対物レンズ７の内側（撮像素子６側）に配置されている必要はなく、対物レンズ７の外側（観察対象者側）に配置されていてもよい。あるいは、カメラ２に備えられるカメラレンズが複数枚の光学レンズを含んで構成される場合には、光学素子９は、その複数の光学レンズのいずれか２枚の間で配置されていてもよく、カメラレンズ全体の前後（観察対象者側もしくは撮像素子６側）に配置されていてもよい。

また、特許第４５２８９８０号公報に記載されたように、光源３Ａ，３Ｂをカメラ２の開口部８の内側に配置してもよい。また、光源３Ａを開口部８の内側に配置し、光源３Ｂを開口部８の外側に配置してもよい。

また、上記実施形態においては、撮像素子６が４画素群毎に４種類の偏光子が設けられた構造を有していたが、少なくとも２種類以上の偏光子が設けられた構造であればいい。例えば、隣り合う２つの画素２１毎に２種類の偏光子が設けられていてもよいし、隣り合う３つの画素２１毎に３種類の偏光子が設けられていてもよい。このような変形例においても、制御装置４が、隣り合う２つの画素、あるいは、隣り合う３つの画素の画素値を基に、第１の中心波長の光成分の輝度値と第２の中心波長の光成分の輝度値を計算することができる。

また、上記実施形態においては、制御装置４が、隣り合う４つの画素の画素値を基に、第１の中心波長の光成分の輝度値と第２の中心波長の光成分の輝度値を計算していたが、隣り合う４つの画素の中の少なくとも２つの画素（２つの画素、あるいは３つの画素）の画素値を基に、第１の中心波長の光成分の輝度値と第２の中心波長の光成分の輝度値を計算することもできる。

ここで、上記実施形態では、第１の偏光子の透過する光の偏光方向と、第２の偏光子の透過する光の偏光方向とは、略直交する、こととしてもよい。この場合、イメージセンサの各画素に入射する第１の中心波長の光と第２の中心波長の光との間の偏光方向が明確に分かれているので、明瞳孔画像及び暗瞳孔画像の輝度計算の精度が向上し、結果としての瞳孔像の位置の検出精度も向上する。

また、イメージセンサにおいては、互いに異なる４種類の角度の直線偏光の光を透過する偏光子が、隣り合う４つの画素毎に取り付けられており、演算装置は、眼画像における隣り合う４つの画素のうちの少なくとも２つの画素の輝度を基に、第１及び第２の中心波長のそれぞれの光に対応する輝度を計算する、こととしてもよい。この場合、イメージセンサ上において、第１及び第２の中心波長の光の様々な偏光方向成分を検出する複数の画素の配置バランスの均一化を図ることができる。これにより、明瞳孔画像及び暗瞳孔画像の像の均一化を図ることができ、検出する瞳孔像の位置の精度を安定化することができる。

また、第１の光源は、カメラの開口部中心からの距離が第１の距離の位置に配置され、第２の光源は、開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置されている、こととしてもよい。この場合、第１の中心波長の光で照らされた瞳孔の像と、第２の中心波長の光で照らされた瞳孔の像との間の輝度差をより大きくすることができる。その結果、比較画像を用いた瞳孔像位置の検出精度をさらに向上させることができる。

また、第２の分割素子は、第１の分割素子の内側に配置されている、こととしてもよい。こうすれば、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度のムラを防ぐことができ、比較画像において瞳孔像のみを目立たせることができ、比較画像を用いた瞳孔像位置の検出精度を向上させることができる。

また、第２の分割素子が、開口部の中心に配置された円形形状を有し、第１の分割素子が、第２の分割素子の外側に配置されたリング形状を有する、こととしてもよい。この場合には、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度のムラを防ぐことができるとともに、瞳孔像における輝度差を際立たせることができる。その結果、比較画像において瞳孔像のみを一層目立たせることができ、比較画像を用いた瞳孔像位置の検出精度を一層向上させることができる。

また、第１の分割素子及び第２の分割素子が光学素子上の線の両側に配置されるように構成され、第１の光源及び第２の光源は、開口部を両側から挟むように配置されて構成されている、こととしてもよい。この場合には、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度のムラを防ぐことができ、比較画像において瞳孔像のみを目立たせることができ、比較画像を用いた瞳孔像位置の検出精度を向上させることができる。

さらに、第１の分割素子が、光学素子上の線の両側に設けられた所定形状の２つ以上の分割形状を有し、第２の分割素子が、２つ以上の分割形状に挟まれて配置される、こととしてもよい。この場合にも、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度のムラを防ぐことができるとともに、瞳孔像における輝度差を際立たせることができる。その結果、比較画像において瞳孔像のみを一層目立たせることができ、比較画像を用いた瞳孔像位置の検出精度を一層向上させることができる。

また、光学素子は、所定形状で複数に分割された複数の分割部を有し、第１の分割素子及び第２の分割素子は、複数の分割部に割り当てられている、こととしてもよい。この場合にも、明瞳孔画像及び暗瞳孔画像中において瞳孔像及びその周辺部の輝度のムラを防ぐことができるとともに、瞳孔像における輝度差を際立たせることができる。その結果、比較画像において瞳孔像のみを一層目立たせることができ、比較画像を用いた瞳孔像位置の検出精度を一層向上させることができる。

またさらに、演算装置は、明瞳孔画像あるいは暗瞳孔画像を基に第１の光源あるいは第２の光源の点灯によって生じた対象者の角膜反射像の位置を算出する、こととしてもよい。かかる構成によれば、角膜反射像の位置を安定して検出することができる。

さらにまた、演算装置は、比較画像を基に算出した瞳孔像の位置と、明瞳孔画像あるいは暗瞳孔画像を基に算出した角膜反射像の位置とを基に、対象者の視線方向を検出する、こととしてもよい。こうすれば、対象者の視線方向を安定して検出することができる。

本開示の一側面は、人の画像から瞳孔を検出する瞳孔検出装置を使用用途とし、対象者の状態に関わらず瞳孔の検出精度を容易に高めることができるものである。

Ａ…眼球、３Ａ，３Ｂ…光源、１…瞳孔検出装置、２…カメラ、３…照明装置、４…制御装置（演算装置）、６…撮像素子（イメージセンサ）、８…開口部、９…光学素子、９Ａ，９Ｂ…分割素子、２１…画素、２２Ａ，２２Ｂ，２２Ｃ，２２Ｄ…偏光子。

Claims (11)

1. 対象者の眼を撮像することにより眼画像を取得するカメラと、
   前記カメラの開口部の外側あるいは内側に設けられて前記カメラに対して前記対象者の瞳孔を第１の中心波長の光で照らす第１の光源と、
   前記カメラの開口部の外側あるいは内側に設けられて前記カメラに対して前記対象者の瞳孔を第１の中心波長と異なる第２の中心波長で照らす第２の光源と、
   前記眼画像を処理する演算装置とを備え、
   前記カメラは、
   互いに異なる少なくとも２種類の角度の直線偏光の光を透過する偏光子が、隣り合う画素毎に取り付けられたイメージセンサと、
   前記第１の中心波長の光を通過させるバンドパスフィルタと所定角度の直線偏光を透過する第１の偏光子とが組み合わされた第１の分割素子と、前記第２の中心波長の光を通過させるバンドパスフィルタと前記所定角度と異なる角度の直線偏光を透過する第２の偏光子とが組み合わされた第２の分割素子とが、前記開口部と前記イメージセンサとの間において前記開口部に沿って分割して設けられた光学素子と、
   を有し、
   前記演算装置は、
   前記眼画像のうちの前記隣り合う画素の輝度を基に、前記第１の中心波長の光に対応する輝度を計算し、計算した前記輝度を組み合わせて前記対象者の瞳孔が比較的明るく写った明瞳孔画像を取得し、
   前記眼画像のうちの前記隣り合う画素の輝度を基に、前記第２の中心波長の光に対応する輝度を計算し、計算した前記輝度を組み合わせて前記対象者の瞳孔が比較的暗く写った暗瞳孔画像を取得し、
   前記明瞳孔画像と前記暗瞳孔画像とを比較した比較画像を基に前記対象者の瞳孔像の位置を算出する、
   瞳孔検出装置。
2. 前記第１の偏光子の透過する光の偏光方向と、前記第２の偏光子の透過する光の偏光方向とは、略直交する、
   請求項１記載の瞳孔検出装置。
3. 前記イメージセンサにおいては、互いに異なる４種類の角度の直線偏光の光を透過する偏光子が、隣り合う４つの画素毎に取り付けられており、
   前記演算装置は、
   前記眼画像における前記隣り合う４つの画素のうちの少なくとも２つの画素の輝度を基に、前記第１及び第２の中心波長のそれぞれの光に対応する輝度を計算する、
   請求項１又は２記載の瞳孔検出装置。
4. 前記第１の光源は、前記カメラの開口部中心からの距離が第１の距離の位置に配置され、
   前記第２の光源は、前記開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置されている、
   請求項１～３のいずれか１項に記載の瞳孔検出装置。
5. 前記第２の分割素子は、前記第１の分割素子の内側に配置されている、
   請求項１～４のいずれか１項に記載の瞳孔検出装置。
6. 前記第２の分割素子が、前記開口部の中心に配置された円形形状を有し、
   前記第１の分割素子が、前記第２の分割素子の外側に配置されたリング形状を有する、
   請求項５に記載の瞳孔検出装置。
7. 前記第１の分割素子及び前記第２の分割素子は、前記光学素子上の線の両側に配置されるように構成され、
   前記第１の光源及び前記第２の光源は、前記開口部を両側から挟むように配置されて構成されている、
   請求項１～４のいずれか１項に記載の瞳孔検出装置。
8. 前記第１の分割素子が、前記光学素子上の線の両側に設けられた所定形状の２つ以上の分割形状を有し、
   前記第２の分割素子が、前記２つ以上の分割形状に挟まれて配置される、
   請求項７に記載の瞳孔検出装置。
9. 前記光学素子は、所定形状で複数に分割された複数の分割部を有し、
   前記第１の分割素子及び前記第２の分割素子は、前記複数の分割部に割り当てられている、
   請求項１～４のいずれか１項に記載の瞳孔検出装置。
10. 前記演算装置は、前記明瞳孔画像あるいは前記暗瞳孔画像を基に前記第１の光源あるいは第２の光源の点灯によって生じた前記対象者の角膜反射像の位置を算出する、
    請求項１～９のいずれか１項に記載の瞳孔検出装置。
11. 前記演算装置は、前記比較画像を基に算出した前記瞳孔像の位置と、前記明瞳孔画像あるいは前記暗瞳孔画像を基に算出した前記角膜反射像の位置とを基に、前記対象者の視線方向を検出する、
    請求項１０に記載の瞳孔検出装置。

Images