JP2007209384A - 視線ベクトル検出方法及び同装置 - Google Patents

Abstract

【課題】 仮定の条件を少なくし、より簡単で明確な視線方向を求め得る改良した方法を提供することを課題とする。
【構成】 カメラの左右に配置された２台のＬＥＤ光源から同時に角膜球に向けてＬＥＤ光線を放射し、角膜球の輝点を該カメラで撮影するするステップと、前記各ＬＥＤ光源位置と該カメラ位置と該輝点の撮影像の空間位置とを含む平面を求めるステップと、前記２平面の交線を求めるステップと、前記角膜球の中心点が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心点の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴としている。
【選択図】 図１

Description

この発明は人の視線ベクトルを検出する方法及び装置に関するものである。更に、具体的には、例えばコンピュータの入力装置や車の運転の補助手段として人の視線方向を検出する技術に関するものである。

人は風景や事物を見たいときに顔や眼をその方向に向ける。即ち、脳からの指令により見たい方向に顔や眼を向け、見たい風景や事物を網膜に写し、網膜に映った像を処理して必要な情報を得ている。ここで、眼を向けるとは眼の瞳孔の法線ベクトルを見たい方向に一致させることであり、視線方向（又は視線ベクトル）は角膜球の中心点と瞳孔の中心点とを結んだ半直線（又はベクトル）であると考えられる。従って、視線方向を検出するには角膜球の中心点の位置（座標）と瞳孔の中心点の位置（座標を）を決定することによって視線方向は得られる。

瞳孔は外部に露出しているために、カメラから瞳孔までの距離が測定できれば、瞳孔の中心を求めることは容易である。例えば、瞳孔を撮影し、撮影画像から瞳孔中心を得ることができる。しかし、カメラから瞳孔までの距離の直接的測定は困難である。また、角膜球の中心は外部に露出していないため、この位置を求めることも複雑であるとされてきた。従って、これまで簡単で解りやすい視線ベクトルの検出方法及び装置は開発されていなかった。

角膜球の中心位置を求めるために、例えば、眼科病院などで使用されている角膜形状を測定する角膜形状測定装置を利用することも考えられる。しかし、これらの角膜形状測定装置は、例えば、特許文献１、特許文献２に記載されている技術からも理解できるように、角膜球の全体形状を測定するものではなく、角膜の前側の表面形状を測定しているものであり、これらの装置によって、角膜の中心位置は求めることは困難である。
特開２００３−３８４２２、角膜形状測定装置 特開２００２−１７６７４、角膜測定装置

視線方向を求める方法としては、例えば、本出願人により開示されている方法がある（特許文献３）。図９は眼球の構造と視線方向の関係を示す。図９において、眼球５０の外側に角膜５５があり、角膜５５は点線で示した角膜球５６の球面の一部と見なしている。角膜球５６は中心がＳで、半径Ｒの仮想的シェルである。水晶体５７の前側には入射光量を調節する虹彩５８があり、虹彩５８の穴から見える部分が瞳孔（瞳）５９である。角膜球５６の中心Ｓから瞳孔５９の中心Ｔを結ぶ矢印の半直線６０が視線方向（視線ベクトル）である。なお、図９はＬＥＤ光源Ｂから角膜上の点Ｐで反射してカメラレンズの中心Ｏに至る光線と撮影画像６１を示している。特許文献３における視線方向を求める方法は、形態学上の知見データに基づいて認められている以下の４つの仮定（１）〜（４）を利用している（非特許文献４）。即ち、被写体の顔における右目を点Ａ、左眼を点Ｂ、鼻を点Ｃとした場合、
（１） 距離（Ａ，Ｃ）＝距離（Ｂ，Ｃ）
（２） 比｛距離（Ａ，Ｂ）／距離（Ａ，Ｃ）｝＝１．０８３３
（３） 距離（Ａ，Ｂ）＝６．５ｃｍ
（４） 角膜球の直径＝１．５４ｃｍ（半径＝７．７ｍｍ）と仮定する。
特開２００５−２５３７７８号、視線検出方法及び同装置 情報処理研究報告２００１−ＨＩ−９３、ｐｐ．３０７−３１２、２００２、眼球モデルに基づく視線測定方法

上記の全ての仮定が全ての人間に正確に当てはまるかは疑問であり、従って対象とする人間に対して検証する必要がある。また、視線方向を求める計算も複雑であった。
本発明は、上記事実に鑑みなされたものであり、仮定の条件を少なくし、より簡単で明確な視線方向を求め得る改良した方法を提供することを課題とする。

本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項１に記載の発明は、カメラの左右両側に配置された２台のＬＥＤ光源から同時に被険者の眼に向けてＬＥＤ光線を放射し、該被険者の眼を該カメラで撮影するステップと、前記ＬＥＤ光源の一方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の一方の輝点の撮影像の空間位置とを含む平面及び前記ＬＥＤ光源の他方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の他方の輝点の撮影像の空間位置とを含む平面を求めるステップと、前記２平面の交線を求めるステップと、前記角膜の角膜球の中心が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴としている。

また、請求項２に記載の発明は、請求項１に記載の発明において、前記所定の条件は、前記ＬＥＤ光源からの入射光と反射光の２等分線と前記角膜球面上の輝点を通る法線ベクトルが一致することを特徴としている。

請求項３に記載の発明は、請求項１に記載の発明において、前記瞳孔の中心を求めるステップは、前記角膜球の中心と同一中心の所定半径の球面と前記カメラレンズの中心から前記撮影画像の瞳孔中心を通る半直線の交点を求めるステップであることを特徴としている。

請求項４に記載の発明は、撮影カメラの両側に配置された２台のＬＥＤ光源と、該２台のＬＥＤ光源の同時点灯時に角膜球上の輝点を撮影する制御コントローラと、前記撮影カメラの撮影画像データから前記角膜球の中心点を求める演算と該角膜球の中心点の座標を利用して瞳孔中心を求める演算を行う演算処理装置とを具備したことを特徴としている。

請求項５に記載の発明は、請求項４に記載の発明において、前記２台のＬＥＤ光源と前記撮影カメラとの位置関係を限定して１個のユニットに構成したことを特徴としている。
本発明は、更に、取り付けが容易になるという効果が得られる。

請求項１記載の発明によれば、より簡易な方法で正確な視線ベクトルが求められるという効果が得られる。請求項４に記載の発明によれば、より簡易な装置で迅速で正確な視線ベクトルが求められるという効果が得られる。

以下本発明の実施形態を図に基づいて説明する。
図１は、本実施形態の視線方向（視線ベクトル）を検出する装置全体図を示す。図１において、視線検出装置１０は、カメラ１１と、ＬＥＤ光源１２ａ、１２ｂと、制御演算装置１３と、入力装置１３ａと、磁気ディスク１３ｂとから構成されている。１６は視線検出の被験者の片方の目を示す。また、１５は瞳孔を示し、１７は角膜球を示す。カメラ１１はディジタルカメラで、カメラ１１のレンズ１１ａの焦点距離ｆは既知である。ＬＥＤ光源１２ａ、１２ｂは点光源であり、眼１６方向に向けられている。ＬＥＤ光源１２ａ、１２ｂによる眼球の映像がカメラ１１に撮影される。なお、座標系１４におけるＬＥＤ光源１２ａ、１２ｂの位置座標及びカメラ１１のレンズ中心の位置座標は予め決定しておく。例えば、カメラ１１のレンズ中心を原点とし、直角座標系（ＸＹＺ）１４を定めておく。制御演算装置１３は以下に述べる処理を行う。

図２は本実施形態の方法の手順を示すフローチャートを示す。図２において、ステップＳ１では、ＬＥＤ光源１２ａ、１２ｂから光線を角膜球１７に向けて同時に放射し、カメラ１１で撮影する。この関係を図３に示す。ＬＥＤ光源１２ａ、１２ｂから放射された光線は角膜球１７の表面上の輝点１８ａ、１８ｂで反射してカメラ１１のレンズ１１ａの中心Ｏを通り、撮影面１１ｂに達する。撮影面１１ｂには輝点１８ａ、１８ｂの像１９ａ、１９ｂが撮影される。なお、慣例により、撮影画像面１１ｂはレンズ１１ａの前方に記載している。図３で、距離Ｄはレンズ中心Ｏから角膜球１７の中心点Ｓまでの距離を示す。ここでは、距離Ｄは未知であり、以下の手順で求める。ＸＹＺ座標系１５の原点は、便利上レンズ中心Ｏにとり、Ｚ軸は角膜球１７の方に向けて定め、Ｘ軸、Ｙ軸は適当に定める。従って、ＸＹＺ座標系におけるＬＥＤ光源１２ａ、１２ｂの座標は予め定めておく。

ステップＳ２では、まず、画像面１１ｂに撮影された撮影画像から平面座標系における輝点の像１９ａ、１９ｂの位置（座標）を読み取り、焦点距離ｆ（ｆ＝１としてもよい）を利用して３次元座標系（ＸＹＺ座標系）１４における輝点１９ａ、１９ｂの座標を求める。次に、レンズ中心Ｏ、ＬＥＤ光源１２ａ及び像１９ａの３点を通る平面２０及びレンズ中心Ｏ、ＬＥＤ光源１２ａ及び像１９ａの３点を通る平面２１を求める（図４）。図４に示すように、平面２０は輝点１８ａを含んでおり、輝点１８ａにおける法線ベクトル２２ａを含んでいる。同様に平面２１は輝点１８ｂを含んでおり、輝点１８ｂにおける法線ベクトル２２ｂを含んでいる。従って、平面２０、２１は何れも角膜球１７の中心Ｓを含んでいる。

ステップＳ３では、平面２０と平面２１の２平面の連立方程式を解いて交線２５を演算により求める。角膜球１７の中心Ｓは交線（直線）２５上に存在する。ステップＳ４では平面２０が紙面と一致するようにＸＹＺ座標系をｘｙｚ座標系に変換する。即ち、図５に示すように、原点Ｏは元の位置におき、ｚ軸が角膜球１７の中心Ｓを通り、ＬＥＤ光源１２ａがｘｚ平面に含まれるようにＸＹＺ座標系を回転する。この結果、角膜球１７の中心Ｓを通る断面が円１７ａとして紙面上に現われ、輝点１８ａ及び像１９ａも紙面上に現われる。また、ＬＥＤ光源１２ａから放射された光線の軌跡並びに輝点１８ａを通る法線ベクトル２２ａも紙面上に現われる。

ステップＳ５では、以下の条件を満たす距離Ｄ（原点Ｏと角膜球の中心Ｓとの距離）を求める。角膜球１７の直径（又は半径）を既知（直径１４．８ｍｍ、半径７．４ｍｍ）と仮定する。この仮定は形態学上の知見データとして認知されている。この仮定を利用して、角膜球１７（断面１７ａ）の輝点における入射角と反射角が等しく、かつ、反射光が原点Ｏ（又は像１９ａ）を通過するように距離Ｄを決定する。平面２１についても同様に、ステップＳ４、ステップＳ５の手順を実行して距離Ｄａを求める。距離ＤとＤａは本来一致するはずである。万一測定誤差等で一致しない場合はＤとＤａの平均値を実際の距離Ｄとして採用してもよい。図６は原点Ｏと角膜球の中心Ｓとの距離が正しい場合（Ｄ）と誤っている場合（Ｄ１、Ｄ２）における反射光線の軌跡を比較した図である。この図から繰り返し計算により距離Ｄが求められることが理解できる。

ステップＳ６では瞳孔１５の中心を求める。まず、撮影画像１１ｂから瞳孔中心２６の座標を元の座標系１４で求める。次に、Ｚ軸が角膜球１７の中心Ｓを通るように座標軸の変換（座標軸の回転）を行う。この際、Ｘ軸（又はＹ軸）は任意に定めてよい。座標軸を変換した新しい直交座標系を座標系（Ｘ’Ｙ’Ｚ’）１４ｂとする。座標系１４の瞳孔中心２６の座標を新しい座標系１４ｂに変換した座標を求める。

ステップＳ７では視線方向を求める。ここで、瞳孔１５の球面２７は角膜球１７の中心Ｓを中心とする半径ｒ（ｒ＝４．５ｍｍ）の球面の一部とみなす。この仮定は形態学上の知見データにより許容される仮定である。図７は瞳孔の中心点２８を求める説明図である。カメラレンズ１７ａの中心点から、座標系１４ｂの瞳孔中心２６を通過する半直線を引き、この直線と球面２７の交点２８を求める。これは、球面２７の方程式と直線の連立方程式を解くことにより得られ、この交点２８は瞳孔１５の中心点と一致する。従って、視線方向は中心点Ｓから点２８を通過するベクトルとなる。

図８（Ａ）、（Ｂ）は撮影画像例を示した図である。図（Ａ）はほぼ水平を見ている状態の撮影画像で、図（Ｂ）は上方を見ている状態の撮影画像である。図８に示す左右両方の眼から視線方向（視線ベクトル）を求めれば、被験者の注目視している方向が検出できる。以上に述べてきたことから理解できるように、本実施形態による方法は角膜球の大きさ（半径＝７．４ｍｍ）と瞳孔の球面が半径４．５ｍｍの球面の一部であるという仮定のみを利用しているだけである。従って、誤差の入り込む余地が少なく正確な視線ベクトルが求められる。また、利用している演算も座標の回転と連立代数方程式を解くことであり、容易かつ速やかに可能であるという特徴がある。

以上本発明の実施形態を図面に基づいて詳述してきたが、本発明の技術的範囲はこれに限られるものではない。例えば、座標変換における座標軸を適宜に定めてよい。また、距離Ｄを求める繰り返し演算の方法は上記した方法を変更してもよい。

本実施形態の装置全体を示す。 本実施形態の手順を示すフローチャートである。 ステップＳ１におけるＬＥＤ光源と輝点の関係を示す。 ステップＳ３における２平面の交線を示す。 ステップＳ４における座標軸を変換して輝点が紙面上に来るようにした図を示す。 ステップＳ５で距離Ｄの変化と反射光の方向変化を示す。 ステップＳ６の瞳孔の中心を求める説明図である。 撮影画像の写真例を示す。 眼球の構造と視線ベクトルを示す。

符号の説明

１１ カメラ
１１ａ カメラレンズ
１１ｂ 撮影画像面
１２ａ、１２ｂ ＬＥＤ光源
１３ 制御演算装置
１４ 原座標系
１５ 瞳孔
１６ 眼
１７ 角膜球
１８ａ、１８ｂ 角膜球上の輝点（反射点）
１９ａ、１９ｂ 輝点の撮影像
２０，２１ 平面
２６ 瞳孔の撮影像の中心
２７ 瞳孔の内接球（半径ｒ）
２８ 瞳孔の中心
Ｄ レンズ中心から角膜球中心までの距離
Ｏ レンズ中心
Ｒ 角膜球半径
Ｓ 角膜球中心

Claims (5)

1. カメラの左右両側に配置された２台のＬＥＤ光源から同時に被険者の眼に向けてＬＥＤ光線を放射し、該被険者の眼を該カメラで撮影するステップと、前記ＬＥＤ光源の一方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の一方の輝点の撮影像の空間位置とを含む平面及び前記ＬＥＤ光源の他方の光源位置と該カメラのレンズ中心位置と該被険者の角膜球面上の他方の輝点の撮影像の空間位置とを含む平面を求めるステップと、前記２平面の交線を求めるステップと、前記角膜の角膜球の中心が前記交線上にあり、且つ、所定の条件を満たす角膜球の中心の位置を求めるステップと、瞳孔の中心を求めるステップとを含むことを特徴とする視線ベクトル検出方法。
2. 前記所定の条件は、前記ＬＥＤ光源からの入射光と反射光の２等分線が前記角膜球面上の輝点を通る法線ベクトルと一致することを特徴とする請求項１に記載の視線ベクトル検出方法。
3. 前記瞳孔の中心を求めるステップは、前記角膜球の中心と同一中心の所定半径の球面と前記カメラレンズの中心から前記撮影画像の瞳孔中心を通る半直線の交点を求めるステップであることを特徴とする請求項１又は請求項２の何れか１に記載の視線ベクトル検出方法。
4. 撮影カメラの両側に配置された２台のＬＥＤ光源と、該２台のＬＥＤ光源の同時点灯時に角膜球上の輝点を撮影する制御コントローラと、前記撮影カメラの撮影画像データから前記角膜球の中心点を求める演算と該角膜球の中心点の座標を利用して瞳孔中心を求める演算を行う演算処理装置とを具備したことを特徴とする視線ベクトル検出装置。
5. 前記２台のＬＥＤ光源と前記撮影カメラとの位置関係を限定して１個のユニットに構成したことを特徴とする請求項４に記載の視線ベクトル検出装置。