JPH09243327A - 視線検出装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 ディスプレイ等表示装置上でオペレータが視
線で指示した位置を検出する視線検出装置を提供する。 【解決手段】 人間の眼を撮影する画像入力部３と、照
明光を発生する発光部２と、発光部２の発生した光の人
間の眼球上での映り込み位置を検出する参照点検出部４
と、参照点検出部４の出力と画像入力部３で撮影した画
像から、指示対象平面の平面上の指示した位置を検出す
る指示位置検出部８を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線の指示した位
置を検出する視線検出装置及びその方法に関する。

【０００２】

【従来技術】オペレータが、計算機のモニタ画面を見な
がら作業を行う場合、例えば、マルチウインドウシステ
ムで表示されたウインドウの選択等、画面上の特定の位
置を指示する作業が発生する。現在の一般的な計算機で
は、オペレータがマウスを操作することによって画面上
の位置を指示する操作を行っている。

【０００３】これに対して、眼球運動分析装置（特公平
４−４６５７０号）では、オペレータの視線を検出する
ことにより、位置を指示する装置を提案している。この
装置では、オペレータが視線を検出するセンサと頭部の
姿勢を検出するセンサをつけ、双方のセンサの出力から
３次元空間中でのオペレータの視線方向を計算してい
る。このため、オペレータが２つのセンサを頭部に装着
する必要があるためオペレータの負荷になるという問題
があった。また、２つのセンサの出力は、それぞれ、頭
部の姿勢と頭部に対しての視線の向きを検出し、これら
の結果を総計して視線の方向を算出するため、算出した
視線方向には２つのセンサの誤差が累積して精度が期待
できないという問題があった。

【０００４】上記の問題を解決するため、"Non Intrusi
ve Gaze Tracking Using Artificial Neural Network"
Shumeet Baluja,Dean Pomerleau,Advances in Neural I
nformation Processing Systems 6 Cowan J.D, Tesaur
o, G.& Alspector,J.(eds)MOrgan Kaufman Publishers,
1994 では、ニューラルネットに目近傍を撮影した画像
を入力して視線の方向を推定する装置を提案している。
しかし、この装置では、目近傍の画像全部を用いるた
め、操作環境の照明状態の変化、オペレータの頭の位置
の変化の影響を受けるという問題があった。また、目近
傍領域の画像という個人差のある情報から視線方向を推
定するため、予め多数の画像を用いてニューラルネット
を学習させる必要がある、等の問題があった。

【０００５】また、上記方法では、オペレータの視線の
方向はカメラに対する方向として計算されるので、オペ
レータが視線で指示する対象とカメラの位置関係は固定
されて操作中には動かせない。カメラを固定した状態で
オペレータの頭の動きを許して視線を検出するために
は、カメラの視線範囲を広く取る必要があるが、視野を
広くすると１ピクセル当りの解像度が落ちるため、視線
検出の精度も低下するという問題があった。

【０００６】

【発明が解決しようとする課題】以上述べたように、従
来方式でオペレータが視線で指示する位置を検出しよう
とする場合、オペレータにセンサを装着する方式では、
オペレータに負荷を強いるという問題があった。また、
カメラで撮影した画像から視線で指示する位置を検出す
る方式では、個人差のある特徴を検出して視線の方向推
定に用いる、カメラの方向が固定されて解像度が低い等
の理由により、視線方向の計測精度が十分ではないとい
う問題があった。

【０００７】本発明は以上の問題点に鑑み、ディスプレ
イ等表示装置上でオペレータが視線で指示した位置を容
易かつ正確に検出する視線検出装置及びその方法を提供
する。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
使用者の画像を撮影する画像入力手段と、前記画像入力
手段で撮影した前記画像から前記使用者の眼を検出する
眼検出手段と、前記眼検出手段で検出した前記眼におけ
る瞳の位置を求める瞳検出手段と、前記使用者に向かっ
て光を照射する３個以上の発光手段と、前記３個以上の
発光手段の照射した光の眼上でのそれぞれの映り込み位
置を検出する参照点検出手段と、前記参照点検出手段で
検出した３個以上の映り込み位置と、瞳検出手段で検出
した前記瞳の位置に基づいて前記使用者の視線の指示し
た位置を検出する指示位置検出手段とからなることを特
徴とする視線検出装置である。

【０００９】請求項１記載の視線検出装置は、発光手段
の発した光の眼球上での映り込みを撮影し、撮影した画
像中での瞳の位置と発光手段の映り込みの位置を比較す
ることにより視線の向きを計算する。

【００１０】請求項２記載の発明は、前記眼検出手段
は、前記画像入力手段で撮影した前記画像と、前記参照
点検出手段で検出した３個以上の映り込み位置とを比較
して、前記画像における前記映り込み位置の近傍領域を
眼であると検出することを特徴とする請求項１記載の視
線検出装置である。

【００１１】請求項２記載の視線検出装置は、前記眼検
出手段が、前記前記画像入力手段で撮影した前記画像
と、前記参照点検出手段で検出した３個以上の映り込み
位置とを比較して、前記画像における前記映り込み位置
の近傍領域を眼であるとするため、使用者の眼の位置を
正確かつ確実に判別できる。

【００１２】請求項３記載の発明は、前記指示位置検出
手段は、前記３個以上の発光手段の発光位置を基準にし
て、前記参照点検出手段で検出する３個以上の映り込み
位置と、瞳検出手段で検出する前記瞳の位置を検出する
ことを特徴とする請求項１記載の視線検出装置である。

【００１３】請求項３記載の視線検出装置は、前記指示
位置検出手段が、前記３個以上の発光手段の発光位置を
基準にして、前記参照点検出手段の３個以上の映り込み
位置と、瞳検出手段の前記瞳の位置を求めるため、前記
３個以上の発光手段の位置さえ明確であれば、カメラ等
の画像入力手段の位置はどこに配置してもよい。

【００１４】請求項４記載の発明は、使用者の画像を撮
影する画像入力ステップと、前記画像入力ステップで撮
影した前記画像から前記使用者の眼を検出する眼検出ス
テップと、前記眼検出ステップで検出した前記眼におけ
る瞳の位置を求める瞳検出ステップと、前記使用者に向
かって光を照射する３個以上の発光手段の照射した光の
眼上でのそれぞれの映り込み位置を検出する参照点検出
ステップと、前記参照点検出ステップで検出した３個以
上の映り込み位置と、瞳検出ステップで検出した前記瞳
の位置から前記使用者の視線の指示した位置を検出する
指示位置検出ステップとからなることを特徴とする視線
検出方法である。

【００１５】請求項５記載の発明は、前記眼検出ステッ
プは、前記前記画像入力ステップで撮影した前記画像
と、前記参照点検出ステップで検出した３個以上の映り
込み位置とを比較して、前記画像における前記映り込み
位置の近傍領域を眼であるとすることを特徴とする請求
項４記載の視線検出方法である。

【００１６】請求項６記載の発明は、前記指示位置検出
ステップは、前記３個以上の発光手段の発光位置を基準
にして、前記参照点検出ステップで検出する３個以上の
映り込み位置と、瞳検出ステップで検出する前記瞳の位
置を求めることを特徴とする請求項４記載の視線検出方
法である。

【００１７】

【発明の実施の形態】第１の実施例 以下、本発明に関する第１の実施例を図を用いて説明す
る。

【００１８】図１は第１の実施例の視線検出装置の構成
を示したブロック図である。また、この実施例による、
視線の位置指示情報の獲得手順を図２に示す。

【００１９】（制御部１）制御部１は、オペレータがマ
ウスのボタンを押したというようなオペレータからの指
示情報入力要求や、オペレーティングシステム、アプリ
ケーションプログラム等からの指示情報入力要求を受け
て、指示位置情報を出力する。

【００２０】この時、指示情報入力要求を受けた後、一
連の制御信号を発生して指示位置を計測し、指示位置情
報を出力するか、または、一定時間間隔ごとに制御信号
を発生して常に指示位置の計測を行ない、指示情報入力
要求を受けると計測した指示位置情報について、最新の
指示位置情報を出力する。

【００２１】（発光部２）発光部２は、画像入力部３か
ら受ける指示信号に同期して発光する複数の発光素子か
ら構成される。

【００２２】モニタディスプレイのディスプレイ面を指
示領域とする視線検出装置では、この発光素子は、図３
で示す、オペレータが指示するモニタディスプレイのデ
ィスプレイ面と同じ平面上の位置に３箇所以上の複数配
置する。図中、斜線で示した部分が発光素子の位置であ
る。

【００２３】ディスプレイ装置が図３左側のブラウン管
を用いた装置の場合は、発光素子をブラウン管の周囲に
配置する。

【００２４】ディスプレイ装置がビデオウォール等と称
されるブラウン管や投射型ディスプレイを平面上に並べ
た大型のディスプレイ装置の場合は、個々のディスプレ
イ装置の繋ぎ目にも発光素子を配置する。発光素子は、
オペレータがまぶしくなくするため、赤外線を発光する
ＬＥＤ素子を用い、このＬＥＤを図３の素子の位置に配
置する。または、光源にはストロボ装置を用いて、光源
からの光を可視光を吸収し赤外線透過するフィルタを通
し光ファイバーで図３の発光素子の位置に誘導して発光
してもよい。なお、この例ではディスプレイは平面であ
るとしているが、ディスプレイ面は湾曲していてもよ
い。

【００２５】また、発光部２として、モニタディスプレ
イの表示を用いてもよい。この場合、例えば、モニタデ
ィスプレイの複数の小領域内の画素を高輝度にするか、
マルチウインドウ表示している場合には図４に示した表
示中のウインドウの枠等一定面積以上の既知形状をした
領域内の画素を高輝度にした状態を発光素子として用い
る発光部として用いる。ウインドウの枠を発光素子とし
て用いた場合は、複数のウインドウ枠は必要ない。

【００２６】（画像入力部３）画像入力部３はオペレー
タの目をＴＶカメラで撮影し、参照点検出部４、瞳検出
部５に出力する。

【００２７】まず、発光部２に制御信号を送って、発光
部２が発光している状態でオペレータの目を撮影する。
光源としてストロボを用いている場合は、画像を撮影し
ている間にストロボを発光する。

【００２８】次に、発光部２が発光しない状態で画像を
撮影する。この２枚の画像の撮影順序については、どち
らが先でも構わない。また、この２枚の画像の撮影時刻
は短い間隔とし、例えば、ビデオレートでの連続する２
フレームとする。

【００２９】（参照点検出部４）参照点検出部４は、ま
ず、画像入力部３で撮影した２枚の画像について、発光
部２が発光した状態で撮影した画像から、発光部２が発
光しない状態で撮影した画像を減算した、差分処理を行
う。

【００３０】この処理結果の差分画像では、発光部２が
発した光がオペレータの眼球上で反射している部分の画
素の値が正の値をとり、それ以外の画素の値はほぼ０に
なっている。

【００３１】差分処理の結果得られた画像をしきい値と
比較して２値化処理を行い、しきい値より大きい画素を
抽出した２値画素を得る。

【００３２】得られた画像について隣接した画素ごとに
ラベル付けを行い、領域に分割する。

【００３３】この後、各領域の面積が一定範囲にあるも
のを抽出し、抽出した領域の重心座標を参照点の座標と
する。

【００３４】指示位置情報を連続して計測する場合、一
度、上述の差分処理によって参照点の位置を検出すれ
ば、その後は差分処理を行なう必要はない。オペレータ
の頭の位置姿勢や目の向きは時間的に連続した画像の間
では大きな変化はないと考えられるので、前回の処理結
果で得られた参照点にたいして追跡処理を行なって座標
を検出していくことができる。

【００３５】発光部２が発光した状態で撮影した画像を
入力し、画像の２値化、ラベル付けを行なって面積が一
定範囲にある領域を検出し、抽出した領域の重心座標を
求める。そして、各参照点について、前回の参照点検出
部４での処理で検出した参照点座標に最も近い重心座標
を次の参照点の座標とする。前回の処理で検出した参照
点座標と、検出した領域重心座標との距離が予め決めた
閾値より大きい場合は、その参照点は以後の処理で使用
しない。また、前回の処理で検出した参照点座標と検出
した領域重心座標との距離の参照点全部についての平均
値が予め決めた一定値より大きい場合は、上述の差分処
理を用いて参照点座標を計算する。

【００３６】（目領域検出部５）目領域検出部５は、参
照点検出部４から参照点座標を入力し、参照点の集合に
外接する長方形を計算する。この長方形の重心を中心と
して、長方形の縦横の長さのそれぞれに予め決めた一定
値をかけたものを目領域とする。

【００３７】（画像入力制御部６）画像入力制御部６
は、画像入力部３を制御して、オペレータの目の撮影条
件を最適に保つ。画像入力部３のＴＶカメラは、左右方
向への回転（パン）、上下方向への回転（チルト）の運
動を行なうことのできる雲台の上に搭載されている。ま
ず、参照点検出部４から参照点の集合を入力する。入力
した画像中で参照点が検出されなかった場合は、図５に
示したフローチャートにしたがって雲台を動作させ、カ
メラで撮影可能な空間を走査して参照点の検出を行な
う。

【００３８】参照点が検出されれば、目領域検出部５か
ら目領域の中心位置と面積を入力する。目領域が画像入
力部３で撮影した画像の中心にあって、面積が予め設定
した一定範囲の中に入るように、画像入力部３であるＴ
Ｖカメラの向きとカメラレンズのズーム比を制御する。
また、指示位置情報を連続して計測する場合は、前回の
処理で計測した瞳重心の位置が画像の中心にある位置に
カメラの向きを制御する。

【００３９】（瞳検出部７）瞳検出部７は、画像中の目
領域から瞳の位置を検出する。この処理では、まず、目
領域の画像と、予め与えたマスク画像との畳込み処理を
行う。マスク画像は、図６に示した画像で、半径ｒの円
内の画素が−１，円外の画素が１で表された画像であ
る。

【００４０】次に、畳込み処理を行って得た画像の各画
素の画素値を比較し、最高値を取る画素を取り出す。

【００４１】最高値を取った画素の位置を中心にして、
図７で示された、半径ｒの円の左右の円周上に１０個の
マスクを配置し、このマスク内で、円の内側と外側領域
の区切るステップエッジの検出処理を行う。

【００４２】その後、各マスク内で検出したエッジ位置
情報の計１０点の位置座標と楕円の方程式で最小自乗推
定を行い、１０点のエッジ位置に最も近い楕円を求め
る。瞳検出部７は、上記の最小自乗推定で求めた楕円の
重心座標を出力する。

【００４３】（指示位置検出部８）指示位置検出部８
は、瞳領域の重心と参照点座標を用いて演算を行い、指
示対象領域中で視線が指示する位置座標を求める。

【００４４】この例では、指示対象領域をモニタディス
プレイの表示面とする。瞳重心の座標をＭ＝（ｘ_ｍ，ｙ
_ｍ）とする。画像に撮影されたｉ番目（１≦ｉ≦ｎ）の
参照点Ｒ_ｉの位置を（ｘ_ｉ，ｙ_ｉ）とする。参照点の集
合の中から３つの参照点を選ぶ組み合わせの中で、３つ
の参照点で構成された三角形がＭを内部に含む組合せを
選択する。三角形を構成する３点を、それぞれ、Ｒ_ａ，
Ｒ_ｂ，Ｒ_ｃとする。

【００４５】このとき、瞳重心の座標は、

【数１】 で表すことができる。上記の式１のパラメータｓ，ｔ
は、

【数２】 で求めることができる。

【００４６】このとき、視線による表示装置用の指示位
置（Ｘ_ｍ，Ｙ_ｍ）を、後で述べる各参照点Ｒｉのキャリ
ブレーションデータ（Ｘ_ｉ，Ｙ_ｉ）を用いて、

【数３】 と決める。

【００４７】次に、別の計算方式について述べる。全て
の参照点Ｒ_ｉの座標の重心を（ｘ_ｏ，ｙ_ｏ）とする。

【００４８】

【数４】 とすれば、ｘとＸの関係は、以下に示すある２×２の変
換行列ａを用いて、

【数５】 の関係にある。この行列ａは、疑似逆行列を用いて、

【数６】 で求めることができる。ａを用いて瞳重心から視線で指
示した位置を以下の式で計算する。

【００４９】

【数７】 先に述べた発光部２の記述では、発光素子はディスプレ
イ平面と同一平面に配置すると述べたが、実際にはカメ
ラで撮影した画像に影響がなければ、ディスプレイは平
面でなくても構わない、また、発光素子の位置は厳密に
ディスプレイ面と同一の平面上になくても構わない。

【００５０】画像入力部３では、オペレータの眼球をク
ローズアップして撮影するので、上記の計算では、カメ
ラで撮影した画像平面上への発光部２の映り込みの投影
が弱透視投影であると仮定して計算している。この弱透
視投影は、実際のカメラの投影である中心投影の近似に
なるが、"THREE-DIMENSINA MODEL MATCHING FROM ANUN
C ONSTRAINED VIDEPOINT" Thompson,D.W.Mundy,J.L. I
EEE proceedings ofRobotics and Automation 1987 pp.
208-220 によれば、カメラで撮影する対象の大きさがカ
メラから物体までの距離の１０％以下であれば、弱透視
投影による近似が有効になると述べられている。通常、
オペレータの目からディスプレイまでの距離はディスプ
レイの表示面最大径の２倍程度である。人間の眼球は半
径約１５ｍｍで、１５インチディスプレイでの表示面の
横幅が３００ｍｍ程度で目からディスプレイの距離は６
００ｍｍであるので、弱透視投影で近似できる。この状
態で、発光素子の位置のディスプレイ平面からのずれに
ついて計算する。

【００５１】弱透視投影では、眼球からカメラ撮像面へ
の射影軸はカメラ光軸と平行であると近似できる（図
８）。この図８では、ディスプレイの端に配置した発光
素子の映り込みのカメラ画像への投影位置は、γｓｉｎ
（θ），発光素子の位置は、２ｌｔａｎ（２θ）で表さ
れる。

【００５２】また、このとき、θとａｒｃｔａｎ（０．
５ｌ／２ｌ）とは略等しい。そして、ａｒｃｔａｎ
（０．５ｌ／２ｌ）は略１４degreeである。

【００５３】発光素子の位置が、ディスプレイ平面から
ｄｌ離れた結果、眼球への射影角度が２ｄθずれるとす
る。

【００５４】

【数８】 画像入力部３のカメラが眼球の直径の３０ｍｍの範囲を
５００ピクセルの解像度で撮影しているとすると、画像
上での発光素子映り込みの位置の１ピクセルのずれはθ
のずれｄθで０．２４degreeに相当する。このｄθを上
記の式にあたえると、ｄｌ＝０．０７が得られる。つま
り、発光素子の位置は、ディスプレイ平面からの距離が
表示径の７％以内であれば、投影した画像でのずれが１
ピクセル以下であるので計測に影響しない。

【００５５】したがって、発光素子の位置はディスプレ
イ平面と同一平面になくても構わない。また、ディスプ
レイ面も平面でなく、表示径の７％以下であれば湾曲し
ても構わない。

【００５６】オペレータが眼鏡を着用している場合、参
照点検出部４で発光部２の発した光の眼球上への映り込
みと同時に、眼鏡のレンズ上での映り込みも検出される
ために以後の処理を誤る可能性があるので、以下に述べ
る方法で対処する。

【００５７】まず、参照点検出部４では、抽出された参
照点の数が発光素子の数より多い場合、各参照点と全参
照点の重心座標との距離を求め、距離が大きいものから
順に一定数の参照点を削除する。

【００５８】図８で示した、ディスプレイの端に配置し
た発光素子の映り込みのカメラ画像への投影位置は、γ
ｓｉｎ（θ）で表される。眼鏡のレンズ表面が球面であ
ると仮定した場合、この球の半径γ′は眼球の半径γに
比べて大きいため、眼鏡レンズ上への映り込み位置は、
眼球上への映り込み位置に比べて広い範囲に分布し、全
参照点の重心座標からの距離も大きくなる。

【００５９】次に、指示位置検出部８では、式６の行列
ａを求めた後、各参照点Ｒｉについてキャリブレーショ
ンデータ（Ｘ´_ｉ，Ｙ´_ｉ）と、以下の参照点座標（ｘ
´_ｉ，ｘ´_ｉ）に行列ａを適用した座標との間の距離を
計算する。計算した距離が予め定めた閾値より大きい参
照点を削除し、残った参照点だけで、行列ａを計算しな
おす。

【００６０】眼球上での映り込みから得られた参照点で
は、式６が成立するので、計測誤差がなければ参照点座
標に行列ａを適用した結果とキャリブレーションデータ
は一致しているはずであるが、眼鏡レンズ上での映り込
みに行列ａを適用した結果はキャリブレーションデータ
とは一致しない。したがって、上記の比較を行う事によ
り、レンズ上での映り込みを削除できる。

【００６１】（キャリブレーション部９）キャリブレー
ション部９では、指示位置計算用のパラメータを学習
し、そのパラメータを保存する。図９は、このキャリブ
レーションのフローチャートである。

【００６２】まず、ディスプレイの前、画像入力部３で
入力した画像上に発光素子の画像が投影される位置に鏡
を置く。

【００６３】ディスプレイ上の予め定めた座標（Ｘ_ｉ，
Ｙ_ｉ）に図形を表示する。例えば、ディスプレイの全面
を暗くし、座標（Ｘ_ｉ，Ｙ_ｉ）に白の塗りつぶし円を表
示する（ステップ１０１）。

【００６４】カメラで撮影した画像から、表示した図形
の画像中での位置（ｘ_ｉ，ｙ_ｉ）を検出する（ステップ
１０２）。

【００６５】検出には、撮影した画像と、先にディスプ
レイ全面を暗くした画像とで差分処理を行ない、差分画
像を一定閾値で２値化、ラベル付けを行なって、閾値以
上の値を持つ領域を取り出し、面積が最大になる領域の
重心を、表示した図形の画像中での位置とする。ディス
プレイ上に表示する座標の位置を替えて、以上の処理を
一定数（ここでは、ｋとする）に達するまで繰り返す
（ステップ１０３）。

【００６６】ｋ枚の画像について表示した図形のディス
プレイ上の位置（Ｘ_ｉ，Ｙ_ｉ）と画像中での位置
（ｘ_ｉ，ｙ_ｉ）について、

【数９】 が成立する。上記の式から、行列ａを求める（ステップ
１０４）。

【００６７】行列ａは、疑似逆行列を用いて

【数１０】 で求めることができる。

【００６８】次に、参照点の画像中での位置（ｘ_ｒｉ，
ｙ_ｒｉ）を、参照点検出部４で求める（ステップ１０
５）。

【００６９】検出した座標と行列ａを用いて、参照点の
キャリブレーションデータ（Ｘ_ｒｉ，Ｙ_ｒｉ）を以下の
ように求める（ステップ１０６）。

【００７０】

【数１１】 以上の処理で求めたキャリブレーションデータは発光部
２を配置した時に一度決めれば良いので、本発明による
視線検出装置の作成時、または視線検出装置を表示装置
に装着した時にキャリブレーション部９を用いてキャリ
ブレーションデータを作成する。

【００７１】（個人調整部１０）次に、個人調整部１０
について述べる。

【００７２】人間の瞳は、正確な円ではなく、光学的な
光軸中心の位置にも個人差があって瞳の中心からのずれ
がある。このため、指示位置検出部で検出した指示位置
は、画像入力部３から入力した画像から計測した指示位
置であって、オペレータが意図した指示位置は一致しな
い場合がある。

【００７３】個人調整部１０は、システムの出力を上記
の個人特性に合わせる部であって、指示位置検出部８の
出力からオペレータの意図した指示位置への変換パラメ
ータを学習し、このパラメータを用いて指示位置検出部
の出力を変換し、システムの出力を調整する。

【００７４】発光部２の配置の違い等、個々のシステム
の差はキャリブレーション部９で計測、学習する。個人
調整部１０では、個々のオペレータ毎の差を学習し、調
整する。このように、システムの差を学習するキャリブ
レーション部９と、人間の個人差の影響を個人調整部の
２つの部を用意することにより、各オペレータは、一度
個体差を学習すれば、その後は、システムが変更されて
も、新しいシステムのキャリブレーションデータと自分
の個人調整パラメータを使って視線による位置指示を行
うことが出来る。

【００７５】個人調整部１０の構成を図１０に示す。

【００７６】個人調整パラメータ学習部１１では、実際
にディスプレイ上で指示対象になる図形を表示し、オペ
レータがこの図形を注視した時の指示位置検出部８の出
力と、図形の表示位置の対応を与えて、指示位置検出部
８の出力から個々のオペレータが意図した指示位置への
変換パラメータを学習する。指示位置情報変換部１３
は、個人調整パラメータ学習部１１で学習したパラメー
タを用いて、入力した指示位置情報を変換して出力す
る。

【００７７】個人調整パラメータ学習部１１での処理の
流れを図１１に示す。

【００７８】まず、ディスプレイ上の予め定めた位置
（ｘ´_ｉ，ｙ´_ｉ）に、図形を表示する。表示位置は、
ディスプレイの表示面上に偏りなく配置する（ステップ
２０１）。

【００７９】オペレータは、表示された図形を注視した
状態で、キーボードのキーを押下する、マウスのボタン
を押下する等する。個人調整部１０では、キーボードや
マウスボタンの入力を検知するまで、待機する（ステッ
プ２０２）。

【００８０】前記ステップの終了後、指示位置検出部８
から視線による指示位置（ｘ_ｉ，ｙ_ｉ）を入力する（ス
テップ２０３）。

【００８１】ステップ２０１から、ステップ２０３まで
の処理を、指示位置の数が一定数ｋになるまで繰り返し
行う（ステップ２０４）。

【００８２】次に、ディスプレイ上の表示位置（ｘ
´_ｉ，ｙ´_ｉ）と視線による指示位置（ｘ_ｉ，ｙ_ｉ）に
ついて、以下の式で表現したモデルを当てはめる最小自
乗推定を行なう。式中の数ｎは、例えば２等の予め定め
た値を用いる（ステップ２０５）。

【００８３】

【数１２】 最小自乗推定では、モデルを表すパラメータａ_ｊ，ｂ_ｊ
（ｊ＝０．．ｎ）のうち、ａ_ｊ（ｊ＝０．．ｎ）は以下
の式の解として得られる。

【００８４】

【数１３】 パラメータｂ_ｊ（ｊ＝０．．ｎ）についてもａ_ｊと同様
の式の解として計算する事ができる。

【００８５】次に、ステップ２０５で行なった最小自乗
推定による残差平均と予め定めた閾値との比較を行う
（ステップ２０６）。残差平均が閾値より小さい場合
は、最小自乗推定で得られたパラメータａ_ｊ，ｂ_ｊ（ｊ
＝０．．ｎ）を学習パラメータとして個人調整部１０に
出力する。

【００８６】この最小自乗推定による残差平均が、予め
定めた閾値より大きい場合は、ステップ２０１からの処
理を再度行う。

【００８７】次に、個人調整パラメータ学習部１１の別
の構成例を図に示す。ディスプレイ上の表示位置（ｘ´
_ｉ，ｙ´_ｉ）と視線による指示位置（ｘ_ｉ，ｙ_ｉ）につ
いて、以下の式の関係があるとする。式中の数ｎは、例
えば２等の予め定めた値を用いる。

【００８８】

【数１４】 まず、パラメータａ_ｊ，ｂ_ｊ（ｊ＝０．．ｎ）の初期推
定値として、ａ_１＝１，ｂ_１＝１、それ以外のパラメー
タには０とする（ステップ３０１）。

【００８９】ディスプレイ上の予め定めた位置（ｘ
´_ｉ，ｙ´_ｉ）に、図形を表示して、オペレータは、表
示された図形への注視を促す（ステップ３０２）。

【００９０】指示位置検出部８から視線による指示位置
（ｘ_ｉ，ｙ_ｉ）を入力する（ステップ３０３）。

【００９１】位置（ｘ_ｉ，ｙ_ｉ）と（ｘ´_ｉ，ｙ´_ｉ）
からパラメータａ_ｊ，ｂ_ｊ（ｊ＝０．．ｎ）の推定を行
う（ステップ３０４）。このパラメータ推定には、例え
ば、”ディジタル信号処理と制御”木村英紀著、ｐｐ．
２１２に書かれているカルマンフィルタの手法を用いる
ことができる。

【００９２】カルマンフィルタは、以下の式で表現され
たモデルで観測データｙ［ｔ］から状態ベクトルｘ
［ｔ］の推定を行うアルゴリズムである。

【００９３】

【数１５】 ｔ番目のディスプレイ上の図形の位置（ｘ´_ｉ，ｙ
´_ｉ）と指示位置検出部８から入力した視線による指示
位置（ｘ_ｔ，ｙ_ｔ）について、パラメータａ_ｊ，ｂ
_ｊ（ｊ＝０．．ｎ）を表す状態ベクトルｘ［ｔ］を、

【数１６】 で表現する。また、遷移行列Ａと計測行列Ｃ、観測デー
タｙ［ｔ］を、以下の式で表す。

【００９４】

【数１７】 上記の行列を用いて状態ベクトルの推定を行う。推定に
用いる誤差の共分散行列Ｑ［ｔ］，Ｒ［ｔ］には、予め
定めた一定の行列を与える。

【００９５】次に、推定した状態ベクトルｘと指示位置
検出部８の出力（ｘ_ｔ，ｙ_ｔ）から求めた行列Ｃ［ｔ］
を用いて、

【数１８】 と（ｘ´_ｔ，ｙ´_ｔ）の図形表示位置を変更する（ステ
ップ３０５）。

【００９６】前回の表示位置と新たに推定した位置の距
離が予め決めた一定閾値より小さくなるか判定し、閾値
より小さければ処理を終了する（ステップ３０６）。

【００９７】新たに推定した位置がディスプレイの表示
範囲からはずれるか判定し、外れなければ、図形を表示
し、ステップ３０２からの処理を繰り返す。推定位置が
表示範囲からはずれた場合は、表示位置を初期値に戻し
てステップ３０１からの処理を繰り返す（ステップ３０
７）。

【００９８】以上の処理を、ディスプレイ上に初期値を
表示する位置を変更して数回行う。例えば、ディスプレ
イ上での図形を表示する初期位置を図１３に示す５箇所
に順に変更し、それぞれの初期位置から出発して、ステ
ップの処理を終了した時点で個人調整パラメータの学習
を終了し、パラメータａ_ｊ，ｂ_ｊ（ｊ＝０．．ｎ）を個
人調整部１０に出力する。

【００９９】第２の実施例 次に、第２の実施例の構成例を示す。この構成例では、
図１の構成例と比較して、指示位置検出部８、個人調整
部１０、個人調整パラメータ学習部１１が異なる。

【０１００】（指示位置検出部８）まず、指示位置検出
部８の構成から述べる。

【０１０１】入力した瞳重心の座標をＭ＝（ｘ_ｍ，
ｙ_ｍ）とする。画像に撮影されたｉ番目（１≦ｉ≦ｎ）
の参照点Ｒ_ｉの位置を（ｘ_ｉ，ｙ_ｉ）とし、キャリブレ
ーションデータを（Ｘ_ｉ，Ｙ_ｉ）とする。

【０１０２】式１０で（ｘ_ｉ，ｙ_ｉ）を（Ｘ_ｉ，Ｙ_ｉ）
に変換する行列ａを求める。瞳重心を中心とした一定の
大きさの画像Ｉについて、位置（ｘ，ｙ）にある画素の
明度をＩ（ｘ，ｙ）で表すとする。この画像に行列ａで
表されるアフィン変換を施してた画像に写像を行う。ア
フィン変換によって画像Ｉは、以下の式によって別の画
像Ｉ′に射影される。キャリブレーションデータ
（Ｘ_ｉ，Ｙ_ｉ）は、画像によっては変化しないので、射
影前の画像で（ｘ_ｉ，ｙ_ｉ）にある発光部２は、必ずキ
ャリブレーションデータ（Ｘ_ｉ，Ｙ_ｉ）の位置に射影さ
れる。

【０１０３】

【数１９】 図１４にアフィン写像の例を示す。写像された画像中
で、予め定めた直線上でエッジ抽出を行って、射影され
た瞳領域の輪郭エッジの位置を求める。図１５は、上記
の方法でのエッジ抽出を行う直線の一例である。この直
線上で、エッジ抽出を行う。エッジ抽出には、まず、直
線上の画素をＩ（ｘ）として、ステップ状エッジの抽出
フィルタの畳込み演算を行う。畳込み結果の局所的最大
値を抽出し、その中で予め決めた閾値より大きい値を抽
出する。閾値より大きい値があれば、エッジフィルタが
最大値をとる位置と、次に大きい値をとる位置をエッジ
の位置とする。

【０１０４】指示位置検出部８では、それぞれの直線上
でのエッジの位置を個人調整部１０に出力する。

【０１０５】（個人調整部１０）個人調整部１０は、個
人調整パラメータ学習部１１で学習したパラメータを用
いて、指示位置検出部８の出力からオペレータの意図し
た指示位置への変換を行う。指示位置検出部８でエッジ
抽出を行う直線がｎ本あり、ｉ番目の直線から入力した
エッジの位置をｘ_ｌｉ，ｘ_ｒｉとする。このとき出力す
る指示位置（ｘ_ｐ，ｙ_ｐ）を、

【数２０】 で計算する。この計算に用いるパラメータａ_ｉ，ｂ
_ｉ（ｉ＝０〜２ｎ）は個人調整パラメータ学習部で求め
る。

【０１０６】（個人調整パラメータ学習部１１）個人調
整パラメータ学習部１１では、実際にディスプレイ上で
指示対象になる図形を表示し、オペレータがこの図形を
注視した時の指示位置検出部８の出力と、図形の表示位
置の対応を与えて、指示位置検出部８の出力から個々の
オペレータが意図した指示位置への変換パラメータを学
習する。

【０１０７】この個人調整パラメータ学習部１１の処理
の流れは、先に説明した図１２と同じであるのでこの図
を用いて説明する。

【０１０８】まず、パラメータａ_ｊ，ｂ_ｊ（ｊ＝０．．
２ｎ）の初期推定値として、ａ_１＝１，ｂ_１＝１、それ
以外のパラメータには０とする（ステップ３０１）。

【０１０９】ディスプレイ上の予め定めた位置（ｘ
´_ｉ，ｙ´_ｉ）に、図形を表示して、オペレータは、表
示された図形への注視を促す（ステップ３０２）。

【０１１０】指示位置検出部８からエッジの位置
ｘ_ｌｉ，ｘ_ｒｉ（ｉ＝１．．ｎ）を入力する（ステップ
３０３）。

【０１１１】エッジの位置ｘ_ｌｉ，ｘ_ｒｉ（ｉ＝１．．
ｎ）と図形の表示位置（ｘ´_ｉ，ｙ´_ｉ）から，ステッ
プ３０４と同様にカルマンフィルタの手法を用いてパラ
メータａ_ｊ，ｂ_ｊ（ｊ＝０．．２ｎ）の推定を行う（ス
テップ３０４）。

【０１１２】ｔ番目のディスプレイ上の図形の位置（ｘ
´_ｔ，ｙ´_ｔ）と指示位置検出部８から入力したエッジ
の位置ｘ_ｌｉ，ｘ_ｒｉ（ｉ＝１．．ｎ）について、パラ
メータａ_ｊ，ｂ_ｊ（ｊ＝０．．２ｎ）を表現する状態ベ
クトルｘ［ｔ］を、

【数２１】 とする。また、遷移行列Ａと計測行列Ｃ、観測データｙ
［ｔ］を、以下の式で表す。

【０１１３】

【数２２】 上記の行列を用いて状態ベクトルの推定を行う。推定に
用いる誤差の共分散行列Ｑ［ｔ］，Ｒ［ｔ］について
は、Ｑ［ｔ］は予め定めた一定の行列を与える。Ｒ
［ｔ］には、対応するエッジ位置ｘ_ｌｉかｘ_ｒｉのエッ
ジ抽出結果の信頼度に応じた行列を与える。

【０１１４】次に、推定した状態ベクトルｘと指示位置
検出部８の出力ｘ_ｌｉ，ｘ_ｒｉ（ｉ＝１．．ｎ）から求
めた行列Ｃ［ｔ］を用いて、次の図形表示位置（ｘ
´_ｔ，ｙ´_ｔ）を計算する（ステップ３０５）。

【０１１５】

【数２３】 前回の表示位置と新たに推定した位置の距離が予め決め
た一定閾値より小さくなるか判定し、閾値より小さけれ
ば処理を終了する（ステップ３０６）。

【０１１６】新たに推定した位置がディスプレイの表示
範囲からはずれるか判定し、外れなければ、図形を表示
し、ステップ３０２からの処理を繰り返す。推定位置が
表示範囲からはずれた場合は、表示位置を初期値に戻し
てステップ３０１からの処理を繰り返す（ステップ３０
７）。

【０１１７】距離が一定閾値より小さい場合は、ディス
プレイ上に初期値を表示する位置を変更して以上の処理
を行う。例えば、ディスプレイ上での図形を表示する初
期位置を図１３に示す５箇所に順に変更し、それぞれの
初期位置から出発して、ステップの処理を終了した時点
で個人調整パラメータの学習を終了し、パラメータ
ａ_ｊ，ｂ_ｊ（ｊ＝０．．２ｎ）を個人調整部１０に出力
する。

【０１１８】

【発明の効果】以上述べたように、請求項１記載の視線
検出装置及び請求項４記載の視線検出方法は、表示装置
上で使用者が視線で指示する位置を、使用者がなんらか
の装置を装着することなく使用者の目を撮影した画像か
ら測定できるので、使用者に負荷をかけることなく指示
位置を測定することができる。また、目頭や目尻等個人
差のある特徴を利用せず、発光部の反射位置を用いて計
測を行なうので、精度良く指示位置をを測定することが
できる。

【０１１９】請求項２記載の視線検出装置及び請求項５
記載の視線検出方法は、撮影した前記画像と、３個以上
の映り込み位置とを比較して、前記画像における前記映
り込み位置の近傍領域を眼であるとするため、使用者の
眼の位置を正確かつ確実に判別できる。

【０１２０】請求項３記載の視線検出装置及び請求項６
記載の視線検出方法は、前記３個以上の発光手段の発光
位置を基準にして、３個以上の映り込み位置と瞳の重心
位置を求めるため、前記３個以上の発光手段の位置さえ
明確であれば、カメラ等の画像入力手段の位置はどこに
配置してもよい。

【図面の簡単な説明】

【図１】第１の実施例の視線検出装置のブロック図であ
る。

【図２】位置指示情報獲得手順のフローチャートであ
る。

【図３】発光部の構成例である。

【図４】ウインドウ枠を用いた発光部の構成例である。

【図５】雲台制御のフローチャートである。

【図６】瞳位置検出用マスク画像である。

【図７】瞳輪郭検出用マスク位置である。

【図８】発光素子映り込みの投影である。

【図９】キャリブレーションのフローチャートである。

【図１０】個人調整部の構成図である。

【図１１】個人調整パラメータ学習部のフローチャート
（１）である。

【図１２】個人調整パラメータ学習部のフローチャート
（２）である。

【図１３】図形表示位置の例である。

【図１４】アフイン写像の例である。

【図１５】エッジ検出位置である。

【符号の説明】

１…制御部 ２…発光部 ３…画像入力部 ４…参照点検出部 ５…目領域検出部 ６…画像入力制御部 ７…瞳検出部 ８…指示位置検出部 ９…キャリブレーション部 １０…個人調整部 １１…個人調整パラメータ学習部 １２…表示部

Claims (6)

【特許請求の範囲】
1. 【請求項１】使用者の画像を撮影する画像入力手段と、 前記画像入力手段で撮影した前記画像から前記使用者の
   眼を検出する眼検出手段と、 前記眼検出手段で検出した前記眼における瞳の位置を求
   める瞳検出手段と、 前記使用者に向かって光を照射する３個以上の発光手段
   と、 前記３個以上の発光手段の照射光の前記使用者の眼球上
   でのそれぞれの映り込み位置を検出する参照点検出手段
   と、 前記参照点検出手段で検出した３個以上の映り込み位置
   と、瞳検出手段で検出した前記瞳の位置に基づいて前記
   使用者の視線の指示した位置を検出する指示位置検出手
   段とからなることを特徴とする視線検出装置。
2. 【請求項２】前記眼検出手段は、 前記前記画像入力手段で撮影した前記画像と、前記参照
   点検出手段で検出した３個以上の映り込み位置とを比較
   して、前記画像における前記映り込み位置の近傍領域を
   眼であると検出することを特徴とする請求項１記載の視
   線検出装置。
3. 【請求項３】前記指示位置検出手段は、 前記３個以上の発光手段の発光位置を基準にして、前記
   参照点検出手段で検出する３個以上の映り込み位置と、
   瞳検出手段で検出する前記瞳の位置を検出することを特
   徴とする請求項１記載の視線検出装置。
4. 【請求項４】使用者の画像を撮影する画像入力ステップ
   と、 前記画像入力ステップで撮影した前記画像から前記使用
   者の眼を検出する眼検出ステップと、 前記眼検出ステップで検出した前記眼における瞳の位置
   を求める瞳検出ステップと、 前記使用者に向かって光を照射する３個以上の発光手段
   の照射した光の前記使用者の眼球上でのそれぞれの映り
   込み位置を検出する参照点検出ステップと、 前記参照点検出ステップで検出した３個以上の映り込み
   位置と、瞳検出ステップで検出した前記瞳の位置に基づ
   いて前記使用者の視線の指示した位置を検出する指示位
   置検出ステップとからなることを特徴とする視線検出方
   法。
5. 【請求項５】前記眼検出ステップは、 前記画像入力ステップで撮影した前記画像と、前記参照
   点検出ステップで検出した３個以上の映り込み位置とを
   比較して、前記画像における前記映り込み位置の近傍領
   域を眼であると検出することを特徴とする請求項４記載
   の視線検出方法。
6. 【請求項６】前記指示位置検出ステップは、 前記３個以上の発光手段の発光位置を基準にして、前記
   参照点検出ステップで検出する３個以上の映り込み位置
   と、瞳検出ステップで検出する前記瞳の位置を検出する
   ことを特徴とする請求項４記載の視線検出方法。