JPH1176165A

JPH1176165A - 視線検出装置

Info

Publication number: JPH1176165A
Application number: JP25425397A
Authority: JP
Inventors: Hitoshi Hongo; 仁志本郷
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1997-09-02
Filing date: 1997-09-02
Publication date: 1999-03-23
Anticipated expiration: 2017-09-02
Also published as: JP3796019B2

Abstract

(57)【要約】【課題】事前にキャリブレーションを行う必要のない
視線検出装置を提供する。【解決手段】表示部に補正用ターゲットを表示し（Ｓ
１３）、その際の視線を検出する（Ｓ１４）。そして、
補正用ターゲットが表示された座標位置と検出された視
線の視線位置とのずれを算出して（Ｓ１５）、そのずれ
を補正する（Ｓ１７）。補正の仕方としては、視線位置
の座標とこれに対応する濃度分布情報とを有するテーブ
ルにおける該濃度分布情報を修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線検出において
キャリブレーションを行う装置に関するものである。

【０００２】

【従来の技術】従来、視線検出を行う場合には、事前に
キャリブレーションを行っておく場合がある。すなわ
ち、視線検出機能を有する装置を具体的に使用する前
に、ユーザに対して所定の位置にマーカーを表示し、そ
の表示した時のユーザの顔の画像を取り込んでおいて視
線検出の際の参考データとする。例えば、まず、正面位
置にマーカーを表示して、その時の顔の画像を取り込
み、次に、右１０度の位置にマーカーを表示して、その
時の顔の画像を取り込むというように順次所定の方向を
向いた時の画像を取り込んで、参考データとしておく。
そして、視線方向を算出する際に、この参考データを使
用して視線検出を行うのである。

【０００３】なお、所定のマーカーが表示された際にそ
の方向を正確に見ていない等の不都合が検出された場合
には、再度キャリブレーションの手続をやり直す必要が
ある。特に、上記の事前のキャリブレーションは、正確
な視線検出を行う場合には必要となる作業である。

【０００４】

【発明が解決しようとする課題】しかし、上記のような
事前のキャリブレーションはユーザには負担となり、本
来の作業を行うまでに時間を要してしまう。そこで、本
発明は、事前にキャリブレーションを行う必要のない視
線検出装置を提供することを目的とするものである。

【０００５】

【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第１には、視線
位置を検出する視線検出装置であって、表示部に所定の
表示体を指示し、この表示された表示体の表示位置と、
該マークを表示した際に検出された視線位置とを比較す
ることにより、検出される視線位置を補正することを特
徴とする。上記第１の構成の視線検出装置においては、
表示部を表示して補正を行うので、所定の処理操作中に
もキャリブレーションを行うことができ、事前にキャリ
ブレーションを行う必要がない。

【０００６】また、第２には、視線位置を検出する視線
検出装置であって、所定の情報を表示する表示手段と、
該表示手段に所定の表示体を表示させる表示体表示手段
と、表示体が表示された際の視線位置を検出する視線検
出手段と、上記表示体の表示位置と検出された視線位置
との間にずれがある場合に、検出される視線位置を補正
する補正手段とを有することを特徴とする。この第２の
構成の視線検出装置においては、表示体表示手段により
所定の表示体が表示される。そして、視線検出手段が該
表示体が表示手段に表示された際の視線位置を検出す
る。すると、補正手段は、上記表示体の表示位置と検出
された視線位置との間にずれがある場合に、検出される
視線位置を補正する。よって、表示部を表示して補正を
行うので、所定の処理操作中にもキャリブレーションを
行うことができ、事前にキャリブレーションを行う必要
がない。

【０００７】また、第３には、上記第１又は第２の構成
において、視線検出装置が、さらに、視線のずれを検知
するずれ検知手段を有し、少なくとも該ずれ検知手段に
よりずれが検知された場合に、上記表示体表示手段が表
示体を表示手段に表示させることを特徴とする。よっ
て、不必要な表示体の表示を省略することができる。ま
た、第４には、上記第２又は第３の構成において、ユー
ザにより入力操作があった場合に、上記表示体表示手段
が、その入力操作に対応する表示体を表示させることを
特徴とする。また、第５には、上記第２から第４までの
いずれかの構成において、視線検出装置が、さらに、上
記表示体の表示位置と検出された視線位置とのずれ量を
検出する第２ずれ検知手段を有し、この第２ずれ検知手
段の検出結果が所定の場合に上記補正手段が補正を行う
ことを特徴とする。よって、ずれ量が所定の値よりも大
きい場合には、補正を行わないようにする等により補正
の適正を保つことができる。

【０００８】また、第６には、上記第１から第５までの
いずれかの構成において、上記表示体が、所定の記号又
は図形であることを特徴とする。また、第７には、上記
第１から第６までのいずれかの構成において、上記表示
体が、文字であることを特徴とする。よって、文字の入
力操作があった場合に、その文字を表示体として補正を
行えば、一々補正用の表示体を表示する必要がない。

【０００９】また、第８には、上記第１から第７までの
いずれかの構成において、上記視線検出装置が、座標位
置と各座標位置に対応する検出用データとを有する視線
検出用情報を格納した記憶部を有し、該記憶部に格納さ
れた検出用データの内容を変更することにより補正を行
うことを特徴とする。よって、座標位置に対応する検出
用データを変更することにより、検出される座標位置を
補正することができる。また、第９には、上記第１から
第７までのいずれかの構成において、上記視線検出装置
が、座標位置と各座標位置に対応する検出用データとを
有する視線検出用情報を格納した記憶部を有し、該記憶
部に格納された座標位置の内容を変更することにより補
正を行うことを特徴とする。よって、座標位置の内容を
変更することにより、検出される座標位置を補正するこ
とができる。また、第１０には、上記第８又は第９の構
成において、上記記憶部には、座標位置と該座標位置に
対応する検出用データであって、予めデフォルトされた
検出用データとを格納されていることを特徴とする。よ
って、補正前の当初はこのデフォルトされたデータによ
り検出を行えばよい。

【００１０】

【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明に基づく上記視線
検出装置としての検出視線位置補正装置Ａ１は、図１に
示されるように構成され、カメラ１０と、視線検出部１
２と、ずれ検知部１６と、補正部１８と、表示部２０
と、表示制御部２２とを有している。また、図２に示す
コンピュータ端末Ｐには、上記構成の検出視線位置補正
装置Ａ１が搭載されているものとする。

【００１１】ここで、上記カメラ１０は、ユーザの特に
顔部を撮影するもので、図２に示すように、表示部２０
を見るユーザ甲の顔を撮影するように設置されている。
このカメラ１０は、ＣＣＤカメラ等により構成される。
また、上記視線検出手段としての上記視線検出部１２
は、上記カメラ１０により得られた画像データから視線
を検出するものであり、該画像データに人間の顔があ
り、表示部２０の方を向いている場合にその人の視線を
検出する。具体的には、撮影して得られた画像データに
対してエッジ抽出を行い、人間の顔が写っている場合
に、その目における黒目の方向を検出することにより行
う。詳しくは後述する。また、上記視線検出部１２に
は、視線検出情報格納部１４が設けられている。この視
線検出情報格納部１４には、視線検出に利用される視線
検出用テーブルが格納されている。つまり、この視線検
出用テーブルには、座標位置の位置情報と、これに対応
する濃度分布情報とが複数格納されている。この視線検
出情報格納部１４におけるデータには、ターゲット表示
に伴い取り込まれる追加データとは別に、当初の視線検
出用に予めデフォルトされたデータも格納されている。

【００１２】すなわち、視線検出情報格納部１４には、
図３に示すようなテーブルが設けられている。例えば、
画像データ１については、この画像データ１に対応する
視線位置（ｘ１，ｙ１）が格納されている。なお、各画
像データについては、Ｘ方向の濃度分布情報とＹ方向の
濃度分布情報とに分けて抽出して格納されているものと
する。例えば、画像データ１については、Ｘ方向の濃度
分布情報とＹ方向の濃度分布情報とに分けて格納されて
いる。濃度分布情報は、例えばヒストグラム曲線により
構成される。図３において、画像データ１から画像デー
タｎまでは予めデフォルトされた画像データである。つ
まり、一般的な画像データを予め格納してあるのであ
る。また、図３における追加データは、補正用ターゲッ
トを表示した際に得た画像データである。この濃度分布
情報は、上記検出用データとして機能する。また、上記
視線検出情報格納部１４は上記記憶部として機能する。
この視線検出部１２は、実際には、視線検出を行うため
のプログラム等の各種データを格納したメモリと該プロ
グラムに従い所定の処理を行うＣＰＵ等から構成され
る。

【００１３】また、ずれ検知部１６は、検出された視線
の位置により視線位置のずれを検知する。例えば、検出
された視線位置が表示部２０の外部である頻度が高い場
合や、注視点があるエリアに偏っている場合等に視線位
置のずれがあると判定する。さらに、ずれ検知部１６
は、上記視線検出部１２で検出された視線位置と上記表
示制御部２２からのターゲット位置とを比較して、それ
らのずれを検知するものである。つまり、上記視線位置
とターゲット位置とのずれ方向及びずれ量を検出する。
具体的には、後述する。このずれ検知部１６は、ずれ検
知手段及び第２ずれ検知手段として機能する。

【００１４】また、上記補正手段としての上記補正部１
８は、検出される視線位置を補正するものであり、具体
的には、ずれが検知された場合に、その時の画像データ
を取り込み、上記視線検出情報格納部１４に格納してお
く。上記視線検出情報格納部１４への画像データの格納
に際しては、ターゲット位置の情報と対応させておく。
これにより、以後の視線検出においては、この画像デー
タの情報も利用されることになる。

【００１５】また、表示したターゲット位置の座標につ
いてすでにデフォルトされた画像データがある場合に
は、その画像データと補正用のターゲットを表示して得
た画像データとを平均化する処理を行う。つまり、同じ
座標位置についてＸ方向とＹ方向の各パターン画像とし
ての濃度分布情報を平均化する。また、上記表示手段と
しての上記表示部２０は、所定の情報を表示するための
もので、ＣＲＴやＬＣＤ等のモニタにより構成される。

【００１６】また、表示制御部２２は、表示部２０への
表示を制御するものであり、特に、ずれ検知部１６にお
いてずれが検知された場合に、表示部２０に視線検知用
のターゲットを表示する制御を行う。なお、このターゲ
ットは、視線位置を検出することが可能な大きさの表示
体であればよく、文字や記号等のキャラクターでもよ
く、また、図形等でもよい。この表示制御部２２は、上
記表示体表示手段として機能する。

【００１７】上記構成の検出視線位置補正装置Ａ１の動
作について図４を使用して説明する。まず、ユーザが上
記構成の検出視線位置補正装置Ａ１が搭載されたコンピ
ュータ端末Ｐを使用して処理を行っているものとする。
この処理としては、ワードプロセッサによる文字の入
力、表計算による処理等任意である。

【００１８】まず、カメラに１０により画像データを取
り込む（Ｓ１０）。すなわち、上記カメラ１０がユーザ
甲の顔を撮影する。すると、このカメラ１０により撮影
された画像は視線検出部１２に送られる。次に、視線検
出部１２においては、視線検出が行われる（Ｓ１１）。
すなわち、まず、視線検出部１２では、撮影された画像
にエッジ抽出処理が行われる。そして、エッジ抽出処理
後に、まず、人の顔があるかどうかが検出される。つま
り、エッジ抽出処理が行われた画像と人物標準パターン
画像とを比較して、人の顔があるかどうかを推定する。
なお、人の顔の判定においては、肌色情報をも考慮して
行うようにしてもよい。フレーム間の差分画像から移動
した物体を検知し、その物体と人物標準パターン画像と
を比較して人の顔を判定するようにしてもよい。

【００１９】人の顔があることが検出されたら、視線を
検出する。ここでは、視線方向を検出する。すなわち、
エッジ抽出することにより得られたエッジ情報から、検
出された人の顔における目の垂直方向の位置と水平方向
の位置とを推定して目の部分の画像を切り出し、この切
り出した領域の濃淡画像を生成する。その後、目におけ
る黒目の位置に関する濃度分布情報を水平方向と垂直方
向について算出し、予め設けられている水平方向と垂直
方向の濃度分布情報と比較し、類似度を算出して視線方
向を検出するのである。図３のテーブルにおける画像デ
ータ１〜画像データｎまでの水平方向の濃度分布情報と
垂直方向の濃度分布情報とが、この予め設けられた水平
方向と垂直方向の濃度分布情報に相当する。なお、補正
用ターゲットを表示することにより、テーブルに格納さ
れる濃度分布情報が増えた場合には、これらも視線検出
に考慮されることになる。なお、処理の当初において
は、図３の追加データは存在しないので、デフォルトさ
れたデータのみで視線検出を行うことになる。

【００２０】そして、検出された方向の視線の空間位置
を検出する。つまり、撮影された画像におけるその人の
目の空間座標位置と、検出された視線方向とにより、そ
の視線の空間位置を検出する。なお、上記目の空間座標
位置の検出は次のように行う。つまり、図２に示すＸ方
向、Ｙ方向の座標については撮影された２次元画像にお
ける座標により検出可能であり、また、Ｚ方向の座標に
ついては、例えば、顔の大きさから推定する等の方法や
距離センサにより検出する方法がある。なお、このＺ方
向の座標については、所定の光を照射し、顔や目等に反
射して帰ってくるまでの時間により算出してもよい。

【００２１】以上のようにして、目の空間位置と視線方
向とに基づき、空間内における視線の位置が決定される
ので、その視線が表示部２０のどの位置にあるかを判定
する。具体的には、表示部２０の表示面において視線が
通過する視線位置としての座標（Ｘ，Ｙ）を算出する。
なお、表示部２０の表示面外に視線がある時は、該表示
面の延長面上の座標を視線位置として検出する。

【００２２】なお、上記視線の検出においては、注視点
が検出されるかどうかを条件とするのが好ましい。つま
り、視線が一定時間停留している場合に始めて視線が検
出されたものとして処理を行う。つまり、視線が表示部
２０の方を向いていたとしても、視線が一定時間停留し
ない場合には、表示されたキーワードを知覚したとはい
えないとして、視線検出に、所定時間視線が停留してい
ることを条件とすることが望ましい。上記視線検出処理
は上記視線検出部１２により行う。

【００２３】なお、視線方向検出の方法は上記の方法に
は限られず、他の方法であってもよい。例えば、人の顔
があるかどうかの検出は上記と同様の方法で行い、視線
方向の検出については、近赤外光を照射してその反射角
度に基づき算出するようにしてもよい。また、上記の方
法とこの近赤外光による方法とを併用してもよい。ま
た、上記Ｚ方向の座標は、近赤外光が反射して戻ってく
る到達時間により検出してもよい。視線検出の方法につ
いては、特開平８−３２２７９６号公報や特開平５−２
０５０３０号公報に開示されている。

【００２４】以上のように視線検出が行われたら、ずれ
検知部１６によりずれが検知されるか否かが判定される
（Ｓ１２）。すなわち、検出された視線位置が表示部２
０の外部である頻度が高い場合や、注視点があるエリア
に偏っている場合等に視線位置のずれがあると判定す
る。なお、表示部２０の表示範囲の情報は予めずれ検知
部１６に保持されているものとする。また、アイコンが
表示されている画面が表示されている状態で、アイコン
の表示範囲以外に注視点が集まる場合にもずれがあるも
のと判定される。この場合、アイコンの表示範囲につい
ての情報は上記表示制御部２２から得る。このステップ
Ｓ１２において、ずれが検知された場合には、ステップ
Ｓ１３に進み、ずれが検知されない場合には、最初に戻
る。つまり、ステップＳ１０に戻る。

【００２５】次に、ステップＳ１３においては、補正用
ターゲットを表示する。すなわち、表示部２０上に補正
用ターゲットを表示させる。この補正用ターゲットの表
示は、上記表示制御部２２により行う。この補正用ター
ゲットは、ユーザが該補正用ターゲットが知覚できる程
度の大きさとし、色彩については、ユーザに知覚されや
すいように周囲の色彩とは異なる色彩とすることが好ま
しい。また、ユーザの注意を引くためにターゲットを点
滅させてもよい。図５に示す例では、×印の補正用ター
ゲットＴが表示されている。

【００２６】補正用ターゲットが表示されたら、その時
の視線検出を行う（Ｓ１４）。この視線検出は、上記ス
テップＳ１１における視線検出と同様に行う。つまり、
表示部２０の表示面上の視線位置を検出する。なお、視
線検出のタイミングは、表示制御部２２が補正用ターゲ
ットを表示し、ユーザの知覚及び視線を動かすまでの遅
延を考慮したタイミングで、視線検出指示を視線検出部
１２に対して行うことにより、補正用ターゲットが表示
された時の視線を検出するようにする。

【００２７】そして、上記表示された補正用ターゲット
の表示位置と、検出された視線位置とを比較して、それ
らのずれを検知する（Ｓ１５）。つまり、上記視線位置
とターゲット位置とのずれ方向及びずれ量を検出する。
このずれ方向とずれ量を検出する方法として、水平方向
（Ｘ方向）のずれ量と垂直方向（Ｙ方向）のずれ量とを
比較することにより検出する方法が挙げられる。つま
り、図５において、補正用ターゲットＴの座標が（ｘ
α，ｙα）で、検出された視線位置Ｋの座標が（ｘｋ，
ｙｋ）の場合に、Ｘ方向のずれ量はｘα−ｘｋで表さ
れ、一方、Ｙ方向のずれ量はｙα−ｙｋで表される。

【００２８】以上のようにして、ずれを算出したら、補
正の必要があるか否かを判定する（Ｓ１６）。この場合
の考え方として、ずれ量があまり大きい場合には、表示
された補正用ターゲットを見逃した可能性が考えられる
ことから補正は行わないようにする。すなわち、上記補
正用ターゲットＴと視線位置Ｋとの距離ｒを算出し、こ
のｒが所定のしきい値よりも小さい場合には、補正を行
い、一方、該距離ｒが該しきい値よりも大きい場合に
は、補正を行わない。

【００２９】そして、補正が必要であると判定された場
合には、ステップＳ１７に進み、視線位置の補正を行
う。すなわち、その時の画像データを取り込み、上記視
線検出情報格納部１４に格納しておく。この場合、ター
ゲット位置の座標位置の位置情報が既にデフォルトされ
たデータの位置情報にない場合には、上記視線検出情報
格納部１４に新規に登録を行う。上記視線検出情報格納
部１４への画像データの格納に際しては、図３のテーブ
ルの視線位置についてはターゲット位置の位置情報とす
る。つまり、図５のように（ｘα，ｙα）の座標位置に
補正用ターゲットを表示させた場合には、テーブルの視
線位置には、この（ｘα，ｙα）を書き込む。そして、
この時の画像データを水平方向の濃度分布情報と垂直方
向の濃度分布情報とに分けて格納しておく。これによ
り、以後の視線検出においては、この画像データの情報
も利用されることになる。

【００３０】一方、ターゲット位置の座標位置の位置情
報がすでにデフォルトされたデータの中にある場合に
は、画像データの濃度分布情報を平均化する処理を行
う。例えば、図３において、視線位置（ｘ１，ｙ１）と
補正用ターゲット表示位置としての視線位置（ｘα，ｙ
α）とが同じ座標位置の場合には、画像データαを新規
に登録するのではなく画像データ１の画像データの内容
を平均化したものとする。つまり、Ｘ方向についての濃
度分布情報については、画像データ１のものと画像デー
タαのものとを平均化するとともに、Ｙ方向についての
濃度分布情報についても、画像データ１のものと画像デ
ータαのものとを平均化する。

【００３１】以上のようにすれば、以後の視線検出にお
いては、平均化された濃度分布情報との類似度を算出し
て視線方向を検出するので、より正確な視線の検出を行
うことができる。また、コンピュータ端末Ｐにおける処
理の最中に補正用ターゲットを表示して補正を行うの
で、事前にキャリブレーションを行う必要がない。

【００３２】なお、補正用ターゲットを出す座標位置と
しては、デフォルトされたデータにおける濃度分布情報
を補正するために、当初はデフォルトされたデータにお
ける視線位置を補正用ターゲットの座標位置とするのが
好ましい。なお、上記説明においては、ステップＳ１０
からステップＳ１２に示すように、視線位置のずれを検
知した場合に補正用ターゲットを表示するものとして説
明したが、上記のようなずれ検知を行わず、定期的に補
正用ターゲットを表示するようにしてもよい。また、ユ
ーザの入力操作により補正用ターゲットを表示するよう
にしてもよい。

【００３３】次に、第２実施例について説明する。第２
実施例の検出視線位置補正装置Ａ２の構成は上記第１実
施例と略同一であり、図１と同様の構成であるが、表示
制御部２２の動作が異なる。つまり、表示制御部２２は
ある入力された文字の表示位置を検出し、この文字の表
示位置の情報をずれ検知部１６に送る。また、該文字を
表示部２０に表示するタイミングで、視線検出部１２に
視線検出を指示するのである。詳しい動作は後述する。
なお、他の構成は上記第１実施例と同様であるのでその
説明を省略する。

【００３４】第２実施例における検出視線位置補正装置
Ａ２の動作について図６を使用して説明する。まず、図
２に示すように、ユーザが上記構成の検出視線位置補正
装置Ａ２が搭載されたコンピュータ端末Ｐを使用して処
理を行っているものとする。この処理としては、ワード
プロセッサによる文字の入力、表計算による処理等任意
である。

【００３５】まず、カメラに１０により画像データを取
り込む（Ｓ２０）。すなわち、上記カメラ１０がユーザ
甲の顔を撮影する。すると、このカメラ１０により撮影
された画像は視線検出部１２に送られる。次に、視線検
出部１２においては、視線検出が行われる（Ｓ２１）。
この視線検出の方法は上記第１実施例の場合と同様であ
る。

【００３６】視線検出が行われたら、ずれ検知部１６に
よりずれが検知されるか否かが判定される（Ｓ２２）。
すなわち、検出された視線位置が表示部２０の外部であ
る頻度が高い場合や、注視点があるエリアに偏っている
場合等に視線位置のずれがあると判定する。なお、表示
部２０の表示範囲の情報は予めずれ検知部１６に保持さ
れているものとする。また、アイコンが表示されている
画面が表示されている状態で、アイコンの表示範囲以外
に注視点が集まる場合にもずれがあるものと判定され
る。この場合、アイコンの表示範囲についての情報は上
記表示制御部２２から得る。このステップＳ２２におい
て、ずれが検知された場合には、ステップＳ２３に進
み、ずれが検知されない場合には、最初に戻る。つま
り、ステップＳ２０に戻る。

【００３７】次に、ステップＳ２３においては、文字入
力があるかどうかが判定される。文字入力があった場合
には、ステップＳ２４に移行する。ステップＳ２４で
は、入力された文字の入力位置の座標を検出する。図７
に示すように、「ＬＯＧＯＮ」と入力された場合を考え
ると、表示部２０に表示された「ＬＯＧＯＮ」の表示位
置の座標を検出する。検出された座標が（ｘα，ｙα）
であるとする。なお、検出される座標は便宜上「ＬＯＧ
ＯＮ」における真ん中の「Ｇ」の位置の座標とする。

【００３８】文字入力位置の座標が検出されたら、その
時の視線検出を行う（Ｓ２５）。この視線検出は、上記
ステップＳ２１における視線検出と同様に行う。なお、
視線検出のタイミングは、実際には、表示制御部２２が
文字を表示し、ユーザの知覚及び視線を動かすまでの遅
延を考慮したタイミングで、視線検出指示を視線検出部
１２に対して行うことにより、該文字が表示された時の
視線を検出するようにするのが好ましい。

【００３９】そして、上記文字の表示位置と、検出され
た視線位置とを比較して、それらのずれを検知する（Ｓ
２６）。つまり、上記視線位置とターゲット位置とのず
れ方向及びずれ量を検出する。このずれ方向とずれ量を
検出する方法として、上記と同様に、Ｘ方向のずれ量と
Ｙ方向のずれ量とを比較することにより検出する。つま
り、図７において、入力文字Ｌの座標が（ｘα，ｙα）
で、検出された視線位置Ｋの座標が（ｘｋ，ｙｋ）の場
合に、Ｘ方向のずれ量はｘα−ｘｋで表され、一方、Ｙ
方向のずれ量はｙα−ｙｋで表される。

【００４０】以上のようにして、ずれを算出したら、補
正の必要があるか否かを判定する（Ｓ２７）。この場合
も上記第１実施例と同様に、上記入力文字Ｌと視線位置
Ｋとの距離ｒを算出し、このｒが所定のしきい値よりも
小さい場合には、補正を行い、一方、該距離ｒが該しき
い値よりも大きい場合には、補正を行わない。

【００４１】そして、補正が必要であると判定された場
合には、ステップＳ２８に進み、視線位置の補正を行
う。この補正の方法は、上記第１実施例と同様である。
つまり、ターゲット位置の位置情報が既にデフォルトさ
れたデータの位置情報にない場合には、上記視線検出情
報格納部１４に新規に登録を行い、一方、ターゲット位
置の位置情報がすでにデフォルトされたデータの中にあ
る場合には、画像データの濃度分布情報を平均化する処
理を行う。

【００４２】以上のようにすれば、以後の視線検出にお
いては、平均化されたパターン画像との類似度を算出し
て視線方向を検出するので、より正確な視線の検出を行
うことができる。また、コンピュータ端末Ｐにおける処
理の最中に入力された文字の表示位置を検出する等して
補正を行うので、事前にキャリブレーションを行う必要
がない。また、本第２実施例によれば、入力された文字
の表示位置と検出された視線位置とのずれに従い補正を
行うので、上記第１実施例のように補正用ターゲットを
一々表示する必要がない。

【００４３】なお、この第２実施例においても、上記説
明においては、ステップＳ２０からステップＳ２２に示
すように、視線位置のずれを検知した場合に補正用ター
ゲットを表示するものとして説明したが、上記のような
ずれ検知を行わず、定期的に補正用ターゲットを表示す
るようにしてもよい。

【００４４】なお、上記の説明では、視線検出情報格納
部１４において、画像データをＸ方向の濃度分布情報と
Ｙ方向の濃度分布情報とに分けて格納するものとして説
明したが、これには限られず、２次元の画像データとし
て格納するようにしてもよい。

【００４５】また、上記の説明においては、補正の方法
として所定の視線位置についてのＸ方向とＹ方向の濃度
分布情報を変更するものとして説明したが、これには限
られず、検出されたずれのずれ方向とずれ量とに従い、
図３に示すテーブルの視線位置の情報を変更する処理を
行うようにしてもよい。つまり、ある補正用ターゲット
と検出された視線位置とのずれをＸ方向とＹ方向とに検
出し、テーブルに格納されている視線位置の座標情報を
そのずれ量だけ補正するのである。

【００４６】つまり、ある補正用ターゲット表示位置と
検出された視線位置とのずれをＸ方向とＹ方向とに検出
し、テーブルに格納されている視線位置の座標情報をそ
のずれ量だけ補正するのである。すなわち、図５の例で
は、Ｘ方向のずれ量はｘα−ｘｋ（これをｘｍとする）
で表され、一方、Ｙ方向のずれ量はｙα−ｙｋ（これを
ｙｍとする）で表される。そこで、すでに格納されてい
る視線位置のデータをこのずれ量分だけ補正するのであ
る。つまり、画像データ１の場合には、視線位置は（ｘ
１−ｘｍ，ｙ１−ｙｍ）とする。なお、補正する画像デ
ータは、予めデフォルトされた画像データのみとするの
が好ましい。つまり、デフォルトされた画像データ以外
の画像データは、補正用ターゲットを表示して得た画像
データであるので、補正の必要性が低いからである。ま
た、補正用ターゲットを表示することにより得た画像デ
ータが画像データα、画像データβというように増えて
いくことになるが、その場合には、補正値を平均化する
とにより対応する。

【００４７】

【発明の効果】本発明に基づく視線検出装置によれば、
補正用ターゲットや入力された文字等の表示体を表示さ
せることにより、検出される視線位置を補正するので、
事前にキャリブレーションを行う必要がない。

【図面の簡単な説明】

【図１】本発明の実施例に基づく視線検出装置の構成を
示すブロック図である。

【図２】本発明の実施例に基づく視線検出装置の使用状
態を示す斜視図である。

【図３】視線検出用テーブルを示す説明図である。

【図４】本発明の第１実施例に基づく視線検出装置の動
作を示すフローチャートである。

【図５】本発明の第１実施例に基づく視線検出装置の動
作を示す説明図である。

【図６】本発明の第２実施例に基づく視線検出装置の動
作を示すフローチャートである。

【図７】本発明の第２実施例に基づく視線検出装置の動
作を示す説明図である。

【符号の説明】

Ａ１、Ａ２視線検出装置１０カメラ１２視線検出部１４視線検出情報格納部１６ずれ検知部１８補正部２０表示部２２表示制御部

Claims

【特許請求の範囲】

【請求項１】視線位置を検出する視線検出装置であっ
て、表示部に所定の表示体を指示し、この表示された表示体
の表示位置と、該マークを表示した際に検出された視線
位置とを比較することにより、検出される視線位置を補
正することを特徴とする視線検出装置。
【請求項２】視線位置を検出する視線検出装置であっ
て、所定の情報を表示する表示手段と、該表示手段に所定の表示体を表示させる表示体表示手段
と、表示体が表示された際の視線位置を検出する視線検出手
段と、上記表示体の表示位置と検出された視線位置との間にず
れがある場合に、検出される視線位置を補正する補正手
段とを有することを特徴とする視線検出装置。
【請求項３】視線検出装置が、さらに、視線のずれを
検知するずれ検知手段を有し、少なくとも該ずれ検知手
段によりずれが検知された場合に、上記表示体表示手段
が表示体を表示手段に表示させることを特徴とする請求
項１又は２に記載の視線検出装置。
【請求項４】ユーザにより入力操作があった場合に、
上記表示体表示手段が、その入力操作に対応する表示体
を表示させることを特徴とする請求項２又は３に記載の
視線検出装置。
【請求項５】視線検出装置が、さらに、上記表示体の
表示位置と検出された視線位置とのずれ量を検出する第
２ずれ検知手段を有し、この第２ずれ検知手段の検出結
果が所定の場合に上記補正手段が補正を行うことを特徴
とする請求項２又は３又は４に記載の視線検出装置。
【請求項６】上記表示体が、所定の記号又は図形であ
ることを特徴とする請求項１又は２又は３又は４又は５
に記載の視線検出装置。
【請求項７】上記表示体が、文字であることを特徴と
する請求項１又は２又は３又は４又は５又は６に記載の
視線検出装置。
【請求項８】上記視線検出装置が、座標位置と各座標
位置に対応する検出用データとを有する視線検出用情報
を格納した記憶部を有し、該記憶部に格納された検出用
データの内容を変更することにより補正を行うことを特
徴とする請求項１又は２又は３又は４又は５又は６又は
７に記載の視線検出装置。
【請求項９】上記視線検出装置が、座標位置と各座標
位置に対応する画像データとを有する視線検出用情報を
格納した記憶部を有し、該記憶部に格納された座標位置
の内容を変更することにより補正を行うことを特徴とす
る請求項１又は２又は３又は４又は５又は６又は７に記
載の視線検出装置。
【請求項１０】上記記憶部には、座標位置と該座標位
置に対応する検出用データであって、予めデフォルトさ
れた検出用データとを格納されていることを特徴とする
請求項８又は９に記載の視線検出装置。