JP4568024B2 - 眼球運動測定装置、及び眼球運動測定プログラム - Google Patents

Description

本発明は、眼球運動測定装置、及び眼球運動測定プログラムに係り、特に、高精度な眼球運動測定を実現するための眼球運動測定装置、及び眼球運動測定プログラムに関する。

従来、被験者の眼球運動を測定する場合には、眼球撮影用カメラにより撮影された眼球の映像から画像処理等を行うことで測定を行っている。また、眼球運動の測定中に眼球がカメラの撮影可能な範囲（撮影範囲）から外れないようにするため、眼球の位置を常時検出し、その検出した眼球の位置にカメラの向き、又はミラーを介して被験者を撮影している場合にはミラーの向きを移動させて撮影範囲から外れないよう制御を行っている。

例えば、赤外線による光源を利用して、広域を撮影するモノクロカメラから眼球位置を特定し、特定された眼球位置に基づいてカメラを動かすことで、眼球の測定を行う方法がある。また、顔全体を１つの画像領域として、濃淡画像及び所定のディスプレイを見る眼球の精密画像を取得し、目の瞬きによって眼球の位置を決定し、眼球の精密画像からディスプレイの注視点を決定する手法がある（例えば、特許文献１参照。）。

更に、視線測定時に発生する視線のずれを補正するために、視線算出手段において眼球モデルを導入し、ずれの発生要因となる角膜表面での光の屈折を予め補正し、個人キャリブレーション手段において、残るずれを補正する２点補正による管理キャリブレーションを用いた視線測定システムが提案されている（例えば、非特許文献１参照。）。
特開平１０−１５４２２０号公報 大野健彦，武川直樹，吉川厚、「２点補正による簡易キャリブレーションを実現した視線測定システム」、情報処理学会論文誌、Ｖｏｌ．４４ Ｎｏ．４、Ａｐｒ．２００３

しかしながら、従来の方法では、被験者が眼球撮影用カメラで捉えきれないような速さで動いてしまった場合、眼球運動測定装置はカメラをどの向きに向けたらよいかが分からなくなり追跡ができなくなっていた。なお、この場合には追跡を再開させるために、手動でカメラやミラーの向きを調整する必要があった。また、測定の開始時にも、手動でカメラやミラーの向きを調整する必要があり、測定を始めるまでの作業に手間がかかっていた。

また、広域を撮影するカメラのみを設置する方法は、特別な光源と制御装置が必要となりシステムが高価なものとなり、また煩雑であった。更に、眼球の追跡を、広域を撮影するカメラだけに頼っているため、被験者が動いている際には、広域撮影カメラから指示された方向にカメラ（もしくはミラー）を向けても、眼球位置測定の処理時間の差（タイムラグ）により、眼球を正しく撮影できない等の問題があった。

また、眼球撮影用カメラが眼球を撮影できているにも関わらず、被験者のわずかな動きに対しても、眼球の中心が撮影範囲の中心となるようにカメラやミラーの向きが補正されてしまう場合もあり、この場合には、補正中には眼球運動の測定ができず眼球運動の測定に影響を与えていた。

更に、上述以外の方法としては、被験者にセンサ等を取り付けた接触型視線測定方法のあり、これにより常に眼球の位置を追跡することは可能であるが、センサを身につけることは、被験者にとって大きな負担となってしまう。

本発明は、上述した問題点に鑑みなされたものであり、カメラの向きを制御して位置補正を迅速に行うことにより、高精度な眼球運動測定を実現するための眼球運動測定装置、及び眼球運動測定プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、被験者を広角に撮影する第１の撮像装置と、前記被験者の眼球を撮影する第２の撮像装置とにより、前記被験者の眼球運動を測定する眼球運動測定装置であって、前記第１の撮像装置により撮影された映像から前記第２の撮像装置カメラの向きを制御する制御情報を算出するカメラ向き算出部と、前記第２の撮像装置により撮影された映像から眼球の位置を追跡し、前記第２の撮像装置カメラの向きを制御する制御情報を生成する眼球追跡部と、前記第２の撮像装置により撮影された映像から視線の位置情報を算出する視線算出部と、前記視線算出部における眼球の追跡状態をチェックする追跡状態チェック部と、前記追跡状態チェック部により得られるチェック結果に基づいて、前記カメラ向き算出部又は前記眼球追跡部から得られる制御情報により、前記第２の撮像装置の向きを制御して位置を補正するカメラ制御部とを有し、前記追跡状態チェック部は、前記視線算出部から得られる予め設定された時間間隔内で取得した座標値の分散値と予め設定された閾値とに基づいて、追跡状態のチェックを行うことを特徴とする。

請求項１記載の発明によれば、カメラの向きを制御して位置補正を迅速に行うことにより、高精度な眼球運動測定を実現することができる。具体的には、第１の撮像装置から撮影される映像から得られる制御情報と第２の撮像装置から撮影される映像から得られる制御情報を用いて迅速な位置の補正を行うことにより、高精度な眼球運動測定を実現することができる。また、追跡状態を時間間隔内で取得した座標値の分散値に基づいてチェックすることにより、眼球の位置が正しく測定できているか否かを迅速に把握することができる。

請求項２に記載された発明は、前記カメラ向き算出部は、前記第１の撮像装置で撮影された映像における眼球の座標値から、前記第２の撮像装置に対応する座標値に変換してカメラ向き制御情報を算出することを特徴とする。

請求項２記載の発明によれば、座標値により高精度な位置補正を行うことができる。これにより、高精度な眼球運動測定を実現することができる。

請求項３に記載された発明は、前記眼球追跡部は、前記第２の撮像装置の撮影範囲に予め設定される許容範囲を設け、前記第２の撮像装置で撮影された眼球の瞳孔の中心位置が前記許容範囲外になった場合に、前記第２の撮像装置を補正するための制御情報を前記カメラ制御部に出力することを特徴とする。

請求項３記載の発明によれば、許容範囲内であれば、無駄な制御処理行う必要がないので、処理効率を向上させることができる。これにより、高精度な眼球運動測定を実現することができる。

請求項４に記載された発明は、前記追跡状態チェック部は、前記視線算出部から得られる瞳孔の中心の座標値が予め設定された時間間隔内に取得できているかを判断することで、追跡状態のチェックを行うことを特徴とする。

請求項４記載の発明によれば、追跡状態を座標値の取得間隔でチェックすることにより、眼球の位置が正しく測定できていないことを迅速に把握することができる。これにより、高精度な眼球運動測定を実現することができる。

請求項５に記載された発明は、前記第２の撮像装置の撮像範囲を移動させるためのミラーと、前記ミラーを駆動させるためのミラー駆動部とを有し、前記カメラ制御部は、前記ミラーの位置を制御するための制御情報を生成し、生成された制御情報を前記ミラー駆動部へ出力することを特徴とする。

請求項５記載の発明によれば、軽量なミラーを駆動させて撮影位置の補正を行うことにより、より迅速に撮影範囲の位置補正を行うことができる。

請求項６に記載された発明は、被験者を広角に撮影する第１の撮像装置と、前記被験者の眼球を撮影する第２の撮像装置とにより、前記被験者の眼球運動を測定する処理をコンピュータに実行させるための眼球運動測定プログラムであって、前記第１の撮像装置により撮影された映像から前記第２の撮像装置カメラの向きを制御する制御情報を算出するカメラ向き算出処理と、前記第２の撮像装置により撮影された映像から眼球の位置を追跡し、前記第２の撮像装置カメラの向きを制御する制御情報を生成する眼球追跡処理と、前記第２の撮像装置により撮影された映像から視線の位置情報を算出する視線算出処理と、前記視線算出処理における眼球の追跡状態をチェックする追跡状態チェック処理と、前記追跡状態チェック処理により得られるチェック結果に基づいて、前記カメラ向き算出処理又は前記眼球追跡処理から得られる制御情報により、前記第２の撮像装置の向きを制御して位置を補正するカメラ制御処理とをコンピュータに実行させ、前記追跡状態チェック処理は、前記視線算出処理から得られる予め設定された時間間隔内で取得した座標値の分散値と予め設定された閾値とに基づいて、追跡状態のチェックを行うことを特徴とする。

請求項６記載の発明によれば、カメラの向きを制御して位置補正を迅速に行うことにより、高精度な眼球運動測定を実現することができる。具体的には、第１の撮像装置から撮影される映像から得られる制御情報と第２の撮像装置から撮影される映像から得られる制御情報を用いて迅速な位置の補正を行うことにより、高精度な眼球運動測定を実現することができる。また、追跡状態を時間間隔内で取得した座標値の分散値に基づいてチェックすることにより、眼球の位置が正しく測定できているか否かを迅速に把握することができる。更に、プログラムをインストールすることにより、容易に眼球運動測定を実現することができる。

本発明によれば、高精度な眼球運動測定を実現することができる。

＜本発明の概要＞
本発明は、眼球運動測定の際、眼球を撮影、追跡するカメラ（第２の撮像装置）と、被験者の周りの様子を撮影する広角なカメラ（第１の撮像装置）とを設置することで、眼球を撮影するカメラでの眼球の追跡が外れた場合、広角カメラの映像から検出した眼球位置に基づいて、迅速に眼球を撮影するカメラもしくはミラーの向きを制御して正しいカメラ位置に補正することで、高精度な眼球運動測定を実現する。

＜実施形態＞
以下に、本発明における眼球運動測定装置、及び眼球運動測定プログラムを適用した実施形態について図を用いて説明する。図１は、本発明における眼球運動測定装置の第１の実施形態を示す図である。

図１に示す眼球運動測定装置１０は、被験者撮影装置１１と、眼球撮影装置１２とを有するよう構成されている。また、被験者撮影装置１１は、被験者撮影用カメラ（第１の撮像装置）２０と、顔特徴抽出部２１と、カメラ向き算出部２２と、第１カメラ向き制御部２３と、追跡状態チェック部２４とを有するよう構成されている。また、眼球撮影装置１２は、眼球撮影用カメラ（第２の撮像装置）３０と、光源装置３１と、サーボコントローラ３２と、第２カメラ向き制御部３３と、眼球追跡部３４と、視線算出部３５とを有するよう構成されている。

被験者撮影装置１１は、被験者１３がある程度動いたとしても撮影範囲内に入るように広角に撮影されるカメラであり、撮影された被験者１３の映像から眼球撮影装置１２における撮影位置を補正するためのカメラ向き制御情報を生成する。また、眼球撮影装置１２は、被験者１３の眼球を撮影するカメラであり、眼球の動きに合わせて撮影位置を補正する。また、眼球が撮影範囲から外れた場合に、被験者撮影装置１１からのカメラ向き制御情報により撮影位置を補正する。

ここで、被験者撮影用カメラ２０及び眼球撮影用カメラ３０から撮影される被撮影対象物について図を用いて説明する。図２は、被撮影対象物の撮影された様子を説明するための図である。図２（ａ）は、被験者撮影カメラ２０により撮影される映像を示し、図２（ｂ）は、眼球撮影用カメラ３０により撮影される映像を示している。

図２（ａ）に示すように被験者撮影用カメラ２０から撮影される映像は、被験者の肩付近から上部が撮影され、特に顔全体が撮影されている。また、図２（ｂ）に示すように眼球撮影用カメラ３０から撮影された映像は、被験者１３の左右どちらか一方の眼球部分が撮影されている。

次に、図１における被験者撮影装置１１及び眼球撮影装置１２のそれぞれの具体的な機能について説明する。顔特徴抽出部２１は、被験者撮影用カメラ２０から撮影された映像に含まれる顔画像に基づいて顔の特徴抽出処理等により、予め設定される左右どちらか一方の眼球の位置、例えば、瞳孔の中心の座標を抽出する。なお、左右どちらの眼球を抽出するかは、眼球撮影装置１２により撮影される眼球と同一の眼球を抽出する。

ここで、顔の特徴抽出方法としては様々な方法があるが、例えば顔の濃淡画像にエッジ抽出フィルタ等を行い、エッジ画像とエッジでできた顔部品のテンプレートとのマッチングによって、眼球の位置を抽出する方法等がある。顔特徴抽出部２１は、抽出された眼球の位置情報をカメラ向き算出部２２に出力する。

カメラ向き算出部２２は、顔特徴抽出部２１により抽出された眼球の位置情報から得られる被験者撮影用カメラ２０が現在撮影しているカメラの向きから、眼球撮影用カメラ３０におけるカメラ向き制御情報を算出する。また、カメラ向き算出部２２は、算出されたカメラ向き制御情報を第１カメラ向き制御部２３に出力する。

第１カメラ向き制御部２３は、追跡状態チェック部２４において、視線算出部３５から得られる被験者１３の視線の位置情報から眼球撮影用カメラ３０が被験者１３の眼球を正しく測定できているか否かがチェックされ、そのチェック結果に基づいて第１カメラ向き制御部２３の制御情報をサーボコントローラ３２に出力する。

追跡状態チェック部２４は、視線算出部３５より得られる眼球撮影用カメラ３０にて撮影された眼球の位置情報（例えば、瞳孔の中心の座標値等）に基づいて、眼球撮影装置１２における眼球の追跡状態のチェックを行い、そのチェック結果を第１カメラ向き制御部２３に出力する。

一方、眼球撮影装置１２において、眼球撮影用カメラ３０は、予め設定される被験者のどちらか一方の眼球を撮影する。なお、眼球撮影用カメラ３０のカメラ本体は移動可能であり、撮影範囲を移動させて眼球をある程度まで追跡することができる。

光源装置３１は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等により被験者１３に赤外光を照射する。その状態の被験者を眼球撮影用カメラ３０により撮影することで、眼球の虹彩部付近の情報を検出し視線方向を取得する。具体的には、複数の波長の反射光の強度差から虹彩の位置を算出し、その後、虹彩部や瞳孔の見かけ面積の変化や角膜から反射光等を追従することにより視線方向を取得することができる。なお、眼球の位置検出方法は、この限りではなく、他の画像処理方式を用いて眼球の検出をしてもよい。また、眼球撮影用カメラ３０から撮影された眼球画像は、眼球追跡部３４及び視線算出部３５に出力される。

サーボコントローラ３２は、第２カメラ向き制御部３２又は第１カメラ向き制御部２３から得られる制御情報に基づいて、眼球撮影用カメラ３０の位置・方位・姿勢等を補正するための補正信号を生成し眼球撮影用カメラ３０に出力することで、眼球撮影用カメラ３０の制御を行う。また、第２カメラ向き制御部３３は、眼球追跡部３４から得られる眼球の位置から眼球撮影用カメラ３０が撮影する撮影範囲の位置の補正を行う。また、眼球追跡部３４は、追跡した眼球位置情報を第２カメラ向き制御部３３に出力する。

視線算出部３５は、眼球撮影用カメラ３０により撮影された映像から被験者１３の視線情報や瞳孔径等の情報を出力する。また、視線算出部３５は、追跡状態チェック部２４に眼球の位置情報（例えば、瞳孔の中心の座標値等）を出力する。なお、視線算出部３５は、新たな眼球の位置情報を算出する毎に追跡状態チェック部２４に出力したり、予め設定された周期に基づいて追跡状態チェック部２４に出力したり、追跡状態チェック部２４からの眼球の位置情報の取得要求を受けて、座標値を出力したりすることができる。

これにより、眼球撮影装置１２における眼球撮影中に、被験者１３が動いてしまった等の理由により眼球の撮影ができなかった場合、追跡状態チェック部２４におけるチェック結果から被験者撮影用カメラ２０により撮影された眼球の位置情報から得られる制御情報を眼球撮影装置１２に出力して眼球撮影用カメラ３０のカメラ向き制御による位置補正を行うことができる。

＜カメラ向き算出部：位置情報から制御情報への変換方法＞
ここで、カメラ向き算出部２２において、被験者撮影用カメラ２０で広角に撮影された映像から得られる被験者１３の眼球の位置情報を、眼球撮影用カメラ３０のカメラの向きを制御する制御情報に対応させるための変換方法について図を用いて説明する。図３は、本実施形態におけるカメラの向きを制御する制御情報への変換方法を説明するための図である。

図３に示すように、被験者撮影装置１１及び眼球撮影装置１２において、被験者１３の眼球の位置を同一の座標として位置付けることにより位置情報から制御情報への変換を行う。具体的には、被験者撮影用カメラ２０で撮影された映像における瞳孔の中心の座標値（眼球の位置情報）から、眼球撮影用カメラ３０の向き（位置）を決定するパラメータ（どれだけ、パンやチルト等のカメラの移動を行えばよいかを示す制御情報）への変換を行う。

変換を行う場合は、それぞれのカメラ（被験者撮影用カメラ２０、眼球撮影用カメラ３０）から撮影された撮影範囲４１，４２に対する座標軸（ｘ−ｙ軸）から同一の座標軸（ｍ−ｎ軸）への変換を行う。なお、ｘ−ｙ座標値は被験者撮影用カメラ２０（広角カメラ）により撮影された映像における座標値に一致する。また、ｍ−ｎ座標値は眼球撮影用カメラ３０において撮影領域を特定するためのパラメータである。

まず、図３に示す被験者撮影用カメラ２０の撮影範囲４１に対して、キャリブレーション点４３を３点設定し、それぞれの座標を（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）とする。また、これらの座標からなる同位置を異なる座標系として、（ｍ_１，ｎ_１）、（ｍ_２，ｎ_２）、（ｍ_３，ｎ_３）と表す。これにより、ｘ−ｙ軸からｍ−ｎ軸への変換は、以下に示す（１）式で表現することができる。

なお、上述した（１）式は、ｘ方向、ｙ方向のそれぞれ２点のキャリブレーション点を利用し、線形補間により変換を行っている。具体的には、水平方向には、キャリブレーション点４３−２，４３−３を用いてｍ方向（ｘ方向）の変換式から（ｘ_２，ｍ_２）、（ｘ_３，ｍ_３）を通る直線の式を求めており、垂直方向には、キャリブレーション点４３−１，４３−２を用いて、ｎ方向（ｙ方向）の変換式から（ｘ_２，ｍ_２）、（ｘ_３，ｍ_３）を通る直線の式を求めている。

ここで、眼球撮影用カメラ３０により撮影される瞳孔の中心４４の座標値を（ｘ_ｅ，ｙ_ｅ）とした場合、ｍ−ｎ座標への変換式は以下に示す（２）式で表現することができる。

ここで、ｍ−ｎ座標系における座標値（ｍ，ｎ）は、カメラの方向（水平、垂直方向の角度）に相当する。つまり、ｍ−ｎ座標系により得られる座標値（ｍ，ｎ）に基づいて、眼球撮影用カメラ３０の位置を垂直方向にｍ°、水平方向にｎ°移動させることにより、カメラの位置を補正することができ、眼球が撮影範囲から外れてしまった状態から迅速に補正することができる。これにより、高精度な眼球運動測定を実現することができる。

＜眼球追跡部＞
次に、眼球追跡部３４における具体例について説明する。眼球撮影用カメラ３０により撮影される眼球は、被験者１３の眼球がいきなり撮影範囲より外れる場合と、除々に撮影範囲からずれてフレームアウトしていく場合とがある。眼球追跡部３４は、眼球が除々に撮影範囲からずれていく場合に眼球を追跡して眼球撮影用カメラ３０の撮影範囲の補正を行う。

ここで、追跡の例を説明する。図４は、眼球撮影用カメラにより撮影される眼球の例を示す図である。図４に示すように、眼球撮影としては、図４（ａ）のように、瞳孔の中心が撮影範囲５１の中心位置に位置付けられたままで撮影できればよいが、被験者１３の僅かな動作でも図４（ｂ）や図４（ｃ）に示すように中心位置からずれてしまう。更に、常に瞳孔の中心を撮影範囲の中心に合わせるような場合にはカメラの位置補正が頻繁に発生してしまう。

そこで、眼球追跡部３４では、撮影範囲内に予め設定される許容範囲を設け、その許容範囲内に瞳孔の中心位置がある場合はカメラの位置補正を行わず、許容範囲外になった場合に、第２カメラ向き制御部３３に制御情報を出力するようにする。これにより、頻繁な位置補正を防止することができる。

ここで、許容範囲の設定例について図を用いて説明する。図５は、予め設定される許容範囲の一例を示す図である。なお、図５では一例として撮影画像の解像度をｘ方向に３２０ピクセル、ｙ方向に２４０ピクセルとする。

図５に示すように、カメラの撮影範囲５１において、補正対象領域（図５において、斜線部分）に瞳孔の中心が含まれる場合にカメラの位置補正を行う。なお、補正対象範囲幅としては、撮影範囲５１の外枠から内側に４０〜５０ピクセル程度が好ましいが、撮影している眼球や瞳孔の大きさ、又はカメラの精度（例えば、解像度等）等により適切な幅を設定する。また、撮影範囲５１において、補正対象範囲以外の範囲は、許容範囲であり、この範囲内に瞳孔の中心がある場合は、位置補正は行わない。

ここで、眼球追跡部の眼球追跡に基づくカメラ向きの制御手順についてフローチャートを用いて説明する。図６は、眼球追跡に基づくカメラ向きの制御処理手順について説明するための一例のフローチャートである。なお、図６における上述した補正対象範囲幅は、図５に示す解像度において撮影領域の外枠から４０ピクセル内側の領域とする。

図６において、まず、瞳孔の中心座標位置（ｘ、ｙ）を取得する。次に、ｘ座標値が４０ピクセルより小さいかを判断し（Ｓ０２）、４０ピクセルより小さい場合（Ｓ０２において、ＹＥＳ）、眼球撮影用カメラ３０の向きを左へ制御するような制御情報を生成して第２カメラ向き制御部３３に出力する（Ｓ０３）。このとき、眼球の中心位置の座標も出力する。また、Ｓ０２において、ｘ座標値が４０以上である場合（Ｓ０２において、ＮＯ）、次に、ｘ座標値が２８０ピクセルより大きいかを判断する（Ｓ０４）。

ここで、ｘ座標値が２８０ピクセルより大きい場合（Ｓ０４において、ＹＥＳ）、眼球撮影用カメラ３０の向きを右へ制御するような制御情報を生成して第２カメラ向き制御部３３に出力する（Ｓ０５）。このとき、眼球の中心位置の座標も出力する。

また、Ｓ０４において、ｘ座標値が２８０以下である場合（Ｓ０４において、ＮＯ）、瞳孔の中心座標位置（ｘ、ｙ）のｘ座標は、補正許容範囲内にあるため、次に、ｙ座標値が４０ピクセルより小さいかを判断する（Ｓ０６）。

ここで、ｙ座標値が４０ピクセルより小さい場合（Ｓ０６において、ＹＥＳ）、眼球撮影用カメラ３０の向きを上へ制御するような制御情報を生成して第２カメラ向き制御部３３に出力する（Ｓ０７）。このとき、眼球の中心位置の座標も出力する。また、Ｓ０６において、ｙ座標値が４０以上である場合（Ｓ０６において、ＮＯ）、次に、ｙ座標値が２００ピクセルより大きいかを判断する（Ｓ０８）。

ここで、ｙ座標値が２００ピクセルより大きい場合（Ｓ０８において、ＹＥＳ）、眼球撮影用カメラ３０の向きを下へ制御するような制御情報を生成して第２カメラ向き制御部３３に出力する（Ｓ０９）。このとき、眼球の中心位置の座標も出力する。

次に、ｙ座標値が２００以下である場合（Ｓ０８において、ＮＯ）、又はＳ０３、Ｓ０５、Ｓ０７、Ｓ０９の何れかの処理が終了後、眼球追跡におけるカメラの向きの制御処理を終了するかを判断する（Ｓ１０）。カメラ向きの制御処理を終了しない場合（Ｓ１０において、ＮＯ）、Ｓ０１に戻り、眼球追跡を継続して行う。また、カメラ向きの制御処理を終了する場合（Ｓ１０）は、そのまま処理を終了する。

上述した眼球追跡おけるカメラ向きの制御処理により得られる制御情報に基づいて、第２カメラ向き制御部３３は、眼球撮影用カメラ３０の位置を補正する補正信号を生成し、サーボコントローラ３２に出力することで、眼球撮影用カメラ３０の撮影範囲に瞳孔の中心がある場合の位置補正を眼球撮影装置１２のみで実現することができる。

＜追跡状態チェック部＞
次に、追跡状態チェック部２４における追跡状態チェックの具体例について説明する。追跡状態チェック部２４は、視線算出部３５が得た視線（瞳孔の中心）の位置情報、例えば座標値（ｘ_ｇ，ｙ_ｇ）を取得する。ここで、追跡状態チェック部２４は、取得した座標値（ｘ_ｇ，ｙ_ｇ）から正しく視線の測定ができているか否かをチェックする。チェックの結果、正しく測定できていると判断された場合は、チェック結果として第１カメラ向き制御部２３に状態が正常（ＯＫ）であることを示す制御情報を出力する。なお、正しく測定できている場合（ＯＫである場合）は、第１カメラ向き制御部２３に何も出力しないようにしてもよい。また、チェックの結果、正しく測定できていないと判断された場合、チェック結果として第１カメラ向き制御部２３にカメラ向き算出部２２により得られるカメラ向き制御情報をサーボコントローラ３２に出力させるための制御情報を出力する。

ここで、正しく視線の測定ができているかの判断については、種々の方法があるが、例えば、所定間隔毎に眼球の次の座標値が取得できているかで判断する方法や、予め設定された時間間隔内で取得した座標値の分散が小さく、短時間では空間的な局所性を有する場合（つまり、許容時間間隔で座標値を取得できているか）等に正しく視線の測定ができていないと判断する方法等がある。

ここで、上述の追跡状態チェックの処理手順についてフローチャートを用いて説明する。図７は、本実施形態における第１の追跡状態チェックの処理手順の一例を示すフローチャートである。なお、図７に示す処理手順は、予め設定された時間内に次の座標値予め設定された数が取得できているかで判断する場合の処理手順を示している。

図７において、まず、追跡状態をチェックするために時間（タイマ）の設定を行う（Ｓ２１）。また、視線算出部３５に得られる座標値の取得間隔を算出する（Ｓ２２）。

ここで、Ｓ２２にて取得した座標値の取得間隔において、Ｓ０１にて設定した設定時間より大きいか否かを判断する（Ｓ２３）。取得間隔が大きかった場合（Ｓ２３において、ＹＥＳ）、第１カメラ向き制御部２３に対してカメラ向き算出部２２により得られるカメラ向き制御情報をサーボコントローラ３２に出力させるための制御情報を出力する（Ｓ２４）。

また、Ｓ２３において、取得間隔が設定時間以下である場合（Ｓ２３において、ＮＯ）、そのまま処理を終了する。なお、この場合には、第１カメラ向き制御部２３に対して正しく測定できている旨を示す制御情報を出力してもよい。

これにより、座標値の取得間隔（レート）と設定時間とに基づいて効率的に正しく視線が測定できているか否かを判断することができる。

また、図８は、本実施形態における第２の追跡状態チェックの処理手順の一例を示すフローチャートである。なお、図８においては、予め設定される時間内における座標値の取得数と予め設定された数とに基づいて判断する場合の処理手順を示している。

図８において、まず、視線算出部３５にて測定した視線の座標値（ｘｇ，ｙｇ）を取得する（Ｓ３１）。次に、取得した座標値のｘｇとｙｇのそれぞれを追跡状態チェック部２４に有するバッファに出力する（Ｓ３２）。また、所定数蓄積した座標値のｘｇとｙｇのバッファの分散を算出して、ｘｇとｙｇの両バッファの分散が閾値以上であるか否かを判断する（Ｓ３４）。

ここで、両バッファの分散が閾値以上である場合（Ｓ３４において、ＹＥＳ）、第１カメラ向き制御部２３に対してカメラ向き算出部２２により得られるカメラ向き制御情報をサーボコントローラ３２に出力させるための制御情報を出力する（Ｓ３５）。

また、両バッファの分散が閾値以上でない場合（Ｓ３４において、ＮＯ）、そのまま処理を終了する。なお、この場合には、第１カメラ向き制御部２３に対して正しく測定できている旨を示す制御情報を出力してもよい。

このように、取得した座標値に対して分散値のチェックを行うことで、全体的に正しく眼球位置（瞳孔中心の座標値）を取得できているかを把握することができる。したがって、高精度な眼球運動測定を行うことができる。

また、図７又は図８に示すような処理手順により、眼球撮影装置１２において、瞳孔の中心が取得できなかった場合に、被験者撮影装置１１から得られるカメラ向き制御情報をサーボコントローラ３２に出力して、眼球撮影用カメラ３０のカメラ向きを制御して迅速に位置補正を行うことができる。

ここで、図１に示す実施形態においては、眼球運動測定装置１０は、被験者撮影装置１１と、眼球撮影装置１２とを有する構成としたが、被験者撮影装置１１及び眼球撮影装置１２の機能を有する１つの装置として構成してもよい。

また、サーボコントローラ３２により眼球撮影用カメラ３０の移動を制御しているが、例えば、ｘ軸方向、ｙ軸方向にそれぞれ移動可能な２枚のミラーと、そのミラーを駆動するミラー駆動部とを有することにより、カメラ本体より軽量なミラーを駆動させることで迅速に位置補正を行うことができる。ここで、上述の構成を第２の実施形態として、以下に説明する。

図９は、本発明における眼球運動測定装置の第２の実施形態を示す図である。なお、図９においては、被験者撮影装置１１及び眼球撮影装置１２を一体の構成とし、更に、ミラーとミラー駆動部とを有する構成としているが、本実施形態においては、被験者撮影装置１１及び眼球撮影装置１２を一体とした眼球運動測定装置、又はミラー及びミラー駆動部をそれぞれ有する眼球運動測定装置として構成することもできる。

図９に示す眼球運動測定装置６０は、被験者撮影用カメラ（第１の撮像装置）６１と、顔特徴抽出部６２と、ミラー向き算出部６３と、追跡状態チェック部６４と、眼球撮影用カメラ（第２の撮像装置）６５と、光源装置６６と、サーボコントローラ６７と、ミラー向き制御部６８と、眼球追跡部６９と、視線算出部７０と、ミラー７１と、ミラー駆動部７２とを有するよう構成されている。なお、図９の主要構成部において、図１と同名の構成部については、同一の機能を有するものとする。

被験者撮影装置６１は、上述した図２（ａ）に示すような被験者全体の映像を撮影する。また、顔特徴抽出部６２は、上述したように顔の特徴から眼球の位置情報を抽出する。また、顔特徴抽出部６２は、抽出された位置情報をミラー向き算出部６３に出力する。

ミラー向き算出部６３は、顔特徴抽出部６２により抽出された眼球の位置情報から得られる被験者撮影用カメラ６１が現在撮影しているカメラの向きから、眼球撮影用カメラ６５におけるカメラ向き制御情報を算出する。また、ミラー向き算出部６３は、算出されたカメラの向き制御情報をミラー向き制御部６８に出力する。

追跡状態チェック部６４は、視線算出部７０から得られる被験者１３の視線の位置から眼球撮影用カメラ６５がミラー７１を介して被験者１３の眼球を撮影できているかをチェックして、そのチェック結果に基づいて、ミラー向き制御部６８に、ミラー向き算出部６３からの制御情報と眼球追跡部６９からの制御情報のどちらかを選択させる制御情報を生成し、ミラー向き制御部６８に出力する。

眼球撮影用カメラ６５は、予め設定される被験者のどちらか一方の眼球を撮影する。なお、第２の実施形態では、眼球撮影用カメラ６５の本体は固定されている。また、光源装置６６は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等により被験者１３に赤外光を照射する。その状態の被験者を眼球撮影用カメラ６５により撮影することで、眼球の虹彩部付近の情報を検出し視線方向を取得する。また、眼球撮影用カメラ６５から撮影された眼球画像は、眼球追跡部６９及び視線算出部７０に出力される。

サーボコントローラ６７は、ミラー向き制御部６８から得られる制御情報により、ミラー７１−１，７１−２のそれぞれの位置・方位・姿勢等を補正するための補正信号をミラー駆動部７２に出力することで、ミラーの向きを制御して眼球撮影用カメラ６５の撮影範囲の制御を行う。

ミラー向き制御部６８は、眼球追跡部６８から得られる制御情報又はミラー向き算出部６３から得られる制御情報と、追跡状態チェック部６４から得られるチェック結果（選択させるための制御情報）とに基づいて、どちらかの制御情報を選択してミラーの向きの制御を行う。

眼球追跡部６９は、上述したように眼球撮影用カメラ６５により得られる眼球映像から眼球の位置情報を取得し、上述した眼球追跡に基づいて制御情報を生成し、生成した制御情報をミラー向き制御部６８に出力する。

視線算出部７０は、眼球撮影用カメラ６５により撮影された映像から被験者１３の視線情報や、瞳孔径等の情報を出力する。また、視線算出部７０は、追跡状態チェック部６４に眼球の位置情報（例えば、瞳孔の中心の座標値等）を出力する。なお、視線算出部７０は、新たな眼球の位置情報を算出する毎に追跡状態チェック部６４に出力したり、予め設定された周期に基づいて追跡状態チェック部６４に出力したり、追跡状態チェック部６４からの眼球の位置情報の取得要求を受けて、座標値を出力したりすることができる。

ミラー駆動部７２は、サーボコントローラ６７により得られるミラーの向きを制御する補正信号に基づいて、２枚のミラー７１−１，７１−２を所定の角度へ移動させる。

これにより、眼球運動測定装置６０における眼球撮影中に、被験者１３が動いてしまった場合、追跡状態チェック部６４におけるチェック結果から被験者撮影用カメラ６１により撮影された眼球の位置情報から得られる制御情報、又は眼球撮影用カメラ６５により撮影された映像から眼球追跡にて得られる制御情報のどちらかを選択してミラー向き制御による眼球撮影用カメラ６５の撮影範囲の補正を行うことができる。また、ミラー自体がカメラ本体よりも軽量であるため、迅速に位置補正を実現することができ、高精度な眼球運動の撮影を実現することができる。

ここで、第２の実施形態におけるミラー７１の位置補正内容について説明する。ミラー７１−１、７１−２の位置補正内容については、上述したｍ−ｎ座標系を用いて、座標値（ｍ，ｎ）をミラーの方向（水平、垂直方向の角度）に対応させて位置補正を行う。

図１０は、ミラーの位置補正の様子を示す一例の図である。図１０に示すように、上述したｍ−ｎ座標系における座標値（ｍ，ｎ）に対応させ、ミラー７１−１を垂直方向ｎ°に移動し、また、ミラー７１−２を水平方向にｍ°移動することにより、眼球撮影用カメラ６５の撮影範囲を迅速に補正することができる。

ここで、上述した眼球運動測定装置は、例えば上述した眼球運動の測定をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における眼球運動の測定を実現することができる。

＜ハードウェア構成＞
ここで、本発明における眼球運動測定が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図１１は、本発明における眼球運動測定が実現可能なハードウェア構成の一例を示す図である。

図１１におけるコンピュータ本体には、入力装置８１と、出力装置８２と、ドライブ装置８３と、補助記憶装置８４と、メモリ装置８５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６と、ネットワーク接続装置８７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置８１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置８２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ８６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体８８等により提供される。プログラムを記録した記録媒体８８は、ドライブ装置８３にセット可能であり、記録媒体８８に含まれる実行プログラムが、記録媒体８８からドライブ装置８３を介して補助記憶装置８４にインストールされる。

補助記憶装置８４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

ＣＰＵ８６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置８５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、眼球運動測定における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置８４から取得することができ、また格納することもできる。

ネットワーク接続装置８７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで眼球運動の測定を実現することができる。また、プログラムをインストールすることにより、容易に眼球運動の測定を実現することができる。

次に、実行プログラムにおける処理手順について、フローチャートを用いて説明する。

＜眼球運動測定処理手順＞
図１２は、本発明における眼球運動測定処理手順を示す一例のフローチャートである。なお、図１２に示す眼球運動測定処理手順は、上述した第１の実施形態と同様にカメラの向きを制御して位置補正を行うものである。

まず、被験者撮影用カメラ及び眼球撮影用カメラによりカメラの撮影を開始する（Ｓ４１）。次に、眼球撮影用カメラにより眼球の追跡を行う（Ｓ４２）。また、同時に被験者撮影用カメラから撮影された映像により、カメラ向きの算出を行う（Ｓ４３）。

ここで、眼球撮影用カメラの位置補正が必要であるか否かを判断する（Ｓ４４）。具体的には、被験者の瞳孔の中心が眼球撮影用カメラの許容範囲内に含まれているかで補正の要否を判断する。ここで、補正が必要である場合（Ｓ４４において、ＹＥＳ）、追跡状態のチェックを行い正しく測定できているか（ＯＫであるか）を判断する（Ｓ４５）。具体的には、上述したような追跡状態チェックにより、正しく視線の測定ができているかを判断する。

Ｓ４５おいて、追跡状態チェックの結果がＯＫである場合（Ｓ４５において、ＹＥＳ）、Ｓ４２における眼球追跡処理により得られる制御情報に基づいてカメラの向きの制御を行う（Ｓ４６）。また、追跡状態チェックの結果、正しく測定できていない場合（Ｓ４５において、ＮＯ）、Ｓ４３におけるカメラ向き算出処理により得られる制御情報に基づいてカメラ向きの制御を行う（Ｓ４７）。

次に、Ｓ４４において、補正が必要でない場合（Ｓ４４において、ＮＯ）、又はＳ４６あるいはＳ４７の処理が終了後、眼球運動測定を終了するかを判断し（Ｓ４８）、終了しない場合（Ｓ４８において、ＮＯ）、Ｓ４２及びＳ４３からの処理を継続して行う。また、測定を終了する場合（Ｓ４８において、ＹＥＳ）、カメラの撮影を終了する（Ｓ４９）。

これにより、高精度に眼球運動測定を実現することができる。また、特別な装置構成を必要とせず、低コストで眼球運動測定を実現することができる。更に、プログラムをインストールすることにより、容易に眼球運動測定を実現することができる。また、第２の実施形態に示すように、ミラーを有する場合には、カメラの制御ではなく、ミラーの制御を行うような実行プログラムを生成することで、同様な効果を得ることができる。

上述したように、本発明によれば、位置の補正を迅速に行うことにより、高精度な眼球運動測定を実現することができる。具体的には、眼球運動測定の際、眼球を撮影、追跡するパン、チルト機能を備えたカメラと、被験者の周りの様子を捉える広角なカメラとを設置することで、眼球を撮影するカメラでの眼球の追跡が外れた場合に広角カメラの映像から検出した眼球位置を取得することで、眼球を撮影するカメラの向きを正しい位置に向け、眼球運動測定時における被験者の動きの自由度を高めると同時に、煩雑な測定作業を効率的に行うことができる。

つまり、被験者は何も身につける必要もなく、また眼球運動測定装置による眼球追跡が機能しなかった場合でも自動的に追跡再開が可能となるため、被験者の比較的自由な動きを許容する環境での眼球運動測定を容易に実現することが可能となる。

本発明における眼球運動測定を適用することにより、例えば、一般にユーザがコンピュータを操作するためにディスプレイからアイコンやメニュー、図表等多岐にわたる情報を取得しているが、本発明を適用してユーザの見ている視線の対象を明らかにすることで、その情報をコンピュータが利用することにより、様々なコンピュータの操作方法が実現できる。また、上述したようなマン・マシンインタフェースの分野に限らず眼球の運動を計測することで、医用分野や心理学等の分野にも適用することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明における眼球運動測定装置の第１の実施形態を示す図である。 撮影された被撮影対象物の撮影された様子を説明するための図である。 本実施形態におけるカメラの向きを制御する制御情報への変換方法を説明するための図である。 眼球撮影用カメラにより撮影される眼球の一例を示す図である。 予め設定される許容範囲の一例を示す図である。 眼球追跡に基づくカメラ向きの制御処理手順について説明するための一例のフローチャートである。 本実施形態における第１の追跡状態チェックの処理手順の一例を示すフローチャートである。 本実施形態における第２の追跡状態チェックの処理手順の一例を示すフローチャートである。 本発明における眼球運動測定装置の第２の実施形態を示す図である。 ミラーの位置補正の様子を示す一例の図である。 本発明における眼球運動測定が実現可能なハードウェア構成の一例を示す図である。 本発明における眼球運動測定処理手順を示す一例のフローチャートである。

符号の説明

１０，６０ 眼球運動測定装置
１１ 被験者撮影装置
１２ 眼球撮影装置
１３ 被験者
２０，６１ 被験者撮影用カメラ
２１，６２ 顔特徴抽出部
２２ カメラ向き算出部
２３ 第１カメラ向き制御部
２４，６４ 追跡状態チェック部
３０，６５ 眼球撮影用カメラ
３１，６６ 光源装置
３２，６７ サーボコントローラ
３３ 第２カメラ向き制御部
３４，６９ 眼球追跡部
３５，７０ 視線算出部
４１，４２，５１ 撮影範囲
４３ キャリブレーション点
４４ 瞳孔の中心
６３ ミラー向き算出部
６８ ミラー向き制御部
７１ ミラー
７２ ミラー駆動部
８１ 入力装置
８２ 出力装置
８３ ドライブ装置
８４ 補助記憶装置
８５ メモリ装置
８６ ＣＰＵ
８７ ネットワーク接続装置
８８ 記録媒体

Claims (6)

1. 被験者を広角に撮影する第１の撮像装置と、前記被験者の眼球を撮影する第２の撮像装置とにより、前記被験者の眼球運動を測定する眼球運動測定装置であって、
   前記第１の撮像装置により撮影された映像から前記第２の撮像装置カメラの向きを制御する制御情報を算出するカメラ向き算出部と、
   前記第２の撮像装置により撮影された映像から眼球の位置を追跡し、前記第２の撮像装置カメラの向きを制御する制御情報を生成する眼球追跡部と、
   前記第２の撮像装置により撮影された映像から視線の位置情報を算出する視線算出部と、
   前記視線算出部における眼球の追跡状態をチェックする追跡状態チェック部と、
   前記追跡状態チェック部により得られるチェック結果に基づいて、前記カメラ向き算出部又は前記眼球追跡部から得られる制御情報により、前記第２の撮像装置の向きを制御して位置を補正するカメラ制御部とを有し、
   前記追跡状態チェック部は、
   前記視線算出部から得られる予め設定された時間間隔内で取得した座標値の分散値と予め設定された閾値とに基づいて、追跡状態のチェックを行うことを特徴とする眼球運動測定装置。
2. 前記カメラ向き算出部は、
   前記第１の撮像装置で撮影された映像における眼球の座標値から、前記第２の撮像装置に対応する座標値に変換してカメラ向き制御情報を算出することを特徴とする請求項１に記載の眼球運動測定装置。
3. 前記眼球追跡部は、
   前記第２の撮像装置の撮影範囲に予め設定される許容範囲を設け、前記第２の撮像装置で撮影された眼球の瞳孔の中心位置が前記許容範囲外になった場合に、前記第２の撮像装置を補正するための制御情報を前記カメラ制御部に出力することを特徴とする請求項１又は２に記載の眼球運動測定装置。
4. 前記追跡状態チェック部は、
   前記視線算出部から得られる瞳孔の中心の座標値が予め設定された時間間隔内に取得できているかを判断することで、追跡状態のチェックを行うことを特徴とする請求項１乃至３の何れか1項に記載の眼球運動測定装置。
5. 前記第２の撮像装置の撮像範囲を移動させるためのミラーと、前記ミラーを駆動させるためのミラー駆動部とを有し、
   前記カメラ制御部は、前記ミラーの位置を制御するための制御情報を生成し、生成された制御情報を前記ミラー駆動部へ出力することを特徴とする請求項１乃至４の何れか1項に記載の眼球運動測定装置。
6. 被験者を広角に撮影する第１の撮像装置と、前記被験者の眼球を撮影する第２の撮像装置とにより、前記被験者の眼球運動を測定する処理をコンピュータに実行させるための眼球運動測定プログラムであって、
   前記第１の撮像装置により撮影された映像から前記第２の撮像装置カメラの向きを制御する制御情報を算出するカメラ向き算出処理と、
   前記第２の撮像装置により撮影された映像から眼球の位置を追跡し、前記第２の撮像装置カメラの向きを制御する制御情報を生成する眼球追跡処理と、
   前記第２の撮像装置により撮影された映像から視線の位置情報を算出する視線算出処理と、
   前記視線算出処理における眼球の追跡状態をチェックする追跡状態チェック処理と、
   前記追跡状態チェック処理により得られるチェック結果に基づいて、前記カメラ向き算出処理又は前記眼球追跡処理から得られる制御情報により、前記第２の撮像装置の向きを制御して位置を補正するカメラ制御処理とをコンピュータに実行させ、
   前記追跡状態チェック処理は、
   前記視線算出処理から得られる予め設定された時間間隔内で取得した座標値の分散値と予め設定された閾値とに基づいて、追跡状態のチェックを行うことを特徴とする眼球運動測定プログラム。

Images