JPH1014882A - 非接触視線測定装置 - Google Patents

Abstract

(57)【要約】 【課題】 被験者の負担を軽くし、動作範囲の制限を大
幅に緩和し、かつ高い精度で視線を測定することであ
る。 【解決手段】 ２台の頭部用カメラ１Ａ，１Ｂの出力を
用いて眼球位置検出手段３１がマーカＭ１，Ｍ２，Ｍ３
から眼球Ｅの位置を検出し、この眼球位置を用いて追尾
制御手段３２が眼球用カメラ２を眼球Ｅを捉えるように
し、かつ追尾させる。眼球用カメラ２の出力から角膜反
射線の位置と瞳孔中心を検出し、視線ベクトル算出手段
３３により視線ベクトルを求める。この視線ベクトルを
視線布置手段３４が所望の座標系に空間布置する構成を
特徴としている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線測定装置に関
し、特に被験者に負担をかけない簡易な位置マーカのみ
を被験者に着用させ、かつ、従来より高い精度で視線が
検出可能な非接触視線測定装置に関する。

【０００２】

【従来の技術】従来の視線測定装置は、主に被験者の頭
部を固定するタイプと被験者の頭部に検出装置をとりつ
けるタイプであった。これらは、ともに被験者の普段の
行動を著しく阻害し、視線測定において被験者に多大な
負担をかけていた。また、最近は、被験者の負担を軽減
する意味で非接触タイプが作られるようになってきてい
る。

【０００３】

【発明が解決しようとする課題】しかし、検出装置が被
験者に対して遠隔におかれているだけで、測定範囲が極
めて限られており、事実上被験者が動けない状態でしか
測定できていない。また、精度は非常に悪いものであっ
た。

【０００４】本発明は上述の点にかんがみなされたもの
で、その目的は被験者の負担を軽くし、また被験者が机
上の作業をするのに十分な範囲を通常の動作速度で動作
でき、かつ視線を十分高い精度で捉える装置を提供する
ことである。

【０００５】また、机上の操作、特にコンピュータを使
った操作などは、モニタ上を見たり机の上を見たりと、
視線が複数の任意平面上を移動する。したがって、これ
らに対して、任意平面上に視線を布置し、何を見ている
かを特定できる装置を提供することである。

【０００６】

【課題を解決するための手段】本発明は、複数の頭部用
カメラによって頭部位置ならびに傾きを検出し、この情
報から眼球を拡大して撮影している眼球用カメラによっ
て眼球位置を常時追尾し、その眼球映像から視線を検出
し、その視線を任意の座標軸に布置する装置であって、
被験者の頭部につけた３個以上のマーカから頭部の位置
と顔の向きと眼球位置を検出する眼球位置検出手段と、
それらの情報から眼球用カメラを常に眼球に向けさせる
ために追尾させる追尾制御手段と、眼球用カメラの出力
から角膜反射像の位置と瞳孔中心を検出し視線ベクトル
を求める視線ベクトル算出手段と、任意の空間に視線を
布置する視線布置手段とから構成したものである。

【０００７】

【発明の実施の形態】本発明は、視線の検出を非常に高
い精度で長時間測定することが可能な視線測定装置であ
って、頭部の位置を測定する眼球の周囲につけた少なく
とも３個のマーカを２台以上の頭部用カメラで３次元計
測することによって、マーカの位置と傾きを正確に測定
し、かつ所望の座標系に対して変換可能な頭部座標系を
構成する。

【０００８】マーカは測定すべき眼球をマーカの重心に
おくように布置することにより、高い精度で頭部座標系
の中心に眼球が存在すると仮定できる。マーカの位置か
らその重心を計算し、その重心に眼球中心があると仮定
して眼球用カメラの追尾を設定するが、測定の初期に眼
球中心と重心点とのずれを補正することで、正確に眼球
中心位置が設定される。それにしたがって、頭部座標系
が計算される。

【０００９】３次元計測された頭部座標系中心に合わせ
て、眼球用カメラで眼球を追尾し、常に眼球用カメラが
眼球を視野に入れるようにする。

【００１０】眼球用カメラは、瞳孔像と角膜反射像を捉
え、瞳孔像から、瞳孔中心を求め、眼球用カメラの中心
に瞳孔がなくとも瞳孔中心の座標を補正する。そして、
角膜反射像と、補正された瞳孔中心座標から視線ベクト
ルを求める。

【００１１】あらかじめ設定された任意の平面上に視線
ベクトルを計算によって投影し、その平面上に視線を布
置する。この任意の平面上に布置された視線をモデルと
して提示する。これにより、観察者はいつでも被験者が
対象物体のどこを見ているかが直ぐにわかる。

【００１２】

【実施例】本発明は複数台の頭部用カメラと１台の眼球
用カメラを使用するが、まず頭部用カメラを用いての眼
球位置検出方法について述べる。図１は、測定すべき眼
球Ｅの周囲に３個のマーカＭ１，Ｍ２，Ｍ３（以下、区
別する必要のない時は、Ｍを用いる）をつけている図で
ある。なお、Ｈは頭部を示す。

【００１３】図１では眼鏡フレームに３点のマーカＭを
つけ、これらの、マーカＭを図２に示してある複数台の
頭部用カメラ１Ａ，１Ｂによって３次元計測し、各マー
カＭの位置を観測する。図２では２台の頭部用カメラを
使った場合を示している。マーカＭの位置から頭部用カ
メラ１Ａ，１Ｂの中点までどのくらいの距離があるか、
また向きはどの方向かを複数の頭部用カメラ１Ａ，１Ｂ
のマーカ情報を互いに照合し合うことで計算する。これ
によって、眼球Ｅの中心のおおよその位置Ｐが測定でき
る。それをＸ，Ｙ，Ｚ情報で画像処理部３で求める。

【００１４】次に眼球用カメラ２による眼球Ｅの追尾に
ついて説明する。前記の眼球の位置位置情報により、眼
球Ｅを捉える眼球用カメラ２が眼球Ｅを追尾する仕組み
を示したのが図３である。図３では、例として、Ｘ，Ｙ
に関してはそれぞれの専用の追尾のためのミラーによる
方法で示している。図中、４はＸ方向位置調整ミラー、
５はＹ方向位置調整ミラー、３２は追尾制御手段であ
る。Ｚに関しては眼球用カメラ２内部のフォーカス機能
によって調整する。これにより、眼球用カメラ２が常に
眼球Ｅを正確なフォーカスで正しく捉えることができ
る。

【００１５】図４は、本発明の一実施例の構成を示すブ
ロック図である。図４において、３１は眼球位置検出手
段で、頭部用カメラ１Ａ，１Ｂの出力を処理する。３２
は前述した追尾制御手段で、眼球用カメラ２による眼球
Ｅの追尾制御を行う。３３は視線ベクトル算出手段で、
眼球用カメラ２の出力を処理する。３４は視線布置手段
で被験者の視線を表示する。

【００１６】次に、図４の実施例の動作を図１〜図３を
参照し、主として図５のフローチャートにより説明す
る。なお、図５中の（Ｓ１）〜（Ｓ１２）は各ステップ
を示す。

【００１７】眼球位置検出手段３１は、マーカＭの位置
から頭部用カメラ１Ａ，１Ｂの中点からの距離，頭部Ｈ
の向きを求め、これによって眼球Ｅのおおよその位置を
検出する（Ｓ１）。３個のマーカＭ１〜Ｍ３の重心を求
め、後述する補正加え（Ｓ２）、ここに眼球Ｅが存在す
るものとする（Ｓ３）。求められた眼球位置から眼球用
カメラ２のフォーカスを設定し（Ｓ４）、さらに、位置
調整ミラー４，５の設定を追尾制御手段３２が行う。こ
れにより眼球用カメラ２は眼球Ｅを捉え、以後眼球Ｅを
追尾することになる（Ｓ５）。

【００１８】視線ベクトル算出手段３３においては、眼
球用カメラ２から得られた映像を処理し、瞳孔像を抽出
する（Ｓ６）。瞳孔像は、瞳孔以外の映像も多く写って
いるので、それらの雑音部分を除去し（Ｓ７）、その中
心位置を計算する（Ｓ８）。眼球用カメラ２の追尾の情
報のＸ，Ｙ，Ｚは頭部用カメラ１Ａ，１Ｂの中心にある
という仮定であったので、検出された瞳孔中心からこれ
らを修正しＸ’，Ｙ’，Ｚ’を求める。

【００１９】また、同時に眼球用カメラ２によって、角
膜反射像を捉え（Ｓ９）、瞳孔中心位置と角膜反射像の
位置、ならびに、Ｘ’，Ｙ’，Ｚ’、それに生理学的見
地から眼球径、眼球中心の値を使用して、視線のベクト
ルを作成する（Ｓ１０），（Ｓ１１）。作成した視線ベ
クトルをあらかじめ測定しておいた、任意平面に幾何学
的な写像を行い、視線として平面上に布置する（Ｓ１
２）。

【００２０】図６は、視線布置手段３４による視線の布
置を説明する図で、机の上にパソコンＰＣとキーボード
ＫＢが置かれており、表示平面としてあらかじめ設定さ
れた平面ＰＬ１，ＰＬ２が用意されている。図６では、
被験者の眼球ＥはキーボードＫＢ上のキーの１つにその
視線が向けられている。そこで視線ベクトルと平面ＰＬ
２との交差点Ｗ２を求め、この点Ｗ２を表示する。これ
によって、観察者は被験者がどこを見ているか即時に分
かる。

【００２１】被験者がパソコンＰＣのディスプレイを見
たときは、このときの視線ベクトルと平面ＰＬ１との交
差点Ｗ１が表示される。このようにして視線ベクトルの
空間布置が行われる。

【００２２】視線を観察するには、任意の平面に布置さ
せなければならない。その時、被験者に見せる場合と、
見せない場合がある。見せる場合は、例えば、図６の平
面ＰＬ１の場合、モニタ上だけに限定するとモニタに直
に視線を表示することが考えられる。平面ＰＬ２の場合
はレーザポインタ等で示すことができる。見せない場合
は、カメラで任意平面を撮影し、その映像に重畳させる
ことで表示できる。また、モニタのような表示装置の場
合は映像を分配して被験者には見えないモニタに重畳す
るようにしてもよい。

【００２３】なお、マーカＭの設定はマーカの重心位置
に眼球Ｅがくるように配置するが、これは必ずしも正確
でなくてもよく、マーカＭの数も３点である必要はな
く、３点以上あればよい。ただし、頭部Ｈの回転を考え
ると４点では４５度の角度までしか首を傾けることが出
来ないが、３点の場合は６０度まで可能となる。また、
重心位置に眼球Ｅがなくてもよいが、その補正計算につ
いて次に説明する。実際の眼球位置をＫとし、マーカの
重心をＧとした場合、マーカがＭ１〜Ｍ３の３点の場
合、補正以前は Ｋ＝Ｇ であったのを、

【００２４】

【数１】 で補正できる。ただし、Ｐ１，Ｐ２，Ｐ３は３次元計測
で求まった点のベクトルとし、ＰＧは重心のベクトルと
する。Ｘ，Ｙはそれぞれ水平方向，垂直方向の補正値で
ある。この補正値は、眼鏡フレームが大きく動かないと
仮定すると、画像処理で眼球Ｅの全景を求めてその重心
Ｇをとらえてもよいし、装置作動の初期において眼球Ｅ
の位置をとらえている眼球用カメラ２の映像を見て決め
てもよい。これにより、かなり正確に眼球Ｅを追いかけ
る基礎ができる。

【００２５】

【発明の効果】以上のように、本発明は簡単なマーカを
眼球付近に着けることにより、眼球のおおよその位置が
複数の頭部用カメラから３次元計測することで把握で
き、それに従い、高倍率の眼球用カメラによって眼球を
追跡撮影し、かなりの高精度で視線ベクトルを検出でき
る。しかも、被験者は簡単なマーカを３点以上つけるだ
けで他の拘束は一切必要としない。

【００２６】また、視線を任意の座標に布置できること
から、たとえば、机上においた計算機環境を操作すると
きの視線を測定する場合でもモニタ上の視線だけでな
く、キーボードの視線やその他の物体上の視線を捉える
ことができる効果がある。

【図面の簡単な説明】

【図１】本発明において検出対象となる眼球の周囲につ
ける頭部検出用のマーカの一例を示した図である。

【図２】本発明における頭部検出の動作原理の概要を示
した図である。

【図３】本発明における眼球位置を眼球用カメラを追尾
させる動作原理を示した図である。

【図４】本発明の一実施例の構成を示すブロック図であ
る。

【図５】図４の実施例の動作を説明するためのフローチ
ャートである。

【図６】本発明における視線を任意の平面に布置する仕
組みを示した図である。

【符号の説明】

Ｍ１〜Ｍ３ マーカ Ｅ 眼球 Ｈ 頭部 ＰＣ パソコン ＫＢ キーボード ＰＬ１，ＰＬ２ 平面 Ｗ１，Ｗ２ 視線ベクトルと平面との交差点 １Ａ，１Ｂ 頭部用カメラ ２ 眼球用カメラ ３ 画像処理部 ３１ 眼球位置検出手段 ３２ 追尾制御手段 ３３ 視線ベクトル算出手段 ３４ 視線布置手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 政谷 好伸 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 大野 健彦 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 野島 久雄 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 新垣 紀子 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 館 隆司 東京都港区西麻布一丁目２番７号 株式会 社ナック内 (72)発明者 坂本 茂 東京都港区西麻布一丁目２番７号 株式会 社ナック内 (72)発明者 水野 重智 東京都港区西麻布一丁目２番７号 株式会 社ナック内 (72)発明者 鈴木 良規 東京都港区西麻布一丁目２番７号 株式会 社ナック内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数台の頭部用カメラと、１台の高倍率
   の眼球用カメラを用いた非接触視線測定装置であって、 前記頭部用カメラで捉えた頭部につけられた少なくとも
   ３個のマーカから、頭部の位置と顔の向いている方向を
   検出して眼球位置を検出する眼球位置検出手段と、 前記検出された眼球位置に基づいて前記眼球用カメラに
   よって眼球を捉え、前記頭部用カメラからの情報によっ
   て眼球を常に追いかける追尾制御手段と、 前記眼球用カメラの出力から角膜反射像の位置と瞳孔中
   心を検出し、視線ベクトルを求める視線ベクトル算出手
   段と、 前記視線ベクトルを所望の座標系に変換して、視線位置
   として空間布置する視線布置手段と、を備えたことを特
   徴とする非接触視線測定装置。