JPH0449943A - 眼球運動分析装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は眼球運動分析装置に関し、特に、被験者の眼
球運動と頭部運動とを検出し、デイスプレィ上に視点を
表示可能な眼球運動分析装置に関する。

［従来の技術］ 被験者の眼の動き、すなわち眼球運動を検出し、デイス
プレィ上やフィルム上に注視点を表示する装置は、アイ
カメラとして開発され、最も多く見る機会はおそらくド
ライバの眼の動きである。この被験者の眼球運動を検出
する方法は、角膜反射光による方法、コンタクトレンズ
を用いる方法あるいはＥＯＧ法など種々考えられている
。

第１０図は、角膜表面の白目と黒目の反射率の違いを利
用する強膜反射方式を用いた眼球運動の検出原理を説明
するための図である。第１０図を参照して、左右の眼Ｅ
ｌ、Ｅ２に３個の素子か設けられたセンサ１，２が配置
される。センサ１２の中央には発光素子３が配置され、
この発光素子３として比較的指向性の広い±２１°程度
の赤外線投射の発光ダイオードが用いられる。発光素子
３の両側には受光素子４が設けられる。受光素子４は指
向性の鋭い±１０°程度のフォトダイオードが用いられ
る。発光素子３から眼球に投射された光は黒目と白目と
で反射率が異なり、この反射率の違いを増幅し、差をと
れば水平（左右）の出力となり、和をとれば垂直（上下
）の出力となる。

また、水平方向と垂直方向とでは、眼球に対するセンサ
１，２の位置が異なり、水平方向のセンサ１は眼球の上
下に対して中央に反射光を検出し、垂直方向のセンサ２
は下方にて反射光を検出するようにそれぞれ配置される
。そして、一方の眼Ｅ１に水平方向のセンサ１が配置さ
れ、他方の眼Ｅ２に垂直方向のセンサ２か配置され、こ
れらを同時に用いれば２次元的な眼球運動を検出し、デ
イスプレィ上に視点を表示することができる。たとえば
、このような方法から眼球の移動速度、移動方向、移動
距離、注視時間などの情報を求めるものとして、特開昭
６０−１２６１４０号公報において開示されている。

このような装置を用いて、眼球運動の分析を行なう場合
、顆台を用いて被験者の頭部を固定し、眼球運動だけを
記録する。あるいは眼球運動検出センサを取付けたゴー
グルもしくは眼鏡フレームに小型カメラを搭載し、被験
者の視野に対応した画像を撮影することにより、頭部の
自由な運動を実現しつつ眼球運動を検出するという方式
か用いられている。また、従来の眼球運動分析装置では
、測定値はここで述べたように頭部を固定しているか、
あるいは固定していないときでも頭部運動の検出を行な
っていないか、もしくは行なっていても独立に検出して
視線への変換を行なっていない。

［発明が解決しようとする課題］ 上述のごとく、従来の眼球運動分析装置では、頭部運動
を考慮していないために、頭部運動を頬白で固定して測
定する方式では、眼球運動の分析は容易となるが、実際
には頭部運動を併用して注視を行なっている人間の自然
な観測行動を実現できないという問題点があった。

頭部運動を自由にした方式でも、頭部運動によって実現
される視線の動きを考慮していないために、車を運転中
など激しく頭部を動かし視線を変化させた場合、眼球運
動は生じていないために、注視点として表示される不都
合や、離れた相手へ、その顔を注視しながら歩くときの
ように、姿勢制御系の作用のために、頭部運動と全く逆
に眼球運動が生じ、実際には相手の顔を注視しているの
に、眼球運動として記録されたり表示されたりする不都
合があった。

それゆえに、この発明の主たる目的は、頭部運動を検出
し、これを視線の動きに変換することにより、頭部運動
によって実現される視線の動きと眼球運動による視線の
動きを同時に分析することのできるような眼球運動分析
装置を提供することである。

［課題を解決するための手段］ この発明は観察者の眼球運動を分析する眼球運動分析装
置であって、眼球の動きを検出する眼球運動検出手段と
、頭部の動きを検出する頭部運動検出手段と、検出され
た眼球の動きと頭部の動きとに応じて観察者の視線の動
きを演算し、注視点を定義することによって視線の動き
から注視点を分離する注視点処理手段と、注視点と注視
点との間を移動する視線の動きからなる視線情報を画像
上に表示するための画像処理手段と、視線情報を観察者
のビデオ画像上に重ね合わせるスーパーインポーズ手段
とを備えて構成される。

［作用〕 この発明に係る眼球運動分析装置は、眼球の動きと頭部
の動きとを検出し、これら眼球の動きと頭部の動きとに
応じて観察者の視線の動きを演算して注視点を定義する
ことにより、視線の動きから注視点を分離し、注視点と
注視点との間を移動する視線の動きからなる視線情報を
観察者の見ているビデオ画像上に重ね合わせて表示する
。

［発明の実施例コ 以下に図面を参照してこの発明の一実施例について詳細
に説明する。

第１図はこの発明の一実施例の概略ブロック図である。

第１図を参照して、眼球運動検出部５は観察者の眼球の
動きを検出するものであって、その検出出力を注視点処
理部７に与える。頭部運動検出部６は観察者の頭部の動
きを検出するものであって、その検出出力を注視点処理
部７に与える。

注視点処理部７は眼球運動検出部５で検出された眼球の
動きと頭部運動検出部６で検出された頭部の動きとに応
じて、観察者の視線の動きを演算し、注視点を定義する
ことによって、視線の動きから注視点と注視点との間の
移動成分を分離する。注視点処理部７によって分離され
た視線情報は画像処理部８に与えられ、画像信号に変換
される。この画像信号は、スーパーインポーザ９に与え
られ、外部から与えられるビデオ信号にスーパーインポ
ーズされてビデオ出力となり、図示しないデイスプレィ
に表示される。

第２図は頭部運動による視線の動きを説明するための図
である。次に、第２図を参照して、頭部運動による視線
の動きについて説明する。一般に見たい視対象を移動さ
せるには、眼球をその視対象に回転させる他、眼球は動
かさなくても頭部を移動させることによっても実現でき
る。通常は両者の動きを併用して行なっている。頭部運
動には、足や背骨の向きによる平行移動と、首、背骨、
＃Ｌ足などによって実現される回転運動かある。この頭
部運動を後述する方式により、眼の回転角へ換算し、第
２図に示した頭部運動補正眼球回転角αを得る。注視点
の移動はこの頭部運動補正眼球回転角αと眼球自身の回
転角θの組合わせにより実行される。ここで、この２つ
の回転角αとθの和を総称して視線と定義する。

第３図は前述の視線から注視点を定義する方法について
説明するための図である。眼球運動中には固視あるいは
注視しているときでも固視微動と称される微小な運動を
行なっている。また、姿勢の揺れによる視線のずれを防
ぐための前庭動眼反射１姿勢そのものの揺れによる前記
頭部運動補正眼球回転角αも固視中に生じている。すな
わち、視線が空間上を完全に静止している瞬間は、はと
んど存在しない。したがって、このように絶えず動いて
いる視線の動きの中から被験者が視対象より情報を受容
したいと思って注視することにより生じる注視点を分離
する必要がある。そのためには、ある基準を設けて注視
点を定義する必要がある。この注視点については、すで
に眼球運動速度を基準としたものが報告されている。（
特開昭６０−１２６１４０　：通信学会論文誌［画像に
おける注視点の定義と画像分析への応用Ｊ１９８６゜９
、Ｖｏｌ、Ｊ６９−Ｄ、Ｎｏ、９．１３３５頁〜１３４
２頁）。

この発明では、眼球運動速度を基準として決められた注
視点の定義を、頭部運動を含めた視線移動速度に拡張し
て注視点を定義したことをその特徴の１つとする。具体
的には、第３図に示すように、現在の注視点からしきい
速度ｖｔｈと、サンプリング周期Ｔ６で決まる注視点の
範囲Ｄｔｈの範囲内に、次のサンプルが入るときは、現
在の注視点と同じ注視点とし、この範囲を超えたときは
新しい注視点とした。しきい速度ｖｔｈの一例として、
眼球運動中の随従運動の性質を基に５°／秒と定め、実
用に供している。たとえば、サンプリング周期が１０ｍ
５ｅｃのとき、Ｄ　ｔ　ｈ−５゜／５ｅｃＸＱ、　０１
ｓｅｃ−Ｑ、０５″−３′である。

第４図は観察者の見ている画像の座標とこの発明の一実
施例によって実現される座標との対応を説明するための
図である。第４図（ａ）に示すように、被験者の位置か
ら距ＨＤだけ離れた縦Ｄｖ。

横Ｄｈの画面を観察する場合、画面座標は（１１）−（
Ｐｘ、Ｐｙ）で表わされる。被験者から見た提示画像の
視角は、第４図（ｂ）に示すように、 ａ−１８０／π・ｔ　ａ　ｎ−’　Ｄｈ／　（２・Ｄ）
ｂ−１８０／π・ｔａｎ−’Ｄｖ／　（２・Ｄ）視線移
動角（Ｘｖ、Ｙｖ）とし、これを画面座標（Ｘｐ、Ｙｐ
）に変換する式は、 Ｘｐ−ｆ　（Ｘｖ）−ｐ十（ｒ−ｐ）　吟Ｘｖ／（ａ−
Ｘｖ）・・・（１） Ｙｐ”’ｇ　（Ｙｖ）−ｑ＋　（ｓ−Ｑ）　・Ｙｖ／（
ｂ−Ｙｖ）・・・（２） で表わされる。

第５図は第１図に示した眼球運動検出部５と頭部運動検
出部６とをゴーグルへ装着した例を示す図である。眼球
運動検出部５は前述の第１０図に示したセンサ１と同様
にして中央に発光ダイオドが設けられ、その両側にフォ
トダイオードが設けられ、眼球の水平方向および垂直方
向の動きが検出される。頭部運動検出部６としては磁気
センサが用いられる。

第６図は第５図に示した頭部運動検出部６に用いられる
磁気センサの原理を説明するための図である。第６図を
参照して、頭部運動検出部６はソース６１となる直交コ
イルと、センサ６２となる直交コイルとを含む。コンピ
ュータ６４からの指令に応じて、ドライブ回路６５がソ
ース６１の直交コイルを駆動して磁界を発生させる。頭
部運動検出部６を装着した被験者が動くと、センサ６２
に電圧が誘起され、この電圧を検出回路６３が検出し、
その検出出力をコンピュータ６４が演算することにより
、頭部の移動に応じたデータが出力される。

第７図は被験者を中心とした頭部座標系についてその原
理を示す図である。次に、第７図を参照して、頭部運動
検出部６によって検出される頭部座標系について説明す
る。頭部座標系は、第７図（ａ）に示すように、被験者
の観察対象に対する平行移動により実現されるＸＹＺ座
標系と、第７図（ｂ）に示す頭部の回転運動に基づく極
座標系の２つが考えられる。それぞれの座標系の頭部移
動量を（Ｈｘ、Ｈｙ、Ｈｚ）、（Ｈφ、Ｈθ、Ｈψ）と
定義する。ここでは、−例として、観察対象に近ずく方
向をＹ軸とし、水平移動方向をＸ軸とし、垂直移動方向
をＺ軸とした。ＨφはＸ軸の回転点すなわち首を上下に
頷く運動を示し、ＨθはＹ軸の回転すなわち左肩から右
肩へと一旦首を傾げる運動を示す。ＨψはＺ軸内の回転
であり、首を左右に回転する運動である。

頭部の水平移動（Ｈｘ、Ｈｙ、Ｈｚ）により視線が変化
するが、これを眼球回転角（Ｅ　ｘ、　　Ｅ　ｙ）に換
算すると次式が得られる。

Ｅｘ−１８０／π・ｔａｎ−’Ｈｘ／　（Ｄ十Ｈｙ）・
・・　（３） Ｅｙ＝１８０／π・ｔ　ａｎ−’　Ｈｚ／　（Ｄ＋Ｈｙ
）・・・　（４） 首を左肩方向もしくは右肩方向にＨθかしげると、眼球
運動系の座標が回転する。したがって、Ｈθだけ傾いた
眼球運動座標系（Ｘｅ、Ｙｅ）を元の観察対象に直交し
た座標系（Ｘｅ’　、Ｙｅ’　）に変換する必要がある
。

Ｘｅ’　−Ｘｅ　・ｃｏｓＨθ十Ｙｅ−ｓｉｎＨθ・・
・（５） Ｙｅ’　　　−−Ｘｅ　　・　ｓ　　ｉ　　ｎＨθ　十
Ｙ　ｅ　拳　ｃ　Ｏｓ　Ｈθ・・・（６） 頭部運動により実現される視線の動き（Ｘｈ、Ｙｈ）は
第（３）式、第（４）式より次式で表わされる。

Ｘｈ−Ｅｘ＋Ｈψ　　　　　　　　　−（７）Ｙｈ−Ｅ
ｙ十Ｈφ　　　　　　　　・・・（８）したがって、頭
の動きを考慮した視線の動き（Ｘｖ、Ｙｖ）は第（５）
式〜第（８）式より、次の第（９）式および第（１０）
式で表わされる。

Ｘｖ−Ｘｅ’　十Ｘｈ　　　　　　　　−（９）Ｙｖ−
Ｙｅ’　＋Ｙｈ　　　　　　　　−（１０）上述の第（
９）式および第（１０）式を用いることにより、頭部運
動と眼球運動とを組合わせて行なわれている通常の視線
の動きを再現することができる。

第８図はこの発明の一実施例の全体の動作を説明するた
めのフロー図であり、第９図はこの発明の一実施例によ
る表示画面の一例を示す図である。

次に、第１図ないし第９図を参照して、この発明の一実
施例の具体的な動作について、第８図を用いて説明する
。まず、初期設定では、観察者の見ている座標と、この
発明の一実施例によって得られる視線の位置データを正
しく、観察者の見ている画像上にスーパーインポーズを
するための座標変換係数および数式の設定を行なう。座
標の変換を前述の第４図に示した方法により、第（１）
式および第（２）式を用いて視線移動角（Ｘｖ。

Ｙｖ）が画面座標（Ｘｐ、Ｙｐ）に変換される。

次に、眼球運動検出部うで検出された眼球の動きと頭部
運動検出部６で検出された頭部の動きとにより、眼球運
動データの較正が行なわれる。すなわち、上述の第（９
）式および第（１０）式により眼球運動データと頭部運
動データが視線の動きに変換され、同じく第（１）式お
よび第（２）式を用いて画面座標に変換される。これら
の変換によって得られる視線の動きは画面座標上に変換
されるが、その変換は相対的なものである。被験者の視
線の動きを被験者が実際に見ている視対象を撮影した画
面上に再現するためには、この画面座標と被験者の視線
を絶対的に一致させる必要がある。眼球運動較正ではこ
の作業が実行される。

較正を終了した後、たとえばキーなどによって測定の開
始が指令され、再びキー人力などによって測定の終了が
指示されるまで測定が繰返される。

画像表示では、第（１）式から第（１０）式を用いて眼
球運動データと頭部運動データから真の視線の動きを求
め、被験者の見ている画像上に表示される。その際、す
でにその−例を開示した注視点の定義により視線の動き
を注視点と注視点との間の移動成分に分離される。そし
て、スーパーインポーザ９によって、観察者の見ている
画像上に注視点と注視点間の移動軌跡とがスーパーイン
ポーズされる。そのときの表示例を第９図に示す。

第９図に示した例は、被験者が女の子を見ているときの
視線の動きの例である。注視点は注視時間によって色分
けし、注視点間の移動軌跡を速度によって色分けし、画
像の対応する位置にスーパーインポーズされる。これら
によって得られた眼球運動１頭部運動およびサンプル数
などのデータは図示しないディスクなどに記録される。

［発明の効果］ 以上のように、この発明によれば、眼球の動きと頭部の
動きとを検出し、これらの検出出力に応じて観察者の視
線の動きを演算し、注視点を定義することによって視線
の動きから注視点を分離し、視線情報を観察者の見てい
る移動画像上に重ね合わせてスーパーインポーズするよ
うにしたので、眼球運動による視線の動きと頭部運動に
よる視線の動きとを同時に分析することができる。

【図面の簡単な説明】

第１図はこの発明の一実施例の概略ブロック図である。 第２図は頭部運動による視線の動きを説明するための図
である。第３図は注視点の定義を説明するための図であ
る。第４図は観察者の見ている画像の座標とこの発明の
一実施例によって実現されるシステムの座標との対応を
説明するための図である。第５図は眼球運動検出センサ
と頭部運動検出センサとをゴーグルへ装着した例を示す
図である。第６図は第５図に示した頭部運動検出部に用
いられる磁気センサの原理を説明するための図である。 第７図は被験者を中心とした頭部座標系についてその原
理を示す図である。第８図はこの発明の一実施例の具体
的な動作を説明するためのフロー図である。第９図は表
示画面の一例を示す図である。第１０図は強膜反射方式
を用いた眼球運動の検出原理を説明するための図である
。 図において、５は眼球運動検出部、６は頭部運動検出部
、７は注視点処理部、８は画像処理部、９はスーパーイ
ンポーザ、６１はソース、６２はセンサ、６３は検出回
路、６４はコンピュータ、６５はドライブ回路を示す。 特許出願人　株式会社エイ・ティ・アール視聴第 図 新いＩオＪムζｔ＞ｂサンプル 第 図 第 図 第 図 。：：ＩｊｌＮｈ＝ｈ１　！Ａｌｔｊ＃３ｊ１．ｆ−４
／１ＲｔＴｉ’４Ｔゴγ■神申工 第 図 第 １゜ 図

Claims (1)

1. 【特許請求の範囲】 　観察者の眼球運動を分析する眼球運動分析装置であっ
   て、 眼球の動きを検出する眼球運動検出手段、 頭部の動きを検出する頭部運動検出手段、 前記眼球運動検出手段によって検出された眼球の動きと
   前記頭部運動検出手段によって検出された頭部の動きと
   に応じて、前記観察者の視線の動きを演算し、注視点を
   定義することによって視線の動きから注視点を分離する
   注視点処理手段、注視点と注視点との間を移動する視線
   の動きからなる視線情報を画像上に表示するための画像
   処理手段、および 前記視線情報を前記観察者の見ているビデオ画像上に重
   ね合わせるスーパーインポーズ手段を備えた、眼球運動
   分析装置。