JPH0583245B2 - - Google Patents

Description

【発明の詳細な説明】

【0001】

【産業上の利用分野】 この発明は、視線検出装
置に関し、特に、磁界に歪を生じさせる環境に置
かれた被観察者の視線の動きを正確に検出する視
線検出装置に関する。

【0002】

【従来の技術および発明が解決しようとする課
題】 従来では、自動車や航空機などを運転また
は操縦している運転者の視線の動きの分析におい
て、運転者の頭部運動による視線の動きへの影響
を考慮せず、運転者の眼球の運動による視線の動
きだけが分析されていた。したがつて、眼球運動
だけでなく、頭部運動をも考慮に入れて正確な視
線の動きの検出を行なう必要がある。

【0003】 自動車などを運転中の運転者の頭部運
動を捉るためには、従来からテレビカメラなどで
運転者を撮影し、その画像信号の画像処理により
頭部運動の検出を行なうという方法が知られてい
る。しかしながら、この方法では、リアルタイム
で頭部運動を捉ることが難しく、ましてや動きの
激しい視線運動への換算は容易でない。

【0004】 一方、最近では、磁気センサを用いて
運転者の頭部運動を捉る方法も注目されている
が、自動車等には鉄製の部品が数多く使われてお
り、したがつて運転席の磁界に歪が生じ、正確な
頭部運動の検出を行なうことができない。したが
つて、運転者の視線運動を検出するのにこの磁気
センサをそのまま適用しても、正確な頭部運動の
検出ができないことから、正しい視線運動の検出
を行なうことができなかつた。

【0005】 この発明は、上記のような課題を解決
するためになされたもので、磁界に歪を生じさせ
る環境に置かれた被観察者の視線の動きを、磁気
センサを用いて正確に検出することを目的とす
る。

【0006】

【課題を解決するための手段】 この発明に係る
視線検出装置は、被観察者の眼球運動を検出する
眼球運動検出手段と、被観察者の頭部運動を検出
するための基準磁界を発生する基準磁界発生手段
と、被観察者の頭部に装着され、基準磁界発生手
段から発生された磁界に応答して、被観察者の頭
部運動を検出する頭部運動検出手段と、予め定め
られた頭部運動量が与えられたときに頭部運動検
出手段によつて検出される検出データに基づい
て、被観察者が置かれた環境による磁界への歪の
影響を打消すための補正データを記憶する補正デ
ータ記憶手段と、補正データ記憶手段に記憶され
た補正データに基づいて、頭部運動検出手段によ
つて検出された検出データを補正する補正手段
と、補正手段によつて補正されたデータと眼球運
動検出手段から出力される眼球運動データとに基
づいて、被観察者の視線を演算により求める視線
演算手段とを含む。

【0007】

【作用】 この発明における視線検出装置では、
発生された磁界に歪を生じさせる環境に被観察者
が置かれているが、頭部運動検出手段によつて検
出された検出データが、補正データ記憶手段に記
憶された補正データに基づいて補正手段によつて
補正される。したがつて、磁界の歪の影響が打消
された頭部運動検出データが得られるので、正確
な頭部運動を考慮に入れた視線検出が行なえる。

【0008】

【実施例】 図１は、この発明の一実施例を示す
視線運動検出装置のブロツク図である。図１を参
照して、この視線運動検出装置は、磁気センサを
用いて運転者の頭部運動を検出する頭部運動検出
装置６と、運転者の眼球の運動を検出する眼球運
動検出装置５と、検出された頭部運動データおよ
び眼球運動データを演算処理することにより運転
者の視線データを求める演算処理装置１と、求め
られた視線データの画像処理を行なう画像処理装
置８と、運転席から撮影される外部状況を示す外
部ビデオ信号に画像処理された視線信号をスーパ
ーインポーズするスーパーインポーザ９とを含
む。演算処理装置１は、運転席における磁界の歪
の影響を受けている頭部運動検出データを磁界の
歪の影響を受けていないものに変換するための変
換マトリクスデータをストアするメモリ３と、メ
モリ３にストアされた変換マトリクスデータに基
づいて頭部運動検出データの補正処理を行なう補
正処理部４と、補正された頭部運動データおよび
眼球運動データの注視点処理を行なうことにより
視線データを出力する注視点処理部７とを含む。

【0009】 図５は、図１に示した頭部運動検出装
置６のブロツク図である。図５を参照して、この
頭部運動検出装置６は、基準磁界を発生する励磁
コイル６１と、励磁コイル６１を交流駆動するた
めのドライブ回路６５と、被観察者の頭部に装着
されたセンサコイル６２と、被観察者の頭部に動
きに応じてセンサコイル６２に誘起された電圧を
検出する検出回路６３と、検出回路６３によつて
検出された電圧に基づいて演算処理により被観察
者の頭部運動を求めるCPU６４とを含む。CPU
６４はドライブ回路６５をも制御する。励磁コイ
ル６１は、３軸（Ｘ、Ｙ、Ｚ）方向に巻かれた３
つのコイルにより構成される。各コイルには、ド
ライブ回路６５から発生された、それぞれ周波数
の異なつた駆動用電源電圧が供給される。したが
つて、励磁コイル６１によつて３軸を基準とする
磁界が発生され、その磁界の中に被観察者がいる
ことになる。センサコイル６２も、（Ｘ、Ｙ、Ｚ）
方向にそれぞれ巻かれた３つの検出用コイルを備
えている。被観察者の頭部が動くと、その動きに
応じてセンサコイル６２内の各コイルに起電力が
誘起される。各コイルに生じた起電力を検出回路
６３により検出することにより、被観察者の頭部
の動きに応じた信号が得られる。CPU６４は、
この信号に基づいて演算処理することにより、被
観察者の頭部の動きを示す頭部運動データＨを求
め、それを出力する。

【0010】 前述のように、被観察者は、発生され
た磁界に歪を生じさせやすい運転席に置かれてい
るため、励磁コイル６１から発生された磁界が何
らかの歪を受けているものと考えられる。したが
つて、CPU６４から得られる頭部運動データＨ
が磁界の歪の影響を受けたものになつていると考
えられる。その影響を打消すため、図１に示した
演算処理装置１において、次のような処理が行な
われる。

【0011】 演算処理装置１内のメモリ部３には、
頭部運動検出装置６によつて得られる頭部運動デ
ータＨに含まれる磁界の歪の影響を打消すための
データ、すなわち頭部運動データＨを正しいデー
タに変換するための変換マトリクスデータがスト
アされている。変換マトリクスデータは、図２に
示した手順により予め作成され、メモリ部３内に
ストアされる。

【0012】 図２を参照して、まず、ステツプ21に
おいて、被観察者の代わりに、その頭部運動の動
きを正確に知ることのできるダミーヘツド２が運
転席に取付けられる。ダミーヘツド２は、図３に
示されるようなものであり、その前頭部に前述の
センサコイル６２が装着される。このダミーヘツ
ド２は、運転者の頭部運動を正確に再現できれば
よく、必ずしもこの図のように人間の頭部の形状
を有している必要はない。図３に示したパラメー
タHx、Hy、Hz、Hθ、HφおよびHφは、それぞ
れこの図に示す方向の頭部運動の動きを示してい
る。すなわち、Hxは頭部の水平平行運動を示し、
Hyは前後方向の動きを示し、Hzは垂直平行運動
を示す。また、Hθは首を左右に傾ける方向の運
動を示し、Hφは首の上下方向の回転運動を示
し、Hφは頭部の左右方向の回転運動を示す。

【0013】 図４は、運転席における頭部運動検出
の様子を示す概略図である。図４を参照して、ハ
ンドルの下部などのような運転席に近い固定され
た位置に励磁コイル６１が取付けられる。センサ
コイル６２は、運転者またはダミーヘツドの前頭
部に取付けられる。運転者の頭部が動くことによ
り、励磁コイル６１とセンサコイル６２との間の
位置関係が相対的に変化し、頭部運動検出が行な
われる。

【0014】 再び図２を参照して、ダミーヘツド２
が運転席に取付けられた後、そのダミーヘツド２
に正確な変位量を知ることのできる変位ΔHが設
定される。たとえば、ダミーヘツドをその基準位
置から＋ΔHφだけ回転させ固定する。その状態
において、頭部運動検出装置６から発生される頭
部運動データH1が検出される。次に、ダミーヘ
ツド２が前述の基準位置より−ΔHφだけ回転さ
れ固定される。この状態においても頭部運動検出
装置６によつて検出される頭部運動データH2が
検出される。したがつて、次式によつて表わされ
る頭部運動データH1およびH2が得られる。

【0015】

【数１】 H1＝（Hφ1、Hφ1、Hθ1、Hx1、Hy1、Hz1）
……(1)（＋ΔHφ回転） H2＝（Hφ2、Hφ2、Hθ2、Hx2、Hy2、Hz2）
……(2)（−ΔHφ回転） 自動車の車体等による磁界の歪のない空間で
は、一般にH1＝H2が成立し、Hφ1およびHφ2の
みが変化して他の係数は定数となる。しかしなが
ら、磁界の歪の影響を受けることにより、H1≠
H2となり、かつすべての係数が変化する。

【0016】 同様にして、他の方向についてもダミ
ーヘツド２に変位を与え、頭部運動検出装置６か
ら頭部運動データH3ないしH12を得る。すなわ
ち、ダミーヘツドを±ΔHφだけ回転させたとき
の頭部運動データH3およびH4が得られ、±ΔHθ
だけ回転させたときの頭部運動データH5および
H6が得られ、±ΔHxだけダミーヘツドを移動さ
せたときの頭部運動データH7およびH8が得ら
れ、±ΔHyだけダミーヘツドが移動されたときの
頭部運動データH9およびH10が得られ、±ΔHzだ
けダミーヘツドが移動されたときの頭部運動デー
タH11およびH12が得られる。したがつて、各デ
ータH3ないしH12は、次式によつて表わされる。

【0017】

【数２】 H3＝（Hψ3、Hψ3、Hθ3、Hx3、Hy3、Hz3）
……(3)（＋ΔHψ回転） H4＝（Hψ4、Hψ4、Hθ4、Hx4、Hy4、Hz4）
……(4)（−ΔHψ回転） H5＝（Hψ5、Hψ5、Hθ5、Hx5、Hy5、Hz5）
……(5)（＋ΔHθ回転） H6＝（Hψ6、Hψ6、Hθ6、Hx6、Hy6、Hz6）
……(6)（−ΔHθ回転） H7＝（Hψ7、Hψ7、Hθ7、Hx7、Hy7、Hz7）
……(7)（＋ΔHx移動） H8＝（Hψ8、Hψ8、Hθ8、Hx8、Hy8、Hz8）
……(8)（−ΔHx移動） H9＝（Hψ9、Hψ9、Hθ9、Hx9、Hy9、Hz9）
……(9)（＋ΔHy移動） H10＝（Hψ10、Hψ10、Hθ10、Hx10、Hy10、
Hz10）……(10)（−ΔHy移動） H11＝（Hψ11、Hψ11、Hθ11、Hx11、Hy11、
Hz11）……(11)（＋ΔHz移動） H12＝（Hψ12、Hψ12、Hθ12、Hx12、Hy12、
Hz12）……(12)（−ΔHz移動） 図２に示されたステツプ24において、すべての
頭部運動データH1ないしH12が得られたかどう
かが判定され、全データH1ないしH12が得られ
た後に変換マトリクスTmが作成される（ステツ
プ25）。変換マトリクスTmは、上記のデータH1
ないしH12に基づいて作成され、頭部運動検出装
置６によつて検出された頭部運動データＨ＝
（Hψ、Hψ、Hθ、Hx、Hy、Hz）を、磁界の歪
の影響を受けていない頭部運動データH′＝（Hψ′、
Hψ′、Hθ′、Hx′、Hy′、Hz′）に変換するのに用
いられる。なお、変換マトリクスTmに代えて、
同様の機能を果たすルツクアツプテーブルT_Lを
生成することもできる。

【0018】 ステツプ26において、変換マトリクス
データTmが図１に示したメモリ部３にストアさ
れた後、ステツプ27において、ダミーヘツド２が
取外される。したがつて、上記のような変換マト
リクスTmの作成が、被観察者の視線運動の検出
に先立つて行われたことになる。ダミーヘツド２
の高さと被観察者の座高との違いによつて、デー
タHzが若干変化するが、この変化は微小であり、
変換マトリクスTmは予め自動車の種類ごとに求
めておけば十分である。

【0019】 図１に示された補正処理部４では、メ
モリ部３にストアされた変換マトリクスデータを
参照することにより、頭部運動検出装置６によつ
て随時検出される頭部運動データＨが、磁界の歪
の影響を受けていないデータH′に補正される。
補正されたデータH′は注視点処理部７に与えら
れる。

【0020】 図６は、図１に示した眼球運動検出装
置５における検出原理を示す概略図である。この
装置では、角膜表面の白目と黒目の反射率の違い
を利用する強膜反射方式を用いたものが一例とし
て示される。他の方式として、角膜反射方式やサ
ーチコイル方式も適用できる。図６を参照して、
左右の目Ｅ１およびＥ２の前方に、センサ７１お
よび７２がそれぞれ配置される。各センサ７１お
よび７２の中央には、発光素子７３が配置され
る。発光素子７３として、比較的指向性の広い±
21゜程度の赤外線投射の発光ダイオードが用いら
れる。発光素子７３の両側には、受光素子７４が
設けられる。受光素子７４として、指向性の鋭い
±10゜程度のフオトダイオードが用いられる。発
光素子７３から眼球に向けて投射された光は白目
および黒目の部分で反射する。白目と黒目とでは
反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平（左右）の眼球運動の動きが
出力として得られ、和を取れば垂直（上下）方向
の眼球の動きが出力として得られる。

【0021】 水平方向と垂直方向とでは、眼球に対
するセンサ７１および７２の位置が異なり、水平
方向のセンサ７１は眼球の上下に対して中央に反
射光を検出し、垂直方向のセンサ７２は下方にて
反射光を検出するようにそれぞれ配置される。そ
して、一方の目Ｅ１に水平方向のセンサ７１が配
置され、他方の目Ｅ２の垂直方向のセンサ７２が
配置される。これらを同時に用いれば、２次元的
な眼球運動を検出することができる。このような
検出原理を用いて眼球移動速度、移動方向、移動
距離、注視時間などを求める手法は、たとえば特
開昭60−126140号公報において開示される。した
がつて、図１に示した眼球運動検出装置５から運
転者の眼球運動を示すデータＥが得られ、注視点
処理部７に与えられる。

【0022】 図７は、頭部運動による視線の動きを
説明するための概略図である。図７を参照して、
一般に視対象が移動すると、眼球はその視対象に
追従して動く。この眼球の動きに代えて、頭部を
移動させることによつても視対象を追いかけるこ
とができる。通常は、両者の動きを併用して行な
つている。頭部運動には、足や背骨の向きによる
平行移動と、首、背骨、腰、足などによつて実現
される回転運動とがある。この頭部運動を後述す
る方法により、眼球の回転角へ換算し、図７に示
した頭部運動補正眼球回転角αが得られる。図１
に示した注視点処理部７では、この頭部運動補正
眼球回転角αと眼球自身の回転角θとの組合わせ
により、視線データが表現される。ここで、この
回転角αとθの和を総称して視線を定義する。

【0023】 図１に示した注視点処理部７における
処理を以下に説明する。なお、以下の説明では、
図１に示した補正されたデータH′とデータＨと
して示す。注視点処理部７は、補正された頭部運
動データＨと眼球運動データＥとを受ける。デー
タＨの水平運動成分として（Hx、Hy、Hz）が
与えられ、回転運動成分として（Hψ、Hθ、Hψ）
が与えられるものとする。頭部運動の水平成分
（Hx、Hy、Hz）により視線が変化するが、これ
を眼球回転角（Ex、Ey）に換算するには次式が
用いられる。ここで、Ｄは被験者と観察対象まで
の距離である。

【0024】

【数３】 Ex＝180／π・tan^-1Hx／（Ｄ＋Hy）
……(13) Ex＝180／π・tan^-1Hz／（Ｄ＋Hy）
……(14) 首を左肩方向または右肩方向にHθだけ傾げる
と、眼球運動系の座標が回転する。したがつて、
Hθだけ傾いた眼球運動座標系（Xe、Ye）を元
の観察対象に直交しうた座標系（Xe′、Ye′）に
変換する必要がある。そのため次式が用いられ
る。

【0025】

【数４】 Xe′＝Xe・cosHθ＋Ye・sinHθ……(15) Ye′＝−Xe・sinHθ＋Ye・cosHθ ……(16) 頭部運動により実現される視線の動き（Xh、
Yh）は、式(13)および(14)から、次式により表わさ
れる。

【0026】

【数５】 Xh＝Ex＋Hψ ……(17) Yh＝Ey＋Hψ ……(18) したがつて、頭の動きを考慮した視線の動き
（Xv、Yv）は、式(15)ないし(18)より、次式により
表わされる。

【0027】

【数６】 Xv＝Xe′＋Xh ……(19) Yv＝Ye′＋Yh ……(20) 式(19)および(20)を用いることにより、頭部運動と
眼球運動とを組合わせて行なわれている通常の視
線の動きを再現することができる。以上のような
処理は、図１に示した注視点処理部７において行
なわれ、視線の動きを示す視線データが画像処理
装置８に与えられる。

【0028】 画像処理装置８は、与えられた視線デ
ータに画像処理を施し、画面上にその視線を表示
するのに必要な視線信号を出力する。スーパーイ
ンポーザ９では、運転席から見られる外部の状況
を撮像した外部ビデオ信号に画像処理装置８から
与えられる視線信号がスーパーインポーズされ
る。したがつて、図示されていない表示装置の画
面上に、運転席から見られる外部の状況を背景と
して視線の動きが表示される。その表示例が図８
に示される。

【0029】 このようにして、自動車などの運転席
では発生された磁界が歪を受けるが、図１に示し
たメモリ部３内にストアされた変換マトリクスデ
ータに基づいて頭部運動検出装置６によつて検出
された頭部運動データＨがその歪の影響を打消す
ように補正される。したがつて、正確な頭部運動
データH′が注視点処理部７に与えられることに
なり、眼球運動データＥと組合わせて処理するこ
とにより正確な視線データが得られる。その結
果、表示画面上に正確な視線の動きを表示するこ
とができ、眼球運動と頭部運動とを組合わせて行
なわれる視線の動きの分析を人間め自然な行動に
即して行なうことができる。

【0030】

【発明の効果】 以上のように、この発明によれ
ば、頭部運動検出手段によつて検出された検出デ
ータを、補正データ記憶手段に記憶された補正デ
ータに基づいて磁界の歪の影響を打消すように補
正する補正手段を設けたので、磁界に歪を生じさ
せる環境に置かれた被観察者の視線の動きを正確
に検出することのできる視線検出装置が得られ
た。

【図面の簡単な説明】

【図１】この発明の一実施例を示す視線運動検出
装置のブロツク図である。

【図２】図１に示したメモリ部にストアされる変
換マトリクスデータを作成する手順を示すフロー
チヤートである。

【図３】ダミーヘツドの例および頭部運動検出に
おいて用いられる各運動パラメータの方向を示す
概略図である。

【図４】運転席における頭部運動検出の様子を示
す概略図である。

【図５】図１に示した頭部運動検出装置のブロツ
ク図である。

【図６】図１に示した眼球運動検出装置における
検出原理を示す概略図である。

【図７】頭部運動における視線の動きを説明する
ための概略図である。

【図８】検出された視線運動の表示例を示す画面
図である。

【符号の説明】

１ 演算処理装置 ３ メモリ部 ４ 補正処理部 ５ 眼球運動検出装置 ６ 頭部運動検出装置 ７ 注視点処理部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 発生された磁界に歪を生じさせる
   環境に置かれた被観察者の視線を検出する視線検
   出装置であつて、 前記被観察者の眼球運動を検出する眼球運動検
   出手段と、 前記被観察者の頭部運動を検出するための基準
   磁界を発生する基準磁界発生手段と、 前記被観察者の頭部に装着され、前記基準磁界
   発生手段から発生された磁界に応答して、前記被
   観察者の頭部運動を検出する頭部運動検出手段と
   を含み、 前記基準磁界発生手段から発生された磁界は、
   前記環境により歪を受ける可能性があり、 予め定められた頭部運動量が与えられたときに
   前記頭部運動検出手段によつて検出される検出デ
   ータに基づいて、前記磁界の歪の影響を打消すた
   めの補正データを記憶する補正データ記憶手段
   と、 前記補正データ記憶手段に記憶された補正デー
   タに基づいて、前記頭部運動検出手段によつて検
   出された検出データを補正する補正手段と、 前記補正手段によつて補正されたデータと前記
   眼球運動検出手段から出力される眼球運動データ
   とに基づいて、前記被観察者の視線を演算により
   求める視線演算手段とを含む、視線検出装置。