JPH0583247B2 - - Google Patents

Description

【発明の詳細な説明】

【0001】

【産業上の利用分野】 この発明は、視線表示装
置に関し、特に、動く物体上に置かれた被観察者
の視線の動きを、動く物体の動きを考慮に入れて
表示する視線表示装置に関する。

【0002】

【従来の技術および発明が解決しようとする課
題】 従来では、自動車や航空機などを運転また
は操縦している運転者の視線の動きの分析におい
て、運転者の頭部運動による視線の動きへの影響
を考慮せず、運転者の眼球の運動による視線の動
きだけが分析されていた。したがつて、眼球運動
だけでなく、頭部運動をも考慮に入れて正確な視
線の動きの検出を行なう必要があり、その提案が
既に本願出願人によつてされている。

【0003】 一般に、自動車などの車体は、その走
行に伴つて傾きや振動などの動きを生じる。たと
えば、自動車が曲がるときはその遠心力によつて
車体が傾斜し、また、道路の上がりまたは下がり
によつても車体に傾斜が生じる。運転者はそのよ
うな車体の傾きを受けるため、その視線の動きも
その傾きの影響を受けることになる。従来では、
このような状況の下での運転者の視線の動きを分
析するに際、車体の動きのような外部的要因を考
慮に入れていないので、運転者自身の意志に基づ
く視線の動きであるのかまたはそれ以外の外部的
要因によるものであるのかが曖昧となり、その結
果正確な視線分析を行なうことができなかつた。

【0004】 この発明は、上記のような課題を解決
するためになされたもので、動く物体に置かれた
被観察者の意志に基づく視線の動く物体の動きに
よる影響とを識別して表示することのできる視線
表示装置を提供することを目的とする。

【0005】

【課題を解決するための手段】 この発明に係る
視線表示装置は、被観察者の眼球の運動を検出す
る眼球装置検出手段と、被観察者の頭部の運動を
検出する頭部運動検出手段と、眼球運動検出手段
および頭部運動検出手段からの出力データを演算
処理することにより、被観察者の視線の動きを求
める視線演算手段と、被観察者の視野の範囲内の
状況を撮影する撮影手段と、動く物体に取付けら
れ、その動く物体の動きを検出する物体動き検出
手段と、撮影手段によつて撮影された映像を表示
し、かつ表示された映像上に視線演算手段によつ
て得られる視線の動きと物体動き検出手段によつ
て検出された動く物体による動きとを識別して表
示する表示手段とを含む。

【0006】

【作用】 この発明における視線表示装置では、
物体動き検出手段が動く物体の動きを検出し、表
示手段が撮影手段によつて撮影された映像の上に
検出された動く物体による動きを被観察者の視線
の動きとともに識別表示する。したがつて、被観
察者の意志に基づく視線の動きと動く物体の動き
による影響とを区別して観察することができる。

【0007】

【実施例】 図１は、この発明の一実施例を示す
視線運動表示装置のブロツク図である。図１を参
照して、この視線運動表示装置は、磁気センサを
用いて運転者の頭部運動を検出する頭部運動検出
装置６と、運転者の眼球の運動を検出する眼球運
動検出装置５と、検出された頭部運動データおよ
び眼球運動データを演算処理することにより運転
者の視線データを求める注視点処理装置７と、求
められた視線データの画像処理を行なう画像処理
装置８と、運転席から撮影される外部状況を撮影
するカメラ１５と、カメラ１５からのビデオ信号
に画像処理された視線信号をスーパーインポーズ
するスーパーインポーザ９と、表示装置１０とを
含む。この視線運動表示装置は、さらに自動車の
車体に取付けられた加速度センサ１１と、加速度
センサ１１によつて得られる加速度信号を積分す
る積分器１２と、加速度センサ１１が取付けられ
た座標系の信号を頭部運動検出装置６における座
標系の信号に変更する座標変換器１３と、座標交
換された信号を画像処理によつてスーパーインポ
ーズ可能な信号に変換する画像処理装置１４とを
含む。

【0008】 動作において、眼球運動検出装置５に
よつて検出された眼球運動データＥを頭部運動検
出装置６によつて検出された頭部運動データＨと
が注視点処理装置７に与えられ、そこで演算処理
により運転者の視線の動きを示す視線データが得
られる。視線データは画像処理装置８に与えら
れ、そこでスーパーインポーズ可能な視線信号に
変換される。一方、自動車の車体に取付けられた
加速度センサ１１によつて車体の動きが検出さ
れ、検出された信号が積分器１２において２回積
分される。積分された信号は加速度センサ１１が
置かれた座標系における車体の動きを示してお
り、座標変換器１３においてその座標系を頭部運
動検出装置６におけるものに変換する。座標変換
された車体の動きを示す信号は画像処理装置１４
に与えられ、そこでスーパーインポーズ可能な信
号に変換される。スーパーインポーザ９には、カ
メラ１５によつて運転席から外部の状況を撮影し
た映像信号も与えられる。スーパーインポーザ９
は、カメラ１５からの映像信号上に視線の動きを
示す視線信号および車体の動きを示す信号をスー
パーインポーズし、それによつて得られる映像が
表示装置１０の画面上に表示される。

【0009】 第５は、図１に示した頭部運動検出装
置６のブロツク図である。図５を参照して、この
頭部運動検出装置６は、基準磁界を発生する励磁
コイル６１と、励磁コイル６１を交流駆動するた
めのドライブ回路６５と、被観察者の頭部に装着
されたセンサコイル６２と、被観察者の頭部に動
きに応じてセンサコイル６２に誘起された電圧を
検出する検出回路６３と、検出回路６３によつて
検出された電圧に基づいて演算処理により被観察
者の頭部運動を求めるCPU６４とを含む。CPU
６４はドライブ回路６５をも制御する。励磁コイ
ル６１は、３軸（Ｘ、Ｙ、Ｚ）方向に巻かれた３
つのコイルにより構成される。各コイルには、ド
ライブ回路６５から発生された、それぞれ周波数
の異なつた駆動用電源電圧が供給される。したが
つて、励磁コイル６１によつて３軸を基準とする
磁界が発生され、その磁界の中に被観察者がいる
ことになる。センサコイル６２も、（Ｘ、Ｙ、Ｚ）
方向にそれぞれ巻かれた３つの検出用コイルを備
えている。被観察者の頭部が動くと、その動きに
応じてセンサコイル６２内の各コイルに起電力が
誘起される。各コイルに生じた起電力を検出回路
６２により検出することにより、被観察者の頭部
の動きに応じた信号が得られる。CPU６４は、
この信号に基づいて演算処理することにより、被
観察者の頭部の動きを示す頭部運動データＨを求
め、それを出力する。

【0010】 図３は、頭部運動検出装置６において
用いられている頭部運動の座標系を示す概略図で
ある。運転者２の前頭部に前述のセンサコイル６
２が装着される。図３に示したパラメータHx、
Hy、Hz、Hθ、HφおよびHψは、それぞれこの
図に示す方向の頭部運動の動きを示している。す
なわち、Hxは頭部の水平平行運動を示し、Hyは
前後方向に動きを示し、Hzは垂直平行運動を示
す。また、Hθは首を左右に傾ける方向の運動を
示し、Hφは首の上下方向の回転運動を示し、
Hψは頭部の左右方向の回転運動を示す。

【0011】 図４は、運転席における頭部運動検出
の様子を示す概略図である。図４を参照して、ハ
ンドルの下部などのような運転席に近い固定され
た位置に励磁コイル６１が取付けられる。センサ
コイル６２は、運転者の前頭部に取付けられる。
運転者の頭部が動くことにより、励磁コイル６１
とセンサコイル６２との間の位置関係が相対的に
変化し、頭部運転検出が行なわれる。加速度セン
サ１１は、図４に示すように車体の一部に取付け
られている。

【0012】 図６は、図１に示した眼球運動検出装
置５における検出原理を示す概略図である。この
装置では、角膜表面の白目と黒目の反射率の違い
を利用する強膜反射方式を用いたものが一例とし
て示される。他の方式として、角膜反射方式やサ
ーチコイル方式も適用できる。図６を参照して、
左右の目Ｅ１およびＥ２の前方に、センサ７１お
よび７２がそれぞれ配置される。各センサ７１お
よび７２の中央には、発光素子７３が配置され
る。発光素子７３として、比較的指向性の広い±
21°程度の赤外線投射の発光ダイオードが用いら
れる。発光素子７３の両側には、受光素子７４が
設けられる。受光素子７４として、指向性の鋭い
±10°程度のフオトダイオードが用いられる。発
光素子７３から眼球に向けて投射された光は白目
および黒目の部分で反射する。白目と黒目とでは
反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平（左右）の眼球運動の動きが
出力として得られ、和を取れば垂直（上下）方向
の眼球が動きが出力として得られる。

【0013】 水平方向と垂直方向とでは、眼球に対
するセンサ７１および７２の位置が異なり、水平
方向のセンサ７１は眼球の上下に対して中央に反
射光を検出し、垂直方向のセンサ７２は下方にて
反射光を検出するようにそれぞれ配置される。そ
して、一方の目Ｅ１に水平方向のセンサ７１が配
置され、他方の目Ｅ２の垂直方向のセンサ７２が
配置される。これらを同時に用いれば、２次元的
な眼球運動を検出することができる。このような
検出原理を用いて眼球の移動速度、移動方向、移
動距離、注視時間などを求める手法は、たとえば
特開昭60−126140号公報において開示される。し
たがつて、図１に示した眼球運動検出装置５から
運転者の眼球運動を示すデータＥが得られ、注視
点処理装置７に与えられる。

【0014】 図７は、頭部運動による視線の動きを
説明するための概略図である。図７を参照して、
一般に視対象が移動すると、眼球はその相対象に
追従して動く。この眼球の動きに代えて、頭部を
移動させることによつても視対象を追いかけるこ
とができる。通常は、両者の動きを併用して行な
つている。頭部運動には、足や背骨の向きによる
平行移動と、首、背骨、腰、足などによつて実現
される回転運動とがある。この頭部運動を後述す
る方法により、眼球の回転角へ換算し、図７に示
した頭部運動補正眼球回転角αが得られる。図１
に示した注視点処理装置７では、この頭部運動補
正眼球回転角αと眼球自身の回転角θと組合わせ
により、視線データが表現される。ここで、この
回転角αとθの和を総称して視線と定義する。

【0015】 図１に示した注視点処理装置７におけ
る処理を以下に説明する。注視点処理装置７は、
補正された頭部運動データＨと眼球運動データＥ
とを受ける。データＨの水平運動成分として
（Hx、Hy、Hz）が与えられ、回転運動成分とし
て（Hφ、Hθ、Hψ）が与えられるものとする。
頭部運動の水平成分（Hx、Hy、Hz）により視
線が変化するが、これを眼球回転角（Ex、Ey）
に換算するには次式が用いられる。ここでＤは被
験者と観察対象までの距離である。

【0016】

【数１】 Ex＝180／π・tan^-1Hx／（Ｄ＋Hy） ……(1) Ey＝180／π・tan^-1Hz／（Ｄ＋Hy） ……(2)

【0017】 首を左肩方向または右肩方向にHθだ
け傾げると、眼球運動系の座標が回転する。した
がつて、Hθだけ傾いた眼球運動座標系（Xe、
Ye）を元の観察対象に直交した座標系（Xe′、
Ye′）に変換する必要がある。そのため次式が用
いられる。

【0018】

【数２】 Xe′＝Xe・cosHθ＋Ye・sinHθ ……(3) Ye′＝−Xe・sinHθ＋Ye・cosHθ ……(4) 頭部運動により実現される視線の動き（Xh、
Yh）は、式(1)および(2)から、次式により表わさ
れる。

【0019】

【数３】 Xh＝Ex＋Hψ ……(5) Yh＝Ey＋Hψ ……(6) したがつて、頭の動きを考慮した視線の動き
（Xv、Yv）は、式(3)ないし(6)より、次式により
表わされる。

【0020】

【数４】 Xv＝Xe′＋Xh ……(7) Yv＝Ye′＋Yh ……(8) 式(7)および(8)を用いることにより、頭部運動と
眼球運動とを組合わせて行なわれている通常の視
線の動きを再現することができる。以上のような
処理は、図１に示した注視点処理装置７において
行なわれ、視線の動きを示す視線データが画像処
理装置８に与えられる。

【0021】 次に、車体の動きの検出処理について
説明する。図１に示した加速度センサ１１とし
て、たとえばセラミツク振動子を用いた音叉によ
り超音波ジヤイロが使用される。このような加速
度センサ１１を車体に取付けることにより、自動
車のフレームに動きが生じたときの加速度がそれ
により検出される。車体の加速度検出における座
標系は、たとえば図２のように示される。したが
つて、加速度センサ１１により車体の加速度を示
す信号（X″、Y″、Z″）が得られる。ここで、″
は２回微分を示す。この加速度信号を積分器１２
により２回積分することにより、車体の動きを示
す車体動きデータ（Ｘ、Ｙ、Ｚ）が得られる。こ
のデータ（Ｘ、Ｙ、Ｚ）は、車が停止していると
きの基準座標（Xo、Yo、Zo）に対して、座標系
の回転と平行移動とを加え合わせたものとなつて
いる。座標変換器１３では、この加速度座標系の
回転角と平行移動量を計算し、頭部運動検出にお
ける座標系のデータに変換する。その結果、車体
の動きを示すデータを図３に示した座標系におけ
るものとして得ることができる。画像処理装置１
４は、座標変換されたデータ信号をスーパーイン
ポーズ可能な信号に変換し、変換された信号をス
ーパーインポーザ９に与える。

【0022】 スーパーインポーザ９にはカメラ１５
によつて撮影された運転席から見える状況を示す
映像信号も与えられている。したがつて、スーパ
ーインポーザ９において、カメラ１５からの映像
信号に視線の動きを示す視線信号と車体の動きを
示す信号とがスーパーインポーズされる。スーパ
ーインポーズされた映像信号は、表示装置１０に
与えられその画面上にスーパーインポーズされた
映像が表示される。

【0023】 図８は、表示装置１０における画面の
表示例を示す画面図である。図８を参照して、背
景となる映像の上に視線の動きが表示されている
のであるが、ａが車体の動きによるものを示し、
ｂが運転者自身の意志による視線の動きを示して
いる。図８に示すように車体の動きの方向と運転
者自らの視線の動きの方向とが一致することもあ
るが、実際には、運転中では運転者が見ようとし
ている方向と逆に車体が動くことが多い。

【0024】 このようにして、表示装置１０の画面
上に、運転者自身の意志による視線の動きと車体
の動きに起因することを明確に分離して識別表示
できるので、このような状況での視線の分析をよ
り的確に行なうことが可能となる。その分析結果
を利用して、自動車などにおけるより見やすい計
器類の配置を得るため人間工学における重要なデ
ータを正確に得ることが可能となる。

【0025】

【発明の効果】 以上のように、この発明によれ
ば、被観察者が置かれた動く物体の動きを検出す
る物体動き検出手段を設け、その物体の動きを被
観察者の視線の動きと識別して表示する表示手段
を設けたので、被観察者の意志に基づく視線の動
きと動く物体の動きによる影響とを識別して表示
することのできる視線表示装置が得られた。

【図面の簡単な説明】

【図１】 この発明の一実施例を示す視線運動表
示装置のブロツク図である。

【図２】 図１に示した加速度センサにおける座
標系を示す座標図である。

【図３】 図１に示した頭部運動検出装置におい
て用いられている座標系および各運動パラメータ
の方向を示す概略図である。

【図４】 運転席における頭部運動検出の様子を
示す概略図である。

【図５】 図１に示した頭部運動検出装置のブロ
ツク図である。

【図６】 図１に示した眼球運動検出装置におけ
る検出原理を示す概略図である。

【図７】 頭部運動における視線の動きを説明す
るための概略図である。

【図８】 検出された視線運動の表示例を示す画
面図である。

【符号の説明】

５ 眼球運動検出装置 ６ 頭部運動検出装置 ７ 注視点処理装置 ９ スーパーインポーザ １０ 表示装置 １１ 加速度センサ １２ 積分器 １３ 座標変換器。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 動く物体上に置かれた被観察者の
   視線の動きを表示する視線表示装置であつて、 前記被観察者の眼球の運動を検出する眼球運動
   検出手段と、 前記被観察者の頭部の運動を検出する頭部運動
   検出手段と、 前記眼球運動検出手段および前記頭部運動検出
   手段からの出力データを演算処理することによ
   り、前記被観察者の視線の動きを求める視線演算
   手段と、 前記被観察者の視線の範囲内の状況を撮影する
   撮影手段と、 前記動く物体に取付けられ、前記動く物体の動
   きを検出する物体動き検出手段と、 前記撮影手段によつて撮影された映像を表示
   し、かつ表示された映像上に、前記視線演算手段
   によつて得られる視線の動きと前記物体動き検出
   手段によつて検出された前記動く物体の動きとを
   識別して表示する表示手段を含む、視線表示装
   置。