JPH0583246B2 - - Google Patents

Description

【発明の詳細な説明】

【0001】

【産業上の利用分野】 この発明は、視線表示装
置に関し、特に、広い視野を有する被観察者の視
線の動きを表示する視線表示装置に関する。

【0002】

【従来の技術および発明が解決しようとする課
題】 従来では、自動車や航空機などを運転また
は操縦している運転者の視線の動きの分析におい
て、運転者の頭部運動による視線の動きへの影響
を考慮せず、運転者の眼球の運動による視線の動
きだけが分析されていた。したがつて、眼球運動
だけでなく、頭部運動をも考慮に入れて正確な視
線の動きの検出を行なう必要があり、本願出願人
によりすでにその提案がなされている。

【0003】 検出された視線の動きは、運転席から
見える外部状況を撮影した映像の上に重ねて表示
される。外部状況は１台のカメラにより撮影され
ることが好ましいのであるが、運転者の視野が非
常に広いことから、これを１台のカメラにより撮
影することが一般に難しい。かりに、魚眼レンズ
を使用して運転者の全視野を撮影することができ
たとしても、映像の周辺部分において歪みが生じ
てしまう。したがつて、その映像の上に視線を重
ねて表示しても、その視線の動きを分析するのに
支障をきたしていた。

【0004】 この発明は、上記のような課題を解決
するためになされたもので、歪みのない背景映像
の上に、広い視野を有する被観察者の視線の動き
を表示できる視線表示装置を提供することを目的
とする。

【0005】

【課題を解決するための手段】 請求項１の発明
にかかる視線表示装置は、被観察者の眼球の運動
を検出する眼球運動検出手段と、被観察者の頭部
の運動を検出する頭部運動検出手段と、眼球運動
検出手段および頭部運動検出手段からの出力デー
タを演算処理することにより、被観察者の視線の
動きを求める視線演算手段と、被観察者の視野を
複数の部分に分け、各部分をそれぞれ撮影する複
数の撮影手段と、視線演算手段によつて得られる
被観察者の視線の動きに応答して、複数の撮影手
段によつて撮影された複数の映像信号のうちのい
くつかを選択するする映像選択手段と、映像選択
手段によつて選択された映像信号に基づいて、選
択された映像を表示し、かつ表示された映像上に
視線演算手段によつて得られる視線の動きを表示
する表示手段とを含む。

【0006】 請求項２の発明にかかる視線表示装置
は、被観察者の眼球の運動を検出する眼球運動検
出手段と、被観察者の頭部の運動を検出する頭部
運動検出手段と、眼球運動検出手段および頭部運
動検出手段からの出力データを演算処理すること
により、被観察者の視線の動きを求める視線演算
手段と、被観察者の視野を複数の部分に分け、各
部分をそれぞれ撮影する複数の撮影手段と、複数
の撮影手段によつて撮影された複数の映像を１つ
の画面上に表示できるように合成する映像合成手
段と、映像合成手段によつて合成された映像を表
示し、かつ表示された映像上に視線演算手段によ
つて得られる視線の動きを表示する表示手段とを
含む。

【0007】

【作用】

請求項１の発明における視線表示装置では、映
像選択手段が被観察者の視線の動きに応じて表示
手段によつて表示されるべき映像のいくつかを選
択する。表示手段では、選択された映像が表示さ
れ、かつその映像の上に視線演算手段によつて得
られる視線の動きが表示される。したがつて、歪
みのない背景映像の上に被観察者の視線の動きを
表示することができる。

【0008】 請求項２の発明における視線表示装置では、映
像合成手段が、複数の撮影手段によつて撮影され
た複数の映像を１つの画面上に表示できるように
合成する。表示手段では、合成された映像が表示
され、その映像上に視線演算手段によつて得られ
る視線の動きが表示される。したがつて、歪みの
ない背景映像の上に被観察者の視線の動きを表示
することができる。

【0009】

【実施例】 図１は、この発明の一実施例を示す
視線運動表示装置のブロツク図である。図１を参
照して、この視線運動表示装置は、磁気センサを
用いて運動者の頭部運動を検出する頭部運動検出
装置６と、運動者の眼球の運動を検出する眼球運
動検出装置５と、検出された頭部運動データおよ
び眼球運動データを演算処理することにより運動
者の視線データを求める注視点処理装置７と、求
められた視線データの画像処理を行なう画像処理
装置８と、運転席から撮影される外部状況を示す
映像信号に画像処理された視線信号をスーパーイ
ンポーズするスーパーインポーザ９と、スーパー
インポーザ９の出力に接続された表示装置１０と
を含む。この視線運動表示装置は、さらに、運転
席から見える外部状況を撮影するためのたとえば
４つのカメラＣ１ないしＣ４と、注視点処理装置
７からの切換信号SWに応答して、カメラＣ１な
いしＣ４によつて撮影された映像信号を選択する
画像切換器３とを含む。したがつて、スーパーイ
ンポーザ９は、画像切換器３から出力される外部
状況を示す選択された映像信号の上に視線信号を
スーパーインポーズすることになる。

【0010】 図２は、図１に示した４つのカメラＣ
１ないしＣ４の運転席における配置を示す配置図
である。図２を参照して、カメラＣ１は、運転者
２から見た左側ドアミラー２１を含む左視野に相
当する映像を撮影する。カメラＣ２は、運転者２
から見た正面の視野の映像を撮影する。カメラＣ
３は、運転者２から見た右側のドアミラー２３を
含む右視野の映像を撮影する。カメラＣ４は、ル
ームミラー２２、速度計などの表示器２４および
シフトレバー（図示せず）などを含む映像を撮影
する。すなわち、カメラＣ１ないしＣ４は、運転
者２から見ることのできる上記の周囲状況を撮影
できる位置にそれぞれ配置されている。

【0011】 図５は、図１に示した頭部運動検出装
置６のブロツク図である。図５を参照して、この
頭部運動検出装置６は、基準磁界を発生する励磁
コイル６１と、励磁コイル６１を交流駆動するた
めのドライブ回路６５と、被観察者の頭部に装着
されたセンサコイル６２と、被観察者の頭部に動
きに応じてセンサコイル６２に誘起された電圧を
検出する検出回路６３と、検出回路６３によつて
検出された電圧に基づいて演算処理により被観察
者の頭部運動を求めるCPU６４とを含む。CPU
６４はドライブ回路６５をも制御する。励磁コイ
ル６１は、３軸（Ｘ、Ｙ、Ｚ）方向に巻かれた３
つのコイルにより構成される。各コイルには、ド
ライブ回路６５から発生された、それぞれ周波数
の異なつた駆動用電源電圧が供給される。したが
つて、励磁コイル６１によつて３軸を基準とする
磁界が発生され、その磁界の中に被観察者がいる
ことになる。センサコイル６２も、（Ｘ、Ｙ、Ｚ）
方向にそれぞれ巻かれた３つの検出用コイルを備
えている。被観察者の頭部が動くと、その動きに
応じてセンサコイル６２内の各コイルに起動力が
誘起される。各コイルに生じた起電力を検出回路
６３により検出することにより、被観察者の頭部
の動きに応じた信号が得られる。CPU６４は、
この信号に基づいて演算処理することにより、被
観察者の頭部の動きを示す頭部運動データＨを求
め、それを出力する。

【0012】 図３は、被観察者である運転者２の頭
部運動の各運動パラメータの方向を示す概略図で
ある。運転者２の前頭部に前述のセンサコイル６
２が装着される。図３に示したパラメータHx、
Hy、Hz、Hθ、HφおよびHψは、それぞれこの
図に示す方向の頭部運動の動きを示している。す
なわち、Hxは頭部の水平平行運動を示し、Hyは
前後方向の動きを示し、Hzは垂直平行運動を示
す。また、Hθは首を左右に傾ける方向の運動を
示し、Hφは首の上下方向の回転運動を示し、
Hψは頭部の左右方向の回転運動を示す。

【0013】 図４は、運転席における頭部運動検出
の様子を示す概略図である。図４を参照して、ハ
ンドルの下部などのような運転席に近い固定され
た位置に励磁コイル６１が取付けられる。センサ
コイル６２は、運転者前頭部に取付けられる。運
転者の頭部が動くことにより、励磁コイル６１と
センサコイル６２との間に位置関係が相対的に変
化し、頭部運動検出が行なわれる。

【0014】 図６は、図１に示した眼球運動検出装
置５における検出原理を示す概略図である。この
装置では、角膜表面の白目と黒目の反射率の違い
を利用する強膜反射方式を用いたものが一例とし
て示される。他の方式として、角膜反射方式やサ
ーチコイル方式も適用できる。図６を参照して、
左右の目Ｅ１およびＥ２の前方に、センサ７１お
よび７２がそれぞれ配置される。各センサ７１お
よび７２の中央には、発光素子７３が配置され
る。発光素子７３として、比較的指向性の広い±
21°程度の赤外線投射の発光ダイオードが用いら
れる。発光素子７３の両側には、受光素子７４が
設けられる。受光素子７４として、指向性の鋭い
±10°程度のフオトダイオードが用いられる。発
光素子７３から眼球に向けて投射された光は白目
および黒目の部分で反射する。白目と黒目とでは
反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平（左右）の眼球運動の動きが
出力として得らえ、和を取れば垂直（上下）方向
の眼球の動きが出力として得られる。

【0015】 水平方向と垂直方向とでは、眼球に対
するセンサ７１および７２の位置が異なり、水平
方向のセンサ７１は眼球の上下に対して中央に反
射光を検出し、垂直方向のセンサ７２は下方にて
反射光を検出するようにそれぞれ配置される。そ
して、一方の目Ｅ１に水平方向のセンサ７１が配
置され、他方の目Ｅ２の垂直方向のセンサ７２が
配置される。これらを同時に用いれば、２次元的
な眼球運動を検出することができる。このような
検出原理を用いて眼球の移動速度、移動方向、移
動距離、注視時間などを求める手法は、たとえば
特開昭60−126140号公報において開示される。し
たがつて、図１に示した眼球運動検出装置５から
運転者の眼球運動を示すデータＥが得られ、注視
点処理装置７に与えられる。

【0016】 図７は、頭部運動による視線の動きを
説明するための概略図である。図７を参照して、
一般に視対象が移動すると、眼球はその視対象に
追従して動く。この眼球の動きに代えて、頭部を
移動させることによつても視対象を追いかけるこ
とができる。通常は、両者の動きを併用して行な
つている。頭部運動には、足や背骨の向きによる
平行移動と、首、背骨、腰、足などによつて実現
される回転運動とがある。この頭部運動を後述す
る方法により、眼球の回転角へ換算し、図７に示
した頭部運動補正眼球回転角αが得られる。図１
に示した注視点処理装置７では、この頭部運動補
正眼球回転角αと眼球自身の回転角θとの組合わ
せにより、視線データが表現される。ここで、こ
の回転角αとθの和を総称して視線と定義する。

【0017】 図１に示した注視点処理装置７におけ
る処理を以下に説明する。注視点処理装置７は、
頭部運動データＨと眼球運動データＥとを受け
る。データＨの水平運動成分として（Hx、Hy、
Hz）が与えられ、回転運動成分として（Hφ、
Hθ、Hψ）が与えられるものとする。頭部運動の
水平成分（Hx、Hy、Hz）により視線が変化す
るが、これを眼球回転角（Ex、Ey）に換算する
には次式が用いられる。ここでＤは被験者と観察
対象までの距離である。

【0018】

【数１】 Ex＝180／π・tan^-1Hx／（Ｄ＋Hy） ……(1) Ey＝180／π・tan^-1Hz／（Ｄ＋Hy） ……(2)

【0019】 首を左肩方向または右肩方向にHθだ
け傾げると、眼球運動系の座標が回転する。した
がつて、Hθだけ傾いた眼球運動座標系（Xe、
Ye）を元の観察対象に直交した座標系（Xe′、
Ye′）に変換する必要がある。そのため次式が用
いられる。

【0020】

【数２】 Xe′＝Xe・cosHθ＋Ye・sinHθ ……(3) Ye′＝−Xe・sinHθ＋Ye・cosHθ ……(4) 頭部運動により実現される視線の動き（Xh、
Yh）は、式(1)および(2)から、次式により表わさ
れる。

【0021】

【数３】 Yh＝Ex＋Hψ ……(5) Yh＝Ey＋Hφ ……(6) したがつて、頭の動きを考慮した視線の動き
（Xv、Yv）は、式(3)ないし(6)より、次式により
表わされる。

【0022】

【数４】 Xv＝Xe′＋Xh ……(7) Yv＝Ye′＋Yh ……(8) 式(7)および(8)を用いることにより、頭部運動と
眼球運動とを組合わせて行なわれている通常の視
線の動きを再現することができる。以上のような
処理は、図１に示した注視点処理部７において行
なわれ、視線の動きを示す視線データが画像処理
装置８に与えられる。

【0023】 注視点処理装置７では、上記の視線運
動の検出に加えて、視線運動の動きに基づく切換
信号SWの発生が行なわれる。すなわち、前述の
演算処理により運転者２の視線の位置、すなわち
注視点の位置が得られるので、その注視点の位置
を含む状況を撮影しているカメラが選択される。
たとえば、視線の水平方向の角度をψとし、垂直
方向の角度をφとすると、カメラＣ１は、ψ＜−
30°かつ−20°＜φ＜20°の範囲において選択され
る。カメラＣ２は、−30°＜ψ＜30°かつ−20°＜φ
＜20°の範囲において選択される。カメラＣ３は、
ψ＞＋30°かつ−20°＜φ＜20°の範囲において選択
される。カメラＣ４は、−20°≦ψ≦20°かつφ＜
−20°またはφ＞20°の範囲において選択される。
したがつて、図１に示した画像切換器３は、切換
信号SWに応答して、カメラＣ１ないしＣ４のう
ち現在の視線のある映像を映している映像信号と
その直前の視線の位置を示している映像信号とを
スーパーインポーザ９に与える。

【0024】 画像処理装置８は、注視点処理装置７
から与えられた視線データに画像処理を施し、表
示装置１０の画面上に、その視線を表示するのに
必要な視線信号を出力し、それをスーパーインポ
ーザ９に与える。スーパーインポーザ９は、画像
切換器３から与えられる映像信号の上に、与えら
れた視線信号をスーパーインポーズする。スーパ
ーインポーズされた映像信号は表示装置１０に与
えられ、表示装置１０の画面上の選択された背景
映像の上に、運転者の視線の動きが表示される。
図８ないし図１０は、図１に示した表示装置１０
における表示例を示す画面図である。図８は、図
２に示したカメラＣ２によつて撮影された映像内
で視線が動く場合の表示を示す。図９は、視線が
左側のドアミラー２１に移動したときの表示を示
す。視線は移動する直前において図８に示した映
像の左側にあるため、左側の映像とカメラＣ１に
よつて得られる映像とが同時に表示され、その上
に視線の動きが表示される。同様にして、視線が
右側のドアミラー２３に移動したときの表示例が
図１０に示される。

【0025】 図１１は、この発明の別の実施例を示
す視線運動表示装置のブロツク図である。図１１
を参照して、この視線運動表示装置は、図１に示
した画像切換器３に代えて、画像合成装置４を含
む点において図１に示した装置と異なる。画像合
成装置４は、前述の４つのカメラＣ１ないしＣ４
からの映像信号を受けるように接続される。画像
合成装置４は、表示装置１０の１つの画面上に４
つのカメラＣ１ないしＣ４から得られる映像を同
時に表示できるよう、映像信号の合成を行なう。
合成された映像信号はスーパーインポーザ９に与
えられる。スーパーインポーザ９は合成された映
像信号上に視線信号をスーパーインポーズし、ス
ーパーインポーズされた信号を表示装置１０に与
える。表示装置１０における画像の表示例が図１
２に示される。図１２に示されるよう、４つのカ
メラＣ１ないしＣ４によつて得られた映像が１つ
の画面内に表示されており、その画面上で視線の
動きが表示される。

【0026】 このようにして、広い視野を有する運
転者から見える状況を４つのカメラＣ１ないしＣ
４を用いて撮影し、その撮影された映像上に運転
者の視線の動きが表示される。したがつて、歪み
のない背景映像の上に運転者の視線の動きを表示
することができるので、視線の動きの分析が容易
となつた。

【0027】

【発明の効果】 以上のように、請求項１の発明
によれば、被観察者の視野の各部分を撮影する複
数の撮影手段を設け、映像選択手段によつて選択
された映像上に視線が表示されるので、歪みのな
い背景映像の上に被観察者の視線の動きを表示で
きる視線表示装置が得られた。

【0028】 請求項２の発明によれば、複数の撮影
手段によつて得られた被観察者の視野の各部分を
１つの画面上に表示できるように合成する映像合
成手段を設けたので、歪みのない背景映像の上に
被観察者の視線の動きを表示できる視線表示装置
が得られた。

【図面の簡単な説明】

【図１】この発明の一実施例を示す視線運動表示
装置のブロツク図である。

【図２】図１に示した４つのカメラの運転席にお
ける配置を示す配置図である。

【図３】運転者の頭部運動の各運動パラメータの
方向を示す概略図である。

【図４】運転席における頭部運動検出の様子を示
す概略図である。

【図５】図１に示した頭部運動検出装置のブロツ
ク図である。

【図６】図１に示した眼球運動検出装置における
検出原理を示す概略図である。

【図７】頭部運動における視線の動きを説明する
ための概略図である。

【図８】図１に示した表示装置の表示例を示す画
面図である。

【図９】図１に示した表示装置の別の表示例を示
す画面図である。

【図10】図１に示した表示装置のさらに別の例を
示す画面図である。

【図11】この発明の別の実施例を示す視線運動表
示装置のブロツク図である。

【図12】図１１に示した表示装置の表示例を示す
画面図である。

【符号の説明】

３ 画像切換器 ４ 画像合成装置 ５ 眼球運動検出装置 ６ 頭部運動検出装置 ７ 注視点処理装置 １０ 表示装置。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 広い視野を有する被観察者の視線
   の動き表示する視線表示装置であつて、 前記被観察者の眼球の運動を検出する眼球運動
   検出手段と、 前記被観察者の頭部運動を検出する頭部運動検
   出手段と、 前記眼球運動検出手段および前記頭部運動検出
   手段からの出力データを演算処理することによ
   り、前記被観察者の視線の動きを求める視線演算
   手段と、 前記被観察者の視野を複数の部分に分け、各部
   分をそれぞれ撮影する複数の撮影手段と、 前記視線演算手段によつて得られる前記被観察
   者の視線の動きに応答して、前記複数の撮影手段
   によつて撮影された複数の映像信号のうちのいく
   つかを選択する映像選択手段と、 前記映像選択手段によつて選択された映像信号
   に基づいて、選択された映像を表示し、かつ表示
   された映像上に前記視線演算手段によつて得られ
   る視線の動きを表示する表示手段とを含む、視線
   表示装置。
2. 【請求項２】 広い視野を有する被観察者の視線
   の動きを表示する視線表示装置であつて、 前記被観察者の眼球の運動を検出する眼球運動
   検出手段と、 前記被観察者の頭部の運動を検出する頭部運動
   検出手段と、 前記眼球運動検出手段および前記頭部運動検出
   手段からの出力データを演算処理することによ
   り、前記被観察者の視線の動きを求める視線演算
   手段と、 前記被観察者の視野を複数の部分に分け、各部
   分をそれぞれ撮影する複数の撮影手段と、 前記複数の撮影手段によつて撮影された複数の
   映像を１つの画面上に表示できるように合成する
   映像合成手段と、 前記映像合成手段によつて合成された映像を表
   示し、かつ表示された映像上に前記視線演算手段
   によつて得られる視線の動きを表示する表示手段
   とを含む、視線表示装置。