JPH0868630A

JPH0868630A - 車両用視線方向計測装置およびこれに用いる画像入力装置

Info

Publication number: JPH0868630A
Application number: JP6227351A
Authority: JP
Inventors: Hiroshi Saito; 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1994-08-29
Filing date: 1994-08-29
Publication date: 1996-03-12

Abstract

(57)【要約】【目的】簡単な構成で運転者の頭部移動に追従し効率
良く視線方向を得る。【構成】画像入力部５０は、照明１、２と、運転者Ｄ
の顔面画像を広く捉らえる広角光学系と眼球部を拡大し
て捉らえる狭角光学系を備える。両光学系は照明１と共
軸で、入射した光を光路分岐部５２により各撮像素子５
１Ａ、５１Ｂへ分割する。広角光学系の撮像素子５１Ａ
の出力から瞳孔抽出部５Ａで網膜反射像が抽出され、こ
の抽出結果から観測視野の中央に眼球を位置させるよう
に画像入力部回転量算出部６で画像入力部の回転方向と
回転量を算出する。これに基づき画像入力部駆動用アク
チュエータ７Ｖ、７Ｈが画像入力部の撮像方向を変え
る。このあと狭角光学系の撮像素子５１Ｂの出力を用い
て、瞳孔抽出部５Ｂ、角膜反射像抽出部８を経て視線方
向算出のための各反射像位置を求める。狭角光学系で捉
えた画像には必ず運転者の瞳孔が写っており、抽出が簡
単にできる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両運転者の視線方向
を遠隔から非接触で計測する車両用視線方向計測装置に
関する。

【０００２】

【従来の技術】このような、視線方向計測装置は、車両
用の非接触ヒューマンマシンインタフェイスとして、例
えば車両運転者の注目している方向に視覚情報を表示す
るとか、視線方向に応じてラジオやエアコン等の車載機
器の特定のスイッチを動作させる視線スイッチなど、種
々の目的への利用が期待されている。このようなインタ
フェイスを構成するために必要な、車両運転者の視線方
向の計測装置として、従来、眼球の角膜反射像の位置を
画像情報として取り入れて計測する装置が提案されてい
る。角膜反射像は、眼球への照射光が眼球を構成する光
学系の各面で反射、屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。

【０００３】ところで、運転者は運転中その頭部位置が
常に移動しているため、これに追従しながらその視線を
計測する必要がある。このような追従型の視線方向計測
装置としては、２台のカメラを用いた方式が提案されて
いる（伴野他、「瞳孔の抽出処理と頭部の動きを許容す
る視線検出装置の試作」、電子情報通信学会論文誌、Ｖ
ｏｌ．Ｊ７６−Ｄ−２Ｎｏ．３ｐｐ．６３６〜６４
６、１９９３年３月）。これは、運転者の眼球の位置
が、常に両カメラの視野の中央に捕捉されるようにカメ
ラの方向を制御しながら、視線方向を計測するものであ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の追従型視線計測装置にあっては、２台の独立
したカメラを用いるため、双方のカメラとも独立してそ
の方向を制御しなければならない。そのため、全体構成
が複雑となり、しかも特徴点抽出のため２台のカメラで
得た画像にそれぞれ同一処理を施さねばならず、効率が
低いという問題がある。したがって本発明は、上記従来
の問題点に鑑み、運転者の注視によって制御を行う車両
用インターフェイス装置を実現するための運転者の視線
方向計測装置において、計測対象である運転者の頭部が
大きく移動しても、簡単な構成で、効率良くこれに追従
して、迅速正確に視線方向を計測することができる車両
用視線方向計測装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】このため、請求項１記載
の車両用視線方向計測装置は、車両運転者の顔面を空間
的に互いに異なる位置に配置された複数の光源で照明
し、運転者の眼球部における反射像を撮像して画像デー
タを得る画像入力部と、画像データより網膜反射像と角
膜反射像を抽出する反射像抽出手段を備え、網膜反射像
と角膜反射像の各位置から運転者の視線方向を算出する
車両用視線方向計測装置において、画像入力部は、互い
に共軸系に配置された、運転者の顔面画像を広く捉らえ
る広角光学系と、運転者の眼球部を拡大して捉らえる狭
角光学系を備えるとともに、その撮像方向を変更可能の
方向可変手段を備え、広角光学系で得た画像データによ
る眼球部が画像視野の中央に位置するように画像入力部
の方向可変手段を制御する制御手段を有し、反射像抽出
手段は、眼球部が前記画像視野の中央に位置されたあ
と、狭角光学系で得た画像データに基づいて上記の網膜
反射像と角膜反射像を抽出するものとした。

【０００６】また請求項６記載の発明は、空間的に互い
に異なる位置に配置された複数の光源と、この複数の光
源の１個と共軸で、それぞれ撮像素子を含み、運転者の
顔面画像を広く捉らえる広角光学系と運転者の眼球部を
拡大して捉らえる狭角光学系を備えた車両用視線方向計
測装置のための画像入力装置とした。

【０００７】

【作用】画像入力部が共軸系の広角光学系と狭角光学系
を備え、広角光学系で得た画像データによる眼球部が画
像視野の中央に位置するように制御手段が方向可変手段
を制御し画像入力部の向きが変更される。この結果、広
角光学系と狭角光学系は同時にその撮像方向が変更され
る。これにより運転者の頭部が大きく動いても、画像入
力部がこれに追従する。こうして眼球部へ方向づけられ
た状態の狭角光学系で得た画像データに基づいて、反射
像抽出手段が網膜反射像と角膜反射像を抽出する。この
際、画像の中央には必ず網膜反射像が観測されるため、
その抽出処理が非常に簡単になる。これらの反射像の位
置に基づいて運転者の視線方向が算出される。

【０００８】画像入力部の少なくとも広角光学系が縦横
のマトリクスに形成された撮像素子を含み、方向可変手
段は撮像素子の縦横各辺に平行な回転軸の周りに独立し
て回転可能とすることができる。この際、方向可変手段
の上記回転軸は、狭角光学系の焦点位置を通過するもの
とすると、画像入力部の回転量に対する眼球部位置の移
動量が簡単な関数で記述できるので好ましい。

【０００９】

【実施例】以下、この発明を図面に基づいて説明する。
図１、図２および図３は、この発明を自動車のフロント
ウィンドゥにＨＵＤ表示したスイッチを運転者の注視に
よって作動させるインタフェースシステムに適用した実
施例を示す。とくに、図１は視線方向計測機能部分の
構成を示し、図２は計測された視線方向を用いたスイッ
チ制御機能部分の構成を示す。また、図３はその車載レ
イアウトである。

【００１０】まず、図１により視線方向計測機能部分の
概要を説明する。ステアリング４２の近傍の計器盤上
に、運転者Ｄの顔面領域の画像を入力する画像入力部５
０が設置される。車両運転者の眼球位置は、例えばＪＩ
Ｓ（日本工業規格）Ｄ００２１に示されるように、自動
車の運転者のアイレンジとして統計的に示された限定領
域に存在するから、画像入力部５０の撮像範囲はそこに
限定でき、車両運転者に比較的近接して設置できる。

【００１１】画像入力部５０は、共軸系に配置されたそ
れぞれＣＣＤ等からなる２枚の撮像素子５１Ａ、５１Ｂ
を備える。２枚の撮像素子の前方には、入射した光をこ
れら２枚の撮像素子５１Ａ、５１Ｂ方向に分割するため
の、ハーフミラーやビームスプリッタ等で構成される光
路分岐部５２が設けられ、分割されて一方の撮像素子５
１Ａに向かう光路にはリレーレンズ５３が設置されてい
る。また、２枚の撮像素子との共軸系を形成して照明１
が設けられるとともに、照明１との相対関係が既知の位
置に照明２が設置されている。照明１と照明２は赤外Ｌ
ＥＤ等からなり、互いに同一スペックを有して不可視光
を照射する。

【００１２】ここで、撮像素子５１Ａおよびリレーレン
ズ５３を含んで形成される光学系は広視野を観測する広
角光学系とされ、他方の撮像素子５１Ｂを含んで形成さ
れる光学系は狭い視野を観測するように設定されてい
る。上記照明１および２の照射角は、画像入力部５０に
おける広角光学系の画角以上に設定される。上記のよう
に構成された画像入力部５０は、撮像素子５１Ａ、５１
Ｂの縦辺および横辺方向の各軸周りに回転可能の図示し
ない回転機構を有している。なお、画像入力部５０の回
転軸は、２軸とも、撮像素子５１Ｂを含む狭角光学系の
焦点位置に設定するのが望ましい。これにより、画像入
力部５０の回転量に対する眼球位置の移動量が、ｔａｎ
（回転角）に比例など、簡単な関数で記述できる。

【００１３】撮像素子５１Ａの出力はＡ／Ｄ変換器４Ａ
でＡ／Ｄ変換されたあと、瞳孔抽出部５Ａに送られ、こ
こで網膜反射像が抽出される。画像入力部回転量算出部
６では、この抽出結果を基に、画像入力部５０の観測視
野の中央に運転者Ｄの眼球を捕捉できるように、画像入
力部５０の回転方向と回転量を算出する。画像入力部回
転量算出部６には画像入力部駆動用アクチュエータおよ
び７Ｖ、７Ｈが接続されている。アクチュエータ７Ｖは
撮像素子の縦軸に平行な軸周りに画像入力部５０を回転
させ、アクチュエータ７Ｈは撮像素子の横軸に平行な軸
周りに画像入力部５０を回転させる。各画像入力部駆動
用アクチュエータ７Ｖ、７Ｈは、算出された回転方向と
回転量に応じてそれぞれ駆動され、画像入力部５０の撮
像方向が所定方向に制御される。画像入力部駆動用アク
チュエータ７Ｖ、７Ｈと前述の回転機構とで発明の方向
可変手段が構成されている。

【００１４】撮像素子５１ＢにはＡ／Ｄ変換器４Ｂが接
続され、上述の画像入力部５０の回転制御が完了した
後、その出力がＡ／Ｄ変換され、瞳孔抽出部５Ｂに送ら
れるようになっている。瞳孔抽出部５Ｂでは網膜反射像
が抽出され、さらに角膜反射像抽出部８で角膜反射像が
抽出される。そして、角膜反射像抽出部８と画像入力部
回転量算出部６とに接続されて視線方向算出部１０が設
けられ、ここで、上記網膜反射像と角膜反射像の検出位
置、ならびに画像入力部回転量算出部６の算出結果に基
づく画像入力部５０の撮像方向から、運転者Ｄの視線方
向が算出される。なお、照明１、照明２の点消灯は照明
発光制御部１１により制御され、照明発光制御部１１、
Ａ／Ｄ変換器４Ａ、４Ｂ等を含めた全体制御が全体制御
部１２で行われるようになっている。

【００１５】次に、図２によりスイッチ制御機能部分に
ついて説明する。図２には、図１により説明した視線方
向計測機能部分が符号Ｚで示される。全体制御部１２に
はメインスイッチ２１が接続され、これを押すことによ
りシステム全体が動作を開始する。視線方向算出部１０
で算出された視線方向情報は、視線停留判断部２３にお
いて分析され、図３の（ａ）に例示するようにウインド
シールド４１にＨＵＤ表示されたスイッチ表示エリア２
６のどこを見ているかが判断されるとともに、所定時間
注視しているかどうかが判断される。スイッチ表示エリ
ア２６には、同図の（ｂ）に示すように、後述する各制
御対象に対応するスイッチ名を備えたボタン表示が行な
われる。

【００１６】この判断結果に基づいてＨＵＤ表示制御部
２４がＨＵＤ表示を切り換えるとともに、コントローラ
切り換え部２７が駆動され、エアコンコントローラ２
８、ＣＤコントローラ２９、ラジオコントローラ３０、
ヘッドライトコントローラ３１、ワイパコントローラ３
２等の制御対象から所定のコントローラが選択されその
制御モードへの切り換えが行われる。各制御対象の詳細
制御は、ステアリングスイッチ２２によって行われる。

【００１７】図３の（ａ）に示されるように、メインス
イッチ２１およびステアリングスイッチ２２はステアリ
ング４２に設置され、また画像入力部５０はウインドシ
ールド下方の計器盤の略中央部に配置されている。ま
た、ステアリングスイッチ２２は、同図の（ｃ）に示す
ような、エアコン設定温度の上下調節等に使用されるア
ップダウンボタン２２Ａを含んでいる。

【００１８】つぎに視線方向計測機能部分における処理
の流れについて、図４、図５により詳細に説明する。ま
ず、ステアリングに設けられたメインスイッチ２１を押
すことにより制御が開始される。そして、ステップ１０
１において、照明発光制御部１１の制御信号により、照
明１が点灯される。照明２は消灯のままとされる。ステ
ップ１０２では、照明１による運転者Ｄの顔面画像が画
像入力部５０の撮像素子５１Ａで取り込まれ、Ａ／Ｄ変
換器４ＡでＡ／Ｄ変換される。この画像データをＩ１
（ｘ，ｙ）とする。ステップ１０３で、照明発光制御部
１１の制御信号により、今度は照明１が消灯され、照明
２が点灯される。そしてステップ１０４において、同
じく画像入力部５０の撮像素子５１Ａにより顔面画像が
取り込まれ、Ａ／Ｄ変換器４ＡでＡ／Ｄ変換される。こ
の画像データをＩ２（ｘ，ｙ）とする。

【００１９】このあと、瞳孔抽出部５において、画像処
理により、画像データＩ１（ｘ，ｙ）中の網膜反射像を
抽出する。すなわち、ステップ１０５で、画像データＩ
１（ｘ，ｙ）からＩ２（ｘ，ｙ）を差し引き、画像デー
タＩ３（ｘ，ｙ）を生成し、ステップ１０６で、Ｉ３
（ｘ，ｙ）を固定しきい値Ｔｈ１で２値化して、２値画
像Ｉ４（ｘ，ｙ）を生成する。つぎのステップ１０７
で、画像データＩ４（ｘ，ｙ）にラベリング処理を施
し、領域の番号付けを行う。

【００２０】そしてステップ１０８、１０９で、領域の
面積と形状による選別を行う。これは、ラベリングが施
された中には、網膜反射像の他に、例えば、眼鏡レンズ
反射像、眼鏡フレーム反射像、外部照明の変動で生じた
顔の一部等、様々なノイズが含まれる可能性がある。こ
れらのノイズは、一般に不定形状、かつ面積も不定であ
るため、予め予想される面積の円あるいは楕円として観
測される網膜反射像をこれらノイズから識別するもので
ある。

【００２１】まずステップ１０８では、ラベリングの結
果得られた各領域の面積Ｓｉを、予め設定されたしきい
値Ｓ１、Ｓ２（Ｓ１＜Ｓ２）と比較して、Ｓ１＜Ｓｉ＜
Ｓ２を満足する領域のみ抜き出す。ここでＳ１、Ｓ２
は、カメラの撮影倍率から推定した予想される瞳孔径の
値（直径２〜８ｍｍの瞳孔に対応する画素数で表わされ
る面積）に設定すればよい。眼鏡レンズ反射像も円形領
域として観測されるが、例えば、レンズの絞りを絞るこ
とによって、常に、網膜反射像の面積より、眼鏡レンズ
反射像の面積が小さくなるようにしておけば、面積によ
り、両者を識別可能である。

【００２２】ステップ１０９では、上記面積による選別
の結果残った領域に対して、その外接長方形に対する領
域面積の比率Ｆを計算する。網膜反射像は円または楕円
形で観測されるため、比率Ｆがある一定値Ｆｔｈ以上で
あるのに対し、例えば眼鏡フレーム反射は、フレームに
沿った細長い領域になるため、仮に網膜反射像と同等の
面積を有していても、Ｆが小さくなるため識別可能であ
る。こうして選別されて残った領域を網膜反射像とし、
ステップ１１０において、その重心位置（ｘｇ１，ｙｇ
１）を求める。

【００２３】このあと、画像入力部回転量算出部６にお
いて、上記抽出された網膜反射像を画面中央に捕捉する
ために必要な、画像入力部５０の回転方向と回転量を算
出する。まずステップ１１１では、網膜反射像の重心位
置（ｘｇ１，ｙｇ１）の画面中央からのずれが、横方向
α、縦方向βとして求められる。そしてステップ１１２
で、これらの偏差が共に０になるように、画像入力部５
０の回転量が求められる。画像入力部５０の回転角度と
網膜反射像の偏差の関係は、予めＬＵＴ（ルックアップ
テーブル）に登録しておけば、α、βに対する回転方向
と回転量は容易に算出可能である。

【００２４】ステップ１１３においては、画像入力部回
転量算出部６で決定した回転方向と回転量信号によっ
て、画像入力部５０が回転される。すなわち、画像入力
部駆動用アクチュエータ７Ｖが、偏差αを０にする方向
に画像入力部５０を回転させ、画像入力部駆動用アクチ
ュエータ７Ｈが、偏差βを０にする方向に画像入力部５
０を回転させる。

【００２５】つぎにステップ１１４で、再び照明発光制
御部１１の制御信号により、照明１が点灯され、照明２
が消灯される。そして、ステップ１１５で、今度は画像
入力部５０の撮像素子５１Ｂから画像信号が取り込ま
れ、Ａ／Ｄ変換器４ＢでＡ／Ｄ変換される。この画像を
Ｉ５（ｘ，ｙ）とする。ステップ１１６で、照明１が消
灯され、照明２が点灯される。そして、ステップ１１７
で画像信号が撮像素子５１Ｂから入力され、Ａ／Ｄ変換
器４ＢでＡ／Ｄ変換される。この画像をＩ６（ｘ，ｙ）
とする。

【００２６】このあとステップ１１８で、瞳孔抽出部５
Ｂにおいて、画像データＩ５（ｘ，ｙ）からＩ６（ｘ，
ｙ）を差し引き、画像データＩ７（ｘ，ｙ）を生成し、
ステップ１１９で、画像データＩ７（ｘ，ｙ）を固定し
きい値Ｔｈ１で２値化して、２値画像Ｉ８（ｘ，ｙ）を
生成する。そして、ステップ１２０において網膜反射像
（瞳孔）位置が求められる。ここでは、撮像素子５１Ａ
と撮像素子５１Ｂが共軸系に設置されているため、画像
入力部５０を回転制御した後に得た画像Ｉ８（ｘ，ｙ）
には、その中央に網膜反射像が観測されることになる。
したがって、画像Ｉ８（ｘ，ｙ）上に観測される領域の
重心（ｘｇ２，ｙｇ２）を算出し、これを瞳孔位置と決
定する。

【００２７】ステップ１２１では、角膜反射像抽出部８
において、照明１の点灯時に撮像素子５１Ｂに観測され
る角膜反射像と、照明２の点灯時に撮像素子５１Ｂに観
測される角膜反射像をそれぞれ抽出する。すなわち、画
像データの差分Ｉ５（ｘ，ｙ）−Ｉ６（ｘ，ｙ）を求
め、このなかで最大輝度階調値を持つ画素を求める。求
めた画素（ｘｐ１，ｙｐ１）は、照明１による角膜反射
像である。つぎに差分Ｉ６（ｘ，ｙ）−Ｉ５（ｘ，ｙ）
を求め、このなかで最大輝度階調値を持つ画素を求め
る。求めた画素（ｘｐ２，ｙｐ２）が照明２による角膜
反射像となる。

【００２８】最後にステップ１２２で、視線方向算出部
１０において、上に抽出した３つの反射像位置から、運
転者Ｄの視線方向を算出する。視線方向の算出は、３つ
の反射像の位置関係、２つの照明の設置位置の相対関
係、撮像素子５１Ｂを含む光学系の光学パラメータ（焦
点距離、受光素子サイズ）、画像入力部回転量算出部６
で算出された画像入力部５０の方向、および眼球の平均
サイズ（角膜球半径７．８ｍｍ、角膜球中心と瞳孔中心
の間の距離４．２ｍｍ）を用いて行う。

【００２９】すなわち、図６に示されるように、照明１
の角膜反射像Ｒ１（ｘｐ１，ｙｐ１）と撮像素子５１Ｂ
を含む光学系の焦点Ｆ、角膜球中心Ｏは直線Ｌ上に存在
する。照明２と、その角膜反射像Ｒ２（ｘｐ２，ｙｐ
２）を生じさせる照明２による角膜表面上の正反射点Ｑ
を結ぶ線分と、角膜反射像Ｒ２と焦点Ｔを結ぶ線分のな
す角の２等分線は、直線Ｌと点Ｏで交わり、ＱとＯの距
離は７．８ｍｍである。図７のように、角膜球中心Ｏを
中心とする半径４．２ｍｍの球面と、画像Ｉ８（ｘ，
ｙ）の網膜反射像の重心と焦点Ｔを結ぶ直線Ｌ１の交点
のうち、焦点Ｔに近い側の点は、瞳孔中心Ｐである。以
上の条件を満足する半直線ＯＰが、運転者の視線方向を
与える。上記のステップ１０５〜１１２が発明の方向可
変手段を制御する制御手段を構成し、ステップ１１８〜
１２１が反射像抽出手段を構成している。

【００３０】つぎにスイッチ制御機能部分について説明
する。視線停留判断部２３では、視線方向算出部１０で
算出された運転者の視線方向が、スイッチ表示エリア２
６のどこを見ているかを判定する。ここでは、一定回数
連続して同一エリアを見ているか否かで注視状態を判定
する。視線方向算出に１回あたり４００ｍｓｅｃ要する
とすれば、例えば連続して２回、すなわち同一視線方向
が約０．８ｓｅｃ継続することによって、同一エリアを
注視しているものとする。

【００３１】視線停留判断部２３において、スイッチ表
示エリア２６の例えばエアコン部（Ａ／Ｃ）を注視して
いると判断されると、図８に示すようにＨＵＤ表示エリ
ア２５には現在のエアコン設定温度が表示される。エア
コン設定温度がＨＵＤ表示されると、ステアリングスイ
ッチのアップダウンボタン２２Ａが、設定温度の上下調
節を行うように機能する。運転者は、アップダウンボタ
ンを操作して、ＨＵＤ表示を見ながら、所定の設定温度
にセットする。一定時間（例えば５秒間）アップダウン
ボタン２２Ａが操作されないと、操作が終了したものと
判断されて、スイッチ制御機能は全て停止する。また、
再びなんらかの操作の必要が生じたら、メインスイッチ
２１を押すことによって、上述の動作が再度開始され
る。

【００３２】本実施例は以上のように構成され、運転者
の眼球を撮像して非接触で視線方向を計測する車両用視
線方向計測装置において、それぞれ撮像素子を備え広視
野を観測する広角光学系と狭い視野を観測する光学系を
共軸に一体化して画像入力部５０を構成し、広角光学系
で捉えた眼球位置に応じて画像入力部の撮像方向を制御
して観測視野の中央に運転者の眼球を位置させたうえ、
狭視野の光学系から画像入力しその画像データから視線
方向算出に必要な瞳孔、角膜反射像を求めるようにした
ので、運転者の頭部移動が大きくても１つの画像入力部
を回転するだけで、狭角光学系で捉えた画像には必ず瞳
孔が写っており、抽出処理が簡単である。

【００３３】またこれにより、簡単に追従して視線方向
が計測され、車両用インターフェイスとして視線スイッ
チに用いて運転者の意図する制御操作が確実に行なわれ
るから、運転中に前方から視線をそらさずにすむため、
予防安全性の向上に効果がある。なお、実施例はいわゆ
る視線スイッチに適用したものを示したが、これに限定
されることなく、運転者の覚醒状態検出やその他種々の
用途に適用することができる。

【００３４】

【発明の効果】以上のとおり、本発明は、複数の光源で
照明した眼球部における反射像の位置から運転者の視線
方向を求める車両用視線方向計測装置において、画像入
力部が共軸系の広角光学系と狭角光学系を備え、広角光
学系で得た画像データによる眼球部が画像視野の中央に
位置するように画像入力部の撮像方向を変更し、その後
狭角光学系で得た画像データに基づいて網膜反射像と角
膜反射像を抽出するようにしたので、運転者の頭部が大
きく動いても、１個の画像入力部の向きを変えるだけで
簡単にこれに追従し、狭角光学系で捉えた画像には必ず
瞳孔が写っており、抽出処理も簡単である。したがって
従来のような２台の独立したカメラをそれぞれ独立して
制御する必要がなく構成が簡単であるという効果を有す
る。また特徴点抽出のため２台のカメラの出力に対して
それぞれ同一の画像処理を施すような効率の低さもな
く、迅速な視線方向算出が行なわれる。

【図面の簡単な説明】

【図１】本発明の実施例における視線方向計測機能部分
の構成を示す図である。

【図２】実施例におけるスイッチ制御機能部分の構成を
示す図である。

【図３】実施例の車載レイアウトを示すである。

【図４】実施例の視線方向計測機能部分における処理の
流れを示すフローチャートである。

【図５】実施例の視線方向計測機能部分における処理の
流れを示すフローチャートである。

【図６】角膜反射像生成の説明図である。

【図７】モデル化された眼球構成を示す図である。

【図８】ＨＵＤ表示例を示す図である。

【符号の説明】

１、２照明４Ａ、４ＢＡ／Ｄ変換器５Ａ、５Ｂ瞳孔抽出部６画像入力部回転量算出部７Ｖ、７Ｈ画像入力部駆動用アクチュエータ８角膜反射像抽出部１０視線方向算出部１１照明発光制御部１２全体制御部２１メインスイッチ２２ステアリングスイッチ２２Ａアップダウンボタン２３視線停留判断部２４ＨＵＤ表示制御部２５ＨＵＤ表示エリア２６スイッチ表示エリア２７コントローラ切り換え部２８エアコンコントローラ２９ＣＤコントローラ３０ラジオコントローラ３１ヘッドライトコントローラ３２ワイパコントローラ４１ウインドシールド４２ステアリング５０画像入力部５１Ａ、５１Ｂ撮像素子５２光路分岐部５３リレーレンズ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 1/00

Claims

【特許請求の範囲】

【請求項１】車両運転者の顔面を空間的に互いに異な
る位置に配置された複数の光源で照明し、運転者の眼球
部における反射像を撮像して画像データを得る画像入力
部と、画像データより網膜反射像と角膜反射像を抽出す
る反射像抽出手段を備え、網膜反射像と角膜反射像の各
位置から運転者の視線方向を算出する車両用視線方向計
測装置において、前記画像入力部は、互いに共軸系に配
置された、運転者の顔面画像を広く捉らえる広角光学系
と、運転者の眼球部を拡大して捉らえる狭角光学系を備
えるとともに、その撮像方向を変更可能の方向可変手段
を備え、前記広角光学系で得た画像データによる眼球部
が画像視野の中央に位置するように画像入力部の前記方
向可変手段を制御する制御手段を有し、前記反射像抽出
手段は、眼球部が前記画像視野の中央に位置されたあ
と、前記狭角光学系で得た画像データに基づいて前記網
膜反射像と角膜反射像を抽出するものであることを特徴
とする車両用視線方向計測装置。
【請求項２】画像入力部の少なくとも前記広角光学系
は縦横のマトリクスに形成された撮像素子を含み、前記
方向可変手段は前記撮像素子の縦横各辺に平行な回転軸
の周りに独立して回転可能とするものであることを特徴
とする請求項１記載の車両用視線方向計測装置。
【請求項３】前記制御手段は、前記広角光学系の撮像
素子上に結像した眼球部位置に応じて、前記画像入力部
の回転方向および回転量を算出するものであることを特
徴とする請求項２記載の車両用視線方向計測装置。
【請求項４】前記方向可変手段の前記回転軸は前記狭
角光学系の焦点位置を通過することを特徴とする請求項
２または３記載の車両用視線方向計測装置。
【請求項５】前記制御手段は、広角光学系の撮像素子
上に結像した眼球部位置の画像特定点からのずれに基づ
いて、画像入力部の前記回転方向および回転量を算出す
るものであることを特徴とする請求項３記載の車両用視
線方向計測装置。
【請求項６】空間的に互いに異なる位置に配置された
複数の光源と、該複数の光源の１個と共軸で、それぞれ
撮像素子を含み、運転者の顔面画像を広く捉らえる広角
光学系と運転者の眼球部を拡大して捉らえる狭角光学系
を備えていることを特徴とする車両用視線方向計測装置
のための画像入力装置。
【請求項７】前記広角光学系と狭角光学系は光路分岐
部により分離され、少なくとも一方の光学系にリレーレ
ンズを設けて互いの画角を異ならせてあることを特徴と
する請求項６記載の車両用視線方向計測装置のための画
像入力装置。