JP3785669B2 - 視線方向計測装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、遠隔から視線の方向を計測する装置に関し、特に、計測対象者に応じた補正係数を自動的に算出する視線方向計測装置に関する。
【０００２】
【従来の技術】
視線方向計測装置は、ヒューマン・マシンインタフェイスとして、計測した視線方向を用いて例えば車両運転者の注目している方向に視覚情報を表示させたり、視線方向に応じて特定のスイッチを動作させる等、種々の利用が期待されている。一般にこのような視線方向計測装置で計測される視線方向は、計測対象者の個人差に起因する計測誤差を伴う。このため従来の視線方向計測装置では、計測誤差を補正する動作、所謂キャリブレーション動作を行って補正係数を算出し、この補正係数を考慮して視線方向の計測を行うことにより計測誤差の影響を少なくしている。しかし、キャリブレーション動作は装置の使用者（計測対象者）に煩わしい操作を強要することが多く、使用者に意識させずにキャリブレーション動作を完了することが望まれている。
【０００３】
使用者に意識させずにキャリブレーション動作を完了するようにした従来の技術としては、例えば、特開平7-151958号公報等で開示されたものがある。この従来の装置では、使用者が装置の操作を行う場合に、特定の操作はその操作に応じた表示を見ながら行われると仮定して、特定の操作が行われるときの視線方向を計測し、この計測した視線の方向がその操作に応じた表示の方向と一致するとして補正係数を求めるものである。
【０００４】
【発明が解決しようとする課題】
このような従来の装置では、使用者の眼球は所定の位置に固定されるものとして視線方向が計測される。図20は眼球位置が固定される場合の視線方向を示す。図20に示すように、眼球位置が固定される場合には眼球回転角で一意に視線方向を決めることができる。しかし、例えば、車両に従来の視線方向計測装置を搭載して運転者の視線を検出するような時には、運転者の眼球位置が移動する。図21は自由空間内で眼球位置が移動する場合の視線方向を示す。図21に示すように、眼球位置が移動する場合には眼球回転角のみでは視線方向を一意に決めることができない。従って、眼球位置が移動する状況では、従来の装置を使用して正確な補正係数を求めることが困難であるため視線方法を正確に計測することができないという問題がある。
【０００５】
また、計測される視線が必ずしも特定の操作をする者の視線であるとは限らない場合もしばしば存在する。例えば、上記の例のように車両運転者の視線方向を計測するような場合において、車両内には運転席と助手席とに乗員がいて、助手席の乗員が特定の機器を操作する時、運転者はその特定の機器とは別の対象を注視していたとする。このような場合、従来の装置では、運転者の注視している対象の方向と特定の機器あるいはその機器の表示部分の方向とが一致するものとして補正係数を求めてしまうという問題がある。
【０００６】
更に、従来の装置では、使用者によって特定の操作がなされてはじめてキャリブレーション動作が行われるため、使用者が特定の操作を行うまでの間は誤差が補正されないという問題がある。上記車両運転者の視線を検出する場合には、運転者が特定の機器を操作を殆ど行わないような状況も少なからず存在することを考慮する必要がある。例えば、延々と直線路が連続する道路等では、一度車両の運転を開始すれば運転者はステアリングホイールとアクセルペダルしか操作しないような状況も考えられ、このような状況においても計測誤差の補正が行われ正確な視線方向が計測される必要がある。
【０００７】
本発明は上記問題点に着目してなされたもので、計測対象者によって特定の操作が行われた時に自動的に補正係数を算出して、眼球位置が移動する計測対象者の視線方向を正確に計測できる視線方向計測装置を提供することを目的とする。また、計測対象者によって特定の操作が行われることがなくても計測対象者の注視対象を判断して自動的に補正係数を算出できる視線方向計測装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
このため本発明のうちの請求項１に記載の発明では、図１に示すように計測対象者に応じて計測誤差を補正する補正係数を算出し、該補正係数を用いて前記計測対象者の視線方向を計測する視線方向計測装置において、前記計測対象者の眼球の位置を検出する眼球位置検出手段Ａと、前記眼球の回転角を検出する眼球回転角検出手段Ｂと、前記補正係数を記憶する補正係数記憶手段Ｃと、該補正係数記憶手段Ｃに記憶された補正係数を用い前記眼球位置及び前記眼球回転角に基づいて前記計測対象者の視線方向を算出する視線方向算出手段Ｄと、
予め設定した注視対象に該当する機器の操作が検出されると操作信号を出力する第１の操作検出部Ｅ１と、前記機器の位置を予め記憶する機器位置記憶部Ｅ２と、前記第１の操作検出部Ｅ１から操作信号が出力された時、前記機器位置記憶部Ｅ２に記憶された当該機器の位置を基に算出される機器方向と前記視線方向算出手段Ｄで算出された視線方向とのずれ量を求め、該ずれ量が予め設定した閾値未満の時には前記補正係数記憶手段Ｃに記憶された補正係数の更新を行う判定をする補正係数更新判定部Ｅ３と、該補正係数更新判定部Ｅ３で更新を行う判定がなされると前記ずれ量を補正する新たな補正係数を算出し、前記補正係数記憶手段Ｃに記憶された補正係数の更新を行う第１の補正係数算出部Ｅ４と、を有する補正係数更新手段Ｅと、を備えて構成されたことを特徴とする。
【０００９】
かかる構成によれば、眼球位置検出手段Ａ及び眼球回転角検出手段Ｂで検出された眼球位置及び眼球回転角に基づいて、視線方向算出手段Ｄで計測対象者の視線方向が補正係数を考慮して算出されると共に、補正係数更新手段Ｅにおいて、第１の操作検出部Ｅ１から操作信号が出力された時に、補正係数更新判定部Ｅ３において視線方向と機器方向とのずれ量が閾値未満と判定された場合、即ち、予め設定した注視対象に該当する機器を計測対象者が注視した時に、第１の補正係数算出部Ｅ４で補正係数記憶手段Ｃに記憶された補正係数の更新が行われるようになる。
【００１０】
また、請求項２に記載の発明では、図２および図３に示すように計測対象者に応じて計測誤差を補正する補正係数を算出し、該補正係数を用いて前記計測対象者の視線方向を計測する視線方向計測装置において、前記計測対象者の眼球の位置を検出する眼球位置検出手段Ａと、前記眼球の回転角を検出する眼球回転角検出手段Ｂと、前記補正係数を記憶する補正係数記憶手段Ｃと、該補正係数記憶手段に記憶された補正係数を用い前記眼球位置及び前記眼球回転角に基づいて前記計測対象者の視線方向を算出する視線方向算出手段Ｄと、予め設定した注視対象の位置を記憶する注視対象位置記憶部Ｅ５と、前記注視対象に関連して予め設定した機器の操作が検出されると操作信号を出力する第２の操作検出部Ｅ８と、該第２の操作検出部Ｅ８からの操作信号に応じて、所定の計測回数間に前記視線方向算出手段Ｄで算出された複数の視線方向の分布状態及び変化状態に基づいて注視位置を推定する注視位置推定部Ｅ６と、該注視位置推定部Ｅ６で推定された注視位置と前記注視対象位置記憶部Ｅ５に記憶された前記注視対象の位置との差異に応じて新たな補正係数を算出し、前記補正係数記憶手段Ｃに記憶された補正係数の更新を行う第２の補正係数算出部Ｅ７と、を備えて構成されたことを特徴とする。
【００１１】
かかる構成によれば、眼球位置検出手段Ａ及び眼球回転角検出手段Ｂで検出された眼球位置及び眼球回転角に基づいて、視線方向算出手段Ｄで計測対象者の視線方向が補正係数を考慮して算出されると共に、補正係数更新手段Ｅにおいて、第２の操作検出部Ｅ８からの操作信号に応じ、注視位置推定部Ｅ６で複数の視線方向の分布状態及び変化状態に基づいて注視位置が推定され、該注視位置と注視対象位置記憶部Ｅ５に記憶された注視対象の位置との差異に応じて第２の補正係数算出部Ｅ７で補正係数記憶手段Ｃに記憶された補正係数の更新が行われるようになる。
【００１６】
【発明の効果】
このように、本発明のうちの請求項１に記載の発明は、補正係数を更新する際に、補正係数更新手段において、計測対象者が予め設定した機器を操作した時の視線方向及びその機器方向から、計測対象者が注視対象（機器）を注視したことを計測対象者に意識されることなく自動的に判断することによって、正確に且つ確実に補正係数の更新を行うことができるため、誤差の少ない正確な視線計測が可能となる。また、眼球位置検出手段で眼球位置を計測することによって、計測対象者の眼球位置が移動しても視線方向を一意に決めることができる。
【００１７】
また、請求項２に記載の発明は、補正係数を更新する際に、補正係数更新手段において、注視対象に関連する機器の操作情報に応じて注視位置推定部が視線方向算出手段で算出された視線方向の分布状態及び変化状態に基づいて注視位置を推定することによって、正確に且つ確実に補正係数の更新を行うことができるため、眼球位置の移動する計測対象者の視線方向を少ない誤差で正確に計測することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
本発明の第１の実施形態では、車両に視線方向計測装置を搭載し、特定の機器が運転者によって操作されると補正係数を自動的に算出し、その補正係数を用いて計測された運転者の視線方向を基に、例えば、オーディオ、エアコン、ラジオ及びＡＳＣＤの視線によるオン・オフの切り替えを行う場合について説明する。
【００２０】
図４は、第１の実施形態の視線方向計測装置の構成を示す図である。
図４において、本装置は、計測対象者としての運転者の眼球部に光を照射し、該眼球部を撮影した画像を記憶する眼球撮影部10と、後述する特定の機器が操作されると操作信号を出力する第１の操作検出部Ｅ１としての操作検出部20と、オーディオ、エアコン、ラジオ及びＡＳＣＤの動作を制御するコントローラ部30と、オーディオ、エアコン、ラジオ及びＡＳＣＤの動作状態を表示する表示部40と、眼球撮影部10で得た画像及び操作信号検出部20の出力信号を基に運転者の視線方向を演算してコントローラ部30及び表示部40に制御信号を出力するマイクロコンピュータ50と、マイクロコンピュータ50の演算結果及び前記特定の機器の位置等を記憶するメモリ部70とで構成される。
【００２１】
眼球撮影部10は、運転者の面前で眼球部に向けて設けられた２つの発散照明11,12 と、運転者の眼球部を撮影する２つのカメラ13,14 と、カメラ13,14 で撮影された画像を A/D変換する A/D変換器15と、A/D 変換器15で変換された画像を記憶する画像メモリ16と、発散照明11,12 及び A/D変換器15を制御する照明発光制御部17とで構成される。発散照明11,12 は、例えば、人間には不可視の赤外光を発光し、運転席付近のレイアウトの一例を示す図５の（ａ）に示すように、相対的に異なる所定の位置、例えばステアリングホイールの両側方等にそれぞれ設置され、照明発光制御部17に接続される。カメラ13,14 は、例えば、撮像素子にＣＣＤを備え、図５の（ａ）に示すように、カメラ13と発散照明11とが共軸系に配置され、同様にカメラ14と発散照明12とが共軸系に配置される。照明発光制御部17は、発散照明11,12 を交互に点灯させる制御信号を発散照明11,12 に出力すると共に、発散照明11が点灯したときにカメラ13から画像を取り込み、発散照明12が点灯したときにカメラ14から画像を取り込むように A/D変換器15を制御する信号を出力する。画像メモリ16は、 A/D変換器15で A/D変換されたカメラ13,14 からの各画像を記憶する。
【００２２】
操作検出部20は、乗員によって機器操作が行われるとキャリブレーション動作を開始する特定の機器として、例えば、右サイドミラー、左サイドミラー及びナビゲーション装置を設定した場合において、右サイドミラー操作検出部21と、左サイドミラー操作検出部22と、ナビゲーション装置操作検出部23とで構成される。これらの機器に設定する理由は、左右サイドミラーでは、運転者が交代した場合に殆どの運転者が位置確認を行うので、この機会を捉えキャリブレーション動作を行えば走行開始前には正確な補正係数が算出できるためである。また、ナビゲーション装置では、走行開始後であっても操作が行われることがあり、この機会を捉えて補正係数を算出し更新を行えるようにするためである。右サイドミラー操作検出部21及び左サイドミラー操作検出部22は、各々のサイドミラーの角度を調節するスイッチが操作された時に操作信号をマイクロコンピュータ50に出力する。ナビゲーション装置操作検出部23は、ナビゲーション装置が操作された時に操作信号をマイクロコンピュータ50に出力する。
【００２３】
コントローラ部30は、オーディオコントローラ31と、エアコンコントローラ32と、ラジオコントローラ33と、ＡＳＣＤコントローラ34と、各コントローラ31〜34のオン・オフを切り替えるコントローラ切り替え部35とで構成される。コントローラ切り替え部35は、後述するように運転者の視線に応じてマイクロコンピュータ50から出力される制御信号を入力し、入力した制御信号に対応するコントローラのオン・オフを切り替える信号を出力する。
【００２４】
表示部40は、ヘッドアップディスプレイ（以下、ＨＵＤとする）41と、ＨＵＤ41の表示を制御する表示制御部42とで構成される。ＨＵＤ41は、上記図５の（ａ）に示すように運転席付近に設けられ、図５の（ｂ）に示すように、オーディオ、エアコン、ラジオ及びＡＳＣＤそれぞれのオン・オフを視線によってスイッチするための視線スイッチエリアＡｓを表示し、各々の機器がスイッチされると表示が短時間反転される。表示制御部42は、マイクロコンピュータ50より出力される制御信号を入力し、入力した信号に対応するＨＵＤ41の表示を切り替える信号を出力する。
【００２５】
マイクロコンピュータ50は、眼球撮影部10で撮影し記憶した画像に基づいて運転者の眼球位置を演算する機能と、運転者の眼球回転角を演算する機能と、操作検出部20の出力に応じて後述する補正係数の更新を行うか否を判定する機能と、補正係数を算出する機能と、眼球位置及び眼球回転角を用い補正係数を考慮して運転者の視線方向を算出し注視対象を判定する機能と、運転者の視線の停留時間を判断しコントローラ部30及び表示部40を制御する信号を生成する機能とを有する。
【００２６】
ここで、マイクロコンピュータ50の各機能について図６に示す機能ブロック図を参照しながら詳細に説明する。
図６において、角膜反射像抽出部51は、眼球撮影部10の画像メモリ16に接続され、カメラ13で撮影し画像メモリ16に記憶された画像Ｇ１及びカメラ14で撮影し画像メモリ16に記憶された画像Ｇ２をそれぞれ読み込み、画像処理して各画像中の角膜反射像を抽出する。角膜反射像とは、眼球への照射光が眼球を構成する角膜等の光学系の各面で反射、屈折することによって生じる像であり、プルキンエ像とも呼ばれるものである。ここでは、画像Ｇ１より抽出された発散照明11の角膜反射像の画像中の座標Ｐ１を（Ｐ１ｘ, Ｐ１ｙ）とし、また、画像Ｇ２より抽出された発散照明12の角膜反射像の画像中の座標Ｐ２を（Ｐ２ｘ，Ｐ２ｙ）とする。
【００２７】
角膜反射直線算出部52は、角膜反射像抽出部51により抽出された角膜反射像の各座標Ｐ１, Ｐ２を用いて、角膜反射像とその角膜反射像に対応するカメラ焦点とを結ぶ直線をそれぞれ求める。この直線は、角膜反射像の画像中の座標Ｐ１, Ｐ２が算出されるとその角膜反射像を撮影したカメラのＣＣＤ及びカメラレンズ焦点の位置関係から一意に算出できる。角膜反射像の座標Ｐ１とカメラ13の焦点とを結ぶ直線をＬ１とし、また、角膜反射像の座標Ｐ２とカメラ14の焦点とを結ぶ直線をＬ２とする。
【００２８】
眼球中心算出部53は、角膜反射直線算出部52で求められた直線Ｌ１，Ｌ２の交点を算出することにより、眼球中心（正確には角膜球中心）Ｏの位置を算出する。ここでは、発散照明11とカメラ13とが共軸系に配置されているため直線Ｌ１は必ず眼球中心Ｏを通過し、また、発散照明12とカメラ14とが共軸系に配置されているため直線Ｌ２も必ず眼球中心Ｏを通過するので、直線Ｌ１，Ｌ２の交点が眼球中心Ｏとなる。算出した眼球中心Ｏの３次元空間における座標を（Ｏｘ，Ｏｙ，Ｏｚ）とする。
【００２９】
このようにして、角膜反射像抽出部51、角膜反射直線算出部52及び眼球中心算出部53が眼球位置演算手段Ａとして機能する。
瞳孔中心算出部54は、画像メモリ16に記憶された画像Ｇ１を画像処理して瞳孔部分を抽出し、瞳孔部分の中心（重心）の画像中の座標を求める。画像Ｇ１から求めた画像中の瞳孔中心座標をＱ１（Ｑｘ，Ｑｙ）とする。
【００３０】
眼球回転角算出部55は、角膜反射像抽出部51で求めた角膜反射像の座標Ｐ１（Ｐ１ｘ，Ｐ１ｙ）と瞳孔中心算出部54で求めた瞳孔中心座標Ｑ１（Ｑｘ，Ｑｙ）とから、カメラ13の撮影方向（発散照明11とカメラ13との共軸方向）に対する眼球の回転角θ’を算出する。この眼球回転角の算出方法の詳細は、例えば、上述の特開平7-151958号公報等で公知であり、ここではその概略のみを説明する。
【００３１】
一般に眼球の回転角θ’は、角膜球中心から瞳孔中心までの標準的な距離をＬocとし、距離Ｌocに対する個人差を考慮する補正係数をＡ１とし、カメラのレンズ系に対する角膜球中心の位置関係により決まる補正係数（倍率）をβとすると、次の（１）式の関係を満たす。
β×Ａ１×Ｌoc× sinθ' ＝Ｑ１−Ｐ１ （１）
従って、眼球の回転角θ’は、次の（２）式により求められる。
【００３２】
θ’＝ARCSIN｛（Ｑ１−Ｐ１）／（β×Ａ１×Ｌoc）｝ （２）
本実施形態の眼球回転角算出部55では、画像Ｇ１内の水平方向（ｘ軸方向）に対する回転角θｘ’及び垂直方向（ｙ軸方向）に対する回転角θｙ’が算出される。尚、補正係数Ａ１は、後述するようにメモリ部70の補正係数記憶部72に記憶された値が用いられる。
【００３３】
このようにして、瞳孔中心算出部54及び眼球回転角算出部55が眼球回転角検出手段Ｂとして機能する。尚、ここでは画像Ｇ１から瞳孔中心を求め眼球回転角を算出する構成としたが、勿論、画像Ｇ２から眼球回転角を算出しても良く、あるいは、画像Ｇ１，Ｇ２よりそれぞれ瞳孔中心、眼球回転角を求め平均化しても良い。
【００３４】
視線方向算出部56は、眼球回転角算出部55で求めた眼球回転角θ’と眼球中心算出部53で求めた眼球中心Ｏとから視線方向ｅを算出する。ここでは、視線方向ｅを直線の方程式として表すものとする。
ただし、前述の特開平7-151958号公報等にも記載されているように、多くの場合、眼球の視軸（視線方向ｅ）と光軸（眼球の回転角θ’方向）は一致しないため、光軸が算出されると光軸と視軸との角度補正をすることにより視軸が求められる。ここでは、光軸の角度補正係数をδとし、角度補正係数δに対する個人差を考慮する補正係数をＢ１とすると、視軸の回転角θは次の（３）式となる。
【００３５】
θ＝θ’±（Ｂ１×δ） （３）
ここで符号±は、運転者に関して右への回転角を正とすると、カメラ13の撮影する運転者の目が左目の場合は＋、右目の場合は−の符号が選択される。実際に視線方向算出部56では、水平方向の補正係数をＢ１ｘ、垂直方向の補正係数をＢ１ｙとして、画像Ｇ１内の水平方向（ｘ軸方向）に対する視軸の回転角θｘ、及び垂直方向（ｙ軸方向）に対する視軸の回転角θｙが算出される。尚、補正係数Ｂ１ｘ，Ｂ１ｙはメモリ部70の補正係数記憶部72に記憶された値が用いられる。
【００３６】
そして、算出された視軸の回転角θｘ，θｙを用いて極座標系で表される視線方向ｅを直交座標系に変換することにより、視線方向ｅの方向ベクトル（Ｅｘ，Ｅｙ，Ｅｚ）を算出すると、視線方向ｅは、眼球中心Ｏを始点とし方向ベクトル（Ｅｘ，Ｅｙ，Ｅｚ）を用いて次の（４）式で表される直線Ｌ３となる。
（Ｘ−Ｏｘ)/Ｅｘ＝（Ｙ−Ｏｙ)/Ｅｙ＝（Ｚ−Ｏｚ)/Ｅｚ （４）
注視対象判定部57は、後述するメモリ部70の機器位置記憶部71に予め記憶された車両内の特徴的な箇所の座標、具体的には、ＨＵＤ41の各視線スイッチエリアＡｓの中心位置の座標を基に、視線方向算出部56で求めた視線方向ｅを用いて運転者の注視対象を判定する。この注視対象の判定は、視線方向ｅに最も近い視線スイッチエリアＡｓの中心位置方向について、機器位置記憶部71に記憶された前記視線スイッチエリアＡｓの中心位置の座標と眼球中心Ｏとを通る直線Ｌ４の方程式を求め、この直線Ｌ４と視線方向算出部56で求めた直線Ｌ３との交差角φ１を求める。そして、交差角φ１が予め設定した閾値Ｔｈ１未満の時には、運転者が前記視線スイッチエリアＡｓを見ていると判定し、交差角φ１が閾値Ｔｈ１以上の時には、運転者が他の箇所を見ていると判断する。直線Ｌ３と直線Ｌ４との交差角φ１の算出は、例えば、直線Ｌ３の方向ベクトルと直線Ｌ４の方向ベクトルとの内積をとるこによって求められる。
【００３７】
このように、視線方向算出部56及び注視対象判定部57が視線方向算出手段Ｄとして機能する。
検出誤差算出部58は、操作検出部20から操作信号が送出された場合に、その操作信号に対応する機器についてメモリ部70の機器位置記憶部71に予め記憶させた位置情報を読み込み、操作信号が送出された時点での眼球中心Ｏと操作信号に対応する機器とを通る直線Ｌ５の方程式を算出する。例えば、右サイドミラーの調整操作が行われ右サイドミラー操作検出部21よりマイクロコンピュータ50に操作信号が送出されると、機器位置記憶部71に記憶された右サイドミラーの中心位置を読み込んで、眼球中心Ｏと右サイドミラーの中心位置とを通る直線Ｌ５の方程式を求める。そして、その操作信号が送出された時に視線方向算出部56で求められた視線方向ｅを表す直線Ｌ３と直線Ｌ５との交差角φ２を算出する。尚、左サイドミラー操作検出部22あるいはナビゲーション装置操作検出部23から操作信号が送出される場合も、右サイドミラー操作検出部22から操作信号が送出される場合と同様の演算処理が行われる。ただし、ナビゲーション装置の場合、操作スイッチの中心位置が機器位置記憶部71より読み込まれる。
【００３８】
更新判定部59は、検出誤差算出部58で求めた交差角φ２と予め設定した閾値Ｔｈ２とを比較する。交差角φ２が閾値Ｔｈ２未満の場合には、後述する新たな補正係数を算出し補正係数の更新を行う判定をし、交差角φ２が閾値Ｔｈ２以上の場合には、補正係数の更新を行わない判定をする。
ここで、閾値Ｔｈ２の設定について説明する。
【００３９】
補正係数の更新を判定する際、操作検出部20から出力された操作信号だけではその操作が運転者によるものか、あるいはその他の乗員によるものかの区別がつかない。運転者に応じた補正係数を求めるためには、運転者による操作のみに限定する必要がある。運転者によって操作が行われる時、運転者の視線は操作する機器の方向を向き、他の乗員によって操作が行われる時、運転者の視線は該当する機器の方向とは異なる方向を向くものと考えられる。そこで、操作信号の出力された時点での視線方向算出部56で算出された運転者の視線方向ｅが操作された機器の方向に略一致する、即ち、交差角φ２が十分に小さい時に、運転者によって操作が行われたものと判断する。
【００４０】
ただし、視線方向算出部56で求められた視線方向ｅは、操作検出部20から操作信号が出力される以前の補正係数（装置始動時には補正係数の初期設定値）を考慮して算出したものであるため誤差を含む可能性がある。一般に、補正係数が正確でない場合の視線方向ｅの計測誤差は数度程度と考えられる。そこで、例えば、補正係数の初期設定値には大多数の乗員から求めた補正係数の平均値を使用する等して、運転者の視線方向ｅを求めれば、その視線方向ｅは数度程度の誤差精度で算出されることになる。従って、例えば、閾値Ｔｈ２を10°程度に設定し、交差角φ２と閾値Ｔｈ２とを比較することによって、運転者が機器操作を行ったか否かを十分に判定することが可能となる。
【００４１】
このようにして、検出誤差算出部58及び更新判定部59が補正係数更新判定部Ｅ３として機能する。
第１の補正係数算出部Ｅ４としての補正係数算出部60は、更新判定部59で補正係数の更新が判定された場合に新たな補正係数を算出する。この補正係数は、例えば、右サイドミラー操作検出部21より操作信号が送出され、検出誤差算出部58で求めた交差角φ２が更新判定部59で閾値Ｔｈ２未満と判定された時には、運転者は右サイドミラーの中心を見ているものとして、運転者の視線方向ｅ（直線Ｌ３）を直線Ｌ５に一致させる新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙを算出する。尚、左サイドミラーあるいはナビゲーション装置についても右サイドミラーと同様にして補正係数を算出する。
【００４２】
停留判断部61は、運転者の視線が１つの視線スイッチエリアＡｓに停留している時間を計測し、計測した停留時間が所定の時間Ｔｈ３を越えるとコントローラ部30及び表示部40を制御する信号を生成する。
前述のメモリ部70は、機器位置記憶部Ｅ２としての機器位置記憶部71に、右サイドミラー及び左サイドミラーの中心位置、ナビゲーション装置のスイッチ位置、ＨＵＤ41の各視線スイッチエリアＡｓの中心位置等が予め記憶されると共に、補正係数記憶手段Ｃとしての補正係数記憶部72にマイクロコンピュータ50で算出された補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙが記憶される。
【００４３】
次に、第１の実施形態の動作について、例えば、運転者が視線スイッチエリアＡｓのエアコンに対応する部分を注視してエアコンのオン・オフを切り替える場合の視線スイッチ動作及び補正係数の更新動作を図７及び図８に示すフローチャートに基づいて説明する。
まず、視線スイッチ動作について説明する。
【００４４】
図７において、運転者がエアコンの操作をしたいと考え、ＨＵＤ41の各視線スイッチエリアＡｓのうちのエアコン領域（図５の（ｂ）中のＡ／Ｃ領域）を注視した状態で、視線方向の計測が開始されると、
ステップ101 （図中、Ｓ101 で示し、以下同様とする）では、マイクロコンピュータ50の停留判断部61で計測されるタイムカウンタｔの値が初期化される。タイムカウンタｔは運転者の視線が注視対象に停留している時間を計測するカウンタである。
【００４５】
ステップ102 では、照明発光制御部17からの信号により発散照明11が点灯される。
ステップ103 では、カメラ13で撮影された運転者の眼球の画像Ｇ１が、 A/D変換器15を介して画像メモリ16に記憶される。
ステップ104 では、照明発光制御部17からの信号により発散照明11が消灯される。
【００４６】
ステップ105 では、マイクロコンピュータ50の角膜反射像抽出部51において、画像メモリ16に記憶された画像Ｇ１が読み込まれ角膜反射像の座標Ｐ１が抽出される。この座標Ｐ１は画像上の２次元の座標である。
ステップ106 では、ステップ105 で角膜反射像の座標Ｐ１が抽出されたか否かが判別される。座標Ｐ１が抽出されない場合には、ステップ101 に戻り、座標Ｐ１が抽出された場合には、ステップ107 に進む。
【００４７】
ステップ107 では、角膜反射直線算出部52において、直線Ｌ１が算出される。
ステップ108 では、照明発光制御部17からの信号により発散照明12が点灯される。
ステップ109 では、カメラ14で撮影された運転者の眼球の画像Ｇ２が、 A/D変換器15を介して画像メモリ16に記憶される。
【００４８】
ステップ110 では、照明発光制御部17からの信号により発散照明12が消灯される。
ステップ111 では、角膜反射像抽出部51において、画像メモリ16に記憶された画像Ｇ２が読み込まれ角膜反射像の座標Ｐ２が抽出される。この座標Ｐ２は画像上の２次元の座標である。
【００４９】
ステップ112 では、ステップ111 で角膜反射像の座標Ｐ２が抽出されたか否かが判別される。座標Ｐ２が抽出されない場合には、ステップ101 に戻り、座標Ｐ２が抽出された場合には、ステップ113 に進む。
ステップ113 では、角膜反射直線算出部52において、直線Ｌ２が算出される。
ステップ114 では、眼球中心算出部53において、直線Ｌ１，Ｌ２の交点、即ち、眼球中心Ｏの座標が算出される。眼球中心Ｏは、３次元空間中の座標である。
【００５０】
ステップ115 では、瞳孔中心算出部54において、画像Ｇ１より瞳孔中心の座標Ｑ１が算出される。この座標Ｑ１は画像上の２次元の座標である。
ステップ116 では、眼球回転角算出部55において、ステップ105 で求めた角膜反射像の座標Ｐ１とステップ115 で求めた瞳孔中心の座標Ｑ１とから、メモリ部70の補正係数記憶部72に記憶された補正係数Ａ１を考慮して眼球回転角θｘ’，θｙ’が算出される。
【００５１】
ステップ117 では、視線方向算出部56において、ステップ116 で求めた眼球回転角θｘ’，θｙ’とステップ114 で求めた眼球中心Ｏとから、補正係数記憶部72に記憶された補正係数Ｂ１ｘ，Ｂ１ｙを考慮して視軸の回転角θｘ、θｙが算出される。
ステップ118 では、ステップ117 で求めた視軸の回転角θｘ、θｙより視線方向ｅを表す直線Ｌ３の方程式が算出される。
【００５２】
ステップ119 では、マイクロコンピュータ50において右サイドミラー操作検出部21からの操作信号の有無が調べられる。操作信号がマイクロコンピュータ50に送信されている場合には、図８に示すステップ128 に進み、後述する補正係数の更新判断処理が行われる。操作信号が送信されていない場合には、ステップ120 に進む。
【００５３】
ステップ120 では、左サイドミラー操作検出部22からの操作信号の有無が調べられる。操作信号がマイクロコンピュータ50に送信されている場合には、図８に示すステップ129 に進み、補正係数の更新判断処理が行われる。操作信号が送信されていない場合には、ステップ121 に進む。
ステップ121 では、ナビゲーション装置操作検出部23からの操作信号の有無が調べられる。操作信号がマイクロコンピュータ50に送信されている場合には、図８に示すステップ130 に進み、補正係数の更新判断処理が行われる。操作信号が送信されていない場合には、ステップ122 に進む。
【００５４】
ステップ122 では、注視対象判定部57において、視線方向ｅに最も近い視線スイッチエリアＡｓ（ここではエアコン領域）の中心位置と眼球中心Ｏとを通る直線Ｌ４の方程式が算出される。
ステップ123 では、ステップ118 で求めた直線Ｌ３とステップ122 で求めた直線Ｌ４との交差角φ１が算出される。
【００５５】
ステップ124 では、ステップ123 で求めた交差角φ１と閾値Ｔｈ１との比較が行われる。交差角φ１が閾値Ｔｈ１未満の時は、ステップ125 へ進み、交差角φ１が閾値Ｔｈ１以上の時は、ステップ101 に戻り新規に処理を開始する。
ステップ125 では、ステップ124 で運転者の注視状態、ここでは運転者が視線スイッチエリアＡｓのエアコン領域を注視している状態が判断されると、停留判断部61でタイムカウンタｔの値がインクリメントされる。
【００５６】
ステップ126 では、タイムカウンタｔの値と所定の時間Ｔｈ３との比較が行われる。タイムカウンタｔの値が時間Ｔｈ３未満の時は、ステップ102 に戻り停留時間の計測を継続する。タイムカウンタｔの値が時間Ｔｈ３以上の時は、ステップ127 に進む。
ステップ127 では、ステップ126 で運転者の視線が視線スイッチエリアＡｓのエアコン領域に所定の時間Ｔｈ３以上停留していることが判断されると、マイクロコンピュータ50より、エアコンコントローラ32を選択しエアコンスイッチのオン・オフを切り替える制御信号がコントローラ切り替え部35に出力されると共に、ＨＵＤ41のエアコン領域の表示を短時間反転させる制御信号が表示制御部42に出力される。
【００５７】
このようにして視線によるエアコンのスイッチの切り替えが行われ、上述の動作を繰り返すことによって、それぞれの装置の視線によるスイッチの切り替え操作が行われる。
次に、補正係数の更新動作について説明する。
図８において、ステップ128 では、ステップ119 で右サイドミラー操作検出部21からの操作信号の出力が確認されると、マイクロコンピュータ50は、メモリ部70の機器位置記憶部71に記憶された右サイドミラーの中心位置の座標を読み込み、ステップ131 に進む。
【００５８】
ステップ129 では、ステップ120 で左サイドミラー操作検出部22からの操作信号の出力が確認されると、マイクロコンピュータ50は、機器位置記憶部71に記憶された左サイドミラーの中心位置の座標を読み込み、ステップ131 に進む。
ステップ130 では、ステップ121 でナビゲーション装置操作検出部23からの操作信号の出力が確認されると、マイクロコンピュータ50は、機器位置記憶部71に記憶されたナビゲーション装置のスイッチの中心位置の座標を読み込み、ステップ131 に進む。
【００５９】
ステップ131 では、検出誤差算出部58において、ステップ128 〜ステップ130 のいずれか１つのステップで読み込んだ座標とステップ114 で算出した眼球中心Ｏとを通る直線Ｌ５が算出される。
ステップ132 では、ステップ118 で求めた直線Ｌ３とステップ131 で求めた直線Ｌ５との交差角φ２が算出される。
【００６０】
ステップ133 では、更新判定部59において、ステップ132 で求めた交差角φ２と閾値Ｔｈ２との比較が行われる。交差角φ２が閾値Ｔｈ２未満の時は、ステップ134 に進み補正係数の更新処理が行われ、交差角φ２が閾値Ｔｈ２以上の時は、ステップ101 に戻り新規に処理が開始される。
ステップ134 では、補正係数算出部60において、新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙが算出される。
【００６１】
ステップ135 では、補正係数記憶部72に記憶された補正係数がステップ134 で算出した新たな補正係数に更新され、ステップ101 に戻る。
このように、ステップ119 〜ステップ121 で操作信号が確認されると、ステップ128 〜ステップ135 によって補正係数の更新動作が行われる。
上述のように、第１の実施形態によれば、キャリブレーション動作を行い補正係数を更新する際に、それぞれの機器の操作信号と、操作された機器の位置に関する情報と、計測された運転者の視線情報とから補正係数の更新を行うか否かを判定し、運転者の視線方向ｅが操作された機器の方向と略一致する時のみ補正係数を更新することによって、正確に且つ確実に補正係数の更新を行うことが可能となる。また、一連のキャリブレーション動作は、運転者が意識しなくても自動的に行われるため、誤差の少ない正確な視線計測が可能となる。更に、眼球位置を計測することによって、運転者の眼球位置が移動しても視線方向を一意に決めることができる。
【００６２】
尚、第１の実施形態では、機器操作が行われるとキャリブレーション動作を開始する機器を、右サイドミラー、左サイドミラー及びナビゲーション装置に設定したが、本発明はこれに限らず種々の機器に設定することができ、各機器の操作を行っている時の視線と操作する位置とを対応させることで第１の実施形態と同様の処理を行うことができる。例えば、ルームミラー、カーステレオ、ラジオ、エアコンやグローブボックス等に設定することができる。また、例えば、シフトレバー、ライト、ワイパースイッチ、ウインカスイッチ等に設定した場合には、それぞれの操作を運転者がレバーやスイッチを見ながら行なった時に補正係数の更新を行うようにすれば良い。更に、例えば、予めアイコンを表示し運転者にタッチさせるタッチパネル式の表示装置や、ＣＲＴ上にカーソルを表示して運転者にカーソルの移動等を行わせる表示装置に設定して、運転者が操作時にアイコンやカーソルの位置を注視している機会を捉えて補正係数を算出することも可能である。加えて、乗車時には運転者はマスターキーを車両に挿入するが、この動作は鍵穴を見ながら行われることが多く、この機会を捉えて補正係数を算出することもできる。この場合には、例えば、車両に運転者が乗り込んだ時点、あるいは運転席ドアを開閉した後の一定時間、視線方向計測装置の動作させれば走行開始前には補正係数が算出されていることになる。
【００６３】
次に、本発明の第２の実施形態について説明する。
第２の実施形態では、補正係数の更新動作を運転者の視線方向の分布状態に基づいて行う場合について説明する。
図９は、第２の実施形態の視線方向計測装置の構成を示す図である。ただし、第１の実施形態の構成と同一の部分には同一符号を付して説明を省略する。
【００６４】
図９において、第２の実施形態の構成が第１の実施形態の構成と異なる部分は、第１の実施形態におけるマイクロコンピュータ50への操作検出部20からの入力がなくなり、マイクロコンピュータ50及びメモリ部70に代えてマイクロコンピュータ50’及びメモリ部70’を用いた点である。その他の構成は第１の実施形態の構成と同一である。
【００６５】
まず、マイクロコンピュータ50’の機能を、図10に示す機能ブロック図に基づいて説明する。ただし、第１の実施形態のマイクロコンピュータ50の機能と同一の機能ブロックには同一符号を付して説明を省略する。図10において、マイクロコンピュータ50と異なる機能ブロックは、注視位置推定部Ｅ６としての注視位置推定部57’及び第２の補正係数算出部Ｅ７としての補正係数算出部60’である。
【００６６】
注視位置推定部57’は、第１の実施形態と同様の視線方向算出部56で複数の計測周期に渡って算出された運転者の視線方向ｅを表す複数の直線Ｌ３（それぞれの直線をＬ31，Ｌ32,...,Ｌ3nとする）を基に、運転者の視線方向ｅの分布を求め、その分布状態を考慮して運転者が注視している後述する特徴点位置の推定を行うと共に、前記分布の中心を求める。
【００６７】
ここで、視線方向の分布の求め方の一例を図11を用いて説明する。
図11において、視線方向の分布を求めるにあたり、運転者より１ｍ程度前方の位置に仮想面Ｖを設ける。そして、必ずしも仮想面Ｖ上にはない注視点80を眼球位置が移動する運転者が注視する場合（図11では、少しづづ位置の異なる運転者の眼球81,82,83が示してある) を考えると、運転者の視線方向ｅを表す直線は、眼球81について直線Ｌ31、眼球82について直線Ｌ32、眼球83について直線Ｌ33というように眼球の位置に応じて無数に存在する。従って、これら直線Ｌ31，Ｌ32，Ｌ33と仮想面Ｖとの交点を求め、その交点の分布範囲を注視点80を注視する時の視線分布領域Ｓとする。
【００６８】
図12は、図11の視線分布領域Ｓを車両内で考えた場合を示す。運転者の視線方向ｅが正確に検出されていれば、車両走行中の視線分布領域は、例えば、前方注視分布91、左サイドミラー注視分布92、右サイドミラー注視分布93、ルームミラー注視分布94を始め、図示されていないがオーディオ機器やメータパネル等となり、運転中に情報を取得するための幾つかの特徴的な注視対象（特徴点）を見るため、視線にも特徴的な分布が発生する。またこの時、例えば、自動車技術,Vol.39,No.5,1985,PP.503等に記載されている様に、運転者は運転中の多くで前方を注視しており、計器類に視線を向ける場合でも、前方から計器類に視線をやり視認が完了するとまた視線が前方に戻ることが多い。これは視線の移動、即ち視線のリンク分析を行うと、前方注視分布91と左サイドミラー注視分布92との移動、前方注視分布91と右サイドミラー注視分布93との移動及び前方注視分布91とルームミラー注視分布94との移動が比較的多く発生することを意味する。即ち、仮想面Ｖ上の視線方向の分布と変化を分析すれば、左サイドミラー注視分布92は左サイドミラーを注視した場合の分布であり、右サイドミラー注視分布93は右サイドミラーを注視した場合の分布であり、ルームミラー注視分布94はルームミラーを注視した場合の分布であことが推定できる。また、統計的にそれぞれの特徴点は視線分布領域の中心に存在すると推定できる。
【００６９】
実際に注視位置推定部57’で上記の処理を行う場合には、視線分布領域Ｓを構成する点、即ち、直線Ｌ31と仮想面Ｖとの交点と、その時の眼球81の位置や、直線Ｌ32と仮想面Ｖとの交点と、その時の眼球82の位置を記憶しておけば視線方向分布とリンクを分析することが可能となる。このようにして注視位置推定部57’では、注視点位置が推定され、後述するメモリ部70’の注視対象位置記憶部71’に記憶された特徴点の位置情報から、眼球中心算出部53で求められた眼球中心Ｏとその特徴点を通る直線Ｌ５を表す方程式が算出され、視線方向算出部56で求めた直線Ｌ３と直線Ｌ５との交差角φ２が算出される。
【００７０】
補正係数算出部60’は、注視位置推定部57’で推定した注視対象位置（視線分布領域の中心）と注視対象位置記憶部71’に記憶された特徴点の位置情報を用いて補正係数を算出する。補正係数が正確でない場合、視線の分布は例えば図13のようになる。しかし、前述のように注視位置推定部57’で視線方向分布とリンクを分析すれば、図13の、例えば左サイドミラー注視分布92' の位置は、本来図12の左サイドミラー注視分布92の位置に存在することが推測できる。従って、補正係数算出部60’では、左サイドミラー注視分布92' の位置を左サイドミラー注視分布92の位置に合わせるように補正係数が算出される。
【００７１】
また、前述のメモリ部70’は、注視対象位置記憶部Ｅ５としての注視対象位置記憶部71’に左右サイドミラーやルームミラーの中心位置等、特徴点の位置が予め記憶されると共に、補正係数記憶手段Ｃとしての補正係数記憶部72’にマイクロコンピュータ50で算出された補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙ等の演算結果が記憶される。
【００７２】
次に、第２の実施形態の動作を図14に示すフローチャートに基づいて説明する。ただし、第１の実施形態の動作を示すフローチャートと同じ部分には同一符号を付して説明を省略する。
図14において、視線方向の計測が開始されると、ステップ201 で計測回数ｎが初期化される。計測回数ｎは補正係数の算出を行うか否かを判定するためのデータ数をカウントするパラメータである。また、視線方向の分布状態に関する情報を記録するメモリ部70' に設定されたテーブル（ＴＢＬ）がクリアされる。
【００７３】
ステップ202 では、計測回数ｎがインクリメントされる。
そして、第１の実施形態と同様のステップ101 〜ステップ117 までの動作が行われ、眼球中心Ｏ、視軸回転角θｘ，θｙ等が算出される。
ステップ203 では、ｎ回目の計測回数のときの運転者の視線方向ｅを表す直線Ｌ3nが算出される。
【００７４】
ステップ204 では、ステップ203 で求めた直線Ｌ3nと仮想面Ｖとの交点を算出し、算出した交点の位置と共にその時の眼球中心Ｏの位置がメモリ部70' のテーブルに記憶される。
ステップ205 では、計測回数ｎが、予め設定した計測回数、ここでは例えば ２万回を越えたか否かが判別される。計測回数ｎが２万回を越えると、補正係数を求める処理を行うため、図15のフローチャートに示すステップ206 に進む。計測回数ｎが２万回以下の時にはステップ122 に進む。
【００７５】
ステップ122 〜ステップ127 は、第１の実施形態と同様の視線スイッチ動作が行われる。図15に示すステップ206 では、注視位置推定部57’において、テーブルに記憶された直線Ｌ31〜Ｌ3nに関する複数のデータが読み込まれ、これら複数のデータに基づいて視線方向の分布状態が求められる。そして分布頻度が高い箇所及びリンク分析の結果より、各視線分布領域が推定され、それぞれの視線分布領域の中心が算出される。
【００７６】
ステップ207 では、ステップ206 で求められた各視線分布領域の中心がどの特徴点、例えば、右サイドミラーの位置等に対応するかが推定される。
ステップ208 では、ステップ207 で対応付けられたそれぞれの特徴点の位置について、メモリ部70' の注視対象位置記憶部71’に記憶された正確な位置情報が読み込まれ、その読み込まれた位置と視線分布領域の中心位置が一致するものとして新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙが算出される。
【００７７】
そして、第１の実施形態と同様のステップ135 で、メモリ部70' の補正係数記憶部72’に記憶された補正係数がステップ208 で求めた新たな補正係数に更新され、ステップ201 に戻る。
このように、第２の実施形態によれば、運転者の視線方向の分布状態に基づいて注視対象を推定し、その注視対象の位置情報を用いて補正係数を算出、更新することによって、従来の装置あるいは第１の実施形態の装置とは異なり、特定の機器が操作されなくても補正係数の更新が可能となる。また、この場合でも一連の動作は運転者に意識させずに自動的に行われるため、誤差の少ない正確な視線計測が可能となる。
【００７８】
尚、第２の実施形態では、走行中に左右サイドミラーやルームミラーの注視位置を推定する構成としたが、本発明はこれに限られるものではない。例えば、ナビゲーション装置で音声案内等の機能を有する装置では、注意を喚起する目的でブザー音等を発生し、これに続けて進行方向の案内を音声情報で呈示する手法がしばしば行われる。この場合、運転者は音声案内の後に表示画面を確認する場合が多い。従って、音声案内発生後の一定時間はナビゲーション装置の表示画面を見る確率が高くなることを考慮して注視対象を推定しても良い。
【００７９】
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、第２の実施形態における注視対象の推定動作が機器の操作を考慮して行われる場合について説明する。
図16は、第３の実施形態の視線方向計測装置の構成を示す図である。ただし、第２の実施形態の構成と同一の部分には同一符号を付して説明を省略する。
【００８０】
図16において、第３の実施形態の構成が第２の実施形態の構成と異なる部分は、第２の操作検出部Ｅ８としての操作検出部20' の出力がマイクロコンピュータ50''に入力される点である。その他の構成は第２の実施形態の構成と同一である。
操作検出部20' は、運転者による操作を検出する特定の機器として、例えば、ウインカレバー及びシフトレバーに設定した場合において、右ウインカ操作検出部24と、左ウインカ操作検出部25と、バックギア操作検出部26とで構成される。ウインカレバー及びシフトレバーを設定した理由は、ウインカレバーが操作される前後には、車両の向かう方向やその方向のサイドミラーへの運転者の注視が増えること、また、シフトレバーで後退が選択されるとその前後でルームミラーへの運転者の注視が増えることを利用して注視対象の推定を行うためである。右ウインカ操作検出部24は、ウインカレバーが右方向に操作されたことを検出してマイクロコンピュータ50''に操作信号を送出する。左ウインカ操作検出部25は、ウインカレバーが左方向に操作されたことを検出してマイクロコンピュータ50''に操作信号を送出する。バックギア操作検出部26は、シフトレバーで後退が選択されたことを検出してマイクロコンピュータ50''に操作信号を送出する。
【００８１】
マイクロコンピュータ50''は、図17の機能ブロック図に示すように、操作検出部20' から出力される操作信号が注視位置推定部57''に入力される構成で、その他の部分は第２の実施形態のマイクロコンピュータ50’と同一である。次に、第３の実施形態の動作を図18に示すフローチャートに基づいて説明する。ただし、第１、２の実施形態の動作を示すフローチャートと同じ部分には同一符号を付して説明を省略する。
【００８２】
図18において、視線方向の計測が開始されると、第１の実施形態の動作と同様に、ステップ101 〜ステップ117 の動作によって眼球中心Ｏ、視軸回転角θｘ，θｙ等が算出され、第２の実施形態の同様のステップ203 の動作によって運転者の視線方向ｅを表す直線Ｌ3nが算出される。
ステップ301 では、マイクロコンピュータ50''において、操作検出部20' からの操作信号の有無が判別される。操作信号が発生している時は図19のステップ302 に進む。操作信号が発生していない時はステップ122 に進み、第１の実施形態と同様のステップ122 〜ステップ127 で視線スイッチ動作が行われる。
【００８３】
図19のフローチャートに示すステップ302 では、第２の実施形態のステップ201 の動作と同様に、計測回数ｎが初期化されると共にテーブルがクリアされる。
ステップ303 では、第２の実施形態のステップ202 の動作と同様に、計測回数ｎがインクリメントされる。
ステップ304 では、第２の実施形態のステップ101 〜ステップ203 と同様の一連の動作が行われ直線Ｌ3nが算出される。
【００８４】
ステップ305 では、第２の実施形態のステップ204 の動作と同様に、直線Ｌ3nと仮想面Ｖとの交点を算出し、算出した交点の位置と共にその時の眼球中心Ｏの位置がテーブルに記憶される。
ステップ306 では、操作検出部20' からの操作信号が継続して送出されているか否かが判別される。操作信号が継続している場合には、ステップ303 に戻り注視対象の推定を行うためのデータを蓄積していく。操作信号が継続していない場合には、ステップ206 に進み補正係数が算出される。
【００８５】
ステップ206 〜ステップ135 では、第２の実施形態の動作と同様に、テーブルに記憶されたデータに基づいて注視対象及び特徴点が推定され、補正係数の算出、更新が行われる。補正係数の更新後はステップ101 に戻る。
このように、第３の実施形態によれば、第２の実施形態の効果に加えて、運転者の注視対象を推定する際、特定の機器の操作を考慮して行うことによって、注視対象の推定がより確実になるため、一層正確且つ確実に補正係数の更新を行うことが可能となる。
【００８６】
尚、第３の実施形態では、ウインカレバー及びシフトレバーの操作が行われるとサイドミラー及びルームミラーの注視が増えることを利用する構成としたが、本発明はこれに限られるものではない。例えば、ブレーキを踏む前後にはルームミラーへの注視が増えること、シフトチェンジ時にはシフトレバーへの注視が増えること、停止時には信号への注視が増えること、前方車両に追従して停止する時には前方車両の運転者付近への注視が増えること、ナビゲーション装置装着車では停止時にナビゲーション装置への注視が増えること等を利用することも応用可能である。
【００８７】
また、警告灯が点灯した場合、これを見て運転者が動作を開始することがある。例えば、シートベルト未装着の場合に点灯する警告灯が点灯した時、運転者はその表示を見た後にシートベルトを装着するような場合がある。この場合、シートベルトを装着する動作が行われる前には、該当する警告表示灯を見た確率が高いため、この機会を捉えて補正係数を算出することもできる。同様に、例えばサイドブレーキ等の操作が行われた場合でも、その動作が行われる前には該当する警告表示灯を見た確率が高く、この機会を利用しても良い。
【００８８】
更に、前記シートベルトの警告表示灯を見た時に補正係数を算出するのに加え、シートベルト装着時にはシートベルト金具を見ながら操作することを考慮して補正係数を算出すれは、略同時に２つの異なった注視位置で補正係数が求められるため、より一層正確な補正係数の算出が可能となる。このことは、サイドブレーキ等の操作の場合も同様であることは言うまでもない。
【図面の簡単な説明】
【図１】請求項１又は２に記載の発明のクレーム対応図
【図２】請求項３に記載の発明のクレーム対応図
【図３】請求項４に記載の発明のクレーム対応図
【図４】本発明の第１の実施形態の構成を示す図
【図５】同上第１の実施形態の運転席付近のレイアウトの一例を示す図
【図６】同上第１の実施形態のマイクロコンピュータの機能ブロック図
【図７】同上第１の実施形態の動作を示すフローチャート
【図８】同上第１の実施形態の補正係数の更新動作を示すフローチャート
【図９】本発明の第２の実施形態の構成を示す図
【図１０】同上第２の実施形態のマイクロコンピュータの機能ブロック図
【図１１】同上第２の実施形態での視線方向の分布の求め方を説明する図
【図１２】同上第２の実施形態での補正係数を算出するための基準となる視線分布を説明する図
【図１３】同上第２の実施形態での正確な補正係数を算出する前の視線分布算出結果を示す図
【図１４】同上第２の実施形態の動作を示すフローチャート
【図１５】同上第２の実施形態の補正係数の更新動作を示すフローチャート
【図１６】本発明の第３の実施形態の構成を示す図
【図１７】同上第３の実施形態のマイクロコンピュータの機能ブロック図
【図１８】同上第３の実施形態の動作を示すフローチャート
【図１９】同上第３の実施形態の補正係数の更新動作を示すフローチャート
【図２０】従来技術において、眼球位置が固定されている場合に視線方向が一意に算出されることを説明する図
【図２１】従来技術において、眼球位置が３次元空間内で固定されない場合に視線方向が一意に算出されないことを説明する図
【符号の説明】
10 眼球撮影部
20,20' 操作検出部
30 コントローラ部
40 表示部
50,50',50'' マイクロコンピュータ
51 角膜反射像抽出部
52 角膜反射直線算出部
53 眼球中心算出部
54 瞳孔中心算出部
55 眼球回転角算出部
56 視線方向算出部
57 注視対象判定部
57’ 注視位置推定部
58 検出誤差算出部
59 更新判定部
60,60' 補正係数算出部
61 停留判定部
70 メモリ部
71 機器位置記憶部
71’ 注視対象位置記憶部
72,72' 補正係数記憶部

Claims (2)

1. 計測対象者に応じて計測誤差を補正する補正係数を算出し、該補正係数を用いて前記計測対象者の視線方向を計測する視線方向計測装置において、
   前記計測対象者の眼球の位置を検出する眼球位置検出手段と、
   前記眼球の回転角を検出する眼球回転角検出手段と、
   前記補正係数を記憶する補正係数記憶手段と、
   該補正係数記憶手段に記憶された補正係数を用い前記眼球位置及び前記眼球回転角に基づいて前記計測対象者の視線方向を算出する視線方向算出手段と、
   予め設定した注視対象に該当する機器の操作が検出されると操作信号を出力する第１の操作検出部と、前記機器の位置を予め記憶する機器位置記憶部と、前記第１の操作検出部から操作信号が出力された時、前記機器位置記憶部に記憶された当該機器の位置を基に算出される機器方向と前記視線方向算出手段で算出された視線方向とのずれ量を求め、該ずれ量が予め設定した閾値未満の時には前記補正係数記憶手段に記憶された補正係数の更新を行う判定をする補正係数更新判定部と、該補正係数更新判定部で更新を行う判定がなされると前記ずれ量を補正する新たな補正係数を算出し、前記補正係数記憶手段に記憶された補正係数の更新を行う第１の補正係数算出部と、を有する補正係数更新手段と、
   を備えて構成されたことを特徴とする視線方向計測装置。
2. 計測対象者に応じて計測誤差を補正する補正係数を算出し、該補正係数を用いて前記計測対象者の視線方向を計測する視線方向計測装置において、
   前記計測対象者の眼球の位置を検出する眼球位置検出手段と、
   前記眼球の回転角を検出する眼球回転角検出手段と、
   前記補正係数を記憶する補正係数記憶手段と、
   該補正係数記憶手段に記憶された補正係数を用い前記眼球位置及び前記眼球回転角に基づいて前記計測対象者の視線方向を算出する視線方向算出手段と、
   予め設定した注視対象の位置を記憶する注視対象位置記憶部と、前記注視対象に関連して予め設定した機器の操作が検出されると操作信号を出力する第２の操作検出部と、該第２の操作検出部からの操作信号に応じて、所定の計測回数間に前記視線方向算出手段で算出された複数の視線方向の分布状態及び変化状態に基づいて注視位置を推定する注視位置推定部と、該注視位置推定部で推定された注視位置と前記注視対象位置記憶部に記憶された前記注視対象の位置との差異に応じて新たな補正係数を算出し、前記補正係数記憶手段に記憶された補正係数の更新を行う第２の補正係数算出部と、
   を備えて構成されたことを特徴とする視線方向計測装置。

Images