JP2009183473A - 視線方向検出装置及び視線方向検出方法 - Google Patents

Abstract

【課題】適切なキャリブレーション処理を実現する。
【解決手段】検出用ＥＣＵ１０は、運転者に注視させるためのターゲットをヘッドアップディスプレイ（ＨＵＤ）３０により運転者前方の虚像面に表示させ、その状態でカメラ２０から取得した撮影画像に基づき運転者の視線方向を検出する。そして、検出した視線方向とターゲットの表示位置とに基づき、視線方向検出のキャリブレーション処理を実行する。このようにターゲットを前方に表示させて運転者に注視させることで、所望の視線方向での運転者の撮影画像が容易かつ正確に得られるため、適切なキャリブレーション処理を実現することができる。
【選択図】図２

Description

本発明は、運転者の視線方向を精度よく検出するためのキャリブレーション処理を実行する視線方向検出装置及び視線方向検出方法に関するものである。

近年、車両の安全運転を支援するための様々なシステム（安全運転支援システム）が提案されている。こうした安全運転支援システムにおいて、例えば、車両外部の状況（歩行者、他の車両、障害物等の存在状況）に応じて運転者に対する警報を行う場合、運転者が気付いている状況についてまで警報が行われると煩わしいものとなる。そこで、運転者がどこを見ているのか（つまり運転者の視線方向）を検出し、運転者が気付いていない状況について警報を行うようなシステムが望まれる。このようなシステムを実現するには、運転者の視線方向を精度よく検出（推定）することが重要であり、そのためには、視線方向検出のキャリブレーション処理を行う必要がある。

例えば、特許文献１に記載の視線方向判定装置は、ヘッドレスト及びシートに内蔵された距離センサ（静電容量センサなど）を利用し、ヘッドレストのセンサから頭部角度、シートのセンサから肩部角度を検出することで、運転者の視線方向を推定する。そして、この装置では、運転者の体型によらず視線方向を精度よく検出できるようにするため、運転者が座席に着座したことを検出すると、頭部との距離を計測しながらヘッドレストを上下動させ、距離が最小となる位置でヘッドレストを停止するようにしている。つまり、ヘッドレストの位置を自動的に最適位置に設定することによるキャリブレーション処理を実行する。
特開２００７−２８０３５２号公報

しかしながら、前述した特許文献１に記載の手法では、ヘッドレストの上下動によるキャリブレーション処理の実行中に運転者が正面を向いているとは限らず、また、運転者自身も、正面を向いていることを正確に把握することができない。このため、キャリブレーション処理が適切に行われないという問題がある。

本発明は、こうした問題にかんがみてなされたものであり、適切なキャリブレーション処理を実現することのできる視線方向検出装置及び視線方向検出方法を提供することを目的としている。

上記目的を達成するためになされた本発明の請求項１に記載の視線方向検出装置は、運転者を前方から撮影する撮影手段が搭載された車両で用いられ、撮影手段による撮影画像に基づく運転者の視線方向検出のキャリブレーション処理を実行するものである。

そして、視線方向検出装置では、注視用画像表示手段が、運転者の前方に画像を表示する表示手段に運転者に注視させるための注視用画像を表示させ、撮影画像取得手段が、注視用画像表示手段により注視用画像が表示されている状態で撮影手段により撮影された運転者の撮影画像を取得する。さらに、視線方向検出手段が、撮影画像取得手段により取得された撮影画像に基づき運転者の視線方向を検出し、キャリブレーション手段が、視線方向検出手段により検出された運転者の視線方向と注視用画像表示手段により表示された注視用画像の表示位置とに基づき、視線方向検出手段による視線方向検出のキャリブレーション処理を実行する。

このような視線方向検出装置によれば、注視用画像を表示させて運転者に注視させることで、所望の視線方向での運転者の撮影画像が容易かつ正確に得られるため、適切なキャリブレーション処理を実現することができる。

ここで、運転者に正面を注視させるための注視用画像としては、例えば請求項２に記載のように、運転者の撮影画像に対して鏡像変換を施した画像を表示させるようにするとよい。このようにすれば、運転者はあたかも鏡を見ているような状態で正面を向くこととなるため、運転者自身が正面を向いた状態を正確に把握することができる。

また、請求項３に記載の視線方向検出装置では、注視用画像表示手段は、注視用画像を複数の位置に順次表示させ、撮影画像取得手段は、注視用画像表示手段により複数の位置に注視用画像が順次表示されている各状態で撮影手段により撮影された運転者の撮影画像を取得する。そして、視線方向検出手段は、撮影画像取得手段により取得された各状態での撮影画像に基づき運転者の視線方向を検出し、キャリブレーション手段は、視線方向検出手段により検出された運転者の視線方向とその状態で注視用画像表示手段により表示された注視用画像の表示位置とに基づき、視線方向検出手段による視線方向検出のキャリブレーション処理を実行する。

このような視線方向検出装置によれば、１つの視線方向のみに基づきキャリブレーション処理を実行する場合に比べ、より適切なキャリブレーション処理を実現することができる。

特に、請求項４に記載のように、表示手段が、運転者が視認する画像の表示距離を変更可能に構成されており、注視用画像を表示する複数の位置に表示距離の異なる位置が含まれていれば、上下左右方向だけでなく、奥行き方向も加味したキャリブレーション処理を実行することができる。

ところで、キャリブレーション処理の際に運転者がよそ見をするなどして注視用画像を正確に見ていなかったような場合には、適切でないキャリブレーション処理が実行されてしまうことが考えられる。

そこで、請求項５に記載の視線方向検出装置では、確認用画像表示手段が、キャリブレーション手段によりキャリブレーション処理が実行された後、注視用画像を注視用画像表示手段による表示位置とは異なる位置に表示させ、確認用画像取得手段が、確認用画像表示手段により注視用画像が表示されている状態で撮影手段により撮影された運転者の撮影画像を取得する。そして、無効手段が、確認用画像表示手段により表示された注視用画像の表示位置と、その状態で確認用画像取得手段により取得された撮影画像に基づき視線方向検出手段により検出された運転者の視線方向との関係に基づき、キャリブレーション手段によるキャリブレーション処理が適切に行われたか否かを判定し、適切に行われていないと判定した場合にはそのキャリブレーション処理を無効にする。

このような視線方向検出装置によれば、適切でないキャリブレーション処理が実行されてしまうことを防ぐことができる。
具体的には、例えば請求項６に記載の視線方向検出装置では、無効手段は、確認用画像表示手段により表示された注視用画像の表示位置と、その状態で確認用画像取得手段により取得された撮影画像に基づき視線方向検出手段により検出された運転者の視線方向とを、同時に視認可能な状態で表示手段に表示させ、キャリブレーション手段によるキャリブレーション処理が適切に行われたか否かを運転者に判定させる。このような視線方向検出装置によれば、運転者の意思に従いキャリブレーション処理を実行することができる。

一方、例えば請求項７に記載の視線方向検出装置では、無効手段は、確認用画像表示手段により表示された注視用画像の表示位置と、その状態で確認用画像取得手段により取得された撮影画像に基づき視線方向検出手段により検出された運転者の視線方向との誤差が、所定の許容条件を満たす場合に、キャリブレーション手段によるキャリブレーション処理が適切に行われたと判定する。このような視線方向検出装置によれば、キャリブレーション処理が適切に行われたか否かの判定を自動で行うことができる。

また、請求項８に記載の視線方向検出装置では、注視用画像表示手段は、注視用画像とともにその位置を知覚しやすくするためのグリッドを表示させる。このような視線方向検出装置によれば、キャリブレーション処理をより正確に行うことができる。

次に、請求項９に記載の視線方向検出方法は、運転者を前方から撮影する撮影手段が搭載された車両で用いられ、撮影手段による撮影画像に基づく運転者の視線方向検出のキャリブレーション処理を実行するためのものである。

そして、この視線方向検出方法は、運転者の前方に画像を表示する表示手段に、運転者に注視させるための注視用画像を表示させる注視用画像表示ステップと、注視用画像表示ステップにて注視用画像が表示されている状態で撮影手段により撮影された運転者の撮影画像を取得する撮影画像取得ステップと、撮影画像取得ステップで取得された撮影画像に基づき運転者の視線方向を検出する視線方向検出ステップと、視線方向検出ステップで検出された運転者の視線方向と注視用画像表示ステップで表示された注視用画像の表示位置とに基づき、視線方向検出ステップでの視線方向検出のキャリブレーション処理を実行するキャリブレーションステップとを備える。

このような視線方向検出方法によれば、請求項１に記載の視線方向検出装置と同様の効果を得ることができる。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の検出用ＥＣＵ１０の概略構成を示すブロック図であり、図２は、この検出用ＥＣＵ１０が搭載された車両の室内を示す模式図である。

図１に示すように、検出用ＥＣＵ１０は、カメラインタフェース（カメラＩＦ）１１と、顔向き検出器１２と、視線方向検出器１３と、ヘッドアップディスプレイインタフェース（ＨＵＤＩＦ）１４と、メモリ１５と、コントローラ１６とを備えている。

カメラインタフェース１１は、車両室内に設置されたカメラ２０（図２参照）からの撮影画像を入力するためのインタフェースである。ここで、カメラ２０は、車両の運転者を前方から撮影する位置（例えばインパネ）に配置されており、運転者の顔面を正面から撮影可能となっている。

顔向き検出器１２は、カメラインタフェース１１を介して入力されたカメラ２０による運転者の撮影画像を解析することにより、運転者の顔向きを検出する。なお、顔向き検出の手法としては、例えば、「S.Bakerら“Lucas-Kanade 20 years on: A unifying framework:Part 4” Technical Report CMU-RI-TR-04-14, Robotics Institute, Carnegie MellonUniversity, February, 2004.」に開示されている手法を利用することができる。

視線方向検出器１３は、カメラインタフェース１１を介して入力されたカメラ２０による運転者の撮影画像を解析することにより、運転者の視線方向を検出する。なお、視線方向検出の手法としては、例えば、「T.Ishikawaら“Passive Driver Gaze Tracking With Active Appearance Model” Technical Report CMU-RI-TR-04-08, Robotics Institute, Carnegie MellonUniversity, January, 2004.」に開示されている手法を利用することができる。

ヘッドアップディスプレイインタフェース１４は、車両室内に設置されたヘッドアップディスプレイ（以下、単に「ＨＵＤ」という。）３０（図２参照）に表示させる画像情報を出力するためのインタフェースである。ここで、ＨＵＤ３０は、ウィンドシールド（フロントガラス）１を利用して運転者の前方に画像を表示させる表示装置であり、具体的には、ウィンドシールド１よりも更に前方の虚像面で画像が視認される。

メモリ１５は、各種情報を記憶するための記憶装置である。
コントローラ１６は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなるマイクロコンピュータを中心に構成されており、各種処理を実行する。また、コントローラ１６には、車両室内（本実施形態ではハンドル）に設置されたスイッチ４０の操作情報が入力される。ここで、スイッチ４０は、運転者が指で操作を行うための操作装置であり、本実施形態では少なくともＯＫボタン及びＮＧボタンを備えている。

［２．コントローラが実行する処理］
本実施形態の検出用ＥＣＵ１０は、カメラ２０による運転者の撮影画像に基づく運転者の視線方向検出のキャリブレーション処理を実行する。なお、本実施形態でいうキャリブレーション処理とは、撮影画像に基づき視線方向を検出するアルゴリズムを、実際の視線方向及びその状態での撮影画像に基づき補正することで、運転者の個体差等に関係なく視線方向を精度よく検出可能とするための処理である。

ここで、キャリブレーション処理を開始する操作が行われることにより検出用ＥＣＵ１０のコントローラ１６が実行するメイン処理について、図３のフローチャートを用いて説明する。なお、キャリブレーション処理は、車両の停止状態で行われるものであり、初めて乗車するときのみに行うものとしてもよく、また、必要に応じて何度でも行うようにしてもよい。

コントローラ１６は、メイン処理を開始すると、まずＳ１００で、運転者が正面を向いている状態でのカメラ２０による撮影画像を正面情報として取得する。
具体的には、図４に示すように、カメラ２０で撮影中の運転者の顔画像を鏡像変換して、ＨＵＤ３０により運転者前方の虚像面に表示（動画としてリアルタイムで表示）させる。また、図示しないが、表示画像における目の位置を運転者に注視させるためのメッセージ（例えば「目の位置を見てください」）も表示させる。

なお、運転者に対するメッセージは、ＨＵＤ３０により運転者前方の虚像面に文字列として表示させることに限定されるものではなく、例えば、音声で伝えるようにしてもよく、また、文字列表示と音声とを併用してもよい。

また、運転者の顔画像（鏡面画像）は、図５（ａ）に示すようにそのまま表示してもよいが、例えば、図５（ｂ）に示すように両目の各中心点（画像解析により得られる目尻と目頭との中点）を注視点として表示し、それ以外の部分（顔画像）については輝度を落とすなどして、注視点が強調されるようにしてもよい。また、注視点のみを表示することも可能である。

ここで、ＨＵＤ３０により表示される運転者の顔画像は、実際の運転者に対してほぼ正面となる位置（上下左右に調整された位置）に表示されるように設定されており、運転者から見れば、あたかも正面に鏡があるかのような画像が表示されることとなる。そして、このようにして運転者に表示画像を一定時間注視させ、その間にカメラ２０から入力した撮影画像（運転者が正面を向いた状態での顔画像）を正面情報（正面方向についてのキャリブレーション情報）として取得（メモリ１５に保存）する。

なお、以上のようなＳ１００の処理は、あらかじめ決められたタイミングで順に進行するようにしてもよく、また、運転者がスイッチ４０の操作により所望のタイミングで進行させるようにしてもよい。

続いて、Ｓ２００では、運転者が正面以外の所定方向を向いている状態での顔画像についてもキャリブレーション情報として取得するとともに、取得したキャリブレーション情報に基づきキャリブレーション処理を実行する。具体的には、このキャリブレーション処理では、図６（ａ）に示すように、運転者に注視させるための点であるターゲットＴをＨＵＤ３０により運転者前方の虚像面に表示させ、このターゲットＴの表示位置を複数箇所に変化させつつ各表示位置についての顔画像を取得する。図６（ａ）の例では、真正面の位置を中心点とする円周上でターゲットＴの表示位置を一定時間ごとに複数箇所に変化させ、各表示位置についての顔画像を取得する。

なお、ターゲットＴの表示位置は円周上に限定されるものではない。例えば、図６（ｂ）に示すように矩形上や、図６（ｃ）に示すように十字上や、図６（ｄ）に示すようにグリッド上としてもよい。

また、図６（ｅ）に示すように、運転者がターゲットＴの位置を知覚しやすいようにするために、グリッド線を表示してもよい。この場合、グリッド線の色や輝度などをターゲットＴと異なるように設定することで、グリッドによりターゲットＴの視認性が損なわれにくくすることができる。

ここで、Ｓ２００のキャリブレーション処理の詳細について、図７のフローチャートを用いて説明する。
キャリブレーション処理を開始すると、まずＳ２０１で、ターゲットＴを表示する位置（後述するＳ２０２でのターゲットＴの表示位置）を決める。なお、本キャリブレーション処理では、後述するように、Ｓ２０１〜Ｓ２０４の処理を、あらかじめ決められているターゲットＴの表示位置（本実施形態では、図６（ａ）に示す円周上の複数箇所）の数だけ繰り返し実行することにより、最終的には、すべての表示位置についてターゲットＴの表示処理（Ｓ２０２）が行われる。したがって、このＳ２０１の処理では、まだ表示処理が行われていない表示位置のうちの１つを所定の規則（順序）に従って決定する。

続いて、Ｓ２０２では、Ｓ２０１で決定した表示位置にターゲットＴを表示させるとともに、ターゲットＴを運転者に注視させるためのメッセージを表示させる。
続いて、Ｓ２０３では、運転者にターゲットＴを注視させている間にカメラ２０により撮影された画像をキャリブレーション用情報として取得（メモリ１５に保存）する。

続いて、Ｓ２０４では、キャリブレーション用情報が必要数取得されたか否かを判定する。つまり、すべての表示位置についてターゲットＴの表示処理が行われたか否かを判定する。

そして、Ｓ２０４で、キャリブレーション用情報が必要数取得されていないと判定した場合には、Ｓ２０１へ戻り、未処理の表示位置についての処理に移行する。
一方、Ｓ２０４で、キャリブレーション用情報が必要数取得されたと判定した場合には、Ｓ２０５へ移行し、メモリ１５に保存されている各キャリブレーション用情報（顔画像）に基づき、各表示位置での運転者の顔向きを算出する。さらに、Ｓ２０６で、各キャリブレーション用情報及びＳ２０５で算出した顔向きに基づき、各表示位置での視線方向を検出し、検出した視線方向とターゲットＴの表示位置との関係に基づき、顔画像から視線方向を検出するための視線検出用モデルを生成（補正）する。つまり、視線方向検出のキャリブレーションを実行する。その後、本キャリブレーション処理を終了し、図３のＳ３００へ移行する。

Ｓ３００では、Ｓ２００のキャリブレーション処理で生成した視線検出用モデルが適切なものであることを確認するための検出確認処理を実行する。
ここで、Ｓ３００の検出確認処理の詳細について、図８のフローチャートを用いて説明する。なお、Ｓ３１０は、図３に示す処理と同一のものである。

検出確認処理を開始すると、まずＳ３０１で、前述したＳ２０１と同様、ターゲットＴを表示する位置を決める。ただし、本Ｓ３０１では、Ｓ２０１で用いた表示位置とは異なる表示位置（あらかじめ決められた複数の表示位置）を用いる。

続いて、Ｓ３０２では、前述したＳ２０２と同様、Ｓ３０１で決定した表示位置にターゲットＴを表示させるとともに、ターゲットＴを運転者に注視させるためのメッセージを表示させる。

続いて、Ｓ３０３では、運転者にターゲットＴを注視させている間にカメラ２０から入力した撮影画像及びその時点でのターゲットＴの表示位置を対応づけて取得（メモリ１５に保存）する。

続いて、Ｓ３０４では、キャリブレーション処理で生成した視線検出用モデルを用いて、Ｓ３０３で取得した顔画像に基づき、運転者の顔向きを算出する。
続いて、Ｓ３０５では、キャリブレーション処理で生成した視線検出用モデルを用いて、Ｓ３０３で取得した顔画像及びＳ３０４で算出した顔向きに基づき、運転者の視線方向を算出する。

続いて、Ｓ３０６では、Ｓ３０４及びＳ３０５での算出結果をメモリ１５に保存する。
続いて、Ｓ３０７では、顔画像が必要数取得されたか否かを判定する。つまり、すべての表示位置についてターゲットＴの表示処理が行われたか否かを判定する。

そして、Ｓ３０７で、顔画像が必要数取得されていないと判定した場合には、Ｓ３０１へ戻り、未処理の表示位置についての処理に移行する。
一方、Ｓ３０７で、顔画像が必要数取得されたと判定した場合には、Ｓ３０８へ移行し、本検出確認処理でターゲットＴを表示したすべての表示位置にターゲットＴを表示させるとともに、各ターゲットＴについて算出した視線方向に対応する算出点を表示させる。つまり、各表示位置のターゲットＴとそのターゲットＴを注視している撮影画像に基づき算出した視線方向に対応する算出点とを同時に表示させるようにしている。このため、ターゲットＴの表示位置と算出点の位置との距離が近いほど、キャリブレーション処理で生成した視線検出用モデルが適切なものであると判断することができる。

続いて、Ｓ３０９では、表示した結果で問題ないか否かを運転者に判断させるためのメッセージ（例えば「この結果で良いでしょうか」）をＨＵＤ３０により運転者前方の虚像面に表示させる。

続いて、図３に戻り、Ｓ３１０では、表示した結果で問題ないか否かの運転者による判断結果を、スイッチ４０のＯＫボタンが押されたか否かに基づき判定する。
そして、Ｓ３１０で、スイッチ４０のＯＫボタンが押されなかった（ＮＧボタンが押された）と判定した場合には、Ｓ２００へ戻り、キャリブレーション処理からやり直す。

一方、Ｓ３１０で、スイッチ４０のＯＫボタンが押されたと判定した場合には、本メイン処理を終了する。
［３．効果］
以上説明したように、本実施形態の検出用ＥＣＵ１０は、運転者に注視させるためのターゲットＴをＨＵＤ３０により運転者前方の虚像面に表示させ（Ｓ２０２）、その状態でカメラ２０から取得した撮影画像に基づき運転者の視線方向を検出する（Ｓ２０３，Ｓ２０５）。そして、検出した視線方向とターゲットＴの表示位置とに基づきキャリブレーション処理を実行する（Ｓ２０６）。

このような検出用ＥＣＵ１０によれば、ターゲットＴを前方に表示させて運転者に注視させることで、所望の視線方向での運転者の撮影画像（その運転者本来の運転姿勢での撮影画像）が容易かつ正確に得られるため、適切なキャリブレーション処理を実現することができる。

また、この検出用ＥＣＵ１０では、運転者に正面を注視させるためのターゲットＴとして、運転者の撮影画像に対して鏡像変換を施した画像を表示させるようにしている。このため、運転者はあたかも鏡を見ているような状態で正面を向くこととなり、運転者自身が正面を向いた状態を正確に把握することができる。

また、この検出用ＥＣＵ１０では、ターゲットＴを複数の位置に順次表示させ（Ｓ２０１）、複数の位置にターゲットＴが順次表示されている各状態でカメラ２０から運転者の撮影画像を取得する。そして、各状態での撮影画像に基づき運転者の視線方向を検出し、検出した視線方向とその状態でのターゲットＴの表示位置とに基づきキャリブレーション処理を実行する。このため、１つの視線方向のみに基づきキャリブレーション処理を実行する場合に比べ、より適切なキャリブレーション処理を実現することができる。

さらに、この検出用ＥＣＵ１０では、キャリブレーション処理が実行された後、ターゲットＴを前回とは異なる表示位置に表示させ（Ｓ３０１，Ｓ３０２）、その状態でカメラ２０から運転者の撮影画像を取得する（Ｓ３０３）。そして、ターゲットＴの表示位置と、その状態で取得された撮影画像に基づき検出された運転者の視線方向との関係に基づき、キャリブレーション処理が適切に行われたか否かを判定し、適切に行われていないと判定した場合にはそのキャリブレーション処理を無効にする（Ｓ３０８〜Ｓ３１０）。このため、適切でないキャリブレーション処理が実行されてしまうことを防ぐことができる。

特に、ターゲットＴの表示位置とその状態での視線方向に対応する算出点とを同時に視認可能な状態で表示させ、キャリブレーション処理が適切に行われたか否かを運転者に判定させるようにしているため、運転者の意思に従いキャリブレーション処理を実行することができる。

［４．特許請求の範囲との対応］
なお、本実施形態の検出用ＥＣＵ１０では、カメラ２０が、撮影手段に相当し、ＨＵＤ３０が、表示手段に相当する。また、Ｓ１００，Ｓ２０１，Ｓ２０２の処理を実行するコントローラ１６が、注視用画像表示手段に相当し、Ｓ１００，Ｓ２０３の処理を実行するコントローラ１６が、撮影画像取得手段に相当する。また、Ｓ２０５，Ｓ２０６の処理を実行するコントローラ１６が、視線方向検出手段及びキャリブレーション手段に相当する。また、Ｓ３０１，Ｓ３０２の処理を実行するコントローラ１６が、確認用画像表示手段に相当し、Ｓ３０３の処理を実行するコントローラ１６が、確認用画像取得手段に相当し、Ｓ３０８〜Ｓ３１０の処理を実行するコントローラ１６が、無効手段に相当する。

［５．他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

例えば、前述した検出確認処理（図８）のＳ３０１では、決定するターゲットＴの表示位置として、キャリブレーション処理（図７）のＳ２０１で用いた表示位置とは異なる表示位置を用いるようにしているが、これに限定されるものではなく、Ｓ２０１で用いた表示位置と同じ表示位置を用いてもよい。

また、上記実施形態の検出用ＥＣＵ１０では、ターゲットＴの表示位置とその状態での視線方向に対応する算出点とを同時に視認可能な状態で表示させ（Ｓ３０８）、キャリブレーション処理が適切に行われたか否かを運転者に判定させるようにしているが（Ｓ３０９）、これに限定されるものではなく、検出用ＥＣＵ１０で自動的に判定するようにしてもよい。具体的には、例えば、ターゲットＴの表示位置と算出点の位置との距離（複数存在する場合にはすべての距離）が所定の判定しきい値以下の場合に、キャリブレーション処理で生成した視線検出用モデルが適切なものであると判定することができる。なお、このように構成した場合には、スイッチ４０を備えない構成とすることも可能である。

一方、例えば、図９に示すように、運転者が視認する画像の表示距離（虚像面の奥行き方向における位置）を変更可能なステレオ方式のヘッドアップディスプレイを用いるようにしてもよい。このようにすれば、ターゲットＴの表示位置を上下左右方向だけでなく奥行き方向（前後方向）にも変化させることができるため、奥行き方向も加味したキャリブレーション処理を実行することができる。特に、このような構成においては、前述したように運転者がターゲットＴの位置を把握しやすいようにするためのグリッド線を表示し（図６（ｅ））、更に、ターゲットＴの奥行き方向の位置に応じてグリッド幅を変更するようにすれば、ターゲットＴの奥行き方向における位置を知覚しやすくすることができる。

実施形態の検出用ＥＣＵの概略構成を示すブロック図である。 検出用ＥＣＵが搭載された車両の室内を示す模式図である。 メイン処理のフローチャートである。 運転者の顔画像を表示した状態での車両の室内を示す模式図である。 顔画像の表示例を示す説明図である。 ターゲットの表示例を示す説明図である。 キャリブレーション処理のフローチャートである。 検出確認処理のフローチャートである。 ステレオ方式のヘッドアップディスプレイが搭載された車両の室内を示す模式図である。

符号の説明

１…ウィンドシールド、１０…検出用ＥＣＵ、１１…カメラインタフェース、１２…顔向き検出器、１３…視線方向検出器、１４…ヘッドアップディスプレイインタフェース、１５…メモリ、１６…コントローラ、２０…カメラ、３０…ヘッドアップディスプレイ、４０…スイッチ、Ｔ…ターゲット

Claims (9)

1. 運転者を前方から撮影する撮影手段が搭載された車両で用いられ、前記撮影手段による撮影画像に基づく運転者の視線方向検出のキャリブレーション処理を実行する視線方向検出装置であって、
   運転者の前方に画像を表示する表示手段と、
   運転者に注視させるための注視用画像を前記表示手段に表示させる注視用画像表示手段と、
   前記注視用画像表示手段により前記注視用画像が表示されている状態で前記撮影手段により撮影された運転者の撮影画像を取得する撮影画像取得手段と、
   前記撮影画像取得手段により取得された撮影画像に基づき運転者の視線方向を検出する視線方向検出手段と、
   前記視線方向検出手段により検出された運転者の視線方向と前記注視用画像表示手段により表示された前記注視用画像の表示位置とに基づき、前記視線方向検出手段による視線方向検出のキャリブレーション処理を実行するキャリブレーション手段と、
   を備えることを特徴とする視線方向検出装置。
2. 前記注視用画像表示手段は、運転者に正面を注視させるための注視用画像として、運転者の撮影画像に対して鏡像変換を施した画像を表示させること
   を特徴とする請求項１に記載の視線方向検出装置。
3. 前記注視用画像表示手段は、前記注視用画像を複数の位置に順次表示させ、
   前記撮影画像取得手段は、前記注視用画像表示手段により前記複数の位置に前記注視用画像が順次表示されている各状態で前記撮影手段により撮影された運転者の撮影画像を取得し、
   前記視線方向検出手段は、前記撮影画像取得手段により取得された各状態での撮影画像に基づき運転者の視線方向を検出し、
   前記キャリブレーション手段は、前記視線方向検出手段により検出された運転者の視線方向とその状態で前記注視用画像表示手段により表示された前記注視用画像の表示位置とに基づき、前記視線方向検出手段による視線方向検出のキャリブレーション処理を実行すること
   を特徴とする請求項１又は請求項２に記載の視線方向検出装置。
4. 前記表示手段は、運転者が視認する画像の表示距離を変更可能に構成されており、
   前記複数の位置には、前記表示距離の異なる位置が含まれていること
   を特徴とする請求項３に記載の視線方向検出装置。
5. 前記キャリブレーション手段によりキャリブレーション処理が実行された後、前記注視用画像を前記注視用画像表示手段による表示位置とは異なる位置に表示させる確認用画像表示手段と、
   前記確認用画像表示手段により前記注視用画像が表示されている状態で前記撮影手段により撮影された運転者の撮影画像を取得する確認用画像取得手段と、
   前記確認用画像表示手段により表示された前記注視用画像の表示位置と、その状態で前記確認用画像取得手段により取得された撮影画像に基づき前記視線方向検出手段により検出された運転者の視線方向との関係に基づき、前記キャリブレーション手段によるキャリブレーション処理が適切に行われたか否かを判定し、適切に行われていないと判定した場合にはそのキャリブレーション処理を無効にする無効手段と、
   を備えることを特徴とする請求項１から請求項４までのいずれか１項に記載の視線方向検出装置。
6. 前記無効手段は、前記確認用画像表示手段により表示された前記注視用画像の表示位置と、その状態で前記確認用画像取得手段により取得された撮影画像に基づき前記視線方向検出手段により検出された運転者の視線方向とを、同時に視認可能な状態で前記表示手段に表示させ、前記キャリブレーション手段によるキャリブレーション処理が適切に行われたか否かを運転者に判定させること
   を特徴とする請求項５に記載の視線方向検出装置。
7. 前記無効手段は、前記確認用画像表示手段により表示された前記注視用画像の表示位置と、その状態で前記確認用画像取得手段により取得された撮影画像に基づき前記視線方向検出手段により検出された運転者の視線方向との誤差が、所定の許容条件を満たす場合に、前記キャリブレーション手段によるキャリブレーション処理が適切に行われたと判定すること
   を特徴とする請求項５に記載の視線方向検出装置。
8. 前記注視用画像表示手段は、前記注視用画像とともにその位置を知覚しやすくするためのグリッドを表示させること
   を特徴とする請求項１から請求項７までのいずれか１項に記載の視線方向検出装置。
9. 運転者を前方から撮影する撮影手段が搭載された車両で用いられ、前記撮影手段による撮影画像に基づく運転者の視線方向検出のキャリブレーション処理を実行する視線方向検出方法であって、
   運転者の前方に画像を表示する表示手段に、運転者に注視させるための注視用画像を表示させる注視用画像表示ステップと、
   前記注視用画像表示ステップにて前記注視用画像が表示されている状態で前記撮影手段により撮影された運転者の撮影画像を取得する撮影画像取得ステップと、
   前記撮影画像取得ステップで取得された撮影画像に基づき運転者の視線方向を検出する視線方向検出ステップと、
   前記視線方向検出ステップで検出された運転者の視線方向と前記注視用画像表示ステップで表示された前記注視用画像の表示位置とに基づき、前記視線方向検出ステップでの視線方向検出のキャリブレーション処理を実行するキャリブレーションステップと、
   を備えることを特徴とする視線方向検出方法。