JPH09167049A - コンソール用視線入力装置 - Google Patents

Abstract

(57)【要約】 【課題】 視線計測の精度が悪くても、高精度な位置指
定を可能にし、また位置指定が素早く的確に行われ得る
ようにすること。 【解決手段】 入力位置マークを画面表示し、入力位置
マークの表示位置を入力位置とするコンソール用視線入
力装置において、操作者の顔面領域の画像を入力する画
像入力部１００と、画像入力部１００による画像データ
から操作者の注視位置を計測する注視位置計測部１４０
と、注視位置計測部１４０によって計測された注視位置
より操作者の視線方向が属する領域を決定する注視領域
決定部１５０と、注視領域決定部１６０によって決定さ
れた領域の方向に前記入力位置マークをステップ移動さ
せるカーソル表示制御部１７０とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、コンソール用視
線入力装置に関し、特にポインタカーソルにような入力
位置マークを画面表示されるディスプレイ付き各種装置
のためのコンソール用視線入力装置に関する。

【０００２】

【従来の技術】従来、入力装置としては、機械式スイッ
チや電気式スイッチ、電子式スイッチあるいは音声認識
を利用したスイッチ等が知られている。

【０００３】また、視線による情報入力の研究も行われ
ており、１眼レフカメラやビデオカメラ用として実用化
例が見られる。

【０００４】非接触で視線を測る提案は数多く行われて
おり、一般的にＣＣＤカメラで顔の２次元画像を捉え、
眼球画像を抽出して視線方向を特定することが行われて
いる。

【０００５】計測した視線方向から、操作者の注視点を
決定できれば、各種機器の制御を行わせることが可能で
ある。

【０００６】例えば、特開平４−１０１１２６号公報で
は、スチールカメラの焦点制御や露出制御などを視線を
行わせることが可能な方法が開示されている。この発明
では、操作者の視線の存在する頻度や停留時間、軌跡を
求めることによって注視点を決定している。

【０００７】詳しく説明すると、カメラのファインダを
複数の小領域に分割し、算出した視線方向が、どの小領
域に属するかを算出した後、時間的に連続した測定結果
を参照して、最も確率の高い注視領域を決定している。
また、別の実施例として、ファジー理論を適用した注視
領域の決定方法が説明されている。

【０００８】

【発明が解決しようとする課題】上述のような従来の機
械式スイッチや電気式スイッチ、電子式スイッチの入力
装置にあっては、つぎのような問題点がある。

【０００９】（ａ）操作対象となるスイッチを目で探し
て手で操作すると云う一連の動作を必要とするため、例
えば、車載ナビゲーションシステムの目的地入力のよう
に複雑な操作（スケール変換、スクロール、ポイント設
定）では、地図を目で確認して手で操作し、結果を再び
目で確認すると云うループを数多く繰り返すことにな
り、操作性の観点からは必ずしも優れたマンマシン・イ
ンタフェースとは云い難い。

【００１０】（ｂ）手の届く範囲にスイッチを設置しな
ければならず、装置のデザイン上の制約が生じる。

【００１１】（ｃ）リモートコントローラによる遠隔操
作が一般的になっているが、車載を考えると、リモート
コントローラの設置場所についての有効な案がなく、車
輛のの振動や車線変更、カーブ走行によってリモートコ
ントローラが不用意に移動してしまう。

【００１２】また従来の音声認識による入力装置ではつ
ぎのような問題点がある。

【００１３】（ａ）指令の言葉を覚えておかなければな
らず、多くの操作を音声で行わせようとすると、指令語
の忘却や錯誤が発生する。

【００１４】（ｂ）使用者に発声を要求するため、人に
よっては好き嫌いが生じる。

【００１５】（ｃ）スイッチ操作中は、言葉のコミュニ
ケーションが阻害される。

【００１６】（ｄ）読めない言葉は発音できない。

【００１７】先に述べたように、スイッチ操作には、ス
イッチ位置の確認やスイッチ動作状態の確認と云った視
覚に関わる作業が必ずといってよいほど発生する。

【００１８】従って、視線のみで情報の伝達を行うこと
ができれば、スイッチ操作者の意図を、手指の操作や音
声を使うことなしに制御装置に伝達可能であると考えら
れる。

【００１９】視線を利用すれば、特定の情報入力に特定
の注視領域や特定の視線移動を対応付けられ、それらは
入力を行うコンソール上で確認できるため、指令の忘却
・錯誤と云った問題を解決できる。さらに、視線を利用
すれば、言葉のコミュニケーションを阻害しないため、
上述の問題を解決することができる。

【００２０】しかし、従来の視線入力装置ではつぎのよ
うな問題点がある。

【００２１】（ａ）一種のローパスフィルタを使用して
過去の計測の履歴を使用しているため、素早い視線の動
きに対応するのが難しい。計測結果が、実際の視線の動
きに一歩遅れる可能性がある。

【００２２】（ｂ）注視点が領域単位で決定されるた
め、例えば、視線で小さなスイッチパネルを操作させよ
うと云う応用システムには適用が難しい。

【００２３】（ｃ）注視点を精度よく求めようとする
と、必然的に視線計測の精度を向上させなければならな
い。システムのコストアップにつながるため得策ではな
い。

【００２４】この発明は、上述の如き問題点に着目して
なされたものであり、視線計測の精度が悪くても、高精
度な位置指定を可能にし、また位置指定が素早く的確に
行われ得るように改善されたコンソール用視線入力装置
を提供することを目的としている。

【００２５】

【課題を解決するための手段】上述の目的を達成するた
めに、この請求項１の発明は、入力位置マークを画面表
示し、入力位置マークの表示位置を入力位置とするコン
ソール用視線入力装置において、操作者の顔面領域の画
像を入力する画像入力手段と、前記画像入力手段による
画像データから操作者の注視位置を計測する注視位置計
測手段と、前記注視位置計測手段によって計測された注
視位置より操作者の視線方向が属する領域を決定する注
視領域決定手段と、前記注視領域決定手段によって決定
された領域の方向に前記入力位置マークをステップ移動
させる入力位置マーク移動制御手段とを有しているもの
である。

【００２６】この発明によるコンソール用視線入力装置
では、カーソルポインタのような入力位置マークが操作
者の視線方向が属する領域の側にステップ移動、即ち寸
動（ピッチ移動）し、入力位置マークを所要位置に的確
に移動させることができる。

【００２７】また請求項２の発明は、請求項１に記載の
コンソール用視線入力装置において、前記入力位置マー
クのステップ移動量を操作者の同一領域の注視時間に応
じて変更するステップ移動量変更手段を有しているもの
である。

【００２８】この発明によるコンソール用視線入力装置
では、操作者が同一領域を長く注視するほど入力位置マ
ークの一回のステップ移動量を大きくすることができ
る。

【００２９】また請求項３の発明は、請求項１または２
に記載のコンソール用視線入力装置において、前記入力
位置マーク移動制御手段は、前記注視領域決定手段によ
って決定された領域の方向に前記入力位置マークをステ
ップ移動させるステップモードと、前記注視位置計測手
段によって計測された注視位置に前記入力位置マークを
一気に移動させるクイックモードとを有し、何れか一方
のモードを選択設定されるものである。

【００３０】この発明によるコンソール用視線入力装置
では、入力位置マークが操作者の視線方向が属する領域
の側にステップ移動するステップモードと、入力位置マ
ークを操作者の注視位置に一気に移動させる従来のもの
と同等のクイックモードとが使い分けられる。

【００３１】また請求項４の発明は、請求項３に記載の
コンソール用視線入力装置において、操作者の瞬きを検
出する眼球状態検出部を有し、モードの切り替えが眼球
状態検出部により検出される操作者の瞬きによって前記
モードが切り替えられるものである。

【００３２】この発明によるコンソール用視線入力装置
では、操作者が瞬きすることによってステップモードと
クイックモードとの切り替えが行われる。

【００３３】また請求項５の発明は、請求項３記載のコ
ンソール用視線入力装置において、同一位置の注視時間
が所定値に達したことを計測する注視時間計測手段を有
し、前記注視時間計測手段により同一位置の注視時間が
所定値に達したことが計測されることによって前記モー
ドが切り替えられるものである。

【００３４】この発明によるコンソール用視線入力装置
では、操作者が同じ位置を所定時間に亙って注視するこ
とによりステップモードとクイックモードとの切り替え
が行われる。

【００３５】また請求項６の発明は、請求項３〜５の何
れかに記載のコンソール用視線入力装置において、前記
ステップモードと前記クイックモードとで前記入力位置
マークの形状、色を変更する入力位置マーク形状・色制
御手段を有しているものである。

【００３６】この発明によるコンソール用視線入力装置
では、ステップモードとクイックモードとで入力位置マ
ークの形状、色が変更し、入力位置マークの形状、色よ
りステップモードであるか、クイックモードであるかが
分かる。

【００３７】

【発明の効果】請求項１によるコンソール用視線入力装
置では、入力位置マークが操作者の視線方向が属する領
域の側にステップ移動するから、視線計測精度が悪くて
も、大まかな視線方向が計測できさえすれば、所定の位
置まで高精度に入力位置マークカーソルポインタを移動
させることが可能となり、高精度な位置指定が可能にと
共に、コンソールの画面上の各種マーカのサイズを小さ
くでき、デザインの自由度が増す。

【００３８】また視線の移動方向と入力位置マークの移
動方向を一致させれば、ちらっと右を見た時に入力位置
マークが１ステップ右側へ移動すると云う、人間の感覚
に合ったインタフェースを実現することができる。

【００３９】請求項２によるコンソール用視線入力装置
では、操作者が同一領域を長く注視するほど入力位置マ
ークの一回のステップ移動量を大きくすることができる
から、操作者の意志に応じて入力位置マークの一回のス
テップ移動量が変化し、入力位置マークを所要位置に的
確に移動させることと迅速に移動させることとが操作性
よく両立する。

【００４０】請求項３によるコンソール用視線入力装置
では、入力位置マークが操作者の視線方向が属する領域
の側にステップ移動するステップモードと、入力位置マ
ークを操作者の注視位置に一気に移動させる従来のもの
と同等のクイックモードとが使い分けられるから、入力
位置マークの表示画面上をランダムにアクセスして目的
位置付近まで入力位置マークをクイックモードで素早く
移動させ、その後にステップモードに切り替え、精度良
く目的位置へ入力位置マークを移動させるこができ、視
線入力に要する時間を短縮することが可能となる。換言
すれば、高速高精度な位置入力が可能になる。

【００４１】請求項４によるコンソール用視線入力装置
では、操作者が瞬きすることによってステップモードと
クイックモードとの切り替えが行われるから、モード切
り替えもキー操作を要することなく非接触で、面倒なく
行われる。

【００４２】請求項５によるコンソール用視線入力装置
では、操作者が同じ位置を所定時間に亙って注視するこ
とによりステップモードとクイックモードとの切り替え
が行われるから、モード切り替えもキー操作を要するこ
となく非接触で、面倒なく行われる。

【００４３】請求項６によるコンソール用視線入力装置
では、ステップモードとクイックモードとで入力位置マ
ークの形状、色が変わるから、入力位置マークの形状、
色よりステップモードであるか、クイックモードである
かが分かり、使いやすさが向上する。

【００４４】

【発明の実施の形態】以下に添付の図を参照してこの発
明の実施の形態を詳細に説明する。

【００４５】図１、図２はこの発明による視線入力装置
を車載用ナビゲーション装置における目的地入力装置に
適用した実施の形態を示している。

【００４６】図１はナビゲーション装置の車載状態を示
している。ナビゲーション装置１０は、カラー液晶ディ
スプレイなどにより構成され、ナビゲーション用地図な
どを画面表示するパネル状の画面表示器（コンソールモ
ニタ）２０と、画面表示器２０の近傍に設置された目的
地入力開始スイッチ３０および校正開始スイッチ４０と
を有している。

【００４７】画面表示器２０による画面表示例は、図３
（ａ）、（ｂ）に示されており、このナビゲーション画
面では、画面全体にナビゲーション用地図が表示され、
このナビゲーション用地図上に入力位置マークであるポ
インタカーソールＡと、上下左右のスクロールマーカＢ
と、詳細表示マーカＣと、広域表示マーカＤと、眼球状
態図形Ｅとが表示される。

【００４８】目的地入力開始スイッチ３０は、目的地入
力開始を指示する押し釦スイッチであり、目的地入力開
始スイッチ３０が押されると、ナビゲーション装置１０
は目的地入力モードになる。

【００４９】校正開始スイッチ４０は、校正開始を指示
する押し釦スイッチであり、校正開始スイッチ４０が押
されると、ナビゲーション装置１０は校正モードにな
る。

【００５０】画面表示器２０の下方には、操作者の顔面
領域の画像を入力するＣＣＤカメラ等の撮像手段からな
る画像入力部１００と、画像入力部１００と共軸系をな
すように配置された第１照明器１１０と、第１照明器１
１０と離隔して配置されて画像入力部１００と非共軸系
をなす第２照明器１２０とが設けられている。第１照明
器１１０と第２照明器１２０とは、光学的に同一仕様の
照明器であり、赤外ＬＥＤ光を発する。

【００５１】なお、図１にて、５０はステアリンクホイ
ールを、６０はフロントウィンドシールドガラスを各々
示している。

【００５２】図２はこの発明による視線入力装置を適用
された車載用ナビゲーション装置の全体構成を示してい
る。

【００５３】この装置は、第１照明器１１０と第２照明
器１２０の発光動作を制御する照明発光制御部１３０
と、画像入力部１００から入力したアナログ画像信号を
ディジタル画像データに変換するＡ／Ｄ変換器１０１
と、入力されたディジタル画像データ（顔画像データ）
を保持する画像メモリ（フレームメモリ）１０２と、顔
画像データから操作者の注視位置を計測する注視位置計
測部１４０と、注視領域決定部１５０と、眼球状態検出
部１６０と、画面表示器２０におけるナビゲーション画
面上のポインタカーソルＡの表示を制御するカーソル表
示制御部１７０と、視線入力の結果に応じて地図表示を
制御する画面表示器２０における地図表示を制御するナ
ビゲーション地図制御部１８０と、個人の眼球サイズや
着座ポジションのずれの影響を低減するための校正デー
タの収集を行う校正処理部１９０と、装置全体の制御を
行う全体制御部２００とを有している。

【００５４】視線位置計測部１４０は、画像メモリ１０
２に格納された顔画像データから網膜反射像（瞳孔）を
抽出する瞳孔抽出部１４１と、瞳孔抽出部１４１により
抽出された瞳孔位置より分かる瞳孔近傍位置から第１照
明器１１０の角膜反射像を抽出する角膜反射像抽出部１
４２と、角膜反射像抽出部１４２により角膜反射像の抽
出結果から角膜反射像への合焦度合を算出判定する合焦
判断部１４３と、瞳孔抽出部１４１により抽出された瞳
孔位置と角膜反射像抽出部１４２により抽出された角膜
反射位置から、後述の校正データを基にして注視位置を
算出する注視位置算出部１４４とを含んでいる。

【００５５】注視領域決定部１５０は、注視位置算出部
１４４により算出された注視位置より操作者の視線方向
が属する領域を決定する。注視領域は、中央領域と、真
上領域と、右上領域と、右領域と、右下領域と、真下領
域と、左下領域と、左領域と左上領域とに９領域に定義
されている。

【００５６】眼球状態検出部１６０は、瞳孔抽出部１４
１による瞳孔抽出結果と合焦判断部１４３による合焦判
断結果から、眼球のカメラ視野内での位置と眼球への合
焦度合を算出し、長めの瞬き等の特徴的な眼球状態を検
出する。

【００５７】カーソル表示制御部１７０は、眼球状態検
出部１６０により検出される長めの瞬き等の特徴的な眼
球状態に応じて注視位置にカーソルポインタを一気に移
動するクイックモードと、カーソルポインタを視線方向
に所定ステップずつ移動させるステップモードとにカー
ソル移動モード（視線入力モード）を切り替えるカーソ
ル移動モード制御部１７１と、注視位置算出部１４４に
より算出された注視位置とカーソル移動モードに応じて
ナビゲーション画像上のポインタカーソルＡの移動を制
御するカーソル移動制御部１７２と、カーソル移動モー
ドモードに応じてナビゲーション画像上に表示するポイ
ンタカーソルＡの形状、色を制御するカーソル表示形状
・色制御部１７３とにより構成されている。

【００５８】図３（ａ）はクイックモードにおける画面
表示例を、図３（ｂ）はステップモードにおける画面表
示例を各々示している。この例では、ポインタカーソル
Ａは、クイックモードでは四角形で、ステップモードで
は楕円形になる。以降、四角形のポインタカーソルをＡ
ａ、楕円形のポインタカーソルをＡｂと区別して云うこ
とがある。

【００５９】カーソル移動制御部１７２は、クイックモ
ードではナビゲーション画像上のポインタカーソルＡを
注視位置算出部１４４により算出された注視位置に一気
に移動させる制御を行い、ステップモードでは注視領域
決定部１５０により決定され操作者の視線方向が属する
領域へ所定量ずつステップ移動させる制御を行う。

【００６０】校正処理部１９０は、図４に例示されてい
るように、校正用視標Ｆを画面標示器２０の画面の特定
位置に描画する校正用視標表示制御部１９１と、校正結
果から注視位置の算出に必要な変換係数を算出する校正
データ算出部１９２と、校正データを記憶する校正デー
タ記憶部１９３とを有している。

【００６１】次にこの発明による視線入力装置の作用を
説明する。

【００６２】視線方向の計測には、予め校正作業が必要
であり、目的地入力作業に先立ってキャリブレーション
作業として校正作業を行う。以下、校正作業の手順を説
明する。

【００６３】［校正作業］ （１） 操作者は、画面表示器２０の近傍に設置された
校正開始スイッチ４０を押して校正作業を開始する。校
正時には、ナビゲーション表示画面上に、図４（ａ）に
示されているように、視標制御部１９１により校正用視
標Ｆが一つずつ順次呈示される。操作者は、その間、校
正用視標Ｆを注視し続ける。

【００６４】（２） 画像入力部１００からは、操作者
の眼球を含む顔画像データが入力され、顔画像データ
は、Ａ／Ｄ変換器１０１によってディジタルデータに変
換され、画像メモリ１０２にストアされる。この時、第
１照明器１１０が点灯して第２照明器１２０が消灯した
時の画像ａと、第１照明器１１０が消灯して第２照明器
１２０が点灯した時の画像ｂとをほぼ同時に入力する。

【００６５】（３） つぎに、瞳孔抽出部１４１におい
て、画像ａから画像ｂの差分演算を行う。画像ａでは網
膜からの反射光により瞳孔が明るく光って観測され、画
像ｂでは瞳孔が暗く観測されるため、両者の差分結果
は、瞳孔領域が強調されたものとなる。差分画像ｃを固
定しきい値で２値化し、さらにラベリング処理を施し、
領域の番号付けを行う。

【００６６】差分画像ｃの中には、網膜反射像の他に、
例えば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部
照明の変動で生じた顔の一部など、様々なノイズが含ま
れる可能性がある。

【００６７】これらのノイズは、一般に不定形状、かつ
面積も不定であり、予め予想される面積の円もしくは楕
円として観測される網膜反射像と識別可能である。ここ
では、領域の面積と形状による識別を行う。

【００６８】ラベリングの結果、得られた各領域の面積
Ｒｉを、予め決めておいたしきい値Ｓ１、Ｓ２（Ｓ１＜
Ｓ２）と比較し、Ｓ１＜Ｒｉ＜Ｓ２を満足する領域のみ
を抜き出す。ここで、Ｓ１、Ｓ２は、ＣＣＤカメラの撮
影倍率から推定した予想される瞳孔径（直径２〜８ｍｍ
の瞳孔が、面積何画素の領域として観測されるかによっ
て決まる）にセットしておけばよい。

【００６９】眼鏡レンズ反射像も円形領域として観測さ
れるが、例えば、レンズの絞りを絞ることによって、網
膜反射像の面積より眼鏡レンズ反射像の面積が小さくな
るようにしておけば、面積により両者を識別可能であ
る。

【００７０】次に、残った領域に対して、その外接長方
形に対する領域面積の比率Ｆを計算する。網膜反射像は
円または楕円形状で観測されるため、比率Ｆがある一定
値Ｆｔｈ以上であるのに対し、例えば眼鏡フレーム反射
は、フレームに沿った細長い領域になるため、仮に網膜
反射像と同等の面積を有していても、Ｆが小さくなり識
別可能である。

【００７１】以上の識別の結果、残った領域を網膜反射
像に決定し、この網膜反射像の重心位置、即ち瞳孔重心
座標（Ｘｇ，Ｙｇ）を求める。

【００７２】もし、該当する領域が見つからない時は、
操作者が目を閉じているものと判断する。

【００７３】以上の（１）、（２）の一連の処理の流れ
を図５に要約して示す。

【００７４】（４） つぎに、角膜反射像抽出部１４２
において、差分画像ｃにおける瞳孔重心座標（Ｘｇ，Ｙ
ｇ）を中心として、網膜反射像を包含する小領域を定義
し、この小領域内で最大輝度を有する点を角膜反射像と
し、角膜反射像座標（Ｐｘ，Ｐｙ）を求める。

【００７５】（５） つぎに、合焦判断部１４３におい
て、角膜反射像の輝度値Ｉを求め、角膜反射像探索用の
小領域内の各画素をα・Ｉ（０＜α＜１）で２値化す
る。差分画像ｃの画素値がα・Ｉより大きければ１を、
小さければ０を与えることにし、２値化の結果、得られ
るα・Ｉより明るい画素の個数Ｋを算出する。

【００７６】もし、差分画像ｃが焦点の合った画像であ
るならば、角膜反射像の輝度ピークは鋭いものとなり、
画素数Ｋは小さい値となる。これに対し差分画像ｃが焦
点のぼけた画像であるならば、角膜反射像の輝度ピーク
はゆるやかなものとなり、画素数Ｋは大きい値となる。
もし、画素数Ｋが予め決めておいた値より大きければ、
入力した画像はピントのボケた画像であると判断する。

【００７７】（６） 眼球に合焦した画像が得られれ
ば、校正データ算出部１９２において、画像上の瞳孔重
心座標（Ｘｇ，Ｙｇ）、角膜反射像座標（Ｐｘ，Ｐｙ）
から、２個の視線パラメータδｘ＝Ｘｇ−Ｐｘ、δｙ＝
Ｙｇ−Ｐｙを求める。

【００７８】（７） また眼球状態検出部１６０におい
て、瞳孔抽出部１４１が出力する瞳孔重心座標（Ｘｇ，
Ｙｇ）と合焦判断部１４３の判定出力とから、角膜反射
像への合焦の有無を示す表示パターンを作成し、これを
画面表示器２に画面表示する。

【００７９】表示パターン例を図４（ａ）に示す。図４
（ａ）では、校正用視標Ｆの位置を網膜反射像の重心位
置に見立て、その外部に移動フレームＧを設けて、その
移動フレームＧ内の校正用視標位置によって、視野内の
眼球位置を表している。また角膜反射像に合焦している
時は校正用視標Ｆを図示されているように塗りつぶしパ
ターンにし、角膜反射像に合焦していない時は、白抜き
パターンにして表示する。

【００８０】この表示パターンより操作者自身が、眼球
のフレームアウトやピントのぼけを確認でき、状況に応
じて頭部位置を移動して定位置に保持することが容易と
なる。

【００８１】（８） （１）〜（７）を、同一位置の校
正用視標Ｆについて、校正データがＮ回得られるまで行
う。この結果、得られたＮ個の視線パラメータδｘ、δ
ｙをそれぞれ平均し、校正用視標Ｆに対する校正結果と
して、校正データδｘｉ、δｙｉを取得し、この校正デ
ータδｘｉ、δｙｉを校正データ記憶部１９３に記憶す
る。

【００８２】（９） 用意された全ての校正用視標Ｆ
（本実施例では、図４（ｂ）に示すように水平方向５
点、垂直方向５点）の各々について（１）〜（７）のル
ープが終了すると、水平方向について算出された校正デ
ータδｘのグループと、垂直方向について算出された校
正データδｙのグループ各々に対し、最小２乗法によっ
て、視標位置と視線パラメータδｘもしくはδｙの変換
式を決定する。

【００８３】一般に、視線の偏角が小さい領域において
は、視線パラメータδｘ、δｙと視標位置とが１次式ｙ
＝ａｘ＋ｂで記述されるものと考え、係数ａ、ｂを決定
する。

【００８４】なお、図４（ｂ）において、数字は校正用
視標Ｆの画面表示の順番を示している。

【００８５】（１０） 以上の校正結果から、操作者が
画面表示器２０の画面から軽く目をそらした時に得られ
ると予想される各方向の予測値をδｘｉとδｙｉより算
出する。これは、先に算出した係数ａ、ｂが軽く目をそ
らせた領域まで適用できるものと仮定し、軽く右に目を
そらせた時の予測値は、 δRight ＝δｘ5 −｜δｘ1 −δｘ5 ｜／４ 軽く左に目をそらせた時の予測値は、 δLeft＝δｘ1 ＋｜δｘ1 −δｘ5 ｜／４ 軽く上に目をそらせた時の予測値は、 δUpper ＝δｙ6 −｜δｙ10 −δｙ6 ｜／４ 軽く下に目をそらせた時の予測値 δLower ＝δｙ10 ＋｜δｙ10 −δｙ6 ｜／４ とする（なお、記号｜｜は絶対値を表す）。

【００８６】以上の処理によって校正作業が完了する。
この校正作業は、毎回行う必要はなく、１度行っておけ
ばよい。このようにして得られた校正データをメモリに
保存しておけば、後で再利用可能である。

【００８７】ナビゲーションの目的地入力が必要になれ
ば、目的地入力作業を行う。以下、目的地入力の手順を
図８を参照して説明する。

【００８８】［目的地入力作業］ （１） 目的地入力開始スイッチ１２０を押すと、画面
表示器２０の表示画面が画面が図３（ａ）に示されてい
るようなナビゲーションになり、目的地入力を受け入れ
る状態となる。

【００８９】（２） 目的地入力開始スイッチ１２０が
押されると、その後、連続して上述の［校正作業］にお
ける（２）〜（７）と同じ処理が行われ、画像上の瞳孔
重心（Ｘｇ，Ｙｇ）、角膜反射像座標（Ｐｘ，Ｐｙ）か
ら、２個の視線パラメータδｘ＝Ｘｇ−Ｐｘ、δｙ＝Ｙ
ｇ−Ｐｙと、角膜反射像への合焦度合を算出する。

【００９０】（３） （２）で算出した視線パラメータ
δｘ、δｙは、その都度、［校正作業］における（９）
で既に求めた変換式により、画面表示器２０のビゲーシ
ョン画面における位置座標に変換され、変換算出された
座標位置に、図３（ａ）に示すようなポインタカーソル
Ａａ（注視領域表示）と眼球状態図形Ｅとがスーパーイ
ンポーズされる。

【００９１】（４） 設定したい目的地が画面表示器２
０のナビゲーション画面に現れていない場合には、操作
者がナビゲーション画面の右下方に設定された広域表示
マーカＤを注視すると、ポインタカーソルＡａが、図８
（ａ）に示されているように、広域表示マーカＤ付近に
移動する。なお、視線計測装置の精度に限りがあるた
め、必ずしもポインタカーソルＡａが広域表示マーカＤ
に重なるとは限らない。

【００９２】（５） ポインタカーソルＡａが広域表示
マーカＤの近辺に移動した時点で、暫く目を閉じると、
例えば３００ｍｓｅｃ目を閉じると、眼球状態検出部１
６０において、網膜反射像が存在しないことから閉眼
（目を閉じること）が検知され、これに基づいてカーソ
ル移動モード制御部１７１の指示によりカーソル移動制
御部１７２のカーソル移動モードがディフォルトモード
であるクイックモードよりステップモードへ切り替わ
る。

【００９３】なお、３００ｍｓｅｃの瞬きは、１回の注
視位置算出に１００ｍｓｅｃを要するものとした時、３
回連続して網膜反射像が発見されなかったことにより判
定すればよい。また通常の瞬きは約１００ｍｓｅｃで完
了するため、不用意な瞬きによってモード切り替えが起
こる危険性は少ない。

【００９４】（６） カーソル移動モードが切り替わる
と、カーソル移動モード制御部１７１から出力された信
号によってカーソル表示形状・色制御部１７３が機能
し、カーソル移動モードが切り替わったことを操作者に
知らせるため、ポインタカーソルＡの形状を楕円形に変
化させる（図３（ｂ）参照）。なお、これは、ポインタ
カーソルＡの色を変更しても同様の効果が得られる。

【００９５】（７） 引き続き、［校正作業］における
（２）〜（７）と同じ処理の実行によって瞳孔と角膜反
射像の抽出を行い、視線パラメータδｘ、δｙを算出す
る。

【００９６】さらに、注視領域決定部１５０において、
δRight 、δLeft、δUpper 、δLower とδｘ、δｙと
の比較を行し、操作者が、図６に示す領域のいずれかを
注視しているかを決定する。

【００９７】図６のいずれの領域が注視されているか
は、以下の判定式によって評価する。

【００９８】中央領域ＣＮの注視時 δRight ＜δｘ＜δLeft かつ δUpper ＜δｙ＜δLo
wer 真上領域ＵＰの注視時 δRight ＜δｘ＜δLeft かつ δｙ≦δUpper 右上領域ＲＵの注視時 δｘ≦δRight かつ δｙ≦δUpper 右領域ＲＲの注視時 δｘ≦δRight かつ δUpper ＜δｙ＜δLower 右下領域ＲＵの注視時 δｘ≦δRight かつ δLower ≦δｙ 真下領域ＤＷの注視時 δRight ＜δｘ＜δLeft かつ δLower ≦δｙ 右下領域ＬＤの注視時 δLeft＜δｘ かつ δLower ≦δｙ 真下領域ＬＬの注視時 δLeft≦δｘ かつ δUpper ＜δｙ＜δLower 左上領域ＬＵの注視時 δLeft≦δｘ かつ δｙ≦δUpper （８） カーソル移動制御部１７２の動作により、ポイ
ンタカーソルＡｂの表示位置が（７）で算出された注視
領域の方向へ所定量、例えば１ドット、ステップ移動
し、ポインタカーソルＡｂがカーソル表示形状・色制御
部１７３によって画面表示２０のナビゲーション画面に
再描画される。このポインタカーソルＡｂの移動は、図
７の状態遷移図に基づいて行われる。

【００９９】なお、図７において、（ｘ，ｙ）は事前の
ポインタカーソル位置を、（ｘ’，ｙ’）は新たなポイ
ンタカーソル位置を、Δｘはｘ方向の単位移動ステップ
量を、Δｙはｙ方向の単位移動ステップ量を示し、また
矢印付きのＣＮ、ＵＰ、ＲＵ、ＲＲ、ＲＤ、ＤＷ、Ｌ
Ｄ、ＬＬ、ＬＵは各々注視した領域を示す。

【０１００】操作者は、ポインタカーソルＡｂの移動結
果を確認して、再び、ポインタカーソルＡｂを移動した
い方向に軽く目や頭をふる動作を繰り返す。

【０１０１】すると、（７）、（８）が連続的に実行さ
れ、ポインタカーソルＡが徐々に目的の場所、この場
合、広域表示マーカＤに近づく。

【０１０２】（９） 図８（ｂ）に示されているよう
に、ポインタカーソルＡが広域表示マーカＤに重なり、
３００ｍｓｅｃ程度、目が閉じられると、（５）と同様
に閉眼が検知され、この閉眼検知により広域表示マーカ
Ｄを選択したことが確定される。

【０１０３】すると、ナビゲーション地図制御部１８０
によって地図の縮尺を１ステップ変更し、その地図を再
表示することが行われ、またこれと同時に、カーソル移
動モードがステップモードに設定される。

【０１０４】（１０） 再表示され地図画面に目的地が
ない時は、再び（４）〜（９）を実行する。一般に
（４）〜（９）が複数回、行われると、目的地を画面内
に表示することができる。

【０１０５】（１１） 画面に目的地が表示、もしくは
目的地近傍が表示されたならば、画面表示器２０のナビ
ゲーション画面の上下左右４辺に設定されたスクロール
マーカＢ近辺を注視し、暫く（３００ｍｓｅｃ程度）目
を閉じてカーソル移動モードの変更を行い、図８（ｃ）
に示されているように、カーソルポインタＡｂを微動さ
せてスクロールマーカＢに重ね合わせ、再び暫く（３０
０ｍｓｅｃ程度）目を閉じて画面スクロールを選択確定
し、ナビゲーション地図制御部１８０によって画面スク
ロールを行わせる。

【０１０６】１ステップのスクロール実行後、カーソル
移動モードはクイックモードに自動的に切り替えられ、
ポインタカーソルＡの表示を切り替る。

【０１０７】（１２） （１１）を複数回行って、目的
地近傍が画面中央に表示されるようにする。

【０１０８】（１３） 目的地近傍が画面中央に表示さ
れれば、図８（ｄ）に示されているように、詳細表示マ
ーカＣを選択確定して画面を拡大表示する。この詳細表
示マーカＣの選択確定は、先に述べた広域表示マーカＤ
の選択確定と同様に行われればよい。（１３）を複数回
繰り返し、真の目的地近辺が画面に詳細表示されるよう
にする。

【０１０９】（１４） 真の目的地が画面に詳細表示さ
れれたら、操作者は設定したい目的地を注視する。これ
によりポインタカーソルＡａはクイックモードによりそ
の注視位置である目的地近傍にまで一気に移動する。

【０１１０】その後、約３００ｍｓｅｃの閉眼によって
カーソル移動モードをステップモード切り替え、ポイン
タカーソルＡｂを、図８（ｅ）に示されているように、
所定の位置までステップ移動させて目的場所に合致させ
る。

【０１１１】ポインタカーソルＡｂが目的場所に合致し
たら、約３００ｍｓｅｃの閉眼によって位置を確定す
る。

【０１１２】上述のようにして目的地が確定すると、ナ
ビゲーション地図制御部１８０において、現在地から目
的地までの最適経路が計算され、地図上にセットされ
る。

【０１１３】画面表示器２０のナビゲーション画面が図
３（ａ）に示されているような画面に戻り、目的地に向
けたナビゲーションが開始される。

【０１１４】次に図９、図１０を参照してこの発明によ
るコンソール用視線入力装置の他の実施の形態を説明す
る。

【０１１５】図９に示されている実施の形態では、ステ
ップ移動量変更部２１０が設けられている。ステップ移
動量変更部２１０は、注視領域決定部１５０より注視領
域の決定結果を取り込み、複数回の顔画像のサンプリン
グに亙って連続して同一領域を注視していたと判定すれ
ば、換言すれば同一領域の注視時間が所定値に達すれ
ば、１回当りのポインタカーソルＡｂのステップ移動量
（Δｘ、Δｙ）を大きくする。

【０１１６】これにより、仮に上述の［目的地入力作
業］において、入力目的位置と離れた位置でステップモ
ードに移行しても、素早く目的位置までポインタカーソ
ルＡｂを移動させることができる。

【０１１７】これは、もちろん、同一領域の注視時間に
応じて１回当りのポインタカーソルＡｂのステップ移動
量を徐々に大きくするようにしてもよい。

【０１１８】図１０に示されている実施の形態では、注
視時間計測部２２０が設けられている。注視時間計測部
２２０は、注視位置算出部１５０より注視位置の算出結
果を取り込み、同一位置の注視時間が所定値に達したこ
とを計測し、このことをカーソル移動モード制御部１７
１へ通達する。

【０１１９】カーソル移動モード制御部１７１は、注視
時間計測部２２０より通達を受けることによって、瞬き
に代えてカーソル移動モードを切り替える。

【０１２０】これにより、この実施の形態では、操作者
が同じ位置を所定時間に亙って注視することによりステ
ップモードとクイックモードとの切り替えが行われる。

【０１２１】以上のように、この発明の実施の形態とし
て、車載用ナビゲーション装置の目的地入力を例に上げ
たが、この発明によるコンソール用視線入力装置は、こ
れに限られることはなく、例えば、コンピュータにおけ
るＣＡＤ、ワードプロセッサ、ファイル操作等における
入力手段としても適用され得るものである。

【図面の簡単な説明】

【図１】この発明によるコンソール用視線入力装置を適
用された車載ナビゲーション装置の車載状態を示す説明
図である。

【図２】この発明によるコンソール用視線入力装置を適
用された車載ナビゲーション装置の全体構成を示すブロ
ック線図である。

【図３】（ａ）、（ｂ）はこの発明によるコンソール用
視線入力装置を適用された車載ナビゲーション装置にお
けるクイックモード時とステップモード時の画面表示例
を示す説明図である。

【図４】（ａ）、（ｂ）はこの発明によるコンソール用
視線入力装置を適用された車載ナビゲーション装置にお
ける校正作業時の画面表示例を示す説明図である。

【図５】この発明によるコンソール用視線入力装置にお
ける網膜反射像の抽出処理プロセスを示す説明図であ
る。

【図６】この発明によるコンソール用視線入力装置にお
けるカーソルステップ移動のための領域設定例を示す説
明図である。

【図７】この発明によるコンソール用視線入力装置にお
けるポインタカーソルの移動方向の状態遷移図である。

【図８】（ａ）〜（ｅ）はこの発明によるコンソール用
視線入力装置を適用された車載ナビゲーション装置にお
ける目的地設定処理における画面表示の遷移を示す説明
図である。

【図９】この発明によるコンソール用視線入力装置を適
用された車載ナビゲーション装置の他の実施の形態を示
すブロック線図である。

【図１０】この発明によるコンソール用視線入力装置を
適用された車載ナビゲーション装置の他の実施の形態を
示すブロック線図である。

【符号の説明】

１０ ナビゲーション装置 ２０ 画面表示器 ３０ 目的地入力開始スイッチ ４０ 校正開始スイッチ １００ 画像入力部 １１０ 第１照明器 １２０ 第２照明器 １３０ 照明発光制御部 １４０ 注視位置計測部 １５０ 注視領域決定部 １６０ 眼球状態検出部 １７０ カーソル表示制御部 １８０ ナビゲーション地図制御部 １９０ 校正処理部 ２００ 全体制御部 ２１０ ステップ移動量変更部 ２２０ 注視時間計測部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 入力位置マークを画面表示し、入力位置
   マークの表示位置を入力位置とするコンソール用視線入
   力装置において、 操作者の顔面領域の画像を入力する画像入力手段と、 前記画像入力手段による画像データから操作者の注視位
   置を計測する注視位置計測手段と、 前記注視位置計測手段によって計測された注視位置より
   操作者の視線方向が属する領域を決定する注視領域決定
   手段と、 前記注視領域決定手段によって決定された領域の方向に
   前記入力位置マークをステップ移動させる入力位置マー
   ク移動制御手段と、 を有していることを特徴とするコンソール用視線入力装
   置。
2. 【請求項２】 請求項１に記載のコンソール用視線入力
   装置において、前記入力位置マークのステップ移動量を
   操作者の同一領域の注視時間に応じて変更するステップ
   移動量変更手段を有していることを特徴とするコンソー
   ル用視線入力装置。
3. 【請求項３】 請求項１または２に記載のコンソール用
   視線入力装置において、前記入力位置マーク移動制御手
   段は、前記注視領域決定手段によって決定された領域の
   方向に前記入力位置マークをステップ移動させるステッ
   プモードと、前記注視位置計測手段によって計測された
   注視位置に前記入力位置マークを一気に移動させるクイ
   ックモードとを有し、何れか一方のモードを選択設定さ
   れることを特徴とするコンソール用視線入力装置。
4. 【請求項４】 請求項３に記載のコンソール用視線入力
   装置において、操作者の瞬きを検出する眼球状態検出部
   を有し、前記眼球状態検出部により検出される操作者の
   瞬きによって前記モードが切り替えられることを特徴と
   するコンソール用視線入力装置。
5. 【請求項５】 請求項３記載のコンソール用視線入力装
   置において、同一位置の注視時間が所定値に達したこと
   を計測する注視時間計測手段を有し、前記注視時間計測
   手段により同一位置の注視時間が所定値に達したことが
   計測されることによって前記モードが切り替えられるこ
   とを特徴とするコンソール用視線入力装置。
6. 【請求項６】 請求項３〜５の何れかに記載のコンソー
   ル用視線入力装置において、前記ステップモードと前記
   クイックモードとで前記入力位置マークの形状、色を変
   更する入力位置マーク形状・色制御手段を有しているこ
   とを特徴とするコンソール用視線入力装置。