JPH1186005A

JPH1186005A - 動作検出装置

Info

Publication number: JPH1186005A
Application number: JP9260932A
Authority: JP
Inventors: Hiroshi Saito; 浩斉藤; Norimasa Kishi; 則政岸
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-09-08
Filing date: 1997-09-08
Publication date: 1999-03-30
Anticipated expiration: 2017-09-08
Also published as: JP3627468B2

Abstract

(57)【要約】【課題】首振りを確実に検出できる動作検出装置を提
供する。【解決手段】ＣＣＤカメラ３は運転者１４の顔面を撮
像する。全体制御部１３は、照明発光制御部４の制御に
よって運転者を正面から照明する第１照明１と斜め方向
から照明する第２照明２が個別に照明を行なったときの
顔面画像をＡ／Ｄ変換器５でＡ／Ｄ変換させる。瞳孔抽
出部７は画像メモリ６から顔面画像を入力し両画像の差
分演算を行ない、二値化処理によって濃度の高い領域を
検出する。各領域について面積と円形検出によって瞳孔
領域を検出する。うなずき検知部８は、瞳孔の重心の変
位を検出し、所定時間内の往復変位でうなずきを検知す
る。ナビゲーション表示制御部は全体制御部を介して情
報開始操作スイッチ１２が操作されたことを検知し、う
なずきによって確認された情報ナビ情報データベース１
０から読み出しナビ表示部に表示するとともに、表示を
終了させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、機器の操作にお
ける操作指示を操作者の首振りで行なう場合の動作検出
装置に関する。

【０００２】

【従来の技術】首の縦振りと横振りは、対話において意
志を表現する１つの手段となっている。そのため、操作
者の首の縦振りと横振りをマン・マシンインタフェース
に適用しようという考えは古くからある。例えば特開平
７−１１７５９３号公報に開示されている車両用警報装
置では、、２段階に行なう車両距離警報に最初の警報に
対する運転者の反応を見て、警報に気づかない時、２次
的な警報を行なう。ここでは、運転者の反応として、顔
の動きが利用できるものとしている。この他にも多くの
事例では、操作負担の軽減を図り首振り動作を操作指示
に取り入れるようにしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
いずれも首振り動作の利用は指摘されているものの、具
体的な首振りの検出方法については言及されておらず、
実用に供するものとしては明確でないのが現状である。
本発明は、首の縦振りと横振りを画像認識により検出
し、装置の入力情報として装置を作動させ得る動作検出
装置を提供することを目的としている。

【０００４】

【課題を解決するための手段】このため、被験者の顔面
を撮像する画像入力手段と、被験者の顔面特徴点を画像
処理によって検出する顔面特徴点検出手段と、前記顔面
特徴点検出手段が出力する時間的に異なる画像の顔面特
徴点の位置を比較する比較手段と、この比較手段が比較
した前記顔面特徴点の位置が上下または左右方向に往復
変位したかを判定する判定手段と、この判定手段の判定
結果に基づいて首振り動作を検出する動作検出手段とを
有するものとした。

【０００５】前記動作検出手段は一回の首振りに要した
時間を算出し、その時間に基づいて次回の前回顔面特徴
点検出手段による検出を行なうタイミングが決定される
ものである。前記動作検出手段は首振り動作を検出した
のち、所定の時間間隔をあけて、次回の前記顔面特徴点
検出手段による検出を行なうことが望ましい。前記動作
検出手段は一回の首振りに要した時間を算出するととも
に前記時間間隔は首振り検出に要する時間であることが
望ましい。前記動作検出手段は前記判定手段により判定
された前記特徴点の変位方向から首振りが縦振りか横振
りかを判断することが可能である。前記顔面特徴点検出
手段は前回の顔面特徴点の検出位置を参照し次回の前記
顔面特徴点検出手段による検出範囲を決定することが望
ましい。前記顔面特徴点は瞳孔であることが望ましい。

【０００６】

【作用】首振りすれば、顔面が連動して特徴点が変位す
る。その特徴点の変位方向は首振り方向と一致するの
で、特徴点の往復変位を検知することで、首振りを認識
することが可能である。首振りに要した時間を実際に検
出し、その時間を基づいて次回の検出時間を決定するよ
うにすると、学習効果が働き、検出時間を正確に設定す
ることが可能で、誤検出を防ぐ効果が得られる。前記動
作検出手段は首振り動作を検出したのち、所定の時間間
隔をあけて、次回の検出を行なうようにすると、不用意
に首振りが複数回往復されたときの誤検出が防止され
る。

【０００７】特徴点の変位方向は首の振り方と一致する
ので、変位方向から首振りが縦振りか横振りかを判断す
ることが可能である。前記顔面特徴点検出手段は前回の
特徴点の検出結果を参照し次回の検出範囲を決定するこ
とにより、特徴点を探索する区域が小さくなり、処理す
るデータ量が減少される。前記特徴点は瞳孔とすること
により、網膜の反射と不反射を利用することが可能とな
り、その両画像から差分演算することによって瞳孔画像
が簡単に抜き出される。また瞳孔画像は円形か楕円形と
なるので、不定形状をとるノイズと区別され易く、重心
演算で瞳孔位置を示すデータが簡単に求められ変位演算
に精度の高い検出対象となる。

【０００８】

【発明の実施の形態】次に本発明を車載ナビゲーション
装置の情報検出に適用した実施例について図面を参照し
て説明する。図１は実施例の構成を示すブロック図であ
る。画像入力手段としてのＣＣＤカメラ３は運転者１４
の顔面を撮像できるように配置されているとともに顔面
を照明する第１照明１はＣＣＤカメラの光軸線上から、
第２照明２は第１照明１の横の所定位置で運転者を斜め
方向から照明するように設置される。第１照明および第
２照明は同じ近赤外線光を発するＬＥＤで構成され、顔
面を同じ強度で照明するように照射強度が調整されてい
る。

【０００９】ＣＣＤカメラ３は運転者１４の顔面を連続
撮像するが、全体制御部１３はＡ／Ｄ変換器５を制御
し、照明発光制御部４の制御によって第１照明１と第２
照明２が個別に照明を行なったときの顔面画像をＡ／Ｄ
変換させる。Ａ／Ｄ変換した顔面画像信号は画像メモリ
６に格納される。第１照明１と第２照明２の点灯は短い
時間間隔で行なわれ、それぞれの画像にはほぼ同時の顔
面が映されている。以下第１照明１が点灯時の画像を画
像Ａ、第２照明２が点灯した画像を画像Ｂとし、説明を
進める。

【００１０】画像メモリ６には顔面特徴点検出手段とし
ての瞳孔抽出部７が接続されている。瞳孔抽出部７は画
像Ａと画像Ｂの差分演算を行なう。その差分画像をさら
にしきい値で二値化処理して、濃度の高い領域を検出す
る。各領域についてはラベリング処理を施し、番号付け
を行なう。画像Ａでは第１照明１はＣＣＤカメラのレン
ズ方向から光を投射するので、網膜からの反射光により
瞳孔が明かるく光って観測される。画像Ｂでは第２照明
による光投射が斜め方向から行なわれて瞳孔が暗く観測
される。したがって、画像Ａと画像Ｂの差分結果は瞳孔
領域が強調されたこととなり、上記の二値化処理で抜き
出される。

【００１１】差分画像の中には網膜反射像の他、例えば
眼鏡をかけた人からは眼鏡レンズ反射像、眼鏡フレーム
反射像、さらには外部照明の変動で顔の一部が現われる
などなど様々なノイズが含まれる可能性がある。これら
のノイズは一般的に不定形状、かつ面積も不定であるた
め、形状と面積の処理によって識別することができる。
瞳孔抽出部７では、ラベリング処理された各領域に対し
て、領域の面積Ｒｉを演算し、予め決めておいたしきい
値Ｓ１、Ｓ２と比較して、Ｓ１＜Ｒｉ＜Ｓ２を満足する
領域を抽出する。ここで、Ｓ１、Ｓ２は、ＣＣＤカメラ
の撮影倍率から推定した瞳孔面積の上下限に対応した値
である。例えば直径２〜８ｍｍの瞳孔が、画像上で何画
素の領域として観測されるかに合わせて設定される。

【００１２】上記抽出された領域をその外接長方形に対
する領域面積の比率Ｆを計算し比率Ｆがある一定値以上
の場合瞳孔として抽出する。すなわち網膜反射像は円ま
たは楕円形状で観測されるため、比率Ｆが大であるのに
対し、眼鏡フレームの反射は、フレームに沿った細長い
領域になるため、Ｆ値が小さくなって、Ｆ値の判別によ
って検出対象から振り落とされる。そのほかのノイズに
ついても円形ほどの比率Ｆが得られないので、検出対象
とならず、除去される。

【００１３】次に、瞳孔領域の重心について演算を行な
う。この重心は瞳孔を代表することができるので、その
位置変動で運転者の首振り動作を検知することが可能で
ある。ここで、瞳孔の重心（Ｘｇ、Ｙｇ）を次式に基づ
いて算出する。なお、２値化画像をＣ（ｘ、ｙ）とし、
Ｃ（ｘ、ｙ）＝１は抽出された瞳孔領域である。Ｘｇ＝Σｘ／〔Ｃ（ｘ、ｙ）＝１の画素総数〕但し、ｘはＣ（ｘ、ｙ）＝１の画素のｘ座標Ｙｇ＝Σｙ／〔Ｃ（ｘ、ｙ）＝１の画素総数〕但し、ｙはＣ（ｘ、ｙ）＝１の画素のｙ座標瞳孔抽出部７に動作検出手段として接続されるうなずき
検知部８は、瞳孔の重心の変位を検出し、その変位方向
からうなずきを検出する。うなずき検出方法は後述のフ
ローチャートにしたがって詳細に説明する。

【００１４】ナビゲーション表示制御部９は全体制御部
１３と接続され、全体制御部には情報検索開始スイッチ
１２が接続される。ナビゲーション表示制御部９は全体
制御部１３を介して情報検索開始スイッチ１２が操作さ
れたことを検知し、情報検索を行なうとともにうなずき
検知結果を入力して所定の検索制御を行なう。ナビ情報
データベース１０には情報検索に必要な情報内容が格納
されており、ナビ表示部１１は情報検索ためのアイコン
と検索された情報内容を表示する。

【００１５】情報検索が必要なとき、運転者１４は情報
探索開始スイッチ１２を押す。このスイッチ情報をナビ
ゲーション表示制御部９は全体制御部１３を介して検知
すると、画面表示中の地図情報に例えば駐車場、ガソリ
ンスタンド、コンビニエンスストア、レストランなどの
施設情報を検索する。それにはまず施設内容を示すアイ
コンがナビ表示部１１に画面表示される。各アイコンは
例えば図４、図５のように同時に画面表示されるととも
にタイマー制御によって一定時間Ｔ（例えばＴ＝２ｓ）
毎に着色を順番に変えて表現される。

【００１６】運転者は選びたい情報を示すアイコンが着
色されている間にうなずきによって、意志を伝達する。
うなずきはＣＣＤカメラ３で撮像された画像からうなず
き検出部８での処理によって検出される。運転者は例え
ば着色された駐車場のアイコンに対しうなずきを行なっ
た場合ナビゲーション表示制御部９は駐車場の情報をナ
ビ情報データベース１０から読み出しナビ表示部１１に
表示させる。駐車場アイコンが図６のように駐車場情報
の表示とともに着色パターンを変えて情報が選択されて
いることを表現する。これによりうなずきを受け付けた
と確認することができる。そして再度のうなずきが検出
されると、ナビ情報の探索を終了するものとしてナビゲ
ーション表示制御部９は画面表示を終了する。表示画面
は図７のように探索された情報が消え元の地図画面とな
る。

【００１７】図２は、運転者とかかわりのあるＣＣＤカ
メラ、照明、情報検索開始スイッチの設置レイアウトを
表示する。すなわち車両のウインドシールドの下方の計
器盤に、ナビ表示部１１としてのモニタが設置されてい
る。モニタの右下方に情報検索開始スイッチ１２が設け
られる。モニタのすぐ下方にＣＣＤカメラ３と第１照明
１は同軸系をなすように設置される。第２照明２は第１
照明１の隣で一定の間隔をもって設置される。ＣＣＤカ
メラ３は運転者の両眼を含めた顔面を撮影できるように
なっている。

【００１８】次に、画面表示の流れおよび制御を図３の
フローチャートにしたがって説明する。すなわち、ステ
ップ１０１において、全体制御部１３を介して情報検索
開始スイッチ１２が押されたことを検知すると、ステッ
プ１０２で情報内容を示すアイコン表示が行なわれる。
本実施例では、情報内容としては走行路情報にレストラ
ン、駐車場、ガソリンスタンド、コンビニエンスストア
といった走行路上の情報を呼び出すもので、走行路情報
の表示画面に重ねて表示することになる。アイコンはタ
イマーに制御されて、一定時間毎に順次に着色を更新し
て表示する。図４、図５はその表示画面を示し、それぞ
れの（ａ）、（ｂ）には地図情報と着色が変化していく
アイコンが表示されている。

【００１９】ステップ１０３において、ナビゲーション
表示制御部９はうなずき検知部８からうなずき（首の縦
振り）の検出結果が入力されたかをチェックし、ステッ
プ１０４で、うなずきされた着色中のアイコン情報をナ
ビ情報データベースから読み出してモニタに表示させ
る。なお、この際うなずきのチェックは継続されてい
る。図６は例えば所要の情報が駐車場の場合の表示画面
を示す。画面には駐車場アイコンが着色パターンを変え
て同時に表示されて選択されている内容を表現してい
る。そしてステップ１０５で、再度のうなずきがあった
ことがチェックされると、ステップ１０６で情報検索を
終了する。モニタ表示画面は図７に示すように探索され
た情報とアイコンが消えた地図のみの画面となる。

【００２０】次に、うなずき検知部８におけるうなずき
の検知について図８のフローチャートにしたがって説明
する。ステップ２０１で、処理の時間経過を監視するタ
イマーの初期化が行なわれる（ｔ＝０）と、首振りの検
知を始める。まずステップ２０２で、瞳孔抽出部７から
瞳孔検出結果を入力する。その入力をステップ２０３で
前回の入力結果との演算で首が縦方向に振れ始めたかを
判定する。振れ始めていない場合、ステップ２０４で単
位時間経過のカウントを経て、次の瞳孔検出結果を入力
するようにステップ２０２に戻り、振れ始めたと判定す
る場合はステップ２０５へ進む。すなわちステップ２０
３で時間的に連続して入力した瞳孔の重心位置を比較
し、時刻ｔで得た重心位置（Ｘｇｔ、Ｙｇｔ）と時刻ｔ
＋１で得た重心位置（Ｘｇｔ＋１、Ｙｇｔ＋１）につい
てその下向きの垂直方向変位（Ｙｇｔ＋１−Ｙｇｔ）は
一定値Ｔｈ１より大きく、水平方向の変位（Ｘｇｔ＋１
−Ｘｇｔ）が一定値Ｔｈ２内に収まった場合、首が縦方
向に振れ始めたとして判断する。

【００２１】ステップ２０５で首が縦方向に振れた時刻
ｔｓをうなずき開始時刻として記憶したのち、うなずき
の後半に現われる上向きの動きを検出するよう次のフロ
ーが実行される。このフローでは前記フローと区別する
よう時間ｔの代わりに時間ｔａを用い、時刻ｔｓを初期
値とする。すなわちステップ２０６で〜ステップ２０９
を通じて時間経過を監視しながら、次の瞳孔検出結果を
入力する。時刻ｔａ＋１と時刻ｔａで得た瞳孔重心の位
置比較で、上向きの垂直方向変位｜Ｙｇｔａ＋１−Ｙｇ
ｔａ｜が一定値Ｔｈ１を越え、水平方向変位｜Ｘｇｔａ
＋１−Ｘｇｔａ｜が一定値Ｔｈ２内に収まっていると
き、首が上向きに移動したとして検知する。この際、ス
テップ２０６で、首が縦方向に振れ始めた時間ｔｓから
の時間経過（ｔａ−ｔｓ）がある一定時間ｔｍａｘにな
るまでに上向きの移動が発生しない場合、ステップ２０
３で検知された首の縦方向振れはうなずきによるもので
ないとして棄却する。うなずきの速度は人によって異な
るが、時間ｔｍａｘは考えられるうなずきの最長時間と
して、例えば２秒として設定しておけばよい。上記処理
の間には瞳孔の検出結果入力は続けられている。

【００２２】首の上向きの振れが検知されると、首の動
きが停止したかをチェックするフローが実行される。こ
れは車が凸凹道を走るときの車の振動によるものあるい
は居眠りによるものなど自覚したうなずき以外の首振り
をうなずきとして検知するのを防ぐための処理である。
ステップ２１０において上記上向きが検出された時刻ｔ
ａを下記の処理を行なう時間ｔｂの初期値として設定す
る。ステップ２１１〜ステップ２１５では時間の経過を
監視しながら、瞳孔検出結果を続けて入力する。その入
力結果から首が２回の検出で振れないと判定した場合、
自覚したうなずきが行なわれたとして検出する。すなわ
ち、時刻ｔｂ＋１と時刻ｔｂで得た瞳孔重心の垂直方向
変位（Ｙｇｔｂ＋１−Ｙｇｔｂ）を演算し、演算値が一
定値Ｄｔｈ内、かつ時刻ｔｂ＋２、時刻ｔｂ＋３での瞳
孔重心位置の垂直変位（Ｙｇｔ＋３−Ｙｇｔ＋２）も一
定値Ｄｔｈ内に収まっている場合、うなずきを検出す
る。ステップ２１１で首が振れ始めてからの時間経過
（ｔｂ−ｔｓ）がある一定時間ｔｍａｘになるまでに首
振れが停止しない場合、うなずきが発生していないとし
て上記検出結果が棄却される。ステップ２０３、ステッ
プ２０７、ステップ２０８は比較手段と判定手段を構成
している。

【００２３】本実施例は以上のように構成され、瞳孔を
顔面特徴点として検出し、その動きを追跡して変位特徴
を認識しうなずきを検知するので、情報の検索に手を介
さずに操作することができる。操作が複雑で、従来停車
中にしか行なえない機能も人間の自然な動作で制御する
ことにより走行中にも扱えるようになり、高度な走行制
御が可能となる。また、特徴点としての瞳孔は所定の大
きさをもつため、画像がぼけていても計測が可能であ
る。これにより、運転者の奥行き方向の移動が許され
る。さらにはＣＣＤカメラの画角を広く設定することも
でき、運転者の上下左右方向の移動可能範囲も拡大され
る。顔面の特徴としては実施例では瞳孔を利用したが、
これに限らず例えば鼻の穴や睫毛などを用いてもよい。
なお、本実施例では、うなずき検出について説明した
が、否定的表現としての横振りも同様の検出手法で検出
できることがいうまでもない。

【００２４】次に第２の実施例について説明する。図９
は第２の実施例の構成を示すブロック図である。この実
施例は、図１における第１の実施例のうなずき検知部８
の代わりにうなずき検知およびうなずき時間算出部１９
とうなずき時間予測部２０を用い、画像メモリ６と瞳孔
抽出部７の間には瞳孔位置予測部１７を追加した構成と
なっている。その他は第１の実施例と同様である。

【００２５】瞳孔位置予測部１７は前回の瞳孔位置の近
傍に新たな瞳孔探索領域を設定する。すなわち、１回目
は、入力画像全体を探索領域として前記第１実施例と同
じように差分画像を２値化処理して濃度の高い領域を検
出し、ラベリング処理によって瞳孔の検出対象を決定す
る。２回目からは、前回の瞳孔重心を含む小領域を探索
領域として設定する。すなわち前回の瞳孔重心（Ｘｇ
ｔ、Ｙｇｔ）に対して、点（Ｘｇｔ−Ｘｏ、Ｙｇｔ−Ｙ
ｏ）、（Ｘｇｔ＋Ｘｏ、Ｙｇｔ＋Ｙｏ）をそれぞれ左
上、右下とする四角形を探索領域とする。探索領域のサ
イズｘｏ、ｙｏは、ＣＣＤカメラの撮影倍率にうなずき
による眼球の移動量を勘案して設定される。瞳孔抽出部
７は、上記瞳孔位置予測部１７で設定された探索領域を
探索し、瞳孔領域を抽出する。

【００２６】うなずき検知およびうなずき時間算出部１
９は第１の実施例と同じようにうなずきを検出し、うな
ずき開始から検出終了までの時間ｔｒを演算し、うなず
きに要した時間ｔｒをうなずき時間予測部２０に送る。
うなずき時間予測部２０には過去のうなずき時間ｔｒが
記憶されており、新たに計測されたうなずき時間ｔｒを
加えて、それらの平均値ｔｏと標準偏差ｔｓｔｄが算出
される。その結果、うなずきに要する時間の最大値の予
測値をｔｏ＋３×ｔｓｔｄに更新し、うなずき検知およ
びうなずき時間算出部１９に送り、うなずき検知および
うなずき時間算出部１９で用いられるうなずきの最大時
間ｔｍａｘを上記値に更新する。予測を行なう際、過去
にうなずきに要した実際値ｔｒを用いるので、意味のな
い往復変位が統計処理に使用されることなく、信頼性の
高いデータとなる。うなずき検知およびうなずき時間算
出部１９は、さらにうなずきを検出するとともに、上記
演算されたうなずきに要した時間ｔｒだけ、うなずき検
知処理を中断して次回のうなずき検知を開始する。

【００２７】図１０は検知処理を中断するフローチャー
トである。すなわち、前記図８のフローチャートにした
がってうなずき検出が行なわれると、ステップ３０１で
首振り始めと瞳孔移動が停止するまでの時間を計算して
うなずきに要した時間ｔｒとして求める。ステップ３０
２ではタイマーの初期化が行なわれる。ステップ３０３
においては単位時間のウエイトを入れる。ステップ３０
４では時間経過のカウントが行なわれる。ステップ３０
５では時間経過ｔがｔｒになったかをチェックする。時
間経過ｔがｔｒになっていない場合ステップ３０３に戻
り上記処理が繰り返される。ステップ３０５で時間経過
ｔが時間ｔｒを越えたら次のうなずきを検出するように
図８のフローチャートが実行される。このように時間ｔ
ｒの間、うなずき検知が中断されるから、一回のつもり
で連続して行なわれるうなずきが複数回のうなずきとし
て検知されることなく、不用意な連続うなずきによって
ナビゲーションの制御に支障を来たすのが防止される。

【００２８】本実施例は以上のように構成され、瞳孔の
探索範囲を限定するようにしたため、扱うデータ量が減
少され、瞳孔の抽出処理の高速化が図られるともに、ノ
イズによる影響が低減され、信頼性の高い抽出効果が得
られる。またうなずきに要する時間を累積記憶し、その
平均と分散によってうなずきに要する時間を次回の検出
の最大時間とするから、個人差によってうなずき時間が
異なっても、学習効果が働き、安定した検出効果が得ら
れる。

【００２９】

【発明の効果】顔面特徴点の往復変位を検知し首振りを
認識するようにしたので、被験者の顔面画像以外のデー
タ採集が不要で被験者の動きを拘束することなく検出が
できる。これによって被験者が自然な状態で機器に操作
指令を発することな可能となる。例えば自動車の運転で
は、運転者の顔面画像をとるだけで走行中でもナビゲー
ション等の操作が可能となり、高度な走行制御が行なえ
る。

【００３０】首振りに要した時間を実際に検出し、その
時間を基づいて次回の検出時間を決定するようにする
と、学習効果が働き、検出時間を正確に設定することが
可能で、誤検出を防ぐ効果が得られる。前記動作検出手
段は首振り動作を検出したのち、所定の時間間隔をあけ
て、次回の検出を行なうようにすると、首の動作回数の
違いによる誤検出が防止される。

【００３１】前記動作検出手段は前記特徴点の変位方向
から首振りが縦振りか横振りかを判断するようにする
と、肯定、否定両方の操作命令を出すことが可能であ
る。前記顔面特徴点検出手段は前回の特徴点の検出結果
を参照し次回の検出範囲を決定するようにすると、検出
範囲を小範囲に限定することが可能となり、扱うデータ
量が減少され、ノイズの影響が軽減されるとともに演算
負担が軽くなる。前記特徴点は瞳孔であると、光の反射
画像を利用することが可能となり、照明の照射角度を変
え光の反射画像と不反射画像を作り、差分演算によって
瞳孔画像が簡単に抜き出され、質の高い抽出効果が得ら
れる。

【図面の簡単な説明】

【図１】発明の実施例を示すブロック図である。

【図２】ＣＣＤカメラなどの設置レイアウ示す図であ
る。

【図３】フローチャートである。

【図４】アイコンの着色を表示するナビ表示画面であ
る。

【図５】アイコンの着色を表示するナビ表示画面であ
る。

【図６】駐車場情報を表示するナビ表示画面である。

【図７】ナビ表示画面である。

【図８】うなずきを検出するためのフローチャートであ
る。

【図９】第２の実施例を示すブロック図である。

【図１０】ウイエトと入れるためのフローチャート。

【符号の説明】

１第１照明２第２照明３ＣＣＤカメラ４照明発光制御部５Ａ／Ｄ変換器６画像メモリ７瞳孔抽出部８うなずき検知部９ナビゲーション表示制御部１０ナビゲーション情報データベース１１ナビ表示部１２情報検索開始スイッチ１３全体制御部１４運転者（被験者）１７瞳孔位置予測部１８瞳孔抽出部１９うなずき検知およびうなずき時間算出部２０うなずき時間予測部

Claims

【特許請求の範囲】

【請求項１】被験者の顔面を撮像する画像入力手段
と、被験者の顔面特徴点を画像処理によって検出する顔
面特徴点検出手段と、前記顔面特徴点検出手段が出力す
る時間的に異なる画像の顔面特徴点の位置を比較する比
較手段と、この比較手段が比較した前記顔面特徴点の位
置が上下または左右方向に往復変位したかを判定する判
定手段と、この判定手段の判定結果に基づいて首振り動
作を検出する動作検出手段とを有することを特徴とする
動作検出装置。
【請求項２】前記動作検出手段は一回の首振りに要し
た時間を算出し、その時間に基づいて次回の前回顔面特
徴点検出手段による検出を行なうタイミングが決定され
ることを特徴とする請求項１記載の動作検出装置。
【請求項３】前記動作検出手段は首振り動作を検出し
たのち、所定の時間間隔をあけて、次回の前記顔面特徴
点検出手段による検出を行なうことを特徴とする請求項
１記載の動作検出装置。
【請求項４】前記動作検出手段は一回の首振りに要し
た時間を算出するとともに前記時間間隔は首振り検出に
要する時間であることを特徴とする請求項３記載の動作
検出装置。
【請求項５】前記動作検出手段は前記判定手段により
判定された前記特徴点の変位方向から首振りが縦振りか
横振りかを判断することを特徴とする請求項１記載の動
作検出装置。
【請求項６】前記顔面特徴点検出手段は前回の顔面特
徴点の検出位置を参照し次回の前記顔面特徴点検出手段
による検出範囲を決定することを特徴とする請求項１記
載の動作検出装置
【請求項７】前記顔面特徴点は瞳孔であることを特徴
とする請求項１記載の動作検出装置。