JP2003196655A

JP2003196655A - 目画像検出装置

Info

Publication number: JP2003196655A
Application number: JP2001392211A
Authority: JP
Inventors: Hiroaki Shimizu; 宏明清水; Hiroki Okamura; 宏樹岡村; Yoshiyuki Hatakeyama; 善幸畠山; Kenichi Kitahama; 謙一北浜; Akio Fukamachi; 映夫深町; Hiroshi Nakamura; 弘中村; Takeshi Sawamura; 武澤村; Tomoaki Osawa; 智明大沢
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2001-12-25
Filing date: 2001-12-25
Publication date: 2003-07-11

Abstract

(57)【要約】【課題】簡単な処理で人の目の位置を検出できる目画像
検出装置を提供すること。【解決手段】撮像手段と、撮像手段から得られた画像デ
ータ上において目画像を抽出するためのテンプレートを
走査することにより画像データから直接に第１の目画像
候補を抽出する第１の抽出手段と、第１の目候補から所
定の範囲にある第２の目画像候補を抽出する第２の抽出
手段と、第２の目画像候補が前記第１の目画像候補と一
つの顔において対をなす目画像であるか否かを判定する
判定手段とを備え、画像データ上から直接抽出した第１
の目画像候補に対して所定の範囲に限定して第２の目画
像候補を探し、第１の目画像候補と第２の目画像候補と
が、人の顔において対をなす関係に有るか否かを判定す
ることにより、第１および第２の目画像候補が一対の目
に対応するものであると判断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像手段により得
られた画像データから人の目の画像を検出する目画像検
出装置に関するものであり、さらに、その目画像検出装
置を利用した各種装置に関するものである。

【０００２】

【従来の技術】デジタル画像から人の目の画像を自動的
に抽出する方法として、特開平１１−１４９５５９号公
報に開示されたものがある。この従来技術は、カラー画
像を前提としており、まず、カラー画像から肌色領域を
抽出した後、その肌領域の形状から顔に相当すると思わ
れる顔領域を検出する。その後、顔領域からテンプレー
トマッチングにより目を検出する。その際に、顔領域と
して抽出された顔の向きと大きさに対応してテンプレー
トの向きと大きさを変化させる。そして、距離的および
角度的な条件等に従って顔領域中の目候補をペアリング
処理することにより目画像を抽出する。

【０００３】

【発明が解決しようとする課題】上記従来技術によれ
ば、カラー画像が必要であり、モノクローム画像に適用
することができないという問題があった。

【０００４】また、肌の検出、顔の検出を経た後に目を
検出するために、処理工程が多く演算時間が長期化する
という問題があった。

【０００５】

【課題を解決するための手段】本発明の目画像検出装置
は、このような問題を解決するためになされたものであ
る。

【０００６】本発明の目画像検出装置は、撮像手段と、
撮像手段から得られた画像データ上において目画像を抽
出するためのテンプレートを走査することにより画像デ
ータから直接に第１の目画像候補を抽出する第１の抽出
手段と、第１の目候補から所定の範囲にある第２の目画
像候補を抽出する第２の抽出手段と、第２の目画像候補
が前記第１の目画像候補と一つの顔において対をなす目
画像であるか否かを判定する判定手段とを備えたことを
特徴とする。

【０００７】この目画像検出装置によれば、画像データ
上から直接抽出した第１の目画像候補に対して所定の範
囲に限定して第２の目画像候補を探し、第１の目画像候
補と第２の目画像候補とが、人の顔において対をなす関
係に有るか否かを判定することにより、第１および第２
の目画像候補が一対の目に対応するものであると判断す
る。

【０００８】このため、従来技術のように、肌領域や顔
領域の抽出をすることなく、同一の顔に存在する一対の
目を検出することが可能である。したがって、カラー画
像を必須とする必要が無く、演算処理も簡略化できる。

【０００９】また、画像データ上から直接抽出した第１
の目画像候補が目画像ではなかった場合には、第１の目
画像候補と一つの顔において対をなす第２の目画像候補
が検出される確率はきわめて低いので、画像データ上か
ら直接に目画像候補を抽出しても実質的に誤検知するこ
とがない。

【００１０】本発明の目画像検出装置では、テンプレー
トは、顔の左右への傾きに応て異なるものが複数種類用
意されていることが望ましい。こうすることにより、撮
像手段に対向している人物の顔が傾いていても、その者
の目を確実に検出することができる。

【００１１】本発明の目画像検出装置では、第１および
第２の抽出手段は、画像データの拡大または縮小によっ
て撮像手段から異なる距離にある目の目画像を抽出する
ことが望ましい。撮像手段からの距離に応じて多数のテ
ンプレートを用意しなくても、撮像手段から異なる距離
にある目の目画像を抽出することができる。

【００１２】本発明の目画像検出装置では、テンプレー
トは、瞳およびその近傍に対応する第１輝度評価領域
と、第１輝度評価領域を囲む第２輝度評価領域とを有し
ており、第１の抽出手段は、第１輝度評価領域および第
２輝度評価領域のそれぞれの平均輝度および輝度分散に
基づいて目画像を抽出するものであることが望ましい。

【００１３】目の中心部に対応する第１輝度評価領域の
平均輝度と、その外周部に対応する第２輝度評価領域の
平均輝度だけで目画像か否かを判断せず、各輝度評価領
域の輝度分散情報も併せて利用するので、照明環境の相
違等のために平均輝度が異なっていても精度よく目画像
を検出することができる。

【００１４】本発明の目画像検出装置では、テンプレー
トは、複数の目画像サンプルについて瞳を中心とした所
定領域内で画素毎に目画像サンプルの分散を予め求め、
求めた分散値に応じて各画素を複数のグループに分類し
たものであり、第１の抽出手段は、各グループのそれぞ
れの平均輝度および輝度分散に基づいて目画像を抽出す
るものであることが望ましい。

【００１５】各グループは複数の目画像サンプルの分散
値よって特徴づけられており、各グループに属する画素
の平均輝度および輝度分散をたとえばグループ間で比較
することによって画像データ全体の平均輝度の影響を受
けずに、精度よく目画像を検出することができる。

【００１６】本発明の目画像検出装置では、距離算出手
段をさらに備えると共に、撮像手段を複数台備え、第１
の抽出手段、第２の抽出手段および判定手段が、複数の
撮像手段により得られた各画像データについてそれぞれ
処理を施すことにより、画像データ毎に目画像を検出す
るものであり、距離算出手段が、各画像データの目画像
の位置を比較することにより撮像手段から目までの距離
を視差に基づいて算出するものであることが望ましい。

【００１７】異なる撮像手段で得られた画像データを照
合することにより、視差に基づいて高精度に距離を算出
することができる。また、画像データの照合は誤検知の
低減にも有効である。

【００１８】本発明の動作制御装置は、人に対して所定
のアクションを提供する機器の動作を制御するものであ
って、本発明の目画像検出装置と、目画像検出装置によ
り検出された目画像に対応する目を持つ人物にアクショ
ンが適合するように機器を制御する制御手段とを備えた
ことを特徴とする。

【００１９】目画像の検出によって撮像手段に顔を向け
ている人を認識することができるので、選択的に認識し
た人に適合するように機器を制御できる。たとえば、利
用者の位置や姿勢（顔の傾き）に合わせて表示装置、オ
ーディオ機器、空調装置、オートテニス、自動車のバッ
クミラー等の機器を制御することができる。

【００２０】本発明の動作制御装置では、制御手段は、
目画像検出装置により検出された目画像の変化から対応
する目の移動を検出し、その目の移動方向を考慮して機
器が実行するアクションを制御することが望ましい。

【００２１】このような構成によれば、撮像手段に正対
して近づいてくる人を選択的に抽出して機器を制御する
ことができるので、たとえば、機器として動く歩道や接
近警報装置や自動ドア等を近づいてくる人に合わせて適
切に動かすことができる。

【００２２】本発明の動作制御装置では、目画像検出装
置により検出された目画像に対応する目を持つ人物の表
情を認識する表情認識手段をさらに備え、制御手段は、
表情認識手段により認識された表情に応じて機器の動作
速度を変更することが望ましい。

【００２３】機器が動く歩道や自動ドアであったと仮定
し、表情認識手段がたとえば急いで向かってくる人の表
情を認識したときには、動く歩道の速度を速くしたり、
自動ドアの開く速度を速くして、利用者の意図に機器の
動きを合わせることができる。

【００２４】本発明の視聴調査装置は、映像を表示する
映像表示部と、撮像手段が映像表示部に対向する領域を
撮像するように配置された本発明の目画像検出装置と、
目画像検出装置により検出された目画像に基づいて映像
表示部に顔を向けている人の数を計数する人数計数手段
とを備えたことを特徴とする。

【００２５】映像表示部の近傍にいる人々の中から、映
像表示部を見ている人のみを選択的に抽出してその人数
を計数することにより、視聴率を自動的に調査すること
ができる。

【００２６】本発明の自動改札制御装置は、通行方向の
切り換えが可能な複数の改札通路の通行方向を制御する
制御装置であって、撮像手段が改札通路に配置された本
発明の目画像検出装置と、目画像検出装置により検出さ
れた目画像に基づいて、各改札通路に近づいてくる人の
数と距離を検出する利用者検出手段と、利用者検出手段
により検出された各改札通路に近づいてくる人の数と距
離に基づいて、各改札通路の通行方向を決定する通行方
向決定手段とを備えたことを特徴とする。

【００２７】複数の改札通路を備えた自動改札などにお
いて、各改札通路に近づいてくる人の数および距離を相
互に比較することにより、改札通路で渋滞しないように
効率よく改札通路の通行方向を決めることができる。

【００２８】

【発明の実施の形態】図１は、本発明の一実施形態であ
る目画像検出装置の構成を示す図である。撮像手段であ
る第１カメラ１および第２カメラ２は、光学系の光軸が
互いに平行で撮像方向が同一の方向に向けられており、
距離ｄの間隔をもって並設されている。第１カメラ１お
よび第２カメラ２で得られた画像データはそれぞれ画像
処理部３に送られ、画像処理部３において画像データ上
の目画像の検出が行われる。

【００２９】画像処理部３は、画像縮小手段４、第１の
抽出手段５、第２の抽出手段６、判定手段７、およびこ
れらの各手段の動作タイミングや動作条件を制御する制
御手段８を備えている。

【００３０】画像縮小手段４は、第１カメラ１または第
２カメラ２から得られた画像データの画像を１／２倍、
１／３倍にそれぞれ選択的に縮小し、第１の抽出手段５
に向けて出力する。縮小率の指示は制御手段８から与え
られ、１倍すなわち縮小処理を行わない場合も含まれ
る。

【００３１】第１の抽出手段５は、画像縮小手段４から
の非縮小画像データまたは縮小画像データ上における人
の目の画像を抽出するものであり、ここで抽出された目
画像を第１の目画像候補と呼ぶことにする。この第１の
抽出手段５では、目画像を抽出するために、テンプレー
トを画像データ上において走査して画像データから目画
像候補を直接に抽出する。

【００３２】テンプレートは、非縮小画像を前提として
第１カメラ１または第２カメラ２からＮメートルの距離
にいる人の画像データ上の目画像を抽出するものであ
り、目の傾きに応じて複数用意されている。ここでは、
傾き０度、±１０度、±２０度、±３０度の７種類のテ
ンプレートが用意されており、各テンプレートを用いて
画像データ上の走査が行われる。

【００３３】図２は、傾き０度のテンプレートの一例を
示すものである。テンプレート１０は、瞳およびその近
傍領域に対応する横長楕円形の第１輝度評価領域（領域
Ａ）と、この第１輝度評価領域のさらに外側領域に対応
する同じく横長楕円形の第２輝度評価領域（領域Ｂ）と
を有する。図示のように、第１輝度評価領域の横方向の
長さは１１画素に相当し、縦方向の長さは３画素に相当
する。第２輝度評価領域の横方向の長さは１５画素に相
当し、縦方向の長さは９画素に相当する。

【００３４】第１の抽出手段５は、このテンプレート１
０を画像データに当てはめ、第１輝度評価領域にある各
画素の輝度について平均μ_Aと分散σ_Aを算出し、さら
に、第２輝度評価領域にある各画素の輝度について平均
μ_Bと分散σ_Bを算出する。

【００３５】そして、μ_A、σ_A、μ_B、σ_Bを次の評価関
数式（１）の右辺に代入して評価関数Ｅの値を求める。

【００３６】

【数１】ここに、μ_EYEは統計データに基づく目の平均輝度であ
る。

【００３７】評価関数Ｅの値が予め設定した基準値より
も大きければ目画像候補であると判定する。

【００３８】この（１）式を定性的に説明すると、係数
部分の（μ_A−μ_B）²／（σ_A ²＋σ_B ²）からわかるよう
に、第１輝度評価領域の平均輝度と第２輝度評価領域の
平均輝度の差が大きいほど、そして、第１輝度評価領域
および第２輝度評価領域のそれぞれの輝度分散が小さい
ほど大きな値となる。つまり、第１輝度評価領域と第２
輝度評価領域とが輝度においてはっきりと区別できるほ
ど大きな値となると、目画像候補であると判定される。

【００３９】また、指数関数部分を考えると、第１輝度
評価領域の輝度分散が小さく平均輝度が統計的な平均輝
度から離れるにしたがって小さな値となる。したがっ
て、輝度分散が非常に小さくかつ平均輝度が統計的な平
均輝度と大きく相違している場合は、たとえ第１輝度評
価領域が第２輝度評価領域とはっきりと区別できるよう
な場合であっても、目画像候補ではないと判定されるこ
とがある。

【００４０】第２の抽出手段６は、第１の抽出手段５で
得られた第１の目画像候補から画像データ上の所定の範
囲にある目画像候補を第２の目画像候補として抽出す
る。

【００４１】図３は、第２の抽出手段６での目画像候補
抽出範囲を示すものであり、第１の目画像候補の左右方
向にそれぞれ中心から６０度の角度範囲であって、第１
の目画像候補を抽出する際に用いたテンプレート１０の
横幅の２〜３倍の距離までを抽出範囲１１、１２として
いる。なお、抽出範囲は、目標検出精度等を勘案して適
宜設定することが望ましい。

【００４２】第２の抽出手段６での目画像候補抽出方法
は、第１の抽出手段５で用いられる抽出方法と同一の方
法が用いられる。しかし、抽出領域が限定されているこ
とから、誤検知の確率は低いと考えられるので、検出力
の低い方法を用いて処理速度を速めてもよい。逆に、第
１の抽出手段５において、検出力の低い抽出方法を用い
て処理速度を速め、第２の抽出手段６において、高い検
出力の抽出方法を適用してもよい。

【００４３】画像縮小手段４で画像が１／２倍に縮小さ
れたときには、第１の抽出手段５および第２の抽出手段
６において、非縮小画像のときと同じテンプレートをそ
の縮小画像に適用することにより、第１カメラ１および
第２カメラ２からＮ／２メートル付近の距離にある目の
目画像候補を抽出することができる。同様に、画像縮小
手段４で１／３倍に縮小されたときには、Ｎ／３メート
ル付近の距離にある目画像候補を抽出することができ
る。

【００４４】判定手段７は、第２の目画像候補が第１の
目画像候補と一人の人間の顔において対をなす目の画像
であるか否かを両者の位置関係等に基づいて判定する。
すなわち、所定の条件を満たせば、第１及び第２目画像
候補が人間の目であると判断する。この判定手段７にお
いて人間の目であると判断されることが、本目画像検出
装置において目を検出したということに他ならない。

【００４５】画像縮小手段４で縮小処理が施されていな
い場合は、カメラ１、２の前方Ｎメートル付近に位置す
る人の目を検出したことになる。画像縮小手段４で画像
が１／２倍あるいは１／３倍に縮小された場合には、カ
メラ１、２の前方Ｎ／２メートル付近あるいはＮ／３メ
ートル付近にそれぞれ位置する人の目を検出したことに
なる。

【００４６】判定手段７は、必要に応じて厳密な距離判
定も行う。第１カメラ１で得られた画像と第２カメラ２
で得られた画像とを比較し、検出した目までの正確な距
離を２つのカメラの視差に基づいて計算により求めるこ
とができる。第１カメラの画像および第２カメラの画像
において同一の目と推定されるそれぞれの目画像の画面
上での位置の差（視差）とカメラ間距離ｄとから、目ま
での距離を求める。つまり、対象となる目からみた第１
カメラと第２カメラとのなす角度θを画像上の視差から
算出し、角度θをＤ＝ｄ／tanθに代入することにより
目までの距離Ｄが求まる。ここに、ｄはカメラ間距離で
ある。

【００４７】図１では、画像処理部３が４つの機能ブロ
ックとこれらを制御する制御手段、すなわち、画像縮小
手段４、第１の抽出手段５、第２の抽出手段６、判定手
段７および制御手段７で構成されているが、各機能を一
つの処理手段（マイクロコンピュータ）が実行してもよ
い。

【００４８】図４は、画像処理部３の機能をマイクロコ
ンピュータで実行した場合の動作を示すフローチャート
である。

【００４９】まずステップＳ１において第１カメラ１お
よび第２カメラ２のそれぞれからほぼ同時刻における静
止画像の画像データを取り込む。

【００５０】ステップＳ２では、非縮小画像に対してＮ
メートル用となる目のテンプレートを、目の傾きに応じ
て複数用意する。具体的には、傾き０度、±１０度、±
２０度、±３０度の７種類のテンプレートが用意され
る。

【００５１】ステップＳ３では、まず第１カメラ１から
の画像データ（第１画像データ）に対して上述の７種類
のテンプレートを走査して目画像候補の抽出を行う。こ
のステップで抽出された目画像候補を第１の目画像候補
と呼ぶ。抽出された時点で走査を中断してステップＳ４
へ移行する。このとき、全画面走査を行っても目画像候
補を全く発見できなればステップＳ９に移行する。

【００５２】第１の目画像候補の抽出は、上述した第１
の抽出手段５において実施した方法と同一の方法を用い
る。すなわち、テンプレートの中心を対象画素に合わ
せ、テンプレートの第１輝度評価領域および第２輝度評
価領域に重なる画素の輝度データに関する平均及び分散
を求めて（１）式の右辺に代入する。その結果得られた
評価関数Ｅの値が設定値以上の値となれば目画像候補と
して抽出する。

【００５３】ステップＳ４では、図３に示す抽出領域１
１、１２に限定して、目画像候補を抽出する。ここでの
目画像候補を第２目画像候補とよぶ。抽出方法は、第１
目画像候補の抽出と同じである必要はないが、ここでは
同一の方法を用いる。

【００５４】第２目画像候補を抽出できなかったときに
はステップＳ３に戻り、中断していた第１目画像候補の
抽出走査を再開させる。

【００５５】第２目画像候補が抽出できたときはステッ
プＳ５に進み、第１の目画像候補と第２の目画像候補と
が一人の人間の顔において対をなす目画像であるか否か
を両者の位置関係等に基づいて判定する。ここで、人間
の一対の目であると判定されれば、目を検出したことに
なる。目の検出は、顔の検出ひいては人の検出を意味す
る。

【００５６】つづいて、ステップＳ６に進み、第１画像
データの画像全体についてテンプレート走査が実質的に
終了しているか否かを判断し、終了していなければステ
ップＳ３に戻って、中断していた第１目画像候補の検出
を再開する。ステップＳ６で画像全体のテンプレート走
査が終了していると判断されたときには、ステップＳ７
に進む。

【００５７】ステップＳ７では、ステップＳ６でテンプ
レート走査終了と判断された画像が縮小画像であって、
しかも最小縮小倍率の画像か否かを判断する。最小縮小
倍率の画像でなければステップＳ８に移行する。したが
って、非縮小画像の場合は当然にステップＳ８に移行し
て画像の縮小処理が実行される。ステップＳ８で行われ
る縮小処理の縮小倍率としては１／２倍と１／３倍の２
通りが用意されている。したがって、本実施形態では１
／３倍がステップＳ７でいうところの最小縮小倍率とな
る。

【００５８】ステップＳ８では、現在の画像が非縮小画
像であれば１／２倍に縮小し、１／２倍の縮小画像であ
れば、非縮小画像の１／３倍に縮小する。ステップＳ８
で縮小された画像は、ステップＳ３に戻って、非縮小画
像のときと同じテンプレートを用いて第１目画像候補の
抽出が再び行われる。上述したテンプレートは、非縮小
画像に対して用いたときには、Ｎメートル付近の距離に
ある目の画像を抽出するものであるため、１／２倍の縮
小画像に対してそのテンプレートを用いると、Ｎ／２メ
ートル付近の距離にある目の画像を抽出できる。同様
に、１／３倍の縮小画像に対してそのテンプレートを用
いると、Ｎ／３メートル付近の距離にある目の画像を抽
出できる。

【００５９】１／２倍の縮小画像および１／３倍の縮小
画像に対する目画像の抽出が終わると、ステップＳ７に
おいて肯定され、ステップＳ９に移行する。

【００６０】ステップＳ９では第２画像データ（第２カ
メラ２により得られた画像データ）に対する目画像の抽
出が終了したか否かが判断される。第１画像データに対
してのみ目画像の抽出が行われた場合にはステップＳ３
に戻り、第１画像データに対して行った目画像の抽出と
同じ処理を実行する。

【００６１】第１画像データおよび第２画像データの両
方に対して目画像の抽出が終わると、ステップＳ９から
ステップＳ１０に進み、抽出された目画像に対応する目
とカメラ１、２との距離を２つの画像を比較することに
より正確な距離を計算により求める。計算方法は上述し
たとおりであり、対象となる目からみた第１カメラと第
２カメラとのなす角度θを２つの画像における視差から
算出し、算出した角度θをＤ＝ｄ／tanθに代入してカ
メラから目までの距離Ｄを求める。ｄはカメラ間距離で
ある。

【００６２】上記の実施形態では、縮小倍率として１／
２倍と１／３倍の２通りを用意したが、さらに縮小率の
大きな縮小倍率を用いれば、さらに近接した位置の目を
検出できる。たとえば、非縮小画像用テンプレートとし
て１０メートル用のものを用いたと仮定すると、１／１
０倍の縮小を画像にそのテンプレートを適用すれば、１
メートルの距離にある目の画像を抽出できる。また、拡
大倍率を適用すれば、精度は低下するものの、遠方にあ
る目の画像を抽出することもできる。

【００６３】図５は本実施形態の目画像検出装置におけ
る目画像検出および距離測定のイメージを図示したもの
であり、特に、非縮小画像の目画像検出および距離測定
について示している。

【００６４】画面２０はステップＳ１において第１カメ
ラ１により取得した第１画像データに基づく画像を示し
ている。画面２１はステップＳ３において第１目画像候
補を抽出した状態を示しており、画面２２はステップＳ
４において第２目画像候補を抽出した状態を示してい
る。

【００６５】画面２３は、第１カメラ１が画面２０の画
像を取得したときと同時にステップＳ１において第２カ
メラ２により取得した第２画像データに基づく画像を示
している。画面２４はステップＳ３において第１目画像
候補を抽出した状態を示しており、画面２５はステップ
Ｓ４において第２目画像候補を抽出した状態を示してい
る。

【００６６】画面２６は、ステップＳ９において距離計
算を実行するために、第１画像データと第２画像データ
とを重ねて第１目画像候補同士を比較した様子を示すも
のである。

【００６７】画面２０および２３において、それぞれ、
ほぼ中央にいる人物は同一人物であり、カメラからＮメ
ートル程度離れた場所に位置しているものとする。これ
らの画面に対して、Ｎメートル用のテンプレートで走査
を行った結果、−２０度のテンプレートにより人物の右
目（向かって左側の目）を第１目画像候補として抽出で
きたことを示しているのが画面２１および２４である。
画面２１および２４では、人物の右目に−２０度のテン
プレートが重なって表示されている。

【００６８】第１目画像候補が抽出されると、ステップ
Ｓ４で第１目画像候補の周辺領域１１、１２において第
２目画像候補の抽出を行う。画面２２および２５は第２
目画像候補が抽出された結果を示している。この例で
は、第２目画像候補が人物の左目であるから、いずれの
画面においても第２目画像候補が第１目画像候補と対を
なすものであると判定され、第１目画像候補および第２
目画像候補が一つの顔において対をなす目画像と認定さ
れる。

【００６９】画面２６では、第１画像データと第２画像
データとを重ねて人物の右目について目画像間距離を測
定する。その距離が第１カメラ１と第２カメラ２による
視差となる。視差から距離を算出する手法は上述したと
おりである。

【００７０】つぎに、異なるテンプレートを用いた目画
像検出装置について説明する。第１の抽出手段５および
第２の抽出手段６において、あるいは、ステップＳ３お
よびステップＳ４の目画像候補抽出処理において用いた
図２に示すテンプレートに代えて別のテンプレートを用
いるとともに、そのテンプレートに対応した評価関数を
用いて目画像候補の検出を行うものである。その他の処
理については、何ら変更を要しないので説明は省略す
る。

【００７１】図２のテンプレートは、瞳周辺領域の第１
輝度評価領域とさらにその外側の第２輝度評価領域に区
分したものを用いた。これに対して、これから説明する
第２テンプレートは、複数の目画像サンプルについて瞳
を中心とした所定領域内で画素毎に目画像サンプルの分
散を予め求め、求めた分散値に応じて各画素を複数のグ
ループ（領域）に分類したものである。

【００７２】まず、第２テンプレートの作成方法につい
て説明する。

【００７３】図６は第２テンプレートを構成する領域枠
を示したものであり、縦に５画素分の長さをとり、横に
２３画素分の長さをとった矩形となっている。ただし、
縦横の長さや形状は一例であって、これに限定されるも
のではない。

【００７４】図７（ａ）〜（ｃ）は多数の目画像サンプ
ルの中から適当に選択した３つの目画像サンプルを示す
ものであり、これらの目画像サンプルに第２テンプレー
トの領域枠をそれぞれ当てはめた状態を示している。各
目画像サンプルにおいて、破線で囲まれた領域が図６で
示した第２テンプレートに対応する領域枠である。

【００７５】図示のように、第２テンプレート領域枠の
中心を目画像サンプルの瞳中心に一致させると共に、第
２テンプレート枠の長手方向を目の左右方向に合わせて
から、各目画像サンプルについて画素毎の輝度を取り出
す。この作業を図示した３つの目画像サンプルに対して
だけでなく、予め準備した多種多様なすべての目画像サ
ンプルに対して実行する。

【００７６】つぎに、第２テンプレート領域枠内の画素
毎に、全目画像サンプルの輝度分散を求め、任意に設定
したしきい値で分類分けをする。

【００７７】図８は、第２テンプレート領域枠内の３行
目の２３画素についての輝度分散をグラフ表示したもの
である。このグラフは、横軸に画素位置、縦軸に分散値
をとっている。グラフが下に凸の形になっていて「２０
０」未満の値を示す部分が３カ所あるが、これらは、そ
れぞれ瞳中央部とその左右にあるいわゆる白目部分に対
応する。同様にして、１行目、２行目、４行目、５行目
についても画素毎に分散値を求める。

【００７８】つぎに、第２テンプレート領域枠内の画素
毎の輝度分散値を、２つのしきい値によって３つのグル
ープに分類する。しきい値として「２００」と「５０
０」を採用し、「２００」未満をグループ０、「２０
０」以上「５００」未満をグループ１、「５００」以上
をグループ２として、第２テンプレート領域枠内の全画
素を３つのグループにわける。図９は、第２テンプレー
ト領域枠内にある（５×２３）個のすべての画素にグル
ープ番号を付した結果を示し、これが第２テンプレート
となる。

【００７９】目画像候補を抽出するための評価関数は以
下の式（２）〜（４）で示す３つがあり、すべての評価
関数がそれぞれに対応して設定されたしきい値以上であ
った場合に目画像候補であると判定する。

【００８０】

【数２】

【００８１】（２）式の評価関数（０，１）は、第２テ
ンプレートのグループ０とグループ１の関係から目画像
候補となる可能性が高いか否かを判定するものであり、
同式中のＢｉａｓ（０，１）は、画像データの平均輝度
等に基づいて予め設定される定数である。グループ０と
グループ１について、それぞれ平均μ₀とμ₁および分散
σ₀とσ₁を算出した後、μ₀、σ₀、μ₁、σ₁を評価関数
（２）の右辺に代入して評価関数（０，１）の値を求め
る。

【００８２】（３）式の評価関数（１，２）は、第２テ
ンプレートのグループ１とグループ２の関係から目画像
候補となる可能性が高いか否かを判定するものであり、
同式中のＢｉａｓ（１，２）は、画像データの平均輝度
等に基づいて予め設定される定数である。グループ２に
ついて、平均μ₂と分散σ₂を算出した後、すでに算出し
たμ₁、σ₁とともに評価関数（３）の右辺に代入して評
価関数（１，２）の値を求める。

【００８３】（４）式の評価関数（２，０）は、第２テ
ンプレートのグループ２とグループ０の関係から目画像
候補となる可能性が高いか否かを判定するものであり、
同式中のＢｉａｓ（２，０）は、画像データの平均輝度
等に基づいて予め設定される定数である。グループ２お
よびグループ０についての平均と分散は既に算出されて
いるので、それらを評価関数（４）の右辺に代入して評
価関数（２，０）の値を求める。

【００８４】このようにして評価関数（０，１）、評価
関数（１，２）、評価関数（２，０）のそれぞれについ
て評価値が得られ、各評価値をそれぞれに対応するしき
い値と比較する。各評価値がすべてしきい値よりも大で
あれば、目画像候補であると判定する。

【００８５】つぎに、本発明の目画像検出装置を利用し
た本発明の種々の装置をそれぞれ実施形態と共に説明す
る。

【００８６】図１０は、本発明の目画像検出装置を搭載
した個人用の画像プロジェクタの一実施形態を示す図で
ある。画像プロジェクタ３１の前方にはスクリーン３０
が配置され、所望の映像がスクリーン３０に映し出され
る。画像プロジェクタ３１の背面には、目画像検出装置
の第１カメラ、第２カメラに相当するカメラ３２、３３
が配置されており、画像プロジェクタ３１の後方にいる
鑑賞者を目画像検出装置の画像として捕らえることがで
きる。目画像検出装置の画像処理部は、画像プロジェク
タ装置３１の筐体内に納められている。

【００８７】いま、画像プロジェクタ３１の真後ろに対
して水平角度θの方向に鑑賞者３４がいるとする。この
位置関係の場合、鑑賞者３４から見ると、スクリーン３
０の右側は左側よりも近距離にあるため、右側の映像は
大きく、左側の映像は小さく見える。そこで、画像プロ
ジェクタ３１において、図１１に示すように、映像画面
３５の右側を左側に対して距離差に応じて小さくなるよ
うに補正すれば、鑑賞者３４はあたかもスクリーンに対
して真正面の位置から見ているように感じられる。

【００８８】本実施形態の画像プロジェクタ３１は、こ
の補正を自動的に行うものである。図１２は、映像画面
形状の自動補正のために実施される動作手順を示すフロ
ーチャートである。

【００８９】ステップＳ２１で鑑賞者３４の目画像を検
出する。ここに言う目画像の検出とは、鑑賞者３４の目
の画像プロジェクタ３１に対する位置（距離と角度）の
検出を含んでいる。

【００９０】ステップＳ２２では、検出された目の位置
情報から鑑賞者３４のスクリーン３０に対する位置を算
出する。スクリーン３０と画像プロジェクタ３１との位
置関係が予めわかっていれば、目の位置情報からスクリ
ーン３０に対する鑑賞者３４の位置（距離と角度）を求
めることができる。

【００９１】ステップＳ２３では、スクリーン３０と鑑
賞者３４との距離に応じて映像画面サイズを決定し、ス
テップＳ２４では、映像画面の左右の大きさ比率を距離
と角度に応じて決定する。

【００９２】その後、ステップＳ２５において、ステッ
プＳ２３，２４で決定されたサイズおよび補正値にした
がって映像画面を生成する。

【００９３】この画像プロジェクタによれば、鑑賞者の
位置に応じて映像画面のサイズおよび形状を自動調整す
るので、鑑賞者は、自己の位置にかかわらず、常にゆが
みのない適切なサイズの映像を鑑賞できる。

【００９４】図１３は、本発明の目画像検出装置を搭載
した音場調節機能付きテレビモニタ装置の一実施形態を
示す図である。このテレビモニタ装置４０は、本体５１
とこれを揺動可能に支えるアクチュエータ４９を備えた
支持台５０とで構成されている。アクチュエータ４９
は、本体５１に内蔵された制御装置からの指令に基づい
て本体５１を所望の角度に傾斜させることができる。

【００９５】本体５１は、表示画面４１の左右と下にそ
れぞれ配置されたスピーカ４２、４３、４４を備え、こ
れらのスピーカによって立体音場を作り出すことができ
るようになっている。また、本体５１は、上述した本発
明の目画像検出装置を内蔵しており、目画像検出装置用
のカメラとして本体５１正面の左上および右上隅にそれ
ぞれカメラ４５、４６が配置されている。なお、必要に
応じて、左下および右下隅に、カメラ４７、４８を増設
しても構わない。

【００９６】つぎに、このテレビモニタ装置４０の調整
動作を図１４に示すフローチャートと共に説明する。

【００９７】まず、ステップＳ３１において、鑑賞者の
目画像を検出する。ここに言う目画像の検出とは、鑑賞
者の目の位置（距離と角度）の検出を含んでいる。鑑賞
者の目の位置検出は、鑑賞者の顔の位置検出に他ならな
い。なお、鑑賞者は一人である。

【００９８】ステップＳ３２では、目画像から鑑賞者の
顔の傾きを検出する。顔を傾けて鑑賞している場合とし
ては、たとえば、鑑賞者が頬杖をついている場合や、寝
転がっている場合などが挙げられる。

【００９９】つぎにステップＳ３３に移行して、音場制
御値とテレビモニタ装置本体の傾斜角度とを算出する。
本体５１に内蔵されたスピーカ制御回路は、音場に関す
る最適鑑賞位置を変化させることができるようになって
いる。ここでは、鑑賞者の顔の位置が音場に関する最適
鑑賞位置となるような制御値を算出する。また、鑑賞者
の顔の傾きに基づいて本体５１をどの程度傾けるかを算
出する。

【０１００】ステップＳ３４では、ステップＳ３３で算
出した音場制御値に基づいてスピーカ制御回路の設定を
調整し、音場に関する最適鑑賞位置を鑑賞者の顔の位置
に一致させる。

【０１０１】ステップＳ３５では、アクチュエータ４９
を駆動して、本体５１の傾きをステップＳ３４で算出し
た角度にする。

【０１０２】これらのステップＳ３１〜３５を常時繰り
返すことにより、鑑賞者が常に音場の中心にいるように
調整され、距離に応じた音量の調整もなされる。また、
鑑賞者の顔の傾きが変化すると、テレビモニタ装置本体
５１も自動的に傾く。

【０１０３】つぎに、本発明の目画像検出装置を搭載し
た本発明の重畳表示ウィンドウ装置について説明する。

【０１０４】重畳表示ウィンドウ装置とは、ウィンドウ
（窓）自体に表示機能が備わっており、ウィンドウを透
過して見ることのできる風景に所望の情報を重ねて表示
する装置のことである。

【０１０５】この重畳表示ウィンドウを自動車のフロン
トウィンドウに適用した場合の利用方法について簡単に
説明する。たとえば、自動車の前方に著名なレストラン
があったとすると、運転者は普通のフロントウィンドウ
と同様に重畳表示ウィンドウを介してそのレストランを
視認することになるが、重畳表示ウィンドウはナビゲー
ション装置等から得られた当該レストランの情報たとえ
ば電話番号等を表示する。運転者とレストランとを結ん
だ直線が重畳表示ウィンドウを横切る位置に表示情報を
表示すれば、運転者が重畳表示ウィンドウを通して見て
いるレストランの位置に電話番号等の情報を重ねて見る
ことができる。

【０１０６】従来の重畳表示ウィンドウでは、ウィンド
ウに対する運転者の位置を固定位置と仮定して情報表示
位置を算出していた。したがって、運転者の位置が予め
設定した位置と異なっていると、目標物と表示情報との
重なりがずれるという問題があった。

【０１０７】これに対して、本実施形態の重畳表示ウィ
ンドウによれば、運転者の目の位置を正確に認識した上
で表示位置を決定するので、表示情報と目標物とが適切
に重なる。

【０１０８】図１５は本発明の重畳表示ウィンドウ装置
の一実施形態であり、自動車のフロントウィンドウに重
畳表示ウィンドウを適用したものである。自動車のフロ
ントウィンドウである重畳表示ウィンドウ５７の右側上
部には第１カメラ５５および第２カメラ５６が配置され
ている。第１カメラ５５および第２カメラ５６は、図１
に示す目画像検出装置の第１カメラ１および第２カメラ
２に相当するもので、ステアリングホイール５８の後方
にある運転席に向けられている。重畳表示ウィンドウ装
置の制御部は目画像検出装置の画像処理部３を含んでお
り、その動作を図１６のフローチャートに示す。

【０１０９】図１６において、まず、ステップＳ４１で
運転者の目画像を検出する。ここに言う目画像の検出と
は、運転者の目の位置（距離と角度）の検出を含んでい
る。つぎに、ステップＳ４２で、検出された運転者の目
の位置と基準位置との差から表示位置の補正値を算出す
る。続いてステップＳ４３で、表示位置を補正して重畳
表示制御を行う。

【０１１０】図１７に示すように、運転者６０の位置が
基準位置６２に対してずれていたとすると、目標物６１
と基準位置６２とを結ぶ直線上にある基準表示位置６４
から、目標物６１と運転者６０とを結ぶ直線上に表示位
置６３をずらせば、目標物６１と表示情報６３とが重な
って見える。そこで、ステップＳ４２で、運転者位置の
基準位置からのずれ量に応じて表示位置のずれ分を補正
値として算出し、ステップＳ４３で、表示位置を補正す
る。

【０１１１】したがって、この重畳表示ウィンドウ装置
によれば、目標物とその表示情報とが運転者の位置にか
かわらず常に適正な重なり方となる。

【０１１２】つぎに、本発明の目画像検出装置を搭載し
た本発明の動く歩道（動歩道）装置について説明する。

【０１１３】従来の動歩道のベルト移動速度は標準速度
に設定されている。しかし、利用者が動歩道に乗り込む
前の歩行速度はまちまちであり、歩行速度とベルト移動
速度とが離れていると、乗り込む際に衝撃を受けること
がある。

【０１１４】これに対して本発明の動歩道装置は、動歩
道へ乗り込む人の動きに合わせてベルト移動速度を調整
するので、動歩道に乗り込む際に受ける衝撃を緩和する
ことができる。

【０１１５】本発明の動歩道装置は、入口（乗り込み
口）に目画像検出装置の２台のカメラが設置されてお
り、ベルト制御部に目画像検出装置の画像処理部が内蔵
されている。

【０１１６】図１８は本発明の第１実施形態である動歩
道装置のベルト制御部が実行する動作のフローチャート
である。ステップＳ５１では、目画像検出装置による目
画像の検出、すなわち顔の検出によって、動歩道の入口
付近に人がいるか否かを監視する。ここで、人の顔が検
出されるとステップＳ５２に進んで、その人の位置、移
動速度、進行方向の推定を行う。移動方向や進行方向に
ついては、一定の時間間隔で複数回の目画像検出を行う
ことによって推定が可能である。

【０１１７】ステップＳ５３では、動歩道の入口付近に
いると判定された人の動歩道への進入の可能性を判断す
る。ここでは、ステップＳ５２の推定結果から入口に向
かっているか否かの判断を行う。より具体的には、所定
距離範囲内で入口に向かって所定速度以上で移動してい
る場合は進入の可能性ありとしてステップＳ５４に進
み、それ以外の場合は進入の可能性なしとしてステップ
Ｓ５１に戻る。

【０１１８】ステップＳ５４では、ステップＳ５２で推
定した進入者の移動速度に基づいてベルト移動速度を設
定する。進入者の移動速度とベルト移動速度との関係
は、実験を行うなどして予め取得しておき、ベルト速度
設定用データベースとして保存されている。そして、ベ
ルト速度設定用データベース出力に一致するようにベル
ト移動速度を調節する。

【０１１９】ベルト移動速度の調節が完了したら、ステ
ップＳ５６に移行して進入者がベルトに乗り込んだか否
かを監視する。すなわち、設定したベルト移動速度で進
入者の乗り込みを待機する。この監視も目画像検出装置
を利用することにより達成できる。ここで乗り込みを確
認できたらステップＳ５７に進んで、ベルト移動速度を
標準移動速度に徐々に切り換える。

【０１２０】一方、所定時間監視しても進入者がベルト
に乗り込まなかった場合はステップＳ５１に戻って新規
に入り口付近の人の有無を監視する。

【０１２１】ベルト移動速度をこのように制御すること
により、動歩道ベルトへの乗り込み時の衝撃を緩和でき
る。

【０１２２】図１９は本発明の動歩道装置の第２実施形
態に関するもので、そのベルト制御部が実行する動作の
フローチャートである。第１実施形態が進入者の動きを
考慮してベルト移動速度を調節するものであるのに対し
て、この第２実施形態は、移動ベルトに乗っている歩行
者の意図を考慮してベルト移動速度を調節するものであ
る。ここにおける歩行者の意図とは、急いでいる、すな
わち、より速く移動したいという意思を指す。本装置で
は、歩行者の表情から意図を察知し、ベルト移動速度を
変化させる。本実施形態では、出口（降り口）付近に目
画像検出装置の２台のカメラが入口方向に向けて設置さ
れている。目画像検出装置の画像処理部はベルト制御部
に内蔵されている。

【０１２３】まず、ステップＳ６０では、目画像検出装
置による目画像の検出、すなわち顔の検出によって、動
歩道ベルトに乗っている人がいるか否かを監視する。検
出された歩行者が動歩道ベルトに乗っているか否かの判
断は、目画像検出装置による位置測定により達成され
る。

【０１２４】動歩道ベルトに乗っている人の顔が検出さ
れるとステップＳ６１に進んで、その人の動歩道上での
歩行速度が検出され、さらに表情の認識が行われる。歩
行者の移動速度は一定の時間間隔で複数回の目画像検出
を行うことによって、単位時間あたりの移動量から推定
することが可能である。ベルト上での歩行速度は、移動
速度からそのときのベルト移動速度を減じれば算出でき
る。表情認識は、既存のアルゴリズムを適用する。

【０１２５】ステップＳ６２では、歩行速度と表情認識
結果に基づいて急ぎ度を判定する。歩行速度および表情
認識結果と急ぎ度との関係は、予め準備しておく。急ぎ
度が予め設定したしきい値よりも低い場合は、ベルト移
動速度を調整することなくステップＳ６０に戻る。急ぎ
度がしきい値よりも高い場合は、ステップＳ６３に移行
する。

【０１２６】ステップＳ６３では、動歩道上に他の歩行
者がいるか否かの判断を行い、いる場合はステップＳ６
０に戻り、いない場合はステップＳ６４に移行する。ス
テップＳ６４では、移動ベルトに新たに乗り込んでくる
歩行者がいるか否かの判断を行い、いる場合はステップ
Ｓ６０に戻る。乗り込んでくる歩行者がいない場合には
ステップＳ６５に進み、急ぎ度に応じてベルト移動速度
を調節する。急ぎ度が大きいほどベルト移動速度を増速
する。

【０１２７】ステップＳ６３およびステップＳ６４の内
容からわかるように、ベルト移動速度の調節は、ベルト
上の歩行者が一人のときだけ実行し、複数人のときは調
節することなく標準速度でのベルト移動を維持する。

【０１２８】図２０〜図２２は本発明の目画像検出装置
を用いた盲導ロボットに関するものである。図２０は帽
子型盲導ロボットの外観図であり、図２１は盲導犬型盲
導ロボットの外観図である。図２２は帽子型および盲導
犬型の盲導ロボットの動作を示すフローチャートであ
る。

【０１２９】図２０の帽子型盲導ロボットでは、目画像
検出装置の第１カメラおよび第２カメラに相当するカメ
ラ７０およびカメラ７１が、帽子７２の左右において前
方に向けて配置されている。帽子７２には、イヤホーン
を備えた耳あて７３が設けられており、このイヤホーン
を介して利用者に対して音声により指示を与えることが
できるようになっている。

【０１３０】図２１の盲導犬型盲導ロボットは、地面上
を自由に移動できる胴体部７７と、胴体部７７の前部に
配置された頭部７６とを備える。頭部７６には、目画像
検出装置の第１カメラおよび第２カメラに相当するカメ
ラ７４およびカメラ７５が設けられている。この盲導犬
型盲導ロボットの頸部８０には誘導ロープ７９の一端が
結ばれており、誘導ロープ７９の他端を持った利用者７
８を誘導する。

【０１３１】つぎに、これらの盲導ロボットの動作を図
２２のフローチャートと共に説明する。

【０１３２】まず、ステップＳ７１で目画像検出装置に
よる目画像の検出を行う。ここにいう目画像の検出と
は、その目画像に対応する目を持つ人の顔の発見とその
距離の取得に他ならない。

【０１３３】ステップＳ７１の処理は、ステップＳ７２
の判断処理によって、所定距離内の人を発見するまで繰
り返し実行され、所定距離内に人を発見した場合はステ
ップＳ７２からステップＳ７３へ移行する。

【０１３４】ステップＳ７３では、所定距離内に人が近
づいたことを持ち主（利用者）に知らせる。帽子型盲導
ロボットの場合は、イヤホーンを用いて音声でその旨を
伝える。盲導犬型盲導ロボットの場合は、頭部７６に内
蔵されたスピーカでその旨を伝える。

【０１３５】その後、ステップＳ７５では、向かってく
る人を停止せずに避けられるか否かの判断を行う。避け
られると判断したときには、ステップＳ７６に移行して
向かってくる人を避けるように誘導し、避けられないと
判断したときには、ステップＳ７４に移行してできるだ
け端に避けて停止するように利用者に指示を出す。ステ
ップＳ７４の指示は、避けられると判断されるまで継続
される。ステップＳ７５で避けられると判断した後、ス
テップＳ７６の誘導が実行されると、再び、ステップＳ
７１に戻り、顔の発見処理が実行される。

【０１３６】この盲導ロボットによれば、単なる障害物
センサーと異なり、向かってくる人を他の障害物と区別
して認識した上でその人を避けるように誘導するので、
盲導犬と同等の誘導を利用者に提供することができる。
しかも、盲導犬と異なり、生物ではないのでその扱いは
簡易である。

【０１３７】つぎに、本発明の目画像検出装置を利用し
た本発明のミラー角度制御装置の一実施形態を図２３お
よび図２４と共に説明する。このミラー角度制御装置
は、自動車に搭載され、ルームミラーおよびサイドミラ
ーの角度を運転者の位置に合わせて自動調整するもので
ある。図２３は、このミラー角度制御装置を搭載した自
動車の運転席およびその周囲を示す上面図であり、図２
４はミラー角度制御装置の動作を示すフローチャートで
ある。

【０１３８】一般的な自動車と同様に、自動車室内８１
の前部中央にはルームミラー８３が配置され、室外前部
の左右にはサイドミラー８４、８５が配置されている。
ルームミラー８３、サイドミラー８４、８５にはそれぞ
れ小型モータが取り付けられており、モータ駆動により
ミラー角度の調整が可能となっている。ミラー角度の調
整は、図示を省略した制御部からの指示により実行され
る。

【０１３９】フロントガラスの運転席側上部にはカメラ
部８２が設けられ、カメラ部８２には目画像検出装置の
第１カメラおよび第２カメラが収納されている。

【０１４０】まず、ステップＳ８１で電源が投入される
と、ステップＳ８２に移行して目画像検出装置による目
画像の検出が行われる。ここでは、電源の投入は自動車
のキースイッチにより実行されるが、これに代えて、専
用のボタン、タッチパネル、リモコン、音声入力装置等
を用い、運転者の所望のタイミングで電源投入を行える
ようにしてもよい。

【０１４１】ステップＳ８２では、目画像検出装置によ
る目画像検出に基づいて、前方を向いている搭乗者の目
の３次元位置を検出する。ステップＳ８３では、検出さ
れた目が複数対であるか一対であるか、すなわち、多人
数であるか一人であるかの判断を行う。ここで、多人数
であればステップＳ８４に進んでカメラ部８２に一番近
い人物の目を選択する。カメラ部８２は運転者の前方に
配置されているため、カメラ部８２に一番近い人物を運
転者と認定することができる。すなわち、ステップＳ８
４は運転者の選択を行う処理である。ステップＳ８３で
一人の目のみが検出された場合は、その人物が運転者で
あると判断し、ステップＳ８４の運転者選択処理をスキ
ップしてステップＳ８５に移行する。

【０１４２】ステップＳ８５では、運転者と認定された
人物の目の位置に応じてルームミラー８３、サイドミラ
ー８４、８５のミラー角度を調整する。ルームミラー８
３、サイドミラー８４、８５が捕らえるべき景色の中心
方向をそれぞれＤ８３、Ｄ８４、Ｄ８５とすると、運転
者の目の位置とＤ８３、Ｄ８４、Ｄ８５との中間方向に
各ミラーの中心が向くように調整すれば、運転者の位置
に関わらず、運転者は常にＤ８３、Ｄ８４、Ｄ８５の方
向の景色をルームミラー８３、サイドミラー８４、８５
を介して見ることができる。運転者の位置とミラー角度
との関係を予めデータマップとして保存しておき、運転
者の位置からミラー角度をデータマップから引き出せ
ば、ミラー角度の設定が容易であり、しかも顔の傾きを
考慮したミラー角度設定も可能である。また、運転者の
位置とミラー角度との関係はユーザーが調整できるよう
になっていることが望ましい。

【０１４３】ミラーの角度調整が終了したらステップＳ
８６に進んでキースイッチ操作による電源オフの有無を
確認し、電源オフのキースイッチ操作がなければステッ
プＳ８２に戻って、再び目の３次元位置検出を実行す
る。電源オフのキースイッチ操作を確認したらステップ
Ｓ８７に進んで終了する。なお、終了時のミラー角度は
直前の状態が保持される。

【０１４４】本発明のミラー角度制御装置によれば、ル
ームミラー、サイドミラーのミラー角度が運転者の位置
にあわせて自動調整される。

【０１４５】図２５および図２６は、本発明の目画像検
出装置を利用した本発明の自動ドア開閉制御装置に関す
るものであり、図２５は装置の上面図、図２６はその動
作を示すフローチャートである。

【０１４６】通路に面した自動ドアの場合、単純な人セ
ンサを用いた開閉を行うと、単なる通行人とドアを開け
て入りたい人との区別ができず、単なる通行人に対して
もドアを開けてしまうという問題があった。

【０１４７】これに対して、本発明の自動ドア開閉制御
装置は、ドア付近においてドアに正対している人がいる
場合に限りドアを自動的に開くので、単なる通行人に対
してドアを開くことがない。

【０１４８】図２５において、通路９０の片側に左右に
開く自動ドア９１および９２が配置されている。自動ド
ア９１および９２の開閉動作は、図示を省略した制御部
からの指示に基づいて行われる。自動ドア９１および９
２の内側、すなわち、通路９０の反対側の上部にはカメ
ラ９３、９４が設けられている。カメラ９３、９４は、
自動ドア開閉制御装置の一要素として搭載されている目
画像検出装置の第１カメラおよび第２カメラに相当す
る。本実施形態では自動ドア９１および９２が透明なガ
ラスでできており、カメラ９３、９４は自動ドア９１お
よび９２が図示のように閉じているときも、通路側の状
況を撮影できるようになっている。

【０１４９】この自動ドア開閉制御装置は、内蔵される
目画像検出装置によりドア９１、９２に正対している人
の目を検出したときにドアを開くように動作する。図２
６はその動作を示すフローチャートである。

【０１５０】まず、ステップＳ９１でドア付近にいる人
の目画像を検出する。ここに言う目画像の検出とは、人
の目の位置（距離と角度）の検出を含んでいる。つぎ
に、ステップＳ９２で、カメラ９３、９４からの距離が
所定範囲内においてドアと正対している人物の目がある
か否かを判断し、肯定判断のときには、自動ドア９１お
よび９２を開いてほしいと考えている人がいるとして、
ステップＳ９３に進んで一定時間ドアを開く。ステップ
Ｓ９２において、ドアと正対している人物の目がないと
判断されたときには、ステップＳ９１に戻って目画像検
出を行う。

【０１５１】このように、本発明の自動ドア開閉制御装
置によれば、人物の目を検出してドアの開閉を行うの
で、従来の人センサを用いた自動ドア開閉装置と異な
り、単なる通行人に対して誤ってドアを開くことがな
い。

【０１５２】つぎに、本発明の目画像検出装置を用いた
本発明のボール放出装置について説明する。オートテニ
ス装置等における従来のボール放出装置は、プレーヤー
の位置に応じてボールを打ち出すことはしていなかっ
た。これに対して本発明のボール放出装置は、目画像検
出装置を用いてボール放出部に顔を向けているプレーヤ
ーの目を検出することによりプレーヤーの位置を取得
し、その位置に応じたボール出しをすることができる。
目画像検出装置の第１カメラおよび第２カメラは、ボー
ル放出部近傍に配置されており、目画像検出装置の画像
処理部は、制御部の一要素として組み込まれている。

【０１５３】図２７は、本発明の一実施形態であるボー
ル放出装置の制御動作を示すフローチャートである。

【０１５４】まず、ステップＳ１０１で、目画像検出装
置による目画像検出を行う。ついでステップＳ１０２に
おいて、検出された目画像から顔の３次元位置を取得す
る。すでに述べたように、目画像検出装置は、２つのカ
メラで取得した目画像の視差を利用することにより、距
離を正確に取得できる。したがって、距離と角度から目
画像に対応する一対の目の３次元位置、つまり、プレー
ヤーの顔の３次元位置を求めることができる。

【０１５５】つぎに、ステップＳ１０３で、打ち出すボ
ールの着地点（ボール出し位置）、地面に対する打ち出
し角度（俯角）および初速度を決定する。これらは、予
めセットされるプレーヤーの技量レベルと、ステップＳ
１０２で取得したプレーヤーの位置とを総合的に勘案し
て決定される。たとえば、プレーヤーの技量レベルが上
級にセットされていれば、相対的にボール初速度は大き
な値に決定され、その初速度に応じてボール出し位置や
俯角が決定される。

【０１５６】ボール出し位置、俯角および初速度が決定
されると、ステップＳ１０４に進み、決定値に基づいて
ボールを打ち出す。そして、ボールを打ち出した後は、
ボールの俯角や初速度に基づいて、ボールを打ち出して
からプレーヤーが反応して打ち返すまでの時間（応答時
間）を算出し、応答時間が経過するまですべての処理を
停止する（ステップＳ１０５）。応答時間が経過したら
ステップＳ１０１に戻り、同様にしてボール出力制御を
実行する。

【０１５７】以上のように、本発明のボール放出装置に
よれば利用者の位置に応じたボール出しができるので、
より実戦的な練習ができる。なお、ボール放出装置をオ
ートテニス装置に利用した場合を例にとって説明した
が、他の球技練習装置にも利用してもよい。たとえば、
野球の守備練習用のボール出し装置や、打撃練習の投球
装置に利用可能である。

【０１５８】つぎに、本発明の目画像検出装置を搭載し
た本発明の扇風機について説明する。図２８は本発明の
一実施形態である扇風機の正面図であり、図２９はその
制御動作を示すフローチャートである。

【０１５９】図２８において、３枚羽根のファン１０１
は支持台１０２にネック１０５を介して取り付けられて
おり、支持台１０２の内側に内蔵されている制御部から
の指示により、回転時の風向および風量を調節できるよ
うになっている。支持台１０２の両脇上面にはカメラ１
０３および１０４が固定されており、これらのカメラ
は、目画像検出装置の第１カメラおよび第２カメラとし
て機能する。目画像検出装置の画像処理部は制御部の一
部として支持台１０２に内蔵されている。

【０１６０】図２９はこの扇風機の制御動作を示すフロ
ーチャートである。ステップＳ１１１では、目画像検出
装置の機能を利用して、目画像の検出、すなわち、扇風
機に向けている顔の検出とその３次元位置の算出を行
う。

【０１６１】ステップＳ１１２では、ステップＳ１１１
で目画像を検出できたか否かを判断し、検出できなかっ
たらステップＳ１１３を経てステップＳ１１１に戻る。
ステップＳ１１３では、ファン駆動のスイッチがオンに
なっていたらスイッチをオフに切り換える。

【０１６２】ステップＳ１１２で目画像を検出できたと
判断したときにはステップＳ１１４に進んでスイッチが
オフになっていたらオンに切り換え、さらにステップＳ
１１５に進んで、目画像に対応する顔の位置からファン
１０１の方向と風量を決める。本実施形態では、ファン
１０１の方向は、顔の位置から推定したその人物の体の
中心方向とする。風量は、顔が扇風機から離れているほ
ど大きくすることにより、利用者は常に安定した強さの
風を受けることができる。ここでは、距離と風量の関係
を求めたテーブルを予め持っていて、距離から風量を導
く。

【０１６３】つぎに、ステップＳ１１６に進み、ステッ
プＳ１１５で決定した向きにファン１０１を向け、ステ
ップＳ１１５で決定した風量となる回転数でファン１０
１を回転させる。そして再びステップＳ１１１に戻り、
目画像の検出を行う。

【０１６４】この扇風機によれば、利用者が扇風機に顔
を向けるだけで、扇風機の作動および停止を行うことが
でき、さらに、作動時の風向きおよび風の強さを利用者
の位置に応じて最適に調整される。

【０１６５】つぎに、本発明の目画像検出装置を用いた
本発明の視聴調査装置について説明する。図３０は、本
発明の一実施形態である視聴調査装置を搭載した映像表
示装置の外観を示す斜視図である。映像表示装置１１１
の左右の上面には視聴調査装置の一部である目画像検出
装置の第１カメラおよび第２カメラに相当するカメラ１
１２およびカメラ１１３が載置されている。目画像検出
装置の画像処理部を含む視聴調査装置は映像表示装置の
背後に配置されている。映像表示装置１１１の表示部前
方には視聴者を含む６人の人物１１４が立っている。

【０１６６】図３１は、視聴調査装置の動作を示すフロ
ーチャートであり、ステップＳ１２１〜ステップＳ１２
５は目画像検出装置としての動作である。ステップＳ１
２１ではカメラ１１２および１１３が捕らえた画像を入
力する。つぎに、入力画像をサーチして目画像の検出を
行う。このサーチは顔を正面から捕らえたときの目画像
を発見するまで行われ、発見できたときは、映像表示装
置１１１を見ている人の顔を発見したとして、ステップ
Ｓ１２４からステップＳ１２５へ移行する。

【０１６７】ステップＳ１２５では目画像から対応する
目の距離および方向に関する情報を取得する。距離は２
つのカメラ１１２および１１３が捕らえた画像の視差に
基づいて正確に算出できる。

【０１６８】つぎのステップＳ１２６では、発見した顔
の距離および方向に基づいてその顔を分類して、重み付
けを行う。たとえば、正面の近い距離であれば高い興味
をもって映像表示装置１１１の表示画面を見ていること
が推測できる。すなわち、距離および方向に基づいて興
味度についての重み付けをすることができる。発見した
顔の距離、方向およびこれらに基づく重み付け等に関す
る情報は保存される。

【０１６９】この処理が終了したら、再びステップＳ１
２１に戻り顔発見のサーチが続けられ、ステップＳ１２
３において、同一画像についてサーチが終了したと判断
されたときにステップＳ１２７に移行する。

【０１７０】ステップＳ１２７では、当該画像が捕らえ
た全視聴者数を計数する。図３２はカメラ１１２または
１１３が捕らえた画像の一例であり、図３３はそのとき
の状況を示す上面図である。映像表示装置１１１の前に
は５人の人物１２１〜１２５が立っており、カメラ１１
２または１１３が捕らえた画像中にはその５人の人物１
２１〜１２５が映し出されている。映像表示装置１１１
の近くにいる人物１２１〜１２３は正面を向いており明
らかに視聴者といえる。一方、人物１２４および１２５
は映像表示装置１１１を見ておらず、単なる通行人であ
る。

【０１７１】本装置ではカメラに向いている人の顔のみ
を検出するので、この画像例でいえば人物１２１〜１２
３の三人が顔として検出され、その距離、方向および重
み付け等が保存される。したがって、ステップＳ１２７
では全視聴数として３人がカウントされる。

【０１７２】ついでステップＳ１２８に移行してその時
点の時刻情報を取得し、さらにステップＳ１２９に移行
して、顔の発見数と時刻情報を出力し、スタートに戻
る。出力データは記憶装置に履歴として保存される。

【０１７３】本実施形態の視聴調査装置によれば、映像
表示装置が表示する内容をどれだけの人が見たかを時間
帯別に自動的に正確に調査することが可能である。映像
表示装置の代えて、広告ポスターやショーウィンドウに
適用すれば、これらを見た人を時間帯別に調査すること
ができる。また、重み付けを利用すれば、真剣に見た人
と流してみた人を区別してカウントすることも可能であ
る。

【０１７４】つぎに、本発明の目画像検出装置を搭載し
た本発明の自動改札制御装置について説明する。本発明
の自動改札制御装置は、複数の改札通路を備えた改札に
おいて、各改札通路の通路方向を最も合理的に制御する
ものである。

【０１７５】図３４は自動改札の一例を示す概略上面図
である。この例の改札１３１はＮ本の改札通路１３１
（１）〜１３１（Ｎ）を有している。各改札通路１３１
（１）〜１３１（Ｎ）はいずれも一方通行になってお
り、その通行方向Ｄは本発明の自動改札制御装置によっ
て制御される。通行方向は図示を省略した扉の開閉およ
び表示装置等を利用して通行人に知らせる。

【０１７６】改札１３１の左側のゾーンＡを各改札通路
１３１（１）〜１３１（Ｎ）毎に分割してゾーン（Ｚｏ
ｎｅ）Ａ₁〜ゾーン（Ｚｏｎｅ）Ａ_nとし、右側のゾーン
Ｂを同様に分割してゾーン（Ｚｏｎｅ）Ｂ₁〜ゾーン
（Ｚｏｎｅ）Ｂ_nとする。

【０１７７】ゾーンＡを場外、ゾーンＢを場内とする
と、ゾーンＡからゾーンＢに向かう人が入場者、ゾーン
ＢからゾーンＡに向かう人が退場者となる。すなわち、
各改札通路１３１（１）〜１３１（Ｎ）において、通行
方向Ｄ_Aが採用されたときには入場通路となり、通行方
向Ｄ_Bが採用されたときには退場通路となる。

【０１７８】各改札通路１３１（１）〜１３１（Ｎ）に
は、ゾーンＡ側、ゾーンＢ側ともに通路両側にカメラが
設置されている。これらのカメラは各通路の出入り口毎
に目画像検出装置の第１カメラおよび第２カメラとして
利用される。ただし、隣り合う通路の間にあるカメラは
互いに共用して用いられるので、図示のようにゾーンＡ
側で（Ｎ＋１）台のカメラＡ０〜Ａｎが設けられ、ゾー
ンＢ側で（Ｎ＋１）台のカメラＢ０〜Ｂｎが設けられて
いる。

【０１７９】たとえば、改札通路１３１（１）では、分
割ゾーンＡ₁に向いているカメラＡ０とＡ１が分割ゾー
ンＡ₁をとらえる目画像検出装置の第１カメラおよび第
２カメラとして利用され、改札通路１３１（２）では、
分割ゾーンＡ₂に向いているカメラＡ１とＡ２が分割ゾ
ーンＡ₂をとらえる目画像検出装置の第１カメラおよび
第２カメラとして利用される。

【０１８０】図３５は本発明の一実施形態である自動改
札制御装置の動作を示すフローチャートである。この自
動改札制御装置は、分割ゾーンＡ₁〜分割ゾーンＡ_nおよ
び分割ゾーンＢ₁〜分割ゾーンＢ_nのすべての分割領域つ
いて人数および各人の改札出入り口までの距離を求め、
全体として最も混雑を避けることができるように通行方
向を決定するものである。

【０１８１】まず、ステップＳ１３１でタイマを零にリ
セットした後、ステップＳ１３２で分割ゾーンＡｋの評
価関数Ｘ^Aｋおよび分割ゾーンＢｋの評価関数Ｘ^Bｋをす
べての分割ゾーンについて計算する。評価関数Ｘ^Aｋお
よびＸ^Bｋは、単位距離あたりの人の数であり、次式
（５）および（６）で与えられる。

【０１８２】

【数３】ここに、Ｎ^AｋおよびＮ^Bｋは、それぞれゾーンＡｋおよ
びゾーンＢｋにおいて改札通路１３１（ｋ）に近づいて
くる人の数であり、Ｌ^Aｋ，ｊおよびＬ^Bｋ，ｊは、それ
ぞれゾーンＡｋおよびゾーンＢｋにおいて改札通路１３
１（ｋ）に近づいてくるｊ番目の人の距離である。

【０１８３】数Ｎ^Aｋ（ｋ＝１，…，ｎ）、数Ｎ^Bｋ（ｋ
＝１，…，ｎ）、距離Ｌ^Aｋ，ｊ（ｋ＝１，…，ｎ、ｊ
＝１，…，Ｎ^Aｋ）、距離距離Ｌ^Bｋ，ｊ（ｋ＝１，…，
ｎ、ｊ＝１，…，Ｎ^Bｋ）は、各改札通路毎の目画像検
出装置による目画像の検出により求めることができる。

【０１８４】この評価関数Ｘ^AｋおよびＸ^Bｋは値が大き
いほど、各改札通路の出入り口に接近してくる人が多い
ことを意味する。

【０１８５】つぎに、ステップＳ１３３でゾーンＡ側の
評価関数値Ｘ^Aｋの合計Ｙ^Aと、ゾーンＢ側の評価関数値
Ｘ^Bｋの合計Ｙ^Bと、Ｙ^AおよびＹ^BについてのＹ^Aの比率
Ｒを計算する。

【０１８６】ステップＳ１３４では、ｋ番目の改札通路
の通行方向を評価関数Ｘ^AｋおよびＸ^Bｋを比較すること
により、暫定的に決定する。ｋ番目の改札通路につい
て、Ｘ^Aｋ≧Ｘ^Bｋであれば通行方向Ｄ^Aｋが採用され
（ステップＳ１３５）、Ｘ^Aｋ＜Ｘ^Bｋであれば通行方向
Ｄ^Bｋが採用される（ステップＳ１３６）。

【０１８７】このようにしてＮ本のすべての改札通路に
ついて、暫定的に通行方向が決定されると、ステップＳ
１３７において、通行方向Ｄ^Aｋの総数Ｎ_A、通行方向Ｄ
^Bｋの総数Ｎ_Bを求める。また、評価関数値Ｘ^Aｋの合計
Ｙ^Aと評価関数値Ｘ^Bｋの合計Ｙ^BについてのＹ^Aの比率Ｒ
に基づく通行方向Ｄ^Aｋの理想的な数（Ｎ×Ｒ）と暫定
的な通行方向Ｄ^Aｋの総数Ｎ_Aとの差Ｄｉｆｆを求める。

【０１８８】ステップＳ１３８以降では、Ｄｉｆｆが零
となるように、改札通路の通行方向を調整する。ステッ
プＳ１３８において、Ｄｉｆｆ＞０のとき、すなわち、
通行方向Ｄ^Aｋの理想的な数（Ｎ×Ｒ）が暫定的な通行
方向Ｄ^Aｋの総数Ｎ_Aよりも大きいときにはステップＳ１
３９に進んで、評価関数値Ｘ^Aｋが最大である改札通路
に最も近い通行方向Ｄ^Bｋの改札通路の通行方向をＤ^Aｋ
に切り換える。これにより、通行方向Ｄ^Aｋの総数Ｎ_Aが
１だけ小さくなるので、ステップＳ１４０でＤｉｆｆ＝
Ｄｉｆｆ−１を実行する。ステップＳ１４１において、
その結果がＤｉｆｆ＝０でなければステップＳ１３９を
再度実行し、Ｄｉｆｆ＝０であれば、ステップＳ１４２
に移行して、通行方向Ｄ^Aｋおよび通行方向Ｄ^Bｋを確定
させる。

【０１８９】ステップＳ１３８においてＤｉｆｆ＜０の
ときには、ステップＳ１４３に進み、評価関数値Ｘ^Bｋ
が最大である改札通路に最も近い通行方向Ｄ^Aｋの改札
通路の通行方向をＤ^Bｋに切り換える。これにより、通
行方向Ｄ^Aｋの総数Ｎ_Aが１だけ大きくなるので、ステッ
プＳ１４４でＤｉｆｆ＝Ｄｉｆｆ＋１を実行する。ステ
ップＳ１４５において、その結果がＤｉｆｆ＝０でなけ
ればステップＳ１４３を再度実行し、Ｄｉｆｆ＝０であ
れば、ステップＳ１４２に移行して、通行方向Ｄ ^Aｋお
よび通行方向Ｄ^Bｋを確定させる。

【０１９０】通行方向Ｄ^Aｋおよび通行方向Ｄ^Bｋを確定
させた時点で、ステップＳ１３１で零にクリアしたタイ
マが１０秒以上となっていたら、ステップＳ１４７に移
行してステップＳ１４２で確定した通行方向のとおり
に、改札通路の開閉状態を変更してステップＳ１３１に
戻る。タイマが１０秒未満であれば、ステップＳ１３２
に戻って、暫定的な通行方向の取得および理想的な通行
方向の比率に基づく修正を再び実行する。これにより、
１０秒ごとに最適な通行方向に扉の開閉を行う。

【０１９１】以上のように、本発明の自動改札制御装置
によれば、通行方向切換型の改札通路を複数本有する改
札において、通行人の混雑を最も少なくするように各改
札通路の通行方向が制御される。

【０１９２】

【発明の効果】以上のように、本発明の目画像検出装置
によれば、簡単な演算処理で目画像を検出することがで
き、それにより、目画像に対応する人の目の３次元位置
を取得できる。また、本発明の目画像検出装置を搭載し
た動作制御装置、視聴調査装置、自動改札制御装置によ
れば、利用者の位置に応じた適切な動作を実行すること
ができる。

【図面の簡単な説明】

【図１】本発明である目画像検出装置の一実施形態を示
すブロック図。

【図２】上記目画像検出装置に用いられる傾き０度のテ
ンプレートの一例を示す図。

【図３】第２の抽出手段６での目画像候補抽出範囲を示
す図。

【図４】画像処理部３の機能をマイクロコンピュータで
実行した場合の動作を示すフローチャート。

【図５】本実施形態の目画像検出装置における目画像検
出および距離測定の手順を示す図。

【図６】本実施形態の目画像検出装置における第２テン
プレートを構成する領域枠を示す図。

【図７】（ａ）〜（ｃ）は多数の目画像サンプルの中か
ら適当に選択した３つの目画像サンプルを示す図。

【図８】第２テンプレート領域枠内の３行目の２３画素
についての輝度分散を示すグラフ。

【図９】第２テンプレートを示す図。

【図１０】本発明の個人用画像プロジェクタの一実施形
態を示す配置図。

【図１１】画像プロジェクタ３１による補正映像画面を
示す図。

【図１２】画像プロジェクタ３１が映像画面形状の自動
補正のために実施する動作手順を示すフローチャート。

【図１３】本発明の音場調節機能付きテレビモニタ装置
の一実施形態を示す図。

【図１４】テレビモニタ装置４０の調整動作を示すフロ
ーチャート。

【図１５】本発明の重畳表示ウィンドウ装置の一実施形
態を示す概念図。

【図１６】重畳表示ウィンドウ装置の制御部の動作を示
すフローチャート。

【図１７】重畳表示ウィンドウ装置における目標物とそ
の表示情報との位置関係を示す図。

【図１８】本発明の動歩道装置の第１実施形態のベルト
制御部が実行する動作のフローチャート。

【図１９】本発明の動歩道装置の第２実施形態のベルト
制御部が実行する動作のフローチャート。

【図２０】本発明の盲導ロボットの一実施形態である帽
子型盲導ロボットの外観図。

【図２１】本発明の盲導ロボットの一実施形態である盲
導犬型盲導ロボットの外観図。

【図２２】帽子型および盲導犬型の盲導ロボットの動作
を示すフローチャート。

【図２３】本発明のミラー角度制御装置の一実施形態を
示す図。

【図２４】その制御動作を示すフローチャート。

【図２５】本発明の自動ドア開閉制御装置の一実施形態
を示す図。

【図２６】その制御動作を示すフローチャート。

【図２７】本発明のボール放出装置の一実施形態の制御
動作を示すフローチャート。

【図２８】本発明の扇風機の一実施形態を示す正面図。

【図２９】その制御動作を示すフローチャート。

【図３０】本発明の視聴調査装置を搭載した映像表示装
置の外観を示す斜視図。

【図３１】本発明の視聴調査装置の一実施形態の動作を
示すフローチャート。

【図３２】カメラ１１２または１１３が捕らえた画像の
一例を示す図。

【図３３】図３２が示す画像に対応する状況を示す上面
図。

【図３４】本発明の自動改札制御装置が搭載された自動
改札の一例を示す概略上面図。

【図３５】その制御動作を示すフローチャート。

【符号の説明】

１…第１カメラ、２…第２カメラ、３…画像処理部、４
…画像縮小手段、５…第１の抽出手段、６…第２の抽出
手段、７…判定手段、８…制御手段、１０…第１のテン
プレート、３１…画像プロジェクタ、５１…テレビモニ
タ装置本体、５７…重畳ウィンドウ、７２…帽子型盲導
ロボット、７７…盲導犬型盲導ロボット胴体部、９１，
９２…自動ドア、１０１…ファン、１１１…映像表示装
置、１３１…自動改札。

フロントページの続き (72)発明者畠山善幸愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者北浜謙一愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者深町映夫愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者中村弘愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者澤村武愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者大沢智明愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内Ｆターム(参考） 5B057 BA02 CA12 CA16 DA08 DB02 DC03 DC33 DC36 5L096 CA02 FA66 HA08 JA03 JA09 JA11

Claims

【特許請求の範囲】

【請求項１】撮像手段と、前記撮像手段から得られた画像データ上において目画像
を抽出するためのテンプレートを走査することにより画
像データから直接に第１の目画像候補を抽出する第１の
抽出手段と、前記第１の目候補から所定の範囲にある第２の目画像候
補を抽出する第２の抽出手段と、前記第２の目画像候補が前記第１の目画像候補と一つの
顔において対をなす目画像であるか否かを判定する判定
手段と、を備えたことを特徴とする目画像検出装置。
【請求項２】前記テンプレートは、顔の左右への傾き
に応じて異なるものが複数種類用意されていることを特
徴とする請求項１に記載の目画像検出装置。
【請求項３】前記第１および第２の抽出手段は、前記
画像データの拡大または縮小によって前記撮像手段から
異なる距離にある目の目画像を抽出することを特徴とす
る請求項１または２に記載の目画像検出装置。
【請求項４】前記テンプレートは、瞳およびその近傍
に対応する第１輝度評価領域と、前記第１輝度評価領域
を囲む第２輝度評価領域とを有し、前記第１の抽出手段は、前記第１輝度評価領域および第
２輝度評価領域のそれぞれの平均輝度および輝度分散に
基づいて目画像を抽出するものであることを特徴とする
請求項１〜３のいずれか一項に記載の目画像検出装置。
【請求項５】前記テンプレートは、複数の目画像サン
プルについて瞳を中心とした所定領域内で画素毎に前記
目画像サンプルの分散を予め求め、求めた分散値に応じ
て各画素を複数のグループに分類したものであり、前記第１の抽出手段は、前記各グループのそれぞれの平
均輝度および輝度分散に基づいて目画像を抽出するもの
であることを特徴とする請求項１〜３のいずれか一項に
記載の目画像検出装置。
【請求項６】距離算出手段をさらに備え、前記撮像手段が複数台設けられており、前記第１の抽出手段、前記第２の抽出手段および前記判
定手段は、前記複数の撮像手段により得られた各画像デ
ータについてそれぞれ処理を施すことにより、画像デー
タ毎に目画像を検出し、前記距離算出手段は、各画像データの目画像の位置を比
較することにより前記撮像手段から目までの距離を視差
に基づいて算出するものであることを特徴とする請求項
１〜５のいずれか一項に記載の目画像検出装置。
【請求項７】人に対して所定のアクションを提供する
機器の動作を制御する動作制御装置において、請求項１〜６のいずれか一項に記載の目画像検出装置
と、前記目画像検出装置により検出された目画像に対応する
目を持つ人物に前記アクションが適合するように前記機
器を制御する制御手段とを備えたことを特徴とする動作
制御装置。
【請求項８】前記制御手段による制御は、前記目画像
検出装置により検出された目画像の傾きも考慮して実行
されることを特徴とする請求項７に記載の動作制御装
置。
【請求項９】前記制御手段は、前記目画像検出装置に
より検出された目画像の変化から対応する目の移動を検
出し、その目の移動方向を考慮して前記機器が実行する
アクションを制御することを特徴とする請求項７に記載
の動作制御装置。
【請求項１０】前記目画像検出装置により検出された
目画像に対応する目を持つ人物の表情を認識する表情認
識手段をさらに備え、前記制御手段は、前記表情認識手段により認識された表
情に応じて前記機器の動作速度を変更することを特徴と
する請求項９に記載の動作制御装置。
【請求項１１】映像を表示する映像表示部と、撮像手段が前記映像表示部に対向する領域を撮像するよ
うに配置された請求項１〜６のいずれか一項に記載の目
画像検出装置と、前記目画像検出装置により検出された目画像に基づいて
前記映像表示部に顔を向けている人の数を計数する人数
計数手段とを備えたことを特徴とする視聴調査装置。
【請求項１２】通行方向の切り換えが可能な複数の改
札通路の通行方向を制御する自動改札制御装置におい
て、撮像手段が前記改札通路に配置された請求項１〜６のい
ずれか一項に記載の目画像検出装置と、前記目画像検出装置により検出された目画像に基づい
て、前記各改札通路に近づいてくる人の数と距離を検出
する利用者検出手段と、前記利用者検出手段により検出された前記各改札通路に
近づいてくる人の数と距離に基づいて、前記各改札通路
の通行方向を決定する通行方向決定手段とを備えたこと
を特徴とする自動改札制御装置。