JPS6166906A - 車両運転者位置認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の概要） 本発明は車両運転者の少なくとも曲面部を被１２、識部
位として光学−電気的に認識する装′？１“であって、
認識精度を良好に保つために、発光手段と撮像手段との
配置を二［夫したものである。

（産業−１−の利用分野） 本発明は重両運転者の乗車状態を画像とし′ことらえ、
車両運転者の車室内にオハノろ位置をＦ　ａｉＸする車
両運転者の位置認識装置に関ずろ。

（従来の技術） 電子機器の急速な発達に住い車両の操作ｆｌ、居住性等
の向上を目的とした新しい装置の研究が進められており
、その１つとして車両運転者の乗車位置、例えば運転者
の口の位置や頭の位置を認識し、バックミラー、ヘッド
レスト、空調空気の吹出］１、あるいはステアリング等
の位置や角度を自動調整するとか、運転者の口のイ１装
置や頭のイ装置の周期的変化から居眠り運転を検知して
運転者に警＋Ｕを与えるといったことが考えられＣいる
。そしてこの、Ｌ）な制御を実行するのに必要な、車両
運転者の乗車位置を認識するための乗車位置認識装置と
しては、車両運転者の束中状態を撮像し、画像点して検
出するカメラ等からなる画像検出部と、その検出された
画像をいわゆる画像処理によって分析し、画像−トの運
転者の目の装置♀）頭の位置等、予め定められた所定の
位置を検出して、その部分の車室内における位置を算出
する、マイク「１コンピユータ等からなる画像処理部と
により構成し、運転者の位置を認識することが尤えられ
ている。

（発明が解決しようとする問題点） 上述の認、識装置は精度よく運転打の所定部位、例えば
目の位置や鼻の位置等を認識することが要求されている
。

本発明の目的は、精度よく運転゛にの所定部位を認識す
ることができる発光手段と撮像手段との配置構成をもつ
車両運転者の（ｉγ７ｊ認識装置を提供することにある
。

（問題へをＭ？決するだめの手段） そこで本発明は、車両運転者の少なくとも顔向部が通常
荀１ｉずろ領域を被認識部（＋’ｔとして光学電気的に
認識する装置であ−、て、１−記被認、識部位に光線を
１１．Ｑ射する発光手段は、運転席］１１１方側方方便
１−記被認識部荀、１、り車両前後方向に対し所定第１
角度をもつように配置され、この発光１段の光の照射に
よる上記認識部位からの反Ｉｌ尤を受けて電気信号に変
換する撮像手段は、運転席前方側方部で１−記ｉ＝識部
位より車両前後方向に対し前記第１角度より小さい所定
第２角度をもつように配置されていることを特徴とする
。

（作用効果） Ｌ記構成において、右ハンドル車両では車掌左側前方部
（左ハンドル車両では車室右側前方部）に配置された撮
像手段が発光手段との協動により車両ｉｌ！転者の左側
顔面部の像を電気信号に変換する。この場合、発光手段
は車両運転者の俤の左側（右側）照射し右側（左側）の
頬をほとんど照射しないため、撮像手段は鼻の形状を明
確に認識することができる。また、発光手段と撮像手段
の各光軸は助手席乗員によって遮ぎられることがなく、
また得られる画像は車両運転者の前後方向の成分を含む
ものとすることができる。

（実施例） 以下本発明の第１の実施例を図面と共に説明する。

第１図は本実施例の乗車位置認識装置が搭載された車両
のインストルメントパネル部分及びその周辺を表わす斜
視図であって、ｌは運転者、２は運転席、３はインスト
ルメントパネルを表わしている。そしてインストルメン
トパネル３の運転席２に対する左斜め前方、即ち、助手
席側前方には、運転者ｌの」一体を左方向から照射する
発光部５と、運転者１の上体を左方向から２次元画像と
してとらえる画像検出部６が設けられている。

ここで発光部５は前述の発光手段に相当し、照１・１時
に運転者１に眩しさを感じさせることのないよう赤外光
を発光する赤外スｉ・ロボが用いられ、第２図に示す如
く、赤外発光体５ａと、赤外発光体５ａにて発光された
赤外光を広く運転者にｊｊ！：（１・１する為のレンズ
５ｂと、赤外光を透過し、可視光を通さない赤外フィル
タ５Ｃと、これら赤外発光体５ａ、レンズ５ｂ及び赤外
フィルタ５Ｃを格納し、インストルメントパネル３の所
定の位置に取り付けるためのケース５ｄとから構成され
ている。

また画像検出部６は前述の撮像手段に相当し、第３図に
示す如く、赤外光を透過する赤外フィルタ６ａと、運転
−１ｆｌの上体画像を後述の固体撮像素子６ｅの撮像面
に結像するための焦点距離が例えば１２．５ｍｍのレン
ズ６ｂと、光■を調整するだめの液晶絞り素子６Ｃと、
液晶絞り素子６Ｃの絞りを自動調整するために用いられ
、液晶絞り素子６ｃを透過する光量を検出するフォトト
ランジスタ６ｄと、−上記赤外フィルタ６ａ、レンズ６
ｂ及び液晶絞り素子６Ｃを透過して結像された撮像面上
の映像をスイッチング走査で電気信号として取り出す、
フォトダイオードアレイとスイソチング回路とからなる
ＭＯＳ形の固体撮像素子６ｅと、１２各部を格納し、イ
ンストルメントパネル３に取り付けるためのが一ス６ｆ
とから構成される固体カメラが用いられている。

次に本実施例の乗車位置認識装置の全体構成を第４図に
示すブロック図に基づき説明する。

図に示す如く、本認識装置は上記発光部５及び画像検出
部６の他に、画像検出部６にてとらえられた運転者１の
画像を処理し、運転者の位置（本実施例においては鼻の
位置）を認識する画像処理部８を備えている。そしてこ
の画像処理部８は、上記画像検出部６を制御すると共に
、画像検出部６にて得られた画像信号をデジタル信号に
変換し、その変換されたデジタル信号を画像データとし
て−Ｂ−記憶することのできる画像入力部１０と、上記
発光部５を発光させるための照射信号を出力する照射信
号出力部１２と、画像入力部１０にてＡ／Ｄ変換され記
憶された画像データから運転者１の顔面部における所定
部位の特異点位置（本実施例では鼻尖の位置）を検出し
、この特異点位置から運転に１の鼻の位置を認識すると
いった一連の位置認識処理を実行すセントラルプロセ、
シングユニソト　（ＣＰＵ）１４と、ＣＰ　ｔＪ　１４
にて位置認識処理を実行するための制御プログラムやデ
ータが予め記１さされたリードオンリメモリ　（ＲＯＭ
）１６と、演算処理実行のために用いられるデータ等が
一時的に読み書きされるランダムアクセスメモリ　（Ｒ
ＡＭ）１８と、上記各部を結び画像信号や制御記号の通
路とされるハスライン２ｏと、」１記各部に電源を供給
する電源回路２２とから構成されている。また上記画像
入力部１０は、画像検出部６に垂直同期信号及び水平同
期信号を発生する同期信号発生回路１０ａと、画像検出
部６により得られた画像信号を、例えば】フレーム当た
りに横２５６．縦２４０の画素の明度表わすデジタル信
号からなる画像データに変換するＡ／Ｄ変換回路１０ｂ
と、その変換された画像データを過去２フレ一ム分だけ
記ｔａすることのできる画像データ記憶回路１０Ｃとか
ら構成されている。

次に上記画像処理部８にて実行される位置認識処理の動
作について、第５図に示すフローチャートに沿って詳し
く説明する。尚この処理は一定周回の信号やスイッチか
らの信号等によって運転者１の位置認識の要求が入力さ
れた場合に実行されるものであり、」−達した如く本実
施例においては運転者１の位置として鼻の位置が認識さ
れることとなる。

図に示す如く処理が開始されるとまずステップ１０１が
実行され、画像検出部６において、発光部５を発光した
際に画像が検出されるよう、発光部５に照射信号を出力
すると共に、その検出される画像を画像入力部１０にお
いてデジタル信号からなる画像データＧとして記憶する
、画像データ読み込み処理を実行する。

ここで画像入力部１０は、同期信号発生回路１０ａ、Ａ
／Ｄ変換回路１０ｂ及び画像データ記憶回路１０ｃを備
えており、同期信号発生回路１０ａより出力される垂直
同期信号及び水平同期信号に従い画像検出部６を制御し
、画像検出図６から出力される画像信号を順次取り込み
Ａ／Ｄ変換回路１０ｂを介してデジタル信号に変換され
た画像信号を、画像データＧとして記ｔｉ回路１０ｃに
記ｊＱすることができるので、本画像データ読め込み処
理としては、画像入力部１ｏを動作さセ、同期信号発生
回路１０ａから出力される垂直同期（ａ号と同期して発
光部５を発光するだけで容易に実行することができる。

つまり第６図に示す如く、まず垂直同期信号の立ち」二
かり時期ｔ。より所定時間へＴ経過後発光部５に照射信
号Ｓを出力することによって垂直帰線時期ΔＬ１と一致
して発光部５を発光させ、その発光によって得られる画
像を画像データＧとして読み込むといった処理が実行さ
れるのである。

尚、上記画像入力部１０にてＡ／Ｄ変換され記憶される
画像データＧは、前述したように画像検出部６にて得ら
れた画像を横２５６．縦２４０に分割する画素の明度を
表わすものであり、第７図に示す如く各画素毎に明度Ｇ
　（ｘ、ｙ）が記憶されている。

このようにステップ１０１にて発光部５、画像（ｌ　　
Ｏ） 検出部６及び画像入力部ＩＯが制動され、画像入力部Ｉ
Ｏにおいて画像データＧが読み込まれると続くステップ
１０２が実行され、画像データＧにおける予め設定され
た所定のエリア、つまり第８図に示ず３０の領域を鼻の
存在域とし、この領域内の最も左側に存在する一定しベ
ル以−１−の明度を有する画素を検索し、その（☆置を
記↑ａするといった輝点検索処理が行なわれる。この処
理は次ステツプ１０３にて運転者１の鼻の位置を検出す
る際に、鼻を捜す範囲を限定するための処理であって、
求められた両要の位置が鼻を捜すための基点とされる。

尚、本輝点検索処理としては、第８図の鼻存在域３０に
おける左上端の画素を出発点として、上下方向に順次検
索してゆき、最初の一定しヘル以上の明度を有する画素
の位置を記１ａすることによって実行できる。

このように輝点検索が実行され、鼻存在域の最も左側に
存在する一定しヘル以上の明度を有する画素の位置が求
められると、上述したように続くステップ１０３にて、
この位置を基点として鼻を捜し、この処理を決定する処
理がなされるのであるが、この処理は、輝点検索によっ
て求められた画素の近傍で、予め設定されている第９図
に示す如き鼻の標準パターンと画像データとの相関の度
合を調べ、相関の最大値となる画像の位置を以で禅が存
在する位置であるとみなし、鼻の位置を決定ずろもので
ある。

つまり、Ｌ−記ステップ＋０２にて求められた画素の位
置Ｇ　（ｘ、　　ｙ）を中心に、第１１図に示す如く」
−下、左右に夫々５画素分、Ｍｌｌ　２１個の画素ヲ、
夫々第９図に示した鼻の標Ｙ１−パターンｃ：おりる中
心位ｉｍ（０，０＞として画像データと標Ｃｐ−パター
ンとの相関値を計算し、その値し最も大きくなった画素
位置を鼻の位置Ｇ　（ｈｘ、ｈｙ）として認識するので
ある。ここで、第１０図の鼻の標準パターンにおける中
心位置ｍ　（０，０）は鼻に相当する部分として予め設
定されており、また相関値としては次式 ％式％（） より求めることができる。そして」−２ｉ及びｊの値と
しては、鼻の標準パターンが中心ｍ　（０，Ｏ）に対し
て上に１６、下に７、左に１、右に６の拡がりを持つデ
ータとして構成されでいることから、ｉに（−１）から
（＋６）、ｊに（−１６）から（＋７）の間の整流値を
用いれば、Ｌい。

また相関値が、はな標準パターンにおける中心位置ｍ　
（０，０）に対して、第１１図に示す如き画像データ上
の画素Ｇ　（ｘ、　　ｙ＞を中心とする上下、左右に夫
々５個、計１２１個の画素を当てはめ、計算されること
から、上式におりるＸ、Ｙの値としては、夫々、Ｘが×
±５、Ｙがｙ±５の間の整数値となり、結局Ｘ及びＹの
組み合わせで最大１２］種類の相関値が算出され、その
最大値となる画像データ上の画素Ｇ　（Ｘ、　　Ｙ）が
鼻の位置Ｇ　（ｈＸ、ｈｙ）として検出されるのである
。

以上説明した如く、本実施例の車両運転者の位置認識’
Ｗ置においては、所定部位を認識する際に、その所定部
位の標準パターンを用いて実行するよう構成されている
ので、所定部位の位置を誤って認識することなく、より
正確に乗車位置を認識することができるようになる。

次に本発明の第２の実施例を図面と共に説明する。

本実施例では、第１の実施例に６ｉ？）認識された車両
運転者１の鼻の位置を基にして、車両運転者１の鼻を除
く所定部位の特異点（本実施例では目の中心）の位置及
び所定部位（本実施例では目）の位置を認識する。

本実施例にて実行される位置認識処理の動作について、
第１１図に示すフローチャートに沿って詳しく説明する
。尚、本実施例のステップ２０１、ステップ２０２及び
ステップ２０３は第１の実施例におけるステップ１０１
．ステップ！０２及びステ・ノブＩＯ３と同様であるの
で説明を省略する。

ステップ２０１．ステップ２０２及びステップ２０３を
順次実行することによって鼻の位ｌ　ｃ（ｈｘ、ｈＹ）
が求められると、続くステップ２０４に移行して、今度
はこの鼻の位ＩＧ　（ｈ　ｘ　。

ｈｙ）に基づき目の位置を求めることとなる。ここで目
の位置を求めるに当たっては、まず発の位置Ｇ　（ｈ　
ｘ、　　ｒＩｙ）より右に１２画素、上に１３画画素行
した画素の位置Ｇ　（ＩＩＸ　＋　１２．　　ｈｙ−１
３）を求め、この位置の近傍で予め設定されている第１
２図に示す如き目の標準パターンと画像データとの相関
の度合を調べ、目の位置Ｇ（ｍｘ。

ｍｙ）を決定する。尚この決定方法としては、第１の実
施例におけるステップＩＯの鼻位置決定と同様に行えば
よいので、説明は省略する。

続くステップ２０５においては、−ト記ステソフ。

２０４にて求められた画素データＧ−）−の目の位；６
Ｇ　（ｍｘ、ｍｙ）を基に、運転者の左右方向の移動は
ないものとして車室内におけ運転者１の目の３次元（ｉ
７置を１γ出する処理が実行されろ。つまり第１３図に
示す運転−Ｋｌの左右（Ｚ）方向へ移動はないものと仮
定し、実験により求めた当該車両における運転者の目（
左目）の標？ｉｌｉ的な位ｉηＰをＪ、いＩＩＸとする
座標系を考えて運転者１の目（左目）の３次元位置Ｍを
座標（Ｘ、Ｙ、０）として求めＺ）ことにより目の位置
が認識されるのであるがこの処理としては、上記画像検
出部５が固定されていることから、画像データ上の標／
１（点Ｐの位置Ｇ（ｐｘ、ｒ’ｙ）をｒめ記憶しておき
、ごのｐ、（（１１！　（をン；＋”＋’４；　（ｐ　
ｘ、　　ｐ　ｙ）に対する目のイ装置（ｍｘ、ｍｙ）の
ずれを算出することによって、容易に実行することがで
きる。

以−Ｉ−説明した如く、本実施例の車両運転者の位置認
識装置においては、所定部位を認識する際には、その所
定部位の標準パターンを用いて実行するよう構成されて
いるので、所定部位の位置を誤って認、識することがな
く、より正確に乗車位置を認識することができるように
なる。

さらに、本実施例においては、運転者の目の（Ｑ置を画
像データから直接求めるのではなく、まず画像データー
にで最も検出しやすい部分である顔面分より突出した鼻
尖の位置を所定部位の特異点として及び鼻を所定部イ☆
出して鼻の位置を検出し、続いて、目の中心を所定部位
の特異点として及び目を所定部荀として、先に求めた鼻
の位置を基に、目の位置を検出するようにしているため
、容易に乗車位置（左目の位置）を認識することができ
る。

ｉした本実施例においては車両運転者の乗車位置として
運転者１０目の位置（正確には左目の位置）を認識する
ようにしているが、例えば運転者１の鼻の位置を車両運
転者の位置としてその３次元位置を認識するようにして
もよく、車両ｉ１転者の位置を認識した後の処理、つま
りパックミラーを自動調整するとか、ステアリング角度
を自動調整するとかいった各処理に応して最も適切な乗
車位置を認識するように構成すればよい。困みに本実施
例のように運転者１の目の位置を認識した際にはハック
ミラーの角度を自動調整したり、居眠り運転を検知する
場合等に用いることができる。

更に第１の実施例及び第２の実施例において、前述の発
光手段には発光部５が、撮像手段には画像検出部６が、
夫々相当するのであるが、撮像手段としては上記実施例
のようにＭＯＳ形の固体撮像素子からなる画像検出部６
の他にも、例えばＣＣＤ等、いわゆる固体カメラに用い
られる撮像素Ｔからなるものであればよく、撮像管を用
いることも可能である。

また第１の実施例及び第２の実施例に４９いては画像検
出部６を１個とし、一方向から運転者をとらえた画像デ
ータを用いて運転者の乗申位；６をヨ７３識するように
しており、運転者の左右ツノ向−１の移動は考慮してい
ないのであるが、画像検出部を胃なる位置に２個設け、
いわゆる二角測量のｌ真理を用いて運転者の乗車位置を
認識するように構成すれば、運転者の左右方向への移動
も検知することができ、運転者の３次元位置をより正確
に認識することができるようになる。

尚、第１の実施例及び第２の実施例では、発光手段■と
して赤外線ストロボを用いているが白熱Ｌトのような連
続光を用いてもよい。

さらに、第１の実施例及び第２の実施例では輝点検索処
理において左上端を出発点として士下方向に順次検索し
てゆくが、鼻存在域中の全画素に検索順位をつけてその
順位に従って検索するようにしてもよい。

又、第１の実施例及び第２の実施例において、鼻存在域
を長方形としているが、例えば、円形又は三角形のよう
にしてもよい。この場合、前記の画素に検索順位をつｉ
ノる方法を併用するとより効ｃ的な検索ができる。

又、撮像手段により得られた画像データを直接処理して
位置を認、識するのではなく、エッヂ検出処理や横方向
微分処理を施した画像データについて位置を認識すると
、その画像データの特徴がはっきりするのでより精度の
高い位置認識ができる。

【図面の簡単な説明】

第１図ないし第１３［ｍは本発明の実施例を示し、第１
図は本発明の実施例が適用さ駒、る車両のインストルメ
ントパネル及びその周辺を表わす斜視図、第２図は発光
部５の説明図、第３図は画像検出部６の説明図、第４図
は乗車位置認識装置の全体構成図、第５図は第１実施例
の画像処理部８の動作を表わすフローチャート、第６Ｍ
は画像データＧの読み込み処理を説明するタイプ、チー
ト−ト、第７図は画像入力部１０に記憶された照射画像
データＧを表わす説明図、第８図は画像データＧの画像
図、第９図は邸の標牛パターンを表わすデータ図、第１
０図は弄の（−７置検出処理の説明図、第１１図は第２
実施例の画像処理部の動イ１を表わず〕ｌ’ｌ　−チャ
ート、第１２図は口の標（１ｃパターンを表わ゛４デー
タ図、第１３図は「１の３次元位置を説明−４る説明図
であゲＣ１（イ）は運転者１の゛Ｖ而面、（１］）は運
転者１の側面図である。 ５・・・発光部、６・・・画像検出部、８・・・画像処
理部、１０・・・画像入力部、１４・・・ｃ　Ｐ　ＬＪ
。 代理人ブ１理十　　岡　部　　　隆 第１３図

Claims (1)

1. 【特許請求の範囲】 車両運転者の少なくとも顔面部が通常位置する領域を被
   認識部位として光学−電気的に認識する装置であって、 運転席前側方部で上記被認識部位より車両前後方向に対
   し所定第１角度をもつ位置に配置され、上記被認識部位
   に光を照射する発光手段と、運転席前方側方部で上記被
   認識部位より車両前後方向に対し前記第１角度より小さ
   い所定第２角度をもつ位置に配置され、前記発光手段の
   光の照射による上記被認識部位からの反射光を受けて電
   気信号に変換する撮像手段と、 を備えた車両運転者位置認識装置。