JPS6177706A - 車両運転者の乗車位置認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は車両運転者の乗車状態を画像として捉え、該車
両運転者の車宮内における３次元位置を認識する車両運
転者の乗車位置認識装置に関し、特に運転者の３次元位
置を認識するに当って用いられる画像が、車外からの光
、例えば窓ガラスを介して入射される太陽光等によって
影響されることのないよう構成した車両運転者の乗車位
置認識装置に関するものである。

［従来技術］ 近年電子礪器の急速な発達に伴い車両の操作性、居住性
、事故回避性等の向上を目的とした新しい装置の研究が
進められており、その１つとして車両運転者の乗車位置
、例えば運転者の目の位置や頭の位置を認識し、バック
ミラー、ヘッドレスト。

空調空気の吹出口、あるいはステアリング等の位置や角
度を自動調整するとか、運転者の目の位置や頭の位置の
周期的変化から居眠り運転を検知して運転者に警報を与
えるといったことが考えられている。そしてこのような
制御を実行するのに必要な、車両運転者の乗車位置を認
識するための乗車位置認識装置としては、車両運転者の
乗車状態を撮像し、画像として検出するカメラ等からな
る画像検出部と、その検出された画像をいわゆる画像処
理によって分析し、画像上の運転者の目の位置や頭の位
置等、予め定められた所定の位置を検出して、その部分
の車苗内における３次元位置を算出する、マイクロコン
ピュータ等からなる画像処理部とにより構成し、運転者
の乗車位置を認識することが考えられている。

また上記画像検出部にて検出される車両運転者の乗車状
態を表わす画像としては、運転者が鮮明に撮像された画
像が望ましいのであるが、車両運転者を単にカメラ等を
用いて撮像した場合には、夜間では暗くてｍ＠できず、
また昼間でも車内より車外の方が明るく、良好な画像が
検出し難いといったことがあるので、車両運転者を搬像
する際運転者を同時に照射する発光部を設けることも考
えられている。そして運転者を照射する発光部としては
、可視光を照射した場合運転者に眩しさを感じさせてし
まうので、赤外光を照射するよう構成し、画像検出部と
してもその赤外光の照射による運転者からの反射光で以
て画像を検出するよう構成することが考えられている。

ところが上記のように車両運転者に赤外光を照射し、そ
の反射光によって運転者の乗車状態を画像として検出す
るようにした場合、車外からの光、例えば直射日光や建
物からの反射光が車内に入射しない夜間の画像は運転者
が鮮明に捉えられた画像となり得るのであるが、昼間太
陽°から照射される赤外光が車内に入射されると、その
光によって画像が乱れ、運転者を鮮明な画像として捉え
ることができないといった問題があり、このような場合
には運転者の乗車位置も良好に検出できないようになっ
てしまうのである。

［発明の目的］ そこで本発明は、上記画像処理部にて画像処理を実行し
、車両運転者の乗車位置を算出する際に用いられる画像
が、車外からの光に関係なく車両運転者が鮮明に捉えら
れたｊ！ｉｉ像となるよう制御することによって、車両
運転者の乗車位置を正確に認識し得るよう構成された車
両運転者の乗車位置認識装置を提供することを目的とし
ている。

［発明の構成］ かかる目的を達するための本発明の構成は、第１図に示
す如く、 車両運転名工を照射する発光手段■と、上記車両運転名
工の乗車状態を撮像し、画像信号として検出する画像検
出手段■と、 該画像検出手段■にて、上記発光手段■の照射時及び否
照射時に夫々照射画像及び否照射画像が検出されるよう
、上記発光手段「及び画像検出手段■を制御する画像検
出制御手段ｌ■と、該画像検出制御手段■の動作によっ
て上記画像　　。

検出手段■にて１コられた照射画像と否照射画像とを基
に、上記発光手段■の照射による反射光のみからなる画
像データを算出する画像データ算出手段Ｖと、 該算出された画像データの画像処理を実行し、当該車両
における上記車両運転名工の３次元位置を認識する画像
処理手段■と、 を備えたことを特徴とする車両運転者の乗車位置認識装
置ｉ置を要旨としている。

［実施例］ 以下本発明の一実施例を図面と共に説明する。

第２図は本実施例の乗車位置認識装置が搭載された車両
のインストルメントパネル部分及びその周辺を表わす斜
視図であって、１は運転者、２は運転席、３はインスト
ルメントパネルを表わしている。そしてインストルメン
トパネル３の運転席２に対する左斜め前方、即ち、助手
席側前方には、運転者１の上体を左方向から照射する発
光部５と、運転者１の上体を左方向から２次元画像とし
て促える画像検出部６が設けられている。

ここで発光部５は前述の発光手段■に相当し、照射時に
運転者１に眩しさを感じさせることのないよう赤外光を
発光する赤外ストロボが用いられ、第３図に示す如く、
赤外発光体５ａと、赤外発光体５ａにて発光された赤外
光を広く運転者に照射する為のレンズ５ｂと、赤外光を
透過し、可視光を通さない赤外フィルタ５Ｃと、これら
赤外発光体５ａ、レンズ５ｂ及び赤外フィルタ５Ｃを格
納し、インストルメントパネル３の所定の位置に取り付
けるためのケース５ｄとから構成されている。

また画像検出部６は前述の画像検出手段ｍに相当し、第
４図に示す如く、赤外光を透過する赤外フィルタ６ａと
、運転者１の上体画像を後述の固体撮像素子６ｅの撮像
面に結像するための焦点距離が例えば１２．５１ＱＩｌ
ｌのレンズ６ｂと、光量を調整するための液晶絞り素子
６Ｃと、液晶絞り素子６Ｃの絞りを自動調整するために
用いられ、液晶絞り素子６Ｃを透過する究理を検出する
フォトトランジスタ６ｄと、上記赤外フィルタ６ａ、レ
ンズ６ｂ及び液晶絞り素子６Ｃを透過して結像された撮
像面上の映像をスイッチング走査で電気信号として取り
出す、フォトセンサとスイッチング回路とからなるＭＯ
Ｓ形の固体撮像素子６ｅと、上記各部を格納し、インス
トルメントパネル３に取り付けるためのケース６ｆとか
ら構成される固体カメラが用いられている。

次に本実施例の乗車位置認識装置の全体構成を第５図に
示すブロック図に基づき説明する。

図に示す如く、本認識装置は上記発光部５及び画像検出
部６の他に、画像検出部６にて捉えられた運転者１の画
（９を処理し、運転者１の乗車位置く本実施例において
は目の位置）を認識する画像処理部８を備えている。そ
してこの画像処理部８は、上記画像検出部６を制御する
と共に、画像検出部６にて得られた画像信号をデジタル
信号に変換し、その変換されたデジ、タル信号を画像デ
ータとして一旦記憶することのできる画像入力部１０と
、上記発光部５を発光させるための照射信号を出力する
照射信号出力部１２と、画像入力部１０にてＡ／Ｄ変換
され記憶された画像データから運転者１の顔面部におけ
る所定の特異点位＠（本実施例では外の位置）を検出し
、この特異点位置から運転者１の目の位置を認識すると
いった一連の目の位置認識処理を実行するセントラルブ
ロセツシングユニット（ＣＰＵ）１４と、ＣＰＵ１４に
て目の位置認識処理を実行するための制御プログラムや
データが予め記憶されたリードオンリメそり＜ＲＯＭ）
１６と、演韓処理実行のために用いられるデータ等が一
時的に読み山きされるランダムアクセスメモリ（ＲＡＭ
）１８と、上記各部を結び画像信号や制御信号の通路と
されるパスライン２０と、上記各部に電源を供給する電
源回路２２とから構成されている。また上記画像入力部
１０は、画像検出部６に垂直同期信号及び水平同明信号
を発生する同期信号発生回路１０ａと、画像検出部６に
より得られた画像信号を、例えば１フレーム当たりに横
２５６、縦２４０の画素の明度を表わすデジタル信号か
らなる画像データに変換するＡ／Ｄ変挽回路１０ｂと、
その変換された画像データを過去２フレ一ム分だけ記憶
することのできる画像データ記憶回路１０Ｃとから構成
されている。

次に上記画像処理部８にて実行される目の位置認識処理
の動作について、第６図に示すフローチャートに沿って
詳しく説明する。尚この処理は一定周期の信号やスイッ
チからの信号等によって運転者１の目の位置認識の要求
が入力された場合に実行されるものであり、上述した如
く本実施例においては運転者１の乗車位置として目の位
置が認識されることとなる。

図に示す如く処理が開始されるとまずステップ１０１が
実行され、画像検出部６において、発光部５を発光した
際に得られる第７図に示す如き照射画像と、発光部５を
発光せず、窓ガラスを介して入射される車外からの光の
みにより得られる第８図に示す如き否照射画像との２種
類の画像が検出されるよう、発光部５に照射信号を出力
すると共に、その検出される２種類の画像を画像入力部
１０において夫々デジタル信号からなる照射画像データ
Ｇ１及び否照射画像データＧ２として記憶する、画像デ
ータ読み込み処理を実行する。

ここで画像入力部１０は、同期信号発生回路１０ａ　、
Ａ／Ｄ変挽回路１０ｂ及び画像データ記憶回路１０ｃを
備えており、同期信号発生回路１０ａより出力される垂
直同期信号及び水平同期信号に従い画像検出部６を制御
し、画像検出部６から出力される画像信号を順次取り込
みＡ／Ｄ変換回路１０ｂを介してデジタル信号に変換さ
れた画像信号を、照射画像データＧ１、または否照射画
像データＧ２として記憶回路１０Ｇに記憶することがで
きるので、本画像データ読み込み処理としては、画像入
力部１０を動作させ、同期信号発生回路１０ａから出力
される垂直同期信号と同期して発光部５を発光するだけ
で容易に実行することができる。つまり第９図に示す如
く、まず！ｌｌ！百同明信号の立ち上がり時期ｔｏより
所定時間Δ丁経過後発光部５に照射信号Ｓを出力するこ
とによって垂直帰線時期△ｔ１と一致して発光部５を発
光させ、その発光によって得られる第７図に示す如き照
射画像を照射画像データＧ１として読み込み、次のフレ
ームにおいては発光部５を発光せずに得られる第８図に
示す如き否照射画像を否照射画像データＧ２として読み
込むといった処理が実行されるのである。

尚第７図及び第８図は車外から入射される光が強く、運
転者１と同時に車外の景色も撮像された場合の画像を斜
線の密度で以て表わした画像図であって、第７図の照射
画像は発光部５を発光して運転者１に赤外光を照射した
場合であっても顔面部分からの反射光よりも車外からの
入射光の方が強く運転者１の顔面部分が少し暗くなって
いるのを表わしており、第８図の否照射画像は単に車外
からの入射光のみからなる画像であり、運転者１が完全
に影になっていることを表わしている。また上記画像入
力部１ｏにてＡ／Ｄ変換され記憶される画像データＧ１
　（またはＧ２）は、前述したように画像検出部６にて
得られた画像を横２５６、！１１１２４０に分割する画
素の明度を表わすものであり、第１０図に示す如く各画
素毎にその明度Ｇ１＜ｘ、ｙ）が記憶されている。

このようにステップ１０１にて発光部５、画像検出部６
及び画像入力部１Ｑが制御され、画像入力部１０におい
て２種の画像データＧ１及びＧ２が読み込まれると続く
ステップ１０２が実行され、この２梗の画像データＧ１
及びＧ２を基に、発光部５の発光による反射光のみから
なる画像データＧ１つまり第１１図に示す如く車外の景
色等に関係なく車室内の運転者１が鮮明に撮像された画
像を表わす画像データＧを算出する処理がなされる。

尚本ステップ１０２の処理としては、上記ステップ１０
１の処理にて画像入力部１０に記憶された照射画像デー
タＧ１と否照射画像データＧ２との差を各画素毎に算出
する口とによって、容易に実行することができる。

そして上記ステップ１０２にて画像データＧが算出され
ると次ステツプ１０３が実行され、画像データＧにおけ
る予め設定された所定のエリア、つまり第１１図に示す
３０の領域を鼻の存在域とし、この領域内の最も左側に
存在する一定レベル以上の明度を有する画素を検索し、
その位置を記憶するといった輝点検索処理が行なわれる
。この処理は次ステツプ１０４にて運転者１の鼻の位置
を検出する際に、のを１児す範囲を限定するための処理
であって、求められた画素の位置が鼻を捜すための起点
とされる。尚、本輝点検索処理としては、第１１図の鼻
存在戚３ｏにおける左上端の画素を出発点として、上下
方向に順次検索してゆき、最初の一定レベル以上の明度
を有する画素の位置を記憶することによって実行できる
。

このように輝点検索が実行され、鼻存在職の最も左側に
存在する一定レベル以上の明度を有する画素の位置が求
められると、上述したように続くステップ１０４にて、
この位置を基点として鼻を捜し、鼻の位置を決定する処
理がなされるのであるが、この処理は、輝点検索によっ
て求められた画素の近傍で、予め設定されている第１２
図に示す如き鼻の標準パターンと画像データとの相関の
度合いを調べ、相関の最大値となる画像の位置を以ての
が存在する位置であるとみなし、鼻の位置を決定するも
のである。

つまり、上記ステップ１０３にて求められた画素の位置
Ｇ　（ｘ　、　ｙ　）を中心に、第１３図に示す如（上
下、左右に夫々５画素分、計１２１個の画素を、夫々第
１２図に示した碍の標準パターンにおける中心位＠！Ｉ
ｌ　（Ｏ，Ｏ）として画像データと標準パターンとの相
関値を計算し、その値が最も大きくなった画素位置を得
失（いわゆる鼻の頭）の位置Ｇ　＜　ｈｘ、　ｈｙ）と
して認識するのである。ここで、第１２図の鼻の標準パ
ターンにおける中心位＠ｍ　（０，０）は得失に相当す
る部分として予め設定されており、また相関値としては
次式％式％） より求めることができる。そして上記ｉ及びＪの値とし
ては、鼻の標準パターンが中心ｍ　　（０、Ｏ）に対し
て上に１６、下に７、左に１、右に６の拡がりを持つデ
ータとして構成されていることから、ｉに（−１）から
（＋６）、ｊに（−１６＞から（＋７）の間の整数値を
用いればよい。

また相関値が、鼻の標準パターンにおける中心位置Ｉｎ
　　（０，０）に対して、第１３図に示す如き画像デー
タ上の画素Ｇ　（Ｘ　、　ｙ　）を中心とする上下、左
右に夫々５個、計１２１個の画素を当てはめ、計算され
ることから、上式におけるＸＳＹの値としては、夫々、
Ｘが×±５、Ｙがｙ±５の間の整数値となり、結局Ｘ及
びＹの組み合わせで最大１２１種類の相関値が弾出され
、その最大値となる画像データ上の画素Ｇ　（Ｘ、Ｙ）
が鼻の位置Ｇ　（ｈｘ、　ｈｙ）として検出されるので
ある。

このようにして鼻の位置Ｇ（ｈＸ、ｈｙ）が求められる
と、続くステップ１０５に移行して、今度はこののの位
置Ｇ　（ｈｘ、　ｈｙ）に基づき目の位置を求めること
となる。ここで目の位置を求めるに当っては、まず鼻の
位置Ｇ　（ｈｘ、　ｈｙ）より右に１２画素、上に１３
画画素行した画素の位置Ｇ（ｈｘ＋１２　、ｈｙ−１３
＞を求め、この位置の近傍で予め設定されている第１４
図に示す如き目の標準パターンと画像データとの相関の
度合を調べ、目の位置Ｑ　（ｍｘ、　ｍＶ）を決定する
。尚この決定方法としては、上記ステップ１０４の鼻の
位置決定と同様に行なえばよいので、説明は省略する。

続くステップ１０６においては、上記ステップ１０５に
て求められた画素データＧ上の目の位置Ｇ　（ｍｘ、　
ｍｙ）を基に、運転者１の左右方向の移動はないものと
して車室内における運転者１の目の３次元位置を口出す
る処理が実行される。つまり第１５図に示す運転者１の
左右＜２＞方向への移動はないものと仮定し、実験的に
求めた車両運転者の左目の標準位置Ｐを基準とする運転
者１の目（左目）の３次元位置Ｍを座標（Ｘ、Ｙ、Ｏ）
として求めることによって目の位置が認識されるのであ
るがこの処理としては、上記画像検出部５が固定されて
いることから、画像データ上の標準点Ｐの位ｆｆ１Ｇ　
（ｐｘ、　ｐｙ）を予め記憶しておぎ、この基準位置Ｇ
　（ｐｘ、　ｐｙ）に対する目の位置Ｇ（ｍｘ、ｍｙ）
のずれを算出することによって、容易に実行することが
できる。

以上説明した如く、本実施例の車両運転者の乗車位２認
識装置においては、運転者１の斜め前方である助手席側
インストルメントパネルに発光部５と画像検出部６とを
設け、発光部５を照（ト）した際に画像検出部６にて得
られる画像を照射画像データＧ１、発光部５を照射せず
に画像検出部６にて１りられる画像を否照射画像データ
Ｇ２として一旦記憶し、その後この２種の画像データＧ
１とＧ２との差から運転者１の乗車位置（目の位置）を
認識するに当って用いられる画像データＧを算出するよ
う構成されている。従って車外から入射された光が画像
検出部６にて検出され、車外の引色が撮像されるような
場合であっても、照射画像データＧ１と否照射画像デー
タＧｚとの差をとることによって車外からの光によって
撮像された部分を取り除くことができ、実際に運転者１
の乗車位置を認識する処理を実行する際には、車外から
の光に影響されず運転者１が明瞭に撮像された画像を表
わす画像データＧで以て実行することができ、乗車位置
（目の位置）を正確に認識するようになる。また本実施
例においては、運転者の目の位置を画像データＧから直
接求めるのではなく、まず画像データ上で最も検出し易
い部分である顔面部より突出された鼻の位置を特異点位
置として検出した後、目の位置を検出し、その３次元位
置を算出するようにしており、更にその＾の位置や目の
位置を検出する際には各標準パターンを用いて実行する
よう構成されているので、目の３次元位置を誤って認識
−することなく、より正確に乗車位置を認識することが
できるようになる。

ここで上記実施例においては照射画像及び否照射画像を
夫々照射画像データＧ１及び否照射画像データＧ２とし
て一旦記憶した後画像データＧを算出するようにしてい
るが、例えば照射画像データＧ１を記憶した後、否照射
画像データを読み、込む時点で画像データＧを暮出し、
画像データＧを記憶してゆくようにしてもよく、この場
合には否照射画像データＧ２は記憶する必要がない。ま
た先に否照射画像データＧ２を読み込みその後照射画像
データＧ１を読み込むようにしてもよい。

また上記実施例においては車両運転者の乗車位置として
運転者１の目の位置（正確には左目の位置）を認識する
ようにしているが、例えば目の位置を認識するに当って
先に求められた運転者１の鼻の位置を乗車位置としてそ
の３次元位置を認識するようにしてもよく、乗車位置を
認識した後の処理、つまりバックミラーを自動調整する
とか、ステアリング角度を自動調整するとかいった各処
理に応じて最も適切な乗車位置を認識するように構成す
ればよい。因みに上記実施例のように運転者１の目の位
置を認識した際にはバックミラーの角度を自動調整した
り、居眠り運転を検知する場合等に用いることができる
。

更に上記実施例において、前述の発光手段■には発光部
５が、画像検出手段■には画像検出部６が、画像検出制
御手段■、画像データ算出手段ｖ１画像処理手段Ｖｔに
は画像処理部８が夫々相当するのであるが、画像検出手
段■としては上記実施例のようにＭＯＳ形の固体搬像素
子からなる画像検出部６の他にも、例えばＣＯＤ等、い
わゆる固体カメラに用いられる搬像素子からなるもので
あればよく、撮像管を用いることも可能である。

また上記実施例においては画像検出部６を１個とし、一
方向から運転者を捉えた画像データを用いて運転者の乗
車位置を認識するようにしており、運転者の左右方向へ
の移動は考慮していないのであるが、画像検出部を異な
る位置に２個設け、いわゆる三角測色の原理を用いて運
転者の乗車位置を認識するよう構成すれば、運転者の左
右方向への移動も検知することができ、運転者の３次元
位置をより正確にＩｍすることができるようになる。

し発明の効果］ 以上詳述した如く、本発明の車両運転者の乗車位置認識
装置においては、発光手段と画像検出手段とを制御する
ことによって得られる車両運転者の照射画、象と否照射
画像とを基に、発光手段の照射による反射光のみからな
る画像データを算出し、その算出された画像データから
車両運転者の３次元位置を認識するよう構成されている
。従って画像検出手段にて得られる車両運転者の画像が
車両の窓ガラスを介して入射される太陽光等によって影
響され、車両運転者が明瞭に表われていない画像となっ
た場合にでも、実際に車両運転者の３次元位置を認識す
るに当って用いられる画像データとしては、車外からの
光を取り除いた画像、つまり車両運転者が明瞭に捉えら
れた画（象を表わす画像データとすることができ、昼間
でも車両運転者の乗車位置を正確に認識することができ
るようになる。

【図面の簡単な説明】

第１図は本発明の構成を表わすブロック図、第２図ない
し第１５図は本発明の一実施例を示し、第２図は本実施
例の車両のインストルメントパネル及びその周辺を表わ
す斜視図、第３図は発光部５の説明図、第４図は画像検
出部６の説明図、第５図は本実施例の乗車位置認識装置
の全体構成図、第６図は画像処理部８の動作を表わすフ
ローチャート、第７図は照射画像を表わす画像図、第８
図は否照射画像を表わす画像図、第９図は画像データＧ
ｌ　、Ｇ２読み込み処理を説明するタイムチャート、第
１０図は画像入力部１０に記憶された照射画像データＧ
１を表わす説明図、第１１図は画像データＧの画像図、
第１２図は鼻の標準パターンを表わすデータ図、第１３
図は鼻の位置検出処理の説明図、第１４図は目の標準パ
ターンを表わすデータ図、第１５図は目の３次元位置を
説明する説明図であって、（イ）は運転者１の平面図、
（ロ）は運転者１の側面図である。 ■・・・発光手段 ■・・・画像検出手段 ■・・・画像検出制御手段 Ｖ・・・画像データ算出手段 ■・・・画像処理手段 ５・・・発光部 ６・・・画像検出部 ８・・・画像処理部 １０・・・画像入力部 １４・・・ＣＰＵ

Claims (1)

1. 【特許請求の範囲】 １　車両運転者を照射する発光手段と、 上記車両運転者の乗車状態を撮像し、画像信号として検
   出する画像検出手段と、 該画像検出手段にて、上記発光手段の照射時及び否照射
   時に夫々照射画像及び否照射画像が検出されるよう、上
   記発光手段及び画像検出手段を制御する画像検出制御手
   段と、 該画像検出制御手段の動作によつて上記画像検出手段に
   て得られた照射画像と否照射画像とを基に、上記発光手
   段の照射による反射光のみからなる画像データを算出す
   る画像データ算出手段と、該算出された画像データの画
   像処理を実行し、当該車両における上記車両運転者の３
   次元位置を認識する画像処理手段と、 を備えたことを特徴とする車両運転者の乗車位置認識装
   置。 ２　発光手段が赤外光を発光すると共に、画像検出手段
   が赤外光を受光するよう構成された特許請求の範囲第１
   項記載の車両運転者の乗車位置認識装置。 ３　画像検出手段が、車両運転者の乗車状態を側面画像
   として検出するよう当該車両の助手席側に配設された特
   許請求の範囲第１項又は第２項記載の車両運転者の乗車
   位置認識装置。 ４　画像検出手段が２次元固体撮像素子からなる特許請
   求の範囲第１項ないし第３項いずれか記載の車両運転者
   の乗車位置認識装置。 ５　画像処理手段にて認識される車両運転者の３次元位
   置が、該車両運転者の目の位置である特許請求の範囲第
   １項ないし第４項記載の車両運転者の乗車位置認識装置
   。