JPH11328364A - 領域推定装置及び表示処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 歩行者のような検出対象者の身体全体を包含
する領域をその他の領域と区分して明確に表示し、運転
者の視角補助に有効に利用できる表示処理装置を提供す
る。 【解決手段】 赤外線カメラ１の撮影した赤外線画像上
で、検出対象者の頭部位置を頭部位置判別手段31によっ
て判別し、領域決定手段32がこの赤外線画像内の頭部位
置の情報に基づき、赤外線画像上での検出対象者の身体
に相当する領域を決定する。そして領域強調手段33によ
って検出対象者の身体に相当する領域を他の領域と区別
できるように強調処理し、この赤外線画像を表示モニタ
４に表示する。これによって、表示モニタ４に表示され
る赤外線画像では歩行者のような検出対象者の身体全体
を区分して強調表示できるようになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線カメラのよ
うな赤外線撮影手段が撮影する赤外線画像から検出対象
者の身体領域を判別する領域推定装置、及び当該領域推
定装置が決定した検出対象者の身体領域をその他の領域
と区分して共に表示する表示処理装置に関する。

【０００２】

【従来の技術】人の存在を他の物体と区別して検出する
のに有効な手段として、赤外線カメラを含む赤外線セン
サがある。赤外線センサは対象物の温度で判別を行うの
で、対象物の形状や動きなどを調べる手段に比べて単純
な構成が可能である。

【０００３】このような赤外線検出技術を用いた従来例
として、例えば特開平２−１４３０４７号公報に記載さ
れたもので知られている。この従来例は、室内を複数の
領域に分け、それぞれの領域に対応する赤外線センサを
設け、各領域に人が存在すればそれぞれを検出し、空調
機の風向制御に反映させようとするものである。

【０００４】また特開平６-１１７８３６号公報には、
別の従来例として、赤外線センサによる赤外線画像に対
してニューラルネットワーク又はパターン認識機構を適
用して、詳細な人間の個人判別を行う技術が開示されて
いる。

【０００５】特開平５−１３７０３０号公報にはさらに
別の従来例が記載されている。この従来例は、夜間のよ
うな低視界において、検出対象者の身体から発散される
赤外線を赤外線カメラによって検出し、表示装置に表示
することによって運転者の視界を補助しようする技術で
ある。

【０００６】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の技術では、次のような点が未解決であった。
すなわち、検出対象者の身体は通常、着衣で覆われてい
るために赤外線が身体全体から一様に発散されることが
ない。このため、身体全体に対応する領域の特定にずれ
が生じることがあり、特に、空調機の風向制御に反映さ
せようとすれば、赤外線が多く発散される身体の頭部の
位置に向けて風向制御されるようになり、身体全体を暖
めるように風向を調節することができない場合がある。

【０００７】また運転者の視界補助に適用しようする場
合、運転者は歩行者らしい検出候補を視認し、その形状
や動きから注意すべき対象か否かを判断する必要がある
ので、表示装置に表示された検出候補の位置は画像内に
おいてより強調して一瞥して視認できるような表示であ
ることが望ましく、併せて、検出しやすい頭部以外の着
衣部分も強調表示の対象とするのが望ましい。ところが
着衣部分の赤外線の発散が低く抑えられているので、従
来の赤外線カメラの撮影した赤外線画像では、特に遠方
の歩行者の映像では、皮膚が露出している頭部のみが強
調されることになり、街灯などとの判別が困難となる場
合がある。

【０００８】本発明はこのような従来の技術的課題を解
決するためになされたもので、赤外線画像を利用して検
出対象者の身体全体を包含する領域を検出することがで
きる領域推定装置を提供することを目的とする。

【０００９】本発明はまた、歩行者のような検出対象者
の身体全体を包含する領域をその他の領域と区分して明
確に表示し、運転者の視角補助に有効に利用できる表示
処理装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】請求項１の発明の領域推
定装置は、赤外線画像を撮影する撮影手段と、前記撮影
手段の撮影した前記赤外線画像内から、検出対象者の頭
部位置を判別する頭部位置判別手段と、前記頭部位置判
別手段の判別した前記赤外線画像内の頭部位置の情報に
基づき、当該赤外線画像内における前記検出対象者の身
体に相当する領域を決定する領域決定手段とを備えたも
のである。

【００１１】請求項２の発明は、請求項１の領域推定装
置において、前記領域決定手段が、前記検出対象者の身
体に相当する領域として当該検出対象者の身体を包含す
るのと同程度の領域を決定するものである。

【００１２】請求項３の発明は、請求項１の領域推定装
置において、前記領域決定手段が、前記検出対象者の身
体に相当する領域を、前記赤外線画像の画像上の前記検
出対象者の存在位置、前記撮影手段の設置高さ及び撮影
方向の俯角、あらかじめ与えられている前記検出対象者
の身長のデータを用いて決定するものである。

【００１３】請求項１〜３の発明の領域推定装置では、
撮影手段の撮影した赤外線画像内から、検出対象者の頭
部位置を頭部位置判別手段によって判別し、領域決定手
段がこの赤外線画像内の頭部位置の情報に基づき、赤外
線画像内における検出対象者の身体に相当する領域を決
定する。

【００１４】これにより、赤外線画像内における検出対
象者の身体全体の位置を特定することができ、この情報
を、例えば空調機の風向制御に反映させることによって
人の頭部のみならず、身体全体に向けた風向制御が可能
となる。また、この情報を運転者の視角補助に利用すれ
ば、表示手段に表示される赤外線画像の中から歩行者の
ような検出対象者の身体全体の区分して強調表示するの
に応用することができ、より効果的な運転者の視角補助
が可能となる。

【００１５】請求項４の発明の表示処理装置は、請求項
１〜３の領域推定装置を備え、さらに、前記赤外線画像
内における、前記領域決定手段の決定した前記検出対象
者の身体に相当する領域をその他の領域と区分する画像
処理手段と、前記画像処理手段の出力画像を表示する表
示手段とを備えたものである。

【００１６】請求項５の発明は、請求項４の表示処理装
置において、前記画像処理手段が、（１）前記赤外線画
像内の該当領域に境界線を明示する、（２）前記赤外線
画像内の該当領域の明度又は色をその他の領域と異なら
せる、（３）前記赤外線画像内の該当領域以外の領域を
所定の色で塗りつぶす、の１又は複数の組合せにより前
記赤外線画像内における、前記領域決定手段の決定した
前記検出対象者の身体に相当する領域をその他の領域と
区分するものである。

【００１７】請求項４及び５の発明の表示処理装置で
は、請求項１〜３の領域推定装置により赤外線画像内に
おいて検出対象者の身体全体を包含する領域を決定し、
相当する領域を他の領域と区分して表示する。そして、
この表示のために、（１）前記赤外線画像内の該当領域
に境界線を明示する、（２）前記赤外線画像内の該当領
域の明度又は色をその他の領域と異ならせる、あるいは
（３）前記赤外線画像内の該当領域以外の領域を所定の
色で塗りつぶす、の１又は複数の組合せる手法を採用す
る。

【００１８】これによって、本装置を運転者の視角補助
に利用すれば、表示手段に表示される赤外線画像の中か
ら歩行者のような検出対象者の身体全体の区分して強調
表示することができ、効果的な運転者の視角補助が可能
となる。

【００１９】

【発明の効果】以上のように請求項１〜３の発明の領域
推定装置によれば、赤外線画像内における検出対象者の
身体全体の位置を特定することができ、この情報を、例
えば空調機の風向制御に反映させることによって人の頭
部のみならず、身体全体に向けた風向制御が可能であ
る。また、この情報を運転者の視角補助に利用すれば、
表示手段に表示される赤外線画像の中から歩行者のよう
な検出対象者の身体全体の区分して強調表示するのに応
用することができ、より効果的な運転者の視角補助が可
能である。

【００２０】請求項４及び５の発明の表示処理装置によ
れば、本装置を運転者の視角補助に利用すれば、表示手
段に表示される赤外線画像の中から歩行者のような検出
対象者の身体全体の区分して強調表示することができ、
効果的な運転者の視角補助が可能である。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を図に
基づいて詳説する。図１は本発明の第１の実施の形態の
表示処理装置のハードウェア構成を示し、図２はその機
能構成を示している。第１の実施の形態の表示処理装置
は、ハードウェア的には、車載され、車両前方の道路情
景を所定の視野で撮影する赤外線カメラ１、この赤外線
カメラ１の撮影する赤外線画像をディジタル化して記憶
する赤外線画像フレームメモリ２、領域推定装置として
赤外線画像内から歩行者のような検出対象者の身体全体
を包含する領域を決定し、さらに表示処理装置としてそ
の領域を他の領域と区分した画像に処理するＣＰＵ３、
そしてこのＣＰＵ３の処理した赤外線画像を表示する表
示モニタ４から構成されている。

【００２２】またＣＰＵ３が処理する機能を機能別に分
けて示すと、図２に示すように、赤外線画像フレームメ
モリ２に保存されている赤外線画像データを取りこみ、
画素ごとに走査し、明部が集中している領域を探し、検
出対象者の頭部の領域と決定する頭部検出処理部３１、
頭部検出処理部３１の決定した頭部領域に対して、後述
する手法により検出対象者の身体を包含する領域を決定
する身体領域決定処理部３２、この身体領域決定処理部
３２が決定した検出対象者の身体領域全体を後述する手
法によって他の領域と区分する表示形態に変換し、赤外
線画像データの全体を出力する領域強調処理部３３を備
えている。

【００２３】なお、この実施の形態は表示処理装置に関
するものであるが、赤外線カメラ１、赤外線画像フレー
ムメモリ２及びＣＰＵ３における頭部検出処理部３１と
身体領域決定処理部３２によって本発明の領域推定装置
が構成され、本実施の形態はこの領域推定装置を用いた
表示処理装置を構成することになる。

【００２４】次に、上記構成の領域決定装置及びそれを
用いた表示処理装置の動作を説明する。赤外線カメラ１
は設定された視野、画角の赤外線による車両前方の道路
情景を撮影して赤外線画像フレームメモリ２に１フレー
ムずつ記憶する。ＣＰＵ３は赤外線画像フレームメモリ
２から赤外線画像データを取込み、図３のフローチャー
トに示す各処理によって検出対象者である歩行者の身体
を含む領域を決定し、さらにその領域を他の領域と区分
する表示形態に変換し、画像データを表示モニタ４に表
示させる処理を繰り返し実行する。

【００２５】そのためにまず、頭部検出処理部３１が赤
外線画像フレームメモリ２から１フレーム分の赤外線画
像データを取りこみ、画素ごとに走査し、歩行者の頭部
に相当する領域を検出する（ステップＳ１，Ｓ２）。こ
れには、例えば特開平９−１２８５４８号公報に記載さ
れている技術を利用するが、赤外線画像内から重心位
置、縦横比、充足率、実面積などの条件を満たす部位の
存在を調べ、相当する領域を歩行者の頭部に相当する領
域と決定するのである。

【００２６】続いて、身体領域決定処理部３２により、
その歩行者の身体に相当する領域を決定する（ステップ
Ｓ３）。この身体相当領域の決定は、次のようにして行
う。図４を参照して、画像の水平画角中心から歩行者の
頭部までの実距離feと、画面上での歩行者の身長ebは、
カメラの設置高Ｈcamと俯角θ、歩行者の身長Ｈped、カ
メラからの水平距離Ｌとの間で、それぞれ次の数１〜数
３の式で示す関係が存在する。

【００２７】

【数１】

【数２】

【数３】 ここで、歩行者の身長Ｈpedとして成人の平均身長を代
表値として当てはめると、上記のfeとebとの関係式を得
ることができる。一方、図５を参照して、頭部検出処理
部３１が検出した歩行者の頭部の検出位置により、画面
上にてfeに該当する値を得ることができる。これによ
り、Ｌに応じたebの値を求めることができる。

【００２８】こうして求めた歩行者の頭部に該当する位
置（＝ｅ）と、領域の高さ方向の大きさ（＝eb）をもと
にして画面上で歩行者を包含する図形を当てはめ、歩行
者の身体に相当する領域とするのである。

【００２９】この実施の形態では、以下のような長辺e
b、短辺eb／２の長方形領域を用いる。

【００３０】（ａ）上部の辺の位置を垂直座標ｅとし、
（ｂ）水平方向の中心線を水平座標とし、（ｃ）垂直方
向の大きさをebとし、（ｄ）水平方向の大きさをeb／２
とする。

【００３１】なお、検出対象者としての歩行者の身体に
相当する領域としてこのような長方形領域を用いる代わ
りに、例えば長軸eb、短軸eb／２とし、頭部位置を頂点
とするだ円領域のように、他の形状の領域を用いること
も可能である。また画像上で歩行者の身体に相当する領
域を決定するのに、比較的近距離に存在する歩行者を検
出対象者とする場合には、頭部領域の大きさを調べ、頭
部と体全体との比率、つまり、図５におけるα：βの値
を固定値として、高さ方向の大きさebを簡易的に、eb＝
α＋βとすることもできる。これらは、以下の第２、第
３の実施の形態についても同様に適用できる。

【００３２】こうして歩行者の頭部及びそれを含む身体
に相当する領域を決定すれば、領域強調処理部３３がそ
の領域を他の領域と明確に識別できるように強調処理を
行う（ステップＳ４）。ここでは、強調処理として身体
に相当する長方形領域の輪郭を目立つ色で縁取ることに
より実現する。

【００３３】こうして強調処理が済めば、ＣＰＵ３は強
調処理の済んだ赤外線画像データを表示モニタ４に出力
し、表示させる（ステップＳ５）。

【００３４】以上のＣＰＵ３による画像処理を、実際の
画面を用いて説明する。図６（ａ）は赤外線カメラ１に
よる赤外線画像OG上での、検出対象者である歩行者の頭
部位置、画面上での検出位置、身体に相当する領域（垂
直領域）の関係を示している。これに対して、同図
（ｂ）は表示モニタ４に実際に表示される画像例Ａであ
り、上述した身体に相当する長方形領域１１を目立つ色
で強調表示することにより、画面上のこの長方形領域の
位置に検出対象者が存在することが運転者に一瞥して認
識できるようになっている。

【００３５】以上のように、第１の実施の形態の表示処
理装置では、運転者の視界補助に適応する表示処理装置
として、歩行者の頭部以外の着衣部分を含めて検出候補
の位置を画像内で強調表示することができ、これによっ
て運転者は、歩行者らしき検出候補を容易に視認し、そ
の形状や動きから注意すべき対象か否かを判断しやすく
なる。

【００３６】次に、本発明の第２の実施の形態の表示処
理装置を、図１、図２、図７〜図９に基づいて説明す
る。第２の実施の形態の表示処理装置の構成は、図１及
び図２に示した第１の実施の形態と同様である。ただ
し、ＣＰＵ３の実行する表示処理が異なっている。つま
り、第２の実施の形態におけるＣＰＵ３の領域強調処理
部３３は、検出対象者の身体に相当する領域１１の強調
のために当該領域だけ、白黒反転処理を行うことによ
り、他の領域と区分する点に特徴がある。その他は、第
１の実施の形態と同様である。

【００３７】この第２の実施の形態の表示処理装置によ
る画像処理表示について、図７のフローチャートを参照
して説明する。第１の実施の形態と同様に頭部検出処理
部３１が赤外線画像フレームメモリ２から取りこんだ赤
外線画像に対し、歩行者の頭部領域を検出し、身体領域
決定処理部３２が第１の実施の形態と同様の処理によっ
て歩行者の身体に相当する領域１１を決定する（ステッ
プＳ１〜Ｓ３）。

【００３８】これに続いて、領域強調処理部３３は身体
領域決定処理部３２が決定した領域１１の白黒反転処理
を行い（ステップＳ４０）、その後、赤外線画像の全体
を表示モニタ４に表示させる（ステップＳ５）。

【００３９】ここで白黒反転処理について説明する。赤
外線画像OGを１画素ごとに走査し、その画素の座標がス
テップＳ３で決定した領域１１に含まれているか否かを
調べる。そして含まれている場合には、赤外線画像の該
当する画素について、図８に示すように明度反転スケー
ルにしたがって白黒反転処理を行う。そして、反転処理
後の画素データを元の赤外線画像の該当する画素のデー
タと入れ換える。これを赤外線画像OGの全画素について
繰返し、処理が終了すれば表示モニタ４に全体の画像を
表示させるのである。こうして得られる表示画像Ｂは、
図９に示すようなものとなる。

【００４０】こうして第２の実施の形態の表示処理装置
によれば、第１の実施の形態と同様の効果を奏し、さら
に検出対象者の身体に相当する領域だけを白黒反転させ
た赤外線画像Ｂが表示できるので、自ら発光することが
ない歩行者が赤外線画像上で周囲よりも明るく映る違和
感を低減し、かつ他の領域と明確に識別できる形態で表
示できる。

【００４１】なお、この第２の実施の形態では検出対象
者の身体に相当する領域１１を白黒反転させて表示する
ようにしたが、これに限らず、例えばその他の領域と区
別できるような色、明度に変更するようにしてもよい。

【００４２】次に、本発明の第３の実施の形態の表示処
理装置を、図１、図２、図１０及び図１１に基づいて説
明する。第３の実施の形態の表示処理装置の構成も、図
１及び図２に示した第１の実施の形態と同様である。た
だし、ＣＰＵ３の実行する表示処理が異なっていて、第
３の実施の形態におけるＣＰＵ３の領域強調処理部３３
は、後述するように検出対象者の身体に相当する領域１
１の強調のために、赤外線画像OGにおける当該領域１１
以外の部分を所定の暗色で塗りつぶす処理を行うことに
より、他の領域と区分する点に特徴がある。その他は、
第１の実施の形態と同様である。

【００４３】この第３の実施の形態の表示処理装置によ
る画像処理表示について、図１０のフローチャートを参
照して説明する。第１の実施の形態と同様に頭部検出処
理部３１が赤外線画像フレームメモリ２から取りこんだ
赤外線画像に対し、歩行者の頭部領域を検出し、身体領
域決定処理部３２が第１の実施の形態と同様の処理によ
って歩行者の身体に相当する領域１１を決定する（ステ
ップＳ１〜Ｓ３）。

【００４４】これに続いて、領域強調処理部３３は身体
領域決定処理部３２が決定した領域１１の強調のため
に、赤外線画像OGにおける当該領域１１以外の部分を所
定の暗色で塗りつぶす処理を行い（ステップＳ４１）、
その後、赤外線画像の全体を表示モニタ４に表示させる
（ステップＳ５）。こうして得られる表示画像Ｃは、図
１１に示すようなものとなる。

【００４５】こうして第３の実施の形態の表示処理装置
によれば、第１の実施の形態と同様の効果を奏し、さら
に検出対象者の身体に相当する領域以外の領域を暗く塗
りつぶした赤外線画像Ｃが表示できるので、特に夜間の
運転時での使用を想定した場合、強調する必要のない領
域は車外の存在物のない暗闇を連想させる表示となり、
運転者に対して歩行者の存在を明確に識別させることが
できる。

【００４６】なお、上記の第１〜第３の実施の形態は本
発明の表示処理装置を示したが、それらの表示処理装置
に組み込まれた赤外線カメラ１、赤外線画像フレームメ
モリ２、ＣＰＵ３の頭部検出処理部３１及び身体領域決
定処理部３２からは本発明の領域推定装置を構成するこ
とができ、この部分だけを例えば、空調機の風向制御の
ための検出対象者の存在位置の検出のために用いるよう
にすれば、人の頭部のみならず、身体全体に向けた風向
制御が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のハードウェア構成
を示すブロック図。

【図２】上記の実施の形態におけるＣＰＵの機能構成を
示すブロック図。

【図３】上記の実施の形態におけるＣＰＵの画像表示処
理のフローチャート。

【図４】上記の実施の形態による画像処理の説明図。

【図５】上記の実施の形態による画像処理の説明図。

【図６】上記の実施の形態による表示画像例を示す説明
図。

【図７】本発明の第２の実施の形態におけるＣＰＵの画
像表示処理のフローチャート。

【図８】上記の実施の形態による白黒反転処理の説明
図。

【図９】上記の実施の形態による表示画像例を示す説明
図。

【図１０】本発明の第３の実施の形態におけるＣＰＵの
画像表示処理のフローチャート。

【図１１】上記の実施の形態による表示画像例を示す説
明図。

【符号の説明】

１ 赤外線カメラ ２ 赤外線画像フレームメモリ ３ ＣＰＵ ４ 表示モニタ ３１ 頭部検出処理部 ３２ 身体領域決定処理部 ３３ 領域強調処理部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 赤外線画像を撮影する撮影手段と、 前記撮影手段の撮影した前記赤外線画像内から、検出対
   象者の頭部位置を判別する頭部位置判別手段と、 前記頭部位置判別手段の判別した前記赤外線画像内の頭
   部位置の情報に基づき、当該赤外線画像内における前記
   検出対象者の身体に相当する領域を決定する領域決定手
   段とを備えて成る領域推定装置。
2. 【請求項２】 前記領域決定手段は、前記検出対象者の
   身体に相当する領域として当該検出対象者の身体を包含
   するのと同程度の領域を決定することを特徴とする請求
   項１に記載の領域推定装置。
3. 【請求項３】 前記領域決定手段は、前記検出対象者の
   身体に相当する領域を、前記赤外線画像の画像上の前記
   検出対象者の存在位置、前記撮影手段の設置高さ及び撮
   影方向の俯角、あらかじめ与えられている前記検出対象
   者の身長のデータを用いて決定することを特徴とする請
   求項１に記載の領域推定装置。
4. 【請求項４】 前記赤外線画像内における、前記領域決
   定手段の決定した前記検出対象者の身体に相当する領域
   をその他の領域と区分する画像処理手段と、 前記画像処理手段の出力画像を表示する表示手段とを備
   えて成る請求項１に記載の領域推定装置を用いた表示処
   理装置。
5. 【請求項５】 前記画像処理手段は、次の１又は複数の
   組合せにより前記赤外線画像内における、前記領域決定
   手段の決定した前記検出対象者の身体に相当する領域を
   その他の領域と区分することを特徴とする請求項４に記
   載の表示処理装置。 （１）前記赤外線画像内の該当領域に境界線を明示す
   る、 （２）前記赤外線画像内の該当領域の明度又は色をその
   他の領域と異ならせる、 （３）前記赤外線画像内の該当領域以外の領域を所定の
   色で塗りつぶす。