JPH11243538A

JPH11243538A - 車両用視認装置

Info

Publication number: JPH11243538A
Application number: JP10043634A
Authority: JP
Inventors: Akira Asaoka; 昭浅岡
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-02-25
Filing date: 1998-02-25
Publication date: 1999-09-07

Abstract

(57)【要約】【課題】赤外線カメラで撮像した画像を用いて視認性の
よい表示を行なえる車両用視認装置を提供する。【解決手段】赤外線カメラ１の画像の画素中で輝度値が
しきい値以上の画素群（例えば歩行者の顔）としきい値
未満の画素群（背景等）とを輝度分離し、しきい値未満
の画素群に対して、各画素の輝度階調を反転する輝度階
調反転手段１１と、しきい値以上の画素群に対して、各
画素の輝度階調・色彩を所定値に設定する輝度階調・色
彩調整手段１２と、画像の輪郭を強調するエッジ強調手
段１３とを備え、それらを加算した信号を表示する構
成。しきい値未満の画素群を輝度階調反転することで、
空が明るく建物等が暗い通常の画像に似た表示を行なえ
る。またしきい値以上の画素群に対して、各画素の輝度
階調・色彩を強調することで、歩行者等を明瞭に表示で
きる。また画像の輪郭を強調することで、要注意物体の
視認性を向上できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線カメラを用
いた車両用の視認装置、例えば車両前方や後方の物体を
表示して運転者に呈示する装置に関する。

【０００２】

【従来の技術】従来の車両用視認装置としては、特開平
９−４８２８２号公報に開示されるような車両用間接視
認装置がある。図２３は上記従来例の概要を示すブロッ
ク図である。図２３において、カメラコントローラ１０
１は電子カメラ１００を制御し、電子カメラ１００によ
って撮影された車両後方の画像信号を画像処理ユニット
１０２に送る。画像処理ユニット１０２は、上記の画像
信号を２つの信号に分割し、一方の信号は、要安全確認
対象物と判断された領域に関して、エッジ強調、枠で囲
む、コントラストを高める、輝度を高める、彩度を高め
る、周辺情景をぼかす、フラッシュさせる、等の強調処
理を施した後、もう一方の信号にスーパーインポーズす
る。そして画像処理ユニット１０２の信号はモニタ１０
３に送られ、モニタ１０３に表示されて運転者に呈示さ
れる。また、この従来例には、画像のコントラストを路
面の明るさに従って調整する方法や、遠方領域の画像を
拡大し、近傍の画像を縮小する方法により、運転者に、
より視認性を向上させた画像を呈示する方法に関しても
開示されている。

【０００３】

【発明が解決しようとする課題】前記従来例で用いてい
る可視カメラにおいては、光の明暗を検出するので、コ
ントラストの強い物体が明瞭に表示される。しかし、車
両用の視認装置においては、歩行者やペットのような動
物および車両等の安全確認対象物を空や建造物等の背景
から分離して明確に検出したいという要望がある。その
ため、可視カメラの代わりに赤外線カメラを用いること
が考えられる。動物や車両のエンジンフード、マフラー
等は温度が高いので、一般に他の物体よりも赤外線カメ
ラで検出しやすい。また、赤外線カメラの場合には、夜
間の暗闇でも動物等を検出することが出来るという利点
がある。

【０００４】しかし、赤外線カメラを用いた場合には、
次のごとき問題が生じる。すなわち、可視カメラの場合
には、日頃から人間の視覚に馴染んだ画像であることか
ら、前記従来例のように、各種の画像処理手法を採用す
るのみで、視認性を向上させることが可能である。とこ
ろが赤外線カメラにあっては、熱分布を各画素の輝度の
変化として表示することから、画像本来の質感が通常、
人間が見る視界とは異なり、通常の画像処理手法を採用
するのみでは、視認性を向上させることが困難である。

【０００５】また、赤外線カメラの画像を単純に輝度階
調を反転すると、要安全確認対象物である歩行者の輝度
値が低下し、黒く表示されるため、かえって運転者の視
認性が低下する、という問題もある。

【０００６】さらに、前記従来例では、歩行者を背景と
識別するために、相対速度差を用いて強調処理を施す範
囲を決定しているが、歩行者の移動速度は極めて遅く、
走行中の車両内部から撮影した画像において、歩行者と
背景との分離は困難である、という問題もあった。

【０００７】この発明は、種々の利点を有しながら上記
のごとき問題点のため実用化が困難であった赤外線カメ
ラを用いた視認装置の問題点を解決するためになされた
ものであり、赤外線カメラで撮像した画像を用いて視認
性のよい表示を行なうことの出来る車両用視認装置を提
供することを目的とする。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、赤外線カメラで撮影された画像の画素中で輝度
値が所定のしきい値以上の画素群（例えば歩行者の顔や
信号灯火等の熱源）と前記しきい値未満の画素群（背景
等）とを輝度分離し、前記輝度分離された２種の画素群
についてそれぞれ異なる処理を施し、前記処理を施され
た画素群および赤外線カメラの原画像を加算した結果を
表示するように構成している。

【０００９】上記のように、所定のしきい値以上の画素
群と前記しきい値未満の画素群とを輝度分離することに
より、歩行者の顔のような輝度値の高い画素と空等の背
景とを分離することが出来るので、それぞれの画素に適
した処理を施すことにより、赤外線画像のように一般に
馴染みのない画像から比較的見やすい表示を行なうこと
が出来ると共に、歩行者等の要注意対象物を明瞭に表示
することが出来る。なお、請求項１に記載の発明は、例
えば後記第８の実施の形態に相当する。

【００１０】また、請求項２〜請求項８に記載の発明
は、処理手段の内容を示すものである。まず、請求項２
は、処理手段が、前記しきい値未満の画素群に対して、
各画素の輝度階調を反転する輝度階調反転手段と、前記
しきい値以上の画素群に対して、各画素の輝度階調また
は色彩を所定の値に設定する輝度階調・色彩調整手段
と、画像の輪郭を強調するエッジ強調手段と、からなる
ものである。

【００１１】上記のように、しきい値未満の画素群（背
景等）に対して、各画素の輝度階調を反転することによ
り、例えば、空が明るく建物等が暗い通常の画像に似た
表示を行なうことが出来る。また、しきい値以上の画素
群に対して、各画素の輝度階調または色彩を所定の値に
設定（例えば最高輝度の白に設定、あるいは赤等の目立
つ色に設定）することにより、歩行者等の要注意対象物
を明瞭に表示することが出来る。また、画像の輪郭を強
調することにより、人間の視覚特性が本来有している、
対象物体の輪郭部を強調して物体の形状を把握する機能
を助けることができ、視認を要求される物体についての
視認性を向上させることができる。なお、請求項２に記
載の発明は、例えば後記図２、図３に記載した第１の実
施の形態に相当する。

【００１２】また、請求項３〜請求項８に記載の発明
は、処理手段の内容が、上記輝度階調反転手段と、輝度
階調・色彩調整手段と、エッジ強調手段との何れか一つ
または二つの組合せからなるものであり、それぞれ下記
の実施の形態に相当する。すなわち、請求項３は後記図
４に記載した第２の実施の形態に、請求項４は後記図５
に記載した第３の実施の形態に、請求項５は後記図６に
記載した第４の実施の形態に、請求項６は後記図７に記
載した第５の実施の形態に、請求項７は後記図８に記載
した第６の実施の形態に、請求項８は後記図９に記載し
た第７の実施の形態に、それぞれ相当する。

【００１３】また、請求項９に記載の発明は、輝度分離
手段におけるしきい値を、赤外線カメラの原画像におけ
る歩行者の顔の輝度の下限値に基づいて設定するもので
ある。このように輝度分離のしきい値として人間の顔の
輝度値（例えば、２５５段階中の２００から２５５の
値）を採用すれば、それよりも輝度の高い物体のみが強
調されることになり、歩行者の顔や信号灯火等のような
熱源となる物体が白で明瞭に表示されることになる。

【００１４】

【発明の効果】本発明においては、輝度の高い画素につ
いては輝度階調または色彩調整処理とエッジ強調処理と
を行なって、その画素をより強調し、その他の画素につ
いては輝度階調反転処理を行なって白黒反転表示をする
ことにより、空を白く、樹木や建物を黒く表示し、通常
の馴染んだ画像に近い表示を行ない、加えて、歩行者の
顔、信号灯火等のような熱源となる物体はより白く表示
されるため、視認性を要求される対象物は明るい白で表
示される。したがって風景等は通常の馴染んだ画像に近
い表示となり、それに歩行者等が白で表示されるので、
違和感が少なく、かつ歩行者（その他、他の動物や車両
等）を発見することが容易になる。また、エッジ強調を
行なうことにより、輝度値が近い物体でも輪郭を表示す
ることで物体の区別が容易になることから、歩行者に対
する視認性が向上する。したがって、赤外線カメラのよ
うに、熱分布を各画素の輝度の変化として表示するため
画像本来の質感が通常、人間が見る視界とは異なる画像
に関しても、視認性を向上させることが出来る、という
効果が得られる。また、背景との分離が困難な移動速度
の極めて遅い歩行者に対しても、走行中の車両内部から
撮影した画像において、歩行者を強調して運転者に呈示
することができる。

【００１５】

【発明の実施の形態】以下、この発明の構成および作用
を各実施の形態ごとに図面に基づいて説明する。図１は
本発明の車両用視認装置の概略構成の一実施の形態を示
す図である。図１において、車両５前部のラジエータグ
リル６の奥部に、赤外線カメラ１が車両前方を向いて配
置されている。赤外線カメラ１の画像信号はハーネス７
を経由して車室内に配置された画像処理ユニット３に伝
送され、画像の各種処理が行われる。画像処理ユニット
３により処理された画像は車室内に配置された表示手段
４によって表示され、運転者等の乗員に呈示される。な
お、画像処理ユニット３は例えばＣＰＵ、ＲＯＭ、ＲＡ
Ｍなどからなるコンピュータで構成され、また表示手段
４は例えば液晶表示装置やＣＲＴ表示装置などである。
また、図１においては、車両前部に赤外線カメラを前方
に向けて設置し、車両前方の光景を視認する場合を例示
したが、車両後部に後方を向けて赤外線カメラを設置
し、車両後方の画像を視認するように構成してもよい。
さらには両者を組み合わせて用いてもよい。

【００１６】図２は、画像処理ユニット３の内部構成の
第１の実施の形態を示すブロック図である。図２におい
て、赤外線カメラ１により撮影された画像は、第１の画
像メモリ９ａに入力され、２５６階調のデジタル輝度信
号群に変換される。次に、比較手段１０において、しき
い値記憶手段１５に予め記憶させてあるしきい値以上
（等しいか、あるいは大）か未満（よりも小）かを判定
し、しきい値以上の画素群（例えば歩行者の顔や信号灯
火のような熱源）を第３の画像メモリ９ｃに、しきい値
よりも小なる画素群（その他の背景等）を第２の画像メ
モリ９ｂに、それぞれ蓄える。すなわち、全体の画素が
輝度の大小に応じて二つの画素群に分離（輝度分離処
理）される。第２の画像メモリ９ｂに蓄えられた画素群
は、輝度階調反転手段１１に入力され、輝度階調が反転
された後、第４の画像メモリ９ｄに蓄積される。一方、
第３の画像メモリ９ｃに蓄えられた画素群は、輝度階調
・色彩調整手段１２に入力され、輝度階調または色彩が
調整された後、第５の画像メモリ９ｅに蓄積される。さ
らに、第３の画像メモリ９ｃに蓄えられた画素群は、エ
ッジ強調手段１３に入力され、画素群ごとにその輪郭エ
ッジを抽出し、例えば輝度値２５５（白色で表示）で輪
郭が描かれた後、第６の画像メモリ９ｆに蓄積される。

【００１７】以上のようにして作成された第１の画像メ
モリ９ａ、第４の画像メモリ９ｄ、第５の画像メモリ９
ｅおよび第６の画像メモリ９ｆにそれぞれ蓄積された画
素群は、画像加算手段１４によって加算された後、第７
の画像メモリ９ｇに蓄積される。そして第７の画像メモ
リ９ｇに蓄積されたデータに相当する画像が表示手段４
によって表示される。

【００１８】次に、第１の実施の形態における作用を説
明する。図３は、本発明の車両用視認装置の第１の実施
の形態の作用を説明するフローチャートである。以下順
に作用を説明する。まず、ステップＳ１０において、赤
外線カメラ１で撮像された画像信号が第１の画像メモリ
９ａに入力され、Ａ／Ｄ変換されて２５６階調のデジタ
ル輝度信号群に変換される。ステップＳ１０の結果の画
像を図１０に示す。ただし、図１０はディジタルデータ
をアナログ画像として示している（以下同じ）。

【００１９】図１０においては、車両２０、歩行者２
１、歩行者の顔２２、道路２３、縁石２４、歩道２５、
建物２６、建物の屋根部２７、空２８、信号機の支柱２
９、信号灯火３０、樹木３１が撮影されている。

【００２０】赤外線カメラ１による画像は、まず熱画像
であることから、表面温度の高い物体が輝度が高くな
る。さらに、色や表面性状により決定される放射率の高
い物体も輝度が高くなる。例えば、同じ温度でも歩道や
道路は表面の色が黒で凹凸が多く、放射率が高いため輝
度が比較的高く写り、輝度値は最大２５６の値のうちの
およそ１００である。それに対して、表面の色が白で表
面が滑らかな、車両のボディや窓ガラス等は放射率が低
く輝度値はおよそ７０である。

【００２１】また、輝度値は赤外線の反射の影響も受け
るため、材木の幹や信号機の支柱のように、物体表面か
ら垂直に赤外線カメラ１に赤外線が入力される物体は輝
度値も高くなる。この理由から樹木、信号機の支柱、縁
石は輝度値がおよそ１５０である。

【００２２】建物は樹木等に比較すれば表面が滑らかな
ため輝度値はおよそ１２０である。また建物の屋根部
は、昼間太陽により暖められた余熱が残るため、建物よ
りは温度が高く、輝度値はおよそ１５０である。また、
空は大気からの放射をうけて輝度値はおよそ１００であ
る。

【００２３】また、発熱体である歩行者の顔、信号灯火
は輝度値が最も大きくおよそ２２０である。歩行者自体
は、衣服の表面温度が歩行者の顔より低いことから、輝
度値はおよそ１５０である。

【００２４】次に、ステップＳ２０において、比較手段
１０は、しきい値記憶手段１５に予め記憶させてあるし
きい値を読み出す。次に、ステップＳ３０において、比
較手段１０はステップＳ２０において読み出したしきい
値に対して、等しいかあるいは大なる画素群のみを抽出
して第３の画像メモリ９ｃに蓄える。このステップＳ３
０の結果の画像を図１１に示す。なお、図１１において
は、上記しきい値を２００程度の高い値に設定し、歩行
者の顔と信号灯火のような特に輝度値の高い（赤外線強
度の大きい）物体のみが抽出された例を示しているが、
しきい値を上記の値よりも低い値（例えば１５０）に設
定すれば、縁石、建物の屋根部、信号機の支柱、樹木等
の比較的輝度値の高い物体も抽出される。

【００２５】次に、ステップＳ４０において、比較手段
１０は、しきい値記憶手段１５に予め記憶させてあるし
きい値より小なる画素群のみを抽出して第２の画像メモ
リ９ｂに蓄える。ステップＳ４０の結果の画像を図１２
に示す。なお、しきい値記憶手段１５に予め記憶させて
あるしきい値は、通常０から２５５の値の中で最も運転
者に視認性の良好な任意の値を用いることができる。例
えば、上記しきい値として、人間の顔を赤外線カメラ１
により撮影した時の輝度の下限値（通常２００から２５
５の値、例えば２００とする）を採用すれば、運転者に
とって視認性の良好な画像を与えることができるので、
好ましい結果が得られる（詳細後述）。上記のステップ
Ｓ２０〜ステップＳ４０の処理により、全体の画素が輝
度の大小に応じて二つの画素群に分離（輝度分離処理）
される。

【００２６】次に、ステップＳ５０において、第２の画
像メモリ９ｂに蓄えられた画素群は、輝度階調反転手段
１１に入力され、輝度階調が反転される。例えば、輝度
が０の画素は２５５に輝度が２５５の画素は０に輝度が
変換される。ステップＳ５０の結果の画像を図１３に示
す。すなわち図１２の輝度階調を反転した画像が図１３
である。なお、この輝度階調反転処理は、例えば次のよ
うにして行なわれる。すなわち、前記輝度分離のしきい
値を歩行者の顔の下限値である２００に設定した場合
は、０と２００との中間の１００を基準に輝度値が反転
される。したがって歩道や道路は元が１００であった輝
度値は１００で変化がない。車両のボディや窓ガラス等
は元の輝度値が７０であり、反転後は１３０に変換され
る。樹木、信号機の支柱、縁石は輝度値が１５０から５
０に変換される。歩行者自体は輝度値が１５０から５０
に変換される。建物は輝度値が１２０から８０に変換さ
れる。建物の屋根部は、輝度値は１５０から５０に変換
される。空は輝度値が１００のまま変化しない。また、
歩行者の顔、信号灯火は輝度値２２０であってしきい値
２００より大きいので、第３の画像メモリ９ｃに蓄積さ
れており、反転処理は行なわれず２２０のままである。

【００２７】次に、ステップＳ６０において、ステップ
Ｓ５０で反転された画像は、第４の画像メモリ９ｄに蓄
積される。次に、ステップＳ７０において、第３の画像
メモリ９ｃに蓄えられた画素群は、輝度階調・色彩調整
手段１２に入力され、輝度階調または色彩が調整され
る。例えば、輝度階調・色彩調整手段１２において、輝
度が２００以上の画素を最大輝度である２５５に変換
（つまり輝度２００以上の部分を強調）したり、本来は
白色の画素として輝度階調・色彩調整手段１２に入力さ
れた画素を、運転者の視覚に強く訴える赤色等の色彩に
着色してもよい。

【００２８】次に、ステップＳ８０において、ステップ
Ｓ７０において輝度階調または色彩が調整された画像
は、第５の画像メモリ９ｅに蓄積される。ステップＳ８
０の結果の画像を図１４に示す。図１４に示すように、
本来輝度値の高かった物体がより明瞭に白色で示されて
いる。なお、図１４においては、しきい値を１５０程度
に設定して、歩行者の顔や信号灯火のような特に輝度値
の大きな物体の他に、縁石、建物の屋根部、信号機の支
柱、樹木等の比較的輝度値の高い物体についての画素も
第３の画像メモリ９ｃに蓄積されている場合を例示し
た。上記の輝度階調処理によって上記の縁石等の画素も
輝度値２５５に変換され、明瞭な白色になっている。

【００２９】次に、ステップＳ９０において、第３の画
像メモリ９ｃに蓄えられた画素群は、エッジ強調手段１
３に入力され、画素群ごとにその輪郭エッジを抽出した
のち、例えば輝度値２５５で輪郭が描かれる。次に、ス
テップＳ１００において、ステップＳ９０により輪郭が
描かれた画像は第６の画像メモリ９ｆに蓄積する。ステ
ップＳ１００の結果の画像を図１５に示す。図１５にお
いては、各物体の輪郭が白で明瞭に示されている。な
お、図１５は、前記輝度分離のしきい値として、歩行
者、樹木、信号灯火、縁石等が含まれて強調される１４
０程度の値を用いた場合を例示している。

【００３０】次に、ステップＳ１１０において、第１の
画像メモリ９ａ、第４の画像メモリ９ｄ、第５の画像メ
モリ９ｅ、第６の画像メモリ９ｆに蓄積された画素群、
すなわち赤外線カメラで撮像した原画像と、輝度階調反
転（白黒反転）処理を施された画像と、輝度階調または
色彩調整処理を施された画像と、エッジ強調処理を施さ
れた画像とが、画像加算手段１４により加算される。加
算の方法は前述の４つの画像メモリのうち、画面上の同
一位置でもっとも輝度値が大なる値をそれぞれ選択する
処理を行なう。この加算結果を第７の画像メモリ９ｇに
蓄積する。ステップＳ１１０の結果の画像を図１６に示
す。

【００３１】上記のように第１の実施の形態において
は、ステップＳ３０、Ｓ４０において輝度分離（輝度レ
ベルに応じて二つに分ける処理）を行なって、歩行者等
の特に輝度の高い物体についての画素を分離し、その他
の輝度の低い物体（背景等）についての画素はステップ
Ｓ５０における輝度階調反転（白黒反転）処理を行な
い、上記の輝度の高い画素については、ステップＳ７０
における輝度階調または色彩調整処理と、ステップＳ９
０におけるエッジ強調処理との両方の処理を行なってい
る。その結果、図１６では、例えば車両、歩行者、縁
石、信号機の支柱、信号灯火、樹木等が特に明るく表示
され、道路、空等がやや暗く、建物等がさらに暗く表示
されている。

【００３２】以下、上記の３種の強調処理の特徴につい
て説明する。（１）輝度階調反転（白黒反転）処理人間は従来可視カメラによる画像を見ることに馴染んで
おり、一般に可視カメラは昼間あるいは照明に明るく照
らされた画像を撮影する。したがって、白黒表示では、
空は白く、木、道路、建物は黒という画像が風景の配置
状況を把握しやすい。しかし、赤外線カメラの画像では
前記図１０に示したごとく、樹木や建物よりも空が黒く
表示されるので、違和感がある。そのため輝度分離を行
なった後のしきい値より小さい方の画素に対して輝度階
調反転（白黒反転）処理を行なうことにより、空を白
く、樹木や建物を黒く表示し、通常の馴染んだ画像に近
い表示を行なうことが出来る。

【００３３】（２）輝度階調または色彩調整処理輝度階調または色彩調整処理として、輝度を増加（輝度
階調処理）した場合には、歩行者の顔等の熱源をさらに
明瞭に白色として強調することが出来る。さらに赤等の
色を用いて色彩調整処理を施せば歩行者の視認性をさら
に向上させることが出来る。なぜならば、人間の視覚特
性は、輝度の変化よりも色の変化に敏感だからである。
このような輝度階調や色彩調整処理を行なうと、通常の
画像に比較して不自然な画像になるが、灯火が少なく背
景の単調な郊外等では、歩行者のみが強調されるため、
歩行者の視認性が向上するという効果がある。

【００３４】なお、上記のように、歩行者を特に明瞭に
表示したい場合には、輝度分離のしきい値として人間の
顔を赤外線カメラ１により撮影した時の輝度の下限値
（通常、２５５段階中の２００から２５５の値、例えば
２００とする）を採用すれば、それよりも輝度の高い物
体のみが強調されることになり、歩行者の顔や信号灯火
等のような熱源となる物体が白で明瞭に表示されること
になる。

【００３５】（３）エッジ強調処理物体のエッジ（輪郭）を強調することにより、人間の視
覚特性が本来有している、対象物体の輪郭部を強調して
物体の形状を把握する機能を助ける効果があり、視認を
要求される物体についての視認性を向上させることがで
きる。このようなエッジ強調処理を行なうと、通常の画
像に比較して不自然な画像になるが、灯火、建物、歩行
者等の多い街中の道路では、輝度値が近い物体でも輪郭
を表示することで物体の区別が容易になることから、歩
行者に対する視認性が向上するという効果がある。

【００３６】第１の実施の形態においては、輝度分離を
行なった後に、上記の３種の処理を全て行なっている。
すなわち、輝度の高い画素については輝度階調または色
彩調整処理とエッジ強調処理とを行なって、その画素を
より強調し、その他の画素については輝度階調反転処理
を行なって白黒反転表示をしている。そのため、図１６
に示すように、空を薄色で建物を黒く表示し、通常の馴
染んだ画像に近い表示を行ない、加えて、歩行者の顔、
信号灯火等のような熱源となる物体はより白く表示され
るため、視認性を要求される熱源（対象物）は本来の輝
度である白で表示されることになる。したがって風景等
は通常の馴染んだ画像に近い表示となり、それに歩行者
等が白で表示されるので、違和感なく、かつ歩行者を発
見することが容易になる。また、エッジ強調を行なうこ
とにより、輝度値が近い物体でも輪郭を表示することで
物体の区別が容易になることから、歩行者に対する視認
性が向上する。したがって赤外線画像のための違和感は
あるが、このような画像に使用者が馴れれば、第１〜第
８の実施の形態のうちで、歩行者についての視認性が最
も向上する。

【００３７】なお、本実施の形態においては、赤外線カ
メラ１の信号を単純に強調処理するように説明している
が、赤外線カメラ１の画像にはスミア現象と呼ばれる残
像現象が生じる。これらスミア現象の発生は、強い輝度
信号が入力した時に発生し、これを解消するには絞りを
絞ることが有効である。また、スミアを検出するには、
強い輝度信号の解消するまでの所定の画素の輝度値の変
化を検出すればよい。したがって、スミアの発生する時
間に従って、第１の画像メモリ９ａに入力する画像の時
間的遅れを調整することも可能であるし、また、スミア
の発生する時間に従って、絞りを自動的に調節すること
も可能である。

【００３８】また、本実施の形態においては、第１の画
像メモリ９ａ、第２の画像メモリ９ｂ、第３の画像メモ
リ９ｃ、第４の画像メモリ９ｄ、第５の画像メモリ９
ｅ、第６の画像メモリ９ｆ、第７の画像メモリ９ｇの７
つの画像メモリにより画像メモリが構成されるように説
明したが、実際の処理は図２における左のブロックから
右のブロックに向かって進むので、処理が終わった画像
メモリを他の画像メモリとして用いることで、メモリの
節約が行えることは言うまでもない。

【００３９】次に、図４は本発明の第２の実施の形態の
概略構成を示すブロック図である。この実施の形態は、
前記第１の実施の形態（図２）の構成において、第２の
画像メモリ９ｂ、輝度階調反転手段１１、第４の画像メ
モリ９ｄを除いた構成である。すなわち、第２の実施の
形態においては、図３のフローチャートにおいてステッ
プＳ５０の輝度階調反転（白黒反転）処理の部分を除
き、強調処理としては、ステップＳ７０における輝度階
調または色彩調整処理と、ステップＳ９０におけるエッ
ジ強調処理との２種の処理を行なうものである。

【００４０】第２の実施の形態により作成される画像を
図１７に示す。本実施の形態においては、輝度の高い物
体に対して輪郭を表示するエッジ強調処理を行なってい
るため、通常の画像に比較して不自然な画像になるが、
灯火、建物、歩行者の多い街中の道路では、輝度値が近
い物体でも輪郭を表示することで物体の区別が容易にな
ることから、歩行者に対する視認性が向上するという効
果がある。

【００４１】また、輝度の高い物体（歩行者の顔や灯火
等）に対して輝度を増加する輝度階調処理を行なってい
るため、通常の画像に比較して不自然な画像になるが、
灯火が少なく背景が単調な郊外等では、歩行者のみが強
調されるため歩行者の視認性が向上するという効果があ
る。

【００４２】また、第１の実施の形態に比べれば、輝度
階調反転処理を行なわず、熱画像がそのまま表示される
ため、普段、熱画像を見ることに慣れている人に対して
は、見やすい画像である。そして単なる熱画像に比べれ
ば、前記２つの強調処理を行なっているので歩行者の視
認性が向上する。

【００４３】次に、図５は本発明の第３の実施の形態の
概略構成を示すブロック図である。この実施の形態は、
前記第１の実施の形態（図２）の構成において、エッジ
強調手段１３と第６の画像メモリ９ｆを除いた構成であ
る。すなわち、第３の実施の形態においては、図３のフ
ローチャートにおいて、ステップＳ９０におけるエッジ
強調処理の部分を除き、強調処理としては、ステップＳ
５０における輝度階調反転（白黒反転）処理と、ステッ
プＳ７０における輝度階調・色彩調整処理との２種の処
理を行なうものである。

【００４４】第３の実施の形態により作成される画像を
図１８に示す。本実施の形態においては、輝度の高い物
体（歩行者の顔や灯火等）に対して輝度を増加する輝度
階調処理を行なっているため、通常の画像に比較して不
自然な画像になるが、灯火が少なく背景が単調な郊外等
では、歩行者のみが強調されるため歩行者の視認性が向
上するという効果がある。また、一般の物体に対しては
輝度階調反転処理を行なっているので、背景が昼間の画
像に近く表示されるため、より違和感なくかつ歩行者を
発見することが容易であるという効果を有する。

【００４５】次に、図６は本発明の第４の実施の形態の
概略構成を示すブロック図である。この実施の形態は、
前記第１の実施の形態（図２）の構成において、輝度階
調・色彩調整手段１２と第５の画像メモリ９ｅを除いた
構成である。すなわち、第４の実施の形態においては、
図３のフローチャートにおいて、ステップＳ７０におけ
る輝度階調・色彩調整処理の部分を除き、強調処理とし
ては、ステップＳ５０における輝度階調反転（白黒反
転）処理と、ステップＳ９０におけるエッジ強調処理と
の２種の処理を行なうものである。

【００４６】第４の実施の形態により作成される画像を
図１９に示す。本実施の形態においては、輝度の高い物
体に対して輪郭を表示するエッジ強調処理を行なってい
るため、通常の画像に比較して不自然な画像になるが、
灯火、建物、歩行者の多い街中の道路では、輝度値が近
い物体でも輪郭を表示することで物体の区別が容易にな
ることから、歩行者に対する視認性が向上するという効
果がある。また、一般の物体に対しては輝度階調反転処
理を行なっているので、背景が昼間の画像に近いため、
より違和感なく、かつ歩行者を発見することが容易であ
るという効果を有する。

【００４７】次に、図７は本発明の第５の実施の形態の
概略構成を示すブロック図である。この実施の形態は、
前記第１の実施の形態（図２）の構成において、第２の
画像メモリ９ｂ、輝度階調反転手段１１、第４の画像メ
モリ９ｄ、色彩調整手段１２、第５の画像メモリ９ｅを
除いた構成である。すなわち、第５の実施の形態におい
ては、図３のフローチャートにおいて、ステップＳ５０
における輝度階調反転（白黒反転）処理の部分と、ステ
ップＳ７０における輝度階調・色彩調整処理の部分とを
除き、強調処理としては、ステップＳ９０におけるエッ
ジ強調処理のみを行なうものである。

【００４８】第５の実施の形態により作成される画像を
図２０に示す。本実施の形態においては、人間の視覚特
性が本来有している、対象物体の輪郭部を強調して物体
の形状を把握する機能を助ける効果があり、視認性を要
求される物体の視認を向上することができる。すなわ
ち、輪郭を表示するエッジ強調処理を行なっているた
め、通常の画像に比較して不自然な画像になるが、灯
火、建物、歩行者の多い街中の道路では、輝度値が近い
物体でも輪郭を表示することで物体の区別が容易になる
ことから、歩行者に対する視認性が向上するという効果
がある。なお、上記のエッジ強調処理を行なう場合にお
ける前記輝度分離のしきい値は、歩行者、樹木、信号灯
火、縁石等が含まれて強調される１４０程度が良好な結
果を得られる。

【００４９】次に、図８は本発明の第６の実施の形態の
概略構成を示すブロック図である。この実施の形態は、
前記第１の実施の形態（図２）の構成において、第２の
画像メモリ９ｂ、輝度階調反転手段１１、第４の画像メ
モリ９ｄ、エッジ強調手段１３、第６の画像メモリ９ｆ
を除いた構成である。すなわち、第６の実施の形態にお
いては、図３のフローチャートにおいて、ステップＳ５
０における輝度階調反転（白黒反転）処理の部分と、ス
テップＳ９０におけるエッジ強調処理の部分とを除き、
強調処理としては、Ｓ７０における輝度階調・色彩調整
処理のみを行なうものである。

【００５０】第６の実施の形態により作成される画像を
図２１に示す。図２１においては、図示の都合上、輝度
階調・色彩調整処理として、輝度を増加（輝度階調処
理）することで白色として強調処理を行なっているが、
実際は赤等の色を用いて色彩調整処理を施した方が歩行
者の視認性は向上する。なぜならば、人間の視覚特性
は、輝度の変化よりも色の変化に敏感だからである。こ
のように輝度階調や色彩調整処理により、通常の画像に
比較して不自然な画像になるが、灯火が少なく背景の単
調な郊外等では、歩行者のみが強調されるため、歩行者
の視認性が向上するという効果がある。なお、本強調処
理を行なう場合における前記輝度分離のしきい値は、歩
行者、樹木、信号灯火、縁石等が含まれて強調される１
４０程度が良好な結果を得られる。

【００５１】次に、図９は本発明の第７の実施の形態の
概略構成を示すブロック図である。この実施の形態は、
前記第１の実施の形態（図２）の構成において、第３の
画像メモリ９ｃ、色彩調整手段１２、第５の画像メモリ
９ｅ、エッジ強調手段１３、第６の画像メモリ９ｆを除
いた構成である。すなわち、第７の実施の形態において
は、図３のフローチャートにおいて、Ｓ７０における輝
度階調・色彩調整処理の部分と、ステップＳ９０におけ
るエッジ強調処理の部分とを除き、強調処理としては、
ステップＳ５０における輝度階調反転（白黒反転）処理
のみを行なうものである。

【００５２】第７の実施の形態により作成される画像を
図２２に示す。人間は従来可視カメラによる画像を見る
ことに馴染んでおり、一般に可視カメラは昼間あるいは
照明に明るく照らされた画像を撮影する。したがって、
白黒表示では、空は白く、木、道路、建物は黒という画
像が風景の配置状況を把握しやすい。そのため図２２の
ように表示することにより、通常の馴染んだ画像に近い
表示を行なうことが出来る。加えて、輝度分離された輝
度の高い物体（歩行者の顔、信号灯火等のような熱源と
なる物体）は白く表示されるため、視認性を要求される
熱源（対象物）は本来の輝度である白で写されることに
なる。したがって風景等は通常の馴染んだ画像に近い表
示となり、それに歩行者等が白で表示されるので、違和
感なく、かつ歩行者を発見することが容易になる。

【００５３】なお、本実施の形態における輝度階調反転
（白黒反転）処理は、例えば次のようにして行なう。歩
行者の顔の下限値である２００を前記輝度分離のしきい
値とした場合は、０と２００との中間の１００を基準に
輝度値が反転される。したがって歩道や道路は元が１０
０であった輝度値は１００で変化がない。車両のボディ
や窓ガラス等は元の輝度値が７０であり、反転後は１３
０に変換される。樹木、信号機の支柱、縁石は輝度値が
１５０から５０に変換される。歩行者自体は輝度値が１
５０から５０に変換される。建物は輝度値が１２０から
８０に変換される。建物の屋根部は、輝度値は１５０が
ら５０に変換される。空は輝度値は１００のまま変化し
ない。なお、歩行者の顔、信号灯火は輝度値２２０であ
ってしきい値２００より大きいので、第３の画像メモリ
９ｃに蓄積されており、反転処理は行なわれず２２０の
ままである。

【００５４】また、第８の実施の形態は、図示を省略す
るが、前記第１の実施の形態（図２）の構成において、
第１の画像メモリ９ａ、第２の画像メモリ９ｂ、第３の
画像メモリ９ｃ、比較手段１０、しきい値記憶手段１５
の部分は同一であって、図３のフローチャートにおける
ステップＳ１０〜Ｓ４０までの処理（輝度分離処理）は
同様に行なうが、その後の強調処理に関しては、前記第
１から第７までの実施の形態のように限定はせず、一般
的な画像強調手段を用いた構成である。例えば、上記の
輝度分離処理によって歩行者等の要安全確認対象物を抽
出した後、これら要安全確認対象物に対して一般的な画
像強調の手法である、輝度を高める、枠状の画像で囲
む、周辺情景をぼかす、フラッシュさせる等の強調処理
を用いることが出来る。

【００５５】なお、これまでの説明においては、要安全
確認対象物として、主に歩行者を対象として説明を行っ
ているが、他の要安全確認対象物として、動物、車両の
マフラ、車両のタイヤ等（いずれも赤外線の熱源であ
り、輝度値が高い）であっても構成、作用は同じであ
り、同一の効果が得られることは言うまでもない。

【図面の簡単な説明】

【図１】本発明の車両用視認装置の概略構成の一実施の
形態を示す図。

【図２】画像処理ユニット３の内部構成の第１の実施の
形態を示すブロック図。

【図３】本発明の車両用視認装置の第１の実施の形態の
作用を説明するためのフローチャート。

【図４】本発明の第２の実施の形態の概略構成を示すブ
ロック図。

【図５】本発明の第３の実施の形態の概略構成を示すブ
ロック図。

【図６】本発明の第４の実施の形態の概略構成を示すブ
ロック図。

【図７】本発明の第５の実施の形態の概略構成を示すブ
ロック図。

【図８】本発明の第６の実施の形態の概略構成を示すブ
ロック図。

【図９】本発明の第７の実施の形態の概略構成を示すブ
ロック図。

【図１０】赤外線カメラ１で撮像した画像信号をデジタ
ル輝度信号に変換した結果をアナログ的に表示した画像
の一例図。

【図１１】輝度がしきい値以上の画素群の画像の一例
図。

【図１２】輝度がしきい値未満の画素群の画像の一例
図。

【図１３】輝度階調反転手段１１で輝度階調を反転した
結果の画像の一例図。

【図１４】輝度階調・色彩調整手段１２で輝度階調また
は色彩が調整された結果の画像の一例図。

【図１５】エッジ強調手段１３で輪郭が描かれた結果の
画像の一例図。

【図１６】各処理を施した結果の画像と赤外線カメラの
原画像とを加算した結果の画像の一例図。

【図１７】第２の実施の形態により作成される画像の一
例図。

【図１８】第３の実施の形態により作成される画像の一
例図。

【図１９】第４の実施の形態により作成される画像の一
例図。

【図２０】第５の実施の形態により作成される画像の一
例図。

【図２１】第６の実施の形態により作成される画像の一
例図。

【図２２】第７の実施の形態により作成される画像の一
例図。

【図２３】従来例の概略構成を示すブロック図。

【符号の説明】

１…赤外線カメラ３…画像処理ユニ
ット４…表示手段５…車両６…ラジエータグリル７…ハーネス９ａ…第１の画像メモリ９ｂ…第２の画像
メモリ９ｃ…第３の画像メモリ９ｄ…第４の画像
メモリ９ｅ…第５の画像メモリ９ｆ…第６の画像
メモリ９ｇ…第７の画像メモリ１０…比較手段１１…輝度階調反
転手段１２…輝度階調・色彩調整手段１３…エッジ強調
手段１４…画像加算手段１５…しきい値記
憶手段２０…車両２１…歩行者２２…歩行者の顔２３…道路２４…縁石２５…歩道２６…建物２７…建物の屋根
部２８…空２９…信号機の支
柱３０…信号灯火３１…樹木１００…電子カメラ１０１…カメラコ
ントローラ１０２…画像処理ユニット１０３…モニタ

Claims

【特許請求の範囲】

【請求項１】車両に配設された赤外線カメラで撮像した
車両外部の画像を、車室内部の所定の位置に配設された
表示手段によって表示する車両用視認装置において、前記赤外線カメラで撮影された画像の画素中で輝度値が
所定のしきい値以上の画素群と前記しきい値未満の画素
群とを輝度分離する輝度分離手段と、前記輝度分離された２種の画素群についてそれぞれ異な
る処理を施す処理手段と、前記処理を施された前記２種の画素群および赤外線カメ
ラの原画像を加算する画像加算手段と、を備え、前記画像加算手段の出力を前記表示手段で表示
するように構成したことを特徴とする車両用視認装置。
【請求項２】前記処理手段は、前記しきい値未満の画素
群に対して、各画素の輝度階調を反転する輝度階調反転
手段と、前記しきい値以上の画素群に対して、各画素の
輝度階調または色彩を所定の値に設定する輝度階調・色
彩調整手段と、画像の輪郭を強調するエッジ強調手段
と、からなることを特徴とする請求項１に記載の車両用
視認装置。
【請求項３】前記処理手段は、前記しきい値以上の画素
群に対して、各画素の輝度階調または色彩を所定の値に
設定する輝度階調・色彩調整手段と、画像の輪郭を強調
するエッジ強調手段と、からなることを特徴とする請求
項１に記載の車両用視認装置。
【請求項４】前記処理手段は、前記しきい値未満の画素
群に対して、各画素の輝度階調を反転する輝度階調反転
手段と、前記しきい値以上の画素群に対して、各画素の
輝度階調または色彩を所定の値に設定する輝度階調・色
彩調整手段と、からなることを特徴とする請求項１に記
載の車両用視認装置。
【請求項５】前記処理手段は、前記しきい値未満の画素
群に対して、各画素の輝度階調を反転する輝度階調反転
手段と、前記しきい値以上の画素群に対して、画像の輪
郭を強調するエッジ強調手段と、からなることを特徴と
する請求項１に記載の車両用視認装置。
【請求項６】前記処理手段は、前記しきい値以上の画素
群に対して、画像の輪郭を強調するエッジ強調手段から
なることを特徴とする請求項１に記載の車両用視認装
置。
【請求項７】前記処理手段は、前記しきい値以上の画素
群に対して、各画素の輝度階調または色彩を所定の値に
設定する輝度階調・色彩調整手段からなることを特徴と
する請求項１に記載の車両用視認装置。
【請求項８】前記処理手段は、前記しきい値未満の画素
群に対して、各画素の輝度階調を反転する輝度階調反転
手段からなることを特徴とする請求項１に記載の車両用
視認装置。
【請求項９】前記輝度分離手段におけるしきい値は、前
記赤外線カメラの原画像における歩行者の顔の輝度の下
限値に基づいて設定されることを特徴とする請求項１乃
至請求項８の何れかに記載の車両用視認装置。