JPH08191442A - 監視用画像表示装置 - Google Patents

Abstract

(57)【要約】 【目的】複数の撮像装置によって取り込まれた複数画像
の各特徴点を合せ持つ一つの融合画像を、単一のモニタ
画面上に表示でき、オペレータのワークロードが軽少で
しかも監視能力（目標発見能力）の高い監視用画像表示
装置を提供。 【構成】異なる波長の光をそれぞれ検出可能な光センサ
をそれぞれ備え、検出した各波長の光をそれぞれ画像信
号に変換する複数の撮像装置１，２，…と、これらの複
数の撮像装置１，２，…が出力する各画像信号３，４…
から、各波長に特有な画像情報信号７，８…を検出する
複数の検出装置５，６，…と、上記各検出装置５，６…
が検出した各波長に特有な画像情報信号７，８…、およ
び前記複数の撮像装置１，２，…から出力される画像情
報信号３，４…とを選択的に重ね合わせて融合画像信号
１０を生成する画像融合装置９と、前記画像融合装置９
が出力する融合画像を表示するモニタ１１とを具備して
いる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば所定の目標を発
見するための監視システム等に適用される監視用画像表
示装置に関する。

【０００２】

【従来の技術】図３は従来のこの種の監視用画像表示装
置の一例を示すブロック図である。図３において、３１
は可視センサを内蔵する可視撮像装置、３２は赤外線セ
ンサを内蔵する赤外線撮像装置、３３は他のセンサＸを
内蔵する撮像装置（その他の撮像装置は図示を省略）で
ある。そして３４は可視画像信号、３５は赤外線画像信
号、３６は他の画像信号である。これらの可視画像信号
３４、赤外線画像信号３５、他の画像信号３６は、それ
ぞれモニタＡ、モニタＢ、モニタＣへ送られ、各モニタ
Ａ〜Ｃにおいて各画像がそれぞれの表示される。オペレ
ータは各モニタＡ〜Ｃの全ての画像をほぼ同時に監視す
ることにより、例えば所定の目標を発見するようにして
いた。

【０００３】

【発明が解決しようとする課題】従来の装置では、オペ
レータが複数のモニタＡ〜Ｃを、ほぼ同時に監視する必
要があるため、目標発見のためのワークロードが過大で
あった。また複数のモニタを見比べながら目標発見作業
を行なうものであるため、目標発見の所要時間が長くな
りがちである上、誤発見する可能性が高かった。

【０００４】本発明の目的は、複数の撮像装置による複
数画像を複数のモニタ画面上に表示することなく、複数
の撮像装置によって取り込まれた複数画像の各特徴点を
合せ持つ一つの融合画像を、単一のモニタ画面上に表示
することができ、オペレータのワークロードが軽少で、
しかも監視能力（目標発見能力）の高い、監視用画像表
示装置を提供することにある。

【０００５】

【課題を解決するための手段】上記課題を解決し目的を
達成するために、本発明のマルチスペクトル画像融合表
示装置は、次のように構成されている。 （１）本発明の監視用画像表示装置は、異なる波長の光
をそれぞれ検出可能な光センサをそれぞれ備え、検出し
た各波長の光をそれぞれ画像信号に変換する複数の撮像
装置と、これらの複数の撮像装置が出力する各画像信号
から、各波長に特有な画像情報を検出する複数の検出装
置と、上記各検出装置が検出した各波長に特有な画像情
報、および前記複数の撮像装置から出力される画像情報
とを選択的に重ね合わせて融合画像を生成する画像融合
装置と、前記画像融合装置が出力する融合画像を表示す
るモニタと、を具備したことを特徴としている。 （２）本発明の監視用画像表示装置は、外界の画像を可
視センサにより取り込んで画像信号に変換する可視撮像
装置と、上記画像と同一の画像を赤外線センサにより取
り込んで画像信号に変換する赤外線撮像装置と、前記可
視撮像装置が出力する可視画像から輪郭線を示すエッジ
情報を検出するエッジ情報検出装置と、前記赤外線撮像
装置が出力する赤外線画像から高温部を示すホットポイ
ントを検出するホットポイント検出装置と、前記可視撮
像装置が出力する可視画像と前記赤外線撮像装置が出力
する赤外線画像と前記エッジ情報検出装置が出力するエ
ッジ情報画像と前記ホットポイント検出装置が出力する
ホットポイント画像とを選択的に重ね合わせて融合画像
を生成する画像融合装置と、前記画像融合装置が出力す
る融合画像を表示するモニタとを具備したことを特徴と
している。

【０００６】

【作用】上記手段（１）（２）を講じた結果、それぞれ
次のような作用が生じる。 （１）本発明の監視用画像表示装置においては、各撮像
装置における各光センサで取り込まれた各波長毎の光
は、各々画像信号にされ、これらの画像信号からそれぞ
れ各波長に特有で有効な画像情報のみが抽出される。つ
まり、各センサが有している長所のみが有効に活用され
ることになる。そしてこれら検出された各波長に特有で
有効な画像情報と、前記画像信号とが選択的に重ね合わ
せられ、統合された一つの画像情報とされ、単一のモニ
タで表示可能となる。このためオペレータは、上記単一
のモニタを監視するだけで済み、オペレータ監視作業の
ワークロードが著しく軽減されることになる。 （２）本発明の監視用画像表示装置においては、可視撮
像装置における可視センサにより取り込まれた可視光
と、赤外線撮像装置における赤外線センサにより取り込
まれた赤外光が、ともに画像信号に変換される。そして
エッジ情報検出装置により、可視撮像装置が出力する可
視画像から情景理解情報である輪郭線を示すエッジ情報
が検出されると共に、ホットポイント検出装置により、
赤外線撮像装置が出力する赤外線画像から熱源情報であ
る高温部を示すホットポイントが検出される。上記可視
画像と、赤外線画像と、エッジ情報画像と、ホットポイ
ント画像とは、画像融合装置において選択的に重ね合わ
せられ、赤外線画像からは把握が困難な情景理解情報と
可視画像からは把握が困難な例えば迷彩を施された熱源
情報とが合成された融合画像が生成される。生成された
融合画像は単一のモニタで表示可能となる。かくしてオ
ペレータは、上記単一のモニタに表示された融合画像を
視るだけで、情景理解情報および熱源情報を含む画像を
監視することが可能となり、オペレータ監視作業のワー
クロードが著しく軽減されることになる。

【０００７】

【実施例】

（第１実施例）図１は本発明の第１実施例に係る監視用
画像表示装置、すなわちマルチスペクトル画像融合表示
装置の構成を示すブロック図である。図１に示すよう
に、可視撮像装置１で得られた可視画像信号３は、エッ
ジ情報検出装置５および画像融合装置９へ出力される。
赤外線撮像装置２で得られた赤外線画像信号４は、ホッ
トポイント検出装置６および画像融合装置９へ出力され
る。

【０００８】エッジ情報検出装置５は、入力する可視画
像信号３を、例えばフィルタリング・演算処理などの微
分処理を行ない、しかるのち一定の閾値を設けて二値化
処理を行なうことにより、微分二値画像（エッジ情報）
を得るものとなっている。このような処理を行なうこと
により、画像上の輝度変化の激しい境界部（例えば水平
線，地平線，稜線などの異物同士の境界部）が抽出され
る。

【０００９】ホットポイント検出装置６は、入力する赤
外線画像信号４を、一定の閾値を設けて二値化処理を行
なうと共にノイズ除去を行なうことにより、二値画像
（ホットポイント）を得るものとなっている。このよう
な処理を行なうと、温度の高い部分が高輝度で表されて
いる赤外線画像の高温部分のみが抽出される。

【００１０】エッジ情報検出装置５で検出されたエッジ
情報信号７およびホットポイント検出装置６で検出され
たホットポイント情報信号８は、いずれも画像融合装置
９へ出力される。

【００１１】画像融合装置９は、可視撮像装置１が出力
する可視画像信号３と、赤外線撮像装置２が出力する赤
外線画像信号４と、エッジ情報検出装置５が出力するエ
ッジ情報信号７と、前記ホットポイント検出装置６が出
力するホットポイント情報信号８とを選択的に重ね合わ
せて融合画像信号１０を生成する装置である。この生成
された融合画像信号１０はモニタ１１へ出力される。画
像融合装置９には、選択的に重ね合わせる画像を指定す
るための指定入力端子１２が付設されており、任意の画
像どうしを組み合わせることを可能としている。

【００１２】図２は上記実施例の動作説明用のブロック
図である。可視撮像装置１で撮像された外界情報すなわ
ち可視画像信号３は、エッジ情報検出装置５にて微分処
理およびノイズ除去処理が行なわれ、エッジ情報信号７
となる。赤外線撮像装置２で撮像された外界情報すなわ
ち赤外線画像信号４は、ホットポイント検出装置６にて
高輝度部抽出のための二値化処理が行なわれ、ホットポ
イント情報画像８となる。

【００１３】画像融合装置９に入力した可視画像信号３
とホットポイント情報信号８とは、画像融合装置９に内
臓されている加算器２１にて加算される。すなわち可視
画像信号３に、ホットポイント情報信号８が加えられて
所謂オーバーライトが行なわれ、可視画像を重視した融
合画像を示す融合画像信号１０Ａとなる。この融合画像
信号１０Ａはモニタ１１へ送り込まれる。

【００１４】上記融合画像信号１０Ａについて補足説明
をする。可視画像装置１からの可視画像信号３のみであ
ると、例えば移動しつつある高温物体の検出は困難であ
る。しかるにホットポイント検出装置６からのホットポ
イント情報信号８を上記可視画像信号３に重ね合わせる
と、移動しつつある高温物体を適確に捕らえることが可
能である。なお移動しつつある高温物体が例えば高温に
なっている地上を走行中であっても、可視画像信号３に
より、大地部分と移動物体との境界が明瞭に識別できる
ので、高温の地上による高温外乱の悪影響を受けずに済
む。

【００１５】同様に画像融合装置９に入力した赤外線画
像信号４とエッジ情報信号７とは、画像融合装置９に内
臓されている加算器２２にて加算される。すなわち赤外
線画像信号４に、エッジ情報信号７が加えられて所謂オ
ーバーライトが行なわれ、赤外線画像を重視した融合画
像を示す融合画像信号１０Ｂとなる。この融合画像信号
１０Ｂはモニタ１１へ送り込まれる。

【００１６】上記融合画像信号１０Ｂについて補足説明
をする。赤外線画像装置２からの赤外線画像信号４のみ
であると、例えば空と山との温度差が無ければ両者の境
界は不明瞭となる。したがって例えば山の麓に自動車が
存在していても、エンジン部の赤外線画像信号４は得ら
れるが、これのみでは対象物体が自動車であるとは判定
できない。勿論、周辺との相対的位置関係も不明であ
る。しかるにエッジ情報検出装置５で得たエッジ情報信
号７を上記赤外線画像情報４に重ね合わせると、山の麓
にホットポイントが存在していることが明らかとなり、
その相対位置関係から、そこに自動車が存在しているも
のと判定できる。

【００１７】（変形例）図１に点線で示すように、他の
異なる波長の光をそれぞれ検出可能な光センサをそれぞ
れ備え、検出した各波長の光をそれぞれ画像信号に変換
する複数の撮像装置（いずれも不図示）と、これらの複
数の撮像装置が出力する各画像信号から各波長に特有な
画像情報を検出する為の複数の検出装置（いずれも不図
示）とを含む構成としても良い。

【００１８】（実施例のまとめ）実施例に示された監視
用画像表示装置、すなわちマルチスペクトル画像融合表
示装置の構成および作用効果をまとめると次の通りであ
る。 ［１］本実施例のマルチスペクトル画像融合表示装置
は、異なる波長の光をそれぞれ検出可能な光センサをそ
れぞれ備え、検出した各波長の光をそれぞれ画像信号に
変換する複数の撮像装置１，２，…と、これらの複数の
撮像装置１，２，…が出力する各画像信号３，４…か
ら、各波長に特有な画像情報信号７，８…を検出する複
数の検出装置５，６，…と、上記各検出装置５，６…が
検出した各波長に特有な画像情報信号７，８…、および
前記複数の撮像装置１，２，…から出力される画像情報
信号３，４…とを選択的に重ね合わせて融合画像信号１
０を生成する画像融合装置９と、前記画像融合装置９が
出力する融合画像を表示するモニタ１１と、を具備した
ことを特徴としている。

【００１９】上記マルチスペクトル画像融合表示装置に
おいては、各撮像装置１，２，…における各光センサで
取り込まれた各波長毎の光は各々画像信号３，４…にさ
れ、これらの画像信号３，４…からそれぞれ各波長に特
有で有効な画像情報信号７，８…のみが抽出される。つ
まり各センサが有している長所のみが有効に活用される
ことになる。そしてこれら検出された各波長に特有で有
効な画像情報信号７，８…と、前記画像信号３，４…と
が選択的に重ね合わせられ、統合された一つの画像情報
信号１０とされ、単一のモニタ１１で表示可能となる。
このためオペレータは、上記単一のモニタを監視するだ
けで済み、オペレータ監視作業のワークロードが著しく
軽減されることになる。 ［２］本実施例のマルチスペクトル画像融合表示装置
は、外界の画像を可視センサにより取り込んで画像信号
３に変換する可視撮像装置１と、上記外界の画像と同一
画像を赤外線センサにより取り込んで画像信号４に変換
する赤外線撮像装置２と、前記可視撮像装置１が出力す
る可視画像信号３から輪郭線を示すエッジ情報信号７を
検出するエッジ情報検出装置５と、前記赤外線撮像装置
２が出力する赤外線画像信号４から高温部を示すホット
ポイントを検出するホットポイント検出装置６と、前記
可視撮像装置１が出力する可視画像信号３と前記赤外線
撮像装置２が出力する赤外線画像信号４と前記エッジ情
報検出装置５が出力するエッジ情報画像信号７と前記ホ
ットポイント検出装置６が出力するホットポイント情報
信号８とを選択的に重ね合わせて融合画像を生成する画
像融合装置９と、前記画像融合装置９が出力する融合画
像信号１０を表示するモニタ１１とを具備したことを特
徴としている。

【００２０】上記マルチスペクトル画像融合表示装置に
おいては、可視撮像装置１における可視センサにより取
り込まれた可視光と、赤外線撮像装置２における赤外線
センサにより取り込まれた赤外光が、ともに画像信号
３，４に変換される。そしてエッジ情報検出装置５によ
り、可視撮像装置１が出力する可視画像信号３から情景
理解情報である輪郭線を示すエッジ情報信号７が検出さ
れると共に、ホットポイント検出装置６により、赤外線
撮像装置２が出力する赤外線画像信号４から熱源情報で
ある高温部を示すホットポイントが検出される。上記可
視画像信号３と、赤外線画像信号４と、エッジ情報信号
７と、ホットポイント情報信号とは、画像融合装置９に
おいて選択的に重ね合わせられ、赤外線画像信号４から
は把握が困難な情景理解情報と可視画像信号３からは把
握が困難な迷彩を施された熱源情報とが合成された融合
画像信号１０が生成される。生成された融合画像信号１
０は単一のモニタ１１で表示可能となる。かくしてオペ
レータは、上記単一のモニタに表示された画像を監視す
るだけで済み、オペレータ監視作業のワークロードが著
しく軽減されることになる。 ［３］本実施例のマルチスペクトル画像融合表示装置
は、画像融合装置９にて選択的に重ね合わせる画像を指
定するための手段（端子１２など）を備えたことを特徴
としている。

【００２１】上記マルチスペクトル画像融合表示装置に
おいては、本装置の使用目的に応じて、監視すべき画像
を融合形成する各画像の種類を選択的に指定できるた
め、有効かつ所望の融合画像をつくり上げてシステム監
視等を行なうことができ、使用目的にかなった適確な監
視を行なえるものとなる。

【００２２】

【発明の効果】本発明によれば、複数の撮像装置による
複数画像を複数のモニタ画面上に表示することなく、複
数の撮像装置によって取り込まれた複数画像の各特徴点
を合せ持つ一つの融合画像を、単一のモニタ画面上に表
示することができ、オペレータのワークロードが軽少
で、しかも監視能力（目標発見能力）の高い、監視用画
像表示装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係るマルチスペクトル画
像融合表示装置の構成を示すブロック図。

【図２】本発明の第１実施例の動作説明用のブロック
図。

【図３】従来の監視用画像表示装置の一例を示すブロッ
ク図。

【符号の説明】

１…可視撮像装置 ２…赤外線撮像
装置 ３…可視画像信号 ４…赤外線画像
信号 ５…エッジ情報検出装置 ６…ホットポイ
ント検出装置 ７…エッジ情報信号 ８…ホットポイ
ント情報信号 ９…画像融合装置 １０…融合画像
信号

Claims (2)

【特許請求の範囲】
1. 【請求項１】異なる波長の光をそれぞれ検出可能な光セ
   ンサをそれぞれ備え、検出した各波長の光をそれぞれ画
   像信号に変換する複数の撮像装置と、 これらの複数の撮像装置が出力する各画像信号から、各
   波長に特有な画像情報を検出する複数の検出装置と、 上記各検出装置が検出した各波長に特有な画像情報、お
   よび前記複数の撮像装置から出力される画像情報とを選
   択的に重ね合わせて融合画像を生成する画像融合装置
   と、 前記画像融合装置が出力する融合画像を表示するモニタ
   と、 を具備したことを特徴とする監視用画像表示装置。
2. 【請求項２】外界の画像を可視センサにより取り込ん
   で、画像信号に変換する可視撮像装置と、 上記画像と同一の画像を赤外線センサにより取り込んで
   画像信号に変換する赤外線撮像装置と、 前記可視撮像装置が出力する可視画像から輪郭線を示す
   エッジ情報を検出するエッジ情報検出装置と、 前記赤外線撮像装置が出力する赤外線画像から高温部を
   示すホットポイントを検出するホットポイント検出装置
   と、 前記可視撮像装置が出力する可視画像と、前記赤外線撮
   像装置が出力する赤外線画像と、前記エッジ情報検出装
   置が出力するエッジ情報画像と、前記ホットポイント検
   出装置が出力するホットポイント画像と、を選択的に重
   ね合わせて融合画像を生成する画像融合装置と、 前記画像融合装置が出力する融合画像を表示するモニタ
   と、 を具備したことを特徴とする監視用画像表示装置。