JPH0690415A - 多数のソースからのビデオ画像をリアルタイムで合成するためのシステムおよび方法 - Google Patents

Abstract

(57)【要約】 【目的】 多数のソースからのビデオ画像をリアルタイ
ムで合成する。 【構成】 本システムは、それぞれ特性の異なる第１お
よび第２センサと、これらセンサの各々からの信号を第
１フィーチュア信号と第１バックグラウンド信号および
第２フィーチュア信号および第２バックグラウンド信号
に分離する回路と、第１フィーチュア信号と第２フィー
チュア信号のうちの最良のフィーチュアを有す信号を選
択する回路と、選択されたフィーチュア信号を第１およ
び第２バックグラウンド信号との複合バックグラウンド
信号とを合成する回路とから成る。 【効果】 適当なコストでかつ適当に複雑なハードウェ
アによりリアルタイムで高ピクセルレートでの作動が可
能である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、異なるシーンの特性に
感応する複数のセンサでシーンを撮像し、各センサから
受信した最良のフィーチュア（特徴）を決定し、次に多
数のセンサからの最良フィーチュアを画像として合成
し、改善された情報内容を有する画像を形成するシステ
ムおよび方法に関する。

【０００２】

【従来の技術】今日の軍事的および科学的用途に使用さ
れる像センサは、観察中のシーンについてできるだけ多
くの情報を抽出しようとしている。この機能を達成する
にはできるだけ多くの異なるタイプのセンサを用いて観
察中のシーンを探査する必要がある。可視光センサ、赤
外線センサおよび像増感センサは、軍事用の最も一般的
な受動式撮像センサの３つを代表している。各々のセン
サは、撮像シーンについて異なる情報を検出することに
なる。

【０００３】多数のディスプレイ（一つのディスプレイ
はセンサの各々から得たものである）を同時にオペレー
タに与えたり、オペレータがセンサ出力を切り換えでき
るようにすることは可能である。しかしながら、一つの
複合ディスプレイにセンサの各々からの情報内容のすべ
てをディスプレイすることは、オペレータの作業上の負
担の点からかなりすぐれた解決方法である。

【０００４】上記問題に対する現在の公知の解決方法
は、リアルタイムでの実施に適していないし、重要な情
報が喪失したり、ひずんだりする。公知の解決方法とし
て次のものがある。 （１） 多数の画像を加算または平均する方法。この方
法では、重要な情報が喪失する恐れが潜在的にある。例
えば、２つの画像が同じ対象を含んでいるが、大きさが
同じで極性が逆であれば、これらの２つの画像は合成画
像内で互いにキャンセルし合うことになる。 （２） 一方の画像のレベルを他方の画像への切換えの
基準として用いるレベルに基づいてキーイングする方
法。この方法では、他方の画像にスイッチングされると
きぎざぎざな不自然なエッジが生じる。またこの方法で
は、切換えられる画像が先の画像よりも良好な情報内容
を有するという保証はない。 （３） 技術文献で、変換に基づく技術、例えばホテリ
ング（Ｈｏｔｅｌｌｉｎｇ）変換法として記述されてい
るような変換に基づく方法である。これらの方法は、異
なるスペクトルセンサからの衛星写真を合成するために
主として開発されたもので、これらの方法はリアルタイ
ムの実施には適していない。 （４） 連続ローパス処理および間引きに基づくＲＯＬ
Ｐ（ローパスの比）ピラミッド法である。間引きは、ダ
ウンサンプリングまたはサンプルレートの低減のための
一般的デジタル信号処理技術である。例えば、信号を４
分の１に間引く場合、４番目ごとのサンプルを保持し、
残りは廃棄する。この方法も妥当なリアルタイムのハー
ドウェアによる実施に適していない。

【０００５】短的に述べれば、本発明に係るシステムお
よび方法は、合成画像が個々のビデオ画像のどれよりも
改善された情報内容を有するよう多数のソースからのビ
デオ画像を合成する。ビデオ画像を発生するセンサは、
一般に走査されるシーン内の異なるスペクトル内容、例
えば可視光および赤外線または短および長波長の赤外線
等に応答自在である。本発明は、非受動形センサ、例え
ば撮像ＲＡＤＡＲまたはレーザＲＡＤＡＲ（ＬＡＤＡ
Ｒ）にも適用できる。これにより、適当なコストおよび
複雑さのハードウェアによりリアルタイムの高ピクセル
レートの作動が可能となる。周波数内容スペシフィケイ
ションによる画像エンハンスメントは、この方法の別の
利点でもある。このようなフレキシブルなことにより多
くの異なるビデオフォーマットおよびラインレートに適
用できる。

【０００６】このシステムは、２つ以上のビデオソース
からの合成画像をリアルタイムで発生する。以下２つの
異なるビデオソースに関連して本発明を開示するが、３
つ以上の異なるビデオソースを使用することもできると
解されたい。２つのセンサの視野は、一致しており、同
一または相互にサブセットとなっている。合成用ハード
ウェアは、各センサからのデジタル化されたピクセル整
合データを取り込み、合成画像である単一の出力信号を
発生する。

【０００７】短的に述べれば、本発明に係る像合成回路
は、合成ビデオ出力信号を発生し、センサの視野からの
２つの異なるデジタルビデオ入力信号を受信する。セン
サの視野は、整合し、同一または相互にサブセットとな
っている。

【０００８】このシステムは、入力端からのビデオ信号
をフィーチュアとバックグラウンドに分離するフィーチ
ュア／バックグラウンド分離回路にて各センサからのデ
ジタル化されたピクセル整合データを取り込む。「ピク
セル整合」なる用語は、第１デジタルビデオ入力端に入
力されているピクセルが第２デジタルビデオ入力端に同
時に入力されているピクセルと走査されているシーンの
同一部分を示すことを意味する。フィーチュアとは、走
査されているシーンの情報、または高周波またはその細
部、例えばビルのエッジ部分のことであり、バックグラ
ウンドとは、シーンに対しめだたない部分およびより小
さいレベルのことである。このバックグラウンドは、グ
ローバル法で選択すなわち発生される。

【０００９】フィーチュア／バックグラウンド選択回路
は、セパレートライン上の第１および第２入力端の各々
からのフィーチュアをローカルエリアのフィーチュア選
択回路に発生する。更に、セパレートライン上の第１お
よび第２入力端の各々からのバックグラウンドをグロー
バルバックグラウンド選択回路へ発生する。フィーチュ
ア選択回路は、各ピクセルにおける適当な、主要なまた
は最良のフィーチュアを選択し、それを表示する単一の
複合フィーチュアビデオストリーム信号をフィーチュア
／バックグラウンド合成回路に送出する。バックグラウ
ンド選択回路は、各ピクセルの適当なバックグラウンド
を選択し、それを表示する単一の複合バックグラウンド
ビデオストリーム信号をフィーチュア／バックグラウン
ド合成回路へ送る。これらのビデオストリームは、次に
フィーチュア／バックグラウンド合成回路により最終複
合合成ビデオ出力信号に合成され、このビデオ出力信号
はブラウン管等にディスプレイされ、その上にエンハン
スメントされた画像を形成する。

【００１０】

【実施例】まず、図１を参照すると、この図には本発明
に係る像合成回路のブロック図が示してある。このシス
テムは、合成されたビデオ出力を発生するもので、セン
サフィールドからの２つの異なるデジタルビデオ入力信
号を受信するようになっている。センサフィールドは、
整合されており、同一または相互にサブセットとなって
いる。

【００１１】このシステムは、入力端からのビデオ信号
をフィーチュアとバックグラウンドに分離するフィーチ
ュア／バックグラウンド分離回路において各センサから
のデジタル化されたピクセル整合データを取り込む。バ
ックグラウンドは、グローバルベースで選択または発生
される。このフィーチュア／バックグラウンド分離回路
は、セパレートライン上の第１および第２入力端の各々
からのフィーチュアをローカルエリアフィーチュア選択
回路へ発生し、セパレートライン上の第１および第２デ
ジタルビデオ入力端の各々からのバックグラウンドをグ
ローバルバックグラウンド選択回路に発生する。フィー
チュア選択回路は、ピクセルごとに各ピクセルの適当
な、主要な、または最良のフィーチュア、例えば最大の
大きさを有するフィーチュアを選択し、この選択したフ
ィーチュアを表示する単一の複合フィーチュアビデオス
トリーム信号をフィーチュア／バックグラウンド合成回
路へ送る。バックグラウンド選択回路は、ピクセルごと
ではなくグローバルベースでバックグラウンドを選択す
る。この選択されたバックグラウンドは、第１ビデオバ
ックグラウンド、第２ビデオバックグラウンドまたはこ
れら２つの平均のいずれでもよい。ほとんどの状況下で
は、平均バックグラウンドが選択される。バックグラウ
ンド情報の一方が有効な情報をほとんど含んでいないよ
うな用途では、他方のバックグラウンド情報を選択して
もよい。この選択プロセスは、所望の出力を選択するた
めの基準としてバックグラウンドの統計値を利用するこ
とにより自動化できる。利用される統計値はグレイレベ
ルのヒストグラムの標準偏差値またバックグラウンド信
号の波高値となろう。波高値およびグレイレベルヒスト
グラムの標準偏差値の双方は、バックグラウンド内に見
られる変動を示す。バックグラウンド選択回路は、この
変動を示す単一の複合ビデオ信号をフィーチュアバック
グラウンド合成回路へ送る。これらの複合フィーチュア
ビデオストリーム信号および複合ビデオストリーム信号
は、次にフィーチュア／バックグラウンド合成回路によ
り最終の複合合成ビデオ信号に合成される。

【００１２】バックグラウンドに対するフィーチュアの
比は、周波数コンテントスペシフィケイションにより制
御できる。周波数内容スペシフィケイションとは、合成
像中のフィーチュアに対するバックグラウンドの比（ま
たは高空間周波数に対する低空間周波数の比）を連続的
にモニタし、最適画質を維持するよう調節するための手
段である。像形成されたシーンは、ＣＲＴまたはその他
のタイプのビデオディスプレイデバイスでディスプレイ
できるダイナミックレンジよりもダイナミックレンジが
かなり大きくなることがよくある。ダイナミックレンジ
が大きくなるのは、対象となる情報を一般に含まないシ
ーンの低周波成分の変動が大きいことによる。例えば、
ＦＬＩＲ像では、スカイウェッジ（ｓｋｙ−ｗｅｄｇ
ｅ）効果として知られてきている。この効果は、対象の
細部の熱的変動が小さいのに対し、空と地上との熱的差
が極めて大きいことによる。図１０はその効果を示して
おり、どのように周波数内容スペシフィケイションを利
用して信号内の低周波成分の寄与分を減少しかつ信号中
のフィーチュアすなわち高周波成分の寄与分を増加する
かを示す。

【００１３】次に図２を参照すると、本図には図１のう
ちのフィーチュア／バックグラウンド分離回路のブロッ
ク図が示されている。このフィーチュア／バックグラウ
ンド分離回路は、２つの同じ回路から成り、一方の回路
は第１のデジタルビデオ入力信号を取り込み、これよ
り、第１のビデオバックグラウンド信号および第１のビ
デオフィーチュア信号を発生し、他方の回路は第２のデ
ジタルビデオ入力信号を取り込み、これより第２ビデオ
バックグラウンド信号および第２ビデオフィーチュア信
号を発生する。この分離基準は２次元空間周波数スペク
トルに基づくものである。２つの回路は同一であるの
で、一方の回路についてのみ説明するが、これら回路の
各々は同じように作動するものと解されたい。

【００１４】バックグラウンドは、入力デジタルビデオ
信号をライン記憶装置またはビデオシフトレジスタに記
憶し、次にビデオ信号を２次元ローパスフィルタまたは
定インパルスレスポンス（ＦＩＲ）フィルタでたたみ込
むことにより決定される。２次元たたみ込み処理では、
次の式を演算する。

【数１】 ここでｙ（ｎ，ｍ）はフィルタ処理された出力ピクセル
で、ｘ（ｎ−１，ｍ−ｋ）は隣接ピクセルで、ｈｉ，ｋ
はＦＩＲフィルタ係数である。

【００１５】７×７フィルタリング関数を演算する２次
元ＦＩＲフィルタは、適当な像合成に対し充分な周波数
解像度を与える。これらフィルタは、標準デバイス、例
えばエルエスアイロジック（ＬＳＩ ＬＯＧＩＣ）社の
Ｌ６４２４０またはインモス（ＩＮＭＯＳ）社のＩＭＳ
Ａ１１０で構成できる。Ｌ６４２４０は、外部ビデオシ
フトレジスタを必要とし、ＩＭＳＡ１１０は多数のデバ
イスをカスケード接続する必要がある。これらの標準デ
バイスは、一般に最大約２０ＭＨｚデータレートで作動
できる。またフィルタは、デジタル信号処理（ＤＳＰ）
ビルディングブロックからまたはカスタム用途の特殊Ｉ
Ｃとして構成できる。図６に代表的な２次元ローパス周
波数レスポンス曲線を示す。２次元フィルタの出力信号
は、第１ビデオバックグラウンド信号となる。

【００１６】バックグラウンド情報は、ローパスフィル
タ処理により得られ、フィーチュアは、元の遅延また位
相を等しくされた入力ビデオ信号から低周波すなわちビ
デオバックグラウンドを減算することにより得られる。
位相等価回路における遅延は１次元のローパスプリフィ
ルタ（使用する場合）、間引き回路（使用する場合）、
ライン記憶装置またはビデオシフトレジスタ、２次元ロ
ーパスフィルタ（ＦＩＲ）および１次元ローパスフィル
タ（補間）（ＦＩＲ）（使用する場合）の各々における
累積遅延を補償する。

【００１７】２０ＭＨｚよりも速いビデオピクセルレー
トが必要である場合は、標準タイプの１次元ローパスプ
リフィルタ内で予めフィルタ処理する。このプリフィル
タの特性は、周知の態様で、例えば、エルエスアイロジ
ック（ＬＳＩ ＬＯＧＩＣ）社のＬ６４１４３を使用し
て適当な係数によりプログラムされる。係数は、ローパ
スフィルタリング関数を演算して、間引き回路（使用す
る場合）の等価サンプリング周波数の半分よりも高い周
波数成分を減衰するよう計算される。プリフィルタリン
グは、間引きを行う場合に限り必要である。プリフィル
タリングは、信号を間引く場合にスペクトルのエリアシ
ングが生じるのを防止する。このフィルタの出力信号
は、間引き回路で間引かれる。この間引き回路は、これ
に印加されるＮ番目ごとのサンプルを通過させるための
標準回路であり、Ｎの値は予め決定される。この回路
は、４番目ごとのサンプルを出力するシフトレジスタで
よい。この間引き回路の出力は、標準シフトレジスタ、
例えばエルエスアイロジック（ＬＳＩ ＬＯＧＩＣ）社
のＬ６４２１１であるライン記憶回路へ送られる。また
２次元ローパスフィルタの出力信号は、１次元ローパス
フィルタへ送られ、この１次元ローパスフィルタから
は、ビデオバックグラウンド信号が得られる。この１次
元ローパスフィルタは、先に述べた１次元ローパスフィ
ルタと同じものにできるが、係数が異なっている。この
フィルタは、線形補間法を実行し、サンプルレートが遅
延位相等価されたビデオに一致するよう間引きされた２
次元ローパスフィルタの出力サンプル間のサンプル点を
計算する。すなわち、ビデオのデータレートを４分の１
に減少するよう間引きを実施する場合、線形補間法を実
施して間引きされたサンプルの各々の間の３つのサンプ
ル点の値を推定する。線形補間法では、このように、最
後の２つのサンプルを平均し、その中間点を得ている。
このフィルタ処理されたバックグラウンドの結果は、補
間される。プリフィルタリングは、信号を間引いたとき
生じるエリアシングを防止するのに必要である。このエ
リアシングはサンプリングされる信号がサンプリング周
波数の２分の１より高い周波数成分を含んでいるときサ
ンプリングデータシステムで生じる一般的効果であり、
このエリアシングの結果、サンプリング周波数の２倍よ
りも高い周波数の信号成分がサンプリングされた信号中
のより低い周波数の信号として生じ、元の信号を正しく
再生できないことになる。１次元のプリフィルタリング
処理、間引きおよび補間により２次元ＦＩＲフィルタに
対しデータレートを充分に低減できる。例えば、４分の
１の間引きを行えば、Ｌ６４２４０デバイスを使用して
８０ＭＨｚもの高いピクセルレートが得られる。

【００１８】入力デジタルビデオ信号のフィーチュア成
分は、標準的な２の補数の減算により減算回路内で遅延
された入力デジタルビデオ信号からビデオバックグラウ
ンドを減算することにより生じる。位相等価または遅延
回路（これは標準的デジタル遅延ライン）により得られ
る遅延は、フィルタリングの結果として生じる２次元位
相シフトおよび他の遅延を補償する。合成フィーチュア
は、バックグラウンドに含まれていないビデオのより高
い周波数成分を表わしている。図８は、２次元の周波数
レスポンスを示している。図９に合成フィーチュア空間
周波数内容の一次元的スライスが示されている。

【００１９】正または負にかかわらず、最大の大きさを
有するフィーチュアが図３中のフィーチュア選択回路内
に示すように各ピクセル位置で選択され、ここで２つの
同一の回路がフィーチュア信号を受信し、処理する。こ
れは、図２からの各フィーチュアピクセルの絶対値を標
準絶対値回路で取り、入力信号のうちの一方の入力信号
の他方の入力信号に対する重み付けされた利得を第１お
よび第２ビデオフィーチュアデジタル信号の各々に対し
利得回路で必要な場合に発生することにより達成され
る。利得回路の出力は、標準タイプの比較回路で比較さ
れ、この比較回路は選択回路を介してこれに対する入力
信号のうちのより大きいほうの信号の出力を発生する。
例えば、一方のソースが他方のソースよりもノイズが多
いことが判っていれば、差分重み付けを用いる。更に絶
対値回路への入力信号は、それぞれセパレートの遅延回
路を介して選択回路へ送られる。フィーチュアと比較の
結果とを同期させるのにこれらの遅延回路が用いられ
る。その後、比較回路の出力に基づいて、選択回路は、
選択されたフィーチュアとして遅延された第１ビデオフ
ィーチュアまたは遅延された第２ビデオフィーチュアの
いずれかを出力できるだけである。この出力は、正およ
び負のフィーチュアの双方を備えた符号付き複合フィー
チュア像である。

【００２０】図４にバックグラウンド選択回路を示す。
このバックグラウンドの選択は、ピクセルごとの方法で
なくグローバル方法で行なわれる。すなわち、選択プロ
セスを制御するパラメータをビデオフレームごとに更新
するだけである。用途および使用するセンサに応じて出
力バックグラウンドは、図２からのビデオ第１バックグ
ラウンド、ビデオ第２バックグラウンドまたは両者の平
均のいずれかにできる。多くの用途では、２つのバック
グラウンドの平均を連続的に選択することが適当であ
る。しかしながら、一つのセンサが情報をほとんど含ん
でいない場合、すなわちウォッシュアウトされている場
合、他方のバックグラウンドを選択できる。この選択
は、プロセッサ制御で自動的に行なわれるようプログラ
ムすることもできる。プロセッサ制御式選択の場合、ビ
デオフレームの間で各バックグラウンドの波高値および
／またはグレイレベルのヒストグラムをサンプリング
し、次のビデオフレームに出力すべきバックグラウンド
またはその組み合わせを選択する際の基準として使用す
る。例えば、バックグラウンドの各々の波高値の測定値
を選択の基準として使用する場合としては、次のものが
ある。１．バックグラウンド信号の双方からのバックグ
ラウンド波高値の統計値が双方のバックグラウンド信号
内の適当な情報内容を表示するユーザの定義した基準を
越えている場合、ビデオ１およびビデオ２のバックグラ
ウンド信号の平均値を選択して次のビデオフレーム内の
複合バックグラウンドとして出力する。２．バックグラ
ウンド信号の一方のみからの波高値の測定値が定義した
基準を越える場合、このバックグラウンドだけを次のビ
デオフレーム内に出力すべき複合バックグラウンド信号
として選択する。３．バックグラウンド信号の双方から
の波高値測定値が定義された基準よりも低下すれば、２
つのバックグラウンドの平均またはその大きい方のいず
れかを使用センサおよびユーザの好みに応じて次のビデ
オフレームに出力すべきものとして選択する。

【００２１】同様に波高値の統計値に加えまたはその代
わりにグレイレベルのヒストグラムを使用する場合、バ
ックグラウンド信号内の情報内容を表示するこのヒスト
グラムの分布を標準偏差を選択基準として使用する。こ
の選択プロセスは、次のものに従う。 １．バックグラウンド信号の双方からのバックグラウン
ドヒストグラムの標準偏差の統計値が双方のバックグラ
ウンド信号内の適当な情報内容を表示するユーザの定義
した基準を越えている場合、ビデオ１およびビデオ２の
バックグラウンド信号の平均を次のビデオフレーム内の
複合バックグラウンドとして出力すべきものとして選択
する。 ２．バックグラウンド信号の一方のみからの標準偏差統
計値が定義された基準を越える場合、このバックグラウ
ンドだけを次のビデオフレーム内に出力すべき複合バッ
クグラウンド信号として選択する。 ３．バックグラウンド信号の双方からの標準偏差統計値
が定義された基準よりも低下すれば、使用センサおよび
ユーザの好みに応じて次のビデオフレーム内に出力すべ
きものとして２つのバックグラウンドの平均また大きい
方のいずれかを選択する。

【００２２】波高値回路は、標準的なもので、多くのデ
ジタル論理の教科書に記載されている。これら回路は、
所定期間中のまたはリセットされるまでのデータストリ
ーム中の最大値および最小値の双方を記憶するようにな
っている。グレイレベルヒストグラム回路も画像処理技
術の分野では標準的なもので、多くの画像処理の教科書
に記載されている。これらも単一部品、例えばエルエス
アイロジック社のＬ６４２５０として入手できる。これ
らヒストグラム回路は、ヒストグラムデータを収集し、
制御プログラムはこれらデータから標準偏差統計値を計
算する。

【００２３】プロセッサバスは、一般的なものであれば
どんなプロセッサでもよく、選択プロセスを制御するだ
けでなく、プロセッサが結合している回路の各々に適当
なパラメータ、例えば係数等をローディングすることに
より選択基準として使用される統計情報を検索したり、
ピーク検出器およびヒストグラムを読み出したり、どの
グローバルバックグラウンドを選択すべきかの判断をし
たりする。プロセッサからバックグラウンド選択または
平均回路への入力信号は、この回路への入力信号の特定
の一つを選択するかまたは入力信号を平均するか判断す
る。バックグラウンド選択または平均回路からのバック
グラウンド出力は、遅延回路で遅延され、図３のフィー
チュア出力信号と正しく整合させる。

【００２４】図３および図４からの複合フィーチュアお
よび複合バックグラウンド信号は、フィーチュア／バッ
クグラウンド合成回路内で図５に示すように組み合わさ
れる。フィーチュアおよびバックグラウンドの双方の波
高値は、フィーチュアおよびバックグラウンドの波高値
を測定する周波数内容統計回路内でフレームごとに連続
的にサンプリングされる。この周波数内容統計回路は、
複合フィーチュアおよび複合バックグラウンド信号をそ
のまま通過させる。各信号の波高統計値はビデオフレー
ムの間で測定され、制御プロセッサにより分析され、次
のビデオフレームのためにフィーチュアおよびバックグ
ラウンド利得回路内にプログラムすべき利得を計算す
る。オフセット値が、バックグラウンド利得およびオフ
セット回路内で複合バックグラウンドの利得乗算の結果
に加算される。このオフセット値は、利用できるダイナ
ミックレンジ内の中心に合成バックグラウンド信号を位
置させるよう選択される。波高値検出器は、上記のもの
と同一である。この回路は、ビデオフレーム中にデータ
ストリーム上で見られる最大値および最小値の双方を記
憶するものである。フィーチュアが正負いずれでもある
場合、最小値を最も負の値とみなす。フィーチュアおよ
びバックグラウンド利得回路の双方は、標準品である一
般的デジタルマルチプライヤーから構成できる。

【００２５】周波数内容統計回路の出力は、複合フィー
チュア信号として一本のラインを通してフィーチュア利
得回路に印加され、かつ複合バックグラウンド信号とし
て第２ラインを通してバックグラウンド利得回路へ印加
される。プロセッサは、フィーチュア利得回路およびバ
ックグラウンド回路の各々の利得を連続的に調節し、高
周波成分と低周波成分の比を最適に維持する。エンハン
スメントを望まない場合、双方の利得を１にセットす
る。重み付けされたフィーチュア信号およびバックグラ
ウンド信号は、次に符号付き加算回路内で加算され、外
部デバイス、例えばブラウン管（ＣＲＴ）へ伝送するた
めの最終合成デジタルビデオ画像信号を形成する。符号
付き加算回路へ印加されるフィーチュア信号は、正負い
ずれでもよいが、バックグラウンド信号は常に正であ
る。従って、フィーチュアが負であれば、バックグラウ
ンドから減算され、正であれば加算される。従って、符
号付き加算器は、負の数を取り込むことのできる標準的
加算器である。

【００２６】プロセッサ（本書ではそのバスしか述べて
いない）は、上記機能を実行できる標準式プロセッサで
よい。例えば、８０８６プロセッサを使用できる。図１
１に、本発明に従って使用するためのプロセッサの制御
法を述べたフローチャートが図示されている。

【００２７】多数のソースからの画像を合成するための
上記方法およびシステムは、画像合成に適用される種々
の新規な原理を利用している。フィーチュア／バックグ
ラウンド分離、フィーチュア選択、バックグラウンド選
択およびフィーチュア／バックグラウンド合成の全概念
は、新規である。複合フィーチュアおよびバックグラウ
ンドの比率を合成出力内で制御する方法も新規である。

【００２８】上記システムおよび方法は、画像増感また
は可視ＴＶカメラおよびフオーワードルッキング赤外線
（ＦＬＩＲ）システムからの画像を合成するよう特に開
発されたものであるが、これらは他の多くのものにも使
用できる。ビデオソースとしては、上記２つのものと異
なっていてもよい。３つ以上のセンサ出力を合成するこ
ともできる。また本発明は、インターレース式、非イン
ターレース式および水平および垂直ラスタフォーマット
を含む種々のビデオフォーマツトに適用できる。

【００２９】以上で、本発明の特定の好ましい実施態様
を参照して本発明について説明したが、当業者であれ
ば、種々の変形例および改変例は明らかとなろう。従っ
て、特許請求の範囲はかかる変形例および改変例のすべ
てを含むよう従来技術に鑑みできるだけ広義に解釈すべ
きである。

【００３０】以上の説明に関して更に以下の項を開示す
る。 （１）多数の異なるソースからのビデオ画像情報をリア
ルタイムで合成するためのシステムであって、（ａ）セ
ンサの視野の所定部分を表示する第１信号を発生するよ
うセンサの視野に合焦された第１センサと、（ｂ）前記
第１センサと異なる特性を有し、前記センサの視野の前
記所定部分を表示する第２信号を発生するよう前記セン
サの視野に合焦された第２センサと、（ｃ）前記第１信
号を第１フィーチュア信号と第１バックグラウンド信号
とに分離しかつ前記第２信号を第２フィーチュア信号と
第２バックグラウンド信号とに分離するための手段と、
（ｄ）前記第１および第２フィーチュア信号に応答し、
最良のフィーチュアを有する、前記第１および第２フィ
ーチュア信号の一方を選択するための手段と、（ｅ）前
記第１および第２フィーチュア信号に応答し、複合バッ
クグラウンド信号を発生するための手段と、（ｆ）前記
複合バックグラウンド信号と前記選択されたフィーチュ
ア信号を合成し、合成信号を発生する手段とから成るビ
デオ画像合成システム。

【００３１】（２）前記合成された信号に応答自在な関
数を演算するための関数手段を更に含む第１項記載のシ
ステム。

【００３２】（３）前記信号はデジタル信号である第１
項記載のシステム。

【００３３】（４）前記第１および第２センサは前記セ
ンサの視野に同時に合焦される第１項および第３項記載
のシステム。

【００３４】（５）合成手段は前記選択されたフィーチ
ュア信号に対する前記複合フィーチュア信号の比を重み
付けするための手段を含む第１項、第２項および第４項
記載のシステム。

【００３５】（６）前記第１センサおよび前記第２セン
サは、異なるスペクトルバンドに応答自在である第１、
３、４および５項記載のシステム。

【００３６】（７）多数の異なるソースからのビデオ画
像情報をリアルタイムで合成するための方法であって、
（ａ）センサの視野の所定部分を表示する第１信号を発
生するようセンサの視野に第１センサを合焦する工程
と、（ｂ）前記第１センサと異なる特性を有し、前記セ
ンサの視野の前記所定部分を表示する第２信号を発生す
るよう前記センサの視野に第２センサを合焦する工程
と、（ｃ）前記第１信号を第１フィーチュア信号と第１
バックグラウンド信号とに分離しかつ前記第２信号を第
２フィーチュア信号と第２バックグラウンド信号とに分
離する工程と、（ｄ）前記第１および第２フィーチュア
信号に応答し、最良のフィーチュアを有する、前記第１
および第２フィーチュア信号の一方を選択する工程と、
（ｅ）前記第１および第２フィーチュア信号に応答し、
複合バックグラウンド信号を発生する工程と、（ｆ）前
記複合バックグラウンド信号と前記選択されたフィーチ
ュア信号を合成し、合成信号を発生する工程とから成る
ビデオ画像合成方法。

【００３７】（８）前記合成された信号に応答自在な関
数を演算する工程を更に含む第７項記載の方法。

【００３８】（９）前記信号はデジタル信号である第７
項記載の方法。

【００３９】（１０）前記第１および第２センサは前記
センサの視野に同時に合焦される第７項および第９項記
載の方法。

【００４０】（１１）前記選択されたフィーチュア信号
に対する前記複合フィーチュア信号の比を重み付けする
ための工程を含む第７項および第１０項記載の方法。

【００４１】（１２）前記第１センサおよび前記第２セ
ンサは、異なるスペクトルバンドに応答自在である第
７、９、１０および１１項記載の方法。

【００４２】（１３）合成画像が個々のビデオ画像のど
れよりも改善された情報内容を有するよう多数のソース
からのビデオ画像を合成するためのシステムと方法であ
る。ビデオ画像を発生するセンサは、一般に走査される
シーン内の異なるスペクトル内容、例えば可視光および
赤外線または短および長波長の赤外線等に応答自在であ
る。これにより、適当なコストおよび複雑さのハードウ
ェアによりリアルタイムの高ピクセルレートの作動が可
能となる。周波数内容スペシフィケイションによる画像
エンハンスメントは、この方法の別の利点でもある。こ
のようなフレキシブルなことにより多くの異なるビデオ
フォーマットおよびラインレートに適用できる。

【図面の簡単な説明】

【図１】本発明に係る画像合成システムのブロック図で
ある。

【図２】本発明に係る図１のフィーチュア選択回路のブ
ロック図である。

【図３】本発明に係る図１のフィーチュア選択回路のブ
ロック図である。

【図４】本発明に係る図１のうちのバックグラウンド選
択回路のブロック図である。

【図５】本発明に係る図１のうちのフィーチュア／バッ
クグラウンド合成回路のブロック図である。

【図６】図２のＦＩＲフィルタの２次元ローパス周波数
レスポンスのグラフを示す図である。

【図７】ＦＩＲバックグラウンド周波数レスポンスの曲
線を示す図である。

【図８】２次元ハイパス周波数レスポンスの曲線を示す
図である。

【図９】ＦＩＲフィーチュア周波数レスポンスのグラフ
を示す図である。

【図１０】周波数内容スペシフィケイションの図であ
る。

【図１１】本発明に係る画像合成制御プログラムのハイ
レベルフローチャートを示す図である。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 多数の異なるソースからのビデオ画像情
   報をリアルタイムで合成するためのシステムであって、 （ａ） センサの視野の所定部分を表示する第１信号を
   発生するようセンサの視野に合焦された第１センサと、 （ｂ） 前記第１センサと異なる特性を有し、前記セン
   サの視野の前記所定部分を表示する第２信号を発生する
   よう前記センサの視野に合焦された第２センサと、 （ｃ） 前記第１信号を第１フィーチュア信号と第１バ
   ックグラウンド信号とに分離しかつ前記第２信号を第２
   フィーチュア信号と第２バックグラウンド信号とに分離
   するための手段と、 （ｄ） 前記第１および第２フィーチュア信号に応答
   し、最良のフィーチュアを有する、前記第１および第２
   フィーチュア信号の一方を選択するための手段と、 （ｅ） 前記第１および第２フィーチュア信号に応答
   し、複合バックグラウンド信号を発生するための手段
   と、 （ｆ） 前記複合バックグラウンド信号と前記選択され
   たフィーチュア信号を合成し、合成信号を発生する手段
   とから成るビデオ画像合成システム。
2. 【請求項２】 多数の異なるソースからのビデオ画像情
   報をリアルタイムで合成するための方法であって、 （ａ） センサの視野の所定部分を表示する第１信号を
   発生するようセンサの視野に第１センサを合焦する工程
   と、 （ｂ） 前記第１センサと異なる特性を有し、前記セン
   サの視野の前記所定部分を表示する第２信号を発生する
   よう前記センサの視野に第２センサを合焦する工程と、 （ｃ） 前記第１信号を第１フィーチュア信号と第１バ
   ックグラウンド信号とに分離しかつ前記第２信号を第２
   フィーチュア信号と第２バックグラウンド信号とに分離
   する工程と、 （ｄ） 前記第１および第２フィーチュア信号に応答
   し、最良のフィーチュアを有する、前記第１および第２
   フィーチュア信号の一方を選択する工程と、 （ｅ） 前記第１および第２フィーチュア信号に応答
   し、複合バックグラウンド信号を発生する工程と、 （ｆ） 前記複合バックグラウンド信号と前記選択され
   たフィーチュア信号を合成し、合成信号を発生する工程
   とから成るビデオ画像合成方法。