JPH07508111A - 像を融合する方法およびその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 像を融合する方法およびその装置 この出願は、１９９２年５月１５日出願の原出願番号第０７／８８４０９８号の 一部継続出願である。

本発明は、拡張された情報内容で複合像を形成するために２または２以上のソー ス像を融合する改良された方法および上記ソース像からの複合像を形成する装置 に関するものである。

発明の背景 像融合は、拡張された情報内容で単一複合像を形成するために、２または２以上 のソース像を結合する操作である。一般に異なるセンサ、例えば赤外線および可 視光線カメラ、コンピュータ援用断層写真（ＣＡＴ）および磁気共鳴結像（ＭＩ ｎ）装置からの像は、複合像を形成するために結合される。可視光および赤外カ メラのようなセンサの異なる形式で撮られる所定場面の多重像、または所定形式 のセンサおよび場面であるが、異なる場面照明またはカメラ焦点のような異なる 結像条件で撮られる像も結合することができる。像融合は下記の程度まで成功し ている：　（１）複合像は、ソース像からのすべての有益な情報を記憶しており 、　（２）複合像は、融合操作により発生する人工歪を一切含むことなく、そし て（３）複合像は、人間または機械による通常の視覚による認識を通して容易に 判断できるように自然に見える。複合像の使用者により決定されるものとして、 役立つ情報項は、異なるソース像のどの特徴が、複合機内包含物に対して選択さ れるかを決定する。

当技術において既知の、融合に最も直接的なアプローチは、各画素位置において 像を横切り、ソース像を整列させ、次に合計しまたは平均をとることである。

このようなそして他の画素に基づくアプローチは、複合像内の個々のソース特徴 が減少したコントラストで現われ、または写真の二重露光におけるように寄せ集 めで現われるゆえに、しばしば不満足な結果となる。

既知パターン選択像融合は、上記ソース機内の目立った特徴を識別し、そしてこ れらの特徴を十分なコントラストの複合に保つことにより、これらの欠点を克服 しようと試みる。各ソース像は最初基本パターン素子の組に分解される。上記複 合像の１組のパターン素子は、次にソース像の基本パターン素子から特徴パター ンを選択することにより組立られる。最後に複合像は基本パターン素子のその組 から構成される。

多重分解能像処理と分析　Ｖ、１６　ページ２０−５１．１９８１におけるパー ト（Ｂｕｒｔ　ｉｎ　Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ　Ｉｍａｇｅ　Ｐｒ。

ｃｅｓｓｉｎｇ　Ａｎｄ　Ａｎａｌｙｓｉｓ、Ｖ、１６．ｐａｇｅｓ２０−５１ ．１９８１）（以下「パート」と呼ぶ）および像分解技術に関する教示のため参 考までにここに編入した米国特許第４，６９２，８０６号におけるアンダーラン （Ａｎｄｅｒｓｏｎ）その他は、画素の第１ナンバーから成るオリジナルの比較 的高分解能像が、上記第１所定ナンバーよりも小さい画素の第２ナンバーからな る広い視界の低い分解能像を導出するために処理される像分解技術を開示してい る。より低い分解能の像を作るため像を分解する処理は、ガウシアンロールオフ をもつ異なるバンド幅の複数の低域フィルタを用いて通常行なわれる。参考まで にここに編入した米国特許第４，７０３，５１４号は像の分析のピラミッド処理 を実行する手段を開示している。

像融合へのラプラスピラミッドアプローチはおそらく最良の既知パターン選択方 法である。パートは、人間の視覚における両眼融合に対するラプラスピラミッド を基にした像融合技術の使用を最初に開示した。米国特許第４．　６６１．　９ ８６号は、固定カメラでしかし異なる焦点調節で撮った１組の像から拡張された 被写体深度のある像の構成をするラプラス技法の使用について開示している。機 械視覚と応用　Ｖ３　ページ１−１１．１９９０　（Ｖｉｓｉｏｎ　ａｎｄ　Ａ ｐｐｌｉｃａｔｉｏｎｓ、Ｖ、３．ｐａｇｅｓｌ−１１，１９９０）においてト ーイト（Ｔｏｅｔ）は、監視に応用する可視と赤外の像の結合に用いられてきた 変形されたラプラスピラミッドを開示している。さらに最近、大気宇宙空間にお ける計算に関する、米国航空宇宙局工学協会会議の議事録　Ｖ、８．バルチモア 、■９９１年１０月（Ｐｒｏｃｅｅｄｉｎ、ｇｓ　ｏｆ　ｔｈｅ　ＡＬＡＡ　Ｃ ｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｉｎｇ　ｉｎ　Ａｅｒｏｓｐａｃｅ、 Ｖ、８、Ｂａｌｔｉｍｏｒｅ、０ｃｔｏｂｅｒ　１９９１）においてエム・バベ ル（ＭＰａｖｅｌ）その他は、航空機着陸の補助として、カメラ像を図式結像と 結合するラプラシアンピラミッドを開示した。図式に関する米国計算器学会会報 　Ｖ、２　ページ２１７−２３６．１９８３年（ＡＣＭ　Ｔｒａｎｓ、ｏｎ　Ｇ ｒａｐｈｉｃｓ、Ｖ、２．ｐａｇｅｓ２１７−２３６　（１９８３））、および 写真光学器具エンジニャ協会の議事録　Ｖ、５７５　ページ１７３−１８１．１ ９８５年（Ｐｒｏｃｅｅｄｉｎｇ　ｏｆ　５ＰＩＥ、　Ｖ５７５．　ｐａｇｅｓ １７３−１８１、（１９８５））においてパートその他は、様々な応用に対しモ ザイク内に像を併合するため、関連したラプラシアンピラミッド技法を開発した 。

事実、ラプラス変換は多くのサイズのがウス状基底関数の正規配列に各ソース像 を分解するのに用いられる。これらのパターンは時々、ピラミッド変換の基底関 数として、またはさざ波として呼ばれる。ソース像の多重分解能ピラミッドは、 粗の特徴を低分解能で分析可能、かつ精の特徴を高分解能で分析可能にする。

ピラミッドの各サンプル値は対応基底関数に関連する振幅を表わす。上記融合へ のラブランアンピラミッドアプローチにおいて、上記結合処理は融合像内の包含 物に対するソース像からのこれらのパターンのうち最も目立つものを選択する。

ソースピラミッドは複合ピラミッドを形成するために、サンプル基底によりサン プルに関する選択を通して結合される。現用手順は、この選択において「最大値 選択ルール」を用いることにあり：すなわちピラミッドソース機内各サンプル位 置において、最大値を持つソース像サンプルは、複合ピラミッド内の対応サンプ ルとなるためコピーされる。もしも所定サンプル位置に、最大値をもつサンプル と同一値を作動可能にする、他のソース像サンプルがあれば、これらは複合ピラ ミッドの対応サンプルを得るために平均される。最後に複合像は、複合ピラミッ ドから、逆ラプラス変換を経て回復する。例として、米国特許第４．　６６１． 　９８６号に開示されたアプローチにおいて、最大値をもつそれぞれのソース像 サンプルは、各ピラミッドレベルでコピーされ、一層焦点が合うソース像の一つ のサンプルに応答する。

ラプラス変換の場合に、構成要素パターンは環状対称形のガウシアン状強度関数 の形式をとる。所定スケールの構成要素パターンは、そのスケールについての機 内の独特な特徴がある大振幅をもつ傾向がある。はとんどの像パターンはエツジ 状原線から作られるものと記載される。エツジは次に構成要素パターンの集合に よりピラミッド内に示される。

一方うブラシアンピラミッド技法は好結果をもたらすことが解ったが、時々可視 人工歪が複合像内に導入される。これらは、例えば上記高レベルパターンは、む しろ間接的にラプラシアンピラミッドに表わされるという事実にもとづき、場面 内拡張された外形に沿って起きることもある。強度エツジは、ガウシアンパター ンでラプラシアンピラミッド内に、エツジの明るい側を正値、暗い側を負値。

そしてエツジ自体の位置においてゼロ、をもつすべてのスケールで表わされる。

もしもこれらの原線のすべてが選択処理を続けさせるとは限らないならば、外形 は完全には複合に反映されない。付加的な欠点はガウシアン状構成要素パターン はゼロでない平均値をもっているという事実による。選択処理における誤差は、 場面の局所領域内の平均像強度における変化に到る。これらの人工歪は、複合像 または融合像が順に表示される時に特に顕著である。選択処理は真性の２進であ り、一方または他方のソース像からの基底関数が選ばれる。もしも基底関数の大 きさが、例えば像またはセンサ動作の雑音のために変化するならば、選択処置は 異なるソース像から基底関数を交互に選択することもある。これはちらつきおよ び這いまわり（ｃｒａｗｌｅｒｓ）のような過度に認知される人工歪に到る。

さらに、従来技術は融合した複合像自体の誘導に色を用いることもあるが、融合 した複合像内の特定表示情報に寄与するそれらのソース像の識別を保つことが、 従来技術にはない。例えば、監視応用において監視者が明るい特徴のあるソース があれば、高温物体を表わす、赤外カメラソース像から来るもの、もしくは明る い色彩の、または強く照明される物体を表わす、可視光カメラソースからくるも の、と複合像内に見たいと思われる。

従って、従来技術のこれらの欠点を克服する像融合の改良方法（平均または「最 大値選択ルール」選択、および色彩の使用の従来方法に加え）および良い像の質 を与えおよび／または特に複合像の順序が表示される時に、像融合処理により形 成される複合像内の特徴を使用者に対し提供する必要がある。

発明の摘要 Ｎソース像から、ここでＮは１よりも大きい、複合像を形成する本発明の方法は 、各ソース像■、、ｎ＝１−Ｎ、を複数りの組の有向構成要素パターンＰ、（ｍ 、１）に分解すること；各構成要素パターンＰ、（ｍ、１）に対する特徴測度Ｓ 、（ｍ、１）を計算すること；複合像の１組の有向構成要素パターンＰｃ　（ｍ 、１）を形成するため、特徴測度Ｓ＠　（ｍ＋　１）を用いる上記構成要素パタ ーン組Ｐ、（ｍ、Ｉ）から構成要素パターンを選択すること；および有向構成要 素パターンＰｅ　（ｍ、１）の組から複合像を構成すること；のステップからな るものである。

本発明は、また複数のソース像から複合像を形成する装置であって、各ソース像 を複数組の有向構成要素パターンに分解する手段（装置）：各構成要素パターン の特徴測度を計算する手段（装置）；複合像の１組の有向構成要素パターンを形 成するため上記特徴測度を用いる構成要素パターン組から構成要素パターンを選 択する手段（装置）：および有向構成要素パターンの組から上記複合像を構成す る手段（装置）からなるものである。

図面の簡単な説明 図１は、パターンに基礎をおく像融合の従来方法を示す流れ図である。

図２は、ガウシアンピラミッドおよびラプラシアンピラミッドを形成する方法を 略示する。

図３は、ラプラシアンピラミッドからもとの像を再構成する方法を略示する。

図４は、本発明のパターンに基礎をおく像融合の方法を略示する。

図４（ａ）は、特徴および一致の両方を使うパターンに基礎をおく像融合の方法 を略示する。

図５は、実時間デジタル像処理バーアトウェアにおける本発明の方法の実施を示 す。

図６は、回路Ｐ５およびＦ６の略示回路図である。

図７は、回路Ｐ７の略示回路図である。

図８　（ａ）、（ｃ）、（ｄ）および（ｅ）は、重み関数を実施する異なる回路 の略示線図である。

図８（ｂ）は、特定重み関数のグラフ図である。

図９は、各種の像およびピラミッドレベルが、入力／出力フレームストア、およ び仮定インタレース人力／出力のあるシステム内で計算できる時のタイミング線 図である。

図１０（ａ）は、標準可視光線カメラからのソース像の写真である。

図１０（ｂ）は、赤外線カメラからのソース像の写真である。

図１０（ｃ）は、本発明の方法を用いて得られた融合像の写真である。

図１１は、２個の分離した単色ソース像を融合複合着色像に変換する説明的実施 例のブロック図ある。

図１２は、図１１に示された融合処理の一例を略示するブロック図である。

詳細な説明 従来技術のパターンベース像融合の流れ図が図１に示される。上記ソース像は融 合ステップに入る前に整列されると仮定される。融合方法は各ソース像■４が特 徴ベース表現に変換されることのステップを含み、そこに各機Ｉ９が１組の構成 要素パターンＰ、（ｍ）に分解され、ここでｎ＝１．　２．・・・、Ｎはソース 像の数、そしてｍ＝１．　２．・・・３Ｍはｎソース像に対する組内パターン数 である。ソース像からの特徴は、ソース像パターン組内のパターンから組立られ た複合像を表わす１組の構成要素パターンＰＣ（ｍ）を形成するために結合され る。上記複合像■。は次にその構成要素パターンＰ、（ｍ）から構成される。

像融合のラプラシアンピラミッド法は、この構成で記載できる。ラプラス変換を 行なうことは、各ソース像を１組のほぼ環状の対称のガウシアン状構成要素パタ ーンに分解するのに役立つ。上記ピラミッドは構成要素の固定された組に正規分 解される。この組は、ピラミッドレベルおよびピラミッドレベル内のサンプル位 置で表わされる、機内の異なる位置により表わされる、異なるスケールのパター ンからなる。像ｎに対するピラミッドレベルにの位置（ｉ、Ｄにおけるラプラス 値をり、（ｉ、ｊ、ｋ）とする。この値はガウシアン状関数である対応構成要素 Ｐ、（ｉ、ｊ、ｋ）の振幅を表わす。

ソース像のガウンアンおよびラプラシアンピラミッドの生成の流れ図か図２に示 される。ガウシアンＧ（０）はソース像である。ガウンアンＧ（０）は、ガウシ アンロールオフをもつ低域フィルタＦｌで次に濾゛負され、各行および交互行の 交互画素を、Ｆ２によって二段抽出し、第ルベルガウシアンＧ　（１）を形成す る。低レベルガウシアンＧ　（ｎ）が同様にして連続形成される。ピラミッドの 各レベルにおいてガウシアンに対応するラプラスＬ　（ｎ）は、ガウシアンピラ ミッドの次の最低レベルに二段抽出されたデータを復元することにより（所定サ ンプルＦ２間にゼロ値サンプルを挿入し補間フィルタＦ１を付加することにより ）そして所定レベルのガウシアンから減じることにより形成される。このように 形成されたラプラシアンはレデュスエクスパンド（ＲＥ）ラプラシアンとして知 られている。選択的に、ラプラシアンは図２破線により示されるように、二段抽 出および再補間なしに形成できる。これはフィルターサブトラクト−デシメイト （ＦＳＤ）ラプラシアンと呼ばれる。図３にラプラシアンピラミッドからの像を 再構成する方法が示されている。ごの方法において、ラプラシアンがもとの像を 再生すべく（すなわち逆ＲＥラプラシアンピラミッド変換）補間されかつ合計さ れる図！構成要素パターン結合のステップは、最大選択ルールを用い、すなわち 、複合像のため構成されたピラミッドは、下記ソース像ラプラシアン値から、サ ンプル基底によりサンプルに関して形成される：Ｌｅ　（ｉ、ｊ、ｋ）　＝ｍａ ｘ　（Ｌｌ（ｉ、ｊ、ｋ）、　Ｌｔ　（ｉ、ｊ、ｋ）＋・・・ＬＮ　（ｌ、ｊ、 ｋ）〕 ここに関数ｍａｘ（）は最大絶対値をもつその引き数の一つの値をもつ。複合像 ■。は、パート及び米国特許第４，６９２，８０６号に開示されたような逆ピラ ミッド変換を通してラプラシアンピラミッド表現Ｐ。から回復される。

図４に示されるように、複数のソース像から複合像を形成する本発明の方法は、 各ソース像Ｉ。を、複数の有向関数を用いる１組の構成要素パターンＰｐ　（ｍ ）内に分解することにより、ソース像を特徴ベース表現に変換すること：各構成 要素パターンに対する特徴測度を計算すること：各種ソース像に関連する特徴測 度Ｓ、（ｍ）により案内されるソース像パターン組Ｐ、（ｍ）からのパターンを 組立てることにより、ソース像からの特徴測度を結合すること；およびその構成 要素パターンＰｅ　（ｍ）から逆変換を通して複合像１．を構成することのステ ップからなる。特徴推定処理は、各パターンの特徴測度Ｓ、（ｍ）を決定するた め、個々に構成要素パターンＰ、（ｍ）の各セットに応用される。一般に、特徴 は像データ■１に直接頼り、および／または構成要素パターン表現Ｐ、（ｍ）に 頼り、および／または池のソースからの情報を考慮に入れることができる。上記 特徴測度は、ソース像の特徴の知覚区別性に関連し、または融合が行なわれる（ 例えば、監視に興味ある目標）適用に特有の他の基準に関連する。

本発明は、像および従来技術の欠点を克服し、著しく増した性能を与える有向ピ ラミッドアプローチを表現するため、有向関数（構成要素パターン）の使用に基 づいたパターン選択像融合方法である。各ソース像は通常異なる分解能（像のピ ラミッド）の複数の像に分解され、次にこれらの像が複数組の有向構成要素パタ ーンに分解される。有向構成要素パターンは、通常有向ピラミッドを用いる、多 種の寸法と方向付けのあるエツジ状パターン素子である。有向ピラミッドの使用 は、複合像内エツジ状ソース像パターンの保持力を改良する。ピラミッドはゼロ （またはゼロに近い）平均値をもつ構成要素に使用される。これは構成要素パタ ーンの偽の包含または排除による人工歪が過度に見えないことを保証する。構成 要素パターンは通常簡単な選択処理ではなく重み付き平均を通して結合される。

これらのパターンの最高点は各スケールおよび方向付けにおける複合像内包含に 対して選択される。特徴がソース機内の局所エツジエネルギー（または他のタス ク−特定測度）に基づくことができる。局所特徴分析は構成要素組合せに用いら れる重みを決定するため各ソース像に関して行なわれる。選択は特徴測度Ｓ。

（ｍ）に基づいている。融合像■。は逆ピラミッド変換を経てＰｅがら再生され る。

このアプローチは、画素ベース融合およびラプラシアンピラミッド内パターン選 択融合において観測された人工歪を克服する。重みは特徴測度の非線形Ｓ字形関 数として得られる。傾斜ピラミッドを用いる像融合は、ラブランアンピラミッド に基づく像融合が人工歪を導入するところでさえも、優れた成果を与えることが 解った。

本発明の別法は、像構成要素パターンＰｎｌ（ｍ、ｌ）およびパターンＰ。ｚ（ ｍ、１）で表わされる像の各対間の一致測度Ｍｎ１ｎｒ　（ｍ、ｌ　）を計算す る。これらの一致測度は、複合像の構成要素パターンＰ、（ｍ、Ｉ）の組の形成 において、特徴測度Ｓ、（ｍ、Ｉ）に加えて用いられる。この方法はソース像が 、有向でないラプラシアン構成要素パターン（Ｌ＝１）に分解される時にも用い られる。

種々の既知の有向像変換は、構成要素パターンが方向付けられかつゼロ平均の要 求を満たすものである。傾いたピラミッドは多数サイズの基底関数をもつが、ラ プラシアンピラミッドとは異なり、これらは方向付けられて、ゼロ平均である。

構成要素パターンＰ。（ｍ）の傾きピラミッドの組は、Ｐｅ　（ｉ、ｊ、ｋ、１ ）として表現され、ここでｋはピラミッドレベル（またはスケール）、１は方向 付け、そしてｉ、ｊはに、ｌ配列的索引位置を示す。傾きピラミッド値り、（ｉ 、ｊ、ｋ、Ｉ）はパターンＰ、（ｉ、ｊ、ｋ、ｌ）に関連する振幅である。傾き ピラミッドは多くのスケールおよび方向付けのガウシアン基底関数の傾きによっ て像を表わすことが解った。このような基底関数はピラミッドの各サンプルに関 連している。これらがサンプル値によって振幅で基準化され、加算される時に、 もとの像が正確に回復される。基準化と加算は逆ピラミッド変換に内在するもの である。高次導関数演算子を含む、傾き以外の方向付は演算子も用いられ、しか もこの演算子が振幅以外の像特徴に応用できることを理解すべきである。

像分析の別法として、さざ波（ｗａｖｅｌｅｔ）像表現を用いることがある。

例えば電気電子学会信号処理雑誌　１９９１．１０月、ページ１４−３８　（Ｉ ＥＥＥ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｍａｇａｚｉｎｅ、０ｃｔｏｂ ｅｒ、１９９１．ｐａｇｅｓ１４−３８）にリウール（Ｒｉｏｕｌ）その他によ り発表されたように、さざ波像表現は、有向空間関数で線形組合せが像を形成す るために用いられる。さざ波表現の場合に、異なる方向付けのため少なくとも２ 組のさざ波がある。通常３組のさざ波基底関数は、１組の水平方向付は関数、１ 組の垂直方向付は関数、および右と左の斜め方向付けさざ波から導出された線形 組合せ関数である。−たびソース像を形成する方向付は基底関数の組が得られる と、複合用の方向付は基底関数の組が、上記傾き演算子を用いて生じた基底関数 と同様にして選定され、そして複合像がそれらから再構成される。

像■に対する傾きピラミッドは、付録ｌに記載されたように、そのガウシアンピ ラミッドＧ　（ｎ）の各レベルに、傾き演算子を印加することによって得られる 。このような４個の傾き演算子が像の水平、垂直、および直交の斜めの方向付け にそれぞれ用いられる。上記４個の傾き演算子は、複合像の傾きピラミッド表現 を形成するために用いられる構成要素を選定するために、特徴のような選択規準 を用いて融合される。その傾きピラミッド表現から複合像を再構成するために、 ４個の方向付け２次導関数ピラミッドを形成すべく２度印加される。これらはピ ラミッドの各レベルにおいて加算され、標準ラブランアンピラミッドを形成し、 これから通常の拡張および加算の逆ラプラシアンピラミッド変換を経て、複合像 が再構成される。

パターンは、もしも像を判断するのに有用な情報をもっておれば特徴のあるもの である。一般に特徴は複合像を構成する目的に依存し、特徴のどんな測度もタス ク依存である。しかし、特徴は基本パターンの振幅と共に一般に増加する。Ｓ、 （ｉ、ｊ、ｋ、Ｉ）がＰ、（ｉ、ｊ、ｋ、Ｉ）に対応する特徴値とすると、構成 要素パターンの隆起と共に増加する特徴測度はその振幅により表示できＳｏここ でり、（ｉ、ｊ、ｋ、Ｉ）は、傾きピラミッドのレベルにて方向付け１の位置（ ｉ＋　ＤにおけるパターンＰ。（ｉ、ｊ、ｋ、Ｉ）に関連する振幅である。

代りに、上記構成要素および局所に隣接している他の構成要素の隆起によって示 すこともできる。この隣接は重み関数ｗ　（ｉ’　、ｊ’　）で示される：Ｓ、 （ｉ、ｊ、に、Ｉ）　−［Ｓｔ−＝ｚｗ（ｉ’、ｊ’）Ｄ、（ｉ−ｉ’、ｊ−ｊ ’　、ｋ、１）　ｌ　〕＋１／２１ 一般に使われる隣接物は対象の特定構成要素に最も近い構成要素の３×３配列、 または対象の画素を包囲する画素の３×３配列に対する構成要素パターンであっ て、構成要素が索引される方法に依存している。例えば、３×３配列ｗ　（ｉ’ 　。

ｊ′）は次に等しくセントされる： 他の一つの測度は、像中の目標のような特定のパターンの存在に関する特徴に基 づいている。例えばＳは、各サンプル位置における目標パターンに一致する、ソ ース像のフィルタに対する相関関係に関することもある。

複合像１ｅに対する傾きピラミッドは、有向関数の各組に対するソースピラミッ ド基底関数Ｐゎからの構成要素選択により得られる。選択は上記特徴測度に基づ き各サンプル位置において反復される。現在の慣習で通常使われる選択ルールは 、「最大選択」すなわち最大振幅をもつソース像サンプルを選択することである 。しかし「ソフトスイッチ」が厳密な選択には望ましい；すなわち全く異なる特 徴をもつ２つの構成要素パターン間で選択が行なわれる時には、大きな特徴をも つ方が選択されるが、同等の特徴をもつ構成要素間では、複合サンプル値は、ソ ースサンプルの加重平均が採られる。

組合せ処置は、複合パターン素子が、各方向付けｌに対するソースパターン素子 の振幅の加重平均として計算されるものであり、Ｄｃ　（ｉ、ｊ＋　ｋ、Ｉ）＝ ［ＳｎＷ＊　（ｉ、ｊ、ｋ、Ｉ）Ｄｅ　（ｉ＋　ｊ。

ｋ、Ｉ）ｌ／　ｆｓ、Ｗ、（ｉ、ｊ、に、ＩＮこの平均に用いられる重みは、ソ ース像を通して相対的特徴測度に基づいている。重みは高度の特徴をもつ像構成 要素が、不相応に高い重みを得るように限定される。例としてＡを所定位置にお ける全特徴とするとＡ　（ｉ、ｊ、ｋ、Ｉ）　＝Ｓ、　Ｓ、（ｉ、ｊ、ｋ、Ｉ） ここでＮはソース像の数である。

適当に選択された定数ａおよびす、０＜ａ＜ｂ＜１．とするＴ、＜ａとすると　 Ｗ、（ｉ、ｊ、　ｋ、Ｉ）　＝。

ａ＜Ｔ。＜ｂにおいて　Ｗ。（ｉ、ｊ、ｋ、ｌ）＝　（ｓ−ａ）　／　（ｂ−ａ ） ｂ＜Ｔ、において　Ｗ。（ｉ、ｊ、ｋ、Ｉ）　＝１ここで　Ｔ。＝　ｆｓ、（ｉ 、ｊ、ｋ、Ｉ）／Ａ　（ｉ、ｊ、ｋ、Ｉ）１は位置（ｉ、ｊ）における、ｎソー ス像に対する、ｋピラミッドレベルの１方向付けの正規化特徴である。

このＳ導関数は、はぼ平均の特徴をもつ素子の重みの間の差を強調する一方で、 その特徴が著しく平均よりも下方または上方にあれば、それぞれに所定素子の重 みをほぼゼロまたはほぼｌに固定する。

複合像Ｉｃを形成する最終ステップは、その傾きピラミッド表現Ｐｅがらの再構 成である。上記逆傾きピラミッド変換の計算の細部は付録ｌに挙げられている本 発明の複数のソース像から複合像を形成する別の方法が図４（ａ）に示される。

この場合融合は２個のソース像について示されているが、この方法は２個よりも 多いソース像に一般化することができる。この方法における一致測度のＭ　＋　 ｔ（ｉ、ｊ、ｋ、ｌ）は、局所隣接ｗ　（ｉ’　、ｊ’　）内ソース像間で計算 される。

通常この隣接重み関数は、上記特徴測度Ｓ、（ｉ、ｊ、ｋ、Ｉ）の計算に用いる ものと同じである。上記一致測度は、例えば局所相関Ｃ１２（１１Ｊ、に、Ｉ） に基づくことができる： ＣＩ２　（ｔ＋　ｊ、　ｋ、１）　＝Σ五・、・ｉｗ（ｉ’、ｊ’）Ｄ＋　（ｉ −ｉ’、ｊ−ｊ’、に、Ｉ）ＸＩＬ　（ｉ−ｉ’、ｊ　ｊ’＋　ｋ、Ｉ）１−１ と＋ｌとの間で正規化された一致測度は次に示されるＭ＋２（ｉ、ｊ、ｋ、ｌ） 　−２Ｃ＋２（ｉ、ｊ、ｋ、Ｉ）／　Ｉｓ　（ｉ、ｊ、ｋ。

１）　＋Ｓ２　（ｉ、Ｊ、に、Ｉ）　１複合像パターン構成要素は、再度重み付 は平均として送られる。２つのソース像の場合 Ｄｃ　（ｉ、ｊ、ｋ、Ｉ）　＝ｗ、（ｉ、ｊ、ｋ、ｌ）　Ｄｌ（ｉ、ｊ、ｋ、ｌ ）＋ｗｔ　Ｄｉ　（ｉ、ｊ、ｋ、Ｉ） この実行において、重みＷ、およびＷ、は一致測度と特徴測度との両方に基つい ている。例として所定パターン素子を仮定Ｓ、（ｉ、ｊ、ｋ、ｌ）　＞Ｓｔ　（ ｉ、ｊ、ｋ、Ｉ）Ｍｌｚ　（ｉ、ｊ、　ｋ、Ｉ）　＜ａ　ならば　Ｗ＋　＝ｌ、 　Ｗ２　：０、他に、ＭＩ２　（ｉ、Ｊ、　ｋ、Ｉ）　＞ａ　ならばＷｌ＝ｌ／ ２＋１／２　Ｃ（ｌ　Ｍ）／　（１ａ））そしてＷ２＝ｔ−Ｗ。

ここでｒａＪは−１と＋１との間にセットできる融合処理のパラメータである。

上側でＳｔ　（ｔ、Ｊ、ｋ、り　＜３２　（ｉ、Ｊ、ｋ、Ｉ）のときは、Ｗｌお よびＷ２に割当てられた値は交換される。本発明のこの別の実行においては、ラ プラシアンピラミッドのパターンのような非有向構成要素パターンと、同様に傾 きピラミッドのパターンのような有向パターンと共に用いることができる。

本発明はまた複数のソース像から複合像を形成する装置であって、各ソース像１ 、を複数の有向関数を用いて１組の構成要素パターンＰ、（ｍ）に分解すること により、ソース像を特徴ベース表現に変換する手段（装置）；各構成要素パター ンの特徴測度を計算する手段（装置）、各種ソース像に関連する特徴測度Ｓ。

（ｍ）により案内されるソース像パターン組Ｐ、（ｍ）からパターンを組立てる ことにより複合像の構成要素パターンＰｅ　（ｍ）を形成する手段（装置）；お よびその構成要素パターンＰＣ（ｍ）から逆変換を通して複合像を構成する手段 （装置）：を前記複合像形成装置は含んでいる。

本発明の方法を実施する装置は図５〜８に示される。上記装置は２つのソース像 によって示されているが、装置の適当な変更で任意数のソース像が使用できるこ とを理解すべきである。

もし必要ならば、フレームスドアＦＳＩとＦＳＩが、インクレース書式に生成し た入力ソース像を、連続処理用プロブレシブ走査書式に交換しかつタイミング調 整に用いられる。テレビジョンカメラは一般にインクレース書式である。

ピラミッド回路ＰＩおよびフレームスドアＦＰ３は入力ソース像！、のにレベル ガウシアンピラミッド表現Ｇ、（ｋ）を計算するのに用いられ、そして回路Ｐ２ とフレームスドアＦＳ４は入力ソース像Ｉ、のｎレベルガウシアンピラミッド表 現Ｇ、（ｋ）を計算するのに用いられる。上記回路ＰＩおよびＰ２は、低域フィ ルタにガウシアンロールオフと画素二段抽出（各行および濾過した像の交替画素 の取外し可能／デシメーション）を提供する。

ガウンアンピラミッドＧ　（ｋ）の各レベルに関する次の操作は、Ｇ、’（ｋ） およびＧ、’（ｋ）を形成するため、それぞれに回路Ｐ３および回路Ｐ４により 実行されるフィルタ（１＋ｗ’）である。このプレフィルタＰ３およびポストフ ィルタＰ８の目的は、傾きピラミッド変換およびラブランアン変換における中間 結果の間の正確な対応を提供するため、フィルタ特性全体を調整することにある 。選択的にこのフィルタは変換ステップの順序内で他の点に適用することもでき る。他の同様なフィルタが類似の結果を得るため使用できる。

Ｗ′は３×３二項式のフィルタである。

そして上記フィルタＰ３は下の形式をとる：次の濾過されたガウシアンピラミッ ドＧ、’（ｋ）およびＧ、’（ｋ）のおのおのは、水平ｄ、垂直ｄｖ、右斜めｄ 、イ、および左斜めｄ　１７フイルタをそれぞれ表現する、４個の有向傾きフィ ルタで濾過される。

これらの操作は回路Ｐ５およびＰ６で実行され、８個の傾きピラミッドＤ、（ｋ 、ｈ）、Ｄ、（ｋ、ｒｄ）、Ｄ、（ｋ、ｖ）、Ｄ、（ｋ、ｒｄ）、Ｄ、（ｋ。

ｈ）、Ｄ、（ｋ、ｒｃｌ）、Ｄ、（ｋ、ｖ）、Ｄ、（ｋ、ｒｄ）を生じる。ここ に示された傾き演算子は、特定方向の２個の最も近い隣接サンプルを用いている が、多数の隣接サンプルが、傾き計算に使用できることを理解すべきである。

図６において、回路Ｐ５およびＰ６は、４個の減算器＋３Ｌ　６２，８３および ６４からなる。入力信号は、直接減算器６１の入力端に、そして単一画素遅延６ ５を経て、減算器６１の第２入力端に接続される。減算器６１の出力はｄ。であ る。入力信号は、直接減算器６２の入力端に接続され、そして単一線路遅延６６ を経て減算器６２の第２入力端に接続される。減算器６２の出力はｄ、である。

入力信号は、画素遅延６５を経て、減算器６３の入力端に接続され、そして線路 遅延６６を経て、減算器６３の第２入力端に接続される。減算器６１の出力はｄ ｌ、である。入力信号は、直接減算器６４の入力端に接続され、そして線路遅延 ６６および画素遅延６５を経て減算器６４の第２入力端に接続される。減算器６ １の出力はｄ　ｌｄである。Ｐ５およびＰ６は、市販のカリフォルニア、サンノ ゼ、キシリンクス社製　ＸＣ３０４２のようなフィールドプログラマブルゲート アレイ回路（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ　 ｃｉｒｃｕｉｔ（ＦＰＧＡ）ＸＣ３０４２ｍａｎｕｆａｃｔｕｒｅｄ　ｂｙ　Ｘ １ｌｉｎｘ、Ｉｎｃ、、Ｓａｎ　Ｊｏｓｅ、ＣＡ９５１２４）を用いて実行でき る。

融合関数は、図８（ａ）に略示されるように、２またはそれ以上の像が複合像に 結合される。ここで融合関数は、上記ソース像の４個の有向傾きピラミッドに関 して計算される。それはラプラシアンピラミッドに直接印加することもできるが 、余り効果がない。

ソース像■１”に対する全特徴Ａの関数依存性Ｗ、が、２人力像の場合に対して 図８（ｂ）に示される。この関数： ［Ｓｎ　（ｉ、ｊ、ｋ、］）／Ａ　（ｉ、ｊ、　ｋ、ＤＪ　＜ａ　とするとＷ、 （ｉ、ｊ、ｋ、Ｉ）　＝Ｏ ａ＜　ＩＳ、（ｉ、ｊ、　ｋ＋　１）／Ａ　（ｉ、ｊ、　ｋ、ＩＮ　＜ｂ　にお いてＷ、（ｉ、ｊ、　ｋ、Ｉ）　＝　（ｓ−ａ）／　（ｂ−ａ）ｂ＜　ＩＳ、（ ｉ、ｊ、　ｋ、Ｉ）／Ａ　（ｉ、ｊ、　ｋ、Ｉ）ｌ　においてＷ、（ｉ、ｊ、　 ｋ、Ｉ）　＝１ もしも人力像および出力像が、図８（ｃ）に示すように８ビツトであるなら、サ イズ６４ＫＸ８の単一参照用テーブル（ＬＵＴ）で実行できる。

例として、特徴は、絶対サンプル値または局所実効平均値に基礎を置くことがで き、ここで Ｓｎ　（＋、Ｊ、に、Ｉ）　＝［Ｓｔ＋；／Ｗ　（＋’＋　Ｊ’）ＤＲ（１１’ 、ＪＪ　’　、ｋ、ｌ　）　２）　Ｎ／２’ｍ８（ｅ）には、図４　（ａ）に示 されるような、局所平均値法の実行が示される。一致測度Ｍ＋ｚ（ｉ、ｊ、ｋ、 Ｉ）が、局所隣接ｗ（ｉ’、ｊ’）内ソース像ＤＩ（ｉ、Ｊ、ｋ、Ｉ）およびＤ Ｒ（ｉ、Ｊ、ｋ、Ｉ）の間で計算される。通常この隣接重み関数は、特徴測度Ｓ 、（ｉ、ｊ、ｋ、Ｉ）を計算するのに用いられるものと同じである。複合像パタ ーン素子は重み付は平均として再び送られる。

２ソース像の場合 Ｄｃ（ｉ、ｊ、ｋ、１）　＝ｗ、（ｉ、ｊ、ｋ、ｌ）　Ｄｌ（ｉ、ｊ、ｋ、ｌ） 　＋Ｗｚ　Ｄｌ　（ｉ、ｊ、ｋ、ｌ） 局所相関は、Ｃ＋＋　（１＋　ｊ、ｋ、ｌ）である。

Ｃ１ｌ　（ｉ、Ｊ、ｋ、Ｉ）　＝Σｔｒｊｐ　Ｉｗ（ｉ’、ｊ’）ＤＩ　（ｉ− ｉ’、ｊ−ｊ’、ｋ、］）ＸＤｚ　（ｉ−ｉ’、ｊ　ｊ’、ｋ、ｌ）１そして上 記一致測度は次のとおりである。

Ｍ２Ｒ（ｉ、ｊ、ｋ、］）　＝２ＣＩ２　（ｊ、Ｊ、ｋ、り／　ｌ５１（ｉ、ｊ 、ｉｃ。

１）　＋８２　（ｉ、ｊ、ｋ、ＩＮ 適当な重み関数が、次にＩＦ関数の参照用テーブルから選択される。上記重みは 通常次のように選択される。

所定パターン素子に対し、もしＳ＋　（＋、Ｊ、ｋ、Ｉ）　＞３２　（ｉ、」、 ｋ。

１）ならば、そしてＭ２Ｒ（＋、Ｊ、に、Ｉ）　＜ａならば、ｗｌ＝１そしてｗ ２＝０゜ 他に、Ｍ＋２　（ｉ、Ｊ、ｋ、Ｉ）　＞ａならば、Ｗ＋　＝１／２＋１／２　（ （ｌ　Ｍ）／　（ｌ　ａ））そしてＷ２＝ｌ−Ｗ。

ここでｒａＪは−１と＋１との間にセントできる融合処理のパラメータである。

上記の例でＳ＋　（ｉ、Ｊ、ｋ、ｌ）　＜Ｓｔ　（ｉ、Ｊ、ｋ、ｌ）ならばＷｌ およびＷ２に割当てられる値は交換できる。

次に、有向傾きピラミッドの重み付は合計は、別々に方向付けのおのおのに計算 され、４個の複合有向傾きピラミッドＤｃ　（ｋ、ｈ）、ＤＣ（ｋ、ｒｄ）、Ｄ 、（ｋ、ｖ）、Ｄｅ　（ｋ、ｒｄ）となる。

上記複合有向傾きピラミッドＤＣ（ｋ、ｈ）、Ｄｅ　（ｋ、ｒｄ）、Ｄｃ　（ｋ 。

ｖ）、ＤＣ（ｋ、ｒｄ）は、次に再び同じ４個の有向傾きフィルタｄｈ、ｄ、。

ｄ７．およびｄ　１１で濾過され、そして相互に加算されて複合ラプラシアンピ ラミッドＬｃ　（ｋ）を生じる。この計算は回路Ｐ７で行なわれる。図７におい て、回路Ｐ７は４個の減算器７１，７２．７３および７４．そして３個の加算器 ７５，７６および７７を含む。入力信号ｄカは、直接減算器７１の入力端に接続 され、そして単一画素遅延７８を経て、減算器７１の第２入力端に接続される。

入力信号ｄ、は、直接減算器７２の入力端に接続され、そして単一線路遅延７９ を経て、減算器７２の第２入力端に接続される。入力信号ｄｌｄは単一画素遅延 ８０を経て減算器７３の入力端に接続され、そして単一線路遅延８１を経て減算 器７３の第２入力端に接続される。入力信号ｄ　１ｍは、減算器７４の入力端に 直接接続され、そして単一線路遅延８２および単一画素遅延８３を経て減算器７ ４の第２入力端に接続される。減算器７３および７４の出力は加算器７６の入力 端に接続される。加算器７５の出力および加算器７６の出力は、２分割され加算 器７７の入力端に接続される。Ｐｌは市販のカリフォルニア、サンノゼ、キシリ ンクス社製　ＸＣ３０４２のようなフィールドプログラマブルゲートアレイ回路 （ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ　ｃｉｒｃｕｉ ｔ（ＦＰＧＡ）ＸＣ３０４２ｂｙ　Ｘ１ｌｉｎｘ、Ｉｎｃ、、Ｓａｎ　Ｊｏｓｅ 、ＣＡ９５１２４）を用いて実行できる。

複合ラプラシアンピラミッドＬｃ　（ｋ）は、米国特許第４．６９２．８０６号 に開示されたＦＳＤラプラシアンピラミッドと等価であってＰＳ５に記憶される 。上記ピラミッドＬ、（ｋ）は、次に回路Ｐ８で濾過されＬＦｃ　（ｋ）を生じ る。上記フィルタＰ８は形（１＋ｗ）を有し、ここでＷは５×５二項式フィルタ である。

斜め傾きフィルタ内（１，＃２）ファクタは、Ｐ７処理関数内斜め構成要素内単 −（１／２）ファクタ内に、図５に示すように結合できる。

複合像１ｃは、回路Ｐ９と、ピラミッドの最低レベルで始まるパート（ＢＵＲＴ ）により開示された方法を用いるフレームスドアＦＳ６との結合を利用する、複 合ＲＥラプラシアンピラミッドＬＦｅ　（ｋ）から再構成される。図６において 、回路Ｐ９はＰｌおよびＰ２と同しである。処理は剰余Ｇｃ　（ｋ）で開始し、 次の高い分解能レベルＧ、（ｋ−１）を次の関数を用いて計算する。

Ｇ、（ｋ　１）＝ＬＦｃ　（ｋ　ｌ）＋ｗ”　Ｇｃ。（ｋ）図４に示されるよう に、ここでＧ、＠　（ｋ）は、所定サンプル間にゼロ値サンプルを挿入し、かつ Ｗで濾過することにより、Ｇ、（ｋ）が次のピラミッド分解能レベルまで拡張さ れたものである。結果Ｇｅ　（ｋ−１）はＦＳ６に記憶される。

その次に高い分解能レベルＧｃ　（ｋ−２）は同様にして計算され、Ｇｃ’−’ （ｋ−１）およびＬｃ　（ｋ−２）を結合する。この処理はＧｅ　（０）が計算 されＦＳｌに記憶されるまで反復される。ＦＳｌはタイミングを調整し、かつ像 表示手段による使用要求があれば、複合像を順次走査から飛越し走査へ変換する のに用いられる。

詳細に説明すると、最初の処理バス（レベル０）で、入力フレームストアＦＳ１ およびＦＳ２からのソース像Ｇ、（０）およびＧｂ　（ｏ）は、ＰＩおよびＰ２ 関数により濾過され、２段抽出形Ｇ、（０）およびｃｂ　（０）てＦＳ３および ＦＳ４に記憶される。同時に、Ｇ、（０）およびＧｂ　（０）は、回路Ｐ３〜Ｐ ７および４個の融合回路で処理され、ＦＳ５に記憶されるＬｃ　（０）を生じる 。この動作が完了すると、第２処理バス（レベルｌ）が始動され、ここで像Ｇ、 （１）およびＧ、（＋）（ＦＳ３およびＦＳ４から）が、回路Ｐ１およびＰ２に より濾過され、そして二段抽出形Ｇ、（２）およびＧｂ　（２）でＦＳ３および ＦＳ４に記憶される。同時にＧ、（１）およびＧｂ　（１）は回路Ｐ３〜Ｐ７お よび４個の融合回路により処理されて、ＦＳ５に記憶されるＬｃ　（１）を生じ る。この手順は所要数のピラミッドレベルが計算されるまで繰返される。最終バ ス（例えばレベルｋ）中の処理は異なる。その時処理は、ＦＳ３およびＦＳ４か らの読取りＧ、（ｋ）およびＧ、（ｋ）を含むだけで、異なる関数で像を融合し 、その結果Ｇｃ　（ｋ）をＦＳ５に記憶する。これはラプラシアンピラミッドＬ ｅ　（ｎ）の剰余すなわちＤＣ構成要素である。図５にこれが、Ｐ３〜Ｐ７を包 囲するバイパス路および融合回路として略示されている。剰余の融合（図５のＤ Ｃ融合）はできるだけ簡単に平均を計算できる。

多くの処理関数が２Ｄフイルタを含む。２Ｄフイルタで上記像のエツジにおける 処理は定まらない。大きな像に対してこれは問題でないかも知れない、というの はエツジデータの放棄は像の全体に余り影響しないからである。しかしピラミッ ドの構成および再構成時に、ピラミッドの低分解能レベルのエツジにおける処理 は、著しい程度にまで最終再構成像に影響を及ぼす。例えば、もしも像のエツジ の計算が正確に実施されていなければ、ピラミッドの５レベルが用いられても像 を取り巻く６４画素の境界は適正に再構成されない。画素の再構成は、行の興味 ある画素に隣接する４画素からの情報を含む。■エツジ画素に対してこれらの隣 接画素中の２つが欠け、そして行の次の隣接画素に対してこの隣接画素中の１つ が欠けている。これを修正する最も簡単な方法は、画素値のマトリックス内に定 数値を挿入することである。別法として、欠けた画素の値が興味ある画素の値に 等しくセットされる。エツジ処理を実行するための好適方法としては、像のエツ ジにおける画素データを反映すなわち外挿することである。例えば、像の左エツ ジにおいて、問題のエツジ画素の右へ２画素が欠けた画素に代らせる。

ここに記載したような構成と処理は、関数ごとにそしてピラミッドレベルごとに 処理装置を用いることができて、ここで処理装置は各後続低分解能において、ク ロック速度の半分で動作する。明らかにもっと有効な実施は、関数ごとに処理装 置を用いることであり、ここで各処理装置は、前に引用し参考までにここに編入 した米国特許第０７／８０５１４９号に開示されたように、順次に全ピラミッド レベルを計算しすなわち処理する。これは、中間結果を記憶し、必要な付加処理 時間に順応するため、タイミングを調整しおよび／またはクロックを処理する柔 軟なフレームスドア（ＦＳ３．ＦＳ４およびＦＳ５）を用いることによって達成 できる。単一処理装置による全ピラミッドレベルの処理には、完全な１分解能像 の処理に必要な演算の数の通常４／３倍必要である。入力像の帰線消去時間を有 効に使用することによって、所要処理の増加に順応するために、実際のクロック 速度は、いやしくも大きく増加すべきではない。

上記システムの各入力および出力に対する、インタフェースフレームスドアが図 ５に示される。これらはＦＳｌ、ＦＳ２．およびＦＳｌである。これらは、融合 処理書式と入力／出力像書式との間のタイミングの差の調整に用いられる。その ような差の一つは、順次にピラミッドレベルの処理に要するタイミングにょるも のである。もう一つの差は、像の入力／出力がインタフェース書式である一方で 、融合処理中、像は順次走査書式を用いて計算されるということである。

図９は、各種像およびピラミッドレベルが、入力／出力フレームストアで、像の 順序に対しインタレース人力／出力を仮定し、システム内にて計算されるのを示 す。第１時間線は、垂直帰線消去期間だけ一定間隔離れて配置された奇−偶フィ ールド（例えば３ｅと３ｏ）をもつ連続インクレースフレームに対するものであ る。第２時間線は、上記フレームの奇数フィールドが受信されるとすぐ開始でき る、第３フレームのためのピラミッドのゼロレベルガウシアンのピラミッド構成 を示す。第３フレームピラミツドの全レベルの計算は、第４フレームのゼロレベ ルガウシアンのピラミッド構成の開始以前に完了されねばならない。第３時間線 は、第３フレームのためのピラミッド複合像再構成と同時に、第４フレームのピ ラミッド構成の開始を示す。第３フレームの定様式出力開始と同時に第５フレー ムが受信される。従って所定フレームのための完全な号イクルは２フレ一ム時間 内に達成できる。もしも処理のクロック速度が入力／出力のクロック速度よりも 僅かに速いものが要求されると、第１−人力、第１−出力バッファが、人力／出 力（Ｉ　１０）　’フレームスドアＦＳＩ、ＦＳ２およびＦＳ７と結合して用い られる。融合処理用クロックを増すことの別法は、融合処理が実施されている像 サイズを減少させることである。

実施における処理関数（ＰＩ、Ｐ２．Ｐ３．Ｐ４．Ｐ８およびＰ９）の多くが、 ５×５タツプ（ＰＩ、Ｐ２．Ｐ８．Ｐ９）付き、または３×３タツプ（Ｐ３゜Ｐ ４）付き２Ｄフイルタである。２倍密度ピラミッド構成に用いられるこれらのフ ィルタの［拡張タップＪ版も使用できる。これらのすべては、米国特許出願第０ ７／８０５１４９号１９９１年１２月１１日出願で参考までにここに編入したも の、および機械視覚の実習室（Ｗｏｒｋｓｈｏｐ　Ｆｏｒ　ＭａｃｈｉｎｅＶｉ ｓｉｏｎ）パリ、１９９１年１２月、および全般に米国特許第４．　７０３゜５ １４号に記載され、そしてデヴイッド・サーンオフ・リサーチ・センター社、プ リンストン、ニューシャーシー州（Ｄａｖｉｄ　５ａｒｎｏｆｆ　Ｒｅ５ｅａｒ ｃｈ　Ｃｅｎｔｅｒ、　Ｉｎｃ、　、　Ｐｒ１ｎｃｅｔｏｎ、　ＮＪ　０８５４ ０）で売られるＰＹＲ−１回路を用いて有効に実行される。上記ＰＹＲ−１回路 は、必要とするフィルタのすべてを実施することができて、所要水平線路遅延、 適当な加算器および多重関数および像の自動境界制御を含む。他の２Ｄフイルタ 回路は市場で入手できるが、ここに示した方法を実行するには、全関数を組み入 れるために著しい付加回路を必要とする。

可視ソース像および赤外ソース像から形成される複合像の一例が、図１０に示さ れる。標準可視光カメラからのソース像が図１０（ａ）に示され、そして赤外カ メラからのソース像が図１０（ｂ）に示される。図１０（ｃ）に示される融合像 は、前記傾きピラミッドおよび特徴および結合ルールを用いて得られた。

傾き像ピラミッドは、パターン選択像融合のため有効なフレームワーク（ｆｒａ ｍｅｗｏｒｋ）を提供する。融合のためのピラミッド変換の利点は、簡単なフィ ルタ演算を経てエツジ状構成要素パターン（基底関数）に像を分解する事実。

および再構成が基準化、方向付け、および継目なし様式の位置を通してパターン 素子を混ぜ、人工歪を避ける事実を含んでいる。これらの利点は、ラプラシアン ピラミッドに基づく処理と比較して、著しく改良された像融合を提供する。

結果は、傾きピラミッド内融合が観察条件の広範囲にわたって著しく有効である ことが解った。特にテストの識別セントが運動中の対象物を収めた拡張されたビ デオ順序の融合を包含した。これらのテストで、傾きピラミッドとラブランアン ピラミッドの像融合を比較した。ラブランアンベース融合は、可視で動的な変化 、高コントラスト外形に沿う人工歪をもつ傾向にあるとの結果が出た。傾きピラ ミッドは人工歪が大幅になくなったとの結果であった。

性能において観察された差は、各種ファクタに寄与できた。最も重大なことは、 傾き表現が場面内エツジの位置において値が局所最大を有するが、一方うブラシ アン表現はエツジでゼロ値、エツジの両側で大きな値を有するという事実である 。サンプル値の振幅は、この例の特徴測度として用いられてきたので、エツジ特 徴はラプラシアンにおけるよりも傾きピラミッドにおいて一層確実にとらえられ る。さらに、ビデオの雑音は場面のある点において、−ソース像から他のソース 像へ、フレームからフレームへ切換える選択をさせる。発生するちらつきは、傾 きベース融合におけるよりも、ラプラシアンにおける方が一層多く見える。人間 は、低い空間周波数内容をもつパターンの暫時のちらつきに最も敏感である。

上記傾きピラミッドのガウシアンベース関数の傾きは、ラプラシアンピラミッド のガウシアン状ベース関数よりも、低い空間周波数の著しく少ない信号エネルギ ーをもった高帯域バス特性をもっている。

ここに開示した像融合技術の応用は、可視光および赤外カメラのような多重セン サ形式またはスペクトル帯域からの像を用いる監視；夜間または悪天候における ドライバまたはパイロットに対する援助として、多重センサ形式（可視、赤外・ ・・）を用いる輸送機関誘導：拡張された被写体深度で頃合を達成するため、像 から像へ変化したカメラの焦点で撮った複合像；美術または他の特殊効果を得る ために、異なる場面の多重像を用いるビデオ特殊効果、異なる照明下で撮った像 およびカメラ設定（速度、絞り、その他）が、影のハイライトを消すために結合 される工業的検査；大きな動的範囲の像（例えば１２ビツトの医学的像）および 制限された動的範囲（例えば陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣ Ｄ））だけを示し得る表示の、もとの制限された範囲を表わす１組の像を生じ、 次にこれらの像を最終表示のため融合を経て結合する、像表示用動的範囲圧縮、 を含む。

着色される融合された複合像は、従来技術において公知である。特に、従来技術 における各分離したソース像は、赤Ｒ９緑Ｇ、および青Ｂのような異なる色が割 当てられ、そして融合した複合像自体は、これらの分離した着色ソース像から導 出される。本発明は、融合された複合像の表示に、付加情報を加えるために、色 を使用する異なる様式を提案するものであり、上記付加情報は、融合した複合像 に対する各ソース像の寄与の相対的重みの表示である。

特に、着色していない融合した複合像に対する、各ソース像の一致および／また は相対的寄与を保持することが極めて望ましい場合がある。例えば、監視の応用 で、観察者は融合複合像内に見る輝く特徴のソースは、赤外カメラからきて、そ のため高温対象物を表わしているのか、または可視光カメラからきて、そのため 明色または強く照明された対象物を表わしているのかを知りたいてあろう。本発 明は、表示された融合複合像の各画素（通常上記様式で導出される）の、明るさ の値（すなわち、ナショナルテレヒンヨンンステムコミティＮＴＳＣビデオ像の 場合Ｙチャネルの値）を定義する輝度だけに用いこ、そして表示された融合複合 像の各画素の各ソース像（すなわちＮＴＳＣビデオ像の場合ＩアンドＱ反対カラ ーチャネルのそれぞれの値）の相対的寄与を定義するクロミナンスだけに用いる ことにより、そのような目的のための色彩情報を用いる。第１例として、表示さ れた融合複合像に寄与するそれぞれのソース像は、そのもとの高分解能の第１ソ ース像（例えば、赤外カメラ像）、およびそのもとの高分解能の第２ソース像（ 例えば可視光カメラ像）である。別に、第２例として、表示された融合複合像に 寄与するそれぞれのソース像は、所定ソース像のピラミッド導出高分解能構成要 素を形成する第１像および同じ所定のもとのソース像のピラミッド導出低分解能 構成要素を形成する第２像である。

図ｉｔにおいて、分離ソース像Ａおよび像Ｂに応答し、入力として印加される融 合処理、そしてこれからそれぞれ出力として単色融合複合像Ｃ９第１重み像Ｗ１ および第２重み像Ｗ２が示される。第１重み像ｗ１および第２重み像ｗ２の各画 素サンプルは、０とＩとの間のある値をもっている。ＮＴＳＣビデオ像の■クロ ミナンスチャネルを提供するため上記第１重み像ｗ１のそれぞれの画素サンプル 値のおのおのは、まずそれからＩ／２値を減算し、次にスカラ量係数ｃＡを乗算 する。同様にＮＴＳＣビデオ像のＱクロミナンスチャネルを提供するため上記第 ２重み像Ｗ２のそれぞれの画素サンプル値のおのおのは、まずそれから１／２値 を減算し、次にスカラ量係数Ｃｏを乗算する。単色融合複合像Ｃのそれぞれの画 素サンプル値は、ＮＴＳＣビデオ像のＹルミナンスチャネルからなる。

図１１に示される融合処理のラブランアンピラミッド実行において、結合像ピラ ミッドに対する各画素サンプル値Ｌｅ　（ｉ、ｊ、ｋ）は、ソース像ピラミッド の画素サンプル値の重み付は平均ＬＡ　（ｉ、Ｊ、ｋ）およびＬｓ　（ｉ、Ｊ、 ｋ）であり、ここで１．ｊ、およびｋはそれぞれに画素サンプル水平位置１画素 サンプル垂直位置、およびＲレベルピラミッドのピラミッドレベル表示であり： したがって Ｌｃ　（ｉ、ｊ、ｋ）　＝ｗＡ（ｉ、ｊ、ｋ）　ＬＡ　（ｉ、ｊ、ｋ）　＋Ｗｍ 　（ｉ。

Ｊ、　ｋ）　ＬＢ　（１，Ｊ、ｋ） 重みｗＡおよびｗ８は、位置の隣接で計算される特徴測度から各画素サンプル位 置に対して決定される。これらの重みは通常正規化され；したがってＷＡ　（ｉ 、ｊ、　ｋ）　＋ｗｌｌ（ｉ、ｊ、　ｋ）　＝＝１図１１に示される融合処理の 傾きピラミッドにおける実行において、結合像ピラミッドに対する各画素サンプ ル値Ｄｃ　（ｉ、ｊ、に、１）は、ソース像ピラミッドの画素サンプル値の重み 付は平均ＤＡ　（１１ｊＩ　ｋ＋　１）およびＤＢ　（ｉ＋ｊ、に、Ｉ）であり 、ここで１は画素サンプルの傾き方向付は索引であり；したがって Ｄｃ　（ｉ、　ｊ、　ｋ、　Ｉ）＝ｗＡ（ｉ、Ｊ、に、　Ｉ）ＤＡ　（１，Ｊ、 に、　ｌ）＋ｗｓ　（ｉ、ｊ、　ｋ、ｌ）　Ｄｓ　（ｉ、ｊ、　ｋ、ｌ）図１２ には、図１１の一例ソース像Ａの応用画素サンプル値から導出された３つの下降 サンプル密度ピラミッドレベルＬＡ　（０）、ＬＡ　（ｔ）およびり、（２）か らなる、ラプラシアンピラミッドＬＡを用いる融合処理が示される。同様な３レ ベルラブラジアンビラミソドＬ８がソース像Ｂの応用画素サンプル値から導出さ れる。単色融合複合像Ｃが従来技術の公知様式でラプラシアンピラミッドトＬい およびＬＢから導出される。特に、相対重みファクタｗＡおよびＷ、が、特徴測 度に従って、ラプラシアンピラミッドＬＡおよびり、のそれぞれの画素サンプル に対し計算されニラブランアンピラミッドＬＡの各画素サンプルの値にその重み ファクタＷＡが掛けられニラブラシアンピラミッドＬｌ＋の各画素サンプルの値 にその重みファクタＷ６が掛けられ；そして各レベルのピラミッドＬＡおよびり 、の対応位置重み付は画素サンプルのそれぞれの値が合計され、その後それらは 、３つの上昇サンプル密度ピラミッドレベルＬｃ　（２）、Ｌ、（１）およびＬ ｅ（０）からなる、ラプラシアン再構成ビラミ・ソドＬｃに入力として印加され る。

ラプラシアン再構成ピラミッドＬｅは、ＲＥラブランアンまたはＦＳＤラプラシ アンのどれかで実行される。ラブランアン再構成ピラミ・ソドＬｃの出力は９図 １１の単色融合複合像Ｃであって、これは高しく０）密度の画素サンプルからな る高分解能を含む。

融合処理のラプラシアンピラミッド実行の場合に対し、図１２はまた、図１１の 重み像Ｗ１およびＷ２を導出のため、計算された重みファクタＷＡおよびＷｅ（ 単色融合複合像Ｃの上記導出に用いた）を用いる融合処理を示す。前記のように 、像重み関数Ｗ、およびＷ２の各画素サンプルはＯとｌとの間の値をもって０る 。これらの画素サンプル値は、ラプラシアンピラミッドの全レベルにわたり複合 像Ｃに対し、ソース像ＡおよびＢの相対的寄与を表現し、またはその代りに下記 に詳細説明するように複合像Ｃに対する、ソース像ＡおよびＢの選択された一つ の、２つの異なるラプラシアンピラミッドレベルの相対的寄与を表現することも できる。さらに、ラプラシアンピラミッドの各画素サンプル位置（ｉ＋　ｊＩ　 ｋ）における重みｗ　（ｉ、ｊ、ｋ）は、ピラミッドサンプルＬ　（ｉ、ｊ、ｋ ）における基底関数の大きさと同一単位で測れる領域にわたって像重み関数ＷＩ およびＷ２に寄与する。

図１２において、上記融合処理は、第１構成要素重み再構成ピラミッドＨ□およ び第２構成要素重み再構成ピラミッドＨ□を含む。図１２のラプラシアンピラミ ッドの場合構成要素重みピラミッドＨｖ＋およびＨ□のおのおのは、ピラミッド レベルＨ，（２）、Ｈ，（１）、およびＨ，（０）からなるガウシアン再構成ピ ラミッド（下記に詳細に記載）である。計算した重みＷ、およびＷＡの結合は、 その結合が選択可能な、構成要素重みピラミッドＨ□およびＨ１□のおのおのに 利用できる。ラプラシアンピラミッドの全レベルにわたり複合像Ｃに対するソー ス像ＡおよびＢの相対的寄与を、サンプル値が表現する第１の場合において、こ れらのレベル全体にわたる重みｗＡ　（または代りにｗｇ）は第１構成要素重み 再構成ピラミッドＨ□に送られ、モしてＨｏはゼロ重みすなわち無視される。第 ２の場合において、複合像Ｃに対するソース像ＡおよびＢの選択された一つの、 ２つの異なるラプラシアンピラミッドレベルの相対的寄与を、サンプル値が表現 し、複合像Ｃのこれらの２つの異なるレベルの第１の再構成に用いられる重みＷ Ａ　（または代りに重みＷ、）の値の第１の結合、ここで選択されたソース像は Ａ（または、代りにＢ）であり、第１の構成要素重み再構成ピラミッドＨｖ＋に 送られ、そして複合像Ｃの２つの異なるレベルの第２の再構成に用いられる選択 されたソース像のこれらの重みの第２の結合は、第２の構成要素重み再構成ピラ ミッドＨＶ□に送られる。

総合すると、第１の場合、ピラミッドレベルに＝ｏ、１．・・・、に；従ってＨ ｖ＋（ｉ、ｊ、ｋ）　＝ＷＡ（ｉ、ｊ、ｋ）の組にわたって複合像Ｃに対するソ ース像Ａの相対的寄与を関数Ｗ１が反映する。ピラミッドＨＷＩは、ガウシアン ピラミッドＧ１であり、同じ拡張を通して再構成され、モしてラプラシアンピラ ミッド表現（すなわち再帰的に生成「トップダウン」）から１つの像を再構成す るのに用いられる手順を付加し、 Ｇ、（Ｋ）＝Ｗ□（Ｋ）およびＧ、（ｋ）＝Ｇ、（ｋ＋Ｉ　：　Ｄ　（ｋ）、こ こで Ｇ＋　（ｋ＋Ｉ：１）はＧ＋　（ｋ＋１）の拡張または補間を示しＧ、（ｋ）の 大きさに一致する。

もしもＨ□の各レベルが０と１との間の値をもてば、Ｇ１の基底レベルは、０と （Ｋ＋１）との間の値をもち、これはＷ、を形成するためのユニツト間隔に正規 化され、 従って、Ｗｌ　＝Ｇ＋　（０）／　（Ｋ＋１）第２の場合において、Ｗｌはその 低分解能ピラミッドレベルにわたる、選択されたソース像Ａの相対的寄与を表わ し、そしてＷ、はその高分解能ピラミッドレベルにわたる選択されたソース像Ａ の相対的寄与を示し、Ｈｖｌ　（ｋ）　＝に、Ａ　（ｋ）およびＨ□（ｋ）＝　 （Ｋ−ｋ）ＷＡ　（ｋ）。再構成されたガウシアンピラミッドＷ１およびＷ！は 、前記第１の場合の説明のように、ＨＷＩおよびＨＷ２から得られる。従って正 規化後は。

ｗ、＝２Ｇｌ　（ｏ）／　（Ｋ　（Ｋ＋１））およびＷ、＝２Ｇ、（０）／　（ Ｋ　（Ｋ＋１）） 僅かな変更によって、融合処理の上記記載のラプラシアンピラミッド実行が、傾 きピラミッド実行に応用できる。上記説明のように、１つの像が４ステツプの順 序を経て、その傾きピラミッド表現から回復される。第１に、対応する有向２次 微分ピラミッドＬ（ｋ、Ｉ）を得るために、各方向付けＩ、傾きピラミッドＤ（ ｋ、Ｉ）のレベル（ｋ）に対し、対応傾きフィルタｄ　（＋）と共にくりこまれ る。第２に、有向２次導関数ピラミッドが、ＦＳＤラプラシアンを得るために付 加される。第３に、ＲＥラプラシアンが、変換フィルタの適用を通してＦＳＤか ら回復される。最後に、像は、標準拡張および付加手順を経て、ＲＥラプラシア ンから回復される。

この手順は、重みＷＡおよびＷ８から重み像ＷｌおよびＷ２を回復するために変 更できる。例えば、全レベルおよび方向付け（ラプラシアンピラミッドについて の最初の手順概要に類似）にわたり複合像Ｃに対する像Ａの相対寄与を表わすＷ ｌを得るために、有向構成要素重みピラミッドＨｖ＋はＨｖＩ（ｉ、ｊＩ　ｋ＋ 　１）＝ＷＡ　（ｉ、ｊ、ｋ、Ｉ）として定義される。再構成ガウシアンＧ１は 、上記概説の４ステツプ手順を経てＨｗ＋から構成され、ただし微分フィルタｄ 　（１）が、手順の第１ステツプの対応２タツプ平均フイルタｂ　（１）に取り 替えられることを除き、従って水平の場合ｄ　（０）　＝　（１，−１〕がｂ　 （０）　＝　（１，１〕に取り替えられる。この変更は傾きピラミッドＤを形成 する像の再構成の傾き基底陰間数を、同一大きさの有向ガウシアン基底関数に変 換する。再構成ガウシアン６．１（０）は、重み関数Ｗ１を形成するため正規化 される。

ラプラシアンピラミッドの場合に記載した手順に類似のこの手順変更は、低分解 能ピラミッドレベルにおけるソース像の相対的寄与を表わすＷｌ、および高分解 能ピラミッドレベルにおけるソース像の相対的寄与を表わすＷｔをつくるために 用いられる。

ＮＴＳＣ像のＹ、Ｉ、およびＱビデオチャネルを導出するピラミッド技法を用い る、２反対色で２融合ソース像の単色複合像を増補する上記好適実施例であるけ れども、ピラミッド技法より外にこの目的が使用され、また２反対色以上を用い ることもできる。例えば、３融合ソース像の単色複合像は、３反対色赤、緑およ び青を用いて色増補できる。

さらに、明細書で教示したオペレーションの装置および方法は本発明の解説であ ることを理解すべきである。本発明の精神または範囲から逸脱することなく、当 業者には変更が容易に工夫できるものである。ここに示した方法は、複合像に用 いるべき局所場面特徴として、多くの寸法および方向付けのエツジ状パターン素 子を利用した。機内特徴測定のための他の指向性に敏感な技法は、本発明の方法 に用いることもできる。ピラミッド処理法以外の方法及び異なる寸法の像を提供 する装置が使用できることも理解すべきである。

像Ｉに対する傾きピラミッドは、傾き演算子をそのガウシアンピラミッド表現の 各レベルに印加することにより得られる。像は４個のそのような傾きピラミッド の組により完全に表現でき、各１個の水平方向導関数、垂直方向導関数、および ２個の斜方向導関数である。

Ｇｋを■についてガウンアンピラミッドのにレベルとする。

Ｇｏ　（ｉ、Ｊ）　＝Ｉ　（ｉ、Ｊ）そしてｋ＞０において、ＧＫ　＝　ｌａｗ ”　Ｇｋ−＋　）　ｔここでＷは核となり、そして表示〔・・・〕、は、括弧内 像の配列が、水平方向と垂直方向の両方２により二段抽出（ｄｏｗｎ　ｓａｍｐ ｌｅｄ）を示す。

Ｄｋｌは傾きフィルタｄ、でくりこみを経てＧｋから得られ：Ｄｈ＋＝（Ｌ　” 　（Ｇｍ　＋Ｗ’　”　Ｇｋ）ここでＤｋｌはピラミッドのにレベル、そして方 向付け１、そしてＷは前記５×５二項式フィルタ。

その傾きピラミッド表現から像を再構成する方法は：（ａ）各傾きピラミッドレ ベルＤ、を、傾きフィルタの２回適用を経て、対応２次導関数ピラミッド（また は方向付けうプランアン）レベルＬ、に変換すること、Ｌｋｌ＝　ｆｄ、Ｄ、ｌ 　ｆｌ、／８１　；（ｂ）ＦＳＤ　（フィルタ　サブトラクト　デジメイト）ラ プラシアンピラミッドを形成するため、有向ラプラシアンピラミッドを加算する こと、Ｌｔ＝Ｓ＋−＋’　Ｌｋｌ； （Ｃ）上記ＦＳＤラプラシアンし、を、パート（ＢＵＲＴ）により示されたよう なフィルタくりこみを経て、レデュスエクスバンド（ＲＥ）ラプラシアンＬｌ　 ＝Ｌｈ　＋Ｗ”Ｌ、に変換すること。

（ｃｌ）内挿を経て、さらにＲＥラプラシアンの全レベル、と同様にガウシアン のトップレベルＧ、＝Ｇ、　、そしてｋ＜Ｎにおいてａｌ−Ｌ、＋４ｗ’　Ｃｃ ｘ＋＋　）≠２、を用いる手順を加える、レデュスエクスパンドラプラシアンか ら、再構成ガウシアンＧを得ること、ここで表示〔・・・〕≠２は、像の各行と 列間に（ｎ−１）ゼロ値付と列を挿入することにより、括弧円像の配列がアップ サンプル（ｕｐｓａｍｐｌｅｄ）されることを示す。

この手順の繰返し適用はＧ（０）を生じ、オリジナル像Ｇ　（０）の再構成様式 のステップを含む。

特表平７−５０８１１１　（１３） 。　ｉ　≧ 龜　＠　龜 フロントページの続き （５１）　Ｉｎｔ、　Ｃ１，’　識別記号　庁内整理番号ＨＯ４Ｎ　７／１８　 Ｋ　７４３６−５Ｃ４２２６−５Ｃ （７２）発明者　ヒンゴラニ、ラジエシュアメリカ合衆国ニューシャーシー州 ０８５５０、プリンストン・ジャンクション、インディアン・ラン・ロード　２ ６ Ｉ ＨＯ４Ｎ　１／４６　Ｚ （７２）発明者　コルシンスキー、レイモンドアメリカ合衆国ニューシャーシー 州 ０８６１０、トレントン、ニドワード・アヴエニュウ　１６６ （７２）発明者　ウアン・デア・ヴアル、ゴーイツエン・ジーメム アメリカ合衆国ニューシャーシー州 ０８５２５、ホープウェル、ウェスト・プロスペクト・ストリート１０５

Claims (17)

【特許請求の範囲】
1. １．Ｎが１より大きいＮソース像から複合像を形成する方法であって；（ａ）各 ソース像Ｉｎを、構成要素パターンＰｍ（ｍ，ｌ）の複数Ｌ組に分解すること； （ｂ）構成要素パターンＰｍ（ｍ，ｌ）に対する特徴測度Ｓｍ（ｍ，ｌ）を計算 すること； （ｃ）複合像に対する１組の構成要素パターンＰｃ（ｍ，ｌ）をつくるため、上 記特徴測度Ｓｍ（ｍ，ｌ）を用いて、上記構成要素パターン複数組Ｐｍ（ｍ，ｌ ）から構成要素パターンを選択すること；および（ｄ）上記構成要素パターンＰ ｃ（ｍ，ｌ）の組から複合像を構成すること；のステップからなる前記複合像を 形成する方法において；ステップ（ａ）により、各ソース像Ｉｎの上記複数Ｌ組 に分解される、上記構成要素パターンＰｎ（ｍ，ｌ）は有向構成要素パターンで あり；これにより、有向構成要素パターンは、ステップ（Ｃ）により選択され、 構成要素パターンＰｃ（ｍ，ｌ）の組をつくり、これから複合像がステップ（ｄ ）により構成されることを特徴とする前記複合像を形成する方法。
2. ２．ｍおよびＩの各値に対する上記ソース像パターン複数組Ｐｎ（ｍ，ｌ）から 構成要素パターンを選択することのステップが、最大特徴を有する構成要素パタ ーンを選択することを含む請求項１の方法。
3. ３．ソース像構成要素パターンＰｎ（ｍ，ｌ）の１対のための一致測度Ｍｎ１． ｎ２（ｍ，ｌ）を計算すること，および該一致測度Ｍｎ１．ｍ２（ｍ，ｌ）およ び上記特徴測度Ｓｎ（ｍ，１）から構成要素パターンに割当てられる重みを決定 すること，のステップからなる請求項１の方法。
4. ４．請求項１の方法であって、 そこにステップ（ａ）が、さらに、各ソース像を異なる分解能の複数Ｋの像Ｉｎ （ｋ）に分解すること、次に該像Ｉｎ（ｋ）のおのおのを、有向構成要素パター ンＰｎ（ｍ，ｋ，１）の複数Ｌ組に分解すること、のステップを含み；そこにス テップ（ｂ）が、各構成要素パターンＰｎ（ｍ，ｋ，ｌ）に対する特徴測度Ｓｎ （ｍ，ｋ，ｌ）を計算することを含み；そこにステップ（Ｃ）が、複合像の有向 構成要素パターンＰｃ（ｍ，Ｋ，Ｌ）の１組をつくるため、各構成要素パターン に対する上記特徴測度Ｓｎ（ｍ，ｋ，ｌ）を用いて上記ソース像構成要素パター ン複数組Ｐｎ（ｍ，ｋ．ｌ）から構成要素パターンを計算することを含み；そし てそこにステップ（ｄ）が、有向構成要素パターンＰｃ（ｍ，ｋ，ｌ）の組から 複合像を構成することを含む、 前記請求項１の方法。
5. ５．ｍおよび１の各値に対する上記ソース像パターン複数組Ｐｎ（ｍ，ｌ）から 構成要素パターンを選択することのステップが、最大特徴を有する構成要素パタ ーンを選択することを含む請求項４の方法。
6. ６．Ｎが１より大きいＮソース像から複合像を形成する方法であって；（ａ）各 ソース像を異なる分解能の複数Ｋの像Ｉｎ（ｋ）に分解すること、次に該像Ｉｎ （ｋ）のおのおのを、有向構成要素パターンＰｎ（ｍ，ｋ，ｌ）の複数Ｌ組に分 解すること； （ｂ）各分解能レベルｋにおける各像ｎの各構成要素パターンＰｎ（ｍ，ｋ，ｌ ）に対する特徴測度Ｓｎ（ｍ，ｋ，ｌ）を計算すること；（ｃ）複合像の有向構 成要素パターンＰｃ（ｍ，ｋ，ｌ）の１組をつくるため、各構成要素パターンに 対する上記特徴測度Ｓｎ（ｍ，ｋ，ｌ）を用いて上記ソース像構成要素パターン 複数組Ｐｎ（ｍ，ｋ，ｌ）から構成要素パターンを選択すること； （ｄ）有向構成要素パターンＰｃ（ｍ，ｋ，ｌ）の組から複合像を構成すること ；のステップからなる前記複合像を形成する方法。
7. ７．ｍ，ＫおよびＬの各値に対する上記ソース像パターン複数組Ｐｎ（ｍ，ｋｌ ）から構成要素パターンを選択することのステップが、最大特徴を有する構成要 素パターンを選択することを含む請求項６の方法。
8. ８．ｍおよび１の各値に対する上記ソース像パターン複数組Ｐｎ（ｍ，ｌ）から 構成要素パターンを選択することのステップが、上記ソース像の構成要素パター ンの振幅の重み付け平均を選択することを含み；そしてさらに、上記ソース像の 構成要素パターンの振幅の上記重み付け平均に対するそれらの正規化重み寄与に 従って、ソース像の第１構成要素パターンに反対色の第１の振幅を割当てること ；および 上記ソース像の構成要素パターンの振幅の上記重み付け平均に対するそれらの正 規化重み寄与に従って、ソース像の第２構成要素パターンに上記反対色の第２の 振幅を割当てること；および 上記複合像を、上記第１および第２反対色で増補すること；のステップからなる 請求項１の方法。
9. ９．上記複合像が、ＮＴＳＣビデオ像であり、その中の、Ｙルミナンスチャネル がソース像の構成要素パターンの振幅の上記重み付け平均により定義され、Ｉク ロミナンスチャネルが上記第１反対色の振幅により定義され、そしてＱクロミナ ンスチャネルが上記第２反対色の振幅により定義される請求項８の方法。
10. １０．複数のソース像から複合像を形成する装置であって；各ソース像１ｎを、 有向構成要素パターンＰｎ（ｍ，ｌ）の複数Ｌ組に分解する為の手段； 該分解手段に接続された各構成要素パターンＰｎ（ｍ，ｌ）に対する特徴測度Ｓ ｎ（ｍ，ｌ）を計算する為の手段； 上記複合像の有向構成要素パターンＰｃ（ｍ，ｌ）の１組をつくるため、各構成 要素パターンに対する特徴測度Ｓｎ（ｍ，ｌ）を用いて、上記構成要素パターン 複数組Ｐｎ（ｍ，ｌ）から構成要素パターンを選択する為の手段；および上記有 向構成要素パターンＰｃ（ｍ，ｌ）の組から複合像を構成する為の手段からなる 前記複合像を形成する装置。
11. １１．各ソース像を分解する為の手段より先に、各ソース像を複数Ｋの異なる分 解能の像１ｋに分解する装置を含む請求項１０の装置。
12. １２．各構成要素パターンＰｎ（ｍ，ｌ）に対する特徴測度Ｓｎ（ｍ，ｌ）を計 算する為の手段が、異なる構成要素パターンに対する重みを計算する電気回路を 含む、請求項１１の装置。
13. １３．各構成要素パターンＰｎ（ｍ，ｌ）に対する特徴測度Ｓｎ（ｍ，ｌ）を計 算する為の手段が、振幅の異なる構成要素パターンに対する二乗平均重みを計写 する為の手段を含む請求項１２の装置。
14. １４．少なくとも第１および第２ソース像から複合像を形成する装置であって、 単色複合像を算出するソース像の構成要素パターンの振幅の重み付け平均に応答 する第１手段を含む前記複合像を形成する装置において；上記ソース像の構成要 素パターンの振幅の上記重み付け平均に対するそれらの正規化重み寄与に従って 、ソース像の第１構成要素パターンに第１反対色の振幅を割当てる為の第２手段 ；および 上記ソース像の構成要素パターンの振幅の上記重み付け平均に対するそれらの正 規化重み寄与に従って、ソース像の第２構成要素パターンに第２反対色の振幅を 割当てる為の第３手段；および 上記第１および第２反対色で、上記単色複合像を色増補するため、上記第１，第 ２および第３手段からの出力に応答し、これにより着色複合像を提供する第４手 段； がそれに結合されたことを特徴とする前記複合像を形成する装置。
15. １５．上記着色複合像がＮＴＳＣビデオ像であって、その中に上記第４手段が、 上記第１手段の出力からそのＹルミナンスチャネルを導出し、上記第２手段の出 力からＩクロミナンスチャネルを、そして上記第３手段の出力からＱクロミナン スチャネルを導出する請求項１４の装置。
16. １６．上記第１手段が、上記第１ソース像の所定の異なる分解能構成要素パター ンの第１組を導出する為の第１手段，上記第２ソース像の所定の異なる分解能構 成要素パターンの対応する第２組を導出する為の第２手段，および上記単色複合 像を導出のため同一分解能を有する上記第１および第２組の構成要素パターンの 各対応対の重み付け平均に応答する第１再構成手段を含み；そしてそこに； 上記第２手段が、上記第１反対色に対する第１重み像を導出する上記第１および ／または第２ソース像の上記所定の異なる分解能構成要素パターンの第１選定グ ループの正規化重みに応答する第２再構成手段を含み；そして上記第３手段が、 上記第２反対色に対する第２重み像を導出する上記第１および／または第２ソー ス像の上記所定の異なる分解能構成要素パターンの第２選定グルーブの正規化重 みに応答する第３再構成手段を含む、ことを特徴とする請求項１４の装置。
17. １７．Ｎが１より大きいＮソース像から複合像を形成する方法であって；（ａ） 上記ソース像に対する一致測度Ｍｎｌ．ｍ２（ｍ，ｌ）を計算すること；（ｂ） 各ソース像Ｉｎを構成要素パターンＰｎ（ｍ，ｌ）の複数Ｌ組に分解すること； （ｃ）構成要素パターンＰｎ（ｍ，ｌ）に対する特徴測度Ｓｎ（ｍ，ｌ）を計算 すること； （ｄ）複合像に対する１組の構成要素パターンＰｃ（ｍ，ｌ）をつくるため、上 記一致測度Ｍｎ１．ｍ２（ｍ，ｌ）および上記特徴測度Ｓｎ（ｍ，ｌ）を用いて 、上記構成要素パターン複数組Ｐｎ（ｍ，ｌ）から構成要素パターンを選択する こと；および （ｅ）上記構成要素パターンＰｃ（ｍ，ｌ）の組から複合像を構成すること；の ステップからなる前記複合像を形成する方法。