JPH05501184A - 連続画像の内容変更を行う方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 連続画像の領域変更を行う方法および装置この発明は、／−ケンスを形成し、動 画によるターンを提供する連続画像でありでカメラなどによって得られる画像の 領域の内容を変更する方法および装置に関する。

以下において現れる用語“画像／−ケンス７は、カメラあるいはビデオフ／トロ ーラによってリアルタイムに生成される画像信号（デジタル信号、アナログ信号 のいずれか）のみならず、光学的、磁気的な媒体、書き込み可能な媒体に、各々 を記録時の速度と同じ速度で逐次表示し、出力し、あるいは放送することが可能 なように時系列的に順序付けて記録された／−ケンス（時系列情報としての７− ケンス）をも含んだ広い意味に用いる。

さらに詳しくは、この発明は、ある特定領域あるいはシーンにおけるある特定の 物に対応した画像の一部（以下、このような画像の一部を目的領域を呼ぶ）を、 実体あるいは空虚なものからなる他の領域の画像あるいは他の物に対応した画像 （以下、このような画像をパターンと呼ぶ）によって置き換える方法および装置 に関する。

本発明の適用分野は極めて多岐に亙る。適用分野としては以下のものが挙げられ るがこれらに限定されるものではない。

（１）広告 本発明によれば、活動する表示物あるいはその他の表示物を送信あるいは再送を 行いながら、広告を追加あるいは広告による置換を行うことができる。

（２）オーディオ・ビジュアル技術、特に架空映像技術本発明によれば、ある／ −ンを撮影している時に特定の物あるいは背景を置換することができる。

（３）７ミ二レーン１ン 本発明によれば、合成画像によって構成された背景の中に実在の物の画像を挿入 することができる。

画像における目的領域を変更するのに用いられる数学的手法が知られている。

目的領域は例えば特定の色によって識別し得る。しかし、この方法は、例えばカ メラの動き等、画像の捕捉に関する条件を考慮していない。従って、パターンを シーンの動きに流動的に追従させることができない。

画像合成においては、目的領域の位置、焦点距離、焦点は変らないという条件で 、目的領域に位置するパターンを生成することがある。

これらの方法は、実在の背景に関する動画像と活動する漫画とを生成するスーパ インポーズ技術を用いており、画像を捕捉するための条件が時間的に大きく変化 する場合にはその使用あるいは特殊効果を中断せねばならないという制限を有し ている。

ヨーロブパ特許第０．３６０，５７６号によって知られている方法は、２種の映 像の時系列画像データからこれらを合成した複合画像データを生成することを可 能にしている。この方法を実施する場合、使用者は多角形のコーナにあるすべて のリファレンスボイノトを少な（とも指定する。変換回路は、結合を可能にする ため、多角形における画素のアドレスを修飾する。

この方法は各画像についてマニニアル操作を必要とする。

発明の目的 この発明の目的は、従来からある技術に増して技術的要求を満たす連続した画像 の同一領域を変更する方法であって、捕捉のための条件、特にセンタリング、焦 点距離および焦点が変化した場合であっても自動的にこの変化を考慮に入れるこ とができる方法を提供することにある。

発明の開示 この目的を達成するため、画像のパターンのはめ込みに先立ち、画像における目 的領域の表示に正確に対応するようにその画像の適応化を行う。

このため、本発明は、時間と共に変化するシーンを提供すると共に同一７１フト の連続した画像間に関し強い相関を有し、各画像はマトリ、クス状に配列した画 素によって構成される時系列画像の内容を変更する方法であって、各画像におけ る置換されるべき固定の目的領域に関係しかつその近傍にあるリファレンスマー クを参照し、シーンにおける該目的領域を識別するステップと、前記リファレン スマークを参照して位置を決定し、前記目的領域におけるデジタル記憶されて挿 入されるパターンを与えるステップと、個々の画像の各々について、前記／（タ ーンによる所定の数学的変換を施し、同一ン璽ットの連続したすべての画像の前 記リファレンスマークに基づいて相関解析を行い、前記目的領域の出現の変化に 対応させるステップと、前記目的領域における画素を構成するステ、プとを具備 することを特徴とする方法を提供するものである。

ここで、用語“シラ１ト”は急激な時間的空間的変化を伴わない同一のカメラに よって捉らえられた同一の〕−ンを提供する１つの画像を意味する。

本発明が時間的な遅れを伴って使用される場合、処理を簡単にするため、各シ謬 １トの最初の画像にマークが指示される。その処理はライトペンによる指示によ って行われる。全体の画像について、より好ましくは予め決められた部分につい て探索が行われる。

最初の画像の後、目的領域の移動およびある画像から次の画像への大きさの変化 にはカメラの特性によって制限されるので、画像処理による探索は容易に行われ る。目的領域には“特徴点″　（ｍ常、輪郭線のコーナである）があり、これら の特徴点の探索が行われる。目的物が英数字を伴った広告である場合、特徴点は 極めて重要な意義を持ち文字の垂直部および水平部の結合体であるグラフを形成 する。各々のサイズが６ｘ６ｉ１素である隣接する各要素について、従来公知の １４ターン認識技術による認識が行われる。この種のノリーン認識は認識対象の 規模と拘わりな（有効である。画像に雑音が重畳している場合、認識の回数を持 つため、ｌＯ乃至２０個の特徴点を探索することが好ましい。特徴点の位置から 特徴的な幾何学的配置を有する少なくとも４個のマーク、例えば広告の４隅を表 わす４個のマークが得られる。

本発明は、カメラと目的領域との間に静止したあるいは移動する障害物がある場 合についても適用可能である。この場合、障害物に対応した部分は、障害物の明 るさおよび／または色が周囲、すなわち、目的領域における障害物によってマス クされたいない部分のそれらと異なってるといった具合に周囲との相関力ｆ欠如 していることを検出することにより認識される。

本発明による方法は、あらゆる場合において、同一）ｙ　ノドにおけるシーンの 空間的時間的連続性を利用するものである。

また、本発明は上記方法を具現するための装置を提供するものであり、本発明に よる装置は、連続した画像間に高い相関を有する画像Ｖ−ケ／スの画像の内容を 変更する装置であって、画素のマトリックスの各画素のデノタｌし信号による放 射値を表わす各画像データを提供する画像形成手段と、画像における目的領域を 位置付けるリファレンスマークおよび目的領域の複数の倍率による表示データを 記憶し、前記目的領域に挿入されるべきノｆターンの同じ倍率による表示データ を記憶する手段と、現時点の画像におけるリファレンスマークを認識し、目的領 域の位置および大きさを提供する手段と、同一ン１フトにおけるすべての連続画 像の各画像について、リファレンスマークに基づく空間的相関解析およびｉ４タ ーンを目的領域の外観の変化に対応させる幾何学的変換を自動的に決定すると共 １．１：画像におけるパターンを表示する画素と目的領域の画素とを置換する手 段とを具備するものである。

本発明に関しては以下図面を参照して説明する実施例によりさらによく理解され よう。

図面の簡単な説明 第１図は撮影された／−ン、目的領域、障害物および撮影用カメラを示す全体図 、第２図は連続した動きのある画像を示す図、第３図および箪４図は本発明によ る方法を説明するフローチャート、箪５図乃至第９図は本発明による方法を各種 用途に適用する場合の動作を説明するフローチャートである。

発明を実施するための最良の形態 本発明による方法をある広告パネルにおける固定の大きさおよび位置を有する目 的領域に別のパターンをはめ込むパターンの取替へ応用する場合について説明す る。長方形をなす２枚の広告掲示板あるいはパネルは各々のエツジによって輪郭 が認識される。目的領域について通常１ｏ乃至２０個の特徴点が定義される。

これらの特徴点は識別が容易なグラフを形成する。目的領域が英数字を含む場合 、グラフは予め例えば６ｘ８画素の各々を区切るように定義された各直線と交差 す本貢施例は各国において行われる各々異なった広告を伴ったスポーツ中継に特 に用いられる。

〔予備処理〕

予備処理は目的領域あるいはそれを含んだ画像領域を選択し複数の表示形態で記 憶する処理を含んでいる。ここで、表示形態は以下に示すように多様なものが（ １ン例えばカメラの焦点距離の変化によって様々な倍率で撮影された画像が含ま れている。相関解析を容易にするため、他からある値に倍率が変化させる場合、 ｆ２が乗算される。

（２２カメラから見た目的領域の見込角が異なった画像が含まれる。

そして、コンビ二一夕により、各々異なった所定の倍率ぶこついて、目的領域に 対応した特徴データが抽出される。特徴データは、輪郭線の角部であり、次のも （り目的領域それ目体の要素、例えば各部の相対的な位置関係が変化しないグラ フ、周辺の角を構成する点、色の分布。

（２）シーンにおいて目的領域を囲み、上記基準によりて容易に識別可能な位置 の固定された要素。

また、予備的処理は、デジタル画像データの中からパターンを選択すること、あ るいはパターンが存在していない場合にはグラフィブクパレフトタイプのハード ウェア／ソフトウェア装置（例えば［Ｉａｒｌｅｔｔｅ　ｏｆ　Ｑｕａｉｔｅｌ −１９９０−あるいはＴＩＰＳｏｎ　ＡＴＴ　ｂｏａｒｄ−１９８８）を介し設 計者にそれを作成させること、あるいはテレビカメラあるいはスキャナによって 撮像された画像をデノタイノングすることによりそれを生成することを含んでい る。

この画像から目的領域と同じスケールに対応した幾つかの第２の画像が生成さ演 算処理速度に対する要求を緩和するため、本願方法を具現する装置は画像の記憶 の後に処理を行う。第２図は本願による画像の撮影および変更を行う装置を示す 。

第１図において、テレビカメラ１ｏは置換されるべき目的領域を含んだシーン１ ２に向けられており、目的領域は２個の対象物１６および１８に関して位置が固 定されており、部分的あるいは全体的に障害物２ｏによってマスクされている。

カメラｌＯは磁気記録等によるレコーダに接続され、遅れ時間を伴った変換が行 われる。リアルタイムに処理を行う場合であって、カメラが画素の輝度および色 差を表す多数のビットからなるワードをマトリックスを構成する各画素について 出力するのではない場合、カメラはアナログ／デジタル変換器を介しコンビ一− 夕２２に画像データを直接送る。

本発明による方法は、各ノ曹フトを他と独立に処理する。すなわち、各ン１１ト について、連続した同一画像は同じカメラ１０にょフて撮影される。これらの画 像はその変化が連続的であり、各々が互いに強い相関を有している。ＩＰＴ２図 に示すように、目的領域１４は大きさが変化し、部分的に障害物１５にょつてマ スクされている（ＩＩ画像、２および３）。

コンビニー夕は目的領域を特徴付けるデータを抽出する一方、同一スケールによ るパターンを作成する。

カメラ１０は、目的領域の特徴点とこれに対応する要素であって補間によって得 られあるいは記憶された移動する要素の各々異なった表示内容との照合のため、 自身に関するパラメータ、例えば焦点距離の変化をコンピュータ１０１ご伝える 手段を有している。このような仕方による目的領域の完全な追跡は、避けられな い振動、誤差の累積が生じると共に非標準型のビデオ装置を必要とすることから 、必ずしも満足のいくものとはならない。焦点距離の変更および数学的モデルに よってカメラが目的領域を見込むときの見込角の調整を見積もることが好ましい 。

モデルは目的領域の角のＸ座標値およびｙ座標値を用いて設定することができる 。焦点距離は、Ｘが変化したとき次のようになる。

Ｘ−ａｘ＋ｂ　（１） また、カメラと目的領域の周囲とを結ぶ直線が円錐を形成する場合、見込角の変 化は、 Ｘ−（ｃｘ＋ｄ）／　（ｅｘ＋１＞　（２）と表される。ただし、ａ、、、、、 ｆは一定値である。モデル（２）は２次の多項式に変形される。

コンビ二一夕によって画像に対して行われる第１の処理は、目的領域の探索であ り、この探索は記憶された特徴と最も良く符合するものを探索することにより行 われる。この探索は、バター７の特徴点と各画像から取り出された特徴点との間 の相関を評価する従来公知のデジタル相関解析の手法を用いてもよい。その際、 障害物が特徴点の幾つかをマスクし得ることをも考慮に入れる。

探索は下記制限事項を考慮に入れると簡略化することができる。

（＋）装置に起因した幾何学的形状の時間的変化に関する制限（焦点距離および 視点の回転には制限がある〉 （２）装置により、あるいはシーンの変化により挿入される形の時間的変化に対 状の通信のみを考慮する場合には、画像から画像への移動の検出に用いられる幾 何学的変形の数学的モデルが有効である（例えばＡＴＧ　（＾ｔｅｌｌｅｒ　ｄ ｅ　Ｔｒａｉｔｓ■ｅｎＩＧａｏ＠ｅｔｒｉｑｕｅ　ｄｕ　ＣＮＥＳ　−１９８ ６−ａｖａｉｌａｂｌｅ　ｆｒｏｍ　５ｏｃｉｅｔｅ　Ｅｕｒｏｐｅａｎｎｅ　 ｄｅ@Ｐｒｏｐｕｌ ｍｌｏｎ）システムが挙げられる）。それは、目的物が極めて近くにある場合に 歪みが生じるが、この歪みを生じせしめないようなレンズの長さと同程度の長さ に１次あるいは２次の多項式の残余を最小化することにより得られる。

一方、輪郭の位置の大きな変化がある場合には、幾何学的変形の数学的モデルは 現時点の画像における目的領域の形状の変更を招き、この場合、２個の多項式の 比としてのモデリングが用いられる。

同一／１ツトにおける数個の連続画像から生じる幾何学的モデルに対するローパ スフィルタ処Ｎ（例えば４個の１１ｉ像に対し、連続した２個の数学的平拘を行 うこと）により、数学的モデルの時間的安定性、およびそれらの品質を向上させ ることがある。数個のモデルの中から量も良（幾何学的変換を呈するモデルを選 択することが可能である。目的領域の特徴点として、領域内の広い範囲に分布し た多数の特徴点を用いることにより、特徴点の幾つかが障害物の影に隠れている 法的領域のサイズが既知である場合には、幾何学的変形の数学的モデルにより、 焦れる４個のグラフが焦点距離および見込角を評価するための＃量データとなる であろう。背景にパターンをはめ込む場合、それらは背景（例えば壁、衣ＩＩＩ ）上の特定形状のマーク（例えばドツト、交差した直線）となり得る。この場合 、マークの分布は、パターンにおける特定のグラフの分布と同族の分布となる。

［色解析］ 幾何学的変換の数学的モデルが決定される七、通常の目的領域（主な画像および 表示物）と各時点の画像における対応する領域との間の色の変化を評価すること 、すなわち、数学的な記述による色変化パターンをめることが必要となる。

このような変化は、多くの場合、光の変化およびカメラの応答性によるものであ 強度および色信号Ｒ，Ｇ、Ｂに対する線通変換によって得られる。実際は、挿入 された障害物（箪２図における画像１．２および３）に分布する点を排除する必 要がある。

この場合、色の量子化によって造り出される雑音の影響を排除するために時間的 安定性を同上させるフィルタリングが行われる。

以上説明した処理は、第３図のフローチャートにおいてメイン！イスとして描か れており、記憶された目的物の表示画像から目的領域の実際の画像に変化させる ２個の幾何学的形状間の変化を造り出す。

［Ｍ　Ｔ　Ｆ　（Ｍｏｄｕｒａｔｌｏｎ　Ｔｒａｎｓｆａｒ　Ｆｕｎｃｔｉｏｎ ）の可能性評価コＭＴＦ、すなわち、当該画像における目的領域とそれに対応す る記憶された表示データとの間の鮮明度の差が有用である。このため、隣合った 相互に対応する点の周波数スペクトルが比較される。この解析により、画像の動 き、すなわち、動きの効果および焦点の狂いを大雑把に把握することができる。

［変換］ 記憶された目的領域の表示データに慕づき、（＋）幾何学的変換モデル、および （２）明暗変換モデルが作成され、最終的に信頼できる環境において（３）変調 伝達関数が作成される。

これらの変換の各々は線形変換であり、それらの適用は結合されることがある。

ここで、ノーケンスにおける変換された画像は、目的領域が目的領域に対応した 表示データ（既に生成された目的物の画像）によって置換された可能状態となっ ている。

初期の画像とは異なった、変換された画像の各画素は、目的領域以外の部分の表 示データにおける各画素と、カメラおよび目的領域間に挿入された障害物に対応 している。

各点の集合は障害物に係るマスクを構成する。パターンにおけるマスクされてい ない領域（不透明な障害物）に対応した部分のみをはめ込むこと、あるいは（半 透明な障害物の〉はめ込みの前にパターンを部分的に変調することが可能である 。パター７の置換は画素単位で行われる。

特に移動する障害物は半透明効果を呈し、Ｎ１間の空いた障害物（テニスのネッ ト）あるいはサイズの小さな障害物（ボール）も同様な効果を呈する。

このような場合を取り扱うために、本発明による方法、特に本実施例は、先験的 評価に基づいた、あるいは実際のシーンに合せてｉｌＫ！された透明度マツプを 使用する。例えば、透明度ｌはパネルにおけるマスクされていない点に割り当て られ、透明度０は障害物に対応した点に割り当てられる。半透明な障害物あるい は素早く移動する障害物については各点に対し、透明度として中間値が割り当て られる。ノー７が撮影されるスケールにおいて、不透明な障害物はコンパクトで あり、このことが従来の数学的形態学における“ｃｌｏｓｉｎｇ＋法による透明 度マツプに対する空間フィルタ処理を可能にする。

透明度７７ブは固定の障害物についての時ｒＡ領域フィルタ処理が施される。ま た、素早く移動する障害物についてもそれらのサイズの変化がゆっくり変化する ものと仮定することにより時間領域フィルタ処理が可能である。そして、従来か らある数学的形態学における開閉法が用いられる。この方法については、「“Ｉ ■ａｇｅ　ａｎａｌｙｓｉｓ　ａｎｄ　ｍａｔｈｅｍａｔｉｃａｌ　ｍｏｒｐｈ ｏｌｏｇｙ”　＋９８２．　Ａｃａｄｅｍｉｃ　Ｐｒｅｓｓ、kｏｎｄｏｎＪ に説明がある。

障害物の色と障害物によってマスクされた目的領域上の各点の色との間に対立が ある場合、３スペクトル帯域よりはむしろ４スペクトル帯域を取り扱うカメラを 用いると観測すべきシーンの各点の放射能の測定能力を際立たせることができ、 障害物の識別能力が向上する。この方法は人工衛星からの地表の解析に既に利用 されている。ここで、４スペクトル帯域における第４の帯域は赤外線の帯域の近 くである。

〔置換〕

以上の処理が完了することにより目的領域のパターツバネルによる置換の準備が 完了する。

置換は（ａ）記憶されたパターンパネルの処理と（ｂ）カメラによって得られて 記憶された画像のそれらのために得られた画素の置換とを連続的に行うことを必 要とする。

上記（ａ）の処理は、目的領域の識別に使用されたスケールに対応したスケール により、幾何学的、色彩的およびｍ像の移動に関する変換を７４ターン！４ネル にこ施す処理を含んでおり、透明度関数（透明度１の場合は識別可能状態、透明 度０の場合は隠れた状態、透明度が中間値である場合は減衰された状態）が適用 される。それによって得られた結果は、記憶あるいは放送される前のその時点に お１する画像にはめ込まれる。

時間領域フィルタ処理は、過去の画像を考慮に入れた予想を行う。それは部分的 にあるいは全体的に経験的なまたは再帰的なフィルり処理を使用するものであり 、遅延線を形成する巡回アクセス型のメモリであって数面面分の容量を有するも のを用いる。

時間領域フィルタリングを行う場合、この時間領域フィルタ処理は、同一シ璽ッ トにあって定常的でありかつ連続的な移り変りにおいて不ｊ！読を生じる／１フ トの変化の各々を検出することを要求する。

シロフトの変化は、中央制御部を有するセンサによって検知される。観測された シーンの画像の内容の不連続性からシ璽１トの変化を自動的に検出することがで き、これは一般的に採用されている解法である。

例えば、ズーム調整の場合、目的領域の表示スケールを探索することによる再評 価があり、これは表示データをその時点におけるシーンの目的領域に最も良く整 合させる。この処理は“ｂｒａｎｃｈ　ａｎｄ　ｂｏｕｎｄ”法と呼ばれる特徴 点のリストに相関解析を適用する方法により行われる。そして、上述した処理が 続けられる。撮影の高さおよび水平方何の歪みの評価もまた比較され、直前のシ 震ットから移動しない新たなシ腸１トをどのカメラが撮影するかを決定すること を可能Ｉこする。

この処理は第３図および第４図に示されている。

上記実施例は特に平坦な表面に形成された目的物の場合によく適用される。また １表面を分割して得られ平坦とみなすことができる小平面の目的物につ％Ｓても この発明を著しい変更を伴うことなく用いることができる。

コンビ二一夕２２は第１図に示す構成を有しており、その幾つかの要素１１既に 述べた茸−ａフパ特許第０３６０５７６号において説明されて（嵐る。フンビコ ータ２２は、信号プロセッサ２６に個々の画一データを供給する大容量のｍ像メ モリ２４（例えばハードディスク）を有する。信号プロセッサはメモリ２８に記 憶された目的物の特徴点を識別し配置するようにプログラムされている。また、 信号プロセッサは、コンパレータ３０に対しメモリ２８に記憶された適切な目的 領域の表示データを選択するために必要な要素を供給すると共にその表示データ をバッファメモリ３２に送る。コンパレータ３４は、目的領域における障害物に よってマスクされた部分を識別し、マスクされていない画素を適切なパター／に よって置き換えるのに必要な画素であって、メモリ３８から読み出される画素を 結合回路３６に供給する処理を画素単位で行う。その結果得られる画像は大容量 メモリ４０に記憶され、モニタ４２に表示される。

第５図〜第９図は焦点距離可変であり回転可能なｌ眼カメラによってシーンが撮 影される場合の処理フローを詳細に示したものである。

第５図は例えばグラフィックタブレットおよびスタイラスによって目的物の対角 線上の２点を指示することによって各ン薦１トについて行うマグネットスコープ からの目的物の準備を行うステップを示す。

第６１！ｌは目的領域の獲得および配置の処理フローを示すものである。

第７図は色変換の能力を向上させ、障害物あるいは影を検出する場合にステップ を示している。

箪８図は画像の中にパターンを適切なスケールではめ込むステップを示している 。

第９図はマグネットスコープへ格納するステップを示している。

ゲ＋図 メｑ口 駕Ｓ区 連続画像における特定の目的領域の表示内容を変更する方法。画像／−ケンスに おかる画像間には強い相関があり、各画像はマトリ／クズ状に配列した画素によ って構成されるものであることを前提としている。本方法は、以下列挙するステ 、ブからなる。

（１）各画像における目的領域に関俤しかつその近傍にあるリファレンスマーク をｎｉｌ！！ｔＬ、ノーンにおける目的領域を識別するステップ（２）リファレ ンスマークを：ＩＩＭして位置を決定し、目的領域にデジタル記憶されて挿入さ れるべきパターンを与えるステ、ブ（３）個々の画像の各々について、パターン による所定の数学的変換を施し、同一ノｗフトの連続したすべての画像内のりフ ァレノスマークに基づいて相関解析を行い、パターンを目的領域の外観の変化に 対応させるステップ（４）目的領域における画素を構成するステップ国際調査報 告 国際調査報告 ＦＲ９１００２９６ Ｓ＾　４６９０４

Claims (8)

【特許請求の範囲】
1. １．時間と共に変化するシーンを提供すると共に同一ショットの連続した画像間 に関し強い相関を有し、各画像はマトリックス伏に配列した画素によって構成さ れる画像シーケンスの内容を変更する方法であって、各画像における置換される べき固定の目的領域に関係しかつその近傍にあるリファレンスマークを参照し、 シーンにおける該目的領域を識別するステップと、前記リファレンスマークを参 照して位置を決定し、前記目的領域におけるデジタル記憶されて挿入されるパタ ーンを与えるステップと、個々の画像の各々について、前記パターンによる所定 の数学的変換を施し、同一ショットの連続したすべての画像の前記リファレンス マークに基づいて相関解析を行い、前記目的領域の出現の変化に対応させるステ ップと、前記目的領域における画素を構成するステップとを具備することを特徴 とする方法。
2. ２．前記目的領域の位置および方向を、輪郭あるいは背景のような目的領域自体 の要素によって構成きれるマークを識別することにより決定することを特徴とす る請求項１記載の方法。
3. ３．各々倍率および見込角の異なった前記目的領域の複数の表示データおよび各 々倍率および見込角が同じである前記パターンの複数の表示データを記憶するス テップと、モデルに関係する表示データをそれらの置換の前に各変換に提供する ため、現時点における画像の前記目的領を１つの表示データに変換させる最適な 幾何学的変換を決定するステップとを具備することを特徴とする請求項１乃至２ 記載の方法。
4. ４．現時点における画像の前記目的領域をそれと関係する前記パターンの表示デ ータに取り込むための１つの表示データに変換する最適な色変換を決定するステ ップを具備することを特徴とする請求項３記載の方法。
5. ５．前記最適な幾何学的変換は、複数の異なった変換を実行すると共にそれらの 結果を比較することにより、あるいは最善の結果をもたらすそれらの変換結果の 合成を採用することにより決定することを特徴とする請求項３乃至４記載の方法 。
6. ６．現時点における変換された画像と現時点におけろ画像とを比較し、大きな差 異を生じない領域のモデルを提供する画素を置換することにより、画像のシーン を撮影する撮影装置との間にある障害物の存在を検出することを特徴とする請求 項１乃至５記載の方法。
7. ７．予測型時間領域フィルタ処理あるいは再帰型時間領域フィルタ処理を数字的 変換モデルに対して施すことを特徴とする請求項１記載の方法。
8. ８．連続した画像間に高い相関を有する画像シーケンスの画像の内容を変更する 装置であって、 画素のマトリックスの各画素のデジタル信号による放射値を表わす名画像データ を提供する画像形成手段と、 画像における目的領域を位置付けるリファレンスマークおよび目的領域の複数の 倍率による表示データを記憶し、前記目的領域に挿入きれるべきパターンの同じ 倍率による表示データを記憶する手段と、現時点の画像におけるリファレンスマ ークを認識し、目的領域の位置および大きさを提供する手段と、 同一ショットにおけるすべての連続画像の各画像について、リファレンスマーク に基づく空間的相関解析およびパターンを目的領域の外観の変化に対応させる　 幾何学的変換を自動的に決定すると共に画像におけるパターンを表示する画素と 目的領域の画素とを置換する手段と を具備することを特徴とする装置。