JP3616111B2

JP3616111B2 - 異なる焦点距離又は異なる視域の複数の像を使用した高解像度静止画像を得る方法及び装置

Info

Publication number: JP3616111B2
Application number: JP29449192A
Authority: JP
Inventors: エィ．テオドシオローラ; アール．ベンダーワルター
Original assignee: Massachusetts Institute of Technology
Current assignee: Massachusetts Institute of Technology
Priority date: 1991-11-01
Filing date: 1992-11-02
Publication date: 2005-02-02
Anticipated expiration: 2020-02-02
Also published as: JPH05304675A

Description

【０００１】
【産業上の利用分野】
本発明は基本的には異なる焦点距離の複数の像及び装置を使用して高解像度静止画像を創作する方法に関するものである。特には、本発明はズームビデオシークエンス（ｓｅｑｕｅｎｃｅ）等の複数の異なる焦点距離像（イメージ）を使用した固定焦点距離像である静止高解像画像を創出する方法に関するものである。本発明はまた静止パノラマ像のものよりも狭い視域の複数像から静止パノラマ像（イメージ）を創作する技術にも関するものである。
【０００２】
【従来の技術】
画像処理分野においては、あるシーン（ｓｃｅｎｅ）の静止画像を得ることがしばしば望まれる。たいていの場合においては、その静止画像は記録手段の性能及びその静止画像を撮像する装置の焦点距離により決定される解像度を有する。ビデオ装置は現在比較的安価であり、多くの人々が使用できるほどに単純構造である。ビデオ記録装置はスチール写真のような静止画像描出と較べてある意味の利点を備えている。始動したビデオカメラはその焦点領域内にある全出来事を撮影することができるが、一方普通のスチール写真の場合には写真家がシャッターを押すことで選択した被写体のみを撮影する。よって、スポーツイベントのごとき高速で移動する被写体を撮影する場合、又は結婚式や報道ドキュメンタリーのごとき予期しない事態が発生するような状況下ではビデオを常時撮影状態にセットしておき、事後に望むスチールを選択することが往々にして便利である。しかしながら、ビデオ信号の解像度は１ピクチャー高あたり４８０本程度のライン（走査線）と１ピクチャー幅あたり６４０程度のサンプル（ｓａｍｐｌｅ）に制限されている。（ビデオ信号自体はスキャンラインを通じて連続的である。しかしながら、ディスプレーするためにスキャンライン方向にサンプル化されている。）多くの場合においてこの程度の解像度では高画質を与えるには不充分である。特に、もしオリジナルの被写体像が比較的短い焦点距離で撮影されたものである場合において不足する。像が拡大されるとその像は相当に不鮮明になる。同様に、映画や８ミリ撮影のごとき他の撮影技術の場合にもそれらに特有の解像度に限定される。像の拡大は画像全体にわたり単位面積あたりの解像度を必然的に劣化させる。
【０００３】
例えば、ステージ上のピアノの前で聴衆に向かって演奏しているソロの演奏家をその聴衆と共に撮影することが望まれる場合がある。もし撮像装置がビデオ装置であれば、聴衆を映し出しているワイドアングル画像は前記の標準ビデオ解像度に見合った解像度となる。画面全体にわたる解像度も同じである。よって、ソロピアニストの像はそのシーンの残り部分と同様な粗さとなる。たとえば、もしそのソロリスト像が全画面の１／１６のスペースを取っているとすれば、垂直方向に１２０本のラインと、水平方向に１６０のサンプルを使用していることになる。この場合、たとえば会場の後方にある空席等のあまり重要でないシーンも同一の解像度となる。図１は異なる２焦点距離に関する１焦平面上に、あるシーンの焦点合わせを略図的に示すものである。もし焦点距離ｆｗが比較的短ければ、像２の全幅は焦平面４上に焦点が合う。
【０００４】
もちろん、ソロリストにズームインし、さらに長い焦点距離でソロリストの像を撮影することでそのソロリストをより鮮明（即ち、垂直方向にさらに多数のラインと水平方向にさらに多数のピクセル（ｐｉｘｅｌ））に映し出すことは可能である。図１に示すごとく、焦点距離ｆＴはｆｗよりも長い。しかしながら、像２の中央部６のみが焦平面４に焦点が合わせされている。焦平面の範囲外で焦点されているので他のほとんどのシーンは犠牲になっている。ソロリスト像はさらに拡大されて大きなスペースを占め、元の像の輪郭の一部は写らない。
【０００５】
２チャンネルのデータを結合させて画像データを増強する（ｅｎｈａｎｃｅ）技術は周知である。その第１チャンネルは空間的高解像度（即ち、単位長さあたりに比較的多くの画素）及び比較的時間的低解像度（即ち、単位時間あたりに比較的少ないフレーム数）を有するものであり、その第２チャンネルは空間的低解像度及び時間的高解像度を有する。その結合の結果、空間的及び時間的解像度はそれらの高いほうに近づき、普通の状態で時間的及び空間的高解像度を有するシングル像シークエンス（ｓｉｎｇｌｅｉｍａｇｅｓｅｑｕｅｎｃｅ）を伝達するのに要する情報よりも少ない情報伝達で済む。１９８８年５月に合衆国のマサチューセッツ工科大学（ＭａｓｓａｃｈｕｓｅｔｔｓＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ）電気工学及びコンピュータ科学部に提出されたＢ．Ｓ．論文であるクレーマンローレンスエヌ（Ｃｌａｍａｎ，ＬａｗｒｅｎｃｅＮ．）の「２チャンネル空間−時間エンコーダ（ＡＴｗｏ−ＣｈａｎｎｅｌＳｐａｔｉｏ−ＴｅｍｐｏｒａｌＥｎｃｏｄｅｒ）」を参照されたい。
【０００６】
静止画像の種々な空間的部分の解像増強のごとく、最短焦点距離で撮影したものを映写化するのに今日利用可能な技術は見当らない。クレーマンの論文は固定焦点距離像とベクトル量子化を利用しており、その結果オリジナルの空間的高解像度像のものを越えない解像度及び視域のスチールフレームを提供している。
【０００７】
【発明が解決しようとする課題】
パノラマビュー（ｖｉｅｗ）の一部から他のパノラマビューの一部にかけて実質的に共通な１焦点距離を維持しつつ、あるシーンのパノラマビューを提供できることもまた望ましいことである。これを行う従来の方法はビデオカメラをパノラマシーンの片側から別側に移動することであり、本質的には前後のフレームから各々ほんの少々異なる数多くのフレームを撮ることである。その隣接するフレームに関して、各フレームは右側と左側のエッジ部分が異なるのみである。フレームを形成している像の大部分は隣接するフレームの像と同一である。パノラマシーンを形成するこれらの種々な像を保存し、ナビゲートするには多量のデータ保存及びデータアクセスが必要とされる。データ保存及びアクセスには多額の費用を要するのでこの従来技術は望ましいものとはいえない。また、保存及びアクセスされたデータの大部分が実用性を有しない。パノラマ的空間を撮影するのに現在使用されている撮影装置にはグルブスコープ（ｇｌｕｂｕｓｃｏｐｅ）又はボルピ（ｖｏｌｐｉ）レンズの移動が含まれる。
１シーンの１位置から別位置へパン（ｐａｎ）し、同時にズームできることも望ましいことである。従来技術の欠点はそのような組み合わせにおいて望ましくない結果をもたらすことである。
【０００８】
よって、本発明の目的は、以下の利点を備えた比較的に高解像度を有する静止画像を創作する方法及び装置を提供することである：
１）像全体にわたり高解像度で情報を取得する必要がない。
２）あまり重要ではない像の大部分に関して情報を収集する必要がない。
３）種々な焦点距離又は視域の標準的ビデオ像のシークエンスを入力要素として取得できる。
４）標準的フィルム像のシークエンスを入力要素として取得できる。
５）望む像のいかなる部分でもその解像度を増強する。
６）適正にプログラムされた汎用デジタルコンピュータ及び標準型ビデオ又は映画装置が使用可能である。
【０００９】
本発明の別目的は過剰なデータ保存及びアクセス能力を要せず、あるシーンのパノラマビューを観察者に提供し、その観察者にそのシーンの１位置から他の位置までのナビゲーションを可能とする方法を提供することである。本発明のさらに別目的はデジタル化されたいかなる形態の像データであろうとも前記能力を発揮させることである。
【００１０】
【課題を解決するための手段】
上記課題を解決するための本発明を要約すれば、本発明は静止画像を発生させる方法であって、複数の像を創出するステップを有しており、各像は他と異なる焦点距離にて創出されており、さらに、その各像を共通の焦点距離にスケールするステップと、その各スケールされた像を１焦点距離の最終像に組み合わせるステップを有しており、その最終像の部分はそのオリジナルシークエンスと比較して相対的に高い解像度を有している。本発明はさらに、変化する視域の静止画像のシークエンスを全体的視域のパノラマ像に組み入れるステップをも有している。異なる視域にて発生された像を組み合わせることに加えて、本発明の方法はパノラマシーンのごとき全体的シーンの異なる視域に関して発生した像を組み合わされたパノラマ視域に組み合わせることにも使用可能である。本発明のこの特質は変化する焦点距離のものとも結合可能である。
【００１１】
本発明はまた静止画像を発生させる装置であって、複数の像を創出する手段を有しており、各像は他と異なる焦点距離にて創出されたものであり、さらに、各像を共通の焦点距離にスケールする手段とスケールされた像をそれぞれ１焦点距離の１像に組み入れる手段とを有している。本発明の装置はさらに全体的シーンの異なる視域に関して発生した像を組み合わされたパノラマ視域に組み入れる装置を含んでいる。
【００１２】
次に、最初の実施例を解説する。ここでは本発明は静止画像（イメージ）を発生させる方法であって、以下のステップから成り立っている：
１）それぞれ異なる焦点距離で創出された複数の像をそれぞれ代表する複数の信号を発生させるステップ
２）共通の焦点距離にスケール（ｓｃａｌｅ）された対応する像を代表するように各信号を変換するステップ
３）各変換した信号を組み合わせ、オリジナルシークエンスの像と比較して部分的には比較的に高解像度であるスケールされた像を１焦点距離の最終像とする組み合わせを代表した信号を得るステップ。
【００１３】
別の実施例を解説する。ここでは本発明は静止画像を発生させる装置であって、以下の手段から成り立っている：
１）それぞれ互いに異なる焦点距離にて創出された複数の像を創出する手段。
２）異なる焦点距離のそれぞれの像を代表する複数の信号を発生させる手段。
３）共通の焦点距離にスケールされた対応する像を代表するように複数の信号の各々を変換する手段
４）各変換した信号を組み合わせ、スケールされた像を１焦点距離の１像とする組み合わせを代表した信号を得る手段。
【００１４】
さらに別の実施例を解説する。ここでは本発明は静止画像を発生させる方法であって、以下のステップから成る：
１）それぞれ異なる視域で創出された複数の像をそれぞれ代表する複数の信号を発生させるステップ
２）共通のパノラマ視域内で１位置にトランスレート（ｔｒａｎｓｌａｔｅ）された対応する像を代表するように各信号を変換するステップ
３）各変換した信号を組み合わせ、オリジナルシークエンスの像と比較してさらに大きな視域をカバーする１パノラマ視域の最終像とするトランスレートされた像の組み合わせを代表した信号を得るステップ。
【００１５】
またさらに別の実施例を解説する。ここでは本発明は静止画像を発生させる装置であって、以下の手段から成り立っている：
１）それぞれ互いに異なる視域にて創出された複数の像を創出する手段
２）それぞれ異なる視域の複数の像の１つを代表する複数の信号を発生させる手段
３）共通のパノラマ視域内の１位置にトランスレートされた対応する像を代表するように複数の信号の各々を変換する手段
４）各変換した信号を組み合わせ、１パノラマ視域の１像とするトランスレートされた像の組み合わせを代表した信号を得る手段。
【００１６】
さらにまた別の実施例を解説する。ここでは本発明は静止画像を発生させる方法であって、以下のステップから成る：
１）それぞれ異なる視域にて創出された複数の像の１つを各々代表する複数の信号を発生させるステップ
２）共通のパノラマ視域内の１位置にトランスレートされ、共通の焦点距離にスケールされた対応する像を代表するように各信号を変換するステップ
３）各変換した信号を組み合わせ、部分的にはオリジナルシークエンスの像よりも高い解像度であり、オリジナルシークエンス及び１焦点距離の像と比較してさらに大きな視域をカバーする１パノラマ視域の最終像とするトランスレートされ、スケールされた像の組み合わせを代表した信号を得るステップ。
【００１７】
【作用】
上記構成により、以下の利点を備えた比較的に高解像度を有する静止画像を創作する方法及び装置が提供される。
１）像全体にわたり高解像度で情報を取得する必要がない。
２）あまり重要ではない像の大部分に関して情報を収集する必要がない。
３）種々な焦点距離又は視域の標準的ビデオ像のシークエンスを入力要素として取得できる。
４）標準的フィルム像のシークエンスを入力要素として取得できる。
５）望む像のいかなる部分でもその解像度を増強する。
６）適正にプログラムされた汎用デジタルコンピュータ及び標準型ビデオ又は映画装置が使用可能である。
【００１８】
さらに、過剰なデータ保存及びアクセス能力を要せず、あるシーンのパノラマビューが観察者に提供され、その観察者にそのシーンの１位置から他の位置までのナビゲーションを可能とする方法が提供される。
又、デジタル化されたいかなる形態の像データであろうとも前記能力を発揮させることができる。
【００１９】
【実施例】
以下、本発明の実施例につき詳細に説明する。
典型的なビデオ像はフィールドのシークエンスにより創出される。各フィールドは画像化されるシーンの静止画像を代表する。インターレース（ｉｎｔｅｒｌａｃｅ）によって連続的フィールド間に１／２のスキャンラインの垂直方向のずれが生じる。（表示システムによってはインターレースなくスキャンされており、その場合にはフィールド間の垂直方向のずれは生じない。）一般的に毎秒５０又は６０フィールドの割合でこのような静止フィールドのシークエンスを表示することにより、モーション又は変化は人の視覚システムの心理的精神肉体的特性によって表出される。各フィールドのペアは前述したごとくにラインで満ちたスクリーンで構成され、各ラインはそれぞれ画素（ピクセル）により構成されている。各ピクセルは、コンピュータメモリー又は他の適当なデジタル記録媒体内に特定のレンジである信号値により代表される。カラー像においては、このレンジは典型的には色の３要素（ｃｏｍｐｏｎｅｎｔ）の各々に対して０−２５５であり、グレースケール（ｇｒａｙｓｃａｌｅ）像に対してはこのレンジは１要素あたり特徴的には０−２５５である。サテライト映像又はＸ線のような像源は０−４０９６ほどの大きさのレンジを有することもある。ピクセル値はフレーム内のそれらの位置に何らかの手段にて対応する形状でメモリー内に保存される。ビデオ像に対してなされる全操作は典型的には個々のピクセル要素の値を代表する信号に対して行われる。
【００２０】
像のモノクロ記録の場合には、各ピクセル要素は単独の個別的（ｄｉｓｃｒｅｔｅ）な要素である。像のカラー記録の場合には、１セットのチャンネル又はピクセルのグループが各ピクチャー要素に対して使用される。例えば、ＲＧＢとして知られる表色スキーム（ｃｏｌｏｒｖａｌｕｅｓｃｈｅｍｅ）において、各色は赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の色量の組み合わせにより代表される。これら３色の各々の色「チャンネル」が別々に提供される。ＲＧＢシステムにおいて、各チャンネルはスキャンラインごとに同数のピクセルとスクリーンごとに同数のスキャンラインを有する。下記他のカラー値システムは異なるチャンネルに対してスキャンラインごとに異なる数のサンプルを有する。ピクセルの要素は典型的には表示装置上に相互に隣接して位置しており、同時に表示されるときには（観察者にとってはそのように錯覚する）結合してオリジナルの色を形成する。ピクセルの時間シークエンス（ｔｉｍｅｓｅｑｕｅｎｔｉａｌ）ディスプレー等の他のスキームも利用可能である。
【００２１】
ＲＧＢカラー値スキームは特定の使用には役立つが、カラー値の数学的操作には必ずしも最適ではない。他のカラースキームの方がさらに有用であり、特には像の輝度を表しているチャンネルを含むものが有効である。一般的に輝度とは所定方向における単位あたりの知覚面積から出される、又は反射された光の強さとして記述される。一般的に、輝度及び２つの他のディメンション（ｄｉｍｅｎｓｉｏｎ）により定義される３チャンネルカラースペースはＲＧＢカラースペースと等価である。典型的な輝度カラースペースは、アメリカ合衆国のテレビ放送用テレビ基準委員会により使用されているＹ（輝度）、ｉ（位相）及びｑ（クワドラチャー（ｑｕａｄｒａｔｕｒｅ））カラースペースである。他の輝度カラースペースはＣＩＥ（ＣｏｍｍｉｓｓｉｏｎＩｎｔｅｒｎａｔｉｏｎａｌｄｅｌ′Ｅｃｌａｉｒａｇｅ）、Ｙ、ｘ、ｙ（輝度及び２クロミナンスチャンネル）及びそのバリアント（ｖａｒｉａｎｔｓ）、さらにＹ、ｕ、ｖ（輝度及び２クロミナンスチャンネル）並びに他にも多数存在している。
【００２２】
本発明においては、たいていの処理は１チャンネル又は１コンポーネントで充分である。全てのデータ計算及び操作はまずカラー像のＹチャンネルに対してのみ実施される。Ｙチャンネルが選択される理由は普通、Ｙチャンネルがビデオシステムにおいて最も高い信号対ノイズ比を有しているからであり、さらに、Ｙチャンネルは、たいていの場合にクロミナンスよりも高い空間（ｓｐａｔｉａｌ）周波数にてサンプルされるからである。Ｙチャンネルに関して必要な変換が決定された後、同一の変換が位相及びクワドラチャーのクロミナンスチャンネルのような残りのチャンネルに対して適用される。これらの変換の特徴を以下にて述べる。
【００２３】
ビデオ像は通常一連のフレームと見なされているが、実際にはそのような「フレーム」はいかなるときにも存在していない。フレームとして人たる観察者及び当該分野の技術者に考えられているのは、実際には「フィールド」の１ペアのことである。各フィールドは偶数列のスキャンライン、又は奇数列のスキャンラインにより成り立つ。偶数のフィールドは奇数列のスキャンラインから垂直方向に１本のスキャンラインの半分だけオフセット（ｏｆｆｓｅｔ）されている。１ペアのフィールドはインターレース（ｉｎｔｅｒｌａｃｅ）されて１フレームを形成している。
【００２４】
フィールドペア１０１と１０２は図２において略図的に示されている。フィールド１０１は像の奇数列のスキャンラインのみを含んでおり、フィールド１０２は像の偶数列のスキャンラインのみを含んでいる。ビデオ装置はこれらのフィールドを連続的に別々に記録する。よって、各フィールドは潜在的に多少とも異なる像を記録することとなり、それはフィールドの記録に要する時間に関連するシーン又はカメラのモーションによる。また、ビデオ装置はフィールドを連続的に素早くディスプレーし、その速度は典型的には毎秒５０から６０フィールドである。この速度でフィールドがディスプレーされるとき、観察者は組み合わされて１つになったフレーム１１０であるフィールドを「見る」こととなる。各フィールド（シークエンスの最初と最後を除いて）は各連続した２フレームのコンポーネントであることが理解されよう。図３に示すように、フィールド１０２はフレーム１１０の第２フィールドとフレーム１１２の第１フィールドを形成する。同様に、フィールド１０３はフレーム１１２の第２フィールドとフレーム１１４の第１フィールドを形成する。人たる観察者により組み合わされる以外は、フレームは個々の信号要素としては実際に存在しないことがこれで理解されよう。
【００２５】
本発明の方法はフレームのシークエンス、特にはビデオ像のシークエンスを使用する。本発明実施化には、フレームコンポーネントの脱インターレース（ｄｅ−ｉｎｔｅｒｌａｃｅ）が必要である。脱インターレースとは、奇数列又は偶数列のラインだけではなく、像の各ラインのピクセル値を含む、特にコンピュータメモリーオンリーにおけるピクセル要素からなる実際のフレームを表す信号を構成することを意味している。本発明はまたインターレース技術を利用することなく記録されたデータに対しても適用が可能である。しかし、インターレースされる材料は共通なので、それを脱インターレースできることが重要である。
【００２６】
本発明によれば、脱インターレースはデータ信号にメジアン（ｍｅｄｉａｎ）フィルターを適用することで達成される。例えば、時間ｔで脱インターレースされたフレームの７番目のスキャンラインを創出するには４個の値のメジアンが使用される。即ち、時間ｔ−１におけるフィールドの７番ラインの各ピクセル要素に対する値と、時間ｔ＋１におけるフィールドの７番ラインの対応ピクセル要素に対する値と、時間ｔにおけるフィールドの６番ラインの対応ピクセル要素に対する値と、時間ｔにおけるフィールドの８番ラインの対応ピクセル要素に対する値である。これらの４個のメジアンは脱インターレースされたシークエンスのフレームの７番ラインにおける対応ピクセル要素に対する値として割り当てられる。
【００２７】
同じプロセスがスキャンラインの各ピクセルと、そのフィールドの各奇数列のスキャンラインに対して繰り返される。偶数列のスキャンラインは単に時間ｔにおけるフィールドから採用される。この脱インターレースされたフレームはいかなるオリジナルシークエンスのフレームとも異なることを指摘する必要がある。なぜならば、奇数列スキャンラインを形成しているピクセル要素は前後のフィールドと時間ｔでのフィールドとの結合により創出されるからである。
【００２８】
第２の脱インターレースされたフレームを創出するにはこのプロセスが繰り返されるが、偶数列のスキャンラインはフィールドｔ及びｔ＋２からの偶数列スキャンラインのメジアンを使用することで形成され、奇数列のスキャンラインは関係するスキャンラインの上下に存在するフィールドｔ＋１から形成される。奇数列のスキャンラインは時間ｔ＋１でのフィールドから直接的に採用される。
【００２９】
フレームが脱インターレースされた後、一連のフレームが得られ、それらはそれぞれ偶数列と奇数列のスキャンラインの全必要数から構成されており、フィールドのシークエンスを観察している人たる観察者により感知される１フレーム内のものと同数のスキャンラインを有しているものとなる。
【００３０】
他の脱インターレース方法もまた利用でき、本発明の思想の範囲内である。しかし、これら他の方法は前述の脱インターレース技術程には優れた結果を提供するとは考えられていない。その１つの方法は１フィールド内の各ペアのライン間において、データの新ラインを合成するために各フィールド内のスキャンライン間のリニアインタポレーション（ｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うことである。この技術は動きのない像の部分において明らかに空間的解像度（ｓｐａｔｉａｌｒｅｓｏｌｕｔｉｏｎ）のロスを導く。別の方法としては、そのときのフィールドの前後のフィールド間でインタポレーションを行うことである。この技術は動きのある像の部分の時間的解像度を犠牲にする。別々のフィールドに対してデータ操作を施し、１フィールドを次のフィールドにワープさせるためのアファイン変換を利用することも可能である。しかしながら、フィールドのアファイン変換はインターレースによる空間的時間エイリアシング（ｔｅｍｐｏｒａｌａｌｉａｓｉｎｇ）により脱インターレースされたフレームにアファイン変換を施すほどには良好な結果を提供しない。
【００３１】
本発明の方法に使用されるフレームのシークエンスは、典型的にはズームシークエンスであり、これは長い焦点距離から短い焦点距離、又はその逆のズーミングを意味する。又、ズーミング中にパン（水平モーション）又はジブ（ｊｉｂ）（垂直モーション）することもできる。脱インターレースされた１００のフレームのシークエンス２００が図４において略図的に示されている。そのシークエンスは比較的短い焦点距離でワイドなアングルのフレーム２０１から比較的長い焦点距離でクローズアップのフレーム３００までのズームにより構成されている。フレーム２０１において一連の文字が略図的に表されている。フレーム３００においてはフレーム２０１の中央に位置しているアルファベット「Ｘ」の部分のみがフレームに含まれている。
【００３２】
シークエンス２００の各フレームは同数のピクセル要素及びスキャンラインから構成されている。従って、中央の文字Ｘのクロス部分がフレーム２０１のズームにおいて５０のピクセルを使用しているものと仮定すれば、そのクロス部分はフレーム３００でのズームにおいては３００のピクセルを使用していることになる。１の典型的なズームは、シークエンスの最初から最後のフレームにかけて４：１以上のスケーリングファクター（ｓｃａｌｉｎｇｆａｃｔｏｒ）をもたらす。フレーム３００のズームからのクロス部分の映像化は明らかにフレーム２０１のズームからのクロス部分の映像化よりも多くの情報提供が可能となる。しかし、例えば他の文字のごとき当初のシーンの他の被写体を映像化するのに必要な情報はフレーム３００からはまったく得られない。なぜなら、これらのものはフレーム３００には存在しないからである。よって、本発明の１つの目的はシークエンスの別々のフレームから得られる情報を１つの組み合わせ像に形成することであり、そのシーンの大部分についての充分な情報を提供することである。
【００３３】
個々のフレームとオリジナルシーンの間の関係は図５にて略図的に示されている。フレーム２０１は全オリジナルシーンを映し出している。フレーム２０２は領域２０２ｓ内部に見合うだけのオリジナルシーンのみを映像化しており、それはフレーム２０１よりも小さいものである。フレーム２０３は領域２０３ｓに見合うだけのオリジナルシーンのみを映像化しており、このように順番に領域３００ｓまで続く。従って、オリジナルシーンはズーム２０１によりマッピング（ｍａｐｐｉｎｇ）された全シーンのデータスペースと同一サイズであるデータスペース内に徐々により小さな部分へとマッピングされてゆく。（このデータスペースは「小」データスペースという。本方法に関する他のデータスペースと比べて最小だからである。）
【００３４】
本発明の目的は各ズームフレームから得られるだけの出来るかぎり多量の情報を利用することである。各ズームフレームは拡大され、最長の焦点距離のフレーム、即ちフレーム２９９と同じスケールを有することとなる。図６において略図的に示されているように、拡大されたフレームは相互に積み重ねられる。オリジナルフレーム２０１はオリジナルサイズの何倍にも拡大される。各連続するフレーム２０２、２０３・・・等は徐々に多少とも少なめに拡大され、最終フレーム２９９はまったく拡大されない。各フレームの像が他の全フレームシーンの同一部分と実質的にぴったりと重なるように重ね合わせることは可能である。もし各フレームの像部分が不鮮明であれば、シーンの見える部分（フレーム２９９の全部及び他の全フレームの輪郭部）は最も高い解像度を有するフレームから構成される。
【００３５】
各フレームのスケールアップは、各フレームを代表するデータ信号の変換操作と、その変換データを一連のデータスペースにマッピングする操作とを経て、究極的に最終データスペースにマッピングされたデータを代表する信号を発生させる操作により達成される。この最終データスペースは、前記小データスペースよりもずっと大きく、よって大データスペースと呼ばれる。（実際各フレームは全大スペース内に構成されており、最大に拡大されたフレーム２０１と同じデータスペースを占めている。しかし、フレーム２０１を除く全フレームに対しては、フレームの輪郭部はゼロの値を有するピクセルにより形成されている。）
【００３６】
各拡張フレームの解像度はもちろん互いに異なっており、ある部分、例えば、フレーム２０１からの中央文字Ｘにおいて得られる情報の詳細はフレーム２０３又は２９９から得られるシーンの同じ部分における情報の詳細よりもずっと少ないであろう。言い換えるならば、フレーム２０１の拡大像はピクセル間の情報ギャップの影響を受ける。フレーム３００からの像はこれらの情報ギャップの影響をまったく受けない。この情報ギャップは以下に説明するごとく、データを取得可能なピクセル間のインタポレーションにより満たされる。
【００３７】
上記したように、もしフレームが同じサイズにスケールされ、各々のデータが他のデータに重ねられると、それらは良く重なり合うが、実質的に重なり合っているのみであり、必ずしも厳密な意味で重なり合っているわけではない。これはカメラのモーションやシーンの要素のモーションのためである。比較的高い解像度の静止画像を創出するためにフレームのシークエンスを利用する過程でこれらのモーションを考慮に入れることも重要である。
【００３８】
本発明の方法を以下、詳細に説明する。前記スキームを特定の手段にて活用するには、本発明の方法は、まず各フレームを同じディメンション（大データスペース）のデータスペースにマッピング（ｍａｐ）又は「ワーピング」する必要がある。そのワーピング後にシークエンスの個々のフレームに対して、ウエイトを与えられた、すなわち、重み付けされた（ｗｅｉｇｈｔｅｄ）時間メジアン操作を施し、その操作を施されたフレームを結合して合成画を作成する。
【００３９】
各フレームを大データスペースにマッピング又はワーピングするには、ズームのフレームシリーズが実質的に一定な焦点距離のフレームのシリーズとしてモデル化（ｍｏｄｅｌｌｅｄ）され、１又は２の動いている被写体を記録する。その状況は相互的（ｒｅｃｉｐｒｏｃａｌ）なものである。記録装置の焦点距離を変化するものとして処理するかわりに、シーン全体が固定焦点距離レンズの記録装置に近づくか、又は遠ざかるものとして処理しても同じことである。
【００４０】
以下の説明において本発明方法の基本的ステップを紹介する。基本ステップを最初に紹介するのは説明を目的としたものであって、決して本発明方法のステップ順を示しているのではない。そのステップの順は基本的概念を紹介した後で説明する。
【００４１】
本発明の基本的ステップはカメラのズームモーションをリカバー（ｒｅｃｏｖｅｒ）するためのものである。本発明の方法は、水平方向、鉛直方向及びスケール方向（水平／鉛直平面に垂直）における像の速度成分としてのカメラズームに影響を受ける連続的フレーム間の変化をモデル化するものである。そのような像ポーションに対するフレーム間の速度はこれらの３方向各々について決定される。その結果どのフレームのいかなるピクセル値も、多重速度（連続的多重フレームのペアを表しているもの）をオリジナル像ポーション（部分）を表しているデータに適用することで異なる焦点距離の１フレーム内の対応位置にワーピング可能である。これに関連する技術は１９９０年４月に発表されたニュージャージー州プリンストンにあるデイビッドサーノフリサーチセンター（ＤａｖｉｄＳａｒｎｏｆｆＲｅｓｅａｒｃｈＣｅｎｔｅｒ）のバーゲンジェイ（Ｂｅｒｇｅｎ，Ｊ．）、バートピー（Ｂｕｒｔ，Ｐ．）、ヒンゴラニアール（Ｈｉｎｇｏｒａｎｉ，Ｒ．）及びペレグエス（Ｐｅｌｅｇ，Ｓ．）らによる表題『３フレームからの２モーション計算』にて開示されている。以下の基本的説明の多くは実質的には前記バーゲン他の論文から借用したものである。
【００４２】
ある像領域のモーションに対する単純で閉じた系での形態予想法は前記バーゲン他により導き出されたものである。まず、像の部分的な小移動は、像シークエンスであるフレームＩ（ｘ，ｙ，ｔ−１）及びＩ（ｘ，ｙ，ｔ）間で生じると考えることができる。このＩ（ｘ，ｙ，ｔ）は、時間ｔにおけるｘ（水平）及びｙ（鉛直）方向に延びている観察像であり、例えば、フレーム２９９にて示されている。Ｉ（ｘ，ｙ，ｔ−１）は時間ｔ−１における観察像であり、例えば、フレーム２９８である。いかなるときにもＰ（ｘ，ｙ）として表されるｘとｙのパターンはすべてのピクセルの速度フィールドである速度ｐ（ｘ，ｙ）で移動しており、ｘ方向とｙ方向双方のモーション成分を有している。モーションフィールドｐ（ｘ，ｙ）はｘとｙにおける変位による以下で表される。
ｐ（ｘ，ｙ）＝（ｐｘ（ｘ，ｙ），ｐｙ（ｘ，ｙ））（１）
このｐｘ（ｘ，ｙ）はｘ方向（ｘとｙの関数）の変位であり、ｐｙ（ｘ，ｙ）はｙ方向（ｘとｙの関数）の変位である。よって、以下の式が導かれる。
Ｉ（ｘ，ｙ，ｔ）＝Ｐ（ｘ−ｔｐｘ，ｙ−ｔｐｙ）（２）
Ｉ（ｘ，ｙ，ｔ）＝Ｉ（ｘ−ｐｘ，ｙ−ｐｙ，ｔ−１）（３）
【００４３】
前記フレームのインターバルを時間の１ユニットとすることで表記を単純化することができる。最小平方誤差（ｌｅａｓｔｓｑｕａｒｅｄｅｒｒｏｒ）技法に従い、測定値とフィールドｐを使用した計算値との間の平方誤差を最小とするモーションフィールドｐ＝（ｐｘ，ｐｙ）を求めるのが有益である。
【００４４】
【数１】

１フレームから次のフレームまでの偏差が小さいと仮定すれば、等式（４）はＩ（ｘ，ｙ，ｔ）の省略テーラーシリーズエクスパンション（ｔｒｕｎｃａｔｅｄＴａｙｌｏｒｓｅｒｉｅｓｅｘｐａｎｓｉｏｎ）により単純化することが可能である。
【００４５】
【数２】

ここにおいて、
【数３】

であり、従って、
【数４】

となる。
【００４６】
像モーションは速度成分の各パラメータ（ｐａｒａｍｅｔｅｒ）に関して等式（６）の導関数（ｄｅｒｉｖａｔｉｖｅｓ）をゼロにセットし（誤差は導関数がゼロのときに最小だからである）、得られる等式システムを解くことで得られる。
もし、像ポーションのモーションが単純移動（ｓｉｍｐｌｅｔｒａｎｓｌａｔｉｏｎ）によりモデル化されるなら、ｐ＝（ａｘ，ａｙ）となり、このａｘ及びａｙはピクセルのユニットにおいて定数となり、光学的フロー（ｆｌｏｗ）等式は以下のようになる。
【００４７】
【数５】

【００４８】
本発明方法の特徴的な適用ケースにおいては、モーションは単純移動によってはモデル化できないことが理解されよう。なぜなら、単純移動は焦点レンズのズームのようにスケール変化のリカバリー又はモデル化を行わないからである。その代わりに、像のモーションは、アファイン変換（即ち直線を直線に、平行線を平行線に変換するが、ポイント間の距離と、ライン間のアングルを変化させる可能性のある変換）としてさらに典型的に正確にモデル化される。この場合、モーションフィールドｐは６個のパラメータであるａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙ及びｃｙを有しており、それらは次のように適用される。
【００４９】
【数６】

【００５０】
ここで、ａｘ及びａｙは上記のごとくであり、ｂｘはｘ方向のｘのパーセンテージスケールファクターであり、ｃｘはｘのパーセンテージローテーションファクターであり、ｙ位置に関係する（ｄｅｐｅｎｄｉｎｇｏｎ）ものである。ｂｙはｙのパーセンテージローテーションファクターであり、ｘ位置に関係し、ｃｙはｙのパーセンテージスケーリングファクターである。ズームにおける１フレームから次のフレームへのａｘとａｙの通常のレンジは、数個のピクセル程度である。残余ファクターの普通のレンジは０．００１から０．１程度である。もし、等式（６）の誤差がこれらの６個のパラメータの各々に関して微分（ｄｉｆｆｅｒｅｎｔｉａｔｅｄ）されると、６個の未知数ａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙ及びｃｙを持つ６個の等式システムが得られる。即ち、
【００５１】
【数７】

である。
【００５２】
このシステムは係数ａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙ及びｃｙについて解かれなければならない。解を得ることは可能である。なぜなら、Ｉｘ，Ｉｙ，及びＩｔ、即ち、ｘ、ｙ及びｔに関する像の部分的導関数は時間ｔ及び時間ｔ＋１の像値から決定可能だからである。Ｉｔは時間ｔ＋１のピクセル値を時間ｔにおける対応ピクセル値から差し引くことで決定される。Ｉｘは時間ｔのピクセル値と時間ｔ＋１の対応ピクセル値を加えて、ｘにおける導関数フィルター（ｆｉｌｔｅｒ）を介してその合計をラン（ｒｕｎ）させることで決定される。Ｉｙはその得られた合計をｙの導関数フィルターを介してランさせることで決定される。これらの３個の値が像内のすべてのピクセルに対して決定されたならば、等式（１０）のシステムは、係数ａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙ及びｃｙについて解かれる。これらの係数を知れば、１つのフレームから次のフレームまでの像の特殊なアスペクト（ａｓｐｅｃｔ）を代表する与えられたピクセル値の位置の変化を決定することが可能となる。
【００５３】
従って、フレーム２０１のピクセル値の位置を決定するために、像のポーションをワープされていないフレーム２０２の像の対応ポーションと合致させるためにフレーム２０１が１ステップ分だけワーピングされた後に、等式９ｘと９ｙの変換がフレーム２０１の各ピクセル値に適用される。図７に示すように、ポイント（ｘ，ｙ）、ピクセル位置（２０、３０）の像ポーションを考慮されたい。（図７はスケールするためものではない。）図７においてオリジナル位置におけるフレーム２０１は、符号２０１にて表される。フレーム２０２のスケールにワーピングされた後、フレーム２０１は２０１２として表される。フレーム２０３のスケールにワーピングされた後には２０１３として表され、この要領でフレーム２０１９９まで続行する。スケールの増加率１０％（１フレームから次のフレームに対するものとしては大きい率）と５個のピクセルの右側へのパンに対しては、フレーム２０１とフレーム２０２間の典型的な係数は以下の値を有している。
【００５４】
【数８】

フレーム２０１のピクセル（２０、３０）での値のｘ方向におけるフレーム２０１からフレーム２０１２へのずれは、５＋（．１×２０）＋（０×３０）＝７となる。その値はｘの正の方向に７ピクセル分移動させ、ｘ位置２７にくることを意味する。ｙ方向のずれは、０＋（０×２０）＋（．１×３０）＝３となり、ｙの方向に３ピクセル分移動してｙ位置３３にくることを意味する。これは図７にて略図的に示されており、フレーム２０１のピクセル位置（ｘ，ｙ）からフレーム２０１２の別位置（その像の同一箇所）へ向かう曲矢印Ａである。
【００５５】
同様に、同じピクセル値をフレーム２０１３にて占める位置にワーピングするには、フレーム２０２と２０３との間で６つの等式（１０）のセットを解くことで得られる係数ａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙとｃｙを使用してフレーム２０１２のピクセル座標（ｃｏｏｒｄｉｎａｔｅｓ）に変換等式（９ｘ）と（９ｙ）を適用することが必要である。それらの係数は、フレーム２０１とフレーム２０２との間で得られたものとは異なるかもしれない。
【００５６】
その変換等式は１次式（ｌｉｎｅａｒ）であり、よってリバース可能（ｒｅｖｅｒｓｉｂｌｅ）である。フレーム２０１のスケールからフレーム２０２のスケールへの変換には係数ａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙ及びｃｙが使用される。フレーム２０２のスケールからフレーム２０１のスケールに変換するには、これらの係数の１次逆元（ｌｉｎｅａｒｉｎｖｅｒｓｅ）が使用される。
【００５７】
以上説明したように、フレーム２０１のポイント（ｘ，ｙ）からのピクセル値はフレーム２０１２の新位置にワーピングされる。ポイント（ｘ＋１，ｙ）からのピクセル値もフレーム２０１２の新位置にワーピングされるが、その位置は典型的にはピクセル（ｘ，ｙ）の値に対応するワーピング位置に隣接することはない。もしこれ以上何の操作もしなければ、フレーム２０１２のこれら２ポイント間のスペースはブランク又は値なしの状態となる。このスペースに情報を入力するには何らかのインタポレーションが必要となる。１次及び双１次（ｂｉｌｉｎｅａｒ）インタポレーションを含む種々な技法が可能である。双１次インタポレーションは効果的に使用されている。
【００５８】
バーゲン、バート他により説明されているように、前記のモーション予想法はズームシークエンスの１フレームから次のフレームまでの像のずれが少ない（１ピクセル以下）前記の省略テーラーシリーズ近似法が適しているの時のみにおいて正確である。図８において略図的に示されている多重解析（ピラミッド）構造（ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎｓｔｒｕｃｔｕｒｅ）を使用することでさらに良い結果が得られ、その技法はより一般的な大きな移動の場合にも適用可能である。
【００５９】
アファイン変換パラメータａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙとｃｙを決定する過程においてガウスのピラミッド（ｐｙｒａｍｉｄ）Ｇは、例えばフレーム２０１と２０２である像フレームペアの各フレームに対して構築される。シークエンスの各メンバーに対して、その解析及びそのサンプルデンシティ（ｄｅｎｓｉｔｙ）が平方根で減じられている（ｒｅｄｕｃｅｄｂｙａｐｏｗｅｒｏｆ２）オリジナル像の修正コピーのシークエンスによりそのピラミッドは形成される。シークエンス２００のフレームの１つがガウスピラミッドシークエンスのベースレベルを形成していることを除けば、例えばＧ２０１，０、Ｇ２０１，１、Ｇ２０１，２、Ｇ２０１，Ｉ等のガウスピラミッドシークエンスのメンバーはシークエンス２００のメンバーとは全く異なっていることが特記されなければならない。
【００６０】
レゾリューション（ｒｅｓｏｌｕｔｉｏｎ）を減少させるために、データはローパスフィルターを通過させられる。このローパスフィルターを通過させることで像の小さな又は素早い移動に関連したデータを排除する。従って、大きなモーションはレゾリューションが最も大きく減少したレベルにて検知される。ローパスフィルターがデータ内の偏差の大部分を排除しているので、存在する全ピクセルに対する計算をする必要性はなくなる。よって、操作対象のピクセル数を減少させるために２程度のサブサンプリング（ｓｕｂ−ｓａｍｐｌｉｎｇ）が適用される。このサブサンプリングは計算の能率を高め、操作のスピード向上に寄与する。サブサンプリングの特徴的なパターンは隔行及び隔列を無視することである。
【００６１】
ピラミッドの各レベルＩは、ローパスフィルターの効果を発揮させるために小核（ｋｅｒｎｅｌ）フィルターωで先行するレベルのデータを収束させることで取得され、続いてサブサンプリングを行う。Ｇｔ，ｌ＝［Ｇｔ，ｌ−１＊ ω］↓_２ここでのＧｔ，ｌは像Ｉ（ｘ，ｙ，ｔ）に対するＩ^ｔｈのピラミッドレベルである。上記↓_２は、括弧内の量がｘとｙに対して２でサブサンプルされていることを示している。例えば、Ｇ２０１，１を得るにはＧ２０１，０をフィルターωで収束し、その結果をサブサンプリングする。
【００６２】
変換の分析は像ピラミッドの低レゾリューションレベル、例えばレベル３にて開始される。４８０スキャンラインと６４０ピクセルにより定義されるオリジナル像に対しては、典型的にはレベル３の分析は良好な結果をもたらす。レベルＩのサンプル距離はオリジナル像のサンプル距離の２^Ｉ倍である。従って、この関係で大きくなる像速度が予想可能となる。追跡手順の各連続的反復にて、分析は次の段階のレゾリューションピラミッドレベルへと移動してオリジナルに近づいて行く。
【００６３】
従って、アファイン変換パラメータの決定は、例えばレベル２にて開始する。まず、ピラミッドＧ２０１とピラミッドＧ２０２の間でａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙに対する等式（１０）を解く必要がある。これは２ステップで行われる。まず、アファイン変換ｐ２のシード（ｓｅｅｄ）セットが選択される。このシードは全部ゼロであっても、ズームによるスケーリングファクター若しくは知られたパン又はジブによるトランスレーションのような変換の知られているアスペクトに近似して選択されたものであっても構わない。これらのアファイン変換はレベル２でのワーピングされた像を得るためにＷ２においてＧ２０１，２に適用される。これは図８において歪んだ方形Ｇ２０１，２ｗにより図示されている。たいていの場合には、このワーピングは次の時間インターバルｔ＋１、即ちＧ２０２，２でのガウスメンバーを正確には提供しないであろう。よって、第２のステップでは調整用アファインパラメータΔｐ２のセットが像の値Ｇ２０２，２とＧ２０１，２ｗ間で予想される。これらは前述で解説されたごとくに予想されるものである。
【００６４】
まず、ローパスフィルタリング及びサブサンプリングを介さずにフレームに対して上記したようにＩｘ、Ｉｙ及びＩｔを解くことが必要である。Ｉｘ、Ｉｙ及びＩｔは、さらに小さくローパスフィルタリングされたデータのサブサンプルセットが使用されることを除けば、同様に計算される。フレーム２０２からフレーム２０１に対する値を引く代わりに、ワーピングされたピラミッドフレームＧ２０１，２ｗからの値がピラミッドフレームＧ２０２，２に対する値から引かれる。このようにして、レベル２の部分的導関数（ｐａｒｔｉａｌｄｅｒｉｖａｔｉｖｅ）が決定され、その後にこのレベル用の調整用アファインパラメータａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙが決定可能となる。調整用アファインパラメータは図８においてΔｐ２として集合的（ｃｏｌｌｅｃｔｉｖｅｌｙ）に示されている。
【００６５】
調整用アファインパラメータのセットは、ガウスシークエンスピラミッド２０１における先行するレベルからのアファインパラメータｐ２と結合されてレベル１、即ちｐ１用のアファインパラメータを形成する。この結合は単純な加算ではない。例えば、新ａｘタームは時間ｔにおけるａｘターム（ピラミッドＧ２０２）や時間ｔ−１におけるａｘターム（ピラミッドＧ２０１）及びｘ方向における他の変化に基づくものである。以下の式はこの関係を説明している。
【００６６】
【数９】

【００６７】
このプロセスは繰り返されるが、今回はレベル１であり、フレーム２０１及び２０２に対する操作過程でアファイン変換パラメータａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙがオリジナルレベルにて取得されるまで全レベルを通して実施される。アファインパラメータは最も正確なところで収束（ｃｏｎｖｅｒｇｅ）するので、ΔｐＩタームはゼロとなる傾向にある。
【００６８】
従って、いかなるフレームのスケールからの１フレーム（例えば、フレーム２２６から次のフレーム２２７のスケール）を変換するワーピングファクターを決定するには、前述の操作が実施される。よって、フレームスケールの各ペアに対して、アファイン変換パラメータａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙのセットが計算される。その後、１フレーム、例えばフレーム２５１を適当なサイズに変換するには、まずフレーム２５１と２５２に対する先行する分析により決定されたアファイン変換パラメータａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙを使用してフレーム２５２のスケールに変換される。次に、その変換されたフレーム２５１２はフレーム２５２と２５３に対する先行する分析により決定されたアファイン変換パラメータａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙを使用してフレーム２５３のスケールに変換される。このプロセスは繰り返され、フレーム３００のスケールにて大データスペースにそのフレームが変換されてしまうまで継続される。
【００６９】
前記の方法は、もしカメラ又は被写体（どちらでもよい）間の相対的モーションがほとんど存在しないか又はまったく存在しないならば良好に作用し、唯一の像変化はズーミングによるものとなる。しかしながら、実際上はそのようなモーションを排除できることが望ましい。いくつかの方法が考えられる。基本的ではあるが効果的な方法は全フレームを視覚的に検査することであり、視域を横切る人のように大きなモーションを特定することである。モーションが各フレームにおいて生じる領域をカバーするためにマスクが利用可能であり、この領域は変換時には無視することができる。最終的なピクチャーのマスク位置を設定するのに望ましいピクセル値をオペレータは手動にて選択する。
【００７０】
別の方法は図９にて略図的に示すように、２つのモーションを追跡するバーゲンとバート他により解説されている技法を利用することである。データはモーションのペアに照らし合わせて評価される。ここでの像Ｉ（ｘ，ｙ，ｔ）はそれぞれ独立したモーションｐとｑを有する異なる像パターンＰ及びＱの組み合わせとしてモデル化される。Ｉ、Ｐ及びＱ間の関係は以下のごとくである。
【００７１】
【数１０】

上記等式中の○と＋を重ねた記号は、以下において便宜上（＋）と表記する。
【００７２】
ここでは、オペレータ（＋）は、加算又は掛け算のごとき２モーションを結合させるためのオペレーションを表し、Ｐ^ｔｐは時間ｔを通じてモーションｐにより変換されたパターンＰを表しており、バーゲン及びバート他は、もしモーション成分の１つ、及び結合ルール（＋）が知られていれば、パターンＰ及びＱの性質について予想をたてることなく、前述の１成分モーション技法を活用して他のモーションを計算することが可能であることを示している。もし、モーションｐが知られていれば、モーションｑのみを決定すればよく、その逆のこともある。速度ｐで移動しているパターンＰの成分は各像フレームをｐによりシフトし、そのシフトしたフレーム値を次のフレームから差し引くことにより像シークエンスから排除することが可能である。得られる差（ｄｉｆｆｅｒｅｎｃｅ）シークエンスは速度ｑにて移動しているパターンのみを含んでいる。
【００７３】
特殊な場合には、結合オペレーション（＋）は加算である。シークエンス２００の３フレームＩ（１）、Ｉ（２）及びＩ（３）の場合について考えてみよう。変数Ｄ１及びＤ２をそれぞれそれらのフレーム間で発生した差フレームに当てはめてみよう。等式１１は以下のようになる。
【００７４】
【数１１】

【００７５】
これは１ステップにてパターンＰを変換するための３０２におけるＩ（１）のワープとして図９において略図的に示されている。この次の段階はパターンＰのモーションの影響を取り除くための３０４におけるＩ（２）の減算である。その結果得られるものはＤ１、即ち差（ｄｉｆｆｅｒｅｎｃｅ）シークエンスの１要素である。Ｄ２はパターンＰのモーションにより３０６でワーピングされたＩ（３）とＩ（２）間の３０８における差により同様に形成される。
【００７６】
変更シークエンスは１モーションｑで移動する新パターンＱ^ｑ−Ｑ^ｐから構成されることになる。
【数１２】

【００７７】
従って、モーションｑは前述の１モーション予想技法を活用して２つの差（ｄｉｆｆｅｒｅｎｃｅｉｍａｇｅｓ）像Ｄ１とＤ２を間で計算可能となる。このことが図９にて３１０で略図的に示されている。同様に、モーションｐはｑが知られているときにリカバー可能となる。観察された像Ｉ（ｘ，ｙ，ｔ）はｑによりシフトされ、新しい差シークエンスが形成される。
【００７８】
【数１３】

このシークエンスは速度ｐにて移動しているパターンＰ^ｐ−Ｐ^ｑである。
【数１４】

よって、ｐは１モーション予想技法を活用してリカバー可能となる。
【００７９】
このシフト及び減法手順はパターンに関わりなく、又はパターンを決定することなく像シークエンスから１つの移動パターンを取り去る。実際上はｐもｑも最初は知られていない。しかしながら、最初に非常におおまかな予想値を選択したとしても、それらの両方ともが前記の技法を反復することによりリカバー可能である。この反復手順は１モーション技法を反復的に適用する。モーションｐを定義するパラメータのおおまかな予想値で始めても、ｑの予想値は取り出され、３１２にてワーピングステップの３０２と３０６にリターンされる。予想値ｑから改善予想値ｐが取り出され、３１２にてワーピングステップ３０２と３０６にリターンされる。この手順を繰り返す。この手順にて正確な予想値に素早く収束する。本当の像シークエンスを使用して、３から１２サイクル後には要求を満たす変換が可能になる。
【００８０】
本発明のこの部分のステップを要約すると以下のごとくとなる。
１。パターンＰのモーションｐ０に対する（ついて）初期予想値を決定する。
２。最新のｐｎ予想値を使用して等式（１２）における差像（ｄｉｆｆｅｒｅｎｃｅｉｍａｇｅｓ）Ｄ１及びＤ２を形成する。
３。１（シングル）モーションエスチメータをＤ１とＤ２に適用してｑｎ＋１の予想値を得る。
４。予想値ｑｎ＋１を使用して新差像Ｄ１及びＤ２を形成する。
５。１（シングル）モーションエスチメータを新しいＤ１とＤ２に適用して新ｐｎ＋２を取得する。
６。ステップ２から手順を繰り返す。
【００８１】
この２モーション技法に従って取り出された２セットのアファインパラメータを観察することで、移動シーン又はカメラモーションを特定することが可能となる。一般的に、ズームワーピングのみに関係するパラメータは１フレームから次のフレームにスムーズに、またほんの少々変化するだけである。像モーション又はカメラモーションに関係するパラメータはズームによるものとは異なる変化を示す。これらの相違する変化は検査により観察可能である。
【００８２】
１フレームペアから次のフレームペアまでのアファインパラメータを自動的に比較し、その変化が予め設定したレベルを越えるときには遮光装置を機能させる（ｔｒｉｇｇｅｒｉｎｇａｆｌａｇ）ことでシーン又はカメラのモーションの特定を自動化することは理論的には可能である。１つの可能性を有する技法はフレームの２ペアのアファインパラメータ間の差を設定した数の先行フレームペアの標準偏差（ｓｔａｎｄａｒｄｄｅｖｉａｔｉｏｎ）と比較することである。例えば、７０のフレームのシークエンスに対しては、少なくとも１０のフレームペアの標準偏差を決定することが一般的である。
【００８３】
もし、カメラとシーン内の要素の両方ともが移動しているとき、２個以上のモーションが存在し、カメラモーションを排除するためのさらに一段上の方法が便利である。前述したアファインの２モーション予想法とマスキング技法を組み合わせると便利な結果をもたらすことが発見されている。像内のずれベクトルの確率デンシティ関数を決定することもまた便利であろう。一般的な理解には、１９９０年６月にアメリカ合衆国マサチューセッツ州ケープコッドにて開催されたアメリカ光学学会の『機械理解及び機械視覚総会』の議事録内にあるギロッドビー（Ｇｉｒｏｄ，Ｂ．）とクオデー（Ｋｕｏ，Ｄ．）による「ずれヒストグラムの直接的予想法（ＤｉｒｅｃｔＥｓｔｉｍａｔｉｏｎｏｆＤｉｓｐｌａｃｅｍｅｎｔＨｉｓｔｏｇｒａｍｓ）」を参照するのがよい。ここにはフレーム間で移動する異なる被写体の数と、それらに対応するずれベクトルがどのようなものであるのかについての情報が掲載されている。ローカルブロックマッチングエスチメータ（ｌｏｃａｌｂｌｏｃｋｍａｔｃｈｉｎｇｅｓｔｉｍａｔｏｒ）がそれらの移動被写体を空間的に位置取りさせるのに使用されている。移動被写体の領域は計算によりマスク処理が施され、その後にアファイン予想値が計算される。
【００８４】
フレームペア間のずれが小さいものであって、突き当たったり、焦点距離の急激な変動のごとき予期しないカメラ移動がまったく存在しないと仮定すれば、アファインパラメータはフレームペア間ではあまり異なるものではない。前述のごとくにパラメータが決定された後、その係数は見せ掛けの値を取り除くために簡略化される。
シークエンス２００の各フレームからのＹチャンネルデータがワーピングされれば、決定されたアファインパラメータはフルカラー映写の変換を提供するために、例えば位相及び求積法（ｐｈａｓｅａｎｄｑｕａｄｒａｔｕｒｅ）で他のチャンネルに適用される。
【００８５】
ワーピングされた短焦点距離フレーム２０１のフルラスタ（ｆｕｌｌｒａｓｔｅｒ）が満たされた後、１フレームから次のフレームまでのアパーチャ設定の変分のごときトーンに影響を及ぼす変化を補うためにトーンスケール補正を実施することができる。中央の像から始めて、２つの像が隣接する箇所周辺で光度のサンプルが採られる。データにスプライン（ｓｐｌｉｎｅ）がフィットされ、大きい方の像（低めの解像度）のピクセルが小さい方の像のピクセルに変更される。その後にこの補正像のトーンスケールは次の大きさのワーピングされた像との比較に用いられ、最大の像までこの手順が繰り返される。
【００８６】
シークエンス２００の各フレームからのフルカラーデータが同じデータスペースにワーピングされたら、各ピクセルに対する１フレームからのデータは他の全フレームのデータと組み合わせる必要がある。いくつかの技法が可能である。最も基本的な技法は最高の解像度を有するフレームから最終合成ピクチャー用のピクセル値を選択することである。図６において示されているように、フレーム２９９がワーピングされたものであるフレーム２９９ｗが一般的にその合成ピクチャーの中央部を占め、このフレームはその像の中央部に関して最も高い解像度となるであろう。フレーム２９８からの情報は中央部の環状方形部位を占め、この情報はこの部分に可能な最高の解像度となる。フレーム２９７からの情報はフレーム２９８ｗの環状領域周辺の多少大きな軸の環状方形部位を占め、このようにして第１フレーム２０１ｗの環状周囲がワーピングされた像（ｆｉｇｕｒｅ）の最も外部を占めるまで続けられる。
【００８７】
上記手順にて好ましい結果が得られるが、明瞭なエッジ部が現れ種々のフレームから発生した領域間の境界線を際立たせる。この理由によりあるピクセルに対してシークエンスのワーピングされた全フレームにウエイト関数（ｗｅｉｇｈｔｉｎｇｆｕｎｃｔｉｏｎ）が適用されそのピクセルの値としてウエイト値のメジアンがとられる。図１０に示すようにピクセルの位置はベクトルＶにより示され、像の同一位置にワーピングされた全フレーム、即ち２０１ｗから２９９ｗまでを突き抜ける。前記ウエイトファンクションはベクトルＶに沿ってその像値（ｉｍａｇｅｖａｌｕｅｓ）に適用される。典型的なウエイト関数は図１１のグラフにて示されている。図から分かるように、そのウエイト関数は上向きに凹形状であり、クロースインズームショット（ｃｌｏｓｅｉｎｚｏｏｍｓｈｏｔ）からのピクセル値は最大のウエイト、おそらく１００％が付与される。望む効果に応じて種々のウエイト関数が適用可能となる。一般的には低い方の解像度を有するフレームよりも高い解像度を有するフレームに対してさらにヘビーなウエイトが付与される。
【００８８】
多少不自然ではあるが低い方の解像度を有するフレームのシークエンスから、高い解像度を有する１静止画像を得る方法のブロック作成について述べてきた。図１３には、実質的に好ましい順序でその方法のステップが示されている。ビデオフィールドのシークエンスは４０２にてとられる。フィールドは一連のフレームを作成するために４０４で脱インターレースされる。このポイントで交互的パス（ａｌｔｅｒｎａｔｅｐａｔｈ）が取得可能となる。被写体又はカメラモーションは、４０６にてズームモーションから分離することができ、その後にアファイン変換係数ａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙを発生させるために光学系フロー分析がなされる。４０４においてステップ４０８に分岐（ｂｒａｎｃｈ）することが可能であり、それにより光学系フロー分析と、被写体又はズームモーションからのカメラモーション分離とを結合させる。この分岐は、また係数ａｘ、ｂｘ、ｃｘ、ａｙ、ｂｙ及びｃｙを生じさせる。次に４１２においてそのアファイン変換が各フレームに対して必要な回数だけ適用され、各フレームに対して高い解像度ラスタ（ｒａｓｔｅｒ）での対応フレームが創出される。図１１に示す時間メジアンフィルターは、４１４にて全フレームに適用され、最終合成は４１６にて高解像度ラスタでの各ピクセル位置で時間メジアンフィルターによりフィルターされているワーピングされた各フレーム２０１ｗ、２０２ｗ等に対するそのピクセルでの値を加算することで形成される。
【００８９】
本発明装置の好適実施例は図１４において略図的に示されている。シーンから反射した光、又はシーンにより伝達される光を採り入れてビデオカメラ等の入力装置５００はシーン５０２に適用される。その光は前記入力装置又は標準コンバーター５０４により電気信号に変換される。コンバーター５０４又は入力装置５００から、データはメモリー装置５０６又はデータプロセスユニット５０８を通過する。メモリー装置５０６はフィールド（ｆｉｅｌｄ）によって、またさらにデータが変換されるどのような他の形状（ｃｏｎｆｉｇｕｒａｔｉｏｎｓ）にも従ってデータを記録することができる。前記データプロセスユニットは、典型的には適正にプログラムされた汎用デジタルコンピュータである。オペレータはコンピュータキーボード等の入力装置５１０を介してデータプロセスユニット５０８にコマンドを発する。これらのコマンドは前述の本発明方法のステップを行使するようにコンピュータに対して指示する。指示の内容は、例えば、そのフィールドの脱インターレーシング、差シークエンス（ｄｉｆｆｅｒｅｎｃｅｓｅｑｕｅｎｃｅｓ）を創出することによる２又はそれ以上の移動被写体の特定、アファイン変換係数の計算、全フレームを望むデータスペースにワーピングすること、ウエイトされた時間メジアンフィルターに従いワーピングされたフレームからのデータを結合させ合成ピクチャー映像に導く、等々である。各ステップでの変換されたデータはメモリ装置５０６に記録可能であり、プリンター、ビデオディスプレー装置又は他の適当な出力装置等の一般的な出力装置５１２に出力可能である。さらに、データは追加的操作を施したり、蓄積又はディスプレーを行うために遠隔地（ｒｅｍｏｔｅｌｏｃａｔｉｏｎ）に伝達することもできる。
【００９０】
尚、比較的低解像度でワイドアングルを有するショットにおいては、多くの箇所は不鮮明である。一方、本発明の方法に従って作成された合成ピクチャーの中央部は鮮明で焦点がぴったりと合っており、詳細までくまなく示している。
【００９１】
以上の解説は本発明の説明を目的としたものであり、発明の限定を意図したものではない。ビデオ以外においても、静止画像のシークエンスを利用するいかなる記録技術でも使用可能である。もしその記録技術がピクセル値を発生しないならば、その記録装置により発生されたデータは周知である本分野技術の方法に従いピクセル又は等価なデータスペースにコンバートすることが可能であり、また有効である。ここに紹介した技法に加え、ズームモーションからのカメラモーション又はシーン内のモーションを分離するための種々な技法が適用可能である。さらに、アファイン変換係数を計算するのにガウスピラミッドのステップを利用する必要もない。その計算はそのフル（ｆｕｌｌ）高解像度フレームに対して施されるもののごとき他の方法によっても可能である。
【００９２】
本発明の方法はズームからの１静止画像の場合以外に一連のパンショット及びジブショットからの１パノラマ静止画像を創出する場合にも利用可能である。そのような場合には、全フレームは全パノラマシーンと同じスペースを有するデータスペースにワーピングされることになる。互いに重なり合った焦点距離の異なるピクチャーの山とはならないであろう。むしろ、エッジ部がオーバーラップした一連のピクチャーとなるであろう。ズームシークエンスに適用された実施例においては、ワーピングの主要な要素は各フレームからのデータを拡大してシーンの像を互いに整合させることである。シーンの全像が互いにアラインするようにデータをワーピングすることはまたズーム系適用の１重要面である。この特徴により、例えばカメラモーション又は被写体のモーションによるモーションを取り去ることができる。
【００９３】
パノラマ系適用においては、この拡大する特徴は重要ではなく、たいていの場合には使用されもしない。しかしながら、そのアライメントの観点からは大変重要であり、パノラマシーンの全域的視域が連続的データスペースとして表されているならば、各フレームはその全域的視域の限られた部分を取り上げることになる。ズーム系適用の場合とは異なり、パノラマ系適用における各フレームは同じ焦点距離で創出される。各フレームの像が別のフィールドの同一像と合致するように、全域的データスペースでのフレームからのデータをアラインするために本発明の方法を使用するこが必要である。本発明の方法は、主にショット間のつなぎ目に適用される。もしパンのスピードがフレーム周波数に比べてゆっくりならば、つなぎ目におけるフレーム間のオーバーラップは非常に大きくなる。
【００９４】
パノラマシーンの特定部分でさらに鮮明な画像を得るためにズーム処理をパノラマ処理と結合させることは本発明の思想内である。
本発明の技術を被写体とビデオの非連続的なセグメントからのフレームと結合させるために使用することも可能である。
【００９５】
本発明はビデオカメラにより得られたデータの範囲にて記述されてきたが、本分野の通常の技術者であれば、本発明の方法は、いかにして得られたものであろうともデジタル像を表すデータにも使用可能であることが理解されるであろう。例えば、異なる焦点距離で撮影された一連のスチール写真は前述した方法により組み合わせて特定の部分の像を補強した１像を形成することができる。同様に、パノラマスペース内で種々な位置を描写している一組みのスチール写真を本発明の技法に従って組み合わせ、１枚のパノラマ像を作成することができる。この中ではその種々な像部分はリカバーすることが可能であり、共通な焦点距離であるが異なる視域を有する１組みのばらばらとなった静止画像内にはパノラマ像の元の人工的要素はほとんど示されていない。
【００９６】
本発明は「特許請求の範囲」により特定された全実施例を含む明細書中の記載に照らし合わせて考慮されるべきものであり、さらに合理的範囲内でのそれらの等価形態をも併せて考慮されるべきである。
【００９７】
【発明の効果】
以上詳述したように、本発明は、以下の利点を備えた比較的に高解像度を有する静止画像を創作する方法及び装置を提供することができる。
１）像全体にわたり高解像度で情報を取得する必要がない。
２）あまり重要ではない像の大部分に関して情報を収集する必要がない。
３）種々な焦点距離又は視域の標準的ビデオ像のシークエンスを入力要素として取得できる。
４）標準的フィルム像のシークエンスを入力要素として取得できる。
５）望む像のいかなる部分でもその解像度を増強する。
６）適正にプログラムされた汎用デジタルコンピュータ及び標準型ビデオ又は映画装置が使用可能である。
【００９８】
さらに、本発明によれば、過剰なデータ保存及びアクセス能力を要せず、あるシーンのパノラマビューを観察者に提供し、その観察者にそのシーンの１位置から他の位置までのナビゲーションを可能とする方法を提供することができる。
又、デジタル化されたいかなる形態の像データであろうとも前記能力を発揮させることができるという優れた効果を奏する。
【図面の簡単な説明】
【図１】撮像装置の焦点距離と撮影されたシーン部分との関係を略図的に示す図である。
【図２】ビデオフィールドとビデオフレームのペアの概略を示す図である。
【図３】組み合わされてビデオフレームを構成する典型的なビデオフィールドのペアのインターレーシング（ｉｎｔｅｒｌａｃｉｎｇ）を示す図である。
【図４】実質的に同じシーンのビデオフレームのシークエンスを略図的に示したものであり、短い焦点距離から比較的長い焦点距離にズームインした状態を表す図である。
【図５】最も短い焦点距離（ワイドアングルな視域）のビデオフレーム内シーンの部分の概略を示す図であり、徐々に長くなる焦点距離のフレームのシークエンスの残りメンバー内に供給されている。
【図６】図４において示すシークエンスの各ビデオ像（図６の左側に示されている）の同一サイズデータスペースにマップ（ｍａｐ）又はワープ（ｗａｒｐ）した状態の概略を示す図であり、そのサイズは拡大されたサイズの最も低い解像度フレームである。
【図７】元は比較的短い焦点距離で記録された１フレームをそのシーンの連続的拡大関与するデータスペースにワープしている状態の概略を示す図である。
【図８】シークエンスにおける複数のフレーム間の荒いモーション及び繊細なモーション両方を特定する方法の概略を示す図である。
【図９】フレームのシークエンスにおける２つの移動する被写体のモーションを特定する方法の概略を示す図である。
【図１０】同一データスペース内にワープされた後のシークエンスの各フレームの概略を示す図であり、最終的映像化に再構築されるようにアラインされている状態を表し、各フレームの共通ポイントを通るベクトルが示されている。
【図１１】最終的な像を構築するのに使用されるウエイト因子（ｗｅｉｇｈｔｉｎｇｆａｃｔｏｒ）とそのウエイト因子が適用されているワープされたフレームの元の焦点距離との間の関係を示すグラフ図である。
【図１２】最終的な再構築像とその構築要素の概略を示す図である。
【図１３】本発明の方法の好適実施例を説明するフローチャート図である。
【図１４】本発明の装置の好適実施例の概略を示す図である。
【符号の説明】
２像
４焦平面
６中央部

Claims

あるシーンの静止画像を発生させる方法であって、以下記載のステップから成り立っていることを特徴とする静止画像発生方法：
ａ。互いに異なる焦点距離にて創出されている複数の像を得るステップ
ｂ。前記各像に対してその像を表す信号を発生させるステップ
ｃ。共通の焦点距離にスケールされたそれぞれ対応する像を表すように前記各信号を変換するステップ
ｄ。前記スケールされた各像が１つの画像に組み合わせられるように、前記変換された各信号を結合するステップ。
前記各信号の変換ステップは以下のステップから成り立っていることを特徴とする請求項１記載の静止画像発生方法：
ａ。前記各像を表す信号に少なくとも１のアファイン変換を施すステップ
ｂ。前記変換された複数の像をそれぞれ表す信号を発生させるステップ。
前記少なくとも１のアファイン変換を施すステップは、解像度が減じられた修正フレームのシークエンスを発生させ、サンプル化し、当該修正フレームに対して少なくとも１のアファイン変換を施すステップを有していることを特徴とする請求項２記載の方法。
前記少なくとも１のアファイン変換を施すステップは、以下記載のステップから成り立っていることを特徴とする請求項２記載の方法：
ａ。前記複数の像をシークエンス内で並べ替えるステップ
ｂ。前記シークエンス内の各像ペアに対して、当該ペアの第１像から第２像への変換を実質的に定義する１組のアファインパラメータを決定するステップ
ｃ。前記複数の像のそれぞれに対して、前記アファインパラメータの複数組を結合し、１組のアファインパラメータに合成するステップ
ｄ。それぞれ対応する前記合成された１組のアファインパラメータを利用して、アファイン変換を前記各像に対して施すステップ。
前記結合ステップは、各スケールされた像を表す信号に時間メジアンフィルターを適用するステップを有していることを特徴とする請求項１記載の方法。
前記時間メジアンフィルターを適用するステップは、各スケールされた像からの対応する信号に、ウエイトを与えられた時間メジアンフィルターを適用するステップを有することを特徴とする請求項５記載の方法。
前記ウエイトを与えられた時間メジアンフィルターは、比較的短い焦点距離で創出された像に対するよりも、比較的長い焦点距離で創出された像に対して大きなウエイトを割り当てるフィルターを有していることを特徴とする請求項６記載の方法。
変換ステップの前に信号ペア間の変化を特定するステップをさらに含み、当該変化は当該信号により表されている像を創出する手段のモーションと、シーン内の要素のモーションにより引き起こされるものであって、像間の焦点距離の差により引き起こされるものではないことを特徴とする請求項１記載の方法。
複数の像を得る前記ステップは複数のビデオ像を記録するステップを有していることを特徴とする請求項１記載の方法。
前記変換ステップは、互いにアラインされたそれぞれの像を表すように各信号を変換するステップをさらに有していることを特徴とする請求項１記載の方法。
結合ステップの前に、２つの像が相違する焦点距離にて創出された事実以外の要因による像ペア間の相対的モーションを特定するステップをさらに有していることを特徴とする請求項１記載の方法。
前記相対的モーションを特定するステップは以下記載のステップから成り立っていることを特徴とする請求項１１記載の方法：
ａ。あるペアの両像の第１パターン部分の第１相対的モーションを予想するステップ
ｂ。両像の第２パターン部分の第２相対的モーションを決定するために前記予想された第１相対的モーションを利用するステップ
ｃ。相対的モーションの満足できる解像度が得られるまで以下のステップを繰り返すステップ；
ｉ。前記第１パターン部分の前記第１相対的モーションをさらに正確に特定するために前記第２相対的モーションを使用するステップ
ｉｉ。前記第２パターン部分の前記第２相対的モーションをさらに正確に特定するために前記第１相対的モーションのさらに正確なスペックを使用するステップ。
あるシーンの静止画像を発生させる装置であって、以下記載の手段から成り立っていることを特徴とする静止画像発生装置：
ａ。複数の像を創出する手段であって、当該複数の像のそれぞれは他と異なる焦点距離にて創出されたものであることを特徴とする像創出手段
ｂ。前記各像に対してその像を表す信号を発生させる手段
ｃ。共通の焦点距離にスケールされたそれぞれに対応する像を表すように各信号を変換する手段
ｄ。前記各スケールされた像を１焦点距離の１画像に結合させてなる最終的な信号を示すように前記各変換された信号を結合する手段。
前記複数の像を創出する手段はビデオ記録装置から構成されることを特徴とする請求項１３記載の装置。