JP2000511715A

JP2000511715A - 計算効率の良いデジタル画像ワーピング

Info

Publication number: JP2000511715A
Application number: JP09537130A
Authority: JP
Inventors: ローマイヤー，マーク，エス．; バート，ピーター，ジェフリー; ヴァル，ゴイツェン，ジーメンファンデル
Original assignee: サーノフコーポレイション
Priority date: 1996-04-18
Filing date: 1997-04-17
Publication date: 2000-09-05
Also published as: EP0920671A1; US6061477A; DE69723451T2; WO1997039420A1; DE69723451D1; EP0920671B1; EP0920671A4

Abstract

(57)【要約】デジタル画像ワーパーシステム（５）は、入力画像からワープ出力画像(warped output image)を生成する。ワーパーシステムはサンプル画像のサンプリング速度をナイキスト速度(Nyquist rate)より上に増加させるか、あるいはアナログ画像をナイキスト速度より高い速度でサンプリングすると共に、アップサンプル画像(upsampled image)を前置フィルタにかけて、ワーピング動作中に起るフィルタリングを阻止する（１０）。再サンプリング用の補間回路(interpolator)を使ってアップサンプル画像をワープさせ、ワープしたアップサンプル画像を生成する（２０）。補間回路は、例えば双線形補間回路等の低品質補間回路である。ワープ画像は次に、入力画像と同じ解像度までダウンサンプリング(down-sampled)されて、ワープ画像を生成する（３０）。ダウンサンプリングとワーピングは、アップサンプル画像のワーピング時に実施される幾何学的変換関数を修正することによって、一つのステップに組み合せることができる。

Description

【発明の詳細な説明】計算効率の良いデジタル画像ワーピング発明の分野本発明は画像データをデジタル的に処理する方法と装置に関し、詳細には、高品質なデジタル画像ワープ(digital image warp)を行うための方法と装置に関する。発明の背景画像ワープには二つの基本的な構成要素、すなわち（１）空間的変換と、（２）補間(interpolation)による再サンプリング(resampling)がある。空間的変換は入力画像とワープ画像(warped image)内の各点間の幾何学的関係を定める。逆マッピングは、ワープ画像のピクセル値を、入力画像のピクセル間に配置されることができる入力画像のピクセル値に対してマッピングする。従って、補間を使って、入力画像内の非統合位置(non-integral positions)からピクセル値を発生させることが望ましい。再サンプリングの使用に必要な補間を行うための現行のハードウェア方式は、ソース画像のピクセルのアドレス値まわりのピクセルの２×２近傍を使用して、ワープ画像の各ピクセル値を計算する。これは通常、双線形補間(billnear inte rpolation)と呼ばれる。双線形補間は、補間のために四つのピクセルの局所近傍と、これらの四つのピクセルの加重平均とを使用する。リアルタイムの実行のために、四つのピクセル値は各クロックサイクルで同時にアクセスされる。次に、四つのピクセル値に適切な重みを乗じて合計し、ワープ画像のピクセル値を生成する。双線形補間を実行するための上記システムの一つは、１９８９年１月２１日付けのTRW LSI Products DivisionのSteve Gomezによる「Real-time Bilinear Int erpolation Using the TMC2301」に記載されている。このシステムは、双線形補間の実行時に並列でアクセス可能な四つの独立メモリを使用する。システムは、加重平均を決定するための係数を記憶するルックアップテーブルも含む。重み係数は入力画像からのそれぞれのピクセル値を乗じた後に合計し、ワープ画像のピクセル値を生成する。「Real-time Bilinear Interpolation Using the TMC2301 」の双線形補間に関する教示内容は、本明細書に援用されている。次に、高品質の補間回路は、入力面像中の３×３ピクセルエリアを使用してワープ画像の各ピクセル値を計算する。このタイプのワーパーの複雑さと費用は双線形補間回路に比べて劇的に増加する。９つの独立メモリ、９つの係数、および９項の積和(sum of products)が要求される。サイズとパワーとコストが重視される用途では、この解法は受け入れられない。例えば４×４以上のより良好な補間が要求される場合、この問題は一層大きくなる。これらの欠点を克服するために、新しいワーパー方法とシステムを提供する。発明の概要本発明は、入力画像からワープ画像を生成するデジタル画像ワーパーシステムに関する。ワーパーシステムはサンプリングされた画像のサンプリング速度をナイキスト速度より上に増加させるか、あるいはアナログ画像をナイキスト速度より高い速度でサンプリングする。アップサンプル(upsampled)画像は再サンプリングを行うための補間回路を使ってワープされ、ワープされたアップサンプル画像を生成する。補間回路は、例えば、双線形補間回路等の低品質補間回路である。ワープ画像は、その画像を生成するために、入力画像と同じ解像度までダウンサンプリング(down sampling)される。アップサンプル画像をワープするときに実行される幾何学的変換関数を変更することにより、ダウンサンプリングとワーピングを組み合せて一つのステップにすることができる。上記の説明と下記の詳細説明の双方は本発明を例示するものであって、本発明を制限するものではないことは言うまでもない。図面の簡単な説明本発明は、添付の図面に関連して読むことによって、下記の詳細説明から最も良く理解される。図１は、デジタル画像ワーピングシステムに関する、本発明の典型的実施形態のブロック図である。図２は、本発明の典型的実施形態による、図１に示すアップサンプラー１０のブロック図である。図３は、図２に示すアップサンプラー１０の更に詳細なブロック図である。図４は、図２と図３に示すアップサンプラー１０の概念的動作を示すデータ構造図である。図４ａは、アップサンプル画像信号２０７を表し、ここでアップサンプル画像信号２０７のピクセル値は番号変更(renumbered)されている。図５（ａ）〜図５（ｃ）は、図４に示す入力画像信号２０５、中間画像信号２０６、およびアップサンプル画像信号２０７の典型的な空間周波数スペクトルを示すそれぞれのフーリエ変換である。図６は、本発明の典型的実施形態による、図１に示すワーパー２０のブロック図である。図７は、入力画像、アップサンプル画像、およびワープ画像を示すデータ構造図である。図８は、本発明の典型的実施形態による、図１に示すワーパー２０の動作を説明する流れ図である。図９（ａ）は、本発明の典型的実施形態によるダウンサンプラー３０の動作を説明するアップサンプル画像信号２０７、中間ワープ画像、およびワープ画像７００、それぞれのフーリエ変換を示す。図９（ｂ）は、入力画像信号のアップサンプリングを含まない双線形補間を使用した、入力画像信号のフーリエ変換である。図９（ｃ）〜９（ｆ）は、図７に示すデータ構造図の拡大図である。図１０は、単一集積回路（チップ）で実行されるデジタル画像ワーパーに関する本発明の別の典型的実施形態のブロック図である。図１１は、図１０のワーパーチップの動作の説明に役立つタイミング図である。発明の詳細な説明概要本発明の典型的実施形態は、入力画像からワープ画像を生成するデジタル画像ワーパーシステムに関する。ワーパーシステムは、サンプリング画像のサンプリング速度をナイキスト速度より上に増加させる。通常、ワープされるデジタル画像はナイキスト速度でサンプリングされる。サンプリング速度を増加させることは、一定数のサンプルによって表される空間周波数を減少させる。サンプリング速度の増加は、アナログ画像をナイキスト速度より高速でサンプリングするか、あるいはすでにナイキストでサンプリングされた画像をデジタル的に処理してそのサンプリング速度を増加させることによって（例えば各サンプルを倍増したり、３倍にすることによって）達成される。これらの二つのアプローチのうち後者では、ワーパーシステムのモジュール性が、より大きい処理システム内で保たれる。アップサンプル画像は再サンプリング用の補間回路を使ってワープされて、ワープされたアップサンプル画像を発生させる。補間回路は、双線形補間回路等の比較的低品質補間回路でよい。ワープ画像は次に、その画像を生成するために、入力画像と同じ解像度までダウンサンプリングされる。ダウンサンプリングとワーピングは、アップサンプル画像をワープするときに実行される幾何学的変換関数を変更することにより組み合せて、一つの構成要素にすることができる。典型的実施形態の説明ここで、類似の符号がすべて類似の要素を表す図面を参照すると、図１は、本発明の典型的実施形態によるデジタル画像ワーピングシステム５を示す。入力画像信号２０５はアップサンプラー１０に提供される。入力画像信号２０５は、ナイキスト速度またはそれより高い速度でサンプリングされて、基調となるアナログ画像を完全に表示する。アップサンプラー１０は入力画像信号２０５を、例えば係数２^N（ここにＮは０より大きい正の整数）によって補間して、サンプル数、すなわち入力画像信号２０５中のピクセル値を増加させる。補間は係数２^Nに限定されない。アップサンプリングは、同一のサンプル倍増係数を使って、入力画像信号２０５の垂直方向と水平方向に行われる。例えば、入力画像２０５が５１２ピクセル値×５１２ピクセル値を有する場合、係数２によるアップサンプリングは、１０２４ピクセル値×１０２４ピクセル値を有するアップサンプル画像信号２０７を生成する。係数４によるアップサンプリングは、２０４８ピクセル値×２０４８ピクセル値のサイズを有するアップサンプル画像信号２０７を生成する。入力画像信号２０５は、例えば、２５６ピクセル値×２５６ピクセル値である。かくして、係数２によるアップサンプリングは、５１２ピクセル値×５１２ピクセル値を有するアップサンプル画像信号２０７を生成する。代りに、アップサンプラー１０にアナログ入力信号を提供することができる。この構成で、アップサンプラー１０は、ナイキスト速度の２^N倍の速度でアナログ入力信号をサンプリングして、アップサンプル画像信号２０７を生成する。アップサンプラー１０は、図２に示す高品質補間フィルタである。アップサンプラー１０は、分離可能フィルタを使って両方向に、入力画像信号２０５を係数２でアップサンプリングする。アップサンプラー１０は、ワープ画像の画像品質を改善するために、図１に示すワーパー２０によって減衰させられる周波数成分をわずかに上げる。入力画像信号２０５は、垂直フィルタ２１０と垂直フィルタ２２０とに直接提供されると共に、ライン遅延２００を介して提供され、各ライン遅延２００は、入力画像の一つのライン全体を１ライン期間遅延させる。垂直フィルタ２１０は単体フィルタで、入力画像信号２０５の偶数ラインのピクセル値を通過させる。垂直フィルタ２２０は２の累乗の和となるように選択される係数値を有する４タップフィルタである。この係数値は−０．０９３７５、０．５９３７５、０．５９３７５、および−０．０９３７５（それぞれ−３／３２、１９／３２、１９／３２、および３／３２）である。垂直フィルタ２２０を実行するために使用される乗算は、これらの係数値を使うことによって、算術桁送りと和の演算に簡易化される。垂直フィルタ２１０と２２０とからのピクセル値は、（１）単体フィルタで、偶数のピクセル値を通す水平フィルタ２３０と、（２）４タップフィルタである水平フィルタ２４０とに提供される。水平フィルタ２４０の係数値は２の累乗の和になるように選択され、−０．０９３７５、０．５９３７５、０．５９３７５、および−０．０９３７５である。図３は、図２に示すアップサンプラー１０の更に詳細なブロック図である。入力画像信号２０５のラインからのピクセル値は入力端子ＩＮに提供される。入力画像信号２０５のラインは、ライン遅延２００、加算器３００ａ〜３００ｆ、および乗算器３１０ａ〜３１０ｅを通して処理されて、入力画像の奇数ラインを垂直方向に補間し、図１に示すアップサンプル画像２０７の奇数とされたラインになる垂直方向に補間されたラインＶｏｄｄを生成する。係数Ｃ０、Ｃ１、およびＣ２は、それぞれ１／１６、１／３２、および１／２である。アップサンプラー１０の出力信号Vevenは垂直方向にフィルタリングされない。これらのラインは、アップサンプル画像２０７の偶数ラインとなり、受信された状態の入力画像の画像サンプルを表す。偶数ラインVevenは、ピクセル遅延３２０ａ〜３２０ｄ、加算器３００ｈ〜３００ｌ、および乗算器３１０ｆ〜３１０ｉに提供されると共にそれらを使って処理されて、偶数ラインVeven中のピクセルを水平方向に補間して、図１に示すアップサンプル画像２０７の偶数ライン中の奇数ピクセルを表す出力ピクセル信号ＯＵＴ２を生成する。出力画像信号中の偶数ピクセルは水平方向に補間されず、出力ピクセル信号ＯＵＴ１として提供される。垂直方向に補間されたラインVodd は、ピクセル遅延３２０ｅ〜３２０ｇ、加算器３００ｍ〜３００ｒ、および乗算器３１０ｊ〜３１０ｎに提供されると共にそれらを使って処理されて、垂直方向に補間されたラインVodd中に、水平方向に補間された奇数ピクセルを生成して出力ピクセル信号ＯＵＴ４を発生させる。垂直方向に補間されたラインVoddのピクセルも、更なる補間なしに、ピクセル信号ＯＵＴ３として提供される。図４は、図２と図３に示すアップサンプラー１０の概念的動作を説明する。図４は、係数２（Ｎ＝２）によるアップサンプリングを説明するサンプリング画像の空間領域表示である。ゼロデータ値は、図４に示すように、入力画像信号２０５に挿入されて中間画像信号２０６を生成する。Ａ、Ｂ、Ｃ、およびＤは入力画像信号２０５中のピクセル値を表す。中間画像信号２０６はローパスフィルタでフィルタリングされて、ピクセル値Ａ、Ｂ、Ｃ、Ｄ、プラス補間ピクセル値Ｉを有するアップサンプル画像信号２０７を生成する。この概念的プロセスを実行することによって、ナイキストサンプル画像(Nyquist sampled image)２０５はきわどくサンプリングされる。入力画像信号２０５にゼロを挿入することは、図５（ａ）〜５（ｃ）に示すように、係数２による画像フーリエ変換を圧縮する。図５（ａ）〜５（ｃ）は、入力画像信号２０５、中間画像信号２０６、およびアップサンプル画像信号２０７のそれぞれのフーリエ変換である。図５（ａ）と５（ｃ）の比較は、図５（ａ）に示す領域４００（その上に入力画像信号２０５のフーリエ変換が延びている）のサイズが、図５（ｃ）に示すアップサンプル画像信号２０７の領域４０１まで縮小されることを明らかにしている。更に、図５（ｃ）に示すように、２πのすべての整数倍のまわりに中心を有する圧縮された変換の単一コピーが、中間画像２０６がローパスフィルタでフィルタリングされた後、そのまま残る。アップサンプリングのカーネルはローパスフィルタで、入力画像信号２０５がアップサンプリングされる程度によって定まるる遮断周波数を有する。ローパスフィルタは、２πの整数倍に中心を有する原信号の圧縮されたコピー以外の周波数を除去する。図１に示すワーパー２０で使用される補間法の周波数特性が既知の場合、より良好なアップサンプリングのカーネルを選択することによって、画像劣化のより少ない総合ワーパーシステム５を提供できる。アップサンプリングのカーネルは、ワーパー２０に存在するかもしれない完全ローパス再構成フィルタからの偏りを補償するように選択される。例えば、ワーピング補間法が、下記に説明するようにアップサンプリング後に双線形である場合、高空間周波数のわずかな減衰があるだろう。アップサンプラー１０のアップサンプリングのカーネルがこれらの同一周波数をわずかに上げるように選択されて、高空間周波数に対する総合ワーパーシステム５の効果を最小にする。かくして、ワープ補間法が既知の場合、アップサンプラー１０用のアップサンプリングのカーネルを選択することによって、入力画像信号２０５の周波数を前置増幅または前置減衰させることによって、完全ローパスフィルタからのこれらの偏りを補償できる。このようにして、システムの総合的な劣化を減少させることができる。異なるワープ変換は、双線形補間の使用時に、異なる高空間周波数を減衰させる。例えば、ハーフピクセル変換は高空間周波数の最大の減衰をもたらすが、整数変換は全く減衰がない。これらの両極の間で単一のアップサンプリングのカーネルを選択することによって、異なる変換に対する総合的な画像品質を改善することができる。アップサンプラーは、入力画像のピクセルがアップサンプラー１０に提供される速度の４倍の速度で、アップサンプル画像信号２０７のピクセル値を発生させる。入力画像信号２０５からのピクセル値は、クロックサイクル当たり１ピクセルの割合で図１に示すアップサンプラー１０に提供され、アップサンプラー１０からクロックサイクル当たり４ピクセルで提供される。四つのピクセルは、図１に示すワーパー２０に提供されて、以下に説明するように、例えば、図６に示す独立メモリ６００ａ〜６００ｄに格納される。図１に示すワーパー２０は、図４に示すアップサンプル画像信号２０７をワープさせる。ワーパー２０を図６に関して説明する。図６で、アップサンプル画像信号２０７のピクセル値は、メモリの一つ一つがアップサンプル画像２０７の１／４を記憶するように、メモリ６００ａ〜６００ｄに格納される。ワープ画像ビクセルは、双線形補間を使って、格納されたピクセル値から補間される。ワープメモリ６００は、双線形補間による使用のために四つの独立メモリ６００ａ〜６００ｄとして実行されるので、図４に示すアップサンプル画像信号２０７は、クロックサイクル当たり四つのピクセルでワープメモリ６００に格納できる。このようにして、図１に示すアップサンプラー１０にバックログ遅延を招くことはない。双線形補間は補間のために、四つのピクセルの局所近傍とこれらの４ピクセルの加重平均とを使用する。ピクセルの近傍の値はソースピクセル値に最も近いピクセル値である。ソースピクセル値７２０とアップサンプル画像の四つの最も近い近傍ピクセル値７２０ａ〜７２０ｄを図７に示す。入力画像２０５とアップサンプル画像２０７は、図７に示す水平と垂直のラインによって形成される各頂点でピクセルを有する。ピクセル値７００は、ソースピクセル７２０に対応するワープ画像２００内の一つのピクセル値である。ピクセル７００も入力画像のピクセル７１０に対応する。リアルタイムの実行では、ワープメモリに格納された四つのピクセル値（７２０ａ、７２０ｂ、７２０ｃ、および７２０ｄ）は、双線形補間による使用のために、各クロックサイクル毎に実質的に同時に検索される。これらのピクセル値は次に、適切な重みが乗じられて合計され、中間ワーパー画像のピクセル値を生成する。アップサンプル画像信号２０７のピクセル値は、ソースピクセル値に最も近いピクセル値７２０ａ〜７２０ｄのどの組分けにも同時にアクセスできるように、メモリ６００ａ〜６００ｄに格納される。図６に示す書込アドレスジェネレータ６１５は、アップサンプル画像信号２０７のピクセル値をメモリ６００ａ〜６００ｄに格納するためのアドレスを生成する。図１に示すアップサンプラー１０は、図７に示す入力画像信号２０５の各ピクセル値毎に、２×２アレイのピクセル値［（Ａ_k,l，Ｅ_k,l，Ｆ_k,l，Ｇ_k,l）、（Ｂ_k,l，Ｅ_k,l，Ｆ_k,l，Ｇ_k,l）、（Ｃ_k,l，Ｅ_k,l，Ｆ_k,l，Ｇ_k,l）、または（Ｄ_k,l，Ｅ_k,l，Ｆ_k,l，Ｇ_k,l）］（ここで、ｋとｌは整数）を生成する。２×２アレイの中の四つのピクセルは独立メモリ６００ａ〜６００ｄに、各メモリ６００ａ〜６００ｄ内の同一アドレスにおいて実質上同時に、格納される。本発明の典型的実施形態では、これは、出力サンプル、つまり図３に示すアップサンプラー１０のＯＵＴ１、ＯＵＴ２、ＯＵＴ３、ＯＵＴ４の各々をそれぞれのメモリ６００ａ、６００ｂ、６００ｃ、６００ｄへ格納することによって実行される。例えば、入力画像が２５６ピクセル値×２５６ピクセル値を有し、入力が係数２でアップサンプリングされると仮定しよう。すると、図７に示すアップサンプル面像２０７は５１２ピクセル値×５１２ピクセル値を持ち、この場合、図４に示すピクセル２１０の各正方組分け(square grouping)は、独立メモリ内に配置されたピクセルを有する。図４に示すピクセル値はメモリ６００ａ〜６００ｄに格納される。図４ａはアップサンプル画像信号２０７の表示であり、この場合、図４に示すアップサンプル画像信号２０７のピクセル値は、アップサンプル画像のピクセル値がメモリ６００ａ〜６００ｄに格納される場所を記述するために、Ｚ１〜Ｚ４として番号変更されている。各メモリアドレスｘ_pとｙ_pは、最大サイズが２¹²×２¹²（４０９６×４０９６）の場合、１２ビットである。各メモリアドレスｘ_pとｙ_pは、ピクセル値を格納するメモリ６００ａ〜６００ｄを共同指定する最下位のアドレスビットｘ_oとｙ_oを含むと共に、ピクセル値が格納されるアドレスを共同指定するロケーションアドレスビットｘ_11-1、とｙ_11-1を含む。メモリ６００ａ〜６００ｄへのアドレスｘ_o とｙ_o のマッピングを下記の表１に示す。図４ａと下記の表２は、メモリ６００ａ〜６００ｄのアドレスｘ［１１−１］とｙ［１１−１］内のアップサンプル画像２０７のピクセル値の配置を示す。例えば、メモリアドレス［（ｘ_11-1，ｘ_o），（ｙ_11-1，ｙ_o）］＝［（１，０），（２５５，０）］は、メモリ６００ａに格納されたピクセル値Ｚ１_1,255である。アップサンプル面像信号２０７がメモリ６００ａ〜６００ｄに格納されると、それをワーパー２０によってワープすることができる。図７に示すワープ画像２０８のピクセル値７００の発生を、図８を参照して以下に説明する。最初、ステップ８００で、アップサンプル画像のソースピクセル値７２０のアドレス値Ａ［ｘ，ｙ］を発生させる。ｘとｙはアップサンプル画像のソースピクセル値７２０の座標であり、表１と２に関して上述したメモリ６００ａ〜６００ｄに対するアドレスとして使用される。実行すべき変換に応じて、アドレスジェネレータ６２０は、図７に示すアップサンプル画像２０７のソースピクセル値７２０用のアドレス値Ａ［ｘ，ｙ］を発生させる。例えば、入力画像２０５は、下式（１）と（２）で示す幾何学的変換を使って、空間領域で変換できる。ｘ［ｕ，ｖ］＝ａ_x＋ｂ_x・ｕ＋ｃ_x・ｖ＋ｄ_x・ｕ²＋ｅ_x・ｖ²＋ｆ_x・ｕ・ｖ式（１）ｙ［ｕ，ｖ］＝ａ_y＋ｂ_y・ｕ＋ｃ_y・ｖ＋ｄ_y・ｕ²＋ｅ_y・ｖ²＋ｆ_y・ｕ・ｖ式（２）ｕとｙは中間ワープ画像のピクセル値の座標で、ａ_x、ｂ_x、ｃ_x、ｄ_x、ｅ_x、ｆ_x 、ａ_y、ｂ_y、ｃ_y、ｄ_y、ｅ_y、およびｆ_yは一定の係数値である。変換式は、インタフェース（図示せず）を介して提供される制御信号ＣＳ１を介してアドレスジェネレータ６２０に提供される。代りに、変換式は、アドレスジェネレータ６２０内のメモリ（図示せず）に格納できる。式（１）と（２）は下表３の疑似コードを使って実行される。表３で、ｘ［ｕ，ｖ］は、図１に示す中間ワープ画像信号のピクセル値に対応するアップサンプル画像２０７のアドレス値Ａ［ｘ，ｙ］のｘ座標である。この中間信号は、図１に示すダウンサンプラー３０によるダウンサンプリングに先立つワープ画像２０８に対応する。ｙ座標のｙ［ｕ，ｖ］は、表３の疑似コードを使って生成される。ただし、表３のｘ［ｕ，ｖ］はｙ［ｕ，ｖ］と置換され、添字「ｘ」は添字「ｙ」と置換される。表３の疑似コードは、値ｘ［ｕ，ｖ］とｙ［ｕ，ｖ］を生成するために、各計算毎に四つの累算器レジスタを含む二つの加算器を使ったハードウェアで実行できる。アドレス発生の精度は高く、例えば３２ないし４８ビットで、図７に示すワープ画像２０８の発生のために要求されるシステム要件と精度によって定まるる。アドレス値Ａ［ｘ，ｙ］は、整数部分Ｓ_x、Ｓ_yと分数部分Ｔ_x、Ｔ_yとを有するが、その理由は、アドレス値Ａ［ｘ，ｙ］が、図７に示すアップサンプル画像２０７のソースピクセル７２０の場所をサブピクセル精度で識別するからである。Ｓ_xとＳ_yは座標値ｘとｙのそれぞれの整数部分で、Ｔ_xとＴ_yは座標値ｘとｙのそれぞれの分数部分である。アドレス値Ａ［ｘ，ｙ］の整数部分Ｓ_x、Ｓ_yを使って、アドレス値Ａ［ｘ，ｙ］におけるソースピクセル値の２×２ピクセル近傍を選択する。アドレス値Ａ［ｘ，ｙ］の分数部分Ｔ_x、Ｔ_yを使って、双線形補間回路に提供される補間係数を計算する。補間係数値は２×２ピクセル近傍のピクセル値に重み付けして、図１に示す中間ワープ画像のピクセル値を生成する。ステップ８１０では、アドレス値Ａ［ｘ，ｙ］が生成された後、ソースピクセル７２０がアップサンプル画像信号２０７のピクセル値の一つに対応するか否かが決定される。対応する場合、ワープ画像のピクセル値は中間ワープ画像信号のピクセル値として選択される。例えば、アドレス値Ａ［ｘ，ｙ］が、図７に示すピクセル値７２０ａをソースピクセルとして識別する場合、ピクセル値７２０ａが選択される。対応しない場合はステップ８３０が実行される。ステップ８３０では、ソースピクセル７２０の２×２近傍ピクセル７２０ａ〜７２０ｄが選択される。先に引用したGomezの論文は、四つの独立メモリから２ ×２ピクセル近傍を選択、検索する一方法を記載している。図７に示すように、ソースピクセル７２０は、中間ワープ画像信号のピクセル値を生成するために使用されるピクセル７２０ａ〜７２０ｄの２×２近傍内に配置される。２×２近傍を構成する四つのピクセル７２０ａ〜７２０ｄは独立したメモリ６００ａ〜６００ｄ内に配置される。図９は、図７に示すアップサンプル画像２０７の部分拡大図である。アドレスジェネレータ６２０は上側最左翼のピクセルを、２×２近傍の最も近いネイバー(nearest neighbor)として使用する。最も近いネイバーは、メモリ６００ａ〜６００ｄ内の各ピクセル値７２０ａ〜７２０ｄ毎のアドレス値が決定されるスタート位置である。図９（ｃ）〜９（ｆ）は、２×２近傍を形成するピクセル値７２０ａ〜７２０ｄに関係するときのソースピクセル７２０の四つの異なる位置を示す。アップサンプル画像のピクセル値は、図９（ｃ）〜９（ｆ）で垂直と水平ラインによって作られる各頂点に配置される。図９（ａ）〜９（ｄ）はまた、２×２近傍の各ピクセル値７２０ａ〜７２０ｄがどのメモリ６００ａ〜６００ｄに格納されるかも示す。ソースピクセル値７２０のアドレス値Ａ［ｘ，ｙ］の整数部分Ｓ_x、Ｓ_yを使って、メモリ６００ａ〜６００ｄ内の２×２近傍のアドレスが決定される。特に、整数部分Ｓ_x［０］、Ｓ_y［０］の最下位ビットを使ってアドレスが決定される。図９に示すように、最も近いネイバーがメモリ６００ａに格納されると、２×２近傍のピクセル値７２０ａ〜７２０ｄの各々のアドレスは下表４によって決定される。表４では、Ｓ_x［１１−１］は、式（１）で計算されたｘ成分部の１１の最上位バイトであり、Ｓ_y［１１−１］は、式（２）で計算されたｙ成分部の１１の最上位バイトである。メモリ６００ａ〜６００ｄ内のピクセル値７２０ａ〜７２０ｄのアドレスは、ソースピクセル値７２０に対する最も近いネイバーがメモリ６００ｂに格納される場合、表５に従って決定される。メモリ６００ａ〜６００ｄ内のピクセル値７２０ａ〜７２０ｄのアドレスは、ソースピクセル値７２０に対する最も近いネイバーがメモリ６００ｃに格納される場合、表６に従って決定される。メモリ６００ａ〜６００ｄ内のピクセル値７２０ａ〜７２０ｄのアドレスは、ソースピクセル値７２０に対する最も近いネイバーがメモリ６００ｄに格納される場合、表７に従って決定される。メモリ６００ａ〜６００ｄに格納されたピクセル値７２０ａ〜７２０ｄの各々のアドレスが決定された後、ピクセル値７２０ａ〜７２０ｄがメモリ６００ａ〜６００ｄから検索される。次に、ステップ８４０では、補間係数値Ｉ１、Ｉ２、Ｉ３、およびＩ４が、アドレス値Ａ［ｘ，ｙ］の分数部Ｔ_x、Ｔ_yを使って生成される。補間係数Ｉ１、Ｉ２、Ｉ３、およびＩ４は、下式（３）〜（６）を使って生成される。Ｉ１＝（１−Ｔ_x）・（１−Ｔ_y）式（３）Ｉ２＝Ｔ_x・（１−Ｔ_y）式（４）Ｉ３＝（１−Ｔ_x）・Ｔ_y 式（５）Ｉ４＝Ｔ_x・Ｔ_y 式（６）代りに、補間係数値Ｉ１〜Ｉ４は係数ジェネレータ６３０内のルックアップテーブルに格納できる。アドレス値Ａ［ｘ，ｙ］の分数部Ｔ_x、Ｔ_yは、ルックアップテーブルに格納された補間係数値に対するアドレスとして使用される。先に引用したGomezによる論文は、アドレス値Ａ［ｘ，ｙ］の分数部Ｔ_x、Ｔ_yを、ルックアップテーブルから補間係数値を検索するアドレスとして使用するための一方法を記載している。図８に戻って、ステップ８５０では、補間係数Ｉ１〜Ｉ４と、メモリ６００ａ〜６００ｄから検索された図７に示す２×２近傍のピクセル７２０ａ〜７２０ｄを使って、ソースピクセル値７２０が生成される。図６に示すように、メモリ６００ａからのピクセル値７２０ａと補間係数値Ｉ１とは、乗算器６１０ａで乗算される。メモリ６００ｂからのピクセル値７２０ｂと補間係数値Ｉ２とは、乗算器６１０ｂで乗算される。メモリ６００ｃからのピクセル値７２０ｃと補間係数値１３とは、乗算器６１０ｃで乗算される。メモリ６００ｄからのピクセル値７２０ｄと補間係数値Ｉ４とは、乗算器６１０ｄで乗算される。乗算器６１０ａ〜６１０ｄから提供された出力値は合算回路６４０によって合算されて、図７に示すソースピクセル７２０を生成する。図８のステップ８６０では、ソースピクセル７２０は中間ワープ画像信号ピクセル値として選択される。次に、ステップ８００から８６０が繰り返され、ワープ画像２０８の各ピクセルを生成する。ダウンサンプラー３０は、入力画像信号がアップサンプリングされる係数と同一の係数によって、中間ワープ画像信号サンプル数を減少させる。例えば、入力画像信号が２でアップサンプリングされる場合、中間ワープ画像は２でダウンサンプリングされる。図９（ａ）は、ダウンサンプラー３０の動作を説明するアップサンプル画像信号２０７、中間ワープ画像、およびワープ画像７００のそれぞれのフーリエ変換を示す。図９（ｂ）は、入力画像信号のアップサンプリングを含まない双線形捕間を使用した、入力画像信号のフーリエ変換を示す。図９（ａ）と図９（ｂ）に示すワープ画像信号の比較は、変換前のアップサンプリングと変換後のダウンサンプリングを使用して生成されるワープ画像信号が、アップサンプリングとダウンサンプリングを使用しないワープ信号よりも良好な周波数特性を有するワープ信号を生成することを説明する。代りに、ダウンサンプラー３０とワーパー２０は単一のコンポーネントかステップに組み合せることができる。この場合、アドレス値Ａ［ｘ，ｙ］は、入力画像信号２０５の補間を考慮して、補間係数２^Nで調節される。例えば、標準の幾何学的変換は、ワープ画像信号のピクセル値が、位置Ａ［ｘ＝Ｘ１，ｙ＝Ｙ１］における入力画像信号のピクセル値から生じるものと規定する。このピクセル値は入力画像内の非統合的位置にあり、従って、近傍ピクセルを使った補間によって決定される。アップサンプル画像信号２０７の同一ピクセル値は参照アドレス (referenced address)に２を乗じることによってアクセスされる。この場合、アップサンプルソース画像に引照すべきアドレス値はＡ［ｘ＝２・Ｘ１，ｙ＝２・Ｙ１］となるだろう。画像が係数４でアップサンプリングされた場合、参照アドレスは４が乗じられるだろう。次いで、このアドレスまわりのピクセルの近傍を使って出力値を決定する。アップサンプル画像のピクセル値の近傍は、入力画像信号のピクセル値の同等サイズの近傍よりもソースピクセルの位置に近い原アナログ画像のサンプル点に対応する。図１０は、ワーパーチップ１０００に関する本発明の別の典型的な集積回路実施形態である。ワーパーチップ１０００には、少なくとも８つのデータビットと二つのタイミングビットとを含むマルチビットデジタル信号である入力画像信号が提供される。二つのタイミングビットはそれぞれのタイミング信号を運ぶ。一方の信号ＨＡ_inは、ラインのデータが有効なとき（すなわち、能動ライン期間(a ctive line interval)の間）は高論理状態(logic high state)にあり、さもなければ（すなわち、水平帰線期間(horizontal blanking interval)の間）低論理状態(logic high state)にある。他方の信号ＶＡ_inは、フィールドのデータが有効なときは高論理状態にあり、さもなければ（すなわち、水平帰線期間の間）低論理状態にある。図１１は、入力画像信号とワープ画像信号の相対的タイミングと、それらの信号に対する信号ＨＡ、ＶＡを説明するタイミング線図である。ワーパーチップは、Van der Walに発行された米国特許第5,359,674号、発明の名称「 PYRAMID PROCESSOR INTEGRATED CIRCUIT」に記載された同一方式でタイミング信号ＨＡ、ＶＡを使用する。同特許は、タイミングビットを有する信号処理に関するその教示内容は、本明細書に援用されている。一実施形態において、タイミング信号ＨＡ、ＶＡは、入力画像信号がワーパーチップ１０００によって処理される間、入力画像信号に関係したままである。その結果、ワープ画像信号が生成されると、タイミング信号ＨＡ、ＶＡを入力画像信号の処理と同時に入力画像信号と関係させることによってワープ画像信号の相対的タイミングが維持されるので、ワープ画像信号の垂直と水平の帰線期間を発生させる必要がない。かくして、必要とする回路が少なくなる。別の実施形態では、アップサンプリングと格納のプロセスをワーピングと補間のプロセスから切り離すことができるが、その場合、出力用のＨＡとＶＡのタイミング信号を再発生させなければならない。タイミング信号の使用に関する更なる説明は省略する。典型的な実施形態は、８データビットと２タイミングビットを含むマルチビットデジタル信号の処理に限定されない。典型的な実施形態は、例えば１０データビットと２タイミングビットを含むマルチビットデジタル信号を受信するように構成できる。図１０によれば、入力画像信号は遅延１０１０とアップサンプラー１０１５とに提供される。遅延１０１０は、図２に示す遅延２００と同様で、アップサンプラー１０１５は、図２に示す垂直フィルタ２１０、２２０と、図２に示す水平フィルタ２３０、２４０との組合せである。遅延１０１０とアップサンプラー１０１５はこれらのコンポーネントと同様に動作する。メモリ６００ａ〜６００ｄは、図６に示すメモリ６００ａ〜６００ｄと同様で、ＳＲＡＭのシングルまたはダブルバンクである。双線形補間回路は、図６に示す乗算器６１０ａ〜６１０ｄと合算回路６４０との組合せである。アドレス／係数のジェネレータ１０５０は、それが流れフィールド入力も受信可能なことを除いて、図６に示すアドレスジェネレータ６３０および係数ジェネレータ６３０と同様に動作する。流れフィールド入力は各出力ピクセルに対して二次元ベクトルを提供する。完全に総合的な画像変換を可能にするために、またはアドレス／係数のジェネレータの計算データに対する全般的修正を提供するために、流れフィールドベクトルが、アドレス／係数のジェネレータ１０５０で生成されるワープアドレスに加算される。アドレス／係数のジェネレータ１０５０は、ＣＰＵインタフェース１０４０からの制御信号ＣＳ１も受信する。一定係数値ａ_x、ｂ_x、ｃ_x、ｄ_x、ｅ_x、ｆ_x、ａ_y、ｂ_y、ｃ_y、ｄ_y、ｅ_y、およびｆ_y等のワープ係数が、アドレス値Ａ［ｘ，ｙ］を生成するために提供される。アドレス値Ａ［ｘ，ｙ］を使って、図６に示す書込アドレスジェネレータ６１５に関連して、上述したメモリ６００ａ〜６００ｄからのピクセル値を検索する。書込アドレスジェネレータ１０２０も、入力画像のどのセグメントを処理してメモリ６００ａ〜６００ｄに格納すべきかを指定するデータを提供するＣＰＵインタフェース１０４０に連結される。書込コントロールロジック１０２０は、アップサンプル画像のピクセル値をメモリ６００ａ〜６００ｄに書き込むための、表１と２に示す書込アドレスを提供する。タイミング信号ＨＡ_in、ＶとＡ_in、および入力画像信号のどのセグメントを格納すべきかを指定するプログラムインタフェースとに基づいて、書込コントロールロジック１０２０は、上述と同じ方法でメモリ６００ａ〜６００ｄにピクセル値を格納するためのアドレスを発生させる。本発明の別の典型的実施形態では、図１と図１０に示す回路を使って多重画面ワーピングを実行することができる。多くの用途で、カラー画像の分離画面（se parate planes）等の多重画面をワープすることが望ましい。これは、図１０に示す多重ワーパーチップ１０００か、あるいは図１に示す多重ワーパーシステム５を使用することによって達成できる。代りとして、ワーパーチップ１０００やワーピングシステム５の処理速度が充分早い場合、一部または全画面に対するワーピング動作をインタリーブ（interleaved）できる。その結果、単一のワーパーチップ１０００やワーパーシステム５を使用できる。多重画面のインタリーブについて、ＲＧＢ入力画像信号と図１０を使って以下に説明する。入力画像信号は、例えば三つの画面Ｒ、Ｇ、Ｂを含み、画面Ｒ、Ｇ、Ｂは、下表８に示すように、入力画像信号の各ラインのすべてのピクセルに対してインタリーブされる。係数３でライン遅延１０１０を増加させるか、各ライン遅延２００毎に三つのライン遅延を使用することによって、アップサンプラー１０１５は入力画像信号に対してインタリーブ形式で動作できる。アップサンプル画像は、ピクセル値がインタリーブ形式で格納されることを除き、上記と同様にメモリ６００ａ〜６００ｄに格納される。表９は３画面のピクセル値がどのようにメモリ６００ａ〜６００ｄに格納されるかを示す。表９で、「（ｏ）」は、アップサンプラー１０１５の奇数の水平出力と垂直出力を表す。メモリ中のその他画面の迫加によってもたらされるアドレスの変更を考慮して、アドレス／係数のジェネレータ１０５０で生成されるアドレス値Ａ［ｘ，ｙ］の整数部に３が乗じられる。更に、アドレス／係数のジェネレータ１０５０は同一演算を３回繰り返す。すなわち、一回は計算されたアドレス値Ａ［ｘ，ｙ］のため、次は１だけ増分されたアドレス値Ａ［ｘ，ｙ］のため、その次は２だけ増分されたアドレス値Ａ［ｘ，ｙ］のための演算である。ワープ画像信号はインタリーブ形式のカラー画像データを含む。上記の例では、ワーパーチップは、単一画面の到来ピクセル速度のクロックレートの３倍で動作する。入力画像信号のＲＧＢ画面が並列データ経路のみで利用可能な場合、画像データは処理に先立ってインタリーブされる。ワーパー画像信号が生成された後、ワープ画像信号はインタリーブが解除されて、画面を並列データ経路に復帰させる。入力画像信号がＤ１フォーマットのカラー画像である、ワーパーチップ１０００のインタリーブ動作(interleaved operation)の別の例を以下に説明する。この場合、三つの画像データ面はわずかに異なる方法でインタリーブされる。入力画像信号は、例えば三つの画面Ｙ、Ｕ、Ｖを含み、画面Ｙ、Ｕ、Ｖは・・・Ｕ［ｎ，ｍ］、Ｙ［ｎ，ｍ］、Ｖ［ｎ，ｍ］、Ｙ［ｎ＋１，ｍ］、Ｕ［ｎ＋２，ｍ］、Ｙ［ｎ＋２，ｍ］、Ｖ［ｎ＋２，ｍ］、Ｙ［ｎ＋３，ｍ］・・・のようにインタリーブされる。かくして、輝度面(luminance plane)Ｙは、二つのカラー面Ｕ、Ｖの２倍の解像度を持ち、カラー面Ｕ、Ｖは、輝度面Ｙの偶数位置と共に共同配置される。このインタリーピングは、ワーパーを実行する間は、維持できるが、上記の３画面に対して動作するときは、遅延とアドレスの計算がわずかに異なる。アップサンプラー１０１５に先立つライン遅延１０１０は、カラー面Ｕ、Ｖの１ラインのサイズの４倍である輝度面Ｙのラインサイズの２倍である。遅延は、２遅延素子と４遅延素子問のすべてのクロックサイクルを切り換える。アドレス／係数のジェネレータは次に、四つの連続出力値に対して新アドレス値Ａ［ｘ，ｙ］を２度計算する。すなわち、最初は二つのカラー面Ｕ、Ｖと、輝度面Ｙの偶数位置とに対する計算で、次に輝度面Ｙの奇数位置のアドレス値Ａ［ｘ，ｙ］が計算される。アドレス値Ａ［ｘ，ｙ］も、メモリ６００ａ〜６００ｄに格納された正しいデータ面に適切にアクセスするためにオフセットされる。本明細書では、ある特定の実施形態に関して図示、説明した。しかしながら、本発明は、本明細書で示した詳細説明に限定されるものではなく、請求の範囲と同等な仕様の範囲内で、本発明の精神から逸脱することなく、様々な変更を行うことができる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ファンデルヴァル，ゴイツェン，ジーメンアメリカ合衆国ニュージャージー州ホープウェルウェストプロスペクトストリート 105

Claims

【特許請求の範囲】１．入力画像信号を画像処理システムに加えるための手段と、前記入力画像信号をアップサンプリングするための手段と、前記アップサンプル画像信号をワープさせるための手段と、前記アップサンプリングされたワープ画像信号をダウンサンプリングしてワープ画像出力信号を生成するための手段と、を備える画像処理システム。２．前記入力画像信号がナイキスト速度でサンプリングされたデジタル信号であり、前記アップサンプリング手段が前記入力画像信号のサンプリング速度をナイキスト速度を超えて増加させる、請求項１に記載の画像処理システム。３．前記ワーピング手段がローパスフィルタを含み、前記ローパスフィルタが双線形補間回路を含む、請求項１に記載の画像処理システム。４．前記アップサンプリング手段が、前記アップサンプル画像信号を前処理して、前記ワーピング手段によって生じた前記アップサンプリングされたワープ画像信号の空間周波数特性の劣化を阻止するフィルタを含む、請求項１に記載の画像処理システム。５．前記入力画像信号がピクセル値を含み、前記ワーピング手段が四つのメモリを含み、そして、前記アップサンプリング手段が更に、前記入力画像信号の前記ピクセル値の各一つ毎に四つのピクセル値を生成すると共に、前記四つのピクセル値の各一つを前記四つのメモリのそれぞれ異なる一つに格納する、請求項１に記載の画像処理システム。６．入力面像信号を画像処理システムに加えるための手段と、前記入力面像信号をアップサンプリングするための手段と、前記アップサンプル画像信号を実質上同時にワープさせると共にダウンサンプリングして、ワープ画像出力信号を生成するための手段と、を備える画像処理システム。７．入力画像信号が提供される入力端子と、ピクセル値を含むアップサンプル画像信号を生成する、前記入力端子に連結されたアップサンプラー回路と、前記ピクセル値を格納すべきメモリ内の場所を指定する書込アドレス信号を発生させる書込アドレス回路と、前記ピクセル値のどれを前記メモリから検索すべきかを指定する読出アドレス信号を発生するリードアドレス回路と、前記メモリから検索されたピクセル値を受信するとともに、アップサンプリングされたワープ画像信号を生成するワーパー回路と、ワープ面像信号を生成する、前記ワーパー回路に連結されたダウンサンプリング回路と、を備える集積回路。８．前記ワーパー回路が双線形補間回路を含む請求項７に記載の集積回路。９．（ａ）入力画像信号をアップサンプリングするステップと、（ｂ）前記アップサンプル画像信号をワープさせるステップと、（ｃ）前記アップサンプリングされたワープ画像信号をダウンサンプリングしてワープ画像出力信号を生成するステップと、を有する、入力画像信号を処理するための方法。１０．前記ステップ（ａ）が、ナイキスト速度の、Ｎを正の整数とする２^N倍の速度で、前記入力信号をサンプリングする、請求項９に記載の方法。１１．前記入力画像信号がピクセル値を含み、前記ステップ（ａ）が、前記入力画像信号の前記ピクセル値の各一つ毎に四つのピクセル値を生成し、更に前記四つのピクセル値の各一つを独立メモリに格納するステップを有する、請求項９に記載の方法。