JPH06203167A - 高速２次元／３次元画像変換装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 パフォーマンスを充分に改良する。 【構成】 ホストグラフィックワークステーションがビ
ットマップ画像をリアルタイムに処理し表示することが
できるパイプライン技法を、特殊ハードウェアがインプ
リメントする。このハードウェアエンジンはピクセルご
との変換を種々様々な画像（モノバンド、ＲＧＢのよう
な３バンド、ピクセル当たり１／２／４／８／１２ビッ
ト）に適用し、ズーム、収縮、回転、パン、および移動
されるべき画像の結果を高解像度で表示する。このパイ
プラインのハードウェアブロックは全てオンボードプロ
セッサによりプログラム可能であり、画像操作を最大に
柔軟にし、画像機能を広範囲にすることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理の分野に適用で
きる。本発明は、特に、画像をピクセルごとに処理し、
しかも、画像２Ｄ／３Ｄ平行移動、回転、パン、ズー
ム、収縮ハードウェアをパイプライン・インプリメンテ
ーションして、高速に、画像２Ｄ／３Ｄ平行移動、回
転、パン、ズーム、収縮することができる高速ハードウ
ェアエンジンを用いて、ビットマップされた画像を操作
する装置および方法に関する。

【０００２】なお、本明細書の記述は本件出願の優先権
の基礎たるイタリア特許出願第９２１１０９６８．２号
の明細書の記載に基づくものであって、当該イタリア特
許出願の番号を参照することによって当該イタリア特許
出願の明細書の記載内容が本明細書の一部分を構成する
ものとする。

【０００３】

【従来の技術】J.Gonzalez-Lopezに付与されたヨーロッ
パ特許公開第０３６７４１８号には、バイディメンショ
ナル（bi-dimensional）フィルタを用いて、高速ズーム
機能を画像表示システムに与える画像補間機能をインプ
リメントするハードウェアエンジンが開示されている。
この出願で開示されている装置は、カスケード型１次元
補間回路の形式でインプリメントされた共１次内挿アル
ゴリズムを採用している。そのアルゴリズムにより画像
を拡大するという単一の機能が与えられる。

【０００４】そのため、本発明の目的は、上述した従来
例のドローバックを解消し、ハードウェアのパフォーマ
ンスに対するオーバヘッドを増大させることなくパラメ
タをハンドルし、しかも、画像２Ｄ／３Ｄ平行移動、回
転、パン、ズーム、収縮を行うことができるローカルマ
イクロプロセッサにより、既に公知の同様のシステムよ
り柔軟な高速画像処理システムを提供することにある。
このハードウェアによる解決法は、複合画像変換を、１
つ以上の簡単なパスで、作業記憶機構と、この作業用記
憶機構からピクセルバッファに至るｒｅａｄパスと、カ
ラー参照テーブル(Clour Look-Up Table; ＣＬＵＴ）機
能と、平均値算出機構との援助により、分解するという
新規な解決法を付加してパフォーマンスを充分に改良す
ることができる。

【０００５】本発明の他の目的は、処理された画像より
その容量を小さくすることができ、このようにして、ハ
ードウェアコストを軽減することができる作業用記憶機
構を提供することにある。ハードウェアコストを軽減す
るため、画像ソースを（「スライス」と呼ばれる）幾つ
かの後続する部分であって、そのサイズが作業用記憶機
構と一致する部分で処理することができる。このこと
は、各画像変換に対する全体的なパスをスライスの数
（その数だけ画像が分割される）だけ繰り返さなければ
ならないことを意味する。他方、作業用記憶機構のサイ
ズは、作業用記憶機構がプロセス速度および画像品質に
影響を与えないということにより限定される。

【０００６】本発明の他の目的は、画像品質を改良する
ことができる２Ｄ／３Ｄ画像変換装置および方法を提供
することにある。

【０００７】本発明の他の目的は、２つの記憶装置の間
のチャネルが両方向性であるので、宛先ピクセル記憶装
置から画像ソース記憶装置に、ビットマップされた画像
を“ｒｅａｄ ｂａｃｋ”することができるようにする
ことにある。

【０００８】これらの目的および他の目的は、記述によ
り明らかになるが、ビットマップされた画像をピクセル
ごとに操作し、ハードウェアのパフォーマンスに対する
オーバヘッドを増大させることなく、ハードウェア・パ
イプライン・インプリメンテーションにより、同様に、
変換実行を制御するローカルマイクロプロセッサによ
り、画像２Ｄ／３Ｄ平行移動、回転、パン、ズーム、収
縮を行うことにより達成される。

【０００９】

【課題を解決するための手段】このハードウェアエンジ
ンを、ホスト・グラフィック・ワークステーション・バ
ス・システムと適正にインタフェースさせ、このホスト
に、「リアルタイム変換および表示」機能を奏する能力
を付与する。その機能は、本発明では、任意のサイズ
（２０４８×２０４８ピクセル以下）のモノバンドおよ
びマルチバンド画像を１０分の何秒かで処理する能力を
意味する。

【００１０】本発明により提供される機能であって、時
間を浪費する処理を有するソフトウェアによる機能をイ
ンプリメントするのは公知であり普通である。

【００１１】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１２】図１を説明する。図１の「画像プロセッ
サ」アーキテクチャは、２つの主なロジックブロック、
すなわち、ローカル・マイクロプロセッサ・ロジック４
とピクセル・プロセッサ・パイプライン５を備えてい
る。

【００１３】このハードウェアの主な機能は、画像を、
ホストシテスムバス３を介して、画像ソース記憶装置２
に位置する入力ウィンドウから、画像宛先記憶装置７に
位置する出力ビューポートにマッピングし、ピクセル記
憶バス６を介して、任意の２Ｄ／３Ｄ空間変換を行う機
能である。ピクセルごとの処理は、ソフトウェアオーバ
ヘッドが無視できる程小さく、高度の機能柔軟性を達成
するローカルマイクロプロセッサ能力とプログラミング
能力を利用するピクセルプロセッサパイプライン５によ
り行われる。ローカルパイプラインロジックはホストプ
ロセッサ１のコマンドにより制御される。ピクセルプロ
セッサパイプライン５ハードウェアを図２に破線で囲ん
で示す。ピクセルプロセッサパイプライン５は次のブロ
ックを備えている。

【００１４】Ｉ／Ｏレジスタハードウェアブロック８を
備えており、Ｉ／Ｏレジスタ８は、ピクセルデータのホ
ストバスインタフェース間での受け渡しをクロックす
る。

【００１５】ピクセルプロセッサ制御機構ハードウェア
ブロック１１を備えており、ピクセルプロセッサ制御機
構１１はパイプラインプロセスでの画像ピクセルの転送
を制御する。このモジュールの主なタスクは制御信号を
他のハードウェアブロックに供給し、ピクセルバッファ
１０に記憶されたピクセルのアドレスを計算し、補間機
構１４により必要とされる係数を計算する。上記データ
の計算はスケールテーブル１２に格納した値に基づいて
おり、また、処理されている画像に対する特定のパラメ
タに基づいている。

【００１６】ピクセルバッファドライバハードウェアブ
ロック９を備えており、ピクセルバッファドライバ９は
画像ソース記憶装置２から３つのピクセルバッファ１０
に入る画像行の記憶を制御し、しかも、カラー参照テー
ブルＣＬＵＴ ＲＡＭメモリ１３への転送を制御する。
ピクセルバッファ１０の主な目的は、ピクセルを記憶
し、かつ、３つのカラーバンドを合成して、３つのカラ
ーバンドを並列に処理できるようにすることができるこ
とにある。画像ソース記憶装置２から取り出したピクセ
ルのシーケンスは、第１バンドの第１行、第２バンドの
第１行、第３バンドの第１行、第１バンドの第２行、等
である。また、ピクセルバッファ１０は、ピクセルバッ
ファドライバ９により、ソース画像データを再サンプリ
ングする機能を提供し、ズームおよび収縮機能を奏す
る。

【００１７】カラー参照テーブル１３を備えており、カ
ラー参照テーブル１３は画像カラー変換機能を画像変換
の間にピクセルプロセッサパイプライン５を介して提供
する。パイプライン処理が開始される前に、カラー参照
テーブル１３に、原画像機能に対する適正な値をロード
する。ロードされるカラー参照テーブルの数は入力ピク
セル深さ(depth) （１，２，４，８，１２ ｂｉｔ／ピ
クセル）に依存する。カラー参照テーブルをローカルプ
ロセッサ４によりロードすることができる。制御レジス
タ内のビットはプロセッサに対する機能を提供し、３つ
のカラー参照テーブルに同一のデータを同時にロードす
る。このように、ＩＤまたはグレースケール値が要求さ
れたとき、カラー参照テーブルロード時間をスピードア
ップすることは可能である。また、ハードウェア制御に
より、システムバスから直接カラー参照テーブルにロー
ドし、全体的なスピードを速くし、かつ全体的なパフォ
ーマンスを向上させることができる。２つ以上の画像ビ
ューポートが一度に表示され、しかも、ビユーポイント
がそれぞれ異なるカラー参照テーブルを有するとき、こ
の機能は特に適合する。

【００１８】補間機構ハードウェアブロック１４を備え
ており、補間機構１４は水平および垂直の両方向で同時
に、連続的なズームおよび収縮を行う。ズームでは、新
しいピクセルが、それぞれ、ＸおよびＹの両方向で連続
するピクセルの間で補間機能（または複写機能）を用い
て計算される。「補間」機能を選択するか、あるいは
「ピクセル複写」機能を選択するかは、補間機構１４の
適正なプログラミングにより、水平および垂直の両方向
で可能である。

【００１９】平均値バッファ１５を備えており、平均値
バッファ１５は補間機構１４により用いられ、情報を損
失せずに画像を収縮する（スムーズ収縮 (smooth shrin
k)する）のに起動された平均化プロセスの中間結果を一
時的に記憶する。入力ピクセルの幾つかをスキップして
画像を収縮すると、情報が失われるので、その結果は良
くない。平均化機能は、ソース画像の矩形ウィンドウ内
の算術手段を用いてピクセル値を平均化することにより
出力ピクセルを生成する。そのウィンドウの寸法は収縮
スケール係数により規定される。出力ピクセルはそのウ
ィンドウに含まれる全ピクセルの算術手段である。

【００２０】説明を簡単にするため、単一のカラーバン
ドに対するピクセルプロセッサハードウェアのオペレー
ションを図２および図３を参照して説明する。ＲＧＢ画
像を処理するため、３つのカラーバンドが同一のピクセ
ル束に並列に処理をすることに注意されたい。図３は特
に同一のプロセス束を有する３つのカラーバンドのうち
の１つを示す。

【００２１】ソース画像は画像ソース記憶装置２と呼ば
れるホスト記憶装置の一部に駐在している。ホストコマ
ンドが画像変換を要求すると、直ちに、画像ソース記憶
装置２にローカルマイクロプロセッサ４がアクセスし、
変換される特定の画像から生じる規則に従ってピクセル
を取り出す。その取り出し規則は、「順次行取り出し」
または「順次列取り出し」のうちの１つである。ローカ
ルマイクロプロセッサはピクセルストリーム転送開始を
担当するが、そのピクセルはハードウェア機構により移
動され、必要とされる速度パフォーマンスを行う。ソー
スピクセルは、ホストバスインタフェース３ａ、Ｉ／Ｏ
レジスタ８、およびピクセルバッファドライバ９を介し
て渡され、ピクセルバッファ１０に記憶される。

【００２２】そして、そのプロセスは、ピクセルバッフ
ァ１０から再サンプリングすることにより継続する。こ
の再サンプリングは、前に計算され、しかも、実際に転
送するためローカルマイクロプロセッサ４により記憶さ
れたスケールテーブル１２データを用いて、ピクセルプ
ロセッサ制御装置１１により制御される。再サンプルさ
れたピクセルは、ＣＵＬＴ１３を介して、パイプライン
処理され、補間機構１４に送信される。補間機構１４は
処理された画像の新しいピクセルを生成する。

【００２３】ソース記憶装置からのピクセル取り出し処
理プロセスと、ピクセルラインバッファ再サンプリング
オペレーションとが同時に行われる。他方、新しいピク
セル行がソース記憶装置から取り出され、ピクセルライ
ンバッファに記憶された前の２行がパイプライン処理さ
れる。特に図３を説明する。モノバンドはそれぞれ３つ
の画像行を記憶することができる３つのピクセルバッフ
ァを有する。上述した機構は、モノバンドにより次のこ
とを行う。すなわち、３つのバッファのうちの１つは現
在取り出された行からのピクセルを保持するが、他の２
つのバッファは、再サンプルされ、かつ、パイプライン
に供給して処理する前の２つの行を保持する。

【００２４】２つの画像行をパイプライン処理し、「共
１次内挿」を行うことができる。共１次内挿は一度に４
つのピクセル上で行われ、２つは第１行に属し、他の２
つは第２行に属する。

【００２５】ＣＬＵＴを用いたカラー変換は、補間ステ
ップの前に行われ、索引付けされた値からではなく、実
際のカラーピクセルから新しいピクセルを生成する。

【００２６】その補間機構から新しく生成されたピクセ
ルは表示するため最終ピクセル記憶装置７ａ宛先領域に
行くか、あるいは、必要な画像変換に従ってさらに処理
するため作業用記憶機構に一時的に記憶される。

【００２７】ピクセル記憶装置７ａと作業用記憶機構７
ｂはピクセル記憶バスインタフェースロジック６ａによ
りアクセスされる。ロジック６ａはｗｒｉｔｅピクセル
およびｒｅａｄピクセルオペレーションのためにこれら
の記憶装置にアドレスすることができる。また、これら
の記憶装置を、画像ソース記憶装置のように、順次、
「行ごと」か、あるいは「列ごと」にｒｅａｄおよびｗ
ｒｉｔｅすることができる。これらのアクセスモード
は、全２Ｄ／３Ｄ変換を充分サポートするために必要な
基本的なスキャン機構である。

【００２８】作業用記憶機構７ｂ資源の可用性と、パイ
プラインアーキテクチャとにより、複数のサブプロセス
（「パス」と呼ばれる）を行うことができる。複数のサ
ブプロセスはその後の画像変換の中間結果に対して処理
をする。

【００２９】前のパスの結果は作業用記憶機構７ｂに記
憶され、そして、ピクセルラインバッファにｒｅａｄさ
れ、次のパスは異なる変換パラメタを用いて新しいパイ
プラインオペレーションから開始することができる。拡
張完全変換（generic complete transformation ）は１
つ以上のパスに分割され、これらのパスの繰り返しはロ
ーカルマイクロプロセッサ４により制御される。図２を
説明する。各パスがＲＧＢ ＷＲＩＴＥバス１６を介す
るｗｒｉｔｅオペレーションフローと、ＲＧＢＲＥＡＤ
バス１７を介するｒｅａｄオペレーションフローとを含
む。最後のパスは宛先ピクセル記憶装置７ａに対する最
終ｗｒｉｔｅプロセスである。

【００３０】一度、ホストアプリケーションからの機能
要求をｇｅｔするローカルマイクロプロセッサマイクロ
コードにより、現変換が論理的に数多くのパスに分解さ
れると、単一パスはそれぞれ、各特定のパスに対するハ
ードウェアプログラミングパラメタの一意の集合ではな
く、ハードウェアパイプラインにより行われるプロセス
の同一の集合により生じる。

【００３１】各パスに対して前記パスにより常に行われ
るプロセスステップは、次の３つのステップである。す
なわち、 １）ピクセルライン「シア（ｓｈｅａｒ）オペレーショ
ン」を、ピクセルプロセッサ制御機構１１の制御によ
り、ピクセルラインバッファのオフセットアドレシング
により行うステップ、 ２）ピクセルラインバッファ１０再サンプリング（アド
レッシング）オペレーションを、スケールテーブル１２
値からの実際のピクセルアドレスを計算するピクセルプ
ロセッサ制御機構により行うステップ、 ３）「共１次」内挿オペレーションを、実際の補間係数
を用いてローカルマイクロプロセッサによりプログラミ
ングされる補間機構１４により行うステップ。

【００３２】第４のステップは平均値算出機構であり、
現パスが情報を損失せずに画像サイズを小さくする必要
があるときにのみ起動される。このオペレーションは、
「スムーズ収縮」と呼ばれ、外部記憶装置、平均値バッ
ファ１５を必要とする補間機構により行われ、計算され
た数の画像ソース行および列からの累算されたピクセル
値を記憶する。これらの値は平均され、新しい最終ピク
セルを生成する。

【００３３】ピクセルパイプラインアーキテクチャと、
ローカルマイクロプロセッサプログラミングにより利用
可能な柔軟性とにより、適正な数のプロセスを繰り返し
て任意の画像２Ｄ／３Ｄ変換が行われる。これらのプロ
セスは同一のハードウェアプロセスにより行われる。こ
の特定のハードウェアは、パイプラインクロックサイク
ルのみにより限定される速度を達成する。よって、「リ
アルタイム」オペレーションと呼ばれる。最終結果を得
るための全プロセス時間は、特定の機能により必要され
るパスの数に依存する。パスの数が増加すると、ますま
す、プロセス時間が長くなる。

【００３４】以上、説明したが、IBM Graphic processo
r IBM Risc/6000 Mod.730 のために開発されたようなイ
ンプリメンテーションの例に限定されない。このハード
ウェアインプリメンテーションを'Image Display Featu
re（ＩＤＦ）' と命名した。

【００３５】Texas Istrument のTMS320C25 Digital Si
gnal Processor（ＤＳＰ）は、ローカルプロセッサであ
り、Image Display Feature 初期設定およびオペレーシ
ョンの全体的な制御を担当する。このプロセッサは１０
０nsecという高速命令サイクル時間で行うリアルタイム
ディジタル信号処理をサポートする。IDF マイクロコー
ドはホストプロセッサの制御によるＩＰＬ（initial pr
ogram loading)タイムの間、プログラム記憶装置にロー
ドされる。ホストプロセッサからの画像コマンドと関数
パラメタはホストバスインタフェース記憶装置に記憶さ
れる。ＤＳＰはこの情報を用いて、ＣＬＵＴに対する値
を計算し、次のオペレーションに対してＩＤＦハードウ
ェアを初期設定する。ＴＭＳ３２０Ｃ２５ ＤＳＰはシ
ステムバスオペレーションに対してアドレスを生成し、
画像機能のフローを制御し、内部および外部割り込みを
ハンドルする。プロセッサは全ハードウェアレジスタお
よび全オンボード記憶装置にフルｒｅａｄおよびｗｒｉ
ｔｅアクセスする。

【００３６】このＩＤＦインプリメンテーションは合計
１０個の１．５および２ミクロンＣＭＯＳゲートアレイ
を用いている。２つのホストバスインタフェースチップ
と、１つのピクセルプロセッサ制御機構と、３つのピク
セルバッファドライバと、３つの補間機構と、１つのピ
クセル記憶装置インタフェースとを用いる。

【００３７】プログラムおよびデータ記憶装置は、とも
に、高速（２５nsec）ＣＭＯＳスタチックＲＡＭにイン
プリメントされ、ＤＳＰによりゼロウェイトアクセスを
行うことができる。ＩＤＦは１６ｋ×１６ビットプログ
ラム記憶装置と、各単一バッファに対する３つの２ｋ×
１６ビットピクセルバッファ（３つのＴＧＢバンドに対
して合計９つの２ｋ×１６ビットバッファ）と、３つの
８ｋ×９ビットＣＬＵＴと、３つの２ｋ×８ビット平均
値バッファと、１つの１６ｋ×２４ビットスケールテー
ブルを有する。

【００３８】非同期ＦＩＦＯをビデオピクセル記憶バス
インタフェースで用いて、１００nsecのＩＤＦパイプラ
インレートを８０nsecのビデオピクセル記憶バスレート
に一致させる。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
上記のように構成したので、パフォーマンスを充分に改
良することができる。

【図面の簡単な説明】

【図１】この高速画像プロセッサを基本グラフィック機
能に付加するためこのハードウェアを汎用グラフィック
ワークステーションアーキテクチャ内にどのように位置
させたかを示すブロック図である。

【図２】本発明に係る実施例を示すブロック図である。

【図３】「ピクセルプロセッサパイプライン」の１つの
単一バンドを示し、この単一バンドを用いてオペレーシ
ョン記述を簡略化したブロック図である。

【符号の説明】 １ ホストプロセッサ ２ 画像ソース記憶装置 ３ ホストシステムバス ３ａ 主バスインタフェース ４ ローカルマイクロプロセッサ ５ ピクセルプロセッサパイプライン ６ ピクセル記憶バス ６ａ ピクセル記憶バスインタフェース ７ 画像宛先記憶装置 ７ａ ピクセル記憶装置 ７ｂ 作業用記憶機構 ８ Ｉ／Ｏレジスタ ９ ピクセルバッファドライバ １０ ピクセルバッファ １１ ピクセルプロセッサ制御機構 １２ スケールテーブル １３ カラー参照テーブル １４ 補間機構 １５ 平均値バッファ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 リヴァ エミリオ イタリア アイ 22036 コモ エルバ ノヴェンブレ 15 ヴィア ４

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像ソース記憶装置２に位置指定された
   「ビットマップ」画像を、ピクセルごとに、ハードウェ
   アパイプラインを介して操作し、かつ、前記画像を画像
   宛先記憶装置７に転送し、 前記ハードウェアパイプラインの各要素は、ピクセルバ
   ッファドライバ９、ピクセルプロセス制御機構１１、ス
   ケールテーブル１２、カラー参照テーブル１３、および
   補間機構１４により構成され、かつ、特定の変換係数を
   用いてプログラム可能であり、 画像宛先記憶装置７は前記ハードウェアパイプラインに
   より特徴付けられる装置であって、 前記操作を順次実行される単一パスに分割するローカル
   プロセッサ４を備え、 前記プロセッサ４は前記ハードウェアパイプラインで生
   じる各単一パスの前で、前記係数を計算しロードし、 前記単一パスの結果は読み取ることができる作業用記憶
   機構７ｂに記憶され、 前記結果は最終パスに至るまで次のパスに対する入力を
   組み立て、その後、最終画像が前記画像宛先記憶装置７
   にプットされることを特徴とする装置。
2. 【請求項２】 任意の実際の値のスケール係数で画像を
   収縮するために、変換の損失がなく、活動化された平均
   演算プロセスの中間結果が、前記補間機構１４により一
   時的に記憶される平均値バッファ１５をさらに備えたこ
   とを特徴とする請求項１に記載の装置。
3. 【請求項３】 前記作業用記憶機構は、処理される画像
   全体を大域画像のスライスに分割することができるかぎ
   り、前記画像より小さく、前記スライスはそれぞれ前記
   縮小された作業用記憶機構に記憶されることを特徴とす
   る請求項１または２に記載の装置。
4. 【請求項４】 連続的に画像をズームするハードウェア
   パイプラインを用いて、「ビットマップ」画像をピクセ
   ルごとに操作する方法であって、 任意の２Ｄ／３Ｄ操作を以降のパスに分割することがで
   き、 前記パスは、それぞれ、次のパスに対する入力を構成す
   るバックワードｒｅａｄ機能を含む作業用記憶装置を利
   用し、特定のパラメタに従って前記パイプラインで生じ
   る変換にあり、 前記パラメタは、各パスの前で、ローカルプロセッサに
   より計算され割り当てられ、 前記ローカルプロセッサは、ハードウェアパフォーマン
   スのオーバヘッドを増大させることなく、大域変換の単
   一パスの実行を制御し、 前記操作は高速２Ｄ／３Ｄ画像平行移動、回転、パン、
   および収縮をまた含むことを特徴とする方法。
5. 【請求項５】 カラー参照テーブルを用いて、カラー変
   換機能を供給するステップであって、補間ステップの前
   に行われるステップを備え、補間機構１４により生成さ
   れた新しいピクセルが、前記補間機構に入力されると
   き、実際のカラー値に依存することを特徴とする請求項
   ４に記載の方法。