JPH11283020A - 画像データ処理装置とその方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 画像データ処理装置は、常に実行処理速度を
増加する必要がある。画像フレームメモリがラスタ線の
ピクセルデータを記憶する方法は、画像プロセッサによ
りそのデータを効率的な方法でアクセスするには適さ
ず、特に、現在実行している処理に応じていくつかの異
なる順序で同じピクセル値を高速にアクセスするのに不
適である。 【解決手段】 画像プロセッサ２と画像フレーム・メモ
リ８との間にデータバッファ・メモリ４を設け、画像フ
レーム・メモリ８内に記憶したラスタ線のサブセットを
記憶させる。このデータは、バンク内の隣接メモリセル
からラスタ線内モード、又は異なるバンク内の対応する
位置のメモリセル位置からのラスタ線間モードのいずれ
でも読み取り可能である。データが８ビット・ピクセル
データの場合、単一のバンクはラスタ線全体を含むが、
１６ビット・ピクセルデータの場合、単一のラスタ線は
２つのバンク上に広がる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データ処理に関
する。特に、本発明は、画像プロセッサにより処理され
る前の、ラスタ線に配列され画像フレームメモリ内に記
憶されたピクセルデータの画像データ処理に関係する。

【０００２】

【従来の技術】ピクセルデータのラスタ線を記憶する画
像フレームメモリを含む画像処理装置を提供することは
公知である。ピクセルデータは１時に１ラスタ線毎画像
フレームメモリから読み取られ表示装置を駆動する。画
像ピクセルデータも、ピクセルデータに対してフィルタ
処理のような処理を実行する画像処理プロセッサにより
画像フレームメモリから読み取られる。

【０００３】

【発明が解決しようとする課題】処理を実行する速度を
増大することは画像データ処理装置内での不断の目標で
ある。加えて、特に携帯用の電池駆動の装置では、電力
消費を削減することも非常に望ましいことである。

【０００４】

【課題を解決するための手段】本発明の特徴から見る
と、画像データの処理装置において、（ｉ）画像を定義
するピクセルデータを記憶する画像フレームメモリであ
って、前記ピクセルデータはピクセルデータ値のラスタ
線に分割されている前記画像フレームメモリと、（ii）
前記画像を定めるピクセルデータ値の前記ラスタ線のサ
ブセットすなわち部分集合を記憶する、画像フレームメ
モリ・バスを介して前記画像フレームメモリに接続され
たデータバッファ・メモリと、（iii ）前記データバッ
ファ・メモリに記憶したピクセルデータ値の前記ラスタ
線の前記サブセットに対して画像処理を実行するため
の、画像プロセッサバスを介して前記データバッファ・
メモリに接続した画像プロセッサと、を含み、ここで、
（iv）前記データバッファ・メモリは複数個のバンクの
メモリセルを有し、各バンクのメモリセルは複数個の行
と複数個の列のメモリセルに分割されており、（ｖ）前
記画像プロセッサバスは前記データバッファ・メモリと
前記画像プロセッサとの間でデータ語を転送し、各デー
タ語は前記画像内の複数個のピクセルのピクセルデータ
値を含み、（vi）前記画像プロセッサと前記データバッ
ファ・メモリはラスタ線内モードで動作して、１バンク
のメモリセルを読み取り、１ラスタ線内から複数個の空
間的に隣接するピクセルデータ値を含むデータ語を転送
し、（vii ）前記画像プロセッサと前記データバッファ
・メモリはラスタ線間モードで動作して、複数個のバン
クのメモリセルを読み取り、異なるラスタ線内から複数
個のピクセルデータ値を含むデータ語を転送する、画像
データの処理装置、が提供される。

【０００５】本発明は、画像フレームメモリがラスタ線
のピクセルデータを記憶する方法は、一方で表示装置を
駆動するのに十分適した方法であっても、画像プロセッ
サによりそのデータを効率的な方法でアクセスするには
適していない、ことを認識している。特に、画像プロセ
ッサは現在実行している処理に応じていくつかの異なる
順序で同じピクセル値をしばしばアクセスしたいことが
ある。例えば、水平空間フィルタ操作は通常ラスタ線の
方向に沿ってピクセル値をアクセスするが、垂直空間フ
ィルタ操作はラスタ線に垂直の方向にピクセルデータ値
をアクセスし、一方時間フィルタ操作は異なるフレーム
の等価なラスタ線からピクセルデータ値をアクセスす
る。

【０００６】現代の画像プロセッサでは、一時にいくつ
かのピクセル値の相対的に広いバスでメモリ素子とプロ
セッサとの間をピクセル値が転送されるのが普通であ
る。これは速度の増加と電力消費の減少に効果がある。
しかしながら、ピクセル値が画像フレームメモリ内で適
当な順序に配列されていない場合は、このような複数ピ
クセルデータ値転送は容易には実行不能である。標準の
画像フレームメモリは、ラスタ線方向に沿って一連のピ
クセル値が返される点から始まる開始アドレスを与える
ことにより通常アクセスされる。従って、所要のピクセ
ルデータ値がフレームメモリ内で連続のアドレス順では
ない垂直フィルタ操作の場合、より多くのメモリ・アク
セスを実行しなければならないか、又は画像プロセッサ
が必要な垂直順に十分なピクセル値をバッファするため
の大レジスタ容量を有さなければならない。

【０００７】本発明は、画像フレームメモリと画像プロ
セッサとの間に特殊目的のデータバッファ・メモリを設
けることによりこの問題を処理する。このデータバッフ
ァ・メモリは多数のラスタ線のピクセルデータ（画像フ
レームメモリにより記憶されるラスタ線のサブセット）
を記憶し、画像プロセッサの必要条件により適した異な
る順序で画像プロセッサがデータをアクセスすることを
可能とする。特に、ラスタデータはメモリセルのバンク
にある順序で書き込まれるが、複数ピクセル値を含むデ
ータ語を用いて異なる順序でデータバッファ・メモリか
ら読み出され、従って利用可能なバス帯域を完全に利用
し、再順序付け機能又はビット・スライス機能を提供す
るために画像プロセッサにかかる負荷を減少させる。

【０００８】

【発明の実施の形態】画像プロセッサによりしばしば実
行が必要とされる処理の１型式は水平フィルタである。
従って、本発明の望ましい実施例、前記ラスタ線内モー
ドでは、前記画像プロセッサは前記１本のラスタ線に沿
った方向に空間フィルタを実行する。

【０００９】ラスタ線間モードで動作しているとき、ピ
クセルデータ値は各バンク内の異なる相対位置を有する
メモリセルから取られる。しかしながら、データバッフ
ァ・メモリの制御と動作は、前記データ語が複数個の異
なるバンクのメモリセルの各々のうちの対応する行と列
位置から取られる複数個のピクセルデータ値を含む実施
例では改良されている。

【００１０】本発明は多くの異なる型式の画像データ処
理を実行する画像プロセッサに対して利点を有するが、
前記複数個のバンクのメモリセルが空間的に隣接するラ
スタ線を記憶し、前記データ語が前記ラスタ線に垂直な
方向の空間的に隣接するピクセルデータ値を含み、前記
画像プロセッサが前記ラスタ線に垂直な前記方向に空間
フィルタを実行するような実施例で特に利点を有し、こ
うしないと処理すべき問題の負荷が高い。

【００１１】本発明の他の有利な応用は、前記複数個の
バンクのメモリセルが時間的に隣接するラスタ線を記憶
し、前記データ語は前記画像内の共通空間位置からの時
間的に隣接するピクセルデータ値を含み、前記画像プロ
セッサは前記共通空間位置の時間フィルタを実行する実
施例で生じる。

【００１２】本発明は、前記データバッファ・メモリ内
の複数個のバンクのメモリセルが、前記画像プロセッサ
により発生されたアドレスを使用してアクセスされる連
続したアドレス空間を形成する望ましい実施例を提供す
ることにより、既存の画像プロセッサに過大な変更を加
える必要なく実施できる。

【００１３】このように、画像プロセッサはその通常の
能力を使用してメモリ・アクセスのアドレスを発生し、
装置が動作しているモードに応じてデータバッファ・メ
モリによりこれらをデータ語内の適当なピクセルデータ
値の戻りと解釈する。画像プロセッサはモードを制御す
る必要があるが、これは画像プロセッサにより制御され
るプログラム下で書き込まれる制御フラッグを記憶する
レジスタを使用して相対的に容易に管理できる。

【００１４】各ピクセルデータ値の寸法に応じて、メモ
リセルのバンクは複数の、１本のラスタ線又はそれ以下
を記憶可能である。画像フレームメモリがすでにブロッ
ク内に複数のラスタ線を記憶しているため、データバッ
ファ・メモリが１バンク内に複数ラスタ線を記憶するこ
とは幾分無駄である。この環境下では、データバッファ
・メモリの寸法を減少させて装置の回路域と出費を減少
させることを考えるほうがより効率的である。従って、
各バンクのメモリセルが１ラスタ線の全体又はその一部
を記憶するようピクセル値とデータバッファ・メモリ容
量を整合させると最も有利である。装置が複数バンクの
メモリセルに広がったラスタ線で操作しているとき、ラ
スタ線間モードはこの因子を考慮に入れるようにピクセ
ルデータ値をデータ語に配置するよう戻す必要がある。

【００１５】従って、本発明の望ましい実施例では、前
記バンクのメモリセルはサイズＭの別々にアドレス可能
な記憶位置を有し、前記ラスタ線の各々はＮバンクのメ
モリセル上に記憶され、そして前記ラスタ線間モードで
は、前記データ語は前記アドレス空間内のＭ＊Ｎアドレ
ス位置により隔置したピクセルデータ値を含む。

【００１６】実際には、Ｎ＝１又は２で装置を動作させ
るのが最も有利であることが分かっている。

【００１７】画像フレームメモリとデータバッファ・メ
モリとの間のデータの流れを容易にするため、本発明の
望ましい実施例は、ラインバッファが前記画像フレーム
メモリと前記データバッファ・メモリとの間の前記画像
フレームメモリ・バスに配置され、前記ラインバッファ
は前記ラインバッファとメモリセルの１行との間で並列
に転送される複数個のピクセルデータ値をバッファする
役割を果たしている。

【００１８】ラインバッファの設置は、前記複数個のピ
クセルデータ値が前記ラインバッファと前記メモリセル
の１行との間で並列に転送されている間、前記画像プロ
セッサが前記データバッファ・メモリをアクセスするこ
とを禁止されている実施例では特に有用であり、前記ラ
インバッファと前記画像フレームメモリとの間でピクセ
ルデータ値が転送される間前記画像プロセッサは前記デ
ータバッファ・メモリをアクセス許可される。

【００１９】実際には、データバッファ・メモリから画
像プロセッサへの読み出しが必要とするものより画像プ
ロセッサからデータバッファ・メモリへの書き込みの方
がデータ語が少なくてすむ事がわかっている。従って、
装置の設計は簡略化可能で、装置と、前記データバッフ
ァ・メモリ内の単一バンクのメモリセルへ書き込む処理
操作として前記画像プロセッサが前記データバッファ・
メモリへピクセルデータ値を書き込む実施例で効率を犠
牲にすることなく安価にできる。このように、画像プロ
セッサによる複数バンクのメモリセルへの並列データ書
き込みはサポートされないが、実際にはこれは重要な欠
点ではないことが判かっている。

【００２０】本発明は異なる部品の多くの異なるハード
ウェア環境下で使用可能であるが、本発明は中でも特に
画像フレーム・メモリがビデオRAM 又はSDRAM で、画像
プロセッサがプログラム命令の制御下で動作するマイク
ロプロセッサである装置に最も適合している。

【００２１】メモリセルのバンクはピクセルデータ値を
各種の方法で記憶することが可能であるが、ピクセルデ
ータ値のラスタ線の前記サブセットのラスタ線内からの
ピクセルデータ値をメモリセルのバンク内の各連続する
メモリセルの行のメモリセル内に記憶する実施例を提供
することが非常に有利である。

【００２２】この配置はメモリセルのバンク間でデータ
バッファ・メモリの分割を可能とし、画像プロセッサへ
転送されるべきデータ語を異なるラスタ線からのピクセ
ルデータ値から構成可能である複数の異なる方法を提供
する点でより効率的に活用できる。

【００２３】データをバンクに再ロードする必要性を減
少させ、バイト回転を提供しない画像プロセッサを適合
させるため、本発明の望ましい実施例は、前記ピクセル
データ値が互いに連結されて前記データ語を形成する順
序を選択する再順序付回路を提供する。

【００２４】本発明の別の特徴によると、画像データの
処理方法において、（ｉ）画像を定義するピクセルデー
タを画像フレーム・メモリ内に記憶する段階であって、
前記ピクセルデータはピクセルデータ値のラスタ線に分
割されている前記記憶段階と、（ii）前記画像を定義す
るピクセルデータ値の前記ラスタ線のサブセットをデー
タバッファ・メモリ内に記憶する段階であって、前記デ
ータバッファ・メモリは画像フレーム・メモリバスを介
して前記画像フレーム・メモリに接続されている前記記
憶段階と、（iii ）画像プロセッサにより前記データバ
ッファ・メモリ内に記憶されたピクセルデータ値の前記
ラスタ線の前記サブセットに画像処理を実行する段階で
あって、前記画像プロセッサは画像プロセッサバスを介
して前記データバッファ・メモリに接続されている前記
実行段階と、を含み、ここで、（iv）前記データバッフ
ァ・メモリは複数個のバンクのメモリセルを有し、各バ
ンクのメモリセルは複数個の行と複数個の列のメモリセ
ルに分割され、ピクセルデータ値のラスタ線の前記サブ
セットのラスタ線内からのピクセルデータ値は、あるバ
ンクのメモリセル内のメモリセルの各連続する行のメモ
リセル内に記憶され、（ｖ）前記画像プロセッサバスは
前記データバッファ・メモリと前記画像プロセッサとの
間でデータ語を転送し、各データ語は前記画像内の複数
個のピクセルのピクセルデータ値を含み、（vi) 前記画
像プロセッサと前記データバッファ・メモリはラスタ線
内モードで動作して１バンクのメモリセルを読み取り、
１ラスタ線内からの複数個の空間的に隣接するピクセル
データ値を含むデータ語を転送し、（vii ）前記画像プ
ロセッサと前記データバッファ・メモリはラスタ線間モ
ードで動作して複数個のバンクのメモリセルを読み取
り、異なるラスタ線内からの複数個のピクセルデータ値
を含むデータ語を転送する、画像データの処理方法が提
供される。

【００２５】本発明の以上のおよび他の目的、特徴およ
び利点は、添付の図面と関連して読まれるべきである図
解実施例の以下の詳細な説明から明らかとなる。

【００２６】図１は、画像プロセッサバス６によりデー
タバッファ・メモリ４に接続された、プログラム命令に
より制御される汎用マイクロプロセッサの形式の、画像
プロセッサ２を含む画像処理装置を図示する。データバ
ッファ・メモリ４はまた画像フレーム・メモリバス１０
により画像フレーム・メモリ８に結合されている。画像
フレーム・メモリ８はラスタ線出力１２を介して表示装
置を駆動するビデオRAM メモリである。

【００２７】データバッファ・メモリ４内には、４バン
ク１６のメモリセルのブロック１４がある。各バンク１
６のメモリセルは３２行を含み、各行は３２バイトを含
む。マルチプレクサ１８は、画像フレーム・メモリバス
１０を介して画像フレーム・メモリ８へ又はそこから転
送している間にバンク１６内に記憶したどの行のピクセ
ルデータ値をラインバッファ・メモリ２０へ送るか又は
そこから読み取るかを選択する役割を果たす。

【００２８】動作時に、ラスタ線のピクセルデータ値は
画像フレーム・メモリバス１０を介して画像フレーム・
メモリ８からラインバッファ２０へ読み取られる。これ
らのラスタ線のデータはマルチプレクサ１８を介して１
個以上のバンク１６のメモリセルへロードされる。最も
一般的には、画像フレーム・メモリ８内からの全ラスタ
線が単一バンク１６のメモリセルに書き込まれる。ピク
セルデータ値はバンク１６内の連続する行に書き込ま
れ、空間的に水平方向に隣接するピクセル値はメモリ中
の隣接する行内のセルに書き込まれる。

【００２９】一旦ピクセルデータ値がデータバッファ・
メモリ４にロードされると、画像プロセッサ２は次いで
これらのピクセルデータ値を読み取って水平、垂直、又
は時間フィルタ操作のような画像処理操作を実行する。
ピクセルデータ値を画像プロセッサ２へ渡さなければな
らない順序は、実行する処理に依存する。画像プロセッ
サ２は実行しようとする処理を熟知していて、例えば読
み取りモード・フラッグを書き込むことにより、適当な
読み取りモードを設定可能である。水平フィルタ操作の
場合、画像プロセッサ２が画像プロセッサバス６上を単
一データ語内の空間的に水平方向に隣接するピクセル位
置からデータを受け取ることが有利である。画像プロセ
ッサバス６は３２ビット幅で、従ってデータバッファ・
メモリ４と画像プロセッサ２との間で並列に４個の８ビ
ット・ピクセルデータ値を転送可能である。このような
データ転送はラスタ線内転送である。画像プロセッサ２
とデータバッファ・メモリ４は、画像プロセッサ２によ
りデータバッファ・メモリ４へ与えられた開始アドレス
が、指定したアドレスから始まる単一バンク１６の１行
のメモリセル内の隣接位置に記憶された一連のピクセル
データ値の戻りを生じるラスタ線内モードで動作する。

【００３０】ピクセルデータ値は８ビット・データ値又
は１６ビット・データ値である。どの寸法のピクセルデ
ータ値に関係しているかに応じて、データバッファ・メ
モリ４と画像プロセッサ・メモリ２との間で転送される
データ語は、４個の８ビット・データ値又は２個の１６
ビット・データ値のどちらかを含む。いずれの場合で
も、画像プロセッサバス６の全帯域が各転送時に利用さ
れる。

【００３１】上述のラスタ線内モードの動作は、バンク
１６内の連続アドレスに都合よく配置されていないピク
セルデータ値を処理したい時より、一般的に問題が少な
い。この例は、全体画像内の垂直に隣接するピクセル位
置からピクセルデータ値を互いに処理する垂直フィルタ
操作である。これらの垂直に隣接するピクセルデータ値
は異なるラスタ線に存在し、従って各々バンク１６の異
なるところに記憶されている。このような読み取りに対
処するためピクセルデータ値をバンク１６に書き込む方
法を調節することも可能ではあるが、これはそのデータ
配列が水平フィルタ操作に適していないことを意味す
る。読み取りモードはしばしば変更される、例えば同一
のラスタ線からのピクセル値に対して水平、ついで垂直
操作の順序となるため、読み取りモードに応じたバンク
１６への異なる順序でのデータの再書き込みのオーバー
ヘッドは非常に大きい。

【００３２】この問題に対処するため、データを水平フ
ィルタに関して上述したものと同様な方法で配列し、デ
ータバッファ・メモリ４により特に設けられたラスタ線
間モードで読み取る。８ビット・ピクセルデータ値の場
合、ラスタ線間モードは、指定されたアドレスから始ま
る４個の異なるバンク１６の全てのうちの同じ行と列位
置に記憶されたデータ語ピクセルデータ値として返すよ
う動作する。１６ビット・ピクセルデータ値の場合、単
一のラスタ線が２個のバンク１６上に記憶され、1 デー
タ語としてともに返されるピクセルデータ値は、ピクセ
ルデータ値が画像フレーム内の同じ位置に対応するよう
１バンクだけ離れた各異なるバンク１６から返される。

【００３３】異なるフィルタ操作とデータバッファ・メ
モリ４へのアクセスのモードの更なる説明は図２、３、
４及び５と関連して以下で説明される。

【００３４】図２は装置がラスタ線内モードで動作して
いる時に実行される水平フィルタ操作を図示する。画像
フレーム・メモリ８は一連の水平ラスタ線から構成され
る完全なフレームのデータを記憶する。各ラスタ線はこ
の例では720 の能動ピクセルを含む。より解像度の高い
装置では、ラスタ線あたりより多くのピクセル値があ
る。図２に図示するラスタ線２２はフレーム０、線０に
対応する。ピクセルデータ値が８ビット・データ値であ
る場合、これらは３２ビット画像フレーム・メモリバス
１０を介して１時に４ピクセル値づつラインバッファ２
０へ転送される。８個のこれらのデータ語がラインバッ
ファ２０に転送されると、ラインバッファ２０は、バン
ク１６の１つの内のメモリセルの１行を完全に満たすの
に十分な３２個の８ビット・データ値を含む。次いでこ
れらのピクセルデータ値はバンク１６の１行に並列に書
き込まれる。この並列書き込み時には、こうしないと誤
操作が発生するかもしれないため画像プロセッサ２によ
るデータバッファ・メモリ４へのアクセスは中断され
る。

【００３５】画像内の水平に隣接するピクセルはバンク
１６の１行のメモリセル内で水平に隣接するピクセルデ
ータ値を生じる。従って、ピクセルデータ値０から３１
は１行に含まれ、ピクセル値３２から６３は以降の行に
含まれる、以下同様である。

【００３６】一旦完全なラスタ線のピクセルデータ値が
バンク１６にロードされると、次いでこれは画像プロセ
ッサ２によりアクセスされる。実際には、７２０ピクセ
ルデータ値はバンク１６の２３行を占有する。ラスタ線
内モードの動作では、画像プロセッサは４個の水平に隣
接するピクセル値を含むデータ語を１操作として読み取
る。次いでこれらのピクセルデータ値は画像プロセッサ
２のデータ処理レジスタ内に記憶され、ここからプログ
ラム制御下で処理されて所要のフィルタ結果を得る。

【００３７】水平フィルタ操作が完了した後、フィルタ
されたピクセル値は４ピクセル値データ語としてバンク
１６に書き戻される。全てのピクセルデータ値は同じバ
ンク１６に書き戻されるため、１操作で同時に書き戻し
可能である。

【００３８】図３は図２に図示した水平フィルタ操作の
変形を図示する。この例では、画像フレーム・メモリ８
内の単一ラスタ線からのピクセルデータ値は４バンク１
６の全てに広がっている。装置は依然としてラスタ線内
モードで動作しており、これによりデータ語は１バンク
１６の行内の水平方向に隣接するメモリセルから組み立
てられる。

【００３９】図４は垂直フィルタ操作を図示する。この
場合、画像フレーム・メモリ８からの各ラスタ線はメモ
リセルの自身のバンク１６に書き込まれる。従って、バ
ンク１６は図示の実施例では各々ラスタ線０、１、２、
３を記憶する。この場合、画像プロセッサ２は垂直に隣
接するラスタ線からピクセルデータ値を処理する必要が
ある。これらのピクセルデータ値はその各々のラスタ線
内で全て同一の水平位置を有する。従って、このラスタ
線間モードでは、画像プロセッサ２へ転送されるデータ
語は、４個のバンク１６の各々のその各バンク内の同じ
行と列位置を全て有するピクセルデータ値から組み立て
られる。例えば、この時点で垂直にフィルタされている
ラスタ線内のピクセル位置７の場合、データ語はピクセ
ルデータ値F0、L0、P7；F0、L1、P7；F0、L2、P7及びF
0、L3、P7から構築される。

【００４０】これらのデータ値に対して画像プロセッサ
２がその垂直フィルタ操作を実行すると、生成したピク
セルデータ値はデータバッファ・メモリ４へ書き戻す必
要がある。実際には、書き戻すべき単一のピクセルデー
タ値を発生するために多くのピクセルデータ値を読み取
る必要がある。従って、任意の時点で画像プロセッサ４
により単一のバンク１６にのみ書き戻すよう拘束されて
いる場合でも、不当な性能の劣化なしに装置を簡単化で
きる。従って、４ピクセルデータ値をその垂直隣接ラス
タ線内の各々の位置へ書き戻す必要がある場合、これは
１ピクセルデータ値を１バンク各操作で書き込む４回の
別々な操作として実行される。

【００４１】図５は時間フィルタ操作を図示する。この
時間フィルタ操作も、共に処理されるピクセルデータ値
が画像の各異なるフレームからであるため、ラスタ間モ
ード操作として発生する。図５に示すように、各バンク
１６は同じ位置ではあるが異なるフレームからのラスタ
線を記憶する。従って、この図示例でバンクに記憶され
るラスタ線はF0、L0；F1、L0；F2、L0及びF3、L0であ
る。ピクセル位置９に対してデータバッファ・メモリ４
から単一操作として画像プロセッサ２により読み取られ
るデータ語は従ってピクセルデータ値F0、L0、P9；F1、
L0、P9；F2、L0、P9及びF3、L0、P9から構成される。

【００４２】再び、時間フィルタ操作から生じるピクセ
ルデータ値は異なるバンクに書き込む必要があるため、
特定の時刻に単一バンクのみを書き込むと、これは数回
の別々な操作が発生する。画像フレームメモリ８は、混
ぜられデータバッファ・メモリ４でシャッフル（shuffl
ed）されるデータの複数の完全なフレームを記憶するこ
とが要求されるため、この状況では大容量を有する必要
がある。

【００４３】上記の例は８ビット・ピクセルデータ値に
関係している。ピクセルデータ値が１６ビット・データ
値である場合、単一ラスタ線は２個の隣接するバンク１
６に広がる。この場合、ラスタ線間モード読み取りは介
在するバンクにより分離されるバンク１６内の対応する
位置から取った２個の１６ビット・ピクセルデータ値か
ら３２ビット・データ語を組み立てる。これを考えるほ
かの方法は、データバッファ・メモリが連続するアドレ
ス空間としてアクセスされ、各バンクがＭバイトの記憶
容量を有している時、データ語は２Ｍのアドレス間隔だ
け離れた１６ビット・ピクセルデータ値から組み立てら
れる。この関係は以下のように一般化できる、すなわち
ラスタ線がＮバンクに広がっている場合、データ語はＮ
^* Ｍだけ離れたアドレス位置に記憶されたピクセルデー
タ値から組み立てられる。

【００４４】動作モードは又読み取りモードと書き込み
モードに再分割可能である。操作をこのように考える
と、、装置は以下のように記述できる。プロセッサに３
読み取りモードと３書き込みモードがある。 ● 語読み取りモード（ラスタ線内） ● 半語読み取りモード（ラスタ線間） ● バイト読み取りモード（ラスタ線間） ● 語書き込みモード（ラスタ線内） ● 半語書き込みモード（ラスタ線間） ● バイト書き込みモード（ラスタ線間）

【００４５】データバッファ・メモリ４が４K バイトSR
AM（４Ｋバイト＝２＾１２）の形式である場合、アドレ
ス指定は：

【００４６】語読み取りモードは、フレームメモリ８バ
ッファからSRAMバッファ（データバッファ・メモリ４）
へ８又は１６ビット・データを書き込む時に使用され
る。この語は１バンクから読み取られ、バイト・ビット
はRAM ブロックにより無視される。このモードは水平空
間フィルタに通常使用される。

【００４７】半語読み取りモードは、１６ビット・デー
タをフレーム・バッファ（画像フレームメモリ８）から
SRAMバッファへ書き込む時に使用される。この場合、全
ビデオ線は単一の１Ｋバイト・バンクには記憶不能であ
り、２バンクを使用する。このモードは１６ビット垂直
空間フィルタ又は１６ビット時間フィルタに通常使用さ
れる。

【表１】

【００４８】バイト読み取りモードは、８ビット・デー
タをフレーム・バッファからSRAMバッファに書き込む時
に再度使用される。語読み取りは４バンクの各々からの
１バイトから構成され、ここでバンク・ビットは第１バ
ンクｎを指定する。このモードは垂直空間フィルタ又は
時間フィルタに通常使用される。

【表２】

【００４９】半語及びバイト読み取りモードは、１では
なく２又は４バンクのSRAMが同時に使用されるためより
電力を使用する。（望ましくは、読み取りのパイプライ
ン化により、３２ではなく適当な８個のセンス・アンプ
が付勢される。）

【００５０】１Ｋバイト・バンクの読み取り状態は、マ
ルチプレクサにバンク多重化とバイト回転機能を実装さ
せる。これらの多重化配列によりデータ語は画像プロセ
ッサにより必要とされる順序で連結されたピクセル値か
ら組み立てられる。これは、例えばスライド・フィルタ
の場合に全てを異なる順序で再ロードすることなくバン
ク内のデータを再使用可能とする点で大きな助けとな
る。

【００５１】必要な処理の型式に応じてSRAMをアクセス
する方法を変更することにより、SRAMのアーキテクチャ
とアドレス発生モードは、水平空間フィルタ（Ｘ面）、
垂直空間フィルタ（Ｙ面）及び時間フィルタ（Ｚ面）を
実行することを可能とする。

【００５２】以下はこれらの３型式のフィルタ／処理
と、SRAMアーキテクチャがいかにデータ帯域を減少させ
るかを説明する。

【００５３】水平空間フィルタ（Ｘ面） これは図２に図示されている。これは以下のモード −
語読み取りモードと語書き込みモードを示す。この場
合語読み取りは４ピクセルのデータを含む。

【００５４】垂直空間フィルタ（Ｙ面） これは図４により表される。これは、フレーム線ｍ（こ
の場合０）がバンク０に記憶され、フレーム線ｍ＋１が
バンク１に、フレーム線ｍ＋２がバンク２に、以下同様
に記憶される。各バンクでのピクセルの相対位置は同じ
である。ついでこれはバイト読み取りモードを使用して
４個の隣接するバンクの各バンクの同じバイトを読み取
る。これらは組み合わされて語がプロセッサに返され
る。ピクセルを整列することにより、これらの４バイト
は４個の隣接フレーム線のフレーム線中の同一ピクセル
に対応する。

【００５５】このように４バンクの各々から語を読み取
り、各バンクからの適当なバイトをプロセッサ読み取り
データバスに多重化し付勢することにより、４垂直ピク
セルが処理用にプロセッサに読み取られる。使用された
アドレスはアドレスされた最初のバンクのアドレスを与
え、そのバイトを語のバイト０へ以下同様、最後のバン
クがそのバイトを読み取った語のバイト３へ配置してい
るのはこれである。

【００５６】データは３つのモード、語書き込みモー
ド、半語書き込みモード又はバイト書き込みモードのど
れかでプロセッサから書き戻される。

【００５７】これは低いデータ速度だが、一般にＸピク
セルがフィルタ操作用に読み取られ、Ｙピクセルがその
結果の場合、Ｘは一般的にＹより大きいことは受け入れ
られる。

【００５８】処理が線ｍから完了した時に何が起こるか
を考えてみる。この図では、線ｍ＋４がフレームバッフ
ァから読み取られ、SRAMの線ｍを上書きする。この場
合、プロセッサのバイト回転を避けるため（ある種のプ
ロセッサはバイト回転をサポートしない；ARM プロセッ
サはバイト回転を備える）、最初にアドレスされたバン
クはバンク１で、バンク１はそのバイトを読み取り後の
バイト０に配置する。どのバンクも最初にアドレス可能
であるため、これはどのバンクもそのバイトを読み取り
後の４位置の内の任意のところに配置可能であり、従っ
て実質的に回転機能が実行されることを意味する。

【００５９】時間フィルタ（Ｚ面） これは図５により表される。これは、同じフレーム線を
読み取るのではなく、異なるフレームであることを除い
ては、垂直空間フィルタと同じ技術を使用する。

【００６０】１６ビット・ピクセルデータ １６ビット、すなわち半語ピクセルデータは２バンクの
SRAMに記憶される。図２に示したアドレス指定を使用し
て、これは８語が１６ピクセルを記憶し、１Ｋバイトが
３２ｘ１６ピクセル＝５１２ピクセルを記憶することを
意味する。残りの３５２ピクセルは次のバンクに記憶さ
れる。語読み取りモードでは、１語は２ピクセルを含
む。線はいまや２バンクを占有するため、垂直空間又は
時間フィルタを実行することは、ピクセルをバンクｎと
バンクｎ＋２から読み出さなければならないことを意味
する。半語読み取りモードは半語をバンクｎから、他の
半語をバンクｎ＋１から読み取る。バイト読み取りモー
ドに関しては、どのバンクも最初にアドレス可能であ
り、従って、再びSRAMバンクの出力多重化／付勢で回転
機能が実行される。

【００６１】語書き込みモードは語を１バンクに書き込
む。

【００６２】半語書き込みモードは上又は下半語を１バ
ンクに書き込む。

【００６３】バイト書き込みモードは４バイトのうちの
１つを１バンクに書き込む。画像プロセッサによりしば
しば実行される必要がある処理の１型式は水平フィルタ
操作である。従って、本発明の望ましい実施例では、前
記ラスタ線内モードで、前記画像プロセッサは前記１ラ
スタ線に沿った方向で空間フィルタ操作を実行する。

【００６４】SRAMの提案したタイミングはメモリアクセ
ス・サイクルによるものである。これがどのようにプロ
セッサのクロックと関連しているかは、故意に定義して
いない − これはプロセッサの目標速度に依存する。 ● プロセッサがSRAMに書き込む − １サイクル ● プロセッサがSRAMから読み取る − １サイクル
（センス・アンプを使用） ● ラインバッファがSRAM（８語）に書き込む − １
サイクル ● ラインバッファがSRAM（８語）から読み取る −
２サイクル（電力を節約するためインバータを使用）

【００６５】図６はメモリセルのバンクの１つに書き込
む及び読み取るための多重化装置を詳細に図示する。読
み取り多重の出力の多重化回路により異なる順序でピク
セル値を連結する再順序付回路が設けられる。

【００６６】電力消費と回路面積を減少させるため各種
の改良が実行された。全４バンクのSRAMが１つの２５６
ビット・バスを駆動し、ついでこれを１つのライン読み
取りバッファに向けるのは効率的ではない。同様の議論
がライン書き込みバッファにも適用できる。それゆえ、
バンクあたり１個の書き込み及び１個の読み取りバッフ
ァを有するのが簡単である。それでも、これらのライン
バッファはRAM セルとピッチ整合するのに困難を有す
る。２５６センスアンプの使用を避けるため（電力及び
面積理由から不都合）、RAM アレイから読み取りバッフ
ァへの読み取りは２サイクルかかり、インバータを使用
する。

【００６７】図６の１ＫバイトRAM バンクに図示した多
重化配列に必要な論理式は：

【表３】

【００６８】

【表４】

【００６９】図７は図６の書き込みラインバッファの１
つの可能な実施例を図示する。これは、データが画像フ
レーム・メモリ８から８サイクルで書き込み可能となる
ように直列に配列した一連の３２ビット・レジスタを含
む。このデータをデータバッファ・メモリ４のバンク内
のメモリセルの行に転送すべき時には、これは８個の３
２ビット書き込みとして並列に実行される。

【００７０】図８と図９はデータバッファ・メモリ４か
ら画像フレーム・メモリ８への読み取りを実行するため
の２つの可能なラインバッファを図示する。この場合、
バンクの行内の８個の３２ビット語がレジスタに並列に
読み取られ、次いでこれらのレジスタは直列的に読み取
られて８個の３２ビット・データ語を画像フレーム・メ
モリ８へ流し込む。

【００７１】本発明の図示実施例を添付図面を参照して
本明細書で詳細に説明してきたが、本発明はこれらの実
施例に限定されることなく、添付の特許請求の範囲に定
める本発明の範囲と要旨から逸脱することなく当業者に
は各種の変更と修正が可能であることを理解すべきであ
る。

【図面の簡単な説明】

【図１】本発明の１実施例による画像処理装置を概略的
に図示する図。

【図２】ラスタ線内モードの画像処理装置の動作を図示
する図。

【図３】単一のラスタ線が異なるバンクのメモリセルに
広がっているラスタ線内モードの画像処理装置の動作を
図示する図。

【図４】垂直フィルタ操作を実行するラスタ線間モード
の画像処理装置の動作を図示する図。

【図５】時間フィルタ操作を実行するラスタ線間モード
の画像処理装置の動作を図示する図。

【図６】データバッファ・メモリからのデータの読み取
りとデータの書き込みの多重化配置を図示する図。

【図７】書き込みラインバッファの別の実施例。

【図８】読み取りラインバッファの別の実施例。

【図９】読み取りラインバッファの別の実施例。

【符号の説明】

２ 画像プロセッサ ４ データバッファ・メモリ ６ 画像プロセッサ・バス ８ 画像フレーム・メモリ １０ 画像フレーム・メモリバス １２ ラスタ線出力 １６ バンク １８ マルチプレクサ ２０ ラインバッファ・メモリ

Claims (17)

【特許請求の範囲】
1. 【請求項１】 画像データの処理装置において、 （ｉ）画像を定義するピクセルデータを記憶する画像フ
   レームメモリであって、前記ピクセルデータはピクセル
   データ値のラスタ線に分割されている前記画像フレーム
   メモリと、 （ii）前記画像を定義するピクセルデータ値の前記ラス
   タ線のサブセットを記憶する、画像フレームメモリ・バ
   スを介して前記画像フレームメモリに接続されたデータ
   バッファ・メモリと、 （iii ）前記データバッファ・メモリに記憶したピクセ
   ルデータ値の前記ラスタ線の前記サブセットに対して画
   像処理を実行するための、画像プロセッサバスを介して
   前記データバッファ・メモリに接続した画像プロセッサ
   と、を含み、ここで、 （iv）前記データバッファ・メモリは複数個のバンクの
   メモリセルを有し、各バンクのメモリセルは複数個の行
   と複数個の列のメモリセルに分割されており、 （ｖ）前記画像プロセッサバスは前記データバッファ・
   メモリと前記画像プロセッサとの間でデータ語を転送
   し、各データ語は前記画像内の複数個のピクセルのピク
   セルデータ値を含み、 （vi）前記画像プロセッサと前記データバッファ・メモ
   リはラスタ線内モードで動作して、１バンクのメモリセ
   ルを読み取り、１ラスタ線内から複数個の空間的に隣接
   するピクセルデータ値を含むデータ語を転送し、 （vii ）前記画像プロセッサと前記データバッファ・メ
   モリはラスタ線間モードで動作して、複数個のバンクの
   メモリセルを読み取り、異なるラスタ線内から複数個の
   ピクセルデータ値を含むデータ語を転送する、画像デー
   タの処理装置。
2. 【請求項２】 請求項１記載の装置において、前記ラス
   タ線内モードで、前記画像プロセッサは前記１ラスタ線
   に沿った方向の空間フィルタ操作を実行する装置。
3. 【請求項３】 請求項１記載の装置において、前記ラス
   タ線間モードで、前記データ語は、複数個の異なるバン
   クのメモリセルの各々の内の対応する行と列位置からと
   られた複数個のピクセルデータ値を含む装置。
4. 【請求項４】 請求項３記載の装置において、前記複数
   個のバンクのメモリセルは空間的に隣接するラスタ線を
   記憶し、前記データ語は前記ラスタ線に垂直な方向の空
   間的に隣接するピクセルデータ値を含み、前記画像プロ
   セッサは前記ラスタ線に垂直な前記方向に空間フィルタ
   操作を実行する装置。
5. 【請求項５】 請求項３記載の装置において、前記複数
   個のバンクのメモリセルは時間的に隣接するラスタ線を
   記憶し、前記データ語は前記画像内の共通の空間位置か
   ら時間的に隣接するピクセルデータ値を含み、前記画像
   プロセッサは前記共通の空間位置で時間フィルタ操作を
   実行する装置。
6. 【請求項６】 請求項１記載の装置において、前記デー
   タバッファ・メモリ内の複数個のバンクのメモリセル
   は、前記画像プロセッサにより発生されたアドレスを使
   用してアクセスされる連続したアドレス空間を形成する
   装置。
7. 【請求項７】 請求項５記載の装置において、メモリセ
   ルの前記バンクの各々はサイズＭの別々にアドレス可能
   な記憶位置を有し、前記ラスタ線の各々はＮバンクのメ
   モリセル上に記憶され、前記ラスタ線間モードでは、前
   記データ語は前記アドレス空間内でＭ＊Ｎアドレス位置
   だけ隔置したピクセルデータ値を含む装置。
8. 【請求項８】 請求項７記載の装置において、Ｎ＝１で
   ある装置。
9. 【請求項９】 請求項７記載の装置において、Ｎ＝２で
   ある装置。
10. 【請求項１０】 請求項１記載の装置において、ライン
    バッファが前記画像フレーム・メモリと前記データバッ
    ファ・メモリとの間の前記画像フレーム・メモリバスに
    配置され、前記ラインバッファは前記ラインバッファと
    メモリセルの完全な１行との間で並列に転送される複数
    個のピクセルデータ値をバッファする役割を果たす装
    置。
11. 【請求項１１】 請求項１０記載の装置において、前記
    複数個のピクセルデータ値が前記ラインバッファと前記
    メモリセルの完全な１行との間で並列に転送されている
    間は前記画像プロセッサは前記データバッファ・メモリ
    をアクセスすることを禁止され、ピクセルデータ値が前
    記ラインバッファと前記画像フレーム・メモリとの間で
    転送されている間は前記画像プロセッサは前記データバ
    ッファ・メモリをアクセスすることを許可されている装
    置。
12. 【請求項１２】 請求項１記載の装置において、前記画
    像プロセッサは、前記データバッファ・メモリ内の単一
    バンクのセルへ書き込む処理動作として前記データバッ
    ファ・メモリへピクセルデータ値を書き込む装置。
13. 【請求項１３】 請求項１記載の装置において、前記画
    像フレーム・メモリはビデオRAM 又はSDRAM である装
    置。
14. 【請求項１４】 請求項１記載の装置において、前記画
    像プロセッサはプログラム命令制御下で動作するマイク
    ロプロセッサである装置。
15. 【請求項１５】 請求項１記載の装置において、前記ピ
    クセルデータ値のラスタ線のサブセットのラスタ線内か
    らのピクセルデータ値は、あるバンクのメモリセル内の
    各連続する行のメモリセルのメモリセル内に記憶されて
    いる装置。
16. 【請求項１６】 請求項１記載の装置において、前記ピ
    クセルデータ値を互いに連結して前記データ語を形成す
    る順序を選択する再順序付回路をさらに含む装置。
17. 【請求項１７】 画像データの処理方法において、 （ｉ）画像を定義するピクセルデータを画像フレーム・
    メモリ内に記憶する段階であって、前記ピクセルデータ
    はピクセルデータ値のラスタ線に分割されている前記記
    憶段階と、 （ii）前記画像を定義するピクセルデータ値の前記ラス
    タ線のサブセットをデータバッファ・メモリ内に記憶す
    る段階であって、前記データバッファ・メモリは画像フ
    レーム・メモリバスを介して前記画像フレーム・メモリ
    に接続されている前記記憶段階と、 （iii ）画像プロセッサにより前記データバッファ・メ
    モリ内に記憶されたピクセルデータ値の前記ラスタ線の
    前記サブセットに画像処理を実行する段階であって、前
    記画像プロセッサは画像プロセッサバスを介して前記デ
    ータバッファ・メモリに接続されている前記実行段階
    と、を含み、ここで、 （iv）前記データバッファ・メモリは複数個のバンクの
    メモリセルを有し、各バンクのメモリセルは複数個の行
    と複数個の列のメモリセルに分割され、ピクセルデータ
    値のラスタ線の前記サブセットのラスタ線内からのピク
    セルデータ値は、あるバンクのメモリセル内のメモリセ
    ルの各連続する行のメモリセル内に記憶され、 （ｖ）前記画像プロセッサバスは前記データバッファ・
    メモリと前記画像プロセッサとの間でデータ語を転送
    し、各データ語は前記画像内の複数個のピクセルのピク
    セルデータ値を含み、 （vi) 前記画像プロセッサと前記データバッファ・メモ
    リはラスタ線内モードで動作して１バンクのメモリセル
    を読み取り、１ラスタ線内からの複数個の空間的に隣接
    するピクセルデータ値を含むデータ語を転送し、 （vii ）前記画像プロセッサと前記データバッファ・メ
    モリはラスタ線間モードで動作して複数個のバンクのメ
    モリセルを読み取り、異なるラスタ線内からの複数個の
    ピクセルデータ値を含むデータ語を転送する、画像デー
    タの処理方法。