JPH0260028B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は、空間積和演算等の局所近傍画像処理
を実行する並列画像処理プロセツサに係り、特に
LSI化に適したアーキテクチヤを有する並列画像
処理プロセツサに関する。

画像処理プロセツサは、通産省大型プロジエク
ト「パターン情報処理システム」（昭和55年10月
に研究開発成果発表論文集が発行されている。）
にて開発されているように、画像データを並列処
理し高速化を図ろうとしているものが多い。画像
データは２次元の広がりをもつため、全ての画像
データを並列処理することは困難である。しか
し、ノイズ除去や輪郭抽出機能を実現する空間積
和演算等のように、近傍の画像データ間の演算が
多いため、例えば画像のｍ行×ｎ列の局所的なデ
ータを並列処理する例が多い。このような局所並
列形画像処理は、前記文献あるいは 木戸出正継：画像処理ハードウエアの動向：情
報処理コンピユータビジヨン研究会資料８−６
（1980年９月）にて総括的に説明されているが、
CCDアナログ処理形を除いてLSI化されたものは
ない。従来のアーキテクチヤのプロセツサをその
ままLSI化するには、 集積度 ピン数 の点で困難がある。

本発明の目的は、LSI化に適したアーキテクチ
ヤを有する並列画像処理プロセツサを提供するに
ある。

本発明の特徴は、画像データ供給源からの画像
データを取込み局所並列画像データ処理を行なう
並列画像処理プロセツサにおいて、画像データ入
力ポートと、前記画像データ入力ポートからの画
像データを順次取込む複数個の第１のシフトレジ
スタと、前記各第１のシフトレジスタの内容を入
力して画像処理演算を行なう複数個のプロセツサ
エレメントと、前記各プロセツサエレメント内の
演算結果を各プロセツサエレメントごとに累積加
算する複数個の第１の演算回路と、前記複数個の
第１の演算回路の演算結果を取込む第２のシフト
レジスタと、前段の基本モジユールにおける演算
結果データを入力する演算結果データ入力ポート
と、前記演算結果データと前記第２のシフトレジ
スタ内にセツトされた前記第１の演算回路の演算
結果の加算を行なう第２の演算回路と、前記第２
の演算回路の演算結果データを出力する演算結果
データ出力ポートとからなる画像処理プロセツサ
基本モジユールを、複数組並列配置した並列画像
処理プロセツサにある。

以下、本発明を図示する実施例を用いて説明す
る。尚、第１図〜第１０図は最近考えられている
並列画像処理技術の説明図、第１１図及び第１２
図は本発明の一実施例である。

第１図は典型的な画像処理システムの構成を示
すもので、画像入力装置として工業用テレビジヨ
ンカメン５、画像記憶装置として画像メモリ３、
及びこの内容を表示するCRTモニタ４が設けら
れている。画像メモリ３の画像情報が画像処理プ
ロセツサ２により処理され、この結果がまた画像
メモリ３に格納されたり、あるいはシステム全体
を制御する管理プロセツサ１に与えられる。

代表的な画像処理機能として空間積和演算があ
る。これは第２図に示すように、例えば４×４画
素の局所画像データf₁₁〜f₄₄に対し、定められた
荷重w₁₁〜w₄₄を乗算し総和をとるものである。
これにより ノイズ除去 輪郭強調 等の画像処理が行える。

このような、例えば４×４画素の局所画像デー
タを処理する画像処理プロセツサとして、第３図
に示すような４個のプロセツサエレメント（PE
＃１〜＃４）１２をもつ画像処理プロセツサ基本
モジユール１０を４モジユール組合せた並列画像
処理プロセツサ（タイプと呼ぶ）２−として
いる。画像メモリ３からは、局所画像データが１
列分（第３図ではf₁₁〜f₄₄）並列に与えられ、そ
の演算結果（第３図ではｇ）が画像メモリ３に格
納される。

基本モジユール１０は、処理対象の行の画像デ
ータを取込む画像データ入力ポート２４、内部処
理結果を出力する演算結果データ出力ポート３５
をもつ。画像データf₁₄が入力されたとき、シフ
トレジスタ１１を介して１画素毎隣接した画素
f₁₃，f₁₂，f₁₁も対応するPE＃４〜１に入力され
る。画素f₁₁は、空間積和演算のサイズを４×４
以上の拡張する場合のために、画像データ出力ポ
ート２５から出力される。PE１２には、シフト
レジスタ１１からの処理対象の画像データｆと、
荷重記憶メモリ１５からの荷重データｗが与えら
れ、乗算が実行される。この結果が４個のPE１
２の結果を加算する演算回路１３により部分和が
とられる。演算結果入力ポート３０から入力され
る部分和が演算回路１４により次々と累積され、
演算結果出力ポート３５より次段の基本モジユー
ル１０に出力される。

このようにして、基本モジユール１０を４段重
ねることにより、最終基本モジユール１０Ｄから ｇ＝_4,4 〓^i,j=1,1 f_i,j＊w_ij が出力される。

このタイムチヤートを第４図に示す。前述した
演算が基本クロツク時間Δt1内に実行され結果ｇ
が出力され、次のΔt1では１画素分だけ移動した
４×４絵素の入力画像に対する結果ｇが出力され
ることになる。したがつて、次々と入力される画
像データに対する全ての４×４絵素の空間積和演
算結果が次々と出力される。

第５図の実施例は、前述の実施例のタイプ画
像処理プロセツサ２−の基本クロツク時間Δt1
を、パイプライン処理により短縮化した構成を示
すものである。これをタイプのパイプラインバ
ージヨンの並列画像処理プロセツサ２−Ｐと呼
ぶ。即ち、タイプでは基本クロツク時間Δt1は 画像データf_i,jのシフトレジスタ１１への入力
処理 プロセツサエレメント１２による積和荷重
w_i,jと画像f_i,jとの乗算処理 演算回路１３による部分和処理 演算回路１４による部分和累算処理 の全ての処理時間の和以上である必要があつた。
これに対して、例えば第５図の例のように、と
、と、及びとの間にパイプラインレジ
スタ１６を介在させることにより、その基本クロ
ツク時間Δt2を〜の処理時間のうちの最大の
もの（全ての和でない）まで小さくすることが可
能になる。このタイムチヤートを第６図に示す。
時刻１で処理，で，で，でが実行
される。時刻２では次の入力画像に対する処理
，３で，４で，５でが実行され、次々と
各構成要素をパイプライン的に動作させその処理
速度を向上することができる。

第７図の実施例は、前述の並列画像処理プロセ
ツサ２−Ｐの基本クロツクΔt2を更に短縮化し
うる構成を示したもので、タイプのパイプライ
ン−スキユーバージヨンの並列画像処理プロセツ
サ２−PSと呼ぶ。第５図のＰタイプでの基
本クロツク時間Δt2は、処理の部分和累積時間
により制約される可能性が強い。というのは基本
モジユール１０をｎ段にした場合、Δt2は演算回
路１４での処理時間と演算結果３０，３５の入出
力時間との和のｎ倍の時間が必要になるからであ
る。特に基本モジユール１０をLSI化した場合は
入出力遅延時間は無視できない。このため、第５
図のタイプＰに更に部分和の累積のパスにパイ
プラインレジスタ１６を入れ、基本モジユール１
０Ａ〜Ｄ間での演算もパイプライン処理するよう
にしたもので、前述のΔt2の時間規制を１／ｎに
している。この第７図のPSタイプでは、第８
図のタイムチヤートで示すように、同時刻３で各
基本モジユール１０Ａ〜Ｄの部分和が算出され累
積の部分でのタイミングが合わなくなる。第７図
のPSでは、このタイミング合せのための可変
段数スキユー補正用シフトレジスタ１７を画像デ
ータ入力ポート２４に直後に設置している。各基
本モジユール１０Ａ〜Ｄの累積パスでのパイプラ
イン段数は１段であるため、可変段数スキユー補
正用シフトレジスタ１７の段数は、 基本モジユール１０Ａ……０段 〃 Ｂ……１段 〃 Ｃ……２段 〃 Ｄ……３段 に設定される。このようにして第８図のタイムチ
ヤートにおける不整合（…部）が補正され、連続
したΔt3時間でのパイプライン動作が可能とな
る。

なお、容易にわかるように、スキユレジスタ１
７は、部分和を求める演算回路１３の直後に設置
しても、あるいは各PE１２の直前、直後に設置
しても同様にタイミングの不整合は解決される。

第９図に、処理形態が異なる他の実施例を示
す。前述までのタイプの構成では、画像データ
入力をシフトレジスタ１１を介して各PE１２
＃１〜４に隣接する絵素を分配していた。これに
対し本実施例では、入力画像データは各PE１２
＃１〜４に共通に与え、この乗算結果を演算回路
１８、レジスタ１９を介して累算して部分和Σⁱを
出力するようにしている。この動作を第１０図の
タイムチヤートを参照して説明する。

時刻１で画像データ入力ポート２０より画像
f₁₁が入力され、PE１２＃１にて荷重記憶メモリ
１５から読み出された荷重w₁₁との積f₁₁＊w₁₁が
レジスタ１９＃２にセツトされる。

時刻２で画像データf₁₂が入力され、PE１２
＃２にて荷重w₁₂との積f₁₂＊w₁₂がとられ、これ
とレジスタ１９＃２の値f₁₁＊w₁₁との和f₁₁＊w₁₁
＋f₁₂＊w₁₂が演算回路１８でとられ、レジスタ１
９＃３にセツトされる。

時刻３で画像データf₁₃が入力され、PE１２
＃３にて荷重w₁₃との積f₁₃＊w₁₃がとられ、これ
とレジスタ１９＃３の値f₁₁＊w₁₁＋f₁₂＊w₁₂との
和f₁₁＊w₁₁＋f₁₂＊w₁₂＋f₁₃＊w₁₃が演算回路１８
でとられ、レジスタ１９＃４にセツトされる。

時刻４で画像データf₁₄が入力され、PE１２
＃４にて荷重w₁₄との積f₁₄＊w₁₄とられ、これと
レジスタ１９＃４の値f₁₁＊w₁₁＋f₁₂＊w₁₂＋f₁₃＊
w₁₃との和Σ¹ ₁₁＝f₁₁＊w₁₁＋〜＋f₁₄＊w₁₄が演算回
路１８でとられる。この部分和Σ_iが各基本モジユ
ール１０Ａ〜Ｄの演算回路１４で累積され、最終
段から ｇ＝_4,4 〓^i,j=1,1 f_i,j＊w_i,j が出力される。

以下、各基本クロツク時間Δt4間隔で空間積和
演算結果ｇが出力される。

このタイプの並列画像処理プロセツサ２−
にも、タイプと同様に、タイプＰ及びPS
が考えられ、基本クロツク時間Δt4を小さくする
ことが可能である。これらは容易に類推できるの
でここでは省略する。

第１１図は、本発明による並列画像処理プロセ
ツサの一実施例を示す。前述までの各PE１２に
独立に積和荷重（メモリ）１５を与えていた方式
に対し、第１１図の構成では全PE１２共通に積
和荷重（メモリ）１５を与える方式でありタイプ
の並列画像処理プロセツサ２−と呼ぶ。この
動作を第１２図のタイムチヤートを参照て説明す
る。

まず時刻１で既に画像データ入力ポート２０よ
り画像f₁₄が入力されているとする。このときシ
フトレジスタ１１を介してPE１２＃１〜＃４に
はそれぞれf₁₁，f₁₂，f₁₃，f₁₄が与えられている。
そして荷重記憶メモリ１５から荷重w₁₁が読み出
され、それぞれの入力画像との積がとられる。演
算回路２０では、時刻１のはじめに保持している
値が“０”クリアされ、前述のf₁₁〜f₁₄とw₁₁との
積がそれぞれ保持される。

時刻２では画像f₁₅が入力され、PE１２＃１〜
＃４にはそれぞれf₁₂〜₁₅が与えられ、次の荷重
w₁₂との積がとられる。この後演算回路２０で以
前の値との累積処理が行われる。例えば＃１では
f₁₁＊w₁₁＋f₁₂＊w₁₂、＃２ではf₁₂＊w₁₁＋f₁₃＊w₁₂
が結果として保持される。

時刻３，４でも同上の処理が実行され、演算回
路２０＃１〜＃４には ＃１：Σ¹ ₁₁＝f₁₁＊w₁₁＋f₁₂＊w₁₂＋f₁₃＊w₁₃＋f₁₄＊
w₁₄ ＃２：Σ¹ ₁₂＝f₁₂＊w₁₁＋f₁₃＊w₁₂＋f₁₄＊w₁₃＋f₁₅＊
w₁₄ ＃３：Σ¹ ₁₃＝f₁₃＊w₁₁＋f₁₄＊w₁₂＋f₁₅＊w₁₃＋f₁₆＊
w₁₄ ＃４：Σ¹ ₁₄＝f₁₄＊w₁₁＋f₁₅＊w₁₂＋f₁₆＊w₁₃＋f₁₇＊
w₁₄ とそれぞれの第１部分和が得られ、これが時刻Δ
の終りでシフトレジスタ２１にセツトされる。

時刻５〜８では、各基本モジユール１０Ａ〜Ｄ
のシフトレジスタ２１から、Σ¹ ₁₁〜Σ⁴ ₁₁、Σ¹ ₁₂〜
Σ⁴ ₁₂、Σ¹ ₁₃〜Σ⁴ ₁₃、Σ¹ ₁₄〜Σ⁴ ₁₄が演算回路１４に
より
順次累積され、結果g₁₁〜g₁₄を出力する。と同時
に、PE＃１では画像データf₁₅〜f₁₈、PE＃２では
f₁₆〜f₁₉、PE＃３ではf₁₇〜f₂₀、PE＃４ではf₁₈〜
f₂₁に対して時刻１〜４と同様の処理が実行され、
部分和Σⁱ ₁₅、Σⁱ ₁₆、Σⁱ ₁₇、Σⁱ ₁₈を求め、時刻９〜12
に
てこれらが累積され結果g₁₅〜g₁₈が得られる。こ
のようにして連続して空間積和演算結果が出力さ
れる。

このタイプの並列画像処理プロセツサ２−
にも、タイプと同様に、タイプＰ及びPS
が考えられ、基本クロツク時間Δt5を小さくする
ことが可能である。

さて、前述のタイプ〜までの実施例では、
基本モジユール１０間の演算は、部分和演算回路
１４を直列接続する形とし、この回路１４も基本
モジユール内に含めていた。しかしLSI化のため
にピン数が問題となる場合には、例えば第３図の
点線部のみ基本モジユールとし、モジユール間演
算は外部で並列に行うことも可能である。

本発明によれば、局所並列画線プロセツサを少
ない入出力ポートでかつ規則的な配列のモジユー
ルに分割できるため、LSI化に適したアーキテク
チヤとすることができる。特に、積和荷重を各プ
ロセツサエレメントに共通に与えるので、荷重係
数を収納するRAMを１個で共通化でき、１個の
ポートですみ、LSIとして作り易いという効果が
ある。

【図面の簡単な説明】

第１図〜第１０図は最近考えられている並列画
像処理技術の説明図であつて、第１図は画像処理
システムの構成を示す図、第２図は局所並列処理
の例を説明する図、第３図、第５図、第７図、第
９図は並列画像処理プロセツサの構成例を示すブ
ロツク図、第４図、第６図、第８図、第１０図は
各並列画像処理プロセツサのタイムチヤートであ
り、第１１図は本発明による並列画像処理プロセ
ツサの一実施例図、第１２図は第１１図のタイム
チヤートである。 ２……並列画像処理プロセツサ、３……画像メ
モリ、１０……画像処理プロセツサ基本モジユー
ル、１１……入力画像シフトレジスタ、１２……
プロセツサエレメント、１３……部分和演算回
路、１４……部分和累算演算回路、１５……荷重
記憶メモリ、１６……パイプラインレジスタ、１
７……（可変段数）スキユー補正シフトレジス
タ、１８……伝播・累積演算回路、１９……伝播
レジスタ、２０……累積演算回路、２１……部分
和出力シフトレジスタ、２４……画像データ入力
ポート、２５……画像データ出力ポート、３０…
…演算結果データ入力ポート、３５……演算結果
データ出力ポート。

Claims (1)

【特許請求の範囲】
1. １ 画像データ供給源からの画像データを取込み
   局所並列画像データ処理を行なう並列画像処理プ
   ロセツサにおいて、画像データ入力ポートと、前
   記画像データ入力ポートからの画像データを順次
   取込む複数個の第１のシフトレジスタと、前記各
   第１のシフトレジスタの内容を入力して画像処理
   演算を行なう複数個のプロセツサエレメントと、
   前記各プロセツサエレメント内の演算結果を各プ
   ロセツサエレメントごとに累積加算する複数個の
   第１の演算回路と、前記複数個の第１の演算回路
   の演算結果を取込む第２のシフトレジスタと、前
   段の基本モジユールにおける演算結果データを入
   力する演算結果データ入力ポートと、前記演算結
   果データと前記第２のシフトレジスタ内にセツト
   された前記第１の演算回路の演算結果の加算を行
   なう第２の演算回路と、前記第２の演算回路の演
   算結果データを出力する演算結果データ出力ポー
   トとからなる画像処理プロセツサ基本モジユール
   を、複数組並列設置したことを特徴とする並列画
   像処理プロセツサ。