JPS63219082A

JPS63219082A - 並列画像処理プロセツサ

Info

Publication number: JPS63219082A
Application number: JP26640887A
Authority: JP
Inventors: Yoshiki Kobayashi; 芳樹小林; Tadashi Fukushima; 忠福島; Yoshiyuki Okuyama; 奥山　良幸
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1987-10-23
Filing date: 1987-10-23
Publication date: 1988-09-12
Also published as: JPH0260028B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】本発明は、空間積和演算等の局所近傍画像処理を実行す
る並列画像処理プロセッサに係り、特にＬＳＩ化に適し
たアーキテクチャを有する並列画像処理プロセッサに関
する。

画像処理プロセッサは、通産省大型プロジェクト「パタ
ーン情報処理システム」　（昭和５５年１０月に研究開
発成果発表論文集が発行されている。）にて開発されて
いるように、画像データを並列処理し高速化を図ろうと
しているものが多い。

画像データは２次元の広がりをもつため、全ての画像デ
ータを並列処理することは困難である。しかし、ノイズ
除去や輪郭抽出機能を実現する空間積和演算等のように
、近傍の画像データ間の演算が多いため、例えば画像の
ｍ行×ｎ列の局所的なデータを並列処理する例が多い。

このような局所並列形画像処理は、前記文献あるいは木戸出正継二画像処理ハードウェアの動向：情報処理コ
ンピュータビジョン研究会資料８−６（１’９８０年９
月）にて総括的に説明されているが、ＣＣＤアナログ処
理形を除いてＬＳＩ化されたものはない。従来のアーキ
テクチャのプロセッサをそのままＬＳＩ化するには、 ■　集積度 ■　ピン数の点で困難がある。

本発明の目的は、ＬＳＩ化に適したアーキテクチャを有
する並列画像処理プロセッサを提供するにある。

本発明の特徴は、画像データ供給源がらの画像データを
取込み局所並列画像データ処理を行なう並列画像処理プ
ロセッサにおいて、画像データ入力ポートと、前記画像
データ入力ポートがらの画像データを順次取込む複数個
の第１のシフトレジスタと、前記各第１のシフトレジス
タの内容を入力して画像処理演算を行なう複数個のプロ
セッサエレメントと、前記各プロセッサエレメント内の
演算結果を各プロセッサエレメントごとに累積加算する
複数個の第１の演算回路と、前記複数個の第１の演算回
路の演算結果を取込む第２のシフトレジスタと、前段の
基本モジュールにおける演算結果データを入力する演算
結果データ入力ポートと、前記演算結果データと前記第
２のシフトレジスタ内にセットされた前記第１の演算回
路の演算結果の加算を行なう第２の演算回路と、前記第
２の演算回路の演算結果データを出力する演算結果デー
タ出力ポートとからなる画像処理プロセッサ基本モジュ
ールを、複数組並列配置した並列画像処理プロセッサに
ある。

以下、本発明を図示する実施例を用いて説明する。尚、
第１図〜第１０図は最近考えられている並列画像処理技
術の説明図、第１１図及び第１２図は本発明の一実施例
である。

第１図は典型的な画像処理システムの構成を示すもので
、画像入力装置として工業用テレビジョンカメラ５２画
像記憶装置として画像メモリ３゜及びこの内容を表示す
るＣＲＴモニタ４が設けられている。画像メモリ３の画
像情報が画像処理プロセッサ２により処理され、この結
果がまた画像メモリ３に格納されたり、あるいはシステ
ム全体を制御する管理プロセッサ１に与えられる。

代表的な画像処理機能として空間積和演算がある。これ
は第２図に示すように、例えば４×４画素の局所画像デ
ータｆ！１〜ｆ４４に対し、定められた荷重Ｗｌｌ〜Ｗ
４４を乗算し総和をとるものである。

これによりノイズ除去輪郭強調等の画像処理が行える。

このような１例えば４Ｘ４画素の局所画像データを処理
する画像処理プロセッサとして、第３図に示すような４
個のプロセッサエレメント（ＰＥ＃１〜＃４）１２をも
つ画像処理プロセッサ基本モジュール１０を４モジユ一
ル組合せた並列画像処理プロセッサ（タイプＩと呼ぶ）
２−Ｉとしている。画像メモリ３からは、局所画像デー
タが１列分（第３図ではｆ１４〜ｆ４４）並列に与えら
れ、その演算結果（第３図ではｇ）が画像メモリ３に格
納される。

基本モジュール１０は、処理対象の行の画像データを取
込む画像データ入力ポート２４、内部処理結果を出力す
る演算結果データ出力ポート３５をもつ。画像データｆ
１４が入力されたとき、シフトレジスタ１１を介して１
画素毎隣接した画素ｆ　１１　ｆ　ｓｘ、　　ｆ　１１
も対応するＰＥ＃４〜１に入力さ・れる。画素ｆｚｔは
、空間積和演算のサイズを４×４以上に拡張する場合の
ために、画像データ出力ポート２５から出力される。Ｐ
Ｅ１２には、シフトレジスタ１１からの処理対象の画像
データｆと、荷重記憶メモリ１５からの荷重データＷが
与えられ１乗算が実行される。この結果が４個のＰＥ１
２の結果を加算する演算回路１３により部分和がとられ
る。演算結果入力ポート３０から入力される部分和が演
算回路１４により次々と累算され、演算結果出力ポート
３５より次段の基本モジュール１０に出力される。

このようにして、基本モジュール１０を４段重ねること
により、最終基本モジュールＩＯＤからが出力される。

このタイムチャートを第４図に示す。前述した演算が基
本クロック時間Δｔ１内に実行され結果ｇが出力され、
次のΔｔ１では１画素分だけ移動した４×４絵素の入力
画像に対する結果ｇが出力されることになる。したがっ
て、次々と入力され　。

る画像データに対する全ての４×４絵素の空間積和演算
結果が次々と出力される。

第５図の実施例は、前述の実施例のタイプ１画像処理プ
ロセッサ２−Ｉの基本クロック時間Δｔ１を、パイプラ
イン処理により短縮化した構成を示すものである。これ
をタイプ■のパイプラインバージョンの並列画像処理プ
ロセッサ２−ＩＰと呼ぶ。即ち、タイプＩでは基本クロ
ック時間Δｔ１は ■　画像データｆ＋、ｊのシフトレジスタ１１への入力
処理 ■　プロセッサエレメント１２による積和荷重Ｗｌ、Ｊ
と画像ｆｌ、Ｊとの乗算処理 ■　演算回路１３による部分和処理 ■　演算回路１４による部分和累算処理の全ての処理時
間の和以上である必要があった。

これに対して、例えば第５図の例のように、■と■、■
と■、及び■と■の間にパイプラインレジスタ１６を介
在させることにより、その基本クロック時間Δｔ２を■
〜■の処理時間のうちの最大のもの（全ての和でない）
まで小さくすることが可能になる。このタイムチャート
を第６図に示す。

時刻１で処理■、２で■、３で■、４で■が実行される
。時刻２では次の入力画像に対する処理■。

３で■、４で■、５で■が実行され、次々と各構成要素
をパイプライン的に動作させその処理速度を向上するこ
とができる。

第７図の実施例は、前述の並列画像処理プロセッサ２−
ＩＰの基本クロックΔｔ２を更に短縮化しうる構成を示
したもので、タイプ■のパイプラインースキューパージ
ョンの並列画像処理プロセッサ２−ＩＰＳと呼ぶ。第５
図のＩＰタイプでの基本クロック時間Δｔ２は、処理■
の部分和累積時間により制約される可能性が強い。とい
うのは基本モジュール１０をｎ段にした場合、Δｔ２は
演算回路１４での処理時間と演算結果３０．３５の入出
力時間との和のｎ倍の時間が必要になるからである。特
に基本モジュール１０をＬＳＩ化した場合は入出力遅延
時間は無視できない。このため、第５図のタイプｔｐに
更に部分和の累積のパスにパイプラインレジスタ１６を
入れ、基本モジュールｌ０Ａ−Ｄ間での演算もパイプラ
イン処理するようにしたもので、前述のΔし２の時間規
制を１／ｎにしている。この第７図のＩＰＳタイプでは
、第８図のタイムチャートで示すように、同時刻３で各
基本モジュールＩＯＡ〜Ｄの部分和が算出され累積の部
分でのタイミングが合わなくなる。第７図のＩＰＳでは
、このタイミング合せのための可変段数スキュー補正用
シフトレジスタ１７を画像データ入力ボート２４に直後
に設置している。各基本モジュールｌ０Ａ−Ｄの累積パ
スでのパイプライン段数は１段であるため、可変段数ス
キュー補正用シフトレジスタ１７の段数は、基本モジュ
ールＩＯＡ・・・・・・・・・Ｏ段〃　　　Ｂ・・・・
・・・・・１段Ｃ・・・・・・・・・２段Ｄ・・・・・・・・・３段に設定される。このようにして第８図のタイムチャート
における不整合（・・・部）が補正され、連続したΔｔ
３時間でのパイプライン動作が可能となる。

なお、容易にわかるように、スキュレジスタ１７は、部
分和を求める演算回路１３の直後に設置しても、あるい
は各ＰＥ１２の直前、直後に設置しても同様にタイミン
グの不整合は解決される。

第９図に、処理形態が異なる他の実施例を示す。

前述までのタイプ■の構成では、画像データ入力をシフ
１−レジスタ１１を介して各ＰＥ１２＃１〜−４に隣接
する絵素を分配していた。これに対し本実施例では、入
力画像データは各ＰＥ１２＃１〜４に共通に与え、この
乗算結果を演算回路１８゜レジスタ１９を介して累算し
て部分和Σ１を出力するようにしている。この動作を第
１０図のタイムチャートを参照して説明する。

時刻１で画像データ入力ポート２０より画像ｆｌｔが入
力され、ＰＥ１２＃１にて荷重記憶メモリ１５から読み
出された荷重Ｗｌｌとの積ｆ１１−Ｗｌｌがレジスタ１
９＃２にセットされる。

時刻２で画像データｆｘｚが入力され、ＰＥ１２＃２に
て荷重ｗｔ２との積ｆ　１ｚ＊　ｗｚｚがとられ、これ
とレジスタ１９＃２の値ｆｌ１ｍＷ１１との和ｆ１１＊
ｗ１ｔ＋ｆｔ２＊Ｗ１２が演算回路１８でとられ、レジ
スタ１９＃３にセットされる。

時刻３で画像データｆｚａが入力され、ＰＥ１２＃３に
て荷重Ｗ１３との積ｆ　１ｓ−Ａ１３がとられ、これと
レジスタ１９＃３の値ｆ　１１　＊　ｗｔｔ十ｆ　１２
嘲Ｗ１２との和ｆｌｌ傘Ｗｌｌ＋ｆｔｚ傘Ｗ１２＋　ｆ
　ｔａ傘Ｗ１３が演算回路１８でとられ、レジスタ１９
＃４にセットされる。

時刻４で画像データｆｘ４が入力され、ＰＥ１２＃４に
て荷重Ｗ１４との積ｆｔ４傘Ｗ１４がとられ、これとレ
ジスタ１９＃４の値ｆ１を申ｗ１ｔ＋ｆｘ２ネｗｘｚ＋
ｆｔ３＊ｗｔａとの和Σ１１＝ｆｌｉ本Ｗｌｌ十〜＋ｆ
ｘ４＊ｗｔａが演算回路１８でとられる。この部分和Σ
１が各基本モジュールｌ０Ａ−Ｄの演算回路１４で累積
され、最終段からが出力される。

以下、各基本クロック時間Δｔ４間隔で空間積和演算結
果ｇが出力される。

このタイプＨの並列画像処理プロセッサ２−ｎにも、タ
イプ！と同様に、タイプ■Ｐ及び■ＰＳが考えられ、基
本クロック時間Δｔ４を小さくすることが可能である。

これ、らは容易に類推できるのでここでは省略する。

第１１図は、本発明による並列画像処理プロセッサの一
実施例を示す。前述までの各ＰＥ１２に独立に積和荷重
（メモリ）１５を与えていた方式に対し、第１１図の構
成では全ＰＥ１２共通に積和荷重（メモ１月１５を与え
る方式でありタイプ■の並列画像処理プロセッサ２−ｍ
と呼ぶ。この動作を第１２図のタイムチャートを参照し
て説明する。

まず時刻１で既に画像データ入力ポート２０より画像ｆ
１４が入力されているとする。このときシフトレジスタ
１１を介してＰＥ１２＃１〜＃４にはそれぞれｆｔｔｔ
　ｆｔｚ、　ｆ□３．ｆ１番が与えられている。そして
荷重記憶メモリ１５から荷重Ｗｉｔが読み出され、それ
ぞれの入力画像との積がとられる。演算回路２０では、
時刻１のはじめに保持している値が１′０”クリアされ
、前述のｆ１１〜ｆ１４とＷｌｌとの積がそれぞれ保持
される。

時刻２では画像ｆ１５が入力され、ＰＥ１２＃１〜＃４
にはそれぞれｆ１２〜１５が与えられ、次の荷重Ｗ１２
どの積がとられる。この後演算回路２０で以前の値との
累積処理が行われる。例λばＡ１で２はｆ　１１１　Ｗ
１！＋　ｆ　１２１　Ａ１２、Ａ２ではｆ　１２１　ｗ
１ｔ＋　ｆ　１ｓ’ｓ　Ａ１２が結果として保持される
。

時刻３，４でも同上の処理が実行され、演算回路２ｏ＃
１〜＃４にはＡ１　：Σｊｌ：：　ｆ　ｔｔ　＊　ｗｔｔ＋　ｆ　１
２阜Ｗ１２＋　ｆ　１３”　ｗ１ａ＋　ｆ　１４”　Ｗ
１４＃２：Σｉ２：＝４　ｔｚ＊　Ａ１１＋　ｆ　１３
１　Ｗ１２＋ｆ１４申ｗ１ａ＋　ｆ　ｘｅ、＊　Ｗ１４
＃３：Σｌδ＝　ｆ　ｌａ＊　ｗｔｔ＋　ｆ　１４６　
Ａ１２＋　ｆ　１５＊　ｗｔａ＋　ｆ　１Ｂ”　Ｗ１４
＃４：Σｅａ＝ｆｔ４申Ｗ１１＋　ｆ　ｔｓ＄　Ｗ１２
十ｆｔ８本ｗｉａ＋　ｆ　１？−ＷＬ４とそれぞれの第
１部分和が得られ、これが時刻Δの終りでシフトレジス
タ２１にセットされる。

時刻５〜８では、各基本モジュールｌ０Ａ−Ｄのシフト
レジスタ２１から、Σｉｆ〜Σ１１．Σ）２〜Σ１２．
Σ）３〜Σ１３．Σｉ４〜Σ１４１が演算回路１４によ
り順次累積され、結果ｇｌｌ〜ｇ１４を出力する。

と同時に、ＰＥＡ１では画像データｆｘδ〜ｆ１６゜Ｐ
ＥＡ２ではｆｚａ〜ｆｔｏ、ＰＥＡ３ではｆ１７〜ｆｚ
ｏ、ＰＥＡ４ではｆ　ｈａ〜ｆ　ｚｌに対して時刻１〜
４と同様の処理が実行され、部分和Σ１５．Σ１Ｇ。

Σｉ７．Σ１８を求め１時刻９〜１２にてこれらが累積
され結果ｇ１６〜ｇ１δが得られる。このようにして連
続して空間積和演算結果が出力される。

このタイプ■の並列画像処理プロセッサ２−ＩＩＩにも
、タイプ■と同様に、タイプ■Ｐ及び■ＰＳが考えられ
、基本クロック時間Δｔ５を小さくすることが可能であ
る。

さて、前述のタイプ■〜■までの実施例では、基本モジ
ュール１０間の演算は、部分和演算回路１４を直列接続
する形とし、この回路１４も基本モジュール内に含めて
いた。しかしＬＳＩ化のためにピン数が問題となる場合
には、例えば第３図の点線部のみ基本子ジュールとし、
モジュール間演算は外部で並列に行うことも可能である
。

本発明によれば１局所並列画像プロセッサを少ない入出
力ポートでかつ規則的な配列のモジュールに分割できる
ため、ＬＳＩ化に適したアーキテクチャとすることがで
きる。特に、積和荷重を各プロセッサエレメントに共通
に与えるので、荷重係数を収納するＲＡＭを１個で共通
化でき、１個のポートですみ、ＬＳＩとして作り易いと
いう効果がある。

【図面の簡単な説明】

第１図〜第１０図は最近考えられている並列画像処理技
術の説明図であって、第１図は画像処理システムの構成
を示す図、第２図は局所並列処理の例を説明する図、第
３図、第５図、第７図、第９図は並列画像処理プロセッ
サの構成例を示すブロック図、第４図、第６図、第８図
、第１０図は各並列画像処理プロセッサのタイムチャー
トであり、第１１図は本発明による並列画像処理プロセ
ッサの一実施例図、第１２図は第１１図のタイムチャー
トである。２・・・並列画像処理プロセッサ、３・・・画像メモリ
。１０・・・画像処理プロセッサ基本モジュール、１１・
・・入力画像シフトレジスタ、１２・・・プロセッサエ
レメント、１３・・・部分和演算回路、１４・・・部分
和累算演算回路、１５・・・荷重記憶メモリ、１６・・
・パイプラインレジスタ、１７・・・（可変段数）スキ
ュー補正シフトレジスタ、１８・・・伝播・累積演算回
路、１９・・・伝播レジスタ、２０・・・累積演算回路
、２１・・・部分和出力シフトレジスタ、２４・・・画
像データ入力ポート、２５・・・画像データ出力ポート
。３０・・・演算結果データ入力ポート、３５・・・演算
結第　１　図第Ｚ図第３図、ｆ５４ｃ２ｕ　　　　＞ｔｚ　　・・・・ｆ＋　６　図）ＩＩ　　　Ｊｒｚ第ｇｒｂ第９図第１Ｏ図 ’ｉｎ　　　　２ｒｚ第　ｌ１図第１Ｚ図

Claims

【特許請求の範囲】

１、画像データ供給源からの画像データを取込み局所並
列画像データ処理を行なう並列画像処理プロセッサにお
いて、画像データ入力ポートと、前記画像データ入力ポ
ートからの画像データを順次取込む複数個の第１のシフ
トレジスタと、前記各第１のシフトレジスタの内容を入
力して画像処理演算を行なう複数個のプロセッサエレメ
ントと、前記各プロセッサエレメント内の演算結果を各
プロセッサエレメントごとに累積加算する複数個の第１
の演算回路と、前記複数個の第１の演算回路の演算結果
を取込む第２のシフトレジスタと、前段の基本モジュー
ルにおける演算結果データを入力する演算結果データ入
力ポートと、前記演算結果データと前記第２のシフトレ
ジスタ内にセットされた前記第１の演算回路の演算結果
の加算を行なう第２の演算回路と、前記第２の演算回路
の演算結果データを出力する演算結果データ出力ポート
とからなる画像処理プロセッサ基本モジュールを、複数
組並列設置したことを特徴とする並列画像処理プロセッ
サ。