JPH10304184A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 部分領域毎に独立に処理可能な画像処理と、
広い参照領域を必要とする画像処理の両方を、並列処理
により高速かつ任意の順序で処理できる画像処理装置お
よび画像処理方法を提供する。 【解決手段】 画像データの分割領域データを複数の分
割入力手段に入力し、入力された分割領域データ各々に
対して、分割領域毎に独立に処理可能な画像処理をパイ
プライン処理により実行し、このパイプライン処理の処
理結果を統合する。さらに、広い参照領域を要する画像
処理を複数の画像処理手段により実行し、この複数の画
像処理手段による処理結果を統合する。これら異なる画
像処理を任意の順序で実行することにより高速な画像処
理を達成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル化された
画像を処理する装置に係り、並列処理により画像を高速
に処理することが可能な画像処理装置および画像処理方
法に関する。特に、分割画像データた毎に独立可能な処
理と、広い参照領域を要する処理とを区別し、それぞれ
の処理の効率を高めた画像処理装置および画像処理方法
に関する。

【０００２】

【従来の技術】画像処理装置や画像を入力可能なＤＴＰ
（デスクトップ・パブリッシング）システム、画像を出
力可能なプリントシステムなどでは、大容量の画像に対
して拡大・縮小、回転、アフィン変換、フィルタ、色変
換などの各種の画像処理が行われる。これらの画像処理
は、その負荷が非常に大きく、さらに動画像処理などで
はリアルタイム性が要求されるため、これらの処理をい
かに高速に行うかに対して様々な手法が提案されてい
る。

【０００３】一般に、画像処理は多くの対象に同じ処理
を繰り返すものが多い。このような処理に特に効果が高
い手法の一つとして、複数のプロセッサや処理ハードウ
エアを持ち、画像を複数の部分領域に分割して並列パイ
プライン処理を行う方法がある。

【０００４】図２は、そのような並列パイプライン処理
システムの一例である。図２は特開平５−２１９３９０
号公報に述べられているものであり、スキャナから入力
された画像データはスプリッターにより各行毎に同じ画
素数のＮ個の領域に分割され、各々がスレッシュホルダ
ー＃１〜＃Ｎにより２値化処理され、さらに圧縮器＃１
〜＃Ｎにより圧縮され、合成器で統合されて出力され
る。尚、スレッシュホルダーでは近傍画素の平均値と注
目画素とから出力を決定する周辺参照型の２値化処理を
行っており、そのためスプリッターは、２値化に必要な
周辺領域の幅分だけ画素をオーバーラップさせて分割す
ることが記載されている。

【０００５】この構成は、画像がＮ個の領域に分割され
て各々が独立に処理されるため、Ｎ倍に近い高速化が期
待できるが、例えばアフィン変換やヒストグラム均等化
などのように、参照範囲が広いため部分領域毎に独立処
理できないものには適用できないという欠点がある。そ
こで、このような参照範囲の広いものも含めて処理を行
える手法として、特開平３−４８９７９号公報や特開平
６−５２２９６号公報に述べられた手法が提案されてい
る。

【０００６】図３は、特開平３−４８９７９号公報に述
べられた構成を説明するものである。画像は入力データ
バスから複数存在する画像処理モジュールに分割されて
入力され、画像処理モジュール中の入力メモリに蓄積さ
れて演算部で処理され、出力メモリに蓄積される。この
処理結果は出力データバスを経由して入力データバスに
戻され、画像処理モジュールの１つで全画像の濃度統計
データ算出など全画像を参照する処理が行われ、それら
のデータを元に２値化レベルなど次の処理に必要なパラ
メータが求められて各画像処理モジュールの入力メモリ
に分配される。その後に、各画像処理モジュールは、先
の２値化レベルなどのパラメータに従って入力メモリに
格納された部分画像データを処理する。

【０００７】この構成では、先の特開平５−２１９３９
０号公報に記載された構成ではできなかった広い参照領
域を要する処理を可能となるように構成することができ
る。しかしながら、広い参照領域を要する処理について
は１つの画像処理モジュールで実行するため速度が遅
く、さらに処理毎に結果画像を出力メモリ側から入力メ
モリ側に転送する必要があるため、複数の処理を連続し
て行う場合には処理速度の低下が生じるという欠点があ
る。

【０００８】図４は、特開平６−５２２９６号公報に述
べられた構成の一部を説明するものである。ラインセン
サカメラから入力された画像は分配回路で部分画像に分
割されてデジタル化され、それぞれ並列にパイプライン
処理回路により処理され、フレームメモリに蓄積され
る。フレームメモリに蓄積された画像は、複数の判定制
御回路やメイン判定制御回路により全画像に渡る処理が
行われる。

【０００９】この構成では、判定制御回路を経由して各
フレームメモリ間の情報が交換できるために、全面を参
照する処理も実行できる。しかしながら、各判定制御回
路が他方のフレームメモリ中のデータを参照する必要が
ある場合に、フレームメモリが分割されているため領域
をまたがった制御が複雑になり、またデータの参照にも
時間がかかることが予想される。さらに前段のパイプラ
イン処理回路と後段の判定制御回路とが別々に必要であ
るため、回路規模が大きくなるという欠点がある。また
さらに、パイプライン処理回路と判定制御回路との順序
関係が固定的であるため、広い参照領域を要する処理を
先に行うなどの柔軟な構成が取れないという欠点があ
る。

【００１０】

【発明が解決しようとする課題】本発明は、上述した既
存方式の問題に鑑みてなされたものであり、部分領域毎
に独立に処理可能な画像処理と、広い参照領域を必要と
するため部分領域毎には処理できない画像処理の両方
を、並列処理により高速かつ任意の順序で処理できる画
像処理装置および画像処理方法を提供することを目的と
する。

【００１１】さらに、部分領域毎の独立の処理と広い参
照領域を要する処理の両方の処理のための大規模な回路
を持つことなく、回路を有効に利用した並列画像処理装
置の提供を目的とする。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、画像データを格納する画像記憶手段と、
画像記憶手段に格納された画像データの分割領域データ
を各々入力する複数の分割入力手段と、分割入力手段に
入力された分割領域データ各々に対して、分割領域毎に
独立に処理可能な画像処理をパイプライン処理により実
行する複数の画像処理パイプラインと、複数の画像処理
パイプラインの処理結果を統合して画像記憶手段に出力
する第１の統合処理手段と、画像記憶手段に格納された
画像を読み出して広い参照領域を要する画像処理を行う
複数の画像処理手段と、複数の画像処理手段の処理結果
を統合して画像記憶手段に出力する第２の統合処理手段
とを具備することを特徴とする画像処理装置を提供す
る。

【００１３】また、本発明の画像処理装置における分割
入力手段の一実施例は、画像記憶手段に格納された画像
をほぼ同じ画素数毎の領域に分割して入力することを特
徴とする。

【００１４】また、本発明の画像処理装置における分割
入力手段の一実施例は、画像処理パイプラインの処理の
内容に応じて、画像記憶手段に格納された画像を一部重
複して入力することを特徴とする。

【００１５】また、本発明の画像処理装置における第１
の統合処理手段は、画像処理手段の処理の内容に応じ
て、画像処理パイプラインからの出力を統合する際に、
出力画像を外側に所定の画素数分だけ拡張して画像記憶
手段に格納することを特徴とする。また、本発明の画像
処理装置における画像処理手段は、画像記憶手段に格納
された入力画像の全体を読み出し可能領域として、出力
画像の別々の領域に対応した処理を行うことを特徴とす
る。

【００１６】また、本発明の画像処理装置における画像
処理手段の各々は、処理の内容に応じて対象画素数がほ
ぼ等しくなるように分割された出力画像の各領域に対し
て処理を行うことを特徴とする。

【００１７】また、本発明の画像処理装置は、少なくと
も１つのプロセッサを擁するマルチプロセスまたはマル
チスレッド処理環境に実現され、前記分割入力手段と前
記画像処理パイプラインはその組毎に１つづつのプロセ
スまたはスレッドで処理され、前記画像処理手段はそれ
ぞれに１つづつのプロセスまたはスレッドにより処理さ
れることを特徴とする。

【００１８】さらに、本発明の画像処理方法は、画像記
憶手段に格納された画像データの分割領域データをそれ
ぞれ複数の分割入力手段へ入力するステップと、分割入
力手段に入力された複数の分割領域データ各々につい
て、分割領域毎に独立に処理可能な画像処理を、複数の
画像処理パイプラインにより並列処理するステップと、
複数の画像処理パイプラインの処理結果を統合して画像
記憶手段に出力するステップと、画像記憶手段に格納さ
れた画像を読み出して複数の画像処理手段により、広い
参照領域を要する画像処理を行うステップと、複数の画
像処理手段による広い参照領域を要する処理の処理結果
を統合して画像記憶手段に出力するステップと、を有す
ることを特徴とする。

【００１９】

【発明の実施の形態】以下、図面に基づき本発明に係わ
る画像処理装置および画像処理方法の実施の形態につい
て説明する。

【００２０】

【実施例】図１は本発明の画像処理装置の実施の形態を
示すブロック図である。図１において、画像処理装置
は、画像データを格納する画像記憶部１と、画像記憶部
１に格納された画像を部分領域毎に分割して入力する複
数の分割入力部２と、分割入力部２からの入力をパイプ
ライン処理する分割入力部２と同数の画像処理パイプラ
イン３と、画像処理パイプラインにより処理された各部
分画像を統合して画像記憶部１に格納する第１の統合処
理部４と、画像記憶部１に格納された画像を処理する複
数の画像処理部５と、画像処理部５による処理結果を統
合して画像記憶部１に格納する第２の統合処理部６とか
ら構成されている。

【００２１】画像記憶部１は、画像データを格納する記
憶手段であり、メモリやハードディスク装置などにより
構成され、分割入力部１や画像処理部５から読み出さ
れ、第１ならびに第２の統合処理部から画像を入力され
る。尚、画像記憶部１と外部との画像の入出力は、図示
されていないスキャナ装置や画像入力Ｉ／Ｆなどを経由
して行われる。

【００２２】分割入力部２は、画像記憶部１に格納され
た画像データを、ほぼ同数の画素を含む部分領域に分割
して読み出し、その部分画像データを自身に接続された
各画像処理パイプライン３に入力する。尚、分割入力部
は画像処理パイプラインの処理内容により、図５に示す
ようにお互いに排他的に分割（図５（ａ））したり、あ
るいは処理パラメータに依存した特定の幅でお互いにオ
ーバラップするように分割（図５（ｂ））することが可
能である。

【００２３】画像処理パイプライン３は、分割入力部２
から入力された部分画像データを、パイプライン方式で
順次処理して第１の統合処理部に出力する。画像処理パ
イプライン３は、図７に示すように、ユーザが希望する
複数の処理モジュールが連結されており、第１の統合処
理部４から指示を受けると、最後段のモジュールから順
次手前のモジュールを呼び出し、最前段の処理モジュー
ルが自身に接続された分割入力部２を呼び出して処理に
必要な画像データを取得する。取得されたデータは、各
処理モジュールで処理されながら先の指示と逆方向に画
像処理パイプライン３を通過し、最終的に第１の統合処
理部４に渡される。この処理は、分割された部分画像全
体を一度のフローで行っても、また例えば１ライン毎な
どの部分画像の一部づつの繰り返しで行ってもよい。

【００２４】第１の統合処理部４は、画像処理パイプラ
イン３に指示を与えて処理を開始させ、出力された処理
済の部分画像データを各画像処理パイプラインから受け
取り、処理済の画像データ全体が作成されるように位置
を合わせてこれらを統合し、画像記憶部１に出力する。
さらにマルチプロセス環境またはマルチスレッド環境の
ようなソフトウエアで実現される場合には、処理の始め
に予め定められた個数の分割入力部２を生成してその入
力範囲を設定し、これに予め定められた処理モジュール
を生成／連結して画像処理パイプラインを構成する。

【００２５】画像処理部５は、第２の統合処理部６から
の指示に従って、画像記憶部１に格納された対象画像の
全体をアクセスしながら必要な処理を行い、その結果を
第２の統合処理部６に出力する。画像処理部５の各々の
処理範囲は、第２の統合処理部６に出力される出力画像
上で重ならないように設定される。処理範囲の設定など
に関する詳細は後述する。

【００２６】第２の統合処理部６は、画像処理部５に指
示を与えて処理を開始させ、出力された処理済の部分画
像データを各画像処理部５から受け取り、処理済みの画
像データ全体が作成されるように位置を合わせてこれら
を統合し、画像記憶部１に出力する。さらにマルチプロ
セス環境またはマルチスレッド環境のようなソフトウエ
アで実現される場合には、処理の始めに予め定められた
個数の画像処理部５を生成して、その出力処理範囲を設
定する。

【００２７】次に、本実施例における各部の詳細を、順
を追って説明する。尚、以下の説明では画像は畳み込み
フィルタ、色補正、拡大、４５度回転の順に処理され、
４つのプロセッサを持つマルチスレッド環境により実現
されているものとして説明を行うが、発明の構成から明
らかなように本発明はこれらに限定されるものではな
く、他の種類の画像処理を含む場合にも同様に適用可能
である。また、プロセッサの数等、各種のハードウエア
環境は、以下の実施例に述べる構成に限定されるもので
はない。

【００２８】処理の対象となる画像データは、初めに図
示されていないスキャナや画像入出力Ｉ／Ｆから画像記
憶部１に入力されて格納される。第１の統合処理部４
は、画像記憶部１から処理対象となる画像のサイズを取
得し、それを各分割入力部２に均等に割り付けるための
部分領域のサイズと読み出し開始位置を計算する。この
時、周辺画素を必要とする処理があるかどうか等に応じ
て、第１の統合処理部４は各分割入力部２に割り付ける
部分領域のサイズと読み出し開始位置について、異なる
計算を行う。

【００２９】画像処理パイプライン３で行われる処理に
周辺画素の参照が不要な場合には、第１の統合処理部４
は、単純に全画像を複数の領域に均等分割して部分領域
を作成する。例えば、１００画素×１００ラインの画像
を４つのスレッドで処理する場合には、４つの領域に分
割する。３つのスレッドで処理するには、図５（ａ）に
示すように３つの領域に均等に分割する。１００画素×
１００ラインの画像を４つの領域に均等分割する場合
は、例えば、以下の表１に示すように、対象画像は１０
０画素×２５ラインづつの４つの領域に分割される。

【００３０】

【表１】 ・ 分割領域１ ： （０， ０）〜（９９，２４） ・ 分割領域２ ： （０，２５）〜（９９，４９） ・ 分割領域３ ： （０，５０）〜（９９，７４） ・ 分割領域４ ： （０，７５）〜（９９，９９）

【００３１】画像処理パイプライン３で行われる処理に
周辺画素の参照が必要な場合には、第１の統合処理部４
は、その分を各分割領域がオーバーラップするように分
割する。例えば５×５畳み込みフィルタを画像処理パイ
プライン３の先頭で処理する場合には、図５（ｂ）に示
すように、各分割領域はその外側２画素づつをオーバー
ラップして読み出す。尚、分割入力部２は、０より小さ
い画素／ラインには０画素／ラインの値を、１００以上
の画素／ラインには９９画素／ラインの値を出力するよ
うに設定されているものとする。１００画素×１００ラ
インの画像を４つの領域に各分割領域がオーバーラップ
するように分割する場合は、例えば、以下の表２に示す
ように、４つの領域に分割される。

【００３２】

【表２】 ・ 分割領域１ ： （−２，−２）〜（１０１， ２６） ・ 分割領域２ ： （−２，２３）〜（１０１， ５１） ・ 分割領域３ ： （−２，４８）〜（１０１， ７６） ・ 分割領域４ ： （−２，７３）〜（１０１，１０１）

【００３３】第１の統合処理部４は、このようにして各
部分領域のサイズと読み出し開始位置を計算した後に、
４つの分割入力部２の動作を行う処理モジュールを、部
分領域のサイズと読み出し位置をパラメータとして生成
する。

【００３４】生成された分割入力部２は、図６に示すよ
うに、画像記憶部１からの画像データの読み出しを行う
入力処理部２０と、画像処理パイプライン３の先頭の処
理モジュールからの呼出しに答え、入力処理部２０が読
み出したデータを出力する入力Ｉ／Ｆ部２１と、画像記
憶部１に格納された処理対象画像中の読み出し位置のア
ドレスを保持するアドレスポインタや現在の読み出しラ
イン位置を保持するラインカウンタや１ラインのバイト
数を保持するライン長レジスタなどを持ち、各部を制御
する入力制御部２２とから構成される。これら各部は、
画像処理パイプライン３の先頭の処理モジュールからの
呼出しに応じて次のように動作する。

【００３５】画像処理パイプライン３の先頭の処理モジ
ュールからの呼出しが起きると、入力Ｉ／Ｆ部２１はそ
の旨を入力制御部２２に通知し、呼出し指示と同時に処
理モジュールから渡された画像データを書き込むバッフ
ァのポインタを入力制御部２２に送る。入力制御部２２
は、入力Ｉ／Ｆ部２１からの通知を受けるとアドレスポ
インタとライン長レジスタの内容を入力処理部２０に渡
すとともに、ラインカウンタを１だけインクリメント
し、その結果が０より大で画像記憶部１に格納された画
像のライン数より小の場合に、画像１ラインのバイト数
に相当する数値をライン長レジスタから読み出してアド
レスポインタに加算する。入力処理部２０は、入力制御
部２２から指示された画像記憶部１のアドレスからライ
ン長分のデータを読み出して入力Ｉ／Ｆ部２１から渡さ
れたバッファポインタの領域にそのデータを書き込み、
さらに左右に余分な参照画素の付加が必要な場合は左は
ラインの先頭画素を、右はラインの最終画素をコピーす
る。その後、入力Ｉ／Ｆ部２１が読み込み処理の終了を
画像処理パイプライン３の先頭の処理モジュールに通知
し、１回の読み込み処理が終了する。分割入力部２は、
このような処理を処理モジュールからの呼出しに応じて
繰り返す。

【００３６】４つの分割入力部が生成されると、次に第
１の統合処理部４は画像処理パイプライン３を生成す
る。初めに第１の統合処理部４は、畳み込みフィルタモ
ジュール３０を４つ生成し、それぞれを分割入力部２に
リンクする。次に色補正モジュール３１を４つ生成し、
それぞれを先に作成した畳み込みフィルタモジュール３
０にリンクする。次に拡大モジュール３２を４つ生成
し、それぞれを先に作成した色補正モジュール３１にリ
ンクする。このような処理により、図７に示すように畳
み込みフィルタ→色補正→拡大を順次行う４つの画像処
理パイプライン３が生成される。尚、フィルタサイズ／
係数や色補正係数、拡大率などは、生成時のパラメータ
として渡される等の方法で各モジュールに与えられる。

【００３７】図８は、これら処理モジュールの一例とし
て、色補正モジュール３１の内部ブロックを示したもの
である。色補正モジュール３１は、前段の処理モジュー
ルからの入力を受け取るための入力バッファ３１０と、
後段の処理モジュールへの処理済データの出力を行う出
力Ｉ／Ｆ部３１１と、色処理処理を行う色補正処理部３
１２とから構成されている。後段の処理モジュールから
の呼出しが起きると、出力Ｉ／Ｆ部はその旨を色補正処
理部３１２に通知し、呼出し指示と同時に後段の処理モ
ジュールから渡された画像データを書き込むバッファの
ポインタを色補正処理部３１２に送る。色補正処理部３
１２は、出力Ｉ／Ｆ部３１１からの通知を受けると入力
バッファのポインタを引数として前段の処理モジュール
を呼出して１ライン分の入力データを受け取り、係数レ
ジスタに格納された係数を用いて、ライン長レジスタに
格納された数のデータを色補正処理し、ラインカウンタ
を１だけインクリメントして処理の終了を出力Ｉ／Ｆ部
３１１に通知する。出力Ｉ／Ｆ部３１１は、色補正処理
部３１２からの処理終了通知を受け取ると、後段の処理
モジュールに処理終了を通知して１回の色補正処理が終
了する。色補正モジュールは、このような処理を後に接
続された処理モジュールからの呼出しに応じて繰り返
す。

【００３８】４つの画像処理パイプラインが生成される
と、次に第１の統合処理部４は並列に各画像処理パイプ
ラインを呼び出して、畳み込みフィルタ→色補正→拡大
の処理を行う。図９は、第１の統合処理部４の構成を示
すブロック図の一例である。第１の統合処理部４は、先
に説明した分割入力部２の生成を行う分割入力部生成部
４０と、同じく先に説明した画像処理パイプライン３の
生成を行う画像処理パイプライン生成部４１と、生成さ
れた各画像処理パイプライン３からの処理結果を画像記
憶部１に書き込み位置を制御しながら出力するための制
御を行う統合制御部４２とから構成されている。先に説
明した処理により分割入力部２と画像処理パイプライン
３とが生成されると、統合制御部４２は、各画像処理パ
イプラインの最後の処理モジュールに対して呼出しを行
う。この時、各統合制御部４２は、各分割（処理済）画
像データを書き出すための画像記憶部１の領域の先頭ア
ドレスを内部のアドレスポインタに保持し、これを最後
の処理モジュールの出力バッファのポインタとして呼出
しを行う。呼び出された処理モジュールは、順次自身よ
り前段側の処理モジュールを呼出し、先頭のモジュール
は分割入力部２を呼び出して処理に必要なデータを取得
し、処理結果を順次後段側のモジュールに返し、最後に
統合制御部４２を介して画像記憶部１の所定のアドレス
に書き込まれる。この処理が１回終了すると、統合制御
部４２はラインカウンタを１だけインクリメントし、自
分が担当する処理領域の最終ラインを越えていないなら
ばアドレスポインタにライン長レジスタの内容を加算し
て、再度画像処理パイプライン３の最後のモジュールを
呼び出す。このような処理を各部分領域のライン数分だ
け繰り返すことで、画像記憶部１には処理済みの全画像
データが格納される。尚、この処理は、統合制御部４２
と画像処理パイプライン３と分割入力部２の組が１つの
スレッドで動作し、４つの各組は別々に並列処理される
ため、４つ以上のプロセッサを持つ環境では、ほぼ１／
４の時間で処理が実行できる。

【００３９】上記の処理が終了すると、制御が第２の統
合処理部６に移って４５度回転が行われる。第２の統合
処理部６は、初めに画像記憶部１から処理対象となる画
像のサイズを取得し、処理の内容から各画像処理部５の
負荷がほぼ均等になるように、出力画像上での処理対象
領域を計算する。

【００４０】画像を４５度回転させる場合に、出力画像
を図１０（ａ）のようにラインに平行に同じ矩形に分割
して各画像処理部５で処理すると、各画像処理部が担当
する画素数に大きな差が生じ、上から１番目と４番目の
処理が速く終わるのに対して２番目と３番目が遅くな
り、結果として並列化の効果が少なくなってしまう。そ
こで図１０（ｂ）に示すように、各画像処理部５が担当
する出力画素数がほぼ均等になるように担当領域を分割
することで、ほぼ並列数に見合った高速化が実現でき
る。具体的には、出力画像の各ラインにおける画像の開
始位置と終了位置を計算して各出力ライン中の演算対象
となる画素数を求め、部分領域毎のこの画素数の総和が
ほぼ等しくなるように領域を分割する。

【００４１】第２の統合処理部６は、このようにして各
出力部分領域のサイズと開始位置を計算した後に、部分
領域のサイズと開始位置ならびに各ラインの開始位置と
終了位置をパラメータとして、４５度回転を行う４つの
画像処理部５を生成する。

【００４２】生成された画像処理部５は、図１１に示す
ように、画像記憶部１からの画像データの読み出しを行
う入力処理部５０と、第２の統合処理部６への処理済デ
ータの出力を行う出力Ｉ／Ｆ部５１と、画像の回転処理
を行う回転処理部５２とから構成されている。第２の統
合処理部６からの呼出しが起きると、出力Ｉ／Ｆ部５１
はその旨を回転処理部５２に通知し、呼出し指示と同時
に第２の統合処理部６から渡された画像データを書き込
むバッファのポインタを回転処理部５２に送る。回転処
理部５２は、ラインカウンタに格納された処理対象ライ
ンに対して、開始／終了画素位置テーブルから開始画素
位置と終了画素位置を求め、開始位置から終了位置まで
順次係数レジスタに格納された係数を用いて原画像中の
対応する画素位置を求め、その画素の値を入力処理部５
０を経由して画像記憶部１から読み出して、出力バッフ
ァに書き込む。処理が終了画素位置まで達すると、回転
処理部６はラインカウンタの値を１だけインクリメント
して処理の終了を出力Ｉ／Ｆ部５１に通知する。出力Ｉ
／Ｆ部５１は、回転処理部５２からの処理終了通知を受
け取ると、第２の統合処理部６に処理終了を通知して、
出力画像の１ライン分の回転処理が終了する。画像処理
部５は、このような処理を第２の統合処理部６からの呼
出しに応じて繰り返す。

【００４３】４つの画像処理部５が生成されると、次に
第２の統合処理部６は並列に各画像処理部５を呼び出し
て４５度回転の処理を行う。図１２は、第２の統合処理
部６の構成を示すブロック図の一例である。第２の統合
処理部６は、先に説明した画像処理部５の生成を行う画
像処理部生成部６０と、生成された各画像処理部５から
の処理結果を画像記憶部１に書き込み位置を制御しなが
ら出力するための制御を行う統合制御部６１とから構成
されている。先に説明した処理により画像処理部５が生
成されると、統合制御部６１は、各画像処理部に対して
呼出しを行う。この時、各統合制御部６１は、各画像処
理部からの処理済みデータを書き出すための画像記憶部
１の領域の先頭アドレスを内部のアドレスポインタに保
持し、これを画像処理部５の出力バッファのポインタと
して呼出しを行う。呼び出された画像処理部５は、先の
説明のように開始／終了画素位置の間の画素について、
原画像上の対応点の値を画像記憶部１から読み出して出
力し、これが終了するとそのラインの処理結果は第２の
統合処理部６を経由して画像記憶部１の処理済み画像を
格納するための領域に書き込まれる。この処理が１回終
了すると、統合制御部６１はラインカウンタを１だけイ
ンクリメントし、自分が担当する処理領域の最終ライン
を越えていないならばアドレスポインタにライン長レジ
スタの内容を加算して、再度画像処理部５を呼び出す。
このような処理を各部分領域のライン数分だけ繰り返す
ことで、画像記憶部１には最終的な処理済みの全画像デ
ータが格納される。この処理は、統合制御部６１と画像
処理部５の組が１つのスレッドで動作して４つの各組は
別々に並列処理され、さらに各組が担当する処理対象画
素数がほぼ均等になるようライン数を割当てているた
め、４つ以上のプロセッサを持つ環境では、ほぼ１／４
の時間で処理が実行できる。

【００４４】本実施例では、畳み込みフィルタ→色補正
→拡大→４５度回転の順で処理を行ったが、構成から明
らかなように、４５度回転→畳み込みフィルタ→色補正
→拡大のように広い参照領域を要する処理が先頭の処理
順でも、畳み込みフィルタ→４５度回転→色補正→拡大
のように広い参照領域を要する処理が間にあるような処
理順でも、また広い参照領域を要する処理が複数あって
も、同じように並列処理による高速処理が可能である。

【００４５】また、４５度回転→畳み込みフィルタ→色
補正→拡大のように広い参照領域を要する処理が先頭の
処理順の場合には、図１３のように構成を変更し、画像
処理部５の出力を画像処理パイプライン３に直接入力で
きるようにすれば、画像記憶部１から読み出したデータ
を画像処理部５で４５度回転処理を実行した後、処理デ
ータを画像処理パイプライン３に入力し、それぞれのデ
ータについて畳み込みフィルタ→色補正→拡大処理が実
行可能となる。この構成によれば、一時的に画像記憶部
１に全画像データを保持することが不要となり、メモリ
領域を節約することが可能となる。

【００４６】また、本実施例の第１の統合処理部４なら
びに第２の統合処理部６では、画像処理パイプライン３
または画像処理部５の出力を単に統合して画像記憶部１
に格納したが、図１４に示すように、次に行う処理に応
じて出力画像の周囲に特定の幅の領域を設けて最外郭の
画素値と同じ値で埋めるように構成することも可能であ
る。このように構成すると、例えば画像処理部５での処
理が９点２次補間を行う４５度回転のように入力画像の
外の参照が発生する場合に、第１の統合処理部４でその
分の周辺領域を設けて出力画像を書き込んでおくこと
で、画像処理部５において参照画素位置が画像の外であ
るかどうかの判断を省略して高速化を図ることが可能と
なる。

【００４７】さらに、本実施例は複数のプロセッサを持
つマルチスレッド環境で実現するとして説明を行った
が、マルチプロセス環境による実現や、ＤＳＰ（デジタ
ル・シグナル・プロセッサ）やＦＰＧＡ（フィールド・
プログラマブル・ゲート・アレー）などのプログラム可
能なハードウエアによる実現、さらには回路規模が増加
するもののゲートアレーなどの固定的なハードウエアに
より構成されていてもよい。

【００４８】また、本実施例では、４つのプロセッサが
ある場合に、分割入力部１と画像処理パイプライン３の
組と画像処理部５とを同じ４つのスレッドで実行した
が、例えばＰＤＬ（ページ記述言語）の展開処理のよう
に画像だけに全てのプロセッサを割当てられない場合に
は４つ以下のスレッドで実行したり、あるいは他の処理
の負荷に応じてスレッド数を可変させるなどの構成も可
能である。

【００４９】また、本実施例では処理をライン単位で行
うように構成したが、本発明はこれに限定されるもので
はなく、画素単位や複数ライン単位、ブロック単位など
の各種の処理単位において同様に実施することができ
る。

【００５０】

【発明の効果】以上述べたように、本発明の画像処理装
置では、畳み込みフィルタ、色補正、拡大など、処理画
像の部分領域毎に独立に処理可能なものと、４５度回転
などの広い参照領域を必要とするために部分領域毎に独
立処理できないものの両方について、任意の順序で高速
な処理を行うことができる。さらに、複数プロセッサに
よるマルチプロセスまたはマルチスレッド環境や、ＤＳ
Ｐ（デジタル・シグナル・プロセッサ）やＦＰＧＡ（フ
ィールド・プログラマブル・ゲート・アレー）等のプロ
グラム可能なハードウエアにより本発明の構成を実現す
ることで、処理画像の部分領域毎の独立処理と、広い参
照領域を必要とする処理のための大規模な回路を持つこ
となく、回路を有効に利用した並列パイプライン型画像
処理装置を提供することができる。

【図面の簡単な説明】

【図１】 本発明の実施例を示すブロック図である。

【図２】 既存の画像処理装置の構成を示すブロック
図である。

【図３】 既存の画像処理装置の別の構成を示すブロ
ック図である。

【図４】 既存の画像処理装置の別の構成を示すブロ
ック図である。

【図５】 分割入力部２における画像の分割を説明す
る図である。

【図６】 分割入力部２を示すブロック図である。

【図７】 画像処理パイプライン３を示すブロック図
である。

【図８】 色補正モジュール３１を示すブロック図で
ある。

【図９】 第１の統合処理部４を示すブロック図であ
る。

【図１０】 画像データの回転処理における分割領域の
設定を説明する図である。

【図１１】 画像処理部５を示すブロック図である。

【図１２】 第２の統合処理部６を示すブロック図であ
る。

【図１３】 本発明の実施例における別の構成を示すブ
ロック図である。

【図１４】 第１の統合処理部４または第２の統合処理
部６における出力方法を説明する図である。

【符号の説明】

１ 画像記憶部 ２ 分割入力部 ３ 画像処理パイプライン ４ 第１の統合処理部 ５ 画像処理部 ６ 第２の統合処理部 ２０ 入力処理部 ２１ 入力Ｉ／Ｆ部 ２２ 入力制御部 ３０ 畳み込みフィルタモジュール ３１ 色補正モジュール ３２ 拡大モジュール ４０ 分割入力部生成部 ４１ 画像処理パイプライン生成部 ４２ 統合制御部 ５０ 入力処理部 ５１ 出力Ｉ／Ｆ部 ５２ 回転処理部 ６０ 画像処理部生成部 ６１ 統合制御部 ３１０ 入力バッファ ３１１ 出力Ｉ／Ｆ部 ３１２ 色補正処理部

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像データを格納する画像記憶手段と、 前記画像記憶手段に格納された画像データの分割領域デ
   ータを各々入力する複数の分割入力手段と、 前記分割入力手段に入力された分割領域データ各々に対
   して、分割領域毎に独立に処理可能な画像処理をパイプ
   ライン処理により実行する複数の画像処理パイプライン
   と、 前記複数の画像処理パイプラインの処理結果を統合して
   前記画像記憶手段に出力する第１の統合処理手段と、 前記画像記憶手段に格納された画像を読み出して広い参
   照領域を要する画像処理を行う複数の画像処理手段と、 前記複数の画像処理手段の処理結果を統合して前記画像
   記憶手段に出力する第２の統合処理手段とを具備するこ
   とを特徴とする画像処理装置。
2. 【請求項２】 前記分割入力手段は、前記画像記憶手段
   に格納された画像をほぼ同じ画素数毎の領域に分割して
   入力することを特徴とする、請求項１に記載の画像処理
   装置。
3. 【請求項３】 前記分割入力手段は、前記画像処理パイ
   プラインの処理の内容に応じて、前記画像記憶手段に格
   納された画像を一部重複して入力することを特徴とす
   る、請求項１に記載の画像処理装置。
4. 【請求項４】 前記第１の統合処理手段は、前記画像処
   理手段の処理の内容に応じて、前記画像処理パイプライ
   ンからの出力を統合する際に、出力画像を外側に所定の
   画素数分だけ拡張して前記画像記憶手段に格納すること
   を特徴とする、請求項１に記載の画像処理装置。
5. 【請求項５】 前記画像処理手段は、前記画像記憶手段
   に格納された入力画像の全体を読み出し可能領域とし、
   出力画像の別々の領域に対応した処理を行うことを特徴
   とする、請求項１に記載の画像処理装置。
6. 【請求項６】 前記画像処理手段の各々は、処理の内容
   に応じて対象画素数がほぼ等しくなるように分割された
   出力画像の各領域に対して処理を行うことを特徴とす
   る、請求項５に記載の画像処理装置。
7. 【請求項７】 少なくとも１つのプロセッサを擁するマ
   ルチプロセスまたはマルチスレッド処理環境に実現さ
   れ、前記分割入力手段と前記画像処理パイプラインはそ
   の組毎に１つづつのプロセスまたはスレッドで処理さ
   れ、前記画像処理手段はそれぞれに１つづつのプロセス
   またはスレッドにより処理されることを特徴とする、請
   求項１乃至６のいずれかに記載の画像処理装置。
8. 【請求項８】 画像記憶手段に格納された画像データの
   分割領域データをそれぞれ複数の分割入力手段へ入力す
   るステップと、 前記分割入力手段に入力された複数の分割領域データ各
   々について、分割領域毎に独立に処理可能な画像処理を
   複数の画像処理パイプラインにより並列処理するステッ
   プと、 前記複数の画像処理パイプラインの処理結果を統合して
   前記画像記憶手段に出力するステップと、 前記画像記憶手段に格納された画像を読み出して複数の
   画像処理手段により、広い参照領域を要する画像処理を
   行うステップと、 前記複数の画像処理手段による広い参照領域を要する処
   理の処理結果を統合して前記画像記憶手段に出力するス
   テップと、 を有することを特徴とする画像処理方法。