JPH10340340A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】扱う画像データのビット幅に合わせて画像処理
構成が変更でき、汎用性が高く、リソースの使用効率が
よい画像処理装置を提供する。 【解決手段】画像データを記憶するラインメモリ５と、
画像データのビット幅及び設定される画像処理機能に基
づいて、ラインメモリ５、入力データ制御回路２００及
び出力データ制御回路３００の入出力構成や画像処理部
９０の演算構成を制御する構成制御部３と、構成制御部
３からの入出力制御にしたがって、ラインメモリ５に入
力されるデータの生成を制御するラインメモリ入力デー
タ制御回路２００と、ラインメモリ５から出力されるデ
ータを制御して画像処理部９０に分配するラインメモリ
出力データ制御回路２００を備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、扱う画像データの
ビット幅が多様となる汎用の画像処理装置に関し、特
に、画像データのビット幅に応じて処理構成を変更可能
とした画像処理装置に関する。

【０００２】

【従来の技術】画像処理の一つであるフィルタ処理を高
速に行なう方法に、ラインメモリ（ＬＭ）に画像データ
を記憶しながら処理を行なうものがある。ＬＭを用いる
方法は、フィルタ処理に必要な演算を部分的に並列処理
することができる。また、画面を一通りスキャンするだ
けでフィルタ処理を行なうことができる。

【０００３】図２に、ＬＭを用いる画像処理装置の概略
構成を示す。同図（ａ）は、画像データのビット幅を８
ビットとした時の３×３フィルタ処理の場合の構成を示
す。３×３フィルタ処理では、ある画素の処理に、近傍
の画素を含む９つの画像データが必要となる。この９つ
の画像データは、２本のラインメモリと処理対象メモリ
から読み出された画像データの組合せにより与えられ
る。そして、フィルタ処理に使用される９つの画像デー
タと９つの係数を用いて、９つの乗算器を使用すること
により並列に積和演算を行なうことで、フィルタ処理を
高速に実行する。

【０００４】同じ３×３フィルタでも扱う画像データの
ビット幅が１６ビットの場合には、図２（ｂ）のよう
に、１６ビット幅のラインメモリを２本使用する。さら
に、画像データのビット幅が８ビットで、５×５フィル
タ処理を実現する場合は、図２（ｃ）のように、８ビッ
ト幅のラインメモリが４本必要となる。

【０００５】従来、高分解能が要求される医療用などの
画像処理では１６ビット幅の画像データ、その他の分野
の画像処理では８ビットや１ビット幅の画像データが用
いられている。最近では、工業用の分野などでも１６ビ
ット幅の画像データによる画像処理の必要が高まってい
る。

【０００６】

【発明が解決しようとする課題】ラインメモリを使用す
る従来の画像処理装置では、処理対象の画像データにお
ける最大ビット幅の仕様によって、固定的に構成されて
いた。つまり、３×３フィルタ処理を考えた場合、最大
８ビット幅の画像データを扱う画像処理装置は図２
（ａ）の構成をとり、最大１６ビット幅の画像データを
扱う画像処理装置は図２（ｂ）の構成をとっていた。し
たがって、１ビット幅、８ビット幅、１６ビット幅の画
像データを扱う画像処理装置においては、図２（ｂ）の
処理構成をとる必要があった。

【０００７】しかし、図２（ｂ）の処理構成を用いて１
ビット幅、８ビット幅の画像データを処理する場合、ラ
インメモリに未使用のメモリ領域が多く存在し、メモリ
の使用効率が悪く経済的でないという問題があった。

【０００８】また、５×５フィルタ処理を実現する図２
（ｃ）の処理構成においても、小さいビット幅の画像デ
ータを扱うときに上記と同様な問題が生じる。さらに、
３×３フィルタ処理を行った場合、ラインメモリのみな
らず、フィルタ処理の演算装置にも未使用の回路が多く
存在するという問題があった。

【０００９】上記のような使用効率の低さは、処理の高
速化を考えた場合に重要な問題となる。一般に、複数の
フィルタ処理を連続で行う場合の高速化についてはパイ
プライン処理を、単独のフィルタ処理の高速化について
は画面を小領域に分割して各小領域ごとに処理を行なう
並列処理を挙げることができる。しかし、これらのパイ
プライン処理や並列処理にはラインメモリや演算装置の
規模が大きくなるため、上記の問題点の解決が重要な課
題となる。

【００１０】本発明の目的は、従来技術の問題点を克服
し、扱う画像データのビット幅や処理機能に応じて処理
構成を柔軟に変更でき、汎用性に優れリソースの使用効
率が高い画像処理装置を提供することにある。また、高
速処理の可能なパイプライン処理や並列処理を、画像デ
ータのビット幅に適応して任意に構成できる画像処理装
置を提供することにある。

【００１１】

【課題を解決するための手段】本発明の上記目的は、処
理対象の画像データを、複数ビットのライン幅をもつラ
インメモリを用いて画像処理回路に入力する画像処理装
置において、画像データのビット幅に合わせて前記ライ
ンメモリのライン幅を切り分けて理論上、複数の分割ラ
インメモリを構成し、かつ、設定される画像処理機能情
報（以下、設定機能と略称）にしたがって使用する本数
の分割ラインメモリを、前記画像処理回路と対応するよ
う、その入出力を制御する構成を備えたことにより達成
される。

【００１２】上記の構成には、前記設定機能に応じて、
前記画像処理回路における複数の演算回路の組合せを制
御する機能を備え、３×３や５×５などの処理サイズの
変更および／またはパイプラインや並列処理などの処理
形態の変更を可能したことを特徴とする。

【００１３】すなわち、本発明の画像処理装置は、処理
対象の画像データを格納する画像メモリと、所定の画像
処理を行う画像処理回路と、前記画像メモリから読み出
した画像データを処理サイズに合わせたブロックデータ
にして前記画像処理回路に出力するラインメモリを備え
る画像処理装置において、前記画像データのビット幅に
合わせて前記ラインメモリのライン幅を切り分け理論
上、複数の分割ラインメモリを構成し、かつ、設定機能
にしたがって使用する本数の分割ラインメモリを、前記
画像処理回路と対応するように、その入出力を制御する
構成制御手段と、前記ラインメモリに入力する入力デー
タを生成するラインメモリ入力データ制御手段と、前記
ラインメモリの出力するデータから前記ブロックデータ
を生成するラインメモリ出力データ制御手段を備えるこ
とを特徴とする。

【００１４】また、前記設定機能が異なるｉ×ｉフィル
ター処理によるＰ段のパイプライン処理で、前記使用す
る本数Ｌが（ｉ−１）×Ｐとなる場合、前記構成制御手
段は、パイプライン処理の各段に使用する前記分割ライ
ンメモリをＬ／Ｐ本のライン群とし、最前段の画像処理
回路には前記画像メモリから読み出した画像データを直
接入力する分割ラインメモリを含むライン群を対応さ
せ、次段以降の画像処理回路には順次、前段の処理デー
タを入力する分割ラインメモリを含むライン群を対応さ
せるように、前記ラインメモリの入出力の制御を行うこ
とを特徴とする。

【００１５】また、前記設定機能が同じｉ×ｉフィルタ
ー処理によるＱ組の並列処理で、前記使用する本数Ｌが
（ｉ−１）×Ｑとなる場合、前記構成制御手段は、並列
処理の各組に使用する前記分割ラインメモリをＬ／Ｑ本
のライン群とし、前記画像メモリに格納されている画像
データの１画面分を垂直方向にＱ分割し各々の領域から
並列に読み出される画像データを、対応するライン群に
入力するように制御することを特徴とする。

【００１６】さらに、前記構成制御手段は、前記設定機
能を示すフィルタサイズ（ｉ×ｉ）、処理個数（１また
はＰまたはＱ）、パイプラインなどの処理形態を設定さ
れると、前記処理個数分の画像処理回路を前記フィルタ
サイズに見合った演算回路によって構成するように制御
することを特徴とする。

【００１７】本発明によれば、扱う画像データのビット
幅に合わせて、１ライン分のラインメモリのビット幅を
可変にすることにより、理論上のラインメモリの本数を
可変にすることができる。たとえば、図２（ｂ）と同様
な機能を実現する３２ビット幅のラインメモリを使用し
た場合、ビット幅が１６ビットの画像データを扱う場合
には図２（ｂ）と同様であるが、ビット幅が８ビットの
画像データを扱う場合、図２（ｃ）のようにラインメモ
リを制御することができる。つまり、扱う画像データの
ビット幅に合わせて、処理構成を変更できるので、画像
処理装置の汎用性と使用効率を向上上できる。

【００１８】また、本発明によれば、画像処理の設定機
能に応じてラインメモリの入出力を制御できるので、複
数段のパイプライン処理や複数組の並列処理など、高速
処理の可能な処理構成を簡単に構築できる。

【００１９】したがって、上記のようにラインメモリと
画像回路の構成を可変制御する本発明によれば、たとえ
ば３２ビット幅のラインメモリと５×５フィルタ処理可
能な積和演算回路を備える画像処理装置の場合に、画像
データが１６ビット幅の３×３フィルタ処理、画像デー
タが１〜８ビット幅の５×５または３×３フィルタ処
理、または、画像データが１〜８ビット幅の３×３フィ
ルタ処理によるパイプライン処理もしくは並列処理を任
意に構成制御できる汎用の画像処理装置を提供できる。

【００２０】

【発明の実施の形態】以下、本発明の一実施形態を図面
を用いて詳細に説明する。図１は、一実施例による画像
処理装置の全体構成を示す機能ブロック図である。図示
で信号の流れを示す矢線は、後述するパイプライン処理
に対応されている。

【００２１】構成制御部３は、処理対象の画像データの
詳細情報を制御装置１から受取りそれを解釈する。さら
に、制御装置１から伝達された画像処理機能を解釈し、
その機能に必要な処理構成を行うための制御信号を発行
する。構成制御部３で発行する制御信号のうち、タイミ
ングに関する信号は、信号伝達手段４を介してメモリ制
御部１０に伝達される。メモリ制御部１０は、画像デー
タを記憶する処理対象メモリ部１００や処理結果メモリ
部７００、ラインメモリ（ＬＭ）５を制御するＬＭ制御
部５０を制御している。

【００２２】また、構成制御部３は、伝達された画像処
理機能や画像データのビット幅の情報から、ＬＭ入力デ
ータ制御回路２００やＬＭ出力制御回路３００などに、
その入出力を制御する制御信号を伝達手段４を介して伝
達する。ＬＭ入力データ制御回路２００とＬＭ出力デー
タ制御回路３００は、この制御信号に従ってＬＭ５に入
出力するデータを制御する。

【００２３】ＬＭ出力データ制御回路３００から出力さ
れた画像データは、画像処理部９０のプロセッサユニッ
ト（ＰＵ）４００で演算され、データ統合回路５００に
入力される。本実施例の画像処理部９０はフィルタ処理
を実行するが、データ統合回路５００に形状変換処理や
ラベリング処理を行なう回路を付加してもよい。

【００２４】フィルタ処理された処理結果データは、デ
ータ選択制御回路６００に入力され、構成制御部３から
の制御信号により処理結果データの選択を行い、処理結
果メモリ部７００にデータを出力する。また、このデー
タ選択制御回路６００では、構成制御部３からの制御信
号よりフィードバックの指示がある場合、フィードバッ
ク手段８００を介して処理結果データをＬＭ入力データ
制御回路２００にフィードバックする。本発明の一実施
形態であるパイプライン処理構成では、このフィードバ
ックされた処理結果を再びＬＭ５に入力し、別のフィル
タ処理を行うことができる。

【００２５】図３に、パイプライン処理を行う画像処理
装置の概略構成を示す。本実施形態は、フィルタ処理Ａ
９０３の出力結果を再びＬＭ５に戻すことにより、異な
るフィルタ処理Ｂ９０４をパイプライン的に処理する。
このパイプライン処理構成は、図２（ｂ）または（ｃ）
から変更できる。すなわち、ＬＭ５は図２（ｂ）、
（ｃ）の場合と同じ３２ビット幅である。また、図２
（ｃ）の５×５フィルタ処理９０２は乗算器を２５、加
算器を２４使用しているので、その中から乗算器を９個
×２、加算器を８個×２用いて、図３のフィルタ処理９
０３，９０４を構成できる。あるいは、図２（ｂ）のシ
ステムにおいて、乗算器を１８個、加算器を１６個それ
ぞれ備えていれば、図３の処理構成への変更が可能にな
る。

【００２６】次に、図１の各ブロックを詳細に説明す
る。構成制御部３は、制御装置１から画像データに関す
る情報や画像処理機能の実行命令をバス２を介して受け
取る。

【００２７】図４に、画像データ情報や画像処理機能情
報の管理テーブルの一例を示す。これらの情報は、構成
制御部３の記憶装置（図示なし）に設けられる管理テー
ブルに、制御装置１から設定される。同図（ａ）は、画
面管理テーブルを示し、処理対象の画像データが記憶さ
れているメモリを示す画像メモリチャネル番号や、処理
を行なう画像画面上で開始する物理的なアドレス、画面
のサイズ、さらには画像データのビット幅（ｗ）やカラ
ー、モノクロといった画像種別を示す画面のデータタイ
プなどの画像データ情報を格納している。

【００２８】同図（ｂ）は、画像処理機能設定テーブル
を示し、フィルタ処理などの処理内容と、単独、パイプ
ラインあるいは並列などの処理形態と、処理個数及び処
理サイズなどを格納している。同図（ｃ）は、設定され
る処理機能の可否をチエックするための処理個数管理テ
ーブルで、図示例はＬＭ５が３２ビット幅のとき、画像
処理部９０による構成可能なフィルタ処理の処理数個数
を示している。すなわち、画像データのビット幅（ｗ）
と処理サイズ（フィルタ処理のカーネルサイズ）をパラ
メータとして、フィルタ処理の処理数個数が設定されて
いる。例えば、画像データのビット幅がｗ＝８で、３×
３フィルタ処理を行う場合、可能な処理個数は２であ
り、２つの異なるフィルタ処理をパイプラインで、また
は２つの同じフィルタ処理を並列処理で実行できる。

【００２９】図５に構成制御部３の処理の流れを示す。
構成制御部３では、画像データ情報の設定と画像処理機
能の設定により（ｓ１０１，ｓ１０２）、ＬＭ５へのデ
ータの入出力制御をはじめ、各ブロックを制御する信号
を生成する（ｓ１０３）。これらの制御信号は、たとえ
ば図５（ｂ）のように、画像データのビット幅（ｗ）と
設定機能に基づいて発行される。

【００３０】図５（ｂ）のテーブルは、データ幅が８ビ
ットの３×３フィルタ処理の各ブロックの制御信号の例
を、単独、パイプライン処理、並列処理の場合について
示している。

【００３１】構成制御部３からの制御信号で、メモリ制
御部１０に対しては、画像データの記憶場所や画面サイ
ズを設定する。パイプライン処理の場合、図５（ｂ）と
後述する図６、図７に示すように、ＬＭ入力データ制御
回路２００に対しては、処理対象メモリ部１００からの
データと、ＬＭ５の出力データと、画像処理結果のデー
タとから、ＬＭ５の入力データを作成するための制御信
号を発生する。ＬＭ出力データ制御回路３００に対して
は、画像処理機能に応じてＰＵ４００やデータ統合回路
５００が３×３フィルタ処理の積和演算などを実現する
ように、ＬＭ５の出力（ＬＭ_out）３０１や、ＬＭ入力
データ制御回路２００から直接入力するデータ（ＬＭ_t
hr）３０２を基に、各ＰＵ４００に分配するブロックデ
ータを作成するための制御信号を発生する。

【００３２】次に、各ＰＵ４００に対しては、積和演算
などが所望の機能を実現するように、係数の設定や、乗
算、加算などの機能の選択を行なう制御信号を発生す
る。データ統合回路５００に対しては、たとえば図８に
示す回路の構成を行う制御信号を発生し、各ＰＵ４００
からの演算結果から積和演算の加算処理をする。これら
は、基本的には従来技術と同様に行われる。

【００３３】データ選択制御回路６００については、処
理結果メモリ部７００に記憶する３×３フィルタ処理結
果の選択や、パイプライン処理を実現するためにフィー
ドバックする画像データを選択する信号を発生する。

【００３４】構成制御部３は、全ての制御信号を発生し
た後に、画像処理を開始する起動信号をメモリ制御部１
０に発生する（ｓ１０４）。メモリ制御部１０では、こ
の起動信号により、画像データの記憶手段である各メモ
リにアクセスするためのアドレスや、タイミング信号を
発生する。

【００３５】以上により、図３のパイプライン処理構成
の場合、構成制御部３は３２ビット幅のＬＭ５を理論
上、８ビット毎にＬＭ０〜ＬＭ３に４分割し、分割した
各ＬＭに対応する入力データの取り込みを可能にする。
また、使用する画像処理機能に合わせて２組の３×３フ
ィルタ処理の構成を行う。本実施形態では、３×３フィ
ルタ処理について説明しているが、５×５フィルタ処理
構成をとることもできる。つまり、フィルタサイズを自
由に選択できるように、積和演算の構成をフィルタサイ
ズによって変更できるようにしている。

【００３６】図８に、異なる二つの３×３フィルタ処理
を実現する構成、図９に、５×５フィルタ処理を実現す
る構成を示す。フィルタ処理における積和演算で、乗算
はＰＵ４００で行なわれ、加算はデータ統合回路５００
で行なわれる。フィルタサイズの制御は、データ統合回
路５００においてデータの流れを制御することにより実
現する。データの流れは、セレクタ５１０〜５５０によ
って制御し、フィルタサイズに応じて加算器を組み合わ
せることにより所望のフィルタ処理を実現する。したが
って、図８と図９の構成の変更は、各セレクタ５１０〜
５５０によってデータの流れを制御することにより可能
となる。

【００３７】本実施形態では、処理構成と画像処理に係
わる全ての制御を構成制御部３が行なっている。しか
し、同様の機能を制御装置１が行なったり、構成制御部
３が行なう機能の一部を別のブロックにより代替するな
ど、本実施形態に対する他の代案が可能である。

【００３８】次に、ＬＭ５の入出力制御について図６、
図７及び図１０〜図１５を使用して詳細に説明する。ま
ず、図６を用いてＬＭ入力データ制御回路２００、ＬＭ
５及びＬＭ出力データ制御回路３００の関係を説明す
る。同図において、処理対象メモリ部１００から入力さ
れるビット幅８ビットのデータ２０１をＭ［7:0］、デ
ータ選択制御回路６００からフィードバック手段８００
を介して入力されるデータ２０３をＦＢ［7:0］、３２
ビット幅のＬＭ５に入力するデータ２１０をＬＭ_in［3
1:0］、ＬＭ５から出力されるデータ３０１（２０２）
をＬＭ_out［31:0］、ＬＭ入力データ制御回路２００か
らＬＭ出力データ制御回路３００にＬＭ５を介さずに入
力されるデータ３０２をＬＭ_thr［15:0］と記述する。
なお、各データの符号は、対応する信号線の符号に読み
替えることもある。

【００３９】まず、ＬＭ入力データ制御回路２００とＬ
Ｍ出力データ制御回路３００の機能の概要を説明する。
ＬＭ入力データ制御回路２００においては、Ｍ［7:
0］、ＦＢ［7:0］、ＬＭ_out［31:0］からＬＭ５への入
力データＬＭ_in［31:0］と、ＬＭ出力データ制御回路
３００への入力データＬＭ_thr［15:0］を生成する。こ
のとき、ＬＭ_in［31:0］とＬＭ_thr［15:0］は、画像
データのビット幅に応じて制御され、そのビット幅が８
ビットの場合、図９に示すように８ビットごとに切り別
けて信号線を使用する。

【００４０】図１０に、ＬＭ５の理論上の切り分け構成
と入力データのビット幅の関係を示す。同図（ａ）のよ
うに、画像データのビット幅が１６ビットの場合は、図
２（ｂ）の処理構成となるので、ＬＭ０にＬＭ_in［15:
0］、ＬＭ１にＬＭ_in［31:16］が入力される。同図
（ｂ）のように、画像データのビット幅が８ビットで、
図３の処理構成をとる場合、ＬＭ０にＭ［7:0］、ＬＭ
１にＬＭ_out［7:0］、ＬＭ２にＦＢ［7:0］、ＬＭ３に
ＬＭ_out［23:16］が入力される。

【００４１】次に、ＬＭ出力データ制御回路３００にお
いては、ＬＭ_out［31:0］とＬＭ_thr［15:0］からフィ
ルタ処理に必要なデータを選択制御して、ＰＵ４００に
出力する。ここで、３×３フィルタ処理Ａ，Ｂをパイプ
ライン処理する場合のデータの流れについて、詳細に説
明する。

【００４２】図７に、ＬＭ出力データ制御回路３００の
構成を示す。ＬＭ出力データ制御回路３００には、信号
線３０１から垂直方向に１ラインもしくは２ライン遅延
された画像データＬＭ_outが、信号線３０２から垂直方
向の遅延がない画像データＬＭ_thrがそれぞれ入力され
る。図中、信号線上の斜線に付記した数字は、各信号線
の本数を表わし、伝達するビット数に対応している。

【００４３】ＬＭ出力データ制御回路３００の内部で
は、水平方向の遅延回路（フリップフロップ）３１１，
３１２を用いて、水平方向に２段遅延したデータを生成
し、３×３フィルタ処理に必要なブロックデータ、すな
わち画面上の３×３領域に対応する９個の画像データの
組み合わせを作成し、フィルタ処理ＡのＰＵ４００の各
々に分配する。また、フィルタ処理Ａの処理結果を用い
るフィルタ処理Ｂに対しても、同様に遅延回路３１３，
３１４を用いてブロックデータを作成する。なお、出力
データの処理Ａと処理Ｂへの切り分けは、出力データビ
ット切り分け回路３１５によって行われる。

【００４４】図２０に、他の実施例によるＬＭ出力デー
タ制御回路３００の構成を示す。水平方向の遅延回路３
１１〜３１４及び３２１〜３２４をそれぞれ４段とする
ことによって、３×３と５×５の両方のフィルタ処理に
適用できるようにしている。具体的には出力データビッ
ト回路に指定された処理サイズ（カーネルサイズ）に合
わせて、出力データを発生させる。

【００４５】図１１に、フィルタ処理Ａ，Ｂのデータ配
列の関係を示す。この例は、積和演算の遅延がないとき
の関係を示し、図のフィルタＡはAm,nの位置でのフィル
タ処理の演算を示している。ここで、添え字のmは画像
のｘ座標を、nはｙ座標を指している。処理に使用され
る９つのデータは、ＬＭ出力データ制御回路３００によ
り一組にまとめられ、９つ同時に積和演算を行なう回路
であるＰＵ４００およびデータ統合回路５００に入力さ
れる。

【００４６】次に、フィルタ処理Ａの処理結果に対して
異なるフィルタ処理Ｂをパイプライン処理する仕組みに
ついて説明する。フィルタ処理ＡにおけるAm,nでの処理
結果は、フィードバック手段８００を介して、ＬＭ入力
データ制御回路２００に伝達され、フィルタ処理Ｂに使
用される。このとき、Am,nでの処理結果はBm,nとなる。
このとき、フィルタ処理Ｂの出力結果は、フィルタ処理
Ａの処理結果を処理しているため、フィルタ処理Ａの処
理結果よりも１ラインと１画素だけ遅延した位置のもの
になる。つまり、フィルタ処理Ａは絶対座標で(m,n)の
画素での結果を出力し、この時にはフィルタ処理Ｂは(m
-1,n-1)の結果を出力する。

【００４７】以上を整理すると、フィルタ処理Ａでは、
処理対象メモリ部１００からのデータに対しフィルタ処
理を行なっているのに対し、フィルタ処理Ｂでは、フィ
ルタ処理Ａの処理結果に対してパイプライン的にフィル
タ処理を行なっている。このとき、フィルタ処理Ａとフ
ィルタ処理Ｂとの構成の違いは、処理対象メモリ部１０
０からのデータに対し処理を行なうか、フィルタ処理Ａ
の処理結果のデータに対し処理を行なうかであり、個々
には単独のフィルタ処理の場合の処理構成と変わらな
い。

【００４８】図１１に示したフィルタ処理Ａ，Ｂのパイ
プライン処理を実現するためのデータ制御について、さ
らに詳細に説明する。ここでのデータ制御の目的は、図
１１に斜線部で示した３つのデータを同時に、ＬＭ_out
とＬＭ_thrの２つのデータから生成できるように、デー
タの流れのタイミングを制御することにある。上記の斜
線部を同時に生成するということは、同時刻においてＬ
Ｍ_outとＬＭ_thrに上記斜線部のデータを発生すること
を意味する。

【００４９】図１２に、図１１の斜線部のデータのビッ
ト構成を示す。図示で、ＬＭ_in、ＬＭ_thr、ＬＭ_out
から切り分けされるデータをビット幅毎に上段に示し、
そのデータに対応するフィルタ処理Ａ、Ｂでのデータ配
列を下段に示している。

【００５０】これらのビットの切り分け制御は、ＬＭ_i
nに対しては図６におけるＬＭ入力データ生成回路２５
０で、ＬＭ_thrに対してはＬＭ通過データ生成回路２５
１で行なわれる。ＬＭ_outに関しては、ＬＭ５から読み
出されるデータが既に、図１２に示したビット構成にな
っている。

【００５１】図１３に、フィルタ処理Ａ、Ｂにおけるタ
イミングチャートを示す。（ａ）はフィルタ処理におけ
る演算の遅延がない場合で、ＲＡはＬＭ５のリードアド
レス、ＷＡはライトアドレスを示している。この例のＬ
Ｍ５には、そのビット幅が３２ビット、処理対象のビッ
ト幅が８ビットで、ＲＡで指定されたアドレスのデータ
を１クッロク後に出力する同期型メモリを使用してい
る。

【００５２】このとき、ＬＭ５の下位の１６ビットはフ
ィルタ処理Ａに、上位の１６ビットはフィルタ処理Ｂに
使用されるよう制御される。つまり、ＬＭ５と信号線２
１０、３０２をフィルタ処理Ａ，Ｂで画像データのビッ
ト幅に合わせて２分割して使用できるように制御する。

【００５３】次に、ＬＭ５の動作とフィルタ処理Ａおよ
びフィルタ処理Ｂとの関係を、図１４と図１５を用いて
より具体的に説明する。図１４は、処理対象の画像画面
でのデータ配列とＬＭ５のデータ配列を説明するための
概念図である。ＬＭ５には、ＲＡで指定されたアドレス
のデータを１クッロク後に出力する同期型メモリを使用
している。フィルタＡで使用される画像データは丸数
字、フィルタＢで使用される画像データは二重丸数字で
示している。図示のように、ＬＡ５に対しＲＡ（＝
８）、ＷＡ（＝７）が指示されているとき、フィルタ処
理Ａでは矩形内の９つの画像データを用いデータ６８の
処理を、同様にフィルタ処理Ｂでは処理Ａの結果データ
５７（画像データ５７に対応）の処理を行っている。以
下、矩形で示されたフィルタ処理に注目して説明する。

【００５４】図１５は、（ａ）〜（ｃ）のように、ＬＭ
５の動作を３クロック期間モニタリングした説明図であ
る。以下では、フィルタＡで使用するデータには添字
ａ、フィルタＢで使用するデータには添字ｂを付与して
区別する。

【００５５】同図（ａ）の状態では、ＷＡ＝５、ＲＡ＝
６を示している。画像メモリ１００から画像データ５９
ａが入力されると、ＬＭ５がそれに同期して、画像デー
タ５７ａ，５８ａを出力するように制御される。このと
き、フィルタ処理Ａは３７ａ，３８ａ，３９ａ，４７
ａ，４８ａ，４９ａ，５７ａ，５８ａ，５９ａの画像デ
ータを使用してフィルタ処理を行い、その処理結果はデ
ータ４８ｂである。データ４８ｂはＬＭ５の入力として
使用されると同時に、フィルタ処理Ｂに使用される。フ
ィルタ処理Ｂは、処理Ａの結果データ２６ｂ，２７ｂ，
２８ｂ，３６ｂ，３７ｂ，３８ｂ，４６ｂ，４７ｂ，４
８ｂを使用して、３７の位置の処理結果を出力する。

【００５６】次に、１クロック後の同図（ｂ）の状態で
は、ＷＡ＝６、ＲＡ＝７となり、ＬＭ５からの出力は１
クロック前に指定したアドレスのデータ５６ｂ，５７
ｂ，６７ａ，６８ａである。このとき、画像メモリ１０
０から入力される画像データは６９ａ、フィルタ処理Ａ
の処理結果データは５８ｂである。また、フィルタ処理
Ｂの処理結果データは、４７の位置のデータである。さ
らに、１クロック後の同図（ｃ）の状態では、ＷＡ＝
７、ＲＡ＝８となり、ＬＭ５からの出力はデータ６６
ｂ，６７ｂ，７７ａ，７８ａである。フィルタ処理Ａの
処理結果データは６８ｂ、フィルタ処理Ｂの処理結果デ
ータは、５７の位置のデータである。

【００５７】このように、画像メモリ１００から入力さ
れる画像データのビット幅に合わせて、毎クロックＷＡ
及びＲＡがカウントアップされる。そして、画像メモリ
１００から読み出される画像データに同調して、３×３
フィルタ処理を実行できるようにＬＭ５を制御する。

【００５８】なお、上記したＬＭ５の動作は２段のパイ
プライン処理についての説明ではあるが、個々のフィル
タ処理Ａまたはフィルタ処理Ｂについてみれば、通常の
３×３フィルタ処理や５×５フィルタ処理の動作と同じ
になる。

【００５９】また、本実施形態では、フィルタ処理にお
ける演算の遅延段数を考慮していないが、遅延段数を考
慮してもよい。遅延段数を考慮した場合、図１３（ｂ）
に示すように、ＬＭ_in およびＬＭ_thr におけるフィ
ルタ処理Ａとフィルタ処理Ｂとのデータの組み合わせの
差が１クロックになるだけで、制御方法は遅延がない場
合と全く同様である。

【００６０】このように、本実施形態によれば、ライン
メモリの入出力をデータの組合せによって簡単に制御で
きるので、フィルタサイズの異なるフィルタ処理、さら
にはパイプライン処理や並列処理などを、共通のハード
（リソース）を用いてその処理構成を変更することで効
率的に実現できる。以下に、処理形態の異なる他の実施
例について説明する。

【００６１】図１６は、画像データのビット幅が１６ビ
ットの図２（ｂ）の処理構成において、３×３フィルタ
処理９０１に入力されるデータのビット構成を示す。図
１２の場合と同様に、ＬＭ_in、ＬＭ_thr、ＬＭ_outは
制御されるデータを上段に、そのデータに対応するフィ
ルタ処理Ａ９０１での対象データを下段に示している。
前例と同様に、これらのビットの切り分け制御は、ＬＭ
_inに対してはＬＭ入力データ生成回路２５０で、ＬＭ_
thrに対してはＬＭ通過データ生成回路２５１で行なわ
れる。ＬＭ_outに関しては、ＬＭ５から読み出されるデ
ータが既に図１０に示したビット構成になっている。

【００６２】図１７に、画像データのビット幅が１ビッ
トで、Ａ〜Ｐの１６段のパイプライン処理を行なう処理
構成を示す。この場合にも、ＬＭ５を１ビット幅でＬＭ
０〜ＬＭ３１に区分し、各３×３フィルタに入力するＬ
Ｍ_in、ＬＭ_thr、ＬＭ_outのデータを、図１２の場合
の８ビット幅に対し１ビット幅で切り分け制御すること
で、同様に実現できる。

【００６３】このように、画像データのビット幅に応じ
てＬＭの入出力を制御し、ＬＭの使用本数を実質的に最
適化することにより複数段のパイプライン処理を可能と
し、高速な画像処理を実現している。

【００６４】図１８に、本発明の並列処理による画像処
理装置の構成を示す。図示のように、ｎ個の処理対象メ
モリ部１００とｎ個の処理結果メモリ部７００を用いて
いる以外は、図１の実施形態と同じ構成となる。

【００６５】図１９に、２個の並列処理の処理構成を示
す。３２ビット幅のＬＭを使用し、画像データのビット
幅が８ビット、２個の３×３フィルタ処理Ａを並列処理
するときの処理構成を示している。同図（ｂ）に示すよ
うに、一画面を２つに分割して並列に処理する場合、１
個でフィルタ処理Ａを行なう処理時間を１／２に短縮で
きる。

【００６６】この処理構成は、図３のパイプラインの処
理構成から簡単に変更できる。たとえば、ＬＭ入力デー
タ制御回路２００において、フィードバック手段８００
によって伝達される処理結果データを、処理対象メモリ
部１００からの画像データに変更するだけでよい。した
がって、パイプライン処理が必要なときには図３の処理
構成を採用し、並列処理が必要なときには図１４の処理
構成を採用するように任意な構成が可能になる。もちろ
ん、図２（ｃ）の処理構成からの変更も可能である。

【００６７】

【発明の効果】本発明によれば、扱う画像データのビッ
ト幅と合わせ、一ライン分のラインメモリのビット幅を
可変して理論上のラインメモリの本数を変更するので、
画像データのビット幅と画像処理の設定機能に対応した
処理構成を、ラインメモリや演算装置の規模の範囲内で
柔軟に変更できる。

【００６８】また、本発明によれば、扱う画像データの
ビット幅と画像処理サイズに合わせてラインメモリの入
出力を制御することにより、複数段のパイプライン処理
や複数組の並列処理を自由に構成することができ、画像
処理の高速化が可能になる。

【００６９】つまり、本発明によれば、扱う画像データ
のビット幅と画像処理の設定機能に合わせて、多様な処
理構成をとることができるので、汎用性に優れリソース
の使用効率が高い画像処理装置を提供できる。

【図面の簡単な説明】

【図１】本発明の一実施形態における画像処理装置の全
体構成図。

【図２】ラインメモリを使用する画像処理装置の種々の
処理構成を示す概念図。

【図３】本発明のパイプライン処理の画像処理装置の処
理構成を示す概念図。

【図４】画像情報及び画像処理機能情報の設定内容を示
すテーブル。

【図５】構成制御部による処理の流れと、発行される制
御信号の一例を示す説明図。

【図６】ラインメモリの入力データを制御するＬＭ入力
データ制御回路とその周辺回路の構成を示す機能ブロッ
ク図。

【図７】ＬＭ出力データ制御回路の構成を示す機能ブロ
ック図。

【図８】３×３フィルタ処理を実現する画像処理部の回
路構成を示す機能ブロック図。

【図９】５×５フィルタ処理を実現する画像処理部の回
路構成を示す機能ブロック図。

【図１０】ラインメモリの理論上の分割構成を示す概念
図。

【図１１】３×３フィルタ処理のパイプライン処理を実
現するブロックデータの推移を示す説明図。

【図１２】図１１の斜線部に対応し、ＬＭ入力データ、
ＬＭ通過データ及びＬＭ出力データをビット幅毎に示す
データ構成図。

【図１３】図１１のブロックデータのタイミングチャー
ト。

【図１４】３×３フィルタ処理のパイプライン処理での
ブロックデータとラインメモリの位置を示す説明図。

【図１５】ラインメモリのデータ移動を詳細に示す説明
図。

【図１６】本発明の他の実施形態で、画像データが１５
ビット幅の場合のＬＭ入力データ、ＬＭ通過データ及び
ＬＭ出力データをビット幅毎に示すデータ構成図。

【図１７】本発明の他の実施形態で、画像データが１ビ
ット幅の場合の３×３フィルタ処理を１６段のパイプラ
イン処理で行う処理構成の概念図。

【図１８】本発明の他の実施形態で、ｎ組の並列処理を
行う画像処理装置の全体構成図。

【図１９】３×３フィルタ処理の２並列処理を行う処理
構成と対象メモリの説明図。

【図２０】他の実施形態によるＬＭ出力データ制御回路
の構成を示す機能ブロック図。

【符号の説明】

１…制御装置、２…制御装置と画像処理装置とのバスイ
ンタフェース、３…構成制御部、５…ラインメモリ（Ｌ
Ｍ）、９０…画像処理部、１００…処理対象メモリ部、
２００…ＬＭ入力データ制御回路、２５０…ＬＭ入力デ
ータ生成回路、３００…ＬＭ出力データ制御回路、３１
１〜３１４…遅延回路、３２１〜３２４…遅延回路、３
３０…出力データビット切り分け回路、４００…ＰＵ、
５００…データ統合回路、６００…データ選択制御回
路、７００…処理結果メモリ部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 1/40 Ｇ０６Ｆ 15/66 Ｊ 5/14 Ｈ０４Ｎ 1/40 Ｚ (72)発明者 直井 茂 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内 (72)発明者 金田 隆仁 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内

Claims (10)

【特許請求の範囲】
1. 【請求項１】 処理対象の画像データを、複数ビットの
   ライン幅をもつラインメモリを用いて画像処理回路に入
   力する画像処理装置において、 画像データのビット幅に合わせて前記ラインメモリのラ
   イン幅を切り分け理論上、複数の分割ラインメモリを構
   成し、かつ、設定される画像処理機能情報（以下、設定
   機能）にしたがって使用する本数の分割ラインメモリ
   を、前記画像処理回路と対応するように、その入出力を
   制御する構成を備えたことを特徴とする画像処理装置。
2. 【請求項２】 請求項１において、 前記設定機能に応じて、前記画像処理回路における複数
   の演算回路の組合せを制御する構成を備え、 ３×３や５×５などの処理サイズの変更および／または
   パイプラインや並列処理などの処理形態の変更を可能し
   たことを特徴とする画像処理装置。
3. 【請求項３】 処理対象の画像データを格納する画像メ
   モリと、所定の画像処理を行う画像処理回路と、前記画
   像メモリから読み出した画像データを処理サイズに合わ
   せたブロックデータにして前記画像処理回路に出力する
   ラインメモリを備える画像処理装置において、 前記画像データのビット幅に合わせて前記ラインメモリ
   のライン幅を切り分け理論上、複数の分割ラインメモリ
   を構成し、かつ、設定機能にしたがって使用する本数の
   分割ラインメモリを、前記画像処理回路と対応するよう
   に、その入出力を制御する構成制御手段と、 前記ラインメモリに入力する入力データを生成するライ
   ンメモリ入力データ制御手段と、前記ラインメモリの出
   力するデータから前記ブロックデータを生成するライン
   メモリ出力データ制御手段を備え、 ラインメモリのライン幅の範囲内で処理構成を任意に変
   更できるようにしたことを特徴とする画像処理装置。
4. 【請求項４】 請求項３において、 前記設定機能が異なるｉ×ｉフィルター処理によるＰ段
   のパイプライン処理で、前記使用する本数Ｌが（ｉ−
   １）×Ｐとなる場合、 前記構成制御手段は、パイプライン処理の各段に使用す
   る前記分割ラインメモリをＬ／Ｐ本のライン群とし、最
   前段の画像処理回路には前記画像メモリから読み出した
   画像データを直接入力する分割ラインメモリを含むライ
   ン群を対応させ、次段以降の画像処理回路には順次、前
   段の処理データを入力する分割ラインメモリを含むライ
   ン群を対応させるように、前記ラインメモリの入出力の
   制御を行うことを特徴とする画像処理装置。
5. 【請求項５】 請求項４において、 前記ラインメモリ入力データ制御手段は、前記画像メモ
   リから読み出した画像データと、前記ラインメモリの出
   力データの一部と、前記画像処理回路の各段の処理結果
   データとから、前記分割ラインメモリの全てに入力する
   ための入力データを生成することを特徴とする画像処理
   装置。
6. 【請求項６】 請求項３において、 前記設定機能が同じｉ×ｉフィルター処理によるＱ組の
   並列処理で、前記使用する本数Ｌが（ｉ−１）×Ｑとな
   る場合、 前記構成制御手段は、並列処理の各組に使用する前記分
   割ラインメモリをＬ／Ｑ本のライン群とし、前記画像メ
   モリに格納されている画像データの１画面分を垂直方向
   にＱ分割し各々の領域から並列に読み出される画像デー
   タを、対応するライン群に入力するように制御すること
   を特徴とする画像処理装置。
7. 【請求項７】 請求項４〜６のいずれか１項において、 前記構成制御手段は、前記設定機能を示すフィルタサイ
   ズ（ｉ×ｉ）、処理個数（１またはＰまたはＱ）、パイ
   プラインなどの処理形態を設定されると、前記処理個数
   分の画像処理回路を前記フィルタサイズに見合った演算
   回路によって構成するように制御し、 また、前記処理形態がパイプラインの場合に、前記画像
   処理回路の各々の処理結果データを前記ラインメモリ入
   力データ制御手段にフィードバックするように制御する
   ことを特徴とする画像処理装置。
8. 【請求項８】 処理対象の画像データを格納する画像メ
   モリと、所定の画像処理を行う画像処理回路と、前記画
   像メモリから読み出した画像データを処理サイズに合わ
   せたブロックデータにして前記画像処理回路に出力する
   ラインメモリを備える画像処理装置において、 異なるｉ×ｉフィルター処理によるＰ段のパイプライン
   処理を行うためのＰ組の画像処理回路と、 前記画像データのビット幅に合わせて前記ラインメモリ
   のライン幅を切り分け理論上、Ｌ（＝（ｉ−１）×Ｐ）
   本の分割ラインメモリを構成し、かつ、設定機能にした
   がって使用する分割ラインメモリをＬ／Ｐ本のライン群
   毎に各画像処理回路に対応させて、前記ラインメモリの
   入出力を制御する構成制御手段と、 前記画像メモリから読み出した画像データと、前記ライ
   ンメモリの出力データの一部と、前記画像処理回路の各
   段の処理結果データとから、前記ラインメモリを理論上
   で切り分けた全てのラインに入力するための入力データ
   を生成するラインメモリ入力データ制御手段と、 前記ラインメモリから出力するデータから前記ブロック
   データを生成するラインメモリ出力データ制御手段を備
   え、ラインメモリのライン幅の範囲内でパイプライン処
   理構成を任意に変更できるようにしたことを特徴とする
   画像処理装置。
9. 【請求項９】 請求項８において、 ｉ＝３、Ｐ＝２の場合に、 前記ラインメモリ入力データ制御手段は、前記画像メモ
   リから読み出した画像データの幅のＭビットと、１クロ
   ック前に読み出した画像データで前記出力データの中か
   ら得られるＭビットを前段の画像処理回路に対応する２
   本の分割メモリからなるライン群に、このときの前段の
   画像処理回路の処理結果データのＭビットと、その１ク
   ロック前の処理結果データのＭビットを後段の画像処理
   回路に対応する２本の分割メモリからなるライン群に入
   力するように制御し、 前記ラインメモリ出力データ制御手段は、前記画像メモ
   リから読み出した画像データと前段のライン群から出力
   する２の画像データとの画面上３ラインのデータ組み
   と、それらデータ組の１クロック前及び２クロック前の
   データ組を合わせた９つのデータブロックを生成して前
   段の画像処理回路に、このときの前段の処理結果データ
   と後段のライン群から出力する２の処理結果データを、
   前段の場合と同様に制御してデータブロックを生成して
   後段の画像処理回路に出力するように制御することを特
   徴とする画像処理装置。
10. 【請求項１０】 処理対象の画像データを格納する画像
    メモリと、３２ビットのライン幅を有するラインメモリ
    と、少なくとも５×５フィルタ処理を実行できる複数の
    積和演算回路をもつ画像処理回路を備える画像処理装置
    において、 画像データのビット幅に合わせて前記ラインメモリのラ
    イン幅を切り分け理論上、複数の分割ラインメモリを構
    成し、かつ、設定機能にしたがって使用する本数の分割
    ラインメモリを、前記画像処理回路と対応するように、
    その入出力を制御する構成を備え、 画像データが１６ビット幅の場合に、前記ラインメモリ
    を１６ビット幅毎に分割して３×３フィルタの処理構成
    を構築し、 または、画像データが１〜８ビット幅のいずれかの場合
    に、前記ラインメモリを１〜８ビットの対応する幅に分
    割して、５×５フィルタまたは３×３フィルタの処理構
    成を構築し、 または、画像データが１〜８ビット幅のいずれかで、か
    つ、処理形態が複数段のパイプライン処理の場合は、前
    記ラインメモリを１〜８ビットの対応する幅に分割し、
    ３×３フィルタ処理によるパイプライン処理の各段を分
    割したラインメモリによって入出力させる処理構成を構
    築し、 または、画像データが１〜８ビット幅のいずれかで、か
    つ、処理形態が複数組の並列処理の場合は、前記ライン
    メモリを１〜８ビットの対応する幅に分割し、３×３フ
    ィルタ処理による並列処理の各組と前記画像メモリの並
    列読み出し領域を分割したラインメモリによって対応さ
    せる処理構成を構築することを特徴とする画像処理装
    置。