JP2000253255A - 信号処理装置および信号処理システム - Google Patents

Abstract

(57)【要約】 【課題】本発明は、装置規模が小さく、高速処理可能な
信号処理装置を提供する。また、画像劣化のない高画
質，高精細な信号処理装置を提供する。 【解決手段】予め定められた参照信号を格納するメモリ
と、入力信号と前記参照信号との差分値を検出する１つ
の差分検出部と、その差分値を信号処理し、演算信号を
出力する１つ又は複数の信号処理部と、入力信号を演算
信号に基づいて補正する補正部とを有する構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像信号処理を目的
とした装置を対象にしており、特にカラー画像信号を伝
送，蓄積，出力する画像信号処理装置に関する。

【０００２】

【従来の技術】例えばスキャナ，デジタルカメラなどの
画像入力装置を用いて入力して作成した画像データを、
プリンタ，モニタなどの画像表示装置を用いて再生する
場合に、画像データに対して、多くの種類の信号処理を
行う。

【０００３】画素数の増減を目的とした拡大縮小処理，
文字図形などの輪郭の滑らかさを目的としたスムージン
グ処理，濃淡境界の強調を目的としたエッジ強調処理な
どは広く利用されている。また、画像データの信号変動
の大小に基づきフィルタ処理を切り替えるなどの、画質
の向上を目的に行う信号処理がある。

【０００４】これらの、拡大縮小処理，スムージング処
理，エッジ強調処理などは、いずれも複数の画素を持つ
画像データで、ある任意の１つの注目画素に隣接する複
数画素の信号変動を測定した結果に基づいて動作する。

【０００５】すなわち拡大縮小処理は、注目画素と隣接
画素との信号レベルの差分値を検出して、拡大縮小の比
率に基づいて新たに設定する画素の信号レベルを設定す
る。スムージング処理は濃淡差の大きな文字図形の輪郭
を対象とする。エッジ強調処理は、隣接する画素との差
分値を、係数値で増幅した値で置き換える。また、出現
する色種類に基づき領域を判断する処理を、信号の統計
処理で行うことがある。

【０００６】このように多くの信号処理が、信号変動の
差分を利用した演算を行っている。これは、１つの画素
が複数種類の色信号で表されるカラー画像を対象とした
場合にも同様である。

【０００７】このような画像データの差分検出をそれぞ
れの色種類の信号処理に独立して行うことが、１つの信
号処理装置を共通して利用できることから、装置規模の
削減のために広く利用されている。

【０００８】

【発明が解決しようとする課題】従来の信号処理装置
は、上記のように異なる目的の信号処理でありながら、
いずれも隣接する隣接（参照）画素との差分値を検出し
て演算に利用している。そして、それぞれの信号処理の
目的が異なるという理由で、それぞれ異なる差分検出に
相当する手段を用いて構成していた。

【０００９】差分検出は、注目する画素、および隣接す
る複数の画素の信号をメモリから読み出して演算を行う
ことが必要である。このため、それぞれの信号処理にそ
れぞれの差分検出手段を設けることは、装置規模が大き
くなること、処理時間がかかること、などの課題が生じ
ていた。これは、ハード構成でも、ＣＰＵを用いたソフ
ト処理においても、ＣＰＵ外部に接続する画像データメ
モリへのアクセスには、アドレス演算とメモリアクセス
に処理時間がかかる。大容量の画像データの信号処理に
おいて処理時間を削減することは、重要な課題である。

【００１０】また従来は、入力信号の振幅値（例えば８
ビット，１６ビットなどのデータ解像度）によって信号
処理回路の構成を変更していた。しかし、回路構成ある
いはソフトモジュールを様々な応用装置で利用するに
は、入力信号の振幅値に依存しないことが重要な課題で
ある。

【００１１】また、カラー画像を対象にした場合に、差
分検出を各色毎に独立して実行すると、信号処理の結果
として得られる画像データに画質劣化が生じる場合があ
る。例えば、検出したエッジ位置の検出を色信号毎に独
立に行うと、検出したエッジ位置が色信号毎にずれる場
合があり、この結果として色ずれが生じることになる。
また、カラー画像の色信号がサブサンプリングされてい
る場合には、それぞれの画素が正確な色を再現できない
という課題があった。

【００１２】従って、本発明の目的は、装置規模が小さ
く、高速処理可能な信号処理装置を提供することであ
る。また、画像劣化のない高画質，高精細な信号処理装
置を提供することである。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に本発明は、予め定められた参照信号を格納するメモリ
と、入力信号と前記参照信号との差分値を検出する１つ
の差分検出部と、前記差分値を信号処理し、演算信号を
出力する１つ又は複数の信号処理部と、前記入力信号を
前記演算信号に基づいて補正する補正部とを有する構成
とした。

【００１４】このように信号処理装置の各信号処理を１
つの差分検出部にて差分値を検出することにより、無駄
な回路がいらなく、簡易な構成で、回路規模が小さい信
号処理装置を実現できるとともに、低価格で高速処理可
能な信号処理装置を実現できる。

【００１５】また、差分値を用いることで、入力信号の
振幅値（データの解像度）に依存しない信号処理装置を
実現できる。

【００１６】

【発明の実施の形態】画像データは２次元平面に配置さ
れた画素から構成される。本発明は、その平面上の画素
の信号を、色空間上の信号にマッピングすることで、信
号処理を行うことを特徴とする。以下の説明では、カラ
ー画像を対象にして本発明の実施例を説明する。色信号
としてＲＧＢを例示しているが、色信号の種類と数を限
定するものではなく、他にＣＭＹ，ＬＵＶ，ＬＡＢ，Ｃ
ＭＹＫなどを利用できる。

【００１７】従来構成では、複数種類の信号処理を引き
続いて実行する装置においても、いくつかのメモリと信
号処理は独立した回路構成を用いて動作する。例えば、
エッジ強調のためには、注目画素と隣接する参照画素を
メモリアクセスしてフィルタ処理に基づく演算を行う。
スムージング処理のためには、注目画素と隣接する参照
画素をメモリアクセスしてパタンマッチング演算を行
う。このように、これらの信号処理は、機能的に異なる
内容であるとして演算を行っている。これでは、回路規
模が大きくなり、処理速度も遅くなってしまう。以下に
本発明について、図を用いて説明する。

【００１８】図１は、本発明の信号処理装置の基本構成
図を示している。差分検出回路101,信号処理回路１０
２，補正回路１０３、およびメモリ１０４から構成す
る。ここで差分検出回路１０１は、入力信号Ｐｘ(Ｒ，
Ｇ，Ｂ)、およびメモリ１０４に蓄積された隣接（参
照）画素の信号Ｐｊ（Ｒ，Ｇ，Ｂ）を用いて、所定の関
係式を用いて差分値Δ（Ｒ，Ｇ，Ｂ）を算出する。信号
処理回路１０２は、その差分値を用いて、例えばエッジ
強調，スムージング，拡大縮小などの演算を行い、演算
結果Δ′（Ｒ，Ｇ，Ｂ）を出力する。補正回路１０３
は、上記演算結果を用いて入力信号の補正を行い、補正
結果Ｐｘ′（Ｒ，Ｇ，Ｂ）を出力する。

【００１９】また図２は、本発明の信号処理装置の別の
構成図である。参照画素Ｐｊ（Ｒ，Ｇ，Ｂ）の画像デー
タを蓄積するためのメモリ１０４，信号処理回路１０２
の動作を設定する設定値レジスタ１０５を付け加えてい
るが、上記基本構成と同一である。

【００２０】ここで信号処理回路１０２は、エッジ強
調，スムージング，拡大縮小などの平面上に分布する画
素の信号を用いて演算を行うものである。いずれも信号
処理の目的としては従来から広く利用されてきているも
のである。それぞれの信号処理を簡単にいえば、エッジ
強調は注目画素と隣接画素との信号変化を増幅して、エ
ッジの見え方を強調する。スムージングは、文字図形な
どの画素周辺（すなわち信号変化の大きな輪郭線）を滑
らかにする。拡大縮小は、倍率に基づく新たな画素位置
の信号を、周辺の画素の信号値から算出するものであ
る。このように、いずれの信号処理も、注目画素と隣接
画素との信号変化（差分）を検出して利用する。

【００２１】本発明の特徴は、差分検出回路１０１で検
出した差分値を、それぞれの信号処理に共通に用いるこ
とである。すなわち、差分値の算出回路は１個あれば良
いとする。これにより、メモリアクセス回数を削減でき
ることから高速化を実現でき、回路規模を削減できるメ
リットがある。

【００２２】図１および図２において、異なる内容の信
号処理を実行する信号処理回路102を複数個直列接続す
ることが容易に実現できる。つまり、信号処理回路１０
２をモジュール化（共通部品化）することが容易にな
る。

【００２３】以下、それぞれの回路の構成を説明する。

【００２４】（１）差分検出回路１０１ まず差分検出回路１０１の構成と動作について説明す
る。入力するカラー画像は、複数の色信号の組み合わせ
で画素の信号が表される。それぞれの画素の信号を、例
えばＲＧＢ信号を座標軸に持つ色空間の座標点で表すと
する。

【００２５】図３（１）に、平面上における注目画素ｘ
と参照画素ａ，ｂ，ｃの位置関係を示す。ライン単位の
スキャン順序に信号入力する場合には、参照画素とし
て、信号処理済みの画素を利用することができる。ある
いは、ラインメモリを利用することで、注目画素に先行
する画素（Ｎ＋１ライン）を参照することもできる。こ
こで検出する差分値Δｊ（Ｒ，Ｇ，Ｂ）は、注目画素ｘ
を中心にして、周辺にある参照画素ｊ（ｊ＝ａ，ｂ，ｃ
…）との信号値の差とする。この差分値Δｊは、同図
（２）に示すようにＲＧＢ色空間上のベクトルで表すこ
とができる。参照画素ｊに対応した差分値を表すベクト
ルΔｊ（Ｒ，Ｇ，Ｂ）は次式のように色信号の各成分か
ら算出できる。

【００２６】Δｊ（Ｒ，Ｇ，Ｂ）＝（(Ｒｘ−Ｒｊ）,
（Ｇｘ−Ｇｊ）,（Ｂｘ−Ｂｊ)） なお、同様にして参照画素間の差分Δｊを算出すること
もできる。上記は、色信号を成分に持つベクトルであっ
たが、色空間上の座標点間を結ぶ長さで表すこともでき
る。長さに関係する数値を、ベクトルの長さの２乗で表
すことも、ベクトルの成分において一番大きな値を持つ
信号を差分として表すこともできる。これらを式で表せ
ば、 Δｊ＝（Ｒｘ−Ｒｊ）＾２＋（Ｇｘ−Ｇｊ）＾２＋（Ｂ
ｘ−Ｂｊ）＾２ Δｊ＝ＳＱＲＴ((Ｒｘ−Ｒｊ)＾２＋(Ｇｘ−Ｇｊ)＾２
＋(Ｂｘ−Ｂｊ)＾２) Δｊ＝ＭＡＸ（(Ｒｘ−Ｒｊ）,（Ｇｘ−Ｇｊ）,（Ｂｘ
−Ｂｊ)） あるいは、色信号から明るさ成分を取り出して表すこと
もできる。例えば、 Δｊ＝（Ｒｘ−Ｒｊ）＋（Ｇｘ−Ｇｊ）＋（Ｂｘ−Ｂ
ｊ） Δｊ＝信号Ｌ^*（国際照明学会ＣＩＥが定める均等色空
間の明るさ信号） ここで、演算子「＾」は２乗、「ＳＱＲＴ」は平方根、
「ＭＡＸ」は最大値抽出を示す。

【００２７】画像データを順次にスキャン入力する装置
では、それぞれの注目画素において、全ての方向の隣接
する参照画素との差分を検出しなくても良い場合があ
る。例えば注目画素および隣接する４画素の格子方向の
差分を検出する場合には、順次に入力する注目画素にお
いて新たな２方向の差分を検出することで、既に検出済
みの差分値と組み合わせて４方向の差分値を利用できる
ようになる。

【００２８】図４に示すように、差分Δｊは、差分検出
回路１０１ａ〜１０１ｅを用いて入力した色信号Ｐｘ
（Ｒ，Ｇ，Ｂ）とメモリから読み出した参照画素の色信
号Ｐｊ（Ｒ，Ｇ，Ｂ）から算出する。注目画素ｘと参照
画素ｊ（ｊ＝ａ，ｂ，ｃ…）の画像データはメモリアク
セス回路１０８を用いて入力する。入力した信号を用い
て参照画素の種類の差分値を高速に算出するために、差
分検出回路１０１を複数並列にしている。実行速度が遅
くても良い場合は、単一の差分検出回路１０１を複数回
動作させることで同じ結果を得ることができる。このよ
うにして算出した複数種類の差分値Δ（Ｒ，Ｇ，Ｂ）を
出力して、実際に利用する値を、後述するエッジ判定回
路１３４で選択する。

【００２９】差分検出回路１０１で演算対象とする画素
は、注目画素のスキャン方向に基づき１画素ずれていく
ことになる。この際に、注目画素の画像データを入力す
ると共に、新たに参照する画素の画像データをメモリ１
０４から読み込む。図５は差分検出回路１０１の内部に
設けられ、注目画素と参照画素の画像データを順次に入
力するためのメモリアクセス回路１０８の構成例を示し
ており、移動する遅延レジスタ１２１ａ，１２１ｂ，１
２１ｃ，１２１ｘを用いて演算対象とする信号を準備す
る。アドレス生成回路１２０は、画素スキャンの順序に
基づきメモリアドレスを生成する。メモリの入出力デー
タとして、新たなスキャン入力信号を書き込み、新たに
参照する画素の信号を読み出す。ＲＧＢ各色が８ビット
の信号である場合に、画素の信号Ｐｘ（Ｒ，Ｇ，Ｂ）は
２４ビット幅のデータとしてメモリ入出力する。つま
り、１つの注目画素の信号処理に、１回のメモリ書き込
みとメモリ読み出しを行えば良い。

【００３０】また、メモリ１０４は、参照画素のデータ
を蓄積するものである。例えば、注目画素を含む第Ｎラ
インと第（Ｎ−１）ラインの２ライン分のデータ容量が
あれば良い。さらに、第（Ｎ＋１）ラインを蓄積するこ
とで、注目画素に先行した画素を参照することもでき
る。

【００３１】画像データの信号特性によって、信号処理
の方式を切り替えることが、画質向上の点から有利とな
る場合がある。例えば信号変化の激しい画像のエッジ部
は、視覚的に注目する場所なので、その信号処理方法の
選択は重要となる。例えば、図６に示すように、エッジ
部の信号特性を入力するエッジ判定回路１３４の演算結
果に基づき、平滑化回路１３１，エッジ強調回路１３
２，スムージング回路１３３などの信号処理を選択回路
１３５で選択する。

【００３２】ここでエッジ判定回路１３４は図７に示す
ように、差分検出回路１０１で検出した複数種類の差分
値Δ（Ｒ，Ｇ，Ｂ）を入力して、設定値レジスタ１０５
に設定した閾値との差分を算出する。そして、差分の大
きさに基づいて、信号処理の内容を選択する。下記にそ
の差分値と閾値（２つの閾値を備えた場合）との関係の
一例を示す。ここで、設定値レジスタ１０５へ設定する
閾値は、あらかじめ多くのサンプル画像について実験に
基づき算出する。

【００３３】・差分値Δ≦閾値１の場合：平滑化回路１
３１の演算結果を選択する ・差分値Δ＞閾値１の場合：エッジ強調回路１３２の演
算結果を選択する ・差分値Δ＞閾値２の場合：スムージング回路１３３の
演算結果を選択する 上記エッジ判定回路１３４の特徴は、画素のＲＧＢ色信
号の組み合わせで差分値Δを判定することである。これ
がＲＧＢ色信号を別々に判定を行うならば、色信号毎に
判定位置にずれが生じる場合がある。これに対して本発
明では、ずれのないエッジの判定結果を得ることができ
る。

【００３４】このように、検出した差分値Δ、あるいは
エッジ位置などの判定結果を用いて、従来は目的が異な
るとして別々に実行していた信号処理の多くが、結局の
所、本実施例では、２次元平面と色空間の関係を考慮に
入れることで、一括した信号処理で実現できる。

【００３５】（２）エッジ強調 エッジ強調処理は、エッジ検出位置において濃淡の変化
を増幅することで、視覚的な見えを良くすることを目的
として広く使われている手法である。例えばスキャナを
用いて印刷物を入力すると、レンズ特性などの要因によ
り、画像データのエッジ部の信号変化が劣化している場
合がある。これをエッジ強調処理によって、元の原稿に
近い信号特性に変換するものである。しかし、従来は、
エッジ検出を色信号毎に独立して実行していた。

【００３６】本発明では、色信号の組み合わせとして、
つまり色空間上のベクトルとしてエッジを検出する。エ
ッジ検出結果は、色の異なる領域の遷移部を示す信号と
なる。各領域の色をＲＧＢ色空間上で表すならば、エッ
ジ部は各領域間を結ぶベクトル上の座標点で表すことが
できる。エッジ検出結果は、領域間の色の変化の大きさ
を示すベクトルの長さと、変化の傾きを示すベクトル上
にとる座標点の個数（画素数）で設定できる。例えば、
ベクトル長さを調整することで、微分フィルタ、あるい
は積分フィルタに相当する処理結果を得ることができ
る。また、同じベクトル長さであっても、ベクトル上の
画素数が少なければ傾きは大きく、逆に多くの画素数で
あれば傾きは小さくなる。このように、ベクトル長さと
画素数の設定を行うことでエッジ強調処理を実行する。
この方式では、ＲＧＢ色信号間の色ずれが生じないメリ
ットがある。

【００３７】エッジ強調の具体的な信号処理例としてエ
ッジ強調回路１３２の一実施例を図８に示す。簡単のた
めに、白黒画像においてエッジ部をはさんで白領域と黒
領域がある例（１）を示す。同図（２）はベクトルの長
さを伸ばして信号振幅を増幅するもので微分処理に相当
する。同図（３）はベクトル上に位置する画素数を減ら
すことによる勾配補正の結果の例を示す。

【００３８】本発明は、上記のようなエッジ強調を、他
の信号処理と一括処理することで、画質劣化の要因を取
り除き、高速な信号処理を行うことが特徴である。一例
として、次に、拡大処理について述べる。

【００３９】（３）拡大 拡大縮小は、原画の画素信号から、倍率にあわせた画素
位置の信号を算出するものである。

【００４０】ここでは、デジカメで撮像した画像データ
をプリンタで印刷する構成を例に取り、プリンタの解像
度に合わせて印刷するために画素数を増加させること、
すなわち拡大処理について説明する。

【００４１】拡大処理の原理は、図９に示すように倍率
により定まる新たな補間画素Ｚの位置と信号レベルの算
出を行うことである。倍率は、水平方向と垂直方向に固
定的に設定することも、画素の位置に基づき任意に変動
させることもできる。新たな画素の信号レベルの算出
は、隣接する画素の信号差分値から補間処理によって算
出できる。この補間処理をＲＧＢ色空間上で表すなら
ば、色空間上の座標点を結ぶベクトルを、倍率に基づき
分割して新たな座標点を算出することに相当する。新た
な補間画素Ｚの座標点は、ＲＧＢ色信号についてそれぞ
れ独立した比例分配演算で求めることができる。

【００４２】図１０に、倍率に基づく補間係数算出回路
１１１の構成例を示す。拡大処理の内容は限定するもの
ではないが、一例を以下に述べる。演算を簡単にするた
めに、倍率値を整数部と小数部に分離する。倍率の整数
部に基づく新たな画素は、もともと格子点に位置する入
力画素のあいだに新たに位置することになる。倍率の小
数部は、いわゆるＤＤＡ(Digital Differential Analys
is）と呼ばれる手法を利用できる。これは、倍率の小数
部を複数画素に渡って加算していき整数値に桁上げした
時点で、倍率に反映する。例えば、小数部が０.１ であ
れば、１０画素に渡って加算することで整数１に桁上げ
するので、この桁上げの発生した時点の画素については
倍率の整数部を＋１する。このような倍率設定をするこ
とで、画像全体として倍率を実現できる。

【００４３】ここで対象にした画像の信号変動の大きさ
に基づき信号処理の内容を切り替えることで画質の向上
を図る。自然画像のような画像データは比較的変動が少
ない。一方、ドキュメントのような文字図形で作られる
画像データは信号変動が大きく、エッジの輪郭形状と差
分値に意味を持つことが多い。このような、エッジ部の
特性を補正するために、エッジ強調、あるいはスムージ
ング処理を利用できる。ここでエッジ強調は前記の信号
処理である。

【００４４】スムージング処理はエッジの輪郭形状を補
正するための信号処理であり、図１１に示すように入力
した画素ａ，ｂ，ｃ，ｘに囲まれ、新たに設定する補間
画素Ｚの信号レベルを決める。このため、差分検出回路
１０１によって算出した画素ｘと画素ａの差分値Δｘａ
などを入力して、パタン表１３６を用いて、注目画素ｘ
に対する差分値Δｚｘを算出する。この値を、注目画素
の信号Ｐｘに加算することで、新たな画素Ｚの信号Ｐｚ
＝Ｐｘ＋Δｚｘを算出できる。

【００４５】本発明では、前記の検出した差分Δが十分
に大きい場合には、対象画像が文字図形で構成されるド
キュメントであるとして、エッジ部の輪郭形状の補正を
目的にスムージング処理を行う。上記判断に用いる閾値
は、画像データの信号振幅範囲に近い値とすることがで
きる。これは、生成する文書画像のデータにおいて、文
字図形は信号振幅の最大値をとることが多いためであ
る。なお、スムージング処理は、差分検出回路１０１で
検出した差分値を用いてパタンマッチングにより実行す
ることができる。スムージング回路１３３は、差分値Δ
が十分に大きい場合に平面上の画素配置をパタンマッチ
ングで判定して、新たに設定する画素の信号レベルを決
める。出力する画素の解像度を設定倍率に基づいて設定
することもできる。具体的には、このようなパタンマッ
チングをパタン表１３６で構成することができる。パタ
ン表１３６は、差分値Δｊ（Ｒ，Ｇ，Ｂ）をアドレス信
号として入力して、補間信号をデータとして出力する。
差分値Δｊ（Ｒ，Ｇ，Ｂ）を用いて表をひくことで、信
号レベルの絶対値に依存しない結果を得ることができ
る。この結果、入力した信号についてのスムージング結
果を得ることができる。また、差分が小さい場合には、
信号レベルの変化の少ない領域であるとして、平滑化回
路１３１を用いた信号処理を行う。この回路構成例を図
１２に示す。補間係数算出回路１１１が出力する倍率に
関する信号と、補間する画素間の差分Δを入力して、補
間値を出力する。これは掛け算であるので、変換表を用
いて出力することもできる。平滑化回路１３１は、エッ
ジ部が存在しない個所において、隣接する画素の信号レ
ベルを滑らかに接続するように動作する。倍率に基づく
新たな画素を設定する場合には、従来から知られている
バイリニア法と呼ばれる演算式に基づいて、該画素の信
号レベルを算出することができる。具体的には、信号値
そのものを演算対象とせずに、隣接する画素間の差分値
Δを、倍率に基づく分配をすることで演算する。また、
画素間の差分Δを用いて、いわゆるバイリニア法と呼ば
れる補間演算方法を利用することもできる。

【００４６】（４）平滑化処理＋エッジ強調＋スムージ
ング処理 これらの信号処理は、従来は機能的に異なる内容として
分離して実行していたものであるが、本発明ではいずれ
も注目画素と隣接画素の信号を用いて行うものであるこ
とに着目して一括処理することにより回路の小型化と高
速化、そして高画質化を実現する。

【００４７】図１３を用いて、倍率を考慮に入れた平滑
化処理，エッジ強調，スムージング処理を一括して信号
処理する回路構成について説明する。これは、前記した
図６の構成に倍率に基づき動作する補間係数算出回路１
１１を組み合わせた装置構成である。個々の回路の動作
は前述した通りである。そして、補間係数算出回路１１
１が、新たに設定する補間画素の位置を用いて、注目画
素と参照画素との寄与する比率を設定し、その結果を平
滑化回路１３１，エッジ強調回路１３２，スムージング
回路１３３に伝達して、差分値Δおよび補間係数を入力
した信号処理を行う。これらの演算回路の出力を、エッ
ジ判定回路１３４の結果に基づき動作する選択回路１３
５によって選択して出力する。

【００４８】上記図１３の回路構成の動作例を、図１４
のタイミングチャートで示す。まず入力信号とメモリ読
み出し信号を用いて差分検出を行う。入力信号のメモリ
書き込みを、次の画素の入力までの適当なタイミングで
行う。エッジ強調，スムージング，平滑化を実行する回
路は、差分値と設定倍率を利用して同時に信号処理を行
う。検出した差分Δの大きさと傾きを用いて、信号処理
方式の選択を行い、出力を行う。このように、注目画素
の信号処理において、メモリ読み出しと書き込み回数を
それぞれ１回程度にすることができる。また、処理回路
を複数の画素についてパイプライン的に動作させること
で高速化を図ることもできる。

【００４９】また上記図１３の回路構成の動作例を、図
１５に示す処理手順に示すようなＣＰＵを用いたソフト
処理で実行することもできる。

【００５０】本発明は、上記のように、色信号の差分値
を共通に利用して信号処理を行うことを特徴とする。差
分値を用いた信号処理を行うことで、入力信号の振幅
幅、および絶対値に依存しない信号処理を行うことがで
きる。例えば、入力信号のビット幅が８ビットから１２
ビットになっても、同一の回路構成を利用できる。この
特徴は、ソフトウェアによる信号処理を行う場合も同様
である。

【００５１】（５）画素補間 単板ＣＣＤセンサを用いたカラー画像入力が、デジカメ
などで広く利用されている。このセンサは、２次元配置
した画素に色フィルタを飛び飛び配置している。例え
ば、図１６に示すようにＲＧＢフィルタを飛び飛び配置
して、平面的に位置のずれているＲＧＢ信号を読み出
す。つまり、単板型のカラーＣＣＤセンサを用いた場合
には、複数のセンサ素子の出力信号を組み合わせてＲＧ
Ｂ信号を撮像することになる。このようなセンサでも、
色信号の変化が少ない画像領域では、飛び飛びのＲＧＢ
色信号の組み合わせで領域の色を定めることができる。
しかし、撮影対象に色の変化がある場合には、ＲＧＢフ
ィルタの位置関係によって、読み取る色信号の組み合わ
せがずれることになる。

【００５２】例えば、簡単のために白黒画像を入力した
場合の例を図１７に示す。前記した図８ではセンサの位
置とエッジ部の信号の対応を示していたが、この図はカ
ラーＣＣＤセンサの読み取り位置に対応した色フィルタ
と読み取り信号の関係を示している。白領域と黒領域が
隣接し、両者の間に信号の変化領域（エッジ部）があ
る。均一な白領域では色信号（Ｒｗ，Ｇｗ，Ｂｗ）を、
均一な黒領域では色信号（Ｒｋ，Ｇｋ，Ｂｋ）を出力す
る。しかし、白から黒へ信号が変化するエッジ部では、
ＲＧＢフィルタとの位置関係によって、存在しない色信
号が出力される事になる。例えば、白黒のドキュメント
画像などを入力対象とする場合にも、エッジ部に存在し
ない色が発生することになる。このような撮影解像度の
低下は、色フィルタの種類毎に独立したＣＣＤセンサを
利用することで避けられるが、装置コストが上がること
になる。本発明は、差分検出回路によって検出した差分
値を用いて、上記の画素補間による色信号を用いて、単
板ＣＣＤセンサで入力するカラー画像データの解像度向
上に利用する回路構成を示す。

【００５３】ドキュメントなどでは、出現する色の種類
を、あらかじめ限定することができる。これは、画像を
プリスキャンした結果について統計処理すること、ある
いは操作者の指示によってドキュメントの種別を設定す
るなどの方法で、あらかじめ出願する色種類を限定でき
る。そして画像を、限定色で表される領域の組み合わせ
とすることができ、エッジ部は該領域の遷移部とするこ
とができる。ＲＧＢ色空間上で表すならば、各領域の限
定色は座標点で表され、各領域間のエッジ部は各座標点
間を結ぶベクトル上に位置することになる。このような
色空間上の信号の解釈によって、エッジ部を色ずれのな
い色信号で表すことができる。ここで、ＲＧＢカラーセ
ンサを用いて、対象画像を高精細に読み取る具体的な信
号処理の例を以下に述べる。ＲＧＢ色信号を、対象画像
の色領域を区別する信号に変換することで、エッジ位置
を判定する。

【００５４】まず、画像のプリスキャン結果に基づく統
計処理、あるいは操作者の指示によって、あらかじめ対
象画像の出現色が分かっているとする。例えば、白黒の
文書画像を単板カラーＣＣＤセンサで撮像する場合に
は、あらかじめ変換結果を白黒信号と指示することがで
きる。

【００５５】次に、ＣＣＤセンサから入力した色信号に
感度補正を行う。例えば、対象画像が白と黒の領域から
作られる場合には、読み取ったＲＧＢ信号から、白黒に
相当する信号への変換を行う。また、それぞれのセンサ
は、センサ素子の感度ばらつき，ＲＧＢフィルタの特性
ばらつきなどがある。このような信号変換とばらつき補
正を行うため、例えば図１８に示すように、変換テーブ
ルを用いて補正する。信号変換の原理は、入力信号を変
換信号の振幅値で正規化することである。

【００５６】入力したＲＧＢ信号を、白黒信号に変換す
る場合を示す。ＲＧＢ色空間上の白黒信号の最小値と最
大値の座標点を（Ｒ０，Ｇ０，Ｂ０）（Ｒ１，Ｇ１，Ｂ
１）とすれば、ＲＧＢに関する入力信号Ｐ（Ｒ），Ｐ
（Ｇ），Ｐ（Ｂ）について、次式で変換結果を算出する
ことができる。

【００５７】Ｐ（Ｒ′）＝（Ｐ（Ｒ）−Ｒ０）／（Ｒ１
−Ｒ０）×２５５ Ｐ（Ｇ′）＝（Ｐ（Ｇ）−Ｇ０）／（Ｇ１−Ｇ０）×２
５５ Ｐ（Ｂ′）＝（Ｐ（Ｂ）−Ｂ０）／（Ｂ１−Ｂ０）×２
５５ 上式の関係は、変換テーブルにまとめることで高速に変
換処理できる。このような感度補正をしないならば、飛
び飛びの色フィルタで読み取る画素毎の信号に、感度ば
らつきが入り込むためエッジ部の判定が困難になる。さ
らに上記変換テーブルには、画素毎のセンサ素子の感度
ばらつき、あるいは光学系のシューディング特性なども
考慮に入れた補正係数を、各画素毎に設定しておくこと
で、様々な要因の補正を一括して実行することもでき
る。この結果、全ての画素からの読み取り信号を白黒信
号として利用できる。現実のＲＧＢフィルタはスペクト
ル特性が重複しているので、例えば画面の赤領域の信号
を入力してもＲＧＢ信号の全てが変化する。このため、
感度補正をすることで、多色の組み合わせを区別する事
もできる。

【００５８】上記例は、画面全体が白黒画像の場合を示
したが、画面内の位置によって出現色が異なる場合、あ
るいは画面位置によって変換後の信号を切り替えること
もできる。例えば、ある部分は白地に黒文字、別の部分
では白地に赤文字というような画像を入力対象にした場
合にも、部分領域毎に変換テーブルを切り替える事で同
様に信号処理する事ができる。これによりＣＣＤセンサ
の全ての画素で定まる解像度の信号読み取りを実現でき
る。図１８（１）に示すように、切り替え装置１４１に
部分領域の領域を指定する座標を入力し、変換テーブル
１４０を行うことで実現できる。変換テーブルは演算式
を実行する回路、あるいはソフトウェアを実行するプロ
セッサで代用することもできる。

【００５９】そして、上記変換によって、エッジ部に位
置するセンサ素子からの読み取り信号も、該エッジを挟
む色領域間を変化する信号に変換されることになる。色
空間上で説明すれば、エッジ部の色信号を、領域の限定
色の座標点を結ぶベクトル上で設定することになる。例
えば、入力したＲＧＢ信号を白黒信号に変換する場合に
は、エッジ部にある画素の変換結果は、白と黒の中間色
となる。これにより、エッジ部の画素の色信号を、色ず
れすること無く設定できる。

【００６０】上記は説明のため、白黒画像を読み取り対
象にしたが、カラー画像の読み取りにおいて高精細化を
実現することも出来る。このために、画像を複数の部分
領域に分解して、それぞれの部分領域を、エッジ部とそ
れを挟む二つの色領域から構成されているとする。そし
て、前記した色信号の変換を行うことで、入力画像の解
像度を向上させることができる。エッジ部の周辺の部分
領域について、色領域を設定することで実行できる。具
体的な手順として、・ＣＣＤセンサから入力したＲＧＢ
信号のそれぞれについて差分検出を行い、検出結果の大
きさをしきい値と比較することでエッジ部を検出する。

【００６１】・該検出したエッジ部と、その周辺領域を
組み合わせて、信号変換の単位とする部分領域を設定す
る。このようにして、対象画像を複数の部分領域に分割
する。・それぞれの部分領域に付いて、エッジ部周辺領
域の色信号を用いて感度補正するための変換係数を設定
する。変換係数は変換テーブル１４０に格納する。

【００６２】・それぞれの部分領域に付いて、入力した
ＲＧＢ信号を信号変換する。

【００６３】このような処理手順を画面内のエッジ周辺
の部分領域で繰り返して実行する。こうして、複数種類
の色が出現する画面においても、ＣＣＤ画素数の解像度
で、信号読み取りすることができる。

【００６４】そしてエッジ部が検出されない領域につい
ては、色変化がないと判断して、飛び飛びに配置された
色フィルタの画素信号を組み合わせる。このようにし
て、色空間上の座標点を結ぶベクトル上の信号処理とす
ることで、拡大処理などで画素数を増加させる処理と組
み合わせて実行することができる。

【００６５】このようにして、飛び飛びのＲＧＢフィル
タを用いたＣＣＤセンサの読み取り信号から、センサの
画素数と同数のＲＧＢ読み取り信号を生成することが出
来る。図１８（２）に、ＣＣＤセンサ１５４，ＡＤ変換
器１５５，画面メモリ１５６，メモリ１０４，差分検出
回路１０１，部分領域設定回路１４３，信号変換回路１
４２から構成される装置構成を示す。ここで図１および
図２と対比すれば、部分領域設定回路１４３は信号処理
回路１０２であり、信号変換装置１４２は補正回路１０
３に相当する。またＣＣＤセンサ１５４は、単板型のカ
ラーＣＣＤセンサ素子であり、画面メモリ１５６は少な
くとも１画面のカラー画像データを蓄積するものであ
る。ＣＣＤセンサに特有のシェーディングなどの歪み
は、この画面メモリ１５６に蓄積する前に補正しておく
ことができる。画面全体の部分領域を設定するために、
まず画面メモリ１５６に蓄積されている画像データを読
み出して、差分検出回路１０１の検出結果を用いてエッ
ジ検出を行い、部分領域設定装置１４３で部分領域を設
定するための信号処理を実行する。その結果を用いて、
再度画面メモリ１５６から画像データを読み出して、信
号変換装置１４２で変換処理を実行して出力する。この
回路を、例えばデジタルカメラなどの撮像装置に内蔵あ
るいは組み合わせることで、高い解像度の撮像データを
得ることが出来る。また、これらの信号処理はプログラ
ムで作成し、信号処理プロセッサを用いたソフト処理で
実行することもできる。

【００６６】同様の手順を用いて、色信号をサブサンプ
リングした画像データを対象に信号処理を行い、高精細
な画像データを生成することも出来る。これは、例えば
JPEG圧縮方式による（Ｙ，Ｃｒ，Ｃｂ）信号などの高精
細化に適用できる。ここでＹは明るさ信号、ＣｒとＣｄ
は色差信号を表している。

【００６７】（６）誤差拡散 誤差拡散は広く利用されている信号再現方式であるた
め、基本的な処理手順の説明は省略する。これは、限ら
れた再現信号レベルで均一レベルを再現するに適した方
法であるが、必ずしもエッジ部には適さない。誤差拡散
は図１９（１）に示すように、誤差算出回路１０６の演
算結果として発生する誤差信号を、入力信号Ｐ（Ｒ，
Ｇ，Ｂ）を補正回路１０３での補正のためにメモリ１０
４に帰還することを特徴とする。しかし、この帰還信号
Ｅ（Ｒ），Ｅ（Ｇ），Ｅ（Ｂ）の副作用として、エッジ
部分でドット抜けが生じることがある。例えば、灰色の
背景に黒文字がある場合に、背景部で発生した誤差信号
が黒文字部分に帰還することにより、黒文字のエッジ部
に白ドットが入り込むことがある。本発明は、特に多値
出力の誤差拡散処理を対象にして、隣接画素の差分を利
用して検出してエッジ部を検出した画素においては、誤
差信号の帰還を制限することで画質の向上を実現するこ
とができる。

【００６８】図１９（２）に示すように帰還信号Ｅ
（Ｒ），Ｅ（Ｇ），Ｅ（Ｂ）は、メモリ１０４を用いて
一時的に記憶してから複数画素について参照する。本発
明は、差分値に基づく制御信号によって、帰還信号のオ
ンオフを行うスイッチ１０７を用意する。この制御信号
は、差分値があらかじめ定めた閾値よりも大きい場合に
はオフ、差分値が閾値よりも小さい場合にオンして通常
の誤差拡散処理を実行するように動作する。差分が大き
いことは、その位置がエッジ部であるということであ
り、帰還信号を制限することで変動のない出力信号を得
ることができる。エッジ部において信号レベルが維持で
きることは、視覚的には一種のエッジ強調の効果がもた
らされる。この方法は、多値誤差拡散とを組み合わせる
ことで特に効果がある。

【００６９】また、誤差拡散処理における帰還信号を用
いた入力信号の補正処理を、前記した回路構成の補正回
路１０３と共用することで回路の小型化を実現できる。
この補正回路１０３の共通化を図２０に示す。誤差拡散
処理の帰還信号Ｅ（Ｒ），Ｅ（Ｇ），Ｅ（Ｂ）を用いた
信号補正と共通化することができる。処理時間のずれを
遅延レジスタ１２１を用いて調整することで、同一画素
の色信号への補正を実行する。

【００７０】誤差拡散処理では、誤差信号を算出するた
めの対象とする注目画素と参照画素の位置関係は、上述
した差分検出回路と同様である。つまり、複数の参照画
素から帰還信号を算出する。このため、帰還信号Ｅ
（Ｒ），Ｅ（Ｇ），Ｅ（Ｂ）を一時的に蓄積するメモリ
を用意する。このメモリは独立に用意してもよいが、画
素の信号処理順序に基づき順次にアクセスするものであ
るため、上記した差分検出回路１０１で利用するメモリ
１０４、およびメモリアドレス生成回路１２０と組み合
わせて装置構成することができる。上記で説明したメモ
リ１０４と補正回路１０３を共通化し、誤差算出回路１
０６を組み合わせた信号処理装置の一実施例を図２１に
示す。そして、両者のメモリアクセスを同時もしくは連
続して実行することで高速化を実現できる。このために
は、上記処理のメモリ入出力に用いるデータ構造を、ア
ドレスが連続した複数個のデータ並びとして構成する。
そして、先頭データのアドレスからバースト転送するこ
とで、その画素の信号処理に必要なデータをメモリから
転送できる。そして、入力したデータを、各部の信号処
理部で利用する。

【００７１】（７）デジカメ・プリンタ直接接続構成 ＣＣＤセンサを用いたデジタルカメラと呼ばれる画像入
力装置が広く普及している。また、インクジェットプリ
ンタなどのカラー印字ができるプリンタが普及してい
る。これらを接続して、撮影した画像データをプリンタ
を用いて印字する。このような回路構成で印字出力する
ためには、入力した画像データに対して、エッジ強調，
拡大，スムージング，色変換，誤差拡散処理などが不可
欠である。本発明は、これらの信号処理を簡易な回路構
成で高速に実行することができる。例えば色変換につい
ては、画像データの色信号をマッピングした色空間上の
座標点を、さらに異なる色空間にマッピングすること
で、色信号の変換を実現することができる。例えば、Ｒ
ＧＢ信号をＣＭＹ信号に変換が簡単な演算式で実行する
方法もあるが、デバイスに依存した非線型な特性を反映
するためには、色信号の組み合わせで表される空間上の
マッピングが不可欠である。このマッピングに用いるデ
ータは、例えばプロファイルと呼ばれている。従来の多
くの信号処理はＲＧＢ信号を別々の手順で処理している
が、本発明は前記したように信号処理回路１０２はＲＧ
Ｂ色信号の組み合わせで動作する。したがって、色変換
処理も、ＲＧＢ信号の組み合わせで一括処理するに適し
ている。図２２には、補正回路１０３と色変換回路を組
み合わせた信号処理装置の一実施例を示す。図２２に示
すように、信号処理回路１０２から出力される信号Δ′
（Ｒ，Ｇ，Ｂ）が補正回路１０３へ入力され、その結果
として得られるＲＧＢ信号の組み合わせを色変換回路１
０９に入力して、色空間上のマッピング処理によって得
られるＣＭＹ信号を出力することができる。色変換回路
１０９は、入力する色信号をアドレス値として、読み出
したデータを変換結果とするメモリ回路で構成すること
ができる。あるいは、色変換の式に基づく演算回路で構
成することもできる。さらに図２３に示すように、上述
した補正回路１０３に色変換回路１０９と誤差算出回路
106を接続した信号処理装置構成を実現することもでき
る。それぞれの信号処理回路の動作内容は既に説明した
通りである。

【００７２】上記各実施例による信号処理により、図２
４に示すように多種類の画像ソースとして、デジタルカ
メラ１５０，ＷＷＷ（World Wide Web）１５１，スキャ
ナ１５２、などを切り替えてプリンタ１５３に印刷する
ことができる。これらの画像ソースでは、色信号の種
別，画素数，信号レベル、などが異なるため、設定値を
書き換えて動作させる。これらの設定値は、画像ソース
となる装置との通信によって、取得することもできる。

【００７３】以上より、本発明の回路構成では差分検出
回路を共通化することで回路構成の簡略化を実現してい
る。ここで本発明の信号処理は、ハードウェアで実現す
ることも、あるいはパソコンのソフト処理で実現するこ
ともできる。そして同様の、高速化を実現できる。

【００７４】

【発明の効果】上記構成により、装置規模が小さく、高
速処理可能な信号処理装置を提供できる。また、差分値
を用いた演算を行うことで、信号の振幅値に依存しない
回路構成あるいはソフトをモジュール化することが実現
できる。

【００７５】また、画像劣化のない高画質，高精細な信
号処理装置を提供できる。

【図面の簡単な説明】

【図１】本発明の信号処理装置の基本構成の一実施例を
示す図である。

【図２】本発明の信号処理装置の基本構成の他の実施例
を示す図である。

【図３】本発明の差分検出回路の動作を説明する図であ
る。

【図４】本発明の差分検出回路の構成の一実施例を示す
図である。

【図５】本発明のメモリアクセス回路の構成の一実施例
を示す図である。

【図６】本発明の信号処理回路の一実施例を示す図であ
る。

【図７】本発明の信号処理回路のエッジ判定回路の一実
施例を示す図である。

【図８】本発明の信号処理回路のエッジ強調回路の処理
を説明する図である。

【図９】本発明の信号処理装置の拡大処理の原理を示す
図である。

【図１０】本発明の信号処理回路の補間係数算出回路の
一実施例を示す図である。

【図１１】本発明の信号処理回路のスムージング回路の
一実施例示す図である。

【図１２】本発明の信号処理回路の平滑化回路の一実施
例を示す図である。

【図１３】本発明の信号処理回路の他の実施例を示す図
である。

【図１４】図１３の信号処理回路の動作を説明するタイ
ミングチャートである。

【図１５】図１３の信号処理回路の動作を説明するフロ
ーチャートである。

【図１６】本発明の信号処理装置におけるＣＣＤセンサ
を用いた画素補間を説明する図である。

【図１７】本発明の信号処理装置におけるエッジ部の信
号補正を説明する図である。

【図１８】本発明の信号処理装置における変換テーブル
も用いた画素補間を説明する図である。

【図１９】本発明の補正回路と誤差算出回路を設けた信
号処理装置の一実施例を示す図である。

【図２０】本発明の信号処理装置の補正回路の構成の一
実施例を示す図である。

【図２１】本発明の信号処理装置の一実施例を示す図で
ある。

【図２２】本発明の信号処理装置の他の実施例を示す図
である。

【図２３】本発明の信号処理装置の他の実施例を示す図
である。

【図２４】本発明からなる信号処理システムの一実施例
を示す図である。

【符号の説明】 １０１，１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ，１
０１ｅ…差分検出回路、１０２…信号処理回路、１０３
…補正回路、１０４…メモリ、１０５…設定値レジス
タ、１０６…誤差算出回路、１０７…スイッチ、１０８
…メモリアクセス回路、１０９…色変換回路、１１１…
補間係数算出回路、１２０…アドレス生成回路、１２
１，１２１ａ，１２１ｂ，１２１ｃ，１２１ｘ…遅延レ
ジスタ、131…平滑化回路、１３２…エッジ強調回路、
１３３…スムージング回路、１３４…エッジ判定回路、
１３５…選択回路、１３６…パタン表、１４０…変換テ
ーブル、１４１…切り替え装置、１４２…信号変換装
置、１４３…部分領域設定装置、１５０…デジタルカメ
ラ、１５１…ＷＷＷ、１５２…スキャナ、１５３…プリ
ンタ、１５４…ＣＣＤセンサ、１５５…Ａ／Ｄ変換器、
１５６…画面メモリ。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CA12 CA16 CB01 CB12 CB16 CD05 CE03 CE05 CE11 CE17 CH11 DB02 DB06 DC16 5C077 LL18 LL19 MP07 NN11 PP02 PP03 PP15 PP20 PP32 PP33 PP37 PP42 PP47 PQ08 PQ22

Claims (8)

【特許請求の範囲】
1. 【請求項１】予め定められた参照信号を格納するメモリ
   と、 入力信号と前記参照信号との差分値を検出する１つの差
   分検出部と、 前記差分値を信号処理し、演算信号を出力する１つ又は
   複数の信号処理部と、 前記入力信号を前記演算信号に基づいて補正する補正部
   とを有する信号処理装置。
2. 【請求項２】請求項１の信号処理装置において、 前記信号処理部は、入力画像のエッジ部を視覚的に明確
   にするエッジ強調部を有する信号処理装置。
3. 【請求項３】請求項２の信号処理装置において、 前記信号処理部は、前記入力画像の倍率を可変して拡大
   する拡大処理部を有する信号処理装置。
4. 【請求項４】請求項１の信号処理装置において、 複数の信号処理回路からなる前記信号処理部は、前記複
   数の信号処理回路から任意の信号処理回路を選択する選
   択部を有する信号処理装置。
5. 【請求項５】請求項１の信号処理装置において、 前記補正部により補正された補正信号の誤差を算出して
   誤差信号を出力し、前記誤差信号を前記補正回路に帰還
   させる誤差拡散部を有する信号処理装置。
6. 【請求項６】請求項１の信号処理装置において、 前記補正部により補正された補正信号を異なった色信号
   に変換する色変換部を有する信号処理装置。
7. 【請求項７】請求項６の信号処理装置において、 前記色変換部は、ＲＧＢ色信号をＹＭＣ色信号に変換す
   る信号処理装置。
8. 【請求項８】予め定められた参照信号を格納するメモリ
   と、入力信号と前記参照信号との差分値を検出する１つ
   の差分検出部と、前記差分値を信号処理し、演算信号を
   出力する１つ又は複数の信号処理部と、前記入力信号を
   前記演算信号に基づいて補正する補正部とを有する信号
   処理系と、 入力画像を読み取る入力部と、 入力画像を記録する画像記録部とを有する信号処理シス
   テム。