JPH11220632A - 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 - Google Patents

Abstract

(57)【要約】 【課題】 色にじみを低減するにあたり、処理時間がか
かってしまうことがあった。 【解決手段】 画像処理の中枢をなすコンピュータ２１
はステップＳ１３０，Ｓ１４０にて低密度の要素色強度
に基づいて処理対象画素が色にじみ画素か否かを判定す
るとともに、色にじみ画素と判定した場合にステップＳ
１５０にてエッジ画素であるか否かを判断し、エッジ画
素でない場合にはステップＳ１５２にて平滑化フィルタ
を作用させ、他方、エッジ画素である場合にはステップ
Ｓ１５４にてメジアンフィルタを作用させることによ
り、色にじみを低減すべく画像処理するようにしたた
め、演算量を削減して高速な画像処理を実行することが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】単板式の固体撮像素子を利用
して撮像された画像データに対して画像処理する画像処
理装置、画像処理方法および画像処理制御プログラムを
記録した媒体に関する。

【０００２】

【従来の技術】固体撮像素子を利用したデジタルスチル
カメラ等においては、単板方式が採用されることが多
い。この単板方式では、図２３（ａ）に示すように、固
体撮像素子の各画素に対応してＲ，Ｇ，Ｂ（赤、緑、
青）の各色の色フィルタが所定の割合でモザイク状に配
設されており、特にＧの色フィルタは千鳥状に配設され
て成分比が高くなっている。従って、固体撮像素子の各
画素においては、Ｒ，Ｇ，Ｂのいずれか一色の色信号し
か得られず、各色の色信号を得ることができない。そこ
で、各画素において直接的に得ることができない色信号
を隣接する画素の色信号から補間演算してＲ，Ｇ，Ｂ全
色の色信号を得て階調データに変換して出力し、この階
調データに基づいてディスプレイに表示するなどしてい
る。

【０００３】例えば、図２３（ａ）において、矢印
（→）で示す中段の色フィルタに着目する。そして、同
図（ｂ）に示すように中央から左半分に光が当たってお
り（白色部分）、同中央から右半分には光が当たってい
ない（黒色部分）ものとする。ここにおいて、光があた
っている状態の各色の色信号レベルを「１」とし、光が
当たっていない状態の同色信号レベルを「０」とする
と、ＲおよびＧの色信号レベルは、本来、同図（ｃ）に
示す値になるはずである。

【０００４】しかし、上述したように、Ｒの色フィルタ
からはＧの色信号は直接的には得られないし、Ｇの色フ
ィルタからはＲの色信号は直接的に得られないため、Ｒ
の色フィルタに対応する画素のＧの色信号については、
隣接する画素におけるＧの色信号を線形補間して得る。
他方、Ｇの色フィルタに対応する画素のＲの色信号につ
いては、隣接する画素におけるＲの色信号を線形補間し
て得る。すると、各画素におけるＧおよびＲの色信号レ
ベルは、それぞれ図２３（ｄ）および（ｅ）に示す値と
なる。図からも明らかなように、光が当たる領域と光が
当たらない領域との境界付近の画素に偽の色信号が発生
し、この偽の色信号により画像上に色にじみが発生す
る。特に、この色にじみはグレイ・ホワイト間の境界に
顕著に現れることが知られている。そこで、このような
色にじみを低減するため、画像データを構成する全画素
の色差データに対して平滑化フィルタ（ローパスフィル
タ）を作用させて色にじみを目立たなくするなどしてい
た。

【０００５】

【発明が解決しようとする課題】上述した従来の技術に
おいては、次のような課題があった。平滑化フィルタを
作用させるということは、一つの画素の色成分を周辺画
素に分散することに相当し、同画素を中心とした５×５
画素等のマトリクス演算を行うことになる。例えば５×
５画素のマトリクス演算を行う場合、一の画素につき５
×５＝２５回の演算を行うことになる。従って、全画素
を対象とした場合、２５×画素数という膨大な演算量と
なってしまって処理時間が多大となることがあった。

【０００６】本発明は、上記課題にかんがみてなされた
もので、単板式の固体撮像素子にて撮像された画像デー
タにおける色にじみを低減するにあたり、処理時間を短
縮することが可能な画像処理装置、画像処理方法および
画像処理制御プログラムを記録した媒体の提供を目的と
する。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、複数要素色の色フィルタ
が非均一密度でモザイク状に配置された単板の固体撮像
素子にて撮像するとともに均一密度となるように演算に
て補充して生成されたドットマトリクス状の画素からな
る画像データに対して画像処理を行う画像処理装置であ
って、同画像データにおいて色にじみ画素を検出する色
にじみ画素検出手段と、色にじみを低減するために色に
じみ画素を基準とした所定範囲の画素を対象として画像
処理するにあたり、上記検出された色にじみ画素を基準
として同画像処理を実行する画像処理手段とを備えた構
成としてある。

【０００８】上記のように構成した請求項１にかかる発
明においては、画像処理の対象となる画像データは、単
板の固体撮像素子にて撮像されたドットマトリクス状の
画素からなることを前提としている。単板の固体撮像素
子は複数要素色の色フィルタが非均一密度でモザイク状
に配置されているため、均一密度となるように演算にて
補充されるが、上述したようにこの演算の際に偽の色成
分が生成されて色にじみが発生する。色にじみ画素検出
手段は、このような色にじみが発生している色にじみ画
素を検出し、画像処理手段は、同検出された色にじみ画
素を基準とした所定範囲の画素を対象として色にじみを
低減するように画像処理する。

【０００９】ある画素について色にじみの有無を検出す
る際、当該画素についての要素色成分から画一的に色に
じみの有無を検出することはできないため、周辺画素と
比較して色にじみの有無を検出することになる。また、
色にじみの発生は上記のような偽の要素色成分に起因す
るが、かかる偽の要素色成分は、固体撮像素子において
各要素色の色フィルタが非均一密度で配置されているこ
とから低密度の色フィルタに対する要素色成分について
発生しやすいと言うことができる。そこで、請求項２に
かかる発明は、請求項１に記載の画像処理装置におい
て、上記色にじみ画素検出手段は、互いに近接する画素
間において低密度の色フィルタに対する要素色強度の変
化度合いに基づいて上記色にじみ画素を検出する構成と
してある。

【００１０】上記のように構成した請求項２にかかる発
明においては、上記色にじみ画素検出手段は、検出対象
の画素と当該画素に近接する画素との間で低密度の色フ
ィルタに対する要素色強度に着目し、この要素色強度の
変化度合いに基づいて色にじみ画素を検出する。

【００１１】ここにおいて、色にじみ画素を検出する具
体的な手法の一例として、請求項３にかかる発明は、上
記請求項２に記載の画像処理装置において、上記色にじ
み画素検出手段は、互いに隣接する画素間において基準
の要素色強度と低密度の色フィルタに対する要素色強度
との差分の変化度合いに基づいて上記色にじみ画素を検
出する構成としてある。

【００１２】上記のように構成した請求項３にかかる発
明においては、上記色にじみ画素検出手段は、互いに隣
接する画素において基準の要素色強度と低密度の色フィ
ルタに対する要素色強度との差分に着目し、当該差分の
変化度合いから上記色にじみ画素を検出する。

【００１３】例えば、図２３（ａ）の中段ラインのよう
に、ＲおよびＧの色フィルタが交互に配置されているこ
とが予め分かっている場合、低密度の色フィルタはＲで
あるから、基準の要素色成分としてＧを採用し、両者の
差分ΔＲＧ＝｜ＲーＧ｜の変化度合いを隣接する画素間
で調べる。すると、このΔＲＧの値は図２３（ｆ）に示
すようになり、隣接する画素間でΔＲＧの変化度合いに
着目すると、光が当たる領域と光が当たらない領域との
境界付近の画素において「０．５」となり、このような
画素を色にじみ画素として検出する。

【００１４】要素色強度の差分の変化度合いに基づいて
色にじみ画素を検出する手法としては、上述したものに
とらわれる必要はなく、その一例として、請求項４にか
かる発明は、請求項３に記載の画像処理装置において、
上記色にじみ画素検出手段は、低密度の色フィルタが複
数ある場合、互いに隣接する画素間において低密度の色
フィルタに対する要素色強度間の差分の変化度合いに基
づいて上記色にじみ画素を検出する構成としてある。

【００１５】上記のように構成した請求項４にかかる発
明においては、低密度の色フィルタが複数存在し、上記
色にじみ画素検出手段は、低密度の色フィルタに対する
要素色強度どうしの差分を求め、隣接する画素間におけ
る同差分の変化度合いに基づいて色にじみ画素を検出す
る。

【００１６】すなわち、上述したように偽の要素色成分
は低密度の色フィルタに対する要素色について顕著に現
れるため、かかる低密度の色フィルタに対する要素色強
度の差分に着目する。例えば、図２３（ａ）に示すよう
に、全体に対してＧの色フィルタの密度が高く、Ｒおよ
びＢの色フィルタの密度が低い場合、偽の要素色成分は
Ｒ、Ｂで顕著に現れることになる。ここにおいて、同様
に中段ラインに着目するものとし、この中段ラインの各
画素におけるＢの色信号レベルを上段ライン側に隣接す
るＢの色フィルタから線形補間するものとする。する
と、中段ラインの各画素におけるＢの色信号レベルは同
図（ｄ）に示すものと同様になり、ＲとＢの色信号レベ
ルの差分ΔＲＢ＝｜Ｒ−Ｂ｜＝ΔＲＧとなる。従って、
隣接する画素間におけるΔＲＢの値も同図（ｆ）に示す
ようになるため、光が当たる領域と光が当たらない領域
の境界付近の画素において同ΔＲＢの変化度合いは
「０．５」となり、このような画素を色にじみ画素とし
て検出する。

【００１７】基準の要素色強度と低密度の要素色強度と
の差分の変化度合いに着目するか、あるいは低密度の要
素色強度間の差分の変化度合いに着目するかにかかわら
ず、いずれの隣接画素間でかかる変化度合いを調べるか
については様々な態様が考えられる。例えば、水平方
向、垂直方向および斜め方向の八方向に隣接する画素間
で同変化度合いを調べるようにしてもよいし、適宜、比
較方向を削減すれば演算量を低減することができる。上
述した理由から低密度の色フィルタに対する画素におい
ては、偽の要素色成分が発生している可能性が高いと言
えるため、上記変化度合いを調べる場合、低密度の色フ
ィルタに対する画素間で調べる方が好適である。そこ
で、請求項５にかかる発明は、請求項２〜請求項４のい
ずれかに記載の画像処理装置において、上記色にじみ画
素検出手段は、互いに隣接する低密度の画素間における
上記変化度合いに基づいて上記色にじみ画素を検出する
構成としてある。

【００１８】上記のように構成した請求項５にかかる発
明においては、上記色にじみ画素検出手段は、隣接する
低密度の色フィルタに対応する画素間で同変化度合いを
調べて色にじみ画素を検出する。

【００１９】一方、色にじみを低減する画像処理として
は、検出された色にじみ画素を基準として所定サイズの
平滑化フィルタを作用させるなどすれば実現可能であ
り、このような平滑化処理を行う際の好適な一例とし
て、請求項６にかかる発明は、請求項１〜請求項５のい
ずれかに記載の画像処理装置において、上記画像処理手
段は、上記色にじみ画素を基準とした所定範囲の画素を
対象として要素色成分から輝度成分を減算した色差成分
を平滑化処理し、元の要素色成分に戻す構成としてあ
る。

【００２０】上記のように構成した請求項６にかかる発
明においては、上記画像処理手段は、検出された色にじ
み画素を基準とした所定範囲の画素を対象として平滑化
処理を行うが、色にじみには色差成分の平滑処理が有効
であるため、各画素について要素色成分から輝度成分を
減算した色差成分を平滑化処理し、その後、元の要素色
成分に戻す。

【００２１】また、平滑化処理によって画像のシャープ
さが失われることもあるので、請求項７にかかる発明
は、請求項６に記載の画像処理装置において、上記画像
処理手段は、エッジ強調処理する構成としてある。

【００２２】上記のように構成した請求項７にかかる発
明においては、上記画像処理手段は、画像データに対し
てエッジ強調処理を行い、平滑化処理で失われたシャー
プさを補う。

【００２３】このように、エッジ強調処理を行うとして
も、上記平滑化処理を行わない領域までエッジ強調する
と、同平滑化処理される領域の外側が不自然にエッジ強
調されてしまうことも観念されるため、請求項８にかか
る発明は、請求項７に記載の画像処理装置において、上
記画像処理手段は、上記平滑化処理を行う範囲内の画素
に対してエッジ強調処理する構成としてある。

【００２４】上記のように構成した請求項８にかかる発
明においては、上記画像処理手段は、シャープさが失わ
れがちな上記平滑化処理を行う範囲内の画素に対してエ
ッジ強調処理を行う。

【００２５】ところで、平滑化処理を行うにあたり、す
べての画像データにおいて、一律に同一範囲の平滑化処
理を行うことは得策ではない。例えば、画像サイズの大
きな画像データと画像サイズの小さな画像データの両者
に対して同一範囲の平滑化処理を施したものとする。こ
の場合、前者における平滑化処理の範囲が画像に対して
占める割合と、後者における割合とは異なるため、前者
において良好な結果が得られたとしても後者においては
全体がぼやけすぎてしまうこともあり得る。そこで、請
求項９にかかる発明は、請求項６〜請求項８のいずれか
に記載の画像処理装置において、上記画像処理手段は、
上記検出された色にじみ画素を基準とした所定範囲の画
素を対象として平滑化処理を行うにあたり、処理対象と
なる画像のサイズが大きい場合に同平滑化処理する範囲
を大きくし、同画像のサイズが小さい場合に同平滑化処
理する範囲を小さくする構成としてある。

【００２６】上記のように構成した請求項９にかかる発
明においては、上記画像処理手段は、予め画像処理の対
象となる画像データのサイズを検知し、当該画像データ
のサイズが大きければ平滑化処理する範囲を大きくする
し、同画像データのサイズが小さければ平滑化処理する
範囲を小さくする。具体的にはサイズの異なる複数の平
滑化フィルタを保持しておき、画像サイズに応じて平滑
化フィルタを使い分けるようにするなどすれば実現可能
である。

【００２７】また、色にじみを低減する別の手法の一例
として請求項１０にかかる発明は、請求項１〜請求項５
のいずれかに記載の画像処理装置において、上記画像処
理手段は、上記色にじみ画素を基準とした所定範囲の画
素を対象として要素色成分から輝度成分を減算した色差
成分にて中央の値を有する色差成分を当該色にじみ画素
の色差成分に置換して元の要素色成分に戻す構成として
ある。

【００２８】上記のように構成した請求項１０にかかる
発明においては、上記画像処理手段は、検出された色に
じみ画素を基準とした所定範囲の画素を対象として要素
色成分から輝度成分を減算して得た色差成分を検出し、
その中で中央の値を有する色差成分を色にじみ画素の色
差成分に置き換え、その後に元の要素色成分に戻す。す
なわち、色にじみ画素の色差成分を周辺画素の色差成分
に置き換えることにより、色にじみを低減する。なお、
所定範囲の画素を対象とした色差成分にて中央の値を選
択する具体的な構成としては、所定のメジアンフィルタ
などを適用すればよい。

【００２９】色にじみ画素を基準とした所定範囲の画素
を対象として上記の平滑化処理を行い、その後に上記の
エッジ強調処理を行えば、平滑化処理によって失われた
シャープさを補うことができる。しかし、経験的な見地
からすると、色にじみ画素が画像の境界部分たるエッジ
部分に発生している場合には、当該エッジ部分の画像が
ぼやけてしまうことがあった。かかる点にかんがみ、請
求項１１にかかる発明は、請求項１〜請求項５のいずれ
かに記載の画像処理装置において、上記画像処理手段
は、上記色にじみ画素がエッジ画素であるか否かを判断
してエッジ画素である場合に同色にじみ画素を基準とし
た所定範囲の画素を対象として要素色成分から輝度成分
を減算した色差成分にて中央の値を有する色差成分を当
該色にじみ画素の色差成分に置換し、エッジ画素ではな
い場合に同色にじみ画素を基準とした所定範囲の画素を
対象として要素色成分から輝度成分を減算した色差成分
を平滑化処理し、その後に元の要素色成分に戻す構成と
してある。

【００３０】上記のように構成した請求項１１に発明に
おいては、色にじみ画素が検出されると、画像処理手段
は当該色にじみ画素がエッジ画素であるか否かを判断す
る。ここにおいて、エッジ画素であると判断した場合に
は上述したようにして色にじみ画素を基準とした所定範
囲の画素を対象とした色差成分を検出し、その中で中央
の値を有する色差成分を色にじみ画素の色差成分に置き
換え、その後に元の要素色成分に戻す。他方、エッジ画
素ではないと判断した場合には上述したようにして色に
じみ画素を基準とした所定範囲の画素の色差成分を平滑
化処理し、その後に元の要素色成分に戻す。

【００３１】例えば、白・黒の境界部分に色にじみ画素
が発生していた場合、当該色にじみ画素の色差成分が周
辺画素の色差成分に置き換わって純粋に白または黒の画
素となるため、色にじみは解消されつつも境界部分がぼ
やけてしまうことはない。また、エッジ画素であるか否
かを判断するにあたっては、エッジ画素において隣接画
素間で色差成分の変化度合いが大きくなることから、か
かる色差成分の変化度合いと所定のしきい値とを比較
し、同色差成分の変化度合いの方が大きい場合にエッジ
画素と判断するなどすればよい。むろん、エッジ画素を
輝度勾配の大きい画素として捉え、隣接画素間で輝度成
分の変化度合いに基づいてエッジ画素を判断するように
してもよい。

【００３２】色にじみ画素を検出して当該色にじみ画素
を基準とした所定範囲の画素について色にじみを低減す
る手法は、必ずしも実体のある装置に限られる必要もな
く、その一例として、請求項１２にかかる発明は、複数
要素色の色フィルタが非均一密度でモザイク状に配置さ
れた単板の固体撮像素子にて撮像されるとともに均一密
度となるように演算にて補充して生成されたドットマト
リクス状の画素からなる画像データに対して画像処理す
る画像処理方法であって、同画像データにおいて色にじ
み画素を検出し、色にじみを低減するために色にじみ画
素を基準とした所定範囲の画素を対象として画像処理す
るにあたり、上記検出された色にじみ画素を基準として
同画像処理を実行する構成としてある。

【００３３】すなわち、必ずしも実体のある装置に限ら
ず、その方法としても有効であることに相違はない。

【００３４】ところで、上述したように色にじみ画素を
検出して当該色にじみ画素を基準とした所定範囲の画素
について色にじみを低減する画像処理装置は単独で存在
する場合もあるし、ある機器に組み込まれた状態で利用
されることもあるなど、発明の思想としては各種の態様
を含むものである。また、ハードウェアで実現された
り、ソフトウェアで実現されるなど、適宜、変更可能で
ある。

【００３５】発明の思想の具現化例として画像処理装置
を制御するソフトウェアとなる場合には、かかるソフト
ウェアを記録した記録媒体上においても当然に存在し、
利用されるといわざるをえない。その一例として、請求
項１３にかかる発明は、複数要素色の色フィルタが非均
一密度でモザイク状に配置された単板の固体撮像素子に
て撮像されるとともに均一密度となるように演算にて補
充して生成されたドットマトリクス状の画素からなる画
像データに対して画像処理する画像処理装置のための画
像処理制御プログラムを記録した媒体であって、同画像
データにおいて色にじみ画素を検出し、色にじみを低減
するために色にじみ画素を基準とした所定範囲の画素を
対象として画像処理するにあたり、上記検出された色に
じみ画素を基準として同画像処理を実行する構成として
ある。

【００３６】むろん、その記録媒体は、磁気記録媒体で
あってもよいし光磁気記録媒体であってもよいし、今後
開発されるいかなる記録媒体においても全く同様に考え
ることができる。また、一次複製品、二次複製品などの
複製段階については全く問う余地無く同等である。その
他、供給方法として通信回線を利用して行う場合でも本
発明が利用されていることには変わりはないし、半導体
チップに書き込まれたようなものであっても同様であ
る。

【００３７】さらに、一部がソフトウェアであって、一
部がハードウェアで実現されている場合においても発明
の思想において全く異なるものはなく、一部を記録媒体
上に記憶しておいて必要に応じて適宜読み込まれるよう
な形態のものとしてあってもよい。

【００３８】

【発明の効果】以上説明したように本発明は、単板式の
固体撮像素子にて撮像された画像データにおいて、色に
じみ画素を検出して当該色にじみ画素を基準とした所定
範囲の画素を対象として色にじみを低減するようにした
ため、演算量を削減して処理時間を短縮することが可能
な画像処理装置を提供することができる。

【００３９】また、請求項２にかかる発明によれば、低
密度の色フィルタに対する要素色強度に着目すればよい
ため、容易に色にじみ画素を検出することができる。

【００４０】さらに、請求項３にかかる発明によれば、
基準の要素色強度と低密度の色フィルタに対する要素色
強度との差分の変化度合いを調べればよいため、色にじ
み画素の検出演算を容易に行うことができる。

【００４１】さらに、請求項４にかかる発明によれば、
低密度の色フィルタが複数ある場合、一律に低密度の色
フィルタに対する要素色強度間の差分の変化度合いに着
目すればよいため、色にじみ画素の検出演算を容易に行
うことができる。

【００４２】さらに、請求項５にかかる発明によれば、
低密度の色フィルタに対する画素間で上記差分の変化度
合いを調べるようにしたため、より信頼性の高い検出を
行うことができる。

【００４３】さらに、請求項６にかかる発明によれば、
平滑化処理により色にじみを低減するにあたり、色差成
分を平滑化処理して元の要素色成分に戻せばよいため、
演算を容易に行うことができる。

【００４４】さらに、請求項７にかかる発明によれば、
エッジ強調処理を行うようにしたため、平滑化処理によ
る画像のシャープさの低下を補うことができる。

【００４５】さらに、請求項８にかかる発明によれば、
平滑化処理を行う範囲内の画素に対してエッジ強調処理
を行うようにしたため、平滑化処理の範囲外の画素につ
いて不自然にシャープさが高まることはない。

【００４６】さらに、請求項９にかかる発明によれば、
処理対象となる画像のサイズに応じて平滑化処理する範
囲を変化させるようにしたため、最適な範囲の平滑化処
理を行うことができる。

【００４７】さらに、請求項１０にかかる発明によれ
ば、所定範囲の画素の色差成分にて中央の値を色にじみ
画素に援用するようにしたため、色にじみを低減するこ
とができる。

【００４８】さらに、請求項１１にかかる発明によれ
ば、色にじみ画素がエッジ画素である場合に所定範囲の
画素の色差成分にて中央の値を色にじみ画素に援用し、
エッジ画素ではない場合に平滑化処理を施すようにした
ため、画像のエッジ部分がぼやけてしまうことがない。

【００４９】さらに、請求項１２にかかる発明によれ
ば、同様にして演算量を削減して処理時間を短縮するこ
とが可能な画像処理方法を提供することができ、請求項
１３にかかる発明によれば、画像処理制御プログラムを
記録した媒体を提供することができる。

【００５０】

【発明の実施の形態】以下、図面にもとづいて本発明の
実施形態を説明する。図１は、本発明の一実施形態にか
かる画像処理装置を適用した画像処理システムをブロッ
ク図により示しており、図２は具体的ハードウェア構成
例を概略ブロック図により示している。図１において、
画像入力装置１０は単板式のＣＣＤを利用して撮像した
実画像などをドットマトリクス状の画素で表した画像デ
ータとして画像処理装置２０へ出力する。上述した原理
から単板式のＣＣＤにて撮像された画像データには色に
じみが発生し、画像処理装置２０は入力画像データにお
いて色にじみ画素を検出して当該色にじみ画素を基準と
した所定範囲で色にじみを低減するように画像処理して
画像出力装置３０へ出力し、画像出力装置３０は画像処
理された画像データをドットマトリクス状の画素で出力
する。

【００５１】画像処理装置２０は、色にじみ画素を検出
することから色にじみ画素検出手段を備えているし、当
該検出された色にじみを基準として色にじみを低減する
ように画像処理を行うことから画像処理手段をも備えて
いると言える。

【００５２】画像入力装置１０の具体例は図２における
単板式のＣＣＤを備えたフィルムスキャナ１１やデジタ
ルスチルカメラ１２あるいはビデオカメラ１４などが該
当する。例えば、図３は同デジタルスチルカメラ１２の
簡単なハードウェア構成例を概略ブロック図により示し
ている。同図において、入射光は光学系１２ａを介して
ＣＣＤ１２ｂに受光される。このＣＣＤ１２ｂはＲ，
Ｇ，Ｂ各色の色フィルタが各画素に対応して所定の割合
で配置されており、駆動回路１２ｃにて各画素における
色信号が出力される。出力された色信号はデジタル変換
されて補間演算回路１２ｄに入力され、当該補間演算回
路１２ｄにて各画素において直接得ることができない要
素色成分についての色信号を周辺の画素からの線形補間
演算により取得し、ＲＧＢの階調データとして画像メモ
リ１２ｅに保存する。

【００５３】一方、画像処理装置２０の具体例はコンピ
ュータ２１とハードディスク２２とキーボード２３とＣ
Ｄ−ＲＯＭドライブ２４とフロッピーディスクドライブ
２５とモデム２６などからなるコンピュータシステムが
該当し、画像出力装置３０の具体例はプリンタ３１やデ
ィスプレイ３２等が該当する。なお、モデム２６につい
ては公衆通信回線に接続され、外部のネットワークに同
公衆通信回線を介して接続し、ソフトウェアやデータを
ダウンロードして導入可能となっている。

【００５４】本実施形態においては、画像入力装置１０
としてのフィルムスキャナ１１やデジタルスチルカメラ
１２が画像データとしてＲＧＢの階調データを出力する
とともに、画像出力装置３０としてのプリンタ３１は階
調データとしてＣＭＹ（シアン、マゼンダ、イエロー）
あるいはこれに黒を加えたＣＭＹＫの二値データを入力
として必要とするし、ディスプレイ３２はＲＧＢの階調
データを入力として必要とする。

【００５５】一方、コンピュータ２１内ではオペレーテ
ィングシステム２１ａが稼働しており、プリンタ３１や
ディスプレイ３２に対応したプリンタドライバ２１ｂや
ディスプレイドライバ２１ｃが組み込まれている。ま
た、画像処理アプリケーション２１ｄはオペレーティン
グシステム２１ａにて処理の実行を制御され、必要に応
じてプリンタドライバ２１ｂやディスプレイドライバ２
１ｃと連携して所定の画像処理を実行する。従って、画
像処理装置２０としてのこのコンピュータ２１の具体的
役割は、ＲＧＢの階調データを入力し、色にじみ画素を
検出して色にじみを低減するように画像処理を施したＲ
ＧＢの階調データを作成し、ディスプレイドライバ２１
ｃを介してディスプレイ３２に表示させるとともに、プ
リンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹ
Ｋ）の二値データに変換してプリンタ３１に印刷させる
ことになる。

【００５６】このように、本実施形態においては、画像
の入出力装置の間にコンピュータシステムを組み込んで
画像処理を行うようにしているが、必ずしもかかるコン
ピュータシステムを必要とするわけではなく、単板式の
ＣＣＤにて撮像されるとともに上述したように補間演算
されて色にじみが発生した画像データに対して色にじみ
を低減するように画像処理を行うシステムに適用可能で
ある。例えば、図４に示すように単板式のＣＣＤを備え
たデジタルスチルカメラ１３ａ内に同様に画像処理する
画像処理装置を組み込み、色にじみを低減した画像デー
タを用いてディスプレイ３２ａに表示させたりプリンタ
３１ａに印字させるようなシステムであっても良い。ま
た、図５に示すように、コンピュータシステムを介する
ことなく画像データを入力して印刷するプリンタ３１ｂ
においては、単板式のＣＣＤを有するフィルムスキャナ
１１ｂやデジタルスチルカメラ１３ｂ等を介して入力さ
れる画像データに対して色にじみを低減して画像処理す
るように構成することも可能である。

【００５７】上述した色にじみ画素の検出と色にじみを
低減する画像処理は、具体的には上記コンピュータ２１
内にて図６などに示すフローチャートに対応した画像処
理プログラムで行っている。本実施形態において採用す
る色にじみの低減方法は、後述するように平滑化フィル
タなどを作用させて行う点については従来と同様である
が、同平滑化フィルタなどを作用させる領域は色にじみ
画素の周辺に限られることで従来とは異なる。ここで、
処理対象となる画像データについて、図７（ａ）および
（ｂ）に示すように二種類の画像サイズのビットマップ
を考え、両者に対して図中斜線部分で示す同一サイズの
平滑化フィルタを作用させるものとする。画像サイズが
異なるとは、画像データの各画素とＣＣＤの各画素が一
対一で対応していれば、使用するＣＣＤの画素数に応じ
て画像サイズも当然に異なるが、同一画素数のＣＣＤを
使用した場合であっても適宜伸縮して画像サイズが変更
される場合もあり、かかる場合も含むものとする。

【００５８】図からも明らかなように、同一サイズの平
滑化フィルタを適用している限りにおいては、画像サイ
ズが異なれば平滑化処理される領域が画像全体に対して
占める割合も異なる。従って、あらゆる画像サイズの画
像データに対して一律に同一サイズの平滑化フィルタを
作用させてしまうと、図７（ａ）に示すように適当な大
きさの領域が平滑化処理されることもあれば、同図
（ｂ）に示すように平滑化処理される領域が画像全体に
対して占める割合が大きくなってしまうことがある。平
滑化処理するということは、画像をぼやけさせることに
他ならないから、同図（ｂ）に示すものにおいては画像
の大部分がぼやけてしまうことになりかねない。

【００５９】そこで、本実施形態においては、図８に示
すようにな３×３、５×５、７×７画素といった複数の
異なるサイズの平滑化フィルタを保持しており、画像サ
イズに応じてこれらの平滑化フィルタを適宜使い分ける
ようにしている。ここで、ビットマップ画像の画像サイ
ズを判定するにあたっては、画像の（ｈｅｉｇｈｔ）×
（ｗｉｄｔｈ）を算出して画素数を求め、この算出され
た画素数を指標としてもよいが、本実施形態において
は、次式で表されるＡに従って処理対象画像の画像サイ
ズを判定する。

【００６０】 Ａ＝ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ） …（１） ここにおいて、ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）は
ｈｅｉｇｈｔとｗｉｄｔｈのいずれか小さい方を意味す
る。そして、ステップＳ１１０では、 Ａ＜３００ならば、３×３画素の平滑化フィルタ ３００≦Ａ≦６００ならば、５×５画素の平滑化フィル
タ Ａ＞６００ならば、７×７画素の平滑化フィルタ というように分岐し、それぞれステップＳ１２２〜ステ
ップＳ１２６にて用いる平滑化フィルタの種類をワーク
エリアに保存する。ワークエリアはコンピュータ２１内
のＲＡＭであってもよいしハードディスク２２であって
もよい。

【００６１】ここでｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔ
ｈ）を基準としているのは次のような理由による。平滑
化フィルタのサイズが適当か否かを判断するにあたって
は、本来的には全画素数に対して平滑化処理される画素
数の割合で判断すればよい。しかしながら、例えば、同
一画素数の画像データであっても図９（ａ）に示すビッ
トマップ画像のように幅広の画像もあれば、同図（ｂ）
に示すビットマップ画像のように高さ方向に比べて幅方
向の長さが若干長い標準的な画像もある。仮に、処理対
象画像の全画素数に応じて使用する平滑化フィルタを決
定するものとすると、両者で同一の平滑化フィルタが選
択されることになる。すると、後者においては同平滑化
フィルタのサイズが適当であっても、前者においては高
さ方向がほぼ全長にわたって平滑化されることがあり、
このような場合、視覚的にはぼやけた印象を受ける。従
って、ｈｅｉｇｈｔとｗｉｄｔｈのいずれか小さい方を
基準とすれば、このような弊害を回避することができ
る。

【００６２】図６のフローチャートを参照すると、図１
０に示すようにドットマトリクス状の画素からなる画像
データについて処理対象画素を水平方向に主走査しつつ
垂直方向に副走査して移動させ、各画素について色にじ
み画素であるか否かを判断している。

【００６３】画像データがドットマトリクス状の画素か
ら構成されている場合には、各画素ごとにＲＧＢの階調
データ（「０」〜「２５５」）で表されている。ステッ
プＳ１２２〜ステップＳ１２６にて使用する平滑化フィ
ルタの種類をワークエリアに保存したら、次なるステッ
プＳ１３０においては、対象画素とその周辺画素におけ
るＲおよびＢの階調データの差分ΔＲＢを算出する。こ
のΔＲＢは、 ΔＲＢ＝｜Ｒ−Ｂ｜ …（２） と表される。

【００６４】本実施形態におけるＣＣＤは図２３（ａ）
に示すように、各画素に対応してＲ，Ｇ，Ｂの各色の色
フィルタがモザイク状に配置されるとともに、Ｇの色フ
ィルタのみが千鳥状に配置されて密度が高くなってお
り、ＲおよびＢの色フィルタが低密度となっている。そ
して、各画素において直接的に得ることができない色信
号を隣接する画素の色信号から線形補間演算してＲ，
Ｇ，Ｂ全色の色信号を得て階調データに変換している。
従って、確率からすれば補間演算の結果、ある画素にお
いて低密度のＲ，Ｂの階調データについて、本来の強度
が得られなかったり、本来必要のない色成分が発生する
など偽の要素色成分により色にじみが発生するというこ
とができる。

【００６５】また、色にじみは特に白・黒間の境界付近
にて顕著に現れることが知られている。例えば、Ｒの色
フィルタに対応する画素において白色を表現する場合、
本来のＲＧＢの階調データは（Ｒ，Ｇ，Ｂ）＝（２５
５，２５５，２５５）となるところ、補間演算の結果
（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，１２７）となった
りする。ここにおいて、Ｇの色フィルタは高密度である
からＧ成分については補間演算により偽の要素色成分が
発生する確率が小さく、他方、Ｒの成分は色フィルタか
ら直接的に得ることができるため偽の色成分が発生する
ことはない。本来的にはある画素において白を表現する
ならばΔＲＢは「０」となるし、黒を表現する場合もΔ
ＲＢは「０」となるはずではあるが、色にじみ画素にお
いてはこれに比べてΔＲＢの値が大きくなる傾向を示
す。

【００６６】むろん、画像データによってはもともとＲ
およびＧの成分が高く、Ｂの成分が低い画素も当然に存
在し得る。しかし、このような場合には各要素色成分は
隣接画素においても保持され、当該画素から遠ざかるに
つれてΔＲＢの値はなだらかに変化する場合が多い。こ
れに対して、色にじみは原理的に画素単位で発生しつ
つ、かつ、互いに隣接する画素のいずれか一方が白また
は黒などの画素であるから、隣接画素間でΔＲＢの変化
度合いが大きい画素を色にじみ画素としてもあながち間
違ってはいないといえる。そこで、本実施形態において
は、後述するようにして処理対象画素と周辺画素との間
でΔＲＢの値の変化度合いを調べ、同変化度合いが大き
い画素を色にじみ画素として検出する。むろん、Ｇの色
フィルタは高密度であるから補間演算により偽の要素色
成分が発生する可能性は低いと言えるため、この要素色
成分を基準として（２）式を、 ΔＧＲ＝｜Ｇ−Ｒ｜ …（３） ΔＧＢ＝｜Ｇ−Ｂ｜ …（４） という式に代替することも可能である。

【００６７】また、このようなΔＲＢの変化度合いを調
べるにあたっては、低密度の色フィルタに対応する画素
間で比較する方が好適である。すなわち、高密度の色フ
ィルタに対応する画素と比べて低密度の色フィルタに対
応する画素の方が偽の要素色成分が発生しやすいため、
低密度の色フィルタに対応する画素間でΔＲＢの変化度
合いを比較する方がより信頼性の高い検出を行うことが
できる。

【００６８】実際の色にじみ画素の検出はステップＳ１
４０にて行われ、このステップＳ１４０では上記のよう
にして算出したΔＲＢの周辺画素間での変化度合いから
色にじみ画素か否かの判定を行う。このとき、図１１に
示すように、処理対象画素を中心とするとともに、水平
方向をｘ、垂直方向をｙとしたマトリクスを考え、 Ｅ＝４ΔＲＢ（ｘ，ｙ）−２ΔＲＢ（ｘ−１，ｙ−１） −２ΔＲＢ（ｘ＋１，ｙ−１） …（５） で表されるＥの値と所定のしきい値Ｔｈとの大小関係を
比較する。そして、Ｅ≧Ｔｈの場合に色にじみ画素であ
ると判断する。従って、上述したステップＳ１３０にお
いては、判定対象の画素におけるΔＲＢ（ｘ，ｙ）を求
めておくとともに、周辺画素のΔＲＢの値としてΔＲＢ
（ｘ−１，ｙ−１）およびΔＲＢ（ｘ＋１，ｙ−１）を
求めておくことになる。

【００６９】Ｅ≧Ｔｈの判定基準に従って色にじみ画素
を検出する意味は次のようになる。処理対象画素におい
て色にじみが発生していると、当該画素とその周辺画素
間のΔＲＢ値の変化度合いが大きくなるため（５）式を
参照するとＥの値も大きくなり、所定のしきい値Ｔｈを
越えた場合に色にじみ画素と判断する。また、（５）式
および図１１を参照すると、判定対象の画素と斜め方向
の画素とでΔＲＢの変化度合いを調べていることが容易
に分かる。ここで、図２３（ａ）を参照すれば、判定対
象の画素がＲに該当すれば斜め方向の画素はＢに該当
し、判定対象の画素がＢに該当すれば斜め方向の画素は
Ｒに該当するし、判定対象の画素がＧに該当すれば斜め
方向の画素はＧに該当する。すなわち、判定対象の画素
が低密度の要素色に対応する場合は、隣接する低密度の
要素色に対応する画素との間でΔＲＢ値の変化度合いを
調べ、判定対象の画素が高密度の要素色に対応する場合
は、隣接する高密度の要素色に対応する画素との間でΔ
ＲＢの変化度合いを調べていることになる。

【００７０】従って、ステップＳ１３０，Ｓ１４０にて
互いに隣接する画素間において低密度の色フィルタに対
する要素色強度間の差分の変化度合いに基づいて色にじ
み画素を検出しており、これらを実行するハードウェア
構成とソフトウェアとによって色にじみ画素検出手段を
構成することになる。

【００７１】ステップＳ１４０にて色にじみ画素である
ものと判断した場合には、ステップＳ１５０にて当該画
素がエッジ画素か否かを判定する。エッジ画素であるか
否かを判断するにあたっては、色差成分に基づいて行う
手法が有効であるため、本実施形態においてはＲおよび
Ｂの階調データから輝度成分Ｙを減算してそれぞれ色差
成分Ｃ１，Ｃ２を求める。なお、この色差成分Ｃ１，Ｃ
２は、 Ｃ１＝Ｒ−Ｙ …（６） Ｃ２＝Ｂ−Ｙ …（７） と表すことができる。

【００７２】しかしながら、ＲＧＢの階調データは直接
には輝度の値を持っておらず、輝度を求めるためにＬｕ
ｖ表色空間に色変換することも可能であるが、演算量な
どの問題から得策ではない。このため、テレビジョンな
どの場合に利用されているＲＧＢから輝度を直に求める
次式の変換式を利用する。 Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ …（８）

【００７３】エッジ画素は画像の境界部分であるから、
隣接する画素間で色差成分Ｃ１，Ｃ２の変化度合いが大
きいといえるため、次の二つの判定基準のうちでいずれ
か一方を充足する場合にエッジ画素として判断すること
ができる。 ｜Ｃ１（ｘ，ｙ）−Ｃ１（ｘ−１，ｙ−１）｜≧Ｔｈ１ …（９） ｜Ｃ２（ｘ，ｙ）−Ｃ２（ｘ−１，ｙ−１）｜≧Ｔｈ２ …（１０） なお、ここにおけるｘは水平方向の座標を示しており、
ｙは垂直方向の座標を示している。

【００７４】すなわち、（９）および（１０）式の意味
するところは、図１２に示すように、当該色にじみ画素
を中心としたドットマトリクス状の画素からなる画像デ
ータにおいて、隣接する斜め方向の画素間で色差成分Ｃ
１，Ｃ２の変化度合いを求め、それぞれしきい値Ｔｈ
１，Ｔｈ２以上あるか否かを判定していることに他なら
ない。そして、いずれか一方の判断基準を充足する場合
にエッジ画素と判断していることになる。むろん、本来
的には画素は図１３に示すように縦横に升目状に配置さ
れており、中央の画素に注目すると八つの隣接画素があ
る。従って、同様にそれぞれの隣接する画素との間で色
差成分Ｃ１，Ｃ２の変化度合いを求めるとともに、それ
ぞれしきい値Ｔｈ１，Ｔｈ２との間で比較演算し、いず
れか一つの比較演算にて色差成分Ｃ１またはＣ２の変化
度合いがしきい値Ｔｈ１またはＴｈ２以上ある場合に色
にじみ画素と判断すればよい。

【００７５】このように色にじみ画素がエッジ画素であ
るか否かを判断するにあっては、色差成分Ｃ１，Ｃ２の
変化度合いに基づいて行う手法が有効ではあるものの、
一つの色にじみ画素について、隣接する八画素のそれぞ
れにおいて色差成分Ｃ１，Ｃ２についての比較演算を行
わなければならないため、演算量が多大となって処理速
度が低下してしまうことになりかねない。そこで、図１
４に示すように縦横方向の四画素について比較演算を行
ったり、あるいは図１５に示すように斜め方向の四画素
について比較演算を行うようにし、演算量を低減するよ
うにしてもかまわない。

【００７６】また、エッジ画素であるか否かを輝度勾配
の大小で判断するようにしてもよく、この場合には上述
した（９）および（１０）式を次式に代替すればよい。 ｜Ｙ（ｘ，ｙ）−Ｙ（ｘ−１，ｙ−１）｜≧Ｔｈ３ …（１１） この（１１）式をエッジ画素の判断基準として用いれ
ば、（９）および（１０）式を用いる場合に比べて演算
量が半減されることは容易に分かることである。

【００７７】ステップＳ１５０にて当該色にじみ画素が
エッジ画素ではないものと判断した場合には、ステップ
Ｓ１５２で同色にじみ画素に対してステップＳ１２２〜
ステップＳ１２６にて決定した平滑化フィルタを作用さ
せて同色にじみ画素を基準とした所定範囲の画素に対し
て平滑化処理を行う。むろん、平滑化処理を行うにあた
っては、色差成分の平滑化が有効であるため、本実施形
態においては上記（６）、（７）式に基づいて算出した
色差成分Ｃ１，Ｃ２に対して平滑化処理を施す。

【００７８】ここで、平滑化フィルタを用いた平滑化処
理について説明する。図８に示す各平滑化フィルタにお
いて、中央の数値をマトリクス状の画像データにおける
処理対象画素の色差成分Ｃ１，Ｃ２の重み付けとし、そ
の周辺画素に対して同平滑化フィルタの升目における数
値に対応した重み付けをして積算するのに利用される。
この場合、すべての升目に「１」が立てられているた
め、平滑後の色差成分Ｃ１’は各升目の色差成分Ｃ１を
合計して全升目数で除算して求め、平滑後の色差成分Ｃ
２’も同様にして求められる。むろん、各升目に適宜重
み付けを持たせるようにしてもかまわない。ただし、平
滑化フィルタを作用させるとういことは、上述したよう
なマトリクス演算を行うことであるから、各升目に重み
付けを持たせれば演算量も増加することになる。すなわ
ち、本実施形態においては、平滑化フィルタの各升目に
「１」を立てているため、各画素のデータを合計して升
目数で除算すればよいが、各升目に重み付けがなされて
いる場合には升目数だけ乗算演算と加算演算が必要にな
ることから演算量が多大となる。

【００７９】従来のように画像データの全画素を対象と
してこのようなマトリクス演算を行うと、演算量が膨大
となって多大な処理時間がかかってしまうことがある。
従って、本実施形態のように色にじみ画素を検出して当
該色にじみ画素の周辺について平滑化処理を行うように
すれば、大幅な演算量の削減が期待され、高速な画像処
理を実現可能となる。

【００８０】一方、ステップＳ１５０で当該色にじみ画
素がエッジ画素であると判断した場合には、ステップＳ
１５４で同色にじみ画素を中心として５×５画素のメジ
アンフィルタを作用させる。なお、実際に適用するメジ
アンフィルタのサイズは、必ずしも５×５画素である必
要はなく、３×３画素のメジアンフィルタを適用するな
ど適宜変更可能である。そこで、説明の便宜上、３×３
画素のメジアンフィルタを適用する場合について説明す
る。

【００８１】例えば、図１６に示すように、色にじみ画
素を中心とした３×３画素のドットマトリクスを考慮す
る。なお、各升目の値は色差成分Ｃ１の値を示してお
り、図中の斜め線がエッジ方向に相当する。ここで、３
×３画素のメジアンフィルタを適用するということは、
全九画素の色差成分Ｃ１の値を昇順または降順にソート
し、中央の値を選択して色にじみ画素の色差成分Ｃ１と
置き換えることを意味する。すなわち、同図に示すもの
においては、色差成分Ｃ１の値が「１０」の画素が六画
素存在し、「４０」の画素が一画素存在し、「１００」
の画素が三画素存在しているため、これらの値を仮に昇
順にソートしたものとすると図１７に示すようになる。
すると、同図からも明らかなように中央の値は「１０」
となり、当該色にじみ画素の色差成分Ｃ１は「１０」と
なる。

【００８２】一方、ここにおいて３×３画素の平滑化フ
ィルタを作用させたものとすると、升目の合計値「３０
０」を画素数「９」で除算した値である「３３」が平滑
化処理後の色差成分Ｃ１’となる。この平滑処理後の色
差成分Ｃ１’は色にじみ画素に対して周辺画素の色差成
分Ｃ１を平均化して加算したものであるから、滑らかな
画像データとしていることになる。このようにして滑ら
かにしたものはいわゆるローパスフィルタをかけたもの
と同様の意味あいを持ち、画像は滑らかにされて色にじ
みが目立たなくなるが、エッジ部分もぼやけた印象とな
ってしまうため得策ではない。そこで、エッジ画素に対
しては上述したメジアンフィルタを適用すればエッジ部
分がぼやけないことは、上記の演算結果からも明らかで
ある。

【００８３】他方、図１６を参照すると、色差成分Ｃ１
の値が「４０」の画素にて色にじみが発生していること
が分かる。そこで、この色にじみ画素に対して３×３画
素のメジアンフィルタを適用すると、隣接する八画素の
中で七画素の色差成分の値が「１００」であり、一画素
のみ色差成分の値が「１０」であるため、当該色にじみ
画素の色差成分の値も「１００」に置き換わることにな
り、色にじみが低減されることが分かる。このように、
メジアンフィルタはエッジ部分をぼやけさせないように
しつつ、色にじみを低減させる効果をも有しており、上
記のステップＳ１５０にて当該色にじみ画素がエッジ画
素であるか否かを判定する意味はかかる事由によるもの
である。

【００８４】なお、ここで例示したメジアンフィルタは
３×３画素であるが、むろん、本実施形態にて採用する
５×５画素のメジアンフィルタの場合、全二十五画素の
中で中央の値を選択すればよく、３×３画素の場合と全
く同様に考えることができる。また、色差成分Ｃ１につ
いて例示したが、色差成分Ｃ２についても同様であるこ
とはいうまでもない。

【００８５】ところで、平滑化フィルタとメジアンフィ
ルタの演算速度を比べると、メジアンフィルタの方が比
較的遅いため、メジアンフィルタを適用する場面は可能
な限り抑えた方が処理速度上からも好適である。エッジ
画素の判断基準として（９）および（１０）式を採用す
る場合、色差成分Ｃ１，Ｃ２のいずれか一方で同式を充
足する場合もあれば、色差成分Ｃ１，Ｃ２の双方で同式
を充足する場合もありうる。ここで、前者の場合におい
て、双方の色差成分についてメジアンフィルタを適用す
る必要性はないし、処理速度の低下を招くことから、同
式を充足する色差成分においてのみステップＳ１５４で
メジアンフィルタを適用し、別の一方の色差成分につい
てはステップＳ１５２で平滑化フィルタを適用すれば処
理速度を全体として向上させることができる。むろん、
エッジ画素の判断基準として（１１）式を採用する場合
には、いずれの色差成分の変化度合いが大きいかといっ
たことは判断し得ないため、この場合にはステップＳ１
５４で色差成分Ｃ１，Ｃ２の双方に対してメジアンフィ
ルタを適用することになる。

【００８６】上述したように、色にじみを低減するとい
うことは、画像を滑らかにして色にじみを目立たなくす
ることに他ならず、その部分がぼやけた印象となってし
まうことも想定しうる。そこで、本実施形態において
は、次なるステップＳ１６０にてエッジ強調処理を行
う。

【００８７】このエッジ強調処理は、強調前の各画素の
輝度Ｙに対して強調後の輝度Ｙ’が Ｙ’＝Ｙ＋（Ｙ−Ｙunsharp） …（１２） として演算される。ここで、Ｙunsharp は色にじみ画素
の画像データに対してアンシャープマスク処理を施した
ものであり、次にアンシャープマスク処理について説明
する。本実施形態においては、図１８に示すように３×
３、５×５、７×７画素からなる三種類のアンシャープ
マスクを備えており、それぞれステップＳ１２２〜Ｓ１
２６で決定した平滑化フィルタのサイズに対応してい
る。例えば、３×３画素の平滑化フィルタを選択した
ら、３×３画素のアンシャープマスクを選択することに
なる。これらのアンシャープマスクも上述した平滑化フ
ィルタと同様に、中央の数値を各画素におけるＹ（ｘ，
ｙ）の重み付けとし、その周辺画素に対して同マスクの
升目における数値に対応した重み付けをして積算するの
に利用される。例えば、３×３画素のアンシャープマス
クを使用する場合、

【００８８】

【数１】 なる演算式に基づいて積算する。この（１３）式におい
て、「１３６」とは重み付け係数の合計値であり、サイ
ズの異なる平滑化フィルタにおいては、それぞれ升目の
合計値となる。すなわち、５×５画素であれば「４０
０」となるし、７×７画素であれば「９００」となる。
また、Ｍｉｊはアンシャープマスクの升目に記載されて
いる重み付け係数であり、Ｙ（ｘ，ｙ）は各画素におけ
る輝度成分である。さらに、ｉｊについてはアンシャー
プマスクに対して横列と縦列の座標値で示している。

【００８９】Ｙunsharp （ｘ，ｙ）は色にじみ画素に対
して周辺画素の重み付けを低くして加算したものである
から、この場合も同様にローパスフィルタをかけたもの
と同じ意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙun
sharp （ｘ，ｙ）」とは本来の全成分から低周波成分を
引いたことになってハイパスフィルタをかけたものと同
様の意味あいを持つ。そして、ハイパスフィルタを通過
したこの高周波成分を「Ｙ（ｘ，ｙ）」に加えれば高周
波成分を増したことになり、エッジが強調される結果と
なって画像のシャープさが向上する。

【００９０】なお、これらのアンシャープマスクは図１
８からも明らかなように、中央部にて最も重み付けが大
きく、周縁に向かうにつれて徐々に重み付け係数が小さ
くなっている。従って、周縁側の重み付け係数が升目の
合計値に与える影響はわずかであるといえる。一方、
（１３）式等で示されるマトリクス演算は、処理対象画
素の周囲の画素に対して、採用するアンシャープマスク
の升目数だけ乗算演算と加算演算が必要になることから
演算量が多大となることも観念される。そこで、本実施
形態においては、予め周縁側の重み付け係数を省いて構
成した３×３、５×５、７×７画素のアンシャープマス
クを使用することにより演算量を削減して処理速度を高
めるようにしている。

【００９１】ところで、本実施形態においては、平滑化
フィルタのサイズとアンシャープマスクのサイズを同一
としているが、これは次のような理由による。例えば、
図１９で示すビットマップ画像に図中斜線部分で示す領
域に対して平滑化処理を行い、図中波線部分で示す領域
に対してアンシャープマスク処理を行って輝度を強調し
たものとする。上述したように輝度を強調する意味は、
平滑化処理されて失われたシャープさを補償するもので
あるから、平滑化領域の外側まで輝度を強調してしまう
と、この外側の領域において不自然にシャープさが向上
してしまうことが発生し得る。このため、本実施形態で
は平滑化フィルタとアンシャープマスクを同一サイズと
しているが、むろん、前者に比べて後者のサイズが小さ
くなるようにしてもかまわない。

【００９２】ステップＳ１６０では上記のようなエッジ
強調処理を行うとともに、強調後の輝度Ｙ’と処理後の
色差成分を用いつつ（６）〜（８）式に基づいてＲ’，
Ｇ’，Ｂ’の階調データを得る。すなわち、ステップＳ
１５２，Ｓ１５４にて色にじみを低減するとともに、ス
テップＳ１６０にて階調データを生成しており、これら
を実行するハードウェア構成とソフトウェアとによって
画像処理手段を構成することになる。

【００９３】なお、ステップＳ１６０において、強調し
た輝度Ｙ’を使用することからＲ’，Ｇ’，Ｂ’の階調
データが負の値となったり、「２５５」を越えるような
値となることがある。しかし、階調幅としては、「０」
〜「２５５」の範囲であるため、負の階調データは一律
に「０」とし、「２５５」を越える階調データは一律に
「２５５」とする。そして、次のステップＳ１７０にて
処理対象画素を移動させ、ステップＳ１８０にて全画素
について終了したと判断するまで同様の処理を繰り返
す。

【００９４】ところで、色にじみ画素を中心として平滑
化フィルタを適用し、その後にエッジ強調処理を行え
ば、平滑化処理によって色にじみが低減され、エッジ強
調処理によって平滑化処理で失われた画像のシャープさ
が補償される。従って、本来的には色にじみ画素がエッ
ジ画素であるか否かを問わず、全ての色にじみ画素に対
して一律にかかる処理を実行すればよく、このような構
成としても効果を得ることができる。しかし、かかる構
成においては、経験的な見地からエッジ部分がぼやけて
しまうことがあったため、色にじみ画素がエッジ画素で
ある場合にメジアンフィルタを適用したところ良好な結
果を得ることができた。

【００９５】ここで、本実施形態の平滑化処理およびエ
ッジ強調処理の効果について、簡単な一次元のシミュレ
ーションモデルを例示しつつ説明する。図２０は、エッ
ジ強調処理を行わない場合の一次元シミュレーションモ
デルにおいて各種のパラメータの値を示す表である。同
図において、左端のＲ，Ｇ，ＢのマトリクスはＣＣＤの
色フィルタ配列を示している。このマトリクスの右隣に
示す「ＩＮ」は光の入射状況を示しており、「１（階調
データは２５５）」ならば光があたっている、すなわち
「白」を意味し、「０（階調データは０）」ならば
「黒」を意味する。そして、ＣＣＤの各画素において、
直接得ることができない色信号は隣接する画素の色信号
から線形補間演算により得ているものとする。

【００９６】ここで、本来二次元の配列で考察するべき
ではあるが、説明を簡略化するため、上記Ｒ，Ｇ，Ｂの
マトリクスの中央縦列に着目する。この意味において、
一次元のシミュレーションモデルという。すると、上述
した原理から白・黒の境界付近にそれぞれＧ（Ｂ）＝
０．５、Ｒ＝０．５というように偽の色信号が発生し、
この偽の色信号が発生した画素が色にじみ画素として検
出される。色にじみ画素が検出されると、（６）〜
（８）式に従って色差成分Ｃ１およびＣ２が算出され、
この色差成分Ｃ１，Ｃ２が平滑化処理されて色差成分Ｃ
１’，Ｃ２’が得られる。なお、ここでは一次元の平滑
化フィルタとして「1,1,1,1,1,1,1」を適用している。
すなわち、処理対象画素の前後それぞれの三画素の画素
値を合計して「７」で除算する。そして、得られた色差
信号Ｃ１’，Ｃ２’を（６）〜（８）式に基づいて元の
色信号に戻し、平滑処理後のＲ’，Ｇ’，Ｂ’が得られ
る。図からも明らかなように白・黒の境界付近の画素に
おける（Ｒ’，Ｇ’，Ｂ’）はそれぞれ（０．７５，
０．６１，０．６１）と、（０．２５，０．１１，０．
１１）となり、本来の「ＩＮ」の値に近づいて色にじみ
が低減されたことがわかる。

【００９７】また、図２１は、平滑化処理を行うととも
に、平滑化フィルタと同一サイズのアンシャープマスク
を用いてエッジ強調処理を行った場合の一次元シミュレ
ーションモデルを同様に示している。この場合も色差成
分Ｃ１，Ｃ２を求めて平滑化処理を行うことは上述した
ものと相違はないが、（６）〜（８）式を用いて元の色
信号に戻す際に、「1,6,18,25,18,6,1」の重み付けを持
たせた一次元のアンシャープマスクを利用して強調処理
した輝度信号Ｙ’を使用する。すると、白・黒の境界付
近の画素における（Ｒ’，Ｇ’，Ｂ’）はそれぞれ
（０．８１，０．６７，０．６７）と、（０．１０，−
０．０４，−０．０４）となる。むろん、ＲＧＢの信号
値としてとり得る値は「０」〜「１」であるからから実
際には後者のデータは（０．１０，０，０）となり、図
２０に示すものに比べて色にじみがさらに解消されたこ
とがわかる。

【００９８】さらに、図２２は、平滑化フィルタよりも
小さいサイズのアンシャープマスクを用いてエッジ強調
処理を行った場合の一次元シミュレーションモデルを同
様に示している。この場合、一次元の「1,11,25,11,1」
という平滑化フィルタのサイズ（７桁）よりも小さい５
桁のアンシャープマスクを使用している。そして、上述
したものと同様にして演算を行うと、白・黒の境界付近
の画素における（Ｒ’，Ｇ’，Ｂ’）はそれぞれ（０．
７９，０．６５，０．６５）と、（０．１０，−０．０
４，−０．０４）となる。このように、図２１に示すも
のに比べれば、色にじみの解消程度は劣るものの、図２
０に示すものに比べれば色にじみがさらに解消されてい
ることがわかる。

【００９９】次に、上記構成からなる本実施形態の動作
を説明する。単板式のＣＣＤを有するデジタルスチルカ
メラ１２で撮像した実画像をコンピュータ２１に取り込
んで、プリンタ３１にて印刷する場合を想定する。する
と、まず、コンピュータ２１にてオペレーティングシス
テム２１ａが稼働しているもとで、画像処理アプリケー
ション２１ｄを起動させ、デジタルスチルカメラ１２か
ら画像データを取り込む。画像データが同オペレーティ
ングシステム２１ａを介して画像処理アプリケーション
２１ｄに取り込まれたら、ステップＳ１１０にて（１）
式に基づいて画像のサイズを判定するための指標値を取
得するとともに、この指標値と所定のしきい値とを比較
し、ステップＳ１２２〜ステップＳ１２６にて使用する
平滑化フィルタおよびアンシャープマスクのサイズを決
定してワークエリアに保存する。

【０１００】そして、ステップＳ１３０にて処理対象画
素を初期位置に設定し、（２）式に従って当該画素とそ
の周辺画素におけるΔＲＢの値を算出する。その後、ス
テップＳ１４０にて（５）式に基づいて処理対象画素と
その周辺画素との間で同ΔＲＢの値の変化度合いを調
べ、所定のしきい値Ｔｈと比較して同変化度合いが大き
い場合に色にじみ画素と判断する。

【０１０１】色にじみ画素と判断されたら、ステップＳ
１５０にて（６）〜（８）式に基づいて処理対象画素お
よびその周辺画素について色差成分Ｃ１，Ｃ２を算出
し、（９）および（１０）式、あるいは（１１）式など
の判定基準に従って当該色にじみ画素がエッジ画素であ
るか否かを判断する。ここで、エッジ画素ではないもの
と判断した場合には、ステップＳ１５２でステップＳ１
２２〜ステップＳ１２６にてワークエリアに保存してお
いたフィルタサイズに等しい平滑化フィルタを作用させ
る。すなわち、色差成分Ｃ１，Ｃ２のそれぞれにつき、
平滑化フィルタの升目に対応する画素の色差成分を合計
して升目数で除算することにより平滑化処理された色差
成分Ｃ１’，Ｃ２’を得る。

【０１０２】一方、ステップＳ１５０にて当該色にじみ
画素がエッジ画素であると判断した場合には、ステップ
Ｓ１５４で同色にじみ画素を中心とした５×５画素のメ
ジアンフィルタを作用させる。すなわち、色にじみ画素
を中心とした全二十五画素の色差成分の値を昇順または
降順にソートし、中央の値を選択して色にじみ画素の色
差成分と置き換える。このとき、ステップＳ１５０にて
（９）および（１０）式の判定基準を採用した場合に
は、色差成分Ｃ１，Ｃ２のそれぞれにて同式を充足する
色差成分についてステップＳ１５４でメジアンフィルタ
を適用し、同式を充足しない色差成分についてはステッ
プＳ１５２で上記の平滑化フィルタを適用する。むろ
ん、ここにおいて双方の色差成分について同式を充足す
る場合にはステップＳ１５４で色差成分Ｃ１，Ｃ２の双
方についてメジアンフィルタを適用する。他方、ステッ
プＳ１５０にて（１１）式の判定基準を採用する場合に
は、ステップＳ１５４で色差成分Ｃ１，Ｃ２の双方に対
してメジアンフィルタを適用することになる。

【０１０３】その後、ステップＳ１６０にてステップＳ
１２２〜Ｓ１２６で決定したサイズのアンシャープマス
クを使用して処理対象画素およびその周辺画素について
輝度成分Ｙの低周波成分Ｙunsharp を求めるとともに、
元の輝度成分Ｙから同低周波成分Ｙunsharp を減算する
ことにより高周波成分を求め、同元の輝度成分Ｙに当該
高周波成分を加算して強調後の輝度成分Ｙ’を得る。具
体的には、（１３）式などに基づいて演算を行うことに
なる。そして、この強調後の輝度成分Ｙ’と処理後の色
差成分を用いつつ、（６）〜（８）式に基づいて平滑処
理後のＲ’，Ｇ’，Ｂ’の階調データを得る。以上の処
理をステップＳ１７０にて処理対象画素を移動させなが
らステップＳ１８０にて全画素について実行したと判断
するまで繰り返す。

【０１０４】全画素について実行し終えたら、画像処理
された画像データをディスプレイドライバ２１ｃを介し
てディスプレイ３２に表示し、良好であればプリンタド
ライバ２１ｂを介してプリンタ３１にて印刷させる。す
なわち、同プリンタドライバ２１ｂは色にじみが低減さ
れたＲＧＢの階調データを入力し、所定の解像度変換を
経てプリンタ３１の印字ヘッド領域に対応したラスタラ
イズを行なうとともに、ラスタライズデータをＲＧＢか
らＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データ
から二値データへ変換してプリンタ３１へ出力する。

【０１０５】以上の処理により、デジタルスチルカメラ
１２から取り込んだ実画像データは自動的に色にじみが
発生している部分のみ色にじみを低減するように画像処
理されてディスプレイ３２に表示された後、プリンタ３
１にて印刷される。すなわち、色にじみが発生している
部分のみ色にじみを低減するように画像処理するため、
演算量を削減して高速な画像処理を実現することができ
る。

【０１０６】このように、画像処理の中枢をなすコンピ
ュータ２１はステップＳ１３０，Ｓ１４０にて低密度の
要素色強度に基づいて処理対象画素が色にじみ画素か否
かを判定するとともに、色にじみ画素と判定した場合に
ステップＳ１５０にてエッジ画素であるか否かを判断
し、エッジ画素でない場合にはステップＳ１５２にて平
滑化フィルタを作用させ、他方、エッジ画素である場合
にはステップＳ１５４にてメジアンフィルタを作用させ
ることにより、色にじみを低減すべく画像処理するよう
にしたため、演算量を削減して高速な画像処理を実行す
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる画像処理装置を適
用した画像処理システムのブロック図である。

【図２】同画像処理装置の具体的ハードウェアのブロッ
ク図である。

【図３】デジタルスチルカメラの簡単なハードウェア構
成例を示すブロック図である。

【図４】本発明の画像処理装置の他の適用例を示す概略
ブロック図である。

【図５】本発明の画像処理装置の他の適用例を示す概略
ブロック図である。

【図６】本発明の画像処理装置における色にじみ画素の
判定と画像処理部分を示すフローチャートである。

【図７】画像サイズと平滑化領域との関係を示す図であ
る。

【図８】３×３、５×５および７×７画素の平滑化フィ
ルタである。

【図９】同一画素数の画像データにおいてｈｅｉｇｈｔ
とｗｉｄｔｈの関係を示す図である。

【図１０】処理対象画素を移動させていく状態を示す図
である。

【図１１】要素色成分の変化度合いを斜め方向の隣接画
素における差分値で求める場合の説明図である。

【図１２】画像の変化度合いを斜め方向の隣接画素にお
ける差分値で求める場合の説明図である。

【図１３】隣接する全画素間で画像の変化度合いを求め
る場合の説明図である。

【図１４】隣接する画素間で画像の変化度合いを求める
変形例の説明図である。

【図１５】隣接する画素間で画像の変化度合いを求める
別の変形例の説明図である。

【図１６】色にじみ画素を含むエッジ部分の画像データ
において各画素の色差成分値の一例を示す図である。

【図１７】メジアンフィルタによる演算処理の一例を説
明するための図である。

【図１８】３×３、５×５および７×７画素のアンシャ
ープマスクである。

【図１９】平滑化領域とエッジ強調領域との関係を示す
図である。

【図２０】エッジ強調処理を行わない場合の一次元シミ
ュレーションモデルにおける各種パラメータの値を示す
表である。

【図２１】平滑化フィルタと同一サイズのアンシャープ
マスクを用いてエッジ強調処理を行った場合の一次元シ
ミュレーションモデルにおける各種パラメータの値を示
す表である。

【図２２】平滑化フィルタよりも小さいサイズのアンシ
ャープマスクを用いてエッジ強調処理を行った場合の一
次元シミュレーションモデルにおける各種パラメータの
値を示す表である。

【図２３】色にじみの発生原理を説明するための図であ
る。

【符号の説明】

１０…画像入力装置 ２０…画像処理装置 ２１…コンピュータ ２１ａ…オペレーティングシステム ２１ｂ…プリンタドライバ ２１ｃ…ディスプレイドライバ ２１ｄ…画像処理アプリケーション ２２…ハードディスク ２３…キーボード ２４…ＣＤ−ＲＯＭドライブ ２５…フロッピーディスクドライブ ２６…モデム ３０…画像出力装置

Claims (13)

【特許請求の範囲】
1. 【請求項１】 複数要素色の色フィルタが非均一密度で
   モザイク状に配置された単板の固体撮像素子にて撮像す
   るとともに均一密度となるように演算にて補充して生成
   されたドットマトリクス状の画素からなる画像データに
   対して画像処理を行う画像処理装置であって、 上記画像データにおいて色にじみ画素を検出する色にじ
   み画素検出手段と、 色にじみを低減するために色にじみ画素を基準とした所
   定範囲の画素を対象として画像処理するにあたり、上記
   検出された色にじみ画素を基準として同画像処理を実行
   する画像処理手段とを具備することを特徴とする画像処
   理装置。
2. 【請求項２】 上記請求項１に記載の画像処理装置にお
   いて、上記色にじみ画素検出手段は、互いに近接する画
   素間において低密度の色フィルタに対する要素色強度の
   変化度合いに基づいて上記色にじみ画素を検出すること
   を特徴とする画像処理装置。
3. 【請求項３】 上記請求項２に記載の画像処理装置にお
   いて、上記色にじみ画素検出手段は、互いに隣接する画
   素間において基準の要素色強度と低密度の色フィルタに
   対する要素色強度との差分の変化度合いに基づいて上記
   色にじみ画素を検出することを特徴とする画像処理装
   置。
4. 【請求項４】 上記請求項３に記載の画像処理装置にお
   いて、上記色にじみ画素検出手段は、低密度の色フィル
   タが複数ある場合、互いに隣接する画素間において低密
   度の色フィルタに対する要素色強度間の差分の変化度合
   いに基づいて上記色にじみ画素を検出することを特徴と
   する画像処理装置。
5. 【請求項５】 上記請求項２〜請求項４のいずれかに記
   載の画像処理装置において、上記色にじみ画素検出手段
   は、互いに隣接する低密度の画素間における上記変化度
   合いに基づいて上記色にじみ画素を検出することを特徴
   とする画像処理装置。
6. 【請求項６】 上記請求項１〜請求項５のいずれかに記
   載の画像処理装置において、上記画像処理手段は、上記
   色にじみ画素を基準とした所定範囲の画素を対象として
   要素色成分から輝度成分を減算した色差成分を平滑化処
   理し、元の要素色成分に戻すことを特徴とする画像処理
   装置。
7. 【請求項７】 上記請求項６に記載の画像処理装置にお
   いて、上記画像処理手段は、エッジ強調処理することを
   特徴とする画像処理装置。
8. 【請求項８】 上記請求項７に記載の画像処理装置にお
   いて、上記画像処理手段は、上記平滑化処理を行う範囲
   内の画素に対してエッジ強調処理することを特徴とする
   画像処理装置。
9. 【請求項９】 上記請求項６〜請求項８のいずれかに記
   載の画像処理装置において、上記画像処理手段は、上記
   検出された色にじみ画素を基準とした所定範囲の画素を
   対象として平滑化処理を行うにあたり、処理対象となる
   画像のサイズが大きい場合に同平滑化処理する範囲を大
   きくし、同画像のサイズが小さい場合に同平滑化処理す
   る範囲を小さくすることを特徴とする画像処理装置。
10. 【請求項１０】 上記請求項１〜請求項５のいずれかに
    記載の画像処理装置において、上記画像処理手段は、上
    記色にじみ画素を基準とした所定範囲の画素を対象とし
    て要素色成分から輝度成分を減算した色差成分にて中央
    の値を有する色差成分を当該色にじみ画素の色差成分に
    置換して元の要素色成分に戻すことを特徴とする画像処
    理装置。
11. 【請求項１１】 上記請求項１〜請求項５のいずれかに
    記載の画像処理装置において、上記画像処理手段は、上
    記色にじみ画素がエッジ画素であるか否かを判断してエ
    ッジ画素である場合に同色にじみ画素を基準とした所定
    範囲の画素を対象として要素色成分から輝度成分を減算
    した色差成分にて中央の値を有する色差成分を当該色に
    じみ画素の色差成分に置換し、エッジ画素ではない場合
    に同色にじみ画素を基準とした所定範囲の画素を対象と
    して要素色成分から輝度成分を減算した色差成分を平滑
    化処理し、その後に元の要素色成分に戻すことを特徴と
    する画像処理装置。
12. 【請求項１２】 複数要素色の色フィルタが非均一密度
    でモザイク状に配置された単板の固体撮像素子にて撮像
    されるとともに均一密度となるように演算にて補充して
    生成されたドットマトリクス状の画素からなる画像デー
    タに対して画像処理する画像処理方法であって、 上記画像データにおいて色にじみ画素を検出し、 色にじみを低減するために色にじみ画素を基準とした所
    定範囲の画素を対象として画像処理するにあたり、上記
    検出された色にじみ画素を基準として同画像処理を実行
    することを特徴とする画像処理方法。
13. 【請求項１３】 複数要素色の色フィルタが非均一密度
    でモザイク状に配置された単板の固体撮像素子にて撮像
    されるとともに均一密度となるように演算にて補充して
    生成されたドットマトリクス状の画素からなる画像デー
    タに対して画像処理する画像処理装置のための画像処理
    制御プログラムを記録した媒体であって、 上記画像データにおいて色にじみ画素を検出し、 色にじみを低減するために色にじみ画素を基準とした所
    定範囲の画素を対象として画像処理するにあたり、上記
    検出された色にじみ画素を基準として同画像処理を実行
    することを特徴とする画像処理制御プログラムを記録し
    た媒体。