JP2004192164A - 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2004192164A JP2004192164A JP2002357259A JP2002357259A JP2004192164A JP 2004192164 A JP2004192164 A JP 2004192164A JP 2002357259 A JP2002357259 A JP 2002357259A JP 2002357259 A JP2002357259 A JP 2002357259A JP 2004192164 A JP2004192164 A JP 2004192164A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- area
- pixels
- character
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
【課題】高精度な領域分割処理を行うことができる画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体を提供する。
【解決手段】入力された画像データに対して、クラスタリング部１１が再帰的クラス分け処理によってレベルごとに画像データのクラス情報、および、オブジェクト情報を生成する。そして、ランレングス算出部１２が、クラス情報およびオブジェクト情報それぞれについて、水平方向に同一情報を有する画素が連続するランレングスを算出する。文字領域推定部１３が、クラス情報のランレングスに基づいて文字領域に属する画素を推定する。最後に領域判定部１４が、各オブジェクト領域において、文字領域に属すると推定された画素の含有率に基づいて、オブジェクト領域がどの領域に属するかを判定する。
【選択図】 図２
【解決手段】入力された画像データに対して、クラスタリング部１１が再帰的クラス分け処理によってレベルごとに画像データのクラス情報、および、オブジェクト情報を生成する。そして、ランレングス算出部１２が、クラス情報およびオブジェクト情報それぞれについて、水平方向に同一情報を有する画素が連続するランレングスを算出する。文字領域推定部１３が、クラス情報のランレングスに基づいて文字領域に属する画素を推定する。最後に領域判定部１４が、各オブジェクト領域において、文字領域に属すると推定された画素の含有率に基づいて、オブジェクト領域がどの領域に属するかを判定する。
【選択図】 図２
Description
【０００１】
【発明の属する分野】
本発明は、たとえばデジタルテレビ放送から入力された映像について、背景・文字・写真が混在した多階調画像を背景・文字・その他の領域に分割する画像処理方法、画像処理装置、画像形成装置、およびプログラム、記録媒体に関する。
【０００２】
【従来の技術】
チューナを介して受信したデジタルテレビ放送信号を復号して得られた多値入力画像（静止画）データには、文字・写真・背景領域が混在しており、それぞれの領域において固有の画質劣化を伴う。文字領域では、文字にじみ、文字欠けが発生し、写真領域ではＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）によるリンギング、ブロックノイズなどの圧縮アーティファクツが発生する。また、背景領域には少なからずノイズが見られ、そのまま拡大してプリンタ出力した際には画質劣化が非常に目立つ。
【０００３】
また、文字にじみや圧縮によるアーティファクツを解決するような処理を画像データ全体に実施すると画像がぼけたり、写真領域の画質を高めるために、ディテイル再現向上、輪郭強調を行うと、背景領域も強調されてしまい、ノイズを際立たせてしまう。したがって、背景・文字・写真領域などが混在する入力多値画像データの背景領域、文字領域、写真領域を検出して分割し、それぞれの領域に適した処理を行うことが望ましい。
【０００４】
このような課題に対して、従来から画像データの領域分割処理が開発されており、たとえば、複数の画素からなる小領域内の最大画素濃度差を用いて分割する方法がある。この方法では、背景領域の濃度分布が写真・文字領域の濃度分布に比べて、平坦であることを利用し、注目画素を含む小領域内の最大濃度差が第一所定閾値以下であれば、その注目画素を背景領域と判定し、それ以外をオブジェクト領域として判定する。さらに、オブジェクト領域について第２所定閾値以上であれば、注目画素を文字領域と判定し、それ以外を写真領域として判定する。
【０００５】
しかしながら、この方法では、写真領域に含まれるオブジェクトの輪郭など、濃度変化の激しい領域が文字領域として誤って判定されたり、かすれ文字など、２値画像でありながら濃度変化が緩やかな領域が写真領域として誤って判定される。そのため、画像データ全体としては領域分割精度が悪いという問題がある。この問題を解決するための技術として、特許文献１に記載の画像領域分離装置がある。この装置は、背景色画素から構成される背景領域と非背景色画素から構成され、写真や文字等の異なる種類の非背景領域とを有する画像情報を、走査することによって入力する入力手段と、この入力手段により走査毎に入力した画像情報の中から、非背景色画素を検出する非背景色画素分離手段と、非背景色画素分離手段により分離された走査方向に一つ以上連続する非背景色画素を一つのランとし、その長さを検出するラン検出手段と、非背景色画素分離手段により分離された非背景色画素が、非背景領域のエッジを構成するエッジ画素であるかどうかを判定するエッジ画素判定手段と、エッジ画素として判定された非背景色画素の割合に基づき、検出されたランが写真や文字等の異なる種類の非背景領域のうちのいずれの種類の非背景領域に属するかを示すランの属性を判定する領域判定手段とを備えており、これらの手段を用いて領域分割を行う。この領域判定手段では、ラン検出手段で検出されたランの中のエッジ画素の割合が多い場合には、そのランを文字領域として判定し、ランの中のエッジ画素の割合が少ない場合には、そのランを写真領域として判定する。
【０００６】
一般に文字は白色と黒色とが鮮明に分かれており、これに対して写真は白色と黒色とが緩やかに変化していく場合が多い。したがって、一つのランに属する連続した非背景色画素の中で、ラン検出手段によりエッジ画素として判定された非背景色画素の割合が多い場合には、文字領域であると判定することが可能になる。反対に写真領域の場合は文字領域とは異なり、非背景色画素が連続し、かつ、なだらかな変化を呈するために、ランの中でエッジ画素として判定された非背景色画素の割合が少ない場合には、写真領域であると判定することが可能になる。このように、領域判定手段は、非背景色画素から成る主走査方向のランを、各ランにおけるエッジ画素含有率が高い場合には文字領域として判定し、エッジ画素含有率が低い場合には写真領域として判定する。
【０００７】
【特許文献１】
特開平６−５４１８０号公報
【０００８】
【発明が解決しようとする課題】
上記の従来技術においては、Ｎ×Ｎ画素ブロック内の濃度平均値などに基づいて、非背景画素を検出しているが、背景色が白色であることを想定し、色の違いによって非背景画素を検出しているため、デジタルテレビ放送のように様々な色の背景領域を有する入力画像データに対して、背景領域と非背景領域との領域を分割することができない。さらに、エッジ量をＮ×Ｎ画素ブロック内の最大濃度差に基づく固定閾値を用いて２値化処理（クラス分け処理）しているので、非背景領域のうちの文字領域と写真領域との分割精度が悪いという問題がある。
【０００９】
本発明の目的は、高精度な領域分割処理を行うことができる画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体を提供することである。
【００１０】
【課題を解決するための手段】
本発明は、複数の画素からなる画像を示す画像データが入力され、入力された画像データに基づいて画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う領域分割部を備える画像処理装置において、
前記領域分割部は、
注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と各画素の画素値とを比較して注目画素を２つの画素集合にクラス分けし、前記クラス分けによって分類された画素集合に対して、前記閾値とは異なる閾値でさらにクラス分けを行うことで複数段階のクラス分けを行い、段階ごとのクラス分けの結果を示すクラス情報を生成するクラス情報生成手段と、
クラス情報生成手段が生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成するオブジェクト情報生成手段と、
同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であるクラスランレングスと、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数であるオブジェクトランレングスとを前記段階ごとに算出するランレングス算出手段と、
前記クラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに推定する文字領域推定手段と、
オブジェクト情報に基づいて画素が背景領域に属するか否かを判定するとともに、前記オブジェクトランに含まれる画素のうち、前記文字領域推定手段によって文字領域に属すると推定された画素の前記段階ごとの割合に基づいて、オブジェクトランに含まれる画素が文字領域およびその他領域のいずれに属するかを判定する領域判定手段とを有することを特徴とする画像処理装置である。
【００１１】
本発明に従えば、領域分割部は、複数の画素からなる画像を示す画像データに基づいて、画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う。
【００１２】
領域分割部は、上記のような構成となっており、まずクラス情報生成手段が、注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と各画素の画素値とを比較して注目画素のクラス分けを行う。このクラス分けによって各画素は、２つの画素集合に分類され、分類された画素集合の各画素に対して前記閾値とは異なる閾値でさらにクラス分けを行う。この処理を繰り返すことで、複数段階のクラス分けを行う。複数段階のクラス分けの結果は、クラス情報として生成される。クラス情報とは、上記のようにクラス分けによって、分類された際に各画素がいずれのクラス、すなわち明度値などの画素値が閾値以上のクラスまたは閾値未満のクラスに属するかを示す情報である。
【００１３】
たとえば、第１の段階では、１回目のクラス分けによって、２つのクラスに分類され、第２の段階では、これら２つのクラスの画素がさらにクラス分けされて４つのクラスに分類される。したがって、第１の段階のクラス情報は、各画素が２つのクラスのいずれに属するか示し、第２の段階のクラス情報は、各画素が４つのクラスのいずれに属するかを示す。
【００１４】
オブジェクト情報生成手段では、クラス情報生成手段が生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成する。
【００１５】
このようにして、クラス情報およびオブジェクト情報が生成されると、ランレングス算出手段は、クラスランレングスとオブジェクトランレングスとを前記段階ごとに算出する。クラスランレングスは、同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であり、オブジェクトランレングスは、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数である。つまり、クラスランレングスは、クラス分けによって同じクラスに分類された画素が連続して並んだ場合の画素数を示し、オブジェクトランレングスは、背景領域に属する画素が連続して並んだ場合、もしくは背景画素には属しない画素（文字領域またはその他領域に属する画素）が連続して並んだ場合の画素数を示している。
【００１６】
次に、ランレングス算出手段によって算出されたクラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに判断するのであるが、クラスランレングスのみで画素が文字領域に属するか否かを判定すると、判定精度が低いものとなってしまう場合がある。したがって、最終的な判定は、後述の領域判定手段によって行い、文字領域推定手段では、クラスランレングスに基づいて、文字領域に属する可能性が高い画素を段階ごとに推定する。
【００１７】
以上のようにして得られた各手段の動作結果に基づいて、領域判定手段が画素の属する領域を判定する。
【００１８】
まず、オブジェクト情報生成手段によって生成されたオブジェクト情報に基づいて、画素が背景領域に属するか否かを判定する。背景領域に属さないと判定された画素については、次のようにして文字領域に属するか、その他領域に属するかを判定する。
【００１９】
背景領域に属しない画素を含むオブジェクトランについて、このオブジェクトランに含まれる画素のうち、文字領域推定手段によって文字領域に属すると推定された画素の割合を前記段階ごとに算出する。文字領域では、１つのオブジェクトランの中に、同じ段階で文字領域と推定された画素が含まれる割合が多いことから、文字領域に属すると推定された画素の段階ごとの割合に基づいて、オブジェクトランが文字領域に属する画素からなるオブジェクトランであるか否かを判断する。文字領域に属する画素からなるオブジェクトランであれば、そのオブジェクトランに含まれる画素を文字領域に含まれる画素として判定する。文字領域に属する画素からなるオブジェクトランでなければ、そのオブジェクトランに含まれる画素をその他領域に含まれる画素として判定する。
【００２０】
注目画素とその周辺画素とからなる画素ブロックの特徴量に基づく閾値を用いて注目画素のクラス分けを行っているので、固定閾値を用いてクラス分けを行う場合に比べ、周辺画素の影響を反映させたクラス情報およびオブジェクト情報を生成することができる。オブジェクト情報の判定は、オブジェクト情報に基づいて精度よく行われる。文字領域の判定は、クラス情報およびオブジェクト情報を用いて、クラスランレングスに基づく推定と、オブジェクトランに含まれる推定画素数の割合とから判定しているので、精度よく文字領域に属する画素を判定できる。
【００２１】
このように、各領域の判定精度が高いので、画像データの領域分割精度を向上させることができる。
【００２２】
また本発明は、前記クラス情報生成手段は、特徴量として注目画素のエッジ量と、前記画素ブロックに含まれる画素の濃度平均値と、周辺画素が注目画素であったときに行ったクラス分けの閾値とを用い、前記エッジ量を重み係数として、濃度平均値と周辺画素の閾値とを線形補間して閾値を算出することを特徴とする。
【００２３】
本発明に従えば、クラス情報生成手段は、特徴量として注目画素のエッジ量と、画素ブロックに含まれる画素の濃度平均値と、周辺画素が注目画素であったときに行ったクラス分けの閾値とを用い、エッジ量を重み係数として、濃度平均値と周辺画素の閾値とを線形補間して閾値を算出する。
【００２４】
これにより、エッジ強度を反映した閾値を用いるため、文字領域などのエッジ付近の画素において適切にクラス分けを行うことができる。
【００２５】
また本発明は、前記クラス情報生成手段は、前記エッジ量の下限値を画像データのダイナミックレンジに基づいて設定することを特徴とする。
【００２６】
本発明に従えば、クラス情報生成手段は、画前記エッジ量の下限値を画像データのダイナミックレンジに基づいて設定する。
【００２７】
これにより、画像データのダイナミックレンジが狭い場合でも、適切にクラス分けを行うことができる。
【００２８】
また本発明は、前記クラス情報生成手段は、注目画素を所定の走査方向に順次移動させてクラス分けを行い、走査ラインごとに走査方向を変えることを特徴とする。
【００２９】
本発明に従えば、クラス情報生成手段は、注目画素を所定の走査方向に順次移動させてクラス分けを行い、走査ラインごとに走査方向を変える。
【００３０】
クラス情報生成手段が閾値を算出する場合、周辺画素が注目画素であったときに行ったクラス分けの閾値を用いる。したがって、ラインを左から右へ走査するときは、注目画素の上側の周辺画素と左側の周辺画素の閾値を用いることとなる。走査方向を変えずにクラス分けを行うと、常に左側の周辺画素の影響を受けるため、適切な閾値を算出することができない。走査ラインごとに走査方向を変えることによって、左右の周辺画素の影響を平均して受けることができるため、適切なクラス分けを行うことができる。
【００３１】
また本発明は、前記クラス情報生成手段は、周辺画素に含まれるエッジ画素の位置に基づいて、注目画素の閾値を算出せずに周辺画素の閾値の中から選択するか、もしくは濃度平均値と周辺画素の閾値とを線形補間して算出することを特徴とする。
【００３２】
本発明に従えば、クラス情報生成手段は、周辺画素に含まれるエッジ画素の位置に基づいて、注目画素の閾値を算出せずに周辺画素の閾値の中から選択するか、もしくは濃度平均値と周辺画素の閾値とを線形補間して算出する。
【００３３】
周辺画素にエッジ画素が含まれる場合、算出する閾値は、エッジ画素の影響を強く受けることになり、適切な閾値を算出することができない。したがって、エッジ画素の位置が注目画素の上のみの場合は、閾値を算出せずに左側の周辺画素の閾値を注目画素の閾値として用いるなど、エッジ画素の位置に基づいて注目画素の閾値を生成するので、特に注目画素がエッジ付近の背景画素などの場合に適切な閾値を生成してクラス分けを行うことができる。
【００３４】
また本発明は、前記オブジェクト情報生成手段は、前記クラス情報生成手段が生成した閾値として、画像データの最初の注目画素に対して予め定められている初期閾値が連続する場合、注目画素が背景領域に属すると判断することを特徴とする。
【００３５】
本発明に従えば、オブジェクト情報生成手段は、クラス情報生成手段が生成した閾値として、画像データの最初の注目画素に対して予め定められている初期閾値が連続する場合、注目画素が背景領域に属すると判断する。
【００３６】
画像データの最初の注目画素は、背景画素である場合がほとんどであるため、クラス情報生成手段が生成した閾値が初期閾値であり、それが連続するときは、注目画素が背景領域に属する場合が多い。したがって、このような条件で注目画素が背景領域に属するか否かの判断をすることで、容易かつ精度良く判断することができる。
【００３７】
また本発明は、前記ランレングス算出手段は、同種複数処理型演算装置で構成され、走査ラインを予め定める画素数分のクラス情報を含むデータパスに分割し、データパスごとにランレングスを算出し、各データパスの算出後にデータパス間を連結してランレングスを求めることを特徴とする。
【００３８】
本発明に従えば、ランレングス算出手段は、同種複数処理型演算装置で構成される。このとき、走査ラインを予め定める画素数分のクラス情報を含むデータパスに分割し、データパスごとにランレングスを算出し、各データパスの算出後にデータパス間を連結してランレングスを求める。
【００３９】
同種複数処理型演算装置、いわゆるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ＭｕｌｔｉｐｌｅＤａｔａ）型プロセッサは、同種の命令の処理を同時に行うことができる。ランレングスを算出する場合に、命令をランレングスの算出とすると、データパスごとのランレングスの算出処理を同時に行うことができる。したがって、ランレングス算出処理の処理速度を高速化することができる。
【００４０】
また本発明は、前記文字領域推定手段は、ランレングス算出手段により算出されたクラスランレングスを予め定める文字推定閾値と比較し、閾値以下であればクラスランに含まれる画素は文字領域に属すると推定することを特徴とする。
【００４１】
本発明に従えば、文字領域推定手段は、ランレングス算出手段により算出されたクラスランレングスを予め定める文字推定閾値と比較し、閾値以下であればクラスランに含まれる画素は文字領域に属すると推定する。
【００４２】
一般的に文字は繁雑度が高いため、クラスランレングスを文字推定閾値と比較するだけで容易に文字領域に属するか否かを推定することができる。
【００４３】
また本発明は、前記文字領域推定手段は、周辺画素のいずれかが注目画素と同じクラス情報を有し、かつ、文字領域に属しないと推定されている場合、注目画素を文字領域に属しないと推定することを特徴とする。
【００４４】
本発明に従えば、文字領域推定手段は、周辺画素の何れかが注目画素と同じクラス情報を有し、かつ、文字領域に属しないと推定されている場合、注目画素を文字領域に属しないと推定する。
【００４５】
文字領域の推定に用いられるランレングスは、所定の方向、たとえば横方向のみのランレングスであり、ランレングスと閾値の比較のみで推定すると、横方向の繁雑度のみに依存し、推定精度が低くなってしまう。したがって、上記のような条件を付加して推定を行うことで推定精度を高めることができる。
【００４６】
また本発明は、前記領域判定手段によって、文字領域に属すると判定された連続する画素のうち、最端部の画素が有するクラス情報と同じクラス情報を有する画素を文字画素として検知する文字検知手段が備えられていることを特徴とする。
【００４７】
本発明に従えば、文字検知手段は、領域判定手段によって、文字領域に属すると判定された連続する画素のうち、最端部の画素が有するクラス情報と同じクラス情報を有する画素を文字画素として検知する。
【００４８】
文字領域に属する画素は同じクラス情報を有し、文字領域に属すると判定された連続する画素のうち、最端部の画素が文字領域に属する場合が多いので、精度よく文字領域に属する画素を検知することができる。
【００４９】
また本発明は、上記の画像処理装置と、画像処理装置によって処理された画像データを出力する画像出力装置とを備えることを特徴とする画像形成装置である。
【００５０】
本発明に従えば、上記の画像処理装置によって処理された画像データを、画像出力装置から出力する。
【００５１】
これにより、画像データが高精度で領域分割され、各領域に応じた後処理が施された画像データを出力することができるので、高画質な静止画像を形成することができる。
【００５２】
また本発明は、複数の画素からなる画像を示す画像データが入力され、入力された画像データに基づいて画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う領域分割工程を備える画像処理方法において、
前記領域分割工程は、
注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と画素値とを比較して注目画素を２つの画素集合にクラス分けし、前記クラス分けによって分類された画素集合に対して、前記閾値とは異なる閾値でさらにクラス分けを行うことで複数段階のクラス分けを行い、段階ごとのクラス分けの結果を示すクラス情報を生成するクラス情報生成工程と、
クラス情報生成工程で生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成するオブジェクト情報生成工程と、
同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であるクラスランレングスと、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数であるオブジェクトランレングスとを前記段階ごとに算出するランレングス算出工程と、
前記クラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに推定する文字領域推定工程と、
オブジェクト情報に基づいて画素が背景領域に属するか否かを判定するとともに、前記オブジェクトランに含まれる画素のうち、前記文字領域推定工程によって文字領域に属すると推定された画素の前記段階ごとの割合に基づいて、オブジェクトランに含まれる画素が文字領域およびその他領域のいずれに属するかを判定する領域判定工程とを有することを特徴とする画像処理方法である。
【００５３】
本発明に従えば、領域分割工程は、複数の画素からなる画像を示す画像データに基づいて、画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う。
【００５４】
領域分割工程は、上記のような工程からなり、まずクラス情報生成工程が、注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と各画素の画素値とを比較して注目画素のクラス分けを行う。このクラス分けによって各画素は、２つの画素集合に分類され、分類された画素集合の各画素に対して前記閾値とは異なる閾値でさらにクラス分けを行う。この処理を繰り返すことで、複数段階のクラス分けを行う。複数段階のクラス分けの結果は、クラス情報として生成される。クラス情報とは、上記のようにクラス分けによって、分類された際に各画素がいずれのクラス、すなわち明度値などの画素値が閾値以上のクラスまたは閾値未満のクラスに属するかを示す情報である。
【００５５】
たとえば、第１の段階では、１回目のクラス分けによって、２つのクラスに分類され、第２の段階では、これら２つのクラスの画素がさらにクラス分けされて４つのクラスに分類される。したがって、第１の段階のクラス情報は、各画素が２つのクラスのいずれに属するか示し、第２の段階のクラス情報は、各画素が４つのクラスのいずれに属するかを示す。
【００５６】
オブジェクト情報生成工程では、クラス情報生成工程で生成された複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成する。
【００５７】
このようにして、クラス情報およびオブジェクト情報が生成されると、ランレングス算出工程では、クラスランレングスとオブジェクトランレングスとを前記段階ごとに算出する。クラスランレングスは、同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であり、オブジェクトランレングスは、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数である。つまり、クラスランレングスは、クラス分けによって同じクラスに分類された画素が連続して並んだ場合の画素数を示し、オブジェクトランレングスは、背景領域に属する画素が連続して並んだ場合、もしくは背景画素には属しない画素（文字領域またはその他領域に属する画素）が連続して並んだ場合の画素数を示している。
【００５８】
次に、ランレングス算出工程によって算出されたクラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに判断するのであるが、クラスランレングスのみで画素が文字領域に属するか否かを判定すると、判定精度が低いものとなってしまう場合がある。したがって、最終的な判定は、後述の領域判定工程によって行い、文字領域推定工程では、クラスランレングスに基づいて、文字領域に属する可能性が高い画素を段階ごとに推定する。
【００５９】
以上のようにして得られた各工程の結果に基づいて、領域判定工程では、画素の属する領域を判定する。
【００６０】
まず、オブジェクト情報生成工程で生成されたオブジェクト情報に基づいて、画素が背景領域に属するか否かを判定する。背景領域に属さないと判定された画素については、次のようにして文字領域に属するか、その他領域に属するかを判定する。
【００６１】
背景領域に属しない画素を含むオブジェクトランについて、このオブジェクトランに含まれる画素のうち、文字領域推定工程で文字領域に属すると推定された画素の割合を前記段階ごとに算出する。文字領域では、１つのオブジェクトランの中に、同じ段階で文字領域と推定された画素が含まれる割合が多いことから、文字領域に属すると推定された画素の段階ごとの割合に基づいて、オブジェクトランが文字領域に属する画素からなるオブジェクトランであるか否かを判断する。文字領域に属する画素からなるオブジェクトランであれば、そのオブジェクトランに含まれる画素を文字領域に含まれる画素として判定する。文字領域に属する画素からなるオブジェクトランでなければ、そのオブジェクトランに含まれる画素をその他領域に含まれる画素として判定する。
【００６２】
注目画素とその周辺画素とからなる画素ブロックの特徴量に基づく閾値を用いて注目画素のクラス分けを行っているので、固定閾値を用いてクラス分けを行う場合に比べ、周辺画素の影響を反映させたクラス情報およびオブジェクト情報を生成することができる。オブジェクト情報の判定は、オブジェクト情報に基づいて精度よく行われる。文字領域の判定は、クラス情報およびオブジェクト情報を用いて、クラスランレングスに基づく推定と、オブジェクトランに含まれる推定画素数の割合とから判定しているので、精度よく文字領域に属する画素を判定できる。
【００６３】
このように、各領域の判定精度が高いので、画像データの領域分割精度を向上させることができる。
【００６４】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【００６５】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムとして提供することができる。
【００６６】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００６７】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【００６８】
【発明の実施の形態】
本発明は、文字・写真・背景領域が混在する多値入力画像データに対して、領域判定処理を行う画像処理装置であり、たとえば、デジタル放送（データ放送）で得られた多値入力画像データをプリンタなどで印刷する場合に予め画像処理を行う装置である。
【００６９】
図１は、本発明の実施の一形態である画像形成装置１の構成を示すブロック図である。画像形成装置１は、画像処理装置２と画像出力装置であるプリンタ９とからなり、画像処理装置２は、入力部３、領域分割部４、補正部５、解像度変換部６、色補正部７およびハーフトーン部８からなる。
【００７０】
本実施形態における画像形成装置１は、デジタルテレビ放送などで送信される画像データを印刷して出力するデジタルプリンタとして説明する。印刷して出力するためには、まず有線ケーブルまたは放送用無線アンテナなどを介して送られてきたデジタルテレビ放送信号を、チューナなどの入力部３によって、入力多値画像データ（以下では単に画像データと呼ぶ。）に変換する。画像データは、格子状に配列された複数の画素からなり、各画素は明度値や色度などの画素値を有している。
【００７１】
次に、領域分割部４により、画像データの各画素が文字領域、背景領域、写真領域のいずれの領域に属するかを判定し、画像データを文字領域、背景領域、写真領域に分割した後、補正部５によりそれぞれの領域に適した補正処理を行う。
【００７２】
補正部５は、文字にじみ補正処理手段５ａ、圧縮アーティファクツ除去処理手段５ｂ、ノイズ除去処理手段５ｃからなり、文字領域であると判定された領域については、文字にじみ補正処理手段５ａが文字にじみおよび文字欠けを補正する処理を行い、写真領域には、圧縮アーティファクツ除去処理手段５ｂが圧縮によるアーティファクツを除去する処理を行い、また、背景領域には、ノイズ除去処理手段５ｃが雑音成分を除去するような処理を行う。
【００７３】
補正されて画質改善された画像データは、解像度変換部６によって、プリンタ９の解像度に合わせて解像度変換処理される。色補正部７が、解像度変換処理された画像データの色空間をデバイス色空間に変換した後、最後にハーフトーン部８が中間調処理を行い、プリンタ９に出力する。プリンタ９は、たとえば、電子写真方式やインクジェット方式を用いて画像処理装置２から出力された画像データを紙などの記録媒体に印刷する。
【００７４】
なお、以上の処理は不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により制御される。画像処理装置２とプリンタ３とは、接続ケーブルによって直接接続されていてもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続されていても良い。このとき、画像処理装置２はパーソナルコンピュータ（ＰＣ）などであり、プリンタ３はファクシミリ装置やコピー装置または複写機能およびファックス機能を備える複合機などでもよい。
【００７５】
図２は、領域分割部４の構成を示すブロック図である。領域分割部４は、色変換部１０、クラスタリング部１１、ランレングス算出部１２、文字領域推定部１３および領域判定部１４からなる。
【００７６】
領域分割部４では、写真領域、背景領域、文字領域が混在する画像データに対して、色変換部１０が所定の色空間に変換した後、クラスタリング部１１が再帰的クラス分け処理によって画像データのクラス情報、および、オブジェクト情報を生成する。そして、ランレングス算出部１２が、クラス情報およびオブジェクト情報それぞれについて、水平方向に同一情報を有する画素が連続するランレングスを算出する。
【００７７】
次に、文字領域推定部１３は、クラス情報のランレングスに基づいて文字領域に属する画素を推定する。そして、領域判定部１４は、オブジェクト情報のランが連続する各オブジェクト領域において、文字領域に属すると推定された画素の含有率に基づいて、オブジェクト領域が文字領域、背景領域、写真領域のどの領域に属するかを判定する。
【００７８】
以下では、各部位の動作について詳細に説明する。まず色変換部１０において、入力された画像データがＲＧＢ色空間画像であれば、（Ｒ＋Ｇ＋Ｂ）／３を算出して、１つのデータに統一できるよう変換する。
【００７９】
また、他の色変換方法として、入力されたＲＧＢ色空間画像を均等色空間であるＬ＊ａ＊ｂ＊カラースペースＣＩＥ １９７６（ＣＩＥ：Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’Ｅｃｌａｉｒａｇｅ：国際照明委員会。Ｌ＊：明度、ａ＊，ｂ＊：色度）色空間に変換し、そのＬ＊信号を用いる。図３は、入力画像（図３（ａ））と、色空間変換によって生成したＬ＊信号からなる画像（図３（ｂ））の例を示す図である。
【００８０】
クラスタリング部１１は、画像データに対して再帰的クラス分け処理を行い、クラス情報およびオブジェクト情報を生成するクラス情報生成手段およびオブジェクト情報生成手段である。クラス情報とは、再帰的クラス分け処理によって、分類された際に各画素がいずれのクラス、すなわち明度値などの画素値が閾値以上のクラスまたは閾値未満のクラスに属するかを示す情報である。オブジェクト情報とは、各画素が背景領域に属するか、文字領域および写真領域である非背景領域（オブジェクト領域）に属するかを示す情報である。
【００８１】
再帰的クラス分け処理は、注目画素を含む画素ブロックの特徴量を基に閾値を算出し、算出した閾値を用いて注目画素をクラス分けする処理である。まず、画素ブロックとしては、中心となる注目画素とその周辺画素となる８画素を含む３×３画素の画素ブロックを用いる。
【００８２】
図４は、３×３画素の画素ブロックを示す図である。注目画素Ｃ１の座標を（ｘ，ｙ）とすると、周辺画素Ｐ１〜Ｐ８の座標は、それぞれＰ１（ｘ−１，ｙ−１），Ｐ２（ｘ，ｙ−１），Ｐ３（ｘ＋１，ｙ−１），Ｐ４（ｘ−１，ｙ），Ｐ５（ｘ＋１，ｙ），Ｐ６（ｘ−１，ｙ＋１），Ｐ７（ｘ，ｙ＋１），Ｐ８（ｘ＋１，ｙ＋１）となる。特徴量としては、近傍平均値、近傍エッジ量および近傍閾値を用いる。近傍平均値Ａｖｇは、図４に示したウインドウ内の９画素の画素値の平均として求める。また、エッジ量については図５に示すようなｐｒｅｗｉｔｔオペレータ（プリヴィットフィルター）を用いる。３×３画素の画素値を抽出し、画素値にマトリクス係数を畳み込むことで、エッジ量を算出する。図５（ａ）が垂直方向用オペレータ、図５（ｂ）が水平方向用オペレータである。それぞれのオペレータを用いることで、垂直方向エッジｅｄｇｅ＿ｖ量（ｘ， ｙ）および水平方向エッジ量ｅｄｇｅ＿ｈ（ｘ， ｙ）を算出することができる。
【００８３】
そして、上記で求めた近傍平均値Ａｖｇ、垂直方向エッジ量ｅｄｇｅ＿ｖ、水平方向エッジ量ｅｄｇｅ＿ｈ、および近傍閾値（すでにクラス分けされた周辺画素の閾値）を用いて動的に注目画素の閾値を決定する。領域分離の精度を高めるために、画像のエッジ部では、クラスを変化させるように、主に近傍平均値を閾値として用い、画像の平坦部では、クラスを変化させないように、主に近傍閾値を用いてクラス分けする。
【００８４】
そこで、閾値を、エッジ量を重み係数として用いた線形補間により算出する。以下に一般的な線形補間式を示す。
Ｙ＝（１−ａ）×Ｘ１＋ａ×Ｘ２ （１）
ただし、ａの範囲は０≦ａ≦１である。
【００８５】
（１）式において、重み係数ａをエッジ量、Ｘ１を近傍閾値、Ｘ２を近傍平均値として閾値Ｙを算出することにより、エッジ部では主に近傍平均値をクラス分けの閾値として用い、平坦部では、主に近傍閾値を閾値として用いることができる。
そこで、以下の算出式を用いてエッジ量Ｅｄｇｅを算出する。
【００８６】
【数１】
【００８７】
（１）式を用いて線形補間により閾値を算出するためには、重み係数であるエッジ量の範囲が、０≦Ｅｄｇｅ≦１である必要があるが、（２）式で算出されるエッジ量Ｅｄｇｅは、０≦Ｅｄｇｅ≦１の範囲とはならない。したがって、エッジ量Ｅｄｇｅに対して最大値Ｗを設け、最大値で除算することで０≦Ｅｄｇｅ／Ｗ≦１の範囲とすることができる。
【００８８】
エッジ量Ｅｄｇｅの最大値Ｗは、以下の（３）式により設定する。
Ｅｄｇｅ＝Ｅｄｇｅ＞Ｗ ？ Ｗ：Ｅｄｇｅ （３）
【００８９】
（３）式は、Ｅｄｇｅとして、条件を満たすときには前者を、条件を満たさない場合には後者の値を用いることを意味する。つまり、エッジ量ＥｄｇｅがＷより大きい時はＥｄｇｅ＝Ｗとし、Ｗ以下の時は、Ｅｄｇｅをそのまま用いる。
【００９０】
本実施形態における再帰的クラス分け処理は、注目画素とその周辺画素とからなる３×３画素の画素ブロックにおいて、エッジ量、近傍平均値および近傍閾値などの特徴量を求め、求めた特徴量に基づく閾値を生成して注目画素のクラス分けを行う。さらに、クラス分けによって分類された各クラスの画素に対して、異なる閾値でさらにクラス分けを行うことで複数段階（レベル）のクラス分けを行う。また、本実施形態では再帰レベルを３とし、段階的に、強いエッジ部分をクラスの境界として分割するレベル１、比較的強いエッジ部分をクラスの境界として分割するレベル２、および、弱いエッジ部分をクラスの境界として分割するレベル３の３つのレベルで分割することとなる。強いエッジ部分とは、エッジを挟んだ両側の画素間の画素値の差が大きい部分であり、弱いエッジ部分とは、エッジを挟んだ両側の画素間の画素値の差が小さい部分である。
【００９１】
したがって、複数レベルの再帰的クラス分け処理を実現するためにエッジ量の下限値を設ける。
【００９２】
下限値をＷの関数ＬＯＷＥＲ＿ＶＡＬ（Ｗ）とすると、下限値は以下の（４）式により算出される。
Ｅｄｇｅ＝Ｅｄｇｅ＜ＬＯＷＥＲ＿ＶＡＬ（Ｗ） ？ ０：Ｅｄｇｅ （４）
【００９３】
このとき、エッジ量ＥｄｇｅがＬＯＷＥＲ＿ＶＡＬ（Ｗ）より小さい時はＥｄｇｅ＝０とし、ＬＯＷＥＲ＿ＶＡＬ（Ｗ）以上の時は、Ｅｄｇｅをそのまま用いる。
【００９４】
関数ＬＯＷＥＲ＿ＶＡＬ（Ｗ）は、たとえば以下のようなＷの関数とする。
ＬＯＷＥＲ＿ＶＡＬ（Ｗ）＝３２×Ｗ／１２８ （５）
【００９５】
（２）〜（４）式により算出したエッジ量Ｅｄｇｅ、近傍平均値Ａｖｇ、および、近傍閾値ｔｈ（ｘ−１，ｙ），ｔｈ（ｘ，ｙ−１）を（１）式に代入することにより、注目画素における閾値ｔｈ（ｘ，ｙ）を算出することができる。ここで、座標（ｘ−１，ｙ）は周辺画素のうち注目画素Ｃ１の左隣の画素Ｐ４の座標を示し、座標（ｘ，ｙ−１）は周辺画素のうち上の画素Ｐ２の座標を示している。したがって、ｔｈ（ｘ−１，ｙ）は注目画素の左隣の画素Ｐ４をクラス分けしたときの閾値を示し、ｔｈ（ｘ，ｙ−１）は注目画素の上の画素Ｐ２をクラス分けしたときの閾値を示す。
【００９６】
【数２】
【００９７】
（７）式は四捨五入を表す。閾値ｔｈ（ｘ，ｙ）は整数であることから、ＴＨ／Ｗに０．５を加えることにより、四捨五入を実現することができる。しかしながら、整数演算において、除算を行った後に０．５を加える場合、処理量が増加するため、除算における分母を２で割った値を分子に加えた後、分母で割ることにより四捨五入を実現するのが一般的である。
【００９８】
実際にクラス分け処理を行う手順としては、画像データの各画素を行方向（主走査方向）に処理を繰り返して走査する。１ラインの処理が終われば列方向（副走査方向）に処理の対象ラインを移動し、再度主走査方向にクラス分け処理を行う。
【００９９】
前述のように閾値ｔｈ（ｘ，ｙ）を算出するためには、近傍閾値ｔｈ（ｘ−１，ｙ），ｔｈ（ｘ，ｙ−１）が必要であるが、最初のラインをクラス分け処理する場合、注目画素の上の画素が存在しないので、近傍閾値ｔｈ（ｘ，ｙ−１）を用いることができない。また、ラインを左から右へ順次クラス分け処理を行うときに、最初の注目画素、すなわち左端の画素には左隣の画素が存在しないため、近傍閾値ｔｈ（ｘ−１，ｙ）を用いることができない。したがって、予め初期閾値を設定し、近傍画素が存在しない場合には、設定した初期閾値を近傍閾値ｔｈ（ｘ，ｙ−１）および近傍閾値ｔｈ（ｘ−１，ｙ）として閾値ｔｈ（ｘ，ｙ）を算出する。
【０１００】
以下では、画素値、たとえば明度値の範囲を０（黒）〜２５５（白）として、初期閾値を１２８とする。なお、他の初期閾値としては、たとえば画像データ全体の平均画素値などを用いてもよい。
【０１０１】
また、閾値ｔｈ（ｘ，ｙ）を算出するために、近傍閾値ｔｈ（ｘ−１，ｙ），ｔｈ（ｘ，ｙ−１）を用いることから、ラインを主走査方向に走査するときに、常に左から右へクラス分け処理を行うと、閾値ｔｈ（ｘ，ｙ）は、注目画素の左隣の画素の近傍閾値ｔｈ（ｘ−１，ｙ）の影響を受けることになり、適切なクラス分け処理が行われない場合がある。したがって、所定のライン毎に、ラインの左から右への処理と、右から左への処理とを入れ換えてクラス分け処理を行う。ラインの右から左へクラス分け処理を行う場合は、（６）式に代入する近傍閾値を、近傍閾値ｔｈ（ｘ−１，ｙ）から近傍閾値ｔｈ（ｘ＋１，ｙ）に変更すればよい。これにより、閾値ｔｈ（ｘ，ｙ）は、上の画素、および左右の画素を平均的に考慮した閾値として算出することができる。
【０１０２】
さらに、クラスタリング部１１へ入力される画像データとして、明度値など１つの画素値のみでなく、他に色差などを入力し、エッジ量算出に、色差のエッジ量を付加することにより、色差も考慮したクラス分け処理を行うことができる。
【０１０３】
また、画像データ全体のダイナミックレンジ（画素値の最大値と最小値との差）を算出し、以下の式によりＬＯＷＥＲ＿ＶＡＬ（Ｗ）を算出することにより、より画像に適応したクラス分け処理を行うことができ、その結果、処理精度を向上することが可能となる。
【０１０４】
【数３】
Ｄはダイナミックレンジを表す。
【０１０５】
これは、画像におけるエッジ量がダイナミックレンジと大きく関係しており、ダイナミックレンジが狭い（Ｄが小さい）画像はエッジが検出されにくく、エッジ量算出時における下限値をダイナミックレンジに合わせて変更することにより、エッジが検出されにくい画像に対応するためである。
【０１０６】
本実施形態で行われる画像処理は、ラスタ処理であるため、注目画素とエッジ部との位置関係によって同じ平坦部の画素であっても閾値が異なる。たとえば、注目画素の下にエッジ部がある場合は平坦部が連続しており、前述の（６），（７）式に示すように、注目画素の左隣および上の周辺画素、すなわち同じ平坦部の近傍閾値を用いて閾値を算出するのに対し、注目画素の上にエッジ部がある場合は注目画素の上の周辺画素がエッジ画素であるため、エッジ画素および平坦部の画素の近傍閾値を用いて閾値を算出することになる。したがって、同じ平坦部の画素であってもエッジ部との位置関係によって閾値が異なることとなる。図６（ａ）に図３に示した画像データの各画素における（６），（７）式で求めた閾値の分布を示す。背景部分および下部の写真内の陸地や海の部分などの平坦部で閾値の変化が生じていることが分かる。
【０１０７】
そこで、注目画素とエッジ部との位置関係によって、クラス分け処理の閾値の算出方法を変える。まず、注目画素をラインの左から右へ１画素ごとにクラス分け処理を行う場合について説明する。
【０１０８】
図７（ａ）に示すように、周辺画素のうち注目画素の上の画素のみがエッジ画素であり、注目画素の左右にはエッジ画素が存在しない場合には、注目画素の左の画素がクラス分けを行ったときの閾値ｔｈ（ｘ−１，ｙ）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。図７（ｂ）に示すように、周辺画素のうち注目画素の上にはエッジ画素が存在せず、注目画素の左右の画素がエッジ画素である場合には、注目画素の上の画素がクラス分けを行ったときの閾値ｔｈ（ｘ，ｙ−１）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。
【０１０９】
図７（ｃ）に示すように、周辺画素にエッジ画素が存在しない場合には、注目画素の左の画素がクラス分け処理を行ったときの閾値、あるいは、上の画素がクラス分け処理を行ったときの閾値のうち、予め設定されている初期閾値に近いほうの閾値を注目画素の閾値とする。図７（ｄ）に示すように、上記以外の場合には、（６）式を用いて注目画素の閾値を算出する。
【０１１０】
次に、注目画素をラインの右から左へ１画素ごとにクラス分け処理を行う場合について説明する。図８（ａ）に示すように、周辺画素のうち注目画素の上の画素のみがエッジ画素であり、注目画素の左右にはエッジ画素が存在しない場合には、注目画素の右の画素にクラス分け処理を行ったときの閾値ｔｈ（ｘ＋１，ｙ）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。図８（ｂ）に示すように、周辺画素のうち注目画素の上にはエッジ画素が存在せず、注目画素の左右の画素がエッジ画素である場合には、注目画素の上の画素がクラス分け処理を行ったときの閾値ｔｈ（ｘ，ｙ−１）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。
【０１１１】
図８（ｃ）に示すように周辺画素にエッジ画素が存在しない場合には、注目画素の右の画素がクラス分け処理を行ったときの閾値、あるいは、上の画素がクラス分け処理を行ったときの閾値のうち、予め設定されている初期閾値に近いほうの閾値を注目画素の閾値とする。図８（ｄ）に示すように、上記以外の場合には、（６）式を用いて注目画素の閾値を算出する。
【０１１２】
このようにして閾値を決定した場合の閾値の分布を図６（ｂ）に示す。図から平坦部における不自然な閾値の変化を生じていないことが分かる。これにより平坦部の閾値を一定に保つことができ、さらに、後述するオブジェクト情報の作成を行うことができる。
【０１１３】
再帰的クラス分け処理は、上記のように画素ごとに閾値を決定してクラス分け処理が繰り返されることにより実行される。具体的には以下のように実現する。
【０１１４】
本実施形態では、３レベル階層まで、再帰的クラス分け処理を繰り返す。
まず、レベル１におけるクラス分け処理では、エッジ量上限値（＝重み係数の和）Ｗ１を１２８とし、前述のようにして決定した閾値に基づいて、各画素を明度値が０または２５５の２つのクラスに分類する。画素の明度値が閾値より大きいときは、その画素の明度値を２５５とし、閾値より小さいときは、明度値を０とする。このようにして得られた各画素の明度値をレベル１のクラス情報として画素ごとに記憶し、レベル１における分類結果とする。
【０１１５】
レベル２では、レベル１において明度値が０のクラスに分類された各画素および２５５のクラスに分類された各画素について、さらにクラス分け処理を行う。エッジ量上限値をＷ２＝Ｗ１／２（＝６４）と設定することで、レベル１より細かなエッジを検出してクラスの変化を起こしやすくする。また、このとき、エッジ量下限値ＬＯＷＥＲ＿ＶＡＬ（Ｗ２）は、（５）式にＷ＝６４を代入して１６とする。
【０１１６】
レベル２のクラス分け処理では、レベル１において０のクラスに分類された各画素の明度値を０と８５の２つのクラスに分類し、レベル１において２５５のクラスに分類された各画素の明度値を１７０と２５５の２つのクラスに分類する。このようにして得られた各画素の明度値をレベル２のクラス情報として記憶し、レベル２における分類結果とする。
【０１１７】
最後に、レベル３では、レベル２において明度値が０，８５，１７０，２５５のクラスに分類された各画素について、さらにクラス分け処理を行う。エッジ量上限値Ｗ３をＷ３＝Ｗ２／２（＝３２）と設定することで、より細かなエッジを検出してクラスの変化を起こしやすくする。また、このとき、エッジ量下限値ＬＯＷＥＲ＿ＶＡＬ（Ｗ３）は、（５）式にＷ３＝３２を代入して８とする。
【０１１８】
レベル３のクラス分け処理では、レベル２において明度値が０のクラスに分類された各画素の明度値を０と２８の２つのクラスに分類し、８５のクラスに分類された各画素の明度値を５６と８５の２つのクラスに分類し、１７０のクラスに分類された各画素の明度値を１７０と１９６の２つのクラスに分類し、２５５のクラスに分類された各画素の明度値を２２６と２５５の２つのクラスに分類する。このようにして得られた各画素の明度値をレベル３のクラス情報として記憶し、レベル３における分類結果とする。
【０１１９】
図９は、再帰的クラス分け処理を３レベルまで行ったときの画素の分類を模式的に表したツリー構造を示す図である。ここで、０，２８，５６，…２５５はそれぞれクラスの明度値であり、クラスを識別するためのクラス情報である。また、このツリー構造は、クラス情報により、レベル３のクラス情報から容易にレベル１、レベル２におけるクラス情報を求めることができる。たとえば、レベル３では１９６のクラスに属する画素は、レベル２では１７０のクラスに属し、レベル１では２５５に属することがわかる。したがって、各画素については、レベル３におけるクラス情報のみを記憶しておけばよい。
【０１２０】
ただし、必ずしもクラス情報には明度値を用いる必要はなく、レベル３におけるクラス情報からレベル１，２におけるクラス情報がわかれば良い。たとえば、レベル３のクラスにおいて、前述のクラス０をクラス１，クラス２８をクラス２，クラス５６をクラス３，…，クラス２５５をクラス８などとしてもよい。
【０１２１】
さらにクラスタリング部１１は、再帰的クラス分け処理を行う際に決定した画素ごとの閾値に基づいてオブジェクト情報を作成する。オブジェクト情報は画素ごとに決定され、画素が背景領域に属するか、背景以外のオブジェクト（写真、文字など）領域に属するかを示す。たとえば、画素が背景領域に属する場合は、オブジェクト情報を１とし、オブジェクト領域に属する場合は、オブジェクト情報を０として記憶する。
【０１２２】
画素が背景領域に属するかどうかは、レベルごとに決定され、クラス分けに用いた閾値が初期閾値であって、これが継続されている間の画素は背景領域に属すると判断する。図７および図８に示した条件で閾値を決定した場合、初期閾値が継続されるのは、平坦部が連続しているからである。また、背景領域以外の領域は何らかのオブジェクトが存在すると考えられるため、背景領域以外はオブジェクト領域であると判断する。
【０１２３】
したがって、画素ごとに行われる再帰的クラス分け処理において、閾値として用いる近傍閾値が、背景画素の閾値であれば、注目画素は背景領域に属し、非背景画素の閾値であれば、注目画素は背景領域に属するとする。
【０１２４】
また、閾値が式（６）を用いて算出された場合には、注目画素は非背景領域に属するとする。これは、注目画素の閾値が新たに算出されるということは、何らかのオブジェクトが存在すると考えられるためである。
【０１２５】
以上のように、再帰的クラス分け処理によってクラスタリング部１１は、各画素のクラス情報とオブジェクト情報とを作成する。
【０１２６】
図１０は、各画素のクラス情報の分布を示す図である。本実施形態では、クラス情報として明度値を用いており、この明度値を階調値として用いることで、各画素が有するクラス情報を画像として可視化することができる。図１０（ａ）は、レベル１のクラス情報の分布を示し、図１０（ｂ）は、レベル２のクラス情報の分布を示し、図１０（ｃ）は、レベル３のクラス情報の分布を示している。レベル１から３にかけてクラスが詳細に分類される様子が分かる。
【０１２７】
図１１は、各画素のオブジェクト情報の分布を示す図である。図では、背景領域に属する画素の明度値を２５５（白の領域）とし、オブジェクト領域に属する画素の明度値を１２８（グレーの領域）としてオブジェクト情報の分布を示している。
【０１２８】
次に、ランレングス算出手段であるランレングス算出部１２においてクラスタリング部１１で作成したクラス情報およびオブジェクト情報の主走査方向のランレングスを算出する。ランレングスはレベルごと、本実施形態ではレベル３までのランレングスを算出する。
【０１２９】
図１２は、ランレングス算出処理の手順の一例を示す図である。ここでは、１ラインの画素数を１６画素として処理を行うこととする。ランレングス算出処理は、２つの処理からなる。各画素には１つの変数（カウント）が与えられ、このカウントを所定の条件で変化させることによりランレングスを算出する。まず第１の処理は、各画素のクラス情報（図１２（ａ）参照）に基づいて、ラインの左から右方向に同一クラスの画素が連続する限り、画素のカウントを増加させてランレングスを算出する処理であり、第２の処理は、ラインの右から左方向について、右隣りの画素のカウントが注目画素におけるカウントより１大きい場合、右隣りの画素におけるカウントを注目画素のカウントに置き換えることにより、各画素に自らが属するランのランレングスを与える処理である。なお、２つの処理に分割することで、複雑なループ処理を避けることが可能となり、ＳＩＭＤプロセッサ（同種複数処理型演算装置）によってマルチパス処理で行うことができる。
【０１３０】
まず、図１２（ｂ）を参照して、第１の処理について説明する。第１の処理では、図１２（ａ）に示した各画素のクラス情報に基づいて、左隣りの画素のクラス情報が注目画素のクラス情報と同じ場合、左隣りの画素のカウントに１を加えたカウントを注目画素のカウントとする。図１２（ｂ）のレベル１では、まず左端の画素を注目画素とすると、注目画素のレベル１クラス情報は０であり、左隣りの画素が存在しないので、カウント０を出力バッファに書き込み、注目画素を次の右隣の画素に移動する。
【０１３１】
次の注目画素（左から２番目の画素）のレベル１クラス情報も０であるから、左隣の画素のカウントに１を加え、カウント１を出力バッファに書き込む。次の注目画素（左から３番目の画素）のレベル１クラス情報は２５５であり、左隣の画素とは異なるクラスに属するので、カウントを０に戻し、出力バッファにカウント０を書き込む。同様にして左隣の画素のクラス情報と注目画素のクラス情報とを比較しながら１ライン分の画素についてカウントを決定する。カウントが０の画素が現れるまでのカウントがその画素が属するランのランレングスを示す。
【０１３２】
なお、図１２（ａ）に示すクラス情報は、レベル３クラス情報であるため、レベル１のランレングスを算出するためには、レベル３クラス情報からレベル１クラス情報を求める必要がある。たとえば、左から６番目の画素の記憶されているクラス情報は、レベル３クラス情報の１７０であるが、図９に示したツリー構造から、レベル２クラス情報は、１７０であり、レベル１クラス情報は２５５であることがわかる。
【０１３３】
次に、各画素のレベル２クラス情報を求め、レベル１と同様にして、ランレングスを算出する。レベル３クラス情報からレベル２クラス情報を求める方法について説明する。レベル３クラス情報をｉｎ、レベル２クラス情報をｏｕｔとすると、以下の式により容易に実現できる。
【０１３４】
▲１▼ｏｕｔ ＝ ｉｎ ＜ ５６ ？ ０ ： ｏｕｔ；
▲２▼ｏｕｔ ＝ ｉｎ ＜ １７０ ？ ８５ ： ｏｕｔ；
▲３▼ｏｕｔ ＝ ｉｎ ＜ ２２６ ？ １７０ ： ｏｕｔ；
▲４▼ｏｕｔ ＝ ２５５；
【０１３５】
▲１▼レベル３クラス情報を５６と比較し、５６未満ならばレベル２クラス情報を「０」とする。
【０１３６】
▲２▼レベル３クラス情報が５６以上で１７０未満ならば、レベル２クラス情報を「８５」とする。
【０１３７】
▲３▼レベル３クラス情報が１７０以上で２２６未満ならば、レベル２クラス情報を「１７０」とする。
【０１３８】
▲４▼レベル３クラス情報が２２６以上ならば、レベル２クラス情報を「２５５」とする。
【０１３９】
レベル２においては、レベル２より上位であるレベル１におけるクラスの変化を無視してランレングスを算出するために、左隣の画素のクラス情報と注目画素のクラス情報との差の絶対値が２５５となるときには、クラスの変化が無いものとみなし、カウントを０に戻さず、カウントアップを継続する。つまり、レベル１で既にクラスの変化点、すなわちランの境界であると判定された箇所をレベル２以降では検知しないようにする。図１２（ｂ）にレベル２のランレングス算出結果を示す。
【０１４０】
レベル３については、記憶されているそのままのクラス情報を用いてランレングスを算出することができる。ただし、レベル２と同様に、レベル３より上位であるレベル１およびレベル２におけるクラスの変化を無視してランレングスを算出するために、左隣の画素のクラス情報と注目画素のクラス情報との差の絶対値が２８を超えるときには、クラスの変化が無いものとみなし、カウントアップを継続する。以上のような第１の処理により、レベル１〜３までのランレングスを算出することができる。
【０１４１】
第２の処理について説明する。第２の処理では、第１の処理で求めた各画素のカウント（図１２（ｂ））に対して、注目画素のカウントとその右隣り画素のカウントとを比較し、右隣の画素のカウントが注目画素のカウントより１だけ大きければ、注目画素のカウントを右隣りの画素のカウントで置き換える。ランの右端にある画素のカウントはランレングスと等しいので、同じランに属する画素のカウントをランの右端にある画素のカウントで置き換えることによって、各画素が、自らが属するランのランレングスを情報として有することとなる。レベル１の場合を例として以下に説明する（図１２（ｃ）参照）。
・右端の画素のカウントが「１」であり、右隣の画素が存在しないので、カウントは「１」のまま変えない。
・次（右から２番目）の画素のカウントが「０」であり、右隣の画素のカウントが１だけ大きいので、カウントを「１」に置き換える。
・右から３番目の画素のカウントは「３」であり、右隣の画素のカウントが２大きいので、カウントは「３」のまま変えない。
・右から４番目の画素のカウントは「２」であり、右隣の画素のカウントが１だけ大きいので、カウントを「３」に置き換える。
・右から５番目の画素のカウントは「１」であり、右隣の画素のカウントが１だけ大きいので、カウントを「３」に置き換える。
【０１４２】
以下同様にこの処理を繰り返す。なお、注目画素のカウントとその右隣りの画素のカウントとの比較は、第１の処理で求めたカウント（図１２（ｂ））に基づいて行い、置き換えるカウントは第２の処理後のカウントを用いる。これは、連続してカウントされたときのカウントの最大値（ランの右端のカウント）がランレングスに相当するため、連続してカウントされた画素のカウントを最大値で置き換えることに相当する。
【０１４３】
以上の第１および第２の処理と同様の処理を行えば、オブジェクト情報のランレングスを算出することができる。第１の処理では、左隣の画素と同じオブジェクト情報であれば、左隣りの画素のカウントに１を加えたカウントを注目画素のカウントとする。第２の処理では、第１の処理結果に基づいて、カウントの置き換えを行う。
【０１４４】
また、ＳＩＭＤプロセッサのような複数のデータパスを１つのプログラムカウンタで扱うプロセッサでは、１ラインのクラス情報を複数のデータパス、たとえば図１３（ａ）に示すように、データパスＡおよびデータパスＢに分割し、第１の処理では各データパスを同時に処理することができる。
【０１４５】
各データパス内で個別にランレングスを算出し（図１３（ｂ）参照）、データパス間を連結する（図１３（ｃ）参照）。データパスＡとデータパスＢとの連結部において、隣接する画素のクラス情報が同じであれば、データパスＡの右端の画素のカウントを、データパスＢの左端の画素以外でカウントが０の画素が現れるまで加算する（図１３（ｃ）参照）。また、連結部でクラス情報が異なる場合には、そのまま連結する。データパスの連結後は、前述と同様に第２の処理を行い、各画素に自らが属するランのランレングスを与える（図１３（ｄ）参照）。以上の処理により、容易にＳＩＭＤプロセッサにおいて処理を行うことができる。
【０１４６】
次に、文字領域推定手段である文字領域推定部１３において、クラス情報のランレングスに基づいて、文字領域に属する画素を推定する。文字は、一般的に煩雑度が高いと考えられるため、クラス情報のランレングスが文字推定閾値ＳＩＺＥＯＦＴＥＸＴ以下であれば文字領域に属する画素であると推定することができる。
【０１４７】
しかしながら、ランレングス算出部１２で算出したランレングスは、主走査方向のランレングスであるから、閾値ＳＩＺＥＯＦＴＥＸＴに基づいて文字領域の推定を行うと、画像の横方向の煩雑度にのみ依存した判定となり、精度が十分ではない。
【０１４８】
そこで、周辺画素において、注目画素と同一のクラスに属し、かつ、文字領域ではないと推定されている画素が存在する場合、その注目画素は、クラス情報のランレングスが所定の閾値ＳＩＺＥＯＦＴＥＸＴ以下であっても文字領域であると推定しない。この条件を付加して判定することにより、文字領域推定精度を向上することができる。
【０１４９】
さらに、ラインの左から処理を行う場合と右から処理を行う場合とを考慮し、２方向から推定処理を行う。まず、左から右方向に処理を行う場合、クラス情報のランレングスが所定の閾値ＳＩＺＥＯＦＴＥＸＴ以下であっても、図１４に示す処理対象の周辺画素が以下の条件を満たす場合、文字領域であると推定しない。
・左隣の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
・上の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
・左斜め上の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
・右斜め上の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
また、ラインの右から左方向に処理を行う場合、既に左から右方向の処理で文字領域と推定されていても、以下の条件を満たす場合、文字領域であると推定しない。
・右隣の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
以上の２方向の処理（▲１▼ラインの左から右方向の処理、▲２▼ラインの右から左方向処理）により、クラス情報のランレングスに基づいて文字領域を精度良く推定することが出来る。以上の文字領域推定処理を各レベルで行う。
【０１５０】
図１５は、各レベルにおける文字推定領域を示す図である。図１５（ａ）は、レベル１における文字推定領域、図１５（ｂ）は、レベル２における文字推定領域、図１５（ｃ）は、レベル３における文字推定領域をそれぞれ示している。図では、文字領域に属すると推定された画素の明度値を２５５、それ以外の画素の明度値を０としている。
【０１５１】
領域判定部１４は、オブジェクト情報のランレングスおよび文字領域推定結果に基づいて、各画素の属する領域を判定する領域判定手段である。オブジェクト情報のランを単位窓（ある単位をまとめて１つのものとして見なす）とし、文字領域推定部１３の推定結果からレベル毎に文字領域と推定された画素の含有率に基づいて、領域判定を行う。
【０１５２】
まず、単位窓内におけるレベル１の文字推定領域の画素数、レベル２の文字推定領域の画素数、レベル３の文字推定領域の画素数をカウントする。図１６は、領域判定の対象となる単位窓の一例を示す図である。この例では、単位窓であるオブジェクト情報のランレングスを８とし（ランレングス算出処理が０からカウントを始めるため、図では「８」ではなく「７」と表記している。）、文字領域に属すると推定される画素を「＊」、文字領域ではないと推定された画素を「−」で表している。
【０１５３】
まず、単位窓内におけるレベル毎の文字領域推定画素をカウントする。図１６では、レベル１における文字領域推定画素数が４、レベル２における文字領域推定画素数が３、レベル３における文字領域推定画素が０である。
【０１５４】
そして、これらの文字領域推定画素数から背景・文字・写真領域を判定する。文字領域は、連続するオブジェクト領域が１つのレベルの文字領域推定画素で構成されていることが多く、たとえば、以下に示す条件では文字領域である可能性が高い。
【０１５５】
【表１】
【０１５６】
逆に、写真領域は、連続するオブジェクト領域が複数のレベルの文字領域推定画素で構成されていることが多い。たとえば、以下に示す条件では写真領域である可能性が高い。
【０１５７】
【表２】
【０１５８】
実際に判定するには、予めオブジェクト情報のランレングス、レベル１の文字領域推定画素数、レベル２の文字領域推定画素数およびレベル３の文字領域推定画素数と、領域判定結果とを関連付けるＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を記憶しておき、文字領域推定画素数に基づいてＬＵＴを参照することにより、オブジェクト領域が文字領域と写真領域のいずれであるかを判定する。このＬＵＴの作成には、たとえば、ニューラルネットワークを用いた学習方法などが挙げられる。
【０１５９】
なお、背景領域は、オブジェクト情報を作成した際、オブジェクト領域が存在しない領域を背景領域と判定する。また、オブジェクト領域であったとしてもオブジェクト情報のランレングスがある程度大きく、各レベルにおける文字領域推定画素数が少ない場合には、背景領域として判定してもよい。
【０１６０】
図１７は、領域判定結果を示す図である。ただし、文字領域に属する画素の明度値を０（黒の領域）、背景領域に属する画素の明度値を２５５（白の領域）、写真領域に属する画素の明度値を１２８（グレーの領域）としている。
【０１６１】
さらに、領域分割結果に基づいて、文字領域に判定された画素から詳細に文字を検知する。なお、文字検知を行う際には、図１８の領域分割部４のブロック図に示すように、領域判定部１４の後段に文字検知部１５が設けられる。文字検知部１５以外の部位については、図２で説明した部位と同じであるので説明は省略する。なお、文字検知部１５は必ずしも領域分割部４に備える必要はない。
【０１６２】
文字検知部１５は、領域判定部１４において文字領域であると判定された画素について、文字領域推定結果を用いてさらに詳細に文字を検知する。文字推定領域において、連続する文字推定領域の最初の画素の属するクラスが文字クラスであるのが一般的であることから、最初の画素が属するクラスを検知し、文字領域であると判定された領域内において、検知したクラスと同一のクラスに属する画素が文字領域に属すると判定することにより、文字の判定精度をさらに向上させることができる。
【０１６３】
図１９は、文字検知部１５が文字の検知を行った場合の領域判定結果を示す図である。各領域を示す明度値は、図１７に示した判定結果と同じである。図からわかるように図１７に示した判定結果に比べて、精度良く文字領域が分割されているのがわかる。
【０１６４】
図２０は、領域分割処理を示すフローチャートである。まず、ステップＳ１では、色変換部１０によって、入力された画像データの色空間を変換し、明度値など領域判定に用いる画素値を求める。ステップＳ２では、クラスタリング部１１によって、再帰的クラス分け処理を行い、クラス情報およびオブジェクト情報を生成する。ステップＳ３では、ランレングス算出部１２が作成されたクラス情報およびオブジェクト情報の主走査方向ランレングスを算出する。
【０１６５】
ステップＳ４では、文字領域推定部１３が、クラス情報のランレングスと閾値ＳＩＺＥＯＦＴＥＸＴとを比較する。閾値より小さいランレングスを有するランに属する画素を文字領域に属する画素と推定する。ステップＳ５では、領域判定部１４が、オブジェクト情報が連続する領域内の画素のうち文字領域と推定された画素の画素数に基づいて、オブジェクト領域の画素を文字領域か写真領域に判定する。
【０１６６】
以上のように、本実施形態では、周辺画素の影響を考慮して注目画素ごとに閾値を決定する再帰的クラス分け処理によって、画像データを複数のクラスに分類し、この結果に基づいて領域判定を行う。したがって、固定閾値を用いてクラス分け処理を行う場合などと比べて領域分離精度を向上させることができる。
【０１６７】
また、本発明の実施の他の形態は、コンピュータを画像処理装置２として機能させるための画像処理プログラム、および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。これによって、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。
【０１６８】
記録媒体は、プリンタやコンピュータシステム（コンピュータシステムに適用する場合はアプリケーション・ソフトとして用いることができる）に備えられるプログラム読み取り装置により読み取られることで、画像処理プログラムが実行される。
【０１６９】
コンピュータシステムの入力手段としては、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどを用いてもよい。コンピュータシステムは、これらの入力手段と、所定のプログラムがロードされることにより画像処理などを実行するコンピュータと、コンピュータの処理結果を表示するＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）ディスプレイ・液晶ディスプレイなどの画像表示装置と、コンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのモデムなどが備えられる。
【０１７０】
なお、記録媒体としては、プログラム読み取り装置によって読み取られるものには限らず、マイクロコンピュータのメモリ、たとえばＲＯＭであっても良い。記録されているプログラムはマイクロプロセッサがアクセスして実行しても良いし、あるいは、記録媒体から読み出したプログラムを、マイクロコンピュータのプログラム記憶エリアにダウンロードし、そのプログラムを実行してもよい。このダウンロード機能は予めマイクロコンピュータが備えているものとする。
【０１７１】
記録媒体の具体的な例としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）／ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの光ディスクのディスク系、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）、フラッシュＲＯＭなどの半導体メモリを含めた固定的にプログラムを担持する媒体である。
【０１７２】
また、本実施形態においては、コンピュータはインターネットを含む通信ネットワークに接続可能なシステム構成とし、通信ネットワークを介して画像処理プログラムをダウンロードしても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード機能は予めコンピュータに備えておくか、あるいは別な記録媒体からインストールされるものであっても良い。また、ダウンロード用のプログラムはユーザーインターフェースを介して実行されるものであっても良いし、決められたＵＲＬ（Ｕｎｉｆｏｒｍ ＲｅｓｏｕｒｃｅＬｏｃａｔｅｒ）から定期的にプログラムをダウンロードするようなものであっても良い。
【０１７３】
【発明の効果】
以上のように本発明によれば、注目画素とその周辺画素とからなる画素ブロックの特徴量に基づく閾値を用いて注目画素にクラス分けを行っているので、固定閾値を用いてクラス分けを行う場合に比べ、周辺画素の影響を反映させたクラス情報およびオブジェクト情報を生成することができる。オブジェクト情報の判定は、オブジェクト情報に基づいて精度よく行われる。文字領域の判定は、クラス情報およびオブジェクト情報を用いて、クラスランレングスに基づく推定と、オブジェクトランに含まれる推定画素数の割合とから判定しているので、精度よく文字領域に属する画素を判定できる。したがって、各領域の判定精度が高いので、画像データの領域分割精度を向上させることができる。
【０１７４】
また本発明によれば、エッジ強度を反映した閾値を用いるため、文字領域などのエッジ付近の画素において適切にクラス分けを行うことができる。
【０１７５】
また本発明によれば、画像データのダイナミックレンジが狭い場合でも、適切にクラス分けを行うことができる。
【０１７６】
また本発明によれば、走査ラインごとに走査方向を変えることによって、左右の周辺画素の影響を平均して受けることができるため、適切なクラス分けを行うことができる。
【０１７７】
また本発明によれば、エッジ画素の位置が注目画素の上のみ場合は、閾値を算出せずに左側の周辺画素の閾値を注目画素の閾値として用いるなど、エッジ画素の位置に基づいて注目画素の閾値を生成するので、特に注目画素がエッジ付近の背景画素などの場合に適切な閾値を生成してクラス分けを行うことができる。
【０１７８】
また本発明によれば、注目画素が背景領域に属するか否かを容易かつ精度良く判断することができる。
【０１７９】
また本発明によれば、同種複数処理型演算装置、いわゆるＳＩＭＤ（ＳｉｎｇｌｅＩｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）型プロセッサは、同種の命令の処理を同時に行うことができる。ランレングスを算出する場合に、命令をランレングスの算出とすると、データパスごとのランレングスの算出処理を同時に行うことができる。したがって、ランレングス算出処理の処理速度を高速化することができる。
【０１８０】
また本発明によれば、一般的に文字は繁雑度が高いため、クラスランレングスを文字推定閾値と比較するだけで容易に文字領域に属するか否かを推定することができる。
【０１８１】
また本発明によれば、文字領域の推定精度を高めることができる。
また本発明によれば、文字領域に属する画素は同じクラス情報を有し、文字領域に属すると判定された連続する画素のうち、最端部の画素が文字領域に属する場合が多いので、精度よく文字領域に属する画素を検知することができる。
【０１８２】
また本発明によれば、画像データが高精度で領域分割され、各領域に応じた後処理が施された画像データを出力することができるので、高画質な静止画像を形成することができる。
【０１８３】
また本発明によれば、画像処理方法をコンピュータに実行させるための画像処理プログラムとして提供することができる。
【０１８４】
また本発明によれば、画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態である画像形成装置１の構成を示すブロック図である。
【図２】領域分割部４の構成を示すブロック図である。
【図３】入力画像（図３（ａ））と、色空間変換によって生成したＬ＊信号からなる画像（図３（ｂ））の例を示す図である。
【図４】３×３画素の画素ブロックを示す図である。
【図５】Ｐｒｅｗｉｔｔオペレータ（プリヴィットフィルター）の一例を示す図である。
【図６】各画素における閾値の分布を示す図である。
【図７】注目画素と周辺のエッジ画素との位置関係による閾値の決定方法を説明する図である。
【図８】注目画素と周辺のエッジ画素との位置関係による閾値の決定方法を説明する図である。
【図９】再帰的クラス分け処理を３レベルまで行ったときの画素の分類を模式的に表したツリー構造を示す図である。
【図１０】各画素のクラス情報の分布を示す図である。
【図１１】各画素のオブジェクト情報の分布を示す図である。
【図１２】ランレングス算出処理の手順の一例を示す図である。
【図１３】ＳＩＭＤプロセッサを用いたランレングス算出処理の手順の一例を示す図である。
【図１４】文字領域推定部１３が行う文字領域推定処理を説明する図である。
【図１５】各レベルにおける文字推定領域を示す図である。
【図１６】領域判定の対象となる単位窓の一例を示す図である。
【図１７】領域判定結果を示す図である。
【図１８】領域分割部４の他の構成を示すブロック図である。
【図１９】文字検知部１５が文字の検知を行った場合の領域判定結果を示す図である。
【図２０】領域分割処理を示すフローチャートである。
【符号の説明】
１ 画像形成装置
２ 画像処理装置
３ 入力部
４ 領域分割部
５ 補正部
６ 解像度変換部
７ 色補正部
８ ハーフトーン部
９ プリンタ
１０ 色変換部
１１ クラスタリング部
１２ ランレングス算出部
１３ 文字領域推定部
１４ 領域判定部
【発明の属する分野】
本発明は、たとえばデジタルテレビ放送から入力された映像について、背景・文字・写真が混在した多階調画像を背景・文字・その他の領域に分割する画像処理方法、画像処理装置、画像形成装置、およびプログラム、記録媒体に関する。
【０００２】
【従来の技術】
チューナを介して受信したデジタルテレビ放送信号を復号して得られた多値入力画像（静止画）データには、文字・写真・背景領域が混在しており、それぞれの領域において固有の画質劣化を伴う。文字領域では、文字にじみ、文字欠けが発生し、写真領域ではＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）によるリンギング、ブロックノイズなどの圧縮アーティファクツが発生する。また、背景領域には少なからずノイズが見られ、そのまま拡大してプリンタ出力した際には画質劣化が非常に目立つ。
【０００３】
また、文字にじみや圧縮によるアーティファクツを解決するような処理を画像データ全体に実施すると画像がぼけたり、写真領域の画質を高めるために、ディテイル再現向上、輪郭強調を行うと、背景領域も強調されてしまい、ノイズを際立たせてしまう。したがって、背景・文字・写真領域などが混在する入力多値画像データの背景領域、文字領域、写真領域を検出して分割し、それぞれの領域に適した処理を行うことが望ましい。
【０００４】
このような課題に対して、従来から画像データの領域分割処理が開発されており、たとえば、複数の画素からなる小領域内の最大画素濃度差を用いて分割する方法がある。この方法では、背景領域の濃度分布が写真・文字領域の濃度分布に比べて、平坦であることを利用し、注目画素を含む小領域内の最大濃度差が第一所定閾値以下であれば、その注目画素を背景領域と判定し、それ以外をオブジェクト領域として判定する。さらに、オブジェクト領域について第２所定閾値以上であれば、注目画素を文字領域と判定し、それ以外を写真領域として判定する。
【０００５】
しかしながら、この方法では、写真領域に含まれるオブジェクトの輪郭など、濃度変化の激しい領域が文字領域として誤って判定されたり、かすれ文字など、２値画像でありながら濃度変化が緩やかな領域が写真領域として誤って判定される。そのため、画像データ全体としては領域分割精度が悪いという問題がある。この問題を解決するための技術として、特許文献１に記載の画像領域分離装置がある。この装置は、背景色画素から構成される背景領域と非背景色画素から構成され、写真や文字等の異なる種類の非背景領域とを有する画像情報を、走査することによって入力する入力手段と、この入力手段により走査毎に入力した画像情報の中から、非背景色画素を検出する非背景色画素分離手段と、非背景色画素分離手段により分離された走査方向に一つ以上連続する非背景色画素を一つのランとし、その長さを検出するラン検出手段と、非背景色画素分離手段により分離された非背景色画素が、非背景領域のエッジを構成するエッジ画素であるかどうかを判定するエッジ画素判定手段と、エッジ画素として判定された非背景色画素の割合に基づき、検出されたランが写真や文字等の異なる種類の非背景領域のうちのいずれの種類の非背景領域に属するかを示すランの属性を判定する領域判定手段とを備えており、これらの手段を用いて領域分割を行う。この領域判定手段では、ラン検出手段で検出されたランの中のエッジ画素の割合が多い場合には、そのランを文字領域として判定し、ランの中のエッジ画素の割合が少ない場合には、そのランを写真領域として判定する。
【０００６】
一般に文字は白色と黒色とが鮮明に分かれており、これに対して写真は白色と黒色とが緩やかに変化していく場合が多い。したがって、一つのランに属する連続した非背景色画素の中で、ラン検出手段によりエッジ画素として判定された非背景色画素の割合が多い場合には、文字領域であると判定することが可能になる。反対に写真領域の場合は文字領域とは異なり、非背景色画素が連続し、かつ、なだらかな変化を呈するために、ランの中でエッジ画素として判定された非背景色画素の割合が少ない場合には、写真領域であると判定することが可能になる。このように、領域判定手段は、非背景色画素から成る主走査方向のランを、各ランにおけるエッジ画素含有率が高い場合には文字領域として判定し、エッジ画素含有率が低い場合には写真領域として判定する。
【０００７】
【特許文献１】
特開平６−５４１８０号公報
【０００８】
【発明が解決しようとする課題】
上記の従来技術においては、Ｎ×Ｎ画素ブロック内の濃度平均値などに基づいて、非背景画素を検出しているが、背景色が白色であることを想定し、色の違いによって非背景画素を検出しているため、デジタルテレビ放送のように様々な色の背景領域を有する入力画像データに対して、背景領域と非背景領域との領域を分割することができない。さらに、エッジ量をＮ×Ｎ画素ブロック内の最大濃度差に基づく固定閾値を用いて２値化処理（クラス分け処理）しているので、非背景領域のうちの文字領域と写真領域との分割精度が悪いという問題がある。
【０００９】
本発明の目的は、高精度な領域分割処理を行うことができる画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体を提供することである。
【００１０】
【課題を解決するための手段】
本発明は、複数の画素からなる画像を示す画像データが入力され、入力された画像データに基づいて画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う領域分割部を備える画像処理装置において、
前記領域分割部は、
注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と各画素の画素値とを比較して注目画素を２つの画素集合にクラス分けし、前記クラス分けによって分類された画素集合に対して、前記閾値とは異なる閾値でさらにクラス分けを行うことで複数段階のクラス分けを行い、段階ごとのクラス分けの結果を示すクラス情報を生成するクラス情報生成手段と、
クラス情報生成手段が生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成するオブジェクト情報生成手段と、
同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であるクラスランレングスと、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数であるオブジェクトランレングスとを前記段階ごとに算出するランレングス算出手段と、
前記クラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに推定する文字領域推定手段と、
オブジェクト情報に基づいて画素が背景領域に属するか否かを判定するとともに、前記オブジェクトランに含まれる画素のうち、前記文字領域推定手段によって文字領域に属すると推定された画素の前記段階ごとの割合に基づいて、オブジェクトランに含まれる画素が文字領域およびその他領域のいずれに属するかを判定する領域判定手段とを有することを特徴とする画像処理装置である。
【００１１】
本発明に従えば、領域分割部は、複数の画素からなる画像を示す画像データに基づいて、画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う。
【００１２】
領域分割部は、上記のような構成となっており、まずクラス情報生成手段が、注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と各画素の画素値とを比較して注目画素のクラス分けを行う。このクラス分けによって各画素は、２つの画素集合に分類され、分類された画素集合の各画素に対して前記閾値とは異なる閾値でさらにクラス分けを行う。この処理を繰り返すことで、複数段階のクラス分けを行う。複数段階のクラス分けの結果は、クラス情報として生成される。クラス情報とは、上記のようにクラス分けによって、分類された際に各画素がいずれのクラス、すなわち明度値などの画素値が閾値以上のクラスまたは閾値未満のクラスに属するかを示す情報である。
【００１３】
たとえば、第１の段階では、１回目のクラス分けによって、２つのクラスに分類され、第２の段階では、これら２つのクラスの画素がさらにクラス分けされて４つのクラスに分類される。したがって、第１の段階のクラス情報は、各画素が２つのクラスのいずれに属するか示し、第２の段階のクラス情報は、各画素が４つのクラスのいずれに属するかを示す。
【００１４】
オブジェクト情報生成手段では、クラス情報生成手段が生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成する。
【００１５】
このようにして、クラス情報およびオブジェクト情報が生成されると、ランレングス算出手段は、クラスランレングスとオブジェクトランレングスとを前記段階ごとに算出する。クラスランレングスは、同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であり、オブジェクトランレングスは、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数である。つまり、クラスランレングスは、クラス分けによって同じクラスに分類された画素が連続して並んだ場合の画素数を示し、オブジェクトランレングスは、背景領域に属する画素が連続して並んだ場合、もしくは背景画素には属しない画素（文字領域またはその他領域に属する画素）が連続して並んだ場合の画素数を示している。
【００１６】
次に、ランレングス算出手段によって算出されたクラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに判断するのであるが、クラスランレングスのみで画素が文字領域に属するか否かを判定すると、判定精度が低いものとなってしまう場合がある。したがって、最終的な判定は、後述の領域判定手段によって行い、文字領域推定手段では、クラスランレングスに基づいて、文字領域に属する可能性が高い画素を段階ごとに推定する。
【００１７】
以上のようにして得られた各手段の動作結果に基づいて、領域判定手段が画素の属する領域を判定する。
【００１８】
まず、オブジェクト情報生成手段によって生成されたオブジェクト情報に基づいて、画素が背景領域に属するか否かを判定する。背景領域に属さないと判定された画素については、次のようにして文字領域に属するか、その他領域に属するかを判定する。
【００１９】
背景領域に属しない画素を含むオブジェクトランについて、このオブジェクトランに含まれる画素のうち、文字領域推定手段によって文字領域に属すると推定された画素の割合を前記段階ごとに算出する。文字領域では、１つのオブジェクトランの中に、同じ段階で文字領域と推定された画素が含まれる割合が多いことから、文字領域に属すると推定された画素の段階ごとの割合に基づいて、オブジェクトランが文字領域に属する画素からなるオブジェクトランであるか否かを判断する。文字領域に属する画素からなるオブジェクトランであれば、そのオブジェクトランに含まれる画素を文字領域に含まれる画素として判定する。文字領域に属する画素からなるオブジェクトランでなければ、そのオブジェクトランに含まれる画素をその他領域に含まれる画素として判定する。
【００２０】
注目画素とその周辺画素とからなる画素ブロックの特徴量に基づく閾値を用いて注目画素のクラス分けを行っているので、固定閾値を用いてクラス分けを行う場合に比べ、周辺画素の影響を反映させたクラス情報およびオブジェクト情報を生成することができる。オブジェクト情報の判定は、オブジェクト情報に基づいて精度よく行われる。文字領域の判定は、クラス情報およびオブジェクト情報を用いて、クラスランレングスに基づく推定と、オブジェクトランに含まれる推定画素数の割合とから判定しているので、精度よく文字領域に属する画素を判定できる。
【００２１】
このように、各領域の判定精度が高いので、画像データの領域分割精度を向上させることができる。
【００２２】
また本発明は、前記クラス情報生成手段は、特徴量として注目画素のエッジ量と、前記画素ブロックに含まれる画素の濃度平均値と、周辺画素が注目画素であったときに行ったクラス分けの閾値とを用い、前記エッジ量を重み係数として、濃度平均値と周辺画素の閾値とを線形補間して閾値を算出することを特徴とする。
【００２３】
本発明に従えば、クラス情報生成手段は、特徴量として注目画素のエッジ量と、画素ブロックに含まれる画素の濃度平均値と、周辺画素が注目画素であったときに行ったクラス分けの閾値とを用い、エッジ量を重み係数として、濃度平均値と周辺画素の閾値とを線形補間して閾値を算出する。
【００２４】
これにより、エッジ強度を反映した閾値を用いるため、文字領域などのエッジ付近の画素において適切にクラス分けを行うことができる。
【００２５】
また本発明は、前記クラス情報生成手段は、前記エッジ量の下限値を画像データのダイナミックレンジに基づいて設定することを特徴とする。
【００２６】
本発明に従えば、クラス情報生成手段は、画前記エッジ量の下限値を画像データのダイナミックレンジに基づいて設定する。
【００２７】
これにより、画像データのダイナミックレンジが狭い場合でも、適切にクラス分けを行うことができる。
【００２８】
また本発明は、前記クラス情報生成手段は、注目画素を所定の走査方向に順次移動させてクラス分けを行い、走査ラインごとに走査方向を変えることを特徴とする。
【００２９】
本発明に従えば、クラス情報生成手段は、注目画素を所定の走査方向に順次移動させてクラス分けを行い、走査ラインごとに走査方向を変える。
【００３０】
クラス情報生成手段が閾値を算出する場合、周辺画素が注目画素であったときに行ったクラス分けの閾値を用いる。したがって、ラインを左から右へ走査するときは、注目画素の上側の周辺画素と左側の周辺画素の閾値を用いることとなる。走査方向を変えずにクラス分けを行うと、常に左側の周辺画素の影響を受けるため、適切な閾値を算出することができない。走査ラインごとに走査方向を変えることによって、左右の周辺画素の影響を平均して受けることができるため、適切なクラス分けを行うことができる。
【００３１】
また本発明は、前記クラス情報生成手段は、周辺画素に含まれるエッジ画素の位置に基づいて、注目画素の閾値を算出せずに周辺画素の閾値の中から選択するか、もしくは濃度平均値と周辺画素の閾値とを線形補間して算出することを特徴とする。
【００３２】
本発明に従えば、クラス情報生成手段は、周辺画素に含まれるエッジ画素の位置に基づいて、注目画素の閾値を算出せずに周辺画素の閾値の中から選択するか、もしくは濃度平均値と周辺画素の閾値とを線形補間して算出する。
【００３３】
周辺画素にエッジ画素が含まれる場合、算出する閾値は、エッジ画素の影響を強く受けることになり、適切な閾値を算出することができない。したがって、エッジ画素の位置が注目画素の上のみの場合は、閾値を算出せずに左側の周辺画素の閾値を注目画素の閾値として用いるなど、エッジ画素の位置に基づいて注目画素の閾値を生成するので、特に注目画素がエッジ付近の背景画素などの場合に適切な閾値を生成してクラス分けを行うことができる。
【００３４】
また本発明は、前記オブジェクト情報生成手段は、前記クラス情報生成手段が生成した閾値として、画像データの最初の注目画素に対して予め定められている初期閾値が連続する場合、注目画素が背景領域に属すると判断することを特徴とする。
【００３５】
本発明に従えば、オブジェクト情報生成手段は、クラス情報生成手段が生成した閾値として、画像データの最初の注目画素に対して予め定められている初期閾値が連続する場合、注目画素が背景領域に属すると判断する。
【００３６】
画像データの最初の注目画素は、背景画素である場合がほとんどであるため、クラス情報生成手段が生成した閾値が初期閾値であり、それが連続するときは、注目画素が背景領域に属する場合が多い。したがって、このような条件で注目画素が背景領域に属するか否かの判断をすることで、容易かつ精度良く判断することができる。
【００３７】
また本発明は、前記ランレングス算出手段は、同種複数処理型演算装置で構成され、走査ラインを予め定める画素数分のクラス情報を含むデータパスに分割し、データパスごとにランレングスを算出し、各データパスの算出後にデータパス間を連結してランレングスを求めることを特徴とする。
【００３８】
本発明に従えば、ランレングス算出手段は、同種複数処理型演算装置で構成される。このとき、走査ラインを予め定める画素数分のクラス情報を含むデータパスに分割し、データパスごとにランレングスを算出し、各データパスの算出後にデータパス間を連結してランレングスを求める。
【００３９】
同種複数処理型演算装置、いわゆるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ＭｕｌｔｉｐｌｅＤａｔａ）型プロセッサは、同種の命令の処理を同時に行うことができる。ランレングスを算出する場合に、命令をランレングスの算出とすると、データパスごとのランレングスの算出処理を同時に行うことができる。したがって、ランレングス算出処理の処理速度を高速化することができる。
【００４０】
また本発明は、前記文字領域推定手段は、ランレングス算出手段により算出されたクラスランレングスを予め定める文字推定閾値と比較し、閾値以下であればクラスランに含まれる画素は文字領域に属すると推定することを特徴とする。
【００４１】
本発明に従えば、文字領域推定手段は、ランレングス算出手段により算出されたクラスランレングスを予め定める文字推定閾値と比較し、閾値以下であればクラスランに含まれる画素は文字領域に属すると推定する。
【００４２】
一般的に文字は繁雑度が高いため、クラスランレングスを文字推定閾値と比較するだけで容易に文字領域に属するか否かを推定することができる。
【００４３】
また本発明は、前記文字領域推定手段は、周辺画素のいずれかが注目画素と同じクラス情報を有し、かつ、文字領域に属しないと推定されている場合、注目画素を文字領域に属しないと推定することを特徴とする。
【００４４】
本発明に従えば、文字領域推定手段は、周辺画素の何れかが注目画素と同じクラス情報を有し、かつ、文字領域に属しないと推定されている場合、注目画素を文字領域に属しないと推定する。
【００４５】
文字領域の推定に用いられるランレングスは、所定の方向、たとえば横方向のみのランレングスであり、ランレングスと閾値の比較のみで推定すると、横方向の繁雑度のみに依存し、推定精度が低くなってしまう。したがって、上記のような条件を付加して推定を行うことで推定精度を高めることができる。
【００４６】
また本発明は、前記領域判定手段によって、文字領域に属すると判定された連続する画素のうち、最端部の画素が有するクラス情報と同じクラス情報を有する画素を文字画素として検知する文字検知手段が備えられていることを特徴とする。
【００４７】
本発明に従えば、文字検知手段は、領域判定手段によって、文字領域に属すると判定された連続する画素のうち、最端部の画素が有するクラス情報と同じクラス情報を有する画素を文字画素として検知する。
【００４８】
文字領域に属する画素は同じクラス情報を有し、文字領域に属すると判定された連続する画素のうち、最端部の画素が文字領域に属する場合が多いので、精度よく文字領域に属する画素を検知することができる。
【００４９】
また本発明は、上記の画像処理装置と、画像処理装置によって処理された画像データを出力する画像出力装置とを備えることを特徴とする画像形成装置である。
【００５０】
本発明に従えば、上記の画像処理装置によって処理された画像データを、画像出力装置から出力する。
【００５１】
これにより、画像データが高精度で領域分割され、各領域に応じた後処理が施された画像データを出力することができるので、高画質な静止画像を形成することができる。
【００５２】
また本発明は、複数の画素からなる画像を示す画像データが入力され、入力された画像データに基づいて画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う領域分割工程を備える画像処理方法において、
前記領域分割工程は、
注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と画素値とを比較して注目画素を２つの画素集合にクラス分けし、前記クラス分けによって分類された画素集合に対して、前記閾値とは異なる閾値でさらにクラス分けを行うことで複数段階のクラス分けを行い、段階ごとのクラス分けの結果を示すクラス情報を生成するクラス情報生成工程と、
クラス情報生成工程で生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成するオブジェクト情報生成工程と、
同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であるクラスランレングスと、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数であるオブジェクトランレングスとを前記段階ごとに算出するランレングス算出工程と、
前記クラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに推定する文字領域推定工程と、
オブジェクト情報に基づいて画素が背景領域に属するか否かを判定するとともに、前記オブジェクトランに含まれる画素のうち、前記文字領域推定工程によって文字領域に属すると推定された画素の前記段階ごとの割合に基づいて、オブジェクトランに含まれる画素が文字領域およびその他領域のいずれに属するかを判定する領域判定工程とを有することを特徴とする画像処理方法である。
【００５３】
本発明に従えば、領域分割工程は、複数の画素からなる画像を示す画像データに基づいて、画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う。
【００５４】
領域分割工程は、上記のような工程からなり、まずクラス情報生成工程が、注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と各画素の画素値とを比較して注目画素のクラス分けを行う。このクラス分けによって各画素は、２つの画素集合に分類され、分類された画素集合の各画素に対して前記閾値とは異なる閾値でさらにクラス分けを行う。この処理を繰り返すことで、複数段階のクラス分けを行う。複数段階のクラス分けの結果は、クラス情報として生成される。クラス情報とは、上記のようにクラス分けによって、分類された際に各画素がいずれのクラス、すなわち明度値などの画素値が閾値以上のクラスまたは閾値未満のクラスに属するかを示す情報である。
【００５５】
たとえば、第１の段階では、１回目のクラス分けによって、２つのクラスに分類され、第２の段階では、これら２つのクラスの画素がさらにクラス分けされて４つのクラスに分類される。したがって、第１の段階のクラス情報は、各画素が２つのクラスのいずれに属するか示し、第２の段階のクラス情報は、各画素が４つのクラスのいずれに属するかを示す。
【００５６】
オブジェクト情報生成工程では、クラス情報生成工程で生成された複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成する。
【００５７】
このようにして、クラス情報およびオブジェクト情報が生成されると、ランレングス算出工程では、クラスランレングスとオブジェクトランレングスとを前記段階ごとに算出する。クラスランレングスは、同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であり、オブジェクトランレングスは、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数である。つまり、クラスランレングスは、クラス分けによって同じクラスに分類された画素が連続して並んだ場合の画素数を示し、オブジェクトランレングスは、背景領域に属する画素が連続して並んだ場合、もしくは背景画素には属しない画素（文字領域またはその他領域に属する画素）が連続して並んだ場合の画素数を示している。
【００５８】
次に、ランレングス算出工程によって算出されたクラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに判断するのであるが、クラスランレングスのみで画素が文字領域に属するか否かを判定すると、判定精度が低いものとなってしまう場合がある。したがって、最終的な判定は、後述の領域判定工程によって行い、文字領域推定工程では、クラスランレングスに基づいて、文字領域に属する可能性が高い画素を段階ごとに推定する。
【００５９】
以上のようにして得られた各工程の結果に基づいて、領域判定工程では、画素の属する領域を判定する。
【００６０】
まず、オブジェクト情報生成工程で生成されたオブジェクト情報に基づいて、画素が背景領域に属するか否かを判定する。背景領域に属さないと判定された画素については、次のようにして文字領域に属するか、その他領域に属するかを判定する。
【００６１】
背景領域に属しない画素を含むオブジェクトランについて、このオブジェクトランに含まれる画素のうち、文字領域推定工程で文字領域に属すると推定された画素の割合を前記段階ごとに算出する。文字領域では、１つのオブジェクトランの中に、同じ段階で文字領域と推定された画素が含まれる割合が多いことから、文字領域に属すると推定された画素の段階ごとの割合に基づいて、オブジェクトランが文字領域に属する画素からなるオブジェクトランであるか否かを判断する。文字領域に属する画素からなるオブジェクトランであれば、そのオブジェクトランに含まれる画素を文字領域に含まれる画素として判定する。文字領域に属する画素からなるオブジェクトランでなければ、そのオブジェクトランに含まれる画素をその他領域に含まれる画素として判定する。
【００６２】
注目画素とその周辺画素とからなる画素ブロックの特徴量に基づく閾値を用いて注目画素のクラス分けを行っているので、固定閾値を用いてクラス分けを行う場合に比べ、周辺画素の影響を反映させたクラス情報およびオブジェクト情報を生成することができる。オブジェクト情報の判定は、オブジェクト情報に基づいて精度よく行われる。文字領域の判定は、クラス情報およびオブジェクト情報を用いて、クラスランレングスに基づく推定と、オブジェクトランに含まれる推定画素数の割合とから判定しているので、精度よく文字領域に属する画素を判定できる。
【００６３】
このように、各領域の判定精度が高いので、画像データの領域分割精度を向上させることができる。
【００６４】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【００６５】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムとして提供することができる。
【００６６】
また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００６７】
本発明に従えば、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【００６８】
【発明の実施の形態】
本発明は、文字・写真・背景領域が混在する多値入力画像データに対して、領域判定処理を行う画像処理装置であり、たとえば、デジタル放送（データ放送）で得られた多値入力画像データをプリンタなどで印刷する場合に予め画像処理を行う装置である。
【００６９】
図１は、本発明の実施の一形態である画像形成装置１の構成を示すブロック図である。画像形成装置１は、画像処理装置２と画像出力装置であるプリンタ９とからなり、画像処理装置２は、入力部３、領域分割部４、補正部５、解像度変換部６、色補正部７およびハーフトーン部８からなる。
【００７０】
本実施形態における画像形成装置１は、デジタルテレビ放送などで送信される画像データを印刷して出力するデジタルプリンタとして説明する。印刷して出力するためには、まず有線ケーブルまたは放送用無線アンテナなどを介して送られてきたデジタルテレビ放送信号を、チューナなどの入力部３によって、入力多値画像データ（以下では単に画像データと呼ぶ。）に変換する。画像データは、格子状に配列された複数の画素からなり、各画素は明度値や色度などの画素値を有している。
【００７１】
次に、領域分割部４により、画像データの各画素が文字領域、背景領域、写真領域のいずれの領域に属するかを判定し、画像データを文字領域、背景領域、写真領域に分割した後、補正部５によりそれぞれの領域に適した補正処理を行う。
【００７２】
補正部５は、文字にじみ補正処理手段５ａ、圧縮アーティファクツ除去処理手段５ｂ、ノイズ除去処理手段５ｃからなり、文字領域であると判定された領域については、文字にじみ補正処理手段５ａが文字にじみおよび文字欠けを補正する処理を行い、写真領域には、圧縮アーティファクツ除去処理手段５ｂが圧縮によるアーティファクツを除去する処理を行い、また、背景領域には、ノイズ除去処理手段５ｃが雑音成分を除去するような処理を行う。
【００７３】
補正されて画質改善された画像データは、解像度変換部６によって、プリンタ９の解像度に合わせて解像度変換処理される。色補正部７が、解像度変換処理された画像データの色空間をデバイス色空間に変換した後、最後にハーフトーン部８が中間調処理を行い、プリンタ９に出力する。プリンタ９は、たとえば、電子写真方式やインクジェット方式を用いて画像処理装置２から出力された画像データを紙などの記録媒体に印刷する。
【００７４】
なお、以上の処理は不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により制御される。画像処理装置２とプリンタ３とは、接続ケーブルによって直接接続されていてもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続されていても良い。このとき、画像処理装置２はパーソナルコンピュータ（ＰＣ）などであり、プリンタ３はファクシミリ装置やコピー装置または複写機能およびファックス機能を備える複合機などでもよい。
【００７５】
図２は、領域分割部４の構成を示すブロック図である。領域分割部４は、色変換部１０、クラスタリング部１１、ランレングス算出部１２、文字領域推定部１３および領域判定部１４からなる。
【００７６】
領域分割部４では、写真領域、背景領域、文字領域が混在する画像データに対して、色変換部１０が所定の色空間に変換した後、クラスタリング部１１が再帰的クラス分け処理によって画像データのクラス情報、および、オブジェクト情報を生成する。そして、ランレングス算出部１２が、クラス情報およびオブジェクト情報それぞれについて、水平方向に同一情報を有する画素が連続するランレングスを算出する。
【００７７】
次に、文字領域推定部１３は、クラス情報のランレングスに基づいて文字領域に属する画素を推定する。そして、領域判定部１４は、オブジェクト情報のランが連続する各オブジェクト領域において、文字領域に属すると推定された画素の含有率に基づいて、オブジェクト領域が文字領域、背景領域、写真領域のどの領域に属するかを判定する。
【００７８】
以下では、各部位の動作について詳細に説明する。まず色変換部１０において、入力された画像データがＲＧＢ色空間画像であれば、（Ｒ＋Ｇ＋Ｂ）／３を算出して、１つのデータに統一できるよう変換する。
【００７９】
また、他の色変換方法として、入力されたＲＧＢ色空間画像を均等色空間であるＬ＊ａ＊ｂ＊カラースペースＣＩＥ １９７６（ＣＩＥ：Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’Ｅｃｌａｉｒａｇｅ：国際照明委員会。Ｌ＊：明度、ａ＊，ｂ＊：色度）色空間に変換し、そのＬ＊信号を用いる。図３は、入力画像（図３（ａ））と、色空間変換によって生成したＬ＊信号からなる画像（図３（ｂ））の例を示す図である。
【００８０】
クラスタリング部１１は、画像データに対して再帰的クラス分け処理を行い、クラス情報およびオブジェクト情報を生成するクラス情報生成手段およびオブジェクト情報生成手段である。クラス情報とは、再帰的クラス分け処理によって、分類された際に各画素がいずれのクラス、すなわち明度値などの画素値が閾値以上のクラスまたは閾値未満のクラスに属するかを示す情報である。オブジェクト情報とは、各画素が背景領域に属するか、文字領域および写真領域である非背景領域（オブジェクト領域）に属するかを示す情報である。
【００８１】
再帰的クラス分け処理は、注目画素を含む画素ブロックの特徴量を基に閾値を算出し、算出した閾値を用いて注目画素をクラス分けする処理である。まず、画素ブロックとしては、中心となる注目画素とその周辺画素となる８画素を含む３×３画素の画素ブロックを用いる。
【００８２】
図４は、３×３画素の画素ブロックを示す図である。注目画素Ｃ１の座標を（ｘ，ｙ）とすると、周辺画素Ｐ１〜Ｐ８の座標は、それぞれＰ１（ｘ−１，ｙ−１），Ｐ２（ｘ，ｙ−１），Ｐ３（ｘ＋１，ｙ−１），Ｐ４（ｘ−１，ｙ），Ｐ５（ｘ＋１，ｙ），Ｐ６（ｘ−１，ｙ＋１），Ｐ７（ｘ，ｙ＋１），Ｐ８（ｘ＋１，ｙ＋１）となる。特徴量としては、近傍平均値、近傍エッジ量および近傍閾値を用いる。近傍平均値Ａｖｇは、図４に示したウインドウ内の９画素の画素値の平均として求める。また、エッジ量については図５に示すようなｐｒｅｗｉｔｔオペレータ（プリヴィットフィルター）を用いる。３×３画素の画素値を抽出し、画素値にマトリクス係数を畳み込むことで、エッジ量を算出する。図５（ａ）が垂直方向用オペレータ、図５（ｂ）が水平方向用オペレータである。それぞれのオペレータを用いることで、垂直方向エッジｅｄｇｅ＿ｖ量（ｘ， ｙ）および水平方向エッジ量ｅｄｇｅ＿ｈ（ｘ， ｙ）を算出することができる。
【００８３】
そして、上記で求めた近傍平均値Ａｖｇ、垂直方向エッジ量ｅｄｇｅ＿ｖ、水平方向エッジ量ｅｄｇｅ＿ｈ、および近傍閾値（すでにクラス分けされた周辺画素の閾値）を用いて動的に注目画素の閾値を決定する。領域分離の精度を高めるために、画像のエッジ部では、クラスを変化させるように、主に近傍平均値を閾値として用い、画像の平坦部では、クラスを変化させないように、主に近傍閾値を用いてクラス分けする。
【００８４】
そこで、閾値を、エッジ量を重み係数として用いた線形補間により算出する。以下に一般的な線形補間式を示す。
Ｙ＝（１−ａ）×Ｘ１＋ａ×Ｘ２ （１）
ただし、ａの範囲は０≦ａ≦１である。
【００８５】
（１）式において、重み係数ａをエッジ量、Ｘ１を近傍閾値、Ｘ２を近傍平均値として閾値Ｙを算出することにより、エッジ部では主に近傍平均値をクラス分けの閾値として用い、平坦部では、主に近傍閾値を閾値として用いることができる。
そこで、以下の算出式を用いてエッジ量Ｅｄｇｅを算出する。
【００８６】
【数１】
（１）式を用いて線形補間により閾値を算出するためには、重み係数であるエッジ量の範囲が、０≦Ｅｄｇｅ≦１である必要があるが、（２）式で算出されるエッジ量Ｅｄｇｅは、０≦Ｅｄｇｅ≦１の範囲とはならない。したがって、エッジ量Ｅｄｇｅに対して最大値Ｗを設け、最大値で除算することで０≦Ｅｄｇｅ／Ｗ≦１の範囲とすることができる。
【００８８】
エッジ量Ｅｄｇｅの最大値Ｗは、以下の（３）式により設定する。
Ｅｄｇｅ＝Ｅｄｇｅ＞Ｗ ？ Ｗ：Ｅｄｇｅ （３）
【００８９】
（３）式は、Ｅｄｇｅとして、条件を満たすときには前者を、条件を満たさない場合には後者の値を用いることを意味する。つまり、エッジ量ＥｄｇｅがＷより大きい時はＥｄｇｅ＝Ｗとし、Ｗ以下の時は、Ｅｄｇｅをそのまま用いる。
【００９０】
本実施形態における再帰的クラス分け処理は、注目画素とその周辺画素とからなる３×３画素の画素ブロックにおいて、エッジ量、近傍平均値および近傍閾値などの特徴量を求め、求めた特徴量に基づく閾値を生成して注目画素のクラス分けを行う。さらに、クラス分けによって分類された各クラスの画素に対して、異なる閾値でさらにクラス分けを行うことで複数段階（レベル）のクラス分けを行う。また、本実施形態では再帰レベルを３とし、段階的に、強いエッジ部分をクラスの境界として分割するレベル１、比較的強いエッジ部分をクラスの境界として分割するレベル２、および、弱いエッジ部分をクラスの境界として分割するレベル３の３つのレベルで分割することとなる。強いエッジ部分とは、エッジを挟んだ両側の画素間の画素値の差が大きい部分であり、弱いエッジ部分とは、エッジを挟んだ両側の画素間の画素値の差が小さい部分である。
【００９１】
したがって、複数レベルの再帰的クラス分け処理を実現するためにエッジ量の下限値を設ける。
【００９２】
下限値をＷの関数ＬＯＷＥＲ＿ＶＡＬ（Ｗ）とすると、下限値は以下の（４）式により算出される。
Ｅｄｇｅ＝Ｅｄｇｅ＜ＬＯＷＥＲ＿ＶＡＬ（Ｗ） ？ ０：Ｅｄｇｅ （４）
【００９３】
このとき、エッジ量ＥｄｇｅがＬＯＷＥＲ＿ＶＡＬ（Ｗ）より小さい時はＥｄｇｅ＝０とし、ＬＯＷＥＲ＿ＶＡＬ（Ｗ）以上の時は、Ｅｄｇｅをそのまま用いる。
【００９４】
関数ＬＯＷＥＲ＿ＶＡＬ（Ｗ）は、たとえば以下のようなＷの関数とする。
ＬＯＷＥＲ＿ＶＡＬ（Ｗ）＝３２×Ｗ／１２８ （５）
【００９５】
（２）〜（４）式により算出したエッジ量Ｅｄｇｅ、近傍平均値Ａｖｇ、および、近傍閾値ｔｈ（ｘ−１，ｙ），ｔｈ（ｘ，ｙ−１）を（１）式に代入することにより、注目画素における閾値ｔｈ（ｘ，ｙ）を算出することができる。ここで、座標（ｘ−１，ｙ）は周辺画素のうち注目画素Ｃ１の左隣の画素Ｐ４の座標を示し、座標（ｘ，ｙ−１）は周辺画素のうち上の画素Ｐ２の座標を示している。したがって、ｔｈ（ｘ−１，ｙ）は注目画素の左隣の画素Ｐ４をクラス分けしたときの閾値を示し、ｔｈ（ｘ，ｙ−１）は注目画素の上の画素Ｐ２をクラス分けしたときの閾値を示す。
【００９６】
【数２】
（７）式は四捨五入を表す。閾値ｔｈ（ｘ，ｙ）は整数であることから、ＴＨ／Ｗに０．５を加えることにより、四捨五入を実現することができる。しかしながら、整数演算において、除算を行った後に０．５を加える場合、処理量が増加するため、除算における分母を２で割った値を分子に加えた後、分母で割ることにより四捨五入を実現するのが一般的である。
【００９８】
実際にクラス分け処理を行う手順としては、画像データの各画素を行方向（主走査方向）に処理を繰り返して走査する。１ラインの処理が終われば列方向（副走査方向）に処理の対象ラインを移動し、再度主走査方向にクラス分け処理を行う。
【００９９】
前述のように閾値ｔｈ（ｘ，ｙ）を算出するためには、近傍閾値ｔｈ（ｘ−１，ｙ），ｔｈ（ｘ，ｙ−１）が必要であるが、最初のラインをクラス分け処理する場合、注目画素の上の画素が存在しないので、近傍閾値ｔｈ（ｘ，ｙ−１）を用いることができない。また、ラインを左から右へ順次クラス分け処理を行うときに、最初の注目画素、すなわち左端の画素には左隣の画素が存在しないため、近傍閾値ｔｈ（ｘ−１，ｙ）を用いることができない。したがって、予め初期閾値を設定し、近傍画素が存在しない場合には、設定した初期閾値を近傍閾値ｔｈ（ｘ，ｙ−１）および近傍閾値ｔｈ（ｘ−１，ｙ）として閾値ｔｈ（ｘ，ｙ）を算出する。
【０１００】
以下では、画素値、たとえば明度値の範囲を０（黒）〜２５５（白）として、初期閾値を１２８とする。なお、他の初期閾値としては、たとえば画像データ全体の平均画素値などを用いてもよい。
【０１０１】
また、閾値ｔｈ（ｘ，ｙ）を算出するために、近傍閾値ｔｈ（ｘ−１，ｙ），ｔｈ（ｘ，ｙ−１）を用いることから、ラインを主走査方向に走査するときに、常に左から右へクラス分け処理を行うと、閾値ｔｈ（ｘ，ｙ）は、注目画素の左隣の画素の近傍閾値ｔｈ（ｘ−１，ｙ）の影響を受けることになり、適切なクラス分け処理が行われない場合がある。したがって、所定のライン毎に、ラインの左から右への処理と、右から左への処理とを入れ換えてクラス分け処理を行う。ラインの右から左へクラス分け処理を行う場合は、（６）式に代入する近傍閾値を、近傍閾値ｔｈ（ｘ−１，ｙ）から近傍閾値ｔｈ（ｘ＋１，ｙ）に変更すればよい。これにより、閾値ｔｈ（ｘ，ｙ）は、上の画素、および左右の画素を平均的に考慮した閾値として算出することができる。
【０１０２】
さらに、クラスタリング部１１へ入力される画像データとして、明度値など１つの画素値のみでなく、他に色差などを入力し、エッジ量算出に、色差のエッジ量を付加することにより、色差も考慮したクラス分け処理を行うことができる。
【０１０３】
また、画像データ全体のダイナミックレンジ（画素値の最大値と最小値との差）を算出し、以下の式によりＬＯＷＥＲ＿ＶＡＬ（Ｗ）を算出することにより、より画像に適応したクラス分け処理を行うことができ、その結果、処理精度を向上することが可能となる。
【０１０４】
【数３】
【０１０５】
これは、画像におけるエッジ量がダイナミックレンジと大きく関係しており、ダイナミックレンジが狭い（Ｄが小さい）画像はエッジが検出されにくく、エッジ量算出時における下限値をダイナミックレンジに合わせて変更することにより、エッジが検出されにくい画像に対応するためである。
【０１０６】
本実施形態で行われる画像処理は、ラスタ処理であるため、注目画素とエッジ部との位置関係によって同じ平坦部の画素であっても閾値が異なる。たとえば、注目画素の下にエッジ部がある場合は平坦部が連続しており、前述の（６），（７）式に示すように、注目画素の左隣および上の周辺画素、すなわち同じ平坦部の近傍閾値を用いて閾値を算出するのに対し、注目画素の上にエッジ部がある場合は注目画素の上の周辺画素がエッジ画素であるため、エッジ画素および平坦部の画素の近傍閾値を用いて閾値を算出することになる。したがって、同じ平坦部の画素であってもエッジ部との位置関係によって閾値が異なることとなる。図６（ａ）に図３に示した画像データの各画素における（６），（７）式で求めた閾値の分布を示す。背景部分および下部の写真内の陸地や海の部分などの平坦部で閾値の変化が生じていることが分かる。
【０１０７】
そこで、注目画素とエッジ部との位置関係によって、クラス分け処理の閾値の算出方法を変える。まず、注目画素をラインの左から右へ１画素ごとにクラス分け処理を行う場合について説明する。
【０１０８】
図７（ａ）に示すように、周辺画素のうち注目画素の上の画素のみがエッジ画素であり、注目画素の左右にはエッジ画素が存在しない場合には、注目画素の左の画素がクラス分けを行ったときの閾値ｔｈ（ｘ−１，ｙ）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。図７（ｂ）に示すように、周辺画素のうち注目画素の上にはエッジ画素が存在せず、注目画素の左右の画素がエッジ画素である場合には、注目画素の上の画素がクラス分けを行ったときの閾値ｔｈ（ｘ，ｙ−１）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。
【０１０９】
図７（ｃ）に示すように、周辺画素にエッジ画素が存在しない場合には、注目画素の左の画素がクラス分け処理を行ったときの閾値、あるいは、上の画素がクラス分け処理を行ったときの閾値のうち、予め設定されている初期閾値に近いほうの閾値を注目画素の閾値とする。図７（ｄ）に示すように、上記以外の場合には、（６）式を用いて注目画素の閾値を算出する。
【０１１０】
次に、注目画素をラインの右から左へ１画素ごとにクラス分け処理を行う場合について説明する。図８（ａ）に示すように、周辺画素のうち注目画素の上の画素のみがエッジ画素であり、注目画素の左右にはエッジ画素が存在しない場合には、注目画素の右の画素にクラス分け処理を行ったときの閾値ｔｈ（ｘ＋１，ｙ）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。図８（ｂ）に示すように、周辺画素のうち注目画素の上にはエッジ画素が存在せず、注目画素の左右の画素がエッジ画素である場合には、注目画素の上の画素がクラス分け処理を行ったときの閾値ｔｈ（ｘ，ｙ−１）をそのまま注目画素の閾値ｔｈ（ｘ，ｙ）とする。
【０１１１】
図８（ｃ）に示すように周辺画素にエッジ画素が存在しない場合には、注目画素の右の画素がクラス分け処理を行ったときの閾値、あるいは、上の画素がクラス分け処理を行ったときの閾値のうち、予め設定されている初期閾値に近いほうの閾値を注目画素の閾値とする。図８（ｄ）に示すように、上記以外の場合には、（６）式を用いて注目画素の閾値を算出する。
【０１１２】
このようにして閾値を決定した場合の閾値の分布を図６（ｂ）に示す。図から平坦部における不自然な閾値の変化を生じていないことが分かる。これにより平坦部の閾値を一定に保つことができ、さらに、後述するオブジェクト情報の作成を行うことができる。
【０１１３】
再帰的クラス分け処理は、上記のように画素ごとに閾値を決定してクラス分け処理が繰り返されることにより実行される。具体的には以下のように実現する。
【０１１４】
本実施形態では、３レベル階層まで、再帰的クラス分け処理を繰り返す。
まず、レベル１におけるクラス分け処理では、エッジ量上限値（＝重み係数の和）Ｗ１を１２８とし、前述のようにして決定した閾値に基づいて、各画素を明度値が０または２５５の２つのクラスに分類する。画素の明度値が閾値より大きいときは、その画素の明度値を２５５とし、閾値より小さいときは、明度値を０とする。このようにして得られた各画素の明度値をレベル１のクラス情報として画素ごとに記憶し、レベル１における分類結果とする。
【０１１５】
レベル２では、レベル１において明度値が０のクラスに分類された各画素および２５５のクラスに分類された各画素について、さらにクラス分け処理を行う。エッジ量上限値をＷ２＝Ｗ１／２（＝６４）と設定することで、レベル１より細かなエッジを検出してクラスの変化を起こしやすくする。また、このとき、エッジ量下限値ＬＯＷＥＲ＿ＶＡＬ（Ｗ２）は、（５）式にＷ＝６４を代入して１６とする。
【０１１６】
レベル２のクラス分け処理では、レベル１において０のクラスに分類された各画素の明度値を０と８５の２つのクラスに分類し、レベル１において２５５のクラスに分類された各画素の明度値を１７０と２５５の２つのクラスに分類する。このようにして得られた各画素の明度値をレベル２のクラス情報として記憶し、レベル２における分類結果とする。
【０１１７】
最後に、レベル３では、レベル２において明度値が０，８５，１７０，２５５のクラスに分類された各画素について、さらにクラス分け処理を行う。エッジ量上限値Ｗ３をＷ３＝Ｗ２／２（＝３２）と設定することで、より細かなエッジを検出してクラスの変化を起こしやすくする。また、このとき、エッジ量下限値ＬＯＷＥＲ＿ＶＡＬ（Ｗ３）は、（５）式にＷ３＝３２を代入して８とする。
【０１１８】
レベル３のクラス分け処理では、レベル２において明度値が０のクラスに分類された各画素の明度値を０と２８の２つのクラスに分類し、８５のクラスに分類された各画素の明度値を５６と８５の２つのクラスに分類し、１７０のクラスに分類された各画素の明度値を１７０と１９６の２つのクラスに分類し、２５５のクラスに分類された各画素の明度値を２２６と２５５の２つのクラスに分類する。このようにして得られた各画素の明度値をレベル３のクラス情報として記憶し、レベル３における分類結果とする。
【０１１９】
図９は、再帰的クラス分け処理を３レベルまで行ったときの画素の分類を模式的に表したツリー構造を示す図である。ここで、０，２８，５６，…２５５はそれぞれクラスの明度値であり、クラスを識別するためのクラス情報である。また、このツリー構造は、クラス情報により、レベル３のクラス情報から容易にレベル１、レベル２におけるクラス情報を求めることができる。たとえば、レベル３では１９６のクラスに属する画素は、レベル２では１７０のクラスに属し、レベル１では２５５に属することがわかる。したがって、各画素については、レベル３におけるクラス情報のみを記憶しておけばよい。
【０１２０】
ただし、必ずしもクラス情報には明度値を用いる必要はなく、レベル３におけるクラス情報からレベル１，２におけるクラス情報がわかれば良い。たとえば、レベル３のクラスにおいて、前述のクラス０をクラス１，クラス２８をクラス２，クラス５６をクラス３，…，クラス２５５をクラス８などとしてもよい。
【０１２１】
さらにクラスタリング部１１は、再帰的クラス分け処理を行う際に決定した画素ごとの閾値に基づいてオブジェクト情報を作成する。オブジェクト情報は画素ごとに決定され、画素が背景領域に属するか、背景以外のオブジェクト（写真、文字など）領域に属するかを示す。たとえば、画素が背景領域に属する場合は、オブジェクト情報を１とし、オブジェクト領域に属する場合は、オブジェクト情報を０として記憶する。
【０１２２】
画素が背景領域に属するかどうかは、レベルごとに決定され、クラス分けに用いた閾値が初期閾値であって、これが継続されている間の画素は背景領域に属すると判断する。図７および図８に示した条件で閾値を決定した場合、初期閾値が継続されるのは、平坦部が連続しているからである。また、背景領域以外の領域は何らかのオブジェクトが存在すると考えられるため、背景領域以外はオブジェクト領域であると判断する。
【０１２３】
したがって、画素ごとに行われる再帰的クラス分け処理において、閾値として用いる近傍閾値が、背景画素の閾値であれば、注目画素は背景領域に属し、非背景画素の閾値であれば、注目画素は背景領域に属するとする。
【０１２４】
また、閾値が式（６）を用いて算出された場合には、注目画素は非背景領域に属するとする。これは、注目画素の閾値が新たに算出されるということは、何らかのオブジェクトが存在すると考えられるためである。
【０１２５】
以上のように、再帰的クラス分け処理によってクラスタリング部１１は、各画素のクラス情報とオブジェクト情報とを作成する。
【０１２６】
図１０は、各画素のクラス情報の分布を示す図である。本実施形態では、クラス情報として明度値を用いており、この明度値を階調値として用いることで、各画素が有するクラス情報を画像として可視化することができる。図１０（ａ）は、レベル１のクラス情報の分布を示し、図１０（ｂ）は、レベル２のクラス情報の分布を示し、図１０（ｃ）は、レベル３のクラス情報の分布を示している。レベル１から３にかけてクラスが詳細に分類される様子が分かる。
【０１２７】
図１１は、各画素のオブジェクト情報の分布を示す図である。図では、背景領域に属する画素の明度値を２５５（白の領域）とし、オブジェクト領域に属する画素の明度値を１２８（グレーの領域）としてオブジェクト情報の分布を示している。
【０１２８】
次に、ランレングス算出手段であるランレングス算出部１２においてクラスタリング部１１で作成したクラス情報およびオブジェクト情報の主走査方向のランレングスを算出する。ランレングスはレベルごと、本実施形態ではレベル３までのランレングスを算出する。
【０１２９】
図１２は、ランレングス算出処理の手順の一例を示す図である。ここでは、１ラインの画素数を１６画素として処理を行うこととする。ランレングス算出処理は、２つの処理からなる。各画素には１つの変数（カウント）が与えられ、このカウントを所定の条件で変化させることによりランレングスを算出する。まず第１の処理は、各画素のクラス情報（図１２（ａ）参照）に基づいて、ラインの左から右方向に同一クラスの画素が連続する限り、画素のカウントを増加させてランレングスを算出する処理であり、第２の処理は、ラインの右から左方向について、右隣りの画素のカウントが注目画素におけるカウントより１大きい場合、右隣りの画素におけるカウントを注目画素のカウントに置き換えることにより、各画素に自らが属するランのランレングスを与える処理である。なお、２つの処理に分割することで、複雑なループ処理を避けることが可能となり、ＳＩＭＤプロセッサ（同種複数処理型演算装置）によってマルチパス処理で行うことができる。
【０１３０】
まず、図１２（ｂ）を参照して、第１の処理について説明する。第１の処理では、図１２（ａ）に示した各画素のクラス情報に基づいて、左隣りの画素のクラス情報が注目画素のクラス情報と同じ場合、左隣りの画素のカウントに１を加えたカウントを注目画素のカウントとする。図１２（ｂ）のレベル１では、まず左端の画素を注目画素とすると、注目画素のレベル１クラス情報は０であり、左隣りの画素が存在しないので、カウント０を出力バッファに書き込み、注目画素を次の右隣の画素に移動する。
【０１３１】
次の注目画素（左から２番目の画素）のレベル１クラス情報も０であるから、左隣の画素のカウントに１を加え、カウント１を出力バッファに書き込む。次の注目画素（左から３番目の画素）のレベル１クラス情報は２５５であり、左隣の画素とは異なるクラスに属するので、カウントを０に戻し、出力バッファにカウント０を書き込む。同様にして左隣の画素のクラス情報と注目画素のクラス情報とを比較しながら１ライン分の画素についてカウントを決定する。カウントが０の画素が現れるまでのカウントがその画素が属するランのランレングスを示す。
【０１３２】
なお、図１２（ａ）に示すクラス情報は、レベル３クラス情報であるため、レベル１のランレングスを算出するためには、レベル３クラス情報からレベル１クラス情報を求める必要がある。たとえば、左から６番目の画素の記憶されているクラス情報は、レベル３クラス情報の１７０であるが、図９に示したツリー構造から、レベル２クラス情報は、１７０であり、レベル１クラス情報は２５５であることがわかる。
【０１３３】
次に、各画素のレベル２クラス情報を求め、レベル１と同様にして、ランレングスを算出する。レベル３クラス情報からレベル２クラス情報を求める方法について説明する。レベル３クラス情報をｉｎ、レベル２クラス情報をｏｕｔとすると、以下の式により容易に実現できる。
【０１３４】
▲１▼ｏｕｔ ＝ ｉｎ ＜ ５６ ？ ０ ： ｏｕｔ；
▲２▼ｏｕｔ ＝ ｉｎ ＜ １７０ ？ ８５ ： ｏｕｔ；
▲３▼ｏｕｔ ＝ ｉｎ ＜ ２２６ ？ １７０ ： ｏｕｔ；
▲４▼ｏｕｔ ＝ ２５５；
【０１３５】
▲１▼レベル３クラス情報を５６と比較し、５６未満ならばレベル２クラス情報を「０」とする。
【０１３６】
▲２▼レベル３クラス情報が５６以上で１７０未満ならば、レベル２クラス情報を「８５」とする。
【０１３７】
▲３▼レベル３クラス情報が１７０以上で２２６未満ならば、レベル２クラス情報を「１７０」とする。
【０１３８】
▲４▼レベル３クラス情報が２２６以上ならば、レベル２クラス情報を「２５５」とする。
【０１３９】
レベル２においては、レベル２より上位であるレベル１におけるクラスの変化を無視してランレングスを算出するために、左隣の画素のクラス情報と注目画素のクラス情報との差の絶対値が２５５となるときには、クラスの変化が無いものとみなし、カウントを０に戻さず、カウントアップを継続する。つまり、レベル１で既にクラスの変化点、すなわちランの境界であると判定された箇所をレベル２以降では検知しないようにする。図１２（ｂ）にレベル２のランレングス算出結果を示す。
【０１４０】
レベル３については、記憶されているそのままのクラス情報を用いてランレングスを算出することができる。ただし、レベル２と同様に、レベル３より上位であるレベル１およびレベル２におけるクラスの変化を無視してランレングスを算出するために、左隣の画素のクラス情報と注目画素のクラス情報との差の絶対値が２８を超えるときには、クラスの変化が無いものとみなし、カウントアップを継続する。以上のような第１の処理により、レベル１〜３までのランレングスを算出することができる。
【０１４１】
第２の処理について説明する。第２の処理では、第１の処理で求めた各画素のカウント（図１２（ｂ））に対して、注目画素のカウントとその右隣り画素のカウントとを比較し、右隣の画素のカウントが注目画素のカウントより１だけ大きければ、注目画素のカウントを右隣りの画素のカウントで置き換える。ランの右端にある画素のカウントはランレングスと等しいので、同じランに属する画素のカウントをランの右端にある画素のカウントで置き換えることによって、各画素が、自らが属するランのランレングスを情報として有することとなる。レベル１の場合を例として以下に説明する（図１２（ｃ）参照）。
・右端の画素のカウントが「１」であり、右隣の画素が存在しないので、カウントは「１」のまま変えない。
・次（右から２番目）の画素のカウントが「０」であり、右隣の画素のカウントが１だけ大きいので、カウントを「１」に置き換える。
・右から３番目の画素のカウントは「３」であり、右隣の画素のカウントが２大きいので、カウントは「３」のまま変えない。
・右から４番目の画素のカウントは「２」であり、右隣の画素のカウントが１だけ大きいので、カウントを「３」に置き換える。
・右から５番目の画素のカウントは「１」であり、右隣の画素のカウントが１だけ大きいので、カウントを「３」に置き換える。
【０１４２】
以下同様にこの処理を繰り返す。なお、注目画素のカウントとその右隣りの画素のカウントとの比較は、第１の処理で求めたカウント（図１２（ｂ））に基づいて行い、置き換えるカウントは第２の処理後のカウントを用いる。これは、連続してカウントされたときのカウントの最大値（ランの右端のカウント）がランレングスに相当するため、連続してカウントされた画素のカウントを最大値で置き換えることに相当する。
【０１４３】
以上の第１および第２の処理と同様の処理を行えば、オブジェクト情報のランレングスを算出することができる。第１の処理では、左隣の画素と同じオブジェクト情報であれば、左隣りの画素のカウントに１を加えたカウントを注目画素のカウントとする。第２の処理では、第１の処理結果に基づいて、カウントの置き換えを行う。
【０１４４】
また、ＳＩＭＤプロセッサのような複数のデータパスを１つのプログラムカウンタで扱うプロセッサでは、１ラインのクラス情報を複数のデータパス、たとえば図１３（ａ）に示すように、データパスＡおよびデータパスＢに分割し、第１の処理では各データパスを同時に処理することができる。
【０１４５】
各データパス内で個別にランレングスを算出し（図１３（ｂ）参照）、データパス間を連結する（図１３（ｃ）参照）。データパスＡとデータパスＢとの連結部において、隣接する画素のクラス情報が同じであれば、データパスＡの右端の画素のカウントを、データパスＢの左端の画素以外でカウントが０の画素が現れるまで加算する（図１３（ｃ）参照）。また、連結部でクラス情報が異なる場合には、そのまま連結する。データパスの連結後は、前述と同様に第２の処理を行い、各画素に自らが属するランのランレングスを与える（図１３（ｄ）参照）。以上の処理により、容易にＳＩＭＤプロセッサにおいて処理を行うことができる。
【０１４６】
次に、文字領域推定手段である文字領域推定部１３において、クラス情報のランレングスに基づいて、文字領域に属する画素を推定する。文字は、一般的に煩雑度が高いと考えられるため、クラス情報のランレングスが文字推定閾値ＳＩＺＥＯＦＴＥＸＴ以下であれば文字領域に属する画素であると推定することができる。
【０１４７】
しかしながら、ランレングス算出部１２で算出したランレングスは、主走査方向のランレングスであるから、閾値ＳＩＺＥＯＦＴＥＸＴに基づいて文字領域の推定を行うと、画像の横方向の煩雑度にのみ依存した判定となり、精度が十分ではない。
【０１４８】
そこで、周辺画素において、注目画素と同一のクラスに属し、かつ、文字領域ではないと推定されている画素が存在する場合、その注目画素は、クラス情報のランレングスが所定の閾値ＳＩＺＥＯＦＴＥＸＴ以下であっても文字領域であると推定しない。この条件を付加して判定することにより、文字領域推定精度を向上することができる。
【０１４９】
さらに、ラインの左から処理を行う場合と右から処理を行う場合とを考慮し、２方向から推定処理を行う。まず、左から右方向に処理を行う場合、クラス情報のランレングスが所定の閾値ＳＩＺＥＯＦＴＥＸＴ以下であっても、図１４に示す処理対象の周辺画素が以下の条件を満たす場合、文字領域であると推定しない。
・左隣の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
・上の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
・左斜め上の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
・右斜め上の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
また、ラインの右から左方向に処理を行う場合、既に左から右方向の処理で文字領域と推定されていても、以下の条件を満たす場合、文字領域であると推定しない。
・右隣の画素が注目画素と同一のクラスに属し、かつ、文字領域として推定されていない
以上の２方向の処理（▲１▼ラインの左から右方向の処理、▲２▼ラインの右から左方向処理）により、クラス情報のランレングスに基づいて文字領域を精度良く推定することが出来る。以上の文字領域推定処理を各レベルで行う。
【０１５０】
図１５は、各レベルにおける文字推定領域を示す図である。図１５（ａ）は、レベル１における文字推定領域、図１５（ｂ）は、レベル２における文字推定領域、図１５（ｃ）は、レベル３における文字推定領域をそれぞれ示している。図では、文字領域に属すると推定された画素の明度値を２５５、それ以外の画素の明度値を０としている。
【０１５１】
領域判定部１４は、オブジェクト情報のランレングスおよび文字領域推定結果に基づいて、各画素の属する領域を判定する領域判定手段である。オブジェクト情報のランを単位窓（ある単位をまとめて１つのものとして見なす）とし、文字領域推定部１３の推定結果からレベル毎に文字領域と推定された画素の含有率に基づいて、領域判定を行う。
【０１５２】
まず、単位窓内におけるレベル１の文字推定領域の画素数、レベル２の文字推定領域の画素数、レベル３の文字推定領域の画素数をカウントする。図１６は、領域判定の対象となる単位窓の一例を示す図である。この例では、単位窓であるオブジェクト情報のランレングスを８とし（ランレングス算出処理が０からカウントを始めるため、図では「８」ではなく「７」と表記している。）、文字領域に属すると推定される画素を「＊」、文字領域ではないと推定された画素を「−」で表している。
【０１５３】
まず、単位窓内におけるレベル毎の文字領域推定画素をカウントする。図１６では、レベル１における文字領域推定画素数が４、レベル２における文字領域推定画素数が３、レベル３における文字領域推定画素が０である。
【０１５４】
そして、これらの文字領域推定画素数から背景・文字・写真領域を判定する。文字領域は、連続するオブジェクト領域が１つのレベルの文字領域推定画素で構成されていることが多く、たとえば、以下に示す条件では文字領域である可能性が高い。
【０１５５】
【表１】
逆に、写真領域は、連続するオブジェクト領域が複数のレベルの文字領域推定画素で構成されていることが多い。たとえば、以下に示す条件では写真領域である可能性が高い。
【０１５７】
【表２】
実際に判定するには、予めオブジェクト情報のランレングス、レベル１の文字領域推定画素数、レベル２の文字領域推定画素数およびレベル３の文字領域推定画素数と、領域判定結果とを関連付けるＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を記憶しておき、文字領域推定画素数に基づいてＬＵＴを参照することにより、オブジェクト領域が文字領域と写真領域のいずれであるかを判定する。このＬＵＴの作成には、たとえば、ニューラルネットワークを用いた学習方法などが挙げられる。
【０１５９】
なお、背景領域は、オブジェクト情報を作成した際、オブジェクト領域が存在しない領域を背景領域と判定する。また、オブジェクト領域であったとしてもオブジェクト情報のランレングスがある程度大きく、各レベルにおける文字領域推定画素数が少ない場合には、背景領域として判定してもよい。
【０１６０】
図１７は、領域判定結果を示す図である。ただし、文字領域に属する画素の明度値を０（黒の領域）、背景領域に属する画素の明度値を２５５（白の領域）、写真領域に属する画素の明度値を１２８（グレーの領域）としている。
【０１６１】
さらに、領域分割結果に基づいて、文字領域に判定された画素から詳細に文字を検知する。なお、文字検知を行う際には、図１８の領域分割部４のブロック図に示すように、領域判定部１４の後段に文字検知部１５が設けられる。文字検知部１５以外の部位については、図２で説明した部位と同じであるので説明は省略する。なお、文字検知部１５は必ずしも領域分割部４に備える必要はない。
【０１６２】
文字検知部１５は、領域判定部１４において文字領域であると判定された画素について、文字領域推定結果を用いてさらに詳細に文字を検知する。文字推定領域において、連続する文字推定領域の最初の画素の属するクラスが文字クラスであるのが一般的であることから、最初の画素が属するクラスを検知し、文字領域であると判定された領域内において、検知したクラスと同一のクラスに属する画素が文字領域に属すると判定することにより、文字の判定精度をさらに向上させることができる。
【０１６３】
図１９は、文字検知部１５が文字の検知を行った場合の領域判定結果を示す図である。各領域を示す明度値は、図１７に示した判定結果と同じである。図からわかるように図１７に示した判定結果に比べて、精度良く文字領域が分割されているのがわかる。
【０１６４】
図２０は、領域分割処理を示すフローチャートである。まず、ステップＳ１では、色変換部１０によって、入力された画像データの色空間を変換し、明度値など領域判定に用いる画素値を求める。ステップＳ２では、クラスタリング部１１によって、再帰的クラス分け処理を行い、クラス情報およびオブジェクト情報を生成する。ステップＳ３では、ランレングス算出部１２が作成されたクラス情報およびオブジェクト情報の主走査方向ランレングスを算出する。
【０１６５】
ステップＳ４では、文字領域推定部１３が、クラス情報のランレングスと閾値ＳＩＺＥＯＦＴＥＸＴとを比較する。閾値より小さいランレングスを有するランに属する画素を文字領域に属する画素と推定する。ステップＳ５では、領域判定部１４が、オブジェクト情報が連続する領域内の画素のうち文字領域と推定された画素の画素数に基づいて、オブジェクト領域の画素を文字領域か写真領域に判定する。
【０１６６】
以上のように、本実施形態では、周辺画素の影響を考慮して注目画素ごとに閾値を決定する再帰的クラス分け処理によって、画像データを複数のクラスに分類し、この結果に基づいて領域判定を行う。したがって、固定閾値を用いてクラス分け処理を行う場合などと比べて領域分離精度を向上させることができる。
【０１６７】
また、本発明の実施の他の形態は、コンピュータを画像処理装置２として機能させるための画像処理プログラム、および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。これによって、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。
【０１６８】
記録媒体は、プリンタやコンピュータシステム（コンピュータシステムに適用する場合はアプリケーション・ソフトとして用いることができる）に備えられるプログラム読み取り装置により読み取られることで、画像処理プログラムが実行される。
【０１６９】
コンピュータシステムの入力手段としては、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどを用いてもよい。コンピュータシステムは、これらの入力手段と、所定のプログラムがロードされることにより画像処理などを実行するコンピュータと、コンピュータの処理結果を表示するＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）ディスプレイ・液晶ディスプレイなどの画像表示装置と、コンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのモデムなどが備えられる。
【０１７０】
なお、記録媒体としては、プログラム読み取り装置によって読み取られるものには限らず、マイクロコンピュータのメモリ、たとえばＲＯＭであっても良い。記録されているプログラムはマイクロプロセッサがアクセスして実行しても良いし、あるいは、記録媒体から読み出したプログラムを、マイクロコンピュータのプログラム記憶エリアにダウンロードし、そのプログラムを実行してもよい。このダウンロード機能は予めマイクロコンピュータが備えているものとする。
【０１７１】
記録媒体の具体的な例としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）／ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの光ディスクのディスク系、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）、フラッシュＲＯＭなどの半導体メモリを含めた固定的にプログラムを担持する媒体である。
【０１７２】
また、本実施形態においては、コンピュータはインターネットを含む通信ネットワークに接続可能なシステム構成とし、通信ネットワークを介して画像処理プログラムをダウンロードしても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード機能は予めコンピュータに備えておくか、あるいは別な記録媒体からインストールされるものであっても良い。また、ダウンロード用のプログラムはユーザーインターフェースを介して実行されるものであっても良いし、決められたＵＲＬ（Ｕｎｉｆｏｒｍ ＲｅｓｏｕｒｃｅＬｏｃａｔｅｒ）から定期的にプログラムをダウンロードするようなものであっても良い。
【０１７３】
【発明の効果】
以上のように本発明によれば、注目画素とその周辺画素とからなる画素ブロックの特徴量に基づく閾値を用いて注目画素にクラス分けを行っているので、固定閾値を用いてクラス分けを行う場合に比べ、周辺画素の影響を反映させたクラス情報およびオブジェクト情報を生成することができる。オブジェクト情報の判定は、オブジェクト情報に基づいて精度よく行われる。文字領域の判定は、クラス情報およびオブジェクト情報を用いて、クラスランレングスに基づく推定と、オブジェクトランに含まれる推定画素数の割合とから判定しているので、精度よく文字領域に属する画素を判定できる。したがって、各領域の判定精度が高いので、画像データの領域分割精度を向上させることができる。
【０１７４】
また本発明によれば、エッジ強度を反映した閾値を用いるため、文字領域などのエッジ付近の画素において適切にクラス分けを行うことができる。
【０１７５】
また本発明によれば、画像データのダイナミックレンジが狭い場合でも、適切にクラス分けを行うことができる。
【０１７６】
また本発明によれば、走査ラインごとに走査方向を変えることによって、左右の周辺画素の影響を平均して受けることができるため、適切なクラス分けを行うことができる。
【０１７７】
また本発明によれば、エッジ画素の位置が注目画素の上のみ場合は、閾値を算出せずに左側の周辺画素の閾値を注目画素の閾値として用いるなど、エッジ画素の位置に基づいて注目画素の閾値を生成するので、特に注目画素がエッジ付近の背景画素などの場合に適切な閾値を生成してクラス分けを行うことができる。
【０１７８】
また本発明によれば、注目画素が背景領域に属するか否かを容易かつ精度良く判断することができる。
【０１７９】
また本発明によれば、同種複数処理型演算装置、いわゆるＳＩＭＤ（ＳｉｎｇｌｅＩｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）型プロセッサは、同種の命令の処理を同時に行うことができる。ランレングスを算出する場合に、命令をランレングスの算出とすると、データパスごとのランレングスの算出処理を同時に行うことができる。したがって、ランレングス算出処理の処理速度を高速化することができる。
【０１８０】
また本発明によれば、一般的に文字は繁雑度が高いため、クラスランレングスを文字推定閾値と比較するだけで容易に文字領域に属するか否かを推定することができる。
【０１８１】
また本発明によれば、文字領域の推定精度を高めることができる。
また本発明によれば、文字領域に属する画素は同じクラス情報を有し、文字領域に属すると判定された連続する画素のうち、最端部の画素が文字領域に属する場合が多いので、精度よく文字領域に属する画素を検知することができる。
【０１８２】
また本発明によれば、画像データが高精度で領域分割され、各領域に応じた後処理が施された画像データを出力することができるので、高画質な静止画像を形成することができる。
【０１８３】
また本発明によれば、画像処理方法をコンピュータに実行させるための画像処理プログラムとして提供することができる。
【０１８４】
また本発明によれば、画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態である画像形成装置１の構成を示すブロック図である。
【図２】領域分割部４の構成を示すブロック図である。
【図３】入力画像（図３（ａ））と、色空間変換によって生成したＬ＊信号からなる画像（図３（ｂ））の例を示す図である。
【図４】３×３画素の画素ブロックを示す図である。
【図５】Ｐｒｅｗｉｔｔオペレータ（プリヴィットフィルター）の一例を示す図である。
【図６】各画素における閾値の分布を示す図である。
【図７】注目画素と周辺のエッジ画素との位置関係による閾値の決定方法を説明する図である。
【図８】注目画素と周辺のエッジ画素との位置関係による閾値の決定方法を説明する図である。
【図９】再帰的クラス分け処理を３レベルまで行ったときの画素の分類を模式的に表したツリー構造を示す図である。
【図１０】各画素のクラス情報の分布を示す図である。
【図１１】各画素のオブジェクト情報の分布を示す図である。
【図１２】ランレングス算出処理の手順の一例を示す図である。
【図１３】ＳＩＭＤプロセッサを用いたランレングス算出処理の手順の一例を示す図である。
【図１４】文字領域推定部１３が行う文字領域推定処理を説明する図である。
【図１５】各レベルにおける文字推定領域を示す図である。
【図１６】領域判定の対象となる単位窓の一例を示す図である。
【図１７】領域判定結果を示す図である。
【図１８】領域分割部４の他の構成を示すブロック図である。
【図１９】文字検知部１５が文字の検知を行った場合の領域判定結果を示す図である。
【図２０】領域分割処理を示すフローチャートである。
【符号の説明】
１ 画像形成装置
２ 画像処理装置
３ 入力部
４ 領域分割部
５ 補正部
６ 解像度変換部
７ 色補正部
８ ハーフトーン部
９ プリンタ
１０ 色変換部
１１ クラスタリング部
１２ ランレングス算出部
１３ 文字領域推定部
１４ 領域判定部
Claims (14)
- 複数の画素からなる画像を示す画像データが入力され、入力された画像データに基づいて画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う領域分割部を備える画像処理装置において、
前記領域分割部は、
注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と各画素の画素値とを比較して注目画素を２つの画素集合にクラス分けし、前記クラス分けによって分類された画素集合に対して、前記閾値とは異なる閾値でさらにクラス分けを行うことで複数段階のクラス分けを行い、段階ごとのクラス分けの結果を示すクラス情報を生成するクラス情報生成手段と、
クラス情報生成手段が生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成するオブジェクト情報生成手段と、
同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であるクラスランレングスと、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数であるオブジェクトランレングスとを前記段階ごとに算出するランレングス算出手段と、
前記クラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに推定する文字領域推定手段と、
オブジェクト情報に基づいて画素が背景領域に属するか否かを判定するとともに、前記オブジェクトランに含まれる画素のうち、前記文字領域推定手段によって文字領域に属すると推定された画素の前記段階ごとの割合に基づいて、オブジェクトランに含まれる画素が文字領域およびその他領域のいずれに属するかを判定する領域判定手段とを有することを特徴とする画像処理装置。 - 前記クラス情報生成手段は、特徴量として注目画素のエッジ量と、前記画素ブロックに含まれる画素の濃度平均値と、周辺画素が注目画素であったときに行ったクラス分けの閾値とを用い、前記エッジ量を重み係数として、濃度平均値と周辺画素の閾値とを線形補間して閾値を算出することを特徴とする請求項１記載の画像処理装置。
- 前記クラス情報生成手段は、前記エッジ量の下限値を画像データのダイナミックレンジに基づいて設定することを特徴とする請求項２記載の画像処理装置。
- 前記クラス情報生成手段は、注目画素を所定の走査方向に順次移動させてクラス分けを行い、走査ラインごとに走査方向を変えることを特徴とする請求項２記載の画像処理装置。
- 前記クラス情報生成手段は、周辺画素に含まれるエッジ画素の位置に基づいて、注目画素の閾値を算出せずに周辺画素の閾値の中から選択するか、もしくは濃度平均値と周辺画素の閾値とを線形補間して算出することを特徴とする請求項２記載の画像処理装置。
- 前記オブジェクト情報生成手段は、前記クラス情報生成手段が生成した閾値として、画像データの最初の注目画素に対して予め定められている初期閾値が連続する場合、注目画素が背景領域に属すると判断することを特徴とする請求項１記載の画像処理装置。
- 前記ランレングス算出手段は、同種複数処理型演算装置で構成され、走査ラインを予め定める画素数分のクラス情報を含むデータパスに分割し、データパスごとにランレングスを算出し、各データパスの算出後にデータパス間を連結してランレングスを求めることを特徴とする請求項１記載の画像処理装置。
- 前記文字領域推定手段は、ランレングス算出手段により算出されたクラスランレングスを予め定める文字推定閾値と比較し、閾値以下であればクラスランに含まれる画素は文字領域に属すると推定することを特徴とする請求項１記載の画像処理装置。
- 前記文字領域推定手段は、周辺画素のいずれかが注目画素と同じクラス情報を有し、かつ、文字領域に属しないと推定されている場合、注目画素を文字領域に属しないと推定することを特徴とする請求項８記載の画像処理装置。
- 前記領域判定手段によって、文字領域に属すると判定された連続する画素のうち、最端部の画素が有するクラス情報と同じクラス情報を有する画素を文字画素として検知する文字検知手段が備えられていることを特徴とする請求項１記載の画像処理装置。
- 請求項１〜１０のいずれかに記載の画像処理装置と、
画像処理装置によって処理された画像データを出力する画像出力装置とを備えることを特徴とする画像形成装置。 - 複数の画素からなる画像を示す画像データが入力され、入力された画像データに基づいて画像を構成する各画素が、文字領域、背景領域およびその他領域のいずれの領域に属するかを判定し、画像データの領域分割を行う領域分割工程を備える画像処理方法において、
前記領域分割工程は、
注目画素とその周辺画素とからなる画素ブロックの特徴量を各画素の画素値を用いて求め、求めた特徴量に基づく閾値を生成し、生成された閾値と画素値とを比較して注目画素を２つの画素集合にクラス分けし、前記クラス分けによって分類された画素集合に対して、前記閾値とは異なる閾値でさらにクラス分けを行うことで複数段階のクラス分けを行い、段階ごとのクラス分けの結果を示すクラス情報を生成するクラス情報生成工程と、
クラス情報生成工程で生成した複数の閾値に基づいて、注目画素が背景領域に属するか否かを判断し、その判断結果を示すオブジェクト情報を生成するオブジェクト情報生成工程と、
同じクラス情報を有し、所定の方向に互いに隣接する画素からなるクラスランの画素数であるクラスランレングスと、同じオブジェクト情報を有し、所定の方向に互いに隣接する画素からなるオブジェクトランの画素数であるオブジェクトランレングスとを前記段階ごとに算出するランレングス算出工程と、
前記クラスランレングスに基づいて、クラスランに含まれる画素が文字領域に属するか否かを前記段階ごとに推定する文字領域推定工程と、
オブジェクト情報に基づいて画素が背景領域に属するか否かを判定するとともに、前記オブジェクトランに含まれる画素のうち、前記文字領域推定工程によって文字領域に属すると推定された画素の前記段階ごとの割合に基づいて、オブジェクトランに含まれる画素が文字領域およびその他領域のいずれに属するかを判定する領域判定工程とを有することを特徴とする画像処理方法。 - 請求項１２記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
- 請求項１２記載の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002357259A JP2004192164A (ja) | 2002-12-09 | 2002-12-09 | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002357259A JP2004192164A (ja) | 2002-12-09 | 2002-12-09 | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004192164A true JP2004192164A (ja) | 2004-07-08 |
Family
ID=32757346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002357259A Pending JP2004192164A (ja) | 2002-12-09 | 2002-12-09 | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004192164A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008512947A (ja) * | 2004-09-07 | 2008-04-24 | イーストマン コダック カンパニー | テキスト／ライン及び中間調の独立制御方法 |
| JP2008097310A (ja) * | 2006-10-11 | 2008-04-24 | Sharp Manufacturing System Corp | エッジ抽出方法、定義表作成方法、画像処理方法、画像処理装置、画像処理プログラムおよび画像処理プログラムを記録する記録媒体 |
| KR20120121744A (ko) * | 2011-04-27 | 2012-11-06 | 삼성테크윈 주식회사 | 객체 정보 산출 방법 및 장치 |
-
2002
- 2002-12-09 JP JP2002357259A patent/JP2004192164A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008512947A (ja) * | 2004-09-07 | 2008-04-24 | イーストマン コダック カンパニー | テキスト／ライン及び中間調の独立制御方法 |
| JP2008097310A (ja) * | 2006-10-11 | 2008-04-24 | Sharp Manufacturing System Corp | エッジ抽出方法、定義表作成方法、画像処理方法、画像処理装置、画像処理プログラムおよび画像処理プログラムを記録する記録媒体 |
| KR20120121744A (ko) * | 2011-04-27 | 2012-11-06 | 삼성테크윈 주식회사 | 객체 정보 산출 방법 및 장치 |
| KR101726682B1 (ko) | 2011-04-27 | 2017-04-13 | 한화테크윈 주식회사 | 객체 정보 산출 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3585703B2 (ja) | 画像処理装置 | |
| JP4568460B2 (ja) | 画像処理装置及び記録媒体 | |
| US7149355B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program | |
| US8472709B2 (en) | Apparatus and method for reducing artifacts in images | |
| US6766053B2 (en) | Method and apparatus for classifying images and/or image regions based on texture information | |
| JP3549720B2 (ja) | 画像処理装置 | |
| US7411699B2 (en) | Method and apparatus to enhance digital image quality | |
| US7602967B2 (en) | Method of improving image quality | |
| JP6781406B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
| US7885486B2 (en) | Image processing system, method for processing image and computer readable medium | |
| JP4093413B2 (ja) | 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体 | |
| JP4105539B2 (ja) | 画像処理装置およびそれを備えた画像形成装置ならびに画像処理方法、画像処理プログラムおよび記録媒体 | |
| US6222641B1 (en) | Method and apparatus for image descreening | |
| JP4084719B2 (ja) | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP4369030B2 (ja) | 画像補正方法および装置ならびに画像補正プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP2004192164A (ja) | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP2000253238A (ja) | 画像処理装置及び画像処理方法 | |
| JP2784278B2 (ja) | 画像変倍処理装置 | |
| JP4248899B2 (ja) | 領域分離処理方法、領域分離処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置 | |
| US7295344B2 (en) | Image processing method and image processing apparatus, program and recording medium, and image forming apparatus | |
| JP3361355B2 (ja) | 画像処理装置 | |
| JP4857975B2 (ja) | 画像処理システムおよび画像処理プログラム | |
| JP4324532B2 (ja) | 画像処理装置および記憶媒体 | |
| JPH09270911A (ja) | 画像形成装置 | |
| JP6867609B2 (ja) | 画像処理装置、および、コンピュータプログラム |