JP3634410B2 - 画像処理システムおよび画像処理装置とその方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は画像処理システムおよび画像処理装置とその方法に関し、例えば、解像度の異なる機器間で通信を行う画像処理装置や、拡大縮小および入力解像度とは異なる解像度で画像を出力するプリンタや複写機などの画像処理システムおよび画像処理装置とその方法に関する。
【０００２】
【従来の技術】
機器間における画像情報通信には圧縮技術が用いられている。これは、画像情報のもつ情報量の大きさを考えれば当然のことであり、現在では、圧縮なしの画像情報通信はまったく考えられない。
【０００３】
昨今、静止画像情報の符号化としてＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＪＢＩＧ（Ｊｏｉｎｔ Ｂｉ−ｌｅｖｅｌ Ｉｍａｇｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の標準化がなされている。詳細な説明は省略するが、ＪＰＥＧは、ＤＣＴ（離散コサイン変換）による直交変換と、その変換係数を量子化した後の係数のエントロピ符号化によりなり立っている。また、ＪＢＩＧでは、解像度の異なる機器間通信を考慮した縮小方式や、算術符号を用いたエントロピ符号化を取入れるなど、優れた方式にまとまっている。
【０００４】
また、古くから解像度変換技術が研究されている。これは、解像度の異なる機器間で通信する際に、画像の大きさを送受信ともに一致させる場合や、また、同じ解像度であっても画像を拡大，縮小する際などに必要になる技術である。この解像度変換技術として様々な方法が提案され、それらの方法においては、対象になる画像の種類（例えば、画素ごとに階調情報をもつ多値画像、疑似中間調に二値化された二値画像、固定閾値により単純二値化された二値画像、文字画像など）によって、その変換処理方法が異なる。
【０００５】
画像を拡大する場合は、低解像度の画素と画素の間に新たな解像度の画素を挿入する必要があるが、これには図１に示すような内挿点に最も近い同じ画素値を配列する最近接内挿方法（零次補間）や、図２に示すように、内挿点を囲む四点（四点の画素値をそれぞれＡ，Ｂ，Ｃ，Ｄとする）の距離により、以下の演算を行って画素値Ｅを決定する共一次内挿法（線形補間）などが一般的に用いられる。
Ｅ ＝ （１ − ｉ）（１ − ｊ）Ａ ＋ ｉ（１ − ｊ）Ｂ ＋ （１ − ｉ）ｊＣ ＋ ｉｊＤ
ただし、画素間距離を１とする場合、画素Ｅの位置は
Ａから横方向にｉ、縦方向にｊの距離にある（ｉ ＜ １， ｊ ＜ １）
【０００６】
また、内挿関数（ＳＩＮＣ関数）を利用した標本化理論に基づく方法は、ハードウェア化が複雑なことから、あまり用いられていないのが現状である。
【０００７】
ここで解像度の異なる機器間の通信を図３に基いて説明する。前述したように、機器間での画像情報を伝送する場合、送信側は画像情報を圧縮し符号化して画像の冗長性を削減（符号１００１）した画像情報を伝送する。受信側は受信した符号を復号し伸長（符号１００２）した後、受信側の解像度に変換（符号１００３）して画像を得る。前述したＪＢＩＧのような二値画像を対象とした圧縮や伝送を別にすれば、多階調画像の伝送は図３の形態が一般的である。また、ホストコンピュータ上で画像情報を作成し、プリンタに出力する場合は、図４に示すように、ホストコンピュータでプリンタの解像度に適合させた画像を作成（符号１００４）し、圧縮（符号１００５）した後に伝送し、これを受信したプリンタは伸長（符号１００６）して出力する形態が考えられる。
【０００８】
一枚の画像の中に多階調の自然画像と二階調の文字や線画が混在している画像を圧縮する場合、最も簡単な方法は、ＪＰＥＧのベースラインシステムにあるように、直交変換後に予め定められた量子化テーブルで直交変換係数を量子化する方式である。また、画質を優先させるのであれば、量子化条件を局所的性質により適応的に切換える方法がある。例えば、文字や線画部分については、その空間周波数成分に高周波成分が多いことから、高周波領域に粗い量子化を施さない量子化条件にするなどの制御を行うものである。
【０００９】
また、図５に示すような方式も提案されている。すなわち、送信側は、まずプレフィルタ１０１０で画像中の高周波成分を軽減し、直交変換（符号１０１１）し、量子化（符号１０１２）して伝送する。受信側は、逆量子化（符号１０１３）し、逆直交変換（符号１０１４）した後に、ポストフィルタ１０１５によるエッジ強調処理などを施して画像を復元するものである。さらに、画像から自然画部分と文字線画部分を分離し、自然画は直交変換および量子化を利用して非可逆圧縮し、文字線画はランレングスやＭＭＲなどにより可逆圧縮するハイブリッド方式が提案されている。これらの方法を用いて解像度の異なる機器間で画像情報を通信する場合は、受信側側もしくは送信側で画像情報を零次補間もしくは線形補間することにより、受信側の解像度に適合させた画像を得ている。
【００１０】
【発明が解決しようとする課題】
しかし、上記従来例においては、次のような問題点があった。
【００１１】
前述したＪＰＥＧのベースラインシステムでは、画像の特性に関係なく同じ条件で量子化すると、文字や線画部分における高周波域の量子化誤差が大きくなり、視覚的にはモスキートノイズといわれるリンギング状のノイズが発生する欠点がある。
【００１２】
また、量子化条件を切換える方式では、文字や線画部分の圧縮効率が非常に悪く、また、文字や線画の比率によっては符号量の総和が大きく変動する欠点がある。
【００１３】
また、プレフィルタとポストフィルタを用いる方法と、図３に示した解像度変換とを組合わせると、ポストフィルタ後に解像度変換を行うため、ノイズが増幅されて視覚的にも劣化が検知され易くなる欠点がある。一方、同フィルタと図４に示した解像度変換の形態とを組合わせると、例えばプリンタの解像度が高いときは圧縮前の情報量が多くなることや、フィルタの効果が及ぶ範囲が相対的に小さくなってしまう欠点がある。
【００１４】
また、ハイブリッド方式は、自然画部分と文字線画部分に異なる圧縮方式を用いなければならず、コストおよびハードウェア規模が増大する欠点がある。
【００１５】
さらに、前述した解像度変換自体にも次の問題がある。すなわち、図１に示した方法は、構成が簡単であるという利点はあるが、自然画に用いた場合は拡大するブロック毎に画素値が決定されるため、そのブロックが目立ってしまう。また、文字，線画やＣＧ（コンピュータグラフィックス）などに用いた場合は拡大するブロック毎に同一画素値が連続するため、とくに斜線などはジャギーといわれるギザギザの目立つ画像になってしまう。他方、図２の方法は自然画の拡大に一般的によく用いられる方法であり、画像は平均化されてスムージングされた画質になるが、文字や線画におけるジャギーの発生は免れず、画像のエッジはぼやけてしまう。
【００１６】
本発明は、上述の問題を解決するためのもので、符号化効率を上げながら画質劣化を抑えて画像データを符号化することを目的とする。また、符号化された画像データを復号し解像度変換を行っても文字や線画のエッジが良好な画像にすることを他の目的とする。
【００１７】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１８】
本発明にかかる画像処理システムは、互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムであって、前記第一の装置は、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施す平滑化手段、および、前記平滑化処理が施された画像データを直交変換して符号化する符号化手段を備え、前記第二の装置は、前記第一の装置によって符号化された画像データを逆直交変換して復号する復号手段、前記復号手段によって復号された画像データの解像度を装置自身の解像度に変換するために画素数を増減する変換手段、および、前記変換手段によって解像度が変換された画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施す補正手段を備えることを特徴とする。
【００１９】
また、互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムであって、前記第一の装置は、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施す平滑化手段、および、前記平滑化処理が施された画像データをN×N画素のブロックで直交変換して符号化する符号化手段を備え、前記第二の装置は、前記第一の装置によって符号化された画像データをM×M(M≠N)画素のブロックで逆直交変換して復号する復号手段、および、前記復号手段によって復号された画像データ中の前記文字ないし線画像に、復号後の解像度に見合うエッジ形状を形成するための二階調化を施す補正手段を備えることを特徴とする。
【００２０】
本発明にかかる画像処理装置は、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて平滑化処理され、直交変換を用いて符号化された画像データを処理する画像処理装置であって、前記符号化された画像データを逆直交変換して復号する復号手段と、前記復号手段によって復号された画像データの解像度を出力用に変換するために画素数を増減する変換手段と、前記変換手段によって解像度が変換された画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施す補正手段とを有することを特徴とする。
【００２１】
本発明にかかる画像処理方法は、互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムの画像処理方法であって、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施し、前記平滑化処理を施した画像データを直交変換して符号化し、符号化した画像データを前記第一の装置から前記第二の装置へ伝送し、前記第一の装置によって符号化された画像データを逆直交変換して復号し、復号した画像データの解像度を前記第二の装置自身の解像度に変換するために画素数を増減し、前記解像度が変換された画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施すことを特徴とする。
【００２２】
また、互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムの画像処理方法であって、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施し、前記平滑化処理を施した画像データをN×N画素のブロックで直交変換して符号化し、符号化した画像データを前記第一の装置から前記第二の装置へ伝送し、前記第一の装置によって符号化された画像データをM×M(M≠N)画素のブロックで逆直交変換して復号し、復号した画像データ中の前記文字ないし線画像に、復号後の解像度に見合うエッジ形状を形成するための二階調化を施すことを特徴とする。
【００２３】
また、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて平滑化処理され、直交変換を用いて符号化された画像データを処理する画像処理方法であって、前記符号化された画像データを逆直交変換して復号し、復号した画像データの解像度を出力用に変換するために画素数を増減し、前記解像度を変換した画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施すことを特徴とする。
【００２４】
【実施例】
以下、本発明にかかる一実施例の画像処理装置を図面を参照して詳細に説明する。
【００２５】
本実施例は、ファクシミリ装置への応用や、ホストコンピュータを中心としたネットワークによりプリンタ，イメージスキャナ，ビデオ装置，電子撮像カメラなど様々な入出力デバイスが接続されている環境へ、本発明を応用することを想定したものである。それらのデバイスは、そのデバイス独自の解像度に依存し、各デバイス間で画像信号をやり取りする場合は、画像を送信する側のデバイスの出力解像度に依存する場合が多いが、本実施例は、各デバイス間の画像信号、とくに文字や線画の情報を、自然画と同様に解像度に依存しない、所謂、解像度フリーの状態で通信を実現するものである。なお、以下では、説明を簡単にするために、ホストコンピュータ上で作成した画像情報をプリンタに送信することを想定して説明するが、本発明は、これに限定されるものではない。
【００２６】
通常、ホストコンピュータ上で、出力するプリンタの解像度に合せた画像情報を作成することは容易である。例えば、ホストコンピュータに、読取解像度が２００ｄｐｉのイメージスキャナと、出力解像度が３００ｄｐｉのプリンタが接続されていると仮定する。この構成で３００ｄｐｉの画像情報を作成するには、入力された２００ｄｐｉの画像情報を、線形補間などにより、３００ｄｐｉ相当の画像情報に変換すればよい。また、最近では、ホストコンピュータ上で画像を作成する場合に、イメージスキャナなどから入力した自然画に、ＰＤＬ（ページ記述言語）で作成した文字や線画などを、合成したりその目的に合わせて配置したりすることが、ＤＴＰ（デスクトップパブリッシング）ソフトにより容易になったが、このような場合は、ベクトル情報として格納されているフォント情報を３００ｄｐｉに展開して合成すればよい。
【００２７】
さらに、最近のネットワークの進歩により、ホストコンピュータとプリンタは一対一に接続されるだけでなく、複数のホストコンピュータが複数のプリンタを共有することが容易になった。このため、解像度の異なる複数のプリンタの何れかを用いて画像を出力する場合が考えられ、本実施例では、これを考慮して、先の手順で作成した３００ｄｐｉの画像情報を、さらに異なる解像度、例えば６００ｄｐｉのプリンタで出力することを想定する。
【００２８】
図６は本発明にかかる一実施例の画像処理システムの基本構成の一例を示すブロック図で、同図を用いて３００ｄｐｉの画像情報を６００ｄｐｉのプリンタへ送信する手順を説明する。なお、説明を簡単にするために、画像中の二値情報（文字や線画部）に対する処理を中心に説明する。
【００２９】
図６において、入力端子１０１にはホストコンピュータ上で作成した３００ｄｐｉの画像情報が入力される。この画像情報は前述したように、一頁の画像中において、多値の自然画領域と二値の文字や線画領域が空間的に分離されている。１０２は平滑化手段で、端子１０１から入力された画像情報に空間フィルタ処理を施す。１０３は圧縮手段で、平滑後の画像情報の冗長性を低減し符号化して送信情報量を少なくするものである。圧縮部１０３から出力された符号は伝送路へ送信される。
【００３０】
受信側のプリンタはＩ／Ｏ（不図示）により符号を受信する。１０４は伸長手段で、入力された符号を復号し伸長して画像情報を復元する。１０５は補間手段で、伸長された画像情報をプリンタに合った解像度に補間処理する。これは、線形的な補間でもよいし、より高次の補間であってもよいが、零次補間は不可である。１０６は補正手段で、補間後の画像情報に、送信側で施された平滑処理に応じた補正を施す。
【００３１】
図７は本実施例の詳細な構成例を示すブロック図である。
【００３２】
図７において、入力端子１０１から入力された二値の文字や線画領域は、平滑化手段１０２へ入力されて、予め格納されている平滑化フィルタ２０３を用いる平滑化部２０２により、画像情報の積和演算が行われる。図８は平滑化フィルタの一例を示す図である。
【００３３】
平滑化された画像情報は、圧縮手段１０３へ入力されて、まずブロック化部２０４により、数ライン遅延された上、Ｎ×Ｎ画素毎にブロック化される。ブロック化された画像情報は、直交変換部２０５により、直交変換が施される。なお、直交変換には、ＪＰＥＧによって標準化されているＤＣＴ（離散コサイン変換）を用いてもよいし、他の直交変換であってもよい。直交変換により得られた変換係数は、量子化部２０６により、スカラ量子化される。なお、各周波数成分に対応する量子化係数は、量子化テーブル２０７に予め格納されている。
【００３４】
本来、自然画は隣接する画素間の相関性が高いため、直交変換を施すと、その変換係数は低周波域に集中する。この性質を利用して、量子化ステップは低周波域で細かくなるように設定する。逆に、高周波域にはあまり変換係数が発生しないことや、高周波域の量子化誤差が視覚的に目立たないことから、高周波域の量子化ステップは粗く設定し、さらに強制的に「０」に量子化することもある。図９は自然画用の量子化テーブルの一例を示す図で、同図に示す値は各周波数成分の量子化ステップに相当する。
【００３５】
一方、文字や線画などの人工的に作成した画像は、自然画とは異なりエッジが多く、高周波域に多くの変換係数が発生する。このため、自然画と同じ量子化テーブルを使用すると、高周波域における粗い量子化によりリンギング、所謂、モスキートノイズが発生し、逆に、高周波域まで量子化ステップを細かくすると符号化効率が劣化してしまう。
【００３６】
本実施例では、前述したように、文字や線画に対して平滑化処理を行うため、高周波域の変換係数はあまり発生しないので、自然画と同じ量子化テーブルを使用して高周波域を粗く量子化してもモスキートノイズは発生し難く、符号化効率も良好である。
【００３７】
２０８は符号化部で、量子化係数を符号化する。これは、量子化係数をそのまま符号化してもよいし、ＪＰＥＧ方式のように、量子化係数を「０」とそれ以外の有意係数とに分けて「０」のランレングスと有意係数のグループ番号とを併せてエントロピ符号化をする方法も効率的である。そして、平滑化され符号化された３００ｄｐｉの文字や線画情報は、伝送路を介してプリンタ側に送信される。
【００３８】
２０９は復号部で、伝送路から受信した符号を復号する。２１０は逆量子化部で、復号部２０９の出力を逆量子化する。なお、この逆量子化は、量子化時と同じ量子化テーブル２０７に基いて実行する。従って、この量子化テーブルは、プリンタとホスト間で予め定めておいてもよいし、画像情報とともに送信することもできる。２１１は逆直交変換部で、逆量子化された情報に逆直交変換を施す。２１２はラスタ化部で、逆直交変換によって得られたブロック化された画像情報をラスタする。
【００３９】
２１３は補間部で、ラスタ化部２１２から出力された、例えば、３００ｄｐｉの画像に補間を施して６００ｄｐｉの画像に変換する。この補間方法には、処理の容易さや画質からみて線形補間が好ましいが、これに限らず、より高次の補間でもよい。２１４は補正部で、補間後の例えば６００ｄｐｉ相当の画像にエッジを強調するための処理を施す。これは、送信側で施された平滑化によってぼやけた画像のエッジを強調する処理である。その補正方法として例えば画像を二値化する方法がある。つまり、二つの値、例えばＡとＢ（Ａ＞Ｂ）の平均値（Ａ＋Ｂ）／２を閾値として、補間された画像の閾値以上の画素はＡに置換し、閾値未満の画素はＢに置換する方法である。この二つの値は、ホストコンピュータから送信する画像情報のヘッダに含めることもできるし、ある画像の単位ごとに付加情報として符号化し送信することもできる。また、プリンタ側でブロック単位もしくはそれ以上の単位で、画像データから二つの値を推測してもよい。ただし、二値で画像を形成するプリンタの場合は、この二つの値を送信するまでもない。
【００４０】
このようにして、得られた画像情報は出力端子２１５を介してプリンタエンジンなどに出力されるが、これらの処理によって、どのように画像情報が変化するかを次に説明する。
【００４１】
図１０は文字や線画の同一エッジ部が処理によって変化する様子を示す図で、同図の一升は一画素に相当し、升の濃度は画素値に対応する。
【００４２】
同図（ａ）は平滑化部２０２の入力例を、同図（ｂ）はブロック化部２０４の出力例、つまり平滑化されブロック化された後を（ここでは説明を簡単にするために４×４画素で直交変換を行うことにする）、それぞれ示している。図に示すように、平滑化によってエッジ部は鈍り、エッジはぼやける。同図（ｃ）は逆直交変換部２１１の出力例を示し、受信側の逆直交変換後の同じブロックの画像情報を示している。前述したように、直交変換する前に平滑化によって図５（ｂ）の状態にするため、符号化効率がよく量子化誤差も少なく、当然、モスキートノイズも発生しない。同図（ｄ）は補間部２１３の出力例を示し、線形補間により解像度を二倍にしたエッジ部である。画素数は縦横それぞれ二倍になり、４×４画素の情報が８×８画素の情報になっている。同図（ｅ）は補正部２１４の出力例を示し、同図（ｄ）の画像を二値化した結果を示している。このように、文字や線画のエッジ部にジャギーを生じることもない上、符号化効率もよく、良好な解像度変換を実現することができる。
【００４３】
文字や線画の圧縮，符号化においては如何に可逆（ロスレス）に近付けるか、また、可逆で如何に効率よく圧縮するかという観点で検討がなされている。例えば、文字や線画が混在する画像の圧縮においては、前述したように、文字や線画部と自然画部とを分離してそれぞれ圧縮するハイブリッド方式が提案されている。この方式においては、自然画については、画像の相関性が利用でき、その画質劣化は視覚的に認識し難いことから非可逆の圧縮を用い、文字や線画については、その情報の重要性からＭＭＲなどの可逆の圧縮を用いることが多い。
【００４４】
しかし、解像度の異なる機器間における圧縮には、最終結果においてジャギーの目立たない文字や線画が得られればよい。すなわち、送信側のオリジナル画像は、送信側の解像度に依存した画像であって、その解像度に依存している文字や線画のエッジを可逆圧縮して送信する必要はないし、例え可逆圧縮して送信しても、受信側では自身の解像度に合せるために受信した画像の解像度を変更する、つまり情報を変更することになり、可逆圧縮する意味がない。もし、情報に変更を加えないなら、零次補間をすることになりジャギーの目立つ画像になってしまう。言い換えると、文字や線画においては、すべての情報が重要というわけではなく、重要な部分さえ通信できれば、その後の加工はいくらでも可能であり、文字や線画の場合においても非可逆圧縮することができる。
【００４５】
すなわち、本実施例は、上記の解像度の異なる機器間において画像を伝送する場合の特性を考慮して、送信側では文字や線画のエッジを鈍らせることにより原解像度に依存する周波数成分（高周波成分）を削除してから解像度を変換し、受信側では新たな解像度に合ったエッジ（高周波成分）を形成するものである。そのためには、伝送路上の文字や線画情報は解像度に依存しない状態が好ましく、符号化効率を改善することができる。さらに、このようにして文字や線画を圧縮すれば、自然画の圧縮回路とほぼ同じ回路を共有化することもできる。
【００４６】
【第２実施例】
以下、本発明にかかる第２実施例の画像処理装置を説明する。なお、第２実施例において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００４７】
図１１は本発明にかかる第２実施例の送信側の構成例を示すブロック図である。
【００４８】
同図において、３０１はフィルタ選択部で、入力画像の局所的性質からそれに適応する平滑化フィルタをフィルタ群３０２の中から選択して、平滑部２０２へセットするものである。これは、例えば、複数のエッジが込み入った部分を、図８に示した平滑化フィルタで処理するとエッジがひとまとまりになったり、細線部分では線が途切れて消滅するという問題点が発生する。そこで、入力画像をフィルタ処理する際のＬ×Ｍ画素のウィンドウ（図３においては３×３画素）のパターンに応じてフィルタを切換えることで、このような問題の発生を防ぐものである。
【００４９】
フィルタ選択部３０１は、例えばルックアップテーブル（以下「ＬＵＴ」という）によって選択を実行する。例えば、ＡとＢの二つの値からなる文字や線画領域があったとし、３×３画素のウィンドウにおいて、ＡとＢの値の画素にそれぞれ‘０’と‘１’と対応付ければ、９ビットのウィンドウパターン情報が得られる。そして、予め、平滑化によって弊害を生じ易いパターンを実験的に求めて、そのパターンを検出した場合はその弊害がおきないフィルタを選択するようなデータをＬＵＴに登録しておく。
【００５０】
図１２は図３に示したフィルタで弊害を生じ易い代表的なパターンを示す図である。同図（ａ）および（ｂ）は細線のパターン例であり、平滑化により細線が切れてしまう可能性がある。同図（ｃ）および（ｄ）は図形の角に当たるパターンで、平滑化により角が丸くなる可能性がある。フィルタ選択部３０１は、図１２に示すようなパターンを検出した場合、例えば図１３に一例を示すような、注目画素に重付けしたフィルタを選択したり、あるいはフィルタ処理が施されないように平滑化部２０２を設定する。
【００５１】
このように、本実施例によれば、様々なパターンをフィルタ選択部301のLUTに設定し、対応するフィルタをフィルタ群302に登録しておくことで、適応的にフィルタを選択して前述した弊害を防ぎ、ジャギーの生じる可能性のある部分を適切に処理することが可能になる。
【００５２】
なお、本実施例においては、フィルタの切換えに関して、どの部分にどのフィルタを使用したかを考慮する必要はなく、ＡとＢの二つの値からなる文字や線画領域であることさえ識別できれば、受信側の補正手段は例えば（Ａ＋Ｂ）／２を閾値にして二値化することによりジャギーのない新たな解像度の文字や線画を形成することができるので、送信側からフィルタ情報を送信する必要はない。
【００５３】
また、ウィンドウ内の二値パターンによりフィルタの切換えるのに限らず、例えば、注目画素周辺のエッジの複雑さを評価関数にして、演算によりフィルタを切換えることも可能である。
【００５４】
また、文字や線画などの二値領域についてのみフィルタの選択を行うだけでなく、画像全体に適応処理を施して、画像の局所的性質（例えば、周辺画素の階調数や、エッジか否かの識別など）から、自然画領域と文字や線画領域とを分離するとともに、文字や線画領域にどのフィルタを施すかを選択する構成にしてもよい。
【００５５】
【第３実施例】
以下、本発明にかかる第３実施例の画像処理装置を説明する。なお、第３実施例において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５６】
図１４は本発明にかかる第３実施例の受信側の構成例を示すブロック図である。本実施例は、解像度の異なる機種間の通信において、圧縮情報を伸長するとともに、その解像度を変換するもので、具体的には、逆量子化後のブロック化された情報に解像度変換を施すものである。
【００５７】
ＤＣＴと解像度変換とを組合わせた方法として、ＤＣＴ後に、拡大の際は高周波成分に零を代入し、縮小の際は高周波成分を落としてブロックサイズを変更し、その後、ＩＤＣＴする方法がある。（例えば、村山：「文書画像の高解像度化変換技術」，画像電子学会誌，第２２巻，第２号 ｐｐ１２９−１３２，１９９３や、特開平４−２２９３８２，特開平４−３３３９８９）Ｎ×Ｎ画素の二次元ＤＣＴの変換係数は次式で求められる。

ただし、一つ目のΣ演算はｍ＝０からｍ＝Ｎ−１まで
二つ目のΣ演算はｎ＝０からｎ＝Ｎ−１まで
関数Ｃ（ｐ）は ｐ＝０ のとき １／√２，ｐ≠１ のとき １
【００５８】
また、ＩＤＣＴは次式で求められる。

【００５９】
Ｎ×Ｎ個のＦ（ｕ，ｖ）の行列［Ｆ（ｕ，ｖ）］と、高周波成分に零を代入した拡張行列を［［Ｆ（ｕ，ｖ）］］との関係は次式のようになる（直流成分を左上にとる）。

【００６０】
この方法により、伸長と同時に画質のよい解像度変換が可能になる。
【００６１】
ここで、例えば３００ｄｐｉの文字や線画を６００ｄｐｉの解像度に変換する場合、４×４画素のブロックで直交変換を施し、８×８画素のブロック（高周波域には零を代入）で逆直交変換する場合を説明する。人工的に作成された文字や線画を直交変換すると、その４×４画素ブロックの高周波域には大きな電力が存在する。圧縮側でこの高周波域をいくら細かく量子化しても、８×８画素に拡大し高周波域に零を代入して逆直交変換すると、４×４画素と８×８画素の各シーケンス番号の基底ベクトルに誤差が生じ、また、高周波域における零の代入により８×８画素ブロックにおいて高周波域カットと同様にリンギング状のモスキートノイズが発生してしまう。言い換えると、前述した方法を使用するためには、文字や線画のエッジを崩して、元の４×４画素ブロックにおいて高周波域に大きな電力が発生しないようにしなければならない。本実施例の送信側は、前述した実施例と同様に、文字や線画に平滑化フィルタを施して直交変換する構成である。そのため、文字や線画のエッジが崩れ、４×４画素ブロックの高周波域に発生する電力は小さくなる。
【００６２】
さて、図１４において、４０１はブロックサイズ変更部で、式（３）に示した演算を行うものである。つまり、逆量子化された４×４画素ブロックの情報を低周波域に配置し、残る高周波域には零を代入して８×８画素のブロックを作成する。４０２は逆直交変換部で、Ｎ’×Ｎ’（例えばＮ’＝８）の逆直交変換を実行する。
【００６３】
４×４画素ブロックの時点で、高周波域の電力が小さい画像に処理しているため、モスキートノイズは発生していないが、８×８画素で逆直交変換された画像もエッジの崩れた、ぼやけた画像になっているので、８×８画素ブロックの画像をラスタ化部２１２でラスタ化した後、補正部２１４によって文字や線画のエッジを形成して、新たな解像度の最終画像を得る。
【００６４】
このように、本実施例によれば、補間処理を伴わずに、良好かつ効率的な解像度変換が実現できる。
【００６５】
【第４実施例】
以下、本発明にかかる第４実施例の画像処理装置を説明する。なお、第４実施例において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６６】
以下では、例えば、プリンタなどの画像出力装置において、ホストコンピュータから送られてきた３００ｄｐｉの画像情報を、プリンタエンジンの解像度である６００ｄｐｉの画像情報に変換して出力する例を説明する。
【００６７】
図１５は本発明にかかる第４実施例の構成例を示すブロック図で、送信側と受信側とが一つの機器に含まれている例である。
【００６８】
同図において、５０１はメモリで、コストを抑えるために、プリンタエンジン５０２の最大出力面積に要する情報量よりも小さな容量で構成されている。従って、圧縮手段１０３は、図示しないホストコンピュータから入力された３００ｄｐｉの画像情報をメモリ５０１に収まるように圧縮するためのものである。
【００６９】
前述した実施例と同様に、平滑化手段１０２で平滑化された解像度３００ｄｐｉの画像情報は、圧縮手段により効率よく符号化されて、メモリ５０１に格納される。そして、プリンタエンジン５０２のプロセススピードに合せて、伸長手段１０４で伸長され、補間手段１０５で６００ｄｐｉの解像度に補間された後、補正手段１０６で前述した平滑化に対する補正が施されて、解像度６００ｄｐｉの文字や線画のエッジが良好な画像がプリンタエンジン５０２へ出力される。
【００７０】
このように、前述した各実施例において異なる解像度の機器間を結ぶ伝送路をメモリに置換えれば、メモリを節約したプリンタなどの画像出力装置内部の解像度変換にも、本発明を有効に応用できる。
【００７１】
【第５実施例】
以下、本発明にかかる第５実施例の画像処理装置を説明する。なお、第５実施例において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７２】
上述した各実施例は、すべて二値（二階調）の文字や線画像を対象にしたものであったが、本実施例は、これを自然画に適応させるためのものである。
【００７３】
図１６は本発明にかかる第５実施例の受信側の構成例を示すブロック図である。
【００７４】
送信側において、適応的な平滑化フィルタ処理を施され、その高周波成分が削減され符号化された自然画は、復号部２０９で復号され、逆量子化部２１０で逆量子化され、逆直交変換部２１１で逆直交変換され、ラスタ化部２１２でラスタ化された後、受信側の解像度に適合するように補間部２１３で例えば線形補間される。なお、自然画のフィルタ処理は、文字や線画のときよりも注目画素の重付けを増やしてもよい。
【００７５】
６０１はポストフィルタで、送信側による平滑化処理を補正するためのフィルタである。これには様々なフィルタ、例えば二次微分のエッジ強調フィルタなどを使用することができる。
【００７６】
このようにすれば、前述した実施例と同様に、符号化効率よく、かつ解像度に依存しない形態での通信が可能になる。
【００７７】
ここで、入力画像情報の種類による解像度依存性を考えると、ホストコンピュータなどで作成した文字や線画などは、低解像時で生じているエッジはその解像度に依存するため、解像度を変換するには邪魔な周波数成分を含んでいる。そのため、新たな解像度に合ったエッジ（新しい高周波成分の情報）を作成する必要がある。これに対して自然画などの中間調画像の場合は、ホストコンピュータなどで作成された文字や線画などと異なり、画像作成時に何らかのＬＰＦ（ローパスフィルタ）処理が施されていると考えられるため、低解像時においても解像度フリーの状態に近い。すなわち、入力された状態で既にエッジか崩された状態にあると考えられるため、邪魔な周波数成分が少なく、解像度を増加した状態で新たなエッジを形成してやればよい。
【００７８】
しかし、エッジ部に関しては、自然画といえども原解像度に依存する部分であるため、通常の線形補間による解像度変換ではジャギーの発生は免れない。そこで、本実施例のように、原解像度での平滑化および新解像度での補正により、再び急峻なエッジを新解像度で形成することができる。
【００７９】
また、本実施例と図７に示した実施例とを合成して、適応的に送信側のフィルタと受信側の補正手段とを切換えるのも効果的である。もし、送信側と受信側でフィルタと補正手段を適合させるのであれば、送信側で使用したフィルタの内容、あるいはフィルタの内容を示す番号などを符号化して送信する構成にしてもよい。平滑化フィルタおよび補正手段を連動させて切換えることにより、より効果的な使い方が可能である。
【００８０】
【変形例】
以上、圧縮と解像度変換とを組合わせて処理することにより、符号化効率がよく、かつ、良好な画質が得られる画像処理方法を説明したが、補正手段は二値化処理やポストフィルタに限らず、文字や線画がｎ値（ｎ階調，ｎ＞２）の場合はｎ値化処理であってもよい。ｎ値化する場合は、必要であればｎ値の情報や閾値などの情報を符号化して送信することも考えられるし、受信側でそれらの情報を推測する構成にすることもできる。
【００８１】
また、平滑化フィルタは、図３に示したものに限らず、他のフィルタであってもよい。また、上述した実施例において、受信側はラスタ化後に補間や補正を行う例を説明したが、ブロック状態で補間や補正を施してもよいし、その補間も線形補間に限ぎられるものではない。
【００８２】
また、前述した実施例においては、受信側の解像度が高い場合について説明したが、逆に、受信側の解像度が低い場合は、補間する代わりに間引き処理を実行することにより同等の効果を得ることができる。この間引き処理には、平均値間引きを用いるのが好ましいが、これに限定されるものではない。なお、補間や間引き処理は、縦横の倍率が異なる場合においても同様に実現できる。
【００８３】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００８４】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００８５】
【発明の効果】
以上説明したように、本発明によれば、符号化効率を上げながら画質劣化を抑えて画像データを符号化することができる。また、符号化された画像データを復号し解像度変換を行っても文字や線画のエッジが良好な画像にすることができる。
【図面の簡単な説明】
【図１】最近接内挿方法（零次補間）を説明する図、
【図２】共一次内挿法（線形補間）を説明する図、
【図３】解像度の異なる機器間の通信を説明する図、
【図４】解像度の異なる機器間の通信を説明する図、
【図５】解像度の異なる機器間の通信を説明する図、
【図６】本発明にかかる一実施例の画像処理システムの基本構成の一例を示す図、
【図７】本実施例の詳細な構成例を示すブロック図、
【図８】平滑化フィルタの一例を示す図、
【図９】自然画用の量子化テーブルの一例を示す図、
【図１０】文字や線画の同一エッジ部が処理によって変化する様子を示す図、
【図１１】本発明にかかる第２実施例の送信側の構成例を示すブロック図、
【図１２】図３に示すフィルタで弊害を生じ易い代表的なパターンを示す図、
【図１３】図１２に示すようなパターンを検出した場合に選択されるフィルタの一例を示す図、
【図１４】本発明にかかる第３実施例の受信側の構成例を示すブロック図、
【図１５】本発明にかかる第４実施例の構成例を示すブロック図、
【図１６】本発明にかかる第５実施例の受信側の構成例を示すブロック図である。
【符号の説明】
１０２ 平滑化手段
１０３ 圧縮手段
１０４ 伸長手段
１０５ 補間手段
１０６ 補正手段
２０２ 平滑化部
２０３ 平滑化フィルタ
２０４ ブロック化部
２０５ 直交変換部
２０６ 量子化部
２０７ 量子化テーブル
２０８ 符号化部
２０９ 復号部
２１０ 逆量子化部
２１１ 逆直交変換部
２１２ ラスタ化部
２１３ 補間部
２１４ 補正部

Claims (16)

1. 互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムであって、
   前記第一の装置は、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施す平滑化手段、および、前記平滑化処理が施された画像データを直交変換して符号化する符号化手段を備え、
   前記第二の装置は、前記第一の装置によって符号化された画像データを逆直交変換して復号する復号手段、前記復号手段によって復号された画像データの解像度を装置自身の解像度に変換するために画素数を増減する変換手段、および、前記変換手段によって解像度が変換された画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施す補正手段を備えることを特徴とする画像処理システム。
2. 互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムであって、
   前記第一の装置は、入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施す平滑化手段、および、前記平滑化処理が施された画像データをN×N画素のブロックで直交変換して符号化する符号化手段を備え、
   前記第二の装置は、前記第一の装置によって符号化された画像データをM×M(M≠N)画素のブロックで逆直交変換して復号する復号手段、および、前記復号手段によって復号された画像データ中の前記文字ないし線画像に、復号後の解像度に見合うエッジ形状を形成するための二階調化を施す補正手段を備えることを特徴とする画像処理システム。
3. 前記平滑化手段はローパスフィルタであることを特徴とする請求項1または請求項2に記載された画像処理システム。
4. 前記平滑化手段は、画像の局所的性質により、平滑化方法を適応的に切り換えることを特徴とする請求項1または請求項2に記載された画像処理システム。
5. 前記補正手段は、前記平滑化手段の平滑化方法の切り換えに応じて補正方法を切り換えることを特徴とする請求項4に記載された画像処理システム。
6. 前記変換手段は線形補間処理または平均値間引き処理によって解像度を変換することを特徴とする請求項1に記載された画像処理システム。
7. 前記補正手段は、画像データ中の前記文字ないし線画像を所定の閾値で前記二階調化することを特徴とする請求項1または請求項2に記載された画像処理システム。
8. 入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて平滑化処理され、直交変換を用いて符号化された画像データを処理する画像処理装置であって、
   前記符号化された画像データを逆直交変換して復号する復号手段と、
   前記復号手段によって復号された画像データの解像度を出力用に変換するために画素数を増減する変換手段と、
   前記変換手段によって解像度が変換された画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施す補正手段とを有することを特徴とする画像処理装置。
9. 前記平滑化処理はローパスフィルタであることを特徴とする請求項8に記載された画像処理装置。
10. 前記平滑化処理は、画像の局所的性質により、平滑化方法を適応的に切り換えて行われていることを特徴とする請求項8に記載された画像処理装置。
11. 前記補正手段は、前記平滑化処理の平滑化方法の切り換えに応じて補正方法を切り換えることを特徴とする請求項10に記載された画像処理装置。
12. 前記変換手段は線形補間処理または平均値間引き処理によって解像度を変換することを特徴とする請求項8に記載された画像処理装置。
13. 前記補正手段は、画像データ中の前記文字ないし線画像を所定の閾値で前記二階調化することを特徴とする請求項8に記載された画像処理装置。
14. 互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムの画像処理方法であって、
    入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施し、
    前記平滑化処理を施した画像データを直交変換して符号化し、
    符号化した画像データを前記第一の装置から前記第二の装置へ伝送し、
    前記第一の装置によって符号化された画像データを逆直交変換して復号し、
    復号した画像データの解像度を前記第二の装置自身の解像度に変換するために画素数を増減し、
    前記解像度が変換された画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施すことを特徴とする画像処理方法。
15. 互いに解像度の異なる第一の装置と第二の装置を備えた画像処理システムの画像処理方法であって、
    入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて前記入力画像データに平滑化処理を施し、
    前記平滑化処理を施した画像データをN×N画素のブロックで直交変換して符号化し、
    符号化した画像データを前記第一の装置から前記第二の装置へ伝送し、
    前記第一の装置によって符号化された画像データをM×M(M≠N)画素のブロックで逆直交変換して復号し、
    復号した画像データ中の前記文字ないし線画像に、復号後の解像度に見合うエッジ形状を形成するための二階調化を施すことを特徴とする画像処理方法。
16. 入力画像データ中の二階調の文字ないし線画像のエッジ部を鈍らせるように、適応的なフィルタを用いて平滑化処理され、直交変換を用いて符号化された画像データを処理する画像処理方法であって、
    前記符号化された画像データを逆直交変換して復号し、
    復号した画像データの解像度を出力用に変換するために画素数を増減し、
    前記解像度を変換した画像データ中の前記文字ないし線画像に、変換後の解像度に見合うエッジ形状を形成するための二階調化を施すことを特徴とする画像処理方法。

Images