JP2004254334A - 画像データ補間プログラム、画像データ補間方法および画像データ補間装置 - Google Patents

Abstract

【課題】 ロゴやイラストの画像と自然画像といった画像の性質を自動で的確に判別するのは容易でなく、判別を間違えると適当でない補間処理を実行してしまうし、実際に印刷する際に低品質の印刷を行うにも関わらず、自然画用の微妙な階調を再現する補間処理を行っても無駄である。
【解決手段】 所定の評価関数に基づいて第一の補間処理と第二の補間処理を重畳する。当該評価関数は画質の性質に依存しているので、画像の性質に応じた補間処理比率を決定可能であり、より適した補間処理の比率が高くなって個々の補間処理の長所がより目立つようになる。また、両者の欠点を際だたせることもない。この結果、補間対象画像の性質判別に基づく補間手法決定の誤りを防止することができる。さらに、補間処理の効果に対して影響を与える印刷品質に応じてより適した補間処理の重畳比率を高くすれば、印刷品質に応じた的確な補間処理を行うことができる。
【選択図】 図３４

Description

本発明は、画像データ補間プログラム、画像データ補間方法および画像データ補間装置に関する。

コンピュータなどで画像を扱う際には、画像をドットマトリクス状の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真やコンピュータグラフィックスを表示することが多い。
一方、カラープリンタの性能向上がめざましく、そのドット密度は７２０ｄｐｉ（ｄｏｔ／ｉｎｃｈ）というように極めて高精度となっている。すると、６４０×４８０ドットの画像をドット単位で対応させて印刷させようとすると極めて小さくなってしまう。この場合、階調値も異なる上、解像度の意味合い自体が異なるのであるから、ドット間を補間して印刷用のデータに変換しなければならない。すなわち、１対１の対応で画像が小さく印刷されてしまうなら画像データの画素を増やす処理（これを高解像度化あるいは拡大化と呼ぶ）を行うし、逆の場合には画像データの画素を減らす処理（これを低解像度化あるいは縮小化と呼ぶ）を行う。

従来、このような場合にドットを補間する手法として、最近隣内挿法（ニアリストネイバ補間：以下、ニアリスト法と呼ぶ）や、３次たたみ込み内挿法（キュービックコンボリューション補間：以下、キュービック法と呼ぶ）や、パターンマッチング法などの手法が知られている。これらの各補間手法はそれぞれに特徴がある。例えば、上記キュービック法においては演算量は多いものの元画像の階調を損なうことなく画像補間することができる。従って、一般的に多階調の画素によって構成される自然画の画像補間に使用して好適である。パターンマッチング法においては、元画像の階調を損なう傾向にあるが画像の輪郭をくっきりさせることができる。従って、一般的に画像の階調数が少ないロゴやイラスト等の画像補間に使用して好適である。

画像データに基づいて印刷装置で印刷を行うために、従来は補間対象画像がロゴやイラストであると思われる場合にはパターンマッチング法を使用し、自然画と思われる場合にはキュービック法を使用している。しかし、画像の性質、すなわちロゴやイラストの画像と自然画像とを自動で的確に判別するのは一般には容易でなく、当該判別を間違えたときには適当でない補間処理を実行してしまう場合があった。また、ロゴやイラストと自然画との区別は絶対的なものではなく、自然画像中においてもロゴ的であって輪郭をくっきりとさせたい対象は存在し得る。

さらに、画像の性質に応じた処理を行うにしても、実際に印刷する際に低品質の印刷を行うにも関わらず、自然画用の微妙な階調を再現する補間処理を行っても無駄である。
本発明は、上記課題にかんがみてなされたもので、補間対象画像の性質判別に基づく補間手法決定の誤りを防止するとともに、印刷品質に応じた的確な補間処理を行うことが可能な画像データ補間プログラム、画像データ補間方法、画像データ補間装置を提供することを目的とする。

上記目的を達成するため、本発明は、コンピュータにて画像をドットマトリクス状の画素で多階調表現した画像データに対して画素補間を行う画像データ補間プログラムであって、上記画像データを取得する画像データ取得機能と、上記画像データに対して画素の変化度合を低減することなく補間を行う第一の補間処理機能と、上記画像データに対して画像の階調性を損なうことなく補間を行う第二の補間処理機能と、補間される画素周辺の参照画素に基づいて画像の性質を判断し、同性質に基づいて上記第一および第二の補間処理の重畳比率を決定する第一重畳比率決定機能と、同決定された重畳比率で上記第一の補間処理機能による画像データと第二の補間処理機能による補間画像データとを重畳する画像データ重畳機能と、同重畳されたデータを補間処理後のデータとして出力する画像データ出力機能とをコンピュータに実行させる構成としてある。

上記のように構成した発明においては、コンピュータにて画像をドットマトリクス状の画素で多階調表現した画像データに対して画素補間を行うにあたり、画像データ取得機能にて画像データを取得する。当該取得画像データに対しては、第一の補間処理機能および第二の補間処理機能によって補間処理を実行することが可能であり、第一の補間処理機能は上記画像データに対して画素の変化度合を低減することなく補間を行い、第二の補間処理機能は画像の階調性を損なうことなく補間を行う。

また、第一重畳比率決定機能は補間される画素周辺の参照画素に基づいて画像の性質を判断して同性質に基づいて上記第一および第二の補間処理の重畳比率を決定し、画像データ重畳機能は同第一重畳比率決定機能にて決定された重畳比率で上記第一の補間処理機能による画像データと第二の補間処理機能による補間画像データとを重畳する。そして、画像データ出力機能にて同重畳されたデータを補間処理後のデータとして出力する。すなわち、本発明によると、第一の補間処理機能と第二の補間処理機能との二系統の補間処理が可能であって、両者の処理画像データは画像の性質を反映する比率で重畳される。従って、補間対象画像がロゴや自然画等のいずれかであるとし、対象画像の補間を行うのに適していない補間処理のみを実行してしまうことはなく、補間手法選択を決定的に誤ることはない。

ただし、以上の第一重畳比率は第一および第二の補間処理を混合する場合の比率のみならず、一方のみを示す「０」や「１」の値をとることも当然に可能である。
以上説明したように本発明によれば、二系統の補間処理を参照画素のデータに依存する評価関数に基づいて重畳するので、補間対象画像の性質判別に基づく補間手法決定の誤りを防止することが可能である。
尚、ここで、第一の補間処理機能においては画素の変化度合を低減することなく補間処理を実行することができればよく、いわゆるエッジをぼかすことなく、エッジ部分を維持したり強調したりすることができる補間処理が該当する。また、第二の補間処理機能においては画像の階調性を損なうことなく補間処理を実行することができればよく、画素間で微妙に変化する階調値を均一化してしまうことなく、微妙な階調値変化を再現できる補間処理が該当する。また、第一重畳比率決定機能において補間される画素周辺の複数画素を参照すると、参照した画素における画素の変化傾向等を把握することが可能になり、当該補間対象画像が「自然画らしい」，「イラストらしい」等といった画像の性質が判明する。従って、参照画素のデータは補間対象画像の性質を反映しているといえ、補間対象画像の性質に応じて上記第一の補間処理および第二の補間処理の適した方の重畳比率を高くすることができる。

補間処理手法は上述のように種々のものがあり、このように二系統の補間処理を実行するにしても二種類の補間処理のみの重畳に限る必要はない。そのための構成の一例として、本発明の他の態様では、上記第一の補間処理機能と第二の補間処理機能とは複数種類の補間処理から実行する補間処理を選択可能とすることもできる。すなわち、第一の補間処理機能にて実行する画素の変化度合を低減させない補間には複数の種類が存在し、第二の補間処理機能にて実行する画像の階調性を損なわない補間にも複数の種類が存在する。従って、これらの中から補間対象画像に使用して好適なものを選択したり、使用可能なものを選択したりすることで、より補間対象画像の種類に適した補間処理を行うことができる。
このように本発明によれば、補間処理の選択肢が広がり、より適切な補間処理を実行することができる。

このような構成の具体例として、本発明の他の態様では、上記第一の補間処理機能は、参照画素中に所定のパターンが存在するときに予め決定された規則で補間を行うパターンマッチング補間とニアリスト法による補間とを実行可能とすることもできる。すなわち、パターンマッチング補間では所定のパターンを画素の変化度合に基づいて検出することが多いので、検出されたパターンに対して、変化度合を維持し、または、強調するような補間を実行するように予め補間規則を決定しておくことにより変化度合を低減することなく画像補間を実行可能である。

また、ニアリスト法においては補間画素に最も近い元の画素の値を補間画素の値とするので、変化度合は維持される。従って、両者とも第一の補間処理機能の系統であり、双方のいずれかを場合に応じて選択可能にする。具体的には、上記パターンマッチング補間では参照画素中に所定のパターンが存在しない場合には補間処理自体を実行することができないので、その場合にニアリスト法の実行を選択すれば良い。
このように本発明によれば、容易に画素の変化度合を低減することなく補間を実行することができる。

さらに、第二の補間処理機能の具体例として、本発明の他の態様では、上記第二の補間処理機能は、キュービック法による補間を実行可能である構成としてある。すなわち、キュービック法による補間では、一般に補間画素の周り１６個の画素を参照画素とし、当該参照画素の階調値を参照画素と補間画素との距離に依存した影響度合いで反映させつつ補間画素データを生成する。従って、同キュービック法によると補間画素に対して参照画素の微妙な階調値変化を反映させることが可能であり、同キュービック法は第二の補間処理機能の系統である。かかるキュービック法を重畳させることによって多階調の自然画像等の画像補間に対応することができる。
このように本発明によれば、容易に画像の階調性を損なうことなく補間を実行することができる。

補間対象画像に対して二系統の補間処理を重畳させるに当たり、上記第一重畳比率決定機能においては両者の重畳比率を決定することができればよく、その決定手法は様々である。かかる構成の一例として、本発明の他の態様では、上記第一重畳比率決定機能は、上記参照画素のデータに依存する評価関数によって重畳比率を決定する構成としてもよい。すなわち、上記評価関数は参照画素のデータに依存する関数であり、上述のように参照画素は当該補間対象画像の性質を反映している。従って、参照画素のデータに依存する評価関数を使用することによって、容易に上記第一および第二の補間処理の重畳比率を決定することができる。
このように本発明によれば、容易に重畳比率を計算することができる。

重畳比率を決定する具体的な手法の一例として、本発明の他の態様では、上記第一重畳比率決定機能は、上記参照画素の階調値に基づいて重畳比率を決定する構成としてもよい。すなわち、参照画素の階調値は補間対象画像の性質を反映しており、当該階調値に依存する関数にすることによって補間対象画像の性質に応じて重畳比率を決定することができる。
このように本発明によれば、容易に補間対象画像の性質に応じて重畳比率を決定することができる。

さらにこの場合の構成の一例として、本発明の他の態様では、上記第一重畳比率決定機能は、上記参照画素中の異なる階調値の出現回数に基づいて重畳比率を決定する構成としてもよい。すなわち、ロゴやイラスト等の画像は通常色数が少ないので参照画素中の数画素は同一階調値を有すると考えられ、異なる階調値を有する画素数は少ない。一方、自然画像は通常色数が多いので参照画素中で異なる階調値を有する画素数は多い。このように、参照画素中の異なる階調値の出現回数は補間対象画像の性質を反映しており、画像の性質に応じた重畳比率を決定することができる。具体例としては、参照画素中の異なる階調値の出現回数を調べ、同出現回数が小さいものほど上記第一の補間処理の重畳比率を大きくすることが挙げられる。
このように本発明によれば、容易に自然画あるいは非自然画らしさに応じて重畳比率を決定することができる。

さらに、かかる構成の一例として、本発明の他の態様では、上記第一重畳比率決定機能は、上記参照画素中の異なる階調値の出現回数が所定のしきい値より小さいときに上記第一の補間処理のみを使用するような重畳比率を与える構成としてもよい。すなわち、上述のように多階調画像の階調値出現回数は大きく少階調画像の階調値出現回数は小さい傾向にあるので、参照画素の同出現回数が所定のしきい値より小さいときにはイラストやロゴ等の画像であるとみなし、上記第一の補間処理のみを行う重畳比率を与える。この結果、イラストやロゴ等の画像に上記キュービック法等を重畳させることを防止し、いたずらに演算時間を増加させ、また、輪郭をぼかしてしまうことを防止することができる。
このように本発明によれば、容易に自然画あるいは非自然画らしさに応じて重畳比率を決定することができる。

さらに、他の構成の一例として、本発明の他の態様では、上記第一重畳比率決定機能は、上記参照画素の階調値幅が大きいほど上記第一の補間処理の重畳比率を大きくする構成としてもよい。ここで、階調値幅は階調値の最大値と最小値との差であり、参照画素がいわゆるエッジを形成しているときにはこの階調値幅が大きくなる。そこで、階調値幅が大きいほど第一の補間処理の重畳比率を大きくすることにより、参照画素にエッジらしい部分があるほどそのエッジを低減しないように画像補間がなされる。具体的には、上記評価関数の値で第一の補間処理の重畳比率を与え、当該評価関数を階調値幅に対する単調増加関数にする等して実現可能である。
このように本発明によれば、参照画素にエッジらしい部分があるほどそのエッジを低減しないように画像補間を行うことができる。

さらに、上記階調値の具体例として、本発明の他の態様では、上記参照画素の階調値は同参照画素の輝度値である構成としてもよい。すなわち、画像をドットマトリクス状の画素で多階調表現した場合、通常一画素について各色の階調値データを有しており、画素の輝度値は各色の階調値から決定されるので、輝度値を使用することによって一画素の特徴を的確に捉え、重畳比率計算に反映させることができる。
このように本発明によれば、一画素の特徴を的確に評価関数に反映させることができる。

ところで、このような画像補間プログラムは、かかる画像データを入力して印刷装置にて印刷させるためにコンピュータにて補間処理を実行しつつ印刷制御の処理を実行させる印刷制御プログラムにおいても適用可能である。
このため、本発明の他の態様では、上記画像データを用いて印刷装置にて印刷させようとする際の印刷品質を取得する印刷品質取得機能と、上記取得した印刷品質に基づいて上記第一および第二の補間処理の重畳比率を決定する第二重畳比率決定機能と、上記重畳されたデータに基づいて印刷制御処理を実行する印刷制御処理機能とを実行させる構成としても良い。

上記のように構成した発明においては、画像をドットマトリクス状の画素で表現した画像データを入力して印刷装置にて印刷させるためにコンピュータにて補間処理を実行しつつ印刷制御の処理を実行させるにあたり、印刷品質取得機能は、上記画像データを用いて上記印刷装置にて印刷させようとする際の印刷品質を取得する。また、第二重畳比率決定機能は上記取得した印刷品質に基づいて上記第一および第二の補間処理の重畳比率を決定し、画像データ重畳機能は同第二重畳比率決定機能にて決定された重畳比率で上記第一の補間処理機能による画像データと第二の補間処理機能による補間画像データとを重畳する。そして、印刷制御処理機能は同重畳されたデータに基づいて印刷制御処理を実行する。すなわち、本発明によると、第一の補間処理機能と第二の補間処理機能との二系統の補間処理が可能であって、両者の処理画像データが印刷品質に基づく比率で重畳され、印刷される。従って、各印刷品質に対して効果的な補間処理が行われた状態で印刷結果を得ることができる。また、補間対象画像の性質がロゴや自然画等のいずれかであるとし、対象画像の補間を行うのに適していない補間処理のみを実行してしまうことはなく、補間手法選択を決定的に誤った印刷結果を得ることがない。

むろん、この場合においても第二重畳比率は第一および第二の補間処理を混合する場合の比率のみならず、一方のみを示す「０」や「１」の値をとることも可能である。
このように本発明によれば、二系統の補間処理を参照画素のデータに依存する評価関数に基づいて重畳するので、補間対象画像の性質判別に基づく補間手法決定の誤りを防止することが可能である。
また、上記第二重畳比率決定機能は印刷品質に基づいて重畳比率を決定する。すなわち、印刷品質が低いと微妙な階調性を損なわないように補間処理を実行してもその効果は印刷結果に表れないなど、印刷品質と補間処理の効果とには因果関係がある。従って、印刷品質に基づいて重畳比率を決定することによって、補間処理が印刷結果に与える効果に応じて上記第一の補間処理および第二の補間処理の適した方の重畳比率を高くすることができる。具体例としては印刷品質に依存する評価関数を使用することが考えられ、同評価関数を使用することにより容易に重畳比率を決定することができる。
このように本発明によれば、評価関数を使用して容易に重畳比率を計算することができる。

このように、印刷品質に基づいて補間処理の効果が表れやすいものの比率を高くするための構成の一例として、本発明の他の態様では、上記第二重畳比率決定機能は、上記取得した印刷品質が高くなるほど上記第二の補間処理の重畳比率を大きくする構成としてある。すなわち、上記第二の補間処理は階調性を損なうことなく画素を補間するものであり、補間処理において再現されている微妙な階調変化が印刷結果においても再現されているためには、印刷品質が高くなければ意味がない。従って、印刷品質が高いほど第二の補間処理の重畳比率を大きくすることにより、印刷品質に応じた補間処理の重畳を行うことができる。

このように本発明によれば、容易に印刷品質に応じた補間処理の重畳を行うことができる。
さらに、このような第二重畳比率決定には種々の態様が考えられるが、その構成の一例として、本発明の他の態様では、上記第二重畳比率決定機能は、上記取得した印刷品質が高い場合に上記第一の補間処理のみが実行されることがないようにする構成としてある。すなわち、上記第一の補間処理においては画素の変化度合を低減することはないが上記階調性を損なう傾向にあり、高品質印刷時に第一の補間処理を行うのみでは元画像の階調性を全く再現しない補間を行って印刷する可能性がある。そこで、高品質印刷時に第一の補間処理のみが実行されるような重畳比率とならないようにすることで印刷結果との関係で補間手法選択を決定的に誤ることがない。
このように本発明によれば、印刷結果との関係で補間手法選択を決定的に誤ることがない。

ここで、印刷品質は種々のパラメータによって決定され、上記印刷品質取得機能では当該種々のパラメータを取得することによって印刷品質を取得することができる。例えば、印刷用紙の品質を取得すると印刷品質を取得することになる。印刷用紙には光沢紙や普通紙等種々の用紙が存在し、同じ画像データに基づいて印刷用紙以外の条件を同じにして印刷を実行したとしても、印刷用紙が異なれば印刷結果は非常に異なってくるからである。従って、上記印刷品質取得機能にて印刷用紙の品質を取得し、上記第二重畳比率決定機能で当該印刷用紙の品質に基づいて重畳比率を決定すれば、印刷品質に応じた補間処理の重畳を行うことができる。

このように本発明によれば、容易に印刷品質に応じた補間処理の重畳を行うことができる。
印刷品質の他の例としては、印刷速度が挙げられる。すなわち、近年の印刷装置においてはある程度印刷画質が低くなるとしても印刷速度を優先する高速印刷モードと印刷速度が遅くなるとしても高画質を優先する低速印刷モードとを備えている場合がある。そこで、かかる印刷速度の違いを取得すると印刷品質の違いを取得することになるので、上記印刷品質取得機能にて印刷速度を取得し、上記第二重畳比率決定機能で当該印刷速度に基づいて重畳比率を決定すれば、印刷品質に応じた補間処理の重畳を行うことができる。
このように本発明によれば、容易に印刷速度に応じた補間処理の重畳を行うことができる。

さらに、印刷品質の他の例として、印刷解像度が挙げられる。すなわち、上述のように印刷装置の印刷精度は極めて高精度であり、通常の印刷時には元画像データのドット間を補間している。この際、同じデータ量の元画像データであって、印刷される面積が同じであっても、印刷解像度（ｄｐｉ）の違いによって印刷結果は非常に異なるものとなる。従って、印刷解像度を取得すると印刷品質を取得することになり、上記印刷品質取得機能にて印刷解像度を取得し、上記第二重畳比率決定機能で当該印刷解像度に基づいて重畳比率を決定すれば、印刷品質に応じた補間処理の重畳を行うことができる。
このように本発明によれば、容易に印刷解像度に応じた補間処理の重畳を行うことができる。

さらに、印刷品質の他の例として、インクの種類が挙げられる。すなわち、印刷装置にて使用されるインクは顔料や染料があり、両者を比較すると顔料の方がにじみにくいという性質がある。従って、印刷用紙に印刷した場合には、顔料の方がいわゆるエッジが目立つ傾向にあり、インクの種類が異なれば印刷品質が異なることになる。そこで、上記印刷品質取得機能にてインクの種類を取得し、上記第二重畳比率決定機能において、顔料を使用する場合の方が上記第一の補間処理比率が小さくなるようにすれば、印刷品質に応じた補間処理の重畳を行うことができる。
このように本発明によれば、容易にインクの種類に応じた補間処理の重畳を行うことができる。

なお、本発明はプログラム自体として成立するのみならず、その記録媒体としても成立することはいうまでもない。また、このような記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。上記媒体とは異なるが、供給方法として通信回線を利用して行なう場合であれば通信回線が伝送媒体となって本発明が利用されることになる。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。

このように、二系統の補間処理を実行可能であり、参照画像データに依存する評価関数に基づいて両者を重畳させる補間処理プログラムは、かかる制御に従って処理を進めていく上で、その根底にはその手順に発明が存在するということは当然であり、方法としても適用可能であることは容易に理解できる。このため、請求項１２〜請求項２２にかかる発明においても、基本的には同様の作用となる。すなわち、必ずしも実体のある媒体などに限らず、その方法としても有効であることに相違はない。

また、このようなプログラムは実体のあるコンピュータにおいて実現され、その意味で本発明をそのようなコンピュータからなる装置としても適用可能であることは容易に理解できる。このため、請求項２３〜請求項３３にかかる発明においても、基本的には同様の作用となる。むろん、このような装置は単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものであって、適宜、変更可能である。

以上説明したように請求項１、請求項１２、請求項２３の発明によれば、二系統の補間処理を参照画素のデータに依存する評価関数に基づいて重畳するので、補間対象画像の性質判別に基づく補間手法決定の誤りを防止することが可能である。
また、請求項２、請求項１３、請求項２４の発明によれば、容易に画素の変化度合を低減することなく補間を実行することができる。

さらに、請求項３、請求項１４、請求項２５の発明によれば、容易に重畳比率を計算することができる。
さらに、請求項４、請求項１５、請求項２６の発明によれば、容易に自然画あるいは非自然画らしさに応じて重畳比率を決定することができる。
さらに、請求項５、請求項１６、請求項２７の発明によれば、容易に自然画あるいは非自然画らしさに応じて重畳比率を決定することができる。

さらに、請求項６、請求項１７、請求項２８の発明によれば、参照画素にエッジらしい部分があるほどそのエッジを低減しないように画像補間を行うことができる。
さらに、請求項７、請求項１８、請求項２９の発明によれば、一画素の特徴を的確に評価関数に反映させることができる。
さらに、請求項８、請求項１９、請求項３０の発明によれば、二系統の補間処理を参照画素のデータに依存する評価関数に基づいて重畳するので、補間対象画像の性質判別に基づく補間手法決定の誤りを防止することが可能である。

さらに、請求項９、請求項２０、請求項３１の発明によれば、評価関数を使用して容易に重畳比率を計算することができる。
さらに、請求項１０、請求項２１、請求項３２の発明によれば、容易に印刷品質に応じた補間処理の重畳を行うことができる。
さらに、請求項１１、請求項２２、請求項３３の発明によれば、印刷結果との関係で補間手法選択を決定的に誤ることがない。

以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の画像データ補間装置の主要構成を示すブロック図である。
ディジタル処理を前提とすると、画像はドットマトリクス状の画素で表現することになり、各画素を表すデータの集まりで画像データが構成される。そして、画素単位で処理する系においては、画像の拡大縮小は画素単位で実施することになる。本画像データ補間装置はこのような画素単位での拡大処理を実施するものであり、画像データ取得手段Ｃ１１は、このような画像データを取得し、第一の補間処理手段Ｃ１２および第二の補間処理手段Ｃ１３はこの画像データにおける構成画素数を増やす補間処理を行う。ここで、第一の補間処理手段Ｃ１２は補間処理としてパターンマッチング法とニアリスト法とを実行可能になっており、第二の補間処理手段Ｃ１３は補間処理としてキュービック法を実行可能になっている。

第一重畳比率決定手段Ｃ１４は上記画像データ取得手段Ｃ１１が取得した画像データ中、補間される画素周辺の参照画素に基づいて画像の性質を判断し、同性質に基づいて上記第一の補間処理手段Ｃ１２および第二の補間処理手段Ｃ１３による補間画素の重畳比率を決定する。同第一重畳比率決定手段Ｃ１４が重畳比率を決定すると、画像データ重畳手段Ｃ１５が当該重畳比率にて上記第一の補間処理手段Ｃ１２および第二の補間処理手段Ｃ１３による補間画素データを重畳する。そして、画像データ出力手段Ｃ１６は画像データ重畳手段Ｃ１５が重畳した画素データを出力する。

本実施形態においてはこのような画像データ補間装置を実現するハードウェアの一例としてコンピュータシステム１０を採用している。
図２は、同コンピュータシステム１０をブロック図により示している。
本コンピュータシステム１０は、画像入力デバイスとして、スキャナ１１ａとデジタルスチルカメラ１１ｂとビデオカメラ１１ｃとを備えており、コンピュータ本体１２に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体１２に出力可能となっており、ここで同画像データはＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。

コンピュータ本体１２には、外部補助記憶装置としてのフロッピー（Ｒ）ディスクドライブ１３ａとハードディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接続されており、ハードディスク１３ｂにはシステム関連の主要プログラムが記録されており、フロッピー（Ｒ）ディスク１３ａ１やＣＤ−ＲＯＭ１３ｃ１などから適宜必要なプログラムなどを読み込み可能となっている。
また、コンピュータ本体１２を外部のネットワークなどに接続するための通信デバイスとしてモデム１４ａが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム１４ａにて電話回線を介して外部にアクセスするようにしているが、ＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体１２の操作用にキーボード１５ａやマウス１５ｂも接続されている。

さらに、画像出力デバイスとして、ディスプレイ１７ａとカラープリンタ１７ｂとを備えている。ディスプレイ１７ａについては水平方向に８００画素と垂直方向に６００画素の表示エリアを備えており、各画素毎に上述した１６７０万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、６４０×４８０画素であったり、１０２４×７６８画素であるなど、適宜、変更可能である。

また、カラープリンタ１７ｂはインクジェットプリンタであり、ＣＭＹＫの四色の色インクを用いて記録媒体たる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は３６０×３６０ＤＰＩや７２０×７２０ＤＰＩといった高密度印刷が可能となっているが、階調表限については色インクを付すか否かといった２階調表現となっている。
一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体１２内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（ＯＳ）１２ａであり、このオペレーティングシステム１２ａにはディスプレイ１７ａでの表示を行わせるディスプレイドライバ（ＤＳＰ ＤＲＶ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせるプリンタドライバ（ＰＲＴ ＤＲＶ）１２ｃが組み込まれている。これらのドライバ１２ｂ，１２ｃの類はディスプレイ１７ａやカラープリンタ１７ｂの機種に依存しており、それぞれの機種に応じてオペレーティングシステム１２ａに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム１２ａという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。

むろん、このようなプログラムを実行する前提として、コンピュータ本体１２内にはＣＰＵ１２ｅとＲＡＭ１２ｆとＲＯＭ１２ｇとＩ／Ｏ１２ｈなどが備えられており、演算処理を実行するＣＰＵ１２ｅがＲＡＭ１２ｆを一時的なワークエリアや設定記憶領域として使用したりプログラム領域として使用しながら、ＲＯＭ１２ｇに書き込まれた基本プログラムを適宜実行し、Ｉ／Ｏ１２ｈを介して接続されている外部機器及び内部機器などを制御している。

ここで、基本プログラムとしてのオペレーティングシステム１２ａ上でアプリケーション１２ｄが実行される。アプリケーション１２ｄの処理内容は様々であり、操作デバイスとしてのキーボード１５ａやマウス１５ｂの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力したりすることになる。

かかるコンピュータシステム１０では、画像入力デバイスであるスキャナ１１ａなどで画像データを取得し、アプリケーション１２ｄによる所定の画像処理を実行した後、画像出力デバイスとしてのディスプレイ１７ａやカラープリンタ１７ｂに表示出力することが可能である。この場合、単に画素同士の対応に着目すると、カラープリンタ１７ｂにおける画素密度とスキャナ１１ａの画素密度が一致する場合にはスキャンした元画像の大きさと印刷される画像の大きさとが一致するが、両者にずれがあれば画像の大きさが異なることになる。スキャナ１１ａの場合はカラープリンタ１７ｂの画素密度と近似するものも多いが、高画質化のために画素密度の向上が図られているカラープリンタ１７ｂの画素密度の方が一般的な画像入力デバイスにおける画素密度よりも高密度であることが多い。特に、ディスプレイ１７ａの表示密度と比較すると各段に高密度であり、ディスプレイ１７ａ上での表示を画素単位で一致させて印刷させるとなると極めて小さな画像になりかねない。

このため、オペレーティングシステム１２ａで基準となる画素密度を決定しつつ実際のデバイスごとの画素密度の相違を解消するために解像度変換が実施される。例えば、ディスプレイ１７ａの解像度が７２ＤＰＩであるとするときに、オペレーティングシステム１２ａで３６０ＤＰＩを基準とするならば、ディスプレイドライバ１２ｂが両者の間の解像度変換を実施する。また、同様の状況でカラープリンタ１７ｂの解像度が７２０ＤＰＩであればプリンタドライバ１２ｃが解像度変換を実施する。

解像度変換は画像データにおける構成画素数を増やす処理にあたるので補間処理に該当し、これらのディスプレイドライバ１２ｂやプリンタドライバ１２ｃがその機能の一つとして補間処理を実施する。ここにおいて、ディスプレイドライバ１２ｂやプリンタドライバ１２ｃは上述した第一の補間処理手段Ｃ１２，第二の補間処理手段Ｃ１３を実行可能であり、さらに第一重畳比率決定手段Ｃ１４，画像データ重畳手段Ｃ１５，画像データ出力手段Ｃ１６を実行し、画像の性質に応じた比率の重畳を行うようにしている。

なお、かかるディスプレイドライバ１２ｂやプリンタドライバ１２ｃは、ハードディスク１３ｂに記憶されており、起動時にコンピュータ本体１２にて読み込まれて稼働する。また、導入時にはＣＤ−ＲＯＭ１３ｃ１であるとかフロッピー（Ｒ）ディスク１３ａ１などの媒体に記録されてインストールされる。従って、これらの媒体は画像データ補間プログラムを記録した媒体を構成する。
本実施形態においては、画像データ補間装置をコンピュータシステム１０として実現しているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、同様の画像データに対して補間処理が必要なシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１１ｂ１内に補間処理する画像データ補間装置を組み込み、補間処理した画像データを用いてディスプレイ１７ａ１に表示させたりカラープリンタ１７ｂ１に印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するカラープリンタ１７ｂ２においては、スキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入力される画像データについて自動的に解像度変換を行って印刷処理するように構成することも可能である。
この他、図５に示すようなカラーファクシミリ装置１８ａや図６に示すようなカラーコピー装置１８ｂといった画像データを扱う各種の装置においても当然に適用可能である。

図７は上述したプリンタドライバ１２ｃが実行する解像度変換に関連するソフトウェアフローを示している。図７においてステップＳ１０２では元画像データを取得する。アプリケーション１２ｄにてスキャナ１１ａから画像を読み込み、所定の画像処理を行った後で印刷処理すると、所定の解像度の印刷データはオペレーティングシステム１２ａを介してプリンタドライバ１２ｃが取得するので、この段階が該当する。この処理はソフトウェアとしてみるときに画像データ取得工程あるいは画像データ取得機能ということになるが、当該画像データ取得ステップを含めてコンピュータに実行させる各種のステップは、オペレーティングシステム１２ａ自体やハードウェアを直接に含まないものとして理解することができる。これに対して、ＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像データ取得手段Ｃ１１に該当する。

ステップＳ１０４では読み込んだ画像データにおいて、補間される画素を注目画素とし、当該注目画素を中心として周辺の５×５画素の領域の画素データを参照画素としつつ、同参照画素の輝度値のヒストグラムを作成する。ステップＳ１０６では得られたヒストグラムにて異なる輝度値が出現する回数を取得し、同出現回数が１５より小さいか否かを判別する。異なる輝度値が多いものほど参照画素中に色数が多いことから、ここでは輝度値出現回数が１５より小さいものを非自然画であるとしており、上記ステップＳ１０６にて出現回数が１５より小さいと判別されたときにステップＳ１１０にて上記第一の補間処理の重畳比率（ｒａｔｅ）を１にする。

ステップＳ１０６にて輝度値出現回数が１５より小さくないと判別されたときにはステップＳ１０８で評価関数Ｆによってｒａｔｅを決定する。詳細は後述するが、この評価関数Ｆは上記参照画素の輝度値幅すなわち参照画素中の最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差の関数である。従って、ステップＳ１０４，Ｓ１０６，Ｓ１０８，Ｓ１１０に示す一連の処理が第一重畳比率決定工程あるいは第一重畳比率決定機能に相当するし、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると第一重畳比率決定手段Ｃ１４を構成することになる。

ステップＳ１０８あるいはステップＳ１１０にてｒａｔｅを決定すると、ステップＳ１１２にて同ｒａｔｅが「０」であるか否かを判別し、ｒａｔｅが「０」である時には第一の補間処理を行わないようになっている。ステップＳ１１２にてｒａｔｅが「０」であると判別されないときにはステップＳ１１４にて第一の補間処理を実行する。従って、この処理が上記第一の補間処理工程あるいは第一の補間処理機能に相当するし、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると第一の補間処理手段Ｃ１２を構成することになる。

さらに、ステップＳ１１６ではｒａｔｅが「１」であるか否かを判別し、ｒａｔｅが「１」である時には第二の補間処理を行わないようになっている。ステップＳ１１６にてｒａｔｅが「１」であると判別されないときにはステップＳ１１８にて第二の補間処理を実行する。従って、この処理が上記第二の補間処理工程あるいは第二の補間処理機能に相当するし、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると第二の補間処理手段Ｃ１３を構成することになる。このようにしてｒａｔｅを決定し、第一の補間処理あるいは第二の補間処理を実行した後にはステップＳ１２０にて当該ｒａｔｅに基づいて以下の式により画素データを重畳して補間画素を生成する。
重畳データ＝
（第一の補間処理）×ｒａｔｅ＋（第二の補間処理）×（１−ｒａｔｅ）
…（１）
従って、この処理が上記画像データ重畳工程あるいは画像データ重畳機能に相当し、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像データ重畳手段Ｃ１５を構成することになる。このようにして上記注目画素に対する補間データの生成が終了すると、ステップＳ１２２にて上記入力した元画像データの全注目画素についての重畳処理が終了したか否かを判別し、全注目画素についての処理が終了するまで上記ステップＳ１０４以降の処理を繰り返す。全注目画素についての重畳処理が終了したら、ステップＳ１２４にて補間された画像データを出力する。プリンタドライバ１２ｃの場合、解像度変換だけで印刷データが得られるわけではなく、色変換であるとか、ハーフトーン処理が必要になる。従って、ここで画像データを出力するとは、次の段階へのデータの受け渡しを意味し、この処理が上記画像データ出力工程あるいは画像データ出力機能に相当し、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像データ出力手段Ｃ１６を構成することになる。

次に、以上のフローのステップＳ１１４における第一の補間処理フローを説明する。図８はかかる第一の補間処理フローを示しており、同図において、ステップＳ２０２では、パターンマッチングを行うため、上記ステップＳ１０４で取得した５×５画素の領域の画素データからさらに、上記注目画素を中心とした周辺３×３画素の領域の画素データを抽出する。そして、ステップＳ２０４では、上記抽出画素の輝度値が後述する所定のしきい値より大きいか否かによって当該画素データを２値パターン化する。

ステップＳ２０６では上記ステップＳ２０４で２値パターンが予め用意された所定のエッジパターンと一致するか否かを判別する。ここで、エッジパターンは上記３×３画素の領域が「３０°」，「４５°」等のエッジを有している場合の２値パターンであり、当該エッジパターンと上記ステップＳ２０４で作成した２値パターンとが一致するか否かを判別することにより当該３×３画素の領域がエッジであるか否かを判別している。

ステップＳ２０６にて両パターンが一致すると判別されたときには、ステップＳ２０８において上記エッジパターンに応じて予め決定された規則によって補間画素を生成する。フローでは、このパターン一致時の処補間処理をパターンマッチング法と表記している。ステップＳ２０６にて両パターンが一致すると判別されないときには、ステップＳ２１０においてニアリスト法で補間画素を生成する。このようにして、上記注目画素に対する補間処理を実行したら、ステップＳ２１２にて当該データをＲＡＭ１２ｆに格納して上記図７に示すフローに復帰する。

次に、以上のようなフローに対するより具体的な処理について説明する。本実施形態においては、ステップＳ１０２で取得する元画像がコンピュータグラフィックス（非自然画）であるか写真（自然画）であるかを判定し、判定結果を重畳比率に反映させるようになっている。むろん、補間対象画像の性質判別に基づく補間手法決定の誤りを防止するために、上記ｒａｔｅを「１」もしくは「０」に固定しない構成も可能であるが、本実施形態においては輝度値出現回数が１５より小さければまず非自然画であるとし、非自然画に対して第二の補間処理を実行して画像の輪郭を曖昧にさせないようにすることを重視してある。

この判別は具体的には図９に示す輝度値のヒストグラムを利用しており、ステップ１０４においては、５×５画素の領域の各参照画素について輝度値を求め、輝度が取りうる範囲において画素数のヒストグラムを集計する。そして当該輝度値出現回数、すなわち分布数が「０」でない輝度値がいくつ表れているかカウントし、ステップＳ１０６における判別を行う。むろん、一画像において１６７０万色のうちで同じ輝度となる色が複数存在するのは当然であり、非自然画との比較だけに着目すれば、色であっても輝度であっても多いか少ないかの比較は可能であり、輝度値の他、色の出現回数を集計して非自然画か否かの判別を行っても良い。

尚、上記参照画素についての画素データがその成分要素として輝度を持っていればその輝度値を用いて分布を求めることが可能である。しかしながら、輝度値が直接の成分値となっていない画像データの場合でも、間接的には輝度を表す成分値を備えている。従って、輝度値が直接の成分値となっていない表色空間から輝度値が直接の成分値となっている表色空間への変換を行えば輝度値を得ることができる。

異なる表色空間の間での色変換は変換式によって一義的に定まるものではなく、それぞれの成分値を座標とする色空間について相互に対応関係を求めておき、この対応関係を記憶した色変換テーブルを参照して逐次変換する必要がある。すると、厳密には１６７０万個の要素の色変換テーブルを持たなければならない。効率的な記憶資源の利用を考えた結果、すべての座標値についての対応関係を用意しておくのではなく、通常は適当なとびとびの格子点について対応関係を用意しておき、補間演算を併用するようにしている。しかし、かかる補間演算はいくつかの乗算や加算を経て可能となるものであるため、演算処理量は膨大となってくる。

すなわち、フルサイズの色変換テーブルを使用するのであれば処理量としては少なくなるもののテーブルサイズが非現実的な問題となり、テーブルサイズを現実的なサイズにすれば演算処理量が非現実的となることが多い。このような状況に鑑み、本実施形態においては簡略化した輝度値計算法を採用している。すなわち、本実施形態の補間対象画像データはＲＧＢの表色空間を採用しており、各成分値は色の明るさを示しているので、それぞれの成分値を単独で見た場合に輝度に線形に対応しているという性質がある。従って、各色の加算割合を考慮することなく単に
Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３
としても各画素の輝度値を反映したデータであると言え、本実施形態では当該式によって値度値を算出している。

むろん、輝度値の計算はこのような手法に限ることはなく、テレビジョンなどの場合に利用されているように、ＲＧＢの三原色から輝度を求める次式の変換式を採用しても良い。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
このようにすれば、三回の乗算と二回の加算だけで輝度値を求めることができるようになる。
このような、輝度値のヒストグラムにおいて分布数が「０」でない輝度値が１５より多ければ、ステップＳ１０８にて予め決定された評価関数Ｆによって重畳比率ｒａｔｅを決定する。図１０の実線はかかる評価関数Ｆ（ｙ）の具体例を示しており、同評価関数は「ｙ」が「０≦ｙ≦２５５」の範囲で値を有し、「０≦Ｆ（ｙ）≦１」の範囲で変動する。また、「０≦ｙ≦６４」の範囲では「Ｆ（ｙ）＝０」であり、「１９２≦ｙ≦２５５」の範囲では「Ｆ（ｙ）＝１」であり、「６４≦ｙ≦１９２」の範囲ではＦ（ｙ）は「０」から「１」まで直線的に増加する。ここで、「ｙ」には上記図９における輝度値幅「Ｙｍａｘ−Ｙｍｉｎ」が代入される。従って、輝度値幅が大きいほど、すなわち参照画素相互の関係がよりエッジらしいものほどｒａｔｅが大きくなる。

また、このようにエッジらしいものほどｒａｔｅを大きくするための関数は上記図１０に示す例に限る必要はなく、輝度値幅を変数としたときに輝度値幅とともに単調に増加する関数であればよい。また、必ずしも評価関数の最大値を「１」にし、最小値を「０」にする必要もなく、図１０の点線に示すように評価関数の最大値を「０．７」にして第一の補間処理のみを実行することを防止したり、輝度値幅「０」〜「２５５」にわたってなめらかに変化する評価関数を採用することもできる。

図９のようなヒストグラムであれば、分布数が「０」でない輝度値が１９個あるのでステップＳ１０６の判別を経てステップＳ１０８にて図１０に示す評価関数によってｒａｔｅが決定され、ステップＳ１１４とステップＳ１１８にてそれぞれ第一の補間処理と第二の補間処理が実行される。図１１（ａ）は上記図８のステップＳ２０２において抽出する３×３画素の輝度パターンの一例を示している。ステップＳ２０４では同図（ａ）に示す輝度パターンから同図（ｂ）に示す２値パターンを作成するようになっており、まず各画素Ｐｉｊについて上記輝度値計算式に基づいて輝度値Ｙｉｊを計算する。

そして、これらの輝度値の最大値Ｙｍａｘと最小値Ｙｍｉｎとの中間の値を求め、当該中間の値を上記しきい値Ｙｔとする。しきい値が算出された後には各輝度値Ｙｉｊとしきい値Ｙｔとを比較し、同しきい値より輝度値が大きいものと小さいものとに分けて２値の画素パターンに変換する。むろん、しきい値の選び方や２値パターン作成の手法は上記の態様に限る必要はなく、輝度値の中間値１２８をしきい値にしたり、輝度値の最小値が「４５」以下の場合はこのような極端な輝度値は使用しないことにして最小値を「４５」として取り扱うなど種々の態様を採用可能である。

図１１（ｂ）に示す２値パターンが作成されると、ステップＳ２０６にて同２値パターンが予め用意されたエッジパターンと一致するか否かが判別される。ここで予め用意するエッジパターンは種々のパターンが採用可能である。具体的には、図１１（ｂ）に示すパターンは予め用意されているエッジパターンと一致する。ここで、同図（ｂ）のエッジパターンと一致するということは、同図のｊ方向における上方側に位置する画素の輝度値と同ｊ方向における下方側に位置する画素の輝度値とでは輝度値差が大きい傾向にあり、かつ紙面左右方向には輝度値差があまりないことを示している。従って、このようなパターンは紙面左右方向に平行なエッジであることになる。そこで、このエッジパターンに対して予め決められた規則で画素補間処理を行う。

この予め決められた規則にはエッジパターンによって種々の規則があるが、概略的には上記３×３画素の領域内の所定画素の階調値に対して当該画素と補間される画素との距離の逆比を重みとした加重平均を計算するものである。ここで、補間画素の生成時に加重平均を行う画素をどのような指針の基に選ぶかという点や、エッジの角度，方向等をどのように反映させるかという点において種々のバリエーションが考えられ、上記エッジパターンごとに所定のバリエーションを対応させるという意味でエッジパターンに対して予め決められた規則で画素補間処理を行うことになる。

また、上記エッジパターンは３×３画素の領域であるが、上記エッジの角度や方向等を見極めるのには上記５×５画素の参照画素をも使用する。すなわち、エッジパターンは予め種々の２値パターンをデータベースとして持っている必要があるが、５×５画素の領域で予め所定のパターンを用意するとその数が膨大になってしまう。そこで、本実施形態においては、予め用意するエッジパターンの数が現実的な数となる３×３画素の領域に対して２値パターンを生成し、当該生成パターンとエッジパターンとが一致するか否かを判別した上でさらにエッジの性質を反映させるべく５×５画素の領域を参照する。

以下、図１１（ｂ）に示す２値パターンとマッチすると判別された場合の画素補間処理規則を説明する。図１２（ａ）は上記参照画素データたる５×５画素の領域を示しており、画素のそれぞれにＡ〜Ｙのアルファベットを付して個々の画素を区別している。かかる表記において上記パターンマッチングに使用する上記３×３画素の領域は「Ｇ，Ｈ，Ｉ，Ｌ，Ｍ，Ｎ，Ｑ，Ｒ，Ｓ」の画素であり、上記注目画素は画素Ｍである。また、図１２（ａ）は当該３×３画素の領域においてすでに２値パターン化した後の状態を示している。

図１２（ｂ）は補間処理後の画素を示しており、注目画素Ｍは補間されて画素ａ〜ｉになる。かかる画素生成時の計算の基本式は次式に示すものであり、補間画素から元画素への距離の逆比を重みとした加重平均を実行している。ここで、生成される補間画素の階調値をｘbar とし、Ｐｎは参照される元画素（Ｇ，Ｈ，Ｉ，Ｌ，Ｍ，Ｎ，Ｑ，Ｒ，Ｓ）の階調値であり、ｒｎは生成される補間画素から参照されるそれぞれの元画素への距離である。

このように生成される補間画素の階調値は元画素から生成している点は特徴的な点である。すなわち、多階調値の画素に対して二値化を行い、その上でパターンマッチングを試みる。パターンマッチングするとマッチしたパターンに応じた計算式を利用して周囲の画素の階調値から補間画素の階調値を生成する。このように、パターンマッチングの判断を行いつつ、生成される画素はマッチしたパターンに基づいて用意されたルールに基づいて周囲の元画素から生成するので、単なるパターンマッチングに基づく補間処理だけでは得られない自然な補間画素を生成することができる。なお、先の計算でＲＧＢの各値から輝度を求める計算を行ったが、生成される補間画素の階調値は実際にはＲＧＢの各値を持つものであり、それぞれの値について元画素のＲＧＢの値を使用して所定の重み付けを行って算出する。従って、計算上便利な場合においては、輝度を使用した状態で重み付けを導出してから、ＲＧＢの値に対して同じ重み付けを適用して算出するようにしてもよい。

本例に示す３×３画素のパターンは上述のように水平方向（ｉ方向）には輝度値差があまりない、すなわち水平方向のエッジであるので、本式Ｐｎには水平に並んでいる３画素のもののみが代入されるようになっており、原則として元画素Ｌ，Ｍ，Ｎの階調値が代入される。また、本実施形態においては、さらに上記水平方向のエッジと垂直な方向の輝度値変化をも反映させた補間を行うようになっており、当該水平方向のエッジと垂直な方向に輝度値が変化している場合にはＰｎに元画素Ｑ，Ｒ，Ｓの階調値を代入し、エッジ変化の様子を補間画素ｇ，ｈ，ｉの階調値に反映させる。すなわち、注目画素Ｍの方がエッジ側の画素Ｒよりも値が大きい（小さい）ならば、画素Ｒでうめても強調にはならないため、注目画素をそのまま使用することとする。

このため、補間計算を行う前に画素Ｍと画素Ｒとの輝度値を比較し、画素Ｒの輝度値が画素Ｍの輝度値より大きい場合には上記元画素Ｑ，Ｒ，Ｓの階調値を上式に代入して補間画素ｇ，ｈ，ｉを生成している。この結果、補間画素ｄ，ｅ，ｆに比べて補間画素ｇ，ｈ，ｉの輝度値がより大きくなって補間された画像データにおいてエッジがより強調される。
この場合の具体的な判断条件は、
（（Ｍ＝エッジ）＆（Ｒ＞Ｍ））ｏｒ（（Ｍ≠エッジ）＆（Ｒ＜Ｍ））
であり、その際の計算式を示すと、
a=d=（Lx2＋Mx2+N）/5
b=e=（L＋Mx2+N）/4
c=f=（L＋Mx2+Nx2）/5
g=(Qx4+Rx6+Sx3)/13
h=(Q+Rx2+S)/4
i=(Qx3+Rx6+Sx4)/13
となる。一方、画素Ｒの輝度値が画素Ｍの輝度値より小さい場合は強調処理は行わず元画素Ｌ，Ｍ，Ｎの階調値のみが使用される。

この場合の具体的な判断条件は、
ｎｏｔ（（（Ｍ＝エッジ）＆（Ｒ＞Ｍ））ｏｒ（（Ｍ≠エッジ）＆（Ｒ＜Ｍ）））であり、その際の計算式を示すと、
a=d=g=（Lx2＋Mx2+N）/5
b=e=h=（L＋Mx2+N）/4
c=f=i=（L＋Mx2+Nx2）/5
となる。尚、上式で補間画素の階調値を計算するにあたり、元画素ＭをＰｎに代入する場合には重みとして距離の逆比を使用するとその値が大きくなりすぎるため、その場合のみ重みを半分にするようにしてある。

本実施形態においては、以上の規則によって水平エッジに対してその垂直方向への輝度値変化を考慮しつつ補間処理を実行しているが、当該水平エッジ以外にも種々のエッジパターンについての処理が可能であり図１３はその例を示している。上記ステップＳ２０６において同図（ａ）に示すパターンが発見されたときには、さらに３×３画素の領域外の所定画素を参照して同図（ｂ）に示す補間画素を生成する。同パターンにおける規則では、補間画素ａ，ｄ，ｅ，ｇ，ｈ，ｉの階調値計算においては、元画素Ｌ，Ｍ，Ｒを使用する。

補間画素ｂ，ｃ，ｆの階調値計算は５×５画素の領域に含まれる所定画素の輝度値に基づいて、いずれの画素を元画素にするかを変えている。すなわち、当該パターンが直角エッジであれば元画素Ｌ，Ｍ，Ｒを使用して補間画素ｂ，ｃ，ｆを生成するし、直角エッジでなければ元画素Ｇ，Ｈ，Ｎ，Ｓを使用して補間画素ｂ，ｃ，ｆを生成『する。
まず、本パターンが直角であるとする判断条件は、
（（（Ｍ＝Ｋ＝エッジ）＆（Ｆ＝エッジでない））ｏｒ（（Ｍ＝Ｗ＝エッジ）＆（Ｘ＝エッジでない）））
ｏｒ
（（（Ｍ＝Ｋ＝エッジでない）＆（Ｆ＝エッジ））ｏｒ（（Ｍ＝Ｗ＝エッジでない）＆（Ｘ＝エッジ）））
であり、その際の計算式を示すと
c=(L+Mx2+R)/4
b=(Lx4+Mx6+Rx3)/13
f=(Lx3+Mx6+Rx4)/13
a=(Lx2+Mx2+R)/5
d=(Lx3+Mx3+Rx2)/8
e=(L+Mx2+R)/4
g=(L+M+R)/3
h=(Lx2+Mx3+Rx3)/8
i=(L+Mx2+Rx2)/5
となる。次に、この直角以外でも直角に近い第一のパターンとしての条件判断は、
（（（Ｍ＝Ｆ＝エッジ）＆（Ａ＝エッジでない））ｏｒ（（Ｍ＝Ｘ＝エッジ）＆（Ｙ＝エッジでない）））
ｏｒ
（（（Ｍ＝Ｆ＝エッジでない）＆（Ａ＝エッジ））ｏｒ（（Ｍ＝Ｘ＝エッジでない）＆（Ｙ＝エッジ）））
であり、その際の計算式を示すと
c=(G+Hx2+Nx2+S)/6
b=(Lx4+Mx6+Rx3)/13
f=(Lx3+Mx6+Rx4)/13
となり、a,d,e,g,h,iについては同様の計算式とする。そして、上記二つの条件判断がいずれも成立しない場合の計算式を示すと、
c=(G+Hx2+Nx2+S)/6
b=(Gx15+Hx30+Nx20+Sx12)/77
f=(Gx12+Hx20+Nx30+Sx15)/77
となり、この場合もa,d,e,g,h,iについては同様の計算式とする。

さらに、図１３（ｃ）に示すパターンが発見されたときには、同図（ｄ）に示す補間画素を生成する。すなわち、同図（ｃ）に示すパターンは３×３画素領域の対角線を結んだ直線の一部（４５度のエッジ）らしいので、これらの直線を構成する元画素Ｇ、Ｍ、Ｓを使用して補間画素ａ，ｅ，ｉを生成する。また、５×５画素の領域に含まれる所定画素の輝度値に基づいて元画素のエッジ角度や線の太さを判別し、当該判別に応じて補間画素ｂ，ｃ，ｆ，ｄ，ｇ，ｈの生成に使用する元画素を「Ｇ，Ｍ，Ｓ」と「Ｈ，Ｎ」とで変更したり、「Ｇ，Ｍ，Ｓ」と「Ｌ，Ｒ」とで変更したりする。

検出した４５度のエッジか、４５度エッジの一部なのか３０度エッジの一部なのかの判断によって処理は３つに分岐する。この判断条件を図３６に示す。なお、図中で破線で囲った説明は各判断の意図する内容である。
処理１が選択された際の計算式は、
b=(Gx5+Mx10+Sx4)/19
c=(G+Mx2+S)/4
f=(Gx4+Mx10+Sx5)/19
となり、処理２が選択された際の計算式は、
b=(Gx5+Mx10+Sx4)/19
c=(H+N)/2
f=(Gx4+Mx10+Sx5)/19
となり、処理３が選択された際の計算式は、
b=(Hx3+Nx2)/5
c=(H+N)/2
f=(Hx2+Nx3)/5
となる。これら以外の画素についての計算式は、
a=(Gx3+Mx6+Sx2)/11
d=(Gx5+Mx10+Sx4)/19
e=(G+Mx2+S)/4
g=(G+Mx2+R)/4
h=(Gx4+Mx10+Sx5)/19
i=(Gx2+Mx6+Sx3)/11
となる。

図１３（ｅ）に示すパターンが発見されたときには、同図（ｆ）に示す補間画素を生成する。すなわち、上記図（ｃ）に示す直線よりさらに角度の浅い直線（３０度のエッジ）らしいので、これらの直線を構成する元画素Ｇ，Ｍ，Ｎを使用して補間画素ａ，ｂ，ｃ，ｅ，ｆを生成する。さらに、５×５画素の領域に含まれる所定画素の輝度値に基づいて元画素のエッジ角度や突出画素等を判別し、当該判別に応じて補間画素ｄ，ｇ，ｈ，ｉの生成に使用する元画素を「Ｇ，Ｍ，Ｎ」と「Ｌ，Ｒ，Ｓ」とで変更する。

より具体的に説明すると、検出した３０度のエッジについて処理は４つに分岐する。この判断条件を図３７に示す。なお、図中で破線で囲った説明は各判断の意図する内容である。
処理１が選択された際の計算式は、
d=(G+Mx2+N)/4
g=(G+Mx2+S)/4
h=(Gx3+Mx8+Nx5)/16
i=(G+Mx3+Nx3)/7
となり、処理２が選択された際の計算式は、
d=(G+Mx2+N)/4
g=(Lx2+Rx2+S)/5
h=(Lx4+Rx6+Sx3)/13
i=(Lx3+Rx6+Sx4)/13
となり、処理３が選択された際の計算式は、
d=(G+Mx2+N)/4
g=(Lx2+Rx2+S)/5
h=(Lx4+Rx6+Sx3)/13
i=(G+Mx3+Nx3)/7
となり、処理４が選択された際の計算式は、
d=(Lx15+Rx10+Sx6)/31
g=(Lx2+Rx2+S)/5
h=(Lx4+Rx6+Sx3)/13
i=(Lx3+Rx6+Sx4)/13
となる。これら以外の画素についての計算式は、
a=(Gx4+Mx6+Nx3)/13
b=(Gx3+Mx6+Nx4)/13
c=(G+Mx2+Nx2)/5
e=(Gx4+Mx6+Nx3)/13
f=(Gx2+Mx5+Nx5)/12
となる。

以上示したエッジパターンや５×５画素領域の参照手法，使用する元画素の選択手法等はその例示であり、種々の態様が採用可能であるし、補間画素を生成する際の倍率も上述のように縦横にそれぞれ３倍の画素を生成する態様の他、２倍，４倍等種々の倍率を採用することもできる。
まず、２倍補間の例について説明する。図３８〜図４２は元画素Ｍから補間画素ａ〜補間画素ｄが生成される場合の対応を示しており、図３８はパターンマッチングで水平エッジが発見された場合を示している。この場合も、注目画素Ｍの方がエッジ側の画素Ｒよりも値が大きい（小さい）ならば、画素Ｒでうめても強調にはならないため、注目画素をそのまま使用することとする。より具体的な判断条件は、
（（Ｍ＝エッジ）＆（Ｒ＞Ｍ））ｏｒ（（Ｍ＝エッジでない）＆（Ｒ＜Ｍ））
であり、これが成立すれば強調処理を行う。その場合の計算式は、
a=b=M
c=d=R
となり、これ以外の場合は強調処理を行わないので、
a=b=c=d=M
となる。

次に図３９は、パターンマッチングで角エッジが発見された場合であり、直角のエッジか否かの判断条件は、
（（（Ｍ＝Ｋ＝エッジ）＆（Ｆ＝エッジでない））ｏｒ（（Ｍ＝Ｗ＝エッジ）＆（Ｘ＝エッジでない）））
ｏｒ
（（（Ｍ＝Ｋ＝エッジでない）＆（Ｆ＝エッジ））ｏｒ（（Ｍ＝Ｗ＝エッジでない）＆（Ｘ＝エッジ）））
であり、これが成立すれば直角であることを強調するために、
b=(L+R)/2
という式で計算し、そうでない場合には、
b=(Gx2+Hx3+Nx3+Sx2)/10
という式で計算する。その他の画素の計算式は、
a=(Lx3+Rx2)/5
c=(L+R)/2
d=(Lx2+Rx3)/5
となる。

図４０は、パターンマッチングで４５度のエッジが発見された場合であり、４５度のエッジの一部なのか３０度のエッジの一部なのかの判断を行うため、図４１に示す条件判断で２つの処理に分岐する。ここで、処理１となった場合の計算式は、
b=(G+S)/2
となり、処理２となった場合の計算式は、
b=(H+N)/2
となる。これ以外の画素の計算式は、
a=(Gx2+S)/3
c=(G+S)/2
d=(G+Sx2)/3
となる。

図４２は、パターンマッチングで３０度のエッジが発見された場合であり、図４３に示す条件判断で３つの処理に分岐する。ここで、処理１となった場合の計算式は、
c=(G+N)/2
d=(G+Nx2)/3
となり、処理２となった場合の計算式は、
c=(Lx3+Rx3+Sx2)/8
d=(Lx2+Rx3+Sx3)/8
となり、処理３となった場合の計算式は、
c=(Lx3+Rx3+Sx2)/8
d=(G+Nx2)/3
となる。これ以外の画素の計算式は、
a=(Gx3+Nx2)/5
b=(Gx2+Nx3)/5
となる。

上記３×３画素の領域において予め用意したエッジパターンと上記２値パターンとが一致したと判別されないときには、第一の補間処理としてこのようなパターンマッチング法が使用せず、ニアリスト法が実行される。ニアリスト法は図１４に示すように、周囲の四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい点Ｐｕｖとの距離を求め、もっとも近い格子点のデータをそのまま移行させる。これを一般式で表すと、
Ｐｕｖ＝Ｐｉｊ
ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］である。なお、［］はガウス記号で整数部分を取ることを示している。

図１５は、ニアリスト法で画素数を縦横３倍ずつに補間する状況を示している。補間する前には四隅の画素（□△○●）があるとして、補間して生成する画素にはこれらの画素のうちもっとも近い画素のデータをそのまま移行させている。すなわち、この例で言えば四隅の画素に隣接する画素についてそれぞれ複写することになる。また、かかる処理を行うと、図１６に示すように白い画素を背景として黒い画素が斜めに配置される元画像は、図１７に示すように黒の画素が縦横に３倍に拡大されつつ斜め方向に配置されることになる。ニアリスト法においては、画像のエッジがそのまま保持される特徴を有する。それ故に拡大すればジャギーが目立つもののエッジはエッジとして保持される。

このようにして第一の補間処理による補間画素を生成した後、上記ｒａｔｅが「１」でなければさらに上記第二の補間処理を実行する。本実施形態においてはこの第二の補間処理としていわゆるキュービック法による補間処理を実行するようになっており、以下かかる処理を説明する。キュービック法は図１８に示すように、内挿したい点Ｐｕｖを取り囲む四つの格子点のみならず、その一周り外周の格子点を含む計１６の格子点のデータを利用する。

内挿点Ｐｕｖを取り囲む計１６の格子点がそれぞれに値を備えている場合に、内挿点Ｐｕｖはそれらの影響を受けて決定される。例えば、一次式で補間しようとすれば、内挿点を挟む二つの格子点からの距離に反比例させて重みづけ加算すればよい。Ｘ軸方向に注目すると、内挿点Ｐｕｖから上記１６の格子点との距離は、図面上、左外側の格子点までの距離をｘ１、左内側の格子点までの距離をｘ２、右内側の格子点までの距離ｘ３、右外側の格子点までの距離ｘ４と表しつつ、このような距離に対応した影響度合いを関数ｆ（ｘ）で表すことにする。また、Ｙ軸方向に注目すると、内挿点Ｐｕｖから上記１６の格子点との距離は、上方外側の格子点までの距離をｙ１、上方内側の格子点までの距離をｙ２、下方内側の格子点までの距離ｙ３、下方外側の格子点までの距離ｙ４と表しつつ、同様に影響度合いは関数ｆ（ｙ）で表せる。

１６の格子点は以上のような距離に応じた影響度合いで内挿点Ｐｕｖに寄与するので、全ての格子点にデータに対してＸ軸方向とＹ軸方向のそれぞれの影響度合いを累積させる一般式は次式のようになる。

また、ここで距離に応じた影響度合いを３次たたみ込み関数で表すとすると、
f(t) = {sin(πt)}/πt
となる。なお、上述した各距離ｘ１〜ｘ４，ｙ１〜ｙ４は格子点Ｐｕｖの座標値（ｕ，ｖ）について絶対値を利用して次のように算出することになる。
x1 = 1+(u-|u|) y1 = 1+(v-|v|)
x2 = (u-|u|) y2 = (v-|v|)
x3 = 1-(u-|u|) y3 = 1-(v-|v|)
x4 = 2-(u-|u|) y4 = 2-(v-|v|)
以上の前提のもとでＰについて展開すると、

となる。なお、３次たたみ込み関数と呼ばれるように距離に応じた影響度合いｆ（ｔ）は次のような三次式で近似される。

このキュービック法では一方の格子点から他方の格子点へと近づくにつれて徐々に変化していき、その変化具合がいわゆる３次関数的になるという特徴を有している。

図１９と図２０はキュービック法にて補間される際の具体例を示している。理解を容易にするため、垂直方向についてのデータの変化はなく、水平方向についてエッジが生じているモデルについて説明する。また、補間する画素を３点とする。
まず、図２０の具体的数値について説明する。補間前の画素の階調値を左列に「Ｏｒｉｇｉｎａｌ」として示しており、階調値「６４」の画素（Ｐ０、Ｐ１、Ｐ２、Ｐ３）が４点並び、階調値「１２８」の画素（Ｐ４）を１点挟み、階調値「１９２」の画素（Ｐ５、Ｐ６、Ｐ７、Ｐ８、Ｐ９）が５点並んでいる。この場合、エッジは階調値「１２８」の画素の部分である。

ここで各画素間に３点の画素（Ｐｎ１、Ｐｎ２、Ｐｎ３）を内挿することになると、内挿される画素間の距離は「０．２５」となり、上述したｘ１〜ｘ４は内挿点毎に表の中程の列の数値となる。ｘ１〜ｘ４に対応してｆ（ｘ１）〜ｆ（ｘ４）も一義的に計算されることになり、例えば、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．２５」、「０．２５」、「０．７５」、「１．７５」となる場合、それに対するｆ（ｔ）については、概略「−０．１４」、「０．８９」、「０．３０」、「−０．０５」となる。また、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．５０」、「０．５０」、「０．５０」、「１．５０」となる場合、それに対するｆ（ｔ）については、「−０．１２５」、「０．６２５」、「０．６２５」、「−０．１２５」となる。また、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．７５」、「０．７５」、「０．２５」、「１．２５」となる場合、それに対するｆ（ｔ）については、概略「−０．０５」、「０．３０」、「０．８９」、「−０．１４」となる。以上の結果を用いて内挿点の階調値を演算した結果を表の右列に示しているとともに、図１９においてグラフで示している。なお、このグラフの意味するところについて後に詳述する。

垂直方向についてのデータの変化がないものとみなすと、演算は簡略化され、水平方向に並ぶ四つの格子点のデータ（P1,P2,P3,P4 ）だけを参照しつつ、内挿点から各格子点までの距離に応じた影響度合いｆ（ｔ）を利用して次のように算出できる。
P=P1・f(x1)+P21f(x2)+P3・f(x3)+P4・f(x4)
従って、内挿点Ｐ２１について算出する場合には、
P21=64*f(1.25)+64*f(0.25)+64*f(0.75)+128*f(1.75)
=64*(-0.14063)+64*(0.890625)+64*(0.296875)+128*(-0.04688)
=61
となる。

キュービック法によれば３次関数的に表せる以上、そのカーブの形状を調整することによって補間結果の品質を左右することができる。
その調整の一例として、
0＜t＜0.5 f(t) = -(8/7)t**3-(4/7)t**2+1
0.5＜t＜1 f(t) = (1-t)(10/7)
1＜t＜1.5 f(t) = (8/7)(t-1)**3+(4/7)(t-1)**2-(t-1)
1.5＜t＜2 f(t) = (3/7)(t-2)
としたものをハイブリッドバイキュービック法あるいはＭ（モディファイド）キュービック法と呼ぶことにする。

図２１はＭキュービック法にて補間される際の具体例を示しており、キュービック法の場合と同じ仮定のモデルについて補間した結果を示している。また、図１９にもＭキュービック法による補間処理結果を示しており、この例では３次関数的なカーブがわずかに急峻となり、画像全体のイメージがシャープとなる。Ｍキュービック法，通常のキュービック法のいずれを使用するにしても、上記第二の補間処理においてはキュービック法によって補間画素を生成すれば、上記重畳データ計算式の変数、すなわち第一の補間処理データ，ｒａｔｅ，第二の補間処理データの全てが算出されていることになるので、同式に値を代入することによって補間画素の重畳データを算出する。

以下、図２２（ａ）に示すような画像データに対して重畳処理が行われる様子を説明する。ここで、当該説明中における注目画素の周り５×５の領域では輝度値Ｙの出現回数が１５より大きく、上記ｒａｔｅが「０」，「１」でないものとする。従って、ステップＳ１０８にてｒａｔｅが計算された後、ステップＳ１１４にて第一の補間処理を実行する。ステップＳ２０２では図２２（ａ）に示す注目画素周りの３×３画素の領域（実線領域）を抽出し、ステップＳ２０４で当該領域データから図２２（ｂ）に示す２値パターンを作成する。

この２値パターンは予め用意された所定のエッジパターンと一致し、ステップＳ２０８にてパターンマッチング法による処理が行われ、図２２（ｃ）に示す補間画素が生成される。このとき、図２２（ａ）に示す３×３の画素は対角線方向のエッジであって左下に向けて輝度勾配がついている。従って、図２２（ｃ）に示す補間画素においては、かかる３×３画素の性質を反映し対角線方向のエッジを保持しつつ左下に向けて輝度勾配がついてエッジを強調している。

一方、ステップＳ１１８では図２２（ａ）に示す画素データを使用して図２２（ｄ）に示す補間画素を生成する。ここで、上述のように、補間画素生成にはその周りの１６個の画素データが使用され、例えば、図２２（ｄ）に黒点として示す右上の画素を生成するには図２２（ａ）に示す実線および点線領域からなる１６画素を使用する。かかる補間画素においては、キュービック法の性質から上記実線および点線領域の画素相互間の微妙な変化を反映しつつも上記パターンマッチング法に比べてエッジが曖昧になっている。すなわち、補間画素の対角線方向にエッジがあるが左下方向に向けての輝度勾配が緩やかになってエッジが曖昧になっている。

このように第一の補間処理および第二の補間処理にて補間画素を生成した後には第一の補間処理による各補間画素にｒａｔｅが乗じられ、第二の補間処理による各補間画素に（１−ｒａｔｅ）が乗じられて図２２（ｅ）に示すように重畳画素が生成される。同図（ｅ）に示すように、注目画素に対する重畳補間画素を生成すると、ステップＳ１２２の判別を経て新たな座標値の注目画素について全て補間処理し、ステップＳ１２４にて補間画像データを次段の処理へ引き渡す。ただし、補間倍率によっては補間画像データのデータ量が極めて多大になることもあるし、そもそもプリンタドライバ１２ｃが利用可能なメモリ領域がさほど多くない場合もある。このような場合には一定のデータ量ごとに分けて出力するようにしても構わない。

最後に、本実施形態の総括を図３４に示している。スキャナ１１ａが写真をスキャンして電子化したものは元画像データとなり、以後の過程で処理対象となる。この元画像データを取得する手段は画像データ取得手段Ｃ１１である。
ステップＳ１０４では、元画像データを読み込み、注目画素を中心とした周辺の５×５画素の領域で輝度値のヒストグラムを作成する。ステップＳ１０６では、得られたヒストグラムにて異なる輝度値が出現する回数を取得し、所定のしきい値よりも少なければ、画像の性質が単純な非自然画であると判断して第一の補間処理の重畳比率（ｒａｔｅ）を１としてしまうが、多ければ画像の性質は自然画あるいは非自然画の混合画像である判断して評価関数Ｆによってｒａｔｅを決定する。この評価関数Ｆは上記領域での最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差の関数であり、エッジらしさを評価したものとなる。このようにして画像の性質から重畳比率を得る手段は第一重畳比率決定手段Ｃ１４である。

ステップＳ１１４では、注目画素を中心とした所定の領域でパターンマッチング法かニアリスト法によってエッジを保存しやすい傾向にある補間処理を行なうので、これが第一の補間処理手段Ｃ１２となる。
一方、ステップＳ１１８では、画素相互間の微妙な変化を反映しつつもパターンマッチング法に比べてエッジが曖昧になるキュービック法で補間処理を行うので、これが第二の補間処理手段Ｃ１３となる。

そして、ステップＳ１２０では、上記のようにして決定された重畳比率（ｒａｔｅ）を使用する計算式（１）により、それぞれ別個に補間処理された画素データに重み付けをつけて加算し、補間画素を生成する。この重畳比率の総和は当然「１」となる。むろん、この手段が画像データ重畳手段Ｃ１５である。
以後、注目画素を逐次移動させていって全画素について処理を実施したら、補間画像が作成される。従って、ステップＳ１２４では完成した補間画像データを出力する。この過程が画像データ出力手段Ｃ１６であるが、一例としてプリンタ１７ｂに出力すれば印刷物が得られることになる。

次に、本発明の他の実施形態を説明する。この実施形態では、画像データ補間プログラムを印刷システムに使用する。なお、上述した実施形態と共通する構成部品などについてはそのまま参照する。
上述したカラープリンタ１７ｂには、プリンタドライバ１２ｃを介してアプリケーション１２ｄの処理結果が印刷データとして出力され、同カラープリンタ１７ｂは色インクを用いて印刷用紙上にドットを付すことにより対応する画像を印刷する。

図２３〜図２５にはこのようなカラープリンタの一例としてカラーインクジェットプリンタ２１の概略構成を示している。本カラーインクジェットプリンタ２１は、三つの印字ヘッドユニットからなる印字ヘッド２１ａと、この印字ヘッド２１ａを制御する印字ヘッドコントローラ２１ｂと、当該印字ヘッド２１ａを桁方向に移動させる印字ヘッド桁移動モータ２１ｃと、印字用紙を行方向に送る紙送りモータ２１ｄと、これらの印字ヘッドコントローラ２１ｂと印字ヘッド桁移動モータ２１ｃと紙送りモータ２１ｄにおける外部機器とのインターフェイスにあたるプリンタコントローラ２１ｅとからなるドット印刷機構を備え、印刷データに応じて印刷用紙である記録媒体上で印字ヘッド２１ａを走査しながら画像印刷可能となっている。

また、図２４は印字ヘッド２１ａの具体的な構成を示しており、図２５はインク吐出時の動作を示している。印字ヘッド２１ａには色インクタンク２１ａ１からノズル２１ａ２へと至る微細な管路２１ａ３が形成されており、同管路２１ａ３の終端部分にはインク室２１ａ４が形成されている。このインク室２１ａ４の壁面は可撓性を有する素材で形成され、この壁面に電歪素子であるピエゾ素子２１ａ５が備えられている。このピエゾ素子２１ａ５は電圧を印加することによって結晶構造が歪み、高速な電気−機械エネルギー変換を行うものであるが、かかる結晶構造の歪み動作によって上記インク室２１ａ４の壁面を押し、当該インク室２１ａ４の容積を減少させる。すると、このインク室２１ａ４に連通するノズル２１ａ２からは所定量の色インク粒が勢いよく吐出することになる。このポンプ構造をマイクロポンプ機構と呼ぶことにする。

なお、一つの印字ヘッドユニットには独立した二列のノズル２１ａ２が形成されており、各列のノズル２１ａ２には独立して色インクが供給されるようになっている。従って、三つの印字ヘッドユニットでそれぞれ二列のノズルを備えることになり、最大限に利用して六色の色インクを使用することも可能である。図２３に示す例では、左列の印字ヘッドユニットにおける二列を黒インクに利用し、中程の印字ヘッドユニットにおける一列だけを使用してシアン色インクに利用し、右列の印字ヘッドユニットにおける左右の二列をそれぞれマゼンタ色インクとイエロー色インクに利用している。

一方、印字ヘッド２１ａに形成されているノズル２１ａ２の鉛直方向の間隔は印刷解像度とは一致せず、一般的にはこのノズル２１ａ２は印刷解像度よりも大きな間隔で形成されている。これにもかかわらずより高解像度の印刷を可能とするのは、紙送り方向について紙送りモータ２１ｄを制御するからである。例えば、ノズル２１ａ２の間隔の間で紙を８段階で送り、各段階毎に印字ヘッド２１ａを桁送り方向に操作して印刷すれば解像度は向上する。むろん、桁送り方向については任意の間隔で色インクを吐出すればそれが解像度と言えるから、タイミングの制御次第と言える。なお、厳密な意味では色インクのドット径も解像度の要素となりえるが、ここでは理解の簡便のため無視することにする。

本実施形態においては、上述したようなハードウェアシステムを前提とし、コンピュータシステム１０の画像入力デバイスで取得した画像データに基づいて印刷を実行する。その際、元の画像データの解像度とカラープリンタ１７ｂの解像度とに差がある場合には補間処理を実行することになる。ここで、アプリケーション１２ｄが印刷処理を実行した際にカラープリンタ１７ｂに対して印刷データが出力される際の解像度と階調度の変化について説明する。

図２６は画像データの流れを示している。アプリケーション１２ｄはオペレーティングシステム１２ａに対して印刷要求を発生し、その際に出力サイズと印刷用紙と印刷速度とインクの種類とＲＧＢ２５６階調の画像データを受け渡す。すると、オペレーティングシステム１２ａはプリンタドライバ１２ｃに対してこの出力サイズと印刷用紙と印刷速度とインクの種類と画像データを受け渡す。ここで、オペレーティングシステム１２ａはディスプレイドライバ１２ｂを介してディスプレイ１７ａに表示を行いつつ、キーボード１５ａやマウス１５ｂの操作結果をプリンタドライバ１２ｃに出力し、プリンタドライバ１２ｃは上記指定された出力サイズになるよう画像補間処理を実行して印刷データを生成する。通常、この印刷データはＣＭＹＫ２階調であり、オペレーティングシステム１２ａを介してハードウェアポートよりカラープリンタ１７ｂに出力されることになる。

このように、本実施形態においては、印刷制御プログラムをコンピュータシスム１０にて実行してカラープリンタ１７ｂに印刷データを出力しているが、対象となる印刷装置は上述したインクジェット方式のカラープリンタ２１に限定されるものではない。例えば、同カラープリンタ２１はマイクロポンプ機構を採用するインクジェット方式のものであるがマイクロポンプ機構以外のものを採用することも可能である。図２７に示すようにノズル２１ａ６近傍の管路２１ａ７の壁面にヒータ２１ａ８を設けておくとともに、このヒータ２１ａ８に加熱して気泡を発生させ、その圧力で色インクを吐出するようなバブルジェット（Ｒ）方式のポンプ機構も実用化されている。

また、他の機構として図２８にはいわゆる電子写真方式のカラープリンタ２２の主要部概略構成を示している。感光体としての回転ドラム２２ａの周縁には回転方向に対応して帯電装置２２ｂと露光装置２２ｃと現像装置２２ｄと転写装置２２ｅとが配置され、帯電装置２２ｂにて回転ドラム２２ａの周面を均一に帯電させた後、露光装置２２ｃによって画像部分の帯電を除去し、現像装置２２ｄで帯電していない部分にトナーを付着させ、転写装置２２ｅによって同トナーを記録媒体としての紙上に転写させる。その後、ヒータ２２ｆとローラ２２ｇとの間を通過させて同トナーを溶融して紙に定着させている。そして、これらが一組となって一色のトナーによる印刷を行わせることになるので、合計四色分が個別に備えられている。

すなわち、その印刷装置の具体的な構成は特に限定されるものではないし、このような個別的な印刷手法の適用範囲のみならずその適用態様についても各種の変更が可能である。
次に、上述した印刷システムを利用して出力解像度に応じた最適な画像処理を実行する処理について説明する。
図２９は、この印刷システムの概略構成を示すブロック図である。印刷品質取得手段Ｃ２１は、実行された印刷ジョブにおいて印刷させようとする印刷品質を取得し、第一の補間処理手段Ｃ２２および第二の補間処理手段Ｃ２３はこの画像データにおける構成画素数を増やす補間処理を行う。ここで、第一の補間処理手段Ｃ２２は補間処理としてパターンマッチング法とニアリスト法とを実行可能になっており、第二の補間処理手段Ｃ２３は補間処理としてキュービック法を実行可能になっている。

第二重畳比率決定手段Ｃ２４は上記印刷品質取得手段Ｃ２１が取得した印刷品質に基づいて上記第一の補間処理手段Ｃ２２および第二の補間処理手段Ｃ２３による補間画素の重畳比率を決定する。同第二重畳比率決定手段Ｃ２４が重畳比率を決定すると、画像データ重畳手段Ｃ２５が当該重畳比率にて上記第一の補間処理手段Ｃ２２および第二の補間処理手段Ｃ２３による補間画素データを重畳する。そして、印刷制御処理手段Ｃ２６は画像データ重畳手段Ｃ２５が重畳した画素データに基づいて印刷用データを生成するとともに印刷を実行する。

図３０は上述したプリンタドライバ１２ｃが実行する印刷処理に関連するソフトウェアフローを示している。図３０においてステップＳ３０２では元画像データを取得する。例えば、アプリケーション１２ｄにてスキャナ１１ａから画像を読み込み、所定の画像処理を行った後で印刷処理すると、所定の解像度の画像データがオペレーティングシステム１２ａを介してプリンタドライバ１２ｃに引き渡されるため、この引渡の段階が該当する。

ステップＳ３０３では印刷設定を入力する。アプリケーション１２ｄにて印刷処理を実行する際には、オペレーティングシステム１２ａがＧＵＩ環境を提供するものとすると図３１に示すように印刷操作用のウィンドウ表示が行われる。ここで入力されるパラメータなどは各種のものを採用可能であるが、本実施形態においては、「（印刷の）部数」、「開始ページ」、「終了ページ」などがある。また、操作指示ボタンとしては「ＯＫ」ボタンと「キャンセル」ボタンとともに、「プリンタの設定」ボタンも用意されている。

「プリンタの設定」を指示すると、図３２に示すようなウィンドウ表示が行われる。このウィンドウ表示はプリンタ毎の機能に応じた各種の設定を行うために用意されており、後述するようにこのウィンドウにおける設定内容に応じて重畳比率が変更される。本例では「（印刷）解像度」として「３６０ｄｐｉ」と「７２０ｄｐｉ」の一方を選択できる。また、「用紙」として「Ａ４」か「Ｂ５」のサイズおよび「普通紙」か「光沢紙」の品質、「印刷速度」として「速い」か「遅い」か、「インク」として「顔料」か「染料」かを選択できる。むろん、この印刷設定は一例であり、これらの全てをユーザに選択させるように構成する必要はなく、上記カラープリンタ１７ｂと双方向通信を行ってインク種類等を行う等種々の態様を採用可能である。

本実施形態においては、上述の設定内容はオペレーティングシステム１２ａの管理下にある設定ファイルに格納されるようになっており、既に設定がなされているのであれば当該設定ファイルを参照して読み出すし、操作者が印刷操作に伴って設定内容を変更する場合には変更後の設定内容を印刷設定として読み出す。このようなステップＳ３０３の処理はソフトウェアとしてみるときに上記印刷品質取得工程あるいは印刷品質取得機能ということになるが、当該印刷品質取得工程を含めてコンピュータに実行させる各種のステップは、オペレーティングシステム１２ａ自体やハードウェアを直接に含まないものとして理解することができる。これに対して、ＣＰＵなどのハードウェアと有機一体的に結合したものと考えると印刷品質取得手段Ｃ２１に該当する。

ステップＳ３０４では読み込んだ画像データにおいて、補間される画素を注目画素とし、当該注目画素を中心として周辺の５×５画素の領域の画素データを参照画素としつつ、同参照画素の輝度値のヒストグラムを作成する。ステップＳ３０６では得られたヒストグラムにて異なる輝度値が出現する回数を取得し、同出現回数が１５より小さいか否かを判別する。異なる輝度値が多いものほど参照画素中に色数が多いことから、ここでは輝度値出現回数が１５より小さいものを非自然画であるとしており、上記ステップＳ３０６にて出現回数が１５より小さいと判別されたときにステップＳ３１０にて上記第一の補間処理の重畳比率（ｒａｔｅ）を１にする。

ステップＳ３０６にて輝度値出現回数が１５より小さくないと判別されたときにはステップＳ３０７にて上記ステップＳ３０３で入力した印刷設定内容に基づいて評価関数Ｆを決定する。同ステップＳ３０７における評価関数Ｆの決定では印刷品質が高いときに上記第二の補間処理の重畳比率を大きくなるように評価関数Ｆ決定する。詳細は後述するが、本実施形態においては印刷品質が高い場合と低い場合との２種の評価関数が用意されており、印刷品質が高い場合の評価関数値は印刷品質が低い場合の評価関数値より小さくなっている。また、この評価関数Ｆは上記参照画素の輝度値幅すなわち参照画素中の最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差の関数である。

ステップＳ３０８では上記ステップＳ３０７にて決定された評価関数Ｆに対して上記ヒストグラムに基づく最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差を代入し、ｒａｔｅを決定する。従って、ステップＳ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０８，Ｓ３１０に示す一連の処理が第二重畳比率決定工程あるいは第二重畳比率決定機能に相当するし、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると第二重畳比率決定手段Ｃ２４を構成することになる。

ステップＳ３０８あるいはステップＳ３１０にてｒａｔｅを決定すると、ステップＳ３１２にて同ｒａｔｅが「０」であるか否かを判別し、ｒａｔｅが「０」である時には第一の補間処理を行わないようになっている。ステップＳ３１２にてｒａｔｅが「０」であると判別されないときにはステップＳ３１４にて第一の補間処理を実行する。従って、この処理が上記第一の補間処理工程あるいは第一の補間処理機能に相当するし、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると第一の補間処理手段Ｃ２２を構成することになる。

さらに、ステップＳ３１６ではｒａｔｅが「１」であるか否かを判別し、ｒａｔｅが「１」である時には第二の補間処理を行わないようになっている。ステップＳ３１６にてｒａｔｅが「１」であると判別されないときにはステップＳ３１８にて第二の補間処理を実行する。従って、この処理が上記第二の補間処理工程あるいは第二の補間処理機能に相当するし、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると第二の補間処理手段Ｃ２３を構成することになる。このようにしてｒａｔｅを決定し、第一の補間処理あるいは第二の補間処理を実行した後にはステップＳ３２０にて当該ｒａｔｅに基づいて上述した式（１）により画素データを重畳して補間画素を生成する。
重畳データ＝
（第一の補間処理）×ｒａｔｅ＋（第二の補間処理）×（１−ｒａｔｅ）
…（１）
従って、この処理が上記画像データ重畳工程あるいは画像データ重畳機能に相当し、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像データ重畳手段Ｃ２５を構成することになる。このようにして上記注目画素に対する補間データの生成が終了すると、ステップＳ３２２にて上記入力した元画像データの全注目画素についての重畳処理が終了したか否かを判別し、全注目画素についての処理が終了するまで上記ステップＳ３０４以降の処理を繰り返す。

全注目画素についての重畳処理が終了したら、ステップＳ３２４にて補間された画像データに基づく印刷を行う。プリンタドライバ１２ｃの場合、解像度変換だけで印刷データが得られるわけではなく、色変換であるとか、ハーフトーン処理が必要になる。従って、ここでは、かかる変換処理等を実行した上で印刷データを上記カラープリンタ１７ｂに出力しており、この処理が上記印刷制御処理工程あるいは印刷制御処理機能に相当し、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると印刷制御処理手段Ｃ２６を構成することになる。

次に、以上のようなフローに対するより具体的な処理について説明する。本実施形態においては、ステップＳ３０２で取得する元画像がコンピュータグラフィックス（非自然画）であるか写真（自然画）であるかを判定し、印刷品質のみならず当該判定結果を重畳比率に反映させるようになっている。むろん、補間手法決定の誤りを防止するために、上記ｒａｔｅを「１」もしくは「０」に固定しない構成も可能であるが、本実施形態においては輝度値出現回数が１５より小さければまず非自然画であるとし、非自然画に対して第二の補間処理を実行して画像の輪郭を曖昧にさせないようにすることを重視してある。

この判別は具体的には図１４に示す輝度値のヒストグラムを利用しており、ステップ１０４においては、５×５画素の領域の各参照画素について輝度値を求め、輝度が取りうる範囲において画素数のヒストグラムを集計する。そして当該輝度値出現回数すなわち、分布数が「０」でない輝度値がいくつ表れているかカウントし、ステップＳ３０６における判別を行う。
このように、輝度値のヒストグラムにおいて分布数が「０」でない輝度値が１５より多ければ、上記第一の補間処理の重畳比率を評価関数によって決定する。本実施形態においては、評価関数は予め高印刷品質用と低印刷品質用との２種類用意されており、上記図３２に示すウィンドウで設定した設定内容のうち、一つでも高品質を示すものがあればステップＳ３０６にて高印刷品質用評価関数を使用するよう決定する。図３３は評価関数Ｆ（ｙ）の一例を示しており、同図Ｆ１が低印刷品質用評価関数であり、同図Ｆ２が高印刷品質用評価関数である。

評価関数Ｆ１（ｙ）は「ｙ」が「０≦ｙ≦２５５」の範囲で値を有し、「０≦Ｆ（ｙ）≦１」の範囲で変動する。また、「０≦ｙ≦６４」の範囲では「Ｆ（ｙ）＝０」であり、「１９２≦ｙ≦２５５」の範囲では「Ｆ（ｙ）＝１」であり、「６４≦ｙ≦１９２」の範囲ではＦ（ｙ）は「０」から「１」まで直線的に増加する。また、評価関数Ｆ２（ｙ）は「ｙ」が「０≦ｙ≦２５５」の範囲で値を有し、「０≦Ｆ（ｙ）≦０．７」の範囲で変動する。また、「０≦ｙ≦６４」の範囲では「Ｆ（ｙ）＝０」であり、「１９２≦ｙ≦２５５」の範囲では「Ｆ（ｙ）＝０．７」であり、「６４≦ｙ≦１９２」の範囲ではＦ（ｙ）は「０」から「０．７」まで直線的に増加する。

ここで、「ｙ」には上記図１４における輝度値幅「Ｙｍａｘ−Ｙｍｉｎ」が代入される。従って、輝度値幅が大きいほど、すなわち参照画素相互の関係がよりエッジらしいものほどｒａｔｅが大きくなる。さらに、同じ輝度値幅であっても評価関数Ｆ１の値は常に評価関数Ｆ２の値以上である。すなわち、同じ輝度値幅でも高品質印刷の場合は画像の階調性を損なわないで補間処理を行う第二の補間処理の重畳比率が大きくなる。

「高印刷解像度」，「高印刷用紙品質」，「低速印刷」のいずれかまたは組み合わせを選択した状態、すなわち高い印刷品質で印刷を行うときに、元画像の階調性を損なわない補間を行えば、微妙な階調変化が印刷結果において利用者の目に見える効果として再現される。一方、低い印刷品質で印刷を行うときには微妙な階調変化を再現可能な印刷データを使用して印刷を行っても印刷結果において利用者の目に見える効果として再現されない。従って、高印刷品質時に第二の補間処理を行う価値があると言え、本実施形態では評価関数Ｆ２を使用することで同第二の補間処理の重畳比率を高くする。

また、本実施形態ではインクの種類も上記評価関数の選択に影響を与えている。ここで、インクの種類は「顔料」と「染料」が選択可能であり、いずれのものが高品質であるとは一概に決定できないが、「顔料」は「染料」に比べてにじまない傾向にあり、両者を比べると印刷結果において「顔料」の方がエッジが目立つ傾向にある。従って、インクの種類は印刷品質を反映していると言え、本実施形態において両インクで同程度の印刷結果を得ようとすると「顔料」の場合に「染料」に比べて第二の補間処理の比率が高くなるようにすればよい。そこで、本実施形態においては、インクが「顔料」である時には上記評価関数Ｆ２を使用するようになっている。

むろん、本実施形態における評価関数および上記取得した印刷設定の反映のさせ方は一例であって、種々の態様を採用することができる。例えば、評価関数は上述のように２種類である必要はなく、複数種類のものを用意することができる。上記実施形態のように印刷品質に影響を与える印刷設定項目が４種類ある場合に４つの評価関数を用意し、高品質に設定された項目が一つ増える毎により最大値の小さな評価関数を選択するようなことが考えられる。

また、このように予め複数の評価関数を用意しておく必要もなく、上述の評価関数Ｆ１を一つ用意しておいて高品質印刷時に当該評価関数を「０．７倍」したものを使用してｒａｔｅを決定するように構成することもできるし、高品質に設定された項目が一つ増えるごとに評価関数を「０．９倍」する等の構成も可能である。さらに、関数の形状も上記図３３に示す例に限る必要はなく、輝度値幅を変数としたときに輝度値幅とともに単調に増加する関数であればよいし、輝度値幅「０」〜「２５５」にわたってなめらかに変化する評価関数を採用すること等もできる。

上述のようにしてステップＳ３０７にて使用する評価関数が決定されると、ステップＳ３０８にて当該決定された評価関数によって重畳比率ｒａｔｅを決定する。図１４のようなヒストグラムであれば、分布数が「０」でない輝度値が１９個あるのでステップＳ３０６の判別を経てステップＳ３０７の処理を実行する。また、図３２に示すように解像度にて「７２０ｄｐｉ」，用紙にて「光沢紙」、印刷速度にて「速い」、インクにて「顔料」が選択されている状態では、解像度と用紙とインクにて高品質印刷用の評価関数を選択するべき印刷設定がなされているので、ステップＳ３０７にて評価関数Ｆ２を選択する。そして、ステップＳ３０８にて評価関数Ｆ２によってｒａｔｅが決定され、ステップＳ３１４とステップＳ３１８にてそれぞれ第一の補間処理と第二の補間処理が実行される。

第一の補間処理による補間画素を生成した後、上記ｒａｔｅが「１」でなければさらに上記第二の補間処理を実行する。
Ｍキュービック法，通常のキュービック法のいずれを使用するにしても、上記第二の補間処理においてはキュービック法によって補間画素を生成すれば、上記重畳データ計算式（１）の変数、すなわち第一の補間処理データ，ｒａｔｅ，第二の補間処理データの全てが算出されていることになる。式（１）に値を代入することによって補間画素の重畳データを算出する。

ここで、上記図３２に示すようにこの状態における印刷品質は高品質であって、微妙な階調変化を印刷結果に反映できる状態である。このとき評価関数はＦ２であるのでキュービック法の重畳比率が高くなっている。
一方、上記図３２に示すウィンドウにおいて、解像度で「３６０ｄｐｉ」，用紙にて「普通紙」、印刷速度にて「速い」、インクにて「染料」が選択されている状態では印刷品質は低く、第二の補間処理による効果は目立たない。この状態では、上述のように評価関数Ｆ１が使用され、上記図３２に示す設定状態と比較して第二の補間処理の重畳比率が低くなっている。このときには階調値を再現するようなキュービック法よりエッジを強調するパターンマッチング法あるいはニアリスト法の重畳比率の方が高くなり、低印刷品質でありながらもシャープな印刷結果を得ることができる。

最後に、本発明の総括を図３５に示している。
「プリンタの設定」のウィンドウ表示ではプリンタ毎の機能に応じた各種の設定が可能であり、その設定内容は設定ファイルに格納される。既に設定がなされているのであれば当該設定ファイルを参照して読み出すし印刷操作に伴って設定内容を変更する場合には変更後の設定内容を読み出す。ステップＳ３０３ではこのようにして印刷設定を入力し、印刷品質取得手段Ｃ２１に該当する。

一方、ステップＳ３０４では、元画像データを読み込み、注目画素を中心とした周辺の５×５画素の領域で輝度値のヒストグラムを作成する。ステップＳ３０６では、得られたヒストグラムにて異なる輝度値が出現する回数を取得し、所定のしきい値よりも少なければ、画像の性質が単純な非自然画であると判断して第一の補間処理の重畳比率（ｒａｔｅ）を１としてしまうが、多ければ画像の性質は自然画あるいは非自然画の混合画像である判断して評価関数Ｆによってｒａｔｅを決定するために評価関数を決定する。評価関数Ｆは印刷品質に応じて決定され、低画質用の評価関数Ｆ１と高画質用の評価関数Ｆ２とがある。評価関数Ｆは、上記領域での最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差の関数であり、エッジらしさを評価したものとなる。エッジらしさが高い場合には評価関数Ｆ１でエッジが強調されやすい比較的演算負荷の低い補間処理の割合を高め、そうでなければ評価関数Ｆ２で滑らかさを強調する演算負荷の高い補間処理の割合を高める。このようにして印刷品質の高低から重畳比率を得る手段は第二重畳比率決定手段Ｃ２４である。

ステップＳ３１４では、注目画素を中心とした所定の領域でパターンマッチング法かニアリスト法によってエッジを保存しやすい傾向にある補間処理を行なうので、これが第一の補間処理手段Ｃ２２となる。
一方、ステップＳ３１８では、画素相互間の微妙な変化を反映しつつもパターンマッチング法に比べてエッジが曖昧になるキュービック法で補間処理を行うので、これが第二の補間処理手段Ｃ２３となる。

そして、ステップＳ３２０では、上記のようにして決定された重畳比率（ｒａｔｅ）を使用する計算式（１）により、それぞれ別個に補間処理された画素データに重み付けをつけて加算し、補間画素を生成する。この重畳比率の総和は当然「１」となる。むろん、この手段が画像データ重畳手段Ｃ２５である。
以後、注目画素を逐次移動させていって全画素について処理を実施したら、補間画像が作成され、ステップＳ３２４では完成した補間画像データを使用してプリンタ１７ｂに印刷させることになる。この過程が印刷制御処理手段Ｃ２６である。

このように、本発明においては、所定の評価関数に基づいて第一の補間処理および第二の補間処理を重畳する。従って、重畳された画素はパターンマッチング法のみの場合に比べてエッジが曖昧になっているが、キュービック法のみの場合に比べるとエッジがシャープになっている。また、キュービック法のみの場合に比べて微妙な階調変化が低減しているが、パターンマッチング法のみの場合に比べると階調変化が豊かになっている。また、上記評価関数が輝度値幅の関数であることから、画像の性質に応じた補間処理比率を決定可能である。さらに、補間処理の効果に対して直接的に影響を与える印刷品質に対してより適した補間処理の重畳比率を高くする。この結果、個々の補間処理の長所がより目立つようになる。また、両者の欠点を際だたせてしまうようなこともない。従って、補間対象画像の性質判別に基づく補間手法決定の誤りを防止しつつ、印刷品質に応じた的確な補間処理を行うことができる。

本発明の一実施形態にかかる画像データ補間装置のブロック図である。 同画像データ補間装置の具体的ハードウェアのブロック図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 プリンタドライバが実行する解像度変換に関連する処理のフローチャートである。 第一の補間処理フローチャートである。 輝度値のヒストグラムを示す図である。 評価関数Ｆ（ｙ）の具体例を示す図である。 ３×３画素の輝度パターンの一例を示す図である。 参照画素である５×５画素の領域を示す図である。 エッジパターンの具体例を示す図である。 ニアリスト法の概念図である。 ニアリスト法で各格子点のデータが移行される状況を示す図である。 ニアリスト法の補間前の状況を示す概略図である。 ニアリスト法の補間後の状況を示す概略図である。 キュービック法の概念図である。 キュービック法の具体的適用時におけるデータの変化状況を示す図である。 キュービック法の具体的適用例を示す図である。 Ｍキュービック法の具体的適用例を示す図である。 画像データに対して重畳処理が行われる具体的な様子を示す図である。 インクジェット方式のカラープリンタの概略ブロック図である。 同カラープリンタにおける印字ヘッドユニットの概略説明図である。 同印字ヘッドユニットで色インクを吐出させる状況を示す概略説明図である。 本印刷システムにおける画像データの流れを示すフロー図である。 バブルジェット（Ｒ）方式の印字ヘッドで色インクを吐出させる状況を示す概略説明図である。 電子写真方式のプリンタの概略説明図である。 印刷システムの概略構成を示すブロック図である。 プリンタドライバが実行する印刷処理に関連する処理のフローチャートである。 印刷処理の操作ウィンドウを示す図である。 プリンタの設定の操作ウィンドウを示す図である。 評価関数Ｆ（ｙ）の具体例を示す図である。 本発明の概略構成を示す図である。 本発明の概略構成を示す図である。 ４５度のエッジに対する条件判断を示す図である。 ３０度のエッジに対する条件判断を示す図である。 ２倍補間の場合に水平エッジが発見された場合の元画素と補間画素との対応を示す図である。 ２倍補間の場合に直角エッジが発見された場合の元画素と補間画素との対応を示す図である。 ２倍補間の場合に４５度エッジが発見された場合の元画素と補間画素との対応を示す図である。 ４５度のエッジに対する条件判断を示す図である。 ２倍補間の場合に３０度エッジが発見された場合の元画素と補間画素との対応を示す図である。 ３０度のエッジに対する条件判断を示す図である。

符号の説明

１０…コンピュータシステム
１１ａ…スキャナ
１１ｂ…デジタルスチルカメラ
１１ｃ…ビデオカメラ
１２…コンピュータ本体
１２ａ…オペレーティングシステム
１２ｂ…ディスプレイドライバ
１２ｃ…プリンタドライバ
１２ｄ…アプリケーション
１３ａ…フロッピー（Ｒ）ディスクドライブ
１３ａ１…フロッピー（Ｒ）ディスク
１３ｂ…ハードディスク
１３ｃ…ＣＤ−ＲＯＭドライブ
１３ｃ１…ＣＤ−ＲＯＭ
１４ａ…モデム
１５ａ…キーボード
１５ｂ…マウス
１７ａ…ディスプレイ
１７ｂ…カラープリンタ
１８ａ…カラーファクシミリ装置
１８ｂ…カラーコピー装置
２１…カラーインクジェットプリンタ
２２…カラープリンタ

Claims (33)

1. コンピュータにて画像をドットマトリクス状の画素で多階調表現した画像データに対して画素補間を行う画像データ補間プログラムであって、
   上記画像データを取得する画像データ取得機能と、
   上記画像データに対して画素の変化度合を低減することなく補間を行う第一の補間処理機能と、
   上記画像データに対して画像の階調性を損なうことなく補間を行う第二の補間処理機能と、
   補間される画素周辺の参照画素に基づいて画像の性質を判断し、同性質に基づいて上記第一および第二の補間処理の重畳比率を決定する第一重畳比率決定機能と、
   同決定された重畳比率で上記第一の補間処理機能による画像データと第二の補間処理機能による補間画像データとを重畳する画像データ重畳機能と、
   同重畳されたデータを補間処理後のデータとして出力する画像データ出力機能とをコンピュータに実行させることを特徴とする画像データ補間プログラム。
2. 上記請求項１に記載の画像データ補間プログラムにおいて、
   上記第一の補間処理機能は、参照画素中に所定のパターンが存在するときに予め決定された規則で補間を行うパターンマッチング補間と最近隣内挿法による補間とを実行可能であることを特徴とする画像データ補間プログラム。
3. 上記請求項１または請求項２のいずれかに記載の画像データ補間プログラムにおいて、
   上記第一重畳比率決定機能は、上記参照画素のデータに依存する評価関数によって重畳比率を決定することを特徴とする画像データ補間プログラム。
4. 上記請求項１〜請求項３のいずれかに記載の画像データ補間プログラムにおいて、
   上記第一重畳比率決定機能は、上記参照画素中の異なる階調値の出現回数に基づいて重畳比率を決定することを特徴とする画像データ補間プログラム。
5. 上記請求項４に記載の画像データ補間プログラムにおいて、
   上記第一重畳比率決定機能は、上記参照画素中の異なる階調値の出現回数が所定のしきい値より小さいときに上記第一の補間処理のみを使用するような重畳比率を与えることを特徴とする画像データ補間プログラム。
6. 上記請求項４または請求項５のいずれかに記載の画像データ補間プログラムにおいて、
   上記第一重畳比率決定機能は、上記参照画素の階調値幅が大きいほど上記第一の補間処理の重畳比率を大きくすることを特徴とする画像データ補間プログラム。
7. 上記請求項４〜請求項６のいずれかに記載の画像データ補間プログラムにおいて、
   上記参照画素の階調値は同参照画素の輝度値であることを特徴とする画像データ補間プログラム。
8. 上記請求項１〜請求項７のいずれかに記載の画像データ補間プログラムにおいて、
   上記画像データを用いて印刷装置にて印刷させようとする際の印刷品質を取得する印刷品質取得機能と、
   上記取得した印刷品質に基づいて上記第一および第二の補間処理の重畳比率を決定する第二重畳比率決定機能と、
   上記重畳されたデータに基づいて印刷制御処理を実行する印刷制御処理機能とをコンピュータに実行させることを特徴とする画像データ補間プログラム。
9. 上記請求項８に記載の画像データ補間プログラムにおいて、
   上記第二重畳比率決定機能は、印刷品質に依存する評価関数によって重畳比率を決定することを特徴とする画像データ補間プログラム。
10. 上記請求項８または請求項９のいずれかに記載の画像データ補間プログラムにおいて、
    上記第二重畳比率決定機能は、上記取得した印刷品質が高くなるほど上記第二の補間処理の重畳比率を大きくすることを特徴とする画像データ補間プログラム。
11. 上記請求項８〜請求項１０のいずれかに記載の画像データ補間プログラムにおいて、
    上記第二重畳比率決定機能は、上記取得した印刷品質が高い場合に上記第一の補間処理のみが実行されることがないようにすることを特徴とする画像データ補間プログラム。
12. 画像をドットマトリクス状の画素で多階調表現した画像データに対して画素補間を行う画像データ補間方法において、
    上記画像データを取得する画像データ取得工程と、
    上記画像データに対して画素の変化度合を低減することなく補間を行う第一の補間処理工程と、
    上記画像データに対して画像の階調性を損なうことなく補間を行う第二の補間処理工程と、
    補間される画素周辺の参照画素に基づいて画像の性質を判断し、同性質に基づいて上記第一および第二の補間処理の重畳比率を決定する第一重畳比率決定工程と、
    同決定された重畳比率で上記第一の補間処理工程による画像データと第二の補間処理工程による補間画像データとを重畳する画像データ重畳工程と、
    同重畳されたデータを補間処理後のデータとして出力する画像データ出力工程とを具備することを特徴とする画像データ補間方法。
13. 上記請求項１２に記載の画像データ補間方法において、
    上記第一の補間処理工程は、参照画素中に所定のパターンが存在するときに予め決定された規則で補間を行うパターンマッチング補間と最近隣内挿法による補間とを実行可能であることを特徴とする画像データ補間方法。
14. 上記請求項１２または請求項１３のいずれかに記載の画像データ補間方法において、
    上記第一重畳比率決定工程は、上記参照画素のデータに依存する評価関数によって重畳比率を決定することを特徴とする画像データ補間方法。
15. 上記請求項１２〜請求項１４のいずれかに記載の画像データ補間方法において、
    上記第一重畳比率決定工程は、上記参照画素中の異なる階調値の出現回数に基づいて重畳比率を決定することを特徴とする画像データ補間方法。
16. 上記請求項１５に記載の画像データ補間方法において、
    上記第一重畳比率決定工程は、上記参照画素中の異なる階調値の出現回数が所定のしきい値より小さいときに上記第一の補間処理のみを使用するような重畳比率を与えることを特徴とする画像データ補間方法。
17. 上記請求項１５または請求項１６のいずれかに記載の画像データ補間方法において、
    上記第一重畳比率決定工程は、上記参照画素の階調値幅が大きいほど上記第一の補間処理の重畳比率を大きくすることを特徴とする画像データ補間方法。
18. 上記請求項１５〜請求項１７のいずれかに記載の画像データ補間方法において、
    上記参照画素の階調値は同参照画素の輝度値であることを特徴とする画像データ補間方法。
19. 上記請求項１２〜請求項１８のいずれかに記載の画像データ補間方法において、
    上記画像データを用いて印刷装置にて印刷させようとする際の印刷品質を取得する印刷品質取得工程と、
    上記取得した印刷品質に基づいて上記第一および第二の補間処理の重畳比率を決定する第二重畳比率決定工程と、
    上記重畳されたデータに基づいて印刷制御処理を実行する印刷制御処理工程とをコンピュータに実行させることを特徴とする画像データ補間方法。
20. 上記請求項１９に記載の画像データ補間方法において、
    上記第二重畳比率決定工程は、印刷品質に依存する評価関数によって重畳比率を決定することを特徴とする画像データ補間方法。
21. 上記請求項１９または請求項２０のいずれかに記載の画像データ補間方法において、
    上記第二重畳比率決定工程は、上記取得した印刷品質が高くなるほど上記第二の補間処理の重畳比率を大きくすることを特徴とする画像データ補間方法。
22. 上記請求項１９〜請求項２１のいずれかに記載の画像データ補間方法において、
    上記第二重畳比率決定工程は、上記取得した印刷品質が高い場合に上記第一の補間処理のみが実行されることがないようにすることを特徴とする画像データ補間方法。
23. 画像をドットマトリクス状の画素で多階調表現した画像データに対して画素補間を行う画像データ補間装置において、
    上記画像データを取得する画像データ取得手段と、
    上記画像データに対して画素の変化度合を低減することなく補間を行う第一の補間処理手段と、
    上記画像データに対して画像の階調性を損なうことなく補間を行う第二の補間処理手段と、
    補間される画素周辺の参照画素に基づいて画像の性質を判断し、同性質に基づいて上記第一および第二の補間処理の重畳比率を決定する第一重畳比率決定手段と、
    同決定された重畳比率で上記第一の補間処理手段による画像データと第二の補間処理手段による補間画像データとを重畳する画像データ重畳手段と、
    同重畳されたデータを補間処理後のデータとして出力する画像データ出力手段とを具備することを特徴とする画像データ補間装置。
24. 上記請求項２３に記載の画像データ補間装置において、
    上記第一の補間処理手段は、参照画素中に所定のパターンが存在するときに予め決定された規則で補間を行うパターンマッチング補間と最近隣内挿法による補間とを実行可能であることを特徴とする画像データ補間装置。
25. 上記請求項２３または請求項２４のいずれかに記載の画像データ補間装置において、
    上記第一重畳比率決定手段は、上記参照画素のデータに依存する評価関数によって重畳比率を決定することを特徴とする画像データ補間装置。
26. 上記請求項２３〜請求項２５のいずれかに記載の画像データ補間装置において、
    上記第一重畳比率決定手段は、上記参照画素中の異なる階調値の出現回数に基づいて重畳比率を決定することを特徴とする画像データ補間装置。
27. 上記請求項２６に記載の画像データ補間装置において、
    上記第一重畳比率決定手段は、上記参照画素中の異なる階調値の出現回数が所定のしきい値より小さいときに上記第一の補間処理のみを使用するような重畳比率を与えることを特徴とする画像データ補間装置。
28. 上記請求項２６または請求項２７のいずれかに記載の画像データ補間装置において、
    上記第一重畳比率決定手段は、上記参照画素の階調値幅が大きいほど上記第一の補間処理の重畳比率を大きくすることを特徴とする画像データ補間装置。
29. 上記請求項２６〜請求項２８のいずれかに記載の画像データ補間装置において、
    上記参照画素の階調値は同参照画素の輝度値であることを特徴とする画像データ補間装置。
30. 上記請求項２３〜請求項２９のいずれかに記載の画像データ補間装置において、
    上記画像データを用いて印刷装置にて印刷させようとする際の印刷品質を取得する印刷品質取得手段と、
    上記取得した印刷品質に基づいて上記第一および第二の補間処理の重畳比率を決定する第二重畳比率決定手段と、
    上記重畳されたデータに基づいて印刷制御処理を実行する印刷制御処理手段とをコンピュータに実行させることを特徴とする画像データ補間装置。
31. 上記請求項３０に記載の画像データ補間装置において、
    上記第二重畳比率決定手段は、印刷品質に依存する評価関数によって重畳比率を決定することを特徴とする画像データ補間装置。
32. 上記請求項３０または請求項３１のいずれかに記載の画像データ補間装置において、
    上記第二重畳比率決定手段は、上記取得した印刷品質が高くなるほど上記第二の補間処理の重畳比率を大きくすることを特徴とする画像データ補間装置。
33. 上記請求項３０〜請求項３２のいずれかに記載の画像データ補間装置において、
    上記第二重畳比率決定手段は、上記取得した印刷品質が高い場合に上記第一の補間処理のみが実行されることがないようにすることを特徴とする画像データ補間装置。