JP2014103486A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】補間画素と周辺画素との画素値の不連続さを緩和し、補間画素を目立たなくする。
【解決手段】周期性判定部１０１は補間画素を含む所定領域において画素値の変動に周期性があるか否かを判定する。第一画素値生成部１０６は補間画素の候補画素値を第１の補間方法により生成し、第二画素値生成部１０７は補間画素の候補画素値を第２の補間方法により生成する。制御部１０３は周期性がある場合、第一画素値生成部１０６を選択し、そうでない場合、第二画素値生成部１０７を選択する。補間画素値挿入部１０４は選択された補間画素の候補画素値を補間画素の位置に挿入し、局所画素値更新部１０５は補間画素と近傍画素を含む局所領域の画素値を所定の補正量を用いて更新する。
【選択図】図１

Description

本発明は、画像を補間処理する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

光学的な手段を用いて画像を読み取るスキャナなどの読み取り部では、画像信号を読み取るセンサの不具合や、コンタクトガラスの汚れなど光路に遮へい物が存在することによって、画像信号が欠落したり、読み取られた画像信号が不正な値を示したりすることがある。また、密着イメージセンサなどでは短いセンサチップを複数組み合わせて読み取り部を構成するためセンサチップ間にギャップが生じ、画像信号が取得できないケースがある。このような条件下で読み取られた画像は、一部の画素の画素値が欠落したり不正な値をとったりすることで画質が低下してしまう。

この問題を改善するために、欠落した画素の画素値や不正な値を持つ画素の画素値を、周囲の画素を用いて推定し、置き換える補間手法がある。例えば、特許文献１では、補間画素の画素値を正確に推定するために、補間画素位置が網点領域内であればパターンマッチングを用いて補間画素を含むパターンと類似するパターンを画像中から探索し、最も類似するパターン内で補間画素に対応する画素の画素値を、補間画素の画素値として決定している。

従来の補間手法は画素値の推定精度が十分でないと、置き換えられた画素と周囲の画素との画素値の不連続さが目立ってしまうという問題があった。特に密着イメージセンサなどでは、組み付け誤差からセンサチップ間のギャップ幅が画素の幅の整数倍とならない場合がある。このようなセンサを用いて読み取られたデジタル画像であっても、一般にセンサチップ間のギャップ幅は画素の幅の整数倍であると仮定して、各センサチップから得られた画素値を配置しているケースが多い。このようなケースでは、同一のデジタル画像内であっても、あるセンサチップにより読み取られた画像領域（以降、カラム）と別のセンサチップで読み取られた画像領域との間に歪みが生じることになる。

この画像の歪みに関する例を挙げれば、副走査方向に伸びる平行線が描かれた原稿を読み取るケースがある。このケースにおいて、二直線間にセンサチップ間のギャップが存在すると、この二直線間の距離は他の直線間の距離とは異なってしまう。また、前述のセンサで一本の直線が斜めに描かれた原稿を読み取った場合、センサチップの組み付け誤差から、読み取られたデジタル画像上では、カラムごとにその直線が上下左右に平行移動したように構成されてしまう。

上記した例は直線並びに平行線に関するものであるため、センサチップの組み付け誤差が画質に深刻な影響を与えることは少ない。これは一本のセンサにおけるセンサチップ間のギャップの数は左程多くないため、直線上に生じる歪みは見つかりにくい。また、平行線の間隔が異なってしまう問題に関しても、元々平行線の間隔はセンサチップの組み付け誤差に比べて十分に広いため、知覚できるほどの差異とはなりにくい。

しかし、上記した例と類似する問題によって画質に深刻な影響が生じるケースの例として、網点画像がある。網点画像では、網点が水平からある角度（スクリーン角）を持った直線状に、所定の周期（スクリーン線数）で配置される。一般的なスクリーン線数は１インチあたり４０線から２００線まであり、特に高線数の画像では網点の間隔は０．１ｍｍ程度と極めて密に配置されているため、センサチップの組み付け誤差が画質に無視できない影響を与える場合がある。更に、センサチップ間のギャップが網点にかかるケースでは、組み付け誤差によって網点の形状が歪む上、ギャップによって欠落する画素（補間画素）の画素値を推定することが困難となる。これは、左側のカラムを基準にして補間画素の画素値（補間画素値）を推定した場合と、右側のカラムを基準にして補間画素値を推定した場合とで結果が異なってしまい、欠落した画素を埋める画素値に正解が存在しなくなってしまうためである。仮に左右のカラムから得られた補間画素値の間を取るような対策を講じても、画像の歪みに起因する欠落した画素をまたいだ画素値の不連続さが知覚できてしまう恐れがある。

本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、補間画素の周辺に存在する画素の画素値を所定の基準に基づいて変更することにより、補間画素と周辺画素との画素値の不連続さを緩和し、補間画素を目立たなくした画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

本発明は、所定の画像中の補間画素の画素値を所定の補間方法により生成する画像処理装置において、前記補間画素を含む画像領域が周期的な画素値の変動を伴う周期領域であるか否かを判定する判定手段と、第１の補間方法を用いて前記画像の補間画素の候補画素値を生成する第１の生成手段と、第２の補間方法を用いて前記画像の補間画素の候補画素値を生成する第２の生成手段と、前記判定手段が周期領域であると判定したとき、前記第１の生成手段が生成する候補画素値を選択し、周期領域でないと判定したとき、前記第２の生成手段が生成する候補画素値を選択する制御手段と、前記選択された候補画素値を前記補間画素に挿入する挿入手段と、前記補間画素の候補画素値と前記補間画素の近傍に存在する近傍画素の画素値を、所定の補正量を用いて更新する更新手段を備えたことを最も主要な特徴とする。

本発明によれば、補間画素の周辺に存在する画素の画素値を所定の基準に基づいて変更することにより、補間画素と周辺画素との画素値の不連続さを緩和し、補間画素を目立たなくすることができる。

本発明の実施例の画像処理装置の構成を示す。 本発明の実施例１、２の処理フローチャートを示す。 実施例１のステップ２０２、ステップ３０２〜３０４、ステップ２０５の詳細な処理フローチャートを示す。 信号の観測位置と再現される信号の例を示す。 画素値の更新を説明する例を示す。 実施例２のステップ２０５の詳細な処理フローチャートである。

以下、発明の実施の形態について図面により詳細に説明する。本発明では、画像中の欠落した画素（補間画素）の情報を補間する補間処理に際して、入力画像の欠落した画素の画素値を推定して補間するとともに、欠落した画素の画素値や欠落した画素の近傍画素の画素値を所定の基準に基づいて変更することによって、補間された画素と近傍の画素との不連続さを緩和し、より高品質な補間結果を得る。

実施例１は、二つの画素値生成部を用いて補間画素の候補画素値を生成し、補間画素に画素値を挿入すると共に、補間画素の画素値と補間画素の周辺に存在する画素の画素値を所定の基準に基づいて変更する実施例である。

図１は、本発明の実施例１の画像処理装置の構成を示す。図１において、１０１は補間画素を含む所定の大きさの画像領域において、画素値の変動に周期性があるか否かを判定する周期性判定部、１０２は補間画素が周期領域と非周期領域との境界近傍に存在するか判断し、境界近傍に存在する際にそのどちらの領域に属しているかを判別する境界判定部、１０３は周期性判定部１０１と境界判定部１０２の判定結果に基づいて第一画素値生成部１０６と第二画素値生成部１０７のいずれを用いて候補画素値を生成するかを判断する制御部、１０４は第一画素値生成部１０６と第二画素値生成部１０７のいずれかで生成された補間画素の候補画素値を補間画素の位置に挿入する補間画素値挿入部、１０５は補間画素と近傍画素とを含む局所領域の画素値を所定の基準に基づいて更新する局所画素値更新部、１０６は第１の補間方法を用いて補間画素の候補画素値を生成する第一画素値生成部、１０７は第２の補間方法を用いて補間画素の候補画素値を生成する第二画素値生成部である。

図２は、本発明の実施例１の処理フローチャートを示す。

（１）補間画素を設定する（Ｓ２０１）。
制御部１０３は、処理対象画像から画素値を挿入する対象である補間画素を設定する。補間画素は孤立した点、または点が連続する線として与える。補間画素の位置を決定する方法の例としては、事前にユーザーによって指定させる、本装置によって事前に検出しておく、補間画素を設定する際に逐次検出するなどがある。また、補間画素を検出する方法の例としては、予め指定された明るさや色の画素を見つけ出す方法、既知の画像を読み取った際の正解値からのズレ量の大きさを評価する方法、水平または鉛直方向の周期性が不連続となる位置を検出する方法などがある。

（２）補間画素を含む領域の周期性を判定する（Ｓ２０２）。
周期性判定部１０１は、処理対象画像の補間画素を含む所定のサイズの領域（判定領域）内で、画素値の変動に周期性があるか否かを判定する。図３（ａ）は、ステップ２０２の詳細なフローチャートを示す。まず、代表周期の推定を行い（Ｓ３０１）、続いて領域全体の周期性の判定を行う（Ｓ３０２）。その後、領域を補間画素の左側と右側に分割し、左側の部分領域で周期性の判定を行った後（Ｓ３０３）、右側の部分領域で周期性の判定を行う（Ｓ３０４）。尚、左右の部分領域は必ずしも判定領域を分割したものでなくてもよい。

１）領域サイズの決定方法
判定領域は、補間画素を含む高さ１画素の領域（画像の１ライン）であってもよいし、補間画素を含む、ある高さを持った矩形領域であっても良い。領域のサイズは事前にユーザーによって与えられてもよいし、本装置によって動的に決定しても良い。尚、判定領域は補間画素を中心として上下および左右称な形状で与えられることが望ましい。

２）周期性の判定方法
図３（ｂ）は、ステップ３０２〜３０４の詳細なフローチャートを示す。画素値の変動に周期性があるか否かを判定する方法の例としては、判定領域内における画素値の変動周期を求め（Ｓ４０１）、その周期の信頼度を算出し（Ｓ４０２）、得られた信頼度を閾値処理して判断する（Ｓ４０３）方法がある。

尚、代表周期を推定するステップ（Ｓ３０１）と全体の周期性を判定するステップ（Ｓ３０２）において、画素値の周期を推定するステップ（Ｓ４０１）とを共用させてもよい。また、周期性を判定するステップ（Ｓ３０２からＳ３０４）の順序は問わないし、共通化できるステップがあれば適宜まとめてもよい。例えば、まず左右の周期性を判定し、その結果を用いて全体の周期性を判定する流れも考えられる。

ａ）代表周期を求める方法
一例としては、判定領域内において画素値が極大となる位置（ピーク位置）を記録し、あるピーク位置から次のピーク位置までの距離のヒストグラムを判定領域全体に渡って作成した上で、最頻値となる距離を代表周期として採用する方法が挙げられる。尚、極大となる位置ではなく、極小となる位置を用いても良い。但し、画素値を直接用いるこれらの方法はノイズ耐性が低いため、自己相関を用いる方法が推奨される。

自己相関とは、ある信号とその信号に所定の位相ズレを与えた信号との相関のことである。判定領域内において自己相関を求めていき、画素値の代わりに自己相関の値を用いて先述のヒストグラムを作成し、最頻値を代表周期として採用する。自己相関の値としては、相関係数を用いても良いし、より計算を簡便にするために共分散の値で代替しても良い。

ｂ）信頼度を求める方法
一例としては、代表周期にその距離のヒストグラムの度数を乗算し、判定領域の画素数で割る方法がある。換言すれば、代表周期と同じピーク位置間の距離が判定領域全体のどの程度の割合を占めているかを信頼度として定義する。尚、代表周期にある程度の誤差を許容する観点から、代表周期±１の距離の度数を合計して利用しても良い。

ｃ）信頼度の閾値処理
信頼度が閾値よりも高ければ周期性があると判断し、そうでなければ周期性がないと判断する。信頼度の閾値は、予めユーザーによって与えられても良いし、本装置で動的に決定しても良い。

（３）補間画素を含む領域の境界性を判定する（Ｓ２０３）
境界判定部１０２は、補間画素が周期領域と非周期領域との境界近傍に存在するか判断し、境界近傍に存在する際にそのどちらに属しているかを判別する。

１）境界の判定方法
境界近傍に存在するか否かを判断する方法の例としては、補間画素から所定の距離だけ左右に離れた位置に所定の大きさの参照領域を設定し、左右の参照領域で個別に画素値の分散を求め、左右の分散で一方だけが閾値以上であれば、補間画素が境界近傍に存在すると判断する方法がある。

また、補間画素が周期領域と非周期領域のどちらに属しているかを判別する方法の例としては、補間画素の左右に参照領域を設定し、左右の参照領域で個別に画素値の分散を求め、左右両方とも分散が閾値以上であれば周期性のある領域側に、そうでなければ周期性のない領域側に存在すると判定する方法がある。

２）参照領域サイズの決定方法
参照領域は、補間画素を含む高さ１画素の領域（画像の１ライン）であってもよいし、補間画素を含む、ある高さを持った矩形領域であっても良い。領域のサイズは事前にユーザーによって与えられてもよいし、本装置によって動的に決定しても良い。また、分散は参照領域に属する画素の最大輝度値と最小輝度値との差で代替しても良い。

（４）画素補間に用いる補間手法を決定する（Ｓ２０４）
制御部１０３は、周期性判定部１０１と境界判定部１０２の結果に基づいて、第一画素値生成部１０６と第二画素値生成部１０７のいずれを用いて補間画素の候補画素値を生成するかを判断する。補間手法の決定方法の一例としては、周期性判定部１０１において周期性があると判断された場合に第一画素値生成部１０６を選択し、そうでない場合に第二画素値生成部１０７を選択する、という方法が挙げられる。

仮に周期性判定部１０１において補間画素を含む領域に周期性があると判断された場合であっても、境界判定部１０２において補間画素が非周期領域に存在すると判断された際には第二画素値生成部１０７を選択する方法もある。ここで、第一画素値生成部１０６が選択された場合にはＳ２０５に進み、第二画素値生成部１０７が選択された場合にはＳ２０６に進む。

（５）第一画素値生成部１０６を用いて候補画素値を生成する（Ｓ２０５）
第一画素値生成部１０６は、補間画素の候補画素値を生成する。ここで用いる補間手法の一例として、パターンマッチング法が挙げられる。パターンマッチング法の具体例としては、テンプレートマッチングが挙げられる。テンプレートマッチングで用いるパターン間の一致度を測る尺度としては、ＳＡＤやＳＳＤなどの相違度、相関係数や共分散などの類似度が考えられる。テンプレートマッチングを用いて画素値を生成する手順の一例は以下の通りである。図３（ｃ）は、ステップ２０５の詳細な処理フローチャートを示す。

１）テンプレートのサイズを決定する（Ｓ５０１）
テンプレートの幅は代表周期を基準として設定する。テンプレートの幅を代表周期と一致させても良いし、代表周期よりもやや大きめ又は小さめに設定しても良い。テンプレートの高さも代表周期と一致させても良いし、別の値であっても良い。

補間画素が網点領域に属する場合には、一辺が概ね代表周期である正方形の領域として設定することが望ましい。これにより、類似パターンを探索する際に網点一つ分の情報のみを用いることができ、補間画素を含む網点に最適な類似パターンを取得することができる。また、代表周期が非常に小さい場合（３画素など）には、テンプレートのサイズを少し大きめ（５画素など）にしても良い。これは代表周期が非常に小さいと一致度の評価に用いる画素数が少なくなってしまい、類似パターン検出の安定性が低下してしまうためである。

２）テンプレート（基準パターン）を作成する（Ｓ５０２）
補間画素を含む１）で決定されたテンプレートのサイズの領域を処理対象画像から切り出し、テンプレートに設定する。尚、テンプレートは補間画素を中心とする左右および上下対称となる形状で設定されることが望ましい。これにより、補間画素を含むパターンの方向性に依存せずに探索を行うことが可能となる。

３）探索範囲を決定する（Ｓ５０３）
処理対象画像において、類似パターンを探索する範囲である探索範囲を設定する。探索範囲の幅や高さはＳ２０３において推定された代表周期に基づいて設定しても良いし、別の値であっても良い。探索範囲の幅と高さは同じ値であることが望ましい。これにより、探索範囲のパターンの方向性に依存せずに探索を行うことが可能となる。ただし、画像をバッファするメモリの制約などから高さを低く抑える場合には、その分幅を広く取ることが望ましい。

尚、周期性判定部１０１によって左側に周期性がないと判断された場合には、補間画素よりも左側を探索範囲から除くことが望ましい。同様に、右側に周期性がないと判断された場合には、補間画素よりも右側を探索範囲から除くことが望ましい。このように探索範囲を狭めることによって、類似パターンが検出されるべきでない領域からの誤検出を防ぐことができる。

４）類似パターンを探索する（Ｓ５０４）
３）で決定された探索範囲内の各位置において２）で作成したテンプレートとの一致度を求め、最も一致度の高い（相違度が低い、又は類似度が高い）位置を類似パターンとして選択する。一致度の評価に際しては、補間画素の画素値が一致度に影響を与えないように補間画素を一致度の計算から除外するか、比較対象のパターンにおいて同じ位置にある画素値を用いて仮の画素値を設定しておくことが望ましい。尚、類似パターンは一致度の高い順に複数選択しても良い。

５）候補画素値を取得する（Ｓ５０５）
類似パターンにおいて、テンプレートにおける補間画素の位置に対応する位置の画素（対応画素）の画素値を処理対象画像から取得し、補間画素の候補画素値とする。類似パターンが複数ある場合には、前記基準によって複数の候補画素値を得て、その画素値を合成する。合成方法としては、一様な重みにより平均する方法や、類似パターンの一致度が高いほど大きな重みとなるように制御した上で加重平均しても良い。

（６）第二画素値生成部を用いて候補画素値を生成する（Ｓ２０６）
第二画素値生成部１０７は補間画素の候補画素値を生成する。ここで用いる補間手法の一例として、内挿法が挙げられる。内挿法とは、ある画素の画素値を導出する際に周辺の画素値を用いる手法である。内挿法の例としては、最近傍補間（０次補間）、線形補間（１次補間）、放物線補間（２次補間）、キュービック補間（３次補間）、多項式補間、スプライン補間、ラグランジュ補間、などが挙げられる。また、前述の線形補間やキュービック補間を二次元に拡張したバイリニア補間やバイキュービック補間などを用いても良い。

（７）補間画素に候補画素値を挿入する（Ｓ２０７）
補間画素値挿入部１０４は、前ステップにおいて生成された補間画素の候補画素値を補間画素の位置に挿入する。これにより補間画素一つ分の補間処理が完了する。

（８）補間画素と近傍画素の画素値を更新する（Ｓ２０８）
局所画素値更新部１０５は、前記補間画素とその近傍に位置する近傍画素とを含む局所領域の画素値を所定の基準に基づいて更新する。画素値を更新する方法の例としては、次のようなものが挙げられる。

ａ）近傍画素の画素値を更新する（補間画素値は不変）
局所領域の平均画素値が、局所領域の周辺に存在する同じ大きさの領域（周辺領域）の平均画素値に近づくように、近傍画素の画素値にオフセットを与える方法である。

周辺領域の選択方法は、
・局所領域から上下ないし左右に代表周期の整数倍だけ離れた位置を採用する方法
・局所領域をテンプレートに設定し、テンプレートマッチングにより所定の範囲内から局所領域に類似するパターンを検出して採用する方法
などが挙げられる。尚、周辺領域は複数選択しても良く、また局所領域から見て左右ないし上下で１つずつ選択しても良い。

また、オフセット量の設定方法は、
・近傍画素全てに対して等しく設定する方法
・補間画素から離れるほど小さくなるよう設定する方法
・補間画素の隣接画素は相対的に小さく、その後は相対的に大きく、ある程度離れると再度小さくなるように制御する方法
などが挙げられる。尚、オフセットは局所領域の平均画素値が周辺領域の平均画素値に近づくように設定するため、これらは必ずしも一致する必要はない。オフセット量を決定する際には、前者を後者にどの程度近づけるかは予め与えられた重み量を用いればよい。更に、画素値を更新する範囲は予め与えられた範囲を用いればよい。

ｂ）補間画素と近傍画素の画素値を更新する（補間画素値も変化）
局所領域の平均画素値が、局所領域の周辺に存在する同じ大きさの領域（周辺領域）の平均画素値に近づくように、補間画素と近傍画素の両方の画素値にオフセットを与える方法である。周辺領域の選択方法やオフセット量の設定方法は、前述の（ａ）に記載の方法を用いればよい。

オフセット量の設定方法に関して、前述の（ａ）と異なる方法の例としては次のようなものが挙げられる。まず、周辺領域において局所領域の補間画素の位置に対応する画素（対応画素）の画素値と補間画素値との差を取る。補間画素値にはこの差をオフセット量として与え、対応画素の画素値と一致させる。次に前述の差の符号を逆転した値を求め、これを近傍画素に分配することにより近傍画素のオフセット量を求める。分配の方法は前述の（ａ）のオフセット量の設定方法と同様の方法を用いればよく、全近傍画素のオフセット量の総和が、前述の差の符号を逆転した値と等しくなる。

ｃ）補間画素と近傍画素の画素値に移動平均をかけて更新する
局所領域に存在する画素の画素値に対して移動平均をかけることにより、画素値の変動を滑らかにする方法である。局所領域の平均画素値は変化しないが勾配が緩やかになる。

ｄ）補間画素と近傍画素の画素値を周辺領域の画素値と合成して更新する
局所領域の画素値と周辺領域の画素値との加重平均を求め、この値で局所領域の画素値を更新する方法である。周辺領域の選択方法は前述の（ａ）に記載の方法を用いればよい。また、局所領域の画素値と周辺領域の画素値との加重平均に用いる重みは、前述の（ａ）のオフセット量の設定方法を参考に近傍画素ごとに変化させればよい。

センサチップの組み付け誤差に伴い、センサチップ間のギャップの幅は増減する。ギャップ幅の設計値が１画素±０．５画素であったとすれば、ギャップ幅は最小で０．５画素、最大で１．５画素となる。ギャップ幅を予め計測しておき、それに応じて左右のセンサチップで読み取られた画像領域の位置合わせをしたうえで、これらの画像領域を並べることにより画像を作成することが望ましい。しかし、ギャップ幅を計測する工程が必要となるうえ、画像領域を位置合わせする処理の手間がかかるだけでなく、位置合わせ方法によっては画像の高周波成分が鈍ってしまう恐れもある。このような事情から前述の位置合わせを行わず、誤差を無視して画像領域を並べることが一般的である。しかし、この対応に伴って問題も生じうる。

図４を用いて概念的に説明する。図４では、実線の曲線で表した信号を、直線で表した位置でサンプリングしている。ここで、実線の直線で表した直線が理想的なサンプリング位置であり、中央をギャップとすればギャップ幅が１画素であるケースである。尚、ギャップに相当する中央のサンプリング位置では信号を検出できないが、ここでは説明を簡単にするため信号が検出されたか、適切に補間されたものとする。また同様に説明を簡単にするために、組み付け誤差はギャップ位置を中心として左右対称に配分されるものとする。

ギャップ幅が１画素より広い場合、図４（ａ）に一点鎖線で示すようにサンプリング位置は理想的な位置よりもギャップ位置を中心に離れることになる。このようにして観測された信号を、ギャップ幅が１画素であると仮定して再現すると図４（ｂ）に一点鎖線で示すように、実際の信号と比較して再現された信号は幅が狭まる。逆にギャップ幅が１画素より狭い場合、図４（ａ）に点線で示すようにサンプリング位置は理想的な位置よりもギャップ位置を中心に近づくことになる。

このようにして観測された信号を、ギャップ幅が１画素であると仮定して再現すると図４（ｂ）に点線で示すように、実際の信号と比較して再現された信号は幅が広がる。ギャップ位置の信号の値が真の値を取ったと仮定すると、信号の幅が狭まれば局所的な平均値は減少し、逆に信号の幅が広がれば局所的な平均値は増加する。一方、ギャップ位置の信号の値が真の値からずれることにより局所的な平均値が周辺と一致した場合であっても、信号の幅の変動は局所的な周波数の変動として知覚されやすい。

このような背景から、「ａ）近傍画素の画素値を更新する」は、補間画素の画素値は真の値であるという仮定のもとで変えずに近傍画素の画素値を更新することによって再現される信号を実際の信号に近づけようというものである。また、「ｂ）補間画素と近傍画素の画素値を更新する」は、補間画素の画素値は真の値から外れているという仮定のもとで、補間画素の画素値から近傍画素へ画素値を分散させようというものである。「ｃ）補間画素と近傍画素の画素値に移動平均をかけて更新する」は後者に近い方法であり、特定の画素の画素値が大きくなりすぎているか逆に小さくなりすぎているケースに適し、この誤差を周囲に伝搬することにより抑えるものである。「ｄ）補間画素と近傍画素の画素値を周辺領域の画素値と合成して更新する」は前者と後者の中間的な方法である。

図５を用いて「ｂ）補間画素と近傍画素の画素値を更新する」のケースについて更に説明する。図５（ａ）は信号の幅が狭まってしまっているものの平均値を維持しながら広げるケースであり、補間画素の画素値を減少させつつ、減少分に相当する量を近傍画素に配分して画素値を増加させることによって信号の形状を実際のものに近づけることができる。図５（ｂ）は信号の幅が広がってしまっているものの平均値を維持しながら狭めるケースであり、補間画素の画素値を増加させつつ、増加分に相当する量を近傍画素の画素値に配分して画素値を減少させることによって信号の形状を実際のものに近づけることができる。尚、「ａ）近傍画素の画素値を更新する」では補間画素の画素値を変更せずに、近傍画素に同様の処理を施すものと考えることもできる。

（９）Ｓ２０２からＳ２０８までを全ての補間画素に対して実行する（Ｓ２０９）。補間画素が複数ある場合には、Ｓ２０２からＳ２０８までの処理を補間画素数だけ繰り返す。

実施例２は、実施例１のオフセット量（補正量）をテンプレートと類似パターンに基づいて算出する実施例である。実施例２の構成、処理フローチャートは実施例１と同様である。実施例１と相違する点は、ステップ２０５の処理である。図６は、実施例２のステップ２０５の詳細な処理フローチャートである。
（１）補間画素を設定する（Ｓ２０１）
（２）補間画素を含む領域の周期性を判定する（Ｓ２０２）
（３）補間画素を含む領域の境界性を判定する（Ｓ２０３）
（４）画素補間に用いる補間手法を決定する（Ｓ２０４）
（５）第一画素値生成部を用いて候補画素値を生成する（Ｓ２０５）
第一画素値生成部１０６は補間画素の候補画素値を生成する。ここで用いる補間手法の一例として、パターンマッチング法が挙げられる。パターンマッチング法の具体例としては、テンプレートマッチングが挙げられる。テンプレートマッチングで用いるパターン間の一致度を測る尺度としては、ＳＡＤやＳＳＤなどの相違度、相関係数や共分散などの類似度が考えられる。テンプレートマッチングを用いて画素値を生成する手順の一例は以下の通りである。

１）テンプレートのサイズを決定する（Ｓ６０１）
テンプレートの幅は代表周期を基準として設定する。テンプレートの幅を代表周期と一致させても良いし、代表周期よりもやや大きめ又は小さめに設定しても良い。テンプレートの高さも代表周期と一致させても良いし、別の値であっても良い。

補間画素が網点領域に属する場合には、一辺が概ね代表周期である正方形の領域として設定することが望ましい。これにより、類似パターンを探索する際に網点一つ分の情報のみを用いることができ、補間画素を含む網点に最適な類似パターンを取得することができる。また、代表周期が非常に小さい場合（３画素など）には、テンプレートのサイズを少し大きめ（５画素など）にしても良い。これは代表周期が非常に小さいと一致度の評価に用いる画素数が少なくなってしまい、類似パターン検出の安定性が低下してしまうためである。

２）テンプレート（基準パターン）を作成する（Ｓ６０２）
補間画素を含む１）で決定されたテンプレートのサイズの領域を処理対象画像から切り出し、テンプレートに設定する。尚、テンプレートは補間画素を中心とする左右および上下対称となる形状で設定されることが望ましい。これにより、補間画素を含むパターンの方向性に依存せずに探索を行うことが可能となる。

３）探索範囲を決定する（Ｓ６０３）
処理対象画像において、類似パターンを探索する範囲である探索範囲を設定する。探索範囲の幅や高さはＳ２０３において推定された代表周期に基づいて設定しても良いし、別の値であっても良い。探索範囲の幅と高さは同じ値であることが望ましい。これにより、探索範囲のパターンの方向性に依存せずに探索を行うことが可能となる。ただし、画像をバッファするメモリの制約などから高さを低く抑える場合には、その分幅を広く取ることが望ましい。

尚、周期性判定部１０１によって左側に周期性がないと判断された場合には、補間画素よりも左側を探索範囲から除くことが望ましい。同様に、右側に周期性がないと判断された場合には、補間画素よりも右側を探索範囲から除くことが望ましい。このように探索範囲を狭めることによって、類似パターンが検出されるべきでない領域からの誤検出を防ぐことができる。

４）類似パターンを探索する（Ｓ６０４）
３）で決定された探索範囲内の各位置において２）で作成したテンプレートとの一致度を求め、最も一致度の高い（相違度が低い、又は類似度が高い）位置を類似パターンとして選択する。一致度の評価に際しては、補間画素の画素値が一致度に影響を与えないように補間画素を一致度の計算から除外するか、比較対象のパターンにおいて同じ位置にある画素値を用いて仮の画素値を設定しておくことが望ましい。尚、類似パターンは一致度の高い順に複数選択しても良い。

５）候補画素値を取得する（Ｓ６０５）
類似パターンにおいて、テンプレートにおける補間画素の位置に対応する位置の画素（対応画素）の画素値を処理対象画像から取得し補間画素の候補画素値とする。類似パターンが複数ある場合には、前記基準によって複数の候補画素値を得て、その画素値を合成する。合成方法としては、一様な重みにより平均する方法や、類似パターンの一致度が高いほど大きな重みとなるように制御した上で加重平均しても良い。

６）候補画素値の補正量を算出する（Ｓ６０６）
テンプレートと類似パターンとを用いて、候補画素値に与える補正量を計算する。補正量の例としては次のようなものが挙げられる。

ａ）テンプレートの平均画素値と類似パターンの平均画素値との差を用いる
ｂ）テンプレートの最大画素値と最小画素値の平均値と、類似パターンの最大画素値と最小画素値の平均値との差を用いる
ｃ）補間画素の左右の画素の画素値の平均値と、対応画素の左右の画素の画素値の平均値との差を用いる
類似パターンが複数ある場合には、それぞれの類似パターンから得られた補正量を合成すればよい。合成方法は複数の候補画素値を合成する際に用いたものと同様である。

（６）第二画素値生成部を用いて候補画素値を生成する（Ｓ２０６）
（７）補間画素に候補画素値を挿入する（Ｓ２０７）
（８）補間画素と近傍画素の画素値を更新する（Ｓ２０８）
局所画素値更新部１０５は、前記補間画素とその近傍に位置する近傍画素とを含む局所領域の画素値を、補正量を用いて所定の基準に基づいて更新する。画素値を更新する方法の例としては、次のようなものが挙げられる。

ａ）補間画素の画素値に補正量を与える
補間画素の画素値が真の値から外れているという仮定の元で、補正量によりこれを改善する方法である。

ｂ）補間画素と近傍画素の画素値に補正量を与える
ａ）の方式では補間画素の画素値と近傍画素の画素値とが不連続となる可能性があるため、補正量を局所領域に分散して与える方法である。補正量を分散して与える際の重みの設定方法は、実施例１に記載したものを用いればよい。

補正量を与える理由は、テンプレートと完全に一致する類似パターンが見つからないケースが存在するためである。例えば、白い壁にかかった白いパネルの影のように局所的に暗い領域があり周辺は相対的に明るい領域であるような画像で、補間画素が影領域に存在している場合が想定される。仮にパターンマッチングにより相対的に明るい領域から類似パターンが見つかったとして、補間画素の候補画素値をそのまま補間画素に挿入すると近傍画素の画素値と不連続になる恐れがある。このため挿入後の補間画素の画素値を補正することにより、近傍画素の画素値との連続性を確保する必要がある。また、補間画素の画素値だけ補正すると、近傍画素の画素値との連続性が十分に確保できないケースも想定されるため、近傍画素の画素値を併せて補正することが望ましい。

（９）Ｓ２０２からＳ２０８までを全ての補間画素に対して実行する（Ｓ２０９）。

以上説明したように、本発明では、補間画素から所定の範囲内に存在する画素（近傍画素）の画素値を、その更に外側の画素（周辺画素）から補間画素までの画素値が連続的に変化するように変更するため（短い距離で変動が生じると変化が知覚されやすいが、ある程度長い距離に渡って徐々に変動していくと変化が知覚されにくくなるため、不連続さを広い範囲に分散させる）、補間画素と周辺画素との画素値の不連続さが緩和され、補間画素が目立たなくなる。

本発明は、前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。

１０１ 周期性判定部
１０２ 境界判定部
１０３ 制御部
１０４ 補間画素値挿入部
１０５ 局所画素値更新部
１０６ 第一画素値生成部
１０７ 第二画素値生成部

特許第４３３０１６４号公報

Claims (9)

1. 所定の画像中の補間画素の画素値を所定の補間方法により生成する画像処理装置において、前記補間画素を含む画像領域が周期的な画素値の変動を伴う周期領域であるか否かを判定する判定手段と、第１の補間方法を用いて前記画像の補間画素の候補画素値を生成する第１の生成手段と、第２の補間方法を用いて前記画像の補間画素の候補画素値を生成する第２の生成手段と、前記判定手段が周期領域であると判定したとき、前記第１の生成手段が生成する候補画素値を選択し、周期領域でないと判定したとき、前記第２の生成手段が生成する候補画素値を選択する制御手段と、前記選択された候補画素値を前記補間画素に挿入する挿入手段と、前記補間画素の候補画素値と前記補間画素の近傍に存在する近傍画素の画素値を、所定の補正量を用いて更新する更新手段を備えたことを特徴とする画像処理装置。
2. 前記更新手段は、前記補間画素と近傍画素とを含む局所領域の画素値と、前記局所領域の周辺に存在する局所領域と同じ大きさの周辺領域の画素値とを用いて前記補正量を算出することを特徴とする請求項１記載の画像処理装置。
3. 前記更新手段は、前記局所領域の平均画素値と前記周辺領域の平均画素値に基づいて前記補正量を算出することを特徴とする請求項２記載の画像処理装置。
4. 前記更新手段は、前記補間画素を含む基準パターンと類似する類似パターンをパターンマッチングによって検出し、前記基準パターンの平均画素値と前記類似パターンの平均画素値との差を補正量として算出することを特徴とする請求項２または３記載の画像処理装置。
5. 前記局所領域は前記基準パターンであり、前記周辺領域は前記類似パターンであることを特徴とする請求項３または４記載の画像処理装置。
6. 前記更新手段は、前記補正量に所定の重みを重畳した値を用いて前記補間画素の候補画素値と前記近傍画素の画素値を更新し、前記補間画素と近傍画素とで重みが異なることを特徴とする請求項１記載の画像処理装置。
7. 所定の画像中の補間画素の画素値を所定の補間方法により生成する画像処理方法において、前記補間画素を含む画像領域が周期的な画素値の変動を伴う周期領域であるか否かを判定する判定工程と、第１の補間方法を用いて前記画像の補間画素の候補画素値を生成する第１の生成工程と、第２の補間方法を用いて前記画像の補間画素の候補画素値を生成する第２の生成工程と、前記判定工程が周期領域であると判定したとき、前記第１の生成工程が生成する候補画素値を選択し、周期領域でないと判定したとき、前記第２の生成工程が生成する候補画素値を選択する制御工程と、前記選択された候補画素値を前記補間画素に挿入する挿入工程と、前記補間画素の候補画素値と前記補間画素の近傍に存在する近傍画素の画素値を、所定の補正量を用いて更新する更新工程を備えたことを特徴とする画像処理方法。
8. 請求項７記載の画像処理方法をコンピュータに実現させるためのプログラム。
9. 請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images