JP2012103765A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】拡大後の画像のテクスチャについて、拡大前の原画からの鮮鋭度の低下を極力抑える。
【解決手段】画像処理装置は、入力される低解像度画像から３×３画素を抽出し、その３×３のブロック毎に、テスクチャの統計量として平均と標準偏差を測定する（ステップＳ１，Ｓ２）。続いて、画像処理装置は、入力低解像度画像と同等のテクスチャの統計量を有し、かつ、６×６画素サイズのノイズを発生する（ステップＳ３）。続いて、画像処理装置は、ノイズデータの６×６画素のブロックを２×２画素のサブブロックに分割し、その一つのサブブロックを入力３×３画素の１画素に対応するものとして、入力３×３画素の画素値とサブブロック内の画素値の平均の差を最小化し、かつ、隣接画素間の画素値の差分総和を計算し、これを最小化するようにノイズデータの並べ替えを行う（ステップＳ４）。並べ替えたデータは、２倍に拡大された画像データとなる。
【選択図】図２

Description

本発明は画像処理方法及び画像処理装置に係り、特に１枚のフレーム単位の解像度変換を行う画像処理方法及び画像処理装置に関する。

近年の表示装置の大型化・高精細化に伴い、映像コンテンツに関しても高解像度化が望まれている。新たに制作されるコンテンツに関して高精細な撮影がされる傾向があるのは当然ながら、旧来の非高解像度で制作されているコンテンツに関しても高解像度化された形で視聴したいという要求が高まっている。現状の多くのテレビ装置においても非高解像度コンテンツを補間技術により画素数のみについては高精細パネルに見合ったものに増加させているが、本来の意味での高解像度化は事実上行われていない。

一方、低解像度画像から高解像度画像を生成する試みは古くから行われており、複数フレームの位置ずれを有する低解像度画像を統合して、高解像度画像を生成する手法については極めて幅広く検討されている。低解像度動画から高精細動画を作成する手法についても特許文献１記載の手法の他数多く検討されている。また、フレーム内での繰り返し部分や類似部分を利用した高解像度化技術も多数存在する。

特開２００４−５６７８９号公報

従来の高解像度化技術は、多くがフィルタによる補間もしくは類似部分の統合に依存している。フィルタによる補間においては、出力画像は一般的に平板なものになりがちであり、細部における原画の鮮鋭度をそのまま表現することは困難である。なお、「テクスチャ」とは、画像を構成する要素であり、単一の画素若しくは画素群で構成される。類似部分の統合による手法の場合、同一画像内でも成功する部分と失敗する部分があるような、むらのある仕上がりになりがちな傾向にある。いずれにしても入出力間のテクスチャパターンの類似性を安定的に確保することはできない。

本発明は以上の点に鑑みなされたもので、拡大後の画像のテクスチャについて、拡大前の原画からの鮮鋭度の低下を極力抑えることが可能な画像処理方法及び画像処理装置を提供することを目的とする。

上記の目的を達成するため、本発明の画像処理方法は、供給される画像から第１の所定数の画素からなる第１のブロック単位で第１の所定数の画素の画素値データを抽出する画像抽出ステップと、画像抽出ステップで抽出された第１の所定数の画素の画素値データの統計量を測定するテクスチャ測定ステップと、テクスチャ測定ステップで測定された第１の所定数の画素の画素値データの統計量と同等の統計量を有し、かつ、第1の所定数よりも多い第２の所定数の画素に相当する第２のブロックのサイズ分のノイズデータを発生するノイズ発生ステップと、ノイズ発生ステップで発生された第２の所定数のノイズデータからなる第２のブロックを複数のサブブロックに分割し、一つのサブブロックが第１のブロックの１画素に対応するものとして、第１のブロックの画素値とサブブロック内の画素値の平均との差を最小化し、かつ、ノイズデータの第２のブロック内の隣接画素間の画素値の差分総和を最小にするように、ノイズデータの並べ替えを行う並べ替えステップと、並べ替えステップによる並べ替え後のノイズデータを、拡大処理された画像として出力する出力ステップと、を含むことを特徴とする。

また、上記の目的を達成するため、本発明の画像処理装置は、供給される画像から第１の所定数の画素からなる第１のブロック単位で第１の所定数の画素の画素値データを抽出する画像抽出手段と、画像抽出手段で抽出された第１の所定数の画素の画素値データの統計量を測定するテクスチャ測定手段と、テクスチャ測定手段で測定された第１の所定数の画素の画素値データの統計量と同等の統計量を有し、かつ、第1の所定数よりも多い第２の所定数の画素に相当する第２のブロックのサイズ分のノイズデータを発生するノイズ発生手段と、ノイズ発生手段で発生された第２の所定数のノイズデータからなる第２のブロックを複数のサブブロックに分割し、一つのサブブロックが第１のブロックの１画素に対応するものとして、第１のブロックの画素値とサブブロック内の画素値の平均との差を最小化し、かつ、ノイズデータの第２のブロック内の隣接画素間の画素値の差分総和を最小にするように、ノイズデータの並べ替えを行う並べ替え手段と、並べ替え手段による並べ替え後のノイズデータを、拡大処理された画像として出力する出力手段と、を有することを特徴とする。

本発明によれば、拡大後の画像のテクスチャについて、拡大前の原画からの鮮鋭度の低下を極力抑えることができる。

本発明の画像処理装置の一実施の形態のブロック図である。 本発明の画像処理方法の一実施の形態のフローチャートである。 入力画像から抽出された３×３画素の配列を示す図である。 ノイズとして発生されるデータの６×６画素配列を示す図である。 入力画像から抽出された３×３画素群の画素値の一例を示す図である。 並び替え前の６×６画素配列のノイズの値の一例を示す図である。 サブブロックの構成を示す図である。 エッジ無しの場合の画素値の差分総和を計算する隣接画素を示す図である。 並び替え後の６×６画素配列のノイズの値の一例を示す図である。 エッジ有りの場合の画素値の差分総和を計算する隣接画素を示す図である。

以下、図面と共に本発明の実施の形態を説明する。

図１は、本発明になる画像処理装置の一実施の形態のブロック図、図２は、本発明になる画像処理方法の一実施の形態のフローチャートを示す。

図１において、本実施の形態の画像処理装置１０は、画素抽出部１１、平均・偏差測定部１２、ノイズ発生部１３、並べ替え部１４、画像入れ込み部１５、微調整部１６、拡散フィルタ１７より構成され、画像処理前の低解像度画像を入力として受け、２００％サイズに拡大した高解像度画像を出力する。なお、ここでは、画像処理装置１０は画像の輝度についてのみ処理するものとするが、色差や原色系に適用することも可能である。

画素抽出部１１は、供給される低解像度画像から、対象画素を中心とする周囲８画素からなる垂直方向３画素及び水平方向３画素（以下、３×３画素ともいう）の計９画素の第１のブロック単位で画素を抽出する。図３は、上記の３×３画素の第１のブロックの配列を示す。図３において、中央の「４」で示す画素が対象画素である。

平均・偏差測定部１２は、入力される３×３画素について、テクスチャの統計量として平均と標準偏差を測定してテクスチャ解析を行う。ノイズ発生部１３は、入力画像と同等の平均と標準偏差を持つノイズを、垂直方向６画素及び水平方向６画素（以下、６×６画素ともいう）の第２のブロックの画像サイズ分のデータとして発生する。図４は、上記の６×６画素の第２のブロックの配列を示す。ノイズ発生部１３によるノイズの発生は、公知の正規乱数に基づくものとする。

並べ替え部１４は、ノイズ発生部１３により発生されたノイズを拡大画像の一部として用いることができるように、後述するように上記の１つの第２のブロックを構成する６×６画素を２×２画素で区切った４画素単位をサブブロックとし、各サブブロックを入力低解像度画像の３×３画素の第１のブロックの１画素に対応するものとして、入力低解像度画像の３×３画素の画素値とサブブロック内の画素値の平均の差を最小化するための画素の並び替えを行う。

画像入れ込み部１５は、入力低解像度画像の３×３画素にエッジが存在する場合、エッジを跨いでのマルコフ性（属性値がごく近傍の属性値のみに依存）を満足する必要がないため、上記の画素の並び替えの際にエッジを跨いでの不連続性を許容した画像の入れ込みを行う。なお、上記のエッジは、隣接する画素間の輝度画素差分値が設定したしきい値を超えた大なる値である場合である。微調整部１６は、画素値の原画画質に応じて拡大画像の微調整を行う。拡散フィルタ１７は、入力拡大画像のランダムノイズ特有のざらつきを抑えるためのフィルタリングを行う。

次に、図１に示す本実施の形態の信号処理装置１０の動作について、図２のフローチャートを併せ参照して説明する。

画素抽出部１１は、入力される低解像度画像から、対象画素を中心とする図３に示した配列の３×３画素を原画の一部として抽出する（ステップＳ１）。続いて、平均・標準偏差測定部１２は、画素抽出部１１により抽出された上記の３×３画素の第１のブロック毎に、テスクチャの統計量として平均と標準偏差を測定する（ステップＳ２）。

次に、ノイズ発生部１３は、平均・標準偏差測定部１２により測定された平均と標準偏差を持つノイズを図４に示した６×６画素の第２のブロックのサイズ分のデータとして発生する（ステップＳ３）。このノイズ発生部１３は、例えば、入力される平均をａ、標準偏差をσとしたとき、次式によりノイズＮを発生する。

Ｎ＝ａ＋σ×ＢＭＮ （１）
ただし、上式中、ＢＭＮは、公知のBox-Muller法により生成される正規乱数である。

また、ノイズ発生部１３が、入力低解像度画像と同じ平均・標準偏差を持つノイズを発生する意味合いは、同じ平均・標準偏差を持たせることにより入力の３×３画素と似通った見え方を確保できることである。また、発生するノイズを６×６画素サイズとする理由は、水平・垂直方向に２倍サイズの拡大画素を得るためである。

図５は、入力低解像度画像の３×３画素群の画素値の一例を示す。また、図６は、ノイズ発生部１３により発生される入力３×３画素と同じ平均・標準偏差を持つノイズの６×６画素群の画素値の一例を示す。

しかし、ノイズ発生部１３により発生されるノイズのデータを、そのまま画素値として用いた拡大画像を構成することはできない。このノイズはランダムテスクチャとして見た場合には入力３×３画素と似通った見え方を確保しているが、拡大画像の一部として用いるには、再縮小した場合に原画に近い画素値になるという第１の条件と、画像として自然に見えるという第２の条件を両方満足しなければならないからである。

第１の条件については、６×６画素の一つのブロックを図７に太線で区切った、２×２画素の計４画素単位をサブブロックとし、そのサブブロックを入力３×３画素の１画素に対応するものとして、入力３×３画素の画素値とサブブロック内の画素値の平均の差を最小化すればよい。第２の条件については、マルコフ性（属性値がごく近傍の属性値のみに依存）の確保によって満足させる。具体的には、図８における両矢印の結ぶ隣接画素間の画素値の差分総和を計算し、これを最小化する。

上記の入力３×３画素の画素値とサブブロック内の画素値の平均の差と、隣接画素間の画素値の差分総和の“最小化”とはこれらを最小にするようなノイズデータの並び替えを見つけることである。そこで、並べ替え部１４は、上記の６×６画素のノイズデータと近接画素相関に応じた並べ替えを行う（ステップＳ４）。図９は、並べ替え部１４による並び替えの結果の一例を示す。

ただし、入力３×３画素にエッジが存在する場合は、エッジを跨いでのマルコフ性を満足する必要がないため、隣接画素間の画素値の差分総和において相当部分の計算を行わず、不連続性を許容する。この画素間計算の有無を図１０の両矢印の有無で示す。図１０において、（ａ）は水平エッジ、（ｂ）は垂直エッジ、（ｃ）は左上―右下エッジ、（ｄ）左下―右上エッジが存在する場合の６×６画素の一例を示す。図１０（ａ）は、３行目の画素群と４行目の画素群との間に水平方向のエッジが存在する場合を示し、同図（ｂ）は３列目の画素群と４列目の画素群との間に垂直方向のエッジが存在する場合を示す。また１０（ｃ）は、左上端の画素と右下端の画素とを結ぶ左斜め上がりの直線上の画素群に斜め方向のエッジが存在し、同図（ｄ）は、左下端の画素と右上端の画素とを結ぶ右斜め上がりの直線上の画素群に斜め方向のエッジが存在する例を示す。

なお、エッジの有無・方向性については、入力３×３画素につき公知のエッジ検出オペレータを用いて計算すればよい。画像入れ込み部１５は、以上の処理を画像全体について行う、画像への入れ込みを行う（ステップＳ５）。

次に、微調整部１６は、画像入れ込み部１５により得られた拡大画像について、再縮小した画像が原画像と一致するように微調整する（ステップＳ６）。すなわち、微調整部１６は、原画画素値ｙ［ｊ］［ｉ］の１つの画素に対応する拡大画像の４つの画素の画素値Ｙ［ｊ*２］［ｉ*２］，Ｙ［ｊ*２］［ｉ*２＋１］，Ｙ［ｊ*２＋１］［ｉ*２］，Ｙ［ｊ*２＋１］［ｉ*２＋１］が発生したとして、拡大画像のグラデーションを確保しながら、その平均（ａｖｅとする）を原画画素値に一致させるため以下の処理を行う。ただし、以下の式において、ｒａｔｉｏ＝ｙ［ｊ］［ｉ］／ａｖｅである。

Y(j*2)[i*2] ＝y[j][i]＋(Y[j*2][i*2]−ave)＊ratio （２）
Y(j*2)[i*2+1]＝y[j][i]＋(Y[j*2][i*2+1]−ave)＊ratio （３）
Y(j*2+1)[i*2]＝y[j][i]＋(Y[j*2+1][i*2]−ave)＊ratio （４）
Y(j*2+1)[i*2+1]＝y[j][i]＋(Y[j*2+1][i*2+1]−ave)＊ratio （５）
そして、拡散フィルタ１７は、微調整部１６により微調整された拡大画像に対して拡散フィルタのフィルタリングを行う（ステップＳ７）。拡散フィルタ１７は、次式により表される演算式によるフィルタリングを繰り返し入力拡大画像に適用して平滑化を行い、ランダムノイズ特有のざらつきを抑える。ただし、次式中、Y[j][i]は拡大画像の一つの画素の画素値を示す。

Y[j][i]＝Y[j][i]＋ε(-8*Y[j][i]+Y[j-1][i-1]+Y[j-1][i]+Y[j-1][i+1]
+Y[j][[i-1]+Y[j][i+1]+Y[j+1][i-1]+Y[j+1][i]+Y[j+1][i+1]) (6)
（６）式の右辺第二項は、対象画素の画素値Y[j][i]の８倍の値を対象画素の周辺の８画素の画素値の総和から差し引いた差分値に係数εを乗算した値である。なお、（６）式中の係数εと繰り返し回数は実験的に決定される。例えば、係数εは０.００５〜０.２の範囲内の値であり、繰り返し回数は２回〜５回である。

このように、本実施の形態の画像処理装置１０によれば、供給される処理前の低解像度画像の３×３画素のブロック毎に、そのテスクチャの統計量と同等の統計量を有する６×６画素のブロックのサイズのノイズデータを発生する。そして、本実施形態の画像処理装置１０によれば、ノイズデータのブロックを複数のサブブロックに分割し、一つのサブブロックを入力３×３画素の１画素に対応するものとして、入力３×３画素の画素値とサブブロック内の画素値の平均の差を最小化し、かつ、ノイズデータの隣接画素間の画素値の差分総和を最小化するように、ノイズデータの並べ替えを行い、並べ替え後のデータから高解像度の画像を得るようにしたため、拡大後の画像のテクスチャについて、拡大前の原画からの鮮鋭度の低下を極力抑えることができる。

なお、本発明は、図１のブロック図の画像処理装置１０をハードウェアで構成する場合に限定されるものではなく、図２のフローチャートの各ステップの処理をコンピュータにより実行させる画像処理プログラムも包含するものである。この場合、画像処理プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

１１ 画像抽出部
１２ 平均・標準偏差測定部
１３ ノイズ発生部
１４ 並べ替え部
１５ 画像入れ込み部
１６ 微調整部
１７ 拡散フィルタ

Claims (2)

1. 供給される画像から第１の所定数の画素からなる第１のブロック単位で前記第１の所定数の画素の画素値データを抽出する画像抽出ステップと、
   前記画像抽出ステップで抽出された前記第１の所定数の画素の画素値データの統計量を測定するテクスチャ測定ステップと、
   前記テクスチャ測定ステップで測定された前記第１の所定数の画素の画素値データの統計量と同等の統計量を有し、かつ、前記第1の所定数よりも多い第２の所定数の画素に相当する第２のブロックのサイズ分のノイズデータを発生するノイズ発生ステップと、
   前記ノイズ発生ステップで発生された前記第２の所定数のノイズデータからなる前記第２のブロックを複数のサブブロックに分割し、一つの前記サブブロックが前記第１のブロックの１画素に対応するものとして、前記第１のブロックの画素値と前記サブブロック内の画素値の平均との差を最小化し、かつ、前記ノイズデータの前記第２のブロック内の隣接画素間の画素値の差分総和を最小にするように、前記ノイズデータの並べ替えを行う並べ替えステップと、
   前記並べ替えステップによる並べ替え後の前記ノイズデータを、拡大処理された画像として出力する出力ステップと、
   を含むことを特徴とする画像処理方法。
2. 供給される画像から第１の所定数の画素からなる第１のブロック単位で前記第１の所定数の画素の画素値データを抽出する画像抽出手段と、
   前記画像抽出手段で抽出された前記第１の所定数の画素の画素値データの統計量を測定するテクスチャ測定手段と、
   前記テクスチャ測定手段で測定された前記第１の所定数の画素の画素値データの統計量と同等の統計量を有し、かつ、前記第1の所定数よりも多い第２の所定数の画素に相当する第２のブロックのサイズ分のノイズデータを発生するノイズ発生手段と、
   前記ノイズ発生手段で発生された前記第２の所定数のノイズデータからなる前記第２のブロックを複数のサブブロックに分割し、一つの前記サブブロックが前記第１のブロックの１画素に対応するものとして、前記第１のブロックの画素値と前記サブブロック内の画素値の平均との差を最小化し、かつ、前記ノイズデータの前記第２のブロック内の隣接画素間の画素値の差分総和を最小にするように、前記ノイズデータの並べ替えを行う並べ替え手段と、
   前記並べ替え手段による並べ替え後の前記ノイズデータを、拡大処理された画像として出力する出力手段と、
   を有することを特徴とする画像処理装置。

Images