JP2014192586A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】デュアルグリーン方式信号の欠落画素を精度良く補間できる画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】画像処理装置１は、赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算部１１と、連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算部１２と、を備える。
【選択図】図１

Description

本発明は、画像データにおける欠落画素を補間する画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、信号帯域の制限又は画素数の制限により、より少ない画素数で高解像度を得るためにデュアルグリーン方式信号が用いられている。デュアルグリーン信号は、例えば、図１４に示すベイヤー配列カラーフィルタを有する単板カラー撮像装置の出力として得られる。なお、図中のＲは赤色画素、Ｇは緑色画素、Ｂは青色画素を示す。

デュアルグリーン方式信号における各画素で欠落している色を補間して、１画素がＲＧＢ３色を有する信号に変換するアップコンバータがある。アップコンバータは、例えば、図１５に示すようにＧデータが欠落した画素（Ｒ画素又はＢ画素）についてＧ’データを推定して補間する。この場合、図１６に示す欠落画素の周辺の実データ（Ｇ）を用いて、欠落画素の信号レベル（Ｇ’）を線形に補間する手法が一般的である。また、隣接した領域の画素の色相が等しいという仮定の基に、その近似値として、それぞれの画素におけるＲＧＢ３色間の信号レベルの差分が等しいとする予測手法が提案されている（例えば、非特許文献１参照）。

開他，"高い空間周波数を有する色彩信号に配慮したカラーデモゼイシング"，映像情報メディア学会誌，Ｖｏｌ．６１，Ｎｏ．８，ｐｐ．１２０９−１２１７，２００７

しかしながら、線形補間の手法では、高周波の情報が失われるという課題があった。また、色間の差分値を用いる手法では、色間の差分値が大きくなると、信号レベルの変化が大きい場合に色相が等しいという仮定が成り立たなくなり、推定誤差が大きくなるという課題があった。

本発明は、デュアルグリーン方式信号の欠落画素を精度良く補間できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明に係る画像処理装置は、デュアルグリーン方式信号の画像データから欠落した緑色データを補間する装置であって、赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算部と、連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算部と、を備える。

この構成によれば、画像処理装置は、デュアルグリーン方式の画像データに対して、領域内で色比率の分布に関して仮定された条件に基づいて第２色比率を求めることにより、精度良く欠落画素を補間できる。
これにより、画像処理装置は、デュアルグリーン方式信号を元画像に精度良く復元できるので、フル画素の表示装置に高画質で表示することが可能となる。
さらに、伝送帯域又は撮像素子数に制限がある場合に、デュアルグリーン方式信号を用いた高画質映像システムの構築が可能となる。

前記第２演算部は、前記第２色比率を前記領域内の複数の赤色画素又は青色画素のデータに乗じて得られる前記緑色の第２推定データと前記緑色の第１推定データとの差分の総和を最小とする、前記複数の赤色画素又は青色画素に共通の前記第２色比率を算出してもよい。

この構成によれば、画像処理装置は、デュアルグリーン方式の画像データに対して、領域内で色比率が等しいという仮定に基づいて、線形補間との差分の総和をゼロとする第２色比率を求めることにより、精度良く欠落画素を補間できる。

画像処理装置は、前記領域内の赤色画素若しくは青色画素を中心とした水平及び垂直の４方向における緑色データの相関の大きさを判定する相関判定部を備え、前記第２演算部は、前記相関判定部による判定結果に基づいて、前記赤色画素若しくは青色画素に隣接する４方向それぞれの緑色画素で算出された前記第１色比率に対して重み付けを行い、当該赤色画素若しくは青色画素の前記第２色比率を算出してもよい。

この構成によれば、画像処理装置は、デュアルグリーン方式の画像データに対して、補間実施画素の色比率が、同色の信号レベル（例えば緑色データ）の相関が高い方向の色比率により類似するという仮定に基づいて補間処理を行う。画像処理装置は、緑色データの４方向の相関に基づく重み付けを調整した第２色比率を求めることにより、精度良く欠落画素を補間できる。

前記相関判定部は、前記緑色データのばらつきが小さいほど相関が大きいと判定し、前記第２演算部は、前記相関が大きい方向の前記第１色比率に対する重み付けを大きくしてもよい。

この構成によれば、画像処理装置は、緑色データのばらつきの大きさによって容易に相関を判定でき、第２色比率を容易に精度良く調整できる。

本発明に係る画像処理装置は、デュアルグリーン方式信号の画像データから欠落した緑色データを補間する装置であって、赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算部と、連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算部と、前記領域内の赤色画素若しくは青色画素を中心とした水平及び垂直の４方向における緑色データの相関の大きさを判定する相関判定部と、前記画像データ内の少なくとも一部の特徴量を算出する特徴量算出部と、を備え、前記第２演算部は、前記特徴量算出部により算出された特徴量の分布に基づいて、前記第２色比率を前記領域内の複数の赤色画素又は青色画素のデータに乗じて得られる前記緑色の第２推定データと前記緑色の第１推定データとの差分の総和を最小とする、前記複数の赤色画素又は青色画素に共通の前記第２色比率を算出するか、前記相関判定部による判定結果に基づいて、前記赤色画素若しくは青色画素に隣接する４方向それぞれの緑色画素で算出された前記第１色比率に対して重み付けを行い、当該赤色画素若しくは青色画素の前記第２色比率を算出するか、を選択して演算する。

この構成によれば、画像処理装置は、デュアルグリーン方式の画像データに対して、所定の特徴量に応じて複数の補間処理のいずれかを選択できるので、推定データの精度を向上できる。

本発明に係る画像処理方法は、デュアルグリーン方式信号の画像データから欠落した緑色データをコンピュータが補間する方法であって、赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算ステップと、連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算ステップと、を含む。

本発明に係る画像処理プログラムは、デュアルグリーン方式信号の画像データから欠落した緑色データをコンピュータに補間させるためのプログラムであって、赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算ステップと、連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算ステップと、を実行させる。

本発明によれば、デュアルグリーン方式信号の欠落画素が精度良く補間される。

第１実施形態に係る画像処理装置の構成を示すブロック図である。 第１実施形態に係るデュアルグリーン方式における各画素の信号レベルを例示した図である。 第１実施形態に係るＧデータの補間処理を示すフローチャートである。 第１実施形態に係る補間処理を例示する図である。 第１実施形態に係る色比率と線形補間値からの差分との関係を示す図である。 第１実施形態に係る補間処理による推定結果と線形補間による推定結果とを比較して示す図である。 第１実施形態に係る補間処理による推定データ及び線形補間による推定データを、元画像データと比較した結果を示す図である。 第２実施形態に係る画像処理装置の構成を示すブロック図である。 第２実施形態に係るＧデータの補間処理を示すフローチャートである。 第２の実施形態に係る補間処理に用いる画素を示す図である。 第２の実施形態に係る相関の判定に用いる画素領域を示す図である。 第２実施形態に係る補間処理による推定データ及び線形補間による推定データを、元画像データと比較した結果を示す図である。 第３実施形態に係る画像処理装置の構成を示すブロック図である。 ベイヤー配列画像の画素構成を示す図である。 サンプリングされたＧ画素と補間画素とを示す図である。 線形補間によるＧ画素の信号レベルを示す図である。

＜第１実施形態＞
以下、本発明の第１実施形態について説明する。
本実施形態の画像処理装置１は、近接した画素では色相が等しいという仮定に基づき、Ｇデータが欠落したＲ画素又はＢ画素のＧデータを補間する。

図１は、本実施形態に係る画像処理装置１の構成を示すブロック図である。
画像処理装置１は、入力されたデュアルグリーン方式の画像信号のうち、Ｇデータが欠落しているＲ画素又はＢ画素について、推定色比率を用いた補間処理を行い、Ｇデータを推定して補間信号を生成する。そして、画像処理装置１は、補間信号を元の画像信号と合成することにより、Ｇデータの解像度を復元した補間処理後の画像信号を出力する。

制御部１０は、画像処理装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。

記憶部２０は、ハードウェア群を画像処理装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させる画像処理プログラムを記憶する。

また、制御部１０は、補間処理を行うために、第１演算部１１と、第２演算部１２とを備える。

第１演算部１１は、Ｒ画素若しくはＢ画素において、隣接するＧ画素の実データに基づいて線形補間により求めたＧの第１推定データ（Ｇ’）と、Ｒ又はＢの実データとの比率として、第１色比率（Ｇ’／Ｒ又はＧ’／Ｂ）を算出する。

図２は、本実施形態に係るデュアルグリーン方式における各画素の信号レベルを例示した図である。
この例では、Ｇ画素とＲ画素とが交互に並び、破線で示す実際のデータに対して、Ｇデータ又はＲデータの一方のみがサンプリングされている。

本実施形態では、近接した画素で色相が等しいという仮定により、欠落したＧデータを補間するために他の色（Ｒ又はＢ）との色比率（Ｇ／Ｒ又はＧ／Ｂ）が用いられる。ところが、いずれの画素も一色のデータのみがサンプリングされているので、実際の色比率は算出できない。

そこで、まず、第１演算部１１は、線形補間された仮のデータ（第１推定データ）を用いて推定色比率（第１色比率）を算出する。
具体的には、第１演算部１１は、Ｇ_０とＧ_１の平均値としてＧ’_１を、Ｇ_１とＧ_２の平均値としてＧ’_２を、Ｇ_２とＧ_３の平均値としてＧ’_３を算出し、それぞれ、Ｒ_１、Ｒ_２、Ｒ_３との比率として第１色比率を算出する。

第２演算部１２は、連続した複数の画素からなる領域において、第１色比率の分布に関して仮定された条件に基づいて、この領域内のＲ画素又はＢ画素におけるＧの第２推定データとＲ若しくはＢの実データとの第２色比率を算出する。

仮定された条件とは、領域内の画素で色相が等しいという条件であり、第２演算部１２は、領域内で共通する第２色比率を算出する。
具体的には、第２演算部１２により算出される第２色比率は、領域内の複数のＲ画素又はＢ画素の実データに乗じて得られるＧの第２推定データとＧの第１推定データとの差分の総和を最小とする値である。

図３は、本実施形態に係るＧデータの補間処理を示すフローチャートである。
本処理では、例として、図２に示す両端がＧ画素の水平７画素を１ユニットとし、ユニット内の３箇所のＲ画素でのＧデータを推定する。

ステップＳ１において、第１演算部１１は、Ｒ_ｉ画素における第１推定データ（Ｇ’_ｉ）として、（１）式により、Ｒ_ｉ画素の両隣のＧデータの平均値を求める。

ステップＳ２において、第１演算部１１は、Ｒ_ｉ画素における第１色比率（Ｃ_ｉ）として、（２）式により、第１推定データとＲデータとの比率を求める。

ステップＳ３において、第２演算部１２は、（３）式により、各Ｒ画素のデータ（Ｒ_ｎ）に第１色比率（Ｃ_ｉ）を乗じた値と、第１推定データ（Ｇ’_ｎ）との差分の総和（Ｓ_ｉ）を求める。

例えば、「ｉ＝１，２」の場合、
Ｓ_１＝（Ｇ’_１−Ｃ_１×Ｒ_１）＋（Ｇ’_２−Ｃ_１×Ｒ_２）＋（Ｇ’_３−Ｃ_１×Ｒ_３）
Ｓ_２＝（Ｇ’_１−Ｃ_２×Ｒ_１）＋（Ｇ’_２−Ｃ_２×Ｒ_２）＋（Ｇ’_３−Ｃ_２×Ｒ_３）
となる。

ステップＳ４において、第２演算部１２は、同一ユニット内で共通に使用する第２色比率（Ｃ’）として、（４）式により、第１推定データ（Ｇ’_ｎ）との差分の総和がゼロとなる値を求める。

ステップＳ５において、第２演算部１２は、（５）式により、Ｒ_ｉ画素における第２推定データ（Ｇ^＊）を求める。

本処理は、水平７画素を１ユニットとして説明したが、本実施形態はこれには限られず、第１色比率を複数箇所で求められる５画素以上であればよい。
また、Ｒ画素におけるＧデータの推定手法を説明したが、Ｂ画素についても同様である。

図４は、本実施形態に係る水平５画素を１ユニットとした場合の補間処理を例示する図である。
この例では、欠落画素のない元画像においてＧデータがＲデータの２倍であるものとする。

デュアルグリーン方式信号では、図４（ａ）のようにＧデータが３箇所、Ｒデータが２箇所サンプリングされている。
このとき、図４（ｂ）のように、第２位置の第１色比率は、「１．６２」となる。この第１色比率を第４位置のＲデータに乗ずると、線形補間値との差分は「−２９．５」となる。
また、図４（ｃ）のように、第４位置の第１色比率は、「２．６８」となる。この第１色比率を第２位置のＲデータに乗ずると、線形補間値との差分は「５３．２」となる。

図５は、本実施形態に係る色比率と線形補間値からの差分との関係を示す図である。
上述の図４のように、色比率が「１．６２」のとき差分は「−２９．５」、色比率が「２．６８」のとき差分は「５３．２」であるから、差分がゼロとなる色比率は、「２．００」となり、元画像における実際の色比率と一致する。

このように、欠落画素のない元画像において、領域内の色比率が等しい場合、元画像データと線形補間値との差分の和がゼロであれば、本実施形態の補間処理により求めた補間画像は元画像と一致する。

図６は、本実施形態に係る補間処理による推定結果と線形補間による推定結果とを比較して示す図である。
図６（ａ）のように欠落画素のない元画像に対して、サンプリングしたデュアルグリーン画像では、図６（ｂ）のようにＧデータの一部が欠落している。画像処理装置１は、この欠落したＧデータを、Ｒ画素及び隣接したＧ画素を用いて補間する。

線形補間によれば、図６（ｃ）のように、高周波成分が欠落し、元画像との差異が大きくなっている。一方、本実施形態の補間処理によれば、図６（ｄ）のように、高周波成分が精度良く復元され、線形補間の手法に比べて元画像との差異が小さくなる。

図７は、本実施形態に係る補間処理による推定データ及び線形補間による推定データを、元画像データと比較した結果を示す図である。

比較結果の数値は、欠落画素がないフル画素の元画像データから作成したベイヤー配列のデータを用いて、７画素を単位ユニットとした４０ユニットに対して、本実施形態の補間処理で求めた推定データ及び線形補間で求めた推定データと、元画像データとの誤差の平均値である。
なお、Ｇデータは、元画像を市松状にサンプリングしたデータを用い、サンプリングしていない画素は、元画像のＧデータの１／２をＲデータとして用いた。

本実施形態の補間処理による誤差「３．６」は、線形補間による誤差「１３．０」に比べて非常に小さく、精度良くＧデータを推定できている。

以上のように、本実施形態によれば、画像処理装置１は、デュアルグリーン方式の画像データに対して、領域内で色比率が等しいという仮定に基づいて、線形補間との差分の総和をゼロとする第２色比率を求めることにより、精度良く欠落画素を補間できる。
これにより、画像処理装置１は、デュアルグリーン方式信号を元画像に精度良く復元できるので、フル画素の表示装置に高画質で表示することが可能となる。
さらに、伝送帯域又は撮像素子数に制限がある場合に、デュアルグリーン方式信号を用いた高画質映像システムの構築が可能となる。

＜第２実施形態＞
以下、本発明の第２実施形態について説明する。
なお、第１実施形態と同様の構成については同一の符号を付し、説明を省略又は簡略化する。

本実施形態の画像処理装置１ａは、近接した画素の第１色比率を、方向毎の相関指標に基づいて重み付けして、欠落画素のＧデータを補間する。

図８は、本実施形態に係る画像処理装置１ａの構成を示すブロック図である。
画像処理装置１ａの制御部１０ａは、補間処理を行うために、第１演算部１１ａと、第２演算部１２ａと、相関判定部１３とを備える。

第１演算部１１ａは、Ｇ画素において、Ｇの実データと、隣接するＲ画素若しくはＢ画素の実データに基づいて線形補間により求めたＲ若しくはＢの第１推定データ（Ｒ’又はＢ’）との比率として、第１色比率（Ｇ／Ｒ’又はＧ／Ｂ’）を算出する。

相関判定部１３は、領域内のＲ画素若しくはＢ画素を中心とした水平及び垂直の４方向におけるＧデータの相関の大きさを判定する。相関判定部１３は、Ｇデータのばらつきが小さいほど相関が大きいと判定する。

第２演算部１２ａは、相関判定部１３による判定結果に基づいて、Ｒ画素若しくはＢ画素に隣接する４方向それぞれのＧ画素で算出された第１色比率に対して重み付けを行い、Ｒ画素若しくはＢ画素の第２色比率を算出する。
第２演算部１２ａは、相関が大きい方向の第１色比率に対する重み付けを大きくする。

図９は、本実施形態に係るＧデータの補間処理を示すフローチャートである。
本処理では、例として、図１０に示す補間実施画素（Ｒ^＊ _０）を中心とした７×７画素内のデータを用いて、補間実施画素（Ｒ^＊ _０）におけるＧデータの補間値を推定する。

ステップＳ１１において、相関判定部１３は、図１１に示す補間実施画素（Ｒ^＊ _０）を中心とした水平、垂直の４方向に定義される領域１〜４それぞれでの相関を判定する。
ここで、相関指標Ｌは、４領域（ｎ＝１〜４）それぞれに対して、（６）式で定義される。相関指標Ｌが小さいほど、相関は大きい。

ステップＳ１２において、第１演算部１１ａは、補間実施画素（Ｒ^＊ _０）に隣接した上下左右のＧ画素（Ｇ^＊ _１、Ｇ^＊ _２、Ｇ^＊ _３、Ｇ^＊ _４）での第１色比率（Ｃ_ｉ）を、（７）式により算出する。

ステップＳ１３において、第２演算部１２ａは、領域２と領域４とで求めた水平方向の相関指標Ｌ_２及びＬ_４を用いて、（８）式により、水平方向の相関を考慮したＧ補間値ｇ_１を算出する。

ステップＳ１４において、第２演算部１２ａは、領域１と領域３とで求めた垂直方向の相関指標Ｌ_１及びＬ_３を用いて、（９）式により、垂直方向の相関を考慮したＧ補間値ｇ_２を算出する。

ステップＳ１５において、第２演算部１２ａは、ｇ_１及びｇ_２に対して、水平及び垂直の相関を考慮した重み付けを行い、（１０）式により、補間実施画素（Ｒ^＊ _０）における補間値である第２推定データ（Ｇ^＊）を算出する。

本処理は、７×７画素を用いて説明したが、本実施形態はこれには限られず、第１色比率及び相関を求められる５×５画素以上であればよい。
また、Ｒ画素におけるＧデータの推定手法を説明したが、Ｂ画素についても同様である。
相関判定部１３による相関の判定方法は、上述の相関指標Ｌには限られず、例えば、分散やフィルタを用いた方法でもよい。

図１２は、本実施形態に係る補間処理による推定データ及び線形補間による推定データを、元画像データと比較した結果を示す図である。

比較結果の数値は、欠落画素がないフル画素の元画像データからベイヤー配列のデータを作成して、１００×１００画素のベイヤー配列データ内のＲ画素で求めたＧ補間値及び線形補間で求めたＧ補間値と、元画像データとの誤差の平均値である。

本実施形態の補間処理による誤差「７．７」は、線形補間による誤差「１１．６」に比べて非常に小さく、精度良くＧデータを推定できている。

以上のように、本実施形態によれば、画像処理装置１ａは、デュアルグリーン方式の画像データに対して、補間実施画素の色比率が、同色の信号レベル（例えばＧデータ）の相関が高い方向の色比率により類似するという仮定に基づいて補間処理を行う。画像処理装置１ａは、Ｇデータの４方向の相関に基づく重み付けを調整した第２色比率を求めることにより、精度良く欠落画素を補間できる。
この結果、画像処理装置１ａは、デュアルグリーン方式信号を元画像に精度良く復元できるので、フル画素の表示装置に高画質で表示することが可能となる。
さらに、伝送帯域又は撮像素子数に制限がある場合に、デュアルグリーン方式信号を用いた高画質映像システムの構築が可能となる。

＜第３実施形態＞
以下、本発明の第３実施形態について説明する。
なお、第１実施形態と同様の構成については同一の符号を付し、説明を省略又は簡略化する。

本実施形態の画像処理装置１ｂは、補間実施画素の近接領域における所定の特徴量に基づいて、第１実施形態の補間処理又は第２実施形態の補間処理のいずれかを選択して実行する。

図１３は、本実施形態に係る画像処理装置１ｂの構成を示すブロック図である。
画像処理装置１ｂの制御部１０ｂは、補間処理を行うために、第１演算部１１ｂと、第２演算部１２ｂと、相関判定部１３と、特徴量算出部１４とを備える。

特徴量算出部１４は、画像データ内の少なくとも一部、特に補間実施画素に近接した領域の特徴量を算出する。制御部１０は、この算出結果により、補間実施画素が例えば、色相が類似した領域であるか、色相が大きく変化する輪郭部分であるか等の特徴を判断できる。

第２演算部１２ｂは、特徴量算出部１４により算出された特徴量の分布に基づいて、第１実施形態の補間処理又は第２実施形態の補間処理のいずれかを選択して実行する。

このとき、第１演算部１１ｂは、前述の第１実施形態における第１演算部１１と同様の処理により、Ｒ画素又はＢ画素において第１色比率を、又は第２実施形態における第１演算部１１ａと同様の処理により、Ｇ画素において第１色比率を算出する。

以上のように、本実施形態によれば、画像処理装置１ｂは、デュアルグリーン方式の画像データに対して、所定の特徴量に応じて複数の補間処理のいずれかを選択し、推定データの精度を向上できる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

本実施形態では、主に画像処理装置の構成と動作について説明したが、これに限られず、各構成要素を備え、精度良く画素を補間するための方法、又はプログラムとして構成されてもよい。

さらに、画像処理装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１、１ａ、１ｂ 画像処理装置
１０、１０ａ、１０ｂ 制御部
１１、１１ａ、１１ｂ 第１演算部
１２、１２ａ、１２ｂ 第２演算部
１３ 相関判定部
１４ 特徴量算出部
２０ 記憶部

Claims (7)

1. デュアルグリーン方式信号の画像データから欠落した緑色データを補間する画像処理装置であって、
   赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算部と、
   連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算部と、を備える画像処理装置。
2. 前記第２演算部は、前記第２色比率を前記領域内の複数の赤色画素又は青色画素のデータに乗じて得られる前記緑色の第２推定データと前記緑色の第１推定データとの差分の総和を最小とする、前記複数の赤色画素又は青色画素に共通の前記第２色比率を算出する請求項１に記載の画像処理装置。
3. 前記領域内の赤色画素若しくは青色画素を中心とした水平及び垂直の４方向における緑色データの相関の大きさを判定する相関判定部を備え、
   前記第２演算部は、前記相関判定部による判定結果に基づいて、前記赤色画素若しくは青色画素に隣接する４方向それぞれの緑色画素で算出された前記第１色比率に対して重み付けを行い、当該赤色画素若しくは青色画素の前記第２色比率を算出する請求項１に記載の画像処理装置。
4. 前記相関判定部は、前記緑色データのばらつきが小さいほど相関が大きいと判定し、
   前記第２演算部は、前記相関が大きい方向の前記第１色比率に対する重み付けを大きくする請求項３に記載の画像処理装置。
5. デュアルグリーン方式信号の画像データから欠落した緑色データを補間する装置であって、
   赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算部と、
   連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算部と、
   前記領域内の赤色画素若しくは青色画素を中心とした水平及び垂直の４方向における緑色データの相関の大きさを判定する相関判定部と、
   前記画像データ内の少なくとも一部の特徴量を算出する特徴量算出部と、を備え、
   前記第２演算部は、前記特徴量算出部により算出された特徴量の分布に基づいて、
   前記第２色比率を前記領域内の複数の赤色画素又は青色画素のデータに乗じて得られる前記緑色の第２推定データと前記緑色の第１推定データとの差分の総和を最小とする、前記複数の赤色画素又は青色画素に共通の前記第２色比率を算出するか、
   前記相関判定部による判定結果に基づいて、前記赤色画素若しくは青色画素に隣接する４方向それぞれの緑色画素で算出された前記第１色比率に対して重み付けを行い、当該赤色画素若しくは青色画素の前記第２色比率を算出するか、を選択して演算する画像処理装置。
6. デュアルグリーン方式信号の画像データから欠落した緑色データをコンピュータが補間する画像処理方法であって、
   赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算ステップと、
   連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算ステップと、を含む画像処理方法。
7. デュアルグリーン方式信号の画像データから欠落した緑色データをコンピュータに補間させるための画像処理プログラムであって、
   赤色画素若しくは青色画素において、隣接する緑色画素の実データに基づいて線形補間により求めた緑色の第１推定データと赤色又は青色の実データとの比率、又は緑色画素において、緑色の実データと隣接する赤色画素若しくは青色画素の実データに基づいて線形補間により求めた赤色若しくは青色の第１推定データとの比率として、第１色比率を算出する第１演算ステップと、
   連続した複数の画素からなる領域において、前記第１色比率の分布に関して仮定された条件に基づいて、当該領域内の赤色画素又は青色画素における緑色の第２推定データと赤色若しくは青色の実データとの第２色比率を算出する第２演算ステップと、を実行させるための画像処理プログラム。

Images