JP2014200000A

JP2014200000A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2014200000A
Application number: JP2013074577A
Authority: JP
Inventors: 奥村　明弘; Akihiro Okumura; 明弘奥村; 一郎藤沢; Ichiro Fujisawa; 勝俊安藤; Katsutoshi Ando; 隆史土屋; Takashi Tsuchiya
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-03-29
Filing date: 2013-03-29
Publication date: 2014-10-23
Also published as: US20140293083A1; CN104079899B; US9256923B2; CN104079899A

Abstract

【課題】画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにする。【解決手段】単板式画素部から出力される第１の画像の指定領域における各色成分の代表値をそれぞれ演算する代表値演算部と、指定領域の特徴量に基づくクラス分類の結果に基づいて、予め記憶されている係数を読み出し、指定領域内の所定の画素に係る予測タップの各色成分の画素値を、複数の色成分のうち、１の色成分の画素値を基準とし、代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、変換値を変数とし、係数を用いた積和演算により、複数の色成分における各色成分の画素のみで構成され、第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する。【選択図】図２

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにする画像処理装置および方法、並びにプログラムに関する。

近年、いわゆる４ｋ２ｋや８ｋ４ｋなど画像の解像度向上に対する要求が高まっているが、例えば、イメージセンサのサイズを拡大するなどしても、光学系の大きさや重量などの点から十分な解像度向上を実現することが困難になってきた。また、イメージセンサの感度の面からもフレームレートを増加させることが困難になってきている。

このため、イメージセンサのセルの面積をこれ以上小さくすることなく、解像度を向上させる技術が求められている。例えば、低解像度の入力画像に対して画像処理を施すことによって、出力画像の画素を生成し、高解像度の出力画像を得る技術などが求められる。

また、イメージセンサを用いた撮像装置には、主に、１つのイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。

３板式カメラでは、例えばＲ信号用、Ｇ信号用およびＢ信号用の３つのイメージセンサを用いて、その３つのイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。

単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、イメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。

色コーディングフィルタを構成する色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられることが多い。ベイヤー配列では、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。

この場合、イメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分およびＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分およびＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分およびＧ成分の画像信号は出力されない。

しかしながら、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。そこで、従来の技術では、ｎ×ｍ（ｎおよびｍは正の整数）個の画素で構成されるイメージセンサの出力から、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号およびｎ×ｍ個のＢ画素の画像信号が、それぞれ補間演算により求められ、後段に出力される。

また、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が演算により求められる技術も提案されている（例えば、特許文献１参照）。

特許文献１の技術によれば、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測する。このようにすることで、単板式カメラのイメージセンサの出力から、３原色信号を生成するとともに、原画像の４倍の画素密度の画像信号を生成することも可能となる。

特開２０００−３４１７０５号公報

ところで、特許文献１の場合、イメージセンサにおけるＲ、Ｇ、Ｂのそれぞれに対応する画素値が、そのまま、予測演算の変数であるタップとして用いられる。

しかしながら、Ｒ、Ｇ、Ｂの各画素値は、もともと相関が小さいため、例えば、注目画素周辺の複数の画素値をタップとして入力しても、予測演算において、十分な効果を発揮することができなかった。

また、単板式カメラのイメージセンサでは、偽色やアーティファクトなどの影響を回避するため、一般的に、イメージセンサに入射する光が光学ローパスフィルタを通過するようになされている。

しかしながら、このように光学ローパスフィルタを通過させることにより、画像がぼけてしまうことがあった。

すなわち、従来の技術では、単板式カメラにおいて、画像のぼけ、偽色やアーティファクトなどの画質劣化を引き起こすことなく、３原色信号を得ることが難しかった。

このような状況の下、低解像度の入力画像から高解像度の出力画像を得る画像処理においても、従来の技術では、ベイヤー変換時に発生する偽色やアーティファクトなどの画質劣化が強調されてしまうため、十分な効果をあげることができなかった。

本技術はこのような状況に鑑みて開示するものであり、画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができるようにするものである。

本技術の一側面は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置である。

前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有する画素部であり、前記代表値演算部は、前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算するようにすることができる。

前記色成分変換部は、前記第２の画像がＧの画素のみで構成される画像である場合、前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、前記第２の画像がＲの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、前記第２の画像がＢの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットするようにすることができる。

前記単板式画素部が、ベイヤー配列の画素を斜めに配置した斜めベイヤー配列の画素部とされるようにすることができる。

前記複数の色成分の画像のうち、第１の色成分のみで構成される第２の画像を生成し、前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得されるようにすることができる。

前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、前記複数の色成分の画像のうち、第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、前記第１の画像における指定領域から前記第２の色成分に対応する画素のみで構成される前記予測タップが取得されるようにすることができる。

前記仮想色差演算部は、前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算するようにすることができる。

前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定するようにすることができる。

前記係数読み出し部により読み出される係数は、予め学習により求められ、前記学習では、前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出されるようにすることができる。

本技術の一側面は、代表値演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算し、クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、色成分変換部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換し、積和演算部が、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算するステップを含む画像処理方法である。

本技術の一側面は、コンピュータを、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置として機能させるプログラムである。

本技術の一側面においては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値がそれぞれ演算され、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域がクラス分類され、前記クラス分類の結果に基づいて、予め記憶されている係数が読み出され、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値が、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換され、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値がそれぞれ演算される。

本技術によれば、画像処理による解像度変換に際して、複数の色成分により構成される色フィルタアレイを有するイメージセンサの出力から、画質を劣化させることなく、各色成分の画像信号を得ることができる。

単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。指定エリアの例を示す図である。補間値ｇの算出方式の例を説明する図である。補間値ｒの算出方式の例を説明する図である。補間値ｂの算出方式の例を説明する図である。図２の画像処理装置に対応する学習装置の構成例を示す図である。図２の画像処理装置、または、図７の学習装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。図２の画像処理装置による画像処理の例を説明するフローチャートである。代表ＲＧＢ演算処理の例を説明するフローチャートである。図７の学習装置による係数学習処理の例を説明するフローチャートである。本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。本技術を適用した画像処理装置のさらに別の実施の形態に係る構成例を示すブロック図である。図１６の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。図１２の画像処理装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。図２の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。ベイヤー配列の画素の配置を説明する図である。斜めベイヤー配列の画素の配置を説明する図である。図２の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。図１２の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。図１２の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。図１６の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。図１６の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。図１６の画像処理装置において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップを説明する図である。図１６の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。図１６の画像処理装置において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップの例を示す図である。パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１は、単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。

この例では、被写体１１で反射した光が、光学ローパスフィルタ１２を通過してイメージセンサ１３により受光されるようになされている。

単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。

ここでは、イメージセンサ１３においてベイヤー配列の色フィルタアレイが用いられており、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。すなわち、イメージセンサ１３の中の矩形の領域内の４画素は、２つのＧの画素と、それぞれ１つのＲの画素およびＢの画素により構成されることになる。

単板式カメラでは、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。このため、イメージセンサ１３から出力される画素値に基づいて、各画素毎にＲ成分，Ｇ成分およびＢ成分の画素値を補間演算などにより求める必要がある。

また、イメージセンサ１３においては、偽色やアーティファクトなどの影響を回避するため、イメージセンサに入射する光が光学ローパスフィルタ１２を通過するようになされている。しかしながら、このように光学ローパスフィルタ１２を通過させることにより、画像がぼけてしまうことがあった。

そこで、本技術では、イメージセンサ１３から出力される画素値に基づいて、あたかも枠（図中の点線の矩形）１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置した場合に得られる画素値を求めることができるようにする。

図２は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置１００は、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測するようになされている。

画像処理装置１００に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、図１のイメージセンサ１３から出力される信号に対応する画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

図２の画像処理装置１００は、代表ＲＧＢ演算部１０１、並びに、それぞれ、Ｒ、Ｇ、Ｂの各色に対応した、各クラスタップ選択部、各予測タップ選択部、各色変換部、各クラス分類部、各係数メモリ、および各積和演算部により構成されている。

代表ＲＧＢ演算部１０１は、後述するクラスタップまたは予測タップを取得するための画像の中の領域（指定エリアと称することにする）における、Ｒ、Ｇ、Ｂの各色成分の画素値の基準となる代表値として、それぞれＤｒ、Ｄｂ、およびＤｇを演算する。

例えば、図３の太線の枠で示されるように、指定エリアが設定されるものとする。図３では、図中の円のそれぞれが、入力画像の画素を表しており、中央のハッチングされた円で示される画素が、クラスタップまたは予測タップの中心画素とされる。なお、各円内に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。

指定エリアは、中心画素を中心としてクラスタップまたは予測タップを含む領域として任意に設定され得るが、クラスタップまたは予測タップを大幅に超える領域とすると、画像の領域に応じた最適な処理を施すことが困難になる。このため、指定エリアは、クラスタップまたは予測タップと同じ領域とされることが望ましい。

なお、以後の説明においては、演算により算出される平均値、補間値、代表値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値Ｇ、入力値Ｒ、および入力値Ｂと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのＲの色フィルタが配置された画素から直接得られる画素値を入力値Ｒとし、ベイヤー配列のイメージセンサのＧの色フィルタが配置された画素から直接得られる画素値を入力値Ｇとし、ベイヤー配列のイメージセンサのＢの色フィルタが配置された画素から直接得られる画素値を入力値Ｂとする。

この例では、図中の太線で囲まれた領域であって、中心画素を中心とした２５（＝５×５）画素により構成される領域が指定エリアとされている。

代表ＲＧＢ演算部１０１は、最初に、Ｇ成分の代表値Ｄｇを算出する。

このとき、代表ＲＧＢ演算部１０１は、図４に示されるように、指定エリア内のＲ成分の画素、または、Ｂ成分の画素を中心画素とし、中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。これにより、入力画像ではＧ成分を有していなかったＲ成分の画素とＢ成分の画素が、補間されたＧ成分（補間値ｇ）を有することになる。

そして、代表ＲＧＢ演算部１０１は、指定エリア内の全てのＧの画素（この例では１２個）の入力値Ｇと補間値ｇとの平均値を代表値Ｄｇとして算出する。

次に、代表ＲＧＢ演算部１０１は、Ｒ成分の代表値Ｄｒを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＲ成分の値である補間値ｒを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図５に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。

そして、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。

さらに、代表ＲＧＢ演算部１０１は、Ｂ成分の代表値Ｄｂを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＢ成分の値である補間値ｂを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図６に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。

そして、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。

図２に戻って、Ｇクラスタップ選択部１０２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｇクラスタップ選択部１０２−１により選択されたＧクラスタップは、Ｇ変換部１０５−１１に供給される。Ｇ変換部１０５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。

Ｇ変換処理は、例えば、次のようにして行われる。Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１）乃至式（３）により演算される。

・・・（１）

・・・（２）

・・・（３）

このようなＧ変換処理が施されることにより、Ｇクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＲの画素およびＢの画素のそれぞれの画素値が、Ｇの画素の画素値を基準としてオフセットされることになり、Ｇクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図２に戻って、Ｇ変換部１０５−１１から出力されるＧクラスタップは、Ｇクラス分類部１０６−１に供給される。なお、Ｇ変換部１０５−１１から出力されるＧクラスタップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｇクラス分類部１０６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｇ係数メモリ１０７−１に出力される。

Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１０８−１に供給する。なお、Ｇ係数メモリ１０７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｇ予測タップ選択部１０３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｇ予測タップ選択部１０３−１により選択されたＧ予測タップは、Ｇ変換部１０５−１２に供給される。Ｇ変換部１０５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。

Ｇ変換部１０５−１２によるＧ変換処理は、Ｇ変換部１０５−１１によるものと同様である。すなわち、上述した式（１）乃至式（３）により、Ｇ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｇ変換部１０５−１２から出力されるＧ予測タップは、Ｇ積和演算部１０８−１に供給される。なお、Ｇ変換部１０５−１２から出力されるＧ予測タップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｇ積和演算部１０８−１は、予め設定された線形一次式において、Ｇ変換部１０５−１２から出力されるＧ予測タップを変数として代入し、Ｇ係数メモリ１０７−１から供給された係数を用いて予測値の演算を行う。すなわち、Ｇ積和演算部１０８−１は、出力画像となるＧ成分の画像（Ｇ出力画像と称する）における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。

ここで、出力画像の注目画素の画素値の予測演算について説明する。

いま、例えば、ベイヤー配列の色フィルタアレイを有するイメージセンサから出力される画像データを第１の画像データとし、図１の枠１４に配置されたＧ成分のイメージセンサから出力される画像データを第２の画像データとする。そして、第１の画像データの画素値から第２の画像データの画素値を所定の予測演算により求めることを考える。

所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像データ（以下、適宜、第２の画像の画素という）の画素の画素値yは、次の線形１次式によって求められることになる。

・・・（４）

但し、式（４）において、x_nは、第２の画像の画素yについての予測タップを構成する、ｎ番目の第１の画像データの画素（以下、適宜、第１の画像の画素という）の画素値を表し、w_nは、ｎ番目の第１の画像の画素（の画素値）と乗算されるn番目のタップ係数を表す。なお、式（４）では、予測タップが、Ｎ個の第１の画像の画素x₁，x₂，・・・，x_Nで構成されるものとしてある。

ここで、第２の画像の画素の画素値yは、式（４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第ｋサンプルの第２の画像の画素の画素値の真値をy_kと表すとともに、式（４）によって得られるその真値y_kの予測値をy_k’と表すと、その予測誤差e_kは、次式で表される。

・・・（５）

いま、式（５）の予測値y_k’は、式（４）にしたがって求められるため、式（５）のy_k’を、式（４）にしたがって置き換えると、次式が得られる。

・・・（６）

但し、式（６）において、x_n,kは、第kサンプルの第２の画像の画素についての予測タップを構成するｎ番目の第１の画像の画素を表す。

式（６）（または式（５））の予測誤差e_kを０とするタップ係数w_nが、第２の画像の画素を予測するのに最適なものとなるが、すべての第２の画像の画素について、そのようなタップ係数w_nを求めることは、一般には困難である。

そこで、タップ係数w_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数w_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（７）

但し、式（７）において、Ｋは、第２の画像の画素y_kと、その第２の画像の画素y_kについての予測タップを構成する第１の画像の画素x_1,k，x_2,k，・・・，x_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（７）の自乗誤差の総和Ｅの最小値（極小値）は、式（８）に示すように、総和Ｅをタップ係数w_nで偏微分したものを０とするw_nによって与えられる。

・・・（８）

そこで、上述の式（６）をタップ係数w_nで偏微分すると、次式が得られる。

・・・（９）

式（８）と（９）から、次式が得られる。

・・・（１０）

式（１０）のe_kに、式（６）を代入することにより、式（１０）は、式（１１）に示す正規方程式で表すことができる。

・・・（１１）

式（１１）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数w_nについて解くことができる。

式（１１）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）w_nを、クラスごとに求めることができる。例えば、このようにして求められたタップ係数w_nが、Ｇ係数メモリ１０７−１にＧ係数として記憶されている。なお、係数を学習によって予め求める方式の詳細については後述する。

例えば、式（４）の画素x₁，x₂，・・・，x_Nに、Ｇ変換部１０５−１２の処理を経たＧ予測タップを代入し、式（４）におけるタップ係数w_nが、Ｇ係数メモリ１０７−１から供給され、Ｇ積和演算部１０８−１で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。

Ｒクラスタップ選択部１０２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｒクラスタップ選択部１０２−２により選択されたＲクラスタップは、Ｒ変換部１０５−２１に供給される。Ｒ変換部１０５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換処理は、例えば、次のようにして行われる。Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１２）乃至式（１４）により演算される。

・・・（１２）

・・・（１３）

・・・（１４）

このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＢの画素のそれぞれの画素値が、Ｒの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図２に戻って、Ｒ変換部１０５−２１から出力されるＲクラスタップは、Ｒクラス分類部１０６−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲクラスタップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｒクラス分類部１０６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１０７−２に出力される。

Ｒ係数メモリ１０７−２は、Ｒクラス分類部１０６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１０８−２に供給する。なお、Ｒ係数メモリ１０７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｒ予測タップ選択部１０３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップを入力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｒ予測タップ選択部１０３−２により選択されたＲ予測タップは、Ｒ変換部１０５−２２に供給される。Ｒ変換部１０５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換部１０５−２２によるＲ変換処理は、Ｒ変換部１０５−２１によるものと同様である。すなわち、上述した式（１２）乃至式（１４）により、Ｒ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｒ変換部１０５−２２から出力されるＲ予測タップは、Ｒ積和演算部１０８−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲ予測タップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｒ積和演算部１０８−２は、予め設定された線形一次式において、Ｒ変換部１０５−２２から出力されるＲ予測タップを変数として代入し、Ｒ係数メモリ１０７−２から供給された係数を用いて予測値の演算を行う。すなわち、Ｒ積和演算部１０８−２は、出力画像となるＲ成分の画像（Ｒ出力画像と称する）における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。

例えば、式（４）の画素x₁，x₂，・・・，x_Nに、Ｒ変換部１０５−２２の処理を経たＲ予測タップを代入し、式（４）におけるタップ係数w_nが、Ｒ係数メモリ１０７−２から供給され、Ｒ積和演算部１０８−２で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。

Ｂクラスタップ選択部１０２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｂクラスタップ選択部１０２−３により選択されたＢクラスタップは、Ｂ変換部１０５−３１に供給される。Ｂ変換部１０５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換処理は、例えば、次のようにして行われる。Ｂクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１５）乃至式（１７）により演算される。

・・・（１５）

・・・（１６）

・・・（１７）

このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＲの画素のそれぞれの画素値が、Ｂの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図２に戻って、Ｂ変換部１０５−３１から出力されるＢクラスタップは、Ｂクラス分類部１０６−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢクラスタップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｂクラス分類部１０６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１０７−３に出力される。

Ｂ係数メモリ１０７−３は、Ｂクラス分類部１０６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１０８−３に供給する。なお、Ｂ係数メモリ１０７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｂ予測タップ選択部１０３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップを入力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｂ予測タップ選択部１０３−３により選択されたＢ予測タップは、Ｂ変換部１０５−３２に供給される。Ｂ変換部１０５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換部１０５−３２によるＢ変換処理は、Ｂ変換部１０５−３１によるものと同様である。すなわち、上述した式（１５）乃至式（１７）により、Ｂ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｂ変換部１０５−３２から出力されるＢ予測タップは、Ｂ積和演算部１０８−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢ予測タップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｂ積和演算部１０８−３は、予め設定された線形一次式において、Ｂ変換部１０５−３２から出力されるＢ予測タップを変数として代入し、Ｂ係数メモリ１０７−３から供給された係数を用いて予測値の演算を行う。すなわち、Ｂ積和演算部１０８−３は、出力画像となるＢ成分の画像（Ｂ出力画像と称する）における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。

例えば、式（４）の画素x₁，x₂，・・・，x_Nに、Ｂ変換部１０５−３２の処理を経たＢ予測タップを代入し、式（４）におけるタップ係数w_nが、Ｂ係数メモリ１０７−３から供給され、Ｂ積和演算部１０８−３で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。

次に、Ｇ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、およびＢ係数メモリ１０７−３に記憶される係数の学習について説明する。

図７は、図２の画像処理装置１００に対応する学習装置の構成例を示すブロック図である。

図７に示される学習装置２００は、注目画素選択部２０１、生徒画像生成部２０２、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、予測タップ選択部２０５、色変換部２０６−１、色変換部２０６−２、クラス分類部２０７、正規方程式加算部２０８、および係数データ生成部２０９を備えている。

学習装置２００において係数の学習を行う場合、例えば、図１の枠４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像を教師画像として用意する。

生徒画像生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。

注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、および、予測タップ選択部２０５に供給されるようになされている。

代表ＲＧＢ演算部２０３は、生徒画像の中の指定エリア内の画素について、図２の代表ＲＧＢ演算部１０１の場合と同様に、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂを算出する。なお、指定エリアは、注目画素選択部２０１により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。

クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。

予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。

色変換部２０６−１は、クラスタップ選択部２０４により取得されたクラスタップに所定の変換処理を施す。ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。

色変換部２０６−１の処理を経たクラスタップは、クラス分類部２０７に供給される。

色変換部２０６−２は、予測タップ選択部２０５により取得された予測タップに所定の変換処理を施す。ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。

色変換部２０６−２の処理を経た予測タップは、正規方程式加算部２０８に供給される。

クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。

正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成する。このとき、色変換部の処理を経たクラスタップが式（４）の画素x₁，x₂，・・・，x_Nとして用いられる。

注目画素選択部２０１が新たな注目画素を選択すると、上述した場合と同様にして新たに線形１次式が生成されることになる。正規方程式加算部２０８は、このように生成される線形１次式をクラスコード毎に加算し、式（１１）の正規方程式を生成する。

係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数w_nについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数w_nを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。

このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図２のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶されることになる。

このようにして、係数の学習が行われる。

図８は、図２の画像処理装置１００、または、図７の学習装置２００において取得されるクラスタップまたは予測タップの構造の例を示す図である。ここで、クラスタップは、上述したＧクラスタップ、Ｒクラスタップ、およびＢクラスタップを総称しており、予測タップは、上述したＧ予測タップ、Ｒ予測タップ、およびＢ予測タップを総称している。

図８の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図８Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図８Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図８Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図８Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。

図９は、図２の画像処理装置１００による画像処理の例を説明するフローチャートである。

ステップＳ２１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ２１において、画像が入力されたと判定された場合、処理は、ステップＳ２２に進む。

なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

ステップＳ２２において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。

ステップＳ２３において、代表ＲＧＢ演算部１０１は、図１０を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。

ステップＳ２４において、Ｇクラスタップ選択部１０２−１、Ｒクラスタップ選択部１０２−２、または、Ｂクラスタップ選択部１０２−３は、それぞれＧクラスタップ、Ｒクラスタップ、または、Ｂクラスタップを取得する。

なお、Ｇ出力画像を生成する場合は、Ｇクラスタップが取得され、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。これ以降は、説明を簡単にするため、Ｇ出力画像を生成する場合について説明する。

ステップＳ２５において色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１１がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。

ステップＳ２６においてクラス分類が行われる。例えば、Ｇ出力画像を生成する場合、Ｇクラス分類部１０６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。

ステップＳ２７において、予測タップが取得される。例えば、Ｇ出力画像を生成する場合、Ｇ予測タップ選択部１０３−１がＧ予測タップを取得する。

ステップＳ２８において、色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１２がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。

ステップＳ２９において、係数が読み出される。例えば、Ｇ出力画像を生成する場合、Ｇ係数メモリ１０７−１から、ステップＳ２６の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。

ステップＳ３０において、注目画素値が予測される。例えば、Ｇ出力画像を生成する場合、式（４）の画素x₁，x₂，・・・，x_Nに、ステップＳ２８の処理で色変換されたＧ予測タップを代入し、式（４）におけるタップ係数w_nとして、ステップＳ２９の処理で読み出された係数が供給され、Ｇ積和演算部１０８−１が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。

ステップＳ３１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。

ステップＳ３１において、次の注目画素がないと判定された場合、処理は終了する。

このようにして、画像生成処理が実行される。

次に、図１０のフローチャートを参照して、図９のステップＳ２３の代表ＲＧＢ演算処理の詳細な例について説明する。

ステップＳ４１において、代表ＲＧＢ演算部１０１は、入力画像の中の指定エリアにおいて、Ｒ成分の画素とＢ成分の画素の補間値ｇを算出する。このとき、例えば、図４に示されるように、指定エリア内の中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。

ステップＳ４２において、代表ＲＧＢ演算部１０１は、代表値Ｄｇを算出する。このとき、指定エリア内の全てのＧの画素の入力値ＧとステップＳ４１で算出された補間値ｇとの平均値が代表値Ｄｇとして算出される。

ステップＳ４３において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｒを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図５に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。

ステップＳ４４において、代表ＲＧＢ演算部１０１は、代表値Ｄｒを算出する。このとき、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。

ステップＳ４５において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｂを算出する。例えば、図４の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図６に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。

ステップＳ４６において、代表ＲＧＢ演算部１０１は、代表値Ｄｂを算出する。このとき、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。

このようにして、代表ＲＧＢ演算処理が実行される。

次に、図１１のフローチャートを参照して、図７の学習装置２００による係数学習処理の例について説明する。

ステップＳ６１において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ６１において、教師画像が入力されたと判定された場合、処理は、ステップＳ６２に進む。

なお、上述したように、教師画像は、例えば、図１の枠１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像とされる。

ステップＳ６２において、生徒画像生成部２０２は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。

ステップＳ６３において、注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択（設定）する。これにより、生徒画像の中の中心画素が定まることになる。

ステップＳ６４において、代表ＲＧＢ演算部２０３は、図１０のフローチャートを参照して上述した代表ＲＧＢ演算処理を実行する。これにより、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂが算出される。

ステップＳ６５において、クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。

ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。

ステップＳ６６において、色変換部２０６−１は、ステップＳ６５の処理で取得されたクラスタップに所定の変換処理を施す。

ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。

ステップＳ６７において、クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。

ステップＳ６８において、予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。

ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。

ステップＳ６９において、色変換部２０６−２は、ステップＳ６８の処理で取得された予測タップに所定の変換処理を施す。

ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。

ステップＳ７０において、正規方程式加算部２０８は、正規方程式の足し込みを行う。

上述したように、正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成し、色変換部の処理を経たクラスタップが式（４）の画素x₁，x₂，・・・，x_Nとして用いられる。そして、正規方程式加算部２０８は、このようにして生成した線形１次式を、ステップＳ６７の処理で生成されたクラスコード毎に足し込んで、式（１１）の正規方程式を生成する。

ステップＳ７１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ６３に戻り、それ以降の処理が繰り返し実行される。

一方、ステップＳ７１において、次の注目画素がないと判定された場合、処理は、ステップＳ７２に進む。

ステップＳ７２において、係数データ生成部２０９は、係数を算出する。

このとき、上述したように、係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数w_nについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数w_nを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。

このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図２のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶され、図９のステップＳ２９の処理で読み出されることになる。

このようにして、係数学習処理が実行される。

ところで、図２を参照して上述した実施の形態では、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像が同時に生成され得るものとされていた。しかしながら、ベイヤー配列においては、単位面積あたりのＧの画素数が多いため、予測精度が高い。また、カラーフィルタの特性上、Ｇの方がＲまたはＢと比較してＳＮ比が良好となる。このため、例えば、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようにしてもよい。このようにすることで、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。

図１２は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。

図１２における代表ＲＧＢ演算部１５１は、図２の代表ＲＧＢ演算部１０１と同様に構成されるものなので詳細な説明は省略する。

また、図１２において、Ｇ出力画像の生成に係る機能ブロックである、Ｇクラスタップ選択部１５２−１、Ｇ変換部１５５−１１、Ｇクラス分類部１５６−１、Ｇ係数メモリ１５７−１、Ｇ予測タップ選択部１５３−１、Ｇ変換部１５５−１２、および、Ｇ積和演算部１５８−１は、それぞれ図２のＧクラスタップ選択部１０２−１、Ｇ変換部１０５−１１、Ｇクラス分類部１０６−１、Ｇ係数メモリ１０７−１、Ｇ予測タップ選択部１０３−１、Ｇ変換部１０５−１２、および、Ｇ積和演算部１０８−１と同様に構成されるものなので詳細な説明は省略する。

図１２の構成の場合、図２の場合とは異なり、Ｇ積和演算部１０８−１から出力されるデータが遅延部１６１−１を介して、Ｒクラスタップ選択部１５２−２およびＲ予測タップ選択部１５３−２、並びに、Ｂクラスタップ選択部１５２−３およびＢ予測タップ選択部１５３−３に供給されるようになされている。また、図１２の構成の場合、図２の場合とは異なり、代表ＲＧＢ演算部１５１から出力されるデータが、遅延部１６１−２を介して、Ｒ変換部１５５−２１およびＲ変換部１５５−２２、並びに、Ｂ変換部１５５−３１およびＢ変換部１５５−３２に供給されるようになされている。

図１２の構成の場合、Ｒクラスタップ選択部１５２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップをＧ出力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｒクラスタップ選択部１５２−２により選択されたＲクラスタップは、Ｒ変換部１５５−２１に供給される。Ｒ変換部１５５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。

ここでのＲ変換処理は、例えば、次のようにして行われる。

図２の場合とは異なり、図１２の場合、Ｒクラスタップ選択部１５２−２によりＧ出力画像からＲクラスタップが選択される。従って、いまの場合、Ｒクラスタップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。

Ｒ変換部１５５−２１は、Ｒクラスタップを構成する各画素値に式（１８）の演算を施して変換値Ｇｐ´を算出する。

・・・（１８）

このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＲの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

Ｒ変換部１５５−２１から出力されるＲクラスタップは、Ｒクラス分類部１５６−２に供給される。なお、Ｒ変換部１５５−２１から出力されるＲクラスタップは、上述した式（１８）により演算された変換値Ｇｐ´により構成されることになる。

Ｒクラス分類部１５６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１５７−２に出力される。

Ｒ係数メモリ１５７−２は、Ｒクラス分類部１５６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１５８−２に供給する。なお、Ｒ係数メモリ１５７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図１２の構成の画像処理装置１５０を用いる場合、Ｒ係数メモリ１５７−２に記憶される係数の学習の際にも、やはり、Ｇ出力画像を教師画像としてＲ出力画像を生成するための学習が行われるものとする。

Ｒ予測タップ選択部１５３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップをＧ出力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図２の場合とは異なり、図１２の場合、Ｒ予測タップ選択部１５３−２によりＧ出力画像からＲ予測タップが選択される。従って、いまの場合、Ｒ予測タップは、全てＧ成分の画素により構成されていることになる。

Ｒ予測タップ選択部１５３−２により選択されたＲ予測タップは、Ｒ変換部１５５−２２に供給される。Ｒ変換部１５５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換部１５５−２２によるＲ変換処理は、Ｒ変換部１５５−２１によるものと同様である。すなわち、上述した式（１８）により、変換値Ｇｐ´が演算される。

Ｒ変換部１５５−２２から出力されるＲ予測タップは、Ｒ積和演算部１５８−２に供給される。なお、Ｒ変換部１５５−２１から出力されるＲ予測タップは、上述した式（１８）により演算された変換値Ｇｐ´により構成されることになる。

Ｒ積和演算部１５８−２は、図２のＲ積和演算部１０８−２と同様に構成されるものであるが、出力画像となるＲ成分の画像（Ｒ出力画像と称する）における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。

また、図１２の構成の場合、Ｂクラスタップ選択部１５２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップをＧ出力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｂクラスタップ選択部１５２−３により選択されたＢクラスタップは、Ｂ変換部１５５−３１に供給される。Ｂ変換部１５５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。

ここでのＢ変換処理は、例えば、次のようにして行われる。

図２の場合とは異なり、図１２の場合、Ｂクラスタップ選択部１５２−３によりＧ出力画像からＢクラスタップが選択される。従って、いまの場合、Ｂクラスタップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。

Ｂ変換部１５５−３１は、Ｂクラスタップを構成する各画素値に式（１９）の演算を施して変換値Ｇｐ´を算出する。

・・・（１９）

このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＢの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

Ｂ変換部１５５−３１から出力されるＢクラスタップは、Ｂクラス分類部１５６−３に供給される。なお、Ｂ変換部１５５−３１から出力されるＢクラスタップは、上述した式（１９）により演算された変換値Ｇｐ´により構成されることになる。

Ｂクラス分類部１５６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１５７−３に出力される。

Ｂ係数メモリ１５７−３は、Ｂクラス分類部１５６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１５８−３に供給する。なお、Ｂ係数メモリ１５７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図１２の構成の画像処理装置１５０を用いる場合、Ｂ係数メモリ１５７−３に記憶される係数の学習の際にも、やはり、Ｇ出力画像を教師画像としてＢ出力画像を生成するための学習が行われるものとする。

Ｂ予測タップ選択部１５３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップをＧ出力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図２の場合とは異なり、図１２の場合、Ｂ予測タップ選択部１５３−３によりＧ出力画像からＢ予測タップが選択される。従って、いまの場合、Ｂ予測タップは、全てＧ成分の画素により構成されていることになる。

Ｂ予測タップ選択部１５３−３により選択されたＢ予測タップは、Ｂ変換部１５５−３２に供給される。Ｂ変換部１５５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換部１５５−３２によるＢ変換処理は、Ｂ変換部１５５−３１によるものと同様である。すなわち、上述した式（１９）により、変換値Ｇｐ´が演算される。

Ｂ変換部１５５−３２から出力されるＢ予測タップは、Ｂ積和演算部１５８−３に供給される。なお、Ｂ変換部１５５−３１から出力されるＢ予測タップは、上述した式（１９）により演算された変換値Ｇｐ´により構成されることになる。

Ｂ積和演算部１５８−３は、図２のＢ積和演算部１０８−３と同様に構成されるものであるが、出力画像となるＢ成分の画像（Ｂ出力画像と称する）における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。

図１３は、図１２の画像処理装置１５０において取得されるＧクラスタップまたはＧ予測タップの構造の例を示す図である。

図１３の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図１３Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１３Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１３Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１３Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。

図１４は、図１２の画像処理装置１５０において取得されるＲクラスタップまたはＲ予測タップの構造の例を示す図である。同図に示されるように、ＲクラスタップまたはＲ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。

図１４の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図１４Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１４Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１４Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１４Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１５は、図１２の画像処理装置１５０において取得されるＢクラスタップまたはＢ予測タップの構造の例を示す図である。同図に示されるように、ＢクラスタップまたはＢ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。

図１５の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図１５Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１５Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１５Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１５Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１２に示されるように画像処理装置を構成することで、例えば、図２の構成の場合と比較して、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。

図２および図１２を参照して上述した例においては、色変換により画素値を変換値に置き換えてクラス分類、積和演算が行われるものとして説明したが、例えば、画素値を色差に置き換えてクラス分類、積和演算が行われるようにしてもよい。

図１６は、本技術を適用した画像処理装置のさらに別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１８０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。また、生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成する際に、画素値を色差に置き換えてクラス分類、積和演算が行われるようになされている。

図１６における代表ＲＧＢ演算部１８１は、図２の代表ＲＧＢ演算部１０１と同様に構成されるものなので詳細な説明は省略する。

また、図１６において、Ｇ出力画像の生成に係る機能ブロックである、Ｇクラスタップ選択部１８２−１、Ｇ変換部１８５−１１、Ｇクラス分類部１８６−１、Ｇ係数メモリ１８７−１、Ｇ予測タップ選択部１８３−１、Ｇ変換部１８５−１２、および、Ｇ積和演算部１８８−１は、それぞれ図２のＧクラスタップ選択部１０２−１、Ｇ変換部１０５−１１、Ｇクラス分類部１０６−１、Ｇ係数メモリ１０７−１、Ｇ予測タップ選択部１０３−１、Ｇ変換部１０５−１２、および、Ｇ積和演算部１０８−１と同様に構成されるものなので詳細な説明は省略する。

図１６の構成の場合、図２の場合とは異なり、入力画像が遅延部１９１−１を介してＲクラスタップ選択部１８２−２およびＲ予測タップ選択部１８３−２、並びに、Ｂクラスタップ選択部１８２−３およびＢ予測タップ選択部１８３−３に供給されるようになされている。

また、図１６の構成の場合、図２の場合とは異なり、Ｇ積和演算部１０８−１から出力されるデータが、Ｒ変換部１８９−２およびＢ変換部１８９−３に供給されるようになされている。

また、図１６の構成の場合、代表ＲＧＢ演算部１８１から出力されるデータが、遅延部１９１−２を介して、（Ｒ−Ｇ）変換部１８５−２１および（Ｒ−Ｇ）変換部１８５−２２、並びに、（Ｂ−Ｇ）変換部１８５−３１および（Ｂ−Ｇ）変換部１８５−３２に供給されるようになされている。

さらに、図１６の構成を採用する場合、Ｒクラスタップ、Ｂクラスタップ、Ｒ予測タップ、およびＢ予測タップの構造が、図２または図１２の場合とは異なる。なお、図１６の構成を採用する場合においても、ＧクラスタップおよびＧ予測タップの構造は、図１３を参照して上述した場合と同様である。

図１７は、図１６の画像処理装置１８０において取得されるＲクラスタップまたはＲ予測タップの構造の例を示す図である。

図１７の例では、十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図１７Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１７Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１７Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１７Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１７Ａ乃至図１７Ｄに示されるように、ＲクラスタップまたはＲ予測タップを構成する５個の画素は、全てＲ成分の画素とされており、Ｇ成分の画素およびＢ成分の画素は含まれていない。また、図１７Ｂ乃至図１７Ｄにおいては、ＲクラスタップまたはＲ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。

図１８は、図１６の画像処理装置１８０において取得されるＢクラスタップまたはＢ予測タップの構造の例を示す図である。

図１８の例では、十字型の５個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図１８Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１８Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１８Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１８Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１８Ａ乃至図１８Ｄに示されるように、ＢクラスタップまたはＢ予測タップを構成する５個の画素は、全てＢ成分の画素とされており、Ｇ成分の画素およびＲ成分の画素は含まれていない。また、図１８Ａ乃至図１８Ｃにおいては、ＢクラスタップまたはＢ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。

図１６に戻って、Ｒクラスタップ選択部１８２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。

Ｒクラスタップ選択部１５２−２により選択されたＲクラスタップは、（Ｒ−Ｇ）変換部１８５−２１に供給される。（Ｒ−Ｇ）変換部１８５−２１は、Ｒクラスタップを構成する各画素値に（Ｒ−Ｇ）変換処理を施すものとされ、（Ｒ−Ｇ）変換処理により仮想色差が算出される。

すなわち、（Ｒ−Ｇ）変換部１８５−２１は、Ｒクラスタップを構成する各画素値に式（２０）の演算を施して仮想色差ＲＧｃを算出する。

・・・（２０）

なお、式（２０）における補間値ｇは、代表ＲＧＢ演算部１８１から供給される。

Ｒ変換部１８５−２１から出力されるＲクラスタップは、Ｒクラス分類部１８６−２に供給される。なお、Ｒ変換部１８５−２１から出力されるＲクラスタップは、上述した式（２０）により演算された仮想色差ＲＧｃにより構成されることになる。

Ｒクラス分類部１８６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、（Ｒ−Ｇ）係数メモリ１８７−２に出力される。

（Ｒ−Ｇ）係数メモリ１８７−２は、Ｒクラス分類部１８６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出して（Ｒ−Ｇ）積和演算部１８８−２に供給する。なお、（Ｒ−Ｇ）係数メモリ１８７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図１６の構成の画像処理装置１８０を用いる場合、（Ｒ−Ｇ）係数メモリ１８７−２に記憶される係数の学習の際にも、やはり、仮想色差をクラスタップまたは予測タップとしてＲ出力画像を生成するための学習が行われるものとする。

Ｒ予測タップ選択部１８３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップを入力画像から選択して取得する。

Ｒ予測タップ選択部１８３−２により選択されたＲ予測タップは、（Ｒ−Ｇ）変換部１８５−２２に供給される。（Ｒ−Ｇ）変換部１８５−２２は、Ｒ予測タップを構成する各画素値に（Ｒ−Ｇ）変換処理を施すものとされ、（Ｒ−Ｇ）変換処理により仮想色差が算出される。

（Ｒ−Ｇ）変換部１８５−２２による（Ｒ−Ｇ）変換処理は、（Ｒ−Ｇ）変換部１８５−２１によるものと同様である。すなわち、上述した式（２０）により、仮想色差ＲＧｃが演算される。

（Ｒ−Ｇ）変換部１８５−２２から出力されるＲ予測タップは、（Ｒ−Ｇ）積和演算部１８８−２に供給される。なお、（Ｒ−Ｇ）変換部１８５−２１から出力されるＲ予測タップは、上述した式（２０）により演算された仮想色差ＲＧｃにより構成されることになる。

（Ｒ−Ｇ）積和演算部１８８−２は、出力画像となるＲ成分の画像（Ｒ出力画像と称する）における注目画素の（Ｒ−Ｇ）の色差を、Ｒ予測タップに基づいて予測演算する。

Ｒ変換部１８９−２は、（Ｒ−Ｇ）積和演算部１８８−２から出力された注目画素の（Ｒ−Ｇ）の色差の予測値（Ｒ−Ｇ）ｐを、例えば、式（２１）の演算によってＲ成分の画素値の予測値Ｒｐに変換する。

・・・（２１）

Ｂクラスタップ選択部１８２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。

Ｂクラスタップ選択部１５２−３により選択されたＢクラスタップは、（Ｂ−Ｇ）変換部１８５−３１に供給される。（Ｂ−Ｇ）変換部１８５−３１は、Ｂクラスタップを構成する各画素値に（Ｂ−Ｇ）変換処理を施すものとされ、（Ｂ−Ｇ）変換処理により仮想色差が算出される。

すなわち、（Ｂ−Ｇ）変換部１８５−３１は、Ｂクラスタップを構成する各画素値に式（２２）の演算を施して仮想色差ＢＧｃを算出する。

・・・（２２）

なお、式（２２）における補間値ｇは、代表ＲＧＢ演算部１８１から供給される。

（Ｂ−Ｇ）変換部１８５−３１から出力されるＢクラスタップは、Ｂクラス分類部１８６−３に供給される。なお、（Ｂ−Ｇ）変換部１８５−３１から出力されるＢクラスタップは、上述した式（２０）により演算された仮想色差ＢＧｃにより構成されることになる。

Ｂクラス分類部１８６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、（Ｂ−Ｇ）係数メモリ１８７−３に出力される。

（Ｂ−Ｇ）係数メモリ１８７−３は、Ｂクラス分類部１８６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出して（Ｂ−Ｇ）積和演算部１８８−３に供給する。なお、（Ｂ−Ｇ）係数メモリ１８７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図１６の構成の画像処理装置１８０を用いる場合、（Ｂ−Ｇ）係数メモリ１８７−３に記憶される係数の学習の際にも、やはり、仮想色差をクラスタップまたは予測タップとしてＢ出力画像を生成するための学習が行われるものとする。

Ｂ予測タップ選択部１８３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップを入力画像から選択して取得する。

Ｂ予測タップ選択部１８３−３により選択されたＢ予測タップは、（Ｂ−Ｇ）変換部１８５−３２に供給される。（Ｂ−Ｇ）変換部１８５−３２は、Ｂ予測タップを構成する各画素値に（Ｂ−Ｇ）変換処理を施すものとされ、（Ｂ−Ｇ）変換処理により仮想色差が算出される。

（Ｂ−Ｇ）変換部１８５−３２による（Ｂ−Ｇ）変換処理は、（Ｂ−Ｇ）変換部１８５−３１によるものと同様である。すなわち、上述した式（２２）により、仮想色差ＢＧｃが演算される。

（Ｂ−Ｇ）変換部１８５−３２から出力されるＢ予測タップは、（Ｂ−Ｇ）積和演算部１８８−３に供給される。なお、（Ｂ−Ｇ）変換部１８５−３１から出力されるＢ予測タップは、上述した式（２２）により演算された仮想色差ＢＧｃにより構成されることになる。

（Ｂ−Ｇ）積和演算部１８８−３は、出力画像となるＢ成分の画像（Ｂ出力画像と称する）における注目画素の（Ｂ−Ｇ）の色差を、Ｂ予測タップに基づいて予測演算する。

Ｂ変換部１８９−３は、（Ｂ−Ｇ）積和演算部１８８−３から出力された注目画素の（Ｂ−Ｇ）の色差の予測値（Ｂ−Ｇ）ｐを、例えば、式（２３）の演算によってＢ成分の画素値の予測値Ｂｐに変換する。

・・・（２３）

また、仮想色差を算出する際に、各色成分の画素値に、例えば、ＢＴ７０９、ＢＴ６０１などに規定されるマトリックス係数であって、ＲＧＢからＹ、ｐｂ、またはｐｒへの変換を行う際に用いられる係数が乗じられるようにしてもよい。このようにすることで、出力画像においてより良好なＳ／Ｎ比を実現することができる。

以上においては、単板式カメラのイメージセンサから出力される画像信号に対応する画像の画素値に基づいて、同一の解像度のＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）する例について説明した。

しかし、単板式カメラのイメージセンサから出力される画像信号に対応する画像の画素値に基づいて、解像度の異なるＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）することも可能である。例えば、単板式カメラのイメージセンサに配置された画素数を超える画素のＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）し、解像度を変換することもできる。

図１９は、図２を参照して上述した画像処理装置１００において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係を説明する図である。図１９の例では、中心画素を中心とした９（＝３×３）個の画素により、クラスタップまたは予測タップが構成されている。

図１９Ａには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｒ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置とされる。

図１９Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素が配置されている。すなわち、図１９Ａに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。なお、ここでは、Ｇ予測タップ、Ｒ予測タップ、および、Ｂ予測タップが同一の構造であるものとし、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像のそれぞれについて、４通りの画素値が予測（生成）されるものとする。

図１９Ｂには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｇ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置とされる。

図１９Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素が配置されている。すなわち、図１９Ｂに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。なお、ここでは、Ｇ予測タップ、Ｒ予測タップ、および、Ｂ予測タップが同一の構造であるものとし、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像のそれぞれについて、４通りの画素値が予測（生成）されることになる。

同様に、図１９Ｃには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、別のＧ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。また、図１９Ｄには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｂ成分の画素を中心画素とした場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係が示されている。

ところで、近年、単板式カメラのイメージセンサの画素密度を高める工夫が考えられている。例えば、ベイヤー配列のイメージセンサの画素の配置を、斜めに変更することにより、画素密度を高めることができる。

例えば、図２０に示されるようなベイヤー配列の画素の配置を、図２１に示されるように変更する。図２０および図２１においては小さい矩形によりイメージセンサの画素が示されており、それらの矩形の中に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。

イメージセンサの画素を配置する際には、例えば、光の混入などを回避するため、上下左右に隣接する画素間の距離には制約があり、一定の距離より短くすることができない。しかしながら、画素を斜めに配置することにより、上下左右に隣接する画素間の距離を保持したまま、単位面積あたりの画素数を多くすることができる。

例えば、図２０に示されるようなベイヤー配列の画素の配置を図２１に示されるように変更した場合、同一の面積に２倍の画素を配置することが可能となる。

ここで、図２１に示されるような画素の配置を斜めベイヤー配列と称することにする。

図２２は、図２を参照して上述した画像処理装置１００において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置の関係を説明する図である。図２２の例では、中心画素を中心とした９（＝３×３）個の画素により、クラスタップまたは予測タップが構成されている。同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素の位置とされる。

図２２に示されるように、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像の画素は、入力画像におけるＧ成分の画素とＲ成分の画素との間、または、Ｇ成分の画素とＢ成分の画素との間に配置されることになる。従って、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップは、常にＧ成分の画素を中心としたものになり、図２２Ａまたは図２２Ｂに示されるように、クラスタップまたは予測タップが取得されることになる。

なお、ここでは、Ｇ予測タップ、Ｒ予測タップ、および、Ｂ予測タップが同一の構造であるものとし、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像のそれぞれについて、図２２Ａまたは図２２Ｂに示されるように画素値が予測（生成）されるものとする。

また、画像の解像度を変換する場合も、例えば、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようにしてもよい。このようにすることで、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。

図２３は、図１２を参照して上述した画像処理装置１５０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップ若しくはＲ予測タップ、または、Ｂクラスタップ若しくはＢ予測タップの例を示す図である。図２３の例では、中心画素を中心とした９（＝３×３）個の画素により、ＧクラスタップまたはＧ予測タップが構成されるものとされる。上述したように、画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。

なお、図１２を参照して上述した画像処理装置１５０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像の画素の位置の関係は、図１９と同様になる。

従って、図１２を参照して上述した画像処理装置１５０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合、Ｇ予測タップ（またはＧクラスタップ）と、Ｒ予測タップ（またはＲクラスタップ）の構造が異なることになる。また、Ｇ予測タップ（またはＧクラスタップ）と、Ｂ予測タップ（またはＲクラスタップ）の構造が異なることになる。

図２３においては、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像の画素を表している。そして、Ｇ出力画像のうち、点線の円で示されるものがクラスタップまたは予測タップとされ、黒く塗られた点線の円がクラスタップまたは予測タップの中心画素を表している。

図２３Ａには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｒ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。

図２３Ｂには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｇ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。

図２３Ｃには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、別のＧ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。

図２３Ｄには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｂ成分の画素を中心画素とする場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。

図２４は、図１２を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップ若しくはＲ予測タップ、または、Ｂクラスタップ若しくはＢ予測タップの例を示す図である。図２４の例では、中心画素を中心とした９（＝３×３）個の画素により、ＧクラスタップまたはＧ予測タップが構成されるものとされる。上述したように、画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。

なお、図１２を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のクラスタップまたは予測タップと、Ｇ出力画像の画素の位置の関係は、図２２と同様になる。

従って、図１２を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合、Ｇ予測タップ（またはＧクラスタップ）と、Ｒ予測タップ（またはＲクラスタップ）の構造が異なることになる。また、Ｇ予測タップ（またはＧクラスタップ）と、Ｂ予測タップ（またはＲクラスタップ）の構造が異なることになる。

図２４においては、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像の画素を表している。そして、Ｇ出力画像のうち、点線の円で示されるものがクラスタップまたは予測タップとされ、黒く塗られた点線の円がクラスタップまたは予測タップの中心画素を表している。

図２４Ａには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が図２２Ａに示されるものである場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。

図２４Ｂには、Ｇ出力画像生成時のＧ予測タップ（またはＧクラスタップ）が図２２Ｂに示されるものである場合の、Ｒ予測タップ（若しくはＲクラスタップ）、または、Ｂ予測タップ（若しくはＢクラスタップ）が示されている。

また、画像の解像度を変換する場合も、例えば、画素値を色差に置き換えてクラス分類、積和演算が行われるようにしてもよい。

図２５は、図１６を参照して上述した画像処理装置１８０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係を説明する図である。図２５の例では、中心画素を中心とした９（＝３×３）個の画素により、クラスタップまたは予測タップが構成されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図２５では、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像の画素を表している。

上述したように、画像処理装置１８０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。ただし、ＲクラスタップおよびＲ予測タップ、並びにＢクラスタップおよびＢ予測タップは、入力画像から直接取得される。また、生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成する際に、画素値を色差に置き換えてクラス分類、積和演算が行われるようになされている。

図２５Ａには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｒ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＧ出力画像の画素の位置とされる。また、同図には参考のため、Ｇ出力画像の全ての画素の位置が小さい白い丸によって表されている。

図２５Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｇ出力画像の画素が配置されている。すなわち、図２５Ａに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

図２５Ｂには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｇ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＧ出力画像の画素の位置とされる。また、同図には参考のため、Ｇ出力画像の全ての画素の位置が小さい白い丸によって表されている。

図２５Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｇ出力画像の画素が配置されている。すなわち、図２５Ｂに示される９個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

同様に、図２５Ｃには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、別のＧ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。また、図２５Ｄには、単板式カメラのイメージセンサにおけるベイヤー配列の画素のうち、Ｂ成分の画素を中心画素とした場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係が示されている。

図２６は、図１６を参照して上述した画像処理装置１８０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップまたはＲ予測タップと、Ｒ出力画像の画素の位置の関係を説明する図である。図２６の例では、十字型の５個の画素により、クラスタップまたは予測タップが構成されている。

また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図２６Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｒ出力画像の全ての画素の位置が小さい白い丸によって表されている。

図２６Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２６Ａに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

図２６Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｒ出力画像の全ての画素の位置が小さい白い丸によって表されている。

図２６Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２６Ｂに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

同様に、図２６Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図であり、図２６Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図２６Ａ乃至図２６Ｄに示されるように、ＲクラスタップまたはＲ予測タップを構成する５個の画素は、全てＲ成分の画素とされており、Ｇ成分の画素およびＢ成分の画素は含まれていない。また、図２６Ｂ乃至図２６Ｄにおいては、ＲクラスタップまたはＲ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。

図２７は、図１６を参照して上述した画像処理装置１８０において、ベイヤー配列の画素により構成される画像の解像度を変換する場合のＢクラスタップまたはＢ予測タップと、Ｂ出力画像の画素の位置の関係を説明する図である。図２７の例では、十字型の５個の画素により、クラスタップまたは予測タップが構成されている。

図２７Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

同図においては、ハッチングされた円内にＲが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＢ出力画像の画素の位置とされる。また、同図には参考のため、Ｂ出力画像の全ての画素の位置が小さい白い丸によって表されている。

図２７Ａに示されるように、中心画素であるＲ成分の画素の周囲の４つの位置に、Ｂ出力画像の画素が配置されている。すなわち、図２７Ａに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

図２７Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

同図においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＢ出力画像の画素の位置とされる。また、同図には参考のため、Ｂ出力画像の全ての画素の位置が小さい白い丸によって表されている。

図２７Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｂ出力画像の画素が配置されている。すなわち、図２７Ｂに示される５個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

同様に、図２７Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図であり、図２７Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図２７Ａ乃至図２７Ｄに示されるように、ＢクラスタップまたはＢ予測タップを構成する５個の画素は、全てＢ成分の画素とされており、Ｇ成分の画素およびＲ成分の画素は含まれていない。また、図２７Ａ乃至図２７Ｃにおいては、ＢクラスタップまたはＢ予測タップの中心となる画素が、図中ハッチングされた円で示される本来の中心画素に隣接する位置の画素とされている。

図２８は、図１６を参照して上述した画像処理装置１８０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＲクラスタップまたはＲ予測タップの例を示す図である。上述したように、画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。ただし、ＲクラスタップおよびＲ予測タップ、並びにＢクラスタップおよびＢ予測タップは、入力画像から直接取得される。また、生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成する際に、画素値を色差に置き換えてクラス分類、積和演算が行われるようになされている。

なお、図１６を参照して上述した画像処理装置１５０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＧクラスタップまたはＧ予測タップと、Ｇ出力画像の画素の位置の関係は、図２２と同様になる。

図２８では、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像、Ｒ出力画像、またはＢ出力画像の画素を表している。

図２８においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｒ出力画像の全ての画素の位置が小さい白い丸によって表されている。ここでは、右または左に傾いた斜めの長方形状の６個の画素により、ＲクラスタップまたはＲ予測タップが構成されている。

図２８Ａには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ａに示されるものである場合の、Ｒ予測タップまたはＲクラスタップが示されている。

図２８Ｂには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ｂに示されるものである場合の、Ｒ予測タップまたはＲクラスタップが示されている。

図２８Ａおよび図２８Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２８Ａおよび図２８Ｂに示される６個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

図２９は、図１６を参照して上述した画像処理装置１８０において、斜めベイヤー配列の画素により構成される画像の解像度を変換する場合のＢクラスタップまたはＢ予測タップの例を示す図である。
図２９では、中にＲ，Ｇ，Ｂの文字が記された円により、入力画像の画素が示されており、Ｒ，Ｇ，Ｂの文字が記された円の周囲の４つの白い丸がＧ出力画像、Ｒ出力画像、またはＢ出力画像の画素を表している。

図２９においては、ハッチングされた円内にＧが記された画素が中心画素とされ、小さい黒い丸がこれから生成されるＲ出力画像の画素の位置とされる。また、同図には参考のため、Ｂ出力画像の全ての画素の位置が小さい白い丸によって表されている。ここでは、左または右に傾いた斜めの長方形状の６個の画素により、ＢクラスタップまたはＢ予測タップが構成されている。

図２９Ａには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ａに示されるものである場合の、Ｂ予測タップまたはＢクラスタップが示されている。

図２９Ｂには、Ｇ予測タップ（またはＧクラスタップ）が図２２Ｂに示されるものである場合の、Ｂ予測タップまたはＢクラスタップが示されている。

図２９Ａまたは図２９Ｂに示されるように、中心画素であるＧ成分の画素の周囲の４つの位置に、Ｒ出力画像の画素が配置されている。すなわち、図２９Ａまたは図２９Ｂに示される６個の予測タップに基づいて、４通りの画素値が予測（生成）されることになる。

このように、本技術によれば、単板式カメラのイメージセンサから出力される画像信号に対応する画像の画素値に基づいて、解像度の異なるＧ出力画像、Ｒ出力画像、およびＢ出力画像の画素値をそれぞれ生成（予測）することもできる。また、この際、例えば、ベイヤー配列のイメージセンサの画素の配置を、斜めに変更することにより、画素密度を高めるようにした、斜めベイヤー配列のイメージセンサから出力される画像信号に対応する画像の解像度を変換することもできる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図３０において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図３０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部と
を備える画像処理装置。
（２）
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有する画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
（１）に記載の画像処理装置。
（３）
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
前記第２の画像がＲの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
前記第２の画像がＢの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
（２）に記載の画像処理装置。
（４）
前記単板式画素部が、ベイヤー配列の画素を斜めに配置した斜めベイヤー配列の画素部とされる
（３）に記載の画像処理装置。
（５）
前記複数の色成分の画像のうち、第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、
前記複数の色成分の画像のうち、第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、
前記第１の画像における指定領域から前記第２の色成分に対応する画素のみで構成される前記予測タップが取得される
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記仮想色差演算部は、
前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算する
（６）に記載の画像処理装置。
（８）
前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、
前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
代表値演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算し、
クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、
係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
色成分変換部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換し、
積和演算部が、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算するステップ
を含む画像処理方法。
（１１）
コンピュータを、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置として機能させる
プログラム。

１００画像処理装置，１０１代表ＲＧＢ演算部，１０２−１Ｇクラスタップ選択部，１０２−２，Ｒクラスタップ選択部，１０２−３Ｂクラスタップ選択部，１０３−１Ｇ予測タップ選択部，１０３−２，Ｒ予測タップ選択部，１０３−３Ｂ予測タップ選択部，１０５−１１Ｇ変換部，１０５−１２Ｇ変換部，１０５−２１Ｒ変換部，１０５−２２Ｒ変換部，１０５−３１Ｂ変換部，１０５−３２Ｂ変換部，１０６−１Ｇクラス分類部，１０６−２Ｒクラス分類部，１０６−３Ｂクラス分類部，１０７−１Ｇ係数メモリ，１０７−２Ｒ係数メモリ，１０７−３Ｂ係数メモリ，１０８−１Ｇ積和演算部，１０８−２Ｒ積和演算部，１０８−３Ｂ積和演算部，１５０画像処理装置，１５１代表ＲＧＢ演算部，１５２−１Ｇクラスタップ選択部，１５２−２，Ｒクラスタップ選択部，１５２−３Ｂクラスタップ選択部，１５３−１Ｇ予測タップ選択部，１５３−２，Ｒ予測タップ選択部，１５３−３Ｂ予測タップ選択部，１５５−１１Ｇ変換部，１５５−１２Ｇ変換部，１５５−２１Ｒ変換部，１５５−２２Ｒ変換部，１５５−３１Ｂ変換部，１５５−３２Ｂ変換部，１５６−１Ｇクラス分類部，１５６−２Ｒクラス分類部，１５６−３Ｂクラス分類部，１５７−１Ｇ係数メモリ，１５７−２Ｒ係数メモリ，１５７−３Ｂ係数メモリ，１５８−１Ｇ積和演算部，１５８−２Ｒ積和演算部，１５８−３Ｂ積和演算部，１８５−２１（Ｒ−Ｇ）変換部，１８５−２２（Ｒ−Ｇ）変換部，１８５−３１（Ｂ−Ｇ）変換部，１８５−３２（Ｂ−Ｇ）変換部，１８８−２（Ｒ−Ｇ）積和演算部，１８８−３（Ｂ−Ｇ）積和演算部

Claims

複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部と
を備える画像処理装置。
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有する画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
請求項１に記載の画像処理装置。
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
前記第２の画像がＲの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
前記第２の画像がＢの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
請求項２に記載の画像処理装置。
前記単板式画素部が、ベイヤー配列の画素を斜めに配置した斜めベイヤー配列の画素部とされる
請求項３に記載の画像処理装置。
前記複数の色成分の画像のうち、第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
請求項１に記載の画像処理装置。
前記予測タップの仮想色差を演算する仮想色差演算部をさらに備え、
前記複数の色成分の画像のうち、第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、
前記積和演算部は、前記予測タップの仮想色差を変数とし、前記読み出された係数を用いた積和演算により、前記第２の画像の仮想色差を演算し、
前記第１の画像における指定領域から前記第２の色成分に対応する画素のみで構成される前記予測タップが取得される
請求項１に記載の画像処理装置。
前記仮想色差演算部は、
前記予測タップを構成する画素の値に、色空間の規格により規定されるマトリックス係数を乗じて前記仮想色差を演算する
請求項６に記載の画像処理装置。
前記指定領域内の所定の画素に係る画素値をクラスタップとし、前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する他の色成分変換部をさらに備え、
前記クラス分類部は、前記他の色成分変換部により変換された前記変換値に基づいて、前記クラスタップの特徴量を決定する
請求項１に記載の画像処理装置。
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
請求項１に記載の画像処理装置。
代表値演算部が、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算し、
クラス分類部が、前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類し、
係数読み出し部が、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
色成分変換部が、前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換し、
積和演算部が、前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算するステップ
を含む画像処理方法。
コンピュータを、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記指定領域の画素値から得られる特徴量に基づいて、前記指定領域をクラス分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記指定領域内の所定の画素に係る画素値を予測タップとし、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる変換値に変換する色成分変換部と、
前記変換値を変数とし、前記読み出された係数を用いた積和演算により、前記複数の色成分における各色成分の画素のみで構成され、前記第１の画像とは解像度の異なる画像である第２の画像の画素値をそれぞれ演算する積和演算部とを備える画像処理装置として機能させる
プログラム。