JPH10200902A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】三板方式に近似する高精細な画像を得ることが
でき、かつ、任意の色フィルタ配置の入力画像を処理す
ることができる画像処理装置を提供する。 【解決手段】情報が欠落する画像信号から指定された画
素を包含する所定サイズの近傍画像を抽出する近傍画像
抽出部（１０８、１０９）と、抽出された近傍画像と同
一サイズの複数の幾何学的パターンに基づくテンプレー
ト群を保持するテンプレート保持部（１１１）と、抽出
された近傍画像に含まれる複数の分光特性の情報と、保
持された複数のテンプレート群との間でマッチングを行
なって近傍画像に最も類似する最適テンプレートを選択
し、この最適テンプレートに基づき近傍画像を近似する
近傍近似画像を生成する近傍近似画像生成部（１１２、
１１４）と、生成された近傍近似画像に基づき指定され
た画素における欠落する情報を復元する復元部（１１
５、１１６）とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各画素位置に応じ
て少なくとも１つ以上の分光特性に関する情報が欠落す
る画像信号から元の画像信号を回復処理する画像処理装
置に関する。

【０００２】

【従来の技術】電子撮像系を用いた電子スチルカメラな
どの撮像装置において、色フィルタをモザイク状に受光
面に配した撮像素子を用いる単板式や、一枚はＧ（緑）
フィルタのみ、もう一枚はＲ（赤）とＢ（青）のモザイ
クフィルタを配した２枚のＣＣＤで撮像を行う二板式の
撮像系は、分光系と三枚の撮像素子を用いる三板方式の
撮像系と比較して安価に構成できるという利点をもつ。
ただし、これらの方式では画像の各画素位置において色
情報が少なくとも一つ以上欠落するため、画像処理装置
において、ある画素の欠落している色情報を他の画素の
欠落していない色情報を用いて推定する補間処理が必要
となる。

【０００３】しかし、単板方式や二板方式においては色
フィルタ配置に特有のモアレが発生し、またこのモアレ
の生じ方は色フィルタごとに異なる。このため、単純な
線形補間処理ではエッジ部の凹凸、角度変化、色付きな
どのアーティファクトが生じる。従来、これらのアーテ
ィファクトを軽減するために様々な補間手法が提案され
てきたが、なかでも効果のある補間手法として、 １．エッジ部の凹凸アーティファクトを軽減するため
に、局所的な画像の幾何学的構造を推定し、その構造に
応じた補間を行う方法と、 ２．エッジ部の色付きを軽減するために、簡単な補間法
で広帯域の輝度信号を生成できる色フィルタ配置を持っ
た撮像素子を用い、色信号は輝度信号と同様に変化する
ものと仮定して色信号の補間を行う方法と、の二つが上
げられる。

【０００４】以下に、１については特開昭６１−５０１
４２３号公報、２については特開平４−５０２０９６号
公報に開示された手法を例に取りそれぞれの手法を説明
する。

【０００５】特開昭６１−５０１４２３号公報は、Ｒ、
Ｇ、Ｂ色フィルタ配列の撮像素子において、輝度成分に
対応するＧ信号の補間法を開示している。この方法で
は、Ｇ信号が欠落している画素の３×３近傍において、
その近傍があらかじめ用意した縁、筋、隅の幾何学的特
徴のうち、どれに最もよく当てはまるかを判定し、この
判定結果に基づいてそれぞれの幾何学的特徴に特化した
補間方法を選択している。

【０００６】また、特開平４−５０２０９６号公報は、
輝度成分が高サンプリング密度で、他の色成分が相対的
に低サンプリング密度で得られている画像信号におい
て、低サンプリング密度の色成分に対する補間法を開示
している。この方法では、低サンプリング密度の色成分
は高サンプリング密度の輝度成分を用いて算出される。
このため、低サンプリング密度の信号Ｓ２のサンプリン
グ位置には必ず高サンプリング密度の信号Ｓ１の標本値
が存在すると仮定する。そして、信号Ｓ２のサンプリン
グ位置における信号Ｓ１の標本値の差を所定の閾値と比
較し、閾値を下回る場合は信号Ｓ２の標本値のみを用い
た単純な線形補間を行う。

【０００７】閾値を上回る場合は信号Ｓ２のサンプリン
グ位置間にエッジがあると判断し、信号Ｓ１と信号Ｓ２
がＳ２＝ａＳ１＋ｂなる線形な関係にあると仮定して係
数ａ及びｂを信号Ｓ２のサンプリング位置におけるＳ１
とＳ２の値から求める。

【０００８】

【発明が解決しようとする課題】上記した従来技術では
いずれも、相対的に高サンプリング密度で与えられる輝
度成分においても欠落する情報が存在するので、三板方
式で得られる輝度成分と比較して劣化した情報しか得ら
れない。また、この輝度成分に基づき算出される他の色
成分も、三板方式で得られる色成分に比較して劣化した
情報しか得られない。

【０００９】また、上記した従来技術はいずれも任意の
色フィルタ配置の入力画像を処理する方法に関しては記
載していない。輝度成分の補間においては、あらかじめ
用意された幾何学的特徴とこれに対応する補間方法を用
意する必要があり、色フィルタ配置が変わると設計を変
更する必要がある。

【００１０】また、上記した従来技術はいずれも、ノイ
ズの影響による誤動作に対応する方法に関しては記載し
ていない。輝度成分および他の色成分を処理する場合、
一回の処理で補間を行うため、パルス性のノイズの影響
を受けやすい。特に輝度成分の処理においては３×３の
局所領域で幾何学的特徴を分類するため、ノイズによる
誤分類が発生しやすい。

【００１１】また、上記した従来技術はいずれも、撮像
装置の光学系により帯域制限される情報の回復に関して
は記載していない。すなわち、輝度成分および他の色の
色成分は帯域制限された範囲内で処理されており、この
帯域制限によって失われた情報を回復することができな
い。

【００１２】本発明は上記した各課題に着目してなされ
たものであり、その第１の目的とするところは、三板方
式に近似する高精細な画像を得ることができ、かつ、任
意の色フィルタ配置の入力画像を処理することができる
画像処理装置を提供することにある。

【００１３】また、本発明の第２の目的は、第１の目的
に加えて、画像信号のノイズによる劣化を低減できる画
像処理装置を提供することにある。

【００１４】また、本発明の第３の目的は、第１または
第２の目的に加えて、帯域制限によって失われた情報を
回復することができる画像処理装置を提供することにあ
る。

【００１５】

【課題を解決するための手段】上記の第１の目的を達成
するために、第１の発明は、画素の位置に応じて少なく
とも１つ以上の分光特性に関する情報が欠落する画像信
号から元の画像信号を回復処理する画像処理装置におい
て、前記情報が欠落する画像信号から、指定された画素
を包含する所定サイズの近傍画像を抽出する近傍画像抽
出手段と、この近傍画像抽出手段によって抽出された近
傍画像と同一サイズの複数の幾何学的パターンに基づく
テンプレート群を保持するテンプレート保持手段と、前
記近傍画像抽出手段によって抽出された近傍画像に含ま
れる複数の分光特性の情報と、上記テンプレート保持手
段によって保持された複数のテンプレート群との間でマ
ッチングを行なって近傍画像に最も類似する最適テンプ
レートを選択し、この最適テンプレートに基づき近傍画
像を近似する近傍近似画像を生成する近傍近似画像生成
手段と、この近傍近似画像生成手段によって生成された
近傍近似画像に基づき、前記指定された画素における欠
落する情報を復元する復元手段とを具備する。

【００１６】また、第２の発明は、第１の発明におい
て、前記復元手段は、指定された画素を包含する複数の
前記近傍画像から得られる複数の前記近傍近似画像の、
前記少なくとも１つ以上の分光特性に関する情報を重み
つき平均することで復元処理を行なう。

【００１７】また、第３の発明は、第１または第２の発
明において、前記テンプレート保持手段は、複数の幾何
学的パターンに基づく第１のテンプレート群と、この第
１のテンプレート群を撮像装置の光学系の帯域制限特性
に応じて劣化させた第２のテンプレート群とを有し、前
記近傍近似画像生成手段は、前記第２のテンプレート群
から前記近傍画像に類似する最適テンプレートを選択
し、これに対応する前記第１のテンプレート群に基づき
帯域制限前の近傍近似画像を生成する。

【００１８】すなわち、第１の発明は、画素の位置に応
じて少なくとも１つ以上の分光特性に関する情報が欠落
する画像信号から元の画像信号を回復処理するにあたっ
て、まず、前記情報が欠落する画像信号から指定された
画素を包含する所定サイズの近傍画像を抽出する。そし
て、抽出された近傍画像と同一サイズの複数の幾何学的
パターンに基づくテンプレート群をテンプレート保持手
段に保持しておく。次に、前記抽出された近傍画像に含
まれる複数の分光特性の情報と、上記テンプレート保持
手段によって保持された複数のテンプレート群との間で
マッチングを行なって近傍画像に最も類似する最適テン
プレートを選択し、この最適テンプレートに基づき近傍
画像を近似する近傍近似画像を生成する。そして、生成
された近傍近似画像に基づき、前記指定された画素にお
ける欠落する情報を復元するようにする。

【００１９】また、第２の発明は、第１の発明におい
て、復元処理を行なう場合は、指定された画素を包含す
る複数の前記近傍画像から得られる複数の前記近傍近似
画像の、前記少なくとも１つ以上の分光特性に関する情
報を重みつき平均するようにする。

【００２０】また、第３の発明は、第１または第２の発
明において、近傍近似画像を生成する場合は、複数の幾
何学的パターンに基づく第１のテンプレート群と、この
第１のテンプレート群を撮像装置の光学系の帯域制限特
性に応じて劣化させた第２のテンプレート群とを用意
し、前記第２のテンプレート群から前記近傍画像に類似
する最適テンプレートを選択し、これに対応する前記第
１のテンプレート群に基づき帯域制限前の近傍近似画像
を生成するようにする。

【００２１】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。まず、本発明の第１実施形態
を説明する。

【００２２】図１は本実施形態が適用される画像処理シ
ステムの構成を示す図であり、図２は図１の最小自乗近
似部１１２の構成及びその周辺回路を示す図であり、図
３は色成分マスクに関する説明図である。

【００２３】本実施形態の画像処理システムは図１に示
すように、電子カメラ１００とこの電子カメラ１００に
接続された画像処理装置１０１とから構成される。電子
カメラ１００は光学系としてのレンズ１０２、及び光学
的に帯域制限を行うための水晶フィルタ１０３、撮像素
子としての単板ＲＧＢランダム配列ＣＣＤ１０４を具備
し、単板ＲＧＢランダム配列ＣＣＤ１０４の出力はＡ／
Ｄ変換部１０５を経て画像バッファ１０７に接続されて
いる。電子カメラ１００にはさらに単板ＲＧＢランダム
配列ＣＣＤ１０４のＲＧＢフィルタ配列を記憶したフィ
ルタ配置情報保持ＲＯＭ１０６が設けられている。

【００２４】画像処理装置１０１は上記した画像バッフ
ァ１０７の出力に接続された入力画像バッファ１０８
と、近傍読み出し部１０９と、劣化前テンプレート保持
ＲＯＭ１１１ａ及び劣化後テンプレート保持ＲＯＭ１１
１ｂを具備するテンプレート保持ＲＯＭ１１１と、最小
自乗近似部１１２と、帯域・色情報復元部１１４と、三
板画像加算部１１５と、出力画像バッファ１１６とを具
備している。

【００２５】図２は最小自乗近似部１１２の構成とその
周辺回路を示す図である。図２に示すように、最小自乗
近似部１１２は色成分マスク生成部１１２ａと、最小自
乗係数算出部１１２ｂと、近似誤差累積部１１２ｃと、
近似係数保持バッファ１１２ｄと、テンプレート決定部
１１２ｅとを具備する。最小自乗近似部１１２はさらに
近傍読み出し部１０９に接続された近傍画像入力端子１
１２ｒと、フィルタ配置情報保持ＲＯＭ１０６に接続さ
れたフィルタ情報入力端子１１２ｐと、劣化後テンプレ
ート保持ＲＯＭ１１１ｂに接続されたテンプレート入力
端子１１２ｑと、帯域・色情報復元部１１４に接続され
た近似パラメータ出力端子１１２ｓとを有する。

【００２６】図１に示すように、電子カメラ１００は２
本の線で画像処理装置１０１に接続されているが、この
うち画像バッファ１０７の出力は入力画像バッファ１０
８、近傍読み出し部１０９を経て最小自乗近似部１１２
に接続されている。

【００２７】一方、フィルタ配置情報保持ＲＯＭ１０６
は図２に示すようにフィルタ情報入力端子１１２ｐ経由
で最小自乗近似部１１２内の色成分マスク生成部１１２
ａに接続されている。最小自乗係数算出部１１２ｂはこ
の色成分マスク生成部１１２ａのほかに、近傍画像入力
端子１１２ｒを介して近傍読み出し部１０９、及びテン
プレート入力端子１１２ｑを介して劣化後テンプレート
保持ＲＯＭ１１１ｂからの入力を受けるべく接続され、
保持している情報を近似係数保持バッファ１１２ｄ及び
近似誤差累積部１１２ｃに出力すべく接続されている。

【００２８】近似係数保持バッファ１１２ｄ及び近似誤
差累積部１１２ｃはともにテンプレート決定部１１２ｅ
に接続され、テンプレート決定部１１２ｅは決定した内
容を近似パラメータ出力端子１１２ｓを通じて帯域・色
情報復元部１１４に出力すべく接続されている。

【００２９】図１に示すように帯域・色情報復元部１１
４は最小自乗近似部１１２のほかに劣化前テンプレート
保持ＲＯＭ１１１ａからの入力を受けるべく接続され、
復元結果を三板画像加算部１１５経由で出力画像バッフ
ァ１１６に出力すべく接続されている。劣化前テンプレ
ート保持ＲＯＭ１１１ａと劣化後テンプレート保持ＲＯ
Ｍ１１１ｂはともにテンプレート保持ＲＯＭ１１１の一
部である。

【００３０】テンプレート保持ＲＯＭ１１１の劣化前テ
ンプレート保持ＲＯＭ１１１ａには、所定のＮ種の幾何
学的特徴をもつ所定サイズのグレースケール画像である
テンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、劣化
後テンプレート保持ＲＯＭ１１１ｂには劣化前テンプレ
ート保持ＲＯＭ１１１ａの各テンプレートが電子カメラ
１００の光学系による帯域制限を受けた画像であるテン
プレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。

【００３１】出力画像バッファ１１６は、入力画像の各
画素における色の欠落と帯域劣化が補正された３色カラ
ー画像を保持するが、この画像処理装置１０１では各画
素につき処理中に複数の補正値が計算される。それらを
補正値の信頼性に基づいて重みづけ計算するために、出
力画像バッファ１１６にはさらに各画素位置における画
素値の信頼性を表す信頼値が保持されている。

【００３２】以下に上記した構成を有する画像処理シス
テムの作用を説明する。

【００３３】まず電子カメラ１００を用いて被写体が撮
像され、レンズ１０２、水晶フィルタ１０３を通じて帯
域制限を受けた光学像が単板ＲＧＢランダム配列ＣＣＤ
１０４上に形成される。単板ＲＧＢランダム配列２次元
ＣＣＤ１０４の出力はＡ／Ｄ変換部１０５を経て画像バ
ッファ１０７にそのまま転送され、ＣＣＤ上での各画素
位置につき単板ＲＧＢランダム配列ＣＣＤ１０４におけ
る色フィルタ配置により定まる一つの色成分しか持たな
い画像が保存される。

【００３４】撮像が終了すると、画像バッファ１０７内
の画像は入力画像バッファ１０８に転送される。同時
に、電子カメラ１００の撮像素子の色フィルタ配置を保
持するフィルタ配置情報保持ＲＯＭ１０６からも色フィ
ルタ配置情報が色成分マスク生成部１１２ａに転送され
る。さらに、出力画像バッファ１１６のカラー画像の画
素値、及び信頼値はすべて０に初期化される。

【００３５】次に、近傍読み出し部１０９によりＣＣＤ
上での各画素位置（ｘ，ｙ）を中心とする所定の矩形領
域（例えば５×５画素）に対応する画像信号が入力画像
バッファ１０８内より近傍画像ｈ(p,q) として読み出さ
れ、最小自乗近似部１１２の最小自乗係数算出部１１２
ｂに転送される。以下の説明において、変数の組（ｐ，
ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相
対座標であり、例えば近傍の大きさが５×５であれば
［−２，−１，０，１，２］×［−２，−１，０，１，
２］の範囲を動く。また、場合によって色Ｒ，Ｇ，Ｂを
それぞれ整数値ｃ＝０，１，２に対応させて説明する。

【００３６】近傍読み出し部１０９から最小自乗係数算
出部１１２ｂに近傍画像が転送されると、色成分マスク
生成部１１２ａは当該近傍画像の各色成分について、当
該色成分の存在する画素位置で１、その他の位置で０を
とるマスクmask(p,q,c) （ｃ＝０，１，２）を計算す
る。図３は近傍画像におけるある特定の色フィルタ配置
に対応する色成分マスクを例示したものである。

【００３７】一方、最小自乗係数算出部１１２ｂは、劣
化後テンプレート保持ＲＯＭ１１１ｂのテンプレートΦ
ｉ(p,q) （ｉ＝０，１，２，〜，Ｎ−１）からテンプレ
ートΦ0(p,q)を読み出し、転送された近傍画像ｈから色
成分マスクにより生成された各色成分マスクにより生成
された各色成分ｃ（ｃ＝０，１，２）との近似誤差ｅ０
（１）、ｅ０（２）、ｅ０（３）を各々最小化する近似
係数α０（ｃ），β０（ｃ）を各色成分毎に計算する。
最小自乗係数算出部１１２ｂは、計算された近似係数α
０（ｃ）、β０（ｃ）を近傍画像ｈと共に近似係数保持
バッファ１１２ｄに送り、最小化された近似誤差ｅ０
（１）、ｅ０（２）、ｅ０（３）とそれに対応するテン
プレートのインデックスｉ＝０を近似誤差累積部１１２
ｃに送る。

【００３８】近似誤差累積部１１２ｃは、転送された近
似誤差ｅ０（１）、ｅ０（２）、ｅ０（３）から累積加
算誤差ｅ０＝ｅ０（１）＋ｅ０（２）＋ｅ０（３）を計
算し、テンプレート決定部１１２ｅに転送する。

【００３９】テンプレート決定部１１２ｅは、累積加算
誤差ｅを最小とするテンプレートを決定するもので、各
テンプレートに対応して得られる累積加算誤差ｅの値を
比較して、その最小値を取るテンプレートを選択する。
テンプレート決定部１１２ｅには、テンプレートのイン
デックスと、そのテンプレートに対応する累積加算誤差
ｅ、更に、このテンプレートに対応する近似係数α
（ｃ）、β（ｃ）を記憶する記憶部が設けられている。
そこで、テンプレートΦ0(p,q)のインデックスｉ＝０
と、そのテンプレートに対応する累積加算誤差ｅ０とが
テンプレート決定部１１２ｅに転送されると、これらを
記憶部に保持する。また、このとき、近似係数保持バッ
ファ１１２ｄから近似係数α０（ｃ）、β０（ｃ）が転
送され、この記憶部に保持される。

【００４０】次に、最小自乗係数算出部１１２ｂが２番
目のテンプレートΦ1(p,q)を読み出し、上記のステップ
を繰り返すことにより、テンプレートΦ1(p,q)のインデ
ックスｉ＝１と、このテンプレートに対応する累積加算
誤差ｅ１が求められる。テンプレート決定部１１２ｅ
は、累積加算誤差ｅ０と累積加算誤差ｅ１とを比較し、
誤差が小さい方の値を対応するインデックスと共に記憶
部に残す。また、近似係数についても、小さい累積加算
誤差を発生されるテンプレートの近似係数が記憶部に保
持される。以降は、３番目のテンプレートΦ2(p,q)、４
番目のテンプレートΦ3(p,q)、…と順番に読み出して
は、累積加算誤差ｅ２、ｅ３…を求め、逐次記憶部に記
憶された累積加算誤差の値と比較しては、より小さい方
を記憶部にインデックス及び近似係数と共に残していく
ことにより、最終的に累積加算誤差を最小とするテンプ
レートを決定する。

【００４１】最小自乗係数算出部１１２ｂで全てのテン
プレートが処理された後、テンプレート決定部１１２ｅ
は誤差の最小値 min＿e を与えたインデックス min＿i
と近似係数 min＿α(c) 、 min＿β(c) 、および誤差の
最小値 min＿e に反比例する近似評価値Ａを帯域・色情
報復元部１１４に転送する。ここで、例えば近似評価値
ＡはＡ＝１／（１＋ min＿e ）により計算する。

【００４２】帯域・色情報復元部１１４は、転送された
インデックス min＿i に対応する劣化前のテンプレート
Ψ min＿i(p,q)を劣化前テンプレート保持ＲＯＭ１１１
ａから読み出し、転送された係数 min＿α(c) 、min ＿
β(c) を用いて式 ｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β
(c) （ｃ＝0,1,2 ） を計算することにより、近傍画像ｈ(p,q) の色成分の欠
落を補正した近傍補正近似画像ｆ(p,q,c) を得る。劣化
前のテンプレートを用いていることにより、ｆ(p,q,c)
においてはさらに電子カメラ１００の光学系による帯域
の劣化も補正されている。帯域・色情報復元部１１４
は、算出したｆ(p,q,c) を近似評価値Ａとともに三板画
像加算部１１５に転送する。

【００４３】処理の途中では、出力画像バッファ１１６
の各画素位置にはこれまでの処理で得られた複数の補正
画素値の平均値と信頼値が保持されるようになってい
る。三板画像加算部１１５は、出力画像バッファ１１６
から当該近傍画像に対する領域の各画素の補正画素値と
信頼値をそれぞれ変数Ｓｆ(p,q,c) およびＱ(p,q) に読
み出す。そして、これらと帯域・色情報復元部１１４か
ら転送された近傍補正近似画像ｆ(p,q,c) 及び近似評価
値Ａから、新たな補正画素値Ｓｆ_new (p,q,c) および信
頼値Ｑ_new (p,q) を式 Ｑ_new (p,q) ＝Ｑ(p,q) ＋Ａ、 Ｓｆ_new (p,q,c) ＝（Ｑ(p,q) ・Ｓｆ(p,q,c) ＋Ａ・ｆ
(p,q,c))／Ｑ_new (p,q) （ｃ＝0,1,2 ） により計算し、Ｓｆ_new (p,q,c) 及びＱ_new (p,q) を出
力画像バッファ１１６の当該近傍画像に対応する領域に
書き込む。

【００４４】全ての画素位置に関してこれらの処理が終
了すると、入力画像バッファ１０８の画像の各画素につ
いて、当該画素を含むすべての近傍画像に対して近傍補
正近似画像が計算される。その結果、各画素に関して複
数の補正画素値が得られるが、これらの補正画素値は三
板画像加算部１１５における処理により重み付き平均さ
れて出力画像バッファ１１６に蓄積される。これによっ
て最終的に色成分の欠落と電子カメラ１００の光学系に
よる劣化とが補正された３色カラー画像が得られる。

【００４５】なお、この実施形態の各構成要素は種々の
変形、変更が可能である。例えば、単板ＲＧＢランダム
配列ＣＣＤ１０４は種々の色フィルタ配置のＣＣＤ、あ
るいは一枚はＧ、もう一枚はＲとＢといった二板構成の
ＣＣＤでもよい。

【００４６】また、種々の光学系をもった電子カメラに
対応させるために次のような構成も可能である。電子カ
メラ１００の側ではフィルタ配置情報保持ＲＯＭ１０６
が色フィルタ配置情報以外に、レンズ１０２、水晶フィ
ルタ１０３等の光学系の帯域制限情報をも保持するよう
にし、画像処理装置１０１の側では、劣化前テンプレー
ト保持ＲＯＭ１１１ａ内の各劣化前テンプレートに対
し、種々の光学系の帯域制限による劣化を想定した複数
の劣化後テンプレートを用意する。そして、最小自乗近
似部１１２ではフィルタ配置情報保持ＲＯＭ１０６の光
学系情報に基づいて劣化後テンプレートを一つ選択する
ようにする。

【００４７】同様に、カメラの利用者により設定された
被写体に関する情報を画像処理装置１０１に転送し、最
小自乗近似部１１２がそれに応じてテンプレートのセッ
トを選択するような構成にすることも可能である。三板
画像加算部１１５も、各画素について得られた複数の近
似値を蓄積しておき、それらの値から多数決などで近似
値を決定する等の変更が可能である。

【００４８】また、電子カメラ１００に水晶フィルタ１
０３がなく帯域制限がなされていない場合には、テンプ
レート保持ＲＯＭ１１１が劣化前テンプレート保持ＲＯ
Ｍ１１１ａのみからなり、最小自乗近似部１１２が劣化
前テンプレート保持ＲＯＭ１１１ａに接続される構成に
する。この場合、各部分の作用は、最小自乗近似部１１
２がテンプレートとしてΦｉのかわりにΨｉを用いる点
を除いて同一である。その結果、帯域・色情報復元部１
１４では色成分の欠落は補正されるが帯域の劣化につい
てはなにもされない近傍補正近似画像が得られ、出力画
像バッファ１１６には入力画像バッファ１０８内の画像
の色成分の欠落が補正された３色カラー画像が得られ
る。

【００４９】以下に本発明の第２実施形態を説明する。
図４は本発明の第２実施形態が適用される画像処理シス
テムの構成を示す図であり、図５は図４における最小自
乗近似部１１２の処理の流れを表すフローチャートであ
る。

【００５０】図４において、本画像処理システムは電子
カメラ２００と、この電子カメラ２００に接続された画
像処理装置２０１とから構成される。電子カメラ２００
は、第１実施形態と同様、光学系としてレンズ２０２及
び帯域制限を行うための水晶フィルタ２０３、撮像素子
としての単板ベイヤー配列ＣＣＤ２０４を具備し、単板
ベイヤー配列ＣＣＤ２０４の出力はＡ／Ｄ変換部２０５
を経て画像バッファ２０７に接続されている。電子カメ
ラ２００内の単板ベイヤー配列ＣＣＤ２０４の色フィル
タ配列に関する情報は、後述するようにベイヤー配列の
規則性を利用して画像処理装置２０１内で計算により求
められる。

【００５１】画像処理装置２０１は、入力画像バッファ
２０８と、近傍読み出し部２０９と、平坦度評価部２１
０と、劣化前テンプレート保持ＲＯＭ２１１ａ及び劣化
後テンプレート保持ＲＯＭ２１１ｂを具備するテンプレ
ート保持ＲＯＭ２１１と、最小自乗近似部２１２と、色
情報復元部２１３と、帯域・色情報復元部２１４と、補
間係数計算部２１５と、線形演算部２１６と、出力画像
バッファ２１７とを具備する。

【００５２】電子カメラ２００内の画像バッファ２０７
の出力は、画像処理装置２０１内の入力画像バッファ２
０８、近傍読み出し部２０９を経て平坦度評価部２１０
に接続されている。

【００５３】最小自乗近似部２１２は、平坦度評価部２
１０およびテンプレート保持ＲＯＭ２１１内の劣化後テ
ンプレート保持ＲＯＭ２１１ｂの出力を受けるべく接続
され、かつ処理結果を色情報復元部２１３及び帯域・色
情報復元部２１４に出力すべく接続されている。帯域・
色情報復元部２１４はこの最小自乗近似部２１２のほか
に、テンプレート保持ＲＯＭ２１１内の劣化前テンプレ
ート保持ＲＯＭ２１１ａの出力を受けるべく接続されて
いる。色情報復元部２１３は最小自乗近似部２１２のほ
かに、テンプレート保持ＲＯＭ２１１内の劣化後テンプ
レート保持ＲＯＭ２１１ｂの出力を受けるべく接続され
ている。

【００５４】テンプレート保持ＲＯＭ２１１の劣化前テ
ンプレート保持ＲＯＭ２１１ａには、第１実施形態と同
様に、Ｎ種の幾何学的特徴をもつ所定サイズのグレース
ケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）
が保持され、劣化後テンプレート保持ＲＯＭ２１１ｂに
は劣化前テンプレート保持ＲＯＭ２１１ａの各テンプレ
ートが電子カメラ２００の光学系による帯域制限を受け
た画像であるテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保
持されている。

【００５５】色情報復元部２１３及び帯域・色情報復元
部２１４は共に補間係数計算部２１５に接続されてい
る。線形演算部２１６は補間係数計算部２１５及び平坦
度評価部２１０の出力を受けるべく接続され、かつ復元
結果を出力画像バッファ２１７に出力すべく接続されて
いる。

【００５６】以下に、上記した構成を有する画像処理シ
ステムの作用を説明する。

【００５７】第２実施形態においても第１実施形態と同
様に電子カメラ２００で撮像が行われ、光学系で帯域劣
化を受け、かつ各画素位置につき一つの色成分しか持た
ない画像が画像バッファ２０７に保持される。撮像が終
了すると、画像バッファ２０７内の画像は入力画像バッ
ファ２０８に転送される。第１実施形態と異なり、電子
カメラ２００内の撮像素子の色フィルタ配列は、電子カ
メラ２００から画像処理装置２０１に転送される代わり
にベイヤー配列の規則性を利用して後ほど画像処理装置
２０１内で計算される。

【００５８】次に、入力画像バッファ２０８内の画像の
各画素位置（ｘ，ｙ）につき、以下の処理が行われる。

【００５９】近傍読み出し部２０９により当該画素位置
（ｘ，ｙ）の所定の矩形領域（例えば５×５画素）が近
傍画像ｈ(p,q) として読み出される。

【００６０】以下の説明において、変数の組（ｐ，ｑ）
は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座
標であり、例えば近傍の大きさが５×５であれば［−
２，−１，０，１，２］×［−２，−１，０，１，２］
の範囲を動く、また、場合によって色Ｒ，Ｇ，Ｂをそれ
ぞれ整数値ｃ＝０，１，２に対応させて説明する。

【００６１】読み出された近傍画像は、平坦度評価部２
１０に送られる。平坦度評価部２１０では、各色成分ご
とに画素値が存在する位置に対する画素値の分散を計算
し、全ての色成分に対する分散の和が所定の閾値以上で
あれば、最小自乗近似部２１２に近傍画像を転送する。
また、平坦度評価部２１０は、この評価とは無関係に近
傍画像を線形演算部２１６に転送する。

【００６２】最小自乗係数算出部２１２は、近傍画像が
転送されると図５に示すフローに従って処理を行い、第
１実施形態と同様に、近傍画像を最もよく近似する劣化
後テンプレートのインデックス min＿i と近似係数 min
＿α(c) 、min ＿β(c) （ｃ＝０，１，２）を算出す
る。

【００６３】図５に示すフローチャートの各ステップ
（Ｓ）は以下のような処理を行なう。

【００６４】Ｓ１：当該近傍画像の中心画素の座標
（ｘ，ｙ）を得、この値とベイヤー配列の規則性に基づ
いて、近傍画像内の位置（ｐ，ｑ）に対し色成分ｃの色
フィルタが存在すれば１、存在しなければ０をとる色成
分マスクを表す配列変数mask(p,q,c) を計算する。図５
中、関数rem(a,b)はａをｂで割った余りを返し、関数ab
s(a)はａの絶対値を与える。また、変数Ｎをテンプレー
トの総数に、変数 min＿iとｃ＝０，１，２に対する配
列変数 min＿α(c) 、min ＿β(c) の値を０に初期化す
る。配列変数ｈ(p,q) は近傍画像の画素値で初期化され
る。テンプレート要素のインデックスを表す変数ｉは０
に初期化される。テンプレートの最小当てはめ誤差を表
す変数 min＿e は画像処理装置２０１で扱うことのでき
る最大の数に初期化される。

【００６５】Ｓ２：ｉ番目のテンプレートΦｉ(p,q) を
劣化後テンプレート保持ＲＯＭ２１１ｂから読み出し、
配列変数Φ(p,q) に代入する。色を表す変数ｃと誤差を
表す変数ｅを０に初期化する。

【００６６】Ｓ３：変数ｈ(p,q) 、Φ(p,q) 、mask(p,
q,c) から定義される、色変数ｃ、実数α，βの関数で
ある誤差関数err(c,α, β）を最小化するα，βを求め
る。誤差関数err(c,α, β）は、色成分ｃの存在する位
置において、テンプレート画像Φをゲインαとバイアス
βにより加工した画像αΦ＋βと近傍画像の誤差の尺度
であり、図中において記号

【数１】

【００６７】は近傍画像内におけるａ(p,q) の自乗和を
表す。誤差関数err(c,α, β）を最小化するα，βを求
めることは、近傍画像の各色成分を最もよく近似するよ
うにテンプレートΦのゲインαとバイアスβを調整する
ことに等しい。最小化された誤差関数の値は変数ｅに足
し込まれ、求められたゲインαとバイアスβは配列変数
の色ｃに対応する要素α(c) 、β(c) に代入される。そ
の後、色を表す変数ｃはインクリメントされる。

【００６８】Ｓ４：すべての色成分ＲＧＢに対する処理
Ｓ３が終了したかどうかを色を表すｃが２、つまりＢを
越えたかどうかで判断し、越えた場合はＳ５、越えない
場合は引き続きＳ３に分岐する。

【００６９】Ｓ５：Ｓ５に到達した時点で、変数ｅはｉ
番目の劣化テンプレート要素を近傍画像に当てはめた場
合の誤差を表している。変数 min＿e は、ｉ未満のすべ
ての劣化テンプレート要素に関する当てはめ誤差の最小
値を表している。ｅが min＿e より小さい場合は、Ｓ６
に分岐して当てはめ誤差最小のテンプレートに関する情
報を更新する。大きい場合はＳ７に分岐する。

【００７０】Ｓ６： min＿e をｅに、 min＿i をｉに、
ｃ＝０，１，２に関して min＿α(c) 、 min＿β(c) を
α(c) 、β(c) に更新する。

【００７１】Ｓ７：インデックスｉをインクリメントす
る。

【００７２】Ｓ８：インデックスｉがＮに一致しなけれ
ばＳ２に、一致すればＳ９に分岐する。

【００７３】最小自乗近似部２１２の出力 min＿i 、mi
n ＿α(c) 、 min＿β(c) は色情報復元部２１３及び帯
域・色情報復元部２１４に転送される。色情報復元部２
１３では劣化後テンプレート保持ＲＯＭ２１１ｂから、
帯域・色情報復元部２１４では劣化前テンプレート保持
ＲＯＭ２１１ａからそれぞれインデックス min＿i に対
応するテンプレートΦ min＿i(p,q)、Ψ min＿i(p,q)を
読み出し、近似係数 min＿α(c) 、min ＿β(c) を用い
て式 ｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β
(c) 、 ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β
(c) （ｃ＝0,1,2) を計算し、近傍画像ｈ(p,q) に対して色成分の欠落と帯
域の劣化を補正した近傍補正近似画像ｆ(p,q,c) 、およ
び色成分の欠落のみを補正した近傍補正近似画像ｇ(p,
q,c) を得る。そして、これらを補間係数計算部２１５
に転送する。

【００７４】補間係数計算部２１５では、ｆ(p,q,c) 及
びｇ(p,q,c) から、当該近傍画像内の画素値を用いて劣
化前のカラー画素値を推定するのに適した情報を補間係
数の形で算出する。そのために、近傍補正近似画像ｇ
(p,q,c) を当該近傍における電子カメラ２００の色フィ
ルタ配置に応じてサンプリングした入力画像バッファ２
０８内の画像同様の単板状態の画像ｇ′(p,q) とｆ(p,
q,c) の関係を調べ、ｇ′からｆを線形演算で回復する
のに必要な係数を計算する。ここでは、補間係数計算部
２１５は例として以下の原理に従って係数を計算する。

【００７５】まずｆの色ｃの各画素を自己回帰モデルの
考えに基づいて３色画像ｇの各画素の線形和として

【数２】

【００７６】と近似することを考える。自己回帰モデル
とは、ある画素の画素値が、その画素の周囲の画素値の
重み付き線形和とノイズ項との和で示されるモデルのこ
とである。ここではノイズ項は無視している。この式で
整数変数組（ｕ，ｖ）は変数組（ｐ，ｑ）のとりうる範
囲より狭い範囲Ｄを動く。

【００７７】Ｈ(u,v) は、近傍内の位置（ｕ，ｖ）にお
ける色フィルタの種類をＲ＝０，Ｇ＝１，Ｂ＝２と表す
整数値である。この式は各位置（ｐ，ｑ）のまわりで、
位置（０，０）（中心画素）の回りにおけるものと同じ
配置の色フィルタを通じてサンプリングされたｇの画素
値を使って位置（ｐ，ｑ）におけるｆの値を推定するこ
とを表している。

【００７８】この式による近似の自乗誤差を最小にする
ためにｗ^c _uvの満たすべき式は、（ｕ，ｖ）の動く範囲
Ｄと同じ範囲を動く整数変数組（ｋ，ｌ）に対し

【数３】

【００７９】となる。この式において、左辺及び右辺第
２項は空間的相関情報を表している。右辺及び左辺にお
けるｗ^c _uv以外の量はすべてｆとｇから計算でき、式全
体は行列演算により解くことができる。近傍の中心にお
いては、（ｐ，ｑ）＝（０，０）であり、ｇ′(u,v) ＝
ｇ（u ，v ，Ｈ(u,v))となるので、係数ｗ^c _uvを用いて
近傍画像の劣化前の中心画素のＲＧＢ値を近傍画素内の
画素値だけから求めることができる。

【００８０】この原理に基づいて、補間係数計算部２１
５では、ｆ(p,q,c) 及びｇ(p,q,c)から、すべての色ｃ
＝０，１，２について（２）式に従って補間係数ｗ^c _uv
を計算し、線形演算部２１６に転送する。

【００８１】線形演算部２１６は、平坦度評価部２１０
から最小自乗近似部２１２に画像転送が行われず、従っ
て補間係数計算部２１５からの係数の転送も行われない
場合には、図５のフローのＳ１において変数mask(p,q,
c) を計算した方法と同様の方法で平坦度評価部２１０
からあらかじめ転送されていた近傍画像の各色成分に対
応する位置を求め、それらの位置における平均値を近傍
画像の中心画素における当該色成分の推定値とし、出力
画像バッファ２１６の対応する画素位置に書き込む。

【００８２】一方、補間係数計算部２１５からの係数の
転送が行われた場合には、転送された係数によって近傍
画像内の画素を重みつき加算し、出力画像バッファ２１
７の対応する画素位置に書き込む。

【００８３】これらの処理が入力画像バッファ２０８内
の画像のすべての画素位置につき終了すると、すべての
画素位置について、その近傍の幾何学的特徴に応じて当
該画素における色成分の欠落と帯域劣化を最適に補正す
る補間係数により線形補間が行われたことになり、出力
画像バッファ２１７には電子カメラ２００の光学系によ
る帯域劣化および色成分の欠落が補正された３色カラー
画像が得られる。

【００８４】この構成においても第１実施形態と同様に
種々の変形が可能である。撮像素子は単板ベイヤー配列
ＣＣＤ２０４に限らないことはいうまでもない。補間係
数計算部２１５の計算方式にも種々のものがありうる。
例えば色情報復元部２１３から得られた画像と帯域・色
情報復元部２１４から得られた画像に対する各画像値の
比や近傍画像全体での画素値の自乗和の比を補間係数と
して用いる簡便なものでもよい。

【００８５】又、第２実施形態でも第１実施形態と同様
に各画素位置を包含する複数の近傍に対する補正画像が
得られる。これを有効に活用するために、帯域・色情報
復元部２１４及び色情報復元部２１３の作用を以下のよ
うに変更することもできる。

【００８６】帯域・色情報復元部２１４及び色情報復元
部２１３はそれぞれ内部に近傍画像と同サイズ（例えば
５×５画素）の画像バッファを保持し、これらのバッフ
ァでは入力画像バッファ２０８に電子カメラ２００から
画像が転送された時点で全画素値が０に初期化される。
入力画像バッファ２０８中の画像の画素位置（ｘ，ｙ）
に対する処理の最中には、帯域・色情報復元部２１４内
の画像バッファには、その直前の画素位置、例えば（ｘ
−１，ｙ）に対する処理において帯域・色情報復元部２
１４から補間係数計算部２１５に出力された画像ｆ＿pr
ev(p,q,c) が保持されている。

【００８７】画素位置（ｘ，ｙ）に対する処理において
最小自乗近似部２１２から min＿i、 min＿α(c) 、min
＿β(c) が転送されると、帯域・色情報復元部２１４
は内部の画像バッファからｆ＿prev(p,q,c) を読み出
し、また劣化前テンプレート保持ＲＯＭ２１１ａからイ
ンデックス min＿i に対応するテンプレートΨ min＿i
(p,q)を読み出して、近似係数 min＿α(c) 、min ＿β
(c) を用いて式 ｆ(p,q,c) ＝（ min＿α(c) Ψ min＿i(p,q)＋ min＿β
(c) ＋ｆ＿prev(p+1,q,c))／２（ｐが２未満の時） ｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β
(c) （ｐが２の時） によって近傍画像に対して色成分の欠落と帯域の劣化を
補正した３色画像ｆ(p,q,c) を得、補間係数計算部２１
５に出力する。同時に、ｆ(p,q,c) をｆ＿prev(p,q,c)
として内部バッファに保持する。

【００８８】同様に、入力画像バッファ２０８中の画像
の画素位置（ｘ，ｙ）に対する処理の最中には、色情報
復元部２１３内の画像バッファには、その直前の画素位
置（ｘ−１，ｙ）に対する処理において色情報復元部２
１４から補間係数計算部２１５に出力された画像ｇ＿pr
ev(p,q,c) が保持されている。画素位置（ｘ，ｙ）に対
する処理において最小自乗近似部２１２から min＿i 、
min ＿α(c) 、min ＿β(c) が転送されると、色情報復
元部２１４は内部の画像バッファからｇ＿prev(p,q,c)
を読み出し、また劣化前テンプレート保持ＲＯＭ２１１
ａからインデックスmin＿i に対応するテンプレートΦ
min＿i(p,q)を読み出して、近似係数 min＿α(c) 、 mi
n＿β(c) を用いて式 ｇ(p,q,c) ＝（ min＿α(c) Φ min＿i(p,q)＋ min＿β
(c) ＋ｇ＿prev(p+1,q,c))／２（ｐが２未満の時） ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β
(c) （ｐが２の時） によって近傍画像に対して色成分の欠落を補正した３色
画像ｇ(p,q,c) を得、補間係数計算部２１５に出力す
る。同時に、ｇ(p,q,c) をｇ＿prev(p,q,c) として内部
バッファに保持する。

【００８９】この作用により、帯域・色情報復元部２１
４及び色情報復元部２１３においては各回の処理結果を
前回の処理結果を用いて生成するため処理結果の信頼性
が高まり、補間の精度が向上する。

【００９０】この実施形態では、電子カメラ２００に水
晶フィルタ２０３がなく帯域制限がなされていない場合
にも容易に対応できる。この場合はテンプレート保持Ｒ
ＯＭ２１１が劣化前テンプレート保持ＲＯＭ２１１ａの
みからなるので、最小自乗近似部２１２は劣化前テンプ
レート保持ＲＯＭ２１１ａの出力を受けて、処理結果を
帯域・色情報復元部２１４のみに出力するようにする。
同時に、色情報復元部２１３を取り除いて補間係数算出
部２１５は帯域・色情報復元部２１４のみから信号を受
信する構成にする。この場合、各部分の作用は、最小自
乗近似部２１２ではテンプレートとしてΦｉのかわりに
Ψｉを用いる点を除いて同一である。帯域・色情報復元
部２１４の動作は同じだが、結果として色成分の欠落は
補正されるが帯域の劣化についてはなにもされない近傍
補正近似画像ｆ(p,q,c) が得られる。

【００９１】補間係数算出部２１５では、ｇ(p,q,c) を
ｆ(p,q,c) と同一の画像とし、計算を進める。その結
果、補間係数算出部２１５では単板状態の近傍画像ｈ
(p,q) の中心画素ｈ(0,0) の欠落色成分を補正するのに
適切な補間係数が得られ、その係数を用いて線形演算部
２１６が補間を行うため、出力画像バッファ２１７には
入力画像バッファ２０８内の画像の色成分の欠落が補正
された３色カラー画像が得られる。

【００９２】この変形例において、さらに帯域・色情報
復元部２１４に前述の各画素位置を包含する複数の近傍
に対する補正画像を有効活用する変形例と同一の変形を
行えば、帯域制限がなされていない場合にも帯域・色情
報復元部２１４において各回の処理結果を前回の処理結
果を活用して生成することにより補間の精度を向上する
ことができる。

【００９３】以下に本発明の第３実施形態を説明する。
図６は本発明の第３実施形態が適用される画像処理シス
テムの構成を示す図である。電子カメラ３００は、第２
実施形態と同一の構成である。電子カメラ３００内の単
板ベイヤー配列ＣＣＤ３０４の色フィルタ配列に関する
情報は、第２実施形態と同様に、ベイヤー配列の規則性
を利用して画像処理装置３０１内で計算により求められ
る。

【００９４】画像処理装置３０１は、入力画像バッファ
３０８と、近傍読み出し部３０９と、テンプレート選択
部３１０と、劣化前テンプレート保持ＲＯＭ３１１ａ及
び劣化後テンプレート保持ＲＯＭ３１１ｂを具備するテ
ンプレート保持ＲＯＭ３１１と、最小自乗近似部３１２
と、劣化後テンプレート加工部３１３と、帯域・色情報
復元部３１４と、三板画像加算部３１５ａと、単板画像
加算部３１５ｂと、単板画像バッファ３１６と、出力画
像バッファ３１７と、差分計算部３１８と、差分画像バ
ッファ３１９と、規則性評価部３２０とを具備する。

【００９５】電子カメラ３００内の画像バッファ３０７
の出力は第２実施形態と同様に、画像処理装置３０１内
の入力画像バッファ３０８に接続されるが、入力画像バ
ッファ３０８は近傍読み出し部３０９に加えて差分計算
部３１８にも接続される。

【００９６】近傍読み出し部３０９は入力画像バッファ
３０８のほかに、差分画像バッファ３１９の出力を受け
るべく接続され、かつ読み出した情報を規則性評価部３
２０に出力すべく接続されている。規則性評価部３２０
はテンプレート選択部３１０及び最小自乗近似部３１２
に接続されている。テンプレート選択部３１０は規則性
評価部３２０のほかに、テンプレート保持ＲＯＭ３１１
内の劣化後テンプレート保持ＲＯＭ３１１ｂ及び劣化前
テンプレート保持ＲＯＭ３１１ａの出力を受けるべく接
続され、かつ選択結果を最小自乗近似部３１２、帯域・
色情報復元部３１４及び劣化後テンプレート加工部３１
３に出力すべく接続されている。

【００９７】テンプレート保持ＲＯＭ３１１には、上記
した第１、第２実施形態と同様に、劣化前テンプレート
保持ＲＯＭ３１１ａにＮ種の幾何学的特徴をもつ所定サ
イズのグレースケール画像であるテンプレートΨｉ（ｉ
＝０〜Ｎ−１）が保持され、劣化後テンプレート保持Ｒ
ＯＭ３１１ｂには、劣化前テンプレート保持ＲＯＭ３１
１ａの各テンプレートが電子カメラ３００の光学系によ
る帯域劣化を受けたテンプレートΦｉ（ｉ＝０〜Ｎ−
１）が保持されている。

【００９８】第１、第２実施形態と異なる点は、各テン
プレート要素の持つ幾何学的特徴がその構造的な複雑さ
によって分類され、個々の要素を読み出すのに単一の整
数値ｉではなく二つの数の組（ｓ，ｉ）を必要とする点
である。ｓは構造の複雑さを表し、個々のテンプレート
を平均値に対する大小で２値化した場合の連結成分の数
である。例えば、一つのエッジパターンしか含まないテ
ンプレートに対してはｓ＝２であり、一つの線分パター
ンしか含まないテンプレートではｓ＝３となる。また、
ｉは同じ複雑度ｓを持つテンプレートのクラスの個々の
要素にアクセスするのに用いられる。

【００９９】最小自乗近似部３１２の内部構成及び作用
は第２実施形態におけるものと同一である。最小自乗近
似部３１２は処理結果を帯域・色情報復元部３１４及び
劣化後テンプレート加工部３１３に出力すべく接続され
ている。

【０１００】帯域・色情報復元部３１４は、最小自乗近
似部３１２およびテンプレート選択部３１０の出力を受
けるべく接続され、かつ復元結果を三板画像加算部３１
５ａを経て出力画像バッファ３１７に出力すべく接続さ
れている。

【０１０１】劣化後テンプレート加工部３１３は、最小
自乗近似部３１２およびテンプレート選択部３１０の出
力を受けるべく接続され、かつ処理結果を単板画像加算
部３１５ｂを経て単板画像バッファ３１６に出力すべく
接続されている。単板画像バッファ３１６は差分計算部
３１８に記憶している情報を出力すべく接続され、差分
計算部３１８は差分画像バッファ３１９に処理結果を出
力すべく接続されている。

【０１０２】単板画像バッファ３１６および出力画像バ
ッファ３１７は、入力画像バッファ３０８内の画像と同
じ大きさの三色画像を保持するほか、各画素に付きカウ
ンタを保持する。このカウンタは、それぞれのバッファ
の各画素位置に書き込みが行われた回数を保持するため
に設けられている。

【０１０３】第１実施形態と同様に、それぞれのバッフ
ァの各画素位置で複数の画素値が計算されるため、ここ
では三板画像加算部３１５ａ及び単板画像加算部３１５
ｂでそれらを平均化する処理を行っている。この処理に
書き込み回数が必要になる。

【０１０４】以下に、上記した構成を有する画像処理シ
ステムの作用を説明する。第３実施形態においても、第
１、第２実施形態と同様に、電子カメラ３００で撮像が
行われ、光学系で帯域劣化を受け各画素位置につき一つ
の色成分しか持たない画像が画像バッファ３０７に保持
される。撮像が終了すると、画像バッファ３０７内の画
像は入力画像バッファ３０８に転送され、出力画像バッ
ファ３１７および単板画像バッファ３１６のカラー画像
の画素値、及びカウンタはすべて０に初期化される。

【０１０５】次に、類似の処理を複数回繰り返して補正
を行う。１回目の処理は入力画像バッファ３０８内の画
像に対して行われる。この処理の結果、入力画像は複雑
度の低いテンプレートを用いて近似され、同時に色成分
の欠落と帯域劣化が補正された画像が出力画像バッファ
３１７に生成される。同じく、複雑度の低いテンプレー
トを用いて近似された入力画像の色成分の欠落を補正
し、ついでベイヤー配列でサンプリングした画像が単板
画像バッファ３１６に生成される。

【０１０６】単板画像バッファ３１６内の画像は入力画
像を複雑度の低いテンプレートで近似したものなので入
力画像の大まかな幾何学的特徴しか反映しておらず、近
似誤差が生じる。この誤差が差分画像バッファ３１９に
誤差画像として保持される。

【０１０７】二回目以降は、差分画像バッファ３１９内
の誤差画像に対して処理が行われる。誤差画像はそれま
での繰り返しに比してより複雑度の高いテンプレートを
用いて近似、劣化補正され、処理結果が出力画像バッフ
ァ３１７に加算される。差分画像には、それまで（一回
目を含む）の段階的な近似をすべて加算した近似画像と
入力画像の誤差画像が出力され、再びこの誤差画像に対
する処理が行われる。以下にこの処理の詳細を説明す
る。

【０１０８】まず、１回目は、入力画像バッファ３０８
内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が
行われる。

【０１０９】近傍読み出し部３０９により当該画素位置
（ｘ，ｙ）の所定の矩形領域（例えば５×５画素）が近
傍画像h(p,q) として読み出される。以下の説明におい
て、変数の組（ｐ，ｑ）は、この近傍画像の中心画素
（ｘ，ｙ）に対する相対座標であり、例えば近傍の大き
さが５×５であれば［−２，−１，０，１，２］×［−
２，−１，０，１，２］の範囲を動く。また、場合によ
って色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対
応させて説明する。

【０１１０】読み出された近傍画像は規則性評価部３２
０に送られる。この一回目の処理では、近傍画像はなに
も処理を受けずに最小自乗近似部３１２に転送される。
同時にテンプレート選択部３１０に対してはテンプレー
ト保持ＲＯＭ３１１に保持されたテンプレートのとりう
る複雑度のうち最も近い値が出力される。

【０１１１】テンプレート選択部３１０は、規則性評価
部３２０から出力される値を複雑度をあらわす内部変数
ｓにセットし、内部変数テンプレート保持ＲＯＭ３１１
と他の構成要素の仲立ちを行う。テンプレート選択部３
１０に接続している構成要素からｉ番目のテンプレート
の読み出し要求がある場合には、テンプレート選択部３
１０は内部変数ｓを用いて読み出し信号（ｓ，ｉ）を生
成し、要求が最小自乗近似部３１２及び劣化後テンプレ
ート加工部３１３からの場合は劣化後テンプレート保持
ＲＯＭ３１１ｂに、また帯域・色情報復元部３１４から
の場合には劣化前テンプレート保持ＲＯＭ３１１ａにア
クセスする。

【０１１２】最小自乗近似部３１２は、近傍画像ｈ(p,
q) が転送されると図５に示すフローに従って処理を行
い、第１、第２実施形態と同様に、近傍画像を最もよく
近似する劣化後テンプレートのインデックス min＿i と
近似係数 min＿α(c) 、min ＿β(c) とを算出し、劣化
後テンプレート加工部３１３及び帯域・色情報復元部３
１４に転送する。

【０１１３】帯域・色情報復元部３１４における処理
は、テンプレート保持ＲＯＭ３１１へのアクセスがテン
プレート選択部３１０を経て行われること以外は第２実
施形態と同一である。帯域・色情報復元部３１４は近傍
補正近似画像ｆ(p,q,c) を三板画像加算部３１５ａに転
送する。

【０１１４】劣化後テンプレート加工部３１３は、まず
第２実施形態中の色情報復元部２１３と同様に、近傍画
像ｈ(p,q) に対して色成分の欠落のみを補正した３色画
像ｇ(p,q,c) を計算する。次に、最終的にｇ(p,q,c) を
当該近傍における電子カメラ３００の色フィルタ配置に
応じてサンプリングした画像ｇ′(p,q) を生成し、単板
画像加算部３１５ｂにそれぞれ転送する。

【０１１５】処理の途中では、出力画像バッファ３１７
および単板画像バッファ３１６において、それぞれ各画
素位置につき複数の近似画素値が得られるが、両バッフ
ァではそれらの平均近似画素値が保持され、またこれま
でに得られた近似画素値の個数がカウンタに保持される
ようになっている。この個数は当該画素位置にこれまで
に書き込みが行われた回数に等しい。

【０１１６】三板画像加算部３１５ａでは、画像出力バ
ッファ３１７の当該近傍画像に対応する領域から平均近
似画素値Ｓｆ(p,q,c) およびカウンタＺｆ(p,q) が読み
出され、新しい平均近似画素値Ｓｆ_new (p,q,c) が、計
算式、 Ｓｆ_new (p,q,c) ＝（Ｚｆ(p,q) ・Ｓｆ(p,q,c) ＋ｆ
(p,q,c))／（Ｚｆ(p,q) ＋１） （ｃ＝0,1,2 ） によって、また新しいカウンタＺｆ_new (p,q) の値が式 Ｚｆ_new (p,q) ＝Ｚｆ(p,q) ＋１ によって計算され、Ｓｆ_new (p,q,c) およびＺｆ
_new (p,q) が出力画像バッファ３１７の当該近傍画像に
対応する領域に書き戻される。

【０１１７】一方、単板画像加算部３１５ｂでは、単板
画像バッファ３１６から当該近傍画像に対応する領域内
の各画素の平均近似画素値Ｓｇ′(p,q) 及びカウンタＺ
ｇ′(p,q) が読み出され、新しい平均近似画素値Ｓｇ′
_new (p,q) が、計算式、 Ｓｇ′_new (p,q) ＝（Ｚｇ′(p,q) ・Ｓｇ′(p,q) ＋
ｇ′(p,q))／（Ｚｇ′(p,q) ＋１） によって、また新しいカウンタＺｇ′_new (p,q) の値が Ｚｇ′_new (p,q) ＝Ｚｇ′(p,q) ＋１ によって計算され、Ｓｇ′_new (p,q) およびＺｇ′_new
(p,q) が単板画像バッファ３１６の当該近傍画像に対応
する領域に書き戻される。

【０１１８】入力画像バッファ３０８内の画像の各画素
位置につき、以上の処理が終了すると、単板画像バッフ
ァ３１６には、入力画像バッファ３０８内の画像を単純
なテンプレートで近似し、帯域劣化補正はせずに色成分
の欠落のみの補正を行い、得られた画像をさらに単板ベ
イヤー配列ＣＣＤ３０４の色フィルタ配置でサンプリン
グした単板状態の画像が得られる。同じく出力画像バッ
ファ３１７には単純なテンプレートで近似され、欠落色
復元と帯域劣化の両方の補正を受けたカラー画像が得ら
れる。

【０１１９】一回目の処理では、最後に差分計算部３１
８が単板画像バッファ３１６と入力画像バッファ３０８
の差分をとり、近似誤差を表す差分画像を差分画像バッ
ファ３１９に生成する。

【０１２０】二回目以降の処理では、近傍読み出し部３
０９が以降の入力を差分画像バッファ３０９に切り替
え、差分画像に対しこれまでの処理が繰り返される。こ
の繰り返しで、一回目と動作が異なるのは規則性評価部
３２０だけである。

【０１２１】規則性評価部３２０では、転送された近似
画像に対してまず分散の大きさを計算し、所定の閾値以
下であれば近似誤差は十分小さいとして最小自乗近似部
３１２への近似画像の転送を行わない。所定の閾値以上
の場合は、最大値を１、最小値を０に正規化した近傍画
像にラプラシアンフィルタがかけられ、得られた画像内
で自乗和が算出される。自乗和が所定の閾値より大きな
場合は近傍画像はノイズであるとして同じく転送を行わ
ない。

【０１２２】その他の場合は近傍画像の複雑度ｓを計算
し、テンプレート選択部３１０に複雑度ｓを転送し、最
小自乗近似部３１２に近傍画像を転送する。差分画像の
すべての画素位置で近傍画像が最小自乗近似部３１２に
転送されなかった場合に差分画像に対する繰り返し処理
は終了する。

【０１２３】この間、以前の近似で捕捉できなかった微
細構造が差分画像に計算され、差分画像がその微細構造
に対応した複雑度をもつテンプレートによる近似で劣化
補正され、結果が出力画像バッファ３１７に蓄積され
る。その結果、出力画像バッファ３１７には電子カメラ
３００の光学系による劣化と色の欠落が補正された３色
カラー画像が得られる。

【０１２４】第３実施形態においても構成要素は種々の
変更が考えられる。例えば、複雑度ｓの定義はここで上
げたもの以外に微分画像の強度などいろいろな候補があ
げられる。規則性評価部３２０のノイズ判定基準も種々
のものが考えられる。また、各回の処理は独立している
ので、繰り返し回数に応じて近傍読み出し部３０９から
読み出す近傍画像のサイズを小さくすることも可能であ
る。これにより、複雑度の高いテンプレートの種類を減
らすことができる。

【０１２５】処理を高速化するために、複数段階の処理
を一段階ですませることも可能である。この場合、三板
画像加算部３１５ａ、単板画像加算部３１５ｂ、単板画
像バッファ３１６及び差分画像バッファ３１９は不要と
なり、出力画像バッファ３１７においてカウンタを保持
する必要もなくなる。帯域・色情報復元部３１４は復元
結果を出力画像バッファ３１７に直接出力し、劣化後テ
ンプレート加工部３１３は差分計算部３１８に、また差
分計算部３１８は規則性評価部３２０に処理結果を直接
出力する。また、作用も以下のように変更される。

【０１２６】入力画像バッファ３０８内の画像の各画素
位置（ｘ，ｙ）につき、近傍読み出し部３０９により近
傍画像ｈ(p,q) が読み出され、規則性評価部３２０に送
られる。規則性評価部３２０はテンプレート保持ＲＯＭ
３１１に保持されたテンプレートのとりうる複雑度のう
ち最も低い値をテンプレート選択部３１０に出力し、近
傍画像ｈ(p,q) を最小自乗近似部３１２に転送する。

【０１２７】最小自乗近似部３１２は、テンプレート選
択部３１０により選択された劣化後テンプレートのう
ち、近傍画像ｈ(p,q) を最もよく近似するもののインデ
ックスと近似係数とを算出し、劣化後テンプレート加工
部３１３及び帯域・色情報復元部３１４に転送する。

【０１２８】帯域・色情報復元部３１４では、近傍画像
に対して色成分の欠落と帯域の劣化を補正した近傍補正
近似画像ｆ(p,q,c) を得、その中心画素の値ｆ(0,0,c)
を出力画像バッファ３１７の対応する画素位置に足し込
む。

【０１２９】一方、劣化後テンプレート加工部３１３
は、近傍画像ｈ(p,q) に対して色成分の欠落のみを補正
した３色画像ｇ(p,q,c) を計算し、さらにｇ(p,q,c) を
当該近傍画像における電子カメラ３００の色フィルタ配
置に応じてサンプリングして画像ｇ′(p,q) を得る。
ｇ′(p,q) は差分計算部３１８に転送され、近傍画像ｈ
(p,q) との差分が近傍差分画像として計算されて規則性
評価部３２０に転送される。

【０１３０】規則性評価部３２０は、この実施形態の２
回目の処理における処理と同様に転送された近傍差分画
像の複雑度を調べ、近傍差分画像がノイズとみなされな
い場合には算出された複雑度をテンプレート選択部３１
０に転送し、近傍差分画像を再び最小自乗近似部３１２
に転送する。

【０１３１】これにより、各画素位置の近傍画像に対し
て劣化後テンプレートが複雑度の低い順に当てはめら
れ、当てはめ結果により近傍画像の中心画素値の色成分
の欠落および帯域の劣化が補正されて出力画像バッファ
３１７に出力される。

【０１３２】また、電子カメラ３００に水晶フィルタ３
０３がなく帯域制限がなされていない場合には、テンプ
レート保持ＲＯＭ３１１が劣化前テンプレート保持ＲＯ
Ｍ３１１ａのみからなり、テンプレート選択部３１０が
劣化前テンプレート保持ＲＯＭ３１１ａと規則性評価部
３２０のみから入力を受けるように構成を変更する。こ
の場合、各部分の作用で従来と異なる点は、テンプレー
ト選択部３１０がどの構成要素からのテンプレートの読
み出し要求に対しても劣化前テンプレート保持ＲＯＭ３
１１ａにアクセスすること、最小自乗近似部２１２はテ
ンプレートとしてΦｉのかわりにΨｉを用いること、及
び帯域・色情報復元部３１４は動作は同じだが、結果と
して色成分の欠落は補正されるが帯域の劣化については
なにもされない近傍補正近似画像ｆ(p,q,c) を出力する
ことのみである。その結果、二回目以降の繰り返し処理
が進むにつれ、入力画像のより複雑度の高い幾何学的特
徴まで反映し、色成分の欠落が補正された画像が保持さ
れるようになり、最終的に入力画像バッファ３０８内の
画像の色成分の欠落が補正された３色カラー画像が得ら
れる。

【０１３３】以下に、本発明の第４実施形態を説明す
る。図７は本発明の第４実施形態が適用される画像処理
システムの構成を示す図であり、図８は図７に示す最小
自乗近似部４１２の構成及びその周辺回路を示す図であ
る。

【０１３４】図７において電子カメラ４００は、図４に
おける単板ベイヤー配列ＣＣＤが単板ＲＧＢランダム配
列ＣＣＤ４０４に置き換わっている点を除いて第２実施
形態と同一の構成である。電子カメラ４００内の単板Ｒ
ＧＢランダム配列ＣＣＤ４０４の色フィルタ配列に関す
る情報は、図８に示すようにあらかじめ画像処理装置４
０１内の色成分マスク生成部４１２ａに保持されてい
る。

【０１３５】画像処理装置４０１は、入力画像バッファ
４０８と、近傍読み出し部４０９と、劣化前テンプレー
ト保持ＲＯＭ４１１ａ及び劣化後テンプレート保持ＲＯ
Ｍ４１１ｂとを具備するテンプレート保持ＲＯＭ４１１
と、最小自乗近似部４１２と、帯域・色情報復元部４１
４と、画像加算部４１５と、三板画像バッファ４１７ａ
及び単板画像バッファ４１７ｂを具備する近似画像バッ
ファ４１７と、残差演算部４１８と、規則性判定部４１
９と、残差加算部４２０と、出力画像バッファ４２１と
を具備する。

【０１３６】最小自乗近似部４１２は図８に示すよう
に、色成分マスク生成部４１２ａと、最小自乗係数算出
部４１２ｂと、近似誤差累積部４１２ｃと、近似係数保
持バッファ４１２ｄと、テンプレート決定部４１２ｅと
を具備する。上記最小自乗近似部４１２はさらに、近傍
読み出し部４０９に接続された近傍画像入力端子４１２
ｒと、劣化後テンプレート保持ＲＯＭ４１１ｂに接続さ
れたテンプレート入力端子４１２ｐと、帯域・色情報復
元部４１４に接続された近似パラメータ出力端子４１２
ｓと、画像加算部４１５に接続された近傍近似画像出力
端子４１２ｔとを有する。

【０１３７】図７において電子カメラ４００内の画像バ
ッファ４０７は画像処理装置４０１内の入力画像バッフ
ァ４０８に接続されている。入力画像バッファ４０８は
近傍読み出し部４０９及び残差演算部４１８に接続され
ている。近傍読み出し部４０９は図８に示す近傍画像入
力端子４１２ｒを経て最小自乗近似部４１２内の最小自
乗係数算出部４１２ｂに接続されている。

【０１３８】図８において、最小自乗係数算出部４１２
ｂは近傍読み出し部４０９のほかに、色成分マスク生成
部４１２ａと、テンプレート入力端子４１２ｐ経由で劣
化後テンプレート保持ＲＯＭ４１１ｂとに接続され、処
理結果を近似係数保持バッファ４１２ｄおよび近似誤差
累積部４１２ｃに出力すべく接続されている。

【０１３９】テンプレート決定部４１２ｅは近似誤差累
積部４１２ｃ、近似係数保持バッファ４１２ｄおよび色
成分マスク生成部４１２ａの出力を受けるべく接続さ
れ、かつ決定した内容を近傍補正近似画像出力端子４１
２ｔを経て画像加算部４１５に、近似パラメータ出力端
子４１２ｓを経て帯域・色情報復元部４１４に出力すべ
く接続されている。

【０１４０】テンプレート保持ＲＯＭ４１１は、第２実
施形態と同様に、劣化前テンプレート保持ＲＯＭ４１１
ａと劣化後テンプレート保持ＲＯＭ４１１ｂとからな
る。劣化前テンプレート保持ＲＯＭ４１１ａには、所定
のＮ種の幾何学的特徴をもつ所定サイズのグレースケー
ル画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保
持され、帯域・色情報復元部４１４に接続されている。
劣化後テンプレート保持ＲＯＭ４１１ｂには、劣化前テ
ンプレート保持ＲＯＭ４１１ａの各テンプレートが電子
カメラ４００の光学系による帯域劣化を受けた画像であ
るテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されてい
る。

【０１４１】図７に示すように、帯域・色情報復元部４
１４は最小自乗近似部４１２及び劣化前テンプレート保
持ＲＯＭ４１１ａの出力を受けるべく接続され、かつ復
元結果を画像加算部４１５に出力すべく接続されてい
る。画像加算部４１５は帯域・色情報復元部４１４及び
最小自乗近似部４１２からの出力を独立に処理すべく接
続され、それぞれの処理結果を近似画像バッファ４１７
内の三板画像バッファ４１７ａ及び単板画像バッファ４
１７ｂに出力する。

【０１４２】三板画像バッファ４１７ａおよび単板画像
バッファ４１７ｂは、入力画像バッファ４０８内の画像
と同じ画素数の画像を保持するほか、各画素に付きカウ
ンタを保持する。このカウンタは、それぞれのバッファ
の各画素位置に書き込みが行われた回数を保持するため
に設けられている。第１実施形態と同様に、それぞれの
バッファの各画素位置で複数の画素値が計算されるた
め、ここでは画像加算部４１５でそれらを平均化する処
理を行っている。この処理に書き込み回数が必要にな
る。

【０１４３】単板画像バッファ４１７ｂは記憶している
内容を残差演算部４１８及び規則性判定部４１９を経て
残差加算部４２０に出力すべく接続されている。一方、
三板画像バッファ４１７ａは記憶した内容を残差加算部
４２０に直接出力すべく接続されている。残差加算部４
２０は処理結果を出力画像バッファ４２１に出力すべく
接続されている。

【０１４４】以下に、上記した構成を有する画像処理シ
ステムの作用を説明する。

【０１４５】電子カメラ４００により撮像された被写体
像は、第１〜第３実施形態と同様に、レンズ４０２、水
晶フィルタ４０３により帯域制限を受け、劣化した光学
像として単板ＲＧＢランダム配列ＣＣＤ４０４上に形成
される。単板ＲＧＢランダム配列ＣＣＤ４０４は各画素
につき劣化画像のＲＧＢのいずれか一つの色情報を取得
し、得られた画像をＡ／Ｄ変換部４０５を経てデジタル
画像信号として画像バッファ４０７に転送する。撮像が
終了すると、画像バッファ４０７内の画像情報は画像処
理装置４０１内の入力画像バッファ４０８に転送され、
さらに三板画像バッファ４１７ａ及び単板画像バッファ
４１７ｂの画素値及びカウンタはすべて０に初期化され
る その後、画像処理装置４０１では入力画像バッファ４０
８内の画像情報の各画素位置（ｘ，ｙ）ごとに以下の処
理が行われる。

【０１４６】近傍読み出し部４０９により処理画素位置
を中心とする所定の矩形領域（例えば５×５画素）が近
傍画像 h(p,q) として読み込まれ、最小自乗近似部４１
２内の最小自乗係数算出部４１２ｂに転送される。以下
の説明において、変数の組（ｐ，ｑ）は、この近傍画像
の中心画素（ｘ，ｙ）に対する相対座標であり、例えば
近傍の大きさが５×５であれば［−２，−１，０，１，
２］×［−２，−１，０，１，２］の範囲を動く。ま
た、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝
０，１，２に対応させて説明する。

【０１４７】最小自乗係数算出部４１２ｂは、劣化後テ
ンプレート保持ＲＯＭ４１１ｂに予め記憶されているテ
ンプレートΦｉ(p,q) （ｉ＝０〜Ｎ−１）を順に読み出
し、転送された近傍画像h(p,q) の各色成分ｃ（ｃ＝
０，１，２）について、順に近似誤差

【数４】

【０１４８】を最小化する近似係数α(c) 、β(c) を計
算する。

【０１４９】ここで、mask(p,q,c) は、単板ＲＧＢラン
ダム配列ＣＣＤ４０４上で、当該近傍画像内の座標(p,
q) に対応する位置に色成分ｃに対応する色フィルタが
存在すれば１、しなければ０をとるマスクであり、色成
分マスク生成部４１２ａにより算出される。図３は近傍
画像における特定の色フィルタ配置に対応する色成分マ
スクを例示したものである。

【０１５０】近似誤差ｅ(c) は近似誤差累積部４１２ｃ
に出力され、近似誤差累積部４１２ｃでは近似誤差ｅ
(c) を全色成分について累積加算し、累積近似誤差ｅと
してテンプレート決定部４１２ｅに転送する。また、近
似係数α(c) 、β(c) （ｃ＝０，１，２）は近似係数保
持バッファ４１２ｄに順に出力され、そこに保持され
る。

【０１５１】テンプレート決定部４１２ｅには、それ以
前のテンプレートΦｉ′(p,q)(ｉ′＜ｉ）に対する累積
近似誤差の最小値 min＿e と最小値を与えたテンプレー
トのインデックス min＿i が保持されている。テンプレ
ート決定部４１２ｅは、近似誤差累積部４１２ｃから転
送された誤差ｅを、内部に保持する誤差の最小値 min＿
e と比較し、新たな誤差がより小さければ min＿e をｅ
に、また min＿i をｉに更新する。

【０１５２】テンプレート決定部４１２ｅはまた誤差の
最小値を与えるテンプレートに関する近似係数もこれら
を min＿α(c) および min＿β(c) （ｃ＝０，１，２）
として保持しており、 min＿e の更新と同時にこれらの
値も近似係数保持バッファ４１２ｄから読み込まれた近
似係数α(c) 、β(c) にそれぞれ更新される。

【０１５３】全ての劣化後テンプレートΦｉが処理され
た後、テンプレート決定部４１２ｅに保持された近似係
数 min＿α(c) 、min ＿β(c) （ｃ＝０，１，２）とイ
ンデックスmin ＿i が帯域・色情報復元部４１４に出力
される。同時に、テンプレート決定部４１２ｅはまず式
ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β
(c) によって当該近傍画像ｈ(p,q) の色成分の欠落を補
正した画像ｇ(p,q,c) を計算する。

【０１５４】次に色成分マスク生成部４１２ａにより算
出されたmask(p,q,c) を用いてカラー画像ｇ(p,q,c) を
当該近傍画像における電子カメラ４００の色フィルタ配
置に応じてサンプリングし、単板状態の画像ｇ′(p,q)
を得て、画像加算部４１５に転送する。

【０１５５】帯域・色情報復元部４１４は、転送された
インデックス min＿i に対応する劣化前テンプレートΨ
min＿i を劣化前テンプレート保持ＲＯＭ４１１ａから
読み出し、転送された近似係数 min＿α(c) 、min ＿β
(c) （ｃ＝０，１，２）を用いて、近傍画像ｈ(p,q) の
色成分の欠落を補正し、さらに帯域の劣化も補正した近
傍補正近似画像ｆ(p,q,c) をｆ(p,q,c) ＝ min＿α(c)
Ψ min＿i(p,q)＋ min＿β(c) （ｃ＝０，１，２）によ
り計算し、画像加算部４１５に転送する。

【０１５６】処理の途中では、三板画像バッファ４１７
ａおよび単板画像バッファ４１７ｂにおいて、それぞれ
各画素位置につき複数の近似画素値が得られるが、両バ
ッファではそれらの平均近似画素値が保持され、またこ
れまでに得られた近似画素値の個数がカウンタに保持さ
れるようになっている。これは、当該画素位置にこれま
でに書き込みが行われた回数に等しい。

【０１５７】画像加算部４１５では、帯域・色情報復元
部４１４からｆ(p,q,c) が転送されると、三板画像バッ
ファ４１７ａから当該近傍画像に対応する領域内の各画
素の平均近似画素値Ｓｆ(p,q,c) 及びカウンタＺｆ(p,
q) を読み出し、新しい平均近似画素値Ｓｆ_new (p,q,c)
を、計算式 Ｓｆ_new (p,q,c) ＝（Ｚｆ(p,q) ・Ｓｆ(p,q,c) ＋ｆ
(p,q,c))／（Ｚｆ(p,q) ＋１） （ｃ＝0,1,2) によって、また新しいカウンタＺｆ_new (p,q) の値を式 Ｚｆ_new (p,q) ＝Ｚf(p,q)＋１ によって計算し、Ｓｆ_new (p,q,c) およびＺｆ_new (p,
q) を三板画像バッファ４１７ａの当該近傍画像に対す
る領域に書き戻す。

【０１５８】一方、画像加算部４１５にテンプレート決
定部４１２ｅからｇ′(p,q) が転送されると、画像加算
部４１５は単板画像バッファ４１７ｂから当該近傍画像
に対応する領域内の各画素の平均近似画素値Ｓｇ′(p,
q) 及びカウンタＺｇ′(p,q)を読み出し、新しい平均近
似画素値Ｓｇ′_new (p,q) を、計算式 Ｓｇ′_new (p,q) ＝（Ｚｇ′(p,q) ・Ｓｇ′(p,q) ＋
ｇ′(p,q))／（Ｚｇ′(p,q) ＋１） によって、新しいカウンタＺｇ′_new (p,q) の値を Ｚｇ′_new (p,q) ＝Ｚg(p,q)＋１ によって計算し、Ｓｇ′_new (p,q) およびＺｇ′
_new (p,q) を単板画像バッファ４１７ｂの当該近傍画像
に対応する領域に書き戻す。

【０１５９】入力画像バッファ４０８内の画像の各画素
位置につき、以上の処理が終了すると、単板画像バッフ
ァ４１７ｂには、入力画像バッファ４０８内の画像をテ
ンプレートで近似し、色成分の欠落を補正した後に再び
単板ＲＧＢランダム配列ＣＣＤ４０４の色フィルタ配置
でサンプリングした単板状態の近似画像が得られる。同
じく三板画像バッファ４１７ａにはテンプレートで近似
され、色成分欠落と帯域劣化の補正を受けたカラー画像
が得られる。

【０１６０】さらに、近似画像バッファ４１７内の画像
に対して以下の処理が行われる。

【０１６１】残差演算部４１８は、入力画像バッファ４
０８内の画像の各画素位置（ｘ，ｙ）につき、その画素
位置を中心とする所定の大きさの近傍画像ｈ(p,q) を読
み出す。同時に、単板画像バッファ４１７ｂから当該近
傍画像の領域に対応する画像を読み出し、ｈ(p,q) との
差を計算し、残差画像ｄ(p,q) として規則性判定部４１
９に出力する。

【０１６２】規則性判定部４１９は、入力した残差画像
ｄ(p,q) が規則的構造を有する画像であるか否かを第３
実施形態と同様の判定基準で評価する。まずｄ(p,q) を
最大値１、最小値０に正規化し、ラプラシアンフィルタ
をかける。その結果を画像全体で自乗和し、所定の閾値
と比較する。閾値を下回る場合は規則的構造を有すると
判定し、残差画像の中心画素の値ｄ(0,0) を残差加算部
４２０へ出力する。閾値を上回る場合はなにも転送しな
い。

【０１６３】残差加算部４２０は、三板画像バッファ４
１７ａから入力画像バッファ４０８内の位置（ｘ，ｙ）
に対応する位置の画素値Ｓｆ(0,0,c) （ｃ＝０，１，
２）を読み出す。規則性判定部４１９から値ｄ(0,0) が
転送されてきた場合には、ｄ(0,0) から３色分の画素値
ｄ′(0,0,c) を生成し、Ｓｆ(0,0,c) と各色ｃ＝０，１
２ごとに加算する。ここで、入力画像バッファ４０８内
の位置（ｘ，ｙ）に対応する単板ＲＧＢランダム配列Ｃ
ＣＤ４０４上の位置に存在する色フィルタの色をｃ′と
すると、ｄ′(0,0,c) はｄ(0,0) から以下の式で計算さ
れる。

【０１６４】 ｄ′(0,0,c) ＝ｄ(0,0) （ｃ＝ｃ′の時）

【数５】

【０１６５】すべての位置（ｘ，ｙ）についてこの処理
が終了すると、各画素位置でその近傍の幾何学的特徴に
テンプレート保持ＲＯＭ４１１内のテンプレートが対応
できる範囲で色成分の欠落と帯域劣化が補正され、さら
に対応できない微細構造が輝度成分に反映されることに
より、出力画像バッファ４２１に電子カメラ４００の光
学系による劣化と色の欠落が補正された３色カラー画像
が得られる。

【０１６６】電子カメラ４００に水晶フィルタ４０３が
なく帯域制限がなれていない場合には、テンプレート保
持ＲＯＭ４１１が劣化前テンプレート保持ＲＯＭ４１１
ａのみからなり、最小自乗近似部４１２内の最小自乗係
数算出部４１２ｂが劣化前テンプレート保持ＲＯＭ４１
１ａから入力を受けるように構成を変更する。この場
合、各部分の作用で特徴となるのは、最小自乗近似部４
１２でテンプレートとしてΦｉのかわりにΨｉを用いる
点と、帯域・色情報復元部４１４の動作は同じだが、結
果として色成分の欠落は補正されるが帯域の劣化につい
てはなにもされない近傍補正近似画像ｆ(p,q,c) が得ら
れる点のみである。その結果、入力画像バッファ４０８
内の画像の色成分の欠落のみが補正された３色カラー画
像が出力画像バッファ４２１に得られる。

【０１６７】処理を高速化するために、近似画像バッフ
ァ４１７を設けない構成も可能である。この場合、最小
自乗近似部４１２は残差演算部４１８に直接出力し、帯
域・色情報復元部４１４は残差加算部４２０に直接出力
するため、画像加算部４１５も不要となる。作用として
は、入力画像バッファ４０８の各画素位置（ｘ，ｙ）に
つき、残差演算部４１８が最小自乗近似部４１２から転
送された単板状態の画像ｇ′(p,q) と画素位置（ｘ，
ｙ）を中心とする近傍画像ｈ(p,q) の差分を計算して規
則性判定部４１９に転送することと、帯域・色情報復元
部４１４が算出したｆ(p,q,c) の中心画素値ｆ(0,0,c)
のみを残差加算部４２０に転送すること、および残差加
算部４２０ではＳｆ(0,0,c) の代わりに帯域・色情報復
元部４１４から転送されたｆ(0,0,c) を用いてｄ′(0,
0,c) を計算すること、の三点のみが上記した第４実施
形態と異なる点である。これにより、補正の精度は落ち
るが記憶容量が少なく、より高速な処理が可能になる。

【０１６８】以下に、本発明の第５実施形態を説明す
る。図９は本発明の第５実施形態が適用される画像処理
システムの構成を示す図であり、電子カメラ５００と画
像処理装置５０１とからなる。

【０１６９】本実施形態の電子カメラ５００では帯域制
限のために設けられていた水晶フィルタ２０３が設けら
れていない点を除けば第２実施形態における電子カメラ
２００と同一の構成である。電子カメラ５００内の画像
バッファ５０７の出力は、第３実施形態と同様に画像処
理装置５０１内の入力画像バッファ５０８に接続され、
入力画像バッファ５０８は近傍読み出し部５０９及び差
分計算部５１８に接続されている。

【０１７０】画像処理装置５０１は、入力画像バッファ
５０８と、近傍読み出し部５０９と、テンプレート選択
部５１０と、テンプレート保持ＲＯＭ５１１と、最小自
乗近似部５１２と、単板画像生成部５１３と、色情報復
元部５１４と、三板画像加算部５１５ａと、単板画像加
算部５１５ｂと、単板画像バッファ５１６と、出力画像
バッファ５１７と、差分計算部５１８と、差分画像バッ
ファ５１９と、規則性評価部５２０と、テンプレート生
成部５２１とを具備する。

【０１７１】図９において、近傍読み出し部５０９は入
力画像バッファ５０８および差分画像バッファ５１９の
出力を受けるべく接続され、かつ読み出した情報を規則
性評価部５２０に出力すべく接続されている。規則性評
価部５２０はテンプレート生成部５２１、三板画像加算
部５１５ａおよび最小自乗近似部５１２に接続されてい
る。最小自乗近似部５１２は第２実施形態における構成
と同一の構成であり、テンプレート選択部５１０と規則
性評価部５２０の出力を受けるべく接続され、かつ処理
結果を単板画像生成部５１３及び色情報復元部５１４に
出力すべく接続されている。テンプレート選択部５１０
はテンプレート保持ＲＯＭ５１１及びテンプレート生成
部５２１の出力を受けるべく接続され、かつ選択結果を
単板画像生成部５１３及び色情報復元部５１４に出力す
べく接続されている。

【０１７２】入力画像に水晶フィルタによる帯域劣化が
ないのでテンプレート保持ＲＯＭ５１１にはこれまでの
実施形態と異なり帯域制限の劣化前と劣化後のテンプレ
ートを保持しない。そのかわり、所定のＮ種の幾何学的
特徴をもつ所定サイズのグレースケール画像がテンプレ
ートΦｉ（ｉ＝０〜Ｎ−１）として保持される。ここ
で、レンズ５０２による帯域劣化は通常、少ないとして
無視している。

【０１７３】色情報復元部５１４は三板画像加算部５１
５ａを経て出力画像バッファ５１７に接続されている。
単板画像生成部５１３は単板画像加算部５１５ｂを経て
単板画像バッファ５１６に接続されている。単板画像バ
ッファ５１６は差分計算部５１８に記憶内容を出力すべ
く接続され、差分計算部５１８は差分画像バッファ５１
９に処理結果を出力すべく接続されている。

【０１７４】単板画像バッファ５１６および出力画像バ
ッファ５１７は、入力画像バッファ５０８内の画像と同
じ画素数の画像を保持するが、その他に各画素につきカ
ウンタを保持する。このカウンタは、それぞれのバッフ
ァの各画素位置に書き込みが行われた回数を保持するた
めに設けられてる。第３実施形態と同様にそれぞれのバ
ッファの各画素位置で複数の画素値が計算されるため、
最終的にそれらを平均化する処理を行っている。この処
理に書き込み回数が必要になる。

【０１７５】以下に、上記した構成を有する画像処理シ
ステムの作用を説明する。

【０１７６】電子カメラ５００で撮像が行われ、レンズ
５０２による帯域劣化しか含まず、各画素位置につき一
つの色成分しか持たない画像がこれまでの実施形態と同
様に画像バッファ５０７に保持される。撮像が終了する
と、画像バッファ５０７内の画像は入力画像バッファ５
０８に転送され、出力画像バッファ５１７および単板画
像バッファ５１６のカラー画像の画素値、及びカウンタ
はすべて０に初期化される。次に、２段階で補正処理が
行われる。１回目の処理では、入力画像バッファ５０８
内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が
行われる。

【０１７７】近傍読み出し部５０９により当該画素位置
（ｘ，ｙ）の所定の矩形領域（例えば７×７画素）が近
傍画像ｈ(p,q) として読み出される。以下の説明におい
て、変数の組（ｐ，ｑ）は、この近傍画像内の中心画素
（ｘ，ｙ）に対する相対座標であり、例えば近傍の大き
さが７×７であれば［−３，−２，−１，０，１，２，
３］×［−３，−２，−１，０，１，２，３］の範囲を
動く、また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数
値ｃ＝０，１，２に対応させて説明する。

【０１７８】読み出された近傍画像は規則性評価部５２
０に送られるが、そこではなにも処理を受けずに最小自
乗近似部５１２に転送される。テンプレート生成部５２
１には１回目の処理ではなにも転送しない。

【０１７９】テンプレート生成部５２１は、近傍画像が
転送されてくるとその画像をグレースケール画像とみな
してエッジを保ったまま平滑化し、新たなテンプレート
を作成しテンプレート選択部５１０に転送する機能を持
つが、１回目の処理にはなにもしない。

【０１８０】テンプレート選択部５１０では、接続して
いる他の構成要素からｉ番目のテンプレートの読み出し
要求があった場合には、テンプレート生成部５２１から
テンプレートが転送されてきている場合はそのテンプレ
ートを返し、なにも転送されていない場合はテンプレー
ト保持ＲＯＭ５１１からｉ番目のテンプレートΦｉを読
み出す機能を持つ。１回目の処理では、テンプレート生
成部５２１からなにも転送されないのでテンプレート保
持ＲＯＭ５１１にアクセスすることになる。

【０１８１】最小自乗計数算出部５１２は、近傍画像が
転送されると図５に示されたフローに従って処理を行
い、これまでの実施形態と同様に近傍画像を最もよく近
似するテンプレートのインデックス min＿i と近似係数
min＿α(c) 、 min＿β(c) とを算出し、単板画像生成
部５１３と色情報復元部５１４に転送する。

【０１８２】色情報復元部５１４では、画素ごとの色成
分の欠落を修復するために、式 ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β
(c) （ｃ＝0,1,2) に従って、近傍画像ｈ(p,q) の色成分の欠落を近似的に
埋めた３色画像ｇ(p,q,c) を生成し、三板画像加算部５
１５ａに転送する。

【０１８３】単板画像生成部５１３では、色情報復元部
５１４と同様に近傍画像ｈ(p,q) の色成分の欠落を近似
的に埋めた３色画像ｇ(p,q,c) を計算するが、さらにｇ
(p,q,c) を当該近傍画像における電子カメラ５００の色
フィルタ配置に応じてサンプリングした画像ｇ′(p,q)
を生成する。そして、ｇ′(p,q) を単板画像加算部５１
５ｂに転送する。

【０１８４】処理の途中では、出力画像バッファ５１７
および単板画像バッファ５１６において、それぞれ各画
素位置につき複数の近似画素値が得られるが、両バッフ
ァではそれらの平均近似画素値が保持され、またこれま
でに得られた近似画素値の個数（＝書き込み回数）がカ
ウンタに保持されるようになっている。

【０１８５】三板画像加算部５１５ａでは、画像出力バ
ッファ５１７から当該近傍画像に対応する領域内の各画
素の平均近似画素値Ｓｇ(p,q,c) 及びカウンタＺｇ(p,
q) が読み出され、転送されたｇ(p,q,c) を用いて新し
い平均近似画素値Ｓｇ_new (p,q,c) が計算式 Ｓｇ_new (p,q,c) ＝（Ｚｇ(p,q) ・Ｓｇ(p,q,c) ＋ｇ
(p,q,c))／（Ｚｇ(p,q) ＋１）（ｃ＝0,1,2) によって計算され、また新しいカウンタＺｇ_new (p,q)
の値が式 Ｚｇ_new (p,q) ＝Ｚｇ(p,q) ＋１ によって計算され、Ｓｇ_new (p,q,c) およびＺｇ
_new (p,q) が画像出力バッファ５１７の当該近傍画像に
対応する領域に書き戻される。

【０１８６】一方、単板画像加算部５１５ｂでは、三板
画像加算部５１５ａと同様に単板画像バッファ５１６の
当該近傍画像に対応する領域から平均近似画素値Ｓｇ′
(p,q) 及びカウンタＺｇ′(p,q) が読み出され、転送さ
れたｇ′(p,q) を用いて新しい平均近似画素値Ｓｇ′
_new (p,q) が計算式 Ｓｇ′_new (p,q) ＝（Ｚｇ′(p,q) ・Ｓｇ′(p,q) ＋
ｇ′(p,q))／（Ｚｇ′(p,q) ＋１） によって計算され、また新しいカウンタＺｇ′_new (p,
q) の値が Ｚｇ′_new (p,q) ＝Ｚｇ′(p,q) ＋１ によって計算され、Ｓｇ′_new (p,q) およびＺｇ′_new
(p,q) が単板画像バッファ５１６の当該近傍画像に対応
する領域に書き戻される。

【０１８７】入力画像バッファ５０８内の画像の各画素
位置につき、以上の処理が終了すると、単板画像バッフ
ァ５１６には、入力画像バッファ内５０８の画像をテン
プレート保持ＲＯＭ５１１内のテンプレートで近似し、
色成分の欠落を補正した後、さらに単板ベイヤー配列Ｃ
ＣＤ５０４の色フィルタ配置でサンプリングした状態の
画像が得られる。同じく出力画像バッファ５１７にはテ
ンプレート保持ＲＯＭ５１１内のテンプレートで近似さ
れ、色成分の欠落が補正されたカラー画像が得られる。
１回目の処理の最後に、差分計算部５１８は単板画像バ
ッファ５１６と入力画像バッファ５０８の差分をとり、
近似誤差を表す差分画像を差分画像バッファ５１９に出
力する。

【０１８８】２回目の処理では、入力画像バッファ５０
８の各画素位置（ｘ，ｙ）につき、以下の処理を行う。

【０１８９】近傍読み出し部５０９により当該画素位置
（ｘ，ｙ）を中心とする一回目と同じサイズの矩形領域
が再び近傍画像ｈ(p,q) として読み出される。同時に、
差分画像バッファ５１９の近傍画像に対応する領域が差
分近傍画像ｄ(p,q) として読み出される。二つの画像は
規則性評価部５２０に転送される。

【０１９０】規則性評価部５２０では、１回目の処理と
異なり差分近傍画像ｄ(p,q) の規則性を調べる。評価の
基準には、画像を最大値１、最小値０に正規化した画像
にラプラシアンフィルタをかけ、その結果について画像
全体に対する自乗和をとった値をノイズ尺度として利用
する。ｄ(p,q) に対するノイズ尺度Ｌ１を求め、さらに
ホワイトノイズからなる画像に対してどの程度規則的か
を判断するために、各画素値が最大値１、最小値０、平
均値０．５の白色雑音を生じる乱数により生成されたｄ
(p,q) と同一サイズの画像に対してあらかじめ計算した
ノイズ尺度Ｌ０を用いて、相対ノイズ尺度Ｌを式Ｌ＝
（１−Ｌ１／Ｌ０）により算出する。

【０１９１】相対ノイズ尺度Ｌは、０〜１の範囲でｄ
(p,q) の規則性を表す。Ｌが所定の閾値以下であれば、
ｄ(p,q) はノイズであるとしてなにもしない。所定の閾
値以上であれば、ｄ(p,q) をテンプレート生成部５２１
に転送し、ｈ(p,q) を最小自乗近似部５１２に転送し、
また、相対ノイズ尺度Ｌを三板画像加算部５１５ａに転
送する。

【０１９２】テンプレート生成部５２１は、１回目の処
理とは異なり、転送されたｄ(p,q)をグレースケール画
像とみなしてエッジを保ったまま平滑化し、新たなテン
プレートΦ′(p,q) を作成しテンプレート選択部５１０
に転送する。

【０１９３】テンプレート選択部５１０では、転送され
たテンプレートΦ′(p,q) を新たなテンプレート集合に
設定し、以後他の構成要素からテンプレートの読み出し
要求があった場合、Φ′(p,q) を返す。

【０１９４】最小自乗係数算出部５１２は、近傍画像ｈ
(p,q) が転送されると１回目と同様の処理を行い、近傍
画像ｈ(p,q) を最もよく近似するテンプレートのインデ
ックス min＿i と近似係数 min＿α(c) 、 min＿β(c)
とを算出し、色情報復元部５１４のみに転送する。ただ
し、最小自乗係数算出部５１２が読み出すテンプレート
はテンプレート選択部５１０によってΦ′(p,q) の一つ
に限られているので、min＿α(c) 、 min＿β(c) は、
テンプレートΦ′(p,q) で近傍画像ｈ(p,q) を近似する
場合の最適な近似係数を意味する。

【０１９５】色情報復元部５１４における処理は、１回
目の処理と異なり、近傍画像ｈ(p,q) の中心画素ｈ(0,
0) における欠落色成分の回復のみを行う。具体的に
は、式 ｇ(0,0,c) ＝ min＿α(c) Φ′(p,q) ＋ min＿β(c)
（ｃ＝0,1,2) に従って、ｈ(0,0) に対応する色成分の回復された画素
値ｇ(0,0,c) （ｃ＝０，１，２）を生成し、三板画像加
算部５１５ａに転送する。

【０１９６】出力画像バッファ５１７の近傍画像ｈ(p,
q) に対応する領域内の各画素では、１回目の処理でテ
ンプレート保持ＲＯＭ５１１内のテンプレートにより近
似されて求められた３色の画素値Ｓｇ(p,q,c) （ｃ＝
０，１，２）が保持されている。三板画像加算部５１５
ａでは、画像出力バッファ５１７の近傍画像ｈ(p,q) の
中心画素の位置に対応する位置の画素値Ｓｇ(0,0,c)
（ｃ＝０，１，２）を読み出し、規則性評価部５２０か
ら転送されてきた相対ノイズ尺度Ｌを用いて、以前の近
似結果Ｓｇ(0,0,c) と二回目の近似結果ｇ(0,0,c) の重
み付き和をとる。式 Ｓｇ_new (0,0,c) ＝(1−Ｌ）・Ｓｇ(0,0,c) ＋Ｌ・ｇ
(0,0,c) （ｃ＝0,1,2) により当該画素位置の新しい値Ｓｇ_new (0,0,c) （ｃ＝
０，１，２）を計算し、画像出力バッファ５１７に書き
戻す。入力画像バッファの各画素位置につき、２回目の
処理が終了すると、出力画像バッファ５１７には色成分
の欠落が回復された３色カラー画像が得られる。

【０１９７】以下に本発明の第６実施形態を説明する。
図１０〜１２は第６実施形態を説明するための図であ
り、図１０は本実施形態が適用される画像処理システム
の構成を示す図であり、図１１は図１０中合成最小自乗
近似部６１２の詳細図であり、図１２は図１０中合成最
小自乗近似部６１２の作用の説明図である。

【０１９８】図１０において、本実施形態の画像処理シ
ステムは電子カメラ６００と画像処理装置６０１とから
なり、電子カメラ６００は、第４実施形態における電子
カメラ４００と同一の構成である。電子カメラ６００内
の画像バッファ６０７は画像処理装置６０１内の入力画
像バッファ６０８に接続されている。電子カメラ６００
内の単板ＲＧＢランダム配列フィルタＣＣＤ６０４の色
フィルタ配置に関する情報は第４実施形態と同様にあら
かじめ画像処理装置６０１内の色成分マスク生成部６１
２ａに保持されている。

【０１９９】画像処理装置６０１は、入力画像バッファ
６０８と、近傍読み出し部６０９と、劣化前テンプレー
ト保持ＲＯＭ６１１ａ及び劣化後テンプレート保持ＲＯ
Ｍ６１１ｂを具備するテンプレート保持ＲＯＭ６１１
と、合成最小自乗近似部６１２と、帯域・色情報復元部
６１４と、三板画像加算部６１５と、出力画像バッファ
６１６とを具備する。

【０２００】また、図１０に示す合成最小自乗近似部６
１２は、図１１に示すように、色成分マスク生成部６１
２ａと、最小自乗係数算出部６１２ｂと、近似誤差累積
部６１２ｃと、近似係数保持バッファ６１２ｄと、テン
プレート決定部６１２ｅと、近傍画像バッファ６１２ｆ
と、テンプレート累積部６１２ｇと、テンプレート合成
部６１２ｈと、最小自乗係数算出部６１２ｉと、近似誤
差累積部６１２ｊと、近似係数保持バッファ６１２ｋと
を具備する。この合成最小自乗近似部６１２はさらに近
傍画像入力端子６１２ｒと、テンプレート入力端子６１
２ｐと、近似パラメータ出力端子６１２ｓとを有してい
る。

【０２０１】入力画像バッファ６０８は近傍読み出し部
６０９に接続され、近傍読み出し部６０９は近傍画像入
力端子６１２ｒを経て合成最小自乗近似部６１２内の近
傍画像バッファ６１２ｆに接続されている。合成最小自
乗近似部６１２は、テンプレート入力端子６１２ｐを介
して劣化後テンプレート保持ＲＯＭ６１１ｂに接続され
るとともに、近似パラメータ出力端子６１２ｓを介して
帯域・色情報復元部６１４に接続されている。

【０２０２】テンプレート保持ＲＯＭ６１１の構成と、
テンプレート保持ＲＯＭ６１１、帯域・色情報復元部６
１４、三板画像加算部６１５および出力画像バッファ６
１６間の接続関係は、第１実施形態と同一である。

【０２０３】本実施形態では、第１実施形態と同様に、
処理中に各画素につき複数の補正値が計算されるため、
それらを各補正値の信頼性に基づいて重みつき平均す
る。そのため、出力画像バッファ６１６は、各画素位置
において画像データ以外に重みつき平均の計算に必要な
信頼値を保持する。

【０２０４】合成最小自乗近似部６１２内の近傍画像バ
ッファ６１２ｆは近傍画像入力端子６１２ｒを介して近
傍読み出し部６０９の出力を受けるべく接続され、かつ
記憶している情報を最小自乗係数算出部６１２ｂ及び６
１２ｉに出力すべく接続されている。最小自乗係数算出
部６１２ｂは近傍画像バッファ６１２ｆのほかに、色成
分マスク生成部６１２ａ及びテンプレート入力端子６１
２ｐ経由で劣化後テンプレート保持ＲＯＭ６１１ｂの出
力を受けるべく接続され、かつ処理結果を近似係数保持
バッファ６１２ｄ及び近似誤差累積部６１２ｃに出力す
べく接続されている。

【０２０５】テンプレート累積部６１２ｇは近似係数保
持バッファ６１２ｄ及び近似誤差累積部６１２ｃの出力
を受けるべく接続され、かつ累積結果をテンプレート合
成部６１２ｈに出力すべく接続されている。テンプレー
ト合成部６１２ｈは合成結果を最小自乗係数算出部６１
２ｉおよびテンプレート決定部６１２ｅに出力すべく接
続されている。

【０２０６】最小自乗係数算出部６１２ｉはテンプレー
ト合成部６１２ｈのほかに、色成分マスク生成部６１２
ａ及び近傍画像バッファ６１２ｆの出力を受けるべく接
続され、かつ処理結果を近似係数保持バッファ６１２ｋ
及び近似誤差累積部６１２ｊに出力すべく接続されてい
る。近似係数保持バッファ６１２ｋ及び近似誤差累積部
６１２ｊは共にテンプレート決定部６１２ｅに接続さ
れ、テンプレート決定部６１２ｅは近似パラメータ出力
端子６１２ｓを経て帯域・色情報復元部６１４に接続さ
れている。

【０２０７】以下に上記した構成の画像処理システムの
作用を説明する。

【０２０８】電子カメラ６００により撮像された被写体
像は、これまでの第１乃至第４実施形態と同様に、レン
ズ６０２、水晶フィルタ６０３により帯域制限を受け、
劣化した光学像として単板ＲＧＢランダム配列ＣＣＤ６
０４上に形成される。単板ＲＧＢランダム配列ＣＣＤ６
０４は各画素につき劣化画像のＲＧＢのいずれか一つの
色情報を取得し、得られた画像をＡ／Ｄ変換部６０５を
経てデジタル画像信号として画像バッファ６０７に転送
する。撮像が終了すると、画像バッファ６０７内の画像
情報は画像処理装置６０１内の入力画像バッファ６０８
に転送され、さらに出力画像バッファ６１６の画素値及
び信頼値はすべて０に初期化される。

【０２０９】その後、入力画像バッファ６０８内の画像
情報の各画素位置（ｘ，ｙ）ごとに以下の処理が行われ
る。

【０２１０】近傍読み出し部６０９により処理画素位置
（ｘ，ｙ）を中心とする所定の矩形領域（例えば５×５
画素）が近傍画像ｈ(p,q) として読み出され、合成最小
自乗近似部６１２に転送される。以下の説明において、
変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，
ｙ）に対する相対座標であり、例えば近傍の大きさが５
×５であれば［−２，−１，０，１，２］×［−２，−
１，０，１，２］の範囲を動く、また、場合によって色
Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させ
て説明する。

【０２１１】近傍読み出し部６０９で読みだされた近傍
画像ｈ(p,q) は、合成最小自乗近似部６１２内の近傍画
像バッファ６１２ｆに転送される。近傍画像バッファ６
１２ｆにｈ(p,q) が転送されると、その一方で単板ＲＧ
Ｂランダム配列ＣＣＤ６０４上で、当該近傍画像内の座
標(p,q) に対応する位置に色成分ｃに対応する色フィル
タが存在すれば１、存在しなければ０をとる変数mask
(p,q,c) が色成分マスク生成部６１２ａにより算出さ
れ、その内部に保持される。図３は近傍画像におけるあ
る特定の色フィルタ配置に対応する色成分マスクを例示
したものである。

【０２１２】最小自乗係数算出部６１２ｂは、劣化後テ
ンプレート保持ＲＯＭ６１１ｂに予め記憶されているテ
ンプレートΦｉ(p,q) （ｉ＝０〜Ｎ−１）を順に読み出
し、近傍画像バッファ６１２ｆより転送された近傍画像
ｈ(p,q) の各色成分ｃ（ｃ＝０，１，２）について、変
数mask(p,q,c) を用いて、順に近似誤差

【数６】

【０２１３】を最小化する近似係数α(c) 、β(c) を計
算する。

【０２１４】近似誤差ｅ(c) は近似誤差累積部６１２ｃ
に出力され、近似誤差累積部６１２ｃでは近似誤差ｅ
(c) を全色成分について累積加算し、累積近似誤差ｅと
してテンプレート累積部６１２ｇに転送する。また、近
似係数α(c) 、β(c) （ｃ＝０，１，２）は近似係数保
持バッファ６１２ｄに順に出力され、そこに保持され
る。テンプレート累積部６１２ｇには、Ｎ行のテーブル
Ｔが保持される。

【０２１５】図１２は合成最小自乗近似部の作用を説明
するための図であり、（ａ）は任意の近傍画像を示し、
（ｂ）は０からＮ−１までのＮ個のテンプレートを示
し、（ｃ）はテーブルＴであり、（ｄ）はソート後のテ
ーブルＴであり、（ｅ）は集合Ｖであり、（ｆ）は変数
Ｕであり、（ｇ）は合成テンプレートである。

【０２１６】図１２（ｃ）に示すようにテーブルＴに
は、それまでの各テンプレートΦｉ′(p,q)(ｉ′＜ｉ）
のインデックスｉ′、Φｉ′(p,q) に対応する累積近似
誤差、および近似係数が（ｉ′＋１）番目の行に登録さ
れている。図１２（ｃ）では図１２（ａ）に示す近傍画
像ｈ(p,q) を図１２（ｂ）のテンプレートΦｉ(p,q) で
近似した場合が例示してある。

【０２１７】テンプレート累積部６１２ｇは、近似誤差
累積部６１２ｃから累積近似誤差ｅが転送されると、近
似係数保持バッファ６１２ｄに保持された近似係数α
(c) 、β(c) （ｃ＝０，１，２）を読み出し、ｉ，ｅと
ともにテーブルＴの（ｉ＋１）番目の行に書き込む。

【０２１８】最小自乗係数算出部６１２ｂがすべてのΦ
ｉ（ｉ＝０〜Ｎ−１）について処理を終えると、テンプ
レート合成部６１２ｈはテンプレート累積部６１２ｇに
保持されたテーブルＴを用いて以下の手順で新たにテン
プレート集合を構成する。

【０２１９】まず、Ｎ個の内部変数mark(i) （ｉ＝０〜
Ｎ−１）とカウンタ total＿markをすべて０に初期化す
る。次に、テーブルＴの行を図１２（ｄ）に示すように
累積近似誤差の小さな順に並べ替え、最も累積近似誤差
の小さな行に対応するテンプレートインデックスをｋ′
とする。図１２（ｄ）においては、ｋ′は３となってい
る。同時に、ｋ′に対応する近似係数をαｍ(c) 、βｍ
(c) （ｃ＝０，１，２）とする。さらに、mark(k′) を
１、total ＿markを１に設定する。

【０２２０】以後、並べ替えた行の順番に各行を読みこ
み、累積近似誤差が所定の閾値より小さい場合には、そ
の行の近似係数値を変数α(c) 、β(c) に読み出してそ
れぞれαｍ(c) 、βｍ(c) との差の絶対値ｅα，ｅβを
とる。αｍ(c) とα(c) が同符号かつｅαおよびｅβが
所定の閾値より小さな場合についてのみ、その行のテン
プレートインデックスｋを用いてmark(k) を１に設定
し、 total＿markを１増やす。 total＿markが所定の上
限値Ｍ′に達するか、全ての行に対しこの処理が完了す
れば繰り返しは終了する。

【０２２１】この処理が終了すると、図１２（ｅ）に示
すようにmark(k) が１となっているテンプレートインデ
ックスｋの集合Ｖが構成されたことになる。整数集合Ｖ
の各要素は、最も累積近似誤差が小さかったテンプレー
トｋ′と近似誤差の生じ方が似ておりかつ近似誤差が十
分小さいテンプレートのインデックスである。

【０２２２】続いて、Ｖから要素数が所定の個数の部分
集合をすべて作り、図１２（ｆ）に示すように各部分集
合を値とする変数Ｕ(j) （ｊ＝０〜Ｍ−１）に登録す
る。図１２（ｆ）においては各部分集合の要素数は２で
ある。ここで、Ｍは条件を満たす部分集合の総数であ
る。さらに、変数Ｕ(j) に対して合成テンプレートΦ′
ｊ(p,q) を以下の式に従って構成する。

【０２２３】

【数７】

【０２２４】この式において、ｋは整数集合Ｕ(j) に含
まれるすべての整数値を取る。関数ｍａｘはすべてのｋ
に関する引数の最大値を計算する。正実数λ(j,k) と正
実数μ(j,k) はλ(j,k) Φｋ(p,q) ＋μ(j,k) を最大値
１、最小値０に正規化するための正規化変数である。

【０２２５】図１２（ｇ）に合成テンプレートΦ′ｊ
(p,q) を例示している。変数

【数８】

【０２２６】はΦ′ｊ(p,q) とともにテンプレート合成
部６１２ｈに保持される。ここで、ｊ＝０〜Ｍ−１であ
る。

【０２２７】テンプレート合成部６１２ｈの処理が完了
すると、最小自乗係数算出部６１２ｉはテンプレート合
成部６１２ｈから順にテンプレートΦ′ｊ(p,q) （ｊ＝
０〜Ｍ−１）を読み出し、最小自乗係数算出部６１２ｂ
と同様に近傍画像バッファ６１２ｆから転送された近傍
画像ｈ(p,q) の各色成分ｃ（ｃ＝０，１，２）につい
て、順に近似誤差

【数９】

【０２２８】を最小化する近似係数α′(c) 、β′(c)
を計算し、近似誤差累積部６１２ｊに近似誤差ｅ′
（ｃ）を出力する。近似誤差累積部６１２ｊでは近似誤
差ｅ′(c)を全色成分について累積加算し、累積近似誤
差ｅ′＝ｅ′(0) ＋ｅ′(1) ＋ｅ′(2) をテンプレート
決定部６１２ｅに転送する。近似係数α′(c) 、β′
(c) （ｃ＝０，１，２）は近似係数保持バッファ６１２
ｋに順に出力され、保持される。

【０２２９】テンプレート決定部６１２ｅには、それ以
前のテンプレートΦ′j ′(p,q) （ｊ′＜ｊ）に対する
誤差の最小値 min＿e ′と最小値を与えたインデックス
min＿j が保持されている。テンプレート決定部６１２
ｅは、近似誤差累積部６１２ｄから転送された誤差ｅ′
を内部に保持する誤差の最小値 min＿e ′と比較し、新
たな誤差がより小さければ min＿e ′をｅ′に、 min＿
j をｊに更新する。

【０２３０】また、テンプレート決定部６１２ｅは誤差
の最小値を与えるテンプレートに関する近似係数をもこ
れらを min＿α′(c) および min＿β′(c) （ｃ＝０，
１，２）として保持しており、 min＿e ′の更新と同時
にこれらの値も近似係数保持バッファ６１２ｋから読み
込まれた近似係数α′(c) 、β′(c) にそれぞれ更新さ
れる。

【０２３１】最小自乗係数算出部６１２ｉで全てのテン
プレートΦ′ｊ(p,q) が処理された後、テンプレート決
定部６１２ｅは誤差の最小値 min＿e ′を与えたインデ
ックス min＿j を用いてテンプレート合成部６１２ｈの
内部変数

【数１０】

【０２３２】同時に、近似誤差誤差の最小値 min＿e ′
に反比例する近似評価値Ａ′をＡ′＝１／（１＋ min＿
e ′）により計算する。そして、

【数１１】

【０２３３】およびＡ′を帯域・色情報復元部６１４に
転送する。

【０２３４】帯域・色情報復元部６１４は、転送された
整数の集合Ｕ(min＿j)に含まれるすべての整数ｋに対
し、対応する劣化前のテンプレートΨｋ(p,q) を劣化前
テンプレート保持ＲＯＭ６１１ａから読み出し、転送さ
れた係数

【数１２】

【０２３５】を用いて以下の式から近傍画像の劣化前の
画像を近似する近傍補正近似画像ｆ(p,q,c) を得る。

【０２３６】

【数１３】

【０２３７】そして、ｆ(p,q,c) を近似評価値Ａ′とと
もに三板画像加算部６１５に転送する。

【０２３８】処理の途中では、出力画像バッファ６１６
の各画素位置にこれまでの処理で得られた複数の補正画
素値の平均値と信頼値が保持されるようになっている。
三板画像加算部６１５は、出力画像バッファ６１６から
当該近傍画像に対応する領域の補正画素値の平均値Ｓｆ
(p,q,c) と信頼値Ｑ(p,q,c) を読み出し、これらと帯域
・色情報復元部６１４から転送された近傍補正近似画像
ｆ(p,q,c) 及び近似評価値Ａ′から、新たな補正画素値
の平均値Ｓｆ_new (p,q,c) および信頼値Ｑ_new(p,q) を
式 Ｑ_new (p,q) ＝Ｑ(p,q) ＋Ａ′、 Ｓｆ_new (p,q,c) ＝（Ｑ(p,q) ・Ｓｆ(p,q,c) ＋Ａ′・
ｆ(p,q,c))／Ｑ_new (p,q) （ｃ＝0,1,2) により計算し、Ｓｆ_new (p,q,c) 及びＱ_new (p,q) を出
力画像バッファ６１６の当該近傍画像に対応する領域に
書き込む。

【０２３９】全ての画素位置に関してこれらの処理が終
了すると、入力画像バッファ６０８の画像の各画素につ
いて、当該画素を含むすべての近傍画像に対する近傍補
正近似画像が計算され、その結果得られる各画素に関す
る複数の補正画素値が三板画像加算部６１５における処
理により重み付き平均されて出力画像バッファ６１６に
蓄積されるため、最終的に電子カメラ６００の光学系に
よる劣化と色の欠落が補正された３色カラー画像が得ら
れる。

【０２４０】補正の精度は低いが、メモリ容量を削減
し、処理を高速化しない場合には、画像加算部６１５を
削除し、出力画像バッファ６１６内に信頼値を保持しな
い構成が考えられる。この場合、帯域・色情報復元部６
１４は直接出力画像バッファ６１６に出力する。作用と
しては、帯域・色情報復元部６１４において、帯域・色
情報を補正したｆ(p,q,c) のうち、中心画素の補正値ｆ
(0,0,c) （ｃ＝０，１，２）のみを出力画像バッファ６
１６に出力するように変更する。

【０２４１】また、電子カメラ６００に水晶フィルタ６
０３がなく帯域制限がなされていない場合には、テンプ
レート保持ＲＯＭ６１１が劣化前テンプレート保持ＲＯ
Ｍ６１１ａのみからなり、合成最小自乗近似部６１２が
劣化前テンプレート保持ＲＯＭ６１１ａに接続される構
成にする。

【０２４２】この場合、各部分の作用は、合成最小自乗
近似部６１２内部では、テンプレートとしてΦｉのかわ
りにΨｉが用いられる点を除いて同一である。その結
果、帯域・色情報復元部６１４では色成分の欠落は補正
されるが帯域の劣化についてはなにもされない近傍補正
近似画像が得られ、出力画像バッファ６１６には入力画
像バッファ６０８内の画像の色成分の欠落が補正された
３色カラー画像が得られる。

【０２４３】この変形例において、さらに前述の処理を
高速化する変形例と同一の変形を施せば同じく処理の高
速化が達せられることは容易に推察されるであろう。

【０２４４】なお、上記した具体的実施形態には、以下
の構成を有する発明が含まれている。

【０２４５】（１） 画素の位置に応じて少なくとも１
つ以上の分光特性に関する情報が欠落する画像信号から
元の画像信号を回復処理する画像処理装置において、前
記情報が欠落する画像信号から、指定された画素を包含
する所定サイズの近傍画像を抽出する近傍画像抽出手段
と、この近傍画像抽出手段によって抽出された近傍画像
と同一サイズの複数の幾何学的パターンに基づくテンプ
レート群を保持するテンプレート保持手段と、前記近傍
画像抽出手段によって抽出された近傍画像に含まれる複
数の分光特性の情報と、上記テンプレート保持手段によ
って保持された複数のテンプレート群との間でマッチン
グを行なって近傍画像に最も類似する最適テンプレート
を選択し、この最適テンプレートに基づき近傍画像を近
似する近傍近似画像を生成する近傍近似画像生成手段
と、この近傍近似画像生成手段によって生成された近傍
近似画像に基づき、前記指定された画素における欠落す
る情報を復元する復元手段と、を具備することを特徴と
する画像処理装置。

【０２４６】（２） 前記復元手段は、指定された画素
を包含する複数の前記近傍画像から得られる複数の前記
近傍近似画像の、前記少なくとも１つ以上の分光特性に
関する情報を重みつき平均することで復元処理を行なう
ことを特徴とする構成（１）に記載の画像処理装置。

【０２４７】（３） 前記テンプレート保持手段は、複
数の幾何学的パターンに基づく第１のテンプレート群
と、この第１のテンプレート群を撮像装置の光学系の帯
域制限特性に応じて劣化させた第２のテンプレート群と
を有し、前記近傍近似画像生成手段は、前記第２のテン
プレート群から前記近傍画像に類似する最適テンプレー
トを選択し、これに対応する前記第１のテンプレート群
に基づき帯域制限前の近傍近似画像を生成することを特
徴とする構成（１）または（２）に記載の画像処理装
置。

【０２４８】（４） 前記復元手段は、前記近傍画像と
前記近傍近似画像との差分情報を算出し、この差分情報
から所定の評価関数に基づき構造成分のみを抽出し、こ
の構造成分のコントラスト情報を用いて前記近傍近似画
像の輝度成分を変調することで前記指定された画素にお
ける欠落する情報を復元することを特徴とする構成
（２）または（３）記載の画像処理装置。

【０２４９】（５） 前記復元手段は、前記近傍画像と
前記近傍近似画像との差分情報を算出し、この差分情報
から所定の評価関数に基づき構造成分のみを抽出し、前
記近傍近似画像生成手段は、前記構造成分に基づき第３
のテンプレート群を生成し、この第３のテンプレート群
により前記近傍画像を近似する近傍再近似画像を生成
し、前記復元手段は、前記近傍近似画像および前記近傍
再近似画像に基づき前記指定された画素における欠落す
る情報を復元することを特徴とする構成（２）に記載の
画像処理装置。

【０２５０】（６） 前記テンプレート保持手段に保持
された前記テンプレート群は異なる解像度ごとに分類さ
れており、前記復元手段は、前記近傍画像と前記近傍近
似画像との差分情報を算出し、この差分情報から所定の
評価関数に基づき構造成分のみを抽出し、前記近傍近似
画像生成手段は、前記構造成分と、前記テンプレート群
における前記構造成分の解像度に対応したテンプレート
群との間でマッチングを行って最適テンプレートを選択
し、この最適テンプレートから前記差分情報を近似する
差分近傍近似画像を生成し、前記復元手段は、前記差分
近傍近似画像と前記近傍近似画像に基づき前記指定され
た画素における欠落する情報を復元し、前記差分近傍近
似画像と前記構造成分との差分情報から新たな構造成分
を抽出し、この構造成分が所定の閾値以下になるまで復
元処理を反復することを特徴とする構成（２）に記載の
画像処理装置。

【０２５１】（７） 前記テンプレート保持手段に保持
された前記第２のテンプレート群は異なる解像度ごとに
分類されており、前記復元手段は、前記近傍画像と前記
近傍近似画像との差分情報を算出し、この差分情報から
所定の評価関数に基づき構造成分のみを抽出し、前記近
傍近似画像生成手段は、前記構造成分と、前記第２のテ
ンプレート群における前記構造成分の解像度に対応した
テンプレート群との間でマッチングを行って最適テンプ
レートを選択し、この最適テンプレートから前記差分情
報を近似する差分近傍近似画像を生成し、前記復元手段
は、前記差分近傍近似画像と前記近傍近似画像に基づき
前記指定された画素における欠落する情報を復元し、前
記差分近傍近似画像と前記構造成分との差分情報から新
たな構造成分を抽出し、この構造成分が所定の閾値以下
になるまで復元処理を反復することを特徴とする構成
（３）に記載の画像処理装置。

【０２５２】（８） 前記復元手段は、前記近傍近似画
像から空間的相関情報を算出し、この空間的相関情報に
基づき前記指定された画素に対する自己回帰モデルを適
用して前記指定された画素における欠落する情報を復元
することを特徴とする構成（１）、（２）、（３）のい
ずれか１つに記載の画像処理装置。

【０２５３】（９） 前記近傍近似画像生成手段は、前
記近傍画像と前記複数のテンプレート群との間でマッチ
ングを行い、マッチング誤差の少ない複数のテンプレー
トを合成して単一の最適テンプレートを生成することを
特徴とする構成（１）または（２）に記載の画像処理装
置。

【０２５４】（１０） 前記近傍近似画像生成手段は、
前記近傍画像と前記第２のテンプレート群との間でマッ
チングを行い、マッチング誤差の少ない複数のテンプレ
ートを合成して単一の最適テンプレートを生成すること
を特徴とする構成（３）に記載の画像処理装置。

【０２５５】（１１） 前記近傍近似画像生成手段は、
前記テンプレート保持手段に保持された前記テンプレー
ト群を定数αで乗算し、定数βを加算して変形させるこ
とで前記近傍画像に最も類似する最適テンプレートを選
択することを特徴とする構成（１）、（２）、（４）〜
（６）、（８）、（９）に記載の画像処理装置。

【０２５６】（１２） 前記近傍近似画像生成手段は、
前記テンプレート保持手段に保持された前記第２のテン
プレート群を定数αで乗算し、定数βを加算して変形さ
せることで前記近傍画像に最も類似する最適テンプレー
トを選択することを特徴とする構成（３）、（７）、
（１０）に記載の画像処理装置。

【０２５７】構成（１）〜（１２）と上記した各実施形
態との対応関係は以下の通りである。

【０２５８】Ａ．構成（１）には少なくとも第１〜第６
実施形態が対応し、第１実施形態では、近傍画像抽出手
段は入力画像バッファ１０８及び近傍読み出し部１０９
に対応する。テンプレート保持手段はテンプレート保持
ＲＯＭ１１１に対応する。近傍近似画像生成手段は最小
自乗近似部１１２及び帯域・色情報復元部１１４に対応
する。復元手段は三板画像加算部１１５および出力画像
バッファ１１６に対応する。

【０２５９】第２実施形態では、近傍画像抽出手段は入
力画像バッファ２０８及び近傍読み出し部２０９に対応
する。テンプレート保持手段はテンプレート保持ＲＯＭ
２１１に対応する。近傍近似画像生成手段は最小自乗近
似部２１２、帯域・色情報復元部２１４及び色情報復元
部２１３に対応する。復元手段は補間係数計算部２１
５、線形演算部２１６及び出力画像バッファ２１７に対
応する。

【０２６０】第３実施形態では、近傍画像抽出手段は入
力画像バッファ３０８及び近傍読み出し部３０９に対応
する。テンプレート保持手段はテンプレート保持ＲＯＭ
３１１に対応する。近傍近似画像生成手段はテンプレー
ト選択部３１０、最小自乗近似部３１２、帯域・色情報
復元部３１４及び劣化後テンプレート加工部３１３に対
応する。復元手段は三板画像加算部３１５ａ、出力画像
バッファ３１７、単板画像加算部３１５ｂ、単板画像バ
ッファ３１６、差分計算部３１８、差分画像バッファ３
１９及び規則性評価部３２０に対応する。

【０２６１】第４実施形態では、近傍画像抽出手段は入
力画像バッファ４０８及び近傍読み出し部４０９に対応
する。テンプレート保持手段はテンプレート保持ＲＯＭ
４１１に対応する。近傍近似画像生成手段は最小自乗近
似部４１２及び帯域・色情報復元部４１４に対応する。
復元手段は画像加算部４１５、三板画像バッファ４１７
ａ、単板画像バッファ４１７ｂ、残差演算部４１８、規
則性判定部４１９、残差加算部４２０及び出力画像バッ
ファ４２１に対応する。

【０２６２】第５実施形態では、近傍画像抽出手段は入
力画像バッファ５０８及び近傍読み出し部５０９に対応
する。テンプレート保持手段はテンプレート保持ＲＯＭ
５１１に対応する。近傍近似画像生成手段はテンプレー
ト選択部５１０、テンプレート生成部５２１、最小自乗
近似部５１２、色情報復元部５１４及び単板画像生成部
５１３に対応する。復元手段は三板画像加算部５１５
ａ、単板画像加算部５１５ｂ、単板画像バッファ５１
６、差分計算部５１８、差分画像バッファ５１９、規則
性評価部５２０及び及び出力画像バッファ５１７に対応
する。

【０２６３】第６実施形態では、近傍画像抽出手段は入
力画像バッファ６０８及び近傍読み出し部６０９に対応
する。テンプレート保持手段はテンプレート保持ＲＯＭ
６１１に対応する。近傍近似画像生成手段は合成最小自
乗近似部６１２及び帯域・色情報復元部６１４に対応す
る。復元手段は三板画像加算部６１５及び出力画像バッ
ファ６１６に対応する。

【０２６４】単板状態の画像の各近傍に対し、近傍近似
画像生成手段が複数の分光成分全てを考慮して最も良く
近似するテンプレートを一つ決定し、そのテンプレート
に基づいた補間を復元手段が行うため、輝度成分、色成
分を区別して扱う場合と比較してモアレに影響されるこ
とがなく、近傍に含まれる微細な幾何学的特徴を検出す
ることができる。

【０２６５】これによって、以下に述べる発明が解決し
ようとする課題のＰ１が解決される。また、特定の色成
分を高サンプリング密度で得ておく必要もないため、Ｐ
２も解決される。

【０２６６】Ｂ．構成（２）には少なくとも第１〜第６
実施形態が対応し、第１実施形態では、復元手段は三板
画像加算部１１５および出力画像バッファ１１６に対応
する。

【０２６７】第２実施形態では、復元手段は補間係数計
算部２１５、線形演算部２１６及び出力画像バッファ２
１７に対応する。

【０２６８】第３実施形態では、復元手段は三板画像加
算部３１５ａ、出力画像バッファ３１７、単板画像加算
部３１５ｂ、単板画像バッファ３１６、差分計算部３１
８、差分画像バッファ３１９及び規則性評価部３２０に
対応する。

【０２６９】第４実施形態では、復元手段は画像加算部
４１５、三板画像バッファ４１７ａ、単板画像バッファ
４１７ｂ、残差演算部４１８、規則性判定部４１９、残
差加算部４２０及び出力画像バッファ４２１に対応す
る。

【０２７０】第５実施形態では、復元手段は三板画像加
算部５１５ａ、単板画像加算部５１５ｂ、単板画像バッ
ファ５１６、差分計算部５１８、差分画像バッファ５１
９、規則性評価部５２０及び出力画像バッファ５１７に
対応する。

【０２７１】第６実施形態では、復元手段は三板画像加
算部６１５及び出力画像バッファ６１６に対応する。

【０２７２】入力画像の各画素について、近傍近似画像
生成手段によりその画素を包含する複数の近傍の各々に
対する近傍近似画像が生成され、復元手段がそれら複数
の近傍近似画像における当該画素の近似値を重みつき平
均して当該画素の最終的な近似値を計算する結果、各近
傍における近似の誤りが補正される。

【０２７３】これによって、以下に述べる発明が解決し
ようとする課題のＰ３が解決される。

【０２７４】Ｃ．構成（３）には少なくとも第１、第
２、第３、第４、第６実施形態が対応し、第１実施形態
では、テンプレート保持手段はテンプレート保持ＲＯＭ
１１１に対応する。近傍近似画像生成手段は、最小自乗
近似部１１２及び帯域・色情報復元部１１４に対応す
る。

【０２７５】第２実施形態では、テンプレート保持手段
はテンプレート保持ＲＯＭ２１１に対応する。近傍近似
画像生成手段は最小自乗近似部２１２、帯域・色情報復
元部２１４及び色情報復元部２１３に対応する。

【０２７６】第３実施形態では、テンプレート保持手段
はテンプレート保持ＲＯＭ３１１に対応する。近傍近似
画像生成手段はテンプレート選択部３１０、最小自乗近
似部３１２、帯域・色情報復元部３１４及び劣化後テン
プレート加工部３１３に対応する。

【０２７７】第４実施形態では、テンプレート保持手段
はテンプレート保持ＲＯＭ４１１に対応する。近傍近似
画像生成手段は最小自乗近似部４１２及び帯域・色情報
復元部４１４に対応する。

【０２７８】第６実施形態では、テンプレート保持手段
はテンプレート保持ＲＯＭ６１１に対応する。近傍近似
画像生成手段は合成最小自乗近似部６１２及び帯域・色
情報復元部６１４に対応する。

【０２７９】テンプレート保持手段が複数の幾何学的パ
ターンに基づく第１のテンプレート群と、この第１のテ
ンプレート群を撮像装置の光学系の帯域制限特性に応じ
て劣化させた第２のテンプレート群を持ち、入力画像の
各画素の近傍に対して近傍近似画像生成手段が第２のテ
ンプレート群から最も類似する最適テンプレートを選択
し、これに対応する前記第１のテンプレート群のテンプ
レートに基づき帯域制限前の近傍近似画像を生成する結
果、光学系の帯域劣化が補正された画像が得られる。

【０２８０】これによって、以下に述べる発明が解決し
ようとする課題のＰ５が解決される。

【０２８１】Ｄ．構成（４）には少なくとも第４実施形
態が対応する。

【０２８２】復元手段は画像加算部４１５、三板画像バ
ッファ４１７ａ、単板画像バッファ４１７ｂ、残差演算
部４１８、規則性判定部４１９、残差加算部４２０及び
出力画像バッファ４２１に対応する。

【０２８３】入力画像の各画素の近傍に対して近傍近似
画像生成手段が近傍近似画像を生成し、復元手段が近傍
とその近傍近似画像との差分情報を算出し、この差分情
報から構造成分のみを抽出し、構造成分のコントラスト
情報を用いて近傍近似画像の輝度成分を変調すること
で、近傍がテンプレートにより完全に近似できない場合
でも近似誤差のうち規則的構造を持つ成分は出力画像の
輝度成分に反映される。

【０２８４】これによって、以下に述べる発明が解決し
ようとする課題のＰ７が解決される。

【０２８５】Ｅ．構成（５）には少なくとも第５実施形
態が対応する。

【０２８６】近傍近似画像生成手段はテンプレート選択
部５１０、テンプレート生成部５２１、最小自乗近似部
５１２、色情報復元部５１４及び単板画像生成部５１３
に対応する。復元手段は三板画像加算部５１５ａ、単板
画像加算部５１５ｂ、単板画像バッファ５１６、差分計
算部５１８、差分画像バッファ５１９、規則性評価部５
２０及び出力画像バッファ５１７に対応する。

【０２８７】入力画像の各画素の近傍に対し、まず近傍
近似画像生成手段が近傍近似画像を生成し、復元手段が
近傍と近傍近似画像との誤差である差分画像を算出し、
近傍近似画像生成手段が差分画像から所定の評価関数に
基づき構造成分を算出して第３のテンプレート群を生成
する。次に、近傍近似画像生成手段が近傍を第３のテン
プレート群によって再び近似し、近傍再近似画像を生成
する。最後に、復元手段が近傍近似画像と近傍再近似画
像に基づいて補正を行う。その結果、近傍がテンプレー
ト保持手段のテンプレートにより近似できない規則的構
造を含んでいる場合でも、その構造を近似誤差を表わす
差分画像から抽出して再近似を行う。

【０２８８】これによって、以下に述べる発明が解決し
ようとする課題のＰ７が解決される。

【０２８９】Ｆ．構成（６）、（７）には少なくとも第
３実施形態が対応する。

【０２９０】テンプレート保持手段はテンプレート保持
ＲＯＭ３１１に対応する。近傍近似画像生成手段はテン
プレート選択部３１０、最小自乗近似部３１２、帯域・
色情報復元部３１４及び劣化後テンプレート加工部３１
３に対応する。復元手段は三板画像加算部３１５ａ、出
力画像バッファ３１７、単板画像加算部３１５ｂ、単板
画像バッファ３１６、差分計算部３１８、差分画像バッ
ファ３１９及び規則性評価部３２０に対応する。

【０２９１】テンプレート保持手段が異なる解像度ごと
に分類されたテンプレート群を有し、入力画像の各画素
の近傍に対し、近傍近似画像生成手段が解像度の低いテ
ンプレートから解像度の高いテンプレートへとテンプレ
ートの解像度を上げながら近似誤差を減少させていくた
め、複雑な構造のテンプレートを用意することなく高速
に近似処理が行える。

【０２９２】これによって、以下に述べる発明が解決し
ようとする課題のＰ４が解決される。

【０２９３】Ｇ．構成（８）には少なくとも第２実施形
態が対応する。

【０２９４】復元手段は補間係数計算部２１５、線形演
算部２１６及び出力画像バッファ２１７に対応する。

【０２９５】入力画像の各画素の近傍に対し、近傍近似
画像生成手段が近傍近似画像を生成し、復元手段が近傍
近似画像から空間的相関情報を算出し、この空間的相関
情報に基づき当該画素に対する自己回帰モデルを適用し
て欠落する情報を復元することにより、近傍近似画像生
成手段により選択されたテンプレートの如何にかかわら
ず共通の手順で補間処理が行われる。

【０２９６】これによって、以下に述べる発明が解決し
ようとする課題のＰ６が解決される。

【０２９７】Ｈ．構成（９）、（１０）には少なくとも
第６実施形態が対応する。

【０２９８】近傍近似画像生成手段は合成最小自乗近似
部６１２及び帯域・色情報復元部６１４に対応する。

【０２９９】入力画像の各画素の近傍に対し、近傍近似
画像生成手段が近似誤差の少ない複数のテンプレートを
合成して単一の最適テンプレートを生成する。

【０３００】これによって、以下に述べる発明が解決し
ようとする課題のＰ８が解決される。

【０３０１】Ｉ．構成（１１）、（１２）には少なくと
も第１〜第６実施形態が対応する。

【０３０２】第１実施形態では、近傍近似画像生成手段
は最小自乗近似部１１２及び帯域・色情報復元部１１４
に対応する。

【０３０３】第２実施形態では、近傍近似画像生成手段
は最小自乗近似部２１２、帯域・色情報復元部２１４及
び色情報復元部２１３に対応する。

【０３０４】第３実施形態では、近傍近似画像生成手段
はテンプレート選択部３１０、最小自乗近似部３１２、
帯域・色情報復元部３１４及び劣化後テンプレート加工
部３１３に対応する。

【０３０５】第４実施形態では、近傍近似画像生成手段
は最小自乗近似部４１２及び帯域・色情報復元部４１４
に対応する。

【０３０６】第５実施形態では、近傍近似画像生成手段
はテンプレート選択部５１０、テンプレート生成部５２
１、最小自乗近似部５１２、色情報復元部５１４及び単
板画像生成部５１３に対応する。

【０３０７】第６実施形態では、近傍近似画像生成手段
は合成最小自乗近似部６１２及び帯域・色情報復元部６
１４に対応する。

【０３０８】入力画像の各画素の近傍に対し、近傍近似
画像生成手段において、まず近傍の各色成分ごとにテン
プレートに定数αを乗算し、定数βを加算した変形テン
プレートにより当該色成分を近似するための最適な係数
α，βを求める。次に、各色成分ごとに最適な近似を与
える係数α，βを用いた場合の変形テンプレートによる
近似誤差を単色近似誤差として計算し、全ての色成分の
単色近似誤差に基づいてテンプレートによる近傍の近似
度を評価することにより、一つのテンプレートで複数の
色成分の近似を行うことができる。

【０３０９】これによって、以下に述べる発明が解決し
ようとする課題のＰ１、Ｐ２が解決される。

【０３１０】上記した構成（１）〜（１２）によって解
決される発明が解決しようとする課題は以下の通りであ
る。

【０３１１】Ｐ１ 従来技術では相対的に高サンプリング密度で与えられる
輝度成分においても欠落する情報が存在し、三板方式で
得られる輝度成分と比較して劣化した情報しか得られな
い。また、この輝度成分に基づき算出される他の色成分
も、三板方式で得られる色成分に比較して劣化した情報
しか得られない。

【０３１２】Ｐ２ 従来技術では任意の色フィルタ配置の入力画像を処理す
る方法に関しては記載していない。輝度成分の補間にお
いては、あらかじめ用意された幾何学的特徴とこれに対
応する補間方法を用意する必要があり、色フィルタ配置
が変わると設計を変更する必要がある。

【０３１３】Ｐ３ 従来技術ではノイズの影響による誤動作に対応する方法
に関しては記載していない。輝度成分および他の色成分
を処理する場合、一回の処理で補間を行うため、パルス
性のノイズの影響を受けやすい。特に輝度成分の処理に
おいては３×３の局所領域で幾何学的特徴を分類するた
め、ノイズによる誤分類が発生しやすい。

【０３１４】Ｐ４ 従来技術ではノイズの影響を軽減するために幾何学的特
徴を判定する領域のサイズを大きくした場合に高速な処
理で判定を行なうことができない。

【０３１５】Ｐ５ 従来技術では撮像装置の光学系により帯域制限される情
報の回復に関しては記載されていない。輝度成分および
他の色の色成分は帯域制限された範囲内で処理されてお
り、帯域の回復は扱うことはできない。

【０３１６】Ｐ６ 従来技術では複数の補間方法を幾何学的特徴に応じて用
意しており、単一の方法に関しては記載されていない。
輝度成分を幾何学的特徴に基づき補間する際には、幾何
学的特徴の数だけ補間方法を用意しなければならない。
高精度な処理のためには、幾何学的特徴の数を増やす必
要があるが、これに応じて補間方法を考えねばならず、
処理が煩雑になる。

【０３１７】Ｐ７ 従来技術ではあらかじめ用意された幾何学的特徴とこれ
に対応する補間方法に当てはまらない場合に対する対策
に関しては記載されていない。輝度成分を幾何学的特徴
に応じて分類する際には、強制的にどれかの幾何学的特
徴に分類するため、当てはまらない領域に関しては誤差
が発生して高精度な処理を行なうことができない。

【０３１８】Ｐ８ 従来技術ではあらかじめ用意された幾何学的特徴とこれ
に対応する補間方法に当てはまらない場合には高精度な
処理を行なうことができない。

【０３１９】

【発明の効果】請求項１に記載の発明によれば、従来に
比べて高精細な画像を得ることができ、かつ、任意の色
フィルタ配置の入力画像を処理することができるように
なる。

【０３２０】また、請求項２に記載の発明によれば、請
求項１に記載の発明の効果に加えて、画像信号のノイズ
による劣化を低減できるようになる。

【０３２１】また、請求項３に記載の発明によれば、請
求項１または請求項２に記載の発明の効果に加えて、帯
域制限によって失われた情報を回復することができるよ
うになる。

【図面の簡単な説明】

【図１】本発明の第１実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図２】図１に示す最小自乗近似部の構成とその周辺回
路を示す図である。

【図３】色成分マスク生成部により生成されるマスクの
説明図である。

【図４】本発明の第２実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図５】図４における最小自乗近似部１１２の処理の流
れを表すフローチャートである。

【図６】本発明の第３実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図７】本発明の第４実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図８】図７に示す最小自乗近似部の構成とその周辺回
路を示す図である。

【図９】本発明の第５実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図１０】本発明の第６実施形態が適用される画像処理
システムの構成を示す図である。

【図１１】図１０に示す合成最小自乗近似部の構成とそ
の周辺回路を示す図である。

【図１２】合成最小自乗近似部の作用を説明するための
図である。

【符号の説明】

１００…電子カメラ、１０１…画像処理装置、１０２…
レンズ、１０３…水晶フィルタ、１０４…単板ＲＧＢラ
ンダム配列ＣＣＤ、１０５…Ａ／Ｄ変換部、１０６…フ
ィルタ配置情報保持ＲＯＭ、１０７…画像バッファ、１
０８…入力画像バッファ、１０９…近傍読み出し部、１
１１…テンプレート保持ＲＯＭ、１１２…最小自乗近似
部、１１４…帯域・色情報復元部、１１５…三板画像加
算部、１１６…出力画像バッファ。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１０年１月１９日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】一方、最小自乗係数算出部１１２ｂは、劣
化後テンプレート保持ＲＯＭ１１１ｂのテンプレートΦ
ｉ(p,q) （ｉ＝０，１，２，〜，Ｎ−１）からテンプレ
ートΦ0(p,q)を読み出し、転送された近傍画像ｈから色
成分マスクにより生成された各色成分ｃ（ｃ＝０，１，
２）との近似誤差ｅ０（１）、ｅ０（２）、ｅ０（３）
を各々最小化する近似係数α０（ｃ），β０（ｃ）を、
近似誤差を表す一般式 e(c) ＝ ‖mask(p,q,c) ・( α(c) Φi(p,q)＋β(c)
−h(p,q)‖ を用いて、 各色成分毎に計算する。最小自乗係数算出部
１１２ｂは、計算された近似係数α０（ｃ）、β０
（ｃ）を近傍画像ｈと共に近似係数保持バッファ１１２
ｄに送り、最小化された近似誤差ｅ０（１）、ｅ０
（２）、ｅ０（３）とそれに対応するテンプレートのイ
ンデックスｉ＝０を近似誤差累積部１１２ｃに送る。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００４０

【補正方法】変更

【補正内容】

【００４０】次に、最小自乗係数算出部１１２ｂが２番
目のテンプレートΦ1(p,q)を読み出し、上記のステップ
を繰り返すことにより、テンプレートΦ1(p,q)のインデ
ックスｉ＝１と、このテンプレートに対応する累積加算
誤差ｅ１が求められる。テンプレート決定部１１２ｅ
は、累積加算誤差ｅ０と累積加算誤差ｅ１とを比較し、
誤差が小さい方の値を対応するインデックスと共に記憶
部に残す。また、近似係数についても、小さい累積加算
誤差を発生するテンプレートの近似係数が記憶部に保持
される。以降は、３番目のテンプレートΦ2(p,q)、４番
目のテンプレートΦ3(p,q)、…と順番に読み出しては、
累積加算誤差ｅ２、ｅ３…を求め、逐次記憶部に記憶さ
れた累積加算誤差の値と比較しては、より小さい方を記
憶部にインデックス及び近似係数と共に残していくこと
により、最終的に累積加算誤差を最小とするテンプレー
トを決定する。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画素の位置に応じて少なくとも１つ以上
   の分光特性に関する情報が欠落する画像信号から元の画
   像信号を回復処理する画像処理装置において、 前記情報が欠落する画像信号から、指定された画素を包
   含する所定サイズの近傍画像を抽出する近傍画像抽出手
   段と、 この近傍画像抽出手段によって抽出された近傍画像と同
   一サイズの複数の幾何学的パターンに基づくテンプレー
   ト群を保持するテンプレート保持手段と、 前記近傍画像抽出手段によって抽出された近傍画像に含
   まれる複数の分光特性の情報と、上記テンプレート保持
   手段によって保持された複数のテンプレート群との間で
   マッチングを行なって近傍画像に最も類似する最適テン
   プレートを選択し、この最適テンプレートに基づき近傍
   画像を近似する近傍近似画像を生成する近傍近似画像生
   成手段と、 この近傍近似画像生成手段によって生成された近傍近似
   画像に基づき、前記指定された画素における欠落する情
   報を復元する復元手段と、を具備することを特徴とする
   画像処理装置。
2. 【請求項２】 前記復元手段は、指定された画素を包含
   する複数の前記近傍画像から得られる複数の前記近傍近
   似画像の、前記少なくとも１つ以上の分光特性に関する
   情報を重みつき平均することで復元処理を行なうことを
   特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 前記テンプレート保持手段は、複数の幾
   何学的パターンに基づく第１のテンプレート群と、この
   第１のテンプレート群を撮像装置の光学系の帯域制限特
   性に応じて劣化させた第２のテンプレート群とを有し、 前記近傍近似画像生成手段は、前記第２のテンプレート
   群から前記近傍画像に類似する最適テンプレートを選択
   し、これに対応する前記第１のテンプレート群に基づき
   帯域制限前の近傍近似画像を生成することを特徴とする
   請求項１または２記載の画像処理装置。