JP6048574B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−７９９４号公報

この種の撮像装置により得られる左右の視差画像には、互いに異なるシェーディングが発生していた。

本発明の第１の態様における画像処理装置は、１つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像することによって得られた第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、第１視点方向の画像と第２視点方向の画像のそれぞれに対し、少なくとも第１と第２の視点を結ぶ方向に平滑化フィルタを掛けることによって、第１の平滑化画像と第２の平滑化画像のそれぞれを生成する手段と、第１の平滑化画像の値と第２の平滑化画像の値の積に基づく値で構成された基準画像を生成する手段と、基準画像の値を第１の平滑化画像の値で割り算することによって、第１のゲイン分布データを生成する手段と、第１視点方向の画像に対し、第１のゲイン分布データに基づいて、各画素のゲイン補正を行う手段と、ゲイン補正された第１視点方向の画像を立体表示のための視差画像として出力する手段とを備え、平滑化フィルタは、第１視点方向の画像と第２視点方向の画像の間で生じる視差量と同程度のフィルタ径を持つ平滑化するフィルタであることを特徴とする画像処理装置。

本発明の第２の態様における画像処理装置は、１つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像することによって得られた第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、第１視点方向の画像と第２視点方向の画像のそれぞれに対し、少なくとも第１と第２の視点を結ぶ方向に平滑化フィルタを掛けることによって、第１の平滑化画像と第２の平滑化画像のそれぞれを生成する手段と、第１の平滑化画像と第２の平滑化画像に基づいて基準画像を生成する手段と、基準画像の値を第１の平滑化画像の値で割り算することによって、第１のゲイン分布データを生成する手段と、基準画像の値を第２の平滑化画像の値で割り算することによって、第２のゲイン分布データを生成する手段と、第１視点方向の画像に対し、第１のゲイン分布データに基づいて、各画素のゲイン補正を行う手段と、第２視点方向の画像に対し、第２のゲイン分布データに基づいて、各画素のゲイン補正を行う手段と、ゲイン補正された第１視点方向の画像とゲイン補正された第２視点方向の画像を合わせて、立体表示のための視差画像として出力する手段と、平滑化フィルタのフィルタ径を可変にすることにより、立体表示のための視差画像の間の視差量を調節する手段とを備え、フィルタ径を、視差を消滅させるときはゼロへ縮め、視差を保存させるときは入力画像の２つの視差画素の間で生じうる最大視差量と同程度ないしはそれ以上に広げることを特徴とする画像処理装置。

本発明の第３の態様における画像処理装置は、少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データとを取得する画像データ取得部と、第１画像データおよび第２画像データのそれぞれに対し、第１画像データおよび第２画像データにより表される像のそれぞれが、視差方向に対して平滑化されるようにフィルタリングすることにより、第１平滑化データおよび第２平滑化データを生成する平滑化データ生成部と、第１平滑化データと第２平滑化データとの対応するそれぞれの画素値の相乗平均を用いて目標画像データを生成する目標画像データ生成部と、目標画像データの第１平滑化データに対する比を用いて第１画像データを補正するゲイン補正部とを備える。

本発明の第４の態様における撮像装置は、撮像素子と、上記の画像処理装置とを備える撮像装置であって、第１画像データおよび第２画像データは、撮像素子の出力に基づいて生成される。

本発明の第５の態様における画像処理プログラムは、少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データとを取得する画像データ取得ステップと、第１画像データおよび第２画像データのそれぞれに対し、第１画像データおよび第２画像データにより表される像のそれぞれが、視差方向に対して平滑化されるようにフィルタリングすることにより、第１平滑化データおよび第２平滑化データを生成する平滑化データ生成ステップと、第１平滑化データと第２平滑化データとの対応するそれぞれの画素値の相乗平均を用いて目標画像データを生成する目標画像データ生成ステップと、目標画像データの第１平滑化データに対する比を用いて第１画像データを補正するゲイン補正ステップとをコンピュータに実行させる。

本発明の第６の態様における画像処理装置は、１つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像することによって得られた第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、第１視点方向の画像と第２視点方向の画像のそれぞれに対し、第１と第２の視点を結ぶｘ方向とは直交するｙ方向に並ぶ複数の画素の画素値を加算し、一次元射影された第１視点方向の一次元分布データと第２視点方向の一次元分布データのそれぞれを生成する手段と、一次元射影された第１視点方向の一次元分布データと第２視点方向の一次元分布データのそれぞれに対し、一次元の平滑化フィルタを掛けることによって、第１の一次元平滑化分布データと第２の一次元平滑化分布データのそれぞれを生成する手段と、第１の一次元平滑化分布データと第２の一次元平滑化分布データに基づいて、その間の点を求めて一次元基準分布データを生成する手段と、一次元基準分布データの値を第１の一次元平滑化分布データの値で割り算することによって、第１の一次元ゲイン分布データを生成する手段と、第１視点方向の画像に対し、第１の一次元ゲイン分布データを各ｙ座標で共通に用いて、該一次元方向のゲイン補正を各々行う手段と、ゲイン補正された第１視点方向の画像を立体表示のための視差画像として出力する手段とを備え、一次元平滑化フィルタは、第１視点方向の画像と第２視点方向の画像の間で生じうる最大視差量よりも大きな範囲に渡って平滑化するフィルタである。

本発明の第７の態様における画像処理装置は、少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１の画像データと、第２視点に対応する第２の画像データとを取得する画像データ取得部と、第１の画像データおよび第２の画像データのそれぞれに対し、視差方向に直交する方向に並ぶ複数の画素の画素値を加算することにより、第１の一次元射影データおよび第２の一次元射影データを生成する一次元射影データ生成部と、第１の一次元射影データおよび第２の一次元射影データのそれぞれに対し、最大視差量以上のサンプリング幅で移動平均を算出することにより、第１の一次元平滑化データおよび第２の一次元平滑化データを生成する一次元平滑化データ生成部と、第１の一次元平滑化データと第２の一次元平滑化データとに基づいて一次元基準データを生成する一次元基準データ生成部と、一次元基準データの第１の一次元平滑化データに対する比を用いて第１の画像データをシェーディング補正するシェーディング補正部とを備える。

本発明の第８の態様における撮像装置は、撮像素子と、上記の画像処理装置とを備える撮像装置であって、第１の画像データおよび第２の画像データは、撮像素子の出力に基づいて生成される。

本発明の第９の態様における画像処理プログラムは、少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１の画像データと、第２視点に対応する第２の画像データとを取得する画像データ取得ステップと、第１の画像データおよび第２の画像データのそれぞれに対し、視差方向に直交する方向に並ぶ複数の画素の画素値を加算することにより、第１の一次元射影データおよび第２の一次元射影データを生成する一次元射影データ生成ステップと、第１の一次元射影データおよび第２の一次元射影データのそれぞれに対し、最大視差量以上のサンプリング幅で移動平均を算出することにより、第１の一次元平滑化データおよび第２の一次元平滑化データを生成する一次元平滑化データ生成ステップと、第１の一次元平滑化データと第２の一次元平滑化データとに基づいて一次元基準データを生成する一次元基準データ生成ステップと、一次元基準データの第１の一次元平滑化データに対する比を用いて第１の画像データをシェーディング補正するシェーディング補正ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 撮像素子の断面の構成を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。 ボケの非対称性を説明するための図である。 視差画像および視差なし画像と、被写界深度との関係を示す図である。 ボケの非対称性を説明する図である。 非合焦域に存在する物点の点像分布を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 多重解像度変換を説明する図である。 本発明の実施形態に係るデジタルカメラの構成を説明する図である。 シェーディング補正の一例を説明する図である。 関数フィッティングを説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

［第１実施形態］
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上へ向かう方向を＋Ｙ軸方向と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２へ出力される画像信号は、左視点および右視点の画像信号を含む。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、画像データ生成部２３０、平滑化データ生成部２３１、目標画像データ生成部２３２、およびゲイン補正部２３３を有する。

画像データ生成部２３０は、左視点および右視点のデジタル画像信号を用いて、左視点に対応する左視差画像データと右視点に対応する右視差画像データを生成する。左視差画像データおよび右視差画像データの生成の詳細は後述する。

平滑化データ生成部２３１は、左視差画像データおよび右視差画像データのそれぞれに対し、左視差画像データおよび右視差画像データにより表される像が、左右方向、すなわち視差方向に対して平滑化されるようにフィルタリングする。これにより、左視差画像データを平滑化した左平滑化データ、および右視差画像データを平滑化した右平滑化データを生成する。左平滑化データおよび右平滑化データの生成の詳細は後述する。

目標画像データ生成部２３２は、左平滑化データと右平滑化データとの対応するそれぞれの画素値の相乗平均を用いて目標画像データを生成する。目標画像データの生成の詳細は後述する。

ゲイン補正部２３３は、目標画像データの左平滑化データに対する比を用いて左視差画像データを補正する。目標画像データの右平滑化データに対する比を用いて右視差画像データを補正する。

画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。

次に、撮像素子１００の構成の一例について説明する。図２は、撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層１０５に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。左視点の視差画素を視差Ｌｔ画素、右視点の視差画素を視差Ｒｔ画素、視差なし画素をＮ画素と記す場合もある。また、左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像、視差なし画像をＮ画像と記す場合もある。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担ってもよい。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

＜視差画素とボケ特性＞
次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。

図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。

また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。

図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。

図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図５は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。

図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。なお、図４（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。

図６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

図６（ｂ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

図６（ｃ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。図６（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図６（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

＜被写界深度と非対称ボケ＞
次に、被写界深度とボケの非対称性との関係について説明する。図６（ｂ）、（ｃ）からも明らかなように、非合焦域では、視差画素のボケ幅は、視差なし画素のボケ幅よりも狭い。これは、図６（ａ）の視差画素の開口マスクによって実質的にレンズの入射光束が右半分と左半分に絞られていることを意味する。換言すると、単一のレンズ瞳に左右２つの仮想瞳が生じているといえる。すなわち、視差画素の開口マスクにおける開口面積は、レンズの絞りの効果と同等の役割を果たす。

一般に、レンズを絞ると被写界深度の深い画像が撮像される。視差画素における開口マスクの開口は、水平方向に短く垂直方向に長い。したがって、縦線などの水平方向に周波数成分を持つ被写体に対しては深い被写界深度の画像が撮像されるのに対し、横線などの垂直方向に周波数成分を持つ被写体に対しては浅い被写界深度の画像が撮像される。

図７は、ボケの非対称性を説明するための図である。例えば、図７（ａ）のような正方形のパッチの被写体を撮像すると、合焦域では、図７（ａ）のような被写体像が得られる。図７（ｂ）では、左視差画素と右視差画素が捉えた被写体像を合わせて示している。非合焦域では、図７（ｂ）に示すような水平方向のボケが少ない、縦線が横線よりもシャープに見える被写体像が撮像される。すなわち、視差画素における開口マスクの開口が水平方向と垂直方向で非対称性なので、被写体像の水平方向と垂直方向でボケが非対称になっている。これは、ボケの非等方性ということもできる。

図７（ｂ）の左目用の被写体像と右目用の被写体像を重ね合わせて表示し、３Ｄ画像から２Ｄ画像を得たとすると、２Ｄ画像には水平方向のシャープなボケに起因した２線ボケのような、あまり好ましくないボケが生じることになる（図７（ｃ））。したがって、３Ｄ画像表示用の左右の視差画像のボケの非対称性を低減して自然なボケが得られるような補正、あるいは２Ｄ画像表示において２線ボケが出ないような自然なボケ味が得られる補正が画像処理によって実現できると好ましい。

図８は、視差画像および視差なし画像と、被写界深度との関係を示す図である。具体的には、図８は、撮像素子１００の画素ピッチをａ［ｍｍ］として、周波数がｆ［本／ｍｍ］にあるような被写体像の縞模様チャートを撮像したときの縦線縞模様チャートとそれを９０°回転して撮像したときの横線縞模様チャートのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性の被写体距離依存性を示す図である。縦軸は、ＭＴＦを示し、横軸は、デジタルカメラ１０からの距離ｄを示す。ＭＴＦ分布は、合焦位置の光軸付近のＭＴＦを１とした場合に、縞模様チャートを合焦位置から前後させるとどのように減衰するかを表す。図８（ａ）は、視差なし画像（Ｎ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図８（ａ）に示すように、視差なし画像では、縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布は一致している。図８（ｂ）は、視差画像（視差Ｌｔ画像および視差Ｒｔ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図８（ｂ）に示す横線縞模様チャートのＭＴＦ分布は、図８（ａ）に示す横線縞模様チャートのＭＴＦ分布に一致する。一方、図８（ｂ）に示す縦線縞模様チャートのＭＴＦ分布は、図８（ａ）に示す縦線縞模様チャートのＭＴＦ分布に比べてコントラストの高い区間が広く分布し、被写界深度が深いことが読み取れる。換言すると、縞模様チャートを合焦位置から前後させると、視差画像では、横線縞模様チャートと横線縞模様チャートとでコントラストが異なっている。これが先ほど図７で示したボケの非対称性を生み出している。

単眼瞳分割撮像方式で生じる固有の現象として、ＷＯ２０１２／０３９３４６では左右の視差画像の間で異なるシェーディングが発生する問題を取り上げている。しかしながら、単眼瞳分割撮像方式では、通常の２D画像撮影と比較して考慮しなければならない問題として、シェーディング以外にも、ボケの特性が左右間で非対称になるという問題がある。詳しくは後述するが、例えば、マクベスチャートのような四角いパッチをぼかして撮影した場合、上述のように、被写体像の水平方向と垂直方向でボケが非対称になるだけでなく、視差画像の左右両端でボケが非対称になる。具体的には、左視差画像では一方の境界がボケているのに対し、もう一方の境界ではシャープにみえるようなボケが発生する。右視差画像ではこれが逆転する。このボケの左右非対称性は２線ボケとして認知され、立体画像に不自然さを与える。

単眼立体撮像システムを詳しく分析した結果、シェーディング問題、ボケの左右非対称性、及び視差量との間には極めて密接な関係が存在することが明らかとなった。したがって、左視差画像および右視差画像において、これら３つに関連する部分を補正する場合には、他の特性に大きな影響を与える。結果として、実際に自然な立体画像を生成しうるのか不明であった。例えば、上記のＷＯ２０１２／０３９３４６では、シェーディング補正と視差量の関係について詳しい開示がなく、実際に立体画像が生成され得るのか不明瞭な状況にあった。ボケ特性に至っては、記述は皆無である。これらの状況を鑑みて、本実施形態においては、上記３つの関係を明らかにしつつ、自然な見えの立体画像生成技術について説明する。

＜ボケの左右非対称性とその補正＞
視差画素は仮想瞳に投影された入射光束を受光するので、仮想瞳の形状がボケ特性となって現れる。視差画素は、基本的にレンズを透過した光の片側半分の光束を通す役割を果たす。レンズの瞳は円形であるので、仮想瞳は半円形となる。したがって、左右の視差画像の間において、ボケの形状は非対称になる。

図９は、ボケの非対称性を説明する図である。図９に示すように、左視差画素では、半円形の弧側に当たるボケは、適切に表れるのに対し、半円形の分断側に当たるボケは、適切に現れない。すなわち、シャープなエッジになりやすくボケが少ない。右視差画素でも同様に、半円形の弧側に当たるボケは、適切に表れるのに対し、半円形の分断側に当たるボケは、シャープなエッジになりやすくボケが少ない。ただし、左視差画素と右視差画素とでは、弧の位置が反対になる。以上のことから、上記の２線ボケ現象がより顕著に現れることになる。このような左右の非対称ボケを補正するには、図９に示すように、左視差画素と右視差画素が捉えた逆特性にあるボケを相互に混合して、左右間でできるだけボケを対称化することが望ましい。

そのための方策として、左視差画像のボケと右視差画像のボケとを混合した平均画像を生成し、それを目標画像としてボケの左右非対称ボケ補正を行う。後述する第３の実施例の「視差なし基準画像の生成」のステップで説明するように、単純に左視差画像と右視差画像の平均画像を生成すると、視差シェーディングが相殺されるとともに視差が完全に消滅する現象が生じる。したがって、このような視差が消滅した画像を目標とした補正を行ってしまうと、視差の消滅した画像しか生成されないことになる。これは、立体画像の生成とは相反する補正となってしまうので避けなければならない。ボケの左右非対称性の情報だけを取り出すには、補正項の中に視差成分が含まれないようにしなければならない。補正項の中の視差成分を消滅させるためには、左視差画像と右視差画像とに対して、視差と同程度の水平方向の一次元平滑化フィルタ、あるいはそれが縦横に広がった２次元平滑化フィルタを掛ける必要がある。その平滑化演算を加えた処理を、＜＞によって表す。
これによって、ボケの左右非対称性の補正が可能になる。なぜなら、左視差画像のボケ成分の特性と右視差画像のボケ成分の特性との違いは、視差量程度の大きな平滑化処理を施したとしても、残っているからである。フィルタのサンプリング幅が視差量に対してあまりに巨大になりすぎると、ボケの特性の違いが現れなくなるので、視差量程度に留める必要がある。この式における平滑化の範囲を、視差量程度から徐々に小さくしていき、最終的にサンプリング幅をゼロ（すなわち平滑化なし）にするまでに、連続的に変化させると、視差画像が捉えた初期視差量から視差ゼロまで、視差量が連続的に変化することになる。したがって、平滑化フィルタのフィルタ径、すなわちサンプリング幅により視差量を制御することもできる。

上記式では平滑化された視差画像の相乗平均のボケに合わせるように補正を行ったが、考え方として相加平均にとるという考え方も存在する。その場合、どのようなボケになるのか考察してみる。補正式は以下となる。
図１０は、非合焦域に存在する物点の点像分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、画素値を表す。図１０（ａ）、（ｂ）では、左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは、図６で示した左右の視差画素の開口部が半開口である場合における、水平方向のボケ幅を示している。

図１０（ａ）の左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは、画素位置ｘの関数で表される。左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相加平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。画素位置ｘ２においては、Ｌｔは画素値を持たないものの、Ｒｔは画素値を持つので、演算結果はやはり正の値となる。以上のように、相加平均を算出する場合には、ＬｔとＲｔのいずれかが画素値を持てば、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相加平均は、全体としてみると、図１０（ａ）に示すように、点像分布ＬｔおよびＲｔの広がり幅の和となる。これは、図６で示した全開口の開口部を有する視差なし画素に対応したボケ幅に相当する。

なお、相加平均は、点像分布ＬｔおよびＲｔの広がり幅の和を捉えるための演算の一例である。点像分布ＬｔおよびＲｔの広がり幅の和を捉えることができるのであれば、他の演算を利用してもよい。

左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相乗平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。一方、画素位置ｘ２においては、Ｒｔは画素値を持つものの、Ｌｔは画素値を持たないので、演算結果は０となる。以上のように、相乗平均を算出する場合には、ＬｔとＲｔのいずれもが画素値を持つ場合に、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相乗平均は、全体としてみると、図１０（ｂ）に示すように、点像分布ＬｔおよびＲｔの広がり幅の積となる。相乗平均の広がり幅は、相加平均に比べて狭くなり、視差量が増えると相対的に更に小さくなるので、それらの比は視差量に相関を持つといえる。すなわち、次式は視差マップを表す。

ここに、σ_１は像の絶対広がり幅に変換する定数であり、任意の画像に対し固定値をとる。

なお、相乗平均は、点像分布ＬｔおよびＲｔの広がり幅の積を捉えるための演算の一例である。点像分布ＬｔおよびＲｔの広がり幅の積を捉えることができるのであれば、他の演算を利用してもよい。なお、一般的に、被写体は物点の集合と考えることができるので、画像は各物点に対する点像の積分ということができる。よって、画像のボケは、上述した点像分布のボケと同様に考えることができる。

図１０に示すように、元々視差画像の左右のボケは半開口のボケ幅に等しく、相乗平均は半開口のボケをそのまま伝達する。一方の相加平均は全開口のボケを伝達することになる。上記の相乗平均の式と相加平均の式とをボケ幅の伝達関係だけを明示して表現すると、下式となる。

相乗平均の場合
（半開口ボケ）＝（半開口ボケ）x（半開口ボケ）／（半開口ボケ）
相加平均の場合
（全開口ボケ）＝（半開口ボケ）x（全開口ボケ）／（半開口ボケ）
したがって、左視差画像と右視差画像は、互いに視差が発生している領域で半開口のボケを伴って視差が分離している状態にある場合に、左右の非対称ボケ補正を行うと、視差の分離を伴ったまま、相乗平均の場合は元と同程度のボケ幅をそのまま残すことになる。一方の相加平均の場合は視差の分離を伴ったまま、全開口のボケをそれぞれが持つことになってしまう。左視差画像と右視差画像を単純に重ね合わせた画像は、ちょうど２D画像として見えているはずであるが、相加平均を採用してしまうと、水平方向は２つの全開口ボケが重なって、横方向にボケが広がってしまう。結果として、過剰なボケ補正をしてしまうことになる。一方の相乗平均を採用すると、２D画像は半開口のボケを重ねるだけなので、全体としては通常の２D画像と同じ縦方向も横方向も全開口の等方的なボケが見えることになる。したがって、ボケの伝達の観点から、左右の非対称ボケ補正に対しては、相乗平均をとった画像のボケを目標とするのが、好ましい画像を提供することになる。仮に、相加平均をとったボケを目標としてしまうと、水平方向に間延びした不鮮明な画像を提供してしまうことになるので、避けるべきである。

詳しくは後述するが、上述のようにしてボケの左右非対称性を補正すると、実際には３D画像に生じるシェーディング問題も同時に解決する付随効果もある。

まず、第１の実施例では、単眼立体撮像されて既に立体画像が生成された画像に対して、視差画素に起因するボケの左右非対称性補正とシェーディング補正をする技術を説明する。次に、第２の実施例では、視差量調節を行う場合について説明する。最後に、第３の実施例では、視差画像のボケの左右非対称性補正とシェーディング補正と視差消滅の３者の間の関係を明示するため、単眼立体撮像装置における色と視差を同時に単板センサで撮像した画像を、色と視差を両者共に復元する技術を説明する。

＜第１の実施例＞
本実施例では、モノクロの立体画像について扱う。RGB３色からなるカラー画像の場合は、各色面についてモノクロ画像と同じ処理をすればよいだけなので、説明を省略する。処理の手順は、およそ以下の通りである。

１）視差画像データ入力
２）平滑化画像の生成
３）3D画像補正用の基準画像の生成
４）ゲイン分布データの生成
５）視差画像の左右非対称ボケ補正とシェーディング補正
以下、順に説明する。

１）視差画像データ入力
一般被写体像を撮影した左視差画像Lt(x,y)と右視差画像Rt(x,y)を入力する。このとき、各々の視差画像はガンマ補正のされていない線形階調データであるものとする。また、カラー画像を扱う場合は、色処理のされていないセンサー分光感度のままのRGBデータであることが望ましい。

２）平滑化画像の生成
左右非対称ボケ補正とシェーディング補正によって視差消滅させることがないように、左と右の視差画像に対して、水平方向に最大視差量と同程度、あるいはそれよりも大きな平滑化フィルタを掛けて、視差情報を完全に消滅させる処理を行う。一次元平滑化フィルタの場合と２次元平滑化フィルタの２通りが考えられる。

左右の視差画像間の最大視差量は、撮像素子の撮像面積と画素ピッチと光学系との関係で規定され、像面全体に対し、水平方向の5%程度のオーダーである。水平方向が2000画素程度あると100画素程度となる。これに対応する平滑化フィルタを掛ける。フィルタ半径をσ₀で表し、最大視差量のオーダーに設定する。このフィルタは局所的な平滑化であると云える。平滑化画像データは、その局所性の精度でボケ特性とシェーディング成分を保持することになる。

なお、最大視差量は、望遠レンズ、標準レンズ、広角レンズ等の焦点距離や絞り値によって異なってくるので、それぞれの光学条件毎に予めσ₀の値を設定しておくとよい。画像自身から求める方法は、例えば、式（1）のヒストグラムをとり、その最大値を与えるヒストグラムの横軸の引数をσ₀に設定するとよい。

ガウスぼかしの場合、以下の式で表せる。左と右の平滑化画像データをそれぞれ、局所平均がとられたという意味において、＜L(x,y)＞、＜R(x,y)＞によって表す。

なお、簡易的にはガウスぼかしを使わなくても、全てが一様な正のフィルタ係数で表された一様フィルタで代用してもよい。

３）3D画像補正用の基準画像の生成
左の視差消滅した平滑化画像と右の視差消滅した平滑化画像から、ボケ補正の目標とシェーディング補正の基準レベルを表すための３D画像補正用の基準画像を作成する。これを＜M(x)＞によって表す。この基準点の作り方は、ボケの左右非対称性補正に伴うボケの伝達の観点から、左右の相乗平均をとる。
なお、ボケの左右非対称性補正の観点からは上記の相乗平均が最も望ましいが、例えばシェーディング補正で明るい方の画像に合わせるような演算を考えた場合には、この基準画像は次のような式となる。
そのとき、次のステップ４で定義される最終式は、平方根がとれた形式となる。

４）ゲイン分布データの生成
左右の平滑化画像と３D画像補正用の基準画像を利用して、左視差画像を補正するためのゲイン分布データg_L(x,y)と右視差画像を補正するためのゲイン分布データg_R(x,y)を生成する。これによって、画像構造情報が相殺され、ボケの非対称性補正として作用する成分とシェーディングの逆数成分が生成される。ここには、視差に影響を与える成分は残っていない。

５）視差画像の左右非対称ボケ補正とシェーディング補正
求まった左と右のゲイン分布データのそれぞれを用いて、左視差画像と右視差画像のそれぞれに対し左右の非対称ボケを補正する。これは同時にシェーディング補正をすることも意味する。左右の非対称ボケが補正された左視差画像をLt'(x,y)、左右の非対称ボケが補正された右視差画像をRt'(x,y)とする。
こうして、視差画素の特性によって生じたボケの左右の非対称性が補正された立体画像が生成され、これを立体表示すると、自然なボケの見えの立体画像を得ることができる。また、シェーディングによる視野闘争の起こらない自然な立体画像も同時に得ることができる。つまり、単眼立体撮像に固有のボケの左右非対称性とシェーディングを同時に補正しつつ、視差を失わずに高精細な立体画像を生成することができる。

なお、シェーディングは光学系の瞳位置と瞳径だけの関数に留まらず、被写体が至近にある場合と無限遠にある場合でもその出方が異なることが実験的に確認されている。本実施例においては、画像自身の局所データから補正量を算出しているので、その影響も取り除いた補正が可能となっている。

＜第２の実施例＞
本実施例においては、視差量調節を行う場合について説明する。処理の手順は、およそ以下の通りである。なお、以下の１）視差画像データ入力、４）ゲイン分布データの生成については、第１の実施例と同様であるので、説明を省略する。

１）視差画像データ入力
２）可変な平滑化画像の生成
３）3D画像補正用の基準画像の生成
４）ゲイン分布データの生成
５）視差画像の視差量調節
以下、順に説明する。

２）可変な平滑化画像の生成
第１の実施例のステップ２と演算は同じである。ただし、フィルタ径σ₀の値を第１の実施例に示した値から０の間で可変に設定する。

２次元平滑化の方法として、第１の実施例に示した実空間でフィルタリングする以外に、多重解像度変換を用いることができる。例えば、ガウシアンピラミッドをつくるとよい。図１２は、ガウシアンピラミッドを説明する図である。なお、ガウシアンピラミッドについての詳細は非特許文献１を参照されたい。ここでは、簡単に説明する。縮小画像を生成するときのエイリアジングを防ぐために、５ｘ５程度の平滑化を行い、１／２にサブサンプリングして縮小画像Ｉｍｓを生成する。この手続きを繰り返すと縮小画像の連なりからなるガウシアンピラミッドができる。その段数をＭ段とする。段数が高くなるにつれ、解像度は、高解像度から低解像度に移行する。

上述の可変な平滑化画像は、Ｍ段を自在に変えた上で、最も低解像度な縮小画像のみを実解像度まで線形補間による拡大を行って得る。通例、単眼瞳分割撮像方式に1000万画素程度の撮像素子を付けた場合、最大視差と同程度の平滑化を得ることができるのは、５〜６段程度にまで解像度変換を行ったときである。それ以下では、視差が消滅効果と共存する領域の平滑化画像となる。なお、水平方向と垂直方向とで同じ割合で平滑化とダウンサンプリングを行うのではなく、異なる割合で平滑化とダウンサンプリングを行ってもよい。例えば、垂直方向に比べて水平方向の解像度を残すことにより、縦長の縮小画像を生成してもよい。
非特許文献１
P. J. Burt and E. H. Adelson, "The Laplacian pyramid as a compact image code," IEEE Trans. Commun., vol. COM-31, No. 4, pp.532-540, 1983.

５）視差画像の視差量調節
第１の実施例のステップ５と演算は同じである。ただし、ステップ２で設定したフィルタ径の大きさに比例する視差量が残留する。したがって、視差量調節手段を提供することができる。関係式は下記で表される。

視差量＝定数倍ｘ（フィルタ径／σ₀）
定数倍は、その画像が持つ最大視差量である。

以上のように、本実施例においては、多重解像のどの段階のデータを補正に用いるかによって、補正効果を伴いながら視差量を調節することができる。具体的には、あまり平滑化せずに、解像度が高い縮小画像を拡大した平滑化データで補正を行うと、視差成分が残るので、ボケの非対称特性の改善の効果が高くなる。この場合には、お互いの視差を混合させるために視差量は小さくなる。一方、解像度が低い縮小画像を拡大した平滑化データで補正を行うと、解像度が高い縮小画像を拡大した平滑化データで補正を行う場合に比べて、ボケの非対称性の改善の効果は小さいボケ（ボケ面積が小さい）に対しては低くなるが、視差成分は消滅しやすくなるので、補正の前後で視差量の低減を抑制できる。なお、画像処理部は、ユーザ入力により設定されたフィルタ径に応じて視差量を調整してもよい。画像処理部は、予め設定されているフィルタ径に応じて視差量を調整してもよい。ユーザは、メニューにより呈示される複数の視差量から一つを選択することにより、視差量を設定してもよい。

＜第３の実施例＞
Bayer型RGB疎な視差画素配列を例に挙げて、具体的に説明する。図１１は、一例としての実空間の配列とｋ空間を示す図である。図１１の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をした撮像素子である。視差なし画素も視差あり画素もBayer配列を基本構造としており、左視差画素にも右視差画素にもR:G:B=1:2:1のカラーフィルタを配置した構造をしている。すなわち、原信号で捉える視差なしの中間画像の解像力を重視し、その高周波成分を視差変調によって、左視差画素と右視差画素に重畳することによって高解像な立体画像を得ようとするものである。処理の手順は、およそ以下の通りである。

１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）仮の視差画像の左右非対称ボケ補正（仮の視差画像のシェーディング補正）
（リージョナル・ゲインバランス補正）
５）左右の局所照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
６）視差なし基準画像の生成
７）実際の視差画像の生成
８）出力色空間への変換
以下、順に説明する。

１）色・視差多重化モザイク画像データ入力
図１１の色と視差の多重化された単板式モザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるものとする。

便宜的にモザイク画像M(x,y)の内、
R成分の視差なし画素の信号面をR_{N_mosaic}(x,y)、
R成分の左視差画素の信号面をR_{Lt_mosaic}(x,y)、
R成分の右視差画素の信号面をR_{Rt_mosaic}(x,y)、
G成分の左視差画素の信号面をG_{N_mosaic}(x,y)、
G成分の視差なし画素の信号面をG_{Lt_mosaic}(x,y)、
G成分の右視差画素の信号面をG_{Rt_mosaic}(x,y)、
B成分の視差なし画素の信号面をB_{N_mosaic}(x,y)、
B成分の左視差画素の信号面をB_{Lt_mosaic}(x,y)、
B成分の右視差画素の信号面をB_{Rt_mosaic}(x,y)
と表すことにする。

全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施例では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、R_{Lt_mosaic}(x,y)からR_Lt(x,y)を、R_{Rt_mosaic}(x,y)からR_Rt(x,y)を、R_{N_mosaic}(x,y)からR_N(x,y)を、G_{Lt_mosaic}(x,y)からG_Lt(x,y)を、G_{Rt_mosaic}(x,y)からG_Rt(x,y)を、G_{N_mosaic}(x,y)からG_N(x,y)を、B_{Lt_mosaic}(x,y)からB_Lt(x,y)を、B_{Rt_mosaic}(x,y)からG_Rt(x,y)を、B_{N_mosaic}(x,y)からG_N(x,y)を生成する。
仮のR成分の視差なし画像：R_N(x,y)
仮のG成分の視差なし画像：G_N(x,y)
仮のB成分の視差なし画像：B_N(x,y)
仮のR成分の左視差画像：R_Lt(x,y)
仮のG成分の左視差画像：G_Lt(x,y)
仮のB成分の左視差画像：B_Lt(x,y)
仮のR成分の右視差画像：R_Rt(x,y)
仮のG成分の右視差画像：G_Rt(x,y)
仮のB成分の右視差画像：B_Rt(x,y)
なお、仮の視差なし画像R_N(x,y)、G_N(x,y)、B_N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

４）仮の視差画像の左右非対称ボケ補正とシェーディング補正
（リージョナル・ゲインバランス補正）
第１の実施例ないしは第２の実施例のシェーディング補正をRGB各面について行う。後述のステップ４のローカル・ゲインバランス補正が２D画像生成のために完全に視差を消滅させつつシェーディング補正も同時実行するのに対し、３D画像生成に必要な視差画像に対しては視差を残すようなシェーディング補正と左右非対称ボケ補正を行う。したがって、リージョナルな領域に渡る平均明るさレベルの整合を行っている。

なお、後述するステップ７の立体表示用の視差画像に対して行うのではなく、仮の視差画像に対してゲインバランス補正を行っているのは、ゲイン整合によってゲインアップされる領域では階調飛びが生じうるが、後のステップ７の視差変調処理が高解像な視差なし画像の情報を取り込むことによって、階調飛びの影響を全て効果的に埋めてくれるからである。また、次のステップ５の前に行っていることにも理由がある。すなわち、２D生成用の視差なしモザイク画像は、この左右非対称ボケ補正された仮の視差画像情報を取り込みながら生成する。したがって、２D画像に対しても２線ボケを緩和したBayer配列画像が生成されるため、立体表示画像のみならず、２D画像のボケ非対称性を補正する効果が生むようにするためである。

５）左右の局所照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをM_N(x,y)と書くことにする。

この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。

さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。

このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像M_N(x,y)を出力する。

６）視差なし基準画像の生成
公知のBayer補間技術（デモザイク処理）を用いる。例えば、本出願と同一発明者のUSP8,259,213を参照されたい。この画像は、通常の高解像な２D画像としてそのままプリント出力に使うことができる。

７）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'_Lt(x,y)、G'_Lt(x,y)、B'_Lt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'_Rt(x,y)、G'_Rt(x,y)、B'_Rt(x,y)を生成する。

視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施例では相加平均を基準点とする方式を用いる。

８）出力色空間への変換
こうして得られた高解像な視差なしの中間カラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)と高解像の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)、高解像の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)のそれぞれをセンサーの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。

上記説明した過程をボケの非対称性補正及びゲイン補正と視差量との関係に関わる部分のみを抜き出して、もう一度要約する。わかりやすくするため、ゲイン補正の基準点として相乗平均の場合のみを議論する。

ローカル・ゲインバランス補正では、２D画像生成のために、Lt画像とRt画像の間のゲインバランス整合と視差消滅を同時に行って、２D画像シェーディング補正を導入している。その核となる式は、左視差画像と右視差画像のそれぞれに対して、以下のゲイン補正を行うことである。

一方の２D画像から視差変調によって３D画像を生成する過程は、その核となる式は、視差なし画像に対して以下のゲイン補正を行うことである。
すなわち、ローカル・ゲインバランス補正の式は視差変調の式と逆数の関係にあり、視差消滅を伴う。

更に、３D画像に対するボケの左右非対称性補正とシェーディング補正を行う過程、すなわち、リージョナル・ゲインバランス補正は、その核となる式は、視差画像に対して以下のゲイン補正を行うことである。
これは、より大域的な局所平均をとることによって視差情報を失いながらも、ボケ特性の情報とシェーディング情報は失わずに抽出する役割を果たす。

上述の３つの過程は、単眼立体撮像におけるボケと視差が一対一に対応する関係から導かれる固有の性質を利用した演算であるということができる。

以上の第３の実施例に関する説明では、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作に、ボケ幅を共通にする目的で相乗平均を用いた。視差なし画素の画素値と左右の視差画素の平均値との相乗平均を算出する場合に、当該画素値に対する重みと当該平均値に対する重みの配分は均等であった。一方、視差画素の数は視差なし画素の数より少ない。加えて、視差画像の解像力は、視差なし画像の解像力より低い。上述したように、例えば視差なし画像であるＲ_Ｎ、Ｂ_Ｎのナイキスト限界性能がkx=[±π/(2a),±π/(2a)]、ky=[±π/(2a),±π/(2a)]を結んだ領域であるのに対し、視差画像であるＧ_Ｌｔ、Ｇ_Ｒｔのナイキスト限界性能は、kx=[±π/(4a),±π/(4a)]、ky=[±π/(4a),±π/(4a)]を結んだ領域である。したがって、視差なし画素の画素値と左右の視差画素の平均値とに対する重みの配分を均等にすると、得られる画像の解像力は、視差画像の解像力の影響により全体として低下する。よって、視差なし画像の解像力に可能な限り近づける工夫が必要になる。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相乗平均をとるとよい。具体的には、第３の実施例で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、Ｎ：Ｌｔ：Ｒｔ＝６：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝３：１であるので、視差なし画像には３／４乗の重みを、視差画像には１／４乗の重みを与えて、密度の高い視差なし画像を重視した配分とする。

上述したように、左右間の視差を消滅させる方法には、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っている場合には、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶとよい。以下のａ）は、相加平均型を選んだ場合について示す。

一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶとよい。以下のｂ）は、相乗平均型を選んだ場合について示す。

また、視差変調を行うときも、撮像素子上の画素配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとることもできる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。以下のａ）は、相加平均を基準点とした視差変調について示す。

以下のｂ）は、相乗平均を基準点とした視差変調について示す。

＜尚書き＞
第３の実施例の配列に対して、第２の実施例の視差制御手段を組み合わせることは、第１の実施例と第２の実施例の関係を見れば明らかであるので、説明を省略する。

パーソナルコンピュータなどの機器を画像データ生成部２３０、平滑化データ生成部２３１、目標画像データ生成部２３２、ゲイン補正部２３３の機能を担う画像処理装置として機能させることもできる。画像処理装置は、カメラ等の他の装置から視差画像データを取り込んでもよい。この場合には、画像データ生成部２３０は、画像データ取得部としての役割を担う。なお、画像データ生成部２３０が、視差画像データを自ら生成する場合も、自ら生成することによって視差画像データを取得しているといえる。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、ゲーム機器など、表示部を備える、あるいは表示部に接続される機器は画像処理装置になり得る。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。

［第２実施形態］
図１３は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ５０は、撮影光学系としての撮影レンズ６０を備え、光軸６１に沿って入射する被写体光束を撮像素子４００へ導く。撮影レンズ６０は、デジタルカメラ５０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ５０は、撮像素子４００、制御部５０１、Ａ／Ｄ変換回路５０２、メモリ５０３、駆動部５０４、画像処理部５０５、メモリカードＩＦ５０７、操作部５０８、表示部５０９およびＬＣＤ駆動回路５１０を備える。

なお、図示するように、撮像素子４００へ向かう光軸６１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上へ向かう方向を＋Ｙ軸方向と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。

撮影レンズ６０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１３では撮影レンズ６０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

撮像素子４００は、撮影レンズ６０の焦点面近傍に配置されている。撮像素子４００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子４００は、駆動部５０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路５０２へ出力する。Ａ／Ｄ変換回路５０２へ出力される画像信号は、左視点および右視点の画像信号を含む。

Ａ／Ｄ変換回路５０２は、撮像素子４００が出力する画像信号をデジタル画像信号に変換してメモリ５０３へ出力する。画像処理部５０５は、メモリ５０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部５０５は、画像データ生成部５３０、一次元射影データ生成部５３１、一次元平滑化データ生成部５３２、一次元基準データ生成部５３３、およびシェーディング補正部５３４を有する。

画像データ生成部５３０は、左視点および右視点のデジタル画像信号を用いて、左視点に対応する左視差画像データと右視点に対応する右視差画像データとを生成する。左視差画像データおよび右視差画像データの生成の詳細は後述する。

一次元射影データ生成部５３１は、左視差画像データおよび右視差画像データのそれぞれに対し、左視点と右視点を結ぶ直線方向、すなわち視差方向に直交する方向に並ぶ複数の画素の画素値を加算する。これにより、左視差画像データに対応する左視点の一次元射影データ、および右視差画像データに対応する右視点の一次元射影データを生成する。

一次元平滑化データ生成部５３２は、左視点の一次元射影データおよび右視点の一次元射影データのそれぞれに対し、最大視差量以上のサンプリング幅で移動平均を算出することにより、左視点の一次元平滑化データおよび右視点の一次元平滑化データを生成する。左視点の一次元平滑化データおよび右視点の一次元平滑化データの生成の詳細は後述する。

一次元基準データ生成部５３３は、左視点の一次元平滑化データおよび右視点の一次元平滑化データに基づいて一次元基準データを生成する。具体的には、左視点の一次元平滑化データおよび右視点の一次元平滑化データの対応するそれぞれの画素値の相乗平均または相加平均を用いて一次元基準データを生成する。一次元基準データの生成の詳細は後述する。

シェーディング補正部５３４は、一次元基準データの左視点の一次元平滑化データに対する比を用いて、左視差画像データを補正する。また、一次元基準データの右視点の一次元平滑化データに対する比を用いて、右視差画像データを補正する。これにより、シェーディング補正された左視差画像データおよび右視差画像データを得ることができる。

画像処理部５０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路５１０により表示信号に変換され、表示部５０９に表示される。また、メモリカードＩＦ５０７に装着されているメモリカード５２０に記録される。

一連の撮影シーケンスは、操作部５０８がユーザの操作を受け付けて、制御部５０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部５０１に制御されて実行される。

単眼瞳分割撮像方式のデジタルカメラでは、ボケの非対称性に加えて、左右の視差画像の間で異なるシェーディングが発生するという問題がある。なお、本明細書において、視差画像のシェーディングを視差シェーディングとも記す。ＷＯ２０１２／０３９０１９号公報には、補正テーブルを用いて視差画像のシェーディングを補正する技術が記載されている。具体的には、視差画像のシェーディングを補正することを目的として、予め一様面を撮影しておき、補正のための一次元テーブルをあらゆる光学条件について事前に作成して記憶している。そして、シェーディングを補正する場合には、該当する光学条件の補正テーブルを読み出してシェーディング補正している。シェーディングの状態は、光学系の瞳位置（焦点距離）と瞳径（絞り値）に依存して変わるので、補正テーブルを用いてシェーディング補正するには、これらの全ての条件について予めデータを設定しておく必要がある。また、ＷＯ２０１２／０３９０１９号公報の実施形態では、左視差画像と右視差画像では左右反転したシェーディング特性が現れると仮定して、一次元テーブルを反転して使い回すことにより、メモリを削減している。

単眼瞳分割撮像方式で生じる立体表示画像のシェーディングの影響を詳しく調べたところ、以下の事実が判明した。
１）視差画像のシェーディングは瞳径が小さくなるほど（絞り値が大きくなるほど）、左右のシェーディング差が大きくなる傾向にある。
２）視差シェーディングは、視差画素の製造誤差等の影響により、一般に左視差画像と右視差画像の間で非対称になる。
３）視差シェーディングの補正がされていない画像を立体表示して観察すると、画像の端付近では、右視差画像と左視差画像の明るさの違いに起因する視野闘争を起こし、非常に違和感を与え、長時間の立体画像観察に対して疲労を生じさせる原因となる。

ＷＯ２０１２／０３９３４６に記載の技術を詳しく検討した結果、ＷＯ２０１２／０３９３４６の第１実施形態に記載された技術は、実際にはシェーディング補正と同時に左視差画像（Ａ画像）と右視差画像（Ｂ画像）のそれぞれは視差情報を失い、それらを立体画像として表示しても単なる平面画像にしかならないことが判明した。すなわち、シェーディング補正と視差の残留量の関係を考慮しないと、立体効果そのものを失ってしまうという恐れがあった。第２の実施形態では、左視差画像（Ａ画像）と右視差画像（Ｂ画像）と合成画像（Ｃ画像）の全てに平滑化を入れる工夫をしているが、その平滑化の定義が曖昧で不明であるので、第１の実施形態と同じく視差を失って立体画像を表示できない恐れがあった。したがって、第３の実施形態では、平面画像表示するときのみ視差シェーディング補正を行い、立体画像表示モードのときは補正を行わないという記載に至っている。すなわち、一般撮影画像自身の情報を利用して、視差シェーディングの影響を補正しようとした場合、視差情報を失って立体画像そのものが生成できなくなる恐れがあった。

一方のＷＯ２０１２／０３９０１９の手法は、予め算出しておいた視差シェーディングの特性のみを補正するので、視差情報を失う恐れはないものの、あらゆるレンズのあらゆるズーム位置と絞り値に関するデータを保持しておく必要がある。したがって、現実的には実装が非常に困難であり、仮に実装できたとしても事前の手間がかかるという課題があった。

本実施形態においては、これらの状況を鑑みて、一般撮影画像自身の情報を利用して画像毎に簡易に視差シェーディングを補正しつつ、立体画像としての機能を失わない立体表示のためのシェーディング補正技術について説明する。特に、第１から第３の実施例では、単眼立体撮像されて既に立体画像が生成された画像に対して、視差画素に起因するシェーディングを補正する技術を説明する。第４の実施例では、視差画像のシェーディング補正と視差消滅の関係を明示するため、単眼立体撮像装置における色と視差を同時に単板センサーで撮像した画像を、色と視差を両者共に復元する技術を説明する。

＜ボケの等方化と視差消滅＞
本出願人の特願２０１２−１７９０４４には、視差画素における水平方向と垂直方向との間で生じる非対称ボケは、水平方向に平滑化フィルタを掛けてボケを等方化することにより、自然な見えのボケになるとともに、その等方化が進むにつれて視差が小さくなり、最終的に完全に等方化すると、視差が完全に消滅する事実が詳述されている。すなわち、水平方向のボケが、水平方向の平滑化によって垂直方向のボケ幅に近づくにつれて、視差量は小さくなり、最終的に視差は消滅する。言い換えると、半開口のボケ幅から全開口のボケ幅に近づくに従い、撮影時の初期の視差量から視差ゼロにまで変化する。したがって、水平方向の平滑化度合いは視差量制御手段として使うことができる。この水平方向の平滑化によって、視差ゼロにすることができる事実を有効活用する。より詳細には、水平方向に最大視差量以上のフィルタ幅をもつ固定の平滑化フィルタを掛ける。これにより、常に視差消滅した視差画像を得ることができる。

＜第１の実施例＞
本実施例では、モノクロの立体画像を扱う場合について説明する。ＲＧＢ３色からなるカラー画像の場合は、各色面についてモノクロ画像と同じ処理をすればよいだけなので、説明を省略する。処理の手順は、およそ以下の通りである。

１）視差画像データ入力
２）一次元射影データの生成
３）一次元平滑化分布データの生成
４）一次元基準分布データの生成
５）一次元ゲイン分布データの生成
６）視差画像のシェーディング補正
以下、順に説明する。

１）視差画像データ入力
一般被写体像を撮影した左視差画像Lt(x,y)と右視差画像Rt(x,y)を入力する。このとき、各々の視差画像はガンマ補正のされていない線形階調データであるものとする。また、カラー画像を扱う場合は、色処理のされていないセンサー分光感度のままのRGBデータであることが望ましい。

２）一次元射影データの生成
視差画像に含まれるシェーディング情報のみを適切に取り出すには、一般被写体像の画像データから画像構造情報を消滅させる必要がある。また、上述したように、シェーディング補正をすることによって、視差消滅させてしまうようなことがあってはならないので、視差画像の中に含まれる視差情報も失わせる必要がある。本ステップでは、早期に画像構造情報を消滅させるために、二次元の視差画像を垂直方向に全てデータ加算して、水平方向に一次元射影する方法をとる。一次元射影したデータを、垂直方向の加算値をデータ数で割った平均値にとると、ノイズのゆらぎ成分も抑制された一次元射影データが得られる。一次元射影データの視差分布の様子について述べると、被写体像はある領域ではピントが合っており、ある領域はボケ領域で視差を持っているので、垂直加算された一次元射影データは、視差が最大視差量よりも弱められた乱雑な分布状態で存在していることになる。

左視差画像と右視差画像の一次元射影データをそれぞれLt(x)、Rt(x)で表す。

３）一次元平滑化分布データの生成
次に、シェーディング補正によって視差消滅させることがないように、左と右の一次元射影データに対して、水平方向に最大視差量よりも大きな平滑化フィルタを掛けて、視差情報を完全に消滅させる処理を行う。そうすることによって、平滑化された一次元射影データには、主として視差画素のマイクロレンズの特性とその単眼レンズ光学系内の仮想瞳との関係で発生した、視差画像に固有のシェーディング成分と一次元射影画像の大まかな構造情報との２つが含まれる。

左右の視差画像間の最大視差量は、撮像素子の撮像面積と画素ピッチと光学系との関係で規定され、像面全体に対し、水平方向の5%程度のオーダーである。水平方向が2000画素程度あると100画素程度となる。これに対応する水平方向の平滑化フィルタを掛ける。フィルタ半径をσ_０で表し、最大視差量のオーダーに設定する。このフィルタは局所的な平滑化であると云え、平滑化された一次元射影データは、その局所性の精度でシェーディング成分を保持することになる。

ガウスぼかしの場合、以下の式で表せる。左と右の一次元平滑化分布データをそれぞれ、局所平均がとられたという意味において、＜Ｌ（ｘ）＞、＜Ｒ（ｘ）＞によって表す。
なお、簡易的にはガウスぼかしを使わなくても、全てが一様な正のフィルタ係数で表された一様フィルタで代用してもよい。

４）一次元基準分布データの生成
視差消滅した左の一次元平滑化分布データと視差消滅した右の一次元平滑化分布データとから、シェーディング補正の基準レベルを表すための一次元基準分布データを生成する。一次元基準分布データを＜M(x)＞によって表す。この基準点の作り方には２通りある。１つは、左右の相加平均をとる方法で、もう１つは、左右の相乗平均をとる方法である。

５）一次元ゲイン分布データの生成
左右の一次元平滑化分布データと一次元基準分布データを利用して、左視差画像を補正するための一次元ゲイン分布データg_Lt(x)と右視差画像を補正するための一次元ゲイン分布データg_Rt(x)を生成する。これによって、画像構造情報が相殺されたシェーディング成分の逆数成分が生成される。

一次元基準分布データが２通りあったのに合わせて、２通りのゲイン分布データの作り方が存在する。

６）視差画像のシェーディング補正
求まった左と右の一次元ゲイン分布データのそれぞれを用いて、左視差画像と右視差画像のそれぞれをシェーディング補正する。各行で一次元データを全て共通に用いて、二次元データを補正する。すなわち、y軸上の各点について下記演算を行う。シェーディング補正された左視差画像をLt'(x,y)、シェーディング補正された右視差画像をRt'(x,y)とする。

こうして、視差画素の特性によって生じたシェーディングが補正された立体画像が生成される。これを立体表示すると、シェーディングによる視野闘争の起こらない自然な立体画像を得ることができる。光学条件によって変動するシェーディング特性を、画像自身から抽出することにより、簡易で確実なシェーディング補正方法を提供できる。すなわち、一般撮影画像自身の信号情報を利用して、簡易な構成で立体効果を失わずに視差画像に生じるシェーディングを補正し、自然な立体画像を生成することが可能になる。

なお、一般にはシェーディング特性は、被写体が至近にある場合と無限遠にある場合でも異なってくる。したがって、被写体像の配置関係によってもシェーディングは変わり得るが、実際にシェーディングが問題となるのは、絞った光学系のときである。この場合、被写界深度は深く、多くの被写体が無限遠ピントと同じような状況にあると考えてよいので、本実施例の補正方法でも十分、有益な立体画像のシェーディング補正を提供することができる。また、関連する複数の左右の視差画像、例えば、連写により撮影された複数の左右の視差画像に対しては、少なくともいずれかの左右の視差画像に対して一度シェーディング補正を行えばよい。他の左右の視差画像については、シェーディング補正しなくてもよいし、当該いずれかのシェーディング補正に用いたゲイン分布データをそのまま利用してシェーディング補正してもよい。これにより、シェーディング補正に関する処理負荷を低減できる。また、関連する複数の左右の視差画像のうち、ユーザ入力等によって予め設定された左右の視差画像のみシェーディング補正を行ってもよい。

図１４は、シェーディング補正の一例を説明する図である。図１４（ａ）は、表示部２０９に表示される撮影画像を示す図である。図１４（ｂ）は、シェーディング補正前の左視差画像および右視差画像を示す図である。図１４において、ハッチングの密度は明るさの度合いを示す。視差画像には、画素の角度依存性に起因するシェーディングが発生する。このため、図１４（ｂ）に示すように、左視差画像および右視差画像はそれぞれ、左端部分と右端部分とで明るさが異なる。図においては、左視差画像では、右端部分が左端部分よりも明るくなっているのに対し、右視差画像では、左端部分が右端部分よりも明るくなっている。また、視差シェーディングは、左視差画像と右視差画像とで対称ではない。すなわち、右視差画像における左右両端の明るさの差は、左視差画像における左右両端の明るさの差よりも大きくなっている。

図１４（ｃ）は、シェーディング補正後の左視差画像および右視差画像を示す図である。図示するように、シェーディング補正によって、左視差画像の左端の明るさと右視差画像の左端の明るさは略同一になっている。同様に、左視差画像の右端の明るさと右視差画像の右端の明るさも略同一になっている。このように、左視差画像および右視差画像の対応する部分での明るさの違いを軽減できるので、立体視聴時の不快感を軽減できる。

＜第２の実施例＞
ステップ５の一次元ゲイン分布データを算出するにあたってフィッティング関数を利用する場合について説明する。第１の実施例と異なるのは、ステップ５の一次元ゲイン分布データを更に加工して求める過程を加えるだけであるので、その部分だけを記述する。処理の手順は、第１の実施例と同一である。

５）一次元ゲイン分布データの生成
第１の実施例で求まった一次元ゲイン分布データg_Lt(x)とg_Rt(x)は、通常画像構造が排除されていると考えられるが、入力した一般被写体の視差画像が極めて高感度撮影されている場合には、依然としてノイズのゆらぎ成分が残存している場合がある。また、一般被写体像に極めて明るい領域が含まれることにより、一方の視差画像のみにおいて明るさレベルが飽和している場合には、画像構造情報が適切に排除されていない場合がある。そのような場合にもシェーディング補正を適切に機能させるために、一次元ゲイン分布データから画像構造情報を強制的に排除する処理を行う。具体的には、シェーディングは、常に緩やかな関数でフィッティングできるような特性を持つことを利用する。図１５は、関数フィッティングを説明する図である。図１５の上側は、Ｆ１１の場合を示し、下側はＦ１．４の場合を示す。各図において、横軸は水平方向の画素位置を表し、縦軸は信号レベルを表す。また、各図においては、一様画像の一行だけを取り出したシェーディングの振る舞いの様子と、それを４次関数でフィッティングしたデータの様子を示している。第１の実施例で得られた一次元ゲイン分布データに対して、関数フィッティングを行うと、画像構造情報が完全に強制的に排除されたゲイン分布データが得られる。元のシェーディングが４次関数で表しうるので、ゲイン分布も４次関数で近似できると考えてよい。

ここに、定数a,b,c,d,eはそれぞれフィッティング係数である。最小自乗法によって係数を求める。フィッティングを行うと、確実に画像構造情報が排除されるとともにノイズの揺らぎも排除される。
こうして、フィッティング関数によって近似した一次元ゲイン分布データを用いて、ステップ６ではシェーディング補正を行う。

＜第３の実施例＞
第１の実施例と第２の実施例では、入力画像の解像度そのままの状態で扱ったが、第２の実施例で述べたようにシェーディング信号は画像全体で緩やかに変化する成分である。したがって、入力画像を例えば、360x240画素のようなサムネール画像のような解像度に落としても十分にその情報を得ることができる。入力画像の座標軸を(x,y)とし、サムネール画像の座標軸を(x',y')で表すと、サムネール画像の縮小率が１／α倍（α＞１）でサンプリングの開始位置が(x₀,y₀)で表される時、次のような関係が成り立つ。

x=αx'+x₀,
y=αy'+y₀.
ゆえに、サムネール画像の画素位置(x',y')上で第１の実施例、ないしは第２の実施例と同様の演算を行った上、最後のステップ６におけるシェーディング補正の実行のときのみ、上記のxに関する変数変換を用いて演算を行えばよい。

上述のようなサムネール画像で行うことができる第１の実施例と第２の実施例の手法は、非常にハードウェア処理に向いた簡易な処理であるということができる。なぜならば、実際の視差画像がパイプラインで生成されるまでの間の待ち時間の間に、サムネール画像でステップ5までの処理が完了し、パイプラインで視差画像が流れてきたと同時にステップ６の処理を実行することができるからである。また、ステップ１の一次元射影の考え方はより一層、ハードウェアに適した処理を生み出す。ハードウェアにおいては実解像度における垂直方向のフィルタタップ数の長い大規模平滑化は、ラインメモリを要するので通例、困難な場合が多く、それに対して本実施例は、サムネールサイズでの処理は容易で、かつ平滑化は水平方向に限られるためである。

＜第４の実施例＞
Bayer型RGB疎な視差画素配列を例に挙げて、具体的に説明する。ここでは、図１１の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例について説明する。図１１の配列の特徴は、既に述べた通りである。処理の手順は、およそ以下の通りである。

１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
５）視差なし基準画像の生成
６）実際の視差画像の生成
７）視差画像のシェーディング補正
８）出力色空間への変換
以下、順に説明する。

１）色・視差多重化モザイク画像データ入力
図１１の色と視差の多重化された単板式モザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるものとする。

便宜的にモザイク画像M(x,y)の内、
R成分の視差なし画素の信号面をR_{N_mosaic}(x,y)、
R成分の左視差画素の信号面をR_{Lt_mosaic}(x,y)、
R成分の右視差画素の信号面をR_{Rt_mosaic}(x,y)、
G成分の左視差画素の信号面をG_{N_mosaic}(x,y)、
G成分の視差なし画素の信号面をG_{Lt_mosaic}(x,y)、
G成分の右視差画素の信号面をG_{Rt_mosaic}(x,y)、
B成分の視差なし画素の信号面をB_{N_mosaic}(x,y)、
B成分の左視差画素の信号面をB_{Lt_mosaic}(x,y)、
B成分の右視差画素の信号面をB_{Rt_mosaic}(x,y)
と表すことにする。

全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施例では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、R_{Lt_mosaic}(x,y)からR_Lt(x,y)を、R_{Rt_mosaic}(x,y)からR_Rt(x,y)を、R_{N_mosaic}(x,y)からR_N(x,y)を、G_{Lt_mosaic}(x,y)からG_Lt(x,y)を、G_{Rt_mosaic}(x,y)からG_Rt(x,y)を、G_{N_mosaic}(x,y)からG_N(x,y)を、B_{Lt_mosaic}(x,y)からB_Lt(x,y)を、B_{Rt_mosaic}(x,y)からG_Rt(x,y)を、B_{N_mosaic}(x,y)からG_N(x,y)を生成する。
仮のR成分の視差なし画像：R_N(x,y)
仮のG成分の視差なし画像：G_N(x,y)
仮のB成分の視差なし画像：B_N(x,y)
仮のR成分の左視差画像：R_Lt(x,y)
仮のG成分の左視差画像：G_Lt(x,y)
仮のB成分の左視差画像：B_Lt(x,y)
仮のR成分の右視差画像：R_Rt(x,y)
仮のG成分の右視差画像：G_Rt(x,y)
仮のB成分の右視差画像：B_Rt(x,y)
なお、仮の視差なし画像R_N(x,y)、G_N(x,y)、B_N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

４）左右の照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをM_N(x,y)と書くことにする。

この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。

さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。

このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像M_N(x,y)を出力する。

５）視差なし基準画像の生成
公知のBayer補間技術（デモザイク処理）を用いる。例えば、本出願と同一発明者のUSP8,259,213を参照されたい。こうして生成された視差なし基準画像は、ステップ４のローカル・ゲイン補正によって、シェーディング補正がなされているので、視差画像の左右領域で生じていたシェーディングの影響が排除された２D画像が生成される。これはそのまま、通常の高解像な２D画像としてプリント出力に使うことができる。

６）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'_Lt(x,y)、G'_Lt(x,y)、B'_Lt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'_Rt(x,y)、G'_Rt(x,y)、B'_Rt(x,y)を生成する。

視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施例では相加平均を基準点とする方式を用いる。

７）視差画像のシェーディング補正
視差変調前の低解像な視差画像はシェーディング補正されていないので、ローカル・ゲインバランス補正によって高解像な視差なし画像からシェーディングの影響が取り除かれていても、視差変調によって生成された高解像な視差画像（すなわちステップ６で求めた視差画像）には、シェーディングが再度発生することになる。したがって、第１の実施例、第２の実施例、ないしは第３の実施例のシェーディング補正をRGB各面について行う。

８）出力色空間への変換
こうして得られた高解像な視差なしの中間カラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)と高解像の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)、高解像の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)のそれぞれをセンサーの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。

上記説明した過程をゲイン補正と視差量との関係に関わる部分のみと抜き出して、もう一度要約する。わかりやすくするため、ゲイン補正の基準点として相乗平均の場合のみを議論する。

ローカル・ゲインバランス補正では、２D画像の生成を目的として、Lt画像とRt画像の間のゲインバランス整合と視差消滅を同時に行って、２D画像シェーディング補正を導入している。その核となる式は、左視差画像と右視差画像のそれぞれに対して、以下のゲイン補正を行う式である。
一方の２D画像から視差変調によって３D画像を生成する過程において、その核となる式は、視差なし画像に対して以下のゲイン補正を行う式である。
すなわち、ローカル・ゲインバランス補正の式は視差変調の式と逆数の関係にあり、視差消滅を伴う。

更に、３D画像に対するシェーディング補正を行う過程において、その核となる式は、視差画像に対して以下のゲイン補正を行う式である。
上述の式は局所平均をとることによって視差情報を失いながらも、シェーディング情報は失わずに抽出する役割を果たす。

上述の３つの過程は、単眼立体撮像におけるボケと視差とが一対一に対応する関係から導かれる固有の性質を利用した演算であるということができる。

以上の第４の実施例に関する説明では、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作に、ボケ幅を共通にする目的で相乗平均を用いた。視差なし画素の画素値と左右の視差画素の平均値との相乗平均を算出する場合に、当該画素値に対する重みと当該平均値に対する重みの配分は均等であった。一方、視差画素の数は視差なし画素の数より少ない。加えて、視差画像の解像力は、視差なし画像の解像力より低い。上述したように、例えば視差なし画像であるＲ_Ｎ、Ｂ_Ｎのナイキスト限界性能がkx=[±π/(2a),±π/(2a)]、ky=[±π/(2a),±π/(2a)]を結んだ領域であるのに対し、視差画像であるＧ_Ｌｔ、Ｇ_Ｒｔのナイキスト限界性能は、kx=[±π/(4a),±π/(4a)]、ky=[±π/(4a),±π/(4a)]を結んだ領域である。したがって、視差なし画素の画素値と左右の視差画素の平均値とに対する重みの配分を均等にすると、得られる画像の解像力は、視差画像の解像力の影響により全体として低下する。よって、視差なし画像の解像力に可能な限り近づける工夫が必要になる。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相乗平均をとるとよい。具体的には、第４の実施例で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、Ｎ：Ｌｔ：Ｒｔ＝６：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝３：１であるので、視差なし画像には３／４乗の重みを、視差画像には１／４乗の重みを与えて、密度の高い視差なし画像を重視した配分とする。

上述したように、左右間の視差を消滅させる方法には、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っている場合には、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶとよい。以下のａ）は、相加平均型を選んだ場合について示す。

一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶとよい。以下のｂ）は、相乗平均型を選んだ場合について示す。

また、視差変調を行うときも、撮像素子上の画素配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとることもできる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。以下のａ）は、相加平均を基準点とした視差変調について示す。

以下のｂ）は、相乗平均を基準点とした視差変調について示す。

なお、第４の実施例では、第３の実施例の最後に記述したハードウェアに適するように、視差画像のシェーディング補正を最後のステップ７で高解像な視差画像に対して行うように説明した。しかしながら、ソフトウェア処理でより高品質な画像を得るためには、視差画像のシェーディング補正をステップ３とステップ４の間に入れて、仮の視差画素に対してシェーディング補正を行うようにしてもよい。こうすると、シェーディング補正のゲイン・アップで生じた階調飛びを、ステップ６の視差変調が埋め合わせる効果が働くからである。

＜尚書き＞
以上説明したシェーディング補正を動画に適用する場合について説明する。入力画像が動画の場合には、第３の実施例のような演算を一枚一枚のフレーム画像に対して行うことができる。上述の実施例では、被写体の画像構造やノイズ等に影響されないような多くの安定化策が講じられている。しかし、動画像におけるシェーディング補正の時間軸に対する更なる安定化策を望むとするならば、次のようなことも考えられる。動画撮影においては、カメラ側の動作は緩やかにズームイン、ズームアウトしたり、絞り値を緩やかに変化させたりして撮るのが一般的である。すなわち、立体画像のシェーディング分布の変化要因である瞳位置と瞳径が緩やかに変化する。動画像にはシーンチェンジの最初にIピクチャが配置され、その間はPピクチャ、Bピクチャが配置されることが多い。したがって、一のIピクチャから次のIピクチャの手前のフレームまでの間の、第３の実施例で求まったステップ５の一次元ゲイン分布データを時間軸方向に対して緩やかに関数フィッティングするとよい。

パーソナルコンピュータなどの機器を画像データ生成部５３０、一次元射影データ生成部５３１、一次元平滑化データ生成部５３２、一次元基準データ生成部５３３、シェーディング補正部５３４の機能を担う画像処理装置として機能させることもできる。画像処理装置は、カメラ等の他の装置から視差画像データを取り込んでもよい。この場合には、画像データ生成部５３０は、画像データ取得部としての役割を担う。なお、画像データ生成部５３０が、視差画像データを自ら生成する場合も、自ら生成することによって視差画像データを取得しているといえる。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、ゲーム機器など、表示部を備える、あるいは表示部に接続される機器は画像処理装置になり得る。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。

また、上述の各実施形態において、単眼式の瞳分割による視差情報の取得方法として以下のような変形例も考えられる。

１）単眼レンズの入射光をプリズムで半々に光強度が２方向に分離するようにし、各々に片側視差画素のみを敷き詰めた左視差撮像素子と右視差撮像素子によって二板式撮像を行う。これにより、各画素に右視差画素値と左視差画素値の２つの情報をもたせることができる。

２）単眼レンズの構造として、図４に示した仮想瞳に相当する絞りを右側と左側に交互に挿入できるようにし、通常の視差なし画素のモノクロ撮像素子に対して、２回露光で順に左視差画像と右視差画像を取得する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、５０ デジタルカメラ、６０ 撮影レンズ、６１ 光軸、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、２３０ 画像データ生成部、２３１ 平滑化データ生成部、２３２ 目標画像データ生成部、２３３ ゲイン補正部、３２２ 中心線、４００ 撮像素子、５０１ 制御部、５０２ Ａ／Ｄ変換回路、５０３ メモリ、５０４ 駆動部、５０５ 画像処理部、５０７ メモリカードＩＦ、５０８ 操作部、５０９ 表示部、５１０ ＬＣＤ駆動回路、５２０ メモリカード、５３０ 画像データ生成部、５３１ 一次元射影データ生成部、５３２ 一次元平滑化データ生成部、５３３ 一次元基準データ生成部、５３４ シェーディング補正部、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (33)

1. １つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像することによって得られた第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、
   前記第１視点方向の画像と前記第２視点方向の画像のそれぞれに対し、少なくとも第１と第２の視点を結ぶ方向に平滑化フィルタを掛けることによって、第１の平滑化画像と第２の平滑化画像のそれぞれを生成する手段と、
   前記第１の平滑化画像の値と前記第２の平滑化画像の値の積に基づく値で構成された基準画像を生成する手段と、
   前記基準画像の値を前記第１の平滑化画像の値で割り算することによって、第１のゲイン分布データを生成する手段と、
   前記第１視点方向の画像に対し、前記第１のゲイン分布データに基づいて、各画素のゲイン補正を行う手段と、
   前記ゲイン補正された第１視点方向の画像を立体表示のための視差画像として出力する手段と
   を備え、
   前記平滑化フィルタは、前記第１視点方向の画像と前記第２視点方向の画像の間で生じる視差量と同程度のフィルタ径を持つ平滑化するフィルタである
   ことを特徴とする画像処理装置。
2. 前記基準画像の値を前記第２の平滑化画像の値で割り算することによって、第２のゲイン分布データを生成する手段と、
   前記第２視点方向の画像に対し、前記第２のゲイン分布データに基づいて、各画素のゲイン補正を行う手段と、
   前記ゲイン補正された第１視点方向の画像と前記ゲイン補正された第２視点方向の画像を合わせて、立体表示のための視差画像として出力する手段と
   を更に備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記基準画像は、前記第１の平滑化画像の値と前記第２の平滑化画像の値の相乗平均をとった値で構成されることを特徴とする請求項１に記載の画像処理装置。
4. 第１視点方向の仮の視差画像と第２視点方向の仮の視差画像と、前記仮の視差画像の各々よりも高解像で、かつ第１視点方向と第２視点方向の間の基準方向の基準画像とを取得し、前記第１視点方向の仮の視差画像と前記第２視点方向の仮の視差画像と前記基準画像を用いて、第１視点方向の高解像な視差画像と第２視点方向の高解像な視差画像を生成する手段を備えるとき、
   前記第１視点方向の画像として前記第１視点方向の仮の視差画像を入力し、前記第２視点方向の画像として前記第２視点方向の仮の視差画像を入力することを特徴とする請求項１に記載の画像処理装置。
5. １つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像することによって得られた第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、
   前記第１視点方向の画像と前記第２視点方向の画像のそれぞれに対し、少なくとも第１と第２の視点を結ぶ方向に平滑化フィルタを掛けることによって、第１の平滑化画像と第２の平滑化画像のそれぞれを生成する手段と、
   前記第１の平滑化画像と前記第２の平滑化画像に基づいて基準画像を生成する手段と、
   前記基準画像の値を前記第１の平滑化画像の値で割り算することによって、第１のゲイン分布データを生成する手段と、
   前記基準画像の値を前記第２の平滑化画像の値で割り算することによって、第２のゲイン分布データを生成する手段と、
   前記第１視点方向の画像に対し、前記第１のゲイン分布データに基づいて、各画素のゲイン補正を行う手段と、
   前記第２視点方向の画像に対し、前記第２のゲイン分布データに基づいて、各画素のゲイン補正を行う手段と、
   前記ゲイン補正された第１視点方向の画像と前記ゲイン補正された第２視点方向の画像を合わせて、立体表示のための視差画像として出力する手段と、
   前記平滑化フィルタのフィルタ径を可変にすることにより、前記立体表示のための視差画像の間の視差量を調節する手段と
   を備え、
   前記フィルタ径を、視差を消滅させるときはゼロへ縮め、視差を保存させるときは前記入力画像の２つの視差画素の間で生じうる最大視差量と同程度ないしはそれ以上に広げる
   ことを特徴とする画像処理装置。
6. 前記基準画像は、前記第１の平滑化画像の値と前記第２の平滑化画像の値の積に基づく値で構成されることを特徴とする請求項５に記載の画像処理装置。
7. 前記基準画像は、前記第１の平滑化画像の値と前記第２の平滑化画像の値の相乗平均をとった値で構成されることを特徴とする請求項６に記載の画像処理装置。
8. 第１視点方向の仮の視差画像と第２視点方向の仮の視差画像と、前記仮の視差画像の各々よりも高解像で、かつ第１視点方向と第２視点方向の間の基準方向の基準画像とを取得し、前記第１視点方向の仮の視差画像と前記第２視点方向の仮の視差画像と前記基準画像を用いて、第１視点方向の高解像な視差画像と第２視点方向の高解像な視差画像を生成する手段を備えるとき、
   前記第１視点方向の画像として前記第１視点方向の仮の視差画像を入力し、前記第２視点方向の画像として前記第２視点方向の仮の視差画像を入力することを特徴とする請求項５に記載の画像処理装置。
9. 少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データとを取得する画像データ取得部と、
   前記第１画像データおよび前記第２画像データのそれぞれに対し、前記第１画像データおよび前記第２画像データにより表される像のそれぞれが、視差方向に対して平滑化されるようにフィルタリングすることにより、第１平滑化データおよび第２平滑化データを生成する平滑化データ生成部と、
   前記第１平滑化データと前記第２平滑化データとの対応するそれぞれの画素値の相乗平均を用いて目標画像データを生成する目標画像データ生成部と、
   前記目標画像データの前記第１平滑化データに対する比を用いて前記第１画像データを補正するゲイン補正部と
   を備える画像処理装置。
10. 前記ゲイン補正部は、前記目標画像データの前記第２平滑化データに対する比を用いて前記第２画像データを補正する請求項９に記載の画像処理装置。
11. 前記平滑化データ生成部は、前記第１画像データと前記第２画像データとの間に生じる視差量をサンプリング幅として平滑化する請求項９または１０に記載の画像処理装置。
12. 前記画像データ取得部は、基準方向である第３視点に対応する基準画像データを取得し、
    前記第１画像データと前記第２画像データと前記基準画像データとを用いて、高解像基準画像データを生成し、前記高解像基準画像データと補正された前記第１画像データとを用いて高解像第１画像データを生成し、前記高解像基準画像データと補正された前記第２画像データとを用いて高解像第２画像データを生成する高解像画像データ生成部を備える請求項９から１１のいずれか１項に記載の画像処理装置。
13. 少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データとを取得する画像データ取得部と、
    前記第１画像データおよび前記第２画像データのそれぞれに対し、前記第１画像データおよび前記第２画像データにより表される像のそれぞれが、視差方向に対して平滑化されるようにフィルタリングすることにより、第１平滑化データおよび第２平滑化データを生成する平滑化データ生成部と、
    前記第１平滑化データと前記第２平滑化データとに基づいて目標画像データを生成する目標画像データ生成部と、
    前記目標画像データの前記第１平滑化データに対する比を用いて前記第１画像データを補正するとともに、前記目標画像データの前記第２平滑化データに対する比を用いて前記第２画像データを補正するゲイン補正部と、
    前記平滑化のサンプリング幅を調整することにより、前記ゲイン補正部による補正後の前記第１画像データと前記第２画像データの間の視差量を調整する視差量調整部と
    を備える画像処理装置。
14. 前記目標画像データ生成部は、前記第１平滑化データと前記第２平滑化データとの対応するそれぞれの画素値の相乗平均を用いて目標画像データを生成する請求項１３に記載の画像処理装置。
15. 前記画像データ取得部により取得された時点での前記視差量を維持する場合に、前記視差量調整部は、前記サンプリング幅を前記第１画像データと前記第２画像データの最大視差量以上に調整し、前記画像データ取得部により取得された時点での前記視差量を小さくする場合に、前記サンプリング幅を前記第１画像データと前記第２画像データの最大視差量未満に調整する請求項１３または１４に記載の画像処理装置。
16. 前記画像データ取得部は、基準方向である第３視点に対応する基準画像データを取得し、
    前記第１画像データと前記第２画像データと前記基準画像データを用いて、高解像基準画像データを生成し、前記高解像基準画像データと補正された前記第１画像データとを用いて高解像第１画像データを生成し、前記高解像基準画像データと補正された前記第２画像データとを用いて高解像第２画像データを生成する高解像画像データ生成部を備える請求項１３から１５のいずれか１項に記載の画像処理装置。
17. 撮像素子と、
    請求項９から１６のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記第１画像データおよび前記第２画像データは、前記撮像素子の出力に基づいて生成される撮像装置。
18. 少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データとを取得する画像データ取得ステップと、
    前記第１画像データおよび前記第２画像データのそれぞれに対し、前記第１画像データおよび前記第２画像データにより表される像のそれぞれが、視差方向に対して平滑化されるようにフィルタリングすることにより、第１平滑化データおよび第２平滑化データを生成する平滑化データ生成ステップと、
    前記第１平滑化データと前記第２平滑化データとの対応するそれぞれの画素値の相乗平均を用いて目標画像データを生成する目標画像データ生成ステップと、
    前記目標画像データの前記第１平滑化データに対する比を用いて前記第１画像データを補正するゲイン補正ステップと
    をコンピュータに実行させる画像処理プログラム。
19. １つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像することによって得られた第１視点方向の画像と第２視点方向の画像の少なくとも2つの視差画像を入力する手段と、
    前記第１視点方向の画像と前記第２視点方向の画像のそれぞれに対し、第１と第２の視点を結ぶｘ方向とは直交するｙ方向に並ぶ複数の画素の画素値を加算し、一次元射影された第１視点方向の一次元分布データと第２視点方向の一次元分布データのそれぞれを生成する手段と、
    前記一次元射影された第１視点方向の一次元分布データと第２視点方向の一次元分布データのそれぞれに対し、一次元の平滑化フィルタを掛けることによって、第１の一次元平滑化分布データと第２の一次元平滑化分布データのそれぞれを生成する手段と、
    前記第１の一次元平滑化分布データと前記第２の一次元平滑化分布データに基づいて、その間の点を求めて一次元基準分布データを生成する手段と、
    前記一次元基準分布データの値を前記第１の一次元平滑化分布データの値で割り算することによって、第１の一次元ゲイン分布データを生成する手段と、
    前記第１視点方向の画像に対し、前記第１の一次元ゲイン分布データを各ｙ座標で共通に用いて、該一次元方向のゲイン補正を各々行う手段と、
    前記ゲイン補正された第１視点方向の画像を立体表示のための視差画像として出力する手段と
    を備え、
    前記一次元の平滑化フィルタは、前記第１視点方向の画像と前記第２視点方向の画像の間で生じうる最大視差量よりも大きな範囲に渡って平滑化するフィルタであることを特徴とする画像処理装置。
20. 前記一次元基準分布データの値を前記第２の一次元平滑化分布データの値で割り算することによって、第２の一次元ゲイン分布データを生成する手段と、
    前記第２視点方向の画像に対し、前記第２の一次元ゲイン分布データを各行に共通に用いて、該一次元方向のゲイン補正を各々行う手段と、
    前記ゲイン補正された第１視点方向の画像と前記ゲイン補正された第２視点方向の画像を合わせて、立体表示のための視差画像として出力する手段と
    を更に備えたことを特徴とする請求項１９に記載の画像処理装置。
21. 前記第１の一次元ゲイン分布データを生成する手段は、前記得た第１の一次元ゲイン分布データを更に関数フィッティングを行って緩やかな変化曲線で近似し、該フィッティング曲線を第１視点方向の画像のゲイン補正を行うための一次元ゲイン分布データとして用い、
    前記第２の一次元ゲイン分布データを生成する手段は、前記得た第２の一次元ゲイン分布データを更に関数フィッティングを行って緩やかな変化曲線で近似し、該フィッティング曲線を第２視点方向の画像のゲイン補正を行うための一次元ゲイン分布データとして用いることを特徴とする請求項２０に記載の画像処理装置。
22. 前記関数フィッティングは、４次の多項式によって近似することを特徴とする請求項２１に記載の画像処理装置。
23. 前記第１視点方向の画像と前記第２視点方向の画像は、前記光学系の任意の光学条件で撮影された任意の一般被写体画像であることを特徴とする請求項１９に記載の画像処理装置。
24. 前記一次元射影された第１視点方向の一次元データと第２視点方向の一次元分布データのそれぞれを生成する手段は、入力画像として第１視点方向の画像のサムネール画像と第２視点方向の画像のサムネール画像を使用することを特徴とする請求項１９から２２のいずれか１項に記載の画像処理装置。
25. 前記一次元基準分布データを生成する手段は、前記第１の一次元平滑化分布データと前記第２の一次元平滑化分布データの相加平均、ないしは相乗平均を求めることを特徴とする請求項１９に記載の画像処理装置。
26. 少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１の画像データと、第２視点に対応する第２の画像データとを取得する画像データ取得部と、
    前記第１の画像データおよび前記第２の画像データのそれぞれに対し、視差方向に直交する方向に並ぶ複数の画素の画素値を加算することにより、第１の一次元射影データおよび第２の一次元射影データを生成する一次元射影データ生成部と、
    前記第１の一次元射影データおよび前記第２の一次元射影データのそれぞれに対し、最大視差量以上のサンプリング幅で移動平均を算出することにより、第１の一次元平滑化データおよび第２の一次元平滑化データを生成する一次元平滑化データ生成部と、
    前記第１の一次元平滑化データと前記第２の一次元平滑化データとに基づいて一次元基準データを生成する一次元基準データ生成部と、
    前記一次元基準データの前記第１の一次元平滑化データに対する比を用いて前記第１の画像データをシェーディング補正するシェーディング補正部と
    を備える画像処理装置。
27. 前記シェーディング補正部は、前記一次元基準データの前記第２の一次元平滑化データに対する比を用いて前記第２の画像データをシェーディング補正する請求項２６に記載の画像処理装置。
28. 前記一次元基準データ生成部は、前記第１の一次元平滑化データと前記第２の一次元平滑化データとの対応するそれぞれの画素値の相加平均または相乗平均を用いて前記一次元基準データを生成する請求項２７に記載の画像処理装置。
29. 前記シェーディング補正部は、前記一次元基準データの前記第１の一次元平滑化データに対する比、および前記一次元基準データの前記第２の一次元平滑化データに対する比を、関数フィッティングを用いて生成する請求項２７または２８に記載の画像処理装置。
30. 関数は４次の多項式である請求項２９に記載の画像処理装置。
31. 前記画像データ取得部は、前記第１の画像データおよび前記第２の画像データにより表されるそれぞれの像の解像度を低下させ、
    前記一次元射影データ生成部は、解像度の低下後の像を表す前記第１の画像データおよび前記第２の画像データのそれぞれに対し、前記第１の一次元射影データおよび前記第２の一次元射影データを生成する請求項２６から３０のいずれか１項に記載の画像処理装置。
32. 撮像素子と、
    請求項２６から３１のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記第１の画像データおよび前記第２の画像データは、前記撮像素子の出力に基づいて生成される撮像装置。
33. 少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１の画像データと、第２視点に対応する第２の画像データとを取得する画像データ取得ステップと、
    前記第１の画像データおよび前記第２の画像データのそれぞれに対し、視差方向に直交する方向に並ぶ複数の画素の画素値を加算することにより、第１の一次元射影データおよび第２の一次元射影データを生成する一次元射影データ生成ステップと、
    前記第１の一次元射影データおよび前記第２の一次元射影データのそれぞれに対し、最大視差量以上のサンプリング幅で移動平均を算出することにより、第１の一次元平滑化データおよび第２の一次元平滑化データを生成する一次元平滑化データ生成ステップと、
    前記第１の一次元平滑化データと前記第２の一次元平滑化データとに基づいて一次元基準データを生成する一次元基準データ生成ステップと、
    前記一次元基準データの前記第１の一次元平滑化データに対する比を用いて前記第１の画像データをシェーディング補正するシェーディング補正ステップと
    をコンピュータに実行させる画像処理プログラム。