JP5243666B2 - 撮像装置、撮像装置本体およびシェーディング補正方法 - Google Patents

Description

本発明は、撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する技術に関する。特に本発明は、該視点画像に生ずるシェーディングを補正する技術に関する。

特許文献１のとおり、撮像レンズから撮像素子に入射する光束は、その撮像面に対し鉛直に入射する成分のほかに、斜め方向から結像する光の成分が多くある。撮像面に画素に対応して配置されたマイクロレンズによって集光される光の錯乱円は、撮像素子の各画素の中心部分に均一に形成されるとは限らず、各画素の位置に応じて画素中心からずれる。このため、撮像素子の撮像面の周辺部に配置された受光部では、均一照度の平面を撮影した場合でも、撮像レンズの光軸付近の撮像面中心部分における受光部よりも受光量が低下する。この結果、撮像素子から出力される撮像信号には、撮像面の位置によって明るさが均一とはならずに明暗のひずみを生ずる輝度シェーディングが発生し、画像品質が低下する。

特許文献２では、画像取り込み装置はゲイン制御手段によって射出瞳の位置に関する情報を少なくとも含むレンズ情報を取り込むとともに、撮像素子の撮像面上の位置に対応づけて画像信号を取り込み、様々な交換レンズが有するレンズ情報および撮像面の中心からの距離に応じて画像信号の各色成分毎にゲインの制御を行い、交換レンズは情報供給手段によって画像取り込み装置が画像信号の各色成分毎にゲインの制御を行なう際のパラメータの１つとして、撮影レンズの射出瞳の位置や絞り値に関する情報を含むレンズ情報を画像取り込み装置に供給する。

特許文献３では、デジタル一眼レフカメラのレンズユニットに設けられたレンズユニット用ＲＯＭには、撮影レンズを識別するための識別データが格納されている。カメラボディ側のシステムコントロール回路が識別データを読出す。デジタル信号処理回路が、カメラ用ＲＯＭに予め格納されている、レンズのシェーディング特性を示すレンズデータのうち、識別データに基づいて撮影レンズについてのレンズデータを読み出す。さらに、デジタル信号処理回路は、ＣＣＤのシェーディング特性を示す撮像素子データをカメラ用ＲＯＭ５６から読出し、レンズデータと撮像素子データとに基づいて、画像メモリに記録された画像のシェーディングを補正する。

特許文献４では、被写体像を撮像手段に結像するレンズ鏡胴と、当該レンズ鏡胴に起因する倍率色収差、歪曲収差又はシェーディング等の補正値を記録する補正値記録手段と、撮像手段に結像した被写体像の画像と補正値記録手段に記録されているレンズ鏡胴に起因する補正値とを関連付けて他の通信機器若しくは記録媒体に出力する出力手段とを備えたので、画像とその画像の補正情報とを関連付けて記録することが可能となり、レンズ鏡胴に起因する不都合な各種現象を、画像を出力する装置の側で補正して好ましい画像を取得することが可能となる。

特開2009-244858号公報 特開2000-324505号公報 特開2006-191282号公報 特開2003-069889号公報

特許文献１・２のような瞳分割方式の撮像装置に特有の画素配列によって、視点画像間の明るさが均一とはならずに明暗のひずみを生ずるシェーディングが各視点画像に発生し、画像の品質が低下する。シェーディングの強度は、レンズの絞り、合焦被写体距離（フォーカスレンズ位置）、ズーム倍率（焦点距離）といった撮影条件によっても変わる。該撮像装置のレンズユニットが交換式の場合は、レンズユニットごとかつ撮像条件ごとのシェーディング補正パラメータが必要となる。

交換レンズ方式・瞳分割式の撮像装置で、各撮像条件に応じた視点画像のシェーディング補正をするには、レンズの装着の都度、該レンズごとに補正パラメータを算出することが考えられる。しかし、この場合、レンズの装着ごとに補正パラメータを算出する必要があり、煩雑である。あるいは、装着されうるレンズごとの補正パラメータを全て記憶媒体に記憶しておくことが考えられる。しかし、この場合、補正パラメータが長大化し、記憶媒体の容量負担が大きい。

本発明はこのような問題点に鑑みてなされたもので、交換レンズ方式・瞳分割式の撮像装置において、記憶媒体の容量負担や補正パラメータ算出処理の負担を不必要に増大させることなく、装着されたレンズに応じたパラメータで視点画像のシェーディング補正することを目的とする。

本発明は、撮像装置本体と、撮像装置本体に対して着脱可能なレンズ部とを備える撮像装置であって、レンズ部は、撮像光学系と、レンズ部に固有の識別情報を記憶する識別情報記憶部とを備え、撮像装置本体は、装着されたレンズ部の識別情報記憶部から識別情報を取得する識別情報取得部と、装着されたレンズ部の撮像光学系を介して結像した被写体の光束を、所定の視差方向に沿った瞳分割により２つ以上の光束に分割し、分割した光束をそれぞれ対応する光電変換素子群に結像して光電変換することで、視差方向に視差を有する視点画像の組を出力可能な撮像部と、撮像部の出力した視点画像の組において視差方向に生じる１次元のシェーディングを視差方向に沿って補正するための１次元のパラメータを格納する補正テーブルを、識別情報取得部が取得した識別情報に対応づけて記憶可能な補正テーブル記憶部と、装着されたレンズ部の識別情報に対応する補正テーブルが補正テーブル記憶部に記憶されているか否かを判断する判断部と、判断部が、装着されたレンズ部の識別情報に対応する補正テーブルが補正テーブル記憶部に記憶されていると判断した場合、補正テーブル記憶部に記憶された、装着されたレンズ部の識別情報に対応する補正テーブルに従って視点画像の組のシェーディングを補正するシェーディング補正部と、を備える撮像装置を含む。

ここで、撮像装置本体は、装着されたレンズ部の撮影条件を設定する撮影条件設定部を備え、補正テーブル記憶部は、補正テーブルを、識別情報および撮影条件に対応づけて記憶可能であり、補正テーブルは、装着されたレンズ部の識別情報および撮影条件設定部の設定した撮影条件に対応する補正テーブルが補正テーブル記憶部に記憶されているか否かを判断し、シェーディング補正部は、判断部が、装着されたレンズ部の識別情報および撮影条件設定部の設定した撮影条件に対応する補正テーブルが補正テーブル記憶部に記憶されていると判断した場合、補正テーブル記憶部に記憶された、装着されたレンズ部の識別情報および撮影条件設定部の設定した撮影条件に対応する補正テーブルに従ってシェーディングを補正する。

撮影条件は、絞り、焦点距離および合焦被写体距離のうち少なくとも１つを含む。

判断部が、装着されたレンズ部の識別情報に対応する補正テーブルが補正テーブル記憶部に記憶されていないと判断した場合、装着されたレンズ部に対応する補正テーブルを撮像部から出力された視点画像の組に基づいて算出し、算出した補正テーブルを識別情報と対応づけて補正テーブル記憶部に記憶する補正テーブル算出部を備える。

判断部が、装着されたレンズ部の識別情報および撮影条件設定部の設定した撮影条件に対応する補正テーブルが補正テーブル記憶部に記憶されていないと判断した場合、装着されたレンズ部および撮影条件設定部の設定した撮影条件に対応する補正テーブルを撮像部から出力された視点画像の組に基づいて算出し、算出した補正テーブルを識別情報および撮影条件と対応づけて補正テーブル記憶部に記憶する補正テーブル算出部を備える。

本発明は、撮像光学系と、固有の識別情報を記憶する識別情報記憶部とを備えたレンズ部を着脱可能な撮像装置本体であって、装着されたレンズ部の識別情報記憶部から識別情報を取得する識別情報取得部と、装着されたレンズ部の撮像光学系を介して結像した被写体の光束を、所定の視差方向に沿った瞳分割により２つ以上の光束に分割し、分割した光束をそれぞれ対応する光電変換素子群に結像して光電変換することで、視差方向に視差を有する視点画像の組を出力可能な撮像部と、撮像部の出力した視点画像の組において視差方向に生じる１次元のシェーディングを視差方向に沿って補正するための１次元のパラメータを格納する補正テーブルを、識別情報取得部が取得した識別情報に対応づけて記憶可能な補正テーブル記憶部と、装着されたレンズ部の識別情報に対応する補正テーブルが補正テーブル記憶部に記憶されているか否かを判断する判断部と、判断部が、装着されたレンズ部の識別情報に対応する補正テーブルが補正テーブル記憶部に記憶されていると判断した場合、補正テーブル記憶部に記憶された、装着されたレンズ部の識別情報に対応する補正テーブルに従って視点画像の組のシェーディングを補正するシェーディング補正部と、を備える撮像装置本体を含む。

本発明は、撮像光学系と、固有の識別情報を記憶する識別情報記憶部とを備えたレンズ部を着脱可能な撮像装置本体が、装着されたレンズ部の識別情報記憶部から識別情報を取得するステップと、装着されたレンズ部の撮像光学系を介して結像した被写体の光束を、所定の視差方向に沿った瞳分割により２つ以上の光束に分割し、分割した光束をそれぞれ対応する光電変換素子群に結像して光電変換することで、視差方向に視差を有する視点画像の組を出力するステップと、出力した視点画像の組において視差方向に生じる１次元のシェーディングを視差方向に沿って補正するための１次元のパラメータを格納する補正テーブルを、取得した識別情報に対応づけて記憶するステップと、装着されたレンズ部の識別情報に対応する補正テーブルが記憶されているか否かを判断するステップと、装着されたレンズ部の識別情報に対応する補正テーブルが記憶されていると判断した場合、装着されたレンズ部の識別情報に対応する補正テーブルに従って視点画像の組のシェーディングを補正するステップと、を実行するシェーディング補正方法を含む。

この発明によると、装着した撮像部に対応する補正テーブルが記憶されていれば、主画像・副画像において視差方向に生じる１次元のシェーディングが、その補正テーブルで補正される。このため、前と同じ撮像部を装着するたびに、補正テーブルを決定する処理が省略される。

装着した撮像部に対応する補正テーブルが記憶されていなければ、設定された撮影条件に対応する補正テーブルが算出されて記憶される。以降、該撮像部が装着されれば、その撮像部に対応した補正テーブルで主画像・副画像のシェーディングが補正される。

シェーディングは１次元であるため、撮像部ごとに記憶される補正テーブルのパラメータは１次元の値でよい。そのための記憶容量の負担は、２次元のパラメータの補正テーブルを記憶するよりも小さい。

第１実施形態に係るカメラのブロック図 瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図 第１、第２画素の１画素ずつを示した図 図３の要部拡大図 前ピン、合焦（ベストフォーカス）、および後ピンの違いによる撮像素子に結像する像の分離状態を示す図 シェーディング補正処理のフローチャート 主画像の１次元の輝度分布、副画像の１次元の輝度分布の一例を示す図 補正テーブルの一例を示す図

＜第１実施形態＞
図１は第１実施形態に係るデジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、交換式のレンズユニット５０とカメラ本体５１から構成される。

レンズユニット５０は、カメラ本体５１に直接あるいはマウントコンバータを介して装着可能である。レンズユニット５０は、レンズ情報の入った記録媒体であるレンズ用ＥＯＭ５０ａを有している。レンズ情報は、レンズユニット５０に固有の識別情報、レンズユニット５０が有する、ズームレンズ、フォーカスレンズ、絞り、シャッタとそれらの駆動系を含む撮像光学系や画像安定化装置その他の機能をカメラ本体５１側にて有効に機能させる駆動制御の処理に関するファームウェアと、その駆動制御に関する数値情報（設定パラメータ）などを含みうる。

カメラ本体５１に装着可能なレンズユニット５０は複数存在し、その中には、識別情報とパラメータなどを記録するものや、識別情報のみを記録するものや、識別情報などを一切記録しないものが混在するものとする。よって、カメラ本体５１にレンズユニット５０が装着されて初めて、カメラ本体５１はレンズユニット５０の記録情報の有無および内容を認識できる。

このデジタルカメラ１００の動作は統括的にＣＰＵ１０５により制御される。このＣＰＵ１０５内にはＲＯＭが内蔵されており、その内蔵されたＲＯＭ内にプログラムが格納されている。このプログラムの手順に従ってデジタルカメラ１００全体の動作がＣＰＵ１０５により制御される。電源スイッチ１０２、撮影・再生モード切替レバー１０３、そのほかのスイッチ群１０７がこのＣＰＵ１０５に全て接続されており、それらのスイッチのうちいずれかが操作されるとＣＰＵ１０５に対応する操作信号が入力される。

レンズ着脱検出スイッチ１０１がカメラ本体５１へのレンズユニット５０の装着又は離脱を検出すると、その検出信号がＣＰＵ１０５に入力される。レンズユニット５０の装着はレンズ着脱検出スイッチ１０１の接点のオンで、離脱は接点のオフで検出できる。また、ＣＰＵ１０５には、手ブレ検出部としての角速度センサ２９から手ブレ検出信号が入力される。

まず、電源スイッチ１０２が投入されると、ＣＰＵ１０５により電源スイッチ１０２が投入されたことが検知され、各ブロックに電源が供給される。レンズユニット５０の装着をＣＰＵ１０５で検出したら、撮影処理又は再生処理がＣＰＵ１０５により開始される。ＣＰＵ１０５は、電源が投入されたときに撮影・再生モード切替レバー１０３の切替位置を検知して、その検知した切替位置が撮影モード１０３ａであったら、画像再生処理回路１１７は画像表示処理を開始してスルー画像をＬＣＤモニタ１０９ａ上に表示するようＬＣＤドライブ回路１２０を制御し、切替位置が再生モード１０３ｂであったら記録メディア１４０に記録されている画像データに基づく画像をＬＣＤモニタ１０９ａに表示させる。

ここで、撮影処理を簡単に説明する。

ＣＰＵ１０５は、撮影・再生モード切替レバー１０３が撮影モード１０３ａに切り替えられていることを検知して撮影処理を開始し、位相差ＣＣＤ１１０に結像されている被写体を表わす画像データを所定の間隔ごとにＣＤＳＡＭＰ１１１に出力させる。この所定の間隔ごとに出力される画像データを、Ａ／Ｄ変換部１１２以降の信号処理段で処理してスルー画像を得て、そのスルー画像をＬＣＤモニタ１０９ａに表示させている。そうすると、レンズユニット５０が捉えた範囲の被写体があたかも動画像のようになってＬＣＤモニタ１０９ａ上に表示される。

このＬＣＤモニタ１０９ａは、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。ただし、これに限らず、ＬＣＤモニタ１０９ａは、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

スイッチ群１０７に含まれる焦点距離認識スイッチＳＷ４の操作によって、レンズユニット５０のズームレンズがテレ（望遠）側とワイド（広角）側の間で移動し、この焦点距離が任意の値に変更される。

また、スイッチ群１０７に含まれるレリーズスイッチＳＷ３の半押し操作によって、ＡＦ／ＡＥが作動し（ただしレンズユニット５０がＡＦ／ＡＥに対応している場合）は、位相差ＣＣＤ１１０の露出時間制御、レンズユニット５０の絞り制御・フォーカスレンズの合焦制御が実行され、また、被写体輝度が所定値より低い場合はフラッシュ発光回路４２が放電用コンデンサを充電する。レリーズスイッチＳＷ３の全押し操作によって、フラッシュ発光回路４２がコンデンサの放電を開始してフラッシュ４３を発光させ、被写体の撮影が実行される。

ＬＣＤモニタ１０９ａ上に表示されているスルー画像に基づいてユーザによって任意にフレーミングが行なわれ撮影が行なわれるため、このデジタルカメラ１００を向けた方向の被写体がすぐにスルー画像として表示されるように、ＡＦ検出回路１３０で常に合焦点位置を検出してレンズユニット５０の中のフォーカスレンズをピント調整機構により合焦点位置に移動させている。図示は省略するが、このピント調整機構は、フォーカスレンズと、ＡＦ検出回路の合焦点位置の検出結果に基づいてそのフォーカスレンズを駆動するモータと、そのモータによりフォーカスレンズを移動させるリードスクリュー、そのリードスクリューの回転により移動したフォーカスレンズの位置を検出するセンサなどからなる。

合焦点位置の検出は、コントラストＡＦ処理又は位相差ＡＦ処理による。コントラストＡＦ処理を行なう場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるようにレンズユニット５０内のフォーカスレンズを制御することによりＡＦ制御が行なわれる。また、位相差ＡＦ処理を行なう場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるようにレンズユニット５０内のフォーカスレンズを制御することによりＡＦ制御が行なわれる。

また、このピント調整機構でのピント調整のほか、図示しないＡＥ＆ＡＷＢ検出部によって被写界輝度を検出して、小絞、あるいは開放絞りを切り替えて設定したり、ホワイトバランス調整のため、Ｒ、Ｇ、Ｂの各色信号のゲインを調整したりして、鮮明なスルー画像をＬＣＤモニタ１０９ａ上に表示させるようにもしている。ユーザはこのスルー画像を見ながらフレーミングを行い、シャッタチャンスにレリーズ操作を行なう。

レリーズスイッチＳＷ３が全押しされレリーズ操作が行なわれたら、ＣＰＵ１０５は、位相差ＣＣＤ１１０にレリーズ操作時の画像を結像させるため、タイミングジェネレータ（図示せず）から位相差ＣＣＤ１１０にタイミング信号を供給させる。このタイミング信号は位相差ＣＣＤ１１０に露光開始および露光終了を告げるものでありいわゆるシャッタスピードに相当する。ＣＰＵ１０５はこの露光終了時に位相差ＣＣＤ１１０から画像データ（ＲＧＢの光の３原色Ｒ，Ｇ、Ｂからなる）を出力させ、その出力させた画像データが後段のＣＤＳＡＭＰ１１１に供給される。ＣＤＳＡＭＰ１１１では、位相差ＣＣＤ１１０から出力された画像データの雑音の低減を行なってその雑音を低減した画像データをＡ／Ｄ変換部１１２に供給する。このＡ／Ｄ変換部１１２でデジタル信号に変換されたＲＧＢからなる画像データが画像信号処理回路１１３に供給され、この画像信号処理回路１１３でＲＧＢ信号からＹＣ信号への変換が行なわれる。さらにこのＹＣ信号が圧縮・伸張処理回路１１４に供給され圧縮されてメディアコントロール回路１１５を介してその圧縮された画像データが記録メディア１４０に画像ファイルとして記録される。

なお、位相差ＣＣＤ１１０〜画像信号処理回路１１３の全部又は一部は、カメラ本体５１に備えられてもよいし、レンズユニット５０に備えられてもよい。

次に再生処理に係る操作を簡単に説明する。

ＣＰＵ１０５は、撮影・再生モード切替レバー１０３が再生モード１０３ｂ側に切り替えられたことを検知したら、記録メディア１４０内に記録されている画像データをメディアコントロール回路１１５により読み出させ、圧縮・伸張処理回路１１４で伸張処理を行なった画像データを画像再生処理回路１１７に供給させる。この画像再生処理回路１１７では、伸張された画像データにＬＣＤモニタにあった処理を施してからその処理を施した画像データをＬＣＤドライブ回路１２０に出力する。ＬＣＤドライブ回路１２０ではその画像データを受けてＬＣＤモニタ１０９ａを駆動し、画像データに基づく画像をＬＣＤモニタ１０９ａ上に表示させる。この再生では、特に指定のない限り、一番新しく記録された画像データに基づく画像が再生表示される。

ＣＰＵ１０５は、動きベクトル検出回路４６による全体画像のブレ量から手振れの発生を検出することができる。

レンズ情報メモリ１４１には、実際に装着されたレンズユニット５０の識別情報と、レンズユニット５０が有する、ズーム、フォーカス、絞り、シャッタ、画像安定化装置その他の機能をカメラ本体５１側にて有効に機能させる駆動制御の処理に関するファームウェアと、その駆動制御に関する数値情報や撮影条件（設定パラメータ）とが記録される。レンズ情報メモリ１４１は、ＲＡＭ、ハードディスクなどの各種の記録媒体で構成される。

音声入力回路（マイク）１００２で収録された音声は、動画像とともに記録メディア１４０に記録される。この音声は、音声処理回路１１６に供給され、音声再生回路１３１でスピーカ１００３に適した音声データに変換される。

このデジタルカメラ１００にはＴＶモニタ端子１００４を用いて再生画像をＴＶモニタ上で楽しむことができるようにするため、記録メディア１４０から読み出された画像データをＴＶモニタ上に表示することができる画像データにビデオエンコード回路１１８で変換してから動画像データを外部に出力している。

レンズ情報メモリ１４１には、レンズユニット５０ごとに、焦点距離・被写体距離・絞り段の３つのパラメータの組（撮影条件）に応じた主画素用の１次元の補正テーブルおよび副画素用の１次元の補正テーブルが複数記憶されうる。デジタルカメラ１００では、焦点距離・被写体距離・絞り（撮影条件）を変化させると、位相差ＣＣＤ１７の各フォトダイオードに光束が入射する入射角が異なるため、左右方向のシェーディング形状は大きく変化する。そのため、レンズ情報メモリ１４１に記憶された１次元の補正テーブルのうち、撮影条件に対応するものを選択することによって、撮影条件によって異なるシェーディング特性に対応することができる。

図２は位相差ＣＣＤ１１０の構成例を示す図である。

位相差ＣＣＤ１１０は、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図２に示すように位相差ＣＣＤ１１０の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影レンズ１４、および位相差ＣＣＤ１１０の主、副画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。

位相差ＣＣＤ１１０の主画素の前面側（マイクロレンズＭＬ側）には、遮光部材１７Ａが配設され、副画素の前面側には、遮光部材１７Ｂが配設される。遮光部材１７Ａ、１７Ｂは瞳分割部材としての機能を有している。図４の（Ａ）部分に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＭＬを介して制限を受けずに入射する。図４の（Ｂ）部分に示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図４の（Ｃ）部分に示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段である遮光部材１７Ａ、１７Ｂにより、射出瞳を通過する光束が左右に分割される。

このように位相差ＣＣＤ１１０の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差ＣＣＤ１１０で立体視画像を撮影する仕組みについて説明する。

図５の（Ａ）〜（Ｃ）部分は、フォーカスレンズがそれぞれ前ピン、合焦（ベストフォーカス）、および後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図５では、フォーカスによる分離の違いを比較するために絞りを省略している。

図５の（Ｂ）部分に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図５の（Ａ）部分および（Ｃ）部分に示すように前ピンおよび後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を位相差ＣＣＤ１１０を介して取得することにより、フォーカス位置に応じて視差の異なる左視点画像および右視点画像（立体視画像）を取得することができる。すなわち、合焦位置の視差は０となり、３Ｄ再生像の位置（虚像の位置）は表示面と一致する。合焦位置を奥にずらしていくにつれて、視差が０となる位置が奥にずれ、表示面上の被写体は表示面から飛びだしてくるように見える。逆に、合焦位置を手前にずらしていくにつれて、視差が０となる位置が手前にずれ、表示面上の被写体は表示面から奥へ移動していくように見える。

なお、図５は、合焦被写体距離（フォーカスレンズ位置）によって、位相差ＣＣＤ１１０の受光面への光束の入射角が変化する様子も示している。上記構成の位相差ＣＣＤ１１０は、主画素と副画素とでは、遮光部材１７Ａ、１７Ｂより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１７Ａ、１７Ｂを設けずに、マイクロレンズＭＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図示は省略するが、絞りの開口径や、ズームレンズの位置によっても、位相差ＣＣＤ１１０の受光面への光束の入射角が変化する。左視点画像および右視点画像に発生するシェーディングの強度は、この光束の入射角の大きさに依存する。

図６は、位相差ＣＣＤ１１０の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行なうシェーディング補正処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１０５によって制御される。

Ｓ１では、ＣＰＵ１０５は、レンズ着脱検出スイッチ１０１により、カメラ本体５１へのレンズユニット５０の装着を検出する。シェーディング補正部６７は、装着されたレンズユニット５０から、識別情報などのレンズ情報を取得すると、これをレンズ情報メモリ１４１に記憶する。

Ｓ２では、ＣＰＵ１０５は、装着の検出されたレンズユニット５０の撮影条件の設定とその確定を受け付ける。撮影条件は、レンズユニット５０のフォーカスレンズの合焦位置（合焦被写体距離）、レンズユニット５０の絞り値、レンズユニット５０のズームレンズの任意のズーム段（焦点距離）の組である。撮影条件は、ＡＦ／ＡＥ処理、ズームスイッチＳＷ４の操作など、自動、手動あるいは半自動的に確定される。ＣＰＵ１０５は、確定された撮影条件の値でレンズユニット５０の駆動系を制御する。

Ｓ３では、ＣＰＵ１０５は、レリーズスイッチＳＷ３の半押し操作によって、ＡＦ／ＡＥを実施する。ＣＰＵ１０５は、レリーズスイッチＳＷ３が全押しされレリーズ操作が行なわれたら、補正テーブル算出部６６は、ＣＰＵ１０５は、Ｓ２で設定された撮影条件の下、位相差ＣＣＤ１７の主画素、副画素からそれぞれ主画像・副画像の２つの画像データを取得する。

Ｓ４では、ＣＰＵ１０５は、Ｓ１で取得した識別情報に対応する補正テーブルがレンズ情報メモリ１４１に記憶されているか否かを判断する。Ｙｅｓの場合はＳ５に進み、Ｎｏの場合はＳ６に進む。

Ｓ５では、ＣＰＵ１０５は、Ｓ１で取得した識別情報に対応する補正テーブルのうち、Ｓ２で設定された撮影条件に対応する補正テーブルがレンズ情報メモリ１４１に記憶されているか否かを判断する。Ｙｅｓの場合はＳ８に進み、Ｎｏの場合はＳ６に進む。

Ｓ６では、補正テーブル算出部６６は、Ｓ３で得られた２つの画像データの輝度レベルを、それぞれ、瞳分割方向に沿った１次元座標軸、ここでは水平軸Ｘに射影し、主画像の１次元の輝度レベル分布、副画像の１次元の輝度レベル分布を得る。図７はその様子を模式的に示す。

補正テーブル算出部６６は、主画像の１次元の輝度分布を、所定の１次元の輝度レベル基準と比較し、該基準との差を算出する。そして、その差を補う輝度ゲインを、主画像の補正テーブルに決定する。図８はその様子を模式的に示す。

同様に、補正テーブル算出部６６は、副画像の１次元の輝度分布を、該所定の１次元の輝度レベル基準と比較し、該基準との差を算出する。そして、その差を補う輝度ゲインを、副画像の補正テーブルに決定する。

これらの補正テーブルは、瞳分割方向に沿った１次元座標軸の各座標に対応する１次元の輝度ゲインを規定している。

なお、主画像の補正テーブルと副画像の補正テーブルを別々にレンズ情報メモリ１４１に格納するのでなく、同じ補正テーブルの輝度ゲインの読み出しを瞳分割方向に沿って正転か逆転させることで、主画像の補正テーブルと副画像の補正テーブルを共通化してもよい。

また、各画素全ての輝度ゲインを連続的に補正テーブルに含めるのでなく、離散的な輝度ゲインを補正テーブルに含めてもよい。例えば、４画素ごとに、対応する輝度ゲインを補正テーブルに含めてもよい。

Ｓ７では、補正テーブル算出部６６は、Ｓ１で取得した識別情報と、Ｓ２で設定された撮影条件と、Ｓ６で決定された主画像・副画像の補正テーブルとを対応づけてレンズ情報メモリ１４１に記憶する。

なお、ステッピングモータのような駆動系は、離散的な停止位置でレンズや絞りを駆動するため、ズームレンズ位置、フォーカスレンズ位置、絞り値は離散的な値を取る。このため、各レンズユニット５０の焦点距離・被写体距離・絞り値の３つのパラメータの組（撮影条件）の個数は有限であり、それらの各組に対応する１次元の補正テーブルの個数も有限である。

Ｓ８では、シェーディング補正部６７は、Ｓ１で取得した識別情報、およびＳ２で設定された撮影条件に対応する補正テーブルをレンズ情報メモリ１４１から抽出する。

Ｓ９では、シェーディング補正部６７は、Ｓ８で抽出された補正テーブルを参照し、Ｓ２の撮影条件と同一の撮影条件で撮影された任意の主画像・副画像（典型的には、Ｓ３で撮影された主画像・副画像）の各画素のＸ座標に対応する輝度ゲインを、該画素の輝度信号に加えることで、シェーディングを補正する。

補正テーブルが離散的な輝度ゲインを含む場合、シェーディング補正部６７は、補正対象の画素を挟む２画素の各々からの距離に応じて、該２画素の輝度ゲインを内挿することで、その補正対象の画素に対応する輝度ゲインを求め、その輝度ゲインでその補正対象の画素の輝度を補正する。

補正された主画像・副画像は、記録メディア１４０に記録され、ＬＣＤモニタ１０９ａに表示される。

なお、上記の処理は、レンズ装着が検知されたごとに繰り返すことができる。また、補正対象となる主画像・副画像の枚数も、任意である。

このように、装着したレンズユニット５０の撮影条件に対応する補正テーブルがレンズ情報メモリ１４１に記憶されていれば、そのレンズユニット５０に対応する補正テーブルで主画像・副画像のシェーディングが補正される。

装着したレンズユニット５０の撮影条件に対応する補正テーブルがレンズ情報メモリ１４１に記憶されていなければ、設定された撮影条件に対応する補正テーブルが、レリーズスイッチＳＷ３の全押し操作で得られた主画像・副画像に基づいて算出され、レンズ情報メモリ１４１に記憶される。撮影者は、補正テーブルの有無を特に意識することなく、撮影を行なうだけで、補正テーブルが記憶される。以降、該レンズユニット５０が再び装着されて同じ撮影条件が設定されれば、そのレンズユニット５０の該撮影条件に対応した補正テーブルで主画像・副画像のシェーディングが補正される。

このため、前と同じレンズユニット５０を装着し、前と同じ撮影条件を設定するたびに、補正テーブルを決定する処理が省略される。

また、シェーディングが１次元の瞳分割方向に沿って生じることに対応して、レンズ情報メモリ１４１に記憶される補正テーブルは１次元であるため、レンズ情報メモリ１４１の記憶容量の負担は、２次元の補正テーブルを記憶するよりも小さい。

＜その他の実施形態＞
Ｓ５にて、設定された撮影条件がレンズ情報メモリ１４１に記憶される補正テーブルと一致しない場合でも、その設定された撮影条件に近い撮影条件に対応する補正テーブルがレンズ情報メモリ１４１に複数記憶されていれば、Ｓ６にて、それらの補正テーブルを内挿して、設定された撮影条件に対応する補正テーブルを作成し、Ｓ９にて、該作成された補正テーブルでシェーディング補正してもよい。

あるいは、Ｓ４にて、装着したレンズの識別情報に対応する補正テーブルがレンズ情報メモリ１４１に記憶されていない場合、Ｓ６にて、Ｓ２の撮影条件に対応した補正テーブルが算出される。この際、ＣＰＵ１０５は、該算出した補正テーブルと、レンズ情報メモリ１４１に登録済みの、Ｓ２の撮影条件に対応した補正テーブルとを比較し、両者の各瞳分割位置の輝度ゲインの誤差が全て所定の範囲内にある登録済みの補正テーブルがレンズ情報メモリ１４１に存在するか否かを判断する。

ＣＰＵ１０５は、そのような補正テーブルがレンズ情報メモリ１４１に存在すると判断した場合、その補正テーブルに対応するレンズの識別情報を、装着したレンズの識別情報と同一視する。以降、該装着したレンズの識別情報に対応する補正テーブルは、該レンズと同一視されたレンズの補正テーブルとしてレンズ情報メモリ１４１に記憶されているものとみなされる。すなわち、シェーディング補正部６７は、装着したレンズと同一視されたレンズの補正テーブルのうち、任意に設定された撮影条件に対応するものでシェーディング補正を行なう。

すなわち、装着したレンズが不明であっても、ある特定の撮影条件下で同様の輝度ゲインを有する別のレンズの補正テーブルが既に存在すれば、該装着したレンズに関して別の撮影条件で得られた画像を、該別のレンズの該別の撮影条件に対応する補正テーブルで便宜的に補正することで、レンズが不明な場合でもシェーディング補正を可能にする。

さらに、上記の補正処理は、瞳分割方向が複数のカメラ本体５１でも適用できる。例えば、瞳分割方向が垂直方向および水平方向であり、４つの視点画像が得られるカメラ本体５１では、水平方向および垂直方向についてそれぞれ１次元の補正テーブルをレンズ情報メモリ１４１に記憶すればよい。あるいは、瞳分割方向が、垂直方向、水平方向、斜め方向であり、９つの視点画像が得られるカメラ本体５１では、垂直方向、水平方向、斜め方向についてそれぞれ１次元の補正テーブルをレンズ情報メモリ１４１に記憶すればよい。

５０：レンズユニット、５１：カメラ本体、６６：補正テーブル算出部、６７：シェーディング補正部、１０５：ＣＰＵ、１１０：位相差ＣＣＤ、１４１：レンズ情報メモリ

Claims (7)

1. 撮像装置本体と、前記撮像装置本体に対して着脱可能なレンズ部とを備える撮像装置であって、
   前記レンズ部は、
   撮像光学系と、前記レンズ部に固有の識別情報を記憶する識別情報記憶部とを備え、
   前記撮像装置本体は、
   装着されたレンズ部の識別情報記憶部から前記識別情報を取得する識別情報取得部と、
   前記装着されたレンズ部の撮像光学系を介して結像した被写体の光束を、所定の視差方向に沿った瞳分割により２つ以上の光束に分割し、前記分割した光束をそれぞれ対応する光電変換素子群に結像して光電変換することで、前記視差方向に視差を有する視点画像の組を出力可能な撮像部と、
   前記撮像部の出力した視点画像の組において前記視差方向に生じる１次元のシェーディングを前記視差方向に沿って補正するための１次元のパラメータを格納する補正テーブルを、前記識別情報取得部が取得した識別情報に対応づけて記憶可能な補正テーブル記憶部と、
   前記装着されたレンズ部の識別情報に対応する補正テーブルが前記補正テーブル記憶部に記憶されているか否かを判断する判断部と、
   前記判断部が、前記装着されたレンズ部の識別情報に対応する補正テーブルが前記補正テーブル記憶部に記憶されていると判断した場合、前記補正テーブル記憶部に記憶された、前記装着されたレンズ部の識別情報に対応する補正テーブルに従って前記視点画像の組のシェーディングを補正するシェーディング補正部と、
   を備える撮像装置。
2. 前記撮像装置本体は、前記装着されたレンズ部の撮影条件を設定する撮影条件設定部を備え、
   前記補正テーブル記憶部は、前記補正テーブルを、前記識別情報および前記撮影条件に対応づけて記憶可能であり、
   前記補正テーブルは、前記装着されたレンズ部の識別情報および前記撮影条件設定部の設定した撮影条件に対応する補正テーブルが前記補正テーブル記憶部に記憶されているか否かを判断し、
   前記シェーディング補正部は、前記判断部が、前記装着されたレンズ部の識別情報および前記撮影条件設定部の設定した撮影条件に対応する補正テーブルが前記補正テーブル記憶部に記憶されていると判断した場合、前記補正テーブル記憶部に記憶された、前記装着されたレンズ部の識別情報および前記撮影条件設定部の設定した撮影条件に対応する補正テーブルに従って前記シェーディングを補正する請求項１に記載の撮像装置。
3. 前記撮影条件は、絞り、焦点距離および合焦被写体距離のうち少なくとも１つを含む請求項２に記載の撮像装置。
4. 前記判断部が、前記装着されたレンズ部の識別情報に対応する補正テーブルが前記補正テーブル記憶部に記憶されていないと判断した場合、前記装着されたレンズ部に対応する補正テーブルを前記撮像部から出力された視点画像の組に基づいて算出し、前記算出した補正テーブルを前記識別情報と対応づけて前記補正テーブル記憶部に記憶する補正テーブル算出部を備える請求項１に記載の撮像装置。
5. 前記判断部が、前記装着されたレンズ部の識別情報および前記撮影条件設定部の設定した撮影条件に対応する補正テーブルが前記補正テーブル記憶部に記憶されていないと判断した場合、前記装着されたレンズ部および前記撮影条件設定部の設定した撮影条件に対応する補正テーブルを前記撮像部から出力された視点画像の組に基づいて算出し、前記算出した補正テーブルを前記識別情報および前記撮影条件と対応づけて前記補正テーブル記憶部に記憶する補正テーブル算出部を備える請求項２または３に記載の撮像装置。
6. 撮像光学系と、固有の識別情報を記憶する識別情報記憶部とを備えたレンズ部を着脱可能な撮像装置本体であって、
   装着されたレンズ部の識別情報記憶部から前記識別情報を取得する識別情報取得部と、
   前記装着されたレンズ部の撮像光学系を介して結像した被写体の光束を、所定の視差方向に沿った瞳分割により２つ以上の光束に分割し、前記分割した光束をそれぞれ対応する光電変換素子群に結像して光電変換することで、前記視差方向に視差を有する視点画像の組を出力可能な撮像部と、
   前記撮像部の出力した視点画像の組において前記視差方向に生じる１次元のシェーディングを前記視差方向に沿って補正するための１次元のパラメータを格納する補正テーブルを、前記識別情報取得部が取得した識別情報に対応づけて記憶可能な補正テーブル記憶部と、
   前記装着されたレンズ部の識別情報に対応する補正テーブルが前記補正テーブル記憶部に記憶されているか否かを判断する判断部と、
   前記判断部が、前記装着されたレンズ部の識別情報に対応する補正テーブルが前記補正テーブル記憶部に記憶されていると判断した場合、前記補正テーブル記憶部に記憶された、前記装着されたレンズ部の識別情報に対応する補正テーブルに従って前記視点画像の組のシェーディングを補正するシェーディング補正部と、
   を備える撮像装置本体。
7. 撮像光学系と、固有の識別情報を記憶する識別情報記憶部とを備えたレンズ部を着脱可能な撮像装置本体が、
   装着されたレンズ部の識別情報記憶部から前記識別情報を取得するステップと、
   前記装着されたレンズ部の撮像光学系を介して結像した被写体の光束を、所定の視差方向に沿った瞳分割により２つ以上の光束に分割し、前記分割した光束をそれぞれ対応する光電変換素子群に結像して光電変換することで、前記視差方向に視差を有する視点画像の組を出力するステップと、
   前記出力した視点画像の組において前記視差方向に生じる１次元のシェーディングを前記視差方向に沿って補正するための１次元のパラメータを格納する補正テーブルを、前記取得した識別情報に対応づけて記憶するステップと、
   前記装着されたレンズ部の識別情報に対応する補正テーブルが記憶されているか否かを判断するステップと、
   前記装着されたレンズ部の識別情報に対応する補正テーブルが記憶されていると判断した場合、前記装着されたレンズ部の識別情報に対応する補正テーブルに従って前記視点画像の組のシェーディングを補正するステップと、
   を実行するシェーディング補正方法。

Images