JP2012145664A - 画像処理装置、撮像装置、画像処理方法およびプログラム。 - Google Patents

Abstract

【課題】位相差検出画素における欠陥画素の画素値の補正の精度を向上させる。
【解決手段】欠陥補正部３３０は、画像を生成するための画素値を生成する画像生成画素と位相差検出による合焦判定を行うための画素値を生成する一対の位相差検出画素とをそれぞれ複数備える撮像素子により生成される画像データを構成する第１の画像データと、時間軸において前記第１の画像データに連続する第２の画像データとの間における像の移動量であって、前記一対の位相差検出画素に含まれる欠陥画素を前記一対のうちの一方とした場合における当該一方の位相差検出画素の像の移動量を検出する。そして、欠陥補正部３３０は、前記検出された移動量および前記第１の画像データにおける一方の位相差検出画素の画素値に基づいて、前記第２の画像データにおける前記欠陥画素の画素値を補正する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に画素値を補正する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物等の被写体を撮像素子を用いて撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。この撮像素子として、受光面に配置される画素にカラーフィルタをベイヤー配列で配置したものが普及している。

また、近年では、撮像装置の多機能化や高画質化に伴い、撮像素子に配置される画素に画像生成用の画素以外の画素を配置する撮像素子や、ベイヤー配列に用いるカラーフィルタ（Ｒ、Ｇ、Ｂ）以外のカラーフィルタを備える画素を配置する撮像素子が検討されている。例えば、画像生成用の従来画素（画像生成画素）と、多機能化のための新たな画素とが同一の撮像素子に配置される撮像素子が検討されている。

例えば、このような撮像素子を備える撮像装置として、例えば、撮像レンズを通過した光を瞳分割する画素（位相差検出画素）が撮像素子に配置される撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、受光素子が受光する被写体光の半分を遮光することにより瞳分割を行う位相差検出画素を撮像素子に設けることにより一対の像を形成し、その形成された像の間隔を計測することによってフォーカスのズレの量を算出する。そして、この撮像装置は、算出したフォーカスのズレの量に基づいて撮像レンズの移動量を算出し、算出した移動量に基づいて撮像レンズの位置を調整することによってフォーカス制御を行う。

特開２００９−１４５４０１号公報

上述の従来技術では、位相差検出画素と画像生成画素との両方の画素を１つの撮像素子に備えるため、焦点検出用の撮像素子と撮像画像用の撮像素子との２つの撮像素子を撮像装置に別々に設ける必要がない。

また、上述の従来技術では、位相差検出画素に欠陥画素がある場合には、その欠陥画素に近接する位相差検出画素（欠陥画素と同方向の瞳分割された光を受光する位相差検出画素）の画素値の平均値から欠陥画素の画素値を補正する。しかしながら、高周波の画像におけるエッジの位置に欠陥画素がある場合や、欠陥画素が密集している領域がある場合も想定される。この場合には、高周波成分や欠陥画素による影響により適切に補正を行うことができず、補正の精度が低下することとも想定される。そこで、このような場合でも位相差検出画素の欠陥画素を適切に補正することが重要である。

本発明はこのような状況に鑑みてなされたものであり、位相差検出画素における欠陥画素の画素値の補正の精度を向上させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像を生成するための画素値を生成する画像生成画素と位相差検出による合焦判定を行うための画素値を生成する一対の位相差検出画素とをそれぞれ複数備える撮像素子により生成される画像データを構成する第１の画像データと、時間軸において上記第１の画像データに連続する第２の画像データとの間における像の移動量であって、上記一対の位相差検出画素に含まれる欠陥画素を上記一対のうちの一方とした場合における当該一方の位相差検出画素の像の移動量を検出する検出部と、上記検出された移動量および上記第１の画像データにおける一方の位相差検出画素の画素値に基づいて、上記第２の画像データにおける上記欠陥画素の画素値を補正する補正部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、一対の位相差検出画素に欠陥画素が含まれる場合に欠陥画素を一方とした場合において、第１の画像データと第２の画像データとの間における当該一方の位相差検出画素の像の移動量と、第１の画像データにおける一方の位相差検出画素の画素値に基づいて、第２の画像データにおける欠陥画素の画素値が補正されるという作用をもたらす。

また、この第１の側面において、上記第２の画像データは、時間軸において上記第１の画像データの後に生成された画像データであるようにしてもよい。これにより、第１の画像データの次に撮像される画像データとして第２の画像データが撮像されるという作用をもたらす。

また、この場合において、上記位相差検出画素の画素値に基づいて上記位相差検出によりデフォーカス量を算出する算出部をさらに備え、上記検出部は、上記第１の画像データにおける位相差検出画素の画素値から算出された上記デフォーカス量に基づいて上記移動量を検出するようにしてもよい。これにより、第１の画像データにおける位相差検出画素の画素値から算出されたデフォーカス量に基づいて一方の位相差検出画素の像の移動量が検出されるという作用をもたらす。

また、この場合において、上記検出部は、上記第１の画像データにおける他方の位相差検出画素の像と、上記第２の画像データにおける他方の位相差検出画素の像との間の間隔に基づいて上記他方の位相差検出画素の像の移動量を算出し、上記算出された他方の位相差検出画素の像の移動量に基づいて上記一方の位相差検出画素の像の移動量を検出するようにしてもよい。これにより、第１の画像データにおける他方の位相差検出画素の像と、第２の画像データにおける他方の位相差検出画素の像との間の間隔に基づいて他方の位相差検出画素の像の移動量を算出し、算出された他方の位相差検出画素の像の移動量に基づいて一方の位相差検出画素の像の移動量が検出されるという作用をもたらす。

また、この場合において、上記位相差検出画素の画素値に基づいて上記位相差検出によりデフォーカス量を算出する算出部をさらに備え、上記検出部は、上記第１の画像データにおける他方の位相差検出画素の像と、上記第２の画像データにおける上記他方の位相差検出画素の像との間の間隔に基づいて上記他方の位相差検出画素の像の移動量を算出し、上記算出された他方の位相差検出画素の像の移動量と、上記第１の画像データにおける位相差検出画素の画素値から算出された上記デフォーカス量とに基づいて上記一方の位相差検出画素の像の移動量を検出するようにしてもよい。これにより、他方の位相差検出画素の像の移動量と、第１の画像データにおける位相差検出画素の画素値から算出されたデフォーカス量とに基づいて一方の位相差検出画素の像の移動量が検出されるという作用をもたらす。

また、この場合において、上記算出部は、上記デフォーカス量および上記他方の位相差検出画素の像の移動量に基づいて上記第１の画像データと上記第２の画像データとの間における上記欠陥画素の位置に対応する上記第２の画像データに含まれる物体に関する位置のズレ量を算出し、上記算出されたズレ量および上記デフォーカス量に基づいて上記一方の位相差検出画素の像の移動量を検出するようにしてもよい。これにより、第１の画像データと第２の画像データとの間における欠陥画素が撮像する物体に関する位置のズレ量を算出し、算出されたズレ量およびデフォーカス量に基づいて一方の位相差検出画素の像の移動量が検出されるという作用をもたらす。

また、この場合において、上記位相差検出画素の画素値に基づいて上記位相差検出によりデフォーカス量を算出する算出部をさらに備え、上記検出部は、上記第１の画像データにおける上記画像生成画素の像と、上記第２の画像データにおける上記画像生成画素の像との間の間隔に基づいて上記画像生成画素の像の移動量を算出し、上記算出された画像生成画素の像の移動量と、上記第１の画像データにおける位相差検出画素の画素値から算出された上記デフォーカス量とに基づいて上記一方の位相差検出画素の像の移動量を検出するようにしてもよい。これにより、画像生成画素の像の移動量と、第１の画像データにおける位相差検出画素の画素値から算出されたデフォーカス量とに基づいて一方の位相差検出画素の像の移動量が検出されるという作用をもたらす。

また、この場合において、上記画像生成画素は、赤を示す波長領域以外の光を遮光する赤フィルタによって覆われている赤画素と、青を示す波長領域以外の光を遮光する青フィルタによって覆われている青画素と、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている緑画素とにより構成され、上記画像生成画素の像の移動量は、上記緑画素の像の移動量であるようにしてもよい。これにより、緑画素の像の移動量と、第１の画像データにおける位相差検出画素の画素値から算出されたデフォーカス量とに基づいて一方の位相差検出画素の像の移動量が検出されるという作用をもたらす。

また、本発明の第２の側面は、画像を生成するための画素値を生成する画像生成画素と位相差検出による合焦判定を行うための画素値を生成する一対の位相差検出画素とをそれぞれ複数備える撮像素子と、前記撮像素子により生成される画像データを構成する第１の画像データと、時間軸において前記第１の画像データに連続する第２の画像データとの間における像の移動量であって、前記一対の位相差検出画素に含まれる欠陥画素を前記一対のうちの一方とした場合における当該一方の位相差検出画素の像の移動量を検出する検出部と、前記検出された移動量および前記第１の画像データにおける一方の位相差検出画素の画素値に基づいて、前記第２の画像データにおける前記欠陥画素の画素値を補正する補正部と、前記補正された位相差検出画素の画素値に基づいて、合焦対象物に合焦しているか否か判定する判定部と、前記判定部による判定結果に基づいて、レンズの駆動を制御する制御部とを具備する撮像装置である。これにより、欠陥画素の画素値が補正された画素値に基づいて合焦判定を行わせるという作用をもたらす。

本発明によれば、位相差検出画素における欠陥画素の画素値の補正の精度を向上させるという優れた効果を奏し得る。

本発明の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。 本発明の実施の形態における撮像素子２００に備えられる画素の配置の一例を示す模式図である。 本発明の第１の実施の形態における欠陥補正部３３０による欠陥位相差検出画素の画素値の補正の一例を示す模式図である。 本発明の第１の実施の形態における欠陥位相差検出画素を補正したデータによる位相差検出の一例および従来の撮像装置における欠陥位相差検出画素の補正による位相差検出の一例を示す模式図である。 本発明の第１の実施の形態における撮像装置１００による欠陥位相差検出画素の補正を行う際の撮像処理手順例を示すフローチャートである。 本発明の第１の実施の形態の撮像処理動作における欠陥補正処理（ステップＳ９１０）の処理手順例を示すフローチャートである。 本発明の第２の実施の形態における撮像装置６００の機能構成の一例を示すブロック図である。 本発明の第２の実施の形態における欠陥補正部６２０による欠陥位相差検出画素の画素値の補正の一例を示す模式図である。 本発明の第２の実施の形態の撮像処理動作における欠陥補正処理（ステップＳ９３０）の処理手順例を示すフローチャートである。 撮像範囲に含まれる被写体の遷移例を示す模式図である。 本発明の第３の実施の形態における撮像装置８００の機能構成の一例を示すブロック図である。 本発明の第３の実施の形態における欠陥補正部８１０による欠陥位相差検出画素の画素値の補正の一例が示されている。 本発明の第３の実施の形態の撮像処理動作における欠陥補正処理（ステップＳ９４０）の処理手順例を示すフローチャートである。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：デフォーカス量を用いて補正する例）
２．第２の実施の形態（撮像制御：像の移動量を用いて補正する例）
３．第３の実施の形態（撮像制御：デフォーカス量および像の移動量を用いて補正する例）

＜１．第１の実施の形態＞
［撮像装置の機能構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。撮像装置１００は、被写体を撮像して画像データ（撮像画像）を生成し、生成された画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録する撮像装置である。なお、以下では、画像コンテンツ（画像ファイル）として静止画コンテンツ（静止画ファイル）を記録する例を主に示す。

撮像装置１００は、レンズ部１１０と、操作受付部１２０と、制御部１３０と、撮像素子２００と、信号処理部１４０と、画像生成部１５０と、表示部１５１と、記憶部１５２とを備える。また、撮像装置１００は、欠陥画素情報保持部３１０と、欠陥側画素値保持部３２０と、欠陥補正部３３０と、位相差検出部１６０と、駆動部１７０とを備える。

レンズ部１１０は、被写体からの光（被写体光）を集光するためのものである。このレンズ部１１０は、ズームレンズ１１１と、絞り１１２と、フォーカスレンズ１１３とを備える。

ズームレンズ１１１は、駆動部１７０の駆動により光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。

絞り１１２は、駆動部１７０の駆動により開口の度合いを変化させて、撮像素子２００に入射する被写体光の光量を調整するための遮蔽物である。

フォーカスレンズ１１３は、駆動部１７０の駆動により光軸方向に移動することによりフォーカスを調整するものである。

操作受付部１２０は、ユーザからの操作を受け付けるものである。この操作受付部１２０は、例えば、シャッターボタン（図示せず）が押下された場合には、その押下に関する信号を、操作信号として制御部１３０に供給する。

制御部１３０は、撮像装置１００における各部動作を制御するものである。なお、図１では、主要な信号線のみを示し、他は省略する。例えば、この制御部１３０は、シャッターボタンが押下されて、静止画像の記録を開始するための操作信号を受け付けた場合には、静止画像の記録実行に関する信号を、信号処理部１４０に供給する。

撮像素子２００は、受光した被写体光を電気信号に光電変換するイメージセンサである。この撮像素子２００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサなどにより実現される。撮像素子２００には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素（画像生成画素）と、位相差検出を行うための信号を生成する画素（位相差検出画素）とが配置される。ここで、位相差検出とは、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔（像の間のズレ量）を計測（位相差を検出）することによって合焦の度合いを検出する焦点検出の方法である。

また、撮像素子２００には、画像生成画素として、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）と、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）とが配置される。また、撮像素子２００には、Ｒ画素およびＧ画素の他に、画像生成画素として、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）が配置される。なお、撮像素子２００については、図２を参照して説明する。撮像素子２００は、光電変換により発生した電気信号（画像信号）を、画像単位（画像データ）で信号処理部１４０に供給する。

信号処理部１４０は、撮像素子２００から供給された電気信号に所定の信号処理を施して画像信号を補正するものである。この信号処理部１４０は、例えば、撮像素子２００から供給された電気信号をデジタルの電気信号（画素値）に変換した後に、黒レベル補正、欠陥補正、シェーディング補正、混色補正等を行う。なお、信号処理部１４０が行う欠陥補正では、画像生成画素のうちの正常に機能しない画素（欠陥画像生成画素）の画素値を、欠陥画像生成画素の周囲の画素における画素値から推定して補正する。一方、位相差検出画素の正常に機能しない画素（欠陥位相差検出画素）については、信号処理部１４０においては補正されず、欠陥補正部３３０により補正される。信号処理部１４０は、これらの補正処理を施した画素値のうち位相差検出画素により生成された画素値を欠陥補正部３３０に供給する。また、信号処理部１４０は、これらの補正処理を施した画素値のうち画像生成画素により生成された画素値を画像生成部１５０に供給する。

画像生成部１５０は、信号処理部１４０から供給された画像生成画素により生成された画像データに所定の信号処理を施して、表示部１５１に表示させる画像データまたは記憶部１５２に記憶させる画像データを生成するものである。この画像生成部１５０は、例えば、画像データにホワイトバランス補正、γ補正、デモザイク処理、画像圧縮処理等を行う。画像生成部１５０は、表示部１５１に表示させる画像データを表示部１５１に供給し、表示部１５１に表示させる。また、画像生成部１５０は、記憶部１５２に記憶させる画像データを記憶部１５２に供給し、記憶部１５２に記憶させる。

表示部１５１は、画像生成部１５０から供給された画像データに基づいて、画像を表示するものである。この表示部１５１は、例えば、カラー液晶パネルにより実現される。

記憶部１５２は、画像生成部１５０から供給された画像データを画像コンテンツ（画像ファイル）として記録するものである。例えば、この記憶部１５２として、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。

欠陥画素情報保持部３１０は、撮像素子２００における正常に機能しない位相差検出画素（欠陥位相差検出画素）の位置に関する情報（欠陥画素情報）を保持するものである。欠陥画素情報保持部３１０は、例えば、撮像装置１００の製造過程における撮像素子２００の機能チェック過程で検出された欠陥位相差検出画素の位置を、欠陥画素情報として保持する。この欠陥画素情報保持部３１０は、欠陥画素情報を欠陥補正部３３０に供給する。

欠陥側画素値保持部３２０は、欠陥補正部３３０により補正される画素値の撮像より時系列（時間軸）で１つ前の撮像において生成された画素値のうち、欠陥位相差検出画素と同じ側が開口している位相差検出画素の画素値（欠陥側画素値）を保持するものである。すなわち、この欠陥側画素値保持部３２０は、１つ前の撮像における合焦判定によりフォーカスレンズ１１３が駆動される前の欠陥側画素値（駆動前欠陥側画素値）を保持する。この欠陥側画素値保持部３２０が保持する駆動前欠陥側画素値は、欠陥補正部３３０により欠陥位相差検出画素の画素値が補正される度に、補正対象とされた画像データの欠陥側画素値により更新される。欠陥側画素値保持部３２０は、保持している駆動前欠陥側画素値を、欠陥補正部３３０に供給する。

欠陥補正部３３０は、欠陥位相差検出画素の画素値を補正するものである。この欠陥補正部３３０は、欠陥画素情報保持部３１０から供給される欠陥画素情報に基づいて、比較領域における欠陥位相差検出画素の有無および欠陥位相差検出画素の位置を検出する。そして、欠陥補正部３３０は、位相差検出部１６０から供給される合焦判定結果情報（デフォーカス量）に基づいて、フォーカスレンズの駆動による欠陥側画素値の像の移動量を算出する。続いて、欠陥補正部３３０は、算出された像の移動量と、欠陥側画素値保持部３２０から供給された駆動前欠陥側画素値とに基づいて、信号処理部１４０から供給された位相差検出画素の画素値のうちの欠陥位相差検出画素の画素値を補正する。この欠陥補正部３３０は、欠陥位相差検出画素の画素値を補正した位相差検出画素の画素値を、位相差検出部１６０に供給する。また、欠陥補正部３３０は、欠陥位相差検出画素の画素値の補正が終了すると、信号処理部１４０から供給された位相差検出画素の画素値のうちの欠陥側画素値により駆動前欠陥側画素値を更新する。なお、欠陥補正部３３０による補正については、図３を参照して説明する。なお、欠陥補正部３３０は、特許請求の範囲に記載の検出部および補正部の一例である。

位相差検出部１６０は、欠陥補正部３３０から供給された位相差検出画素の画素値に基づいて、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否かを位相差検出により判定するものである。なお、本発明の実施の形態では説明の便宜上、位相差検出部１６０は、１つの比較範囲における位相差検出画素の位相差検出画素の画素値に基づいて判定を行うこととする。この位相差検出部１６０は、比較範囲における位相差検出画素の画素値から１対の像を形成し、その形成された像の間隔から合焦判定を行う。すなわち、位相差検出部１６０は、フォーカシングを行う領域（フォーカスエリア）における物体（合焦対象物）に対して合焦しているか否かを、比較範囲における位相差検出画素の画素値から生成された１対の像の間隔から検出する。そして、位相差検出部１６０は、合焦している場合には、合焦していることを示す情報（合焦判定結果情報）を、信号線１６１を介して駆動部１７０および欠陥補正部３３０に供給する。また、合焦対象物にフォーカスが合っていない場合には、フォーカスのズレ量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報（例えば、ズレの画素数を示す値）を合焦判定結果情報として、駆動部１７０および欠陥補正部３３０に供給する。なお、位相差検出部１６０は、特許請求の範囲に記載の算出部および判定部の一例である。

駆動部１７０は、ズームレンズ１１１、絞り１１２およびフォーカスレンズ１１３を駆動させるものである。例えば、駆動部１７０は、位相差検出部１６０から出力された合焦判定結果情報に基づいて、フォーカスレンズ１１３の駆動量を算出し、その算出した駆動量に応じてフォーカスレンズ１１３を移動させる。この駆動部１７０は、フォーカスが合っている場合には、フォーカスレンズ１１３の現在の位置を維持させる。また、駆動部１７０は、フォーカスがズレている場合には、デフォーカス量を示す合焦判定結果情報およびフォーカスレンズ１１３の位置情報に基づいて駆動量（移動距離）を算出し、その駆動量に応じてフォーカスレンズ１１３を移動させる。なお、駆動部１７０は、特許請求の範囲に記載の制御部の一例である。

［イメージセンサにおける画素の配置例］
図２は、本発明の実施の形態における撮像素子２００に備えられる画素の配置の一例を示す模式図である。

同図では、左右方向をＸ軸とし、上下方向をＹ軸とするＸＹ軸を想定して説明する。また、同図において、左下隅をＸＹ軸における原点とし、下から上へ向かう方向をＹ軸の＋側とし、左から右へ向かう方向をＸ軸の＋側とする。なお、撮像素子２００における信号の読み出し方向は、Ｘ軸方向（行単位で読み出される）であるものとする。

同図では、説明の便宜上、撮像素子２００を構成する各画素のうちの一部の画素（１８行×１８列の画素）の領域（領域２１０）を用いて説明する。なお、撮像素子２００における画素の配置は、領域２１０において示す画素配置を１つの単位として、この単位に対応する画素配置（領域２１０に対応する画素配置）が、Ｘ軸方向およびＹ軸方向に繰り返される配置である。

同図では、１つの画素を１つの正方形で示す。画像生成画素については、備えられるカラーフィルタを表す符号（Ｒ、Ｇ、Ｂ）を内に示した正方形により示す。すなわち、画像生成画素のＲ画素は同図におけるＲ画素２１１として示され、画像生成画素のＢ画素は、同図におけるＢ画素２１４として示されている。また、Ｇ画素については、Ｒ画素（Ｒ画素２１１）を含む行（ライン）におけるＧ画素がＧｒ画素（Ｇｒ画素２１２）として示され、Ｂ画素（Ｂ画素２１４）を含む行（ライン）におけるＧ画素がＧｂ画素（Ｇｂ画素２１３）として示されている。

また、位相差検出画素については、白色の長方形が付与された灰色の正方形により示す。なお、位相差検出画素における白色の長方形については、入射光が遮光層に遮光されないで受光素子により受光される側（遮光層に開口部分がある側）を示す。ここで、同図において示す位相差検出画素（右開口位相差検出画素２１５、左開口位相差検出画素２１６）について説明する。

右開口位相差検出画素２１５は、受光素子の右半分が開口し、受光素子の左半分が遮光するように遮光層が形成される位相差検出画素である。すなわち、右開口位相差検出画素２１５は、右開口位相差検出画素２１５のマイクロレンズに入射する被写体光のうち射出瞳の右半分（Ｘ軸方向の＋側）を通過した被写体光を遮光する。また、右開口位相差検出画素２１５は、右開口位相差検出画素２１５のマイクロレンズに入射する被写体光のうち射出瞳の左半分（Ｘ軸方向の−側）を通過した被写体光が受光素子に受光される。

左開口位相差検出画素２１６は、受光素子の左半分が開口し、受光素子の右半分が遮光するように遮光層が形成される位相差検出画素である。すなわち、左開口位相差検出画素２１６は、左開口位相差検出画素２１６のマイクロレンズに入射する被写体光のうち射出瞳の左半分（Ｘ軸方向の−側）を通過した被写体光を遮光する。また、左開口位相差検出画素２１６は、左開口位相差検出画素２１６のマイクロレンズに入射する被写体光のうち射出瞳の右半分（Ｘ軸方向の＋側）を通過した被写体光が受光素子に受光される。また、左開口位相差検出画素２１６は、右開口位相差検出画素２１５と対に用いられることで、１対の像を形成する。

ここで、撮像素子２００における画素の配置について説明する。

撮像素子２００では、画像生成画素が配置される複数の行（ライン）と、位相差検出画素が配置される１つの行（ライン）とが、読み出し方向に対して直行する方向（本発明の実施の形態では列方向とする）に交互に配置される。図２では、連続する画像生成画素の行の数が５行である例が示されている。なお、連続する画像生成画素の行において、画像生成画素は、ベイヤー配列で位置されている。また、同図では、位相差検出画素の行に隣接する画像生成画素の行は、Ｒ画素およびＧｒ画素が配置される行である例が示されている。

［欠陥補正部における欠陥位相差検出画素の画素値の補正例］
図３は、本発明の第１の実施の形態における欠陥補正部３３０による欠陥位相差検出画素の画素値の補正の一例を示す模式図である。

同図（ａ）には、位相差検出部１６０が欠陥補正部３３０に供給する合焦判定結果情報を説明するために、位相差検出部１６０による位相差検出の一例が模式的に示されている。

同図（ａ）において示す各グラフは、縦軸を各画素の画素値の強度（出力階調）とし、横軸を各画素の位置（画素位置）として、位相差検出部１６０による位相差検出を模式的に示す。同図（ａ）には、左開口位相差検出画素の画素値から生成される分布データ（分布データ４１０）と、右開口位相差検出画素の画素値から生成される分布データ（分布データ４２０）が太線の実線により示されている。なお、分布データ４１０および分布データ４２０に１つずつある出力階調が高くなっている位置（太線の実線が突出している位置）は、各分布データにおけるエッジの位置を示す。

また、分布データ４１０および分布データ４２０には、分布データ４１０における像（エッジ）と分布データ４２０における像（エッジ）とが合焦時に重なる位置が、各グラフにおける点線のエッジにより示されている。また、分布データ４１０における像と、分布データ４２０における像との間隔が、間隔Ａ１により示され、合焦判定結果情報により特定されるデフォーカス量を分布データ４２０の移動量で示したものが矢印４３０により示されている。

ここで、位相差検出部１６０が欠陥補正部３３０に供給する合焦判定結果情報について説明する。位相差検出部１６０は、間隔Ａ１を検出し、対の像がどのくらい動けば合焦するかを検出する。分布データ４１０および分布データ４２０において、２つの像が重なる位置は間隔Ａ１の中心の位置であるため、間隔Ａ１の半分の量（画素数）ほど像がお互いに近づくことにより２つの像が重なる。そこで、位相差検出部１６０は、間隔Ａ１の半分の移動量および移動方向（例えば、同図（ａ）において示す矢印４３０）を、デフォーカス量（合焦判定結果情報）として、駆動部１７０および欠陥補正部３３０に供給する。

同図（ｂ）には、欠陥位相差検出画素が１つ含まれる比較範囲を模式的に示す領域（画素領域４４０）が示されている。この画素領域４４０には、１行に配置された１４個の位相差検出画素が示されている。また、画素領域４４０には、位相差検出画素の行の左から７列目の右開口位相差検出画素（右開口位相差検出画素４６０）が欠陥位相差検出画素（欠陥画素４５０）であることが示されている。なお、同図（ｂ）では、左開口位相差検出画素（左開口位相差検出画素４７０）に欠陥位相差検出画素が無いことを想定する。

同図（ｃ）には、欠陥画素４５０の画素値の補正が、補正対象の撮像データ（ｎ枚目）に関する分布データ（分布データ４６２）と、補正対象の撮像データの１枚前の撮像データ（ｎ−１枚目）に関する分布データ（分布データ４６１）とを用いて模式的に示されている。また、同図（ｃ）には、同図（ｂ）において示したデフォーカス量（矢印４３０）が、分布データ４６１のエッジの中心から欠陥画素４５０に向けて伸びる矢印４３０により示されている。

ここで、欠陥補正部３３０による欠陥位相差検出画素（欠陥画素４５０）の画素値補正について説明する。デフォーカス量（矢印４３０）は、像の移動させるべき量からフォーカスレンズの駆動量を算出するための情報であり、フォーカスレンズの駆動量により推定される分布データ４６１の移動量（絶対値および移動方向）を示す。すなわち、デフォーカス量（矢印４３０）は、撮像データ（ｎ−１枚目）と撮像データ（ｎ枚目）との間におけるエッジ（像）の移動量を示す。そこで、欠陥補正部３３０は、合焦判定結果情報（デフォーカス量）による移動前の欠陥側画素値（駆動前欠陥側画素値）と、移動後の欠陥側画素値と、欠陥画素情報と、合焦判定結果情報とに基づいて移動後の像を補正する。

具体的には、欠陥補正部３３０は、欠陥側画素値保持部３２０に保持されている欠陥側画素値による分布データを合焦判定結果情報による移動前の像とし、信号処理部１４０から供給される画素値のうちの欠陥側画素値の分布データを移動後の像とする。そして、欠陥補正部３３０は、合焦判定結果情報による移動後の像における欠陥位相差検出画素の画素値を、合焦判定結果情報が示すデフォーカス量ほど像が移動する前の像における画素値から補正する。すなわち、欠陥位相差検出画素の画素値に対応する画素値を、移動前（撮像データ（ｎ−１枚目））の像（分布データ４６１）からデフォーカス量（矢印４３０）に基づいて検出し、その検出した画素値を欠陥位相差検出画素の画素値とする。

同図（ｄ）には、同図（ｃ）において示した分布データ４６２における欠陥画素４５０の画素値が補正された分布データが示されている。この同図（ｄ）では、同図（ｃ）において示したように補正された欠陥画素４５０の画素値が、枠４６３の内の太線の実線により示されている。

このように、欠陥補正部３３０によれば、駆動前欠陥側画素値と、信号処理部１４０から供給される補正対象の欠陥側画素値と、欠陥画素情報と、合焦判定結果情報とに基づいて欠陥位相差検出画素の画素値を補正することができる。

なお、同図では、フォーカスがズレるほど像が大きくぼやけることを考慮しないで説明した。実際には、フォーカスが大きくズレるほど像（エッジ）が大きくぼやける（画素値が小さくなる）ため、デフォーカス量の大きさに応じてエッジの画素値が減少する。そこで、画素値の減少を補正するための係数（予め、撮像装置１００の製造段階で決定）を欠陥補正部３３０に保持させ、欠陥位相差検出画素の画素値となる画素値に係数を乗じて画素値を補正することにより、補正の精度をより向上させることができる。

［位相差検出の一例］
図４は、本発明の第１の実施の形態における欠陥位相差検出画素の画素値を補正したデータによる位相差検出の一例および従来の撮像装置における欠陥位相差検出画素の画素値の補正による位相差検出の一例を示す模式図である。

なお、同図では、欠陥位相差検出画素の位置にエッジがあることを想定する。

同図（ａ）および（ｂ）には、従来の撮像装置における欠陥位相差検出画素の画素値の補正による位相差検出の一例が模式的に示されている。同図（ａ）には、従来の撮像装置における欠陥位相差検出画素の画素値の補正が、画素配置とともに模式的に示されている。なお、同図（ａ）において示す画素領域５７０、右開口位相差検出画素５８０、左開口位相差検出画素５９０、欠陥画素５７１は、図３（ｂ）において示した画素領域４４０、右開口位相差検出画素４６０等にそれぞれ対応するため、ここでの説明を省略する。

また、図４（ａ）では、欠陥位相差検出画素の画素値の補正において画素値が参照される位相差検出画素が、太線の円を付した位相差検出画素（右開口位相差検出画素５７２および５７３）により示されている。また、同図（ａ）では、右開口位相差検出画素５７２および５７３の画素値に基づいて欠陥画素５７１の画素値が補正されることが、矢印５７４および矢印５７５により模式的に示されている。

同図（ａ）に示すように、従来の撮像装置における欠陥位相差検出画素の画素値の補正では、例えば、欠陥位相差検出画素の画素値は、近接する同じ位相差検出画素（右開口位相差検出画素５７２および５７３）の画素値の平均値を用いて補正される。

同図（ｂ）には、同図（ａ）において示した欠陥位相差検出画素の画素値の補正により生成された分布データ（分布データ５９１および分布データ５８１）が示されている。なお、分布データ５９１は左開口位相差検出画素５９０の各画素値に基づいて生成された分布データであり、分布データ５８１は右開口位相差検出画素５８０の各画素値に基づいて生成された分布データである。また、同図（ｂ）では、同図（ａ）において示した右開口位相差検出画素５７２および５７３の画素値の平均値により補正された欠陥画素５７１の画素値が、枠５８３の内の太線の実線により示されている。

従来の欠陥位相差検出画素の画素値の補正方法による欠陥画素５７１の画素値の補正では、同図（ａ）に示すように、右開口位相差検出画素５７２および５７３の画素値（出力階調）の平均値が欠陥画素５７１の画素値となる。すなわち、右開口位相差検出画素５７２および５７３の出力階調が「０」である場合には、欠陥画素５７１の画素値は「０」となる。欠陥画素５７１にエッジがある場合において、このような補正が行われると、欠陥画素５７１の画素値が正確に補正されない。これにより、位相差検出において間隔を測定する２つのエッジが検出されず（同図（ｂ）の間隔Ａ１１を参照）、位相差検出が正確に行われない問題が生じる。

同図（ｃ）には、本発明の第１の実施の形態における欠陥補正部３３０による欠陥位相差検出画素の画素値の補正後の位相差検出の一例が模式的に示されている。

同図（ｃ）では、左開口位相差検出画素（図３の左開口位相差検出画素４７０を参照）の各画素値に基づいて生成された分布データ（分布データ５２１）が示されている。さらに、右開口位相差検出画素（図３の右開口位相差検出画素４６０を参照）の各画素値に基づいて生成された分布データ（分布データ５１１）が示されている。

また、図４（ｃ）には、分布データ５２１のエッジと、分布データ５１１のエッジとの間の間隔（間隔Ａ１２）が示されている。また、同図（ｃ）では、図３（ｃ）において示したように補正された欠陥位相差検出画素の画素値が、枠５１６の内の太線の実線により示されている。

間隔Ａ１２に示すように、本発明の第１の実施の形態の補正によれば、欠陥位相差検出画素の位置がエッジである場合において、対となる位相差検出画素の画素値を用いて欠陥位相差検出画素の画素値が補正されることにより、位相差検出を適切に行うことができる。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図５は、本発明の第１の実施の形態における撮像装置１００による欠陥位相差検出画素の補正を行う際の撮像処理手順例を示すフローチャートである。

まず、画像を撮像するための撮像動作の開始指示がユーザによりされたか否かが、制御部１３０により判断される（ステップＳ９０１）。そして、画像を撮像するための撮像動作の開始指示がユーザによりされていないと判断された場合には（ステップＳ９０１）、撮像処理手順は終了する。

一方、静止画を撮像するための撮像動作の開始指示がユーザによりされていると判断された場合には（ステップＳ９０１）、合焦対象物に対するデフォーカス量を算出するための比較範囲が、位相差検出部１６０により設定される（ステップＳ９０２）。そして、被写体が撮像され、撮像画像が撮像素子２００により取得される（ステップＳ９０３）。

続いて、比較範囲における欠陥位相差検出画素を補正する欠陥補正処理が、欠陥補正部３３０により行われる（ステップＳ９１０）。なお、欠陥補正処理（ステップＳ９１０）については、図６を参照して説明する。また、ステップＳ９１０は、特許請求の範囲に記載の検出手順および補正手順の一例である。

その後、位相差検出によりデフォーカス量（合焦判定結果情報）が算出される位相差検出処理が、位相差検出部１６０により行われる（ステップＳ９０４）。そして、フォーカスレンズ１１３が駆動部１７０により駆動され、合焦対象物に対して合焦させる合焦処理が行われる（ステップＳ９０５）。

次に、操作受付部１２０におけるシャッターボタンが押下されたか否かが、制御部１３０により判断される（ステップＳ９０６）。そして、シャッターボタンが押下されていないと判断された場合には（ステップＳ９０６）、ステップＳ９０９に進む。

一方、シャッターボタンが全押しされたと判断された場合には（ステップＳ９０６）、続いて、撮像素子２００により静止画が撮像される（ステップＳ９０７）。そして、画像生成部１５０により信号処理された静止画が、記憶部１５２により記憶される（ステップＳ９０８）。

次に、静止画を撮像するための撮像動作の終了指示がユーザによりされたか否かが、制御部１３０により判断される（ステップＳ９０９）。そして、静止画を撮像するための撮像動作の終了指示がユーザによりされていないと判断された場合には（ステップＳ９０９）、ステップＳ９０２に戻る。

一方、静止画を撮像するための撮像動作の終了指示がユーザによりされていると判断された場合には（ステップＳ９０９）、撮像処理手順は終了する。

図６は、本発明の第１の実施の形態の撮像処理動作における欠陥補正処理（ステップＳ９１０）の処理手順例を示すフローチャートである。

まず、位相差を検出する範囲（比較範囲）における位相差検出画素に欠陥位相差検出画素があるか否かが、欠陥画素情報保持部３１０から供給される欠陥画素情報を用いて欠陥補正部３３０により判断される（ステップＳ９２１）。そして、比較範囲に欠陥位相差検出画素がないと判断された場合には（ステップＳ９１１）、欠陥補正処理手順は終了する。

一方、比較範囲に欠陥位相差検出画素があると判断された場合には（ステップＳ９１１）、補正対象の画素値に関する撮像の直前におけるレンズの駆動に関するデフォーカス量（合焦判定結果情報）が、欠陥補正部３３０により取得される（ステップＳ９１２）。

次に、補正対象の画素値の時系列で１つ前の撮像における画素値（駆動前画素値）であって、欠陥位相差検出画素と同じ側が開口している位相差検出画素の各画素値である駆動前欠陥側画素値が、欠陥側画素値保持部３２０から取得される（ステップＳ９１３）。そして、デフォーカス量と駆動前欠陥側画素値とに基づいて、欠陥位相差検出画素の画素値が補正される（ステップＳ９１４）。

その後、欠陥側画素値保持部３２０に保持されている駆動前欠陥側画素値が、補正対象の画素値のうちの欠陥側画素値により更新され（ステップＳ９１５）、欠陥補正処理手順は終了する。

このように、本発明の第１の実施の形態によれば、デフォーカス量と、補正対象の画像データの１つ前の撮像による画像データ（１フレーム前の画像データ）における位相差検出画素の画素値から補正することにより、補正の精度を向上させることができる。なお、デフォーカス量については、オートフォーカスにおけるフォーカスレンズの駆動量を算出する際に算出されたデフォーカス量を利用するため、新たに算出する必要が無く、このため、迅速に補正をすることができる。

なお、図３において説明したデフォーカス量の大きさに応じた画素値の減少を補正する場合には、ステップＳ９１４において、欠陥位相差検出画素の画素値として検出された画素値を補正係数により補正し、その補正した画素値を欠陥位相差検出画素の画素値とする。

＜２．第２の実施の形態＞
本発明の第１の実施では、撮像データ（ｎ−１枚目）を用いて算出された合焦判定結果情報（デフォーカス量）から像の移動量を算出し、算出した移動量を用いて撮像データ（ｎ枚目）における欠陥位相差検出画素の画素値を補正する例について説明した。このデフォーカス量は、合焦判定の際にすでに算出されているため、補正の際にデフォーカス量の新たな算出は必要ない。このため、本発明の第１の実施では、迅速に補正をすることができる。

しかしながら、デフォーカス量には、撮像データ（ｎ−１枚目）の撮像から撮像データ（ｎ枚目）の撮像までに発生する事象に関する情報が含まれていないため、補正の精度が劣化する場合がある。そこで、撮像データ（ｎ−１枚目）の撮像から撮像データ（ｎ枚目）の撮像までに発生する事象を考慮した補正を行うことにより、補正の精度を高くする必要がある。

そこで、本発明の第２の実施の形態では、欠陥位相差検出画素とは反対側が開口している位相差検出画素の各画素値（対側画素値）を用いて像の移動量を算出する例について、図７乃至図９を参照して説明する。

［撮像装置の機能構成例］
図７は、本発明の第２の実施の形態における撮像装置６００の機能構成の一例を示すブロック図である。この撮像装置６００は、図１において示した撮像装置１００の変形例であり、撮像装置１００の欠陥補正部３３０に代えて欠陥補正部６２０を備え、また、対側画素値保持部６１０をさらに備える。なお、欠陥補正部６２０および対側画素値保持部６１０以外の各構成は、図１において示したものと同一のものであるため、同一の符号を付してここでの説明を省略する。

対側画素値保持部６１０は、欠陥補正部３３０により補正される画素値の撮像より時系列で１つ前の撮像において生成された画素値のうち、欠陥位相差検出画素と反対側が開口している位相差検出画素の画素値（対側画素値）を保持するものである。すなわち、この対側画素値保持部６１０は、欠陥側画素値保持部３２０が保持する駆動前欠陥側画素値と対となる画素値（駆動前対側画素値）を保持する。対側画素値保持部６１０が保持する駆動前対側画素値は、欠陥補正部３３０により欠陥位相差検出画素の画素値が補正される度に、補正対象とされた画像データの対側画素値により更新される。対側画素値保持部６１０は、保持している駆動前対側画素値を、欠陥補正部６２０に供給する。

欠陥補正部６２０は、図１において示した欠陥補正部３３０と同様に、欠陥位相差検出画素の画素値を補正するものである。この欠陥補正部６２０は、対側画素値保持部６１０が保持する駆動前対側画素値と、信号処理部１４０から供給される対側画素値とに基づいて、欠陥位相差検出画素を補正するための移動量を算出する。そして、欠陥補正部６２０は、この算出した移動量と、駆動前欠陥側画素値とに基づいて、欠陥位相差検出画素の画素値を補正する。また、欠陥補正部６２０は、欠陥位相差検出画素の画素値の補正が終了すると、欠陥側画素値保持部３２０に保持されている駆動前欠陥側画素値および対側画素値保持部６１０に保持されている駆動前対側画素値を更新する。なお、欠陥補正部６２０による補正については、図８を参照して説明する。

［欠陥補正部における欠陥位相差検出画素の画素値の補正例］
図８は、本発明の第２の実施の形態における欠陥補正部６２０による欠陥位相差検出画素の画素値の補正の一例を示す模式図である。

なお、同図では、欠陥位相差検出画素の位置にエッジがあることを想定する。

同図（ａ）には、１つの欠陥位相差検出画素が含まれる比較領域（比較領域６３０）が示されている。なお、同図（ｂ）乃至（ｄ）においては、この比較領域６３０の位相差検出画素の画素値の分布データを示す。なお、同図（ａ）において示す比較領域６３０、右開口位相差検出画素６４０、左開口位相差検出画素６５０、および、欠陥画素６３１は、図３（ｂ）において示した画素領域４４０、右開口位相差検出画素４６０等にそれぞれ対応するため、ここでの説明を省略する。

図８（ｂ）には、補正対象の撮像データ（ｎ枚目）の比較範囲６３０における左開口位相差検出画素６５０の画素値に関する分布データ（分布データ６５２）が示されている。また、同図（ｂ）には、補正対象の撮像データ（ｎ枚目）の１枚前の撮像データ（ｎ−１枚目）の比較範囲６３０における左開口位相差検出画素６５０の画素値に関する分布データ（分布データ６５１）が示されている。さらに、同図（ｂ）には、分布データ６５１と分布データ６５２との間における像の移動量が、分布データ６５１のエッジの中心から分布データ６５２のエッジの中心へ伸びる矢印６５３により示されている。

ここで、欠陥補正部６２０による欠陥位相差検出画素の補正における像の移動量の算出について説明する。

欠陥補正部６２０は、補正対象の撮像データ（ｎ枚目）における対側画素値の分布データと、１枚前の撮像データ（ｎ−１枚目）における対側画素値（駆動前対側画素値）の分布データとの間の像の移動量に基づいて、欠陥位相差検出画素を補正するための移動量を算出する。すなわち、本発明の第１の実施の形態におけるデフォーカス量に相当する情報を、対側画素値の分布データを用いて算出する。これにより、本発明の第１の実施の欠陥補正部３３０と同様に、フォーカスレンズ駆動前の欠陥側画素値から、フォーカスレンズ駆動後の欠陥位相差検出画素の画素値を補正できるようになる。

同図（ｃ）には、補正対象の撮像データ（ｎ枚目）の比較範囲６３０における右開口位相差検出画素６４０の画素値に関する分布データ（分布データ６４２）が示されている。また、同図（ｃ）には、撮像データ（ｎ−１枚目）の比較範囲６３０における右開口位相差検出画素６４０の画素値に関する分布データ（分布データ６４１）が示されている。さらに、同図（ｃ）には、像の移動量が、分布データ６４１のエッジの中心から分布データ６４２の欠陥位相差検出画素の領域（分布データ６４２の太い実線が無い箇所）の中心へ伸びる矢印６４３により示されている。

ここで、欠陥補正部６２０による欠陥位相差検出画素の画素値の補正について説明する。

欠陥補正部６２０は、同図（ｂ）において示したように、欠陥位相差検出画素の対の位相差検出画素（左開口位相差検出画素６５０）の分布データから像の移動量（同図（ｂ）の矢印６５３）を算出する。

位相差検出において、欠陥位相差検出画素が含まれる右開口位相差検出画素６４０の分布データにおける像の移動方向は、左開口位相差検出画素６５０の像の移動方向と反対側になる。また、位相差検出において、右開口位相差検出画素６４０の分布データにおける像の移動量の絶対値と、左開口位相差検出画素６５０の分布データにおける像の移動量の絶対値とは、同じになる。すなわち、右開口位相差検出画素６４０の分布データにおける像の移動量（矢印６４３）は、右開口位相差検出画素６４０の分布データから求めた像の移動量（矢印６５３）の移動方向を反対にすることにより算出される。

そして、欠陥補正部６２０は、欠陥位相差検出画素の画素値に対応する画素値を、撮像データ（ｎ−１枚目）の分布データ６４１から移動量（矢印６４３）を用いて検出し、検出した画素値に基づいて欠陥位相差検出画素の画素値を補正する。

同図（ｄ）には、同図（ｃ）において示した分布データ６４２における欠陥画素６３１の画素値が補正された分布データが示されている。この同図（ｄ）では、同図（ｃ）において示したように補正された欠陥画素６３１の画素値が、枠６４４の内の太線の実線により示されている。

［撮像装置の動作例］
次に、本発明の第２の実施の形態における撮像装置６００の動作について図面を参照して説明する。

なお、撮像装置６００による欠陥位相差検出画素の画素値の補正を行う際の撮像処理手順例は、図５において示した撮像装置１００のものと同一であるため、ここでの説明を省略する。

図９は、本発明の第２の実施の形態の撮像処理動作における欠陥補正処理（ステップＳ９３０）の処理手順例を示すフローチャートである。なお、欠陥補正処理（ステップＳ９３０）は、図６において示した本発明の第１の実施の形態の欠陥補正処理（ステップＳ９１０）の変形例である。そこで、欠陥補正処理（ステップＳ９１０）と同じ処理については、同一の符号を付して説明の一部を省略する。

比較範囲に欠陥位相差検出画素があると判断されると（ステップＳ９１１）、駆動前対側画素値が、対側画素値保持部６１０から取得される（ステップＳ９３１）。そして、駆動前対側画素値の分布データと、駆動後対側画素値の分布データとに基づいて、対側の像の移動量が算出され（ステップＳ９３２）、ステップＳ９１３に進む。

そして、駆動前欠陥側画素値が取得されると（ステップＳ９１３）、算出した移動量と、駆動前欠陥側画素値の分布データとに基づいて、欠陥位相差検出画素の画素値が補正される（ステップＳ９３３）。

そして、駆動前欠陥側画素値が更新されると（ステップＳ９１５）、駆動前対側画素値が更新され（ステップＳ９３４）、欠陥補正処理手順は終了する。なお、ステップＳ９１５とステップＳ９３４は、どちらが先でもよい。

このように、本発明の第２の実施の形態によれば、フォーカスレンズの駆動前の対側画素値と、駆動後の対側画素値とに基づいて、欠陥側の画素値に関する像の移動量が算出され、この算出された移動量を用いた補正を行うことができる。これにより、撮像データ（ｎ−１枚目）の撮像から撮像データ（ｎ枚目）の撮像までにおける被写界の変化を考慮した補正を行うことができ、補正の精度を向上させることができる。

＜３．第３の実施の形態＞
本発明の第１および第２の実施の形態では、被写体が動体である場合に欠陥位相差検出画素の補正の精度が低下することが考えられる。すなわち、被写体が動いてしまう場合における欠陥位相差検出画素の補正の精度を高めることが必要になる。

そこで、本発明の第３の実施の形態では、レンズの駆動量と像の移動量とを用いて補正する例について、図１０乃至図１３を参照して説明する。

［撮像範囲に含まれる被写体の遷移例］
図１０は、撮像範囲に含まれる被写体の遷移例を示す模式図である。

同図（ａ）には、補正対象の撮像データ（ｎ枚目）の１枚前の撮像データ（ｎ−１枚目）に関する画像（画像７１０）が模式的に示され、同図（ｂ）には、撮像データ（ｎ枚目）に関する画像（画像７２０）が模式的に示されている。

また、画像７１０および画像７２０には、合焦対象物として、人物７１５および人物７２５が示されている。そして、画像７２０には、人物が動いたことが、画像７１０の人物７１５の位置を点線で表し、この点線で示した人物７１５の位置と人物７２５の位置との間の距離を矢印（矢印７３０）で表すことにより示されている。

このように、合焦対象物が動いてしまうと、本発明の第１および第２の実施の形態において示した補正方法では、精度が低下することが考えられる。

［撮像装置の機能構成例］
図１１は、本発明の第３の実施の形態における撮像装置８００の機能構成の一例を示すブロック図である。この撮像装置８００は、図１の撮像装置１００および図７の撮像装置６００の変形例であり、撮像装置１００の欠陥補正部３３０に代えて欠陥補正部８１０を備え、また、対側画素値保持部６１０をさらに備える。なお、欠陥補正部８１０以外の各構成は、図１および図７において示したものと同一のものであるため、同一の符号を付してここでの説明を省略する。

欠陥補正部８１０は、図１において示した欠陥補正部３３０や図７において示した欠陥補正部６２０と同様に、欠陥位相差検出画素の画素値を補正するものである。この欠陥補正部６２０は、欠陥補正部３３０と同様に、位相差検出部１６０から供給される合焦判定結果情報（デフォーカス量）に基づいて、フォーカスレンズの駆動による像の移動量を算出する。また、欠陥補正部８１０は、欠陥補正部６２０と同様に、駆動前対側画素値と、信号処理部１４０から供給される画素値のうちの対側画素値とに基づいて、対側画素値の像の移動量を算出する。そして、欠陥補正部８１０は、デフォーカス量から算出した対側画素値の像の移動量と、対側画素値から算出した像の移動量とに基づいて、欠陥位相差検出画素の被写体のズレ量を算出する。

その後、欠陥補正部８１０は、算出した被写体のズレ量と、対側画素値から算出した像の移動量とに基づいて、欠陥位相差検出画素の画素値を補正する。また、欠陥補正部８１０は、欠陥位相差検出画素の画素値の補正が終了すると、欠陥補正部６２０と同様に、駆動前欠陥側画素値および駆動前対側画素値を更新する。なお、欠陥補正部８１０による補正については、図１２を参照して説明する。

［欠陥補正部における欠陥位相差検出画素の画素値の補正例］
図１２は、本発明の第３の実施の形態における欠陥補正部８１０による欠陥位相差検出画素の画素値の補正の一例が示されている。

なお、同図では、欠陥位相差検出画素の位置にエッジがあることを想定する。

同図（ａ）には、同図（ｂ）乃至（ｄ）において示す分布データの画素値を生成する位相差検出画素の領域であり、１つの欠陥位相差検出画素が含まれる比較範囲（比較範囲８３０）が示されている。なお、この比較範囲８３０において示すものは、図３（ｂ）および図８（ａ）において示したものにそれぞれ対応するため、ここでの説明を省略する。同図では、比較範囲８３０に示すように、左から１１個目の位相差検出画素（右開口位相差検出画素）が欠陥画素（欠陥画素８３１）であることを想定して説明する。

同図（ｂ）には、補正対象の撮像データ（ｎ枚目）の比較範囲８３０における左開口位相差検出画素８５０の画素値に関する分布データ（分布データ８５２）が示されている。また、同図（ｂ）には、補正対象の撮像データ（ｎ枚目）の１枚前の撮像データ（ｎ−１枚目）の比較範囲８３０における左開口位相差検出画素８５０の画素値に関する分布データ（分布データ８５１）が示されている。

さらに、同図（ｂ）には、撮像データ（ｎ−１枚目）と撮像データ（ｎ枚目）との間におけるレンズの駆動量に関するデフォーカス量を示す矢印（矢印８６０）が示されている。すなわち、この矢印８６０は、撮像データ（ｎ−１枚目）の位相差検出画素の画素値に基づいて位相差検出部１６０が算出したデフォーカス量（合焦判定結果情報）である。また、矢印８６０は、レンズの駆動量から推定される左開口位相差検出画素８５０の像（エッジ）の移動量を示し、同図（ｂ）においては、エッジが２画素分左へシフトするようにレンズが駆動されたことを示している。

さらに、同図（ｂ）には、分布データ８５１と分布データ８５２との間の比較から算出された像の移動量が、分布データ８５１のエッジの中心から分布データ８５２のエッジの中心へ伸びる矢印８５３により示されている。この矢印８５３は、撮像データ（ｎ−１枚目）と撮像データ（ｎ枚目）との間において、左開口位相差検出画素８５０の像は１画素分左へシフトしていることを示している。

同図（ｃ）には、補正対象の撮像データ（ｎ枚目）の比較範囲８３０における右開口位相差検出画素８４０の画素値に関する分布データ（分布データ８４２）が示されている。また、同図（ｃ）には、撮像データ（ｎ枚目）の１枚前の撮像データ（ｎ−１枚目）の比較範囲８３０における右開口位相差検出画素８４０の画素値に関する分布データ（分布データ８４１）が示されている。さらに、同図（ｃ）には、欠陥位相差検出画素の像の移動量が、分布データ８４１のエッジの中心から分布データ８４２の欠陥位相差検出画素の画素値を示す領域（分布データ８４２の太い実線が無い箇所）の中心へ伸びる矢印８４３により示されている。

ここで、欠陥補正部８１０による欠陥位相差検出画素の画素値の補正について同図（ｂ）および同図（ｃ）を参照して説明する。

欠陥補正部８１０は、まず、位相差検出部１６０から供給される合焦判定情報に基づいて、左開口位相差検出画素８５０の像に関するデフォーカス量（矢印８６０）を算出する。また、欠陥補正部８１０は、対側画素値保持部６１０からの駆動前対側画素値と、信号処理部１４０からの左開口位相差検出画素８５０の画素値とに基づいて、左開口位相差検出画素８５０の像の移動量（矢印８５３）を算出する。

そして、欠陥補正部８１０は、デフォーカス量（矢印８６０）から算出した像の移動量と、左開口位相差検出画素８５０の画素値から算出した像の移動量（矢印８５３）との間の差から欠陥位相差検出画素の被写体のズレ量を算出する。すなわち、同図（ｂ）に示すように、レンズの駆動量から推定される移動量が２画素分左へシフトであり、画素値から推定される像の移動量が１画素分左へシフトである場合には、欠陥補正部８１０は、被写体が右方向に１画素分シフトしたと算出される。

その後、欠陥補正部８１０は、欠陥位相差検出画素の側の像の移動量を、欠陥位相差検出画素の被写体のズレ量および左開口位相差検出画素８５０の画素値から算出した像の移動量に基づいて算出する。被写体が右方向に１画素分シフトした場合において、右開口位相差検出画素に関するレンズの駆動量が２画素分右へシフト（左開口位相差検出画素と方向が逆になる）ならば、右開口位相差検出画素の像は右に３画素分シフトしたことになる。すなわち、同図（ｃ）に示すように、欠陥画素８３１の位置から３画素分左の位置の画素値を用いて欠陥画素８３１の画素値が補正される。

同図（ｄ）には、同図（ｃ）において示した分布データ８４２における欠陥画素８３１の画素値が補正された分布データが示されている。この同図（ｄ）では、同図（ｃ）において示したように補正された欠陥画素８３１の画素値が、枠８４４の内に示す太線の分布データにより示されている。

［撮像装置の動作例］
次に、本発明の第３の実施の形態における撮像装置８００の動作について図面を参照して説明する。

なお、撮像装置８００による欠陥位相差検出画素の画素値の補正を行う際の撮像処理手順例は、図５において示した撮像装置１００のものと同一であるため、ここでの説明を省略する。

図１３は、本発明の第３の実施の形態の撮像処理動作における欠陥補正処理（ステップＳ９４０）の処理手順例を示すフローチャートである。なお、欠陥補正処理（ステップＳ９４０）は、図９において示した本発明の第２の実施の形態の欠陥補正処理（ステップＳ９３０）の変形例である。そこで、欠陥補正処理（ステップＳ９３０）と同じ処理については、同一の符号を付して説明の一部を省略する。

駆動前対側画素値の分布データと、駆動後対側画素値の分布データとに基づいて、対側の像の移動量が算出されると（ステップＳ９３２）、補正対象の画素値に関する撮像の直前におけるレンズの駆動に関するデフォーカス量（合焦判定結果情報）が、欠陥補正部８１０により取得される（ステップＳ９４１）。続いて、対側の像の移動量とデフォーカス量とに基づいて、欠陥位相差検出画素（比較範囲）の撮像物のズレ量が算出される（ステップＳ９４２）。

そして、欠陥位相差検出画素の撮像物のズレ量と、対側の像の移動量とに基づいて、欠陥位相差検出画素の側の像の移動量が算出される（ステップＳ９４３）。

このように、本発明の第３の実施の形態によれば、被写体の移動量を算出し、その算出した移動量を用いて欠陥位相差検出画素の画素値を補正することにより、補正の精度を向上させることができる。

なお、図１１乃至図１３においては、欠陥位相差検出画素の側とは反対側の位相差検出画素の画素値を用いる場合について説明したが、これに限定されるものではない。例えば、画像生成画素の画素値を用いて欠陥位相差検出画素の撮像物のズレ量を算出することも考えられる。

この例において、撮像装置８００は、対側画素値保持部６１０の代わりに撮像データ（ｎ−１枚目）の画像生成画素の画素値を保持する部を備える。そして、欠陥補正部８１０は、比較領域に近接するＧ画素の画素値から、撮像データ（ｎ枚目）および撮像データ（ｎ−１枚目）の分布データを生成し、これらの分布データにおけるエッジの位置のズレから撮像物のズレ量を算出する。

そして、欠陥補正部８１０は、デフォーカス量から算出したフォーカスレンズの移動による欠陥位相差検出画素の側の像の移動量と、Ｇ画素の分布データから算出した撮像物のズレ量とに基づいて、欠陥位相差検出画素の側の像の移動量を算出する。図１２において示したように具体的に説明すると、Ｇ画素の画素値におけるズレ量が１画素分右へシフトである場合には、欠陥補正部８１０は、被写体が右方向に１画素分シフトしたと算出される。そして、フォーカスレンズの駆動量による欠陥位相差検出画素の側の像の移動量が２画素分右へシフトであるとすると、欠陥補正部８１０は、欠陥位相差検出画素の側の像は右に３画素分シフトしたと算出する。

なお、この例ではＧ画素について説明したが、Ｒ画素およびＢ画素の画素値を用いても同様に実施することができる。また、Ｇ画素、Ｒ画素およびＢ画素の画素値から生成される輝度信号（Ｙ信号）を用いてもよい。なお、既知の被写体認識アルゴリズムを用いて撮像物のズレ量を算出してもよい。

このように、本発明の実施の形態によれば、欠陥位相差検出画素の画素値を、補正対象の画像データの１つ前の撮像による画像データ（１フレーム前の画像データ）における位相差検出画素の画素値から補正することにより、補正の精度を向上させることができる。また、近接する位相差検出画素の画素値を用いて補正する従来の撮像装置では、欠陥位相差検出画素がエッジである場合において適切に補正されなかった。本発明の実施の形態によれば、欠陥位相差検出画素がエッジである場合においても適切に補正できるため、高周波の被写体やコントラストの高い被写体が撮像された場合において、位相差検出に係るエッジの検出の精度が向上する。すなわち、位相差オートフォーカスの性能を向上させることができる。

また、従来の撮像装置では、近接する位相差検出画素の画素値を用いて補正するため、複数の欠陥画素が集合している領域がある場合には、欠陥画素の画素値を参照して補正してしまうため、適切に補正をすることができない。本発明の実施の形態では、像の移動量が大きい場合には、欠陥画素の位置から離れている位置の画素値を用いて補正を行うため、複数の欠陥画素が集合している領域がある場合においても、精度が高い補正が行うことができる。すなわち、本発明の実施の形態により、撮像素子の製造段階における歩留まりを向上させることができる。

なお、本発明の実施の形態では、像の移動量は整数であることを想定したが、像の移動量が整数でない場合も考えられる（例えば、右方向に１．５画素分シフト）。この場合には、移動前の１画素分左の位置の画素値と、移動前の２画素分左の位置の画素値とから直線補間により１．５画素左の位置における画素値を生成し、この生成した画素値を用いて補正するようにしてもよい。

なお、本発明の実施の形態では、欠陥位相差検出画素が１対の位相差検出画素の片側に１つのみの場合を想定して説明したが、これに限定されるものではない。１対の位相差検出画素の両側にある場合にも、それぞれ他方の位相差検出画素の輝度値を対側画素値とし、それぞれ算出することにより、本発明の実施の形態と同様に実施することができる。

また、本発明の実施の形態では、画像生成画素に備えられるカラーフィルタが３原色（ＲＧＢ）のカラーフィルタであることを想定して説明したが、これに限定されるものではない。例えば、画像生成画素に補色のカラーフィルタが備えられる場合においても、同様に適用できる。また、１つの画素の領域で可視光領域の波長の光を全て検出する画素（例えば、青色用の画素、緑色用の画素、赤色用の画素が光軸方向に重ねて配置されている撮像素子）が画像生成画素である場合においても、本発明の実施の形態は同様に適用できる。

また、本発明の実施の形態では、位相差検出画素は、２つに瞳分割された光の一方を受光することを想定して説明したが、これに限定されるものではない。例えば、２つの受光素子を備え、瞳分割された光をそれぞれの受光素子で受光することができる位相差検出画素を配置する場合においても、本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、位相差検出画素について、左右に瞳分割を行う位相差検出画素のみを想定して説明したが、これに限定されるものではなく、上下および斜めなどの位相差検出画素についても、同様に実施することができる。また、図２において示した画素配置のパターンについてもこれに限定されるものではなく、位相差検出が行える配置パターンであれば、同様に実施することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 撮像装置
１１０ レンズ部
１１１ ズームレンズ
１１２ 絞り
１１３ フォーカスレンズ
１２０ 操作受付部
１３０ 制御部
１４０ 信号処理部
１５０ 画像生成部
１５１ 表示部
１５２ 記憶部
１６０ 位相差検出部
１７０ 駆動部
２００ 撮像素子
３１０ 欠陥画素情報保持部
３２０ 欠陥側画素値保持部
３３０ 欠陥補正部
６００ 撮像装置
６１０ 対側画素値保持部
６２０ 欠陥補正部
８００ 撮像装置

Claims (11)

1. 画像を生成するための画素値を生成する画像生成画素と位相差検出による合焦判定を行うための画素値を生成する一対の位相差検出画素とをそれぞれ複数備える撮像素子により生成される画像データを構成する第１の画像データと、時間軸において前記第１の画像データに連続する第２の画像データとの間における像の移動量であって、前記一対の位相差検出画素に含まれる欠陥画素を前記一対のうちの一方とした場合における当該一方の位相差検出画素の像の移動量を検出する検出部と、
   前記検出された移動量および前記第１の画像データにおける一方の位相差検出画素の画素値に基づいて、前記第２の画像データにおける前記欠陥画素の画素値を補正する補正部と
   を具備する画像処理装置。
2. 前記第２の画像データは、時間軸において前記第１の画像データの後に生成された画像データである請求項１記載の画像処理装置。
3. 前記位相差検出画素の画素値に基づいて前記位相差検出によりデフォーカス量を算出する算出部をさらに備え、
   前記検出部は、前記第１の画像データにおける位相差検出画素の画素値から算出された前記デフォーカス量に基づいて前記移動量を検出する
   請求項２記載の画像処理装置。
4. 前記検出部は、前記第１の画像データにおける他方の位相差検出画素の像と、前記第２の画像データにおける他方の位相差検出画素の像との間の間隔に基づいて前記他方の位相差検出画素の像の移動量を算出し、前記算出された他方の位相差検出画素の像の移動量に基づいて前記一方の位相差検出画素の像の移動量を検出する
   請求項２記載の画像処理装置。
5. 前記位相差検出画素の画素値に基づいて前記位相差検出によりデフォーカス量を算出する算出部をさらに備え、
   前記検出部は、前記第１の画像データにおける他方の位相差検出画素の像と、前記第２の画像データにおける前記他方の位相差検出画素の像との間の間隔に基づいて前記他方の位相差検出画素の像の移動量を算出し、前記算出された他方の位相差検出画素の像の移動量と、前記第１の画像データにおける位相差検出画素の画素値から算出された前記デフォーカス量とに基づいて前記一方の位相差検出画素の像の移動量を検出する
   請求項２記載の画像処理装置。
6. 前記算出部は、前記デフォーカス量および前記他方の位相差検出画素の像の移動量に基づいて前記第１の画像データと前記第２の画像データとの間における前記欠陥画素の位置に対応する前記第２の画像データに含まれる物体に関する位置のズレ量を算出し、前記算出されたズレ量および前記デフォーカス量に基づいて前記一方の位相差検出画素の像の移動量を検出する
   請求項５記載の画像処理装置。
7. 前記位相差検出画素の画素値に基づいて前記位相差検出によりデフォーカス量を算出する算出部をさらに備え、
   前記検出部は、前記第１の画像データにおける前記画像生成画素の像と、前記第２の画像データにおける前記画像生成画素の像との間の間隔に基づいて前記画像生成画素の像の移動量を算出し、前記算出された画像生成画素の像の移動量と、前記第１の画像データにおける位相差検出画素の画素値から算出された前記デフォーカス量とに基づいて前記一方の位相差検出画素の像の移動量を検出する
   請求項２記載の画像処理装置。
8. 前記画像生成画素は、赤を示す波長領域以外の光を遮光する赤フィルタによって覆われている赤画素と、青を示す波長領域以外の光を遮光する青フィルタによって覆われている青画素と、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている緑画素とにより構成され、
   前記画像生成画素の像の移動量は、前記緑画素の像の移動量である
   請求項７記載の画像処理装置。
9. 画像を生成するための画素値を生成する画像生成画素と位相差検出による合焦判定を行うための画素値を生成する一対の位相差検出画素とをそれぞれ複数備える撮像素子と、
   前記撮像素子により生成される画像データを構成する第１の画像データと、時間軸において前記第１の画像データに連続する第２の画像データとの間における像の移動量であって、前記一対の位相差検出画素に含まれる欠陥画素を前記一対のうちの一方とした場合における当該一方の位相差検出画素の像の移動量を検出する検出部と、
   前記検出された移動量および前記第１の画像データにおける一方の位相差検出画素の画素値に基づいて、前記第２の画像データにおける前記欠陥画素の画素値を補正する補正部と、
   前記補正された位相差検出画素の画素値に基づいて、合焦対象物に合焦しているか否か判定する判定部と、
   前記判定部による判定結果に基づいて、レンズの駆動を制御する制御部と
   を具備する撮像装置。
10. 画像を生成するための画素値を生成する画像生成画素と位相差検出による合焦判定を行うための画素値を生成する一対の位相差検出画素とをそれぞれ複数備える撮像素子により生成される画像データを構成する第１の画像データと、時間軸において前記第１の画像データに連続する第２の画像データとの間における像の移動量であって、前記一対の位相差検出画素に含まれる欠陥画素を前記一対のうちの一方とした場合における当該一方の位相差検出画素の像の移動量を検出する検出手順と、
    前記検出された移動量および前記第１の画像データにおける一方の位相差検出画素の画素値に基づいて、前記第２の画像データにおける前記欠陥画素の画素値を補正する補正手順と
    を具備する画像処理方法。
11. 画像を生成するための画素値を生成する画像生成画素と位相差検出による合焦判定を行うための画素値を生成する一対の位相差検出画素とをそれぞれ複数備える撮像素子により生成される画像データを構成する第１の画像データと、時間軸において前記第１の画像データに連続する第２の画像データとの間における像の移動量であって、前記一対の位相差検出画素に含まれる欠陥画素を前記一対のうちの一方とした場合における当該一方の位相差検出画素の像の移動量を検出する検出手順と、
    前記検出された移動量および前記第１の画像データにおける一方の位相差検出画素の画素値に基づいて、前記第２の画像データにおける前記欠陥画素の画素値を補正する補正手順と
    をコンピュータに実行させるプログラム。

Images