JP2011199493A - カメラ - Google Patents

Abstract

【課題】焦点調節に用いた画素の画素値を補間する。
【解決手段】焦点調節用の信号を出力する複数の第１画素を備えた第１画素行と、画像データ生成用の信号を出力する複数の第２画素のみを備えた第２画素行とを有する撮像素子と、撮像素子から、複数の画素行同士の出力を、所定混合手順にのっとって混合出力する際に、該所定混合手順上では第１画素行と混合されるべき特定の第２画素行の出力に対して、当該特定の第２画素行の出力と、当該特定の第２画素行の周囲の第２画素行同士の混合出力とを用いて補間処理を行う。
【選択図】図１

Description

本発明は、カメラに関する。

次のような撮像装置が知られている。この撮像装置は、焦点調節用の画素を有する撮像素子により取得した画像において、焦点調節用の画素の画素値を周辺画素の画素値を用いて補間する（例えば、特許文献１）。

特開２００９−９４８８１号公報

しかしながら、従来の撮像装置による補間方法は、静止画を対象として行うことを目的とするものであり、動画を撮影する場合の補間方法については検討されていなかった。

本発明によるカメラは、焦点調節用の信号を出力する複数の第１画素を備えた第１画素行と、画像データ生成用の信号を出力する複数の第２画素のみを備えた第２画素行とを有する撮像素子と、撮像素子から、複数の画素行同士の出力を、所定混合手順にのっとって混合出力する際に、該所定混合手順上では第１画素行と混合されるべき特定の第２画素行の出力に対して、当該特定の第２画素行の出力と、当該特定の第２画素行の周囲の第２画素行同士の混合出力とを用いて補間処理する補間処理手段とを有することを特徴とする。
本発明では、補間処理手段は、補間処理を、第２画素の出力に基づいて焦点調節を行う第２焦点調節方法を用いながら動画像の撮影を行う第２動画撮影状態の場合に、補間処理を行うようにしてもよい。
第２動画撮影状態と、第１画素の出力に基づいて焦点調節を行う第１焦点調節方法を用いながら動画像を撮影する第１動画撮影状態とを含み、それら動画撮影状態を切り換える切換手段とを備え、補間処理手段は、切換手段により切り換えられた撮影状態に応じて、補間処理の方法を変更するようにしてもよい。
補間処理手段は、撮影状態に応じて、補間処理の際に用いる情報量を変更して補間処理を行うようにしてもよい。
補間処理手段は、第２動画撮影状態の場合には、第１動画撮影状態の場合よりも、補間処理の際に使用する情報量を多く用いるようにしてもよい。
第１動画撮影状態は、動画像を撮影し記録媒体に記録する動画撮影状態と、動画像を撮影して記録媒体に記録することなく表示装置に表示するスルー画撮影状態との少なくとも一方を含むようにしてもよい。
撮影状態として静止画を撮影する第３撮影状態を更に有し、切換手段は、第１動画撮影状態、第２動画撮影状態、第３撮影状態を切り換え可能であり、補間処理手段は、切換手段により第３撮影状態に切り換えられると、第１画素に対応する画像データ生成用の情報を、第１、第２動画撮影状態とは異なる補間処理方法を用いて補間処理するようにしてもよい。
補間処理手段は、第３撮影状態のときには、第１画素に対応する画像データ生成用の情報を、当該第１画素の出力と、当該第１画素の周囲に存在する第２画素の出力とを用いて補間処理するようにしてもよい。
補間処理手段は、動画像を撮影する際のフレームレートに応じて、補間処理に用いる第２画素の数を変更するようにしてもよい。
補間処理手段は、フレームレートが高速なほど、補間処理に用いる第２画素の数を少なくするようにしてもよい。
補間処理手段は、第１画素と、補間に用いる第２画素のそれぞれの画素との距離に応じて、補間処理に用いる第２画素の出力の混合比率を決定するようにしてもよい。

本発明によれば、動画撮影の場合に最適な補間方法で画像信号の補間を行うことができる。

カメラの一実施の形態の構成を示すブロック図である。 ＡＦ画素行を備えた撮像素子の画素配置例の一部を模式的に示した図である。 本カメラの動作フローを説明する図である。 ライブビュー撮影時の補間処理動作を模式的に示した図である。 静止画撮影時の補間処理動作を模式的に説明する図である。 コントラストＡＦを用いる動画撮影時の補間処理動作を模式的に示した図である。 位相差ＡＦを用いる動画撮影時の補間処理動作を模式的に示した図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、スチル撮影を指示するレリーズボタン、動画撮影（動画記録）の開始／終了を指示する録画ボタン、ライブビュー表示を指示するライブビューボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。なお、レンズ１０２を構成するレンズには、焦点調節を行うための焦点調節用レンズ（ＡＦレンズ）が含まれる。

撮像素子１０３としては、焦点調節用の信号を出力する画素（以下、ＡＦ画素と称す）と、画像データ生成用の信号を出力する画素（以下、通常画素と称す）とを備えた撮像素子が用いられる。図２は、本実施の形態における撮像素子１０３の画素配置例の一部を抜粋して模式的に示した図である（図２では撮像素子１０３のうちの、２４行（ライン）×１０列分のみの画素配置を抜粋して示す）。この図２に示すように、撮像素子１０３は、焦点調節用のＡＦ信号を出力する画素行（以下、ＡＦ画素行と称す）２ａと、それ以外の画像データ生成用の画像信号を出力する画素行（以下、通常画素行と称す）とで構成されている。通常画素行は、Ｒ，Ｇの画素が交互に配置された画素行と、Ｇ，Ｂの画素が交互に配置された画素行とを備える。カメラ１００は、ＡＦ画素行２ａのＡＦ画素の信号を用いて、例えば特開２００９−９４８８１号公報等で周知の手法である位相差検出方式での焦点検出動作を行うよう構成されている。なおカメラ１００は、通常画素行の通常画素の信号を用いて、周知の手法によりコントラスト検出方式の焦点検出動作を行うこともできる。

撮像素子１０３は、カメラの動作状態(動作モード)によって、信号の読出し方法を切り換える。カメラが静止画撮影状態（スチル撮影モード）に設定されている場合には、撮像素子１０３の全画素（ＡＦ画素も通常画素の両方を含む）から信号を読み出す（全画素読出し）。カメラが、後述する記録媒体に記録するための動画像を撮影する動画像撮影状態（動画撮影モード）に設定されている場合には、同色の画素行同士（一対の画素行）の画素を混合して信号を読み出す（画素混合読出し）。またカメラが、後述するモニタ１０６（表示部）にリアルタイム表示するための動画像（ライブビュー画像またはスルー画像）を撮影するライブビュー状態（ライブビューモード）に設定されている場合には、いわゆる間引き読出しを行う。

上述したように動画撮影モードの場合には、撮像素子１０３は同色の画素行同士（図２においてそれぞれ点線でペアを示した行同士、例えば１行目と３行目、２行目と４行目等のペア）の画素について、画素混合読出しを行うようになっている。しかしながら、ＡＦ画素行２ａ（例えば図２の８行目の画素行）及び本来ならこのＡＦ画素行と画素混合読出し上で対になるべき通常画素行（例えば図２の６行目の画素行）に限っては、画素混合読出しを行わないように構成されている。

その理由は、ＡＦ画素行２ａは色フィルターではなく透明なフィルターを介して受光するように構成されているため、いわゆる白色光成分の信号を出力する。これに対し通常画素行は画素毎にＲ，Ｇ，Ｂの何れかの色フィルターが設けられており、各色の信号を出力する。この両者（ＡＦ画素の白色光信号と通常画素の色信号）を混合読み出ししてしまうと、焦点検出用信号として使用した場合には焦点検出精度の劣化を招く虞があり、また画像信号として使用した場合でも画質の劣化を招く虞がある。このため撮像素子１０３は、画素混合読出しを行う動画撮影モードの際に、ＡＦ画素行及びそれと対になるべき通常画素行の読出しに関しては、画素混合読み出しする代わりとして、ＡＦ画素行と通常画素行のうちの一方の画素行を読み出すように構成している。

そして、このＡＦ画素行２ａと通常画素行のうちの一方を読み出す場合において、撮像素子１０３は、上述の動画撮影モードで使用する焦点検出方法に応じて、どちらを読み出すかを切り換えている。具体的には、焦点検出方式が、位相差検出方式であればＡＦ画素行２ａを読み出し、コントラスト検出方式であれば、通常画素行を読み出す。また、上述のライブビューモードの場合には、ＡＦ画素行２ａを間引かずに（間引き読み出し対象画素行は通常画素行の一部行）読み出すよう、撮像素子１０３は制御される。上述した各読出し方法の詳細については、更に後ほど説明する。

制御装置１０４は、簡易補間処理部１０４１と、メモリ１０４２と、静止画補間処理部１０４３と、信号処理部１０４４と、ＡＦ（オートフォーカス）演算部１０４５とを備えている。

簡易補間処理部１０４１は、カメラの動作状態が、上述した動画撮影モード、あるいはライブビューモードの場合に動作する処理部である。ここでは、焦点調節用のＡＦ信号を出力するＡＦ画素行２ａに関する画像信号の補間処理を行う。この簡易補間処理部１０４１で行われる補間方法の詳細については後述する。

メモリ１０４２には、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、制御装置１０４が動作時に動作プログラムを展開するためのワークメモリとして使用されたり、データ（画像データなど）を一時的に記憶するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行する動作プログラムのデータや、動作プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、スチル撮影モードの場合、制御装置１０４は、使用者によって操作部材１０１に含まれるレリーズボタンが半押しされると、撮像素子１０３から出力されるＡＦ信号（ＡＦ画素からの位相差ＡＦ用信号、または通常画素からのコントラストＡＦ用信号に基づき、後述するＡＦ演算部１０４５で演算された結果）に基づいてレンズ１０２のＡＦレンズを駆動させることにより焦点調節を行う。その後、使用者によってレリーズボタンが全押しされると、制御装置１０４は、撮影処理を実行する。すなわち、制御装置１０４は、撮像素子１０３から出力される画像信号をメモリ１０４２のＳＤＲＡＭに取り込んで一時保存（一時記憶）する。

ＳＤＲＡＭは予め決められたフレーム数（例えばＲＡＷ画像データで１０フレーム分）のスチル画像信号を取り込める容量を持っている。ＳＤＲＡＭに取り込まれたスチル画像信号は順次、静止画補間処理部１０４３に送り込まれる。静止画補間処理部１０４３は、上述した簡易補間処理部１０４１とその目的（焦点調節用のＡＦ信号を出力するＡＦ画素行２ａに関する画像信号の補間処理を行う）は同じであるが、その補間処理の方法が異なっている。

静止画補間処理部１０４３は、簡易補間処理部１０４１で行われる補間処理よりも、たくさんの情報を使用して補間処理を行う処理部であるため、補間結果は簡易補間処理部１０４１での補間処理結果よりもきれいになるという特徴がある。この静止画補間処理部１０４３での補間処理方法の詳細については後述する。なお既述したように、静止画補間処理部１０４３は、カメラの動作状態が、スチル撮影モードの場合に動作する。

信号処理部１０４４は、簡易補間処理部１０４１、あるいは静止画補間処理部１０４３でそれぞれ補間処理された画像信号に対して、種々の画像処理を施して所定形式、例えばスチル画像であればＪＰＥＧ形式のスチル画像データ、動画像であればＭＰＥＧ方式の動画像データを生成し、これを格納した画像ファイル（後述の記録媒体に記録するための画像ファイル）を生成する。

更に信号処理部１０４４は、後述のモニタ１０６に表示するための表示用画像（上記画像ファイルに格納される記録用画像とは異なるもの）も生成する。この表示用画像とは、ライブビューモードの場合にはライブビュー画像そのものであり、動画撮影モードの場合には、記録用動画像を生成している間にモニタ１０６に表示される動画像であり（ライブビュー画像に類似するもの）、スチル撮影モードの場合には、スチル撮影後に所定時間だけ撮影画像を確認するために表示される確認用画像である。

ＡＦ演算部１０４５は、撮像素子１０３のＡＦ画素からの信号に基づいてデフォーカス量を算出し、その一方で撮像素子１０３の通常画素からの信号に基づいてコントラスト値を算出する。これら算出結果を用いて不図示のＡＦレンズ制御部を介してＡＦ動作が行われる。なおＡＦ演算部１０４５は、スチル撮影モードの場合には、一旦メモリ１０４２に取り込まれた撮像素子出力（ＡＦ画素出力あるいは通常画素出力）を取り込んでＡＦ演算を行うように構成されている。その一方で、動画撮影モードあるいはライブビューモードのときには、簡易補間処理部に取り込まれた撮像素子出力（ＡＦ画素出力あるいは通常画素出力）を取り込んでＡＦ演算を行うように構成されている。

メモリカードスロット１０５は、記録媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４によって生成された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、ライブビューモードのときの撮影画像（ライブビュー画像）、メモリカードに記憶されている画像（スチル画像や動画像）、およびカメラ１００を設定するための設定メニューなどが表示される。ライブビューモード時には、制御装置１０４は、撮像素子１０３から時系列で取得した画像の表示用画像データ（ライブビュー画像データ）をモニタ１０６に出力する。これによってモニタ１０６にはライブビュー画像（スルー画)が表示される。

既述したように、本実施の形態におけるカメラ１００では、撮像素子１０３はＡＦ画素行２ａを備えているため、このＡＦ画素行２ａからは、スチル画像や動画像を形成する画像信号が出力されない。よって、制御装置１０４は、撮影処理において、このＡＦ画素行２ａの画素値を他の画素の画素値を用いて補間して画像データを生成する。

このとき、あるフレームレートでライブビュー（スルー画）表示している場合やあるフレームレートで動画撮影している場合には、フレームごとの補間処理をフレームレート時間内に終わらせる必要がある。その一方で静止画の場合は、動画撮影の場合よりも多少手間がかかっても良いので出来るだけ高精細な画像が得られるよう処理することが要求される。よって、本実施の形態では、制御装置１０４は、撮影モードがスチル撮影モード、それ以外のモード（動画撮影モード、ライブビューモード）であるか（換言すれば、撮影対象が静止画であるか、あるいはスルー画や動画であるか）に応じて、補間処理の方法を変更する。

また、動画撮影モードの場合において、そのときの焦点検出方式に応じて（位相差検出方式であるか、コントラスト検出方式であるか）、補間処理の方法を変更する。更には、動画撮影モードやライブビューモード（撮影対象がスルー画や動画）である場合には、その撮影フレームレートに応じても、補間処理の方法を変更することにより、フレームごとの画素の補間処理がフレームレート時間内に完了するようにする。

以降では、本カメラの動作について説明する。図３は、カメラ１００の動作（カメラ内ＣＰＵの動作）を説明するフローチャートである。カメラの電源ボタンがＯＮ操作されると、本フローはスタートする。

ステップＳ１００で、不図示のライブビューボタンがＯＮ操作されたか否かを判別する。ＯＮ操作されていればステップＳ１０３へ進み、そうでなければステップＳ１０５へ進む。なお本ステップＳ１００を設けずに、カメラ電源がＯＮされると直ちにステップＳ１０３へ進むようにフローを構成しても良い。

ステップＳ１０３では、ライブビューモードでカメラ１００を動作させる。ライブビューモードの動作の概要を述べると、撮像素子１０３は間引き読出しを行い、制御装置１０４は簡易補間処理部１０４１を用いた簡易補間処理を行い、信号処理部１０４４において生成された表示用画像（ライブビュー画像）をモニタ１０６に表示する。このステップＳ１０３の動作の詳細については後述する。ステップＳ１０３の次にステップＳ１０５に進む。

なお、このライブビューモードの場合のＡＦ（オートフォーカス）動作は、基本的にはＡＦ画素行２ａの出力を用いた位相差検出方式ＡＦを使用する。しかし、ＡＦ検出エリアがＡＦ画素の存在しない領域に設定されている場合や、あるいはＡＦ画素出力の信頼性が小さい場合には、ＡＦ画素周囲の通常画素の出力を使ったコントラスト検出方式ＡＦに切り換えて行われる。なおＡＦ画素出力の信頼性とは、ＡＦ画素から出力された信号波形形状や検出されたデフォーカス量などに依存するものである。信号波形形状が光束のけられやノイズの影響等で崩れている場合や、検出デフォーカス量が非常に大きい場合には、信頼性が低いと判断される。

ステップＳ１０５では、カメラのレリーズボタンが半押し操作されたか否かを判別する。半押しされていればステップＳ１０７に進み、そうでなければステップＳ１１３に進む。ステップＳ１０７では、被写体に対する焦点検出動作や露出制御動作を行う。このときの焦点検出動作は、原則的に、撮像素子１０３のＡＦ画素行２ａからの出力に基づく位相差検出方式で行われる（もしＡＦ画素行からの出力では焦点検出できない、いわゆる位相差検出方式が苦手な被写体の場合には。通常画素出力によるコントラストＡＦが行われる）。

次のステップＳ１０９では、レリーズボタンが全押し操作されたか否かを判別する。全押しされていればステップＳ１１１へ進み、そうでなければステップＳ１１３へ進む。ステップＳ１１１では、スチル撮影モードでカメラ１００を動作させる。このスチル撮影モードの動作の概要を述べると、撮像素子１０３は全画素読出しを行い、制御装置１０４は静止画補間処理部１０４３を用いた補間処理を行い、信号処理部１０４４において生成された確認用画像をモニタ１０６に表示する。このステップＳ１１１の動作の詳細については後述する。ステップＳ１１１の動作後は、ステップＳ１０５に戻り、上記処理を繰り返す。

一方、ステップＳ１１３では、録画ボタンがＯＮ操作されたか否かを判別する。ＯＮ操作されていればステップＳ１１５へ進み、そうでなければ後述するステップＳ１２５へ進む。ステップＳ１１５では、ＡＦ画素の出力を用いる位相差ＡＦ方式、通常画素の出力を用いるコントラストＡＦ方式のうち、どちらのＡＦ方式が用いられているかを判別する。コントラストＡＦ方式であればステップＳ１１７へ進み、位相差ＡＦ方式であればステップＳ１１９へ進む。

動画撮影モードにおいては、上述したライブビューモードの場合と同様に、ＡＦ動作は、基本的にはＡＦ画素行２ａの出力を用いた位相差検出方式ＡＦを使用する。しかし前述したように、ＡＦ検出エリアとしてＡＦ画素の存在しない領域（通常画素しか存在しない領域）がユーザーに選択されている、或いはカメラ側が自動的に（被写体認識した上で）選択している場合や、あるいはＡＦ画素出力の信頼性が小さい場合には、コントラストＡＦ方式が用いられる。この位相差ＡＦ方式を用いるかコントラストＡＦ方式を用いるかの切り換えは、制御装置１０４が行う。

ステップＳ１１７では、コントラストＡＦを用いた動画撮影状態であるので、コントラストＡＦ動画モードでカメラ１００を動作させる。このコントラストＡＦ動画モードの動作の概要を述べると、撮像素子１０３は画素混合読出し（ＡＦ画素行２ａは画素混合読出しされない）を行い、制御装置１０４は簡易補間処理部１０４１を用いた補間処理を行い、信号処理部１０４４において生成された動画像（ライブビュー画像に類似するもので、記録用動画像を生成している間にモニタ１０６に表示される動画像）をモニタ１０６に表示する。またＡＦ動作はコントラストＡＦ方式で行われる。このステップＳ１１７の動作の詳細については後述する。ステップＳ１１７の動作後は、ステップＳ１２１に進む。

一方、ステップＳ１１９では、位相差ＡＦを用いた動画撮影状態であるので、位相差ＡＦ動画モードでカメラ１００を動作させる。この位相差ＡＦ動画モードの動作の概要を述べると、撮像素子１０３は画素混合読出し（ＡＦ画素行２ａが画素混合読出しとして読み出される）を行い、制御装置１０４は簡易補間処理部１０４１を用いた補間処理を行い、信号処理部１０４４において生成された動画像（ライブビュー画像に類似するもの）をモニタ１０６に表示する。なおＡＦ動作は、基本的にはＡＦ画素を用いた位相差ＡＦ方式で行われる。

しかし、ＡＦ画素出力の信頼性が低い場合（ステップＳ１０３で既述した場合）には、近傍の通常画素の画素混合出力（図７右図でいえば、画素行７ａに直近の画素混合出力７ｂまたは７ｃの何れか一方）から求められたコントラスト値を使ったコントラストＡＦ方式に切り換えて行われる。なおこのＡＦ画素（図７の８行目）出力の信頼性の判断は、位相差ＡＦ動画モードの間、常に判定されており、信頼性が向上した段階で、コントラストＡＦ方式から位相差ＡＦ方式に切り換えられる。

上記ステップＳ１１９の動作の詳細については後述する。ステップＳ１１９の動作後は、ステップＳ１２１に進む。ステップＳ１２１では、録画ボタンが再度ＯＮ操作されたか否かを判別する。再度ＯＮ操作されていれば、上記ステップＳ１１３で開始した動画撮影（動画記録）を停止して（ステップＳ１２３）、ステップＳ１２５に進む。再度ＯＮ操作されていなければ、ステップＳ１１５に進み、上記処理を繰り返す（動画撮影を継続する）。

ステップＳ１２５では、電源ボタンがＯＦＦ操作されたか否かを判別する。ＯＦＦ操作されていなければステップＳ１００に戻って上記処理を繰り返し、ＯＦＦ操作されていれば本フローを終了する。

ここで、上述のステップＳ１０３で述べたライブビューモードの動作について、図４を用いて詳述する。図４の左図は、図２で述べた撮像素子１０３の一部（撮像素子の１行目〜１４行目までの一部）を抜粋した図である。図４の中央図は、撮像素子１０３から間引き読み出しされた状態を、左図との対応関係を示しながら説明する図である。図４の右図は、撮像素子１０３から間引き読出しされた画素出力を、制御装置１０４の簡易補間処理部１０４１で補間処理する際の補間処理方法を、左図、中央図との対応関係を示しながら図示化したものである。

本実施形態では、ライブビューモード時に、撮像素子１０３において１／３間引き読出しが行われる。このため図４（右図、中央図）に示すように、３，６，９，１２行目が間引かれる（読み出されない）。なお、撮像素子１０３で間引き読出しを行う場合には、必ずＡＦ画素行（８行目）を読み出すように（ＡＦ画素行は間引かないように）、読出し制御がなされる。

撮像素子１０３から間引き読み出しされた画素出力は、制御装置１０４に取り込まれる。そして簡易補間処理部１０４１において、周辺の同色の２画素行同士の画素混合処理が行われる。すなわち図４の中央図において、Ｇ，Ｂ画素行同士（例えば２行目と４行目）、およびＲ，Ｇ画素行同士（例えば５行目と７行目）の画素混合処理が行われる。ここで本来であれば、１０行目のＧ，Ｂ画素行は、８行目の画素行と画素混合されるべきである。しかしながら、８行目がＡＦ画素行であるため、このＡＦ画素行（８行目）の出力は画素混合に使用されない（中央図と右図の間の点線参照）。そこで８行目のＡＦ画素行の代用として、ＡＦ画素行の周囲の同色行（４行目のＧ，Ｂ画素行）が補間処理の際に使用する画素行４ｂとされる。

つまり、本来であれば「８，１０行目の画素混合」結果となるべき画素混合行４ａの画素出力（ＡＦ画素に対応する画像データに関する出力）は、ＡＦ画素行（８行目）の周囲行である４行目の画素出力（４ｂ）を用いて補間される。具体的には、次式（１）、（２）により補間が行なわれる。
画素混合行４ａのＧ成分の各画素に対応する出力の補間演算：
画素行４ａ（Ｇｎ）＝｛Ｇ（４行）×ａ｝＋｛Ｇ（１０行）×ｂ｝ ・・・（１）
画素混合行４ａのＧ成分の各画素に対応する出力の補間演算：
画素行４ａ（Ｂｎ）＝｛Ｂ（４行）×ａ｝＋｛Ｂ（１０行）×ｂ｝ ・・・（２）

ただし、４ａ（Ｇｎ）は上記画素混合行４ａにおけるＧ成分の各画素（Ｇｎ）の出力、Ｇ（４行）は４行目のＧ成分の各画素の出力、Ｇ（１０行）は１０行目のＧ成分の各画素の出力、４ａ（Ｂｎ）は上記画素混合行４ａにおけるＢ成分の各画素（Ｂｎ）の出力、Ｂ（４行）は４行目のＧ成分の各画素の出力、Ｂ（１０行）は１０行目のＧ成分の各画素の出力、ａ，ｂは画素混合時の混合比率を決定する重み可変係数（どの画素行を演算に使用するかによって可変となる係数）であって且つその重みの分解能は係数ａよりも係数ｂの方が格段に大きい。また係数ａ，ｂの値は補間対象行４ａから画素混合に使用される周辺画素（４行目、１０行目の画素行の各画素）までの距離に応じて設定される。

ここで、重み可変係数ｂの方の重み分解能を係数ａよりも格段に大きいものにしている理由は、画素混合行４ａの配置位置（重心位置）が、混合対象の４行目の配置位置よりも１０行目の配置位置に近い位置にあるため、配置的に近い行の重みの分解能を細かく設定できるようにすることにより画素混合結果の精度を高めることを目的としている。

このように簡易補間処理部１０４１では、上記式（１）、（２）を用いて、換言すればＡＦ画素行の出力の代わりにそのＡＦ画素行の直近に存在する同色の通常画素行４ｂ（同色の１行の通常画素行４ｂ）の出力を使って、画素混合行４ａの画素出力を補間処理する。

次に、上述のステップＳ１１１で述べたスチル撮影モードの動作について、図５を用いて詳述する。図５は、図２で述べた撮像素子１０３の一部（ＡＦ画素５ｇ、およびその周囲の通常画素）について補足的に符号を加えた図である。本実施形態では、スチル撮影モード時に、撮像素子１０３において全画素読出しが行われる（即ち、図４の画素全てから信号が出力される）。

撮像素子１０３から全画素読み出しされた画素出力は、制御装置１０４のメモリ（ＳＤＲＡＭ）１０４２に取り込まれる。その後で静止画補間処理部１０４３において、各ＡＦ画素の配置位置における画像信号を、周囲の通常画素の出力およびＡＦ画素自身の出力をも用いて補間する。この補間手法の詳細な演算方法については特開２００９−３０３１９４号公報に開示されているので、ここではその演算手法の概念について記載する。例えば、図５のＡＦ画素のうち、ＡＦ画素５ｇ（ｅ列８行）に対応する画像信号を補間する場合、ＡＦ画素５ｇは、ＲＧＢのベイヤー配列において、本来ならＧ成分フィルタが配列される画素である。よってＡＦ画素５ｇはＧ成分の画像信号を補間する必要がある。

そこでまず、ＡＦ画素５ｇの周囲の各色成分（Ｒ，Ｇ，Ｂ）の通常画素において、それぞれ足りない色成分を周囲の通常画素から補間して、各通常画素における白色光成分を推定する。例えばＧ（ｅ列６行)画素の白色光画素値を推定するには、その周囲のＲ画素（Ｒ（ｅ列５行）、Ｒ（ｅ列７行））からＲ成分を補間してもらい、また周囲のＢ画素（Ｂ（ｄ列６行）、Ｂ（ｆ列６行））からＢ成分を補間してもらって、白色光成分の画素値を推定演算する。

次に、そのようにして推定された各周囲画素の白色光成分の画素推定値と、ＡＦ画素５ｇの出力値（ＡＦ画素５ｇの出力は白色光成分そのもの）とに基づいて、ＡＦ画素５ｇを含むその周辺画素領域での白色光成分の画素値の分布を得る（周辺画素領域の全出力を白色光成分に置き換えた場合の画素出力の起伏状態を得る）。この分布（起伏）情報は、ＡＦ画素位置で実際にどの程度のゲインを加える、あるいは差し引けば良いのかの目安として、ＡＦ画素５ｇ位置でのＧ成分出力を補間演算するときに使用する。

そして、その白色光成分の画素値の分布情報（起伏情報）と、ＡＦ画素５ｇの周囲画素のＧ成分画素（Ｇ（ｅ列６行）、Ｇ（ｄ列７行）、Ｇ（ｆ列７行）、Ｇ（ｄ列９行）、Ｇ（ｆ列９行）、Ｇ（ｅ列１０行））の出力値の分布とに基づいて、ＡＦ画素５ｇの位置におけるＧ成分を求める。

次に、上述のステップＳ１１７で述べた、ＡＦ方式としてコントラストＡＦ方式を用いた動画撮影モードの動作について、図６を用いて詳述する。図６の左図は、図２で述べた撮像素子１０３の一部（撮像素子の１行目〜１４行目までの一部）を抜粋した図である。図６の中央図は、撮像素子１０３から画素混合読み出しされた状態を、左図との対応関係を示しながら説明する図である。図６の右図は、撮像素子１０３から画素混合読出しされた画素出力を、制御装置１０４の簡易補間処理部１０４１で補間処理する際の補間処理方法を、左図、中央図との対応関係を示しながら図示化したものである。

本実施形態では、コントラストＡＦ動画撮影モード時に、撮像素子１０３において２画素混合読出しが行われる。このため図６（右図、中央図）に示すように、同色の画素行同士（本実施例ではＲ，Ｇ画素行は奇数行同士、Ｇ，Ｂ画素行は偶数行同士）が、画素混合されて読み出される。ただし、既述したように、ＡＦ画素行（図６の点線６ｆで示したＡＦ画素行出力）及びそれと対になるべき通常画素行（図６の実線６ｅで示した通常画素行出力）の読出しに関しては、画素混合読み出しする代わりとして、ＡＦ画素行と通常画素行のうちの何れか一方の画素行を読み出すように構成しており、焦点検出方式がコントラスト検出方式であるときには通常画素行を読み出す（図６において点線６ｆを読み出さず実線６ｅのみを読み出している点）。

撮像素子１０３から画素混合読み出しされた画素出力は、制御装置１０４に取り込まれる。そして簡易補間処理部１０４１において、画素混合読出しされなかった通常画素行の出力（６行目のみの出力）に対して、補間処理を行う。つまり、本来であれば「６，８行目の画素混合」結果となるべき画素混合行６ａの画素出力（ＡＦ画素に対応する画像データに関する出力）は、画素混合行６ａの周囲の同色の画素混合行６ｂ，６ｄの出力、および画素混合されずに読み出された画素行６ｃの出力を用いて補間される。具体的には、次式（３）、（４）により補間が行なわれる。
画素混合行６ａのＧ成分の各画素に対応する出力の補間演算：
画素行６ａ（Ｇｎ）＝｛Ｇ（６ｂ）×ｃ｝＋｛Ｇ（６ｃ）×ｄ｝＋｛Ｇ（６ｄ）×ｅ｝ ・・・（３）
画素混合行６ａのＢ成分の各画素に対応する出力の補間演算：
画素行６ａ（Ｂｎ）＝｛Ｂ（６ｂ）×ｃ｝＋｛Ｂ（６ｃ）×ｄ｝＋｛Ｂ（６ｄ）×ｅ｝ ・・・（４）

ただし、６ａ（Ｇｎ）は上記画素混合行６ａにおけるＧ成分の各画素（Ｇｎ）の出力、Ｇ（６ｂ）は２行目と４行目の画素混合出力のうちのＧ成分の各画素の出力、Ｇ（６ｃ）は６行目単独のＧ成分の各画素の出力、Ｇ（６ｄ）は１０行目と１２行目の画素混合出力のうちのＧ成分の各画素の出力、６ａ（Ｂｎ）は上記画素混合行６ａにおけるＢ成分の各画素（Ｂｎ）の出力、Ｂ（６ｂ）は２行目と４行目の画素混合出力のうちのＢ成分の各画素の出力、Ｂ（６ｃ）は６行目単独のＢ成分の各画素の出力、Ｂ（６ｄ）は１０行目と１２行目の画素混合出力のうちのＢ成分の各画素の出力、ｃ〜ｅは画素混合時の混合比率を決定する重み可変係数（どの画素行を演算に使用するかによって可変となる係数）であって且つその重みの分解能は係数ｃ，ｅよりも係数ｄの方が格段に大きい。また係数ｃ〜ｅの値は補間対象行６ａから画素混合に使用される周辺画素（各画素混合行６ｂ、６および画素行６ｃの各画素）までの距離に応じて設定される。ここで、重み可変係数ｄの方の重み分解能をｃ，ｅよりも格段に大きいものにしている理由は、上記重み係数ａ，ｂの場合と同様である。

このように簡易補間処理部１０４１では、上記（３）、（４）式を用いて、換言すればＡＦ画素行の出力の代わりに読み出された通常画素行６ｃ（画素混合読出しされなかった通常画素行）、その通常画素行６ｃの周囲（上下）に存在する同色の画素混合行６ｂ，６ｄの出力を使って、画素混合行６ａの画素出力を補間処理する。

次に、上述のステップＳ１１９で述べた、ＡＦ方式として撮像素子１０３のＡＦ画素２ａ出力を使った位相差ＡＦ方式を用いる動画撮影モードの動作について、図７を用いて詳述する。図７の左図は、図２で述べた撮像素子１０３の一部（撮像素子の１行目〜１４行目までの一部）を抜粋した図である。図７の中央図は、撮像素子１０３から画素混合読み出しされた状態を、左図との対応関係を示しながら説明する図である。図７の右図は、撮像素子１０３から画素混合読出しされた画素出力を、制御装置１０４の簡易補間処理部１０４１で補間処理する際の補間処理方法を、左図、中央図との対応関係を示しながら図示化したものである。

本実施形態では、位相差ＡＦ動画撮影モード時に、撮像素子１０３において２画素混合読出しが行われる。このため図７（右図、中央図）に示すように、同色の画素行同士（本実施例ではＲ，Ｇ画素行は奇数行同士、Ｇ，Ｂ画素行は偶数行同士）が、画素混合されて読み出される。ただし、既述したように、ＡＦ画素行及びそれと対になるべき通常画素行の読出しに関しては、焦点検出方式が位相差ＡＦ方式であるときにはＡＦ画素行を読み出す（図７において、点線７ｅで示した通常画素行出力を読み出さず、実線７ｄで示したＡＦ画素行出力のみを読み出している点）。

撮像素子１０３から画素混合読み出しされた画素出力は、制御装置１０４に取り込まれる。そして簡易補間処理部１０４１において、画素混合読出しされなかったＡＦ画素行の出力（８行目のみの出力）に対して、補間処理を行う。つまり、本来であれば「６，８行目の画素混合」結果となるべき画素混合行７ａの画素出力（ＡＦ画素に対応する画像データに関する出力）は、画素混合行７ａの周囲の同色の画素混合行７ｂ，７ｃの出力を用いて補間する。具体的には、次式（５）、（６）により補間が行なわれる。
画素混合行７ａのＧ成分の各画素に対応する出力の補間演算：
画素行７ａ（Ｇｎ）＝｛Ｇ（７ｂ）×ｆ｝＋｛Ｇ（７ｃ）×ｇ｝ ・・・（５）
画素混合行６ａのＢ成分の各画素に対応する出力の補間演算：
画素行７ａ（Ｂｎ）＝｛Ｂ（７ｂ）×ｆ｝＋｛Ｂ（７ｃ）×ｇ｝ ・・・（６）

ただし、７ａ（Ｇｎ）は上記画素混合行７ａにおけるＧ成分の各画素（Ｇｎ）の出力、Ｇ（７ｂ）は２行目と４行目の画素混合出力のうちのＧ成分の各画素の出力、Ｇ（７ｃ）は１０行目と１２行目の画素混合出力のうちのＧ成分の各画素の出力、７ａ（Ｂｎ）は上記画素混合行７ａにおけるＢ成分の各画素（Ｂｎ）の出力、Ｂ（７ｂ）は２行目と４行目の画素混合出力のうちのＢ成分の各画素の出力、Ｂ（７ｃ）は１０行目と１２行目の画素混合出力のうちのＢ成分の各画素の出力、ｆ，ｇは画素混合時の混合比率を決定する重み可変係数（どの画素行を演算に使用するかによって可変となる係数）であって且つその重みの分解能および値は同等である。なお係数ｆ，ｇの値は補間対象行７ａから補間に使用される周辺画素（各画素混合行７ｂ、７ｃの各画素）までの距離に応じて設定される。ここで、重み可変係数ｆ，ｇの重み分解能を同等にしている理由は、この補間演算が、補間対象行７ａから離れた位置にある周辺画素を用いて補間を行うためである。

このように簡易補間処理部１０４１では、上記（５）、（６）式を用いて、換言すれば補間されるべきＡＦ画素行７ａの周囲（上下）に存在する同色の画素混合行７ｂ，７ｃの出力を使って、画素混合行７ａの画素出力を補間処理する。

なお、上記式（１）〜（６）に示した補間処理では、補間対象画素の画素値を、補間対象画素の上下２つの同色画素の画素値を用いて補間する例について説明したが、補間に用いる周辺画素の数が多いほど補間精度が向上する一方で補間処理に時間を要することとなるため、制御装置１０４は、補間処理に用いる周辺画素の数をフレームレートに応じて変更するようにしてもよい。すなわち、フレームレートが高速なほど補間処理に用いる周辺画素の数を少なくし、フレームレートが低速なほど補間処理に用いる周辺画素の数を多くする。

このときのフレームレートに応じた補間処理に用いる周辺画素の数としては、補間処理をフレームレート時間内に完了させることができる最適な数が設定される。例えば、フレームレートが３０ｆｐｓの場合には、上下２ラインずつの同色ラインの画素を用い、フレームレートが６０ｆｐｓの場合には、上下１ラインずつの同色ラインの画素を用いるようにしてもよい。これによって、フレームレートにかかわらず、補間処理をフレームレート時間内に完了させることができ、さらにフレームレートが低速で処理時間に余裕がある場合には、補間処理に用いる周辺画素の数を多くして、補間処理の精度を向上させることができる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）動画撮影モードで撮影している際に、コントラストＡＦ方式を用いる動画撮影の場合には、撮像素子から画素混合されずに読み出される通常画素の信号（画像信号／色情報）も使って補間処理を行うので、より高精細な補間画像を得ることができ、且つ補間演算自体も位相差ＡＦ動作モードの場合と比して演算時間に差がないので撮影フレームレートも維持できる。

（２）動画撮影モードで撮影している際に、焦点検出方式によって補間処理方法を変更するようにしている。これによって、焦点調節方法に応じた最適な方法で補間対象画素の補間を行うことができる。具体的には、位相差ＡＦ方式を用いる動画撮影の場合には、撮像素子から画素混合されずに読み出されるＡＦ画素行の信号を使わずに補間処理を行うので、高速な補間処理を行うことができ、撮影フレームレートを維持することができる。その一方で、コントラストＡＦ方式を用いる動画撮影の場合には、撮像素子から画素混合されずに読み出される通常画素の信号（画像信号／色情報）も使って補間処理を行うので、より高精細な補間画像を得ることができ、且つ補間演算自体も位相差ＡＦ動作モードの場合と比して演算時間に差がないので撮影フレームレートも維持できる。

（３）撮影フレームレートに応じて、補間処理に用いる周辺画素の数を変更するようにした。これによって、撮影フレームレートに応じて補間処理に要する時間を調節することができ、補間対象画素の補間処理を撮影フレームレート時間内に完了させることができる。

（４）撮影フレームレートが高速なほど補間処理に用いる周辺画素の数を少なくし、撮影フレームレートが低速なほど補間処理に用いる周辺画素の数を多くするようにした。これによって、撮影フレームレートにかかわらず、補間処理を撮影フレームレート時間内に完了させることができ、さらに撮影フレームレートが低速で処理時間に余裕がある場合には、補間処理に用いる周辺画素の数を多くして、補間処理の精度を向上させることができる。

（５）補間対象画素の画素値を、補間対象の複数の周辺画素の画素値を用いて補間するようにした。これによって、補間対象画素の画素値を高速かつ高精度に補間することができる。

（６）補間対象画素と、補間に用いる周辺画素との距離に応じて、補間に用いる画素の画素値の混合比率を決定するようにした。これによって、補間対象画素からの距離が近いほど混合比率を上げることにより、補間精度を向上することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、撮影対象が静止画の場合には、補間対象のＡＦ画素と同色の周辺画素を用いてＡＦ画素の画素値を補間する例について説明した。しかしながら、制御装置１０４は、撮影対象が静止画の場合には、補間対象のＡＦ画素の画素値を、ＡＦ画素から出力される焦点検出用の信号に含まれる輝度信号と、補間対象のＡＦ画素の同色の周辺画素の画素値とを用いて補間するようにしてもよい。このように、周辺画素だけでなく補間対象のＡＦ画素から出力される輝度信号も用いて補間を行うことによって、周辺画素のみを用いて補間する場合よりも補間精度を向上させることができる。

（２）上述した実施の形態では、図３に示したように、撮像素子１０３の画素配置３ａに対して画素値３ｂを間引いて読み出す場合にＡＦ画素の画素値を補間する例について説明した。しかしながら、本発明は、撮像素子１０３の全ての画素を読み出して画像データを生成する場合にも適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０４１ 簡易補間処理部、１０４２ メモリ、１０４３ 静止画補間処理部、１０４４ 信号処理部、１０４５ ＡＦ演算部、１０５ メモリカードスロット、１０６ モニタ

Claims (11)

1. 焦点調節用の信号を出力する複数の第１画素を備えた第１画素行と、画像データ生成用の信号を出力する複数の第２画素のみを備えた第２画素行とを有する撮像素子と、
   前記撮像素子から、複数の画素行同士の出力を、所定混合手順にのっとって混合出力する際に、該所定混合手順上では前記第１画素行と混合されるべき特定の第２画素行の出力に対して、当該特定の第２画素行の出力と、当該特定の第２画素行の周囲の前記第２画素行同士の混合出力とを用いて補間処理する補間処理手段とを有することを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記補間処理手段は、前記補間処理を、前記第２画素の出力に基づいて焦点調節を行う第２焦点調節方法を用いながら動画像の撮影を行う第２動画撮影状態の場合に、前記補間処理を行うことを特徴とするカメラ。
3. 請求項２に記載のカメラにおいて、
   前記第２動画撮影状態と、前記第１画素の出力に基づいて焦点調節を行う第１焦点調節方法を用いながら動画像を撮影する第１動画撮影状態とを含み、それら動画撮影状態を切り換える切換手段とを備え、
   前記補間処理手段は、前記切換手段により切り換えられた撮影状態に応じて、前記補間処理の方法を変更することを特徴とするカメラ。
4. 請求項３に記載のカメラにおいて、
   前記補間処理手段は、前記撮影状態に応じて、前記補間処理の際に用いる情報量を変更して前記補間処理を行うことを特徴とするカメラ。
5. 請求項３又は４に記載のカメラにおいて、
   前記補間処理手段は、前記第２動画撮影状態の場合には、前記第１動画撮影状態の場合よりも、前記補間処理の際に使用する情報量を多く用いることを特徴とするカメラ。
6. 請求項２〜４の何れか一項に記載のカメラにおいて、
   前記第１動画撮影状態は、動画像を撮影し記録媒体に記録する動画撮影状態と、動画像を撮影して前記記録媒体に記録することなく表示装置に表示するスルー画撮影状態との少なくとも一方を含むことを特徴とするカメラ。
7. 請求項１〜６の何れか一項記載のカメラにおいて、
   撮影状態として静止画を撮影する第３撮影状態を更に有し、
   前記切換手段は、前記第１動画撮影状態、第２動画撮影状態、前記第３撮影状態を切り換え可能であり、
   前記補間処理手段は、前記切換手段により前記第３撮影状態に切り換えられると、前記第１画素に対応する画像データ生成用の情報を、前記第１、第２動画撮影状態とは異なる補間処理方法を用いて補間処理することを特徴とするカメラ。
8. 請求項７に記載のカメラにおいて、
   前記補間処理手段は、前記第３撮影状態のときには、前記第１画素に対応する画像データ生成用の情報を、当該第１画素の出力と、当該第１画素の周囲に存在する前記第２画素の出力とを用いて補間処理することを特徴とするカメラ。
9. 請求項１〜８の何れか一項に記載のカメラにおいて、
   前記補間処理手段は、前記動画像を撮影する際のフレームレートに応じて、前記補間処理に用いる前記第２画素の数を変更することを特徴とするカメラ。
10. 請求項９に記載のカメラにおいて、
    前記補間処理手段は、前記フレームレートが高速なほど、前記補間処理に用いる前記第２画素の数を少なくすることを特徴とするカメラ。
11. 請求項１〜１０の何れか一項に記載のカメラにおいて、
    前記補間処理手段は、前記第１画素と、補間に用いる前記第２画素のそれぞれの画素との距離に応じて、前記補間処理に用いる前記第２画素の出力の混合比率を決定することを特徴とするカメラ。

Images