JP2014236251A - 撮像装置 - Google Patents

Abstract

【課題】動画撮影中に静止画を撮影する場合に、静止画撮影の前後で動画の連続性が失われる事を低減した撮像装置を提供する。【解決手段】第一の露光時間で撮像素子の複数の画素を複数フィールドに分けて特定の１フィールドから画素信号を読み出す第一の駆動と、第二の露光時間で撮像素子の複数の画素を複数フィールドに分けて順次画素信号を読み出す第二の駆動と、撮像駆動部の駆動と露光時間を制御する制御部と、動画撮影中に静止画撮影を指示する撮影指示部と、第一の駆動で動画撮影中に、第二の駆動で動画中静止画撮影に切替えた際の露出を予測する露出予測部と、第一の駆動により駆動する動画撮影の際に、静止画撮影の指示を受けた場合に第二の駆動に撮像駆動部の駆動を切替えて撮影を行い、動画と静止画に使用する画像を生成し、動画撮影から動画中静止画撮影へ切替えるフレームの撮影において、動画撮影中の露出から露出予測値に従って露出を切替える。【選択図】図１

Description

本発明は、撮像装置に関し、動画撮影中に、動画の撮影と同時に静止画の撮影を行う事が可能な撮像装置に関するものである。

デジタルカメラやデジタルビデオカメラなどの撮影システムには、静止画撮影を行う機能と、動画撮影を行う機能との両方を有している物が普及している。

動画撮影には、高フレームレートと近年の高解像度の映像システムにマッチする解像度(例えば、1920×1080サイズ、60フレーム毎秒)が求められる。静止画撮影には、動画撮影に比べてより高解像度の画像が求められる。

動画の撮影を行っている間に、任意の時点で静止画の撮影を行い、動画像と静止画像の両方の撮影を行いたいという要望がある。特許文献１によると、動画撮影中において、動画の撮影と同時に高解像度の静止画を撮影する事を可能とする撮影装置が提案されている。

特開２００６−２３８２０５号公報

しかしながら、上記特許文献１においては、動画の複数フレームから静止画を構成するように構成されているため、静止画を構成する最初のフレームと最後のフレーム間にフレーム数分の時間差があり、手ぶれや被写体ぶれの影響を受けやすくなる。動画記録中に静止画撮影を行う場合に、手ぶれ、被写体ぶれを低減するため、静止画に使用される複数の画像の取得に必要な時間差を短縮する必要がある。動画記録中に静止画撮影の場合のみ、露光時間を短くすると、1フレームにあたる画像を撮影に要する時間が短くなり、同じ時間の間に複数の画像を取得する事ができる。

しかし、それに伴って、露光時間が短くなるため、撮像素子の電荷の蓄積時間が短くなって画像全体が暗くなり、動画記録中に静止画を記録可能となるが、記録される動画の輝度が不連続となり、違和感を与えてしまう。

そこで、本発明の目的は、動画撮影中に静止画撮影を行う場合に、記録される動画に違和感を与える事を低減し、動画の記録と静止画の記録を行う事が可能な撮像装置を提供することである。

上記目的を達成するために、本発明は、受光面に結像した画素信号を読み出し可能な撮像素子と、前記撮像素子を複数の駆動方式で駆動して画素信号を読み出す事が可能な撮像駆動部と、前記撮像素子から読み出した画素信号を受けて、動画と静止画に利用可能な画像信号を生成する撮像処理部と、第一の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して特定の１フィールドから画素信号を読み出す事が 可能な第一の駆動モードと、第二の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事が 可能な第二の駆動モードを有していて、前記撮像駆動部を制御して、駆動モードと動画撮影中の露光時間を制御する制御部と、動画撮影中に静止画の撮影を指示する撮影指示部と、前記第一の駆動モードで動画撮影中の露出から、前記第二の駆動モードで動画中静止画撮影に切り替えた場合の露出を予測する露出予測部と、を備えた撮像装置において、前記第一の駆動モードに応じて前記撮像駆動部を制御し、前記撮像素子を前記第一の駆動モードにより駆動する動画撮影の際に、前記撮影指示部により静止画撮影の指示を受けた場合に、前記第二の駆動モードに前記撮像駆動部の駆動を切り替えて、前記撮像素子を前記第二の駆動モードに応じて前記撮像駆動部を制御して撮影を行い、前記撮像素子の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事で取得した画像から動画と静止画に使用する画像を生成し、動画撮影から動画中静止画撮影への切り替えを行うフレームの撮影において、動画撮影中の露出から前記露出予測値に従って露出の切り替えを行う事を特徴とする。

本発明によれば、動画記録中に動画より大きいサイズの静止画を記録するために、露光時間を動画記録中よりも短くして、撮像素子からの読み出し方の異なる複数の画像取得を行う場合に、違和感のある動画となる事を低減する撮像装置を提供することができる。

本発明の実施形態にかかわる撮像装置のブロック図である。 本発明の撮像装置の撮像素子の画素配列と読み出し画素を示す図である。 本発明の実施例における撮像装置の制御を表すタイミング図である。 本発明の実施例における撮像装置の動作を表すフロー図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。

［実施例１］
図１は、本発明の実施形態を説明するための撮像装置の概略図である。

先ず、図１における電子カメラ１００の電気的構成について説明する。電子カメラ１００の内部では、システム制御部１１０、撮像処理部１０５、ＤＲＡＭ１１３、ＲＯＭ１１４、表示制御部１１５、デジタル信号処理部１１７、圧縮／伸張処理部１１８、外部メモリ制御部１１９、操作部１２１がいずれもバス１２２に接続されており、これらの間ではシステム制御部によるバス１２２の管理の下で相互にデータの授受を行うことができる。システム制御部１１０はこの電子カメラ１００全体の動作制御を行う処理装置である。撮影レンズ１０１は被写体像を絞り部１０２、シャッタ部１０３を通じて撮像素子１０４の受光面に結像させる。撮像素子１０４の受光面に結像されている被写体像は光電変換され、光電変換素子毎に電荷が蓄積される。撮像素子駆動部１０９は撮像素子１０４を制御する読み出しパルスを出力でき、各光電素子に蓄積された電荷をアナログ信号として出力する。

撮像素子１０９は撮像素子１０４の全ての光電素子から電荷を読み出す事や、特定の行、列の光電素子からだけ電荷を読み出すように制御する事が可能である。撮像素子１０４から出力されたアナログ信号は、撮像処理部１０５に入力される。撮像処理部１０５は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Automatic Gain Control：自動利得制御回路）、及びアナログ／デジタル変換回路などを含んで構成され、システム制御部の制御の下に、撮像素子１０４から出力されたアナログ信号に含まれるリセット雑音の除去や信号レベルの調節等を行い、これらの処理が行なわれた後のアナログ信号をデジタルデータに変換する。

この撮像処理部１０５から出力される、被写体の画像を表現しているデジタルデータを、以降「撮影画像」と称することとする。ＤＲＡＭ（Dynamic Random Access Memory）１１３は、撮像処理部１０５から出力された撮影画像やデジタル信号処理部１１７や圧縮伸張処理部１１８による画像処理が施された撮影画像等を一時的に蓄えるバッファメモリとして使用される他、システム制御部による各種処理のための作業用の記憶領域としても使用されるメモリである。デジタル信号処理部１１７は、システム制御部１１０による指示に基づき、撮像処理部１０５から出力される撮影画像に施されるγ補正やホワイトバランス等の画像補正処理を施す。

圧縮／伸張処理部１１８はデジタル信号処理部１１７において画像補正処理を施された撮影画像に画像の記録・再生のための画像圧縮伸張処理などの各種処理を施す。尚、画像データの圧縮・伸張処理では、例えばＪＰＥＧ（Joint Photographic Experts Group）方式に沿った伸張処理及び圧縮処理等が行われる。ＲＯＭ１１４には、システム制御部１１０にこの電子カメラ１００全体の動作制御を行わせるための制御プログラムが予め格納されている。システム制御部１１０は、ＲＯＭ１１４に格納された制御プログラムを読み出して実行することによって、この電子カメラ全体の動作制御を行う。

外部メモリ制御部１１９は画像データを格納する外部メモリ１２０を制御する制御部であり、外部メモリ１２０はこの電子カメラ１００から着脱可能である。デジタル信号処理部１１７と圧縮伸張処理部１１８を経て画像処理が施され、外部メモリ１２０に記録される状態となった撮影画像を、以降「記録画像」と称することとする。表示制御部１１５は表示部１１６を駆動してバス１２２を介して送られてきた画像データで表現されている画像を表示部１１６に表示させる。表示部１１６は、画像を表示する、例えば液晶モニタである。

操作部１２１はユーザによって操作される各種キー、スイッチ、ボタン等を備えて構成される。システム制御部１１０は操作部１２１に対してなされた操作の内容を取得し、その内容に対応するユーザからの指示を受け取る。例えば、操作部１２１の１つであるレリーズボタンをユーザが押下した場合に、システム制御部１１０はその操作を検出し、撮影動作の指示を各駆動部、処理部へ行う。電源部１２４は電源制御部１２３の制御に基づいて電子カメラ１００の各部に所定の電圧に安定化された電力を供給する。電池１２５はこの電子カメラ１００の電源となる電池であり、例えば、アルカリマンガン電池などといった一次電池や、ニッケル水素電池、リチウムイオン電池などといった充電可能な二次電池を用いる場合がある。

動画中静止画露出予測部１２６は、動画記録中の露光時間、ゲイン設定などを監視しており、動画記録中に静止画撮影を行う場合に、静止画、動画が共に適正な露出になる露光時間、ゲイン設定を予測するために用いられる。動画として記録中の現在の露光時間とゲイン設定から動画記録中に静止画を撮影する際に露光時間が短くなると判断された場合に、適性露出となるように、露光時間の切り替わり前後で撮影画像の露出の変化を低減できるゲイン設定を予測するのに用いる。

ここで求める露出は、撮影画像全体の平均の輝度や合焦位置、主被写体の輝度など、撮影する被写体に応じて適切な物を選択しても良い。動画記録中の静止画撮影を行う場合に、複数枚の撮影画像から静止画を生成する場合に、手ぶれや被写体ぶれの影響を低減するため、複数枚の撮影画像を取得するのに掛かる時間を動画記録中よりも高速に取得する事が望ましい。例として、1フレーム1/60秒の周期で動画記録を行い、その1フレームの露光時間が1/60秒の時に、動画記録中に静止画を撮影する場合に、1フレーム時間での取得撮影画像の枚数を増やすために、露光時間を1/2の時間の1/120秒に短縮する場合について、説明する。

露光時間を1/120秒以下に抑えた場合に、動画記録中の1フレームの時間で、露光時間1/60秒に比べて2倍の2枚の撮影画像を取得できる。動画記録中の１フレームの露光時間は1/60秒のため、動画記録中に静止画撮影の露光時間が1/120秒となるような場合、露光時間の減少分のゲイン設定の上昇値を演算して予測する。このゲイン設定の予測値を露出予測値と以下で呼称する。また、例えば、動画記録中の露光時間が1/200秒であり、動画記録中の静止画撮影を行う場合の露光時間が確保できる最大値が1/120秒であれば、動画記録中の静止画撮影の露光時間は1/200で良く、ゲイン設定も変更の必要がない。そのため、ゲイン設定の上昇値を演算して予測する必要はない。

また、動画記録中に静止画を撮影する場合には、露光時間と動画1フレーム時間内に取得する撮影画像の取得枚数を変更した場合においても、同じフレームの周期（例えば、1フレーム1/60秒周期）で撮影した画像を動画として記録する必要がある。そのため、1フレーム1/60秒の周期で動画記録を行っている場合、動画記録2フレーム中の時間1/30の間に動画記録中の静止画を形成する画像を3枚取得する事を想定すると、2フレーム目の動画を成す撮影画像は、1/60秒の間隔に合う撮影画像がないため、動画のフレームから、不等間隔となってしまう。

このため、動画記録中に静止画を撮影する場合の露光時間の変更量は、1フレーム時間である1/60秒間に複数枚 であることが望ましい。

図２ （ａ）は、撮像素子の画素配列をあらわしており、この実施形態では４，８００（Ｈ）列×３，６００（Ｖ）行の画素数、全画素の読み出しと、３分割読み出しが可能と仮定している。また、色フィルタの配列はＲ及びＧ が水平方向に交互に並んでいるＲ Ｇ ラインとＧ 及びＢ が水平方向に交互に並んでいるＧ Ｂ ラインがある、いわゆるベイヤ配列として説明する。

また、図２（ｂ）、（ｃ）、（ｄ）の斜線部の画素がそれぞれ３分割読み出しで読み出される画素配列（分割１つ辺りの画素数は４，８００（Ｈ）列×１，２００（Ｖ）行）、分割されているＡ，Ｂ，Ｃ は３分割の各分割読み出しを行う画素配列の名称とする。

図２（ｂ）の斜線部で示している、分割して読み出される画素配列をＡ分割の画素と称し、図２（ｃ）、図２（ｄ）をそれぞれ、Ｂ分割の画素、Ｃ分割の画素と称する。また、分割して読み出された画素の信号を撮像処理部１０５で処理して出力したデジタルデータを、図２（ｂ）は撮影画像Ａ、図２（ｃ）は撮影画像Ｂ、図２（ｄ）は撮影画像Ｃと称する。
図３は、本発明を適用した電子カメラ１００の動画記録中に静止画を撮影する際の動作を示すタイミングチャートである。

Ｖ Ｄ は垂直同期信号、レリーズ信号はユーザが操作部１２１に配置されたレリーズボタンを押下することにより発生する信号である。また、読み出しパルスは 撮像駆動部１０９にて生成され、それぞれ対応する画素配列に蓄積された信号を読み出すために印加される信号である。表示フレームは、フレーム番号に対応する表示部への表示フレーム、及び記録される記録画像のフレームを示している。例えば、Ｎフレームを形成する記録画像は、露光期間のＮのタイミングで露光され、読み出しパルスＡでＮの画素信号として読み出され、撮像処理部１０５を経てＮフレームを成す撮影画像として出力され、デジタル信号処理部１１７などで加工され、表示部１１６や外部メモリ１２０へ出力される。

図３の「動作」に示す、「動画記録」、「動画記録切り替え１」、「動画記録切り替え２」は動画記録の動作を行っており、「動画記録中静止画記録」は動画記録に加えて静止画の記録の動作も行うように本実施形態のデジタルカメラが動作している状態を表している。

図３に示す露出は、「動画記録」、「動画記録切り替え１」、「動画記録切り替え２」、「動画記録中静止画記録」の各動作での適正露出となるような露出の推移を示した例である。

本実施形態のデジタルカメラにおける動画は、フレームレート、ファイルサイズ等を鑑みて画像サイズは静止画像の１／３ 程度の垂直本数でよいと考え、全画素のうちＡ分割の画素のみを読み出して、動画として記録することとしている。このとき、垂直と同様の間引き率で水平方向の画素も間引くので、最終的な動画像の画素数は、静止画４，８００×３，６００に対して、少ない画素数となる。本実施形態における動画像の撮影は、垂直同期信号Ｖ Ｄ の周期で読み出し信号印加とともに撮像素子からＡ分割の画素の画像が読み出される。読み出された画像は、撮像処理部１０５、ＤＲＡＭ１１２、デジタル信号処理部１１７、圧縮/伸張処理部１１８における画像処理を経て生成された記録画像が外部メモリ１２０に動画として記録、あるいは表示部１１６に表示される。

続いて、本実施形態のデジタルカメラにおける動画中静止画撮影について説明する。

動画中静止画撮影では、ユーザが操作部１２１に配置されたレリーズボタンを押下することによりレリーズ信号が発生され、その信号に伴って静止画撮影を開始するものとする。
レリーズ信号の発生までは動画の記録のみが行われている。

レリーズ信号発生後について説明する。レリーズ信号が発生されると、次の垂直同期信号ＶＤより、読み出しパルスＡ、Ｂ、Ｃを順次印加して、図２（ｂ）〜（ｄ）に示している撮影画像Ａ、Ｂ、Ｃを順次読み出す。この際、各分割された撮影画像の露光時間の調節は電子シャッタパルスの印加数の調節によって行われる。

また、複数に分割された画像を合成して、動画とは別に静止画を生成する場合、１枚目の分割された撮影画像と、それ以外の分割された撮影画像には撮影画像の枚数分の時間差が生じるため、その間の手ぶれ、被写体ぶれの影響を受ける事がある。そのため、分割された撮影画像は、通常の動画より高速に撮影する必要がある。

例えば、動画記録時の1フレームの露光時間が1/60秒の場合、動画記録中の静止画記録のために、撮影画像Ａ、Ｂ、Ｃの３画像を取得する場合、３画像分の露光に必要な時間は、１画像の露光時間の3倍の1/20秒必要となる。このため、動画記録中に比べて手ぶれ、被写体ぶれの影響を受けやすくなるため、動画記録中の静止画記録を行う場合には、露光時間を短縮し、１画像の露光を動画記録中よりも短時間にし、動画記録中より高速に複数の画像を取得する必要がある。

図３は、動画記録中に比べ、動画記録中の静止画撮影時には、露光時間を短縮し、かつ、画像の読み出しも動画記録に比べて間隔を短くし、単位時間に複数の画像を取得する事を示している。

また、各垂直同期信号ＶＤ期間に読み出される分割画素信号は４，８００×１，２００のサイズであり、これらは読み出された後、撮像処理部１０５の処理を介してＤＲＡＭ１１３に一時的に格納される。

各垂直同期信号ＶＤ期間では動画像の出力を継続する為、以下のような処理が行われる。
Ａ分割の画像（撮影画像Ａ）を読み出した場合、ＤＲＡＭ１１３上の４，８００×１，２００の画像信号に対して水平方向の垂直方向の画素を間引くなどの処理を加えて、記録する動画のサイズにサイズ変更を行う。図３に示すＮ＋５フレーム目は撮影画像Ａを処理した画像であり、各種処理を施したＮ＋５フレーム目の記録画像として外部メモリ１２０に記録、あるいは表示部１１６に表示される。

Ｂ分割の画像（撮影画像Ｂ）は、Ｎ＋５．５として図３に記載しているタイミングで、露光した後、Ｎ＋５．５のタイミングで撮像素子１０４から読み出され、撮像処理部１０５が出力する撮影画像である。動画記録は、例えば、60コマ毎秒などの等間隔で読み出された画像を等間隔に記録していく事で動画を形成する。

Ｎ＋５の露光は、次の読み出しパルスＡで撮像素子出力Ｎ＋５で出力され、Ｎ＋５フレームに使用する撮影画像Ａとして記録されている。

次の動画フレームを成すＮ＋６フレームは、これまでのフレームと等間隔の、Ｎ＋６の露光をされた後、読み出しパルスＣで撮像素子出力Ｎ＋６で出力され、Ｎ＋６フレームに使用する撮影画像Ｃとして記録されている。

対して、Ｎ＋５．５の露光は、動画撮影の間隔と異なるタイミングで記録された撮影画像のため、動画記録には使用せず、動画記録中の静止画のためにだけに、撮影画像Ｂとして使用される。

Ｃ分割の画像（撮影画像Ｃ）を読み出す場合、撮影画像Ａと同様に処理を施される。
しかしながら、撮影画像Ｃは、撮影画像Ａと異なる画素から読み出された撮影画像であるため、画素の配置に従って重心補正も行って動画に使用する。

例えば、Ａ分割の画像の※印のラインをＡ分割画像の重心とし、Ｃ分割の画像の※印のラインをＣ分割画像の重心と考え、Ａ分割画像の重心と合わせるように、☆印の位置に補正する。

そして、図3に示すようにＮ＋６フレーム目の記録画像として外部メモリ１２０に記録、あるいは表示部１１６に表示される。

続いて、静止画像の生成について説明する。ＤＲＡＭ１１３上に一時記録された撮影画像Ａ，Ｂ，Ｃはデジタル信号処理部１１７と圧縮/伸張処理部による画像処理を経て静止画像（４，８００×３，６００サイズ）として生成される。これは動画として使用されている記録画像の外部メモリ１２０への記録と異なるタイミングで、外部メモリ１２０に記録される。

しかしながら、得られた分割撮影画像Ａ，Ｃによって構成される、Ｎ＋５フレームとＮ＋６フレームは、それ以外のフレームは動画記録中の撮影画像と露光時間が異なる撮影画像である。

そのため、Ｎ＋５フレームとＮ＋６フレームの前後で撮影画像に輝度変化が生じ、そのまま動画として記録した場合には、記録された動画の動画中静止画撮影のフレームのみに、輝度変化が生じて、動画の輝度が不連続となる。

この動画の輝度の不連続を低減するため、レリーズボタンが押下されるまでに、動画中静止画露出予測部１２６は撮影した画像とその露光時間とゲイン設定から、動画中静止画撮影が行われる場合の、露光時間と適正な露出となる感度のゲイン設定を予測する。

一般的に行われるＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）処理と同様の処理である。

また、動画記録中静止画の撮影時に露出が適正となるように感度を切り替えるのに加えて、撮影後の撮影画像に対して、撮影画像の輝度信号値を揃えるように処理を加えても良い。

輝度信号値Yは、ITU（国際電気通信連合）で定める規格ITU-R BT.601によると、画像のRGB各色のデジタル値から、以下の数式により求められる。

例えば、動画記録中に取得した撮影画像の画像面内の輝度信号値の平均値が200であり、動画記録中静止画記録の際に取得した撮影画像の画像面内の輝度信号値の平均値が150である場合、輝度変化を低減するように、RGB各色のデジタル値をゲインアップする。

また、動画中静止画露出予測部１２６で予測する適正な露出となるゲイン設定は、以下の数式の関係を満たすように、露光時間とゲイン設定を変えることで予測する。

この数式は、ASA PH2.12-1961の中で、APEX （Additive system of Photographic EXposure）として提案されており、撮影の設定の関係を表す。

それぞれ、Tvはシャッタースピードに対応し、Avは絞りに対応し、Svはフィルム感度でありデジタルカメラではゲイン設定に対応し、Bvはシーンの輝度に対応する。

絞りに対応するAvとシャッタースピードに対応するTvは、それぞれ、以下の数式により求める。

それぞれの数式のFは絞りのF値と、シャッタースピードの時間(秒)を代入することで、
数式※の右辺が求まる。

また、シーンの輝度に対応するBvは、以下の数式で求まり、Bは輝度(cd/m²)であり、Kは補正係数であり、撮像素子の特性などに応じて、適切な値を使用する。
また、感度に対応するSvは、ゲイン設定は、Sは感度を表している。

例えば、ここでは同じ画角で同じ被写体の動画記録をする際には、撮影設定であるAvがF値5.6に対応する5、Bvは輝度が64cd/m²で補正係数は12.5の値とし、Tvはシャッタースピード1/60秒の6、SVがISO100の感度に相当する5となるゲイン設定である場合を仮定する。動画記録中の静止画撮影時に設定可能なシャッタースピードが1/120秒以下の値である場合、関係を満たす値の例として、シャッタースピードが1段に相当の1/125秒、感度も一段に相当の8のゲイン設定が露出予測値の一つとなる。

レリーズボタンが押下されてから、動画中静止画撮影が行われるまでの間に、動画記録中の画像の露出を、動画中静止画の撮影を行う場合に順次近づけていく。例えば、図３の例では、Ｎ＋４フレームの露光期間を動画記録中静止画の露光時間に予め近づくよう短くして適正な露出となるようにゲイン設定の値も変える。動画記録中静止画に用いるＮ＋５フレームからＮ＋６フレーム間の撮影後、Ｎ＋７フレームは、元の露光時間とゲイン設定に戻すように使用される。

図３のＮ＋４フレームの撮影とＮ＋７フレームの撮影の設定は、上記数式を満足するように、Tvが6(1/60秒)から7(1/125秒)の間の値を取り、Svが7(ISO400相当)のゲイン設定から8(ISO800)相当のゲイン設定になるように、中間の値を設定する。

例えば、図３のＮ＋４フレームのＮ＋７フレームの撮影では、Tvが6.5となるシャッタースピード、Svが7.5となるゲイン設定を選択すると良い。

露光時間と、ゲイン設定が切り替わる事で、撮影画像に含まれるノイズが強調される事があるため、フレーム間でのゲイン設定と露光時間は、上記の数式を満足するように、段階を踏んで切り替える事が望ましい。

また、図３に示す例では、Ｎ＋４フレームとＮ＋７フレームの１フレームずつのみ、動画記録から動画記録中の静止画撮影とその逆の露出を予め切り替える事に使用されているが、動画のフレーム間の急峻な変化が起こらないよう、複数フレームを介して行ってもよい。

図４は動画中記録に静止画を撮影する場合の制御を示すフローチャートである。

図4を用いて、動画記録時の動作と、動画記録中に静止画を撮影する制御に関して説明する。

Ｓ１０１でユーザが操作部１２１を操作し、動画記録する操作を受けた場合、Ｓ１０２にて動画の記録を開始する。

Ｓ１０３で撮影した動画の１フレームの画像を、その画像を撮像素子１０４から読み出しパルスＡで読み出し（Ｓ１０４）、撮像処理部１０５、ＤＲＡＭ１１３、デジタル信号処理部１１７で動画の１フレームをなす記録画像の生成を行う。生成された記録画像は、動画の１フレームとして記録メディア１２０へ保存される。

このとき、動画の１フレームの画像から動画記録中の静止画を撮影した場合の露光時間、ゲイン設定が適正な値となるように予め、動画記録中の静止画の撮影時の露光時間、ゲイン設定を算出して適正な露出となるように予測する（Ｓ１０５）。なお、このとき、現在のフレームより過去に取得した複数のフレームの情報を保持しておき、露光時間、ゲイン設定の算出に使用しても良い。

ユーザが操作部１２１を操作し、動画記録を終了するように操作を行った場合に、動画記録を終了する（Ｓ１０６）。Ｓ１０６では、ユーザが操作部１２１を操作し、動画記録中に静止画撮影を行うために操作部１２１に含まれるレリーズボタンを押下して静止画を撮影する操作を受けた場合（Ｓ１０７）、Ｓ１０８へ進み、動画記録中静止画撮影を開始する。操作がなければ、動画記録を終了する操作が行われるまで、動画の記録を継続する。

Ｓ１０５で算出しておいた予測に基づき、動画記録中に静止画撮影するときの露光時間、ゲイン設定を順次切り替えていく変化量と露出予測値を求める（Ｓ１０８）。

Ｓ１０９では、Ｓ１０８で算出した変化量に基づいて露光時間、ゲイン設定を変更し、Ｓ１１０で動画フレームの画像を撮影する。

Ｓ１１０で変更した露光時間、ゲイン設定がＳ１０８で求めた露出予測値に到達するまでＳ１０９からＳ１１０を繰り返す（Ｓ１１１）。

Ｓ１１２では、動画の１フレームと静止画の作成に用いられるＡ分割画像を撮影する。Ｓ１１３では、動画に使用しない静止画の作成に用いられるＢ分割画像を撮影する。Ｓ１１４では、動画の１フレームと静止画の作成に用いられるＣ分割画像を撮影する。Ｃ分割画像については、図２（ｄ）に示すように、Ａ分割画像と異なる画素から読み出しを行った撮影画像のため、撮影画像の重心がＡ分割画像と異なる。

そのため、Ｃ分割画像は、図２（ｄ）を用いて前述した、重心の補正も動画用の記録画像を生成する際に行う。

Ｓ１１５では、Ｓ１１２からＳ１１４で取得したＡ，Ｂ，Ｃ分割画像を撮像素子１０４の画素配列に基づいて合成し、静止画として記録を行う。

Ｓ１１６からＳ１１８では、Ｓ１０９からＳ１１１で変更した露光時間、ゲイン設定を同様の手順で、動画記録時の適正な露出へ変更し、通常の動画記録へ戻る。

以上に説明したように、本実施形態の電子カメラ１００は、動画記録中に静止画を撮影した場合にも、動画の画像より高解像度の静止画を作成でき、動画が不連続となる事を低減が可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明はＣＣＤ撮像素子やＣＭＯＳ撮像素子などの撮像素子の種類に限定されず、撮像素子の画素信号を分割して読み出す撮像素子駆動手段を備えた撮像装置に適用可能である。
また、本発明の目的は、前述した実施形態の処理方法を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。

この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

１００ 電子カメラ １１０ システム制御部 １０５ 撮像処理部
１１３ ＤＲＡＭ １１４ ＲＯＭ １１５ 表示制御部
１１７ デジタル信号処理部 １１８ 圧縮／伸張処理部
１１９ 外部メモリ制御部 １２１ 操作部 １２１ バス

Claims (6)

1. 受光面に結像した画素信号を読み出し可能な撮像素子と、
   前記撮像素子を複数の駆動方式で駆動して画素信号を読み出す事が可能な撮像駆動部と、
   前記撮像素子から読み出した画素信号を受けて、動画と静止画に利用可能な画像信号を生成する撮像処理部と、
   第一の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して特定の１フィールドから画素信号を読み出す事が 可能な第一の駆動モードと、
   第二の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事が 可能な第二の駆動モードを有していて、
   前記撮像駆動部を制御して、駆動モードと動画撮影中の露光時間を制御する制御部と、
   動画撮影中に静止画の撮影を指示する撮影指示部と、
   前記第一の駆動モードで動画撮影中の露出から、前記第二の駆動モードで動画中静止画撮影に切り替えた場合の露出を予測する露出予測部と、を備えた撮像装置において、
   前記第一の駆動モードに応じて前記撮像駆動部を制御し、前記撮像素子を前記第一の駆動モードにより駆動する動画撮影の際に、
   前記撮影指示部により静止画撮影の指示を受けた場合に、
   前記第二の駆動モードに前記撮像駆動部の駆動を切り替えて、前記撮像素子を前記第二の駆動モードに応じて前記撮像駆動部を制御して撮影を行い、
   前記撮像素子の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事で取得した画像から動画と静止画に使用する画像を生成し、
   動画撮影から動画中静止画撮影への切り替えを行うフレームの撮影において、動画撮影中の露出から前記露出予測値に従って露出の切り替えを行う事を特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像駆動部は駆動モードに応じて前記撮像素子の特定の部分の画素信号だけ読み出す読み出しパルスを出力可能であり、
   動画撮影中に前記撮影指示部から静止画撮影の指示を受けた場合に、
   前記切り替えを行うフレームの動画の撮影を行い、
   動画撮影中と同じ読み出しパルスと、動画撮影中と異なる読み出しパルスとで駆動して、異なる画素信号から生成された複数の静止画用画像信号を取得して、
   前記複数の静止画用画像信号のうち、動画のフレームと同じ周期で撮影した静止画用画像信号は、動画と静止画の両方の画像生成に利用し、
   前記複数の静止画用画像信号のうち、動画のフレームと異なる周期で撮影した静止画用画像信号は、静止画の画像生成のみに利用し、
   動画撮影中の静止画は、前記複数枚の画像を、前記撮像素子の画素配列に従って合成する事によって生成して取得し、
   前記第一の駆動モードで、所定のフレーム数の間、動画を撮影した後に、前記第一の駆動モードで動画の撮影を継続し、
   動画から静止画への切り替えのフレームにおいて、
   現在の動画撮影中の露出量と前記予測露出量の露出量の差を所定のステップ、所定のフレーム数を掛けて、前期予測露出量に到達するようにフレーム毎に露出を切り替えていき、
   前記動画切り替えフレームにおいて、
   静止画から動画への切り替えフレームの前の露出量に所定のステップをかけて戻していくように、フレーム毎に露出を切り替える事を特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   現在の撮影の露出と、前記露出予測部の予測から
   前記第一の露光時間と、
   動画撮影中の静止画撮影における前記第二の露光時間が、
   前記第一の露光時間が前記第二の露光時間より長い時間となる場合には、前記静止画切り替えフレームと前記動画切り替えフレームのフレーム数を所定数以上にし、
   前記第一の露光時間が前記第二の露光時間以下の時間となる場合には、所定フレーム数未満にする事を特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   動画に使用する画像を読み出す際には、前記撮像素子の第一の領域から画素信号を読み出し、
   静止画に使用する画像を読み出す際には、前記撮像素子の撮像素子の第一、第二および第三の領域から画素信号を読み出しする事を特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、
   動画記録中静止画撮影を行う際に、
   前記露光時間ｔ２が求める露出が得られていないと判断した場合、
   前記撮像素子から読み出した画素信号に与えるゲインを増加するか、
   動画記録中静止画撮影時に前記画素信号から生成した画像データの輝度が、動画撮影時に取得した画像データと比較して、輝度変化を低減するように動画記録中静止画撮影時に取得した前記画像データを補正するように処理する事を特徴とする撮像装置。
6. 請求項２に記載の撮像装置において、
   前記複数の静止画用画像信号のうち、動画のフレームと同じ周期で撮影した静止画用画像信号は、動画と静止画の両方の画像生成に利用するため、
   動画に使用する静止画用画像信号の中で、前期動画撮影中と異なる読み出しパルスで読み出された静止画用画像信号は、
   前期動画撮影中の前記撮像素子の画素配列とのラインのズレの分だけ、
   重心補正を行って動画の画像として使用し、
   前記複数の静止画用画像信号のうち、静止画に使用する画像信号に対しては重心補正を行わずに使用する事を特徴とする。