JP4247701B2 - 動画記録装置及び動画記録方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画記録装置及び動画記録方法に関し、詳しくは、撮像手段により順次撮像される静止画像を利用して動画像を生成記録する動画記録装置及び動画記録方法に関する。
【０００２】
【従来の技術】
ディジタルカメラに代表される電子スチルカメラは、ＣＣＤ（Charge Coupled Device）などの固体撮像デバイスで構成された二次元イメージセンサを用いて被写体の静止画信号を生成し、その静止画信号を記憶デバイスに書き込んで電子的に記録するものであり、フィルムカメラに比べて、画像の即時再生、不要画像の消去、画像データの転送容易性などの点で格別の利便性を持っているが、今日、かかる静止画記録に加え、上記のイメージセンサの特性を利用して動画ファイルの生成を可能にした電子スチルカメラが一部で普及している。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる動画像記録機能を備えた従来の電子スチルカメラにあっては、ストロボを用いなければならないような低光量下での動画撮影（以下「暗所撮影」という。）を行うことができないという問題点があった。
【０００４】
その理由は、静止画撮影用のストロボの照射光は、その発光時間が数ミリ秒程度と短い瞬間的な放電光であるうえ、しかも充電に要する時間が動画像記録を行う際の静止画記録周期よりも遙かに長いからである。
【０００５】
もちろん、ストロボの代わりに、スポットライトのような常時点灯光源を用いることによって上記の不都合を解消できるが、常時点灯光源は電力消費が相当大きく、大型のバッテリを搭載しなければならないため、電子スチルカメラ用の補助光源としては不適当であるから、現実的でない。
【０００６】
以上の点より、本発明が解決しようとする課題は、間欠的に発光するストロボを用いた動画記録であっても、非ストロボ撮影による動画像と同様に動画再生を行なうことができる動画記録装置及び動画記録方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、撮像手段により順次撮像される静止画像を利用して動画像を構成する複数の単位画像を記録する動画記録装置において、前記動画像の記録中において、補助光を間欠的に発光させる補助光制御手段と、前記補助光の発光タイミングに対応する単位画像を記録する場合には、前記補助光の発光時に前記撮像手段により撮像された静止画像を該単位画像として記録する第１記録手段と、前記補助光の非発光タイミングに対応する単位画像を記録する場合には、前記補助光発光時に前記撮像手段により撮像された静止画像を利用して該単位画像を記録する第２記録手段と、を備えたことを特徴とする。
また、上記動画記録装置において、ストロボを間欠的に発光させるストロボ制御手段と、前記ストロボ発光時に前記撮像手段により撮像された静止画像を、前記動画像を構成する単位画像の一つとして記録する第１記録手段と、前記ストロボ非発光時に前記撮像手段により撮像されるべき静止画像の代わりに直前又は直後のストロボ発光時に前記撮像手段により撮像された静止画像を、前記動画像を構成する単位画像の一つとして記録する第２記録手段と、を備えたことを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を、ディジタルカメラ等の電子スチルカメラを例にして、図面を参照しながら説明する。
【０００９】
まず、構成を説明する。図１は、電子スチルカメラの外観図である。図において、電子スチルカメラ１０（動画記録装置）は、カメラボディ１１の前面に、レンズ鏡筒部１２、ファインダ窓１３及びストロボ窓１４などを備えるとともに、上面に、シャッターキー１５、ストロボオンオフキー１６及びセルフタイマーキー１７などを備え、さらに、背面に、電源スイッチ１８、ズームボタン１９、記録／再生モード切り替えスイッチ２０、ファインダ接眼窓２１、液晶ディスプレイ２２及び複数の機能キー２３〜２５などを備える。
【００１０】
ここで、本実施の形態では、第１から第３までの３個の機能キー２３〜２５を備えるものとし、且つ、第１の機能キー２３を後述のメニュー処理起動キー（以下「メニューキー２３」という。）に割り当て、また、第２の機能キー２４をカーソルの上下左右移動キー（以下「カーソルキー２４」という。）に割り当て、さらに、第３の機能キー２５を選択実行キー（以下「エンターキー２５」という。）に割り当てることにする。
【００１１】
レンズ鏡筒部１２は、光学ズーム機能付きの撮影レンズ群やメカニカルシャッタ機構などを収めたものであり、レンズ鏡筒部１２の後端に配置された不図示のイメージセンサの受光面に被写体の像を結像させるものである。ファインダ窓１３は、カメラボディ１１の背面側のファインダ接眼窓２１と一体をなしており、目視で構図確認を行う際に用いられるものである。ストロボ窓１４は、後述のストロボ発光を通すための透過窓であり、多くの場合、撮影レンズ群の画角に合わせてストロボ発光の光束の広がりを調節するための小さなレンズが全面に並べられている。
【００１２】
シャッターキー１５は、撮影時に２段階で押し下げ操作されるものである。１段目で露出等を設定し、２段目で静止画像をキャプチャ（記録）する。このシャッターキー１５は、動画像の撮影開始キーとしても用いられるようになっており、動画モードで２段目まで押し下げると、それ以降の所定の記録時間の間、静止画像を所定周期でキャプチャーして、複数枚のキャプチャー画像からなる動画ファイルを生成記録するようになっている。
【００１３】
ストロボオンオフキー１６は、ストロボ発光を許容するか禁止するかを設定するものである。発光許容に設定されている場合、静止画撮影モードや動画撮影モードに関わらず、シャッターキー１５の１段目押し下げ操作時に露出不足が判定されると、画像キャプチャーの際に、後述するストロボ部３４を駆動してストロボ光を発射し、発光禁止に設定されている場合は、同ストロボ部３４の駆動を強制禁止する。
【００１４】
また、セルフタイマーキー１７はセルフタイマーのオンオフを切り替えるものであり、電源スイッチ１８は、電子スチルカメラ１０の電源を入れたり切ったりするものである。ズームボタン１９は光学レンズの画角（すなわちズーム比）を変更するものである。「＋」側を押すと画角が小さくなり、「−」側を押すと逆に大きくなる。記録／再生モード切り替えスイッチ２０は、電子スチルカメラ１０の動作モードを記録モードと再生モードに切り替えるものである。
【００１５】
液晶ディスプレイ２２は高解像度のカラー液晶ディスプレイである。この液晶ディスプレイ２２を用いて、記録済みの画像をいつでも自由に再生確認できるとともに、記録モードにおいては、スルー画像を表示させてファインダ代わりに用いることができ、さらに、逆光撮影などの際の自動露出が不適切であるときはスルー画像を見ながら手動で適正露出に設定したり、あるいは、ホワイトバランスの自動設定値が不適切であるときは同様にスルー画像を見ながら撮影光源に応じたホワイトバランス設定値を手動で選択したりすることができるようになっている。
【００１６】
図２は、電子スチルカメラ１０の概念的な機能ブロック図である。このブロック図では、便宜的に、撮像部３２（撮像手段）、画像処理部３３（撮像手段）、ストロボ部３４（ストロボ）、操作部３５、制御部３６（ストロボ制御手段、第１記録手段、第２記録手段、撮像制御手段、第３記録手段）、表示制御部３７、表示部３８（図１の液晶ディスプレイ２２に相当）、画像記憶部３９などの各機能ブロックに分けられている。
【００１７】
撮像部３２は、撮影レンズ群やメカニカルシャッタ機構などを含むとともに、被写体３１の像を撮像して毎秒数十フレームのカラー画像信号を生成するＣＣＤ等のカラーイメージセンサを含む。このカラーイメージセンサは、タイミング回路やサンプリングホールド回路及びアナログディジタル変換回路などの付帯回路を備え、制御部３６からの制御信号に基づいてシャッター速度や露出値などを可変的に設定するとともに、その設定値に対応した毎秒数十フレーム周期のカラー画像信号（以下、単に画像信号という。）を生成し、アナログディジタル変換回路でディジタル信号に変換して画像処理部３３に出力する。
【００１８】
画像処理部３３は、入力された画像信号を輝度成分（Ｙ）と色成分（Ｃｒ、Ｃｂ）に分離し、制御部３６からの制御信号に基づいてホワイトバランス補正を施した後、そのホワイトバランス補正後のＹＣｒＣｂ信号を制御部３６に出力する。ストロボ部３４は、制御部３６からの駆動信号に従って被写体３１を照明するための補助光（ストロボ光）３４ａを発射する。操作部３５は、カメラボディ１１に設けられた各種操作キー、すなわち、前述のシャッターキー１５、ストロボオンオフキー１６、セルフタイマーキー１７、メニューキー２３、カーソルキー２４及びエンターキー２５などの操作に応答したキー信号を生成して制御部３６に出力する。
【００１９】
制御部３６は、図３にそのブロック図を示すように、ＣＰＵ（Central Processing Unit）３６ａを備えるとともに、このＣＰＵ３６ａに、バス３６ｂを介して、プログラムメモリ３６ｃ、ワークメモリ３６ｄ、入力部３６ｅ及び出力部３６ｆなどを接続して構成されている。ＣＰＵ３６ａはプログラムメモリ３６ｃに格納された所定の制御プログラムをワークメモリ３６ｄにロードして実行することにより、入力部３６ｅからのデータ（画像処理部３３からの画像信号、操作部３５からの各種キー信号、画像記憶部３９からの画像信号など）の取り込みや出力部３６ｆへのデータ（撮像部３２へのシャッター速度や露出設定値の制御信号、画像処理部３３へのホワイトバランス補正制御信号、表示制御部３７への表示用信号、画像記憶部３９への記録用画像信号、ストロボ部３４へのストロボ駆動信号など）の書き出しを行いつつ、電子スチルカメラ１０の全体動作を制御する。なお、ワークメモリ３６ｄの一部は、後述の画像バッファ（図９の画像バッファ４３参照）として利用される。
【００２０】
表示制御部３７は、制御部３６から出力されたスルー画像やプレビュー画像又は各種設定画面などの表示信号を表示部３８の表示形式に変換して当該表示部３８に出力するもので、これらの表示制御部３７及び表示部３８は一体として表示手段を構成する。画像記憶部３９は、撮影画像（キャプチャ画像ともいう。）を不揮発的（電源をオフにしても情報を失わないこと）に記録するための記録媒体で構成されており、たとえば、フラッシュメモリ等の半導体記憶デバイスや磁気メモリデバイスなどをその記録媒体に用いることができる。なお、画像記憶部３９は取り外し可能な状態で電子スチルカメラに実装されていてもよい。
【００２１】
次に、作用を説明する。図４は、制御部３６のＣＰＵ３６ａで実行される制御プログラムの全体的な概略を示すフローチャートである。このプログラムは、電源を投入したとき（図１の電源スイッチ１８をオンにしたとき）に実行を開始し、まず、ステップＳ１で動作チェックなどの初期設定を行った後、ステップＳ２で、メニューキー２３が押されているか否かを判定し、押されていればステップＳ３に分岐して後述の「メニュー処理」を実行してからステップＳ４のモード判定に進む一方、押されていなければそのままステップＳ４のモード判定に進み、ステップＳ４で、記録／再生モード切り替えスイッチ２０の現在の切り替え状態から記録モードであるか再生モードであるかを判定して、その判定結果に応じた分岐処理（ステップＳ５の「再生モード処理」やステップＳ６の「記録モード処理」）を実行するという動作を繰り返す。
【００２２】
以下、上記各処理のうち本発明に関係する「記録モード処理」と「メニュー処理」について詳しく説明する。
【００２３】
図５は、図４のステップＳ３で実行される「メニュー処理」の概略的な流れ図であり、液晶ディスプレイ２２の画面表示の遷移状態を示す図である。この図において、メニュー画面４１は、図４のステップＳ２の判定結果が“ＹＥＳ”となったとき、すなわち、図４のループ実行中にユーザによってメニューキー２３が押し下げ操作されたときに、最初に液晶ディスプレイ２２に表示される画面である。このメニュー画面４１には、記録モードを静止画記録モードにするか動画記録モードにするかを選択するためのメニュー項目４１ａ（以下「記録モード設定４１ａ」という。）をはじめとした様々なメニュー項目がリスト状に表示されるようになっており、リストの最後にはメニュー画面４１を閉じて図４のループに復帰するためのメニュー項目４１ｂ（以下「閉じる４１ｂ」という。）が設けられている。
【００２４】
ユーザがカーソルキー２４を操作して、記録モード設定４１ａを選択し、エンターキー２５を押すと、メニュー画面４１の代わりに記録モード設定画面４２が表示される。この記録モード設定画面４２には、「静止画モード」ボタン４２ａと「動画モード」ボタン４２ｂが設けられており、「静止画モード」ボタン４２ａを選択すると、記録モードを静止画記録モードに設定した後、記録モード設定画面４２を閉じ、再びメニュー画面４１を表示する。また、「動画モード」ボタン４２ｂを選択すると、記録モードを動画モードに設定した後、記録モード設定画面４２を閉じ、再びメニュー画面４１を表示する。
【００２５】
図６は、図４のステップＳ６で実行される記録モード処理プログラムのフローチャートを示す図である。このフローチャートを開始すると、まず、ステップＳ１１で画像処理部３３からの画像信号を読み込み、ステップＳ１２でその画像信号を表示制御部３７に出力するという動作をシャッターキー１５が半押し（１段目の押し下げ操作）されるまで繰り返し実行する。これにより、表示部３８（液晶ディスプレイ２２）に構図調整のためのスルー画像が所定周期で更新されつつ表示される。
【００２６】
しかる後、ステップＳ１３で、シャッターキー１５の半押しを検出すると、ステップＳ１４で露出やホワイトバランス等の撮影条件を自動的に設定する。そして、ステップＳ１５でシャッターキー１５の全押し（２段目の押し下げ操作）を検出すると、ステップＳ１６で撮影モードが動画モードであるか否かを判定し、動画モードでない場合、すなわち、撮影モードが静止画モードである場合は、次に、ストロボオンオフキー１６の操作により発光許容に設定されているものとすると、ステップＳ１７で補助光を必要とする程度の暗所撮影であるか否かを判定して、暗所撮影でなければ、ステップＳ１８で撮像部３２を駆動させることにより被写体３１の像を撮像し、そのときの画像信号を静止画像として画像記憶部３９に記録し、暗所撮影であれば、ステップＳ１９でストロボ部３４を駆動して、ステップＳ１８に進み、そのストロボ部３４の駆動に同期させて撮像部３２を駆動させることにより被写体３１の像を撮像し、その補助光（ストロボ光３４ａ）により露出不足を補った画像信号を静止画像として画像記憶部３９に記録する。
【００２７】
ステップＳ１６で動画モードであることを判定した場合はステップＳ２０の動画モード処理を実行する。
【００２８】
図７は、動画モード処理プログラムのフローチャートを示す図である。このフローチャートを開始すると、まず、ストロボオンオフキー１６の操作により発光許容に設定されているものとすると、ステップＳ２０ａで補助光を必要とする程度の暗所撮影であるか否かを判定する。暗所撮影でない場合は、ステップＳ２０ｂで撮像部３２を駆動させることにより被写体３１の像を撮像し、そのときの画像信号（画像処理部３３からの静止画像）を取得して、それを動画ファイルの単位画像とし、ステップＳ２０ｃでその動画ファイルを画像記憶部３９に保存記録した後、ステップＳ２０ｄで動画記録周期到来を判定する。そして、周期到来であれば再びステップＳ２０ｂに復帰し、一方、周期到来でなければ、ステップＳ２０ｅで動画撮影時間経過を判定して、動画撮影時間が経過していない場合はステップＳ２０ｄの動画記録周期到来判定を繰り返し、動画撮影時間が経過している場合は本フローチャートを終了する。
【００２９】
したがって、このステップＳ２０ｂ〜ステップＳ２０ｅの処理によれば、充分な明るさが得られる環境下での動画撮影時において、所定の動画撮影時間の間、所定周期で撮像部３２を駆動させることにより被写体３１の像を撮像し、画像処理部３３から所定周期で出力される静止画像を取り込み、それらの静止画像を単位画像（フレーム画像）とする動画ファイルを生成し、画像記憶部３９に保存記録することができる。
【００３０】
一方、ステップＳ２０ａで補助光を必要とする程度の暗所撮影であることが判定された場合は、まず、ステップＳ２０ｆでストロボ部３４を駆動してストロボ光３４ａを発射すると共に、ステップＳ２０ｇで撮像部３２を駆動させることにより被写体３１の像を撮像し、そのときの画像信号（画像処理部３３からの静止画像）を取得する。そして、ステップＳ２０ｈでストロボ部３４の充電を開始し、ステップＳ２０ｉで上記の取得画像を動画ファイルの単位画像として画像記憶部３９に保存記録すると共に、その取得画像を所定の画像バッファ（図９の画像バッファ４３参照）に格納する。
【００３１】
次に、ステップＳ２０ｊでストロボ部３４の充電完了を判定し、その判定結果（ＹＥＳ／ＮＯ）に応じて以下の処理を実行する。
【００３２】
＜ＹＥＳ判定：充電完了判定時＞
ＹＥＳ判定時には、まず、ステップＳ２０ｋで動画記録周期到来を判定する。そして、周期到来であれば再びステップＳ２０ｆに復帰し、周期到来でなければ、ステップＳ２０ｍで動画撮影時間経過を判定して、動画撮影時間が経過していない場合はステップＳ２０ｋの動画記録周期到来判定を繰り返し、動画撮影時間が経過している場合は本フローチャートを終了する。
【００３３】
したがって、このＹＥＳ判定時の処理においては、撮像部３２の駆動（撮影）タイミングに合わせてストロボ部３４を駆動し、画像処理部３３からの、補助光（ストロボ光３４ａ）により露出不足が補われている静止画像を取り込み、その静止画像を動画ファイルの単位画像として画像記憶部３９に保存記録すると共に、その取得画像を所定の画像バッファ（図９の画像バッファ４３参照）に格納することができる。
【００３４】
＜ＮＯ判定：充電非完了判定時＞
ＮＯ判定時には、まず、ステップＳ２０ｎで動画記録周期到来を判定する。そして、周期到来でなければ、ステップＳ２０ｒで動画撮影時間経過を判定して、動画撮影時間が経過していない場合はステップＳ２０ｊの充電完了判定を繰り返し、動画撮影時間が経過している場合は本フローチャートを終了する一方、周期到来であれば、ステップＳ２０ｐに進み、撮像部３２を駆動させることにより被写体３１の像を撮像し、そのときの画像信号（画像処理部３３からの静止画像）を取得する。そして、ステップＳ２０ｑに進み、ステップＳ２０ｐで取得された露出不足の静止画像を破棄（キャンセル）するとともに、所定の画像バッファに格納（ステップＳ２０ｉ参照）されていた静止画像を取り出し、それを動画ファイルの単位画像として画像記憶部３９に保存記録した後、ステップＳ２０ｒで動画撮影時間経過を判定して、動画撮影時間が経過していない場合はステップＳ２０ｊの充電完了判定を繰り返し、動画撮影時間が経過している場合は本フローチャートを終了する。
【００３５】
したがって、このＮＯ判定時の処理においては、ストロボ部３４の駆動（ストロボ光３４ａの発射）が間に合わない期間（ストロボ非発光期間）、撮像部３２により撮像され、画像処理部３３から出力される露出不足の静止画像の代替画像として、画像バッファに格納（ステップＳ２０ｉ参照）されていた、補助光（ストロボ光３４ａ）により露出不足が補われている静止画像を使用し、その代替画像を動画ファイルの単位画像として画像記憶部３９に保存記録することができる。
【００３６】
図８は、上記動画モード処理で実行される暗所撮影時の記録用動画像ファイル生成（図７のステップＳ２０ｆ〜ステップＳ２０ｒ参照）の実際を示す概念図である。図８において、Ｇ０、Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５、Ｇ６、Ｇ７、‥‥は、画像処理部３３を介して取り込まれる周期的な画像信号であり、各画像の上に模式的に示された二種類の図形ａ、ｂはそれぞれストロボ部３４の発光と非発光を表している。すなわち、図示の例の場合、画像Ｇ０、Ｇ３、Ｇ６はストロボ光３４ａによって適正露出に設定されたストロボ発光時の画像（以下「ストロボ発光画像」という。）であり、それ以外の画像Ｇ１、Ｇ２、Ｇ４、Ｇ５、Ｇ７は露出不足のストロボ非発光時の画像（以下「ストロボ非発光画像」という。）である。
【００３７】
図８から直感的に理解されるように、本実施の形態における記録用動画像ファイル生成の実際においては、ストロボ非発光画像（Ｇ１、Ｇ２、Ｇ４、Ｇ５、Ｇ７）の代わりに、その直前のストロボ発光画像（Ｇ０、Ｇ３、Ｇ６）を用いて記録用動画像ファイルを生成する。すなわち、図中下段の記録用動画像ファイルに示すように、ストロボ非発光画像（Ｇ１、Ｇ２）の代わりに、その直前のストロボ発光画像（Ｇ０）を用い、また、ストロボ非発光画像（Ｇ４、Ｇ５）の代わりに、その直前のストロボ発光画像（Ｇ３）を用い、さらに、ストロボ非発光画像（Ｇ７）の代わりに、その直前のストロボ発光画像（Ｇ６）を用いることにより、すべてをストロボ発光画像（Ｇ０、Ｇ０、Ｇ０、Ｇ３、Ｇ３、Ｇ３、Ｇ６、Ｇ６）で構成した記録用動画像ファイルを生成している。したがって、この例の場合は、Ｇ１とＧ２の代替画像はＧ０、Ｇ４とＧ５の代替画像はＧ３、且つ、Ｇ７の代替画像はＧ６となる。
【００３８】
このような記録用動画像ファイルの生成に必要な構成は、たとえば、図９（ａ）に示すように、直前のストロボ発光画像（Ｇｉ）を保持する画像バッファ４３と、ストロボ発光期間ではそのときの画像信号（Ｇｉ）をスルーで取り出す一方、ストロボ非発光期間では画像バッファ４３に保持された直前のストロボ発光画像（Ｇｉ）をそのストロボ非発光画像（Ｇｊ）の代わりに取り出すスイッチ要素４４とを備えればよい。画像バッファ４３及びスイッチ要素４４には、たとえば、ＣＰＵ３６ａからのストロボ発光期間と非発光期間を示す制御信号（ＣＯＮＴ）が入力されており、画像バッファ４３はストロボ発光期間の画像（Ｇｉ）のみを保持し、スイッチ要素４４はストロボ発光期間と非発光期間でその接点を図示のように切り替える。
【００３９】
これによれば、ストロボ非発光画像（Ｇｊ＝Ｇ１、Ｇ２、Ｇ４、Ｇ５、Ｇ７）をそれぞれの直前のストロボ発光画像（Ｇｉ＝Ｇ０、Ｇ３、Ｇ６）で置き換えた動画像ファイルを生成することができ、ストロボの発光周期に関わらず、所定周期の静止画像で構成した動画像ファイルを自在に得ることができる。
【００４０】
また、この場合、暗所撮影であっても、暗所撮影ではない通常の動画撮影と同様の撮影（記録）周期をもつ動画像ファイルを生成するようにしたので、通常の動画像ファイルと同様の動画再生プログラムを用いて暗所撮影された動画像ファイルを再生することが可能であるとともに、時間軸方向に対して実際の撮影時間と時間的なずれなくリアルタイム再生することが可能である。
【００４１】
なお、上記の実施の形態では、ストロボ発光期間、非発光期間に関係なく所定周期で撮像部３２を駆動して被写体３１の像を撮像する構成にしたが、ストロボ発光期間のみ撮像するように構成にしてもよい。つまり、図７のフローチャート中のステップＳ２０ｐを省いた構成にしてもよい。
【００４２】
この場合、動画撮影時間中の撮像回数を大幅に減らすことができるので、撮像処理や画像処理を実行する回数を減らすことができ、消費電力を減らして電池の長寿命化を図ることができる。
但し、撮像部３２の駆動制御に関しては、動画撮影時間中、単に所定周期で撮像部３２を駆動すればいい上記の実施の形態と比べて多少面倒になる。
【００４３】
また、上記の実施の形態では、ストロボ非発光画像をそれぞれの直前のストロボ発光画像で置き換えた動画像ファイルを生成するようにしたが、ストロボ非発光画像をそれぞれの直後のストロボ発光画像で置き換えた動画像ファイルを生成するようにしてもよい。
【００４４】
また、静止画用のストロボの代わりにスポットライトのような常時点灯光源を用い、間欠的に点灯させるものにも本発明を適用することができる。
この場合、スポットライトを常時点灯させて動画撮影する場合に比べて電力消費を大幅に減らすことができるという効果を得ることができる。
【００４５】
また、上記の実施の形態では、ストロボ非発光画像（Ｇｊ）を直前のストロボ発光画像（Ｇｉ）で置き換えているが、置き換えを行わずに、ストロボ発光画像（Ｇｉ）のみで動画像ファイルを生成することも考えられる。すなわち、図１０に示すように、ストロボ発光画像（Ｇｉ＝Ｇ０、Ｇ３、Ｇ６）のみの動画ファイルとすることも考えられる。そのためには、たとえば、図９（ｂ）に示すように、ストロボ発光期間ではそのときの画像信号（Ｇｉ）をスルーで取り出す一方、ストロボ非発光期間では接点を開放（図示の破線位置）するような構造のスイッチ要素４５を備えればよい。この場合、画像バッファは必要ない。
【００４６】
図１１は、前記動画モード処理（図７）の変形例を示すフローチャートであり、ストロボ発光画像（Ｇｉ）のみで動画像ファイルを生成する場合に適合させたものである。このフローチャートにおいて、前記動画モード処理との相違点は、ステップＳ２０ｉで動画バッファへの静止画保存を行わない点（すなわち、動画用静止画の保存記録のみを行うようにした点）、及び、充電完了判定時までの間、同判定（ステップＳ２０ｊ）を継続させるようにした点、並びに、動画像ファイル中の各ストロボ発光画像に関連付けて該画像の重複再生回数を示す情報「ｉ」を記憶（ステップＳ２０ｓ、ステップＳ２０ｔ、ステップＳ２０ｕ）するようにした点にある。
【００４７】
これによれば、ストロボ部３４の駆動（ストロボ光３４ａの発射）タイミングに合わせて、画像処理部３３からの静止画像を取り込み、その静止画像を動画ファイルの単位画像として画像記憶部３９に保存記録することができ、且つ、ストロボ非発光期間においては、動画ファイルの生成を行わないようにすることができる。したがって、図１０に示すようなストロボ発光画像（Ｇｉ＝Ｇ０、Ｇ３、Ｇ６）のみの動画ファイルを生成することができる。
【００４８】
よって、動画像ファイルのデータサイズを大幅に小さくすることができ、画像記憶部３９の記憶容量を有効に利用することができる。
【００４９】
また、動画像ファイル中の各ストロボ発光画像に関連付けて該画像の重複再生回数を示す情報「ｉ」を記憶するようにしたので、上記の実施の形態と同様に、時間軸方向に対して実際の撮影時間と時間的なずれなくリアルタイム再生することが可能である。
【００５０】
なお、上記の変形例では、ストロボ発光期間、非発光（充電）期間に関係なく所定周期で撮像部３２を駆動して被写体３１の像を撮像する構成にしたが、ストロボ発光期間のみ撮像するように構成にしてもよい。つまり、図１１のフローチャート中のステップＳｐを省いた構成にしてもよい。
この場合、動画撮影時間中の撮像回数を大幅に減らすことができるので、撮像処理や画像処理を実行する回数を減らすことができ、消費電力を減らして電池の長寿命化を図ることができる。
【００５１】
また、上記の変形例では、動画像ファイル中の各ストロボ発光画像に関連付けて該画像の重複再生回数を示す情報「ｉ」を記憶するようにしたが、各充電時間を計測するようにして、各ストロボ発光画像に関連付けて該画像の再生時間を示す情報を記憶するようにしてもよい。
また、上記の変形例では、動画像ファイル中の各ストロボ発光画像に関連付けて該画像の再生情報（重複再生回数、再生時間等）を記憶するようにしたが、再生情報を記憶しないようにしてもよい。
【００５２】
ところで、上記実施の形態のうち、特に、ストロボ非発光画像（Ｇｊ）を直前のストロボ発光画像（Ｇｉ）で置き換えるようにした例にあっては、置換画像に一定の類似性がある（たとえば、図８下段のＧ０、Ｇ０、Ｇ０は同一の画像であり類似画像である）。以下に示す例は、ストロボ発光画像を非予測符号化画像、置換画像を予測符号化画像とすることにより、動画像の圧縮率を高めようとするものである。
【００５３】
予測符号化画像の生成手法の一つとして、ＭＰＥＧ（Moving Picture Experts Group）標準の符号化方式（以下、単に「ＭＰＥＧ」という。）が知られている。ＭＰＥＧは、蓄積メディア系や通信メディア系への動画像適用を目的としてＣＣＩＴＴ Ｈ．２６１（テレビ電話、テレビ会議用符号化）から発展した符号化標準である。ＭＰＥＧは、ＭＣ（Motion Compensation；動き補償）やＤＣＴ（Discrete Cosine Transform；離散コサイン変換）などの符号化ツールを持つ点で基本的にＨ．２６１と共通するが、早送り、巻戻し、途中再生及び逆転再生などのトリックモードを実現するための特殊な構造、すなわち、ＧＯＰ（Group Of Pictures）構造を持つ点で相違する。
【００５４】
図１２は、ＭＰＥＧのシンタクス（構文；ビット・ストリームの満たすべき順序と内容）を示す模式図である。このシンタクスは、シーケンスヘッダとシーケンスエンドの間に幾つかのＧＯＰを持つシーケンス層と、その下位のＧＯＰ層からなり、ＧＯＰ層はＧＯＰヘッダの後にＮ個のピクチャフレーム（符号化された画面データ）を持つ構造になっている。一つのＧＯＰがランダムアクセスの１単位であり、この単位で上述のトリックモードを可能にする。Ｎ個のピクチャフレームのタイプ（ピクチャタイプ）は、Ｉピクチャ（略号：Ｉ）、Ｐピクチャ（略号：Ｐ）又はＢピクチャ（略号：Ｂ）の何れかであり、各ピクチャタイプの内容は、以下のとおりである。
【００５５】
（１）Ｉピクチャ‥‥非予測符号化画像
フレーム内符号化画像（Intra-Coded Picture）の略。画面の全てをイントラ符号化する画像である。ＧＯＰ内の独立性（参照画像を必要としない）を持つ点で他のピクチャタイプと異なる。
（２）Ｐピクチャ‥‥予測符号化画像
フレーム間順方向予測符号化画像（Predictive-Coded Picture）の略。前のＩピクチャ又はＰピクチャから順方向予測される画像である。
（３）Ｂピクチャ‥‥予測符号化画像
フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）の略。前後のＩピクチャ又はＰピクチャから双方向予測される画像である。
【００５６】
図１３は、ＧＯＰ構造の一例を示す図であり、ＧＯＰのピクチャ数（いわゆるＮパラメータ）を“１５”とするとともに、ＩピクチャとＰピクチャの周期（いわゆるＭパラメータ）を“３”とした場合の例である。すなわち、１ＧＯＰが１５枚のフレームで構成されており、且つ、Ｉピクチャ（又はＰピクチャ）から次のＰピクチャまでのフレーム数が３枚の場合の例を示している。図において、Ｉピクチャは参照画像を必要としないイントラ符号化画像（非予測符号化画像）である。また、ＰピクチャとＢピクチャは、それぞれ順方向と双方向の予測符号化画像であり、図に示すように、Ｐピクチャは既に符号化済みのＩピクチャ又はＰピクチャを参照画像とし、Ｂピクチャは前後のＩピクチャ又はＰピクチャを参照画像として、それぞれ順方向予測及び双方向予測された予測符号化画像である。
【００５７】
図１４は、原画像の画面順（Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５、……）が符号化処理の段階で一部入れ替わり、再生画像の段階で元の並び順に復帰する様子を表す図である。符号化処理段階におけるＢピクチャの挿入は、その前後のＩピクチャ（又はＰピクチャ）とＰピクチャの符号化後に行われる。例えば、原画像のＢ３、Ｂ４に着目すると、Ｉ２とＰ５の符号化後、これらのＩ２とＰ５を参照画像にしてＢ３、Ｂ４が符号化され、Ｉ２とＰ５の後に挿入される結果、原画像の段階で「Ｉ２、Ｂ３、Ｂ４、Ｐ５」であった並び順が、「Ｉ２、……、Ｐ５、Ｂ３、Ｂ４」と入れ替わることになる。
【００５８】
ここで、ＧＯＰ構造の重要なパラメータは、上述の“Ｎパラメータ”と“Ｍパラメータ”、すなわち、ＧＯＰ内のピクチャ数（Ｎ）と、Ｉ又はＰピクチャの現れる周期（Ｍ）である。これらのパラメータに使用上の制限はない。▲１▼ビットストリーム上でＧＯＰの最初がＩピクチャであることと、▲２▼原画像の並び順でＧＯＰの最後がＩ又はＰピクチャであるという条件を満たしている限り、値の選択は自由であるが、実際には画質や動画像の動きなどから最適と思われる値が設定されている。例えば、Ｍは２〜３程度の値に選ばれることが多く、また、Ｎはランダムアクセス単位が０．４秒〜１秒程度になるような値に選ばれることが多い。ちなみに、Ｍの最適値は動画像の動き（激しい動きは小さなＭ、穏やかな動きは大きなＭ）で決まるが、Ｎの最適値は画質とランダムアクセス単位の妥協で決まる。これは、Ｎを小さくするとランダムアクセス単位がきめ細かくなって、トリックモードの利便性向上を図ることができる点で好ましい反面、符号化効率が低下して画質の劣化を招くからである。
【００５９】
図１５は、上記実施の形態の改良例におけるＭＰＥＧ圧縮処理（特にＧＯＰ層生成処理）の原理的な動作フローチャートである。このフローチャートにおいて、“ＣＮ”、“ＣＭ”、“ｉ”及び“ｉΣ”は変数であり、その用途は次のとおりである。
【００６０】
ＣＮ：Ｎパラメータ（ＧＯＰ内のピクチャ数）の格納用変数
ＣＭ：Ｍパラメータ（Ｉ又はＰピクチャの現れる周期）の格納用変数
ｉ ：Ｉ又はＰピクチャの現れる周期を数えるためのカウンタ変数
ｉΣ：ＧＯＰ内のピクチャ数を数えるためのカウンタ変数
【００６１】
このフローチャートでは、まず、変数ＣＮとＣＭにＮパラメータとＭパラメータをセットし（ステップＳ３１）、変数ｉとｉΣに初期値（０）をセット（ステップＳ３２、Ｓ３３）して初期化処理を実行した後、以降のピクチャ生成処理（ステップＳ３４〜ステップＳ４４）を実行する。
【００６２】
このピクチャ生成処理では、まず、原画像の画面ＧｉΣを読み込み（ステップＳ３４）、次いで（ステップＳ３５は後述）、ｉΣ＝０であるか否かを判定し（ステップＳ３６）、その判定結果がＹＥＳであれば画面ＧｉΣのフレーム内符号化画像（Ｉピクチャ）を生成し（ステップＳ３７）、ＮＯであればｉ＜ＣＭであるか否かを判定して（ステップＳ３９）、その判定結果がＹＥＳであれば画面ＧｉΣのフレーム内挿双方向予測符号化画像（Ｂピクチャ）を生成し（ステップＳ４０）、ＮＯであれば画面ＧｉΣのフレーム間順方向予測符号化画像（Ｐピクチャ）を生成する（ステップＳ３４１）。
【００６３】
そして、ＩピクチャとＢピクチャを生成した場合は変数ｉとｉΣの両方をカウントアップし（ステップＳ３８、ステップＳ４３）、Ｐピクチャを生成した場合は変数ｉの初期化（ステップＳ４２）と変数ｉΣのカウントアップ（ステップＳ４３）を行い、何れの場合も、ｉΣ＝ＣＮであるか否かを判定して（ステップＳ４４）、その判定結果がＮＯの場合にＧｉΣの読み込み処理（ステップＳ３４）以降を繰り返すという処理を実行する。
【００６４】
ここで、図示のフローチャートにあっては、原画像の画面ＧｉΣを読み込んだ（ステップＳ３４）後に、ストロボ発光であるか否かを判定し（ステップＳ３５ａ）、ストロボ発光の場合に、変数ｉの初期化（ステップＳ３５ｂ）と変数ｉΣの初期化（ステップＳ３５ｃ）を行うための処理（ステップＳ３５）を実行する点に特徴がある。すなわち、ストロボ発光の場合は、ステップＳ３５ｂで変数ｉΣを初期化することにより、次のｉΣ＝０であるか否かの判定結果（ステップＳ３６）を強制的に“ＹＥＳ”とし、ステップＳ３７を実行してＩピクチャ（非予測符号化画像）を生成する一方、ストロボ発光でない場合は、そのときの変数ｉの値に応じて、ステップＳ４０またはステップＳ４１を実行し、ストロボ非発光期間の画像として、ＢピクチャまたはＰピクチャ（いずれも予測符号化画像）を生成する点に特徴がある。
【００６５】
図１６と図１７は、Ｎパラメータをそれぞれ“２１”及び“１０”とした場合（何れもＭ＝３）のＧＯＰ構造図であり、図１６はストロボを発光しない場合（ステップＳ３５ａの判定結果が“ＮＯ”の場合）のもの、図１７はストロボを発光した場合（ステップＳ３５ａの判定結果が“ＹＥＳ”の場合）のものである。
【００６６】
図１６のＧＯＰ構造ではＩピクチャの出現間隔がＮパラメータで設定された２１画面ごとになっているが、図１７のＧＯＰ構造ではＩピクチャの出現間隔がＮパラメータ以下の、たとえば、１０画面ごとになっている。図１７におけるＩピクチャの出現間隔（図では１０画面ごと）はストロボの発光間隔に対応し、ＧＯＰ内のストロボ非発光画像の置換画像はＢピクチャまたはＰピクチャ、すなわち、いずれも参照画像を必要とする予測符号化画像であるから、ストロボ非発光画像を単に直前のストロボ発光画像で置換する上記実施の形態に比べて、置換画像の類似性をなくすことができ、動画再生時のギクシャク感を改善することができる。
【００６７】
なお、直前のストロボ発光画像をストロボ非発光画像の置換画像としたので、置換画像を予測符号化画像であるＢピクチャまたはＰピクチャとしたが、直後のストロボ発光画像をストロボ非発光画像の置換画像とする場合は、先頭の置換画像が非予測符号化画像であるＩピクチャとし、続く置換画像及びストロボ発光画像を予測符号化画像であるＢピクチャまたはＰピクチャとする。
【００６８】
【発明の効果】
本発明によれば、ストロボ非発光時の画像の代わりに、直前のストロボ発光時の画像が代替的に用いられた動画像が生成される。したがって、ストロボ使用の暗所撮影であっても、ストロボの発光周期に関わらず、所定周期の静止画像で構成した動画像ファイルを自在に得ることができる。
または、前記静止画像がストロボ非発光時の画像である場合は、当該ストロボ非発光時の画像の代わりに、前記ストロボ発光時の画像を用いて生成された予測符号化画像を、前記動画像を構成する単位画像の一つとすることにより、代替画像の類似性を少なくすることができ、動画再生時のギクシャク感を改善することができる。
【図面の簡単な説明】
【図１】電子スチルカメラの外観図である。
【図２】電子スチルカメラの概念的な機能ブロック図である。
【図３】制御部のブロック図である。
【図４】制御プログラムの全体的な概略を示すフローチャートである。
【図５】メニュー処理の概略的な流れ図である。
【図６】記録モード処理プログラムのフローチャートを示す図である。
【図７】動画モード処理プログラムのフローチャートを示す図である。
【図８】暗所撮影時の記録用動画像ファイル生成の実際を示す概念図である。
【図９】記録用動画像ファイルの生成に必要な構成図である。
【図１０】ストロボ非発光画像のみで動画像ファイルを生成した場合の概念図である。
【図１１】動画モード処理の変形例を示すフローチャートである。
【図１２】ＭＰＥＧのシンタクスを示す模式図である。
【図１３】ＧＯＰ構造の一例を示す図である。
【図１４】画像の配列を表す図である。
【図１５】実施の形態の改良例におけるＭＰＥＧ圧縮処理（特にＧＯＰ層生成処理）の原理的な動作フローチャートである。
【図１６】ストロボを発光しない場合のＧＯＰ構造図である。
【図１７】ストロボを発光した場合のＧＯＰ構造図である。
【符号の説明】
１０ 電子スチルカメラ（動画記録装置）
３２ 撮像部（撮像手段）
３３ 画像処理部（撮像手段）
３４ ストロボ部（ストロボ）
３６ 制御部（ストロボ制御手段、第１記録手段、第２記録手段、撮像制御手段、第３記録手段）

Claims (13)

1. 撮像手段により順次撮像される静止画像を利用して動画像を構成する複数の単位画像を記録する動画記録装置において、
   前記動画像の記録中において、補助光を間欠的に発光させる補助光制御手段と、
   前記補助光の発光タイミングに対応する単位画像を記録する場合には、前記補助光の発光時に前記撮像手段により撮像された静止画像を該単位画像として記録する第１記録手段と、
   前記補助光の非発光タイミングに対応する単位画像を記録する場合には、前記補助光の発光時に前記撮像手段により撮像された静止画像を利用して該単位画像を記録する第２記録手段と、
   を備えたことを特徴とする動画記録装置。
2. 前記第２記録手段は、前記補助光の発光時に前記撮像手段により撮像された静止画像を複製することにより前記補助光の非発光タイミングに対応する単位画像を記録することを特徴とする請求項１記載の動画記録装置。
3. 前記第２記録手段は、前記補助光の発光時に前記撮像手段により撮像された静止画像の重複再生回数を記憶することにより前記補助光の非発光タイミングに対応する単位画像を記録することを特徴とする請求項１記載の動画記録装置。
4. 前記第１記録手段は、前記補助光の発光時に前記撮像手段により撮像された静止画像に基づいて生成された非予測符号化画像を前記補助光の発光タイミングに対応する単位画像として記録し、
   前記第２記録手段は、前記第１記録手段により記録された前記非予測符号化画像から予測される予測符号化画像を前記補助光の非発光タイミングに対応する単位画像として記録することを特徴とする請求項１記載の動画記録装置。
5. 撮像手段により順次撮像される静止画像を利用して動画像を生成記録する動画記録装置において、
   ストロボを間欠的に発光させるストロボ制御手段と、
   前記ストロボ発光時に前記撮像手段により撮像された静止画像を、前記動画像を構成する単位画像の一つとして記録する第１記録手段と、
   前記ストロボ非発光時に前記撮像手段により撮像されるべき静止画像の代わりに直前又は直後のストロボ発光時に前記撮像手段により撮像された静止画像を、前記動画像を構成する単位画像の一つとして記録する第２記録手段と、
   を備えたことを特徴とする動画記録装置。
6. 前記撮像手段を周期的に撮像させる撮像制御手段を備え、前記第２記録手段は、前記ストロボ非発光時に前記撮像手段により撮像された静止画像の代わりに直前又は直後のストロボ発光時に前記撮像手段により撮像された静止画像を、前記動画像を構成する単位画像の一つとして記録することを特徴とする請求項５記載の動画記録装置。
7. 前記ストロボ発光時にのみ前記撮像手段を撮像させる撮像制御手段を備えたことを特徴とする請求項５記載の動画記録装置。
8. 前記第１及び第２記録手段により記録される前記動画像中の連続する複数の同一単位画像のうち、所定の単位画像を非予測符号化画像として記録するとともに、他の単位画像を予測符号化画像として記録する第３記録手段を備えたことを特徴とする請求項５乃至請求項７いずれかに記載の動画記録装置。
9. 前記撮像手段を周期的に撮像させる撮像制御手段を備え、前記第１記録手段は、前記撮像手段により周期的に撮像される静止画像のうちストロボ非発光時の画像を捨てることによって前記動画像を生成して記録することを特徴とする請求項５記載の動画記録装置。
10. 前記第１記録手段は、前記ストロボ非発光時に前記撮像手段により撮像され記録されるべき静止画像の代わりとして、直前のストロボ発光時に前記撮像手段により撮像された静止画像に関連付けて該静止画像の重複再生回数又は再生時間を記録することを特徴とする請求項５記載の動画記録装置。
11. 前記ストロボは、静止画撮影用のストロボであることを特徴とする請求項５記載の動画記録装置。
12. 前記ストロボ制御手段は、ストロボの充電と発光を繰り返し行なわせる手段であり、前記ストロボ非発光時は、ストロボの充電期間中であることを特徴とする請求項１１記載の動画記録装置。
13. 撮像手段により順次撮像される静止画像を利用して動画像を生成記録する際に、ストロボを間欠的に発光させながら、前記ストロボ発光時に前記撮像手段により撮像された静止画像を用いて前記動画像を生成して記録する動画記録方法であって、
    前記ストロボ発光時には、前記撮像手段により撮像された静止画像を、前記動画像を構成する単位画像の一つとして記録する一方、前記ストロボ非発光時には、前記撮像手段により撮像されるべき静止画像の代わりに直前又は直後のストロボ発光時に前記撮像手段により撮像された静止画像を、前記動画像を構成する単位画像の一つとして記録することを特徴とする動画記録方法。

Images