JP2014011780A - 画像合成装置、その制御方法、および制御プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】短い露光時間で撮影した複数の画像を順次再生する際、滑らかな画像を得る。
【解決手段】ＣＰＵ１９は、連続して撮影された複数の画像における被写体の適正な露光条件に関する情報を取得し、複数の画像から適正な露光条件に応じた間隔で、適正な露光条件に応じた枚数の画像を選択して合成し合成画像を生成する。
【選択図】図１

Description

本発明は、連続的に撮影された画像を合成して一枚の画像を得る画像合成装置、その制御方法、および制御プログラム、並びに記録媒体に関する。

一般に、被写体の撮影を行う際、当該被写体が暗いと、撮影条件として絞りを、例えば、全開として露光時間を長時間として撮影が行われる。一方、暗い被写体を撮影する際の露出を改善するため、露光時間を複数の短い露光時間に分割して、この分割した数だけ撮影を繰り返すようにした撮像装置が知られている。

このように、露光時間を複数の短い露光時間に分割すると、個々の画像は露出不足になるものの、露光時間が短いので個々の画像は手振れの影響が少ない画像となる。よって、撮影の後、複数の画像を合成して１枚の画像として露出を改善するようにしている（特許文献１参照）。

特開２００６−１７４０６９号公報

特許文献１に記載のように、複数の短い露光時間で複数の画像を得て、これら画像を一枚の画像に合成するようにすれば、手ぶれなどに起因する画像劣化が防止できるばかりでなく、撮像素子の信号飽和に有効に対処することができる。

しかしながら、短い露光時間で撮影した複数の画像を順次再生すると滑らかな動画が得られず、その品質が低下してしまう。

従って、本発明の目的は、短い露光時間で撮影した複数の画像を順次再生する際、滑らかな画像を得ることのできる画像合成装置、その制御方法、および制御プログラム、並びに記録媒体を提供することにある。

上記の目的を達成するため、本発明による画像合成装置は、連続して撮影された複数の画像から画像を選択して合成する合成手段と、前記複数の画像における、被写体の適正な露光条件に関する情報を取得する取得手段と、を有し、前記合成手段は、前記複数の画像から前記適正な露光条件に応じた間隔で、前記適正な露光条件に応じた枚数の画像を選択して合成し合成画像を生成することを特徴とする。

本発明による制御方法は、連続して撮影された複数の画像から画像を選択して合成する合成ステップと、前記複数の画像における、被写体の適正な露光条件に関する情報を取得する取得ステップと、を有し、前記合成ステップでは、前記複数の画像から前記適正な露光条件に応じた間隔で、前記適正な露光条件に応じた枚数の画像を選択して合成し合成画像を生成することを特徴とする。

本発明による制御プログラムは、画像合成装置で用いられる制御プログラムであって、前記画像合成装置が備えるコンピュータに、連続して撮影された複数の画像から画像を選択して合成する合成ステップと、前記複数の画像における、被写体の適正な露光条件に関する情報を取得する取得ステップと、を実行させ、前記合成ステップでは、前記複数の画像から前記適正な露光条件に応じた間隔で、前記適正な露光条件に応じた枚数の画像を選択して合成し合成画像を生成することを特徴とする。

本発明による記録媒体は、上記の制御プログラムが記録されたコンピュータに読み取り可能な記録媒体である。

本発明によれば、短い露光時間で撮影した複数の画像を順次再生する際、滑らかな画像、つまり、画像の品質を良好にしてしかも適切な露光条件で画像を再生することができる。

本発明の実施の形態による画像合成装置を備える撮像装置の一例についてその構成を示す図である。 図１に示すカメラで行われる再生画像の合成の一例を説明するための図である。 図１に示す再生画像選択部の画像選択処理の一例を説明するための図であり、（ａ）は記録画像を２枚合成する際の選択を示す図、（ｂ）は記録画像を３枚合成する際の選択を示す図である。 図１に示す評価画像選択部の画像選択処理の一例を説明するための図である。 図１に示すカメラにおける再生画像の合成を説明するためのブロック図である。 図１に示すカメラにおける再生画像の合成を説明するためのフローチャートである。 図１に示すカメラにおける評価画像の合成を説明するためのフローチャートである。

以下、本発明の実施の形態による画像合成装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像合成装置を備える撮像装置の一例についてその構成を示す図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、カメラ本体１２および制御部（以下ＣＰＵという）１９を有している。カメラ本体１２には撮影光学系が備えられ、この撮影光学系は鏡筒１４に保持されている。

撮影光学系は、固定レンズ１３ａ、変倍レンズ１３ｂ、ＡＦ（オートフォーカス）レンズ１３ｃ、および光学ローパスフィルタ１３ｄを備えており、その光軸１１上には撮像素子１３ｅが配置されている。ここでは、固定レンズ１３ａ、変倍レンズ１３ｂ、およびＡＦレンズ１３ｃは撮影レンズユニットと総称される。そして、ＡＦレンズ１３ｃはＡＦ駆動部１２１によって実線矢印１５で示すように光軸１１に沿って駆動される。

変倍レンズ１３ｂとＡＦレンズ１３ｃとの間には、シャッタ羽根１７を有するシャッタ１６が配置されている。シャッタ１６はシャッタ駆動部１１２によって駆動され、露光期間の間シャッタ羽根１７を開いて、撮影レンズユニットを介して入射した光学像を、光学ローパスフィルタ１３ｄを介して撮像素子１３ｅに導く。

これによって、撮像素子１３ｅに光学像が結像し、撮像素子１３ｅは光学像に応じた電気信号（アナログ信号）を出力する。そして、このアナログ信号は後述する画像処理部１１０に与えられる。なお、カメラ本体１２の背面には表示部である液晶モニタ１８が配置されている。

図示のように、ＣＰＵ１９は、露光制御部１１１、画像処理部１１０、画像一時記憶部１１３、画像選択部１１４、画像合成部１１５、画像記憶部１１６、評価値算出部１１９、画像再生部１１６、およびＡＦ駆動制御部１２０を有している。露光制御部１１１はシャッタ駆動部１１２に接続され、露光制御部１１１は後述するように、シャッタ駆動部１１２を制御してシャッタ１６を駆動する。

また、ＡＦ駆動制御部１２０はＡＦ駆動部１２１に接続され、後述するように、ＡＦ駆動部１２１を制御してＡＦレンズ１３ｃを駆動する。画像再生部１１７は再生駆動部１１８を介して液晶モニタ１８に接続されている。

なお、図１に示す例では、ＣＰＵ１９などは本来カメラ本体１２に内蔵されるものであるが、説明の便宜上カメラ本体１２とは別に示されている。

画像処理部１１０は撮像素子１３ｅから出力されるアナログ信号を受信して、当該アナログ信号をデジタル信号に変換する。そして、画像処理部１１０はデジタル信号に対して所定の画像処理を行って、画像データを得る。この画像データは画像一時記憶部１１３に一旦記録される。なお、ここでは、画像処理部１１０および画像一時記憶部１１３によって画像記憶部が構成される。また、画像処理部１１０は画像データにおいて被写体像の輝度などを示す被写体情報を生成する。

露光制御部１１１は撮像素子１３ｅに入射する光学像の露光条件を制御するものであり、露光制御部１１１はシャッタ駆動部１１２によってシャッタ羽根１７の開閉駆動制御を行う。具体的には、露光制御部１１１は画像処理部１１０から被写体情報を受け、当該被写体情報に応じて静止画又は動画撮影の際の露光時間を設定する。

静止画撮影の際には、露光制御部１１１は露光時間（露光条件）に応じてシャッタ羽根１７を開く。これによって、撮影レンズユニットから入射した光学像が撮像素子１３ｅで結像して、前述のように、撮像素子１３ｅからアナログ信号が画像処理部１１３に与えられる。

動画撮影の際には、露光制御部１１１は動画撮影中シャッタ羽根１７を常に開状態として、露光条件に応じて撮像素子１３ｅに備えられた電子シャッタ機能を制御する。これによって、露光制御部１１１は適正露光の動画を所定のフレームレート（例えば、１／３０秒）毎に更新する。ここでは、フレームレートは所定区間とも呼ばれる。また、動画撮影の際には、画像一時記憶部１１３には画像処理部１１０で処理された１フレーム内の画像データが一時的に記録される。

画像選択部１１４は再生画像選択部１１４ａおよび評価画像選択部１１４ｂを備えている。再生画像選択部１１４ａは露光制御部１１１で設定された露光条件に応じて画像一時記憶部１１３に記録された離散的な一枚以上の画像データを選択する。評価画像選択部１１４ｂは露光制御部１１１が設定されたＡＦ検出に適する露光条件に基づいて画像一時記憶部１１３に記憶された連続した一枚以上の画像を選択する。

画像合成部１１５は再生画像合成部１１５ａおよび評価画像合成部１１５ｂを備えている。再生画像合成部１１５ａは再生画像選択部１１４ａによって選択された複数の画像データを合成して再生合成画像データとする。つまり、再生画像合成部１１５ａは複数の画像から選択的に画像合成を行う。

ここで、各画像データはその取得時間（取得期間）が異なっているので、手ぶれおよび被写体の動きによる像ずれが生じることがある。このため、合成の際には、再生画像合成部１１５ａは各画像データ間の像ずれを周知の技術で位置合わせした後に合成処理を行う。

評価画像合成部１１５ｂは評価画像選択部１１４ｂによって選択された複数の画像データを合成してＡＦ合成画像データ（評価画像）とする。ここでも、各画像データはその取得時間が異なっているので、手ぶれおよび被写体の動きによる像ずれが生じてことがある。このため、評価画像合成部１１５ｂは各画像データ間の像ずれを周知の技術で位置合わせした後に合成処理を行う。

再生画像合成部１１５ａの出力である再生合成画像データは画像記録部１１６に記録画像データとして記録される。画像再生部１１７はユーザ操作に応じて再生駆動部１１８を制御して記録画像データに応じた画像を再生して液晶モニタ１８に表示する。

評価画像合成部１１５ｂの出力であるＡＦ合成画像データは評価値算出部１１９に与えられる。評価値算出部１１９はＡＦ合成画像データに応じて画像のコントラスト評価値（焦点調節用評価値）を求める。

ＡＦ駆動制御部１２０は、コントラスト評価値に応じてＡＦ駆動部１２１によってＡＦレンズ１３ｃを実線矢印１５の方向（つまり、光軸方向）に駆動制御し、合焦調節を行う。

なお、本実施形態では、再生画像とは別の選択方法によって選択された画像をＡＦに用いているが、これに限らず、露光制御として被写体の適正な露光条件を算出するため、又は画像内の被写体を検出するために用いてもよい。露光制御のための評価値として、評価値算出部１１９では、例えばＢｖ値などが算出され、被写体検出のための評価値としてはパターンマッチングなどの周知の被写体検出処理により、被写体の位置とその信頼度などが評価値として算出される。

次に、表示、記録に用いる合成画像の生成について説明する。

画像を連続的に再生する際、コマ間における画像において差異が大きいと、連続的に再生された画像（以下単に再生画像と呼ぶ）は所謂パラパラ漫画のような印象をユーザに与えてしまう。つまり、連続的に画像を再生した場合に、動画としての品質が低下してしまう。一方、多少のブレは許容しても連続的な繋がりを感じる画像は動画としての品質がよいとされる。

図２は、図１に示すカメラで行われる再生画像の合成の一例を説明するための図である。

図２に示す例では、カメラは高速シャッタ速度が１／１８０秒に設定ができ、１フレーム（１コマ）内で６枚の画像データを取得することができる。つまり、図２に示す例では、露光時間（第１の露光時間）、つまり、１枚の画像の露光時間を１／１８０として、１フレーム（１／３０）で６枚、同一の露光時間で連続して画像を得ている。

ここでは、１つのコマを複数に分割するが、その理由は、例えば、シャッタ速度が遅いと画像データにおいて手振れによる影響が大きくなるためである。手振れの影響を小さくするには、シャッタ速度を上げて手振れの影響が少ない画像を複数枚位置合わせ合成する。

再生画像合成部１１５ａには、画像一時記憶部１１３に記憶された複数枚の画像データから被写体の適正な露光条件に応じた時間間隔で並んでいる、適正な露光条件に応じた枚数分の画像データを選択して画像合成を行う。具体的には、例えば適正な露光条件（第２の露光時間）が１／６０だとすると、この場合には、第１の露光時間＜第２の露光時間であるので、再生画像選択部１１４ａは画像一時記憶部１１３に記憶された現在のコマから万遍なく記録画像データ（単に記録画像ともいう）を再生選択画像として選択する。

図３は、図１に示す再生画像選択部１１４ａの画像選択処理の一例を説明するための図である。そして、図３（ａ）は記録画像を２枚合成する際の選択を示す図であり、図３（ｂ）は記録画像を３枚合成する際の選択を示す図である。

図３（ａ）に示すように、各コマにおいて、２枚の記録画像を合成する際には、再生画像選択部１１４ａは２番目および５番目の記録画像を選択する。一方、３枚の記録画像を合成する場合には、図３（ｂ）に示すように、再生画像選択部１１４ａは、１番目、３番目、および５番目の記録画像を選択する。このように、被写体の適正な露光時間によって選択する画像間の撮影された時間の間隔を変更する。これによって、合成後において合成画像間のパラパラ感を低減する。

また、図３のように、前のコマと次のコマを考慮して、再生画像選択部１１４ａは万遍なく記録画像の選択を行って、合成した際のパラパラ感を回避する。

一方、ＡＦ画像は再生画像とは異なって、そのブレが極力ない画像の方がよい。このため、ＡＦ評価に用いる画像データ（ＡＦ評価画像データ）を生成する際には、連続した画像データを所定枚数分選択して、当該選択した画像データを位置合わせ合成してＡＦ評価画像データとする。ＡＦ評価画像データ用に選択する枚数は固定でもよいし、被写体の適正な露光条件に応じて設定されても良い。

図４は図１に示す評価画像選択部１１４ｂの画像選択処理の一例を説明するための図である。

図４において、露光条件が１／６０の場合には、シャッタ速度が１／１８０秒であると、合成枚数は３枚必要である。よって、ここでは、評価画像選択部１１４ｂは画像一時記憶部１１３から現在のコマにおいて２番目、３番目、および４番目の記憶画像をＡＦ選択画像として選択する。そして、評価画像合成部１１５ｂはこれら記録画像を位置合わせ合成してＡＦ評価画像データとする。

図５は、図１に示すカメラにおける再生画像の合成を説明するためのブロック図である。また、図６は図１に示すカメラにおける再生画像の合成を説明するためのフローチャートである。

図５および図６を参照して、撮影レンズユニット１３ａ〜１３ｃを介して、撮像素子１３ｅは光学像を受け、光学像に応じたアナログ信号（画像信号）を出力する。画像記憶部１１０および１１３は画像信号に所定の画像処理を施して画像データとして記憶する（ステップＳ６００１）。画像記憶部１１０および１１３に画像データが記憶されると、露光制御部１１１は、前述のように、画像データにおける被写体情報に基づいて露光条件を算出する（ステップＳ６００２）。

再生画像選択部１１４ａは、露光制御部１１１から得た露光条件に基づいて、画像記憶部１１０および１１３に記憶された複数の記録画像から前述したように被写体の適正な露光条件に応じた間隔で離散的に、被写体の適正な露光条件に応じた所定枚数を選択する（ステップＳ６００３）。つまり、再生画像選択部１１４ａは、選択する画像の露光時間を合計したものが適正な露光条件に対応する露光時間になるように合成する枚数を決定することになる。再生画像合成部１１５ａは、再生画像選択部１１４ａによって選択された記録画像を位置合わせ合成して、再生合成画像とする（ステップＳ６００４）。そして、画像記録部１１６は再生合成画像を記録して（ステップＳ６００５）、画像合成処理を終了する。

図７は図１に示すカメラにおける評価画像（以下ＡＦ画像ともいう）の合成を説明するためのフローチャートである。

図５および図７を参照して、前述したように、撮像素子１３ｅから出力された画像信号は画像記憶部１１０および１１３で画像処理された後、画像データとして記憶される（ステップＳ７００１）。画像記憶部１１０および１１３に画像データが記憶されると、露光制御部１１１は、前述のように、画像データにおける被写体情報に基づいて露光条件を算出する（ステップＳ７００２）。

評価画像選択部１１４ｂは、露光制御部１１１から得た露光条件に基づいて、画像記憶部１１０および１１３に記憶された複数の記録画像から連続的に、つまり互いに連続する（隣接する）フレームの所定枚数を選択する（ステップＳ７００３）。評価画像合成部１１５ｂは、評価画像選択部１１４ｂによって選択された記録画像を位置合わせ合成して、ＡＦ合成画像とする（ステップＳ７００４）。そして、評価値算出部１１９は評価画像合成部１１５ｂにから出力されたＡＦ合成画像に基づいてコントラスト評価値を算出する（ステップＳ７００５）。

続いて、ＡＦ駆動制御部１２０はコントラスト評価値に基づいて駆動信号を生成して出力する。ＡＦ駆動部１２１は駆動信号に応じた駆動量を発生させて、撮影レンズユニット（ＡＦレンズ）１３ｃを光軸方向に沿って駆動させる。

ＡＦ駆動制御部１２０はコントラスト評価値に基づいてＡＦを終了するか否かを判定する（ステップＳ７００６）。そして、ＡＦ駆動制御部１２０がＡＦを終了すると判定すると（ステップＳ７００６において、ＹＥＳ）、ＡＦ画像合成処理は終了する。

一方、ＡＦ駆動制御部１２０がＡＦを終了しないと判定すると（ステップＳ７００６において、ＮＯ）、処理はステップＳ７００１に戻る。

このように、本発明の実施の形態では、所定区間（１フレーム）において周期的露光時間の短い画像を取得して、これら複数の画像から所定枚数の画像を離散的に選択し合成するようにしたので、画像を連続的に再生する際、滑らかでかつ安定的に画像を再生することができる。

上述の説明から明らかなように、図１に示す例においては、ＣＰＵ１９が画像合成装置として機能する。また、露光制御部１１１が露光算出手段として機能し、画像処理部１１０、画像一時記憶部１１３、および再生画像選択部１１４ａが再生画像選択手段として機能する。そして、再生画像合成部１１５ａが再生画像合成手段として機能する。また、画像記録部１１６が画像記録手段として機能し、画像再生部１１７および再生駆動部１１８が画像再生手段として機能する。

加えて、画像処理部１１０、画像一時記憶部１１３、および評価画像選択部１１４ｂが評価画像選択手段として機能し、評価画像合成部１１５ｂが評価画像合成手段として機能する。また、評価値算出部１１９が評価値算出手段として機能し、ＡＦ駆動制御部１２０およびＡＦ駆動部１２１が合焦制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像合成装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像合成装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

制御方法および制御プログラムの各々は、少なくとも露光算出ステップ、再生画像選択ステップ、および再生画像合成ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１３ｅ 撮像素子
１９ ＣＰＵ
１１０ 画像処理部
１１１ 露光制御部
１１４ 画像選択部
１１５ 画像合成部
１１６ 画像記録部
１１７ 画像再生部
１１９ 評価値算出部
１２０ ＡＦ駆動制御部

Claims (11)

1. 連続して撮影された複数の画像から画像を選択して合成する合成手段と、
   前記複数の画像における、被写体の適正な露光条件に関する情報を取得する取得手段と、を有し、
   前記合成手段は、前記複数の画像から前記適正な露光条件に応じた間隔で、前記適正な露光条件に応じた枚数の画像を選択して合成し合成画像を生成することを特徴とする画像合成装置。
2. 前記複数の画像は同一の露光時間で連続して撮影されたものであることを特徴とする請求項１に記載の画像合成装置。
3. 前記合成手段は、合成画像を生成するために選択するそれぞれの画像の露光時間を合計したものが前記適正な露光条件に対応する露光時間になるように合成する枚数を決定することを特徴とする請求項１又は２に記載の画像合成装置。
4. 画像を撮影する撮像手段と、
   前記撮像手段の露光条件を制御する露光制御手段と、を有し、
   前記露光制御手段は、前記適正な露光条件に対応する露光時間が、前記撮像手段の露光時間よりも短い場合、露光時間を前記適正な露光条件に対応する露光時間に変更することを特徴とする請求項１乃至３のいずれか１項に記載の画像合成装置。
5. 前記合成手段は、前記複数の画像から互いに隣接する画像を選択して合成する評価画像を生成し、
   前記評価画像に基づいて評価値を算出する評価手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像合成装置。
6. 前記評価値は焦点調節用の評価値であることを特徴とする請求項５に記載の画像合成装置。
7. 前記評価値は被写体の適正な露光条件を算出するための評価値であることを特徴とする請求項５に記載の画像合成装置。
8. 前記評価値は画像内の被写体を検出するための評価値であることを特徴とする請求項５に記載の画像合成装置。
9. 連続して撮影された複数の画像から画像を選択して合成する合成ステップと、
   前記複数の画像における、被写体の適正な露光条件に関する情報を取得する取得ステップと、を有し、
   前記合成ステップでは、前記複数の画像から前記適正な露光条件に応じた間隔で、前記適正な露光条件に応じた枚数の画像を選択して合成し合成画像を生成することを特徴とする画像合成方法。
10. 画像合成装置で用いられる制御プログラムであって、前記画像合成装置が備えるコンピュータに、
    連続して撮影された複数の画像から画像を選択して合成する合成ステップと、
    前記複数の画像における、被写体の適正な露光条件に関する情報を取得する取得ステップと、を実行させ、
    前記合成ステップでは、前記複数の画像から前記適正な露光条件に応じた間隔で、前記適正な露光条件に応じた枚数の画像を選択して合成し合成画像を生成することを特徴とする制御プログラム。
11. 請求項１０に記載の制御プログラムが記録されたコンピュータに読み取り可能な記録媒体。

Images