JP2009060167A - 撮像装置 - Google Patents

Abstract

【構成】ディジタルカメラ１０はイメージセンサ１４を含み、これにより被写界の光学像が繰り返し捉えられる。動画用動き検出回路２６はイメージセンサ１４から出力された時系列に従う複数の被写界像の各々についてその被写界像と直前の被写界像との間で特徴点の動きを検出し、動画用手ぶれ補正回路２２は複数の被写界像の各々に対して検出結果に基づく切り出し処理を施す。静止画記録操作が行われると、ＣＰＵ３０はイメージセンサ１４の露光時間を短縮方向に変更し、静止画用動き検出回路２８は複数の被写界像のうち記録操作直後の被写界像（基準被写界像）とこれに続く３つの被写界像の各々との間で特徴点の動きを検出し、そして静止画用手ぶれ補正回路３２はこれら３つの被写界像の各々を検出結果に基づいて変位させつつ基準被写界像に加算する。
【効果】動画用および静止画用の２種類の手ぶれ補正を適切に行える。
【選択図】図１

Description

この発明は、撮像装置に関し、特にたとえば、手ぶれ補正を電子的に行う、撮像装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術では、時系列に連続する複数の画像を位置をずらしつつ互いに加算することにより、静止画像を作成する。加算にあたっては、撮影条件の異なる画像、たとえばフラッシュ点灯中に撮影された画像を除外する。

また、他の一例が特許文献２に開示されている。この背景技術では、時系列に連続する複数の画像の各々から一部を位置をずらしつつ切り出すことにより、動画像を作成する。切り出しにあたっては、ｎ番目の画像を取得中にこのｎ番目の画像からの切り出し位置を算出しておき、ｎ番目の画像を取得し終えたとき算出結果に基づく切り出しを行う。
特開２００６−３３２３２号公報［H04N 1/387, G06T 3/00］ 特開２００６−２４６２７０号公報［H04N 5/232, 5/225］

しかし、特許文献１は、静止画用の手ぶれ補正については開示するものの、動画用の手ぶれ補正については何ら開示していない。一方、特許文献２は、動画用の手ぶれ補正については開示するものの、静止画用の手ぶれ補正については何ら開示していない。

それゆえに、この発明の主たる目的は、新規な、撮像装置を提供することである。

この発明の他の目的は、動画用および静止画用の２種類の手ぶれ補正を適切に行える、撮像装置を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明に従う撮像装置は、被写界の光学像を繰り返し捉える撮像手段、撮像手段から出力された時系列に従う複数の被写界像の各々について当該被写界像と当該被写界像に時間的に近接する１つまたは複数の第１近接被写界像との間で第１特徴点の動きを検出する第１動き検出手段、複数の被写界像の各々に対して第１検出手段の検出結果に基づく切り出し処理を施す切り出し手段、静止画記録操作に応答して撮像手段の露光量を減少方向に変更する変更手段、変更手段による変更処理の実行後に撮像手段から出力された時系列に従う複数の被写界像のうち基準被写界像と当該基準被写界像に時間的に近接する１つまたは複数の第２近接被写界像の各々との間で第２特徴点の動きを検出する第２動き検出手段、および１つまたは複数の第２近接被写界像の各々を第２動き検出手段の検出結果に基づいて変位させつつ基準被写界像に加算する加算手段を備える。

第１の発明に従う撮像装置（１０）では、撮像手段（１４）によって被写界の光学像が繰り返し捉えられる。第１動き検出手段（２６）は撮像手段から出力された時系列に従う複数の被写界像の各々について当該被写界像と当該被写界像に時間的に近接する１つまたは複数の第１近接被写界像との間で第１特徴点の動きを検出し（図３上段参照）、切り出し手段（２２）は複数の被写界像の各々に対して第１検出手段の検出結果に基づく切り出し処理を施す。これによって、手ぶれに起因する時間軸方向の動き（すなわちフレーム間の動き）が抑制された、動画用の被写界像が得られる。

静止画記録操作が行われると、変更手段（３０）は撮像手段の露光量を減少方向に変更し（Ｓ３）、第２動き検出手段（２８）はこの変更処理の実行後に撮像手段から出力された時系列に従う複数の被写界像のうち基準被写界像と当該基準被写界像に時間的に近接する１つまたは複数の第２近接被写界像の各々との間で第２特徴点の動きを検出し（図３下段参照）、そして加算手段（３２）は１つまたは複数の第２近接被写界像の各々を第２動き検出手段の検出結果に基づいて変位させつつ基準被写界像に加算する。これによって、手ぶれに起因するフレーム内の動きが抑制された、かつ加算による露光過剰が低減された、静止画用の被写界像が得られる。

なお、露光量の減少は、露光時間を短縮方向に変更すること、および絞りを閉じる方向に変更すること、の少なくとも一方により実現される。いずれの場合も、手ぶれに起因するフレーム内の動きは抑制されるが、後者の場合は特に、露光時間を１／Ｎ倍に短縮すれば、フレーム内の動きも１／Ｎ倍となる。これに対して、前者の場合の抑制効果は、動き成分がランダムノイズとしての性質を持つために得られるもので、動き成分が完全なランダムノイズではない以上、一般には後者の場合の抑制効果に及ばない。

第２の発明に従う撮像装置は、第１の発明に従属し、変更手段は露光時間を短縮することによって露光量を減少方向に変更する。

第２の発明では、静止画記録操作に応答して撮像手段の露光時間が短縮方向に変更される。

第２の発明によれば、静止画記録時に露光時間を短縮することで、手ぶれに起因するフレーム内の動きがより好適に抑制される。

第３の発明に従う撮像装置は、第１または第２の発明に従属し、変更手段は加算手段によって互いに加算されるべき基準被写界像および第２近接被写界像の合計数の逆数倍に変更する。

第３の発明では、互いに加算されるべき基準被写界像および第２近接被写界像の合計数がＮ（Ｎは２以上の整数）であるとき、露光時間は１／Ｎ倍に変更される。

なお、好ましい実施例では、基準被写界像“ｋ”に３つの第２近接被写界像“ｋ＋１”〜“ｋ＋３”が加算されるので、合計数は４であり、露光時間は１／４倍に変更される。

第３の発明によれば、手ぶれに起因するフレーム内の動きが１／Ｎ倍に抑制された、しかも好適な明るさを有する、静止画用の被写界像が得られる。

第４の発明に従う撮像装置は、第３の発明に従属し、合計数は２のべき乗である。

第５の発明に従う撮像装置は、第１ないし第４のいずれかの発明に従属し、変更手段は加算手段によって互いに加算されるべき基準被写界像および第２近接被写界像を撮像装置が出力し終えた後に変更状態を解除する。

第５の発明では、変更された露光時間は、互いに加算されるべき基準被写界像および第２近接被写界像の一連の出力が完了した後、元に戻される（Ｓ７）。

第５の発明によれば、静止画撮影を行わない期間に、手ぶれに起因するフレーム間の動きが抑制された、しかも好適な明るさを有する、動画用の被写界像が得られる。

第６の発明に従う撮像装置は、第１ないし第５のいずれかの発明に従属し、第１動き検出手段は被写界に第１既定数の第１検出エリア（Ｅｍ１〜Ｅｍ５）を割り当て、第２動き検出手段は被写界に第１規定数よりも多い第２既定数の第２検出エリア（Ｅｓ１〜Ｅｓ９）を割り当てる。

第６の発明では、動画撮影および静止画撮影にそれぞれ好適な精度で２種類の動き検出を行うことが可能となる。

第７の発明に従う撮像装置は、第６の発明に従属し、切り出し手段の切り出し処理は第１動き検出手段による第１既定数の検出結果のうち少なくとも１つに基づき、加算手段の加算処理は第２動き検出手段による第２既定数の検出結果のうち少なくとも１つに基づく。

第７の発明では、検出された動きが手ぶれに起因するものか被写界ぶれに起因するものかを検出エリア毎に判別して、後者を排除することが可能となる。

第８の発明に従う撮像装置は、第６または第７の発明に従属し、第２既定数はｍ×ｎ（ｍは３以上の整数，ｎは３以上の整数）であり、当該第２既定数の検出エリアはｍ行ｎ列の行列態様に配置される。

第６〜第８の発明によれば、手ぶれ補正の精度を高めることができる。

第９の発明に従う撮像装置は、第１ないし第８のいずれかの発明に従属し、第１動き検出手段および第２動き検出手段は並列的に動作する。

第９の発明によれば、動画撮影中にも静止画撮影が行える。

第１０の発明に従う撮像装置は、第１ないし第９のいずれかの発明に従属し、切り出し手段による切り出し処理が施された後の複数の被写界像に対して動画記録処理を施す動画記録手段、および加算手段によって１つまたは複数の第２近接被写界像が加算された後の基準被写界像に対して静止画記録処理を施す静止画記録手段をさらに備える。

第１０の発明では、切り出し手段による切り出し処理が施された後の複数の被写界像に対しては、動画記録手段（２４，３８ａ，４０）が動画記録処理を施す一方、加算手段によって１つまたは複数の第２近接被写界像が加算された後の基準被写界像に対しては、静止画記録手段（２４，３８ｂ，４０）が静止画記録処理を施す。

第１０の発明によれば、動画像および静止画像の各々を記録できる。

第１１の発明に従う撮像装置は、第１０の発明に従属し、第１動き検出手段および第２動き検出手段の少なくとも一方の検出結果に基づいて複数の被写界像の間の変位を算出する算出手段（３０）をさらに備え、算出手段は、複数の被写界像の各々について当該被写界像と当該被写界像に時間的に近接する１つまたは複数の第１近接被写界像との間で変位を算出する第１算出処理、および複数の被写界像のうち基準被写界像と当該基準被写界像に時間的に近接する１つまたは複数の第２近接被写界像の各々との間で変位を算出する第２算出処理のいずれか一方を、動画記録手段および静止画記録手段の動作状態に応じて選択的に実行し、切り出し手段および加算手段は算出手段の算出結果を参照して処理を行う。

第１２の発明に従う撮像装置は、第１１の発明に従属し、切り出し手段による切り出し処理が施された後の複数の被写界像に対して動画表示処理を施す表示手段（３４）をさらに備え、撮像手段の出力は、表示手段，動画記録手段および静止画記録手段の少なくとも１つに向かう第１系統、第１動き検出手段に向かう第２系統、および第２動き検出手段に向かう第３系統を含む複数系統に分岐される。

第１３の発明に従う撮像装置は、第１２の発明に従属し、第１動き検出手段および第２動き検出手段は少なくとも１フレーム期間に渡って並列的に動作する。

第１２および第１３の発明によれば、動画表示中に静止画像記録を行うとき、静止画記録処理中にこの静止画像に対応する動画像フレームを表示し続けることが可能となる。

第１４の発明に従う撮像装置は、第１３の発明に従属し、動画記録手段への入力を動画記録手段および静止画記録手段が並列的に動作している期間に渡って合計数倍にゲインアップするゲインアップ手段（４６）をさらに備える。

第１４の発明によれば、動画像の露光不足を補える。

第１５の発明に従う撮像装置は、被写界の光学像を繰り返し捉える撮像手段、撮像手段から出力された複数の被写界像のうち基準被写界像と当該基準被写界像に近接する１つまたは複数の近接被写界像の各々との間で特徴点の動きを検出する動き検出手段、および１つまたは複数の近接被写界像の各々を動き検出手段の検出結果に基づいて変位させつつ基準被写界像に加算する加算手段を備え、動き検出手段はｍ行ｎ列（ｍは３以上の整数，ｎは３以上の整数）の行列態様に配置されるｍ×ｎ個の検出エリアを被写界に割り当て、加算手段の加算処理は当該ｍ×ｎ個の検出エリアにそれぞれ対応するｍ×ｎ個の検出結果のうち少なくとも１つに基づく。

第１５の発明に従う撮像装置（１０）では、撮像手段（１４）によって被写界の光学像が繰り返し捉えられる。動き検出手段（２８）は撮像手段から出力された複数の被写界像のうち基準被写界像と当該基準被写界像に近接する１つまたは複数の近接被写界像の各々との間で特徴点の動きを検出し（図３下段参照）、加算手段（３２）は１つまたは複数の近接被写界像の各々を動き検出手段の検出結果に基づいて変位させつつ基準被写界像に加算する。これによって、手ぶれに起因するフレーム内の動きが抑制された、静止画用の被写界像が得られる。

特に、動き検出手段がｍ行ｎ列（ｍは３以上の整数，ｎは３以上の整数）の行列態様に配置されるｍ×ｎ個の検出エリア（Ｅｓ１〜Ｅｓ９）を被写界に割り当てることで、静止画撮影に好適な精度で動き検出を行うことが可能となる。また、加算手段がｍ×ｎ個の検出エリアにそれぞれ対応するｍ×ｎ個の検出結果のうち少なくとも１つに基づいて加算処理を行うことで、検出された動きが手ぶれに起因するものか被写界ぶれに起因するものかを検出エリア毎に判別して、後者を排除することが可能となる。

第１５の発明によれば、静止画用の手ぶれ補正を適切に行うことができる。

この発明によれば、動画用および静止画用の２種類の動き検出を並行して行うと共に、静止画撮影期間には特に露光時間を短縮することで露光量を減少させるので、動画用および静止画用の２種類の手ぶれ補正を適切に行える。この結果、静止画像および動画像の両方を高画質で撮像可能となる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、イメージセンサ１４を含む。光学レンズ１２を経た被写界の光学像は、イメージセンサ１４の受光面つまり撮像面に照射され、撮像面では、光電変換によって被写界の光学像に対応する電荷つまり生画像信号が生成される。

被写界のリアルタイム動画像つまりスルー画像をＬＣＤモニタ３６に表示するとき、ＣＰＵ３０は、露光および読み出しの繰り返しをイメージセンサ１４に命令する。イメージセンサ１４は、露光時間Ｔに渡る露光とこれによって生成された生画像信号の読み出しとを、たとえば１／６０秒周期で繰り返し実行する。イメージセンサ１４からは、被写界の光学像に対応する生画像信号が出力される。

出力された生画像信号は、信号前処理回路１６によってＡ／Ｄ変換，ノイズ除去，クランプ，画素欠陥補正などの前処理を施される。こうして作成された原画像データは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の原画像エリア６０（図５参照）に書き込まれる。

原画像エリア６０は、各々が原画像１フレーム相当の容量を有する複数（ここでは６０個）のバンクを含んでおり、メモリコントローラ１８は、原画像データをこれらのバンクに１フレームずつ書き込んでいく。このとき、ＣＰＵ３０によって、各フレームにフレーム番号（１，２，…，ｋ，…）が付与される。最後のバンクへの書き込みが完了すると、最初のバンクに戻って同様の書き込み処理が繰り返される。したがって、原画像エリア６０には常時、直近の６０フレームが格納されていることになる。

信号前処理回路１６によって作成された原画像データはまた、動画用動き検出回路２６および静止画用動き検出回路２８に与えられる。動画用動き検出回路２６および静止画用動き検出回路２８の各々は、与えられた画像データに基づいて動きベクトルを検出する。

ただし、動画用の動き検出処理と静止画用の動き検出処理とでは、被写界に割り当てられる検出エリアの数が互いに異なる。具体的には、動画用動き検出回路２６は５つの検出エリアＥｍ１〜Ｅｍ５を被写界に割り当てる（図２（Ａ）参照）のに対し、静止画用動き検出回路２８は９つの検出エリアＥｓ１〜Ｅｓ９を被写界に割り当てる（図２（Ｂ）参照）。

加えて、動画用の動き検出処理と静止画用の動き検出処理とでは、検出される動きベクトルの態様が互いに異なっており、検出が行われる期間も相違する。すなわち、動画用動き検出回路２６は、スルー撮影／動画記録中、現在のフレームおよびその１つ前のフレームの間で特徴点の動きを繰り返し検出する。

これに対し、静止画記録操作が行われた時点を起点とする静止画撮影期間（図６参照：後述）に限られる。すなわち、静止画用動き検出回路２８は、静止画記録操作の直後のフレームつまり第“ｋ”フレームを基準フレームとして、続く３フレームつまり第“ｋ＋１”フレーム，第“ｋ＋２”フレームおよび第“ｋ＋３”フレームの各々と基準フレームとの間で特徴点の動きを検出する。

動画用動き検出回路２６の検出結果および静止画用動き検出回路２８の検出結果は、ＣＰＵ３０に内蔵された動画用メモリＲ１および静止画用メモリＲ２にそれぞれ書き込まれる（図４（Ａ）および図４（Ｂ）参照）。

原画像エリア６０に格納された原画像データは、メモリコントローラ１８によって読み出され、動画用手ぶれ補正回路２２に与えられる。一方、ＣＰＵ３０は、動画用メモリＲ１に格納された動きベクトルに基づいて、手ぶれに起因する被写界像の動きが打ち消されるような切り出し位置をフレーム毎に算出し、算出結果を示す位置情報を動画用手ぶれ補正回路２２に通知する。

動画用手ぶれ補正回路２２は、通知された切り出し位置情報に基づいて、与えられた原画像データから一部を切り出す切り出し処理を実行する。これによって、原画像データからは、手ぶれに起因する時間軸方向の動き成分が除去される。こうして動画用手ぶれ補正が施された原画像データは、スルー表示／動画記録用の画像データ（以下“動画像データ”）として信号後処理回路２４に与えられる。

信号後処理回路２４は、与えられた動画像データに対し、色分離，ガンマ補正，ＹＵＶ変換，画素数変換などの後処理を施す。ここで画素数変換処理は、動画像データの画素数をスルー表示用の画素数（すなわちＬＣＤモニタ３６の解像度に対応する画素数）に変換するための第１画素数変換処理と、動画像データの画素数を動画記録用の画素数（たとえば６４０＊４８０）に変換するための第２画素数変換処理とを含む。したがって、信号後処理回路２４は、第１画素数変換処理および第２画素数変換処理を並列的に（たとえば時分割によって）実行する。

第１画素数変換処理を施された動画像データは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の表示エリア６６（図５参照）に書き込まれる。ＬＣＤドライバ３４は、表示エリア６６に格納された動画像データを読み出し、読み出された動画像データでＬＣＤモニタ３６を駆動する。なお、表示エリア６６は、各々がスルー画像１フレーム相当の容量を持つ２つのバンク（図示せず）を含んでおり、一方のバンクへの書き込み処理と並行して他方のバンクからの読出し処理が実行される。こうして、被写界のスルー画像がモニタ画面に表示される。

第２画素数変換処理を施された動画像データは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の動画像エリア６２に書き込まれる。動画像エリア６２は、各々が動画像１フレーム相当の容量を有する複数（ここでは６０個）のバンクを含んでおり、動画像データは、これらのバンクに１フレームずつ書き込まれていく。最後のバンクへの書き込みが完了すると、最初のバンクに戻って同様の書き込み処理が繰り返される。したがって、動画像エリア６２には常時、直近の６０フレームが格納されていることになる。

信号後処理回路２４から出力されたスルー表示用の画像データのうちＹデータはまた、露光制御のためにＣＰＵ３０に与えられる。ＣＰＵ３０は、与えられたＹデータを積算することによって輝度評価値を生成し、生成された輝度評価値に基づいてイメージセンサ１４の露光時間Ｔを調整する。

この後、すなわちスルー表示中に、キー入力装置４４によって動画記録開始操作が行われると、ＣＰＵ３０は、ＭＰＥＧコーデック３８ａに圧縮命令を発行する一方、記録媒体４２内に圧縮動画像の書き込み先となるＭＰＥＧファイルをオープンする。ＭＰＥＧコーデック３８ａは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の動画像エリア６２から動画像データを所定量（たとえば１５フレーム）ずつ読み出し、読み出された動画像データをＭＰＥＧ方式で圧縮する。ＭＰＥＧコーデック３８ａから出力される圧縮動画像データは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の圧縮エリア６８（図５参照）に書き込まれる。

ＣＰＵ３０はその後、圧縮エリア６８に格納された圧縮動画像データを所定量ずつ読み出し、読み出された圧縮画像データをオープンされたＭＰＥＧファイルにＩ／Ｆ４０を通して書き込んでいく。

この後、すなわち動画記録中に、キー入力装置４４によって静止画記録操作が行われると、原画像エリア６０から読み出された画像データの供給先が、動画用手ぶれ補正回路２２から信号後処理回路２４に変更される。ただし、この変更状態は、静止画撮影期間（図６参照：後述）を経過すると解除される。

したがって、静止画記録操作直後のフレーム番号を“ｋ”とすると、第ｋ〜第（ｋ＋３）フレームの画像データが、静止画記録用の画像データ（以下“静止画像データ”）として、動画用手ぶれ補正回路２２を迂回して直に信号後処理回路２４に与えられる。

静止画記録用の画像データもまた、信号後処理回路２４によって同様の後処理を施されるが、ここでの画素数変換処理は、画像データの画素数を静止画記録用の画素数（たとえば１６００＊１２００）に変換するための第３画素数変換処理となる。したがって、静止画撮影期間には、動画像データに対する第１画素数変換処理および第２画素数変換処理に加えて、静止画像データに対する第３画素数変換処理がさらに並列的に実行される。

信号後処理回路２４から出力された静止画記録用の画像データは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の静止画像エリア６４に書き込まれる。静止画像エリア６２は、各々が静止画像１フレーム相当の容量を持つ４個のバンクを含み、各バンクに１フレームの画像データが書き込まれる。こうして、静止画像エリア６２には、静止画記録操作直後の４フレームの画像データが格納される。

一方、ＣＰＵ３０は、静止画記録操作に応答して、イメージセンサ１４の露光時間Ｔを“Ｔ／４”に変更し、続いて静止画用手ぶれ補正回路３２に補正命令を発行する。

静止画用手ぶれ補正回路３２は、最初、静止画用メモリＲ２に格納された動きベクトルに基づいて、第ｋフレームに対する第（ｋ＋１）フレーム，第（ｋ＋２）フレームおよび第（ｋ＋３）フレームの各々の変位量（Δ１，Δ２およびΔ３）を算出する。次に、メモリコントローラ１８を通してＳＤＲＡＭ２０内の静止画像エリア６４から第ｋ〜第（ｋ＋３）フレームの静止画像データを読み出す。次に、読み出された第（ｋ＋１）〜第（ｋ＋３）フレームの静止画像データに、算出された変位情報に基づく変位処理をそれぞれ施す。そして、変位処理後の第（ｋ＋１）〜第（ｋ＋３）フレームの静止画像データを、読み出された第ｋフレームの画像データに順次加算していく。

この加算処理によって、手ぶれに起因する画像のぼやけが軽減された、適切な明るさを有する静止画像データが得られる。なお、加算にあたって、各フレームの静止画像データに係数（α０〜α３）を乗算してもよい（加重加算）。

上記の加算結果、つまり静止画用手ぶれ補正回路３２から出力される静止画像データは、メモリコントローラを１８通してＳＤＲＡＭ２０内の加算エリア７０（図５参照）に書き込まれる。なお、上述のように加算前の静止画像データに対して後処理を行う代わりに、加算エリア７０に格納された加算後の静止画像データに対してこれを行ってもよい。

ＣＰＵ３０は続いて、ＪＰＥＧコーデック３８ｂに圧縮命令を発行する一方、記録媒体４２内に圧縮静止画像の書き込み先となるＪＰＥＧファイルをオープンする。ＪＰＥＧコーデック３８ｂは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の加算エリア７０から静止画像データを読み出し、読み出された静止画像データをＪＰＥＧ方式で圧縮する。ＪＰＥＧコーデック３８ｂから出力される圧縮静止画像データは、メモリコントローラ１８を通してＳＤＲＡＭ２０内の圧縮エリア６８（図５参照）に書き込まれる。

ＣＰＵ３０はその後、圧縮エリア６８に格納された圧縮静止画像データを読み出し、読み出された圧縮静止画像データをオープンされたＪＰＥＧファイルにＩ／Ｆ４０を通して書き込む。なお、このような静止画記録は、動画撮影中に限らず、スルー撮影中にも行える。

この後、すなわち動画記録中に、キー入力装置４４によって動画記録停止操作が行われると、ＣＰＵ３０は、ＭＰＥＧコーデック３８ａに停止命令を発行する。そして、圧縮画像データの書き込みが完了すると、ＭＰＥＧファイルをクローズする。

以上のようなディジタルカメラ１０の動作は、図６のタイミングチャートに従う。図６を参照して、イメージセンサ１４による露光は、スルー撮影／動画記録時および静止画記録時の如何を問わず、一定周期（１／６０秒周期）で行われる。ただし静止画記録時には、すなわち静止画記録操作が行われた時点から３フレーム期間強（ｋ／６０≦ｔ＜（ｋ＋４）／６０）に渡って、露光時間がスルー撮影時／動画記録時の１／４倍に変更される。

動画用動き検出回路２６による動きベクトル検出はイメージセンサ１４による露光が終了する度に実行され、動画用手ぶれ補正回路２２による切り出しは動画用動き検出回路２６による動きベクトル検出が終了する度に行われる。ただし静止画記録時には、動画像“ｋ”〜“ｋ＋３”（図３参照）の露光量が不足するので、動画像エリア６２への新規画像の書き込みを中断し、これに伴って動画用動き検出回路２６による動きベクトル検出を休止してもよい。

一方、静止画用動き検出回路２８による動きベクトル検出は、静止画記録用の露光つまりｔ＝ｋ／６０，（ｋ＋１）／６０，（ｋ＋２）／６０および（ｋ＋３）／６０にそれぞれ対応する４回の露光のうち後の３回について、その終了毎に行われる。静止画用手ぶれ補正回路３２による加算は、静止画用動き検出回路２８による３回の動きベクトル検出が完了した時点で、つまりｔ＝（ｋ＋３）／６０に対応する動きベクトル検出が終了したとき行われる。

なお、図６からわかるように、記録用静止画の作成には、３フレーム期間（＝３／６０秒）に加えて、露光時間（＝Ｔ／４），動きベクトル検出時間および加算時間が少なくとも必要であるが、これらの時間の各々は３フレーム期間と比べて十分短いため、３フレーム強で作成可能である（この３フレーム強の期間を“静止画撮影期間”と呼ぶ）。したがって、静止画撮影期間中、動画像エリア６２への新規画像の書き込みを中断しても、動画像の画質への影響は小さい。

しかし、静止画像から動画像を作成することで、静止画記録時にも動画像エリア６２への新規画像の書き込みを継続するようにしてもよい。具体的には、図３を参照して、静止画像“ｋ”を基準画像とする記録用画像を作成した後さらに、静止画像“ｋ＋１”〜“ｋ＋３”をそれぞれ基準画像とする３つの記録用静止画像を同様の手順で作成する。そして、これら４つの記録用静止画像“ｋ”〜“ｋ＋３”に画素数変換処理をそれぞれ施すことで、スルー表示／記録用の動画像“ｋ”〜“ｋ＋３”が得られる。これにより、静止画撮影期間にも、動画像の画質維持が可能となる。なお、画素数変換処理に加えてゲイン調整処理をも施せば、より好適な明るさの動画像の作成が可能となる。

または、静止画撮影期間中にも動画像エリア６２への新規画像の書き込みを継続し、動画像エリア６２に格納された画像に対して４倍相当のゲインアップ処理を施してもよい。この場合、ディジタルカメラ１０には、図１に点線で示されたゲイン調整回路４６が追加される。

なお、動画用動き検出回路２６および静止画用動き検出２８を少なくとも１フレーム期間に渡って並列的に動作させてもよい。これによって、静止画撮影期間には、この静止画像に対応する動画像フレームをフリーズ表示し続けることが可能となる。

上で説明したＣＰＵ３０の処理のうち、露光時間Ｔを変更する処理は、図７の露光時間変更タスクに従う。なお、ＣＰＵ３０は、μＩＴＲＯＮなどのマルチタスクＯＳの制御下で、図７のタスクを含む複数のタスクを並列的に実行することができる。

図７を参照して、最初のステップＳ１では、静止画記録操作が行われたか否かを判別し、判別結果がＮＯであれば待機する。キー入力装置４４によって静止画記録操作が受け付けられると、ステップＳ１でＹＥＳと判別し、ステップＳ３に移る。ステップＳ３では、イメージセンサ１４の露光時間Ｔを１／４倍に変更する。

次のステップＳ５では、静止画記録操作が受け付けられてから静止画撮影期間（図６参照）が経過したか否かを判別し、ＮＯであれば待機する。ステップＳ５の判別結果がＹＥＳとなると、ステップＳ７に移って変更状態を解除する。これによって、イメージセンサ１４の露光時間は、“Ｔ／４”から“Ｔ”に復帰する。その後、ステップＳ１に戻る。

以上から明らかなように、この実施例では、イメージセンサ１４によって被写界の光学像が繰り返し捉えられる。動画用動き検出回路２６は、イメージセンサ１４から出力された複数の被写界像の各々についてその被写界像とその直前の被写界像との間で特徴点の動きを検出し（図３上段参照）、動画用手ぶれ補正回路２２は複数の被写界像の各々に対して動画用動き検出回路２６の検出結果に基づく切り出し処理を施す。これによって、手ぶれに起因する時間軸方向の動き（すなわちフレーム間の動き）が抑制された、スルー表示／動画記録用の被写界像が得られる。

静止画記録操作が行われると、ＣＰＵ３０はイメージセンサ１４の露光時間を短縮方向に変更し（Ｓ３）、静止画用動き検出回路２８は複数の被写界像のうち静止画記録操作の直後の被写界像（基準被写界像）とこれに続く３つの被写界像の各々との間で特徴点の動きを検出し（図３下段参照）、そして静止画用手ぶれ補正回路３２は３つの被写界像の各々を静止画用動き検出回路２８の検出結果に基づいて変位させつつ基準被写界像に順次加算する。これによって、手ぶれに起因するフレーム内の動きが抑制された、かつ加算による露光過剰が低減された、静止画用の被写界像が得られる。

こうして、動画用および静止画用の２種類の手ぶれ補正を適切に行えるので、静止画像および動画像の両方を高画質で撮影可能となる。

また、動画用動き検出回路２６が被写界に５つの検出エリアＥｍ１〜Ｅｍ５を割り当てる（図２（Ａ）参照）一方、静止画用動き検出回路２８は被写界にこれよりも多い９つの検出エリアＥｓ１〜Ｅｓ９を割り当てる（図２（Ｂ）参照）ので、動画像および静止画像にそれぞれ適した動き検出を行える。

なお、動画用検出エリアの数および配置は図２（Ａ）に示すものに限らず、静止画用検出エリアの数および配置もまた図２（Ｂ）に示すものに限らない。ただし、静止画用検出エリアについては、ｍ行ｎ列（ｍは３以上の整数，ｎは３以上の整数）の行列態様で配置することが好ましい。

なお、この実施例では、動画用動き検出回路２６が現在のフレームおよびその直前のフレームの間で特徴点の動きを検出し、動画用手ぶれ補正回路２２は検出結果に基づく切り出しを行っているが、動画用動き検出回路２６の検出処理の後に、ＣＰＵ３０が検出結果に基づいて現在のフレームおよびその直後のフレームの間で特徴点の動きを予測し、動画用手ぶれ補正回路２２は予測結果に基づく切り出しを行うようにしてもよい。

また、静止画用動き検出回路２８は、静止画記録操作の直後のフレームつまり第“ｋ”フレームを基準フレームとして、続く３フレームつまり第“ｋ＋１”フレーム〜第“ｋ＋３”フレームの各々と基準フレームとの間で特徴点の動きを検出しているが、基準フレームは、静止画記録操作の直後のフレームとは限らず、たとえば第“ｋ＋１”フレームでもよい。そしてこの場合、基準フレームとの比較対象は、基準フレームに続く３フレームとは限らず、基準フレームと相前後する３フレームたとえば第“ｋ”，第“ｋ＋２”および第“ｋ＋３”の３フレームでもよい。

なお、この実施例では、記録用静止画の作成にあたって４フレームを加算したが、一般にはＮフレーム（Ｎは２以上の整数；好ましくは２のべき乗）を加算すればよい。この場合、露光時間は、静止画記録操作に応答して１／Ｎ倍に変更される。

なお、この実施例では、静止画記録操作に応答して露光時間を短縮方向に変更したが、代わりに、またはこれに加えて、イメージセンサ１４の絞りを閉じる方向に変更してもよい。要するに、露光量を減少方向に変更することで、加算による露光過剰は低減される。

以上では、一例としてディジタルカメラ１０について説明したが、この発明は、ディジタルスチルカメラ，ディジタルビデオ（ムービー）カメラ，カメラ付き携帯電話端末など、画像を電子的に処理する撮像装置に適用できる。

この発明の一実施例の構成を示すブロック図である。 （Ａ）は図１実施例に適用される動画用の動き検出エリアを示す図解図であり、（Ｂ）は図１実施例に適用される静止画用の動き検出エリアを示す図解図である。 図１実施例に適用される２種類の画像作成処理および２種類の動き検出処理を時間軸に沿って示した図解図である。 （Ａ）はある時刻における動画像用メモリのメモリマップを示す図解図であり、（Ｂ）は（Ａ）と同時刻における静止画像用メモリのメモリマップを示す図解図である。 図４（Ａ）と同時刻におけるＳＤＲＡＭのメモリマップを示す図解図である。 図１実施例の動作を示すタイミングチャートである。 図１実施例に適用されるＣＰＵ動作の一部を示すフロー図である。

符号の説明

１０ …ディジタルビデオカメラ
１４ …イメージセンサ
１６ …信号前処理回路
１８ …メモリコントローラ
２０ …ＳＤＲＡＭ
２２ …動画用手ぶれ補正回路
２４ …信号後処理回路
２６ …動画用動き検出回路
２８ …静止画用動き検出回路
３０ …ＣＰＵ
３２ …静止画用手ぶれ補正回路
４４ …キー入力装置

Claims (15)

1. 被写界の光学像を繰り返し捉える撮像手段、
   前記撮像手段から出力された時系列に従う複数の被写界像の各々について当該被写界像と当該被写界像に時間的に近接する１つまたは複数の第１近接被写界像との間で第１特徴点の動きを検出する第１動き検出手段、
   前記複数の被写界像の各々に対して前記第１検出手段の検出結果に基づく切り出し処理を施す切り出し手段、
   静止画記録操作に応答して前記撮像手段の露光量を減少方向に変更する変更手段、
   前記変更手段による変更処理の実行後に前記撮像手段から出力された時系列に従う複数の被写界像のうち基準被写界像と当該基準被写界像に時間的に近接する１つまたは複数の第２近接被写界像の各々との間で第２特徴点の動きを検出する第２動き検出手段、および
   前記１つまたは複数の第２近接被写界像の各々を前記第２動き検出手段の検出結果に基づいて変位させつつ前記基準被写界像に加算する加算手段を備える、撮像装置。
2. 前記変更手段は露光時間を短縮することによって露光量を減少方向に変更する、請求項１記載の撮像装置。
3. 前記変更手段は前記加算手段によって互いに加算されるべき基準被写界像および第２近接被写界像の合計数の逆数倍に変更する、請求項１または２記載の撮像装置。
4. 前記合計数は２のべき乗である、請求項３記載の撮像装置。
5. 前記変更手段は前記加算手段によって互いに加算されるべき基準被写界像および第２近接被写界像を前記撮像装置が出力し終えた後に変更状態を解除する、請求項１ないし４のいずれかに記載の撮像装置。
6. 前記第１動き検出手段は前記被写界に第１既定数の第１検出エリアを割り当て、前記第２動き検出手段は前記被写界に前記第１規定数よりも多い第２既定数の第２検出エリアを割り当てる、請求項１ないし５のいずれかに記載の撮像装置。
7. 前記切り出し手段の切り出し処理は前記第１動き検出手段による前記第１既定数の検出結果のうち少なくとも１つに基づき、前記加算手段の加算処理は前記第２動き検出手段による前記第２既定数の検出結果のうち少なくとも１つに基づく、請求項６記載の撮像装置。
8. 前記第２既定数はｍ×ｎ（ｍは３以上の整数，ｎは３以上の整数）であり、当該第２既定数の検出エリアはｍ行ｎ列の行列態様に配置される、請求項６または７記載の撮像装置。
9. 前記第１動き検出手段および前記第２動き検出手段は並列的に動作する、請求項１ないし８のいずれかに記載の撮像装置。
10. 前記切り出し手段による切り出し処理が施された後の複数の被写界像に対して動画記録処理を施す動画記録手段、および
    前記加算手段によって前記１つまたは複数の第２近接被写界像が加算された後の基準被写界像に対して静止画記録処理を施す静止画記録手段をさらに備える、請求項１ないし９のいずれかに記載の撮像装置。
11. 前記第１動き検出手段および前記第２動き検出手段の少なくとも一方の検出結果に基づいて前記複数の被写界像の間の変位を算出する算出手段をさらに備え、
    前記算出手段は、前記複数の被写界像の各々について当該被写界像と当該被写界像に時間的に近接する１つまたは複数の第１近接被写界像との間で変位を算出する第１算出処理、および前記複数の被写界像のうち基準被写界像と当該基準被写界像に時間的に近接する１つまたは複数の第２近接被写界像の各々との間で変位を算出する第２算出処理のいずれか一方を、前記動画記録手段および前記静止画記録手段の動作状態に応じて選択的に実行し、
    前記切り出し手段および前記加算手段は前記算出手段の算出結果を参照して処理を行う、請求項１０記載の撮像装置。
12. 前記切り出し手段による切り出し処理が施された後の複数の被写界像に対して動画表示処理を施す表示手段をさらに備え、
    前記撮像手段の出力は、前記表示手段，前記動画記録手段および前記静止画記録手段の少なくとも１つに向かう第１系統、前記第１動き検出手段に向かう第２系統、および前記第２動き検出手段に向かう第３系統を含む複数系統に分岐される、請求項１１記載の撮像装置。
13. 前記第１動き検出手段および前記第２動き検出手段は少なくとも１フレーム期間に渡って並列的に動作する、請求項１２記載の撮像装置。
14. 前記動画記録手段への入力を前記動画記録手段および前記静止画記録手段が並列的に動作している期間に渡って前記合計数倍にゲインアップするゲインアップ手段をさらに備える、請求項１３記載の撮像装置。
15. 被写界の光学像を繰り返し捉える撮像手段、
    前記撮像手段から出力された複数の被写界像のうち基準被写界像と当該基準被写界像に近接する１つまたは複数の近接被写界像の各々との間で特徴点の動きを検出する動き検出手段、および
    前記１つまたは複数の近接被写界像の各々を前記動き検出手段の検出結果に基づいて変位させつつ前記基準被写界像に加算する加算手段を備え、
    前記動き検出手段はｍ行ｎ列（ｍは３以上の整数，ｎは３以上の整数）の行列態様に配置されるｍ×ｎ個の検出エリアを前記被写界に割り当て、前記加算手段の加算処理は当該ｍ×ｎ個の検出エリアにそれぞれ対応するｍ×ｎ個の検出結果のうち少なくとも１つに基づく、撮像装置。

Images