JP5241403B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5241403B2
JP5241403B2 JP2008245457A JP2008245457A JP5241403B2 JP 5241403 B2 JP5241403 B2 JP 5241403B2 JP 2008245457 A JP2008245457 A JP 2008245457A JP 2008245457 A JP2008245457 A JP 2008245457A JP 5241403 B2 JP5241403 B2 JP 5241403B2
Authority
JP
Japan
Prior art keywords
image
blur
correction lens
drive
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008245457A
Other languages
English (en)
Other versions
JP2010078765A (ja
Inventor
靖博 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008245457A priority Critical patent/JP5241403B2/ja
Publication of JP2010078765A publication Critical patent/JP2010078765A/ja
Application granted granted Critical
Publication of JP5241403B2 publication Critical patent/JP5241403B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に関し、特に、手ぶれ補正技術に関する。
手ブレ補正技術は、手ブレに由来する画像のブレを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。
手ブレ補正の一種として光学式ブレ補正が提案されている。光学式ブレ補正では、ブレ検出信号に基づいて撮像部の光学系内に配置された補正レンズを光軸に直交する面に沿って移動させることにより、撮像素子上の像ブレを補正し、これによってブレの少ない画像を取得する。尚、補正レンズの代わりに撮像素子又はバリアングルプリズムを駆動対象として取り扱い、ブレ検出信号に基づいて撮像素子又はバリアングルプリズムを駆動することにより光学式ブレ補正を実現することもできる。
機構的制約により、補正レンズが移動可能な範囲には制限があり、補正レンズは所定の可動範囲の中心を起点として、その可動範囲内においてにのみ移動可能である。撮像素子又はバリアングルプリズムを駆動対象として用いる場合も同様である。従って、手ブレが大きく、撮影画像の露光期間中に手ブレ量が駆動対象の駆動限界を超えてしまった場合、駆動対象の駆動限界を超えた部分に対しては、光学式ブレ補正が働かない。
一方、他の手ブレ補正として、画像復元処理を用いた復元式ブレ補正が提案されている。復元式ブレ補正では、撮影画像の露光期間中におけるブレ検出信号に基づいて、画像劣化関数としての点広がり関数(Point Spread Function)を求め、点広がり関数の逆関数を用いた畳み込み演算を撮影画像に対して施すことで撮影画像に含まれるブレを除去する。
上述の光学式ブレ補正と復元式ブレ補正を組み合わせたようなブレ補正方法も、提案されている(例えば、特許文献1参照)。光学式ブレ補正では、ブレ検出センサの検出結果に基づいて補正レンズの駆動目標位置が求められ、その駆動目標位置に向かって補正レンズが駆動されるが、温度ドリフト等に由来するブレ検出センサの検出誤差の影響により、駆動目標位置と補正レンズの実駆動位置との間には差が生じる。特許文献1の方法では、この差に相当するブレを事後的に復元式ブレ補正によって除去しようとしている。
特開2004−239962号公報
上述したように、撮影画像の露光期間中に手ブレ量が駆動対象の駆動限界を超えてしまった場合、駆動対象の駆動限界を超えた部分に対しては光学式ブレ補正が働かず、結果、得られた画像に大きなブレが含まれてしまうという問題があった。特許文献1の方法を含む従来方法では、この問題に対応することはできない。つまり、光学式ブレ補正を利用する従来方法においては、手ブレ量が駆動対象の駆動限界を超えるような大きな手ブレに対応することが困難であった。
そこで本発明は、大きな手ブレにも対応することができるブレ補正機能を備えた撮像装置を提供することを目的とする。
本発明に係る第1の撮像装置は、設定された露光期間において、撮像面に結像された被写体像を撮像することにより原画像を取得する撮像素子と、前記被写体像を前記撮像面に結像させる光学系と、当該撮像装置に加わる装置ブレを検出し、その検出結果を表すブレ検出信号を出力するブレ検出部と、前記撮像素子又は前記光学系内の補正用部材を駆動対象として取り扱い、前記露光期間中において、前記ブレ検出信号に基づいて前記駆動対象を駆動することにより前記装置ブレに由来する前記原画像上のブレを光学補正するブレ補正部と、前記駆動対象の駆動量が所定の駆動限界量に達したか否かを監視し、前記駆動量が前記駆動限界量に達していることが確認された場合、前記駆動対象の駆動を停止する駆動停止部と、前記露光期間内であって且つ前記駆動対象の駆動が停止している期間をブレ残存期間として取り扱い、前記ブレ残存期間における前記ブレ検出信号に基づき、前記ブレ残存期間中の装置ブレに由来する前記原画像上のブレを画像処理によって補正する画像処理部と、を備えたことを特徴とする。
駆動対象の駆動量が駆動限界量に達した場合、駆動対象の駆動が停止される。駆動対象の駆動が停止されている期間中の装置ブレによって原画像上にブレが生じるが、そのブレは、その期間中のブレ検出信号に基づいて画像処理により除去される。このように撮像装置を形成すれば、駆動対象の駆動限界を超えるような装置ブレにも対応することが可能となる。
そして例えば、第1の撮像装置は、前記装置ブレに由来する前記原画像上のブレを前記駆動対象の駆動によって完全に補正するために必要な、前記駆動対象の必要駆動量を、前記ブレ検出信号に基づいて求める必要駆動量導出部と、前記必要駆動量に1以下の重み付け係数を乗じることにより指令駆動量を導出する補正強度制御部と、を更に備え、前記補正強度制御部は、前記露光期間の全部又は一部に対する前記重み付け係数を1未満に設定し、前記ブレ補正部は、前記露光期間中において、前記駆動対象の実際の駆動量が前記指令駆動量に追従するように前記駆動対象を駆動することにより前記装置ブレに由来する前記原画像上のブレの一部を補正し、前記画像処理部は、前記必要駆動量と前記指令駆動量との差に由来する前記原画像上の残りのブレを補正する処理を、前記画像処理に含める。
本発明に係る第2の撮像装置は、設定された露光期間において、撮像面に結像された被写体像を撮像することにより原画像を取得する撮像素子と、前記被写体像を前記撮像面に結像させる光学系と、前記撮像装置に加わる装置ブレを検出し、その検出結果を表すブレ検出信号を出力するブレ検出部と、当該撮像素子又は前記光学系内の補正用部材を駆動対象として取り扱い、前記露光期間中において、前記ブレ検出信号に基づいて前記駆動対象を駆動することにより前記装置ブレに由来する前記原画像上のブレを光学補正するブレ補正部と、前記装置ブレに由来する前記原画像上のブレを前記駆動対象の駆動によって完全に補正するために必要な、前記駆動対象の必要駆動量を、前記ブレ検出信号に基づいて求める必要駆動量導出部と、前記必要駆動量に1以下の重み付け係数を乗じることにより指令駆動量を導出する補正強度制御部と、を備えた撮像装置であって、前記補正強度制御部は、前記露光期間の全部又は一部に対する前記重み付け係数を1未満に設定し、前記ブレ補正部は、前記露光期間中において、前記駆動対象の実際の駆動量が前記指令駆動量に追従するように前記駆動対象を駆動することにより前記装置ブレに由来する前記原画像上のブレの一部を補正し、当該撮像装置は、前記必要駆動量と前記指令駆動量との差に由来する前記原画像上の残りのブレを画像処理によって補正する画像処理部を更に備えたことを特徴とする。
これにより、駆動対象の駆動限界を仮想的に拡大することができ、結果、より大きな装置ブレにも対応することが可能となる。また、駆動限界付近で駆動対象を駆動すると画質面での問題も生じうるが、上記の如く重み付け係数を導入することにより駆動限界付近で駆動対象が駆動される可能性が低減されるため、画質面での問題も抑制される。
具体的には例えば、第1又は第2の撮像装置において、前記補正強度制御部は、前記露光期間の長さに応じて前記重み付け係数を設定するとよい。
一般的に、露光期間の長さが増大すれば露光期間中において駆動対象が駆動限界に達しやすくなる。上記の如く、露光期間の長さに応じて重み付け係数を設定するようにすれば、露光期間中において駆動対象が駆動限界に達する或いは近づく可能性を低減することができる。
また例えば、第1又は第2の撮像装置において、前記補正強度制御部は、前記駆動対象の駆動量が所定の駆動限界量に近づくにつれて前記重み付け係数を減少させてもよい。
これにより、露光期間中において駆動対象が駆動限界に達する或いは近づく可能性を低減することができる。
また例えば、第1又は第2の撮像装置において、前記補正強度制御部は、前記ブレ検出信号に基づき、前記原画像上の残りのブレが非等速のブレとなるように前記重み付け係数を調整してもよい。
これにより、画像処理部によるブレ(劣化)の補正効果が高まる。
また例えば、第1又は第2の撮像装置において、前記撮像素子による前記被写体像の撮像を複数回実行することによって、前記撮像素子にて複数の原画像が取得され、前記ブレ補正部は、前記複数の原画像の夫々に対して前記光学補正を実行してもよく、前記画像処理部は、前記複数の原画像の夫々に対して前記画像処理を実行してもよい。そして、第1又は第2の撮像装置に、前記画像処理後の複数の原画像を合成する画像合成部を更に設けても良い。
本発明によれば、大きな手ブレにも対応することができるブレ補正機能を備えた撮像装置を提供することが可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第1〜第6実施形態を説明するが、まず、各実施形態に共通する事項又は各実施形態にて参照される事項について説明する。
図1は、本発明の実施形態に係る撮像装置1の全体ブロック図である。撮像装置1は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。
撮像装置1は、撮像部11と、AFE(Analog Front End)12と、主制御部13と、内部メモリ14と、表示部15と、記録媒体16と、操作部17と、ブレ検出部18と、を備えている。操作部17には、シャッタボタン17aが備えられている。主制御部13には、光学式ブレ補正制御部21及び画像復元処理部22が備えられる。
図2に、撮像部11の内部構成図を示す。撮像部11は、光学系35と、絞り32と、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子33と、光学系35や絞り32を駆動制御するためのドライバ34と、位置センサ36と、を備えている。光学系35は、ズームレンズ30、フォーカスレンズ31及び補正レンズLCを含む複数枚のレンズから形成される。光学系35は、被写体を表す光学像(被写体像)を撮像素子33の撮像面上に結像させる。光学系35には、更に、反射鏡やプリズムが含まれうる。撮像部11は、撮像装置1の筐体(不図示)に対して固定されている。以下の説明において、撮像面とは、撮像素子33における撮像面を指す。
撮像素子33は、光学系35(レンズ30、31及びLCを含む)及び絞り32を介して入射した被写体を表す光学像(被写体像)を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の受光画素を備え、夫々の撮影において、各受光画素は露光期間の長さに応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置1内で生成される駆動パルスに従って順次AFE12に出力される。以下の説明における「露光」とは、撮像素子33の露光を意味するものとする。
ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。ドライバ34は、主制御部13からの駆動信号に基づいてズームレンズ30及びフォーカスレンズ31の各位置並びに絞り32の開度を駆動制御することにより、光学系35の焦点距離及び焦点位置並びに撮像素子33への入射光量を制御する。光軸とは、光学系35(補正レンズLC)の光軸を指す。
補正レンズLCは、光軸に直交する方向に移動可能である。即ち、補正レンズLCは、光軸に直交する面に沿って移動することが可能となるように、光学系35内に配置されている。ドライバ34は、主制御部13内の光学式ブレ補正制御部21から出力される補正レンズ駆動信号に基づいて補正レンズLCを上記面上で移動させることにより、いわゆる光学式ブレ補正を実現する。
図2の位置センサ36は、ホールセンサ等から成り、光学系35内における補正レンズLCの位置を検出して、その検出した位置を表す位置検出信号を光学式ブレ補正制御部21に出力する。補正レンズLCの位置とは、光軸に直交する面上における、補正レンズLCの中心位置を指す。補正レンズLCの位置を、以下、補正レンズ位置とも呼ぶ。
AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号を、順次、主制御部13に出力する。
主制御部13は、AFE12の出力信号に基づいて、撮像部11によって撮影された画像(以下、撮影画像という)を表す映像信号を生成する。また、主制御部13は、表示部15の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部15に対して行う。
内部メモリ14は、SDRAM(Synchronous Dynamic Random Access Memory)等にて形成され、撮像装置1内で生成された各種データを一時的に記憶する。表示部15は、液晶ディスプレイパネル等から成る表示装置であり、主制御部13の制御の下、撮影された画像や記録媒体16に記録されている画像などを表示する。記録媒体16は、SD(Secure Digital)メモリカード等の不揮発性メモリであり、主制御部13による制御の下、撮影画像などを記憶する。
操作部17は、外部からの操作を受け付ける。操作部17に対する操作内容は、主制御部13に伝達される。シャッタボタン17aは、静止画像の撮影及び記録を指示するためのボタンである。シャッタボタン17aを押下することによって静止画像の撮影及び記録が指示される。
ブレ検出部18は、撮像装置1のブレを検出する。撮像装置1のブレは、主として手ブレよって生じる。よって、以下の説明では、撮像装置1のブレを手ブレ(装置ブレ)と称する。
図3に、ブレ検出部18の内部ブロック図を示す。図3のブレ検出部18は、所定のサンプリング周期(例えば、1/1000秒の周期)にて撮像装置1のヨー方向(水平方向)の角速度を検出して、その検出結果を表す信号を出力する角速度センサ41と、上記サンプリング周期にて撮像装置1のピッチ方向(垂直方向)の角速度を検出して、その検出結果を表す信号を出力する角速度センサ42と、角速度センサ41及び42の出力信号を補正及び統合することによりブレ検出信号を作成して出力するセンサ信号補正部43と、を備える。角速度センサ41及び42は撮像装置1の筐体に対して固定されている。
ヨー方向とピッチ方向は、互いに直交し、且つ、光軸にも直交する。撮像装置1にヨー方向の手ブレを与えれば、光軸は水平面に平行な面上で回転し、撮像装置1にピッチ方向の手ブレを与えれば、光軸は鉛直面に平行な面上で回転する。ヨー方向の手ブレによって撮像素子33の撮像面上に結像する像は撮像面上で左右方向(撮像面の水平方向)に移動し、ピッチ方向の手ブレによって撮像素子33の撮像面上に結像する像は撮像面上で上下方向(撮像面の垂直方向)に移動する。補正レンズLCの位置が固定されていると仮定した場合において、注目した撮影画像の露光期間中に撮像装置1に手ブレが加われば、その手ブレに由来して撮像素子33上の光学像(被写体像)がぶれる。即ち、撮像素子33の撮像面上で像ブレが生じ、結果、注目した撮影画像にブレが含まれることとなる。
光学式ブレ補正では、このようなブレが注目した撮影画像に含まれなくなるように、即ち、撮像装置1に作用した手ブレに由来する撮像素子33上の像ブレが生じなくなるように、注目した撮影画像の露光期間中におけるブレ検出信号に基づいて補正レンズ駆動信号を生成する。補正レンズ駆動信号は、補正レンズLCの位置を指定する信号又は補正レンズLCの移動量を指定する信号である。
角速度センサ41及び42による角速度の検出結果は、角速度センサ41及び42の周辺温度によって変化しうる。その周辺温度の変化に由来する、角速度センサ41及び42の出力信号の変化を温度ドリフトと呼ぶ。センサ信号補正部43では、この温度ドリフトを除去する補正(以下、温度ドリフト補正と呼ぶ)が実行される。角速度センサ41及び42の周辺温度の変化は比較的緩やかであるため、角速度センサ41及び42の出力信号に含まれる低周波成分を除去するハイパスフィルタを用いれば、温度ドリフトを除去することができる。但し、ハイパスフィルタを用いた場合、温度ドリフトの信号成分だけでなく、温度ドリフト以外の信号成分にも信号減衰が生じるため、温度ドリフト以外の信号成分における信号減衰を補償する補正を温度ドリフト補正に含める。
ブレ検出信号は、光学式ブレ補正が行われていないと仮定した上で、撮像装置1に作用した手ブレの軌跡を、撮像素子33上の像のブレの軌跡に変換した信号である。ズームレンズ30を移動させることによって光学ズーム倍率を変化させれば、光学系35の焦点距離も変化する。光学系35の焦点距離が変化すれば、撮像装置1に作用した手ブレ量が一定であっても、撮像素子33上の像のブレ量は変化する。センサ信号補正部43では、ブレ検出信号が指し示す撮像素子33上の像のブレ量が、焦点距離の変化によって変化しないように、光学系35の焦点距離に基づいて角速度センサ41及び42の出力信号に補正(以下、焦点距離補正という)を加える。
センサ信号補正部43は、角速度センサ41及び42の出力信号に対して上記の温度ドリフト補正及び焦点距離補正を施し、それらの補正後の角速度センサ41及び42の出力信号から形成されるブレ検出信号を出力する。
光学式ブレ補正の実現時において、補正レンズ駆動信号はブレ検出信号から生成され、補正レンズ駆動信号に従って補正レンズLCは移動せしめられる。ここで、撮像装置1に作用する手ブレ、ブレ検出信号、補正レンズ駆動信号及び補正レンズ位置の関係を説明する。
この関係の説明において、図4(a)及び(b)に示す如く、実空間上で静止した点光源300からの光が光学系35を介して撮像素子33の撮像面上に結像することにより、点像301が撮像面上に形成されることを想定する。また、説明の簡略化上、或る注目期間中において、手ブレにより一定の回転方向に撮像装置1が回転した場合を考える。この場合、補正レンズLCが固定されていると仮定したならば、点像301は、注目期間中において、撮像面上を一定方向に移動する。図4(b)の矢印302は、この移動の様子を示している。このような、補正レンズLCが固定されていると仮定した場合における、撮像面上の点像301の移動の軌跡を手ブレ軌跡と呼ぶ。
ブレ検出信号は、この手ブレ軌跡を示す信号である。ブレ検出信号は、上記サンプリング周期にて離散化されたデジタル信号である。サンプリング周期と一致する単位区間ごとに点像301の移動軌跡を求めて、注目期間中に属する各単位区間の点像301の移動軌跡を繋ぎ合わせれば、注目期間中における手ブレ軌跡が定まる。例えば、注目期間が第1〜第4単位区間から形成されている場合において、第1〜第4単位区間における点像301の移動軌跡がそれぞれ図5(a)の移動軌跡311〜314であった場合、移動軌跡311〜314を時系列上に並べてそれらの終点と始点を繋ぎ合わせることにより、図5(b)に示すような、注目期間における手ブレ軌跡320が定まる。尚、注目期間が複数の単位区間から形成される場合を例示したが、注目期間は1つの単位区間と一致していると考えることもできる。
一方、図6(a)及び(b)は、光軸方向から見た補正レンズLCの外観平面図である。但し、図6(a)は、補正レンズ位置が初期位置Oと一致している時における補正レンズLCの外観平面図であり、図6(b)は、補正レンズ位置が初期位置Oと一致していない時における補正レンズLCの外観平面図である。補正レンズLCは初期位置Oを起点としつつ補正レンズ駆動信号に従って光軸に直交する面上を移動する。光軸に直交する面上に、互いに直交するX軸及びY軸を座標軸として有する二次元のXY座標面を定義する。X軸とY軸が交差する位置を初期位置Oとする。X軸及びY軸はそれぞれヨー方向(撮像面の水平方向)及びピッチ方向(撮像面の垂直方向)に対応する。
機構等の制限から、補正レンズLCの移動範囲には限界がある。図6(a)及び(b)における破線円330は、補正レンズLCが移動しうる位置の限界を表しており、それを駆動限界端と呼ぶ。
XY座標面上における駆動限界端330の外形は円であるとは限らないが、説明の具体化のため、その外形が真円であるとし、駆動限界端を駆動限界円とも呼ぶ。補正レンズLCは、駆動限界円330内又は駆動限界円330上にのみ、位置しうる。つまり、駆動限界円330上の位置を含む、駆動限界円330内の位置範囲が、補正レンズLCの可動範囲である。初期位置Oは、駆動限界円330の中心位置と合致している。駆動限界円330の半径をrにて表す。
光学式ブレ補正制御部21は、図6(b)に示すような補正レンズ位置が初期位置Oと一致していない状態を、図6(a)に示すような補正レンズ位置が初期位置Oと一致している状態へと戻す処理を実行可能である。この処理を、センタリング処理と呼ぶ。センタリング処理は、位置センサ36からの位置検出信号に基づき、補正レンズ位置を初期位置Oに戻すための補正レンズ駆動信号をドライバ34に出力することによって実現される。
注目期間の開始時において補正レンズ位置が初期位置Oと一致している場合を考える。そうすると、今の例において光学式ブレ補正を実現する場合、注目期間における点像301の移動が打ち消されるように、注目期間において補正レンズ位置は初期位置Oを起点として一定方向に移動させられる。この補正レンズ位置の移動方向が、X軸の正の方向と一致している場合を想定する。図7において、矢印340は、この補正レンズ位置の移動方向を表していると共に注目期間中における補正レンズ位置の移動軌跡を表している。
点像301の移動を完全に打ち消すための補正レンズ位置の移動軌跡を、全補正レンズ軌跡と呼ぶ。点像301の移動の一部のみが打ち消されるように、補正レンズ位置が制御されることもある。点像301の移動の一部のみを打ち消すための補正レンズ位置の移動軌跡を、部分補正レンズ軌跡と呼ぶ。注目期間において、全補正レンズ軌跡のXY座標面上における長さは、部分補正レンズ軌跡のそれよりも長い。補正レンズ駆動信号は、実際の補正レンズ位置の移動軌跡が全補正レンズ軌跡又は部分補正レンズ軌跡を描くようにブレ検出信号に基づいて作成される。以下、実際の補正レンズ位置の移動軌跡を、実レンズ軌跡と呼ぶ。
実レンズ軌跡が全補正レンズ軌跡と一致しない場合、シャッタボタン17aの押下に従って撮像素子33から得られた撮影画像は、画像復元処理部22が実行する画像復元処理によって補正される。以下、画像復元処理が施されていない撮影画像を原画像と呼び、画像復元処理後の撮影画像を復元補正画像と呼ぶ。画像復元処理については後述される。移動軌跡が全補正レンズ軌跡と一致しない場合、原画像の露光期間中において点像301は撮像面上で移動し、この移動に応じたブレが原画像に含まれる。
また、実レンズ軌跡が全補正レンズ軌跡と一致する場合における、補正レンズLCの移動量(換言すれば、補正レンズ位置の移動量)を必要移動量と呼ぶ。補正レンズLCの移動量を補正レンズLCの駆動量と読み替えると共に、必要移動量を必要駆動量と読み替えることもできる。必要移動量は、手ブレに由来する原画像上のブレ(即ち、原画像上における点像301のブレ)を補正レンズLCの移動によって完全に除去するために必要な、補正レンズLCの移動量を指す。ブレ検出信号から手ブレ軌跡及び全補正レンズ軌跡が定まり、全補正レンズ軌跡が決まれば必要移動量も決まるため、光学式ブレ補正制御部21は、ブレ検出信号から必要移動量を決定することができる。
原画像の露光期間中の各単位区間において、補正レンズLCの移動量を必要移動量に一致させれば、手ブレに由来する点像301のブレは原画像上に全く存在しなくなる(但し、補正の誤差を無視)。図8(b)の画像352は、原画像の露光期間中の各単位区間において、補正レンズLCの移動量を必要移動量に一致させた場合に得られる原画像を表している。他方、図8(a)の画像351は、原画像の露光期間中に補正レンズLCを固定していた場合に得られる原画像を表している。原画像351上において、点像301は、原画像の露光期間の長さ分のブレ軌跡361を描く。
また、必要移動量に重み付け係数kwを乗じることにより得た移動量を、指令移動量(指令駆動量)と呼ぶ。ここで、0<kw≦1である。kwが1である時、必要移動量と指令移動量は一致し、kwが1未満である時、指令移動量は必要移動量より小さい。仮に、必要移動量に従う補正レンズ位置の移動量が1であるとしたならば、指令移動量に従う補正レンズ位置の移動量はkwである。光学式ブレ補正制御部21は、ブレ検出信号から決定した必要移動量に重み付け係数kwを乗じることで指令移動量を決定することができる。
原画像の露光期間中の各単位区間において、重み付け係数kwに1未満の値を設定すると共に補正レンズLCの移動量を指令移動量に一致させれば、手ブレに由来する点像301のブレの一部のみが補正される。図8(c)の画像353は、重み付け係数kwに1未満の値を設定した上で、原画像の露光期間中の各単位区間において補正レンズLCの移動量を指令移動量に一致させた場合に得られる原画像を表している。原画像353上において、点像301は手ブレ軌跡363を描く。補正レンズLCの移動量以外の撮影条件が原画像351及び353間で同じであるなら、ブレ軌跡363の長さに相当する、原画像353上における点像301のブレの長さは、ブレ軌跡361の長さに相当する、原画像351上における点像301のブレの長さの(1−kw)倍である。
1未満の重み付け係数kwを用いて得た指令移動量に従って補正レンズ位置を駆動した場合、実レンズ軌跡は部分補正レンズ軌跡を描く。また、半径rが無限大であると仮定したらならば、必要移動量に従って補正レンズ位置を駆動すると、実レンズ軌跡は全補正レンズ軌跡を描く。但し、実際は、必要移動量に従って補正レンズ位置を駆動しようとしても、半径rは有限の値を持つため、実レンズ軌跡が部分補正レンズ軌跡を描くこともある。
上述の全補正レンズ軌跡及び必要移動量は、駆動限界円330の存在を無視した上で定められる。即ち、実際は所定値を有する半径rが無限大であると仮定した上で、全補正レンズ軌跡及び必要移動量は定められる。また、部分補正レンズ軌跡も、場合によっては、駆動限界円330の存在を無視した上で定められる。
以下の説明では、指令移動量にて補正レンズLCを移動させるための補正レンズ駆動信号が光学式ブレ補正制御部21にて生成及び出力されるものとする。従って、補正レンズ駆動信号はブレ検出信号及び重み付け係数kwに基づいて生成される。上述の説明から明らかなように、kw=1であるなら指令移動量と必要移動量は一致するため、光学式ブレ補正制御部21からの補正レンズ駆動信号によって実レンズ軌跡は全補正レンズ軌跡と一致する一方(但し、駆動限界円330の存在を無視)、kw<1であるなら実レンズ軌跡は全補正レンズ軌跡と一致しない。
尚、撮像装置1のブレ方向が一定である場合、補正レンズLCの移動量、必要移動量及び指令移動量は一次元量であると考えても差し支えないが、実際は、それらはX軸成分及びY軸成分を有する二次元量(大きさと向きを有する二次元量)である。移動量、必要移動量及び指令移動量を一次元量であると仮定した時の考え方が、それらのX軸成分及びY軸成分の夫々に対して適用される。例えば、或る単位区間において、必要移動量のX軸成分及びY軸成分が夫々「10」及び「6」であって且つ重み付け係数kwが0.5であるなら、10×0.5=5且つ6×0.5=3より、その必要移動量に基づく指令移動量のX軸成分及びY軸成分は夫々「5」及び「3」となる。
注目した原画像に対して 実レンズ軌跡が全補正レンズ軌跡と一致しない場合(換言すれば、実レンズ軌跡が部分補正レンズ軌跡と一致する場合)、全補正レンズ軌跡と実レンズ軌跡との差に相当するブレが、注目した原画像に残存する。この残存しているブレを残存ブレと呼ぶ。画像復元処理部22は、注目した原画像に残存ブレが含まれている場合、その注目した原画像に対して画像復元処理を施すことで、残存ブレが除去された復元補正画像を生成する。このような画像復元処理によるブレ補正は、復元式ブレ補正と呼ばれる。
図8(c)の原画像353を例にとり、この画像復元処理について説明する。原画像353に含まれた残存ブレは、ブレ軌跡363によって表される。ブレ軌跡363は、原画像353の露光期間中に点像301が撮像面(原画像353)上で移動した軌跡を表している。手ブレに由来する点像301の移動(ブレ)は、原画像353に対して与えられた劣化とみなすことができる。この劣化の過程を表す関数又は空間フィルタは、点広がり関数(Point Spread Function;以下、PSFという)と呼ばれる。ブレ検出信号から手ブレ軌跡及び全補正レンズ軌跡が定まる一方で補正レンズ駆動信号又は位置検出信号から実レンズ軌跡が定まり、且つ、全補正レンズ軌跡と実レンズ軌跡との差に相当するブレ軌跡363によってPSFが定まるため、画像復元処理部22は、原画像353の露光期間中におけるブレ検出信号と補正レンズ駆動信号又は位置検出信号とから、原画像353に対するPSFを求めることができる。
画像復元処理部22は、このPSFの逆関数を用いた畳み込み演算を原画像353に対して施すことで原画像353に含まれる残存ブレを除去する。この除去によって得られた画像が、原画像353に対する復元補正画像である。実際には、画像復元処理部22は、二次元空間フィルタである画像復元フィルタにて構成され、求めたPSFとしての空間フィルタの逆フィルタを画像復元フィルタとして用いて原画像353をフィルタリングすることで復元補正画像を生成する。
以下、撮像装置1の手ブレ補正の具体的な実施形態として、第1〜第6実施形態を説明する。矛盾が生じない限り、或る実施形態に記載した事項を他の実施形態に適用することもできる。但し、或る実施形態に記載の事項を他の実施形態に適用する場合、同一名称物についての符号の相違(例えば、原画像における符号I1とI2の相違)は適宜無視される。尚、説明の具体化及び明確化のため、後述の各実施形態において、撮像装置1の被写体に上述の点光源300が含まれているものとする。
<<第1実施形態>>
まず、第1実施形態を説明する。第1実施形態において取得されるべき原画像を符号I1によって表し、原画像I1から生成される復元補正画像を符号C1にて表す。第1実施形態では、kw=1であるとする。
原画像I1の露光期間中、手ブレにより撮像装置1が一定方向に回転しつづけた場合を想定する。図9において、破線501は原画像I1に対する全補正レンズ軌跡の全体像を示しており、実線502は原画像I1に対する実レンズ軌跡の全体像を示している。図10は、原画像I1の露光期間周辺のタイミング関係を示している。時刻tA1、tA2及びtA3の順番で時間が進行するものとする。即ち、時刻tA(i+1)は、時刻tAiよりも後に訪れる時刻である(iは整数)。
シャッタボタン17aが押下された際、主制御部13は、光学系35を介して撮像素子33に入射する光量に基づき、1枚の静止画像を得るための最適な露光時間(換言すれば、露光期間の長さの最適値)TEPを設定する。撮像素子33への入射光量は、それを測定する測光センサ(不図示)を用いて、或いは、シャッタボタン17aの押下直前又は押下直後におけるAFE12の出力信号を用いて検出される。
シャッタボタン17aの押下後、時刻tA1に至る。光学式ブレ補正制御部21は、時刻tA1に至る直前にセンタリング処理を1回実行する。従って、時刻tA1においては、補正レンズ位置は初期位置Oと一致(或いは略一致)している。このセンタリング処理の実行後、時刻tA1にて原画像I1を得るための露光が開始され、時刻tA3にて原画像I1を得るための露光が終了する。原画像I1の露光期間の長さはTEPに設定される。従って、時刻tA1及びtA3間の時間長さはTEPである。全補正レンズ軌跡501は、原画像I1の露光期間中におけるブレ検出信号(即ち、時刻tA1及びtA3間のブレ検出信号)から定まる軌跡である。
光学式ブレ補正制御部21は、原画像I1の露光期間中、補正レンズ駆動信号又は位置検出信号を監視することにより、補正レンズ位置を監視する。上述したように、補正レンズ駆動信号は補正レンズ位置を指定する信号又は補正レンズLCの移動量を指定する信号であり、位置検出信号は補正レンズ位置の検出結果を表す信号であるため、補正レンズ駆動信号又は位置検出信号から、原画像I1の露光期間中の任意時点における補正レンズ位置が分かる(必要に応じて、時刻tA1における補正レンズ位置が初期位置Oと一致していることが利用される)。
時刻tA1において補正レンズ位置は初期位置Oと一致していたが、ブレ検出信号に基づく補正レンズ駆動信号に従い、時刻tA1から時刻tA2に向かうにつれて、補正レンズ位置はXY座標面上を一定方向に移動していく。kw=1であるため、時刻tA1及びtA2間において、点像301の移動が完全に打ち消されるように補正レンズ駆動信号が作成される。そして、時刻tA2において、補正レンズ位置が駆動限界円330上の位置503に達したとする。
このような場合、図9に示す如く、全補正レンズ軌跡501の一部は駆動限界円330外に位置する。即ち、全補正レンズ軌跡501の内、時刻tA1及びtA2間の全補正レンズ軌跡は駆動限界円330内に位置するが、時刻tA2及びtA3間の全補正レンズ軌跡は駆動限界円330外に位置する。
光学式ブレ補正制御部21は、原画像I1の露光期間中、補正レンズ位置を監視することにより補正レンズ位置が駆動限界円330上の位置に達したか否かを判断する。そして、補正レンズ位置が駆動限界円330上の位置に達していない場合は、重み付け係数kw及びブレ検出信号から点像301の移動が打ち消されるように補正レンズ駆動信号を出力する一方、補正レンズ位置が駆動限界円330上の位置に達していると判断した場合は、その位置で補正レンズLCを停止させる。即ち、光学式ブレ補正制御部21は、初期位置Oから見た補正レンズLCの移動量(移動量の大きさ)が所定の駆動限界量(半径rに対応)に達したか否か判断し、前者が後者に達した場合、補正レンズLCを停止させる。
補正レンズLCを駆動限界円330上の位置503にて停止させた後、原画像I1の露光期間中に、全補正レンズ軌跡501上の位置が駆動限界円330内に戻れば、その後、再度、点像301の移動が打ち消されるように補正レンズ駆動信号を出力する。即ち、点像301の移動を打ち消すための補正レンズLCの駆動を再開する。
原画像I1の露光期間中であって且つ補正レンズLCが駆動限界円330上の位置にて停止している期間はブレ残存期間として取り扱われる。光学式ブレ補正制御部21は、ブレ残存期間におけるブレ検出信号を内部メモリ14又は記録媒体16に記録させる。
上述の補正レンズ位置を監視する処理、その監視結果に基づき補正レンズLCを停止させる処理、補正レンズLCの駆動を再開する処理、及び、補正レンズLCが停止している期間(ブレ残存期間)中においてブレ検出信号を記録する処理、を含む処理を駆動限界用処理と呼ぶ。
今の例においては、時刻tA2において補正レンズ位置が位置503に達した後、時刻tA2及びtA3間において補正レンズ位置は位置503に固定される。結果、時刻tA2及びtA3間において点像301は撮像面上で移動し、時刻tA2及びtA3間におけるブレ検出信号は内部メモリ14又は記録媒体16に記録される。
時刻tA3以降において原画像I1の画像データがAFE12から取得されると、画像復元処理部22は、画像復元処理によって原画像I1から復元補正画像C1を生成する。即ち、内部メモリ14又は記録媒体16に記録された時刻tA2及びtA3間におけるブレ検出信号に基づいて、時刻tA2及びtA3間における点像301の移動軌跡を表すPSFを求める。このPSFによって、時刻tA2及びtA3間の手ブレに由来する原画像I1上の残存ブレが表される。画像復元処理部22は、求めたPSFの逆関数を空間フィルタとして表現した画像復元フィルタを用いて原画像I1をフィルタリングし、フィルタリング後の画像を復元補正画像C1として出力する。復元補正画像C1の画像データは記録媒体16に記録される。
尚、上述の説明において、全補正レンズ軌跡が駆動限界円330外に位置している期間(即ち、時刻tA2と時刻tA3との間の期間)においてブレ検出信号を内部メモリ14又は記録媒体16に記録すると述べたが、それ以外の期間のブレ検出信号も記録するようにしても構わない。例えば、原画像の露光期間の開始時点又は開始前からブレ検出信号の記録を開始し、原画像の露光期間の終了時点又はそれ以降において、ブレ検出信号の記録を終了するようにしても構わない。
光学式ブレ補正では、機構的制限により、手ブレ補正が有効に働く手ブレ量に限界がある。特に、露光時間TEPが長い場合は露光期間中に生じる総手ブレ量が比較的大きくなるため、光学式ブレ補正のみで対応することが難しくなる。第1実施形態によれば、手ブレ量が限界量を超えたとしても、手ブレ量が限界量を超えた分は画像復元処理によって補正されるため、より大きな手ブレに対応することが可能となる(従来では難しかった、長い露光時間に対する手ぶれ補正が可能となる)。
<<第2実施形態>>
次に、第2実施形態を説明する。第2実施形態において取得されるべき原画像を符号I2によって表し、原画像I2から生成される復元補正画像を符号C2にて表す。第2実施形態では、kw=1であるとする。第2実施形態において実行される撮像装置1の処理内容は、第1実施形態のそれと同様である。但し、第2実施形態では、原画像I2の露光期間中に、一度、全補正レンズ軌跡が駆動限界円330外に出た後、再度、駆動限界円330内に戻る場合を想定する。
図11において、破線にて描かれた折れ線521は原画像I2に対する全補正レンズ軌跡の全体像を示しており、実線にて描かれた折れ線522は原画像I2に対する実レンズ軌跡の全体像を示している。図12は、原画像I2の露光期間周辺のタイミング関係を示している。時刻tB1、tB2、tB3及びtB4の順番で時間が進行するものとする。即ち、時刻tB(i+1)は、時刻tBiよりも後に訪れる時刻である(iは整数)。
シャッタボタン17aが押下された際、第1実施形態で述べた方法に従って露光時間TEPが設定される。シャッタボタン17aの押下後、時刻tB1に至る。光学式ブレ補正制御部21は、時刻tB1に至る直前にセンタリング処理を1回実行する。従って、時刻tB1においては、補正レンズ位置は初期位置Oと一致(或いは略一致)している。このセンタリング処理の実行後、時刻tB1にて原画像I2を得るための露光が開始され、時刻tB4にて原画像I2を得るための露光が終了する。原画像I2の露光期間の長さはTEPに設定される。従って、時刻tB1及びtB4間の時間長さはTEPである。全補正レンズ軌跡521は、原画像I2の露光期間中におけるブレ検出信号(即ち、時刻tB1及びtB4間のブレ検出信号)から定まる軌跡である。
光学式ブレ補正制御部21は、原画像I2の露光期間中、補正レンズ駆動信号又は位置検出信号を監視することにより補正レンズ位置を監視する。時刻tB1において補正レンズ位置は初期位置Oと一致していたが、ブレ検出信号に基づく補正レンズ駆動信号に従い、時刻tB1及びtB2間において補正レンズ位置は初期位置Oから駆動限界円330上の位置523に向かって移動し、時刻tB2において補正レンズ位置が位置523に達したとする。尚、kw=1であるため、時刻tB1及びtB2間においては、点像301の移動が完全に打ち消されるように補正レンズ駆動信号が作成される。
更に、時刻tB2及びtB3間において手ブレの方向が変わることにより、時刻tB3以降において、全補正レンズ軌跡521上の位置が駆動限界円330内に存在することになったとする。このような場合、図11に示す如く、全補正レンズ軌跡521の内、時刻tB1及びtB2間の全補正レンズ軌跡並びに時刻tB3及びtB4間の全補正レンズ軌跡は駆動限界円330内に位置するが、時刻tB2及びtB3間の全補正レンズ軌跡は駆動限界円330外に位置する。
光学式ブレ補正制御部21は、原画像I2の露光期間中において補正レンズ位置を監視する処理を含む、上述の駆動限界用処理を実行する。従って、時刻tB2及びtB3間において補正レンズ位置は位置523にて固定され、時刻tB2及びtB3間におけるブレ検出信号は内部メモリ14又は記録媒体16に記録される。時刻tB2と時刻tB3との間の期間は、第2実施形態におけるブレ残存期間である。その後、時刻tB3及びtB4間に得られたブレ検出信号に基づく補正レンズ駆動信号に従い、時刻tB3及びtB4間において点像301の移動が打ち消されるように補正レンズ位置が制御される。時刻tB3における補正レンズ位置は位置523であるため、時刻tB3及びtB4間では位置523を起点として補正レンズ位置が移動せしめられる。
時刻tB4以降において原画像I2の画像データがAFE12から取得されると、画像復元処理部22は、画像復元処理によって原画像I2から復元補正画像C2を生成する。即ち、内部メモリ14又は記録媒体16に記録された時刻tB2及びtB3間におけるブレ検出信号に基づいて、時刻tB2及びtB3間における点像301の移動軌跡を表すPSFを求める。このPSFによって、時刻tB2及びtB3間の手ブレに由来する原画像I2上の残存ブレが表される。画像復元処理部22は、求めたPSFの逆関数を空間フィルタとして表現した画像復元フィルタを用いて原画像I2をフィルタリングし、フィルタリング後の画像を復元補正画像C2として出力する。復元補正画像C2の画像データは記録媒体16に記録される。
第2実施形態においても、第1実施形態と同様の効果が得られる。
<<第3実施形態>>
次に、第3実施形態を説明する。第3実施形態において取得されるべき原画像を符号I3によって表し、原画像I3から生成される復元補正画像を符号C3にて表す。第3実施形態において実行される撮像装置1の処理内容は、第1又は第2実施形態のそれと同様である。但し、第3実施形態では、kw<1であるとする。原画像I3の露光期間中において、重み付け係数kwは1未満の所定値に固定される。
図13において、破線にて描かれた折れ線541は原画像I3に対する全補正レンズ軌跡の全体像を示しており、実線にて描かれた折れ線542は原画像I3に対する部分補正レンズ軌跡の全体像を示している。図14は、原画像I3の露光期間周辺のタイミング関係を示している。時刻tC2は、時刻tC1よりも後に訪れる時刻である。
シャッタボタン17aが押下された際、第1実施形態で述べた方法に従って露光時間TEPが設定される。シャッタボタン17aの押下後、時刻tC1に至る。光学式ブレ補正制御部21は、時刻tC1に至る直前にセンタリング処理を1回実行する。従って、時刻tC1においては、補正レンズ位置は初期位置Oと一致(或いは略一致)している。このセンタリング処理の実行後、時刻tC1にて原画像I3を得るための露光が開始され、時刻tC2にて原画像I3を得るための露光が終了する。原画像I3の露光期間の長さはTEPに設定される。従って、時刻tC1及びtC2間の時間長さはTEPである。全補正レンズ軌跡541は、原画像I3の露光期間中におけるブレ検出信号(即ち、時刻tC1及びtC2間のブレ検出信号)から定まる軌跡である。
全補正レンズ軌跡541は、図11の全補正レンズ軌跡521と同じものである。全補正レンズ軌跡541と部分補正レンズ軌跡542は相似の関係にあり、全補正レンズ軌跡541の大きさに対する部分補正レンズ軌跡542の大きさの比はkwである。光学式ブレ補正制御部21は、原画像I3に対する実レンズ軌跡が部分補正レンズ軌跡542と一致するように補正レンズ駆動信号を生成する。部分補正レンズ軌跡542の全ては、駆動限界円330内に位置しているものとする。
時刻tC1において補正レンズ位置は初期位置Oと一致していたが、重み付け係数kw及びブレ検出信号に基づく補正レンズ駆動信号に従い、時刻tC1及びtC2間において、補正レンズ位置はXY座標面上を移動する。kw<1であるため、時刻tC1及びtC2間において、点像301の移動の一部が打ち消されるように補正レンズ駆動信号が作成される。結果、必要移動量のkw倍に相当するブレ(即ち、指令移動量に相当するブレ)は光学式ブレ補正によって除去されるが、必要移動量の(1−kw)倍に相当するブレ(即ち、必要移動量と指令移動量との差に相当するブレ)が原画像I3に残存する。上述したように、必要移動量とは、手ブレに由来する原画像上のブレ(即ち、原画像上における点像301のブレ)を補正レンズLCの移動によって完全に除去するために必要な、補正レンズLCの移動量を指す。
原画像I3の露光期間中であって且つ重み付け係数kwが1未満となっている期間はブレ残存期間として取り扱われる。駆動限界用処理を実行できるように光学式ブレ補正制御部21が形成されている場合は、原画像I3の露光期間中であって且つ補正レンズLCが駆動限界円330上の位置にて停止させられている期間も、ブレ残存期間に含められる。本例においては、時刻tC1と時刻tC2との間の期間がブレ残存期間である。光学式ブレ補正制御部21は、ブレ残存期間におけるブレ検出信号及びブレ残存期間における補正レンズ位置を特定する信号(即ち、補正レンズ駆動信号又は位置検出信号)を、内部メモリ14又は記録媒体16に記録する。この記録信号に基づけば、ブレ残存期間における全補正レンズ軌跡541及び実レンズ軌跡を特定することができると共に、両軌跡の比較から原画像I3に対するPSFが求まる。
時刻tC2以降において原画像I3の画像データがAFE12から取得されると、画像復元処理部22は、画像復元処理によって原画像I3から復元補正画像C3を生成する。即ち、内部メモリ14又は記録媒体16に記録されたブレ残存期間(時刻tC1と時刻tC2との間の期間)におけるブレ検出信号及びブレ残存期間における補正レンズ位置を特定する信号に基づいて、ブレ残存期間における点像301の移動軌跡を表すPSFを求める。このPSFによって、ブレ残存期間の手ブレに由来する原画像I3上の残存ブレが表される。画像復元処理部22は、求めたPSFの逆関数を空間フィルタとして表現した画像復元フィルタを用いて原画像I3をフィルタリングし、フィルタリング後の画像を復元補正画像C3として出力する。復元補正画像C3の画像データは記録媒体16に記録される。
尚、上述の例では、部分補正レンズ軌跡542の全てが駆動限界円330内に位置していることが想定されているため、第1及び第2実施形態で述べた駆動限界用処理は機能しないが、部分補正レンズ軌跡542の一部が駆動限界円330外に位置しうることを考慮し、駆動限界用処理を実行できるように光学式ブレ補正制御部21を形成しておくと良い。そして、仮に、時刻tC1と時刻tC2との間に第1及び第2時刻が存在し(但し、第2時刻は第1時刻の後の時刻)、第1時刻において補正レンズ位置が駆動限界円330上の特定位置に達したならば、その特定位置にて補正レンズを停止する。そして、第2時刻において部分補正レンズ軌跡542が駆動限界円330内に戻ったならば、上記特定位置を起点として、第2時刻と時刻tC2との間の期間における点像301の移動の一部が打ち消されるように、第2時刻と時刻tC2との間の期間におけるブレ検出信号及び重み付け係数kwに基づいて第2時刻と時刻tC2との間の期間における補正レンズ駆動信号を作成するとよい。
駆動限界用処理が実行された場合も、上述のようにして原画像I3に対するPSFの算出を介して復元補正画像C3が生成される。駆動限界用処理が実行された場合に求められるPSFには、時刻tC1と第1時刻との間及び第2時刻と時刻tC2との間の期間において重み付け係数kWを1未満に設定したことで生じた点像301の移動(以下、第1移動という)の様子と、第1時刻と第2時刻の間の期間において補正レンズ位置を上記特定位置に停止させたことで生じた点像301の移動(以下、第2移動という)の様子と、が反映される。この結果、そのPSFに基づく画像復元処理によって、点像301の第1移動に起因する原画像I3の残存ブレ(必要移動量と指令移動量との差に由来する残存ブレ)及び点像301の第2移動に起因する原画像I4の残存ブレ(補正レンズ位置を上記特定位置にて停止させたことに由来する残存ブレ)が共に除去される。
第3実施形態では、重み付け係数kWを1未満に設定し、これに由来して生じた残存ブレを画像復元処理によって除去する。重み付け係数kWを1未満に設定すれば、kW=1の場合と比較して補正レンズLCの移動量が小さくなり、機構的に定まる補正限界を仮想的に拡大することができる。結果、より大きな手ブレに対応することが可能となる。また、駆動限界円330付近に補正レンズLCを位置させると、画質面での問題(収差による画像劣化や変調伝達関数(Modulation Transfer Function;MTF)の劣化)が大きくなるが、kW<1とすることにより、駆動限界円330付近で補正レンズLCが駆動される可能性が低くなるため、画質面での問題も低減される。
重み付け係数kWの値を予め定められた値に設定することも可能であるが、露光時間TEPが増大するにつれて露光期間中の総手ブレ量が大きくなることを考慮し、重み付け係数kWの値を露光時間(即ち、露光期間の長さ)TEPに応じて設定するようにしてもよい。より具体的には、露光時間TEPが増大するに従ってkWの値が小さくなるように、重み付け係数kWの値を決定してもよい。これにより、重み付け係数kWに基づく部分補正レンズ軌跡の全体が駆動限界円330内に収まりやすくなる。このような重み付け係数kWの調整は、特に、駆動限界用処理を実施できるように光学式ブレ補正制御部21が形成されていない場合に有益である。
上述の、画質面での問題について補足説明する。光学式ブレ補正は、上述の如く補正レンズLCを駆動対象として用いることで実現できる。また、補正レンズLCの代わりに撮像素子33を駆動対象として用い、ブレ検出信号に基づいて撮像素子33を移動させることにより光学式ブレ補正を実現することもできる。また、補正レンズLCの代わりに光の屈折方向を変化させるバリアングルプリズム(可変頂角プリズム;不図示)を駆動対象として用い、ブレ検出信号に基づいてバリアングルプリズムによる光の屈折角を調整することにより光学式ブレ補正を実現することもできる。
補正レンズLCを駆動対象として用いて光学式ブレ補正を実現する場合、手ブレ補正時に偏心による収差が発生する。この収差は、撮影画像内に解像度(解像力)の差を生じさせる。手ブレ量が大きくなるにつれて補正レンズLCの移動量を増大させる必要があるが、補正レンズLCの移動量の増大は偏心による収差の増大を招き、結果、撮影画像の画質劣化を増大させる。また、バリアングルプリズムを駆動対象として用いて光学式ブレ補正を実現する場合、バリアングルプリズムによる光の屈折によって色収差が発生する。手ブレ量が大きくなるにつれてバリアングルプリズムによる光の屈折角の変化量(初期屈折角からの変化量)を増大させる必要があるが、屈折角の変化量の増大は色収差の増大を招き、結果、撮影画像の画質劣化を増大させる。撮像素子33を駆動対象として用いて光学式ブレ補正を実現する場合も、補正レンズ又はバリアングルプリズムを用いる場合と同様、撮像素子33の移動量の増大によって、撮影画像の画質劣化が増大する。
このように、光学式ブレ補正では、手ブレ量が増大するにつれて駆動対象の駆動量も大きくなり、結果、画質面での問題(収差による画像劣化や変調伝達関数の劣化)も大きくなる。このような問題は、駆動対象の駆動量が駆動限界付近にあるときに顕著となる。例えば、補正レンズLCが駆動対象である場合、補正レンズ位置が駆動限界円330に近づくにつれ収差が大きくなって画質面での課題が大きくなる。
<<第4実施形態>>
次に、第4実施形態について説明する。第3実施形態では、原画像の露光期間中において重み付け係数kWの値が固定されているが、その値を、原画像の露光期間中において変更することも可能である。重み付け係数kWの値の変更方法を、第4実施形態において説明する。
第4実施形態において取得されるべき原画像を符号I4によって表し、原画像I4から生成される復元補正画像を符号C4にて表す。図15において、破線にて描かれた折れ線561は原画像I4に対する全補正レンズ軌跡の全体像を示している。全補正レンズ軌跡561は、図11の全補正レンズ軌跡521と同じものである。図16は、原画像I4の露光期間周辺のタイミング関係を示している。時刻tD1、tD2、tD3及びtD4の順番で時間が進行するものとする。即ち、時刻tD(i+1)は、時刻tDiよりも後に訪れる時刻である(iは整数)。
シャッタボタン17aが押下された際、第1実施形態で述べた方法に従って露光時間TEPが設定される。シャッタボタン17aの押下後、時刻tD1に至る。光学式ブレ補正制御部21は、時刻tD1に至る直前にセンタリング処理を1回実行する。従って、時刻tD1においては、補正レンズ位置は初期位置Oと一致(或いは略一致)している。このセンタリング処理の実行後、時刻tD1にて原画像I4を得るための露光が開始され、時刻tD4にて原画像I4を得るための露光が終了する。原画像I4の露光期間の長さはTEPに設定される。従って、時刻tD1及びtD4間の時間長さはTEPである。全補正レンズ軌跡561は、原画像I4の露光期間中におけるブレ検出信号(即ち、時刻tD1及びtD4間のブレ検出信号)から定まる軌跡である。
時刻tD1において補正レンズ位置は初期位置Oと一致していたが、重み付け係数kw及びブレ検出信号に基づく補正レンズ駆動信号に従い、時刻tD1の後、補正レンズ位置はXY座標面上を移動する。光学式ブレ補正制御部21は、原画像I4の露光期間中、補正レンズ駆動信号又は位置検出信号を監視することにより補正レンズ位置を監視し、原画像I4の露光期間中における補正レンズ位置に応じて重み付け係数kwを動的に変更する。重み付け係数kwを動的に変更する具体例として、以下に、第1及び第2具体例を例示する。
[第1具体例]
第1具体例を説明する。XY座標面上において半径がr1であって且つ中心位置が初期位置Oと一致する円571を定義する。半径r1は、駆動限界円330の半径rよりも小さい(図6(a)参照)。第1具体例では、時刻tD1及びtD2間における補正レンズ位置が円571内に存在し、且つ、時刻tD2及びtD4間における補正レンズ位置が円571外であって且つ駆動限界円330内に存在している場合を想定する。この場合、時刻tD1及びtD2間に対する重み付け係数kwに所定値kwAを設定する一方、時刻tD2及びtD4間に対する重み付け係数kwに所定値kwBを設定する。但し、0<kwB<kwA≦1である。
そうすると、時刻tD1及びtD2間においては、点像301の移動の全部又は一部が打ち消されるように、値kwAを有する重み付け係数kwと時刻tD1及びtD2間のブレ検出信号に基づき補正レンズ駆動信号が作成される。一方、時刻tD2及びtD4間においては、点像301の移動の一部が打ち消されるように、値kwBを有する重み付け係数kwと時刻tD2及びtD4間のブレ検出信号に基づき補正レンズ駆動信号が作成される。結果、時刻tD1及びtD2間における必要移動量の(1−kwA)倍に相当するブレと、時刻tD2及びtD4間における必要移動量の(1−kwB)倍に相当するブレが原画像I4に残存する。
尚、露光時間TEPに応じて値kwA及び/又はkwBを変更してもよい。具体的には、露光時間TEPが増大するに従って値kwA及び/又はkwBを減少させても良い。また、露光時間TEPに応じて半径r1を変更しても良い。また、上述の想定とは異なるが、仮に、時刻tD3及びtD4間における補正レンズ位置が円571内に存在しているのであれば時刻tD3及びtD4間に対する重み付け係数kwは所定値kwAに設定される。
[第2具体例]
第2具体例を説明する。第2具体例では、上記の円571に加えて、XY座標面上において半径がr2であって且つ中心位置が初期位置Oと一致する円572を定義する。半径r2は、駆動限界円330の半径rよりも小さいが(図6(a)参照)、円571の半径r1よりも大きい。
第2具体例では、時刻tD1及びtD2間における補正レンズ位置が円571内に存在し、且つ、時刻tD2及びtD3間における補正レンズ位置が円571外であって且つ円572内に存在し、時刻tD3及びtD4間における補正レンズ位置が円572外であって且つ駆動限界円330内に存在している場合を想定する。この場合、時刻tD1及びtD2間に対する重み付け係数kw、時刻tD2及びtD3間に対する重み付け係数kw及び時刻tD3及びtD4間に対する重み付け係数kwに、夫々、所定値kwA、kwB及びkwCを設定する。但し、0<kwC<kwB<kwA≦1である。
そうすると、時刻tD1及びtD2間においては、点像301の移動の全部又は一部が打ち消されるように、値kwAを有する重み付け係数kwと時刻tD1及びtD2間のブレ検出信号に基づき補正レンズ駆動信号が作成される。時刻tD2及びtD3間においては、点像301の移動の一部が打ち消されるように、値kwBを有する重み付け係数kwと時刻tD2及びtD3間のブレ検出信号に基づき補正レンズ駆動信号が作成される。時刻tD3及びtD4間においては、点像301の移動の一部が打ち消されるように、値kwCを有する重み付け係数kwと時刻tD3及びtD4間のブレ検出信号に基づき補正レンズ駆動信号が作成される。結果、時刻tD1及びtD2間における必要移動量の(1−kwA)倍に相当するブレと、時刻tD2及びtD3間における必要移動量の(1−kwB)倍に相当するブレと、時刻tD3及びtD4間における必要移動量の(1−kwC)倍に相当するブレが原画像I4に残存する。
尚、露光時間TEPに応じて値kwA、kwB及びkwCの内の全部又は一部を変更してもよい。具体的には、露光時間TEPが増大するに従って値kwA、kwB及びkwCの内の全部又は一部を減少させても良い。また、露光時間TEPに応じて半径r1及び/又はr2を変更しても良い。
上述の第2具体例では、限界駆動円330内に2つの円571及び572を定義することにより初期位置Oと補正レンズ位置との距離に応じて重み付け係数kwを3段階に変化させているが、初期位置Oと補正レンズ位置との距離に応じて重み付け係数kwが(p+1)段階に変化するように限界駆動円330内にp個の円を定義してもよい(pは3以上の整数)。また、有限個数の円を定義するのではなく、初期位置Oと補正レンズ位置との距離に応じて重み付け係数kwを連続的に変化させても良い。重み付け係数kwを段階的に変化させる場合も連続的に変化させる場合も、初期位置Oと補正レンズ位置との距離が増大するにつれて重み付け係数kwを減少させるとよい。即ち、初期位置Oから見た補正レンズLCの移動量(移動量の大きさ)が所定の駆動限界量(半径rに対応)に近づくにつれて重み付け係数kwを減少させるとよい。
第1及び第2具体例の共通事項を説明する。原画像I4の露光期間中であって且つ重み付け係数kwが1未満となっている期間はブレ残存期間として取り扱われる。駆動限界用処理を実行できるように光学式ブレ補正制御部21が形成されている場合は、原画像I4の露光期間中であって且つ補正レンズLCが駆動限界円330上の位置にて停止させられている期間も、ブレ残存期間に含められる。第4実施形態においても、駆動限界用処理を実行できるように光学式ブレ補正制御部21を形成しておくと良い。第1及び第2具体例においては、時刻tD1と時刻tD4との間の期間又は時刻tD2と時刻tD4との間の期間がブレ残存期間である。
光学式ブレ補正制御部21は、ブレ残存期間におけるブレ検出信号及びブレ残存期間における補正レンズ位置を特定する信号(即ち、補正レンズ駆動信号又は位置検出信号)を、内部メモリ14又は記録媒体16に記録する。この記録信号に基づけば、ブレ残存期間における全補正レンズ軌跡561及び実レンズ軌跡を特定することができると共に、両軌跡の比較から原画像I4に対するPSFが求まる。
時刻tD4以降において原画像I4の画像データがAFE12から取得されると、画像復元処理部22は、画像復元処理によって原画像I4から復元補正画像C4を生成する。即ち、内部メモリ14又は記録媒体16に記録されたブレ残存期間におけるブレ検出信号及びブレ残存期間における補正レンズ位置を特定する信号に基づいて、ブレ残存期間における点像301の移動軌跡を表すPSFを求める。このPSFによって、ブレ残存期間の手ブレに由来する原画像I4上の残存ブレが表される。画像復元処理部22は、求めたPSFの逆関数を空間フィルタとして表現した画像復元フィルタを用いて原画像I4をフィルタリングし、フィルタリング後の画像を復元補正画像C4として出力する。復元補正画像C4の画像データは記録媒体16に記録される。
画像復元処理が可能であるとはいえ収差等が問題にならないのであれば、ブレそのものを光学的に除去した方が望ましい。一方で、補正レンズLCを初期位置Oの近辺で駆動するのであれば収差等の問題は少ない。そこで、補正レンズLCを初期位置Oの近辺で駆動する時においては重み付け係数kwを比較的高くして光学式ブレ補正の強度を比較的強くし、補正レンズ位置が駆動限界円330に近づくにつれ、重み付け係数kwを低下させて補正レンズLCが駆動限界付近で駆動される確率を低減させる。これにより、収差等の問題が抑制された復元補正画像を得ることが可能となる。
<<第5実施形態>>
次に、第5実施形態について説明する。第5実施形態に係る手ブレ補正動作の説明の前に、画像復元処理の特性について説明する。
撮影画像の空間周波数成分を調べる方法として、変調伝達関数(Modulation Transfer Function;以下、MTFという)を測定する方法がある。一定方向に沿って濃度が正弦波状に変化する濃度パターンを撮影すると、正弦波の周期が短くなるにつれて撮影画像におけるコントラストが低下し、やがて濃度変化を撮影画像上で識別できなくなる。MTFによって、このコントラストと正弦波の空間周波数との関係が表される。
撮像装置1を用い、上記濃度パターンを撮影することによって原画像が得られた場合を考える。図17(a)において、実線曲線600は、撮像装置1に手ブレが全く作用しなかった時の、原画像上のコントラストと正弦波の空間周波数との関係を表している。空間周波数が増大するにつれてコントラストは徐々に低減してゆくことが分かる。
図17(b)において、実線曲線601は、撮像装置1に一定方向且つ非等速の手ブレを作用させた時の、原画像上のコントラストと正弦波の空間周波数との関係を示し、破線曲線602は、撮像装置1に一定方向且つ等速の手ブレを作用させた時の、原画像上のコントラストと正弦波の空間周波数との関係を示している。上記の一定方向は、濃度パターンにおける濃度の変化方向と一致する。非等速の手ブレを作用させた時に比べて、等速の手ブレを作用させた時の方が、より短い空間周波数の段階でコントラストがゼロになることがわかる。
画像復元処理を用いれば、PSFと原画像の画像データから手ブレによって劣化した空間周波数成分を復元することができるのであるが、手ブレによって或る空間周波数成分が原画像から完全に失われている場合、PSFを用いたとしても、その空間周波数成分を復元することはできない。
例えば、図18(a)に示すような、原画像上の2画素分の周期で濃度がステップ的に変化するステップエッジ列を撮影することを考える。図18(a)の符号610は、このステップエッジ列のアナログ信号を表している。ステップエッジ列を撮影する露光期間中において等速且つステップエッジ方向の手ブレが撮像装置1に作用し、露光期間中における手ブレの大きさの合計が原画像上の2画素分であったとする。そうすると、図18(b)の実線611に示す如く、得られた原画像上では完全にステップエッジの情報が失われる。原画像においてステップエッジの情報が完全に失われていると、PSFを用いたとしてもステップエッジの空間周波数成分を復元することはできない。
一方、ステップエッジ列を撮影する露光期間中において非等速且つステップエッジ方向の手ブレが撮像装置1に作用した場合は、図18(c)の曲線612に示す如く、若干なりとも、得られた原画像上にステップエッジの情報が残存する。故に、PSFを用いることでステップエッジの空間周波数成分を復元することが可能となる。
実際の被写体は様々な方向に対して様々な空間周波数成分を含んでいるが、上述の説明から理解されるように、画像復元処理は、等速度でぶれた画像の復元を苦手とする。これを考慮し、第5実施形態では、原画像上に非等速のブレが残存するように補正レンズLCを駆動する。
第5実施形態において取得されるべき原画像を符号I5によって表し、原画像I5から生成される復元補正画像を符号C5にて表す。シャッタボタン17aが押下された際、第1実施形態で述べた方法に従って露光時間TEPが設定され、シャッタボタン17aの押下後、原画像I5の露光を開始する直前にセンタリング処理を1回実行する。従って、原画像I5の露光開始時点においては、補正レンズ位置は初期位置Oと一致(或いは略一致)している。このセンタリング処理の実行後、原画像I5を得るための露光を開始し、その開始から露光時間TEPが経過した後、原画像I5を得るための露光を終了する。
原画像上に非等速のブレが残存するように補正レンズLCを駆動する方法を説明する。図19等に示す如く、原画像I5の露光期間は、複数の単位区間P1、P1、P3・・・の合成期間であり、露光期間の始期は、単位区間P1の始期と一致する。単位区間P(i+1)は、単位区間Piの次に訪れる単位区間である(iは整数)。
[第1想定例]
単純な例として、原画像I5の露光期間中に一定方向且つ等速の手ブレが撮像装置1に作用することにより、原画像I5の露光期間中の各単位区間における必要移動量(必要移動量の大きさ)が一定値Q0であった場合を考える。この例を、第1想定例と呼ぶ。図19は、第1想定例における必要移動量の時間変化を表している。
光学式ブレ補正制御部21は、単位区間ごとに、注目した単位区間におけるブレ検出信号から注目した単位区間に対する必要移動量(必要移動量の大きさ)を認識する。第1想定例では、全単位区間に対する必要移動量(必要移動量の大きさ)が一定値Q0であると認識される。
第1想定例において、仮に、全単位区間に対して同じ値を有する重み付け係数kwを適用したならば、等速のブレが原画像I5に残存する。例えば、全単位区間に対して重み付け係数kwを0.7に設定した場合、各単位区間において、必要移動量の0.7倍に相当するブレは光学式ブレ補正によって除去されるが、必要移動量の0.3倍に相当するブレが原画像I5に残存する。第1想定例において、必要移動量(必要移動量の大きさ)は常に一定値Q0であるから、点像301は、必要移動量の0.3倍に相当する速度を保ちながら、原画像I5の露光期間中、撮像面上を移動し続ける。つまり、第1想定例において、全単位区間に対して同じ値を有する重み付け係数kwを適用したならば、原画像I5上に等速のブレが残存する。
実際には、光学式ブレ補正制御部21は、ブレ検出信号に基づき、原画像I5上に非等速のブレが残存するように重み付け係数kwを調整する。具体的には、第1想定例においては、時間的に隣接する単位区間に対して異なる値を有する重み付け係数kwを適用すればよい。つまり、単位区間P1、P1、P3・・・に対する重み付け係数kwの値を、夫々、kw1、kw2、kw3・・・で表した場合、任意の整数iに対してkw(i+1)≠kwiを成立させればよい。典型的には例えば、1≧kw1>kw2>kw3・・・>0とするとよい。これにより、補正レンズ位置が初期位置Oから遠ざかる従って重み付け係数kwが減少することとなり、第4実施形態で述べたような効果も期待できる。
光学式ブレ補正制御部21は、単位区間P1におけるブレ検出信号に基づき、単位区間P1における点像301の移動が値kw1に応じた分だけ打ち消されるように単位区間P1に対応する補正レンズ駆動信号を生成する。重み付け係数kwの初期値、即ち値kw1は予め定めておけばよい。その後、単位区間P2におけるブレ検出信号が得られた際、単位区間P1及びP2におけるブレ検出信号の比較から単位区間P1及びP2における必要移動量(必要移動量の大きさ)が等しいことが分かると、原画像I5上に非等速のブレを残すべく値kw2を値kw1と異ならせる。そして、光学式ブレ補正制御部21は、単位区間P2におけるブレ検出信号に基づき、単位区間P2における点像301の移動が値kw2に応じた分だけ打ち消されるように単位区間P2に対応する補正レンズ駆動信号を生成する。単位区間P3以降に対しても同様に処理される。
これにより、単位区間P1に対してQ0(1−kw1)に相当する分だけ点像301が移動し、単位区間P2に対してQ0(1−kw2)に相当する分だけ点像301が移動し、単位区間P3に対してQ0(1−kw3)に相当する分だけ点像301が移動する。単位区間P4以降に対しても同様である。つまり、点像301は、原画像I5の露光期間中、非等速で撮像面上を移動することとなる。
[第2想定例]
次に、原画像I5の露光期間中に一定方向且つ非等速の手ブレが撮像装置1に作用することにより、原画像I5の露光期間中において必要移動量(必要移動量の大きさ)が時々刻々と変化する場合を考える。この例を、第2想定例と呼ぶ。図20は、第2想定例における必要移動量の時間変化を表している。
光学式ブレ補正制御部21は、単位区間ごとに、注目した単位区間におけるブレ検出信号から注目した単位区間に対する必要移動量(必要移動量の大きさ)を認識する。第2想定例では、単位区間Piに対する必要移動量(必要移動量の大きさ)がQiであると認識される。i及びjを互いに異なる整数とした場合、Qi≠Qjが成立する。
単位区間P1、P1、P3・・・に対する重み付け係数kwの値を、夫々、kw1、kw2、kw3・・・で表す。そうすると、第2想定例では、光学式ブレ補正が部分的に実行される結果、単位区間P1に対してQ1(1−kw1)に相当する分だけ点像301が移動し、単位区間P2に対してQ2(1−kw2)に相当する分だけ点像301が移動し、単位区間P3に対してQ3(1−kw3)に相当する分だけ点像301が移動する。単位区間P4以降に対しても同様である。Qi≠Qjなのであるから、第2想定例においては、全単位区間に対して同じ値を有する重み付け係数kwを適用したとしても(つまり、kw1=kw2=kw3・・・)であっても、非等速のブレが原画像I5に残存することとなる。勿論、任意の整数iに対して不等式「Qi+1(1−kw(i+1))≠Qi(1−kwi)」の成立が確保される範囲で、原画像I5の露光期間中において重み付け係数kwを変化させても良い。この不等式の成立により、原画像I5上に非等速のブレが残るからである。
光学式ブレ補正制御部21は、単位区間P1におけるブレ検出信号に基づき、単位区間P1における点像301の移動が値kw1に応じた分だけ打ち消されるように単位区間P1に対応する補正レンズ駆動信号を生成する。重み付け係数kwの初期値、即ち値kw1は予め定めておけばよい。その後、単位区間P2におけるブレ検出信号が得られた際、単位区間P1及びP2におけるブレ検出信号の比較から単位区間P1及びP2に対する必要移動量(必要移動量の大きさ)が異なることが分かると、原画像I5上に非等速のブレが残るように値kw2を決定する。そして、光学式ブレ補正制御部21は、単位区間P2におけるブレ検出信号に基づき、単位区間P2における点像301の移動が値kw2に応じた分だけ打ち消されるように単位区間P2に対応する補正レンズ駆動信号を生成する。単位区間P3以降に対しても同様に処理される。
[第3想定例]
次に、原画像I5の露光期間中に、様々な方向の、等速又は非等速の手ブレが撮像装置1に作用することを考える。この例を、第3想定例と呼ぶ。第3想定例では、原画像I5の露光期間中において、必要移動量のX軸及びY軸成分が様々に変化しうる。原画像I5は、二次元画像であるため、X軸及びY軸方向の夫々に対して空間周波数成分を有する。従って、原画像I5の残存ブレのX軸及びY軸成分が共に非等速のブレとなるように補正レンズ位置を制御すれば、X軸及びY軸方向の双方に対して、画像復元処理の効果が高まる。
具体的には、原画像I5の露光期間中における各単位区間の必要移動量をX軸及びY軸成分に分解し、X軸及びY軸成分の夫々に対して、第1及び第2想定例で述べたような方法を適用すればよい。
より具体的に説明する。必要移動量のX軸及びY軸成分を、夫々、X軸方向の必要移動量及びY軸方向の必要移動量と呼ぶ。X軸方向の必要移動量及びY軸方向の必要移動量は、一次元量であるため、それらの夫々に対して第1及び第2想定例で述べたような方法を適用できる。但し、X軸方向の必要移動量に関し、X軸の正の方向における必要移動量とX軸の負の方向における必要移動量は異なるものと解釈される(即ち、X軸方向の必要移動量とは、正負の区別がある値である)。Y軸方向の必要移動量についても同様である。
重み付け係数kwとして、X軸方向の重み付け係数kxw及びY軸方向の重み付け係数kywを定義する。単位区間P1、P1、P3・・・に対するX軸方向の重み付け係数kxwの値を、夫々、kxw1、kxw2、kxw3・・・で表し、単位区間P1、P1、P3・・・に対するY軸方向の重み付け係数kywの値を、夫々、kyw1、kyw2、kyw3・・・で表す。
光学式ブレ補正制御部21は、単位区間P1におけるブレ検出信号に基づき、単位区間P1における点像301のX軸方向における移動が値kxw1に応じた分だけ打ち消されるように且つ単位区間P1における点像301のY軸方向における移動が値kyw1に応じた分だけ打ち消されるように単位区間P1に対応する補正レンズ駆動信号を生成する。X軸方向の重み付け係数kxw及びY軸方向の重み付け係数kywの初期値、即ち値kxw1及びkyw1は予め定めておけばよい。
その後、単位区間P2におけるブレ検出信号が得られた際、単位区間P1及びP2におけるブレ検出信号の比較から、単位区間P1に対応するX軸方向の必要移動量Qx1と単位区間P2に対応するX軸方向の必要移動量Qx2が等しいか否かを判定する。そして、前者(Qx1)と後者(Qx2)が等しい場合は、第1想定例にて述べたように、原画像I5上にX軸方向の非等速のブレを残すべく値kxw2を値kxw1と異ならせる。一方、前者(Qx1)と後者(Qx2)が異なる場合は、第2想定例にて述べたように、値kxw2と値kxw1を一致させる、或いは、不等式「Qx2(1−kxw2)≠Qx1(1−kxw1)」の成立が確保される範囲で値kxw2を決定する。これらにより、原画像I5上にX軸方向の非等速のブレが残るからである。
Y軸方向に対しても同様に処理される。即ち、単位区間P1及びP2におけるブレ検出信号の比較から、単位区間P1に対応するY軸方向の必要移動量Qy1と単位区間P2に対応するY軸方向の必要移動量Qy2が等しいか否かを判定する。そして、前者(Qy1)と後者(Qy2)が等しい場合は、第1想定例にて述べたように、原画像I5上にY軸方向の非等速のブレを残すべく値kyw2を値kyw1と異ならせる。一方、前者(Qy1)と後者(Qy2)が異なる場合は、第2想定例にて述べたように、値kyw2と値kyw1を一致させる、或いは、不等式「Qy2(1−kyw2)≠Qy1(1−kyw1)」の成立が確保される範囲で値kyw2を決定する。これらにより、原画像I5上にY軸方向の非等速のブレが残るからである。
単位区間P3に対しても同様に処理される。つまり、単位区間P1及びP2におけるブレ検出信号の比較から、単位区間P1に対応する重み付け係数(kxw1、kyw1)を基準として単位区間P2に対応する重み付け係数(kxw2、kyw2)を決定したように、単位区間P2及びP3におけるブレ検出信号の比較から、単位区間P2に対応する重み付け係数(kxw2、kyw2)を基準として単位区間P3に対応する重み付け係数(kxw3、kyw3)を決定すればよい。単位区間P4以降に対しても同様である。
第1〜第3想定例の共通事項を説明する。原画像I5の露光期間中であって且つ重み付け係数kwが1未満となっている期間はブレ残存期間として取り扱われる。駆動限界用処理を実行できるように光学式ブレ補正制御部21が形成されている場合は、原画像I5の露光期間中であって且つ補正レンズLCが駆動限界円330上の位置にて停止させられている期間も、ブレ残存期間に含められる。第5実施形態においても、駆動限界用処理を実行できるように光学式ブレ補正制御部21を形成しておくと良い。
光学式ブレ補正制御部21は、ブレ残存期間におけるブレ検出信号及びブレ残存期間における補正レンズ位置を特定する信号(即ち、補正レンズ駆動信号又は位置検出信号)を、内部メモリ14又は記録媒体16に記録する。この記録信号に基づけば、ブレ残存期間における全補正レンズ軌跡及び実レンズ軌跡を特定することができると共に、両軌跡の比較から原画像I5に対するPSFが求まる。
原画像I5の露光終了後、原画像I5の画像データがAFE12から取得されると、画像復元処理部22は、画像復元処理によって原画像I5から復元補正画像C5を生成する。即ち、内部メモリ14又は記録媒体16に記録されたブレ残存期間におけるブレ検出信号及びブレ残存期間における補正レンズ位置を特定する信号に基づいて、ブレ残存期間における点像301の移動軌跡を表すPSFを求める。このPSFによって、ブレ残存期間の手ブレに由来する原画像I5上の残存ブレが表される。画像復元処理部22は、求めたPSFの逆関数を空間フィルタとして表現した画像復元フィルタを用いて原画像I5をフィルタリングし、フィルタリング後の画像を復元補正画像C5として出力する。復元補正画像C5の画像データは記録媒体16に記録される。
第5実施形態によれば、原画像上の残存ブレが非等速のブレとなるため、画像復元処理による補正効果が高められる。また、重み付け係数の導入により、第3及び第4実施形態と同様の効果も期待される。
<<第6実施形態>>
次に、第6実施形態を説明する。第6実施形態では、光学式ブレ補正及び復元式ブレ補正に加えて、更に加算式ブレ補正をも利用する。加算式ブレ補正では、1枚の静止画像を得るために設定された露光時間TEPをn個に分割し、露光時間TEPよりも短い露光時間による撮影をn回連続的に実行することにより、n枚の撮影画像を取得した後、そのn枚の撮影画像を合成することによって1枚の静止画像を生成する。ここで、nは2以上の整数である。
第6実施形態では、このような加算式ブレ補正を、第1〜第5実施形態に記載の方法と組み合わせる。具体的な動作を説明する。
シャッタボタン17aが押下された際、第1実施形態で述べた方法に従って露光時間TEPが設定される。主制御部13は、露光時間TEPをn個に均等又は不均等に分割する。説明の具体化のため、n=4であるとする。この分割によって、露光時間TEPが、露光時間TEP1、TEP2、TEP3及びTEP4に分割される。TEP1+TEP2+TEP3+TEP4=TEPである。
露光時間TEP1、TEP2、TEP3及びTEP4にて露光を行うことで得られる原画像を、夫々、第1〜第4原画像と呼ぶ。第1原画像が撮影された後、第2、第3、第4原画像が順次連続的に撮影される。各原画像の露光開始直前にはセンタリング処理が実行される。従って、各原画像の露光開始時点においては、補正レンズ位置は初期位置Oと一致(或いは略一致)している。
第1〜第4原画像の夫々を、第1〜第5実施形態の何れかにおける原画像(即ち、原画像I1〜I5の何れか)とみなし、第1〜第5実施形態の何れかにて述べた方法に従って第1〜第4原画像の夫々から復元補正画像(即ち、復元補正画像C1〜C5の何れか)を生成する。第1〜第4原画像に対応する復元補正画像を、夫々、第1〜第4復元補正画像と呼ぶ。
第6実施形態では、図21に示される画像合成部23が、図1の主制御部13に更に設けられる。画像合成部23は、第1〜第4復元補正画像を合成することにより1枚の合成画像を生成する。この合成画像は、シャッタボタン17aの押下に伴って得られるべき1枚の静止画像として、記録媒体16に記録される。
n枚の合成対象画像(今の例において、第1〜第4復元補正画像)から1枚の合成画像を生成する方法として、公知の方法を含む任意の方法を利用することが可能である。例えば、特開平9−261526号公報、特開2008−60927号公報に記載された方法を利用すればよい。典型的には例えば、n枚の合成対象画像の内の1枚を基準画像として且つ残りの合成対象画像を非基準画像として取り扱って、基準画像と非基準画像との間の位置ズレを検出し、検出した位置ズレが打ち消されるように基準画像と非基準画像とを位置合わせした後、基準画像上の画素の画素値と非基準画像上の対応画素の画素値を足し合わせることによって、合成画像上の対応画素の画素値を求める。このような足し合わせ演算を、合成画像上の各画素に対して実行することで合成画像の全体が生成される。
基準画像と非基準画像との間の位置ズレは、基準画像及び非基準画像の画像データに基づき基準画像及び非基準画像間のオプティカルフローを導出することによって求められる、或いは、基準画像の露光期間と非基準画像の露光期間との間の期間におけるブレ検出信号に基づいて求められる。
第6実施形態によれば、全体の露光時間TEPがn個に分割されるため、個々の原画像の露光期間中に補正レンズ位置が駆動限界に達する可能性が低減される。仮に補正レンズ位置が駆動限界に達して原画像中にブレが残存したとしても、その残存ブレは画像復元処理によって除去されるため、全体の露光時間TEPが相当に長い場合でも、確実に手ブレ補正がなされる。また、第1〜第5実施形態にて述べた方法を各原画像の取得方法及び各復元補正画像の取得方法に適用することで、第1〜第5実施形態にて述べた効果を享受することもできる。
また、基準画像及び非基準画像の画像データに基づき、基準画像と非基準画像との間におけるロール方向の位置ズレ(基準画像の中心周りの位置ズレ)を検出するようにすれば、ロール方向の手ブレをも補正することが可能になる。更に、長時間露光時におけるブレ検出部18のセンサ計測誤差の影響も軽減することが可能となる。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈4を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
上述の実施形態では、光学式ブレ補正を実現するための駆動対象として補正レンズLCを用いている。即ち、撮像装置1に作用した手ブレに由来する撮像素子33上の像ブレを補正するための駆動対象として補正レンズLCを用い、これによって光学式ブレ補正を実現している。この補正を実現するための駆動対象は、補正レンズLCに限定されない。例えば、補正レンズLCの代わりにバリアングルプリズム(不図示)を駆動対象として用いて光学式ブレ補正を実現しても良い。バリアングルプリズムを用いる場合、バリアングルプリズムは補正レンズLCの代わりに光学系35内に配置され、被写体からの入射光は、バリアングルプリズムを介して撮像素子33に入射する。また例えば、補正レンズLC又はバリアングルプリズムを用いず、光軸に直交する面に沿って撮像素子33を移動させることにより、光学式ブレ補正を実現してもよい。この場合、撮像素子33が上記の駆動対象として機能する。
[注釈2]
ブレ検出部18を角速度センサにて構成する例を上述したが、撮像装置1のブレを表す、角速度以外の物理量を検出するセンサにて、ブレ検出部18を構成しても良い。例えば、撮像装置1の加速度を検出する加速度センサ、水平面に対する撮像装置1の角度を検出する角度センサ、又は、撮像装置1の速度を検出する速度センサにてブレ検出部18を形成するようにしてもよい。撮像装置1の加速度、角度、速度を表す信号によっても光学式ブレ補正は実現可能である。
[注釈3]
撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、主制御部13内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
[注釈4]
例えば、以下のように考えることができる。図1の光学式ブレ補正制御部21には、光学式ブレ補正を実行するブレ補正部と、上述の駆動限界用処理を担う駆動停止部と、ブレ検出信号から必要駆動量(必要移動量)を導出する必要駆動量導出部と、必要駆動量と重み付け係数から指令駆動量(指令移動量)を導出する補正強度制御部と、が内在していると考えてもよい。
本発明の実施形態に係る撮像装置の全体ブロック図である。 図1の撮像部の内部構成図である。 図1のブレ検出部の内部ブロック図である。 本発明の実施形態に係り、点光源、光学系及び撮像素子との関係を示す図(a)と、その点光源によって撮像素子上に形成される点像及び手ブレに由来する点像の移動軌跡を示す図(b)である。 第1〜第4単位区間における点像の移動軌跡を示す図(a)と、それらを繋ぎ合わせた軌跡を示す(b)である。 光軸方向から見た補正レンズの外観平面図である。 補正レンズ位置の移動軌跡を例示する図である。 光学式ブレ補正を行わずに得られた原画像(a)と、必要移動量にて光学式ブレ補正を行って得られた原画像(b)と、必要移動量未満の指令移動量にて光学式ブレ補正を行って得られた原画像(c)と、を示す図である。 本発明の第1実施形態に係る全補正レンズ軌跡(ブレを完全に打ち消すための補正レンズ位置の移動軌跡)及び実レンズ軌跡(実際の補正レンズ位置の移動軌跡)を示す図である。 本発明の第1実施形態に係り、原画像の露光期間周辺のタイミング関係を示す図である。 本発明の第2実施形態に係る全補正レンズ軌跡及び実レンズ軌跡を示す図である。 本発明の第2実施形態に係り、原画像の露光期間周辺のタイミング関係を示す図である。 本発明の第3実施形態に係る全補正レンズ軌跡及び実レンズ軌跡と一致する部分補正レンズ軌跡(ブレの一部を打ち消すための補正レンズ位置の移動軌跡)を示す図である。 本発明の第3実施形態に係り、原画像の露光期間周辺のタイミング関係を示す図である。 本発明の第4実施形態に係る補正レンズの駆動方法を説明するための図である。 本発明の第4実施形態に係り、原画像の露光期間周辺のタイミング関係を示す図である。 本発明の第5実施形態に係り、撮像装置に手ブレが全く作用しなかった時の、原画像上のコントラストと空間周波数との関係を表す図(a)と、撮像装置に手ブレが作用した時の、原画像上のコントラストと空間周波数との関係を表す図(b)である。 本発明の第5実施形態に係り、ステップエッジ列のアナログ信号(a)と、ステップエッジ列を撮影する露光期間中において等速且つステップエッジ方向の手ブレが撮像装置に作用した場合におけるステップエッジ列の画像信号(b)と、ステップエッジ列を撮影する露光期間中において非等速且つステップエッジ方向の手ブレが撮像装置に作用した場合におけるステップエッジ列の画像信号(c)と、を示す図である。 本発明の第5実施形態に係り、必要移動量の時間変化の例を示す図である。 本発明の第5実施形態に係り、必要移動量の時間変化の他の例を示す図である。 本発明の第6実施形態に係り、図1の主制御部に内在する画像合成部を示す図である。
符号の説明
1 撮像装置
11 撮像部
18 ブレ検出部
21 光学式ブレ補正制御部
22 画像復元処理部
23 画像合成部
30 ズームレンズ
31 フォーカスレンズ
32 絞り
33 撮像素子
34 ドライバ
35 光学系
36 位置センサ
300 点光源
301 点像
LC 補正レンズ

Claims (3)

  1. 設定された露光期間において、撮像面に結像された被写体像を撮像することにより原画像を取得する撮像素子と、
    前記被写体像を前記撮像面に結像させる光学系と、
    当該撮像装置に加わる装置ブレを検出し、その検出結果を表すブレ検出信号を出力するブレ検出部と、
    前記撮像素子又は前記光学系内の補正用部材を駆動対象とし、前記露光期間中において、前記ブレ検出信号に基づき、駆動量が指令駆動量に追従するように前記駆動対象を駆動することにより前記装置ブレに由来する前記原画像上のブレの一部を光学補正するブレ補正部と、
    前記装置ブレに由来する前記原画像上のブレを前記駆動対象の駆動によって完全に補正するために必要な、前記駆動対象の必要駆動量を、前記ブレ検出信号に基づいて求める必要駆動量導出部と、
    前記必要駆動量に1以下の重み付け係数を乗じることにより前記指令駆動量を導出する補正強度制御部と、
    前記必要駆動量と前記指令駆動量との差に由来する前記原画像上の残りのブレを画像処理によって補正する画像処理部と、を備えた撮像装置であって、
    前記補正強度制御部は、前記露光期間の全部又は一部に対する前記重み付け係数を1未満に設定すると共に、前記露光期間の長さに応じて前記重み付け係数を設定する、又は、前記駆動対象の駆動量が所定の駆動限界量に近づくにつれて前記重み付け係数を減少させる
    ことを特徴とする撮像装置。
  2. 前記駆動対象の駆動量が所定の駆動限界量に達したか否かを監視し、前記駆動量が前記駆動限界量に達した場合、前記駆動対象の駆動を停止する駆動停止部を更に備え、
    前記画像処理部は、前記露光期間内であって且つ前記駆動対象の駆動が停止している期間をブレ残存期間とし、前記ブレ残存期間における前記ブレ検出信号に基づき、前記ブレ残存期間中の装置ブレに由来する前記原画像上のブレを補正する画像処理をも行う
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記補正強度制御部は、前記露光時間の長さが増大するにつれて前記重み付け係数を減少させる
    ことを特徴とする請求項1又は請求項2に記載の撮像装置。
JP2008245457A 2008-09-25 2008-09-25 撮像装置 Expired - Fee Related JP5241403B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008245457A JP5241403B2 (ja) 2008-09-25 2008-09-25 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008245457A JP5241403B2 (ja) 2008-09-25 2008-09-25 撮像装置

Publications (2)

Publication Number Publication Date
JP2010078765A JP2010078765A (ja) 2010-04-08
JP5241403B2 true JP5241403B2 (ja) 2013-07-17

Family

ID=42209327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008245457A Expired - Fee Related JP5241403B2 (ja) 2008-09-25 2008-09-25 撮像装置

Country Status (1)

Country Link
JP (1) JP5241403B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055096A (ja) * 2016-09-27 2018-04-05 株式会社日立国際電気 撮像装置
JP2021153264A (ja) * 2020-03-24 2021-09-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 制御装置、撮像システム、制御方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3152750B2 (ja) * 1992-07-13 2001-04-03 オリンパス光学工業株式会社 撮影装置ならびにぶれ画像復元装置
JP3988220B2 (ja) * 1997-09-29 2007-10-10 株式会社ニコン カメラシステム、カメラボディ及び交換レンズ
JP2004239962A (ja) * 2003-02-03 2004-08-26 Nikon Corp ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
US8208017B2 (en) * 2003-12-26 2012-06-26 Panasonic Corporation Imaging device, product package, and semiconductor integrated circuit
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP4420921B2 (ja) * 2006-11-10 2010-02-24 三洋電機株式会社 撮像装置

Also Published As

Publication number Publication date
JP2010078765A (ja) 2010-04-08

Similar Documents

Publication Publication Date Title
JP5388671B2 (ja) 撮像装置及び画像変換方法
JP5519077B2 (ja) 撮像装置
JP5432697B2 (ja) 撮像装置及びその制御方法
CN101902573A (zh) 成像设备以及抖动校正方法
US8164675B2 (en) Apparatus and method for removing moire pattern of digital imaging device
JP2010078635A (ja) ブレ補正装置及び撮像装置
JP2012231262A (ja) 撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体
JP2006332809A (ja) 撮像装置
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
TW201204025A (en) Image processing method and device
JP5378283B2 (ja) 撮像装置およびその制御方法
JP5241403B2 (ja) 撮像装置
JP4420921B2 (ja) 撮像装置
WO2019151030A1 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP5699806B2 (ja) 撮像装置
JP5393877B2 (ja) 撮像装置および集積回路
JP7453267B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
CN1761287A (zh) 图像处理装置和电子照相机
KR20130057960A (ko) 촬상 방법 및 촬상 장치
JP2013160782A (ja) カメラ本体およびカメラシステム
JP2008147767A (ja) 画像補正装置及び方法並びに電子機器
JP2008033060A (ja) 撮像装置および撮像方法、並びに画像処理装置
CN116648666B (zh) 透镜装置、摄像装置、透镜装置的动作方法、摄像装置的动作方法及存储介质
JP2007329686A (ja) 撮像装置及びその制御方法
CN104717420A (zh) 抖动校正装置、摄影机系统以及摄像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5241403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees