JPH1124122A - 手ぶれ画像補正方法および手ぶれ画像補正装置並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 手ぶれ画像の補正における誤差を小さくする
こと。 【解決手段】 カメラ光軸の変動を角加速度センサ１〜
３で検出し、ＣＰＵ６により前記検出したデータを積分
して角速度を求める。また、シャッター開閉センサ４に
よりシャッターの開口経時変化を検出する。続いて、前
記角速度（方位軌跡）と前記シャッターの開口経時変化
とから、撮影時のぼけ状態を表す伝達関数を取得する。
そして、撮影した画像データをメモリ７から取り出し、
この画像に対し前記伝達関数の逆変換を行い、画像を補
正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、手ぶれが生じて
いる画像を補正するにあたり、誤差を小さくして自然な
補正を行うことのできる手ぶれ画像補正方法および手ぶ
れ画像補正装置並びにその方法をコンピュータに実行さ
せるためのプログラムを記録したコンピュータ読み取り
可能な記録媒体に関する。

【０００２】

【従来の技術】カメラの撮影を行う場合は、通常カメラ
本体を手に持った状態で、シャッターを押す。このと
き、しばしばシャッターを押す動作に連動して、カメラ
本体が動き、その結果、被写体が「ぼけ」て撮影され
る。通常、このような画像の劣化に気付くのは画像再生
時であるから、後になって悔やむことになる。本発明
は、このような劣化画像しか残っていない状況において
も、高品質な画像が再現可能な方式を提供する

【０００３】従来より、このような問題を解決する方法
が多く提案されているが、その中で最も実用的方法が、
Murat Tekalp，他による論文”Identification of Imag
e and Blur Parameters for the Restoration of Nonca
usal Blurs”，IEEE Transactions on Acoustics，Spee
ch and Signal Processing，Vol ．ASSP−34,No.4,pp.9
63(1989)に記述されている補正方法である。

【０００４】これは、撮影された画像を周波数空間に表
示し、その分布形状によって、手ぶれのぼけの有無とそ
の方向、ぼけの大きさを判定するものである。

【０００５】

【発明が解決しようとする課題】しかしながら、上記方
法には、２つの問題点がある。第１は、「ぼけ」の特性
を表す伝達関数（あるいは点広がり関数；ＰＳＦ（Poin
t Spread Function）が正確には判らないことである。
ぼけ画像を復元するには、伝達関数の逆変換をするため
の復元フィルタを算出する必要があるが、そのためには
ＰＳＦ（伝達関数）が判っていなければならない。

【０００６】通常の撮影に於いては、このＰＳＦが得ら
れないため、これを推定するようにしている。最もよく
利用される推定方法は、手ぶれによる「ぼけ」を、ある
決まった数の画素の単純な平均化と同等なものとみなす
ものである。この場合のＰＳＦは、平坦な箱型関数で表
せる。また、このときの復元フィルタは、関数ｓｉｎ
（ｘ）／ｘで表される。しかし、前記推定そのものが成
り立たない場合が多いから、そのような復元フィルタで
復元された原画は、かなりの誤差を含むことになる。

【０００７】第２は、手ぶれはカメラのシャッターが開
いているときにのみ生じるが、そのシャッターが開いて
いる期間中に手ぶれが１方向にだけに生じたのか、それ
とも複数の方向に生じたのか、さらに、その軌跡がどう
であったのか、などを知る手段がないことである。この
ため、従来は、手ぶれの方向は１方向だけであると推定
し、そのような方向を求めていた。しかし、手ぶれに起
因した撮影レンズ系の光軸の動きは必ずしも直線でない
ため、上記同様、推定誤差が含まれることになる。

【０００８】そこで、この発明は、上記に鑑みてなされ
たものであって、ＰＳＦおよび手ぶれ方向を正確に求
め、画像の誤差を小さくすることのできる手ぶれ画像補
正方法および手ぶれ画像補正装置並びにその方法をコン
ピュータに実行させるためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体を提供することを目的
とする。

【０００９】

【課題を解決するための手段】上述の目的を達成するた
めに、請求項１に係る手ぶれ画像補正方法は、カメラ光
軸の変動を角加速度として取得する手順と、前記取得し
た角加速度を時間軸で積分することでカメラ光軸の方位
軌跡となる角速度を取得する手順と、カメラの持つシャ
ッターの開口経時変化を取得する手順と、前記光軸の方
位軌跡と前記シャッターの開口経時変化とから、撮影時
のぼけ状態を表す伝達関数を取得する手順と、撮影した
画像に対し、前記伝達関数の逆変換を行う手順と、を含
むものである。

【００１０】また、請求項２に係る手ぶれ画像補正方法
は、カメラ光軸の変動を当該カメラ光軸の方位軌跡とな
る角速度として取得する手順と、カメラの持つシャッタ
ーの開口経時変化を取得する手順と、前記光軸の方位軌
跡と前記シャッターの開口経時変化とから、撮影時のぼ
け状態を表す伝達関数を取得する手順と、撮影した画像
に対し、前記伝達関数の逆変換を行う手順と、を含むも
のである。

【００１１】また、請求項３に係る手ぶれ画像補正方法
は、上記手ぶれ画像補正方法において、カメラのシャッ
ターを押した時から所定時間前以降よりカメラ光軸の変
動を取得しておき、この取得したカメラ光軸の変動に基
づいて、当該変動の時間的な原点を決めるものである。

【００１２】また、請求項４に係る手ぶれ画像補正装置
は、カメラ光軸のそれぞれの変動を取得する光軸変動取
得手段と、カメラの持つシャッターの開口経時変化を取
得するシャッター開口経時変化取得手段と、光軸変動取
得手段とシャッター開口経時変化取得手段とが取得した
データを一時的に記憶するデータ記憶手段と、前記デー
タ記憶手段に記憶したデータから、撮影時のぼけ状態を
表す伝達関数を取得し、撮影した画像に対して前記伝達
関数の逆変換を行う画像補正手段と、を備えたものであ
る。

【００１３】また、請求項５に係るコンピュータが読取
可能な記録媒体は、上記手ぶれ画像補正方法を、コンピ
ュータに実行させるプログラムを格納したものである。

【００１４】

【発明の実施の形態】以下、この発明につき図面を参照
しつつ詳細に説明する。なお、この実施の形態によりこ
の発明が限定されるものではない。

【００１５】図１は、この発明の手ぶれ画像補正装置の
構成を示す概略構成図である。この手ぶれ画像補正装置
１００は、光軸（Ｚ軸）に対するＣＣＤ面をＸＹ面とし
た場合に、カメラレンズの光軸方位の変動状況を検出す
るＺ軸角加速度センサ１と、Ｘ軸方位の変動状況を検出
するＸ角加速度センサ２と、Ｙ軸方位の変動状況を検出
するＹ角加速度センサ３と、シャッターの開閉を検出す
るシャッター開閉センサ４と、センサ出力を一定時間記
憶するバッファメモリ５と、それぞれのセンサからの検
出信号に基づいて、ＰＳＦおよび手ぶれ方向を演算し画
像の補正を行うＣＰＵ６と、撮影した画像を記憶してお
くメモリ７と、から構成されている。

【００１６】上記のように、この手ぶれ画像補正装置１
００は、カメラレンズＫの光軸方位の変動状況を検出す
る角加速度センサ（１〜３）を少なくとも３成分有して
おり、この３成分のうち２成分（角加速度センサ２，
３）は、ＣＣＤ１０１平面内の直交ベクトル成分に対応
するものである。この３つの角加速度成分は、図２に示
すように、θ、Φ、εの変数で表される。

【００１７】図３は、この発明の手ぶれ補正方法の実施
手順を示すフローチャートである。 ［ステップＳ３０１、Ｓ３０２］ステップＳ３０１で
は、撮像した画像をメモリ７から読み出す。ステップＳ
３０２では、手ぶれ量を判断する。手ぶれ量が問題にな
らない程度であれば、画像の補正は行わない。

【００１８】［ステップＳ３０３］ステップＳ３０３で
は、Ｘ角加速度センサ２やＹ角加速度センサ３などの関
連センサのデータを読み出して、ＰＳＦを算出する。ま
ず、カメラの光軸の動きを表す関数の時間的原点を定義
してやれば、前記それぞれの角加速度センサの出力信号
を時間軸で積分することにより、角速度を得ることがで
きる。すなわち、光軸の方位軌跡を得ることができる。

【００１９】図４は、時間と共に変化する光軸の位置を
示したグラフ図である。このように、光軸の位置は、手
ぶれにより位置ｐ１，ｐ２，ｐ３，ｐ４・・・と変化す
る。また、図中、ベクトルｐ１以前（破線左側）のベク
トルは、シャッターを押す時刻以前の光軸の位置を表し
ている。

【００２０】また、図５に示すように、シャッターを開
き始めてから閉じるまでの間の開口情報は、カメラ固有
の特性として設計時点で既知である。時刻ｔ０において
押されたシャッターは、時間に比例して開口し、時刻ｔ
１にて全開となる。そして、予め設定された時間（ｔ２
−ｔ１）だけ開口を継続する。その後、時刻ｔ２からシ
ャッターが閉じ始め、時刻ｔ３にて完全に閉じられる。

【００２１】図６は、シャッターの開口率の変化を示す
グラフ図である。シャッターを押した後、ベクトルｐ１
に相当する時間ｔ１に開口率が１００％に達し、時刻ｔ
２、ｔ３を経て時刻ｔｐに完全に閉じている。

【００２２】つぎに、上記光軸の方位軌跡とシャッター
の開口経時変化とから、撮影時の「点広がり関数；ＰＳ
Ｆ」を算出できる。このＰＳＦは、式［シャッター開放
時系列パルス］＊［シャッター開口関数］で表され、こ
れに、シャッター開放時の光軸方位の軌跡に沿って表現
したものが「手ぶれ」時のＰＳＦの２次元表現となる。
なお、上式では、畳み込み演算を記号＊で示している。
実際には、光軸回りの角加速度も考慮する必要があるた
め、３次元表現となる（図１の記号ε）。これは画像中
心を軸とした回転運動に相当する。

【００２３】続いて、光軸方位の軌跡の原点をどのよう
に定めるかについて説明する。手ぶれを検出するのが本
来の目的であるから、カメラが静止しているときを原点
にするのが望ましい。しかし、角加速度センサの出力
は、定速度運動時には「０」である。このため、静止状
態を推定するには、他の機構または仮定が必要になる。

【００２４】一例として、連続的に撮影している動画の
情報を利用する方法がある。つまり、動画の各フレーム
の画像情報が一定であれば（時間変化がなければ）静止
していると判断し、ここを原点と置く方法である。

【００２５】また、他の例として、シャッター動作の一
般的な動作特徴を利用する方法がある。すなわち、カメ
ラ撮影をする場合、被写体を狙ってからしばらく静止す
るのが、一般的な人間の動作である。そして、被写体を
狙った後にシャッターを押すが、手ぶれは、このときの
シャッターを押す動作に誘発されて発生する。従って、
シャッターを押す直前の数秒間（通常１〜２秒間）が、
狙いを定めている時であると想像できる。狙いを定めて
いるときの手ぶれは一般に微小である。また、シャッタ
ーを押した時刻は、シャッター開閉センサによって容易
に検出できる。そして、シャッターを押した時間から１
〜２秒遡って、そのときの各角加速度センサの出力平均
値を、原点と定義する。

【００２６】例えば、図４の原点は、シャッターを押し
た時刻ｔ０（破線）後の信号だけでなく、この時刻ｔ０
から遡って計測してある（期間ｔｐ）。このような信号
は、バッファメモリ５に一時的に蓄えられる。

【００２７】［ステップＳ３０４］ステップＳ３０４で
は、画像の「ぼけ」を補正する。補正は、上記ＰＳＦ式
の逆変換フィルタもしくは逆変換プロセスの計算を従来
から知られている方法で実施する。

【００２８】図４の軌跡は、複数の直線ベクトルの集合
とみなすことができる。従って、従来の直線的な手ぶれ
画像の補正方法を、構成ベクトル１つづつに順次適用す
ることにより、手ぶれによる「ぼけ」を補正することが
できる。つまり、（Ｘ，Ｙ）軸周りの角加速度は、
（Ｘ，Ｙ）平面の要素ベクトルとして時系列に補正され
る。

【００２９】また、光軸の周りの回転運動は、画像中心
周りの回転運動（ε）に相当するから、注目画素の中心
からの距離に比例したぼけ量を想定すればよい。従っ
て、Ｚ軸周りの回転運動は、画像中心を原点とする極座
標表示で、回転軸のみについて同様の補正をすればよ
い。通常、このような回転運動に伴うぼけの修正は、他
の２成分のぼけ修正が終わった後に実施する。

【００３０】また、上記では、角加速度センサにより角
加速度を求め、得られた角加速度を時間軸で積分するこ
とで角速度を得ていたが、ジャイロセンサなどを使用し
て直接、角速度を計測するようにしてもよい。

【００３１】

【発明の効果】以上説明したように、この発明の手ぶれ
画像補正方法（請求項１）は、カメラ光軸の変動を角加
速度として取得し、前記取得した角加速度を時間軸で積
分することでカメラ光軸の方位軌跡となる角速度を取得
する。また、カメラの持つシャッターの開口経時変化を
取得する。そして、前記光軸の方位軌跡と前記シャッタ
ーの開口経時変化とから、撮影時のぼけ状態を表す伝達
関数を取得し、撮影した画像に対し前記伝達関数の逆変
換を行う。このため、カメラ光軸の変動を詳細に得るこ
とができ、補正した画像の誤差を小さくできるようにな
る。

【００３２】つぎの発明の手ぶれ画像補正方法（請求項
２）は、カメラ光軸の変動を当該カメラ光軸の方位軌跡
となる角速度として取得し、カメラの持つシャッターの
開口経時変化を取得する。そして、前記光軸の方位軌跡
と前記シャッターの開口経時変化とから、撮影時のぼけ
状態を表す伝達関数を取得し、撮影した画像に対し前記
伝達関数の逆変換を行う。このため、カメラ光軸の変動
を詳細に得ることができ、補正した画像の誤差を小さく
できるようになる。また、直接角速度を取得するので構
造が簡略化できる。

【００３３】つぎの発明の手ぶれ画像補正方法（請求項
３）は、カメラのシャッターを押した時から所定時間前
以降よりカメラ光軸の変動を取得しておき、この取得し
たカメラ光軸の変動に基づいて、当該変動の時間的な原
点を決めるので、カメラが静止している状態を高精度に
推定することができる。この結果、画像補正の誤差をよ
り小さくすることができる。

【００３４】つぎの発明の手ぶれ画像補正装置（請求項
４）は、カメラ光軸のそれぞれの変動を取得する光軸変
動取得手段と、カメラの持つシャッターの開口経時変化
を取得するシャッター開口経時変化取得手段と、光軸変
動取得手段とシャッター開口経時変化取得手段とが取得
したデータを一時的に記憶するデータ記憶手段と、前記
データ記憶手段に記憶したデータから、撮影時のぼけ状
態を表す伝達関数を取得し、撮影した画像に対して前記
伝達関数の逆変換を行う画像補正手段と、を備えたの
で、カメラ光軸の変動を詳細に得ることができ、補正し
た画像の誤差を小さくできるようになる。

【００３５】つぎの発明のコンピュータが読取可能な記
録媒体（請求項５）は、上記手ぶれ画像補正方法を、コ
ンピュータに実行させるプログラムを格納したので、コ
ンピュータ上で、手ぶれ画像の補正を行うことができ
る。

【図面の簡単な説明】

【図１】この発明の手ぶれ補正装置を示す構成図であ
る。

【図２】角加速度成分を示した摸式図である。

【図３】この発明の手ぶれ補正方法の実施手順を示すフ
ローチャートである。

【図４】時間と共に変化する光軸の位置を示したグラフ
図である。

【図５】シャッターの開口状態を示すグラフ図である。

【図６】シャッター開口率の変化を示すグラフ図であ
る。

【符号の説明】 １００ 手ぶれ画像補正装置 １ Ｚ軸角加速度センサ ２ Ｘ角加速度センサ ３ Ｙ角加速度センサ ４ シャッター開閉センサ ５ バッファメモリ ６ ＣＰＵ ７ メモリ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 カメラ光軸の変動を角加速度として取得
   する手順と、 前記取得した角加速度を時間軸で積分することでカメラ
   光軸の方位軌跡となる角速度を取得する手順と、 カメラの持つシャッターの開口経時変化を取得する手順
   と、 前記光軸の方位軌跡と前記シャッターの開口経時変化と
   から、撮影時のぼけ状態を表す伝達関数を取得する手順
   と、 撮影した画像に対し、前記伝達関数の逆変換を行う手順
   と、を含むことを特徴とする手ぶれ画像補正方法。
2. 【請求項２】 カメラ光軸の変動を当該カメラ光軸の方
   位軌跡となる角速度として取得する手順と、 カメラの持つシャッターの開口経時変化を取得する手順
   と、 前記光軸の方位軌跡と前記シャッターの開口経時変化と
   から、撮影時のぼけ状態を表す伝達関数を取得する手順
   と、 撮影した画像に対し、前記伝達関数の逆変換を行う手順
   と、 を含むことを特徴とする手ぶれ画像補正方法。
3. 【請求項３】 カメラのシャッターを押した時から所定
   時間前以降よりカメラ光軸の変動を取得しておき、この
   取得したカメラ光軸の変動に基づいて、当該変動の時間
   的な原点を決めることを特徴とする請求項１または２に
   記載の手ぶれ画像補正方法。
4. 【請求項４】 カメラ光軸のそれぞれの変動を取得する
   光軸変動取得手段と、 カメラの持つシャッターの開口経時変化を取得するシャ
   ッター開口経時変化取得手段と、 光軸変動取得手段とシャッター開口経時変化取得手段と
   が取得したデータを一時的に記憶するデータ記憶手段
   と、 前記データ記憶手段に記憶したデータから、撮影時のぼ
   け状態を表す伝達関数を取得し、撮影した画像に対して
   前記伝達関数の逆変換を行う画像補正手段と、を備えた
   ことを特徴とする手ぶれ画像補正装置。
5. 【請求項５】 前記請求項１〜３のいずれか一つに記載
   された方法を、コンピュータに実行させるプログラムを
   格納したことを特徴とするコンピュータが読取可能な記
   録媒体。