JP5243477B2 - ブラー補正装置およびブラー補正方法 - Google Patents

Description

本発明は、静止画像を撮影するカメラにおいて、撮影画像に生じたブラー（ｂｌｕｒ）を補正するブラー補正装置およびブラー補正方法に関するものである。

ブラー補正技術は、静止画像の撮影時に生じたブラーを検出し、その検出量に基づいて補正することで画像中に生じるブラーを軽減する技術である。

ブラーを検出する方法としては、カメラに取り付けた動き検出センサ（例えばジャイロスコープなどの角速度センサまたは加速度センサなど）を用いる方法、あるいは撮影画像を解析して検出する方法がある。また、ブラーを補正する方法としては、撮影時にレンズまたは撮像素子の位置を制御してブラーを補正する光学式補正またはセンサシフト式補正、および、撮影後に画像処理によって電子的にブラーを補正する電子式補正がある。

光学式補正あるいはセンサシフト式補正の多くは、角速度センサを用いて撮影時にブラーの軌跡を検出し、検出された軌跡を打ち消すようにレンズまたは撮像素子の位置を制御することで撮影画像におけるブラーの発生を軽減する。

一方、撮影画像を解析してブラーの軌跡を推定し、推定したブラーの軌跡に基づく画像処理によってブラーのない画像に補正する方法も提案されている（例えば、非特許文献１参照）。この非特許文献１に開示された技術では、ブラーのない自然画像が持つ性質あるいは平坦領域が満たすべき性質といった統計的な情報を用いて、ブラーの軌跡に関する推定とブラーのない画像への補正処理とを反復的に実行することにより、ブラーの軌跡および補正後の画像の両方を徐々に所望する結果に近づけていく。

図１１を参照して、撮影画像にブラーが発生する原理、および、画像処理によって撮影後にブラーを補正する方法の原理を説明する。撮影画像にブラーが生じるのは、ブラーが起きないときには１つの画素だけで撮影されるはずの光線が周辺画素にも分布して撮影されることに起因する。

ここで、ブラーが起きないときに撮影される鮮鋭な画像（以下、「鮮鋭画像」と呼ぶ）をｉ（ｘ，ｙ）と表す。また、ブラーが発生した撮影画像をｊ（ｘ，ｙ）と表す。また、ブラーが起きないときには１つの画素だけで撮影されるはずの光線がブラーによって周辺画素にも拡がって撮影されたときの点像の分布関数（点拡がり関数：ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ））をｐ（ｘ，ｙ）と表す。この場合、これらのｉ（ｘ，ｙ）、ｊ（ｘ，ｙ）、およびｐ（ｘ，ｙ）の間には以下の式（１）の関係が成り立つ。

ここで、
は畳み込み演算を表し、（ｘ，ｙ）は画素位置を表す。さらに、ｉ（ｘ，ｙ）、ｊ（ｘ，ｙ）、およびｐ（ｘ，ｙ）をそれぞれフーリエ変換して得られる周波数成分の値を、Ｉ（ｍ，ｎ）、Ｊ（ｍ，ｎ）、およびＰ（ｍ，ｎ）と表せば、これらの間には以下の式（２）の関係が成り立つ。

ここで、（ｕ，ｖ）は周波数成分の次数を表す。このように、周波数領域上では、撮影画像は鮮鋭画像とＰＳＦとの積で表される。逆に、撮影画像を解析してＰＳＦを推定することができれば、周波数領域上において撮影画像をＰＳＦで除算することにより、鮮鋭画像の推定結果（以下、「補正画像」と呼ぶ）を算出できる。

また、特許文献１によると、角速度センサを用いてブラー情報を取得し、補正処理を行う手法が開示されている。この手法により、撮影画像からＰＳＦを推定しなくてもＰＳＦを取得することが可能となる。

さらに、特許文献２によると、角速度センサで得られた角速度データからＰＳＦを算出した後、ＰＳＦから一般逆フィルタを生成して撮影画像に補正処理を適用する手法が開示されている。この手法では、ＰＳＦに平滑化処理を行う平滑化処理手段および合焦状態に応じて平滑化処理手段の平滑化強度を制御する制御手段を備えているため、ブラーのみならず、ボケに関する画質劣化も補正できる。

特開平１１−２４１２２号公報 特開２００６−２７９８０７号公報

"Ｈｉｇｈ−ｑｕａｌｉｔｙ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ，" Ｑｉ Ｓｈａｎ， Ｊｉａｙａ Ｊｉａ ａｎｄ Ａｓｅｅｍ Ａｇａｒｗａｌａ， ＳＩＧＧＲＡＰＨ ２００８

前記特許文献１、２の課題として、角速度センサで得られるブラー情報をそのまま用いて補正処理を行っていることがあげられる。角速度センサの出力には、取り付け誤差、スケールファクタ誤差、ドリフト、直線性誤差、分解能の限界、温度特性誤差など、さまざまな誤差が含まれるため、前記特許文献１、２の方法では正確な補正画像が得られないという問題がある。

また、非特許文献１に開示された技術では、撮影画像からＰＳＦを推定するため、ＰＳＦの精度が低くなる場合もある。

そこで、本発明は、上記課題を解決するためになされたものであり、撮影画像に生じたブラーを高精度に補正することができるブラー補正装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係るブラー補正装置は、カメラによって撮影された撮影画像に生じたブラーを電子的に補正することにより、前記撮影画像から補正画像を生成するブラー補正装置であって、撮影画像を撮影する際に動き検出センサによって検出された、カメラの動きを示すセンサデータに基づいて、前記撮影画像に生じたブラーを補正するためのブラー情報を生成するブラー情報生成部と、前記ブラー情報生成部によって生成されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を生成するブラー補正部と、前記ブラー補正部によって生成された候補補正画像の評価値であってブラー補正度合いを示す評価値を算出する評価値算出部と、予め定められた条件に基づいて、ブラー補正を終了するか否かを判定する終了判定部と、前記終了判定部によってブラー補正を終了しないと判定された場合に、前記ブラー情報生成部によって生成されたブラー情報を更新するブラー情報更新部とを備え、前記ブラー補正部は、前記ブラー情報更新部によってブラー情報が更新された場合、更新されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を新たに生成し、前記終了判定部は、ブラー補正を終了すると判定した場合に、前記評価値算出部によって算出された評価値に基づいて、前記ブラー補正部によって生成された少なくとも１つの候補補正画像の中から補正画像を決定する。

本構成により、動き検出センサによって検出されたセンサデータに基づくブラー情報を更新することにより、ブラー補正度合いが高い補正画像を生成することが可能となる。つまり、撮影画像に生じたブラーを高精度に補正することが可能となる。

また、前記ブラー情報は、少なくとも１つの線分からなる線分群によって表されることが好ましい。

本構成により、ブラー情報を少ない情報量で表現できるとともに、動き検出センサによって検出されたセンサデータとの対応付けも容易となる。

また、前記ブラー情報更新部は、前記ブラー情報を表す線分群を構成する少なくとも１つの線分の少なくとも１つの端点の位置を変化させることにより、前記ブラー情報を更新することが好ましい。

本構成により、線分群を構成する線分の端点の位置を変化させることにより、ブラー情報を容易に更新することができる。

また、前記ブラー情報更新部は、前記センサデータから得られる撮影方向を示す位置を中心とする領域であって、前記動き検出センサの検出性能に応じた大きさの領域内において、前記端点の位置を変化させることが好ましい。

本構成により、不要な範囲までブラー情報を更新することを抑制することができ、効率的にブラー情報を更新することが可能となる。

また、前記ブラー情報生成部は、前記センサデータから得られる複数の位置であって複数の時刻における撮影方向を示す複数の位置を時刻順に直線でつないだ線分群をブラーの軌跡として算出し、算出した線分群を構成する各点において、前記撮影方向を示す位置の移動速度に反比例する値を光量として算出することにより、前記線分群によって表されるブラー情報を生成することが好ましい。

本構成により、センサデータに基づいて、より高精度なブラー情報を生成することが可能になる。

また、前記カメラは、前記撮影画像を撮影する際に複数回のシャッター開閉制御を行うことができる露光制御手段を備え、前記ブラー情報生成部は、さらに、前記線分群において、前記シャッターが開いている間の位置の変化を示す部分を抽出し、抽出した部分によって表されるブラー情報を生成することが好ましい。

本構成により、露光符号化された撮影画像において、高精度にブラーを補正することが可能となる。

また、前記終了判定部は、前記評価値算出部によって算出された評価値が前記予め定められた条件を満たすか否かに基づいて、ブラー補正を終了するか否かを判定することが好ましい。

本構成により、ブラー補正度合いが高い候補補正画像が生成されたときにブラー補正を終了することができ、効率的にブラー補正を行なうことができる。

また、前記評価値算出部は、隣接する画素間における画素値の差分値の和が大きいほどブラー補正度合いが高くなるように、前記評価値を算出することが好ましい。

本構成により、エッジが鮮明な候補補正画像を補正画像と決定することができ、高精度にブラーを補正することが可能となる。

また、前記評価値算出部は、撮影画像における画素値が平坦な領域において、候補補正画像においても画素値が平坦に維持されているほどブラー補正度合いが高くなるように、前記評価値を算出することが好ましい。

本構成により、リンギングが抑制された候補補正画像を補正画像と決定することができ、高精度にブラーを補正することが可能となる。

また、前記動き検出センサは、角速度センサであることが好ましい。
本構成により、ブラーの動き検出を簡易に行うことが可能になる。

また、前記ブラー情報は、点拡がり関数を示すことが好ましい。
本構成により、ブラー補正を容易に行なうことが可能となる。

また、前記ブラー補正部は、前記撮影画像と前記ブラー情報が示す点拡がり関数とを空間領域から周波数領域へ変換し、変換後に撮影画像を点拡がり関数で除算し、除算結果を周波数領域から空間領域へ変換することにより、前記補正候補画像を生成することが好ましい。

本構成により、ブラー補正を容易に行なうことが可能となる。
また、本発明の一態様に係る集積回路は、カメラによって撮影された撮影画像に生じたブラーを電子的に補正することにより、前記撮影画像から補正画像を生成する集積回路であって、撮影画像を撮影する際に動き検出センサによって検出された、カメラの動きを示すセンサデータに基づいて、前記撮影画像に生じたブラーを補正するためのブラー情報を生成するブラー情報生成部と、前記ブラー情報生成部によって生成されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を生成するブラー補正部と、前記ブラー補正部によって生成された候補補正画像の評価値であってブラー補正度合いを示す評価値を算出する評価値算出部と、予め定められた条件に基づいて、ブラー補正を終了するか否かを判定する終了判定部と、前記終了判定部によってブラー補正を終了しないと判定された場合に、前記ブラー情報生成部によって生成されたブラー情報を更新するブラー情報更新部とを備え、前記ブラー補正部は、前記ブラー情報更新部によってブラー情報が更新された場合、更新されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を新たに生成し、前記終了判定部は、ブラー補正を終了すると判定した場合に、前記評価値算出部によって算出された評価値に基づいて、前記ブラー補正部によって生成された少なくとも１つの候補補正画像の中から補正画像を決定する。

本構成により、上記ブラー補正装置と同様の効果を奏することができる。
また、本発明の一態様に係るブラー補正方法は、カメラによって撮影された撮影画像に生じたブラーを電子的に補正することにより、前記撮影画像から補正画像を生成するブラー補正方法であって、撮影画像を撮影する際に動き検出センサによって検出された、カメラの動きを示すセンサデータに基づいて、前記撮影画像に生じたブラーを補正するためのブラー情報を生成するブラー情報生成ステップと、前記ブラー情報生成ステップにおいて生成されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を生成するブラー補正ステップと、前記ブラー補正ステップにおいて生成された候補補正画像の評価値であってブラー補正度合いを示す評価値を算出する評価値算出ステップと、予め定められた条件に基づいて、ブラー補正を終了するか否かを判定する終了判定ステップと、前記終了判定ステップにおいてブラー補正を終了しないと判定された場合に、前記ブラー情報生成ステップにおいて生成されたブラー情報を更新するブラー情報更新ステップとを含み、前記ブラー補正ステップでは、前記ブラー情報更新ステップにおいてブラー情報が更新された場合、更新されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を新たに生成し、前記終了判定ステップでは、ブラー補正を終了すると判定した場合に、前記評価値算出ステップにおいて算出された評価値に基づいて、前記ブラー補正ステップにおいて生成された少なくとも１つの候補補正画像の中から補正画像を決定する。

本構成により、上記ブラー補正装置と同様の効果を奏することができる。
また、本発明は、ブラー補正方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明の一態様に係るブラー補正装置によれば、動き検出センサによって検出されたセンサデータに基づくブラー情報を更新することにより、ブラー補正度合いが高い補正画像を生成することが可能となる。つまり、撮影画像に生じたブラーを高精度に補正することが可能となる。

本発明の実施の形態１におけるブラー補正装置のハードウェア構成図である。 本発明の実施の形態１におけるブラー補正装置の機能構成を示すブロック図である。 本発明の実施の形態１におけるブラー補正処理の流れを示すフローチャートである。 本発明の実施の形態１におけるブラー情報生成処理を説明するための図である。 評価関数の第二項における関数の特性を表す説明図である。 本発明の実施の形態１におけるブラー情報更新処理を説明するための図である。 本発明の実施の形態１におけるブラー情報更新処理の変形例を説明するための図である。 本発明の実施の形態２におけるブラー補正装置のハードウェア構成図である。 本発明の実施の形態２におけるブラー補正装置の機能構成を示すブロック図である。 本発明の実施の形態２におけるブラー情報生成処理を説明するための図である。 撮影画像にブラーが発生する原理、および、画像処理によって撮影後にブラーを補正する方法の原理を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
まず、図１を用いて本実施の形態におけるブラー補正装置のハードウェア構成について説明する。

図１は、本発明の実施の形態１におけるブラー補正装置のハードウェア構成図である。図１に示すように、ブラー補正装置１００は、ＣＰＵ（中央演算処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（リードオンリーメモリ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、バス１０３と、ＲＡＭ（ランダムアクセスメモリ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４と、ＨＤＤ（ハードディスク：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０５と、Ｉ／Ｆ（インターフェース）１０６とを備える。

ＣＰＵ１０１は、ＲＯＭ１０２に格納されたプログラムを、バス１０３を介してＲＡＭ１０４にロードし、ロードしたプログラムを実行する。

ＲＡＭ１０４およびＨＤＤ１０５は、撮影された撮影画像を一時的に格納する画像記憶領域などとして使用される。また、ＲＡＭ１０４およびＨＤＤ１０５は、ＣＰＵ１０１で実行する各処理に必要な一次記憶領域としても使用される。

Ｉ／Ｆ１０６は、カメラ１０７から撮影画像およびセンサデータの入力を受け付ける。
カメラ１０７は、図示しないレンズ、撮像素子およびタイマーなどに加えて、動き検出センサ１０８を備える。動き検出センサ１０８は、カメラ１０７の動きを検出する。具体的には、動き検出センサ１０８は、例えば、ジャイロスコープなどの角速度センサ、あるいは加速度センサなどである。そして、カメラ１０７は、撮影画像を撮影した際に動き検出センサ１０８によって検出された、カメラ１０７の動きを示すセンサデータを撮影画像とともにブラー補正装置１００へ出力する。

次に、図２を用いて、本実施の形態におけるブラー補正装置の機能構成について説明する。

図２は、本発明の実施の形態１におけるブラー補正装置の機能構成を示すブロック図である。具体的には、図２は、図１に示されるハードウェア構成によって発揮される、ブラー補正装置の機能構成を示すブロック図である。

ブラー補正装置１００は、カメラ１０７によって撮影された撮影画像に生じたブラーを電子的に補正することにより、撮影画像から補正画像を生成する。

図２に示すように、ブラー補正装置１００は、画像記憶部２０１と、センサデータ記憶部２０２と、ブラー情報生成部２０３と、ブラー補正部２０４と、評価値算出部２０５と、終了判定部２０６と、ブラー情報更新部２０７とを備える。

画像記憶部２０１は、ＲＡＭ１０４またはＨＤＤ１０５に対応し、カメラ１０７によって撮影された撮影画像を記憶している。

センサデータ記憶部２０２は、ＲＡＭ１０４またはＨＤＤ１０５に対応し、カメラ１０７の動きを示すセンサデータを記憶している。具体的には、センサデータは、画像記憶部２０１に記憶されている撮影画像が撮影されている期間（露光期間中）の撮影方向の変化を示す。より具体的には、センサデータは、例えば、露光期間中に一定の時間間隔ごとに検出された角速度データである。

ブラー情報生成部２０３は、ＣＰＵ１０１およびＲＡＭ１０４などによって実現される処理部である。ブラー情報生成部２０３は、センサデータに基づいて、撮影画像に生じたブラーを補正するためのブラー情報を生成する。具体的には、ブラー情報生成部２０３は、例えば、ブラーの軌跡と当該ブラーの軌跡上における光量の分布とを示すブラー情報を、センサデータに基づいて生成する。

ブラー補正部２０４は、ＣＰＵ１０１およびＲＡＭ１０４などによって実現される処理部である。ブラー補正部２０４は、生成されたブラー情報に基づいて撮影画像に生じたブラーを補正することにより、候補補正画像を生成する。つまり、ブラー補正部２０４は、ブラー情報を用いて、撮影画像に生じたブラーを減少させる。具体的には、ブラー補正部２０４は、撮影画像であるブラー画像が鮮鋭画像となるように、ブラー情報を用いて撮影画像を電子的に補正する。

また、ブラー補正部２０４は、ブラー情報更新部２０７によってブラー情報が更新された場合、更新されたブラー情報に基づいて、撮影画像に生じたブラーを補正することにより、候補補正画像を新たに生成する。

評価値算出部２０５は、ＣＰＵ１０１およびＲＡＭ１０４などによって実現される処理部である。評価値算出部２０５は、生成された候補補正画像の評価値であってブラー補正度合いを示す評価値を算出する。

ここで、ブラー補正度合いとは、撮影画像に生じたブラーの減少度合いを示す。言い換えると、ブラー補正度合いとは、ブラーのない画像にどれだけ近似しているかを示す。

終了判定部２０６は、ＣＰＵ１０１およびＲＡＭ１０４などによって実現される処理部である。終了判定部２０６は、予め定められた条件に基づいて、ブラー補正を終了するか否かを判定する。具体的には、終了判定部２０６は、例えば、算出された評価値が予め定められた条件を満たすか否かに基づいて、ブラー補正を終了するか否かを判定する。また例えば、終了判定部２０６は、ブラー情報の更新回数が予め定められた回数以上であるか否かに基づいて、ブラー補正を終了するか否かを判定してもよい。

さらに、終了判定部２０６は、ブラー補正を終了すると判定した場合に、算出された評価値に基づいて、生成された少なくとも１つの候補補正画像の中から補正画像を決定する。具体的には、終了判定部２０６は、例えば、最も高い評価値が算出された候補補正画像を補正画像と決定する。

ブラー情報更新部２０７は、ＣＰＵ１０１およびＲＡＭ１０４などによって実現される処理部である。ブラー情報更新部２０７は、終了判定部２０６によってブラー補正を終了しないと判定された場合に、ブラー情報生成部２０３によって生成されたブラー情報を更新する。具体的には、ブラー情報更新部２０７は、例えば、ブラー情報生成部２０３によって生成されたブラー情報が示すブラーの軌跡を変更することにより、ブラー情報を更新する。

次に、以上のように構成されたブラー補正装置１００における各種動作について詳細に説明する。なお、以下の説明では、センサデータが角速度データである場合について説明する。

図３は、本発明の実施の形態１におけるブラー補正処理の流れを示すフローチャートである。

図３に示すブラー補正処理は、以下の状態において実行される。まず、図１のカメラ１０７で撮影された撮影画像は、画像記憶部２０１に格納されている。また、角速度センサによって検出された撮影時のカメラ１０７の角速度データも、センサデータ記憶部２０２に格納されている。ここで検出される角速度データは、例えば、一定の時間間隔Ｔごとにサンプリングされ、カメラの撮影方向に関する移動ベクトルを表す。

このような状態において、まず、ブラー情報生成部２０３は、センサデータ記憶部２０２に記憶されている角速度データを読み出し、読み出した角速度データからブラー情報を生成する（Ｓ２０１）。以下、図４を用いて、ステップＳ２０１のブラー情報生成処理の詳細について説明する。

図４は、本発明の実施の形態１におけるブラー情報生成処理を説明するための図である。具体的には、図４は、移動ベクトルとして表される角速度データを連続的につなぎ合わせて二次元空間上に表した図である。

図４では、時間間隔Ｔごとの撮影方向の変化をそれぞれ線分として表している。したがって、各線分の端点をそれぞれ連結させることで、露光期間中の撮影方向の変化を表すことができる。ここで、各線分の太さは移動速度に逆比例するように表している。つまり、時間間隔Ｔの間の移動量が大きい場合には線分の太さが細く、移動量が小さい場合には線分の太さが太くなるように各線分を表している。

このようにして表される線分群は、ブラーが生じなかった場合に１点（１つの画素）で受光されるべき光がブラーの発生によって複数の画素に拡がって受光されるときにおける、当該複数の画素の位置を示すブラーの軌跡を表している。また各線分の太さは、各線分上の位置の画素で受光される光量を表している。

したがって、図４に示す線分群の軌跡上の位置において線分の太さに比例する値を示す分布情報は、ブラーを示すＰＳＦに相当する。

そこで、ブラー情報生成部２０３は、図４に示す線分群に相当する情報をブラー情報として生成する。具体的には、ブラー情報生成部２０３は、センサデータから得られる複数の位置であって複数の時刻における撮影方向を示す複数の位置を時刻順に直線でつないだ線分群をブラーの軌跡として算出する。さらに、ブラー情報生成部２０３は、算出した線分群を構成する各点において、撮影方向を示す位置の移動速度に反比例する値を光量として算出する。そして、ブラー情報生成部２０３は、このように算出したブラーの軌跡と当該ブラーの軌跡上における光量の分布とによって示されるＰＳＦをブラー情報として生成する。

ただし、ブラー情報生成部２０３は、ブラー情報を生成する際に、線分群を構成する各点の値の合計が１になるように、各点の光量を示す値を正規化する必要がある。具体的には、ｋ番目の時間間隔Ｔに対応する線分をｌｉｎｅｋ、この線分の長さをｌｅｎｇｔｈ（ｌｉｎｅｋ）とすると、このｋ番目の線分上の点が持つ光量を示す値Ｐは以下の式（３）によって求められる。ただし、Ｎは線分の総数を表すものとする。

ここで、ブラー情報生成部２０３は、１つの点をブラーの軌跡が複数回通過する場合、その点の値は複数の線分が持つ点の値の合計となるように、値を正規化する。

以上のように、ブラー情報生成部２０３は、センサデータに基づいて、撮影画像に生じたブラーを補正するためのブラー情報を生成する。

なお、以上の方法で算出されるブラー情報は線分群によって表されるが、ブラー情報生成部２０３は、滑らかなブラーの軌跡を再現するために、スプライン補間などの補間演算を用いて各線分の端点を滑らかにつなぐことにより、曲線によって表されるブラー情報を生成してもよい。このとき、ブラー情報生成部２０３は、各点が持つ値についても連続的に変化するように補間して求めることが好ましい。具体的には、ブラー情報生成部２０３は、式（３）に従って各線分上の点が持つ値を求め、求めた値がその線分の中点に対する代表値とみなす。そして、ブラー情報生成部２０３は、中点以外のその他の点の値を、中点からの距離に応じて値を補間することによって算出することができる。ただし、この場合は、ブラー情報生成部２０３は、最終的な各点の値の合計が１になるように、光量を示す値を再度正規化する必要がある。

さらに本手法では、ブラー情報生成部２０３は、ブラーと同時に、ピント位置が被写体からずれて生じるボケ（ｄｅｆｏｃｕｓ）も考慮してブラー情報を算出することができる。ボケは、近似的に式（４）に示すガウシアンフィルタで表すことができる。

ここで、σはガウシアンフィルタの標準偏差を表すものとする。また、フィルタ処理を適用する周辺画素の範囲は有限の領域に限定されるものとする。ブラー情報生成部２０３は、この式（４）を、ブラーの軌跡を表す線分群、または、スプライン補間などの補間演算によって滑らかに変換された曲線に適用することによって、ブラーと同時にボケが発生したときのブラー情報を生成することができる。

図３のフローチャートの説明に戻る。
次に、ブラー補正部２０４は、ブラー情報に基づいて、画像記憶部２０１に格納された撮影画像に生じたブラーを補正することにより、候補補正画像を生成する（Ｓ２０２）。式（２）に示したように、最もシンプルなブラー補正の方法は、撮影画像およびＰＳＦをフーリエ変換した後に、周波数領域上でこれらの除算演算を行うことによって補正画像を得るという方法である。

したがって、ブラー補正部２０４は、例えば、撮影画像とブラー情報が示すＰＳＦとを空間領域から周波数領域へ変換し、変換後に撮影画像を点拡がり関数で除算し、除算結果を周波数領域から空間領域へ変換することにより、ブラーが補正された候補補正画像を生成することができる。

なお、ブラー補正の方法は、上記に限定されるものではない。例えば、ブラー補正部２０４は、ウィナーフィルタを用いて候補補正画像を生成してもよい。この場合、ブラー補正部２０４は、ＰＳＦの周波数成分に０が含まれる場合であっても、候補補正画像を生成することができる。

次に、評価値算出部２０５は、算出された候補補正画像のブラー補正度合いを示す評価値を算出する（Ｓ２０３）。この評価値は、ブラーなく撮影されたときに得られる鮮鋭画像にどれだけ近い状態までブラーを補正できているかを示す指標を意味する。ただし、撮影画像と鮮鋭画像との両方を同時に撮影することはできないため、評価値算出部２０５は、直接、これらの画像を比較して評価値を算出することはできない。このため、評価値算出部２０５は、多くの鮮鋭画像が持つ統計的な性質に基づき、この性質ととれだけ一致するかを評価指標とすることにより、候補補正画像がどれだけ鮮鋭な画像に補正できているかを示す評価値を算出する。具体的には、評価値算出部２０５は、例えば、式（５）に示すように評価値Ｅを算出する。この評価値Ｅが小さい値になるほど、良好なブラー補正が行われた結果であることを表している。つまり、評価値Ｅは、値が小さいほど、ブラー補正度合いが高いことを示す。

ここで、ｌ（ｘ，ｙ）は候補補正画像を表す。また、∂ｘおよび∂ｙは、それぞれｘ方向およびｙ方向の偏微分演算を表す。

またｍ（ｘ，ｙ）は、撮影画像中において周辺領域との階調変化が小さい平坦領域と判断された画素には「１」、そうでない画素には「０」が付与されるマスク関数を表す。具体的には、ｍ（ｘ，ｙ）は、各画素位置において特定サイズの周辺領域で画素値の分散が所定の閾値以上であれば「０」となり、所定の閾値未満であれば「１」となる。

また、Φ（ａ）は、図５に示すようなＨｅａｖｙＴａｉｌと呼ばれる関数を表しており、ａの絶対値が小さいほど大きな値を取る関数である。

まず、式（５）の第一項は、候補補正画像とＰＳＦとの畳み込み演算を行った場合に、撮影画像にどれだけ近い画像が得られるかを表す指標である。この第一項の値が大きいときには、ブラー情報が示すＰＳＦと候補補正画像との組合せは、撮影画像から導出される結果として不適切であることを意味しており、補正結果として好ましくないことを表している。

第二項は、候補補正画像がブラー補正によってどれだけ鮮鋭な画像に補正されているかを表す指標である。この第二項では、候補補正画像をｘ方向およびｙ方向に偏微分した値の絶対値が大きいほど小さな値となる。このとき、ブラー補正によって画像が鮮鋭になり、エッジなどにおける明暗差が大きくなると、偏微分した値の絶対値が大きくなるため、第二項の値は小さくなり、補正結果として好ましい画像に近づいていることを表している。

つまり、この第二項から明らかなように、評価値算出部２０５は、候補補正画像において隣接する画素間における画素値の差分値の和が大きいほどブラー補正度合いが高くなるように、評価値を算出する。これにより、ブラー補正装置１００は、エッジが鮮明な候補補正画像を補正画像と決定することができ、高精度にブラーを補正することが可能となる。

第三項および第四項は、撮影画像における平坦な領域が候補補正画像においても平坦に維持されているかどうかを判定する指標である。ブラー補正を行うとき、ＰＳＦが示すブラーが実際のブラーと一致していなかった場合、あるいはＰＳＦがゼロ点を持つ場合には、補正処理によってリンギングと呼ばれる副作用が発生する。その結果、画像中の平坦な領域において、ブラーなく撮影されたときには現れない周期的なテクスチャが発生する。このため、第三項および第四項では、撮影画像の平坦な領域において、候補補正画像のｘ方向およびｙ方向の偏微分値と、撮影画像のｘ方向およびｙ方向の偏微分値との差分の自乗を算出している。ここで、撮影画像のｘ方向およびｙ方向の偏微分値は、平坦な領域における偏微分値であるため必ず小さい値となる。この領域において、リンギングなどの副作用が発生すると、候補補正画像の偏微分値が大きな値をとるため算出される値も大きくなり、評価値が大きくなって補正結果として好ましくないことを表す。

つまり、これらの第三項および第四項から明らかなように、評価値算出部２０５は、撮影画像における画素値が平坦な領域において、候補補正画像においても画素値が平坦に維持されているほどブラー補正度合いが高くなるように、評価値を算出する。これにより、ブラー補正装置１００は、リンギングが抑制された候補補正画像を補正画像と決定することができ、高精度にブラーを補正することが可能となる。

以上のように、評価値算出部２０５は、式（５）の演算を行うことにより、撮影画像からブラーが補正された結果として整合が取れているかどうか、またリンギングなどの副作用を抑えつつ、どれだけ鮮鋭な画像に補正できているかを表す評価値を算出することができる。つまり、評価値算出部２０５は、式（５）の演算を行うことにより、候補補正画像のブラー補正度合いを示す評価値を算出することができる。

次に、終了判定部２０６は、一連のブラー補正処理を終了するか否かを判定する（Ｓ２０４）。ここでは、終了判定部２０６は、評価値算出部２０５によって算出された評価値が所定の閾値より小さくなった場合は、十分にブラーが補正された画像が生成されたと判断してブラー補正処理を終了すると判定する。これにより、ブラー補正装置１００は、ブラー補正度合いが高い候補補正画像が生成されたときにブラー補正を終了することができ、効率的にブラー補正を行なうことができる。なお、所定の閾値は、実験または経験などにより予め決定されればよい。

なお、終了判定部２０６は、後述するブラー情報更新前の評価値と更新後の評価値との差が所定の閾値より小さくなった場合も、ブラー補正処理が収束したと判断してブラー補正処理を終了すると判定してもよい。また、終了判定部２０６は、評価値算出処理が所定の回数行われた場合に、ブラー補正処理を終了すると判定してもよい。なお、これらの所定の閾値および所定の回数は、実験または経験などにより予め決定されればよい。

ここで、ブラー補正処理を終了すると判定された場合（Ｓ２０４の終了）、終了判定部２０６は、補正度合いが最も高いことを示す評価値が算出された候補補正画像を補正画像と決定し（Ｓ２０６）、ブラー補正処理を終了する。つまり、本実施の形態では、終了判定部２０６は、最も小さな評価値Ｅが算出された候補補正画像を補正画像と決定する。また、終了判定部２０６は、このように決定された補正画像を出力する。

一方、終了判定部２０６によってブラー補正処理を終了しないと判定された場合には（Ｓ２０４の継続）、ブラー情報更新部２０７は、ブラー情報を更新する（Ｓ２０６）。そして、ブラー補正装置１００は、最適な補正画像が得られるように処理（Ｓ２０２〜Ｓ２０４）を継続する。

より具体的には、ブラー情報更新部２０７は、線分群で表されるブラーの軌跡の端点を摂動させることによって、ブラー情報を更新する。端点の摂動方法としては様々な方法が可能であるが、例えば図６に示すように、各端点２５１をｍ画素刻みで摂動させる方法がある。

図６は、本発明の実施の形態１におけるブラー情報更新処理を説明するための図である。図６に示すように、ブラー情報更新部２０７は、センサデータから得られた位置を各線分の端点２５１の初期位置として、この位置を中心に上下、左右にｍ画素刻みの複数位置に摂動させることにより、ブラー情報を更新する。すなわち、ブラー情報更新部２０７は、このように摂動させた新たな端点をつなぎ合わせたブラーの軌跡を示すブラー情報を新たなブラー情報として生成する。

つまり、ブラー情報更新部２０７は、ブラー情報を表す線分群を構成する少なくとも１つの線分の少なくとも１つの端点の位置を変化させることにより、ブラー情報を更新する。

なお、端点の摂動方法はこの手法に限定されるわけではない。例えば、図７に示すように、ブラー情報更新部２０７は、各線分の方向を示す角度θ１、θ２、θ３などを複数の他の角度に微小変動させた後、角度を変動させた各線分の端点２５１を時間経過の順番に連続的につなぎ合わせることにより、角速度データから生成されたブラー情報を更新してもよい。なお、このように各線分の方向を変動させる方法は、結果的に端点位置を摂動させる方法と同様の効果が得られる。

なお、ブラー情報更新部２０７は、ブラー情報生成部２０３がブラー情報を生成する場合と同様に、１つの点をブラーの軌跡が複数回通過する場合、その点の値は複数の線分が持つ点の値の合計となるように線分群を構成する各点の値を正規化する。

なお、動き検出センサ１０８が持つ検出精度があらかじめ分かっている場合には、ブラー情報更新部２０７は、この検出精度に応じて、端点を摂動させる範囲を決定するようにしてもよい。つまり、ブラー情報更新部２０７は、センサデータから得られる撮影方向を示す位置を中心とする領域であって、動き検出センサ１０８の検出性能に応じた大きさの領域内において、端点の位置を変化させる。

これにより、ブラー情報更新部２０７は、ブラーの軌跡としてはありえない範囲まで線分の端点を摂動させることにより無駄な演算を行なうことを抑制できる。さらに、ブラー情報更新部２０７は、逆に摂動範囲が狭すぎて適切なブラー補正が行えないということも抑制することができる。すなわち、ブラー情報更新部２０７は、効率的なブラー情報の更新を行うことが可能となる。

また、ブラー情報生成部２０３と同様に、ブラー情報更新部２０７は、ブラーの軌跡が滑らかにつながるようにスプライン補間などの補間演算をしてもよい。

また、これもブラー情報生成部２０３と同様に、ブラー情報更新部２０７は、端点を摂動させたブラーの軌跡を表す線分群に、式（４）のガウシアンフィルタを適用することによって、ブラーと同時にボケが発生したときのＰＳＦを示すブラー情報に更新することができる。ここで、ブラー情報更新部２０７は、ボケの度合いを表す式（４）のσについても、ブラーの端点と同様に摂動させてもよい。これにより、ボケについても複数の候補補正画像を生成することができ、最適な補正画像を推定することが可能となる。

また、ブラー情報更新部２０７は、端点の位置を変化させる際に、評価値が示すブラー補正度合いが高くなる方向へ優先的に変化させてもよい。例えば、ブラー情報更新部２０７は、価値が示すブラー補正度合いが低くなった場合には、前回とは異なる方向へ端点の位置を変化させてもよい。

以上により、本実施の形態におけるブラー補正装置１００は、角速度センサなどのセンサデータに検出誤差が発生する場合でも、センサデータに基づいて生成されるブラー情報を更新することにより、より正確なブラー情報を生成することが可能となる。その結果、ブラー補正装置１００は、リンギングなどの副作用を抑えた高精度なブラー補正が可能となる。

また、ブラー補正装置１００は、線分群によってブラー情報を表すことにより、ブラー情報を少ない情報量で表現できるとともに、動き検出センサによって検出されたセンサデータとの対応付けも容易となる。

また、ブラー補正装置１００は、線分群を構成する線分の端点の位置を変化させることにより、ブラー情報を容易に更新することができる。

なお、画像の補正方法、および、評価値算出方法は本実施の形態で述べた手法に限られるわけではなく、同様の効果が得られる手法があれば、それらを用いてもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。

上述したように、実施の形態１におけるブラー補正装置１００は、センサデータに基づいて生成されるブラー情報を必要に応じて更新することにより、撮影画像に生じたブラーを高精度に補正することができる。

しかしながら、撮影時に生じたブラーを示すＰＳＦがいずれかの周波数成分で０を持つと、この周波数成分では除算を行うことができなくなり、ブラー補正装置は、補正画像を正確に算出することができなくなる。

また、ＰＳＦの周波数成分が完全に０でなくても、非常に小さい値になると、ディジタル処理を行う際の量子化誤差の影響が大きくなる。その結果、周波数領域上で撮影画像をＰＳＦで除算したときに、この非常に小さい値を有する周波数成分では鮮鋭画像と補正画像との誤差が大きくなり、ブラー補正装置は、やはり正しい補正結果が得られなくなる。このような場合、補正画像にはリンギングと呼ばれるノイズが生じることが知られている。以下では、ＰＳＦのうち、０または非常に小さい値をとる周波数成分のことをゼロ点と呼ぶ。

この課題を改善するために、非特許文献２では、露光期間を符号化してＰＳＦを時間的に変調することでゼロ点の発生を抑制し、補正画像にリンギングが発生することの低減を図っている。
"Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙ： Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｕｓｉｎｇ Ｆｌｕｔｔｅｒｅｄ Ｓｈｕｔｔｅｒ，" Ｒａｍｅｓｈ Ｒａｓｋａｒ， Ａｍｉｔ Ａｇｒａｗａｌ ａｎｄ Ｊａｃｋ Ｔｕｍｂｌｉｎ， ＳＩＧＧＲＡＰＨ ２００６

例えば、カメラが等速直線運動することによってブラーが生じた場合、従来のようにシャッターが開いてから一定時間後にシャッターが閉じる撮影を行うと、画像空間上でのＰＳＦは、ブラーの方向に特定の距離だけ均等に一定の値が分布する形となる。このとき、周波数空間上のＰＳＦはｓｉｎｃ関数で表されるが、ｓｉｎｃ関数はゼロ点を多く含むため、補正画像には多くのリンギングが発生することになる。

一方、シャッター開閉を繰り返して露光期間を符号化（以下、「露光符号化」と呼ぶ）した撮影を行うと、画像空間上でのＰＳＦは断片的な複数の線分として分布する形になる。ここで、露光符号化の周期パターンを適切に選択すれば、ＰＳＦは全ての周波数成分においてゼロ点が発生することなく、リンギングを抑えた補正処理を行うことができる。

このような露光符号化を特許文献１または２に開示された方法に適用しようとすれば、露光中のシャッター開閉切り替えのタイミングと角速度センサで角速度を検出するタイミングとの同期をとり、ＰＳＦを正確に推定できなければ良好な補正画像は得られない。

また、非特許文献１では、ブラーの軌跡の時間的な推移まで求めていないため、露光符号化して撮影した場合に、断片的な線分として分布するＰＳＦを正確に求めるのが困難という問題がある。

そこで、本実施の形態２では、実施の形態１で述べたブラー補正方法を、非特許文献２に記載されている露光期間を符号化してＰＳＦを時間的に変調する手法に適用する方法について開示する。具体的には、本願で開示するブラー補正では、ＰＳＦを空間的な分布として算出するだけでなく、その時間的な経過情報と合わせて算出することにより、露光期間の符号化と統合したブラー補正処理を実現する。

以下では、図８〜図１０を参照して、本実施の形態におけるブラー補正装置３００の詳細な説明を行う。

図８は、本発明の実施の形態２におけるブラー補正装置のハードウェア構成図である。図８に示すように、本実施の形態におけるブラー補正装置３００は、実施の形態１におけるブラー補正装置１００と同様のハードウェア構成を有する。

なお、本実施の形態では、カメラ３０１は、動き検出センサ１０８に加えて、露光制御手段３０２を備える。露光制御手段３０２は、露光期間中に実際に受光が行われる期間（以下、「露光ＯＮ」と呼ぶ）と受光が行われない期間（以下、「露光ＯＦＦ」と呼ぶ）とを生成することにより、露光期間を符号化する。具体的には、露光制御手段３０２は、例えば、露光期間中に撮像素子の前に設置した液晶シャッターを開閉することにより、露光期間を符号化する。また例えば、露光制御手段３０２は、機械的にシャッターを開閉することにより、露光期間を符号化してもよい。あるいは、露光制御手段３０２は、撮像素子からの電荷読み出しタイミングを制御することによって、露光期間を符号化してもよい。

そして、カメラ３０１は、露光制御手段３０２によって制御された露光期間に関する露光期間情報を、撮影画像およびセンサデータとともにブラー補正装置３００へ出力する。

図９は、本発明の実施の形態２におけるブラー補正装置の機能構成を示すブロック図である。具体的には、図９は、図８に示されるハードウェア構成によって発揮される、ブラー補正装置の機能構成を示すブロック図である。なお、図９において、図２と同様の構成要素については、同一の符号を付し、適宜説明を省略する。また、本実施の形態におけるブラー補正処理の流れを示すフローチャートは、図３に示すフローチャートと同様であるので図示を省略する。

ブラー補正装置３００は、画像記憶部２０１と、センサデータ記憶部２０２と、露光期間記憶部３１０と、ブラー情報生成部３１１と、ブラー補正部２０４と、評価値算出部２０５と、終了判定部２０６と、ブラー情報更新部３１２とを備える。

露光期間記憶部３１０は、露光ＯＮおよび露光ＯＦＦに関する露光期間情報を記憶している。具体的には、露光期間記憶部３１０は、センサデータ記憶部２０２に記憶されているセンサデータと露光ＯＮおよび露光ＯＦＦとの時間的な関係を示す露光期間情報を記憶している。

ブラー情報生成部３１１は、検出された角速度データに基づいてブラー情報を生成する。以下に、図１０を用いて、ブラー情報生成部３１１によるブラー情報生成処理について説明する。

図１０は、本発明の実施の形態２におけるブラー情報生成処理を説明するための図である。

本実施の形態でも、実施の形態１と同様に、センサデータ記憶部２０２に格納されるセンサデータは、角速度センサを用いて一定の時間間隔Ｔごとにサンプリングされた角速度データであるとする。このとき、ブラー情報生成部３１１は、露光期間中に各画素位置でどれだけの光量を受光するかという空間的な拡がりだけでなく、どの時刻にどの画素位置で受光するかという時間的な経過情報も合わせて取得することができる。

ここで、ブラーの軌跡を表す各線分から方向成分を除外し、各線分の時間経過を一次元的に並べると、図１０の（ａ）に示すように、時間の経過に関して、どの時刻が線分上のどの位置に対応するかがわかる。図１０の（ａ）では、ブラーの軌跡３５０が、５つの線分（第１〜第５の線分３５１〜３５５）からなる線分群によって表されている。

一方、露光ＯＮ／ＯＦＦを切り替えるタイミング、および、露光ＯＮ／ＯＦＦそれぞれの期間を示す露光期間情報は、カメラ３０１が備える、露光制御手段３０２および図示しないタイマーなどから得ることができる。したがって、ブラー情報生成部３１１は、図１０の（ｂ）に示すように、露光ＯＮ／ＯＦＦの期間３６０を、図１０の（ａ）のブラーの軌跡３５０と同期させて抽出することができる。ここで、図１０の（ｂ）に示す露光ＯＮ／ＯＦＦの期間３６０おいて、白い矩形領域は露光ＯＮの期間を、斜線が付された矩形領域は露光ＯＦＦの期間を表す。このとき、撮影画像に生じるブラーは、露光ＯＮに相当する実際に受光が行われる期間のブラーだけである。したがって、ブラー情報生成部３１１は、図１０の（ｃ）に示すように、露光ＯＮの期間におけるブラーの軌跡だけを有効な情報として抽出する。つまり、ブラー情報生成部３１１は、露光ＯＦＦの期間におけるブラーの軌跡に対してマスク処理を行うことで、より正確なブラー情報を生成することができる。

つまり、ブラー情報生成部３１１は、センサデータから得られる複数の位置を直線でつないだ線分群において、シャッターが開いている間の位置の変化を示す部分を抽出し、抽出した部分によって表されるブラー情報を生成する。

このようにブラー情報を生成する際にも、ブラー情報生成部３１１は、実施の形態１と同様に、線分群の各点の値の合計が１になるように正規化を行う。これにより、ブラー情報生成部３１１は、露光期間を符号化して撮影した撮影画像に対応するより正確なブラー情報を生成することができる。なお、この場合も実施の形態１と同様に、ブラー情報生成部３１１は、露光ＯＮの有効な期間で抽出されたブラーの軌跡に対してガウシアンフィルタを適用することにより、ボケが発生した時のＰＳＦを示すブラー情報を生成することができる。

以下、ブラー補正部２０４、評価値算出部２０５、終了判定部２０６の動作は実施の形態１と同様であるため説明を省略する。

また、ブラー情報更新部３１２は、露光ＯＮ／ＯＦＦの期間を考慮する前のブラーの軌跡を示す線分群の端点を摂動させてブラー情報を更新した後に、ブラー情報生成部３１１と同様、露光期間の符号化情報に応じて、露光ＯＦＦの期間をマスク処理してブラー情報を更新する。これ以外は、実施の形態１におけるブラー情報更新部２０７と同様の動作であるため、ブラー情報更新部３１２の詳細な説明は省略する。

これにより、露光期間を符号化して撮影する方法においても、実際の受光期間に関するＰＳＦをより正確に算出することが可能となり、リンギングを抑えた良好なブラー補正を実現できる。

なお、角速度センサが角速度を検出するタイミングは一定の時間間隔でなく、露光ＯＮ／ＯＦＦが切り替わるタイミングに一致させてもよい。この場合、線分群の端点と露光ＯＮ／ＯＦＦの切り替わるタイミングが一致し、処理が簡単化される。

以上、本発明の一態様に係るブラー補正装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態１または２におけるブラー補正装置は、カメラに備えられてもよい。

また、上記実施の形態１または２におけるブラー補正装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、図２に示すように、システムＬＳＩ２２０は、ブラー情報生成部２０３と、ブラー補正部２０４と、評価値算出部２０５と、終了判定部２０６と、ブラー情報更新部２０７とを備える。また例えば、図９に示すように、システムＬＳＩ３２０は、ブラー情報生成部３１１と、ブラー補正部２０４と、評価値算出部２０５と、終了判定部２０６と、ブラー情報更新部３１２とを備える。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備えるブラー補正装置として実現することができるだけでなく、ブラー補正装置に含まれる特徴的な処理部をステップとするブラー補正方法として実現することもできる。また、ブラー補正方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明の一態様に係るブラー補正装置およびブラー補正方法は、カメラで撮影された画像に生じたブラーを高精度に補正し、鮮鋭な画像に補正することができ、デジタルスチルカメラなどの高画質化のために有効である。

１００、３００ ブラー補正装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ バス
１０４ ＲＡＭ
１０５ ＨＤＤ
１０６ Ｉ／Ｆ
１０７、３０１ カメラ
１０８ 動き検出センサ
２０１ 画像記憶部
２０２ センサデータ記憶部
２０３、３１１ ブラー情報生成部
２０４ ブラー補正部
２０５ 評価値算出部
２０６ 終了判定部
２０７、３１２ ブラー情報更新部
２２０、３２０ システムＬＳＩ
３０２ 露光制御手段
３１０ 露光期間記憶部

Claims (15)

1. カメラによって撮影された撮影画像に生じたブラーを電子的に補正することにより、前記撮影画像から補正画像を生成するブラー補正装置であって、
   撮影画像を撮影する際に動き検出センサによって検出された、カメラの動きを示すセンサデータに基づいて、前記撮影画像に生じたブラーを補正するためのブラー情報を生成するブラー情報生成部と、
   前記ブラー情報生成部によって生成されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を生成するブラー補正部と、
   前記ブラー補正部によって生成された候補補正画像の評価値であってブラー補正度合いを示す評価値を算出する評価値算出部と、
   予め定められた条件に基づいて、ブラー補正を終了するか否かを判定する終了判定部と、
   前記終了判定部によってブラー補正を終了しないと判定された場合に、前記ブラー情報生成部によって生成されたブラー情報を更新するブラー情報更新部とを備え、
   前記ブラー補正部は、前記ブラー情報更新部によってブラー情報が更新された場合、更新されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を新たに生成し、
   前記終了判定部は、ブラー補正を終了すると判定した場合に、前記評価値算出部によって算出された評価値に基づいて、前記ブラー補正部によって生成された少なくとも１つの候補補正画像の中から補正画像を決定する
   ブラー補正装置。
2. 前記ブラー情報は、少なくとも１つの線分からなる線分群によって表される
   請求項１に記載のブラー補正装置。
3. 前記ブラー情報更新部は、前記ブラー情報を表す線分群を構成する少なくとも１つの線分の少なくとも１つの端点の位置を変化させることにより、前記ブラー情報を更新する
   請求項２に記載のブラー補正装置。
4. 前記ブラー情報更新部は、前記センサデータから得られる撮影方向を示す位置を中心とする領域であって、前記動き検出センサの検出性能に応じた大きさの領域内において、前記端点の位置を変化させる
   請求項３に記載のブラー補正装置。
5. 前記ブラー情報生成部は、前記センサデータから得られる複数の位置であって複数の時刻における撮影方向を示す複数の位置を時刻順に直線でつないだ線分群をブラーの軌跡として算出し、算出した線分群を構成する各点において、前記撮影方向を示す位置の移動速度に反比例する値を光量として算出することにより、前記線分群によって表されるブラー情報を生成する
   請求項２に記載のブラー補正装置。
6. 前記カメラは、前記撮影画像を撮影する際に複数回のシャッター開閉制御を行うことができる露光制御手段を備え、
   前記ブラー情報生成部は、さらに、前記線分群において、前記シャッターが開いている間の位置の変化を示す部分を抽出し、抽出した部分によって表されるブラー情報を生成する
   請求項５に記載のブラー補正装置。
7. 前記終了判定部は、前記評価値算出部によって算出された評価値が前記予め定められた条件を満たすか否かに基づいて、ブラー補正を終了するか否かを判定する
   請求項１に記載のブラー補正装置。
8. 前記評価値算出部は、隣接する画素間における画素値の差分値の和が大きいほどブラー補正度合いが高くなるように、前記評価値を算出する
   請求項１に記載のブラー補正装置。
9. 前記評価値算出部は、撮影画像における画素値が平坦な領域において、候補補正画像においても画素値が平坦に維持されているほどブラー補正度合いが高くなるように、前記評価値を算出する
   請求項１に記載のブラー補正装置。
10. 前記動き検出センサは、角速度センサである
    請求項１に記載のブラー補正装置。
11. 前記ブラー情報は、点拡がり関数を示す
    請求項１に記載のブラー補正装置。
12. 前記ブラー補正部は、前記撮影画像と前記ブラー情報が示す点拡がり関数とを空間領域から周波数領域へ変換し、変換後に撮影画像を点拡がり関数で除算し、除算結果を周波数領域から空間領域へ変換することにより、前記補正候補画像を生成する
    請求項１１に記載のブラー補正装置。
13. カメラによって撮影された撮影画像に生じたブラーを電子的に補正することにより、前記撮影画像から補正画像を生成する集積回路であって、
    撮影画像を撮影する際に動き検出センサによって検出された、カメラの動きを示すセンサデータに基づいて、前記撮影画像に生じたブラーを補正するためのブラー情報を生成するブラー情報生成部と、
    前記ブラー情報生成部によって生成されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を生成するブラー補正部と、
    前記ブラー補正部によって生成された候補補正画像の評価値であってブラー補正度合いを示す評価値を算出する評価値算出部と、
    予め定められた条件に基づいて、ブラー補正を終了するか否かを判定する終了判定部と、
    前記終了判定部によってブラー補正を終了しないと判定された場合に、前記ブラー情報生成部によって生成されたブラー情報を更新するブラー情報更新部とを備え、
    前記ブラー補正部は、前記ブラー情報更新部によってブラー情報が更新された場合、更新されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を新たに生成し、
    前記終了判定部は、ブラー補正を終了すると判定した場合に、前記評価値算出部によって算出された評価値に基づいて、前記ブラー補正部によって生成された少なくとも１つの候補補正画像の中から補正画像を決定する
    集積回路。
14. カメラによって撮影された撮影画像に生じたブラーを電子的に補正することにより、前記撮影画像から補正画像を生成するブラー補正方法であって、
    撮影画像を撮影する際に動き検出センサによって検出された、カメラの動きを示すセンサデータに基づいて、前記撮影画像に生じたブラーを補正するためのブラー情報を生成するブラー情報生成ステップと、
    前記ブラー情報生成ステップにおいて生成されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を生成するブラー補正ステップと、
    前記ブラー補正ステップにおいて生成された候補補正画像の評価値であってブラー補正度合いを示す評価値を算出する評価値算出ステップと、
    予め定められた条件に基づいて、ブラー補正を終了するか否かを判定する終了判定ステップと、
    前記終了判定ステップにおいてブラー補正を終了しないと判定された場合に、前記ブラー情報生成ステップにおいて生成されたブラー情報を更新するブラー情報更新ステップとを含み、
    前記ブラー補正ステップでは、前記ブラー情報更新ステップにおいてブラー情報が更新された場合、更新されたブラー情報に基づいて、前記撮影画像に生じたブラーを補正することにより、候補補正画像を新たに生成し、
    前記終了判定ステップでは、ブラー補正を終了すると判定した場合に、前記評価値算出ステップにおいて算出された評価値に基づいて、前記ブラー補正ステップにおいて生成された少なくとも１つの候補補正画像の中から補正画像を決定する
    ブラー補正方法。
15. 請求項１４に記載のブラー補正方法をコンピュータに実行させるためのプログラム。