JP2000298300A - 手ぶれ画像補正方法、記録媒体及び撮像装置 - Google Patents
手ぶれ画像補正方法、記録媒体及び撮像装置Info
- Publication number
- JP2000298300A JP2000298300A JP11105033A JP10503399A JP2000298300A JP 2000298300 A JP2000298300 A JP 2000298300A JP 11105033 A JP11105033 A JP 11105033A JP 10503399 A JP10503399 A JP 10503399A JP 2000298300 A JP2000298300 A JP 2000298300A
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- blur correction
- image
- point spread
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 デジタルカメラ等で撮影した画像の、回転と
平行移動を含む不均一な手ぶれを高精度に補正する。 【解決手段】 手ぶれによる画素の回転及び平行移動を
表す座標変換行列を決定し（１０１）、その座標変換行
列を用いて、画像上の各画素位置での手ぶれベクトルを
推定する（１０２）。各画素値に対し、その位置の手ぶ
れベクトルに沿った補間演算により手ぶれによるボケの
補正を施す（１０３）。
平行移動を含む不均一な手ぶれを高精度に補正する。 【解決手段】 手ぶれによる画素の回転及び平行移動を
表す座標変換行列を決定し（１０１）、その座標変換行
列を用いて、画像上の各画素位置での手ぶれベクトルを
推定する（１０２）。各画素値に対し、その位置の手ぶ
れベクトルに沿った補間演算により手ぶれによるボケの
補正を施す（１０３）。
Description
【０００１】
【発明の属する技術分野】本発明は、手ぶれによる画像
の劣化を補正する技術に関する。
の劣化を補正する技術に関する。
【０００２】
【従来の技術】デジタルカメラ等で被写体を撮影する
際、露光中のカメラの動き、いわゆる手ぶれによるボケ
が撮影画像に生じる。手ぶれによる画像の劣化を避ける
ため、従来から様々な技術が開発されてきた。
際、露光中のカメラの動き、いわゆる手ぶれによるボケ
が撮影画像に生じる。手ぶれによる画像の劣化を避ける
ため、従来から様々な技術が開発されてきた。
【０００３】例えば、手ぶれの動きを検知するための加
速度センサ等をカメラに装備しておき、同センサの検出
信号を画像の動きに換算し、その画像の動きを補償する
方向にカメラの光学系（プリズム、レンズ、あるいは撮
像素子）を機械的に移動させる方法が知られている（例
えば特許第２６３７４６４号）。
速度センサ等をカメラに装備しておき、同センサの検出
信号を画像の動きに換算し、その画像の動きを補償する
方向にカメラの光学系（プリズム、レンズ、あるいは撮
像素子）を機械的に移動させる方法が知られている（例
えば特許第２６３７４６４号）。
【０００４】手ぶれによる仮想的な点状被写体の画像上
での動きがボケに相当し、しばしば点広がり関数と呼ば
れる。撮影時におけるシャッターの開口率の経時変化
と、加速度センサ等で検出したカメラ光軸の動きとか
ら、点広がり関数を推定し、その逆補正を画像全体に施
すことによって手ぶれを補正する方法も知られている
（特開平７−２２６９０５号）。
での動きがボケに相当し、しばしば点広がり関数と呼ば
れる。撮影時におけるシャッターの開口率の経時変化
と、加速度センサ等で検出したカメラ光軸の動きとか
ら、点広がり関数を推定し、その逆補正を画像全体に施
すことによって手ぶれを補正する方法も知られている
（特開平７−２２６９０５号）。
【０００５】さらに、加速度センサ等を利用しないで、
画像から手ぶれを推定する研究も古くからなされてい
る。例えば文献「 A.O.Aboutalib and L.M.Silverman ;
Rotation of Motion Degraded Images; IEEE Trans. Ci
rcuits and Systems,p.278,1957」に、ぶれの大きさの
推定に自己相関関数を利用できることが記載されてい
る。また、手ぶれの生じた方向では、ぶれが均一である
と近似できれば一様な濃度（輝度）であるはずであるか
ら、ぶれ方向に画像の自己相関関数をとり、これを微分
すると、ぶれ量に相当する間隔で微分値が極小を示し、
ぶれのない方向では零点で極大を示すので、ぶれの大き
さを推定できることが文献「Y.Yitzhaky and N.S.Kopei
ka; Identification of Blur Parameters fromMotion B
lurred Images; Graphical Models and Image Processi
ng Vol.59,pp.310−320,1997」に、記載されている。ぶ
れ方向の推定に関しては、例えば文献「 R.Fabian and
D.Malah; Robust Identification and Out−Of−FocusB
lur Parameters from Blurred and Noisy Images; Grap
hical Models andImage Processing,Vol.53, pp.403−4
12, 1991 」に、空間周波数分布を利用する方法が述べ
られている。
画像から手ぶれを推定する研究も古くからなされてい
る。例えば文献「 A.O.Aboutalib and L.M.Silverman ;
Rotation of Motion Degraded Images; IEEE Trans. Ci
rcuits and Systems,p.278,1957」に、ぶれの大きさの
推定に自己相関関数を利用できることが記載されてい
る。また、手ぶれの生じた方向では、ぶれが均一である
と近似できれば一様な濃度（輝度）であるはずであるか
ら、ぶれ方向に画像の自己相関関数をとり、これを微分
すると、ぶれ量に相当する間隔で微分値が極小を示し、
ぶれのない方向では零点で極大を示すので、ぶれの大き
さを推定できることが文献「Y.Yitzhaky and N.S.Kopei
ka; Identification of Blur Parameters fromMotion B
lurred Images; Graphical Models and Image Processi
ng Vol.59,pp.310−320,1997」に、記載されている。ぶ
れ方向の推定に関しては、例えば文献「 R.Fabian and
D.Malah; Robust Identification and Out−Of−FocusB
lur Parameters from Blurred and Noisy Images; Grap
hical Models andImage Processing,Vol.53, pp.403−4
12, 1991 」に、空間周波数分布を利用する方法が述べ
られている。
【０００６】
【発明が解決しようとする課題】撮影時にカメラが光軸
周りに回転したような場合、画像上の手ぶれが不均一に
なる。本発明の目的は、そのような不均一な回転及び平
行移動を含む手ぶれが生じた場合にも、前記特許第２６
３７４６４号のような機械的な操作によらずにシャープ
な画像を復元可能な手ぶれ画像補正方法及び撮像装置を
提供することにある。本発明のもう一つの目的は、光軸
のぶれを検出するための加速度センサ等を持たない普通
のカメラで撮影した画像に対しても、不均一な手ぶれを
精度よく補正可能な手ぶれ画像補正方法を提供すること
にある。本発明の他の目的は、光軸のぶれを検出するた
めの加速度センサ等を装備しなくとも、不均一な手ぶれ
を精度よく補正した画像を得られる撮像装置を提供する
ことにある。
周りに回転したような場合、画像上の手ぶれが不均一に
なる。本発明の目的は、そのような不均一な回転及び平
行移動を含む手ぶれが生じた場合にも、前記特許第２６
３７４６４号のような機械的な操作によらずにシャープ
な画像を復元可能な手ぶれ画像補正方法及び撮像装置を
提供することにある。本発明のもう一つの目的は、光軸
のぶれを検出するための加速度センサ等を持たない普通
のカメラで撮影した画像に対しても、不均一な手ぶれを
精度よく補正可能な手ぶれ画像補正方法を提供すること
にある。本発明の他の目的は、光軸のぶれを検出するた
めの加速度センサ等を装備しなくとも、不均一な手ぶれ
を精度よく補正した画像を得られる撮像装置を提供する
ことにある。
【０００７】手ぶれの速度は、手ぶれの最初から最後ま
で一様であるとは限らない。手ぶれの速度が時間的に変
化すると、点広がり関数の形も変化する。本発明の他の
目的は、手ぶれの速度が時間的に変動した場合にも、適
切な手ぶれ補正が可能な手ぶれ画像補正方法及び撮像装
置を提供することにある。
で一様であるとは限らない。手ぶれの速度が時間的に変
化すると、点広がり関数の形も変化する。本発明の他の
目的は、手ぶれの速度が時間的に変動した場合にも、適
切な手ぶれ補正が可能な手ぶれ画像補正方法及び撮像装
置を提供することにある。
【０００８】シャッターの開口率の経時変化による光量
の変化をそのまま反映した画像データが得られることを
前提にした、特開平７−２２６９０５号のような方法で
は、良好な手ぶれ補正が期待できない場合がある。この
問題は、近年普及してきたデジタルカメラでは特に顕著
である。一般的なデジタルカメラにおいては、レンズ系
で結像された光像がＣＣＤのような撮像素子によって電
気信号に変換されるが、この電気信号は外部の明るさや
色の偏り（晴天の夕方は赤が強く、蛍光灯の下では青が
強い）等の撮影環境条件に応じて補正されるため、シャ
ッターの開口率の経時変化による光量の変化をそのまま
反映した画像データが得られるものではないからであ
る。本発明のもう一つの目的は、上に述べたような撮影
環境条件に応じた補正が行われた場合にも、適切な手ぶ
れ補正が可能な手ぶれ画像補正方法及び撮像装置を提供
することにある。
の変化をそのまま反映した画像データが得られることを
前提にした、特開平７−２２６９０５号のような方法で
は、良好な手ぶれ補正が期待できない場合がある。この
問題は、近年普及してきたデジタルカメラでは特に顕著
である。一般的なデジタルカメラにおいては、レンズ系
で結像された光像がＣＣＤのような撮像素子によって電
気信号に変換されるが、この電気信号は外部の明るさや
色の偏り（晴天の夕方は赤が強く、蛍光灯の下では青が
強い）等の撮影環境条件に応じて補正されるため、シャ
ッターの開口率の経時変化による光量の変化をそのまま
反映した画像データが得られるものではないからであ
る。本発明のもう一つの目的は、上に述べたような撮影
環境条件に応じた補正が行われた場合にも、適切な手ぶ
れ補正が可能な手ぶれ画像補正方法及び撮像装置を提供
することにある。
【０００９】
【課題を解決するための手段】請求項１乃至７記載の発
明によれば、改良された手ぶれ画像補正方法が提供され
る。この手ぶれ画像補正方法は、手ぶれによる、対象画
像上の画素の回転及び平行移動を表す座標変換行列を決
定するステップ、決定された座標変換行列を利用して対
象画像上の各画素位置における手ぶれベクトルを推定す
るステップ、対象画像上の各画素値に対し、その位置の
推定された手ぶれベクトルに応じたボケ補正を施すステ
ップを含む。
明によれば、改良された手ぶれ画像補正方法が提供され
る。この手ぶれ画像補正方法は、手ぶれによる、対象画
像上の画素の回転及び平行移動を表す座標変換行列を決
定するステップ、決定された座標変換行列を利用して対
象画像上の各画素位置における手ぶれベクトルを推定す
るステップ、対象画像上の各画素値に対し、その位置の
推定された手ぶれベクトルに応じたボケ補正を施すステ
ップを含む。
【００１０】請求項２記載の発明によれば、対象画像上
の複数の位置における手ぶれの方向及び大きさを、対象
画像に基づいて推定するステップをさらに含み、このス
テップにより推定された手ぶれの方向及び大きさに基づ
いて、手ぶれによる、対象画像上の画素の回転及び平行
移動を表す座標変換行列が決定される。
の複数の位置における手ぶれの方向及び大きさを、対象
画像に基づいて推定するステップをさらに含み、このス
テップにより推定された手ぶれの方向及び大きさに基づ
いて、手ぶれによる、対象画像上の画素の回転及び平行
移動を表す座標変換行列が決定される。
【００１１】請求項３記載の発明によれば、手ぶれベク
トルに沿った補間演算によってボケ補正が行われる。
トルに沿った補間演算によってボケ補正が行われる。
【００１２】請求項４記載の発明によれば、予め用意さ
れた典型的な手ぶれパターンに対応した複数のボケ補正
関数の中から、ユーザが、ボケ補正に利用されるボケ補
正関数を選択するステップをさらに含む。
れた典型的な手ぶれパターンに対応した複数のボケ補正
関数の中から、ユーザが、ボケ補正に利用されるボケ補
正関数を選択するステップをさらに含む。
【００１３】請求項５記載の発明によれば、手ぶれによ
る点広がり関数を推定するステップ、推定された点広が
り関数に最も類似した点広がり関数を予め用意された複
数の典型的な点広がり関数の中から選択するステップ、
選択された典型的点広がり関数に対応したボケ補正関数
を予め用意された複数のボケ補正関数の中から選択する
ステップをさらに含み、この選択されたボケ関数がボケ
補正に用いられる。
る点広がり関数を推定するステップ、推定された点広が
り関数に最も類似した点広がり関数を予め用意された複
数の典型的な点広がり関数の中から選択するステップ、
選択された典型的点広がり関数に対応したボケ補正関数
を予め用意された複数のボケ補正関数の中から選択する
ステップをさらに含み、この選択されたボケ関数がボケ
補正に用いられる。
【００１４】請求項６記載の発明によれば、予め用意さ
れた点広がり関数のグラフをディスプレイの画面に表示
するステップ、表示された点広がり関数のグラフをポイ
ンティングデバイスの操作に従って編集するステップ、
編集後の点広がり関数のグラフに対応してボケ補正に用
いられるボケ補正関数を修正するステップをさらに含
む。
れた点広がり関数のグラフをディスプレイの画面に表示
するステップ、表示された点広がり関数のグラフをポイ
ンティングデバイスの操作に従って編集するステップ、
編集後の点広がり関数のグラフに対応してボケ補正に用
いられるボケ補正関数を修正するステップをさらに含
む。
【００１５】請求項７記載の発明によれば、対象画像の
手ぶれによる点広がり関数のグラフをディスプレイの画
面に表示するステップ、表示された点広がり関数のグラ
フをポインティングデバイスの操作に従って編集するス
テップ、編集後の点広がり関数に対応したボケ補正関数
を生成するステップをさらに含み、生成されたボケ補正
関数がボケ補正に用いられる。
手ぶれによる点広がり関数のグラフをディスプレイの画
面に表示するステップ、表示された点広がり関数のグラ
フをポインティングデバイスの操作に従って編集するス
テップ、編集後の点広がり関数に対応したボケ補正関数
を生成するステップをさらに含み、生成されたボケ補正
関数がボケ補正に用いられる。
【００１６】請求項９乃至１５記載の発明によれば、改
良された撮像装置が提供される。この撮像装置は、被写
体を撮像素子により撮像して得られたデジタル画像上の
画素の、手ぶれによる回転及び平行移動を表す座標変換
行列を決定する手段、決定された座標変換行列を利用し
てデジタル画像上の各画素位置における手ぶれベクトル
を推定する手段、デジタル画像上の各画素値に対し、そ
の位置の推定された手ぶれベクトルに応じたボケ補正を
施す手段を有する。
良された撮像装置が提供される。この撮像装置は、被写
体を撮像素子により撮像して得られたデジタル画像上の
画素の、手ぶれによる回転及び平行移動を表す座標変換
行列を決定する手段、決定された座標変換行列を利用し
てデジタル画像上の各画素位置における手ぶれベクトル
を推定する手段、デジタル画像上の各画素値に対し、そ
の位置の推定された手ぶれベクトルに応じたボケ補正を
施す手段を有する。
【００１７】請求項１０記載の発明によれば、撮像装置
は、デジタル画像上の画素の複数の位置における手ぶれ
の方向及び大きさを、デジタル画像に基づいて推定する
手段をさらに有し、推定された手ぶれの方向及び大きさ
に基づいて座標変換行列を決定する。
は、デジタル画像上の画素の複数の位置における手ぶれ
の方向及び大きさを、デジタル画像に基づいて推定する
手段をさらに有し、推定された手ぶれの方向及び大きさ
に基づいて座標変換行列を決定する。
【００１８】請求項１１記載の発明によれば、撮像装置
は、手ぶれベクトルに沿った補間演算によってボケ補正
を行う。請求項１２記載の発明によれば、撮像装置は、
用意された典型的な手ぶれパターンに対応した複数のボ
ケ補正関数の中から、ユーザがボケ補正に利用されるボ
ケ補正関数を選択するための手段をさらに有する。
は、手ぶれベクトルに沿った補間演算によってボケ補正
を行う。請求項１２記載の発明によれば、撮像装置は、
用意された典型的な手ぶれパターンに対応した複数のボ
ケ補正関数の中から、ユーザがボケ補正に利用されるボ
ケ補正関数を選択するための手段をさらに有する。
【００１９】請求項１３記載の発明によれば、撮像装置
は、デジタル画像の手ぶれによる点広がり関数を推定す
る手段、推定された点広がり関数に最も類似した点広が
り関数を用意された複数の典型的な点広がり関数の中か
ら選択する手段、選択された典型的点広がり関数に対応
したボケ補正関数を用意された複数のボケ補正関数の中
から選択する手段をさらに有し、選択されたボケ関数を
ボケ補正に用いる。
は、デジタル画像の手ぶれによる点広がり関数を推定す
る手段、推定された点広がり関数に最も類似した点広が
り関数を用意された複数の典型的な点広がり関数の中か
ら選択する手段、選択された典型的点広がり関数に対応
したボケ補正関数を用意された複数のボケ補正関数の中
から選択する手段をさらに有し、選択されたボケ関数を
ボケ補正に用いる。
【００２０】請求項１４記載の発明によれば、撮像装置
は、用意された点広がり関数のグラフをディスプレイの
画面に表示させる手段、表示された点広がり関数のグラ
フをユーザによるポインティングデバイスの操作に従っ
て編集する手段、編集後の点広がり関数のグラフに対応
して、ボケ補正に用いられるボケ補正関数を修正する手
段をさらに有する。
は、用意された点広がり関数のグラフをディスプレイの
画面に表示させる手段、表示された点広がり関数のグラ
フをユーザによるポインティングデバイスの操作に従っ
て編集する手段、編集後の点広がり関数のグラフに対応
して、ボケ補正に用いられるボケ補正関数を修正する手
段をさらに有する。
【００２１】請求項１５記載の発明によれば、撮像装置
は、デジタル画像の手ぶれによる点広がり関数のグラフ
をディスプレイの画面に表示させる手段、表示された点
広がり関数のグラフを、ユーザによるポインティングデ
バイスの操作に従って編集する手段、編集後の点広がり
関数に対応したボケ補正関数を生成する手段をさらに有
し、生成されたボケ補正関数をボケ補正に用いる。
は、デジタル画像の手ぶれによる点広がり関数のグラフ
をディスプレイの画面に表示させる手段、表示された点
広がり関数のグラフを、ユーザによるポインティングデ
バイスの操作に従って編集する手段、編集後の点広がり
関数に対応したボケ補正関数を生成する手段をさらに有
し、生成されたボケ補正関数をボケ補正に用いる。
【００２２】
【発明の実施の形態】本発明による手ぶれ画像補正のた
めの処理手順の一例を図１に示す。図１において、１０
０は手ぶれによりボケが生じた画像が入力されるステッ
プ、１０１は入力画像上の画素の、手ぶれによる回転及
び平行移動を表す座標変換行列が決定されるステップ、
１０２は、その座標変換行列を利用して、入力画像上の
各画素位置における、手ぶれベクトル（手ぶれによる
「ぶれ」の方向と大きさ）が推定されるステップ、１０
３は入力画像上の各画素値に対し、その位置の推定され
た手ぶれベクトルに応じたボケ補正が施され、手ぶれに
よるボケが補正された画像が生成されるステップ、１０
４は補正画像が出力されるステップである。なお、本発
明による手ぶれ画像補正の処理手順は後述のように種々
変更可能である。
めの処理手順の一例を図１に示す。図１において、１０
０は手ぶれによりボケが生じた画像が入力されるステッ
プ、１０１は入力画像上の画素の、手ぶれによる回転及
び平行移動を表す座標変換行列が決定されるステップ、
１０２は、その座標変換行列を利用して、入力画像上の
各画素位置における、手ぶれベクトル（手ぶれによる
「ぶれ」の方向と大きさ）が推定されるステップ、１０
３は入力画像上の各画素値に対し、その位置の推定され
た手ぶれベクトルに応じたボケ補正が施され、手ぶれに
よるボケが補正された画像が生成されるステップ、１０
４は補正画像が出力されるステップである。なお、本発
明による手ぶれ画像補正の処理手順は後述のように種々
変更可能である。
【００２３】《座標変換行列の決定：ステップ１００》
ステップ１００の具体的な処理内容を説明する。画像を
撮影する際の手ぶれにより、画像上の画素は本来の位置
から移動する。このような微少なぶれは、アフィン変換
で表すことができるから、本来の画素の座標値（ｘ，
ｙ）と、その手ぶれにより変化した座標値（Ｘ，Ｙ）と
の間に、次式が成り立つ。
ステップ１００の具体的な処理内容を説明する。画像を
撮影する際の手ぶれにより、画像上の画素は本来の位置
から移動する。このような微少なぶれは、アフィン変換
で表すことができるから、本来の画素の座標値（ｘ，
ｙ）と、その手ぶれにより変化した座標値（Ｘ，Ｙ）と
の間に、次式が成り立つ。
【００２４】
【数１】 式中、θは回転角度、σx，σyはｘ，ｙ方向の平行移動
量を表す。手ぶれによる回転角度θは一般に十分に小さ
いため、（１）式は（２）式のように近似してもよい
し、（３）式のようにさらに強い近似をしてもよい。
量を表す。手ぶれによる回転角度θは一般に十分に小さ
いため、（１）式は（２）式のように近似してもよい
し、（３）式のようにさらに強い近似をしてもよい。
【００２５】
【数２】
【数３】
【００２６】ステップ１００においては、（１）式、
（２）式又は（３）式の座標変換行列の３つのパラメー
タ（θ，σx，σy）を決定する。入力画像をカメラで撮
影する際に、加速度センサやジャイロセンサ等を利用
し、カメラの光軸のぶれ量と光軸周りの回転角度を検出
することができる場合には、その検出結果を例えばステ
ップ１００で画像の付加情報として入力し、その付加情
報に基づき直接的に３つのパラメータ（θ，σx，σy）
を決定できる。本発明の一実施例によれば、そのような
方法が採用される。
（２）式又は（３）式の座標変換行列の３つのパラメー
タ（θ，σx，σy）を決定する。入力画像をカメラで撮
影する際に、加速度センサやジャイロセンサ等を利用
し、カメラの光軸のぶれ量と光軸周りの回転角度を検出
することができる場合には、その検出結果を例えばステ
ップ１００で画像の付加情報として入力し、その付加情
報に基づき直接的に３つのパラメータ（θ，σx，σy）
を決定できる。本発明の一実施例によれば、そのような
方法が採用される。
【００２７】しかし、そのようなセンサが装備されてい
ない一般的なカメラが利用される場合には、上に述べた
ような方法は利用不可能である。そこで、本発明の他の
一実施例によれば、入力画像上の２カ所以上における
（ｘ，ｙ）と（Ｘ，Ｙ）の組を推定し、換言すれば、図
２にＢ１，Ｂ２，Ｂ３として示すような手ぶれの方向と
大きさ（手ぶれベクトル）を推定し、それを（１）式、
（２）式又は（３）式に代入することにより、座標変換
行列のパラメータ（θ，σx，σy）を決定する。その具
体的な処理手順の一例を以下に述べる。
ない一般的なカメラが利用される場合には、上に述べた
ような方法は利用不可能である。そこで、本発明の他の
一実施例によれば、入力画像上の２カ所以上における
（ｘ，ｙ）と（Ｘ，Ｙ）の組を推定し、換言すれば、図
２にＢ１，Ｂ２，Ｂ３として示すような手ぶれの方向と
大きさ（手ぶれベクトル）を推定し、それを（１）式、
（２）式又は（３）式に代入することにより、座標変換
行列のパラメータ（θ，σx，σy）を決定する。その具
体的な処理手順の一例を以下に述べる。
【００２８】最初に、入力画像上の適当な点を少なくと
も２つ選ぶ。これは、処理プログラムによって自動的に
行われるようにしてもよいし、画像を表示させた適当な
ディスプレイの画面上で、ユーザがポインティングデバ
イスを利用して指定するようにしてもよい。
も２つ選ぶ。これは、処理プログラムによって自動的に
行われるようにしてもよいし、画像を表示させた適当な
ディスプレイの画面上で、ユーザがポインティングデバ
イスを利用して指定するようにしてもよい。
【００２９】次に、選ばれた各点における、手ぶれの方
向を推定する。例えば、選ばれた各点の近傍領域につい
て空間周波数分布を測定し、その高周波数分布の減少率
が最大の方向を手ぶれの方向と推定する。このような方
法は、本出願人の特願平９−１８０８４６号（特開平１
１−０２７５７４号）、あるいは前記のR.Fabianらの文
献等に詳しい。
向を推定する。例えば、選ばれた各点の近傍領域につい
て空間周波数分布を測定し、その高周波数分布の減少率
が最大の方向を手ぶれの方向と推定する。このような方
法は、本出願人の特願平９−１８０８４６号（特開平１
１−０２７５７４号）、あるいは前記のR.Fabianらの文
献等に詳しい。
【００３０】次に、選ばれた各点における手ぶれの大き
さを推定する。例えば、選ばれた各点の近傍領域につい
て、推定された手ぶれの方向に画像の自己相関関数をと
り、これを手ぶれ方向に微分すると、手ぶれの大きさに
相当する間隔で微分値が極小を示すため、その極小点の
間隔から、ぶれの大きさを推定する。この方法は、前記
のY.Yitzhakyらの文献等に詳しい。
さを推定する。例えば、選ばれた各点の近傍領域につい
て、推定された手ぶれの方向に画像の自己相関関数をと
り、これを手ぶれ方向に微分すると、手ぶれの大きさに
相当する間隔で微分値が極小を示すため、その極小点の
間隔から、ぶれの大きさを推定する。この方法は、前記
のY.Yitzhakyらの文献等に詳しい。
【００３１】このような推定を終わると、選ばれた各点
のｘ，ｙ座標値（ｘ，ｙ）と、それを推定した手ぶれ方
向へ、推定した手ぶれの大きさだけ移動した点のｘ，ｙ
座標値（Ｘ，Ｙ）との組を、前記（１）式、（２）式又
は（３）式に代入することによりパラメータ（θ，
σx，σy）を求める。これで、（１）式、（２）式又は
（３）式の座標変換行列が決定された。
のｘ，ｙ座標値（ｘ，ｙ）と、それを推定した手ぶれ方
向へ、推定した手ぶれの大きさだけ移動した点のｘ，ｙ
座標値（Ｘ，Ｙ）との組を、前記（１）式、（２）式又
は（３）式に代入することによりパラメータ（θ，
σx，σy）を求める。これで、（１）式、（２）式又は
（３）式の座標変換行列が決定された。
【００３２】なお、入力画像を適当なディスプレイの画
面に拡大表示し、ユーザが画面上で手ぶれによる画像の
ぶれを判断し、適当な２点以上と、そのぶれにより移動
した点とをポインティングデバイスを利用して直接的に
指示し、指示された座標値を用いて、パラメータ（θ，
σx，σy）を求めるという方法も可能である。この簡便
な方法によっても、熟練したユーザであれば、それなり
の精度でパラメータの決定が可能である。
面に拡大表示し、ユーザが画面上で手ぶれによる画像の
ぶれを判断し、適当な２点以上と、そのぶれにより移動
した点とをポインティングデバイスを利用して直接的に
指示し、指示された座標値を用いて、パラメータ（θ，
σx，σy）を求めるという方法も可能である。この簡便
な方法によっても、熟練したユーザであれば、それなり
の精度でパラメータの決定が可能である。
【００３３】《各画素位置の手ぶれベクトルの推定：ス
テップ１０２》次にステップ１０２においては、ステッ
プ１０１によって決定された座標変換行列を用い、入力
画像上の各画素位置（ｘ，ｙ）における手ぶれベクトル
Ｂ（ｘ，ｙ）（手ぶれによる動きベクトル）を推定す
る。すなわち、（１）式、（２）式又は（３）式に
（ｘ，ｙ）を代入して（Ｘ，Ｙ）を計算し、次式により
Ｂ（ｘ，ｙ）を求める。
テップ１０２》次にステップ１０２においては、ステッ
プ１０１によって決定された座標変換行列を用い、入力
画像上の各画素位置（ｘ，ｙ）における手ぶれベクトル
Ｂ（ｘ，ｙ）（手ぶれによる動きベクトル）を推定す
る。すなわち、（１）式、（２）式又は（３）式に
（ｘ，ｙ）を代入して（Ｘ，Ｙ）を計算し、次式により
Ｂ（ｘ，ｙ）を求める。
【００３４】
【数４】
【００３５】《ボケ補正：ステップ１０３》ステップ１
０３においては、入力画像の各画素値に対し、その位置
の推定された手ぶれベクトルに応じたボケ補正を施し、
手ぶれによるボケを補償した補正画像を生成する。
０３においては、入力画像の各画素値に対し、その位置
の推定された手ぶれベクトルに応じたボケ補正を施し、
手ぶれによるボケを補償した補正画像を生成する。
【００３６】手ぶれが一様な動きによって導入された場
合、手ぶれによるボケは（５）式のような１次元の点広
がり関数で表され、また、このような手ぶれによるボケ
は（６）式のようなボケ補正関数で補正できることが知
られている。この２式中、ｔは手ぶれの距離である。ａ
はボケの長さであり、これは手ぶれベクトルの長さに相
当する。ただし、手ぶれの速度が一様でないと点広がり
関数及びボケ補正関数は多少違ったものになるので、よ
り高精度な手ぶれ補正のためには、手ぶれのパターンに
応じてボケ補正関数を選択又は修正できるようにするの
が望ましいが、これについては後述する。
合、手ぶれによるボケは（５）式のような１次元の点広
がり関数で表され、また、このような手ぶれによるボケ
は（６）式のようなボケ補正関数で補正できることが知
られている。この２式中、ｔは手ぶれの距離である。ａ
はボケの長さであり、これは手ぶれベクトルの長さに相
当する。ただし、手ぶれの速度が一様でないと点広がり
関数及びボケ補正関数は多少違ったものになるので、よ
り高精度な手ぶれ補正のためには、手ぶれのパターンに
応じてボケ補正関数を選択又は修正できるようにするの
が望ましいが、これについては後述する。
【００３７】
【数５】
【数６】
【００３８】本発明の一実施例によれば、入力画像上の
各画素（ｉc，ｊc）に関し、その位置の手ぶれベクトル
Ｂに沿った１次元の補間演算を行って補正画素値Ｖ（ｉ
c，ｊc）を計算する。具体的には
各画素（ｉc，ｊc）に関し、その位置の手ぶれベクトル
Ｂに沿った１次元の補間演算を行って補正画素値Ｖ（ｉ
c，ｊc）を計算する。具体的には
【数７】 式中、θは手ぶれベクトルＢのｘ軸に対しなす角度であ
る。また、次の関係が成り立つ。
る。また、次の関係が成り立つ。
【数８】 Ｓはボケの及ぶ範囲の画素であり、ａx，ａyを手ぶれベ
クトルＢのｘ，ｙ成分の長さとすると、（７）式を次の
ように書くことができる。
クトルＢのｘ，ｙ成分の長さとすると、（７）式を次の
ように書くことができる。
【数９】
【００３９】（７）式及び（９）式におけるｐ（）は、
手ぶれベクトルＢに沿った前後の画素値から算出され
る、手ぶれベクトルＢ上又はその延長線上の補間画素値
であり、これを（９）式に代入することにより補正画素
値Ｖ（ｉc，ｊc）が求まる。なお、補間関数 Ｉ（ｘ）＝ｈ-1（ｘ） が成り立つものとする。
手ぶれベクトルＢに沿った前後の画素値から算出され
る、手ぶれベクトルＢ上又はその延長線上の補間画素値
であり、これを（９）式に代入することにより補正画素
値Ｖ（ｉc，ｊc）が求まる。なお、補間関数 Ｉ（ｘ）＝ｈ-1（ｘ） が成り立つものとする。
【００４０】もし、注目画素の隣接画素のみを利用する
のであれば、補間関数Ｉ（ｘ）は、図３に記号「＊」で
示すような、手ぶれベクトルＢに沿った両側の画素から
算出する。ここで、補間画素値ｐ（）は、図３に記号
「＝」で示した仮想画素の値である。この画素値も、補
間関数Ｉ（ｘ）によって求めることができる（ただし、
このときはａ＝１）。ｘ，ｙの値は一般的には任意でよ
いが、効率的な計算を行うには、画素ピッチを１とし、
のであれば、補間関数Ｉ（ｘ）は、図３に記号「＊」で
示すような、手ぶれベクトルＢに沿った両側の画素から
算出する。ここで、補間画素値ｐ（）は、図３に記号
「＝」で示した仮想画素の値である。この画素値も、補
間関数Ｉ（ｘ）によって求めることができる（ただし、
このときはａ＝１）。ｘ，ｙの値は一般的には任意でよ
いが、効率的な計算を行うには、画素ピッチを１とし、
【数１０】 と置くことができる（図３は、そのような場合であ
る）。したがって、（９）式は次のように書き直すこと
ができる。
る）。したがって、（９）式は次のように書き直すこと
ができる。
【数１１】 また、手ぶれベクトルＢの両側の画素のみを利用するな
らば、条件式 ｉ，ｊ Ａ は次のように表すことができる。
らば、条件式 ｉ，ｊ Ａ は次のように表すことができる。
【数１２】 式中、［ｘ］はｘを越えない整数を表す。
【００４１】以上に述べた本発明による手ぶれ画像補正
方法は、画像内に不均一な手ぶれ（回転と平行移動）が
ある場合にも、実空間処理により高精度な手ぶれ補正が
可能である。画像の回転等の前処理や後処理を含まない
ため、そのような処理に伴う画質劣化が生じない。ま
た、そのような前処理や後処理を含まないうえに、手ぶ
れベクトルに沿った補間画素値をテーブル参照方式で高
速に計算できるから、全体として高速な処理が可能であ
る。
方法は、画像内に不均一な手ぶれ（回転と平行移動）が
ある場合にも、実空間処理により高精度な手ぶれ補正が
可能である。画像の回転等の前処理や後処理を含まない
ため、そのような処理に伴う画質劣化が生じない。ま
た、そのような前処理や後処理を含まないうえに、手ぶ
れベクトルに沿った補間画素値をテーブル参照方式で高
速に計算できるから、全体として高速な処理が可能であ
る。
【００４２】さて、（５）式の点広がり関数は、図４の
（Ａ）のようなグラフとして表すとができる。図４にお
いて、横軸はぶれの距離ｔ、縦軸はレスポンスの大きさ
である。実際の手ぶれは速度が一様でないことが多く、
点広がり関数は図４（Ａ）に示したグラフとは多少異な
ったものになる。しかし、手ぶれのパターンはいくつか
の類型に分類可能である。いくつかの典型的な手ぶれパ
ターンに対応した点広がり関数のグラフを図４の
（Ｃ），（Ｄ）及び（Ｅ）に示す。（Ｃ）のグラフは最
初はゆっくりで次第に速くなる手ぶれパターンに対応し
た点広がり関数を表し、（Ｄ）のグラフは、それと逆に
最初は速く、次第に遅くなる手ぶれパターンに対応した
点広がり関数を表す。（Ｅ）のグラフは、最初と最後が
ゆっくりで中間で動きが速い手ぶれパターンに対応した
点広がり関数を表す。慣れてくると、画像を観測すれ
ば、かなりの正確さで、どのような手ぶれパターンに該
当するか見当をつけることができる。
（Ａ）のようなグラフとして表すとができる。図４にお
いて、横軸はぶれの距離ｔ、縦軸はレスポンスの大きさ
である。実際の手ぶれは速度が一様でないことが多く、
点広がり関数は図４（Ａ）に示したグラフとは多少異な
ったものになる。しかし、手ぶれのパターンはいくつか
の類型に分類可能である。いくつかの典型的な手ぶれパ
ターンに対応した点広がり関数のグラフを図４の
（Ｃ），（Ｄ）及び（Ｅ）に示す。（Ｃ）のグラフは最
初はゆっくりで次第に速くなる手ぶれパターンに対応し
た点広がり関数を表し、（Ｄ）のグラフは、それと逆に
最初は速く、次第に遅くなる手ぶれパターンに対応した
点広がり関数を表す。（Ｅ）のグラフは、最初と最後が
ゆっくりで中間で動きが速い手ぶれパターンに対応した
点広がり関数を表す。慣れてくると、画像を観測すれ
ば、かなりの正確さで、どのような手ぶれパターンに該
当するか見当をつけることができる。
【００４３】本発明の一実施例によれば、図４の
（Ａ），（Ｃ），（Ｄ），（Ｅ）のような複数の典型的
な手ぶれパターンの点広がり関数に対応したボケ補正関
数が例えばテーブルの形で用意され、その中からボケ補
正に利用するためのボケ補正関数がユーザによって選択
される。図１に示した処理フローとの関連では、そのよ
うなボケ補正関数の選択のためのステップは、ボケ補正
処理ステップ１０３の内部、又はそれより前の段階に置
かれる。
（Ａ），（Ｃ），（Ｄ），（Ｅ）のような複数の典型的
な手ぶれパターンの点広がり関数に対応したボケ補正関
数が例えばテーブルの形で用意され、その中からボケ補
正に利用するためのボケ補正関数がユーザによって選択
される。図１に示した処理フローとの関連では、そのよ
うなボケ補正関数の選択のためのステップは、ボケ補正
処理ステップ１０３の内部、又はそれより前の段階に置
かれる。
【００４４】また、本発明の別の実施例によれば、その
ようなボケ補正関数の選択が自動的に行われる。そのた
めの手順の一例を図５に示す。
ようなボケ補正関数の選択が自動的に行われる。そのた
めの手順の一例を図５に示す。
【００４５】図５のステップ２００において、入力画像
の手ぶれによる点広がり関数を推定する。光軸のぶれを
検出するための加速度センサ等を装備したカメラが入力
画像の撮影に利用される場合には、そのセンサによって
光軸の経時変化を検出し、カメラのシャッター開放のタ
イミングと重畳させて、直接的に入力画像の点広がり関
数を推定できる。そのようなカメラが利用されない場合
は、入力画像から点広がり関数を推定する。具体的に
は、被写体上の１点のぶれによって形成される尾引き画
像に沿った濃度（輝度）分布を観測すればよい。より正
確な推定のためには、例えば、画像中の滑らかな背景部
分に隣接する高コントラスト部分（通常、エッジと呼ば
れる部分）に、前記のY.Yitzhakyらの論文に述べられて
いる方法を利用すればよい。
の手ぶれによる点広がり関数を推定する。光軸のぶれを
検出するための加速度センサ等を装備したカメラが入力
画像の撮影に利用される場合には、そのセンサによって
光軸の経時変化を検出し、カメラのシャッター開放のタ
イミングと重畳させて、直接的に入力画像の点広がり関
数を推定できる。そのようなカメラが利用されない場合
は、入力画像から点広がり関数を推定する。具体的に
は、被写体上の１点のぶれによって形成される尾引き画
像に沿った濃度（輝度）分布を観測すればよい。より正
確な推定のためには、例えば、画像中の滑らかな背景部
分に隣接する高コントラスト部分（通常、エッジと呼ば
れる部分）に、前記のY.Yitzhakyらの論文に述べられて
いる方法を利用すればよい。
【００４６】次のステップ２０１において、予め用意さ
れた複数の典型的手ぶれパターンに対応する点広がり関
数の中から、前ステップで推定された点広がり関数に最
も類似したものを選択する。この選択の基準としては距
離を利用できる。例えば次のような距離Ｄjが最小の点
広がり関数ｈj（ｔ）が選択される。
れた複数の典型的手ぶれパターンに対応する点広がり関
数の中から、前ステップで推定された点広がり関数に最
も類似したものを選択する。この選択の基準としては距
離を利用できる。例えば次のような距離Ｄjが最小の点
広がり関数ｈj（ｔ）が選択される。
【数１３】 式中、ｈ（ｔ）は推定した点広がり関数、ｈj（ｔ）は
予め用意された点広がり関数である。
予め用意された点広がり関数である。
【００４７】予め用意された典型的手ぶれパターンの点
広がり関数のそれぞれに対応した複数のボケ補正関数も
予め用意される。ステップ２０２において、用意された
複数のボケ補正関数の中から、前ステップで選択された
点広がり関数に対応したボケ補正関数が選択される。こ
のようにして選択されたボケ補正関数が、図１のボケ補
正処理ステップ１０３で利用されることになる。
広がり関数のそれぞれに対応した複数のボケ補正関数も
予め用意される。ステップ２０２において、用意された
複数のボケ補正関数の中から、前ステップで選択された
点広がり関数に対応したボケ補正関数が選択される。こ
のようにして選択されたボケ補正関数が、図１のボケ補
正処理ステップ１０３で利用されることになる。
【００４８】本発明の一実施例によれば、ユーザが、デ
ィスプレイ上で、点広がり関数を確認して必要な編集を
することにより、ボケ補正処理に利用するためのボケ補
正関数を修正することができる。その手順を図６に示
す。
ィスプレイ上で、点広がり関数を確認して必要な編集を
することにより、ボケ補正処理に利用するためのボケ補
正関数を修正することができる。その手順を図６に示
す。
【００４９】図６のステップ３００において、予め用意
されている点広がり関数を適当なディスプレイの画面に
表示する。ステップ３０１において、ユーザは適当なポ
インティングデバイスを利用して、画面上で点広がり関
数に対し必要な編集を行う。例えば、図４の（Ａ）に示
すような点広がり関数のグラフが表示されている場合
に、ポインティングデバイスを利用して、例えば図４の
（Ｂ）に示すようにグラフを編集することができる。な
お、ステップ３００で表示される点広がり関数を、ユー
ザが複数の点広がり関数の中から選択できるようにして
もよい。
されている点広がり関数を適当なディスプレイの画面に
表示する。ステップ３０１において、ユーザは適当なポ
インティングデバイスを利用して、画面上で点広がり関
数に対し必要な編集を行う。例えば、図４の（Ａ）に示
すような点広がり関数のグラフが表示されている場合
に、ポインティングデバイスを利用して、例えば図４の
（Ｂ）に示すようにグラフを編集することができる。な
お、ステップ３００で表示される点広がり関数を、ユー
ザが複数の点広がり関数の中から選択できるようにして
もよい。
【００５０】ステップ３０２において、前ステップにお
ける点広がり関数の編集内容を反映させるように、予め
用意されているボケ補正関数を修正する。このようにし
て修正後のボケ補正関数が図１のボケ編集処理ステップ
１０３に利用される。
ける点広がり関数の編集内容を反映させるように、予め
用意されているボケ補正関数を修正する。このようにし
て修正後のボケ補正関数が図１のボケ編集処理ステップ
１０３に利用される。
【００５１】本発明の別の実施例について、図６を援用
して説明する。ステップ３００において、入力画像の手
ぶれによる点広がり関数をグラフィック表示する。具体
的は、例えば、入力画像中の均一な背景部分について、
ぶれ方向に直交する方向に輝度を投影することにより図
４に示したようなグラフを直接得られるので、それを適
当なディスプレイに表示する。このようにして測定され
た点広がり関数は、しばしば測定誤差を伴うので、ステ
ップ３０１において、ユーザはポインティングデバイス
を利用してディスプレイの画面上で点広がり関数に対し
必要な修正を行う。ステップ３０２において、修正後の
点広がり関数に対応したボケ補正関数を生成する。この
生成されたボケ補正関数がボケ補正処理に用いられる。
して説明する。ステップ３００において、入力画像の手
ぶれによる点広がり関数をグラフィック表示する。具体
的は、例えば、入力画像中の均一な背景部分について、
ぶれ方向に直交する方向に輝度を投影することにより図
４に示したようなグラフを直接得られるので、それを適
当なディスプレイに表示する。このようにして測定され
た点広がり関数は、しばしば測定誤差を伴うので、ステ
ップ３０１において、ユーザはポインティングデバイス
を利用してディスプレイの画面上で点広がり関数に対し
必要な修正を行う。ステップ３０２において、修正後の
点広がり関数に対応したボケ補正関数を生成する。この
生成されたボケ補正関数がボケ補正処理に用いられる。
【００５２】本発明は、例えば図７に示すようなＣＰＵ
４００、メモリ４０１、ディスプレイ４０２、マウス等
のポインティングデバイス４０３、ＣＤ−ＲＯＭ等の記
録媒体４０４のためのドライブ４０５、ハードディスク
等の補助記憶装置４０６、外部インターフェース４０７
等をシステムバス４０９で相互接続したような構成のコ
ンピュータを利用し、ソフトウェアにより実施し得る。
図１、図５及び図６に関連して説明した処理のためのプ
ログラム４１０、図５又は図６に関連して説明したよう
な点広がり関数やボケ補正関数のテーブル４１１は、例
えば、それらが記録された記録媒体４０４よりドライブ
４０５によってメモリ４０１に読み込まれる。あるい
は、プログラム４１０及びテーブル４１１は補助記憶装
置４０６に一旦保存され、処理実行時に補助記憶装置４
０６からメモリ４０１に読み込まれる。処理対象の画像
データは、例えば、それを撮影したデジタルカメラ４０
８より、外部インターフェース４０７を通じてメモリ４
０１に読み込まれる。図６に関連して説明した点広がり
関数のグラフィック表示及びその編集には、ディスプレ
イ４０２とポインティングデバイス４０３が利用され
る。
４００、メモリ４０１、ディスプレイ４０２、マウス等
のポインティングデバイス４０３、ＣＤ−ＲＯＭ等の記
録媒体４０４のためのドライブ４０５、ハードディスク
等の補助記憶装置４０６、外部インターフェース４０７
等をシステムバス４０９で相互接続したような構成のコ
ンピュータを利用し、ソフトウェアにより実施し得る。
図１、図５及び図６に関連して説明した処理のためのプ
ログラム４１０、図５又は図６に関連して説明したよう
な点広がり関数やボケ補正関数のテーブル４１１は、例
えば、それらが記録された記録媒体４０４よりドライブ
４０５によってメモリ４０１に読み込まれる。あるい
は、プログラム４１０及びテーブル４１１は補助記憶装
置４０６に一旦保存され、処理実行時に補助記憶装置４
０６からメモリ４０１に読み込まれる。処理対象の画像
データは、例えば、それを撮影したデジタルカメラ４０
８より、外部インターフェース４０７を通じてメモリ４
０１に読み込まれる。図６に関連して説明した点広がり
関数のグラフィック表示及びその編集には、ディスプレ
イ４０２とポインティングデバイス４０３が利用され
る。
【００５３】本発明の別の実施の形態によれば、図１，
図５及び図６に関連して説明した処理のための機能がデ
ジタルカメラ等の撮像装置に実装される。図７は、その
ようなデジタルカメラの一例の概略ブロック図である。
図８において、５００は不図示の光学系を介して光学像
が結像されるＣＣＤイメージセンサ、５０２はＣＣＤイ
メージセンサ５００から出力されるアナログ画像信号の
増幅やデジタル信号への変換等を行う信号回路部、５０
２は画像データ等の記憶のためのデータメモリ、５０３
はデジタル画像データの圧縮／伸長やビデオ信号への変
換等を行うデジタル信号プロセッサ、５０４は液晶ディ
スプレイパネル等を用いたモニタディスプレイである。
５０６はカメラ内部の制御等を行うためのマイクロコン
ピュータであり、ＣＰＵ５１０やＲＯＭ５１１、ＲＡＭ
５１２、その他の不図示の外部インターフェース等から
なる。５０７はユーザがマイクロコンピュータ５０６へ
各種指示を入力するための操作部である。
図５及び図６に関連して説明した処理のための機能がデ
ジタルカメラ等の撮像装置に実装される。図７は、その
ようなデジタルカメラの一例の概略ブロック図である。
図８において、５００は不図示の光学系を介して光学像
が結像されるＣＣＤイメージセンサ、５０２はＣＣＤイ
メージセンサ５００から出力されるアナログ画像信号の
増幅やデジタル信号への変換等を行う信号回路部、５０
２は画像データ等の記憶のためのデータメモリ、５０３
はデジタル画像データの圧縮／伸長やビデオ信号への変
換等を行うデジタル信号プロセッサ、５０４は液晶ディ
スプレイパネル等を用いたモニタディスプレイである。
５０６はカメラ内部の制御等を行うためのマイクロコン
ピュータであり、ＣＰＵ５１０やＲＯＭ５１１、ＲＡＭ
５１２、その他の不図示の外部インターフェース等から
なる。５０７はユーザがマイクロコンピュータ５０６へ
各種指示を入力するための操作部である。
【００５４】操作部５０７の撮影ボタンが押されない状
態では、デジタル信号プロセッサ５０３は、信号回路部
５０１から連続的に出力されるデジタル画像データをビ
デオ信号に変換してモニタディスプレイ５０４に出力す
るため、ユーザは視野内の映像をモニタディスプレイ５
０４で監視することができる。ユーザが操作部５０７上
の撮影ボタンを押すと、マイクロコンピュータ５０６の
制御により、信号回路部５０１より出力される画像１枚
分のデジタル画像データがデータメモリ５０２に一時的
に保存される。次に、この画像データがデジタル信号プ
ロセッサ５０３へ転送され、必要な階調補正等が施され
た後に圧縮される。得られた圧縮画像データはデータメ
モリ５０２へ転送される。外部のパソコン等への画像デ
ータ出力が操作部５０７より指示されると、マイクロコ
ンピュータ５０６の制御により、データメモリ５０２内
の圧縮画像データがデジタル信号プロセッサ５０３へ転
送されて伸長される。伸長された画像データは再びデー
タメモリ５０２に書き込まれる。そして、この画像デー
タがマイクロプロセッサ５０６の制御により外部のパソ
コン等へ転送される。このようなデジタルカメラ内部の
一般的な制御は、ＲＯＭ５１１に格納されたプログラム
に従って遂行される。
態では、デジタル信号プロセッサ５０３は、信号回路部
５０１から連続的に出力されるデジタル画像データをビ
デオ信号に変換してモニタディスプレイ５０４に出力す
るため、ユーザは視野内の映像をモニタディスプレイ５
０４で監視することができる。ユーザが操作部５０７上
の撮影ボタンを押すと、マイクロコンピュータ５０６の
制御により、信号回路部５０１より出力される画像１枚
分のデジタル画像データがデータメモリ５０２に一時的
に保存される。次に、この画像データがデジタル信号プ
ロセッサ５０３へ転送され、必要な階調補正等が施され
た後に圧縮される。得られた圧縮画像データはデータメ
モリ５０２へ転送される。外部のパソコン等への画像デ
ータ出力が操作部５０７より指示されると、マイクロコ
ンピュータ５０６の制御により、データメモリ５０２内
の圧縮画像データがデジタル信号プロセッサ５０３へ転
送されて伸長される。伸長された画像データは再びデー
タメモリ５０２に書き込まれる。そして、この画像デー
タがマイクロプロセッサ５０６の制御により外部のパソ
コン等へ転送される。このようなデジタルカメラ内部の
一般的な制御は、ＲＯＭ５１１に格納されたプログラム
に従って遂行される。
【００５５】ここに示すデジタルカメラにおいては、図
１，図５及び図６に関連して説明した処理ステップのた
めの手段がソフトウェアにより実装される。すなわち、
図１、図５及び図６に関連して説明した各処理ステップ
をマイクロコンピュータ５０６に実行させるためのプロ
グラム５２０や、図５又は図６に関連して説明したよう
な点広がり関数やボケ補正関数のテーブル５２１もＲＯ
Ｍ５１１（又はＲＡＭ５１２）に格納されている。ユー
ザが、操作部５０７の操作により手ぶれ補正を指示する
と、マイクロコンピュータ５０６は、プログラム５２０
に従って、データメモリ５０２上の圧縮画像データをデ
ジタル信号プロセッサ５０３へ転送して伸長させ、伸長
された画像データをデータメモリ５０２に格納させる。
この伸長された画像データのビデオ信号もデジタル信号
プロセッサ５０３より出力されるので、その画像データ
の画像をモニタディスプレイ５０４上でユーザは確認で
きる。そして、マイクロプロセッサ５０６は、データメ
モリ５０２上の伸長された画像データに対し、以上に説
明したような本発明による手ぶれ画像補正処理を実行す
る。データメモリ５０２上に得られた補正後の画像デー
タはデジタル信号プロセッサ５０３へ転送され、そのビ
デオ信号がモニタディプレイ５０４へ与えられ、ユーザ
は手ぶれ補正後の画像を確認できる。ユーザが、操作部
５０７で指示することにより、前述のようなボケ補正関
数の選択や点広がり関数の編集を行うことができる。こ
の場合、マイクロコンピュータ５０６は、ボケ補正関数
の選択のためのイメージや点広がり関数をデジタル信号
プロセッサ５０３を介してモニタディスプレイ５０４に
表示させる。ユーザは、操作部５０７に設けられたポイ
ンティングデバイス（不図示）を操作することにより、
モニタディスプレイ５０４の画面上で、ボケ補正関数の
選択や点広がり関数の編集を指示することができる。
１，図５及び図６に関連して説明した処理ステップのた
めの手段がソフトウェアにより実装される。すなわち、
図１、図５及び図６に関連して説明した各処理ステップ
をマイクロコンピュータ５０６に実行させるためのプロ
グラム５２０や、図５又は図６に関連して説明したよう
な点広がり関数やボケ補正関数のテーブル５２１もＲＯ
Ｍ５１１（又はＲＡＭ５１２）に格納されている。ユー
ザが、操作部５０７の操作により手ぶれ補正を指示する
と、マイクロコンピュータ５０６は、プログラム５２０
に従って、データメモリ５０２上の圧縮画像データをデ
ジタル信号プロセッサ５０３へ転送して伸長させ、伸長
された画像データをデータメモリ５０２に格納させる。
この伸長された画像データのビデオ信号もデジタル信号
プロセッサ５０３より出力されるので、その画像データ
の画像をモニタディスプレイ５０４上でユーザは確認で
きる。そして、マイクロプロセッサ５０６は、データメ
モリ５０２上の伸長された画像データに対し、以上に説
明したような本発明による手ぶれ画像補正処理を実行す
る。データメモリ５０２上に得られた補正後の画像デー
タはデジタル信号プロセッサ５０３へ転送され、そのビ
デオ信号がモニタディプレイ５０４へ与えられ、ユーザ
は手ぶれ補正後の画像を確認できる。ユーザが、操作部
５０７で指示することにより、前述のようなボケ補正関
数の選択や点広がり関数の編集を行うことができる。こ
の場合、マイクロコンピュータ５０６は、ボケ補正関数
の選択のためのイメージや点広がり関数をデジタル信号
プロセッサ５０３を介してモニタディスプレイ５０４に
表示させる。ユーザは、操作部５０７に設けられたポイ
ンティングデバイス（不図示）を操作することにより、
モニタディスプレイ５０４の画面上で、ボケ補正関数の
選択や点広がり関数の編集を指示することができる。
【００５６】
【発明の効果】以上の説明から明らかなように、請求項
１乃至７、９乃至１５の各項記載の発明によれば、不均
一な回転及び平行移動を含む手ぶれが生じた場合にも、
適切な手ぶれ補正が可能である。また、手ぶれ補正のた
めに画像の回転等の前処理や後処理を必要としないた
め、そのような処理に伴う画質劣化も生じない。したが
って、不均一な手ぶれ画像から、手ぶれを補正した高画
質の画像を復元可能である。請求項３又は１１記載の発
明によれば、手ぶれ補正のための計算をテーブル参照方
式等で高速に行うことができ、しかも画像の回転等の前
処理や後処理も不要であるため、全体として高速な処理
が可能である。請求項２記載の発明によれば、画像の複
数位置での手ぶれの方向及び大きさを、画像そのものか
ら推定するため、加速度センサ等を持たないカメラで撮
影された画像に対しても、適切な手ぶれ補正が可能であ
る。請求項１０記載の発明によれば、撮像装置に加速度
センサ等を設けなくとも、撮像した画像に対し手ぶれ補
正を適切に行うことができる。請求項４又は１２記載の
発明によれば、ユーザが、画像を観察し、適切と判断し
たボケ補正関数を選択して手ぶれ補正を行わせ、また、
必要と判断した場合にはボケ補正関数を選び直すことが
できるため、様々な手ぶれパターンに対応可能になる。
また、請求項５又は１３によれば、ユーザが関与するこ
となく、画像撮影時の手ぶれパターンに対応したボケ補
正関数を利用し適切な手ぶれ補正が可能になる。また、
請求項６，７、１４又は１５記載の発明によれば、ユー
ザが、特開平７−２２６９０５号に関連して説明したよ
うな撮影環境条件に応じた補正の違いや、手ぶれパター
ンの違いに応じて、点広がり関数を任意に編集しボケ補
正関数を最適化することができる。請求項８記載の発明
によれば、上に述べたような手ぶれ画像補正やボケ補正
関数の最適化等をコンピュータを利用し実施可能にな
る、等々の効果を得られる。
１乃至７、９乃至１５の各項記載の発明によれば、不均
一な回転及び平行移動を含む手ぶれが生じた場合にも、
適切な手ぶれ補正が可能である。また、手ぶれ補正のた
めに画像の回転等の前処理や後処理を必要としないた
め、そのような処理に伴う画質劣化も生じない。したが
って、不均一な手ぶれ画像から、手ぶれを補正した高画
質の画像を復元可能である。請求項３又は１１記載の発
明によれば、手ぶれ補正のための計算をテーブル参照方
式等で高速に行うことができ、しかも画像の回転等の前
処理や後処理も不要であるため、全体として高速な処理
が可能である。請求項２記載の発明によれば、画像の複
数位置での手ぶれの方向及び大きさを、画像そのものか
ら推定するため、加速度センサ等を持たないカメラで撮
影された画像に対しても、適切な手ぶれ補正が可能であ
る。請求項１０記載の発明によれば、撮像装置に加速度
センサ等を設けなくとも、撮像した画像に対し手ぶれ補
正を適切に行うことができる。請求項４又は１２記載の
発明によれば、ユーザが、画像を観察し、適切と判断し
たボケ補正関数を選択して手ぶれ補正を行わせ、また、
必要と判断した場合にはボケ補正関数を選び直すことが
できるため、様々な手ぶれパターンに対応可能になる。
また、請求項５又は１３によれば、ユーザが関与するこ
となく、画像撮影時の手ぶれパターンに対応したボケ補
正関数を利用し適切な手ぶれ補正が可能になる。また、
請求項６，７、１４又は１５記載の発明によれば、ユー
ザが、特開平７−２２６９０５号に関連して説明したよ
うな撮影環境条件に応じた補正の違いや、手ぶれパター
ンの違いに応じて、点広がり関数を任意に編集しボケ補
正関数を最適化することができる。請求項８記載の発明
によれば、上に述べたような手ぶれ画像補正やボケ補正
関数の最適化等をコンピュータを利用し実施可能にな
る、等々の効果を得られる。
【図１】本発明による手ぶれ画像補正の処理手順の一例
を示すフローチャートである。
を示すフローチャートである。
【図２】座標変換行列の決定に関連した、画像上の複数
の位置における手ぶれベクトルを示す図である。
の位置における手ぶれベクトルを示す図である。
【図３】手ぶれベクトルに沿った１次元の補間演算の説
明のための図である。
明のための図である。
【図４】典型的な手ぶれパターンに対応した点広がり関
数の例及び点広がり関数の編集例を示す図である。
数の例及び点広がり関数の編集例を示す図である。
【図５】ボケ補正関数の自動選択手順の一例を説明する
ためのフローチャートである。
ためのフローチャートである。
【図６】点広がり関数の編集によりボケ補正関数を修正
する手順を説明するためのフローチャートである。
する手順を説明するためのフローチャートである。
【図７】本発明のソフトウェアによる実施のためのコン
ピュータの一例を示すブロック図である。
ピュータの一例を示すブロック図である。
【図８】本発明によるデジタルカメラの一例を示すブロ
ック図である。
ック図である。
４００ ＣＰＵ ４０１ メモリ ４０２ ディスプレイ装置 ４０３ ポインティングデバイス ４１０ 手ぶれ画像補正のためのプログラム ４１１ 点広がり関数及びボケ補正関数のテーブル ５００ ＣＣＤイメージセンサ ５０１ 信号回路部 ５０２ データメモリ ５０３ デジタル信号プロセッサ ５０４ モニタディスプレイ ５０６ マイクロコンピュータ ５０７ ポインティングデバイスを含む操作部 ５２０ 手ぶれ画像補正のためのプログラム ５２１ 点広がり関数及びボケ補正関数のテーブル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 関 海克 東京都中央区勝鬨３丁目12番１号 リコー システム開発株式会社内 (72)発明者 坂本 拓之 東京都中央区勝鬨３丁目12番１号 リコー システム開発株式会社内 Ｆターム(参考） 5B057 AA01 BA02 BA23 CD11 CE03 DA20 DC08 5C022 AB55 AC03 AC42 AC69 5L096 CA02 EA23 EA33 FA23 FA34 GA04 MA03
Claims (15)
- 【請求項１】 手ぶれによる、対象画像上の画素の回転
及び平行移動を表す座標変換行列を決定するステップ、
決定された座標変換行列を利用して対象画像上の各画素
位置における手ぶれベクトルを推定するステップ、対象
画像上の各画素値に対し、その位置の推定された手ぶれ
ベクトルに応じたボケ補正を施すステップを含むことを
特徴とする手ぶれ画像補正方法。 - 【請求項２】 対象画像上の複数の位置における手ぶれ
の方向及び大きさを、対象画像に基づいて推定するステ
ップ、推定された手ぶれの方向及び大きさに基づいて、
手ぶれによる、対象画像上の画素の回転及び平行移動を
表す座標変換行列を決定するステップ、決定された座標
変換行列を利用して対象画像上の各画素位置における手
ぶれベクトルを推定するステップ、対象画像上の各画素
値に対し、その位置の推定された手ぶれベクトルに応じ
たボケ補正を施すステップを含むことを特徴とする手ぶ
れ画像補正方法。 - 【請求項３】 手ぶれベクトルに沿った補間演算によっ
てボケ補正が行われることを特徴とする請求項１又は２
記載の手ぶれ画像補正方法。 - 【請求項４】 予め用意された典型的な手ぶれパターン
に対応した複数のボケ補正関数の中からボケ補正に利用
されるボケ補正関数をユーザが選択するステップをさら
に含むことを特徴とする請求項１、２又は３記載の手ぶ
れ画像補正方法。 - 【請求項５】 対象画像の手ぶれによる点広がり関数を
推定するステップ、推定された点広がり関数に最も類似
した点広がり関数を、予め用意された複数の典型的な点
広がり関数の中から選択するステップ、選択された典型
的点広がり関数に対応したボケ補正関数を予め用意され
た複数のボケ補正関数の中から選択するステップをさら
に含み、選択されたボケ関数がボケ補正に用いられるこ
とを特徴とする請求項１、２又は３記載の手ぶれ画像補
正方法。 - 【請求項６】 予め用意された点広がり関数のグラフを
ディスプレイの画面に表示するステップ、表示された点
広がり関数のグラフをポインティングデバイスの操作に
従って編集するステップ、編集後の点広がり関数のグラ
フに対応してボケ補正に用いられるボケ補正関数を修正
するステップをさらに含むことを特徴とする請求項１、
２又は３記載の手ぶれ画像補正方法。 - 【請求項７】 対象画像の手ぶれによる点広がり関数の
グラフをディスプレイの画面に表示するステップ、表示
された点広がり関数のグラフをポインティングデバイス
の操作に従って編集するステップ、編集後の点広がり関
数に対応したボケ補正関数を生成するステップをさらに
含み、生成されたボケ補正関数がボケ補正に用いられる
ことを特徴とする請求項１、２又は３記載の手ぶれ画像
補正方法。 - 【請求項８】 請求項１乃至７のいずれか１項記載の手
ぶれ画像補正方法の各ステップをコンピュータに実行さ
せるためのプログラムが記録されたコンピュータ読み取
り可能記録媒体。 - 【請求項９】 被写体を撮像素子により撮像しデジタル
画像を得る撮像装置であって、デジタル画像上の画素
の、手ぶれによる回転及び平行移動を表す座標変換行列
を決定する手段、決定された座標変換行列を利用してデ
ジタル画像上の各画素位置における手ぶれベクトルを推
定する手段、デジタル画像上の各画素値に対し、その位
置の推定された手ぶれベクトルに応じたボケ補正を施す
手段を有することを特徴とする撮像装置。 - 【請求項１０】 デジタル画像上の画素の複数の位置に
おける手ぶれの方向及び大きさを推定する手段をさらに
有し、推定された手ぶれの方向及び大きさに基づいて座
標変換行列を決定することを特徴とする請求項９記載の
撮像装置。 - 【請求項１１】 手ぶれベクトルに沿った補間演算によ
ってボケ補正を行うことを特徴とする請求項９又は１０
記載の撮像装置。 - 【請求項１２】 用意された典型的な手ぶれパターンに
対応した複数のボケ補正関数の中から、ユーザが、ボケ
補正に利用されるボケ補正関数を選択するための手段を
さらに有することを特徴とする請求項９、１０又は１１
記載の撮像装置。 - 【請求項１３】 デジタル画像の手ぶれによる点広がり
関数を推定する手段、推定された点広がり関数に最も類
似した点広がり関数を、用意された複数の典型的な点広
がり関数の中から選択する手段、選択された典型的点広
がり関数に対応したボケ補正関数を用意された複数のボ
ケ補正関数の中から選択する手段をさらに有し、選択さ
れたボケ関数をボケ補正に用いることを特徴とする請求
項９、１０又は１１記載の撮像装置。 - 【請求項１４】 用意された点広がり関数のグラフをデ
ィスプレイの画面に表示させる手段、表示された点広が
り関数のグラフをユーザによるポインティングデバイス
の操作に従って編集する手段、編集後の点広がり関数の
グラフに対応して、ボケ補正に用いられるボケ補正関数
を修正する手段をさらに有することを特徴とする請求項
９、１０又は１１記載の撮像装置。 - 【請求項１５】 デジタル画像の手ぶれによる点広がり
関数のグラフをディスプレイの画面に表示させる手段、
表示された点広がり関数のグラフを、ユーザによるポイ
ンティングデバイスの操作に従って編集する手段、編集
後の点広がり関数に対応したボケ補正関数を生成する手
段をさらに有し、生成されたボケ補正関数をボケ補正に
用いることを特徴とする請求項９、１０又は１１記載の
撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10503399A JP4345940B2 (ja) | 1999-04-13 | 1999-04-13 | 手ぶれ画像補正方法、記録媒体及び撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10503399A JP4345940B2 (ja) | 1999-04-13 | 1999-04-13 | 手ぶれ画像補正方法、記録媒体及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000298300A true JP2000298300A (ja) | 2000-10-24 |
| JP4345940B2 JP4345940B2 (ja) | 2009-10-14 |
Family
ID=14396714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10503399A Expired - Fee Related JP4345940B2 (ja) | 1999-04-13 | 1999-04-13 | 手ぶれ画像補正方法、記録媒体及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4345940B2 (ja) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004109386A1 (ja) * | 2003-06-09 | 2004-12-16 | Olympus Corporation | 撮影装置 |
| JP2005122688A (ja) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| JP2005269419A (ja) * | 2004-03-19 | 2005-09-29 | Canon Inc | 画像変形推定方法および画像変形推定装置 |
| JP2005310073A (ja) * | 2004-03-25 | 2005-11-04 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| WO2007141863A1 (ja) * | 2006-06-08 | 2007-12-13 | Nippon Computer System Co., Ltd | 画像処理プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに画像処理装置 |
| EP2015560A2 (en) | 2007-07-13 | 2009-01-14 | Morpho Inc. | Image data processing method and imaging apparatus |
| US7481369B2 (en) | 2004-01-08 | 2009-01-27 | Denso Wave Incorporated | Method and apparatus for optically picking up an image of an information code |
| JP2009033479A (ja) * | 2007-07-27 | 2009-02-12 | Sharp Corp | 手ぶれ補正装置 |
| JP2009104639A (ja) * | 2009-01-26 | 2009-05-14 | Seiko Epson Corp | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
| US7536090B2 (en) | 2005-09-22 | 2009-05-19 | Sanyo Electric Co., Ltd. | Hand shake blur correcting apparatus |
| JP2010062785A (ja) * | 2008-09-03 | 2010-03-18 | Sony Corp | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
| US7693342B2 (en) | 2004-11-29 | 2010-04-06 | Seiko Epson Corporation | Evaluating method of image information, storage medium having evaluation program stored therein, and evaluating apparatus |
| JP2010239189A (ja) * | 2009-03-30 | 2010-10-21 | Nikon Corp | 撮影装置及び画像処理装置 |
| JP2010244579A (ja) * | 2003-09-26 | 2010-10-28 | Fujifilm Corp | 画像処理方法および装置並びにプログラム |
| WO2010150769A1 (ja) * | 2009-06-23 | 2010-12-29 | 国立大学法人東京大学 | 撮像装置及び画像処理方法 |
| JP2011004283A (ja) * | 2009-06-19 | 2011-01-06 | Canon Inc | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| JP2011193338A (ja) * | 2010-03-16 | 2011-09-29 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
| JP4975644B2 (ja) * | 2005-12-28 | 2012-07-11 | 日東光学株式会社 | 画像処理装置 |
| JP2013192227A (ja) * | 2012-03-13 | 2013-09-26 | Samsung Electronics Co Ltd | タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置 |
| US9338354B2 (en) | 2011-10-03 | 2016-05-10 | Nikon Corporation | Motion blur estimation and restoration using light trails |
| KR101804215B1 (ko) * | 2012-03-06 | 2017-12-05 | 삼성전자주식회사 | 강건하게 비균일 모션 블러를 추정하는 방법 및 장치 |
| KR101839617B1 (ko) * | 2011-07-11 | 2018-03-19 | 포항공과대학교 산학협력단 | 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 |
| KR101844332B1 (ko) * | 2012-03-13 | 2018-04-03 | 삼성전자주식회사 | 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 |
| CN114265656A (zh) * | 2021-12-24 | 2022-04-01 | 四川千里倍益康医疗科技股份有限公司 | 筋膜枪及其显示屏显示控制方法 |
| CN115375568A (zh) * | 2022-08-10 | 2022-11-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
-
1999
- 1999-04-13 JP JP10503399A patent/JP4345940B2/ja not_active Expired - Fee Related
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004109386A1 (ja) * | 2003-06-09 | 2004-12-16 | Olympus Corporation | 撮影装置 |
| CN100510931C (zh) * | 2003-06-09 | 2009-07-08 | 奥林巴斯株式会社 | 图像捕获设备 |
| US7430366B2 (en) | 2003-06-09 | 2008-09-30 | Olympus Corporation | Image capture device |
| JP2011003201A (ja) * | 2003-09-26 | 2011-01-06 | Fujifilm Corp | 画像処理方法および装置並びにプログラム |
| JP2010244579A (ja) * | 2003-09-26 | 2010-10-28 | Fujifilm Corp | 画像処理方法および装置並びにプログラム |
| JP2005122688A (ja) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| US7481369B2 (en) | 2004-01-08 | 2009-01-27 | Denso Wave Incorporated | Method and apparatus for optically picking up an image of an information code |
| JP2005269419A (ja) * | 2004-03-19 | 2005-09-29 | Canon Inc | 画像変形推定方法および画像変形推定装置 |
| JP2005310073A (ja) * | 2004-03-25 | 2005-11-04 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| US7693342B2 (en) | 2004-11-29 | 2010-04-06 | Seiko Epson Corporation | Evaluating method of image information, storage medium having evaluation program stored therein, and evaluating apparatus |
| US7536090B2 (en) | 2005-09-22 | 2009-05-19 | Sanyo Electric Co., Ltd. | Hand shake blur correcting apparatus |
| JP4975644B2 (ja) * | 2005-12-28 | 2012-07-11 | 日東光学株式会社 | 画像処理装置 |
| US8243148B2 (en) | 2005-12-28 | 2012-08-14 | Nittoh Kogaku K.K. | Image processing device |
| WO2007141886A1 (ja) * | 2006-06-08 | 2007-12-13 | Nippon Computer System Co., Ltd | 手ブレ状況推測プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに手ブレ状況推測装置 |
| WO2007141863A1 (ja) * | 2006-06-08 | 2007-12-13 | Nippon Computer System Co., Ltd | 画像処理プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに画像処理装置 |
| US20090039233A1 (en) * | 2007-07-13 | 2009-02-12 | Masaki Hiraga | Image data processing method and imaging apparatus |
| US8155467B2 (en) | 2007-07-13 | 2012-04-10 | Morpho, Inc. | Image data processing method and imaging apparatus |
| EP2015560A2 (en) | 2007-07-13 | 2009-01-14 | Morpho Inc. | Image data processing method and imaging apparatus |
| JP2009033479A (ja) * | 2007-07-27 | 2009-02-12 | Sharp Corp | 手ぶれ補正装置 |
| US9325918B2 (en) | 2008-09-03 | 2016-04-26 | Sony Corporation | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program |
| US8749646B2 (en) | 2008-09-03 | 2014-06-10 | Sony Corporation | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program |
| JP2010062785A (ja) * | 2008-09-03 | 2010-03-18 | Sony Corp | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
| JP2009104639A (ja) * | 2009-01-26 | 2009-05-14 | Seiko Epson Corp | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
| JP2010239189A (ja) * | 2009-03-30 | 2010-10-21 | Nikon Corp | 撮影装置及び画像処理装置 |
| JP2011004283A (ja) * | 2009-06-19 | 2011-01-06 | Canon Inc | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| WO2010150769A1 (ja) * | 2009-06-23 | 2010-12-29 | 国立大学法人東京大学 | 撮像装置及び画像処理方法 |
| US8780222B2 (en) | 2010-03-16 | 2014-07-15 | Canon Kabushiki Kaisha | Image processing apparatus that produces a higher resolution image, image pickup apparatus and image processing program |
| JP2011193338A (ja) * | 2010-03-16 | 2011-09-29 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
| KR101839617B1 (ko) * | 2011-07-11 | 2018-03-19 | 포항공과대학교 산학협력단 | 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 |
| US9338354B2 (en) | 2011-10-03 | 2016-05-10 | Nikon Corporation | Motion blur estimation and restoration using light trails |
| KR101804215B1 (ko) * | 2012-03-06 | 2017-12-05 | 삼성전자주식회사 | 강건하게 비균일 모션 블러를 추정하는 방법 및 장치 |
| JP2013192227A (ja) * | 2012-03-13 | 2013-09-26 | Samsung Electronics Co Ltd | タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置 |
| KR101810876B1 (ko) * | 2012-03-13 | 2018-01-26 | 삼성전자주식회사 | 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치 |
| KR101844332B1 (ko) * | 2012-03-13 | 2018-04-03 | 삼성전자주식회사 | 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 |
| CN114265656A (zh) * | 2021-12-24 | 2022-04-01 | 四川千里倍益康医疗科技股份有限公司 | 筋膜枪及其显示屏显示控制方法 |
| CN115375568A (zh) * | 2022-08-10 | 2022-11-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4345940B2 (ja) | 2009-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4345940B2 (ja) | 手ぶれ画像補正方法、記録媒体及び撮像装置 | |
| JP4947060B2 (ja) | 画像合成装置、画像合成方法、プログラム | |
| CN104247395B (zh) | 图像处理装置、图像处理方法 | |
| JP4152398B2 (ja) | 手ぶれ補正装置 | |
| JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| CN103168462B (zh) | 图像合成装置和图像合成方法 | |
| JP4454657B2 (ja) | ぶれ補正装置及び方法、並びに撮像装置 | |
| JP2011029735A5 (ja) | ||
| KR20130018330A (ko) | 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체 | |
| JP2016140030A (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
| JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| JP2008520117A (ja) | カメラのモーションブラー関数を決定する手段を有するデジタルイメージ取得システム | |
| JP5177284B2 (ja) | 被写体動き検出装置および方法 | |
| JPH11242737A (ja) | 画像処理方法及び装置並びに情報記録媒体 | |
| JP4958806B2 (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
| JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
| JP7690282B2 (ja) | 被写体追尾装置およびその制御方法 | |
| JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
| JP2007088828A (ja) | 手ぶれ補正装置 | |
| JP5211589B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
| US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| JP7057079B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP2005094614A (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体 | |
| JP4740008B2 (ja) | 手ぶれ検出装置およびデジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |