JPH11185018A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】同一被写体が撮影された複数の画像で被写体に
位置ずれがあると、加算時にずれ等が発生し、ダイナミ
ックレンジ圧縮処理や被写界深度拡大処理による利点を
十分に生かすことができなかった。 【解決手段】本発明は、まず入力された複数の画像のう
ち１枚が選択され、この画像が複数の領域に分割され
て、その分割領域の特徴量から特徴点を設定し、その特
徴点の座標位置を記憶する。その特徴点の座標に基づ
き、選択されなかった別の各入力画像に対して、対応す
る点を探索し、その対応点の座標位置を抽出して、特徴
点の座標と対応点座標から画像間の位置関係（平行移動
量、回転角度）を算出し、一方または両方の画像を補正
して被写体が合致するように位置合わせ補正を行った
後、ダイナミックレンジ圧縮処理や被写界深度拡大処理
等を施す画像処理装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一の被写体を異
なる撮影条件で撮影した複数の画像から入力機器のダイ
ナミックレンジや被写界深度を超えた画像を合成する装
置に係り、特に各画像を重ね合わせた際に被写体が一致
するように位置合わせ補正を行う画像処理装置に関す
る。

【０００２】

【従来の技術】一般に、同一の被写体を異なる露出で撮
影した複数の画像を合成することで、ＣＣＤ（Charge C
oupled Device ）等の撮像素子の固有のダイナミックレ
ンジ以上の範囲のダイナミックレンジを有する画像を作
成する画像処理技術（例えば、特開昭６３−２３２５９
１号公報）や、同一の被写体を異なる焦点位置で撮影し
た複数の画像を合成し、入力光学系の被写界深度よりも
深い被写界深度を有する画像を作成する画像処理技術
（特開平１−３０９４７８号公報）がある。

【０００３】この広ダイナミックレンジ画像を作成する
技術は、図１２（ａ）に示す構成で実現される。図示さ
れる画像 Ａ，Ｂは、それぞれ露出を変えて撮影した画
像であり、撮像素子に入射する入射光量と、画像入力機
器で得られる画像の信号値との関係は、図１２（ｂ）の
“［Ａ］長時間露出”、“［Ｂ］短時間露出”のように
なる。

【０００４】加算器１１では画像Ａ，Ｂの画素値が加算
され、図１２（ｂ）に“［Ｃ］加算信号”として示す値
がフレームメモリ１２に記憶される。この“［Ｃ］加算
信号”の形状は、２枚の画像の露出比で決定されてい
る。線形変換部１３では、加算信号値Ｓから入射光量Ｉ
を推定し、マトリクス回路１５ではＲ，Ｂ，Ｇ各色の信
号値から輝度信号値Ｙに変換する。

【０００５】そして輝度圧縮部１６では、推定入射光量
が既定の階調数に収まるように輝度値を圧縮し、圧縮さ
れた輝度信号値Ｙ’が出力される。除算器１７では、
Ｙ’／Ｙが計算され、線形変換部１６の出力であるＲ，
Ｇ，Ｂそれぞれの信号と乗算器１８で掛け合わせられ、
結果がフレームメモリ１９に格納される。

【０００６】この画像処理技術は、複数の画像データを
利用しているため、単に短時間露出画像をトーンカーブ
処理した場合に比べて、色再現が良好でノイズの少ない
画像を得ることができる。

【０００７】また、前述した入力光学系の被写界深度よ
りも深い被写界深度を有する画像を作成する画像処理技
術は、例えば図１３に示す構成で実現される。まず、焦
点位置を変えて撮影された画像は、加算器２１で重み付
け加算され、フレームメモリ２２に記憶される。焦点位
置を変えた画像を焦点位置に応じて重み付け加算する
と、画像全体のボケが均一化されることが知られてい
る。

【０００８】そこで、回復フィルタ設定回路２５では、
加算後の画像におけるボケの回復フィルタを決定し、マ
トリクス演算回路２３に出力する。ここで、ボケ回復フ
ィルタの作成方法は、本発明の本質に関わる部分ではな
いため省略する。マトリクス演算回路２３では、加算画
像に回復フィルタを作用させ、結果をフレームメモリ２
４に格納する。この結果、フレームメモリ２４に格納さ
れた画像は、撮像光学系より被写界深度の深い画像とな
っている。

【０００９】

【発明が解決しようとする課題】前述した画像処理技術
は、撮影した画像を一旦、画素ごとに加算または重み付
け加算したのち、ダイナミックレンジ圧縮処理や回復処
理といった一連の処理を行うものであった。そのため、
加算の対象となる画像がお互いに位置ずれを起こしてい
ると、加算したときにずれてしまい、正確な結果が得ら
れなかった。

【００１０】そのため、ダイナミックレンジ拡大処理の
場合は、非破壊読み出しが可能なため、原理的に複数の
露出で画像を撮影する間に位置ずれを起こすことの無い
ＣＭＤ（Charge Modurated Device ）素子を使った機器
を利用する、また被写界深度拡大処理では、強固なステ
ージが必要といったように、業務用の高価な装置が必要
とされた。また、焦点位置を変えて撮影する場合は、焦
点位置毎の微妙な倍率の変化も影響する。

【００１１】それに対し、一般ユーザーが利用するよう
なデジタルカメラ、スキャナ、三脚などでは、業務用機
器に比べて、精度は期待できない簡易的なものが大半を
占めている。従って、前述した画像処理技術の利点を十
分に生かすことができなかった。

【００１２】例えば、三脚にデジタルカメラを載せて撮
影する場合、シャッタを押すときにカメラが動いてしま
ったり、銀塩カメラで撮影した画像をフィルムスキャナ
で取り込む場合、フィルムの挿入の仕方により、互いに
ずれてしまうなどである。

【００１３】そこで本発明は、露出や焦点位置など撮影
条件が異なる複数の画像間の位置関係を検出し、検出し
た位置関係を示すパラメータの値によって、正確に画像
が重なるように補正する画像処理装置を提供することを
目的とする。

【００１４】

【課題を解決するための手段】本発明は上記目的を達成
するために、ほぼ同一の構図（撮影領域）を異なる撮影
条件で撮影した複数の画像間の位置合わせ処理を行う画
像処理装置において、入力した画像の少なくとも１つの
画像を複数の分割領域に分割し、前記各分割領域内に画
像の特徴を表す特徴点の探索領域を設ける探索領域設定
手段と、前記各特徴点の探索領域から前記画像の特徴量
に基づいて、前記構図内の被写体の特徴的な位置情報を
前記分割画像の各分割領域に対する座標に関連させて抽
出する第１の位置情報抽出手段と、前記分割された画像
以外の前記入力画像のそれぞれに対して、前記特徴的な
位置情報に対応する点を探索し、得られた対応する点を
その画像に対する座標に関連させた位置情報として抽出
する第２の位置情報抽出手段と、抽出された前記特徴的
な位置情報及び前記対応する点の位置情報の各座標間の
ずれに基づく補正パラメータを検出する補正パラメータ
検出手段と、検出された補正パラメータに基づき、各画
像の被写体位置が一致するように画像を補正する画像補
正手段とを備える画像処理装置を提供する。

【００１５】以上のような構成の画像処理装置は、入力
された複数の画像のうち１枚が選択され、この画像が複
数の領域に分割されて、その分割領域の特徴量から特徴
点を設定し、その特徴点の座標位置を記憶する。その特
徴点の座標に基づき、選択されなかった別の各入力画像
に対して、対応する点を探索し、その対応点の座標位置
を抽出して、特徴点の座標と対応点座標から画像間の位
置関係（平行移動量、回転角度）を算出し、一方または
両方の画像を補正して被写体が合致するように位置合わ
せ補正を行った後、ダイナミックレンジ圧縮処理や被写
界深度拡大処理等を施す。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について詳細に説明する。図１には、本発明によ
る第１の実施形態としての画像処理装置の構成例を示し
説明する。

【００１７】本実施形態において、図示しないデジタル
カメラで撮影された画像や銀塩カメラで撮影されスキャ
ナ等で撮り込まれた画像はハードディスクや携帯可能な
フロッピーディスク、メモリカード等の記憶媒体に記録
されている。

【００１８】本実施形態は、大別すると、前記ハードデ
ィスクやフロッピーディスク、メモリカード等に記録さ
れている画像を読み出し、伸長等の処理を施す画像デー
タ再生部３１と、画像データ再生部３１からの入力画像
に後述する方法によって補間演算を施し画像の被写体の
位置関係を補正する画像補正部３０と、前記画像補正部
３０により位置関係が補正された画像に対して、前述し
たダイナミックレンジ拡大や被写界深度拡大を実行する
画像合成部３９とで構成される。

【００１９】また前記画像補正部３０は、画像データ再
生部３１で伸長処理が行われた画像データを一時的に記
憶するフレームメモリ３２と、選択された１つの画像に
対して後述する複数の特徴点（座標）を設定する特徴点
設定部３３と、その特徴点座標を記憶する特徴点位置メ
モリ３４と、特徴点座標及びテンプレートとして切り出
された特徴点周辺の画像データから別の画像中において
対応する点を探索する対応点探索部３５と、得られた対
応点座標位置を記憶する対応点位置メモリ３６と、特徴
点座標と対応点座標から２枚の画像間の位置関係（平行
移動量、回転角度）を算出する補正パラメータ算出部３
７と、入力された位置関係から、一方または両方の画像
を補正して画像合成部３９に出力する補間演算部３８と
で構成される。

【００２０】このように構成された本実施形態の画像処
理方法においては、前記ハードディスクやメモリカード
等から読み出された画像が画像データ再生部３１で伸長
等の処理が施されて、画像補正部３０のフレームメモリ
３２に記憶される。ここで、画像データ再生部３１から
出力されるデータは、画像の画素値だけではなく、画像
サイズや色数やカラーマップ等の付加的なデータも含む
ものとする。

【００２１】次に入力画像のうち１枚が選択され（ここ
では画像Ａとする）、特徴点設定部３３に入力される。
この特徴点設定部３３では、後述する方法で複数の特徴
点（座標）を設定し、特徴点座標が特徴点位置メモリ３
４に入力される。設定された特徴点座標が対応点探索部
３５にも入力され、同時に特徴点周辺の画像データがテ
ンプレートとして切り出され、対応点探索部３５に入力
される。

【００２２】対応点探索部３５では、特徴点設定部３３
に入力された画像とは別の画像中で（ここでは画像
Ｂ）、入力されたテンプレートに対応する点を探索す
る。対応点を探索する方法は後述する。

【００２３】その結果、対応点座標位置が対応点位置メ
モリ３６に出力される。補正パラメータ算出部３７で
は、特徴点位置メモリ３４の特徴点座標と、対応点位置
メモリ３６の対応点座標を読み出し、２枚の画像間の位
置関係（平行移動量、回転角度）を算出する。そして補
間演算部３８では、入力された位置関係から、一方また
は両方の画像を補正して画像合成部３９に出力する。

【００２４】この画像合成部３９では、前述したダイナ
ミックレンジ拡大処理や被写界深度拡大処理を実行する
が、対象とする画像が前段の画像補正部３０で位置あわ
せが行われた画像であるため、当然正確に重ね合わされ
た画像が結果画像として得られる。

【００２５】図２には、前記特徴点設定部３３の構成を
示し説明する。この特徴点設定部３３では、複数の特徴
点位置を決定するが、画像の一部に多くの特徴点が集中
した場合、それ以外の部分で位置あわせの誤差が大きく
なる場合がある。そこで領域分割部４１では、特徴点が
画像中で適当に散らばるようにするため、画像を複数の
領域に分割し、さらにその内部に特徴点探索領域を設定
する。ここで、全体を均等に分割した例を図３（ａ）に
示す。

【００２６】この領域中でテンプレートの候補となる小
領域を移動させ、特徴量が最大となる位置を特徴点の１
つとして出力する。ただし、全体を探索すると非常に処
理時間がかかってしまうため、図３（ａ）のように分割
した領域より小さな特徴点探索領域を設定することが望
ましい。この特徴点探索領域の大きさは、例えば画像サ
イズの５％というように、画像サイズを基準にして予め
決めておく。または、分割された小領域の大きさを基準
としても構わない。

【００２７】次にテンプレート位置決定部４２では、特
徴点探索領域内のテンプレート候補位置を決定し、その
位置に基づいてテンプレート抽出部４３でテンプレート
候補内の画像データを切り出す。このとき、テンプレー
ト位置決定部４２では、特徴探索領域内で、テンプレー
ト候補の位置を順に移動する。

【００２８】位置的に近いテンプレート候補の特徴量変
化は、あまり大きくない場合もあるので、このような場
合はテンプレート候補の位置を１画素毎ずらすのではな
く、数画素おきにずらすこともでき、結果的に計算量を
削減することができる。

【００２９】特徴量算出部４４では、テンプレート候補
の特徴量を計算し、特徴量判定部４５で特徴量が最大と
なるテンプレート位置を決定する。テンプレート抽出部
４６では、特徴量が最大となった位置周辺のデータを、
テンプレートとして抽出する。このテンプレート抽出部
４６は、テンプレート抽出部４３がその役割を兼ねても
構わない。この特徴量としては、例えば（１）式に示す
ような画素値分散を使うことができる。

【００３０】

【数１】 ここで、ａｉは画素値、Ａはテンプレート候補内の画素
値平均であり、テンプレート候補内全体に対して和を取
る。また、具体的な式は挙げないが、２次の画素値分散
や、エッジ検出結果も特徴量として好ましい値である。
このとき、前記値Ｔが次式、

【００３１】

【数２】 のように、ある規定値Ｔthより小さい場合は、信頼性が
低いとして採用しない。例えば、図３（ｂ）における空
の部分のように、画素値の変化が小さい部分では一般に
後述するマッチングの精度が落ちるが、本発明の方法で
は（２）式のような値Ｔをもつ特徴点候補位置には特徴
点が設定されず、位置関係パラメータの精度低下を防ぐ
ことができる。

【００３２】図４は、対応点探索部３５の構成を説明す
る図である。サーチエリア設定部５１では、特徴点設定
部３３から読み出した特徴点座標を基準に、対応点を探
索する領域の位置と大きさを設定する。相関演算部５２
では、サーチエリア設定部５１で設定されたサーチエリ
ア内の情報に基づいて、特徴点設定部３３から入力され
たテンプレートと同じ大きさを持つように対応点候補位
置周囲の画像データをフレームメモリ３２ｂ中の画像デ
ータから切り出し、特徴点設定部３３から入力されたテ
ンプレートデータとの相関値を計算する。

【００３３】相関値判定部５３では、テンプレート抽出
部４６で抽出されたテンプレートと最も相関が高い位置
を判定し、結果を対応点位置として対応点位置メモリ３
６に出力する。

【００３４】このとき、一般に対応点候補は、１画素毎
に移動して相関値を求めるが、画素以下の精度で対応点
位置を検出するために、周囲の相関値を参照して補間に
より対応点位置を決定しても良い。その相関値として
は、次の（３）式に示す差分の絶対値和、（４）式に示
す相互相関、（５）式に示す正規化相互相関等を使うこ
とができる。

【００３５】

【数３】 ここで、ｂｉ，Ｂは、画像Ｂのサーチエリア内で移動す
る小領域内の画素値とその平均であり、σ_A ，σ_B はテ
ンプレートデータの標準偏差であり、σ_A ² ，σ_B ² が
その分散値となる。

【００３６】前記（２）〜（４）式を計算する場合、あ
る代表色のみについて計算すれば、高速に処理すること
ができる。また、Ｒ，Ｇ，Ｂ各色の相関値を加算して対
応点を探索すればより高精度に対応点検索を行うことが
可能になる。

【００３７】そして補正パラメータ算出部３７では、特
徴点座標データ及び、対応点座標データから、画像Ａ，
Ｂ間の位置関係を決定する。求めるパラメータは（６）
式のcosθ， sinθ，ｓｘ，ｓｙ，Ｍである。

【００３８】

【数４】 ここで、（ｘ，ｙ）は特徴点位置、（Ｘ，Ｙ）は対応点
位置を示し、Ｍは画像間の相対的な倍率に相当する。前
記特徴点位置メモリ３４、対応点位置メモリ３６には、
複数のデータが格納されているので、最小二乗的にパラ
メータを求めると、（７）式のようになる。

【００３９】

【数５】 ここで、Ｎは特徴点数。（８）式より、Ｍ， cosθ， s
inθは（９）式の様に決定される。

【００４０】

【数６】

【００４１】また、本来 cosθ， sinθは、 cos² θ＋
sin² θ＝１の関係があるため、対象画像に倍率変化が
無いと仮定できる場合、（９）式の結果で、Ｍ＝１．０
とし、（１０）式のような関係になった場合、（１１）
式のように cosθ， sinθを補正したほうがよい。ｓ
ｘ，ｓｙは補正した cosθ， sinθより計算する。

【００４２】

【数７】

【００４３】前述した（６）〜（９）式は、任意の原点
を画像の回転中心としたが、設定・探索された特徴点・
対応点位置それぞれの重心は一致すると考えても構わな
い。特徴点の重心位置は（ /ｘ， /ｙ）（ここで、/
は、平均を意味する記号として用いている。尚、各式の
イメージ情報にあるように、各式中では、この平均はオ
ーバーバーとして表している）、対応点の重心位置は
（ /Ｘ， /Ｙ）、で与えられ、 cosθ， sinθ，ｓｘ，
ｓｙはそれぞれ（１２）、（１３）式で与えられる。

【００４４】

【数８】

【００４５】以上説明したように、本実施形態は、画像
中から特徴点を複数抽出し、自動的に位置あわせを行う
ため、業務用の高価な器材を用いることなく、一般ユー
ザーでもダイナミックレンジ拡大処理、被写界深度拡大
処理の効果を最大限利用することができる。但し、処理
の対象画像に歪曲収差が生じている場合には、任意の手
法であらかじめ補正しておくことが必要となる。

【００４６】次に、本発明による第２の実施形態につい
て説明する。本実施形態は、前述した第１の実施形態に
比較して、特徴点設定部３３の内部の構成が異なるもの
である。

【００４７】図５（ａ）は、特徴点設定部３３の概念的
な構成を示す図である。この構成は、図１に示した構成
に比べて領域指定部８１が加わっている点が異なる。図
５（ｂ）は、領域指定部８１の構成例を示す図である。
この領域指定部８１では、入力された画像データに対
し、領域指示部８３において、注目する領域を複数指示
する。特徴点は、ここで指定された領域の内部に前述の
方法で設定される。

【００４８】この表示制御部８４では、指定された領域
（後述する領域位置メモリ８５からのデータ）を、例え
ば、図６（ａ），（ｂ）のように入力画像データ上にオ
ーバーレイし、表示部８２に、そのデータを表示する。
この表示部８２は、ＰＣに付属のディスプレイでも構わ
ないし、別に専用のものを設けても構わない。また領域
指示部８３は、ＰＣに付属のマウスで指示しても構わな
いし、別に設けても構わない。前記表示制御部８４は、
領域指定部８１の構成の一部として説明したが、パーソ
ナルコンピュータ等のオペレーティングシステム（Ｏ
Ｓ）の機能を利用するような構成でも構わない。

【００４９】さらに、領域指示部８３では、画像中の座
標で注目領域を指定しても構わない。 そして領域位置
メモリ部８５は、領域指示部８３で指示された領域の位
置・サイズを記憶し、領域分割部４１に出力する。領域
分割部４１では、領域位置メモリ部８５からの領域位置
情報をもとに、指示された領域内部に前記した方法で特
徴点を設定する。

【００５０】本実施形態の構成により、ユーザーが注目
したい部分の位置合わせ精度を上げことができると共
に、あまり必要でない部分では特徴点探索を必要としな
いので、計算時間を短縮することができる。

【００５１】また、人間や乗り物など、動く被写体が撮
影画像に含まれた場合、動いた部分の画像を計算に用い
ると画像全体の位置合わせに誤差が生じるが、本実施例
形態の構成では、そのような部分のデータを利用しない
ようにできる。

【００５２】さらに、領域指示部８３で指示した複数領
域のうち特定の領域を指示し、その内部だけ他の領域よ
り多く特徴点を設定することで、その特定領域の位置合
わせ精度を更に向上することが可能である。

【００５３】また、ダイナミックレンジ拡大技術の場合
は露出値の順に、被写界深度拡大技術の場合には焦点位
置の順に画像を整列し、隣り合う画像間で上記の操作を
実行することで、ランダムに画像を選択して実行する場
合に比べて精度を向上することができる。

【００５４】図７は、本発明の第３の実施形態を示す図
である。図７に示した画像補正部３０の構成は、図１に
示した画像補正部３０の構成に加えて、表示部８２、表
示制御部８４、特徴点指示部９０が含まれる。複数の特
徴点位置は前述の方法で設定され、特徴点メモリ３４に
記憶される。

【００５５】この特徴点メモリ３４に記憶された特徴点
座標は特徴点指示部９０に送られ、表示制御部８４を通
して表示部８２に対象画像上にその位置がオーバーレイ
される（例えば、図３（ｂ）） このとき、特徴点が人間・乗り物等動く被写体（移動物
体）上に設定されていると、（６）〜（１０）式で計算
する補正係数の誤差の原因となる。そこで、特徴点指示
部９０では、移動物体が含まれている場合は、その物体
を検出し、移動物体上に設定された特徴点は計算に使う
データから除外し、特徴点メモリ３４からデータを削除
する。

【００５６】この操作は、表示されたデータをユーザー
が判断し、特徴点指示部９０から除外するデータを示す
るようにしてもよい。また、対応点探索後、特徴点メモ
リ３４と対応点メモリ３６のデータを同時に表示部８２
に表示し、対応が取れていないとユーザーが判断した場
合は、特徴点指示部９０により、そのデータを除外する
ことを指示できる用にしても構わない。

【００５７】次に図８を参照して、本発明による第４の
実施形態について説明する。この第４の実施形態は、図
５の領域指定部８１を図８に示すような構成に変更した
ものである。

【００５８】図８に示される領域指定部８１は、領域指
示部８３、領域位置メモリ８５、状態判定部１０１から
構成される。本実施形態では、画像の統計的・物理的な
性質に基づいて特徴点設定領域に指定する範囲を決定す
る。

【００５９】まず、画像全体を図９（ａ）のように予め
決められた大きさに分割する。このとき分割するサイズ
は、特徴点設定部で切り出されるテンプレートより大き
い範囲とする。

【００６０】分割された各部分は状態判定部１０１に送
られ、特徴点設定領域に指定するかどうかを判断する。
状態判定部１０１では入力された画像データを走査し、
飽和した画素が一定の割合を超えている場合は特徴点設
定領域として適さないと判断する。

【００６１】また、状態判定部１０１では、入力データ
の平均値がある閾値を超えている場合は、特徴点設定領
域として適さないと判断しても構わない。領域指示部８
３は、図９（ｂ）のように、分割した領域の画像データ
を順番に状態判定部１０１に出力し、特徴点設定領域と
して適していると判断された場合は、その範囲を含むよ
うに領域位置メモリ８５に記録する。

【００６２】前述した説明では、各分割領域ごとに判断
したが、状態判定部に出力する画像データとして、領域
位置メモリ８５に記録されている範囲全体にしても構わ
ない。また、図９（ｃ）に示したように、領域指示部８
３で、ユーザーがある分割領域を指定し、その周辺の領
域から順番に特徴点指定領域に含んでいくようにしても
良い。

【００６３】さらに、図１０に示すように、領域指示部
８３で、ユーザーがある１点を指定し、その周りに拡張
した矩形を仮定し、その画像データを状態判定部１０１
で判断するようにしてもよい。

【００６４】また、飽和した画素値を判断基準に用いた
が、状態判定部１０１では、入力した画像の離散フーリ
エ変換、離散コサイン変換といった直交変換を画像に施
した時の高周波成分のパワーや、ウェーブレット変換の
成分によって判断しても構わない。

【００６５】さらに、状態判定部１０１では、入力され
たデータのコントラストや画素値最大と最小の差を判断
に用いても構わない。次に図１１を参照して、本発明に
よる第５の実施形態について説明する。

【００６６】本実施形態は、３枚以上の画像が処理対象
になっている例である。ここで、図示するうち、前述し
た図１と同等の構成部位には、同じ参照符号を付してそ
の説明を省略する。

【００６７】本実施形態において、画像データ再生部３
１で再生された画像データは、画像選択指示部１１４の
指示により切換動作する画像切替部１１１によっていず
れかのフレームメモリ３２ａ，３２ｂに入力される。こ
の画像選択指示部１１４は、入力された同一被写体が撮
影された複数の画像を順次処理できるように装置の処理
時間等を見計らって、２つのフレームメモリに対して交
互に入力されるように画像切換部１１１を制御するもの
である。

【００６８】前記フレームメモリ３２ａ，３２ｂに格納
された画像から前述した方法で特徴点・対応点を検出
し、補正パラメータ算出部３７で画像間の位置関係（平
行移動量・回転角度・相対倍率）を算出する。補正パラ
メータ算出部３７で算出されたパラメーターは、画像Ｉ
Ｄ、参照画像ＩＤと共に補正パラメータ記憶部１１３に
記憶される。

【００６９】前記補正パラメータ変換部１１２は、補正
パラメータ記憶部１１３に記憶されたデータを読み出
し、それぞれのデータを予め指定された補正の基準とな
る画像からみた平行移動量・回転角度に変換する。続い
て、補間演算部３８では、補正パラメータ変換部１１２
で補正基準画像からみたパラメータに従って画像を補正
する。

【００７０】ここで補正パラメータ変換部１１２でのデ
ータ変換及び補間演算部３８での補正は、画像切替部１
１１の操作毎に行っても構わないし、対象画像全てにつ
いて相対的な位置関係を算出した後、改めてフレームメ
モリ３２に画像を読み込んで行っても構わない。

【００７１】また、本実施形態ではフレームメモリ３２
を２つとし、信号切替部１１１により入力画像を切り替
えるように説明したが、対象画像全てを格納できる数の
フレームメモリを用意しても構わない。

【００７２】以上の実施形態について説明したが、本明
細書には以下のような発明も含まれている。 （１） 撮影条件の異なる複数の画像において、画像を
複数の分割領域に分割し、前記分割領域中におのおのの
分割領域と同じまたは小さい特徴点探索領域を設け、そ
れぞれの特徴点探索領域から画像の統計量に基づいて被
写体の特徴的な位置情報を抽出し、前記複数の画像のう
ち、被写体の特徴的な位置情報を抽出した画像とは異な
る画像中で対応する点を探索し、前記特徴的な位置情報
及び対応する点の位置情報より補正パラメータ（画像間
の回転・移動・倍率変化等）を検出し、前記補正パラメ
ータとしての画像間の回転・移動・倍率変化に基づいて
画像を補正する画像処理装置。

【００７３】本発明は、第１の実施形態に対応する。こ
れにより、複数の画像を重ねる際に、より正確な画像の
重ね合わせ行うことができるようになる。 （２） 前記（１）項に記載の画像処理装置において、
前記回転・移動・倍率変化に基づいて画像を補正する際
に特定の基準画像から見た回転・移動・倍率変化を表わ
すようにパラメータを変換してから補正することを特徴
とする。

【００７４】本発明は第５の実施形態に対応する。これ
により、複数の画像を重ねる際に、それぞれの画像に対
して適当な任意の補正パラメータを設定でき、撮影者の
意図に応じた、より正確な画像の重ね合わせを行うこと
ができるようになる。 （３） 前記複数の分割領域について、分割する領域を
画像の一部に制限することを特徴とする１に記載の画像
処理装置。

【００７５】本発明は、第２の実施形態に対応する。こ
れにより、複数の画像を重ねる際に、画像処理の速度が
向上すると共に、それぞれの画像に対して適当な領域を
設定でき、撮影者の意図に応じた、より正確な画像の重
ね合わせを行うことができるようになる。 （４） 前記（１）項または（３）項に記載の画像処理
装置において、前記画像の統計量に基づく被写体の特徴
的な位置情報のうち、複数の画像間で位置が移動してい
る被写体上に設定された位置情報は画像間の回転・移動
・倍率変化の検出に用いないことを特徴とする。

【００７６】本発明は、第３の実施形態に対応する。こ
れにより、複数の画像を重ねる際に、移動物体が存在す
る領域を排除しているので、より正確な画像の重ね合わ
せを行うことができるようになる。 （５） 前記（３）項に記載の画像処理装置において、
分割する領域を画像の一部に制限する制限領域は、直交
変換したときの高周波成分の割合、飽和した画素の割
合、画素値の平均値、最大及び最小の画素値の差、コン
トラストのいずれかの値を基準に制限されることを特徴
とする。

【００７７】本発明は、第４の実施形態に対応する。こ
れにより、複数の画像を重ねる際に、画像処理の速度が
向上すると共に、それぞれの画像に対して適当な領域を
自動的に設定することができ、撮影者の意図に応じた、
より正確な画像の重ね合わせを行うことができるように
なる。 （６） 前記（５）項に記載の画像処理装置において、
特定点を中心に制限領域を広げていくことを特徴とす
る。

【００７８】本発明は第４の実施形態に対応する。これ
により、複数の画像を重ねる際に、特定点を中心に、そ
れぞれの画像に対して適当な領域を設定するので、より
正確な画像の重ね合わせを行うことができるようにな
る。

【００７９】

【発明の効果】以上詳述したように本発明によれば、露
出や焦点位置など撮影条件が異なる複数の画像間の位置
関係を検出し、検出した位置関係を示すパラメータの値
によって、正確に画像が重なるように補正する画像処理
装置を提供することができる。

【図面の簡単な説明】

【図１】第１の実施形態としての画像処理装置の構成例
を示す図である。

【図２】図１に示した特徴点設定部の構成例を示す図で
ある。

【図３】図３（ａ）は、画像を複数の分割した分割領域
と、各分割領域に設定された特徴点探索領域を示す図、
図３（ｂ）は、特徴点について説明するための図であ
る。

【図４】図１に示した対応点探索部の構成例を示す図で
ある。

【図５】図５（ａ）は、第２の実施形態としての画像処
理装置の構成例を示す図、図５（ｂ）は、領域指定部の
構成例を示す図である。

【図６】図６（ａ）は、画像上に表示された指定領域の
一例を示す図、図６（ｂ）は、画像上に表示された注目
位置を示す図である。

【図７】第３の実施形態としての画像処理装置の構成例
を示す図である。

【図８】第４実施形態としての画像処理装置に用いられ
る領域指定部の構成例を示す図である。

【図９】図９（ａ）は、複数の分割領域に分割された入
力画像を示す図、図９（ｂ）は、走査による特徴点設定
領域の指定について説明するための図、図９（ｃ）は、
拡張による特徴点設定領域の指定について説明するため
の図である。

【図１０】指定点から拡張した矩形を特徴点設定領域と
して指定することについて説明するための図である。

【図１１】第５実施形態としての画像処理装置の構成例
を示す図である。

【図１２】従来の広ダイナミックレンジ画像を作成する
ための構成例を示す図である。

【図１３】従来の深い被写界深度を有する画像を作成す
るための構成例を示す図である。

【符号の説明】

３０…画像補正部 ３１…画像データ再生部 ３２…フレームメモリ ３３…特徴点設定部 ３４…特徴点位置メモリ ３５…対応点探索部 ３６…対応点位置メモリ ３７…補正パラメータ算出部 ３８…補間演算部 ３９…画像合成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０６Ｆ 15/70 ３５０Ｂ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ほぼ同一の構図を異なる撮影条件で撮影
   した複数の画像間の位置合わせ処理を行う画像処理装置
   において、 入力した画像の少なくとも１つの画像を複数の分割領域
   に分割し、前記各分割領域内に画像の特徴を表す特徴点
   の探索領域を設ける探索領域設定手段と、 前記各特徴点の探索領域から前記画像の特徴量に基づい
   て、前記構図内の被写体の特徴的な位置情報を前記分割
   画像の各分割領域に対する座標に関連させて抽出する第
   １の位置情報抽出手段と、 前記分割された画像以外の前記入力画像のそれぞれに対
   して、前記特徴的な位置情報に対応する点を探索し、得
   られた対応する点をその画像に対する座標に関連させた
   位置情報として抽出する第２の位置情報抽出手段と、 抽出された前記特徴的な位置情報及び前記対応する点の
   位置情報の各座標間のずれに基づく補正パラメータを検
   出する補正パラメータ検出手段と、 検出された補正パラメータに基づき、各画像の被写体位
   置が一致するように画像を補正する画像補正手段と、を
   具備することを特徴とする画像処理装置。
2. 【請求項２】 前記第１及び第２の位置情報抽出手段に
   より抽出される位置情報は、 前記画像内を移動する物体が検出された分割領域の座標
   に関連する位置情報を除外した位置情報であることを特
   徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記第１及び第２の位置情報抽出手段に
   より抽出される位置情報は、 前記画像内の各分割領域に対して、直交変換したときの
   高周波成分の割合、飽和した画素の割合、画素値の平均
   値、最大及び最小の画素値の差、コントラストのいずれ
   かの値を基準として、前記入力した画像から所望の分割
   領域に対する座標関連位置情報を抽出することを特徴と
   する請求項２に記載の画像処理装置。