JPH1083442A

JPH1083442A - 画像合成方法

Info

Publication number: JPH1083442A
Application number: JP23767196A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野; Tatsushi Katayama; 達嗣片山; Hideo Takiguchi; 英夫滝口; Kenji Hatori; 健司羽鳥
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-09
Filing date: 1996-09-09
Publication date: 1998-03-31

Abstract

(57)【要約】【課題】面倒な操作を必要とせず、しかも短い処理時
間で、自動的に複数の画像を精度良く合成することがで
きる画像合成方法を提供することを目的とする。【解決手段】互いに一部が重複している画像領域を有
する複数の画像を合成し、一つの合成画像を作成する方
法であって複数の入力画像を互いに異なる縮小率にて段
階的に縮小し、形成された最も縮小率が高い縮小画像か
ら等倍画像まで順番に、それぞれが示す画像間において
段階的に抽出される対応点に従って画像合成変換を行な
うために必要な各種パラメータを設定する際に、既に抽
出された対応点や各種パラメータを用いて、縮小画像か
ら対応点を求めるためのテンプレートを設定し設定され
たテンプレートを用いて複数の縮小画像間における対応
点の抽出を行なわせ、設定された前記各種パラメータに
従って前記複数の入力画像を合成する様にした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成方法に関
し、特に、互いに画像の一部が重複する２つの画像を合
成することにより、画角の広い画像を形成する画像合成
方法に関するものである。

【０００２】

【従来の技術】従来より、互いに画像の一部が重複する
２つの画像から画角の広い画像を形成する方法として
は、２つの画像の重複する領域内の同一な点が一致する
ように、前記２つの画像に対してアフィン変換等の幾何
変換を施して前記２つの画像を平面上でつなぎ合わせる
方法が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の方法においては、２つの画像の重複する領域を認識
し、２つの画像中の同一な点（以下、対応点と称す）を
抽出する必要があり、その手法として、例えば、合成し
ようとする２つの画像をディスプレイ上に表示し、マウ
ス等を操作することにより２つの画像中の対応点をカー
ソルで指定する方法等が考えられるが、この方法の場合
は、操作が手動であるため操作性が悪く、また操作する
に当たっては熟練を要するという問題がある。

【０００４】そこで、２つの画像中の対応点を自動的に
抽出する方法として、一方の画像を小領域に分割し、分
割されたそれぞれの小領域を他方の画像と比較し、該小
領域それぞれに対して他方の画像中で最も似た領域を対
応点とするテンプレートマッチング法がある。

【０００５】しかしながら、このテンプレートマッチン
グ法の場合には、合成しようとする２つの画像の重複す
る領域が指定されていないと、２つの画像の重複する領
域以外の領域で誤った対応点を抽出してしまい、対応点
の抽出精度が悪くなってしまう。そして、このように対
応点の抽出精度が悪い場合には、２つの画像を正確につ
なげることができない。

【０００６】また、テンプレートマッチング法の場合に
は、合成しようとする２つの画像の重複する領域を指定
する際に、他方の画像中における対応点の探索領域とし
て指定する領域が広いと、該他方の画像中に似通った部
分が多く存在する場合には、正確な対応点を抽出するの
に時間がかかってしまい、迅速に２つの画像をつなげる
ことができないといった問題が生じてしまう。

【０００７】本発明は、例えば入力される複数の画像デ
ータが示す複数の画像の輝度成分のレベルに差がある場
合でも、面倒な操作を必要とせず、しかも短い処理時間
で、自動的に複数の画像を画像の継ぎ目があまりずれず
に、精度良く合成することができる画像合成方法を提供
することを目的とする。

【０００８】

【課題を解決するための手段】上述の目的を達成するた
め、本出願に係る第１の発明としての画像合成方法は、
互いに一部が重複している画像領域を有する複数の画像
を合成し、一つの合成画像を作成する方法であって、そ
れぞれが複数の画像に対応している複数の画像データを
入力し、入力された前記複数の画像データが示す複数の
画像を互いに異なる縮小率にて段階的にそれぞれ縮小
し、それぞれが形成された縮小画像を示す複数の縮小画
像データを形成する縮小画像データ形成ステップと、前
記縮小画像データ形成ステップにおいて形成された縮小
画像データについて、最も縮小率が高い縮小画像を示す
縮小画像データから、入力された前記複数の画像データ
が示す画像と同じサイズの画像を示す等倍画像データま
で順番に、それぞれが示す画像間における対応点を段階
的に抽出する対応点抽出ステップと、前記対応点抽出ス
テップにおいて抽出された対応点に従って、画像合成変
換を行なうために必要な各種パラメータを設定するパラ
メータ設定ステップと、前記パラメータ設定ステップに
おいて設定された各種パラメータが、前記対応点抽出ス
テップにおいて縮小画像データが示す縮小画像について
設定されたものである場合には、前記対応点抽出ステッ
プにおいて既に抽出された対応点や前記パラメータ設定
ステップにおいて設定された各種パラメータを用いて、
縮小率が１段高い縮小画像データが示す複数の縮小画像
の重複部を予測し、前記複数の縮小画像のうちの一つの
縮小画像から対応点を求めるための小領域をテンプレー
トとして設定し、前記対応点抽出ステップにおいて縮小
率が１段高い縮小画像データが示す複数の縮小画像間に
おける対応点の抽出を行なわせ、前記対応点抽出ステッ
プにおいて等倍画像データが示す画像について設定され
たものである場合には、前記パラメータ設定ステップに
おいて設定された各種パラメータに従って、入力された
前記複数の画像データが示す複数の画像のうちの少なく
とも一つの画像を変換し、他の画像と合成する画像変換
合成ステップとを有することを特徴とする。

【０００９】また、上記本出願に係る第２の発明として
の画像合成方法は、互いに一部が重複している画像領域
を有する複数の画像を合成し、一つの合成画像を作成す
る方法はであって、それぞれが複数の画像に対応してい
る複数の画像データを入力し、入力された前記複数の画
像データが示す複数の画像を互いに異なる縮小率にて段
階的にそれぞれ縮小し、それぞれが形成された縮小画像
を示す複数の縮小画像データを形成する縮小画像データ
形成ステップと、上前記縮小画像データ形成ステップに
おいて形成された縮小画像データについて、該縮小画像
の特徴点を抽出し、特徴点縮小画像を形成する特徴点縮
小画像形成ステップと、前記特徴点画像形成ステップに
おいて形成された特徴点縮小画像データについて、最も
縮小率が高い縮小画像を示す特徴点縮小画像データか
ら、入力された前記複数の画像データが示す画像と同じ
サイズの特徴点画像を示す特徴点等倍画像データまで順
番に、それぞれが示す特徴点画像間における対応点を段
階的に抽出する対応点抽出ステップと、前記対応点抽出
ステップにおいて抽出された対応点に従って、画像合成
変換を行なうために必要な各種パラメータを設定するパ
ラメータ設定ステップと、前記パラメータ設定ステップ
において設定された各種パラメータが、前記対応点抽出
ステップにおいて特徴点縮小画像データが示す特徴点縮
小画像について設定されたものである場合には、前記対
応点抽出ステップにおいて既に抽出された対応点や前記
パラメータ設定ステップにおいて設定された各種パラメ
ータを用いて、縮小率が１段高い特徴点縮小画像データ
が示す複数の特徴点縮小画像の重複部を予測し、前記複
数の特徴点縮小画像のうちの一つの特徴点縮小画像から
対応点を求めるための小領域をテンプレートとして設定
し、前記対応点抽出ステップにおいて縮小率が１段高い
特徴点縮小画像データが示す複数の特徴点縮小画像間に
おける対応点の抽出を行なわせ、前記対応点抽出ステッ
プにおいて特徴点等倍画像データが示す画像について設
定されたものである場合には、前記パラメータ設定ステ
ップにおいて設定された各種パラメータに従って、入力
された前記複数の画像データが示す複数の画像のうちの
少なくとも一つの画像を変換し、他の画像と合成する画
像変換合成ステップとを有することを特徴とする。

【００１０】（作用）上述の様にすることにより、面倒
な操作を必要とせず、しかも短い処理時間で、自動的に
複数の画像を精度良く合成することができる様になる。

【００１１】

【発明の実施の形態】

（第１の実施の形態）図１に、本発明の第１の実施の形
態における画像合成装置の構成を示す。

【００１２】図中において、入力端子１０ａ，１０ｂは
それぞれ合成しようとする画像を示す画像データａ及び
画像データｂであり、不図示の電子スチルカメラ、ビデ
オカメラ等で画像の一部が重複するように撮像されるこ
とにより発生されたもので、例えば画像データａは図２
のａに示すような画像に対応し，画像データｂは図２の
ｂに示すような画像に対応している。

【００１３】１１，１２は画像縮小部であり、入力され
る画像データａ，ｂから該画像データａ，ｂが示す画像
のサイズに対して、例えば１／２倍，１／４倍，１／８
倍といったように画像のサイズを縮小した縮小画像に対
応する縮小画像データを階層的に形成するもので、形成
された縮小画像データは、該画像縮小部１１，１２内の
画像メモリに格納される。

【００１４】２０は対応点抽出部であり、入力端子１０
ａ，１０ｂより入力された画像データａ，ｂあるいは前
記画像縮小部１１，１２において形成された縮小画像デ
ータが示すそれぞれの画像の中から、それぞれの画像間
の対応点を抽出するものである。

【００１５】３０は対応点ベクトル選択部であり、前記
対応点抽出部２０で抽出された対応点が示す対応点ベク
トルのうち、信頼性の高い対応点ベクトルのみ選択して
出力するものである。

【００１６】４０はパラメータ推定部であり、前記対応
点ベクトル選択部３０において選択された対応点ベクト
ルから画像の座標変換を行う座標変換パラメータを推定
するものである。

【００１７】５０は画像変換合成部であり、入力される
画像データａ，ｂを前記パラメータ推定部４０において
推定された座標変換パラメータにしたがって座標変換
し、合成することにより、一つの合成画像を示す合成画
像データｃを形成するものである。

【００１８】なお、以上の画像合成装置全体の制御は不
図示の制御部で行われるように構成されている。

【００１９】以下、入力される画像データａ，ｂから合
成画像データｃを形成する場合の本発明の第１の実施の
形態における画像合成装置の動作を説明する。

【００２０】尚、本実施の形態では、入力される画像デ
ータａ，ｂはそれぞれ、５１２×５１２画素の濃淡画像
を示す画像データとして以下説明を行う。

【００２１】まず、この入力された画像データａ，ｂは
それぞれ画像縮小部１１，１２において該画像データ
ａ，ｂが示す画像のサイズに対して、例えば１／２倍，
１／４倍，１／８倍といったように画像のサイズを縮小
した縮小画像に対応する縮小画像データ、すなわち、そ
れぞれ２５６×２５６画素，１２８×１２８画素，６４
×６４画素の画像サイズの縮小画像データに縮小される
（これらの縮小画像データを以下ａ２，ｂ２，ａ４，ｂ
４，ａ８，ｂ８とする）。

【００２２】対応点抽出部２０では、まず最初に、入力
される画像データａ，ｂが示す画像のサイズに対して１
／８倍の縮小画像を示す縮小画像データａ８，ｂ８につ
いて対応点抽出を行い、次に順次１／４倍，１／２倍、
等倍の画像のサイズの縮小画像データについて対応点抽
出を行う。なお、１／４倍，１／２倍、等倍の画像のサ
イズの縮小画像データのそれぞれについて対応点抽出を
行う際には、後述するように、その前に行われた対応点
抽出に基づき形成された変換パラメータを用いて重複部
における予測が行われる。

【００２３】以下、図３に示すフローチャートに従っ
て、対応点抽出部２０における対応点抽出アルゴリズム
について説明する。

【００２４】図３において、ｓ２１で、まず縮小画像デ
ータａ８についてテンプレート切り出し領域の設定を行
う。ところで、縮小画像データａ８，ｂ８に対して対応
点抽出を行う場合には、予め２つの縮小画像の重複領域
がわかっていないので、所定の領域をテンプレート切り
出し領域として設定する。

【００２５】本実施の形態では、図２に示すように入力
された画像データａ，ｂが示す入力画像が左，右の順で
並んでいる場合には、例えば画像の水平方向については
右端の３割、画像の垂直方向については１割から９割の
領域を、左側の縮小画像データａ８におけるテンプレー
ト切り出し領域（図４中の領域Ｔ）とする。

【００２６】次に、図３のｓ２２において、図３のｓ２
１において設定されたテンプレート切り出し領域から図
４中の破線で示すように、すなわち、１つのブロックの
大きさが元の画像サイズの１割程度、すなわち７×７画
素程度のブロックをテンプレートとして切り出す。

【００２７】なお、入力された画像データａ，ｂが示す
入力画像が、上，下の順で並んでいる場合には、画像の
垂直方向については下端から３割、画像の水平方向につ
いて１割から９割の領域を、上側の縮小画像データａ８
におけるテンプレート切り出し領域として設定し、テン
プレートの切り出しを行うものとする。

【００２８】以上のように、図３のｓ２２において切り
出された全てのテンプレートについて以下のｓ２３〜ｓ
２５の処理を行う。

【００２９】図３のｓ２３では、上述のようにして切り
出されたテンプレートそれぞれについて、右側の縮小画
像データｂ８が示す画像における対応点を探索するため
の探索領域を設定する。ところで、縮小画像データａ
８，ｂ８に対して対応点抽出を行う場合には、予め２つ
の縮小画像の重複領域がわかっていないので、所定の領
域を対応点の探索領域として設定する。

【００３０】本実施の形態では、上述のようにして前記
左側の縮小画像データａ８において切り出される複数の
テンプレートのうちの任意のテンプレートに対する右側
の縮小画像データｂ８における対応点の探索領域とし
て、画像の水平方向については左端から前記任意のテン
プレートが存在する位置から当該テンプレートのサイズ
の５割程度左にずらした位置までの領域、画像の垂直方
向については前記任意のテンプレートが存在する位置を
当該テンプレートのサイズの１割程度上下した領域を、
右側の縮小画像データｂ８における探索領域として設定
する。

【００３１】図５に右側の縮小画像データｂ８における
対応点の探索領域の一例を示す（図５中、左側の縮小画
像データａ８の斜線で示したテンプレートに対応する右
側の縮小画像データｂ８における対応点の探索領域を領
域Ｓで示した）。

【００３２】なお、この対応点の探索領域の設定は、入
力された画像データａ，ｂが示す画像の重複領域が水平
方向については入力画像サイズの５割以下で、垂直方向
については入力画像サイズの上下１割以上は、ずれない
という条件に基づいており、入力された画像データａ，
ｂが示す画像に想定される重複領域の条件が、当該条件
と異なる場合は、この対応点の探索領域の初期設定を変
えればよい。

【００３３】図３のｓ２４では、上述のようにして設定
された右側の縮小画像データｂ８における対応点の探索
領域内の画像と左側の縮小画像データａ８における任意
のテンプレートが示す画像とを該任意のテンプレートの
位置を順次ずらしながら比較して行き、当該テンプレー
トが示す画像と対応点の探索領域内の画像とにおいてぞ
れぞれの画像を構成している画素同士の差分値が算出さ
れ、該差分値の絶対値の総和が最小となるテンプレート
の位置を対応点として検出する。

【００３４】なお、本実施の形態では、差分の絶対値の
総和が最小となるテンプレートの位置を対応点として検
出したが、例えばテンプレートが示す画像と対応点の探
索領域内の画像とにおいて相関演算を行って、該相関演
算の結果、相関値が最大となるテンプレートの位置を対
応点として検出するようにしてもよい。

【００３５】図３のｓ２５では、ｓ２４において検出さ
れた対応点に対する信頼性の判定を行う。なお、信頼性
の判定は上述の差分値の絶対値の総和が最小となるテン
プレートの位置と、上述の差分値の絶対値の総和が２番
目に小さくなるテンプレートの位置とを用いて行われ
る。

【００３６】すなわち、本実施の形態の場合は、前記差
分値の絶対値の総和の最小値が所定の閾値以下であり、
且つ前記最小値と前記差分値の絶対値の総和が２番目に
小さい値との差が所定の閾値以上であった場合には、検
出された当該対応点は信頼性があるものと判定し、縮小
画像データａ８，ｂ８が示す画像において抽出された対
応点の座標に関するデータを対応点抽出部２０内部のメ
モリに格納しておく。

【００３７】以上ｓ２３からｓ２５までの処理は、ｓ２
６において全てのテンプレートにおける処理が完了した
ことが検出されるまで、前記ｓ２１において切り出され
た各テンプレートにおいて夫々行われる。

【００３８】次に、対応点ベクトル選択部３０の処理に
ついて説明する。

【００３９】対応点ベクトル選択部３０では、まず、前
記対応点抽出部２０で抽出され内部のメモリに格納され
ている縮小画像データａ８、ｂ８が示す画像において抽
出されたそれぞれの対応点の座標に関するデータを読み
出し、読み出されたデータが示すそれぞれの座標の水平
方向及び垂直方向の差を計算することにより対応点ベク
トルを算出し、算出された全ての対応点ベクトルのヒス
トグラムを座標の水平方向、垂直方向それぞれについて
作成する。そして、作成された対応点ベクトルのヒスト
グラムを座標の水平方向及び垂直方向それぞれにおい
て、最も出現頻度の高い範囲に属する対応点ベクトルの
みを選択し、選択された対応点ベクトルに関するデータ
を次段のパラメータ推定部４０に出力する。

【００４０】以上のように、対応点ベクトル選択部３０
では、最も出現頻度の高い範囲に属する対応点ベクトル
のみを選択することにより、前記対応点抽出部２０にお
いて誤った対応点が抽出されても、より信頼性の高い対
応点ベクトルに関するデータのみをパラメータ推定部４
０に出力することができる。

【００４１】そして、パラメータ推定部４０では、前記
対応点ベクトル選択部３０から供給される対応点ベクト
ルに関するデータが示す縮小画像データａ８，ｂ８の対
応点の座標から、座標変換パラメータを推定する。

【００４２】尚、座標変換パラメータの推定について
は、後に詳細に説明する。

【００４３】なお、上述のようにして得られた入力画像
の１／８倍の画像サイズの縮小画像を示す縮小画像デー
タａ８，ｂ８について求められた対応点ベクトルに関す
るデータは、次に行う入力画像の１／４倍の画像サイズ
の縮小画像を示す縮小画像データａ４，ｂ４の対応点抽
出処理において２つの縮小画像の重複領域を予測する際
に用いられる。

【００４４】すなわち、縮小画像データａ８，ｂ８につ
いて求められた対応点ベクトルに関するデータは、パラ
メータ推定部４０において水平方向、垂直方向それぞれ
について平均値が算出され、縮小画像データａ４，ｂ４
の対応点抽出処理において２つの縮小画像の重複領域を
予測する際に用いるため、対応点抽出部２０に出力され
る。

【００４５】また、１／４倍，１／２倍の画像サイズの
縮小画像を示す縮小画像データについて求められた対応
点ベクトルに関するデータも同様に次に行う画像データ
の対応点抽出処理において２つの画像の重複領域を予測
する際に用いられる。

【００４６】そして、以上のようにして縮小画像データ
ａ８，ｂ８の座標変換パラメータがパラメータ推定部４
０から出力されたら、対応点抽出部２０では１／４倍の
画像サイズの縮小画像を示す縮小画像データａ４，ｂ４
に対して対応点抽出を行う。

【００４７】なお、入力画像の１／４倍の画像サイズの
縮小画像を示す縮小画像データａ４，ｂ４についての対
応点抽出部２０の対応点抽出アルゴリズムは、前記図３
に示したものとほぼ同様であるが、図３のｓ２１におけ
るテンプレート切り出し領域の設定、ｓ２３における対
応点の探索領域の設定には、前記パラメータ推定部４０
から出力される入力画像の１／８倍の画像サイズの縮小
画像を示す縮小画像データａ８，ｂ８の対応点ベクトル
に関するデータの座標の水平方向、垂直方向それぞれに
ついての平均値が用いられる。

【００４８】図６は縮小画像データａ４についてのテン
プレート切り出し領域の設定方法を説明するための図で
ある。

【００４９】図３のｓ２１におけるテンプレート切り出
し領域の設定は、前記パラメータ推定部４０から出力さ
れる対応点ベクトルに関するデータの座標の水平方向、
垂直方向それぞれについての平均値（図６中の矢印）を
示すデータから、縮小画像データａ４が示す縮小画像に
おける重複領域（図６中の斜線部分）を予測し、予測さ
れた縮小画像データａ４が示す縮小画像の重複領域から
該縮小画像データａ４についてのテンプレート切り出し
領域の左端、上端、下端の位置の設定し、テンプレート
の切り出しを行う。

【００５０】図７は縮小画像データｂ４についての対応
点の探索領域の設定方法を説明するための図である。

【００５１】図３のｓ２３ではｓ２１で切り出された複
数のテンプレートそれぞれについて、縮小画像データａ
４が示す画像におけるテンプレートが存在する位置から
前記パラメータ推定部４０から供給される前記縮小画像
データａ８，ｂ８の対応点ベクトルに関するデータの座
標の水平方向、垂直方向それぞれの平均値分だけシフト
した点（図７中の矢印の先）を設定し、設定された点を
中心に上下左右の方向に所定の幅（例えば、上下左右の
方向にそれぞれ５画素分）の領域（図７中の領域Ｓ′）
のみ対応点の探索領域として設定する。

【００５２】以下、１／４倍の画像サイズの縮小画像を
示す縮小画像データａ４，ｂ４について、対応点抽出、
対応点ベクトルの選択、パラメータ推定が前記１／８倍
の画像サイズの縮小画像を示す縮小画像データａ８，ｂ
８の場合と同様に行われる。

【００５３】また、入力画像の１／２倍、及び等倍の画
像サイズの画像を示す画像データについての対応点抽出
処理も、上述の１／４倍の画像サイズの縮小画像を示す
縮小画像データの場合と同様にして行われ、入力画像の
１／２倍の画像サイズの画像を示す画像データａ２，ｂ
２についての対応点抽出、対応点ベクトルの選択、パラ
メータ推定が順次行われ、次に、入力画像の等倍の画像
サイズの画像を示す画像データａ，ｂについての対応点
抽出処理、対応点ベクトルの選択、パラメータ推定が順
次階層的に行われる。

【００５４】ところで、上述の処理において、入力画像
の等倍の画像サイズの画像を示す画像データａ，ｂに対
しては、後処理として行われる画像変換合成処理でアフ
ィン変換による座標変換を行うため、座標の水平方向、
垂直方向の対応点ベクトルが一定の範囲に入るとは限ら
ないので、ヒストグラムによる対応点ベクトルの選択は
行わなくてもよい。

【００５５】ここで、パラメータ推定処理について詳細
に説明する。

【００５６】上述のようにして入力された画像データ
ａ，ｂが示す２つの画像についての座標変換パラメータ
が得られた後、最後に画像変換合成部５０において、入
力された画像データａ，ｂがパラメータ推定部４０にお
いて推定された座標変換パラメータにしたがって座標変
換され、１つの画像に合成される。

【００５７】なお、このとき行われる座標変換としては
アフィン変換で、入力された画像データａ，ｂが示す画
像のサイズの等倍の画像についての対応点ベクトルに関
するデータから座標変換パラメータを推定する際には、
パラメータ推定部４０は対応点ベクトルに関するデータ
の平均値ではなく、以下の方法によりアフィン変換のパ
ラメータを出力する。

【００５８】今、入力画像データａが示す画像に対して
入力画像データｂが示す画像がθ回転、（ｄｘ，ｄｙ）
平行移動、ｍ倍の拡大変換した関係にあるとすると、入
力画像データａが示す画像中の点（ｘａ，ｘａ）は以下
の式（１）の入力画像データｂが示す画像中の点（ｘ
ｂ，ｙｂ）に対応する。

【００５９】ｘｂ＝（ｃｏｓθ・ｘａ＋ｓｉｎθ・ｙａ−ｄｘ）×ｍ＝Ａ・ｘａ＋Ｂ・ｙａ＋Ｃｙｂ＝（−ｓｉｎθ・ｘａ＋ｃｏｓθ・ｙａ−ｄｙ）×ｍ＝−Ｂ・ｘａ＋Ａ・ｙａ＋Ｄただし、Ａ＝ｍ・ｃｏｓθ，Ｂ＝ｍ・ｓｉｎθ，Ｃ＝−ｍ・ｄｘ，Ｄ＝−ｍ・ｄｙ・・・式（１）

【００６０】このときのパラメータＡ，Ｂ，Ｃをパラメ
ータ推定部４０で最小自乗法により推定する。

【００６１】ただし、上記パラメータをパラメータ推定
部４０で推定するには、対応点の座標が最低二対必要で
あるが、対応点の座標が一対しか求まらなかった場合に
は、入力画像の１／２倍の画像サイズの縮小画像を示す
縮小画像データについての対応点ベクトルの平均値を平
行移動パラメータとして設定すればよい。すなわち、入
力画像の１／２倍の画像サイズの縮小画像を示す縮小画
像データについての対応点ベクトルの平均値を（ａｘ，
ａｙ）とすると、以下の式（２）に示すパラメータが平
行移動パラメータとして設定される。

【００６２】Ａ＝１，Ｂ＝０，Ｃ＝−ａｘ，Ｄ＝−ａｙ・・・式（２）

【００６３】また、対応点の座標が一対も求まらなかっ
た場合は、以後の処理を行えないので、例えばモニター
画面上にその旨を示すメッセージ等を表示し、操作者に
知らせると共に、合成処理動作を終了する。

【００６４】なお、本実施の形態におけるパラメータ推
定部４０では、入力画像の等倍の画像サイズを示す画像
に対してはアフィン変換パラメータ、それ以外の縮小画
像に対しては平行移動パラメータを推定出力している
が、入力画像の等倍の画像サイズを示す画像、縮小画像
ともにアフィン変換パラメータを推定出力するようにし
てもよい。

【００６５】そして、画像変換合成部５０では、図８に
示すアルゴリズムに従って合成画像データｃが形成され
る。

【００６６】図８のｓ５１では、まず合成画像データｃ
が示す合成画像の画像領域の設定を行う。

【００６７】本実施の形態では画像領域を、入力された
画像データａが示す画像の座標系を基準とし、図９にお
いて破線で示す領域のように設定する。すなわち、画像
領域の左端は画像データａが示す画像の左端座標とし、
右端は画像データｂが示す画像の右上端および右下端の
画素を画像データａが示す画像の座標に変換して求めた
座標のうちの大きい方の座標値とする。尚、画像データ
ｂが示す画像の座標を画像データａが示す画像の座標に
変換するには、前記式（１）のアフィン変換の逆変換を
用いる。すなわち、逆変換のパラメータをＡ′，Ｂ′，
Ｃ′，Ｄ′とすると以下に示す式（３）の変換を行うこ
とになる。

【００６８】ｘａ＝Ａ′・ｘｂ＋Ｂ′・ｙｂ＋Ｃ′ ｙａ＝−Ｂ′・ｘｂ＋Ａ′・ｙｂ＋Ｄ′ ただし、Ａ′＝Ａ／（Ａ^２＋Ｂ^２），Ｂ′＝−Ｂ／（Ａ^２＋Ｂ^２），Ｃ′＝（−Ａ・Ｃ＋Ｂ・Ｄ）／（Ａ^２＋Ｂ^２），Ｄ′＝（−Ｂ・Ｃ−Ａ・Ｄ）／（Ａ^２＋Ｂ^２）・・・式（３）

【００６９】また、合成画像データｃが示す合成画像の
上端は画像データａが示す画像の上端座標値および画像
データｂが示す画像の右上端および左上端の画素を画像
データａが示す画像の座標に変換して求めた座標のうち
小さい方の座標値、下端は画像データａが示す画像の下
端座標値および画像データｂが示す画像の右下端および
左下端の画素を画像データａが示す画像の座標に変換し
て求めた座標のうち大きい方の座標値とする。

【００７０】次に、図８のｓ５２では、継ぎ目の位置が
重複部の中心となるよう図９の点線Ｌで示すように設定
する。すなわち、画像データａが示す画像の右端座標値
と、画像データｂが示す画像の左上端および左下端の画
素を画像データａが示す画像の座標に変換して求めた座
標のうち小さい方の座標値との平均値を継ぎ目の位置と
する。

【００７１】図８のｓ５３ではｓ５１で設定した合成画
像データｃが示す画像領域におけるそれぞれの画素値を
求め、メモリ領域に書き込む。

【００７２】図８のｓ５４では、合成画像データｃが示
す画像領域内の画像データａが示す画像領域について
は、前記合成画像データｃが示す画像領域に対応したメ
モリ領域のうちの前記画像データａが示す画像領域に対
応したメモリ領域に該画像データａが示す画素値をその
まま書き込む。

【００７３】そして、図８のｓ５５では、合成画像デー
タｃが示す画像領域内の座標変換された画像データｂが
示す画像領域については、前記合成画像データｃが示す
画像領域に対応したメモリ領域のうちの前記座標変換さ
れた画像データｂが示す画像領域に対応したメモリ領域
に、該座標変換された画像データｂが示す画素値をその
まま書き込む。このとき、すでに画像データａが示す画
素値が書き込まれていた場合は、継ぎ目の位置より右に
あるものについてのみ書き込むようにする。

【００７４】このようにして求めた合成画像データｃが
示す合成画像は、図１０に示すようになる。なお、図１
０中で斜線で示した部分は入力された画像データａ，ｂ
が示す画像の何れからも対応する画素が割当てられない
領域である為、例えば白画素等のダミー画素を割り当て
ればよい。

【００７５】以上、本実施の形態における画像変換合成
部５０では、画像の重複する領域には、画像ａ，ｂの何
れかの画像データを割り当てるようにしたが、画像デー
タａ，ｂの画素値の単なる平均値を求め割り当てたり、
画像データａ，ｂの画素値に例えば水平方向に可変に重
みを付けた上で、平均値を求め割り当ててもよい。

【００７６】そして、画像変換合成部５０において形成
された合成画像データｃは表示装置、プリンタ装置等に
出力される。

【００７７】また、本実施の形態では、それぞれが濃淡
画像を示す２つの画像に対応した画像データを合成する
場合を対象に説明したが、本発明は、カラー画像を示す
２つの画像に対応した画像データを合成する場合にも適
用でき、その際には、例えば２つの画像の対応点抽出を
行うときに、カラー画像を構成するＲ（赤），Ｇ
（緑），Ｂ（青）の各成分を示す画像のうち、Ｇ成分を
示す画像のみを用いて対応点抽出を行ったり、Ｒ，Ｇ，
Ｂの３つの成分の平均値を示す画像を形成し、形成され
た画像を用いて対応点抽出を行ったりすることにより、
本発明を容易に適応することができる。

【００７８】また、本実施の形態では、電子スチルカメ
ラ、ビデオカメラ等で撮像されることにより発生される
２つの画像に対応した画像データを合成する場合を対象
に説明したが、本発明は、コンピュータ等で生成された
所謂ＣＧ（コンピュータ・グラフィック）画像データを
合成する場合にも適用できることを言うまでもない。

【００７９】以上説明したように、本実施形態における
画像合成装置によれば、複数の画像における同一な対応
点をポインタ等で指定するといった面倒な操作を必要と
せず、複数の画像を自動的に精度良く合成することがで
きる。

【００８０】また、本実施形態における画像合成装置で
は、複数の画像のうちの１つの画像から対応点を求める
ために用いる小領域をテンプレートとして切り出すテン
プレート切り出し領域を限定する様にしたので、複数の
画像の重複領域外において、誤った対応点を抽出してし
まうことがなく、複数の画像を精度良く合成することが
できる。

【００８１】また、本実施形態における画像合成装置で
は、パラメータ推定部より出力される情報を用いて、複
数の画像のうちの１つの画像から対応点を求めるために
用いる小領域をテンプレートとして切り出すテンプレー
ト切り出し領域に対応する対応点を他の画像から探索す
るための探索領域を限定する様にしたので、短い処理時
間で複数の画像を合成することができ、複数の画像の中
に似通った部分が多く存在しても、正確に対応点を抽出
することができ、複数の画像を精度良く合成することが
できる。

【００８２】また、本実施形態における画像合成装置で
は、縮小画像についての対応点の抽出結果を用いて、複
数の画像のうちの１つの画像から対応点を求めるために
用いる小領域をテンプレートとして切り出すテンプレー
ト切り出し領域に対応する対応点を他の画像から探索す
るための探索領域を限定する様にしたので、短い処理時
間で複数の画像を合成することができ、複数の画像の中
に似通った部分が多く存在しても、正確に対応点を抽出
することができ、複数の画像を精度良く合成することが
できる。

【００８３】更に、本実施形態における画像合成装置で
は、画像合成を行なう継ぎ目付近で多くの対応点を抽出
するようにしているので、合成された画像の継ぎ目にお
けるずれを少なくすることができる。

【００８４】（第２の実施の形態）図１１に、本発明の
第２の実施の形態における画像合成装置の構成を示す。
尚、図１１に示した構成において、前記図１に示した前
記第１の実施の形態としての画像合成装置と同等の機能
を有するものには、同一の付番を付し、詳細な説明は省
略する。

【００８５】図中において、１３，１４は特徴点抽出部
であり、画像縮小部１１，１２より出力される縮小画像
データに対して、該縮小画像データが示す縮小画像のエ
ッジ部分を強調するような処理を行うことにより、特徴
点画像データを形成し、特徴点抽出部１３，１４内の画
像メモリに格納する。（以下、これらの特徴点画像デー
タをａ２′，ｂ２′，ａ４′，ｂ４′，ａ８′，ｂ８′
と表わす。）

【００８６】以上のように、本発明の第２の実施の形態
としての画像合成装置では、画像縮小部１１，１２には
画像メモリを設けず、次段の特徴点抽出部１３，１４に
画像メモリを設け、形成された特徴点画像データを格納
するようにしている。尚、特徴点画像データを形成する
ため、本実施の形態では縮小画像データに対して図１２
に示す３×３画素の二次元フィルタでコンボリューショ
ン演算処理を施すことにより、該縮小画像データが示す
縮小画像のエッジ部分を強調している。

【００８７】２１は対応点抽出部であり、入力端子１０
ａ，１０ｂより入力された画像データａ，ｂあるいは前
記特徴点抽出部１３，１４において形成された特徴点画
像データが示す画像の中から、それぞれの画像間の対応
点を抽出するものである。

【００８８】対応点抽出部２１では、まず最初に、入力
される画像データａ，ｂが示す画像のサイズに対して１
／８倍の特徴点画像を示す特徴点画像データａ８′，ｂ
８′について対応点抽出を行い、次に順次１／４倍，１
／２倍，等倍の画像サイズの特徴点画像データについて
対応点抽出を行う。なお、１／４倍，１／２倍，等倍の
画像サイズの対応点画像データのそれぞれについて対応
点抽出を行う際には、前記第１の実施の形態と同様に、
その前に行われた対応点抽出に基づき形成された変換パ
ラメータを用いて重複部における予測が行われる。

【００８９】以下、図１３に示すフローチャートに従っ
て、対応点抽出部２１における対応点抽出アルゴリズム
について説明する。

【００９０】図１３において、ｓ３１で、まず特徴点画
像データａ８′についてテンプレート切り出し領域の設
定を行う。ところで、特徴点画像データａ８′，ｂ８′
に対して対応点抽出を行う場合には、予め２つの特徴点
画像の重複領域がわかっていないので、前記第１の実施
の形態と同様に、所定の領域をテンプレート切り出し領
域として設定する。

【００９１】そして、図１３のｓ３２において切り出さ
れた全てのテンプレート切り出し領域内の全画素につい
て以下のｓ３３〜ｓ３６の処理を行う。

【００９２】ｓ３３では特徴点を中心にテンプレート切
り出しを行う。

【００９３】つまり、１／８倍の画像サイズの特徴点画
像データａ８′について対応点抽出を行う場合には、図
１４に示すように、ｓ３１において設定されたテンプレ
ート切り出し領域を上下にＴ１，Ｔ２の領域に分割し、
Ｔ１，Ｔ２それぞれの領域について図中の矢印に沿っ
て、すなわち特徴点画像データａ８′の右端から順次処
理を行い、図１３のｓ３３〜ｓ３６の処理により前記Ｔ
１，Ｔ２の領域それぞれについて対応点が所定の数抽出
されまで処理が継続される。

【００９４】なお、対応点の抽出を行なうかどうかは、
特徴点画像データａ８′が示す特徴点画像の画素値が所
定の閾値以上あるかどうかで判断し、該特徴点画像の画
素値が所定の閾値以上ある場合には、特徴点画像である
ものとして図１３のｓ３４〜ｓ３６の処理に従って対応
点抽出を行ない、該特徴点画像の画素値が所定の閾値以
上ない場合には、特徴点画像でないものとして、図１３
のｓ３４〜ｓ３６の処理よる対応点抽出を行わないで、
次の画像サイズの特徴点画像の処理に移る。

【００９５】また、本実施の形態では、対応点が所定の
数抽出されるまで処理を継続し、該所定の数に達したら
処理を終了するようにしているので、余分な処理時間を
省略し、処理時間を短縮する事ができ、また、特徴点画
像データａ８′の右端から順次処理を行うようにしてい
るので、例えば、処理を途中で中断した場合でも、２つ
の画像の継ぎ目付近で対応点を多く抽出できるため、２
つの画像の継ぎ目のずれを少なくすることができ、更
に、テンプレート切り出し領域をあらかじめ上下に分割
しているので、２つの画像の継ぎ目部分を上下でバラン
スよくつなぐ事ができるようになる。

【００９６】なお、１／４倍，１／２倍の画像サイズの
特徴点画像データについて対応点抽出を行う場合も同様
の処理を行うが、等倍の画像サイズの特徴点画像データ
について対応点抽出を行う場合は、次段の画像変換合成
部５０で前記第１の実施の形態と同様に、前記図９で示
したように２つの画像の継ぎ目を設定するので、継ぎ目
付近において対応点を抽出する。なお、２つの画像の継
ぎ目の位置については、前記第１の実施の形態の画像変
換合成部５０の動作説明の中で、前記図８のｓ５２の処
理と同等の処理によって算出する。

【００９７】以上のように、２つの画像の継ぎ目の位置
を算出したら、図１５に示すように、ｓ３１において設
定されたテンプレート切り出し領域を前記継ぎ目の位置
を境に左右にＴ３，Ｔ４の領域に分割し、それぞれの領
域について図中の矢印に沿って、すなわち特徴点画像デ
ータａの継ぎ目の位置（図１５中のＬ′）付近から順次
処理を行う。

【００９８】なお、１／４倍，１／２倍の画像サイズの
特徴点画像データａ２′，ａ４′について対応点抽出を
行う場合も同様にしてテンプレート切り出し領域の設定
を行うが、等倍の画像サイズの画像データａについて対
応点抽出を行う場合、該等倍の画像サイズの画像データ
ａには、図１１の特徴点抽出部１３，１４による処理が
行われていないので、前記図１２に示した３×３画素の
二次元フィルタでコンボリューション演算処理を施した
後、閾値処理による特徴点抽出を行い、抽出された特徴
点を中心にテンプレートの切り出しを行う。

【００９９】次に、図１３のｓ３４では、ｓ３３におい
て切り出されたテンプレートに対応する点を探索する探
索領域を右側の画像データｂから設定する。ところで、
１／８倍の画像サイズの特徴点画像ａ８′，ｂ８′に対
しては、あらかじめ重複領域が分かっていないので、前
記第１の実施の形態と同様に、所定の領域を対応点の探
索領域とし、また、１／４倍，１／２倍，等倍の画像サ
イズの特徴点画像を示す特徴点画像データに対してはパ
ラメータ推定部４０から出力される座標変換パラメータ
を用いて前記第1の実施の形態と同様に予測され設定さ
れる。

【０１００】図１３のｓ３５では上述のようにして設定
された右側の特徴点画像データｂ８′における対応点の
探索領域内の画像と左側の特徴点画像データａ８′にお
けるテンプレートが示す画像とを該テンプレートを平行
に順次ずらしながら比較していき、当該テンプレートが
示す画像と対応点の探索領域内の画像とにおいてそれぞ
れの画像を構成している画素同士の差分値が算出され、
該差分値の絶対値の総和が最小となるテンプレートの位
置を対応点として検出する。

【０１０１】図１３のｓ３６では、ｓ３５において検出
された対応点に対する信頼性の判定を行い、抽出された
対応点の座標に関するデータを対応点抽出部２１内部の
メモリに格納しておく。

【０１０２】本実施の形態では、縮小画像に対しては特
徴点画像で対応点抽出を行っているので、入力された画
像同士に多少の輝度レベル差が生じていても、該輝度レ
ベル差に影響を受けずに対応点を抽出することができ、
また、入力画像そのものに対する対応点抽出処理は特徴
点画像で行っていないので、画像ノイズを強調すること
なく対応点抽出を行うことができる。

【０１０３】本発明の第２の実施形態としての画像合成
装置のその他の部分の動作については、本発明の第１の
実施の形態と同様であるので、説明は省略する。

【０１０４】（第３の実施の形態）図１６に、本発明の
第３の実施の形態における画像合成装置の構成を示す。
なお、図１６に示した構成において、前記図１に示した
前記第１の実施の形態としての画像合成装置と同等の機
能を有するものには、同一の付番を付し、詳細な説明は
省略する。

【０１０５】すなわち、本実施の形態では、対応点抽出
部２２において、対応点ベクトル選択部３０から出力さ
れる対応点の座標データを用いて対応点抽出処理を行う
点が異なる。

【０１０６】そして、本実施の形態は、対応点抽出部２
２における対応点抽出アルゴリズムは図３に示した本発
明の第１の実施の形態と同様であるので、以下、図３に
示すフローチャートに従って、対応点抽出部２２におけ
る対応点抽出アルゴリズムについて説明する。

【０１０７】図３において、ｓ２１で、まず縮小画像デ
ータａ８についてテンプレート切り出し領域の設定を行
う。そして、ｓ２２において切り出された全てのテンプ
レートについて以下のｓ２３〜ｓ２５の処理を行う。た
だし、１／４倍、１／２倍、等倍の画像サイズの縮小画
像対応点抽出を行う場合には、それぞれ１／８倍，１／
４倍、１／２倍の画像サイズの縮小画像を示す縮小画像
データに対して行われた対応点抽出により対応点が抽出
できたテンプレートのみにより対応点抽出を行う。

【０１０８】図３のｓ２３では、上述のようにして切り
出されたテンプレートそれぞれについて、右側の縮小画
像データｂ８が示す画像における対応点を探索するため
の探索領域を設定する。ところで、縮小画像データａ
８，ｂ８に対して対応点抽出を行う場合には、予め２つ
の縮小画像の重複領域がわかっていないので、前記第１
の実施の形態と同様に、所定の領域を対応点の探索領域
として設定する。また、１／４倍、１／２倍、等倍の画
像サイズの画像を示す縮小画像データに対して対応点を
抽出する場合には、対応点ベクトル選択部３０から出力
される対応点の座標に関するデータを参照し、該対応点
の座標位置を中心に上下左右に所定の幅（例えば±５画
素）の領域のみ探索するように探索領域を設定する。

【０１０９】図３のｓ２４では、上述のようにして設定
された右側の縮小画像データｂ８における対応点の探索
領域内の画像と左側の縮小画像データａ８における任意
のテンプレートが示す画像とを該任意のテンプレートの
位置を順次ずらしながら比較していき、当該テンプレー
トが示す画像と対応点の探索領域内の画像とにおいてそ
れぞれの画像を構成している画素同士の差分値が算出さ
れ、該差分値の絶対値の総和が最小となるテンプレート
の位置を対応点として検出する。

【０１１０】図３のｓ２５では、ｓ２４において検出さ
れた対応点に対する信頼性の判定を行い、抽出された対
応点の座標に関するデータを対応点抽出部２１内部のメ
モリに格納しておく。

【０１１１】なお、本発明の第３の実施の形態としての
画像合成装置の他の部分の動作についての動作は、本発
明の第１の実施の形態と同様であるので説明は省略す
る。

【０１１２】以上説明したように、本実施形態における
画像合成装置では、対応点ベクトル選択部より出力され
る情報を用いて、複数の画像のうちの１つの画像から対
応点を求めるために用いる小領域をテンプレートとして
切り出すテンプレート切り出し領域に対応する対応点を
他の画像から探索するための探索領域を限定する様にし
たので、更に短い処理時間で複数の画像を合成すること
ができ、複数の画像の中に似通った部分が多く存在して
も、正確に対応点を抽出することができ、複数の画像を
精度良く合成することができる。

【０１１３】

【発明の効果】以上説明したように、本発明の画像合成
方法によれば、例えば入力される複数の画像データが示
す複数の画像の輝度成分のレベルに差がある場合でも、
面倒な操作を必要とせず、しかも短い処理時間で、自動
的に複数の画像を画像の継ぎ目があまりずれずに、精度
良く合成することができる様になる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態としての画像合成装
置の構成を示すブロック図である。

【図２】入力画像の一例を示す図である。

【図３】本発明の第１の実施の形態の対応点抽出部の処
理アルゴリズムを示すフローチャートである。

【図４】本発明の第１の実施の形態における対応点抽出
でのテンプレートの切り出し方法の説明図である。

【図５】本発明の第１の実施例の形態における対応点抽
出での探索領域の設定方法の説明図である。

【図６】本発明の第１の実施の形態における対応点抽出
でのテンプレート切り出し領域の設定方法の説明図であ
る。

【図７】本発明の第１の実施例の形態における対応点抽
出での探索領域の設定方法の説明図である。

【図８】本実施の形態の画像変換合成部の処理アルゴリ
ズムを示すフローチャートである。

【図９】本実施の形態の画像合成方法の説明図である。

【図１０】本実施の形態の合成画像の一例を示す図であ
る。

【図１１】本発明の第２実施の形態としての画像合成装
置の構成を示すブロック図である。

【図１２】本発明の第２実施の形態における二次元フィ
ルタを示す図である。

【図１３】本発明の第２実施の形態の対応点抽出部の処
理アルゴリズムを示すフローチャートである。

【図１４】本発明の第２実施の形態における対応点抽出
でのテンプレートの切り出し方法の説明図である。

【図１５】本発明の第２実施の形態における対応点抽出
でのテンプレートの切り出し方法の説明図である。

【図１６】本発明の第３実施例の形態としての画像合成
装置の構成を示すブロック図である。

【符号の説明】

１１，１２画像縮小部１３，１４特徴点抽出部２０，２１，２２対応点抽出部３０対応点ベクトル選択部４０パラメータ推定部５０画像変換合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者羽鳥健司東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】互いに一部が重複している画像領域を有
する複数の画像を合成し、一つの合成画像を作成する方
法であってそれぞれが複数の画像に対応している複数の
画像データを入力し、入力された前記複数の画像データ
が示す複数の画像を互いに異なる縮小率にて段階的にそ
れぞれ縮小し、それぞれが形成された縮小画像を示す複
数の縮小画像データを形成する縮小画像データ形成ステ
ップと、前記縮小画像データ形成ステップにおいて形成された縮
小画像データについて、最も縮小率が高い縮小画像を示
す縮小画像データから、入力された前記複数の画像デー
タが示す画像と同じサイズの画像を示す等倍画像データ
まで順番に、それぞれが示す画像間における対応点を段
階的に抽出する対応点抽出ステップと、前記対応点抽出ステップにおいて抽出された対応点に従
って、画像合成変換を行なうために必要な各種パラメー
タを設定するパラメータ設定ステップと、前記パラメータ設定ステップにおいて設定された各種パ
ラメータが、前記対応点抽出ステップにおいて縮小画像
データが示す縮小画像について設定されたものである場
合には、前記対応点抽出ステップにおいて既に抽出され
た対応点や前記パラメータ設定ステップにおいて設定さ
れた各種パラメータを用いて、縮小率が１段高い縮小画
像データが示す複数の縮小画像の重複部を予測し、前記
複数の縮小画像のうちの一つの縮小画像から対応点を求
めるための小領域をテンプレートとして設定し、前記対
応点抽出ステップにおいて縮小率が１段高い縮小画像デ
ータが示す複数の縮小画像間における対応点の抽出を行
なわせ、前記対応点抽出ステップにおいて等倍画像デー
タが示す画像について設定されたものである場合には、
前記パラメータ設定ステップにおいて設定された各種パ
ラメータに従って、入力された前記複数の画像データが
示す複数の画像のうちの少なくとも一つの画像を変換
し、他の画像と合成する画像変換合成ステップとを有す
る画像合成方法。
【請求項２】前記対応点抽出ステップは、前記パラメ
ータ設定ステップにおいて設定された各種パラメータを
用いて、縮小率が１段高い縮小画像データが示す複数の
縮小画像のうちの一つの縮小画像において設定されるテ
ンプレートに対応する対応点を、他の縮小画像において
探索するための探索領域を設定することを特徴とする請
求項１に記載の画像合成方法。
【請求項３】前記対応点抽出ステップは、既に抽出さ
れた対応点を用いて、縮小率が１段高い縮小画像データ
が示す複数の縮小画像のうちの一つの縮小画像において
設定されるテンプレートに対応する対応点を、他の縮小
画像において探索するための探索領域を設定することを
特徴とする請求項１に記載の画像合成方法。
【請求項４】前記対応点抽出ステップは、前記複数の
画像間の継ぎ目付近で多くの対応点を抽出することを特
徴とする請求項１に記載の画像合成方法。
【請求項５】互いに一部が重複している画像領域を有
する複数の画像を合成し、一つの合成画像を作成する方
法はであって、それぞれが複数の画像に対応している複数の画像データ
を入力し、入力された前記複数の画像データが示す複数
の画像を互いに異なる縮小率にて段階的にそれぞれ縮小
し、それぞれが形成された縮小画像を示す複数の縮小画
像データを形成する縮小画像データ形成ステップと、上前記縮小画像データ形成ステップにおいて形成された
縮小画像データについて、該縮小画像の特徴点を抽出
し、特徴点縮小画像を形成する特徴点縮小画像形成ステ
ップと、前記特徴点画像形成ステップにおいて形成された特徴点
縮小画像データについて、最も縮小率が高い縮小画像を
示す特徴点縮小画像データから、入力された前記複数の
画像データが示す画像と同じサイズの特徴点画像を示す
特徴点等倍画像データまで順番に、それぞれが示す特徴
点画像間における対応点を段階的に抽出する対応点抽出
ステップと、前記対応点抽出ステップにおいて抽出された対応点に従
って、画像合成変換を行なうために必要な各種パラメー
タを設定するパラメータ設定ステップと、前記パラメータ設定ステップにおいて設定された各種パ
ラメータが、前記対応点抽出ステップにおいて特徴点縮
小画像データが示す特徴点縮小画像について設定された
ものである場合には、前記対応点抽出ステップにおいて
既に抽出された対応点や前記パラメータ設定ステップに
おいて設定された各種パラメータを用いて、縮小率が１
段高い特徴点縮小画像データが示す複数の特徴点縮小画
像の重複部を予測し、前記複数の特徴点縮小画像のうち
の一つの特徴点縮小画像から対応点を求めるための小領
域をテンプレートとして設定し、前記対応点抽出ステッ
プにおいて縮小率が１段高い特徴点縮小画像データが示
す複数の特徴点縮小画像間における対応点の抽出を行な
わせ、前記対応点抽出ステップにおいて特徴点等倍画像
データが示す画像について設定されたものである場合に
は、前記パラメータ設定ステップにおいて設定された各
種パラメータに従って、入力された前記複数の画像デー
タが示す複数の画像のうちの少なくとも一つの画像を変
換し、他の画像と合成する画像変換合成ステップとを有
することを特徴とする画像合成方法。
【請求項６】前記対応点抽出ステップは、前記パラメ
ータ設定ステップにおいて設定された各種パラメータを
用いて、縮小率が１段高い特徴点縮小画像データが示す
複数の特徴点縮小画像のうちの一つの特徴点縮小画像に
おいて設定されるテンプレートに対応する対応点を、他
の特徴点縮小画像において探索するための探索領域を設
定することを特徴とする請求項５に記載の画像合成方
法。
【請求項７】前記対応点抽出ステップは、既に抽出さ
れた対応点を用いて、縮小率が１段高い特徴点縮小画像
データが示す複数の特徴点縮小画像のうちの一つの特徴
点縮小画像において設定されるテンプレートに対応する
対応点を、他の特徴点縮小画像において探索するための
探索領域を設定することを特徴とする請求項５に記載の
画像合成方法。
【請求項８】前記対応点抽出ステップは、前記複数の
特徴点画像間の継ぎ目付近で多くの対応点を抽出するこ
とを特徴とする請求項５に記載の画像合成方法。