JPH11205648A

JPH11205648A - 画像合成装置

Info

Publication number: JPH11205648A
Application number: JP10002871A
Authority: JP
Inventors: Masaki Higure; 正樹日暮
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1998-01-09
Filing date: 1998-01-09
Publication date: 1999-07-30
Also published as: US6393162B1

Abstract

(57)【要約】【課題】パノラマ画像を貼り合わせ合成で作成する場
合、撮影器材の画角を知ることは難しく、位置関係が適
正に合成されても、露出補正は平均値から離れた値を持
つ画素値により露出補正では誤差が大きくなり、複数の
特徴点を探索するため、処理時間が非常にかかる。【解決手段】本発明は、被写体を複数に分割して撮影し
た画像間の位置関係を示すパラメータを算出するずれ検
出部３０６と、パラメータと画像から平行移動・回転を
補正する補間演算部３０７と、補間演算部３０７で補正
された画像の重複部分から露出補正係数を算出し、対象
となる画像の露出を補正する露出処理部３０８と、補正
された画像の貼り合わせ合成を行う画像合成部３１３と
で構成され、分割撮影された画像が貼り合わせ合成され
る前に、それぞれの画像の露出補正を行い、画像全体が
自然な露出に補正される画像合成装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体（構図）を
複数に分けて撮影した画像を合成し、高精細・広画角の
画像や全周パノラマ画像を作成する画像合成装置に関す
る。

【０００２】

【従来の技術】最近、パーソナルコンピュータ（ＰＣ）
の性能価格比が向上することなどにより、企業・教育・
家庭などで急速に普及している。同時に従来の銀塩フィ
ルムを用いたカメラに代わって、ビデオカメラなどの映
像情報機器もいろいろな場面で利用されるようになって
いる。

【０００３】特にデジタルカメラは、撮影した画像に対
して、現像処理が不必要、消去・編集が容易等の理由で
ＰＣユーザーを中心として需要が拡大されている。この
デジタルカメラは、ＣＣＤ等の固体撮像素子によって撮
像するが、銀塩フィルムに比較して解像度が劣るため、
高解像度化の技術が強く望まれている。

【０００４】この高解像度化は、撮像素子の画素数を増
やすことにより実現するが、一般に固体撮像素子のコス
トは、画素数の増大に従って大幅に上昇することが知ら
れており、カメラ自体が高額となってしまう。

【０００５】そこで例えば特開平６−１４１２４６号公
報に記載されるような複数の撮像素子で撮影した画像を
合成する技術や、特開平６−１４１２２８号公報に記載
されるようなカメラの移動等で被写体を分割撮影するこ
とで１つの撮像素子による画像を合成する技術等が知ら
れている。

【０００６】これらの画像合成処理技術のうち、一例と
して複数の撮像素子を用いる場合の撮像素子を利用する
技術について、図１８（ａ）を参照して簡単に説明す
る。

【０００７】この撮像装置は、光学系２、ＣＣＤ等の撮
像素子を含む撮像部３及びデジタルデータに変換するＡ
／Ｄ変換部４からなる画像入力部１ａ，１ｂ，１ｃと、
それぞれに入力した画像Ａ，Ｂ，Ｃを合成する画像合成
部６と、合成された画像を表示するモニタ７と、プリン
タ８と、記憶媒体９とで構成される。ここで、画像入力
部１ａ，１ｂ，１ｃは、一般的にホワイトバランスを調
整したり、画像データを効率よく格納するために圧縮す
る画像処理部を有しているが省略している。

【０００８】撮影される被写体５は、重複部分を持つよ
うに複数の画像に分割されて画像入力部１ａ〜１ｃで撮
影され、画像合成部６に入力される。この画像合成部６
では、画像の重複部分の画像データより、画像間の位置
関係を算出し、合成した画像を作成してモニタ７等に出
力する。

【０００９】図２３には、前記画像合成部６の構成を示
す。

【００１０】それぞれの画像入力部１ａ，１ｂ，１ｃで
撮影された画像Ａ，Ｂ，Ｃは、一時的にフレームメモリ
１０ａ，１０ｂ，１０ｃに格納され、ずれ検出器１１
ａ，１１ｂで隣接する画像間の位置関係（平行移動量・
回転量）が重複する部分の画像データから算出され、補
間演算器１２ａ，１２ｂに出力される。

【００１１】これらの補間演算器１２ａ，１２ｂでは、
ずれ検出器１１ａ，１１ｂで求められた位置関係から、
基準画像（ここでは画像Ａ）にあわせて画像を補正して
出力する。そして出力された画像は、係数決定器１３で
決められた重み付け加算の係数と乗算され、加算器１５
で加算されてフレームメモリ１６に一時的に格納され適
宜出力される。

【００１２】前記係数決定器１３では、図１８（ｂ）に
示すように、重複部分で徐々に重みを減じて（増やし
て）いくように係数Ｃａ，Ｃｂ，Ｃｃが決定される。

【００１３】この技術は、デジタル画像の高解像度化に
有効で有るばかりでなく、広画角化にも利用することが
できる。さらに、単なる広画角化にとどまらず、次に示
すような技術にも応用が可能である。

【００１４】ある地点を中心にして周囲３６０度を撮影
した画像、いわゆるパノラマ画像を原画像として、マウ
スやキーボード操作で好きな視点を選択し、その方向に
カメラを向けて撮影した画像を作成してディスプレイ上
に表示するソフトウェアが実用化されている。これを用
いると、ユーザーは自分の好きな方向から自由に見るこ
とができるため、あたかも撮影した地点に自分が立って
周囲を見回しているかのような仮想現実感が得られる。

【００１５】このときのパノラマ画像を作成するため、
従来は、大きく２つの手法が利用されている。

【００１６】第１の手法は、スリット状の開口を有し、
開口部をフィルムの巻き上げと同期させて回転して撮影
するパノラマカメラを利用するものである。第２の手法
は、通常のカメラを水平面上で回転させて全周を複数の
画像に分割して複数回撮影し、それらの画像を張り合わ
せて繋ぎパノラマ画像を作成するものがある。

【００１７】これらの手法のうち、後者の第２の手法に
よる画像合成について説明する。

【００１８】この第２の手法については、例えば「電子
情報通信学会春季全国大会講演会論文集Ｄ−４５３（１
９９１年）」に記載される、図１９及び図２０に示すよ
うな技術を利用している。

【００１９】この図１９において、Ｒは被写体Ｒであ
り、Ｏはカメラの基準点（一般には光学系の節点）であ
る。投影面Ｑ，Ｑ’は、被写体が撮影時に投影される投
影面である。この場合に、円筒Ｐは第１の手法でパノラ
マ画像を撮影したときと同等な投影面であり、点Ｏを中
心にした円筒になる。

【００２０】そして、投影面Ｑ，Ｑ’に投影された複数
の画像を円筒Ｐ上に投影した画像に変換し、それぞれ隣
り合う画像を合成するものである。

【００２１】例えば、図２０（ａ）は、投影面Ｑ，Ｑ’
に投影されたカメラの画像であり、同図（ｂ）は、撮影
した画像を投影面Ｑ，Ｑ’からＰに投影したものであ
る。これらの画像を特願平５−６３９７８号公報に開示
されている方法で合成すると、図２０（ｃ）の様な画像
が得られるが、これは第１の手法により形成された画像
の一部と等価である。

【００２２】また、上記特開平６−１４１２４６号公報
に記載される技術では、隣接する画像間を合成する際に
平滑化処理を行っているため、重複する部分は滑らかに
繋がる。しかし図２１に示すような被写体を撮影した場
合、図２２（ａ）のように左側画像は空が大きく写って
いるため、図２２（ｂ）の右側画像のように建物のみが
撮影される画像に比べて、全体が暗めに露出設定され
る。これらの２枚の画像を公報に記載される技術で合成
した場合、露出の違いは滑らかに変化して貼り合わせら
れるが、全体としては左右の明るさの違いが目立ち、不
自然な画像となってしまう。

【００２３】さらに、特開平９−９３４３０号公報に
は、露出補正を行ってから画像を合成する技術が開示さ
れている。この技術では、第１に、画像間の重複部分全
体における平均値の差から補正係数を決定する方法、及
び第２に、複数の特徴点を検出し、検出した特徴点の画
素値から最小二乗的に補正係数を決定する方法などが開
示されている。

【００２４】

【発明が解決しようとする課題】前述した画像合成処理
を行う技術において、貼り合わせる場合に従来の技術に
より位置関係が適正に行われたとしても、露出補正に関
しては、特開平９−９３４３０号公報に開示された方法
では、平均値に近い画素値を持った部分は、ほぼ正確に
補正される一方、平均値から離れた値を持つ画素値では
誤差が大きくなる。さらに複数の特徴点を探索するた
め、処理時間が非常にかかる等の問題点が生じる。

【００２５】また上記特開平９−９３４３０号公報で
は、補正後に原画像の階調範囲からはみ出した値を正規
化して、補正前の原画像と同じ階調数を保っているが、
この方法では補正しなかった画像中、最も明るい階調を
持つ部分に擬輪郭が生じる。

【００２６】また、画像の貼り合わせ合成を行う場合
に、前述したパノラマ画像を作成する第２の手法を用い
るためには、撮影画像を投影する円筒半径を決定するた
めに、撮影器材の画角を知っている必要がある。

【００２７】画角は、焦点距離と撮像素子のサイズから
計算できるが、一般にそういった知識を持っているユー
ザーは少なく、また、最近はレンズにズーム機能のつい
たカメラも普及しており、ズーム両端でなければ、撮影
時の焦点距離を知ることはできない。

【００２８】そこで本発明は、被写体を分割して撮影し
た複数の画像を貼り合わせる画像合成する場合に、隣り
合う画像の重複する領域から自動的に画角を算出して、
適正な貼り合わせを行い、且つ、処理時間が増大せず
に、重複領域の画素値に基づく正確な露出補正が実施可
能な画像合成装置を提供することを目的とする。

【００２９】

【課題を解決するための手段】本発明は上記目的を達成
するために、隣接する画像間で重複する領域が含まれる
ように複数に分割して撮影した分割画像を貼り合わせ合
成する画像合成装置において、隣接する画像間で貼り合
わせ可能状態に位置関係が補正された前記分割画像の重
複領域の少なくとも一部の画素群を選択し、その画素値
平均及び分散により決定される露出の補正係数を算出
し、貼り合わせすべき全画像若しくは、基準となる画像
以外の画像に対して、前記補正係数に応じた露出補正を
施す露出補正手段と、前記露出補正手段による露出補正
処理が施された各分割画像を張り合わせて画像を合成す
る画像合成処理手段とを備えた画像合成装置を提供す
る。

【００３０】以上のような構成の画像合成装置は、１つ
の被写体若しくは１つの構図を分割して撮影した複数の
分割画像を貼り合せたパノラマ画像（広画角の画像）に
合成する際に、これらの画像の貼り合わせ合成前に、重
複領域の少なくとも一部の画素群を選択し、その画素値
平均及び分散より決定される補正係数を算出し、貼り合
わせすべき全画像若しくは、基準となる画像以外の画像
に対して、前記補正係数に応じた露出補正を施す露出補
正を処理し、露出補正された画像を順次貼り合わせ合成
することで、露出的に自然に貼り合わせられたパノラマ
画像を作成するものである。

【００３１】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について詳細に説明する。

【００３２】本発明は、１つの被写体若しくは１つの構
図を分割して撮影した複数の分割画像を貼り合せたパノ
ラマ画像（広画角の画像）に合成する際に、それぞれの
分割画像に対して、見た目に自然な貼り合わせ画像にな
るように、それぞれに、若しくは一方に露出補正が施し
て合成する画像合成装置である。

【００３３】ここで、本実施形態における分割画像は、
隣り合う画像の一部に同じ被写体の部分が撮影されたも
のであって、何等関係のない被写体からなる画像を合成
して新たな構図を生成するものではなく、被写体（構
図）を復元することを前提としている。

【００３４】以下の実施形態では、説明を簡易にするた
めに、分割画像を画像Ａ，Ｂ，Ｃとして記載するが、３
つの画像に限定されるものではないことは勿論である。

【００３５】まず、合成画像に露出補正を施す実施形態
を詳述する前に、分割撮影された画像の貼り合わせの実
施形態について説明する。

【００３６】図１には、本発明による第１の実施形態と
しての画像合成装置の構成例を示し説明する。

【００３７】本実施形態のシステムは、デジタルカメラ
１８と、該デジタルカメラ１８が撮影した被写体を複数
に分割して撮影した画像Ａ，Ｂ，Ｃ，…を記憶するメモ
リカード１９と、メモリカード１９から分割画像を読み
出すカードリーダ２０と、読み出された複数の画像を順
次、円筒面上に投影した画像に変換し、張り合わせ合成
する画像処理部２１と、合成された広角画像をそれぞれ
出力するモニタ７と、プリンタ８と、記憶媒体９とで構
成される。

【００３８】前記画像処理部２１は、メモリカード１９
から読み出された画像に伸長処理等を施す画像データ再
生部２２と、伸長処理されたそれぞれの画像Ａ，Ｂ，Ｃ
を一時的に格納するフレームメモリ１０ａ，１０ｂ，１
０ｃと、各フレームメモリに対して、隣接する画像を順
次読み出して、後述する方法で画角を推定する画角算出
部３０と、前記画角を用いて各画像Ａ，Ｂ，Ｃを円筒面
上に投影した円筒画像に変換する円筒変換部３１と、前
記円筒画像を順次張り合わせて合成してパノラマ画像を
作成する画像合成部６とで構成される。

【００３９】本実施形態は、１台のカメラを用いて、撮
影方向または撮影位置を変えて、被写体の一部が重複す
るように複数回撮影した画像を用いた例を図示している
が、得られた画像の一部に同じ被写体の一部が含まれて
いればよく、撮影方法は限定されるものではない。

【００４０】このように構成された画像合成装置の作用
について説明する。

【００４１】まず、図示しない被写体を１台のデジタル
カメラ１８で、図２（ｂ）に示すように、互いに画像の
両端部に同じ被写体の一部分が重複するようにずらして
撮影する。

【００４２】これらの撮影された画像は、一般のデジタ
ルカメラで行われるようなホワイトバランスの調整・圧
縮等の処理が行われた後、着脱自在なメモリーカード１
９に記憶される。

【００４３】そして画像処理部２１には、カードリーダ
２０が接続され、装着されたメモリカード１９から画像
を含むデータが読み出され、画像データ再生部２２で伸
長処理等が施され、例えば画像Ａ，Ｂ，Ｃが読み出され
て、フレームメモリ１０ａ，１０ｂ，１０ｃにそれぞれ
格納される。

【００４４】そして画角算出部３０では、フレームメモ
リから隣接する画像を読み出して、後述する方法で画角
を推定して円筒変換部３１へ出力する。この円筒変換部
３１では、図２（ａ）に示すように、画角αｘを使って
撮影した複数の画像を円筒面上に投影した画像に変換す
る。

【００４５】ここで、ある被写体の１点を円筒上に投影
したときの座標を円筒座標系で表したものを（θ，Ｙ）
t とし、撮影画面上に投影したときの座標を（ｘ，ｙ）
p で表す。（Ｘ，Ｙ）t は、Ｘを円筒面上に沿った長さ
で表した時の円筒上の座標であり、θの単位をラジアン
とすれば、Ｘ＝Ｒ×θ となる。

【００４６】また、図２（ｂ）に示すように、カメラの
基準点をＯt 、円筒表面の原点をＣ、円筒の半径をＲ、
撮影画面の投影面の原点をＯp ＝（θ0 ，０）t とし、
撮影画像の幅をＷx 、上記画角αｘをＸ方向の画角（但
し、画像中心から端部まで）とする。このとき円筒の半
径Ｒは、

【数１】

【００４７】で与えられ、（ｘ，ｙ）p と（θ，Ｙ）t
との間には、

【数２】

【００４８】の関係がある。そこで、これらの式から
（ｘ，ｙ）p を（Ｘ，Ｙ）t に変換して撮影画像を円筒
上に投影した画像を作成する。

【００４９】画像合成部６では、前述した特開平６−１
４１２２８号公報と同様な方法で画像を貼り合わせて合
成し、記憶媒体等に記憶又は出力される。

【００５０】次に画角算出部３０における画像処理につ
いて説明する。

【００５１】図２（ｂ）は、図示しない三脚等に取り付
けられたカメラが、被写体に対して、角度βだけ回転
し、連続して撮影する状態を示している。使用するカメ
ラの横方向画角はαｘで、撮影画像サイズはＷｘ・Ｗ
ｙである。

【００５２】まず、隣接する画像両方に含まれる同じ被
写体の一部分を１点の特徴点として選ぶ。１画像に設定
した特徴点を、他画像上にその対応点として見つける方
法は、特開平６−１４１２２８号公報に開示されている
方法などを利用することができる。

【００５３】この特徴点が円筒上の（θ，Ｙ）t 位置に
投影されるものとする。また、左右それぞれの画像の原
点をＯ_L＝（θ_L，０）ｔ、Ｏ_R＝（θ_R，０）とし、
前記特徴点の撮影画面上での座標を（ｘ_L，ｙ_L）ｐ、
（ｘ_R，ｙ_R）ｐとする。

【００５４】このとき（２）式から、以下の関係が成り
立つ。

【００５５】

【数３】

【００５６】これらの式（１）、式（３）及び式（４）
から次式が導かれ、画角αｘが求められる。

【００５７】

【数４】

【００５８】同時にカメラ方向の差β＝（θ−θ_R）−
（θ−θ_L）も次式を使えば求めることができる。

【００５９】

【数５】

【００６０】以上のように、互いに重複領域を有する画
像から自動的に画角を求めることができるため、パノラ
マ画像作成に利用できる機種の選択を広げることができ
る。また、前述した方法では、隣接する２枚の１組の特
徴点・対応点から画角αｘを求めるように述べたが、よ
り多くの点を使って最小二乗的に決定すれば、対応点探
索や画像のノイズによる誤差の影響を少なくすることが
できる。

【００６１】また３枚以上の画像の張り合わせ合成につ
いては、それぞれ隣接する画像間で推定した画角を考慮
すれば、より高い精度で画角を決定することができる。

【００６２】次に第２の実施形態としての画像合成装置
について、図３、図４を用いて説明する。

【００６３】本実施形態は、画像を貼り合わせ合成する
装置であり、その構成は、前述した第１の実施形態と同
様な構成であるが、図４に示す画角算出部３０内での処
理が異なる。

【００６４】この画角算出部３０は、画像Ａ，Ｂの補間
演算を行う補間演算部４２ａ，４２ｂと、予め複数の画
角候補から順次１つの値を選択し、補間演算部４２ａ，
４２ｂに設定する画角仮設定部４０と、隣接画像間の重
複領域における相関または差分の絶対値和をとる範囲
（比較領域）を設定する比較領域設定部４１と、一般的
にテンプレートマッチングで用いられる相互相関、正規
化相互相関、差分の絶対値和等を評価値として算出する
相関演算部４３と、相関が最大（差分の絶対値和の場合
は最小）か否かを判定する最大最小判定部４４と、最大
と判定された場合は、その時に設定されていた仮画角を
記憶する画角メモリ４５とで構成され、この画角メモリ
４５から読み出された画角は、円筒変換部３１ａ，３１
ｂ，３１ｃに出力される。

【００６５】つまり、前述した第１の実施形態では、特
徴点及び対応点の座標から画角αｘを推定したが、本実
施形態では、図３に示すように、仮に設定した画角で入
力画像に前述した円筒変換処理を行い、左右の画像の重
複部分内で画素値を比較する。この時、比較した結果、
相関が最も高いもしくは差分の絶対値和が最小になる画
角を入力機器で撮影される画角と設定する。

【００６６】この画角算出部３０においては、画角仮設
定部４０では、例えば、１５°〜３０°の範囲で１°
ずつの１５の画角候補を予め格納しておき、順番に１つ
の値を選択し、補間演算部４２に出力する。上記画角範
囲、画角候補については、使用用途、メモリ容量等を考
慮して適宜、設定することができることは勿論である。

【００６７】そして、比較領域設定部４１では、まず、
画像データＡ，Ｂから特徴点の設定・対応点の探索を行
い、続いて、隣接画像間の重複領域の一部を相関（また
は差分の絶対値和）をとる範囲（比較領域）を設定し、
その位置（座標）と大きさを補間演算部４２に出力す
る。

【００６８】ここで、重複部分全体を比較範囲にすれ
ば、画角推定の精度は向上するが、計算時間が増大する
ので、対象に応じて比較領域の大きさを可変とする方が
望ましい。隣接する画像（ここでは画像Ａ，Ｂ）は、補
間演算部４２に入力され、先に設定された仮画角に応じ
て、円筒変換を行い比較領域に含まれる画像データが相
関演算部４３へ出力される。

【００６９】この相関演算部４３では、相互相関、正規
化相互相関または、差分の絶対値和等を評価値として計
算する。計算された評価値は、最大最小判定部４４で相
関が最大（差分の絶対値和の場合は最小）か否かを判定
し、最大（差分の絶対値和の場合は最小）となった場合
には、その時に設定されていた仮画角を画角メモリ４５
に格納する。

【００７０】このとき、図３では画像全体を円筒変換す
るように表現したが、実際には、比較領域部分に対応す
る部分だけに対して、円筒変換を行えばよい。画角仮設
定部４０は、予め記憶する設定画角を順番に発生し、画
角算出部３０の各部分は、上記処理を繰り返し実施す
る。

【００７１】予め記憶された設定画角の全数の処理が終
了した場合、最後に画角メモリ４５に格納されている値
を、推定した画角として円筒変換部３１に出力する。

【００７２】次に、図５を参照して、第３の実施形態の
画像合成装置について説明する。

【００７３】本実施形態は、前述した第２の実施形態の
画角算出部３０の構成が異なっており、最大最小判定部
４４に代わって、相関変化量算出部４６を備え、比較領
域どうしの相関値変化から反復的に次の仮画角を設定す
るものである。

【００７４】入力した画像Ａ，Ｂに対して、比較領域設
定部４１で比較領域を設定した後、補間演算部４２で仮
画角に基づいて、円筒変換を施す。このとき、仮画角
は、第２実施形態のように設定されているのではなく、
次のように逐次的に生成する。

【００７５】まず相関変化量算出部４６において、計算
した相関値をそれ以前に算出した相関値と比較し、その
変化量を計算する。算出された相関変化量データは、画
角仮設定部４０にフィードバックされ、次の仮画角を決
定するのに用いられる。

【００７６】このとき、仮画角値を変更するには、最急
降下法、シミュレーテッド・アニーリング法などの最適
化手法に基づいて行うことができる。

【００７７】本実施形態の構成により、予め候補となる
画角を設定する必要がなく、入力した画像だけから画角
を決定することができる。

【００７８】また、第２、第３の実施形態において、合
成対象画像が多数ある場合には、それぞれ隣接する画像
間で画角を推定し、得られた複数の推定値を平均するこ
とでより高精度な画角の推定が可能になる。

【００７９】次に、図６を参照して、第４の実施形態の
画像合成装置について説明する。本実施形態の構成部位
で図１に示した構成部位と同等の部位には同じ参照符号
を付してその説明を省略する。

【００８０】この画像合成装置は、画像入力機器から入
力した画像データＡ，Ｂに伸長処理を施す画像データ再
生部２２と、伸長処理された画像データＡ，Ｂを一時的
に記憶するフレームメモリ１０ａ，１０ｂと、読み出さ
れた画像データを円筒面上に投影する円筒変換部３１
ａ，３１ｂと、投影されたデータに基づき、画像の重複
部分より算出されたお互いの位置関係から合成画像を作
成する画像合成部６と、後述する全周画像補正部５６
と、円筒変換部３１ａ若しくは以前に求めた合成画像の
切り換えて画像合成部６にいずれか一方を入力させる切
換部５８とで構成される。

【００８１】次に、このように構成された画像合成装置
の作用について説明する。

【００８２】まず、フレームメモリ１０ａ，１０ｂに記
憶された画像は、前記（１）式、（２）式に従って、円
筒変換部３１ａ，３１ｂにより円筒面上に投影される。
それらの円筒面上に投影された画像データは、画像合成
部６に入力される。

【００８３】この画像合成部６では、ずれ検出部５０で
隣接画像間の位置関係が算出され、補間演算部５１によ
り位置関係に応じて補正された画像が作成される。さら
に、係数設定部５２では、隣接画像が滑らかに結合する
ように加算する際の重み付け係数を決定する。そして、
その重み付け係数は、乗算器５３ａ，５３ｂに送出され
てそれぞれ画像データに乗じられ、加算器５４でこれら
の画像データが加算される。

【００８４】そして、加算された画像データは合成画像
として、フレームメモリ５５に格納される。さらに、ず
れ検出部５０で検出された位置関係は、ずれ格納部５７
に格納されており、フレームメモリ５５の合成結果画像
は、切換部５８を操作することで画像合成部６に入力さ
れ、次の原画像と合成される。

【００８５】入力した画像がＮ枚で全周をカバーすると
したとき、Ｎ枚目の画像を貼り合わせ合成した後、Ｎ番
目の画像に１番目の画像を合成することにより、３６０
°をカバーする画像の両端が滑らかに接続される。

【００８６】１番目の画像を合成した後は、合成結果画
像と、ずれ格納部５７に格納された値を全周画像補正部
５６に出力する。

【００８７】図７には、前記全周画像補正部５６の構成
を示し、説明する。

【００８８】この全周画像補正部５６において、全周画
像補正パラメータ算出部６１は、ずれ格納部５７から読
み出された位置関係から撮影時のカメラの回転角度を計
算する。ここで、図８に示すように、ｉ番目の画像とｉ
＋１番目の画像とのシフト量（ｉ番目画像の原点を基準
にしたとき、合成後にｉ＋１番目画像の基準点がくる位
置）を（Ｓｘⁱ，Ｓｙⁱ）とする。ここで、画像はＮ枚
で全周をカバーするとする。但し、（Ｓｘⁱ，Ｓｙⁱ）
は、Ｎ番目の画像と１番目の画像とのシフト量である。
このとき、シフト量の和（Ｓｘ^Ni，Ｓｙ^Ni）（図２４参
照）は、次の（８）式で与えられる。

【００８９】

【数６】

【００９０】また、撮影時の光軸周りの回転角度γは、
次の（９）式で求められる。

【００９１】

【数７】

【００９２】そして、補間演算部６０では、（９）式の
回転角度γに従って入力画像を回転補正し、図９（ａ）
に示すような矩形画像を作成する。画像サイズ調整部６
２では補正した後の画像のうち、貼り合わせ合成する
と、３６０°をカバーする部分画像を切り出す。図９
（ｂ）では、その例として、１番目の画像の下端を基準
にしている。また、図９（ｂ）に示すように、隣接画像
どうしの交点を考慮すれば、最終的な結果画像にデータ
のない黒い部分が入らないようにできるため、美しい画
像を得ることができる。

【００９３】次に図１０を参照して、第５の実施形態の
画像合成装置について説明する。

【００９４】本実施形態は、前述した第１乃至第４の実
施形態における分割撮影された画像が貼り合わせ合成さ
れる前に、それぞれの画像の露出補正を行い、画像全体
が自然な露出になるようにする構成である。

【００９５】この画像合成装置は、被写体（図示せず）
を光学系３０２を通して撮像部３０３で撮影し、Ａ／Ｄ
変換部３０４により量子化したデジタルデータに変換す
る画像入力部３０１ａ，３０１ｂと、画像データＡ，Ｂ
として一時的に記憶するフレームメモリ３０５ａ，３０
５ｂと、フレームメモリ３０５から読み出された画像デ
ータＡ，Ｂから後述の方法で隣接する画像間の位置関係
を示すパラメータを算出するずれ検出部３０６と、前記
パラメータと画像データＡ，Ｂから平行移動・回転を補
正する補間演算部３０７と、補間演算部３０７で補正さ
れた画像の重複部分から露出補正係数を算出し、対象と
なる画像（合成する画像の一方若しくは、両方）を補正
する露出処理部３０８と、後述する画像の合成を行う画
像合成部３１３とで構成される。

【００９６】前記画像合成部３１３は、隣接する画像を
加算する際の重み付け係数を決定する係数設定部３０９
と、前記係数設定部３０９により設定された係数を露出
処理部３０８で補正されたそれぞれの画像データＡ，Ｂ
に乗じる乗算器３１１と、係数が乗じられた画像データ
を加算する加算器３１２と、加算された画像データを記
憶するフレームメモリ３１０とで構成される。

【００９７】このように構成された画像合成装置の画像
貼り合わせ及び、露出補正について説明する。

【００９８】前記画像入力部３０１ａ，３０１ｂにおい
て、それぞれ光学系３０２を通して撮像部３０３で撮影
された被写体（図示せず）を、Ａ／Ｄ変換部３０４で量
子化し、デジタルデータに変換して、画像データＡ，Ｂ
としてフレームメモリ３０５ａ，３０５ｂに一時的に記
憶する。

【００９９】前記画像入力部３０１ａ，３０１ｂにおい
て、素子上のフィルタ配列に応じた画像処理や出力画像
サイズを小さくするための圧縮処理等、またフレームメ
モリに記憶される際の伸長処理等については、本発明の
要旨ではないため、公知な手法を用いることとし、詳細
な説明は省略する。

【０１００】続いて、フレームメモリ３０５に記憶され
た画像データは、ずれ検出部３０６に入力され、後述す
る方法で隣接する画像間の位置関係を示すパラメータを
算出し、補間演算部３０７に出力する。この補間演算部
３０７では、ずれ検出部３０６より入力されたパラメー
タと画像データから、平行移動・回転を補正して出力す
る。このとき、両方を補正して中間の状態にあわせても
構わないし、どちらか一方を基準にしてもう一方のみを
補正しても構わない。

【０１０１】露出処理部３０８では、補間演算部３０７
で補正された画像データの重複部分から露出補正係数を
算出し、対象となる画像を補正して出力する。この露出
処理部３０８での補正方法は後述する。

【０１０２】次に係数設定部３０９では、特開平６−１
４１２４６号公報に開示されている平滑化の技術と同様
に、隣接する画像を加算する際の重み付け係数を決定す
る。

【０１０３】それぞれの画像データは、乗算器３１１で
係数設定部３０９により設定された係数を乗じられ、加
算器３１２で互いに加算される。加算された画像データ
はフレームメモリ３１０に記憶され、プリンタ・モニタ
・ハードディスク等の記憶媒体など各種出力機器に出力
される。なお、フレームメモリ３１０から出力機器への
出力に関する処理は、本発明の要旨ではないため、公知
な手法を用いることとし、その詳細な説明は省略する。

【０１０４】図１１には、図１０に示したずれ検出部３
０６の概略を示す図である。

【０１０５】このずれ量検出部３０６は、基準画像内の
特徴的な部分にテンプレートブロックを設定する特徴点
設定部４０１と、画像データから、互いに対応する点を
探索し、特徴点・対応点位置を検出する相関検出部４０
２と、画像間の位置関係を平行移動量ｓ＝（ｓｘ，ｓ
ｙ）・回転角度θとして検出するパラメータ算出部４０
３とで構成される。

【０１０６】このように構成されたずれ検出部３０６に
おいて、まず特徴点設定部４０１が基準画像内の特徴的
な部分にテンプレートブロックを設定する。このテンプ
レートは、画素値分散が最大になる点やエッジを持った
部分に設定することで、対応する点の検出精度を向上す
ることができる。

【０１０７】このとき設定された２つの特徴点位置を
（ｔx1，ｔy1），（ｔx2，ｔy2）とする。

【０１０８】前記相関検出部４０２では、フレームメモ
リ３０５ａ，３０５ｂから入力された画像データから、
互いに対応する点を探索し、特徴点・対応点位置をパラ
メータ算出部４０３へ出力する（対応点の検出に関して
は後述する）。このとき、得られた対応点位置を（ｍ
ｘ１，ｍｙ１），（ｍｘ２，ｍｙ２）とする。

【０１０９】そしてパラメータ算出部４０３では、相関
検出部４０２で対応関係の検出された画像中の座標か
ら、対象となる画像間の位置関係を平行移動量ｓ＝（ｓ
ｘ，ｓｙ）・回転角度θとして検出する。上記特徴点
・対応点の座標から、平行移動量ｓは、（１０）式であ
らわされる。

【０１１０】

【数８】

【０１１１】但し、ｓは基準画像の原点を基準にしてい
る。また、θは特徴点どうし・対応点どうしを結ぶベク
トルの外積から求めることができる。

【０１１２】

【数９】

【０１１３】ここで、ｄ_t，ｄ_mは（１２），（１３）
式で表される。

【０１１４】

【数１０】

【０１１５】尚、本実施形態では、２点から平行移動量
・回転角度を求めるように説明したが、３点以上の対応
関係から最小二乗的にパラメータを決定することもでき
る。またｓ，θの検出方法は、前記特開平６−１４１２
４６号公報に開示されているように、変位ベクトルから
算出する方法であっても構わない。

【０１１６】また、画像間の対応関係を検出するため
に、テンプレートマッチングと呼ばれる方法を用いてい
る。テンプレートマッチングの評価は、図１２（ａ）に
示すように、一方の画像中にテンプレートといわれる小
領域を設定し、図１２（ｂ）に示すように、他方の画像
中に設定されたサーチエリア内で同じ大きさのブロック
を移動しながら比較することで行われる。

【０１１７】このとき、小領域内で画素値の差分を加算
し、その和が最小になる位置を設定したテンプレートに
対する対応点とみなす方法が一般的である。しかし、こ
の方法では、本発明で対象としているような露出差の生
じた画像間ではミスマッチングが生じる可能性が高い。

【０１１８】そこで、図１１に示す相関検出部４０２
ａ，４０２ｂでは、次の（１４）式に示すような画像の
正規化相互相関といわれる値を評価値に用い、この値が
最大となる点を対応点と考える。

【０１１９】

【数１１】

【０１２０】ここで、ａ_L，ａ_Rは左右の小ブロック内
の各画素値、Ａ_L，Ａ_Rは左右の小ブロック内の画素平
均値、σ_L，σ_Rは左右の小ブロック内の画素の標準偏
差であり、σ_L ²、σ_R ²は、それぞれの画素の分散を
示すものである。また、（１４）式の和は、小ブロック
内のすべての画素について加算する。

【０１２１】尚、小ブロックとは、一方の画像中に設定
されたテンプレートと、他方の画像中に設定されたサー
チエリア内にあるテンプレートと同じ大きさのブロック
を示すものである。

【０１２２】また、露出差があまり大きくない場合は、
（１５）式に示すような、（１４）式の標準偏差で正規
化する部分を省略した相互相関で評価しても十分な精度
が得られる。

【０１２３】

【数１２】

【０１２４】前記（１４）式と比較して（１５）式で
は、標準偏差を求める必要がないため、処理の高速化の
ためには有効である。

【０１２５】前記ずれ検出部３０６から補間演算部３０
７に、補正パラメータとしての平行移動量・回転角度が
出力され、そのパラメータの値に従って、対象画像の両
方もしくは片方が補正される。この補正による画像の例
を図１３に示す。

【０１２６】図１４には、図１０に示した露出処理部３
０８の具体的な構成を示す。

【０１２７】この露出処理部３０８は、ずれ検出部３０
６により検出された平行移動量・回転角度が入力され、
図１５に示すように補正後の画像の重複した領域に共通
の画像データの比較領域７０１ａ及び７０１ｂを設定す
る比較領域設定部６０１と、補間演算部３０７からそれ
ぞれ補正された画像データＡ，Ｂが入力され、設定され
た比較領域における画素値平均・分散値を算出する平均
・分散算出部６０２ａ，６０２ｂと、画像データＡ，Ｂ
それぞれの画素値平均・分散から補正係数を算出する補
正係数算出部６０３と、算出された補正係数に基づき、
それぞれの画像データＡ，Ｂに対して共通な明るさにな
るように露出補正を行う露出補正部６０４ａ，６０４ｂ
とで構成される。

【０１２８】このように構成された画像合成装置におけ
る露出処理について説明する。

【０１２９】まず、比較領域設定部６０１では、図１５
に示すように補正後の画像で重複する部分に比較領域７
０１ａ及び７０１ｂが設定される。

【０１３０】また図１５では重複する部分内で矩形状に
比較領域を設定したが、これは次段の平均・分散算出部
６０３において、データアクセスを簡便にするためであ
り、処理時間が特に問題にならないのであれば、重複す
る部分全体を比較領域に設定してもよい。

【０１３１】そして平均・分散算出部６０３では、左右
それぞれの比較領域中の画素値平均・分散を算出する。
このとき、図１６（ａ）のように比較領域内全体の画素
全体を計算対象にするのではなく、図１６（ｂ）のよう
に、数ピクセルずつ間引いた画素（ハッチをしてある部
分が計算に用いる画素）の平均・分散を計算すること
で、計算時間を短縮することができる。

【０１３２】ここで、左右それぞれの比較領域中の画素
値平均をＡ_L，Ａ_Rとし、画素の標準偏差をσ_L，σ_R
とし、σ_L ²、σ_R ²は、画素値の分散となる。露出補
正は、（１６）式に従って行うが、この（１６）式のＣ
₁，Ｃ₂を補正係数算出部６０３により、上記で求めら
れた画素値平均・分散を基準に決定する。

【０１３３】

【数１３】

【０１３４】ここで、ａ_beforeは、補正前の画素値であ
り、ａ_afterは補正後の画素値であり、（１６）式の結
果、ａ_afterの値がそれぞれの画素を表現する階調範囲
から外れる場合は、階調の最小値（例えば、零）または
階調の最大値にクリップする。

【０１３５】また、図１５に示すような左右それぞれの
画像に対する補正係数をＣ_1L，Ｃ_2L及びＣ_1R，Ｃ_2Rと
し、各補正係数は左右それぞれの画像の平均と分散が一
致するように、次の式から決定する。

【０１３６】ｉ）左画像を基準にする場合、

【数１４】

【０１３７】ｉｉ）右画像を基準にする場合、

【数１５】

【０１３８】ｉｉｉ）左右の画像の中間を基準にする場
合、

【数１６】

【０１３９】上記にように、補正係数算出部６０３で決
定された補正係数Ｃ_1L，Ｃ_2L及びＣ_1R，Ｃ_2Rは、それぞ
れ露出補正部６０４ａ，６０４ｂに送られ、補間演算部
３０７より入力される画像データＡ，Ｂが補正される。
露出が補正され、露出補正部６０４ａ，６０４ｂより出
力された画像データは、画像合成部３１３において、重
複部分が滑らかに結合されるように重み付け加算して、
結果画像が出力される。尚、画像合成部３１３について
詳しい説明は省略する。

【０１４０】階調数が２５６階調であった場合に、補正
係数が負となった場合には、階調数が０以下にならない
ようにするため、補正に用いられる画素値を階調の最小
値（例えば、０）にする。これとは反対に、補正係数が
予め設定された階調数を最大の信号値以上にならないよ
うに階調の最大値（例えば、２５５）に固定する。

【０１４１】ここで、補正係数として、（１７）〜（２
０）式を例として挙げたが、この係数は、別のさまざま
な変形例が考えられ、勿論本発明は前記式のいずれかに
限定されるものではない。

【０１４２】本実施形態では、係数設定部３０９とは別
に、露出処理部３０８の内部に露出補正部６０４を設
け、露出補正をした画像を画像合成部に出力するように
説明したが、図１７に示したように、露出補正係数のみ
を係数設定部３０９に出力し、露出補正の効果を含んだ
隣接画像間の平滑化係数を設定してもよい。

【０１４３】以上の実施形態について説明したが、本明
細書には以下のような発明も含まれている。

【０１４４】１．隣接する画像間で重複する領域が含ま
れるように複数に分割して撮影した分割画像を貼り合わ
せ合成する画像合成装置において、前記隣接する画像間
で貼り合わせ可能状態に位置関係が補正された前記分割
画像の重複領域の少なくとも一部の画素群を選択し、そ
の画素値平均及び分散により決定される露出の補正係数
を算出し、貼り合わせすべき全画像若しくは、基準とな
る画像以外の画像に対して、前記補正係数に応じた露出
補正を施す露出補正手段と、前記露出補正手段による露
出補正処理が施された各分割画像を貼り合わせて画像を
合成する画像合成処理手段とを備えたことを特徴とする
画像合成装置。

【０１４５】本発明は第５実施形態にかかる露出補正で
ある。

【０１４６】このように、画像の貼り合わせ合成前に、
重複領域の少なくとも一部の画素群を選択し、その画素
値平均及び分散より決定される補正係数を算出し、貼り
合わせすべき全画像若しくは、基準となる画像以外の画
像に対して、前記補正係数に応じた露出補正を施し、こ
の露出補正された画像を順次貼り合わせ合成すること
で、処理時間が増大せずに、重複領域の画素値に基づ
き、露出的に自然に貼り合わせれたパノラマ画像を作成
することができる。

【０１４７】２．前記１に記載の画像合成装置におい
て、前記露出補正手段による露出補正を実行する前に平
行移動・回転角度を算出するとともに、隣接する画像間
で位置関係を補正する画像補正手段をさらに備えたこと
を特徴とする。

【０１４８】本発明は第５実施形態にかかる露出補正で
ある。

【０１４９】このように、画像の貼り合わせ合成前に、
露出補正に加えて、隣接する画像間の位置関係も補正さ
れるので、より正確に貼り合わせられたパノラマ画像を
作成することができる。

【０１５０】３．前記２に記載の画像合成装置におい
て、前記露出補正手段は、算出された前記補正係数によ
り分割された画像の画素値を補正する際に、予め定めた
階調の範囲を超えた場合で、下限を越えた画素値は前記
階調の最低値若しくは零とし、上限を越えた画素値は、
前記階調の最高値とすることを特徴とする。

【０１５１】本発明は第５実施形態にかかる露出補正で
ある。

【０１５２】このように、露出補正の際に、予め定めた
階調の範囲を超えた場合で、下限を越えた画素値は前記
階調の最低値若しくは零とし、上限を越えた画素値は前
記階調の最高値とすることで、より適切な露出補正を施
すことができ、正確に貼り合わせられたパノラマ画像を
作成することができる。

【０１５３】４．隣接する画像間で重複する領域が含ま
れるように複数に分割して撮影した分割画像を貼り合わ
せ合成する画像合成装置において、前記隣接する画像間
で貼り合わせ可能状態に位置関係を補正するために、前
記分割画像における前記重複領域に含まれる同じ被写体
の少なくとも１つの部分を特定点として設定し、その特
定点の座標位置的なデータの比較により、互いの画像の
画角を推定し、推定した画角に応じて前記画像の位置関
係が合致するように幾何学的変形処理を行う画像補正手
段と、前記画像補正手段により処理された各分割画像を
貼り合わせて合成する画像合成手段とを備えたことを特
徴とする画像合成装置。

【０１５４】本発明は、第１の実施形態にかかる画角推
定である。

【０１５５】このように、１つの被写体若しくは１つの
構図を分割して撮影した複数の分割画像を貼り合せたパ
ノラマ画像（広画角の画像）に合成する際に、撮像した
画像から入力機器の画角を求めるとともに、露出補正さ
れた画像を順次貼り合わせ合成することで、精度が高く
露出的に自然に貼り合わせられたパノラマ画像を作成す
ることができる。

【０１５６】５．前記４に記載の画像合成装置におい
て、前記画像補正手段は、前記分割された画像における
互いに隣接する画像との重複領域の一部に幾何学変形処
理を施し、この変形処理された画像を比較することによ
り、互いの画像の画角を推定し、推定した画角に応じた
幾何学変形処理を前記画像の全体部分に施すことを特徴
とするものである。

【０１５７】本発明は、第２の実施形態にかかる画角推
定である。

【０１５８】このように、最初に幾何学処理を施すのは
重複領域だけで画角推定後に画像全体に対する幾何学処
理を行なうので、処理時間が短縮されるとともに、より
精度が高く露出的に自然に貼り合わせられたパノラマ画
像を作成することができる。

【０１５９】６．前記５に記載の画像合成装置におい
て、前記画像補正手段は、前記重複部分に施される幾何
学変形処理のパラメータを複数記憶したパラメータ記憶
手段を備えたことを特徴とするものである。

【０１６０】本発明は、第２の実施形態にかかる画角推
定である。

【０１６１】このように、画像補正手段が、幾何学変形
処理のパラメータを複数記憶しているので、適切な変形
処理を短時間に行なうことができ、より精度が高く自然
に貼り合わせられたパノラマ画像を作成することができ
る。

【０１６２】７．前記５に記載の画像合成装置におい
て、前記画像補正手段は、前記重複部分に行う幾何学変
形の前記パラメータを変形後の画像の比較結果に応じて
変化させて画像を補正することを特徴とする。

【０１６３】本発明は、第３の実施形態にかかる画角推
定である。

【０１６４】これにより、幾何学処理を施す際の処理パ
ラメータを、変形後の画像の比較結果に応じて変化させ
ることで、より精度が高く自然に貼り合わせられたパノ
ラマ画像を作成することができる。

【０１６５】８．前記５に記載の画像合成装置におい
て、前記画像補正手段は、前記隣接する画像間の露出を
補正した後、前記各画像の画角推定を行なうことを特徴
とする。

【０１６６】本発明は、第１、第２の実施形態にかかる
画角推定である。

【０１６７】このように、各画像の露出を補正した後に
各画像の画角を求めてから、貼り合わせ処理を行なうの
で、より精度が高く自然に貼り合わせられたパノラマ画
像を作成することができる。

【０１６８】９．撮影地点の周囲を互いに重複する部分
を持つ複数の画像に分割して撮影し、それらを合成して
全周パノラマ画像を作成する画像合成装置において、前
記複数の画像に分割して撮影された各画像間の光軸周り
の回転に対する位置ずれを検出する位置ずれ検出手段
と、この位置ずれ検出手段により検出された各隣接画像
間の位置関係に応じて画像を補正する画像補正手段と、
前記画像補正手段により処理された各分割画像を貼り合
わせて合成する画像合成手段とを備えたことを特徴とす
る画像合成装置。

【０１６９】本発明は、第４の実施形態にかかるパノラ
マ補正である。

【０１７０】このように、画像の貼り合わせ処理を行な
う際に、各画像間の光軸周りの回転に対する位置ずれを
検出し、検出された位置関係に応じて画像を補正してお
くことで、より精度が高く自然に貼り合わせられた全周
パノラマ画像を作成することができる。

【０１７１】

【発明の効果】以上詳述したように本発明によれば、被
写体を分割して撮影した複数の画像を貼り合わせる画像
合成を行なう場合に、隣り合う画像の重複する領域から
算出した補正係数に基づき、適正な貼り合わせを行なう
ことができ、処理時間が増大せずに、より精度が高いパ
ノラマ画像が得られる画像合成装置を提供することがで
きる。

【図面の簡単な説明】

【図１】本発明による第１の実施形態の画像合成装置の
構成例を示す図である。

【図２】画像の幾何学変形について説明するための図で
ある。

【図３】画像の円筒変換について説明するための図であ
る。

【図４】第２の実施形態の画像合成装置における画角算
出部の構成例を示す図である。

【図５】第３の実施形態の画像合成装置における画角算
出部の構成例を示す図である。

【図６】第４の実施形態の画像合成装置における画像処
理部の構成例を示す図である。

【図７】第４の実施形態の画像合成装置における全周画
像補正部の構成例を示す図である。

【図８】第４の実施形態の画像の位置関係を説明するた
めの図である。

【図９】被写体を複数に分割して撮影した画像の貼り合
わせ合成処理について説明するための図である。

【図１０】第５の実施形態の画像合成装置における露出
補正及び画像合成を行う画像合成装置の構成例を示す図
である。

【図１１】図１０に示したずれ検出部の構成例を示す図
である。

【図１２】テンプレートマッチングについて説明するた
めの図である。

【図１３】補正パラメータ値による補正について説明す
るための図である。

【図１４】図１０に示した露出処理部の具体的な構成例
を示す図である。

【図１５】位置関係補正後の画像の重複領域に設けた露
出補正用の比較領域について説明するための図である。

【図１６】比較領域中の画素値平均・分散の算出方法に
ついて説明するための図である。

【図１７】第５の実施形態の画像合成装置の変形例につ
いて説明するための図である。

【図１８】従来の画像合成装置の構成例及びその画像合
成について説明をするための図である。

【図１９】従来のパノラマ画像を合成する場合について
説明するための図である。

【図２０】従来のパノラマ画像の合成装置による画像合
成を説明するための図である。

【図２１】撮影するパノラマ画像の構図の一例を示す図
である。

【図２２】従来の画像の合成装置による画像合成を説明
するための図である。

【図２３】図１８に示した画像合成部の構成例を示す図
である。

【符号の説明】

６…画像合成部７…モニタ８…プリンタ９…記憶媒体１０ａ〜１０ｃ，３０５ａ〜３０５ｂ，３１０…フレー
ムメモリ１８…デジタルカメラ１９…メモリカード２０…カードリーダ２１…画像処理部２２…画像データ再生部３０…画角算出部３１…円筒変換部３０１ａ，３０１ｂ…画像入力部、３０２…光学系３０３…撮像部３０４…Ａ／Ｄ変換部３０６…ずれ検出部３０７…補間演算部３０８…露出処理部３０９…係数設定部３１１…乗算器３１２…加算器３１３…画像合成部

Claims

【特許請求の範囲】

【請求項１】隣接する画像間で重複する領域が含まれ
るように複数に分割して撮影した分割画像を貼り合わせ
合成する画像合成装置において、隣接する画像間で貼り合わせ可能状態に位置関係が補正
された前記分割画像の重複領域の少なくとも一部の画素
群を選択し、その画素値平均及び分散により決定される
露出の補正係数を算出し、貼り合わせすべき全画像若し
くは、基準となる画像以外の画像に対して、前記補正係
数に応じた露出補正を施す露出補正手段と、前記露出補正手段による露出補正処理が施された各分割
画像を貼り合わせて画像を合成する画像合成処理手段
と、を具備することを特徴とする画像合成装置。
【請求項２】前記露出補正手段において、算出された前記補正係数により分割された画像の画素値
を補正する際に、予め定めた階調の範囲を越えた場合
で、下限を越えた画素値は前記階調の最低値若しくは零
とし、上限を越えた画素値は前記階調の最高値とするこ
とを特徴とする請求項１に記載の画像合成装置。
【請求項３】前記画像合成装置は、前記露出補正手段
による露出補正の前に隣接する画像間で貼り合わせ可能
状態に位置関係を補正するために、前記分割された画像において、隣接する画像との重複領
域に含まれる同じ被写体の少なくとも１つの部分を特定
点として設定し、その特定点の座標位置的なデータの比
較により、互いの画像の画角を推定し、推定した画角に
応じて前記画像の位置関係が合致するように幾何学変形
処理を行う画像補正手段と、前記画像における重複領域の複数の特徴点位置のずれ検
出から平行移動距離及び回転角を算出して補間し、分割
された画像を貼り合わせ合成する画像合成手段と、をさ
らに具備することを特徴とする請求項１に記載の画像合
成装置。