JPH0991410A

JPH0991410A - パノラマ画像合成システム

Info

Publication number: JPH0991410A
Application number: JP7270734A
Authority: JP
Inventors: Kenji Hatori; 健司羽鳥; Hideo Takiguchi; 英夫滝口; Kotaro Yano; 光太郎矢野; Tatsuji Katayama; 達嗣片山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-09-26
Filing date: 1995-09-26
Publication date: 1997-04-04

Abstract

(57)【要約】【課題】ユーザの負担軽減、正確な画像合成、及び全
体の処理時間の短縮化を可能とするパノラマ画像合成シ
ステムを提供する。【解決手段】ステップＳ４１でエッジ抽出画像を作成
し、ステップＳ４２でテンプレート画像を切り出し、ス
テップＳ４３でそのテンプレート画像に対するサーチ範
囲を設定する。サーチ範囲中の画像と、テンプレート画
像を重ね合わせ、画素単位で画素値の差の絶対値をとり
その合計を求める（ステップＳ４４）。この差分の合成
値が、それまでの最小値かどうかをチェックし（ステッ
プＳ４５）、そうであれば、そのサーチ範囲中のポイン
トの座標を保持する。以上をサーチ範囲全てに対して行
ったかチェックし、最小の差分を持つ点を見付け出す。
そして、対応点のリストにテンプレート画像を切り出し
たポイントの座標（ｘ，ｙ）と、最小値が求められたポ
イントの座標（ｘ，ｙ）を登録する（ステップＳ４
８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の一部がオー
バーラップしている複数の画像を、例えばコンピュータ
上で合成するパノラマ画像合成システムに関するもので
ある。

【０００２】

【従来の技術】ワイドな画像を撮影して１枚の画像にす
るという要求から、画像の一部がオーバーラップしてい
る複数の画像を合成するパノラマ画像合成と呼ばれる手
法が従来より一般的に知られている。

【０００３】電子カメラにおいては、銀塩カメラやスキ
ャナと比較した短所として、解像度の低さ（画像数の少
なさ）が指定されている。この電子カメラで撮影された
画像にとってパノラマ画像合成は、ワイドな画像を撮る
ということだけでなく、高解像度な画像を撮る手段とし
ても重要である。具体的には、１枚の紙の原稿や雑誌等
を複数に分けて撮影し、スキャナ並みの高解像度データ
を取得したり、また風景を複数に分割してワイドで高解
像度に撮影したりすることに威力を発揮する。

【０００４】パノラマ画像合成において、最も重要でか
つ難しいのは、複数の画像のオーバーラップ位置を見つ
ける処理である。これは言い換えると、複数の画像の中
から、同じ点（以降、対応点と呼ぶ）を捜し出す処理で
ある（以降、対応点抽出処理と呼ぶ）。そして、対応点
抽出処理の難しさ（エラーレート）は、各々の画像によ
って異なる。オーバーラップしている領域内に他の箇所
にはないユニークな特徴形状が多数あるときは、対応点
を間違えないで探すことができる。しかし、オーバーラ
ップ内の他の箇所にも、似たようなパターンが存在する
場合は（例えば原稿中の文字等）、対応点を間違える場
合も発生する。

【０００５】そこで、従来の例としては、対応点をユー
ザに明示的に指定してもらい、その位置を基に微調整を
して合成を行うというのが一般的である。図１５にその
従来例を示す。まず、ユーザが合成したい複数の画像を
指定すると、図１５のようなウィンドウが開く。２枚の
画像での対応するポイントをユーザが指定し、マーク２
１ａ，２１ｂ，２２ａ，２２ｂをつける。処理として
は、各々のマークの中心からごく近傍のパターンを調べ
て、最も両者が合致する位置関係を求め、対応点とす
る。そして、この対応点を元に合成のためのパラメータ
を求め、合成処理を行う。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来例においては、次のような問題点があった。

【０００７】（１）ユーザは対応点のポイントを２つの
画像に対してほぼ正確に指定しなければならず、そのた
めに両方の画像を注意深く見比べる必要がありユーザの
負担となっている。

【０００８】（２）画像の合成に必要な対応点の数は２
点であり、それ以下あるいはそれ以上指定することはで
きない。そのため、画像が水平方向及び垂直方向にのみ
ずれている場合は、１点を指定すればよいにも拘らずそ
れができない。

【０００９】（３）３点以上指定することで、より正確
に画像を合成することができるにも拘らずそれができな
い。

【００１０】（４）ユーザが対応点の指定を完全にし終
わってから合成処理が開始されるので、ユーザから見た
全体の処理時間が長い。

【００１１】本発明は上記従来の問題点に鑑み、ユーザ
の負担軽減、正確な画像合成、及び全体の処理時間の短
縮化を可能とするパノラマ画像合成システムを提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に第１の発明は、領域として一部がオーバーラップして
いる複数の画像の対応関係を指定する対応指定手段を有
し、該対応指定手段の指定結果に基づいて前記複数の画
像を合成して１枚のパノラマ画像を作成するパノラマ画
像合成システムにおいて、前記対応指定手段は、１つの
画像から部分的な画像を切り出し、その切り出し画像を
他の画像に重ねて置く画像重ね操作により複数の画像の
対応関係を指定するようにしたものである。

【００１３】第２の発明は、領域として一部がオーバー
ラップしている複数の画像の対応関係を指定する対応指
定手段を有し、該対応指定手段の指定結果に基づいて前
記複数の画像を表示画面上で合成して１枚のパノラマ画
像を作成するパノラマ画像合成システムにおいて、前記
対応指定手段は、１つの画像から部分的な画像を切り出
し、その切り出し画像を移動させて他の画像に重ねて置
く画像重ね操作により複数の画像の対応関係を指定する
指定手段と、前記指定手段により前記切り出し画像を他
の画像上で移動している間は、該切り出し画像と他の画
像との画素単位でビットごとにＡＮＤ演算を行って、重
なった箇所を前記表示画面上に表示する表示手段とを備
えたものである。

【００１４】第３の発明は、上記第１または第２の発明
において、前記切り出し画像は、画像上の一点を指定す
ることによりその点を中心とする一定の大きさで切り出
される矩形状の画像としたものである。

【００１５】第４の発明は、上記第１乃至第３の発明に
おいて、前記対応指定手段は、前記画像重ね操作が１回
しか行われない場合に、両方の画像の対応関係が水平方
向及び垂直方向にのみずれていると指定するものであ
る。

【００１６】第５の発明は、上記第１乃至第４の発明に
おいて、前記画像重ね操作が新たに行われたとき、その
画像重ね操作によって得られた複数の画像の対応関係に
関する指定情報に基づいて新たな画像の合成を開始し、
それまでに行っていた画像の合成を終了するようにした
ものである。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００１８】図１は、本発明の実施の一形態に係るパノ
ラマ画像合成システムの構成を示すブロック図、及び図
２は、本発明のパノラマ画像合成システムが実施される
プラットフォームであるパーソナルコンピュータシステ
ムの構成を示す外観図である。なお、本実施形態は、電
子カメラで撮影された複数の画像をパーソナルコンピュ
ータ上で合成して１枚のパノラマ画像を作成する場合を
示すものである。

【００１９】まず、図２に示すパーソナルコンピュータ
システムにおいて、１はコンピュータシステム本体、２
はデータを表示するディスプレイ、３は代表的なポイン
ティングデバイスであるマウス、４はマウスボタン、５
はキーボードである。さらに、コンピュータシステム本
体１には、汎用インターフェース６によって電子カメラ
７が接続されている。汎用インターフェース６は、双方
向パラレルインタフェースやＳＣＳＩインターフェース
等の、高速で画像転送可能な汎用インターフェースであ
る。

【００２０】次に、本実施形態のパノラマ画像合成シス
テムの構成を図１を用いて説明する。

【００２１】図１において、１１はハードウェア、１２
はハードウェア１１の上で動作するオペレーティングシ
ステム（ＯＳ）、１３はＯＳ１２の上で動作するアプリ
ケーションソフトウェアである。なお、ハードウェア１
１とＯＳ１２を構成するブロックのうち、構成要件とし
ては当然含まれるが本発明の実施形態を説明する上で直
接必要としないブロックに関しては図示していない。そ
のような図示していないブロックの例として、ハードウ
ェアではＣＰＵやメモリ等が、またＯＳではメモリ管理
システム等がある。

【００２２】また、１４はファイルやデータを物理的に
格納するハードディスク、１５はＯＳを構成するファイ
ルシステムであり、アプリケーションソフトウェアがハ
ードウェアを意識せずにファイルの入出力を行えるよう
にする機能がある。１６はファイルシステム１５がハー
ドディスク１４の読み書きを行うためのディスクＩＯイ
ンターフェースである。１７はＯＳを構成する描画管理
システムであり、アプリケーションソフトウェアを意識
せずに描画が行えるようにする機能がある。

【００２３】１８は描画管理システム１７がディスプレ
イ２に描画を行うためのビデオインターフェースであ
る。１９はＯＳを構成する入力デバイス管理システムで
あり、アプリケーションソフトウェアを意識せずにユー
ザの入力を受け取ることができるようにする機能があ
る。２０は入力デバイス管理システム１９がキーボード
５の入力を受け取るためのキーボードインターフェー
ス、２１は入力デバイス管理システム１９がマウス３か
らの入力を受けとることができるようにするためのマウ
スインターフェースである。さらに、電子カメラ７は、
双方向インターフェースもしくはＳＣＳＩインターフェ
ース２２に接続され、入力デバイス管理システム１９を
通して、画像データ等のやり取りを行うことができる。

【００２４】２３は画像データ管理システムであり、２
４は画像データを属性情報、もしくはユーザの入力によ
るキーワード等で管理するためのデータ管理手段であ
る。２５は管理されている画像データを、その属性情報
もしくはユーザの入力によるキーワード等で検索し表示
するデータ表示手段である。

【００２５】パノラマ画像作成システム２６は、画像デ
ータ管理システム２３からパノラマ撮影モードで撮影し
た画像を受け取り、パノラマ画像合成処理を行う。そし
て、合成した結果の画像を前記画像データ管理システム
２３へ登録する。

【００２６】図３は、カメラ内のメモリに格納される画
像データ及び属性情報のデータ構造を示す図である。

【００２７】まず、メモリ内には、画像Ｎｏ．１、画像
Ｎｏ．２〜画像Ｎｏ．ｎが格納された画像管理テーブル
３１が置かれ、対応する画像データと属性情報が参照さ
れる。ここでは、画像Ｎｏ．１と画像Ｎｏ．２に対応す
る画像データ３２−１，３２−２と属性情報３３−１，
３３−２のみを例にとって説明する。

【００２８】画像データ３２−１，３２−２は、カメラ
独自のフォーマットデータ（ネィティブデータ）か、Ｊ
ＰＥＧ等の汎用フォーマットデータのいずれかで格納さ
れている。ネィティブデータは、例えば、ＣＣＤからの
出力を単にＡ／Ｄして得られたデータ等である。一般的
に、ネィティブデータは記録に要する時間が短いがデー
タサイズが大きく、ＪＰＥＧデータの場合では、記録に
要する時間はかかるが、データサイズを小さくできると
いう点が異なる。

【００２９】ユーザは撮影状況に応じてこれらのどちら
かを選択して格納することになる。属性情報３３−１，
３３−２中には、ファイル名３４−１，３４−２、ファ
イルタイプ３５−１，３５−２、撮影日時３６−１，３
６−２、撮影モード３７−１，３７−２が記録されてい
る。ファイル名３４−１，３４−２は、メモリが自動的
に付けるユニークなファイル名である。ファイルタイプ
３５−１，３５−２は、ネィティブデータフォーマット
なのか、ＪＰＥＧフォーマットなのか、あるいはカメラ
がサポートする他の汎用フォーマットなのかを示す。

【００３０】撮影日時３６−１，３６−２は、カメラ内
部にはカレンダーとタイマーが設けられており、カメラ
のシャッタボタンが押された時点の日時と時間が記録さ
れる。撮影モード３７−１，３７−２は、カメラの有す
る数種類の撮影モードのうち、撮影時に選択されている
モードを示す。これが「パノラマ撮影モード」の場合
は、さらに識別子３８−１，３８−２が付加される。こ
の識別子３８−１，３８−２は、パノラマ撮影モードに
セットしたときに設定されるユニークな番号であるモー
ドＩＤ３９−１，３９−２と、そのモードでの何枚目か
を示す情報４０−１，４０−２とが格納される。よっ
て、パノラマ撮影モードにおいては、同じモードＩＤ３
９−１，３９−２を持つ複数の画像が１セットであると
いうことになる。図３の例では、風景を左右２枚の画像
として撮影しているので、モードＩＤ３９−１，３９−
２は同じものである。

【００３１】以上のようにして、カメラ内に画像データ
及び属性情報が格納される。

【００３２】図４は、カメラ内の画像データをパーソナ
ルコンピュータへコピーするときの画面を示す図であ
る。

【００３３】カメラ７を汎用インターフェース６を介し
てコンピュータ本体１に接続し、画像データ管理システ
ム２３を起動する。画像データ管理システム２３は、カ
メラ７内のデータを、カメラカタログと名前の付けられ
たウインドウ５１に表示する。５２は、画像データの縮
小画像（サムネール画像）、５３は属性情報中のファイ
ル名やファイルタイプ等である。属性情報のうちどこま
で表示するかは、ユーザ指定で変更することができる。
５４は、パーソナルコンピュータのハードディスク中に
存在し、ユーザの画像データベースの一部を表示するユ
ーザカタログである。

【００３４】ユーザは、カメラカタログ５１中から画像
を選択して（図中５５は選択されたことを表示する
枠）、ユーザカタログ５４にＤｒａｇ＆Ｄｒｏｐの操作
を行うとコピーが行われる。このとき、コピーなのか
（カメラ内にデータは残る）、移動なのか（カメラ内の
データは消去される）は、ユーザの指定でどちらにでも
切り替えられる。このコピー操作の最中に、（１）ネィ
ティブデータを、所定の汎用フォーマットに変換する、
（２）パノラマ撮影モードで撮影された画像があれば、
それらの合成を行う。

【００３５】以上の操作を自動的にその必要性を検知し
て実行する。図５にそのフローチャートを、また図６に
ユーザカタログ上でのデータ構造を示す。

【００３６】まず、図６において、画像データ管理シス
テム２３では、内部に格納している画像データについ
て、固有のＩＤ番号を付けて管理している。それがデー
タ管理テーブル６１である。これは、データＩＤ６２
と、それにリンクされている画像データ及び属性情報と
の対応がとられる。このデータＩＤ６２が管理の基本と
なる。

【００３７】画像データ管理システム２３では、ユーザ
が任意の個数のユーザカタログ５４を持つことができ
る。この一個のカタログごとにカタログテーブル６３を
持つ。また、カタログ内の画像データを、ユーザが複数
の画像を一つのグループとしてカテゴリー分けする機能
を有する。これにより、一つのカタログ内を階層化して
データを管理することができる。カタログテーブル６３
には、このカタログに属する画像のデータＩＤ７１と、
属するグループのグループＩＤ７２とが保持される。

【００３８】そして、グループＩＤ７２は、グループ属
性テーブル７３とリンクする。グループ属性テーブル７
３は基本的にカタログテーブルと同じであり、このグル
ープに属する画像のデータＩＤ７４、またはこのグルー
プに属するグループＩＤを持つ。違いは先頭にグループ
属性データ７５を持つところが異なる。これは、グルー
プ名７６、作成日時７７、及びグループタイプ７８が格
納される。

【００３９】グループ名７６は、ユーザが付けた任意の
名前が付く。パノラマ画像のセットとしてグループが作
られたときは、このグループ名７６はデフォルトで「パ
ノラマ画像」と付けられる。作成日時７７は、このグル
ープが作成されたときの日時が格納されている。グルー
プタイプ７８は、ユーザが作成した場合は「ユーザ作
成」、パノラマ画像のセットしてグループが作られたと
きは、「パノラマ撮影」と入っている。

【００４０】パノラマ画像のときは、さらに識別子とリ
ンクし、モードＩＤ３９−１が納められる。そして、実
際の画像データ及び属性情報は、図３のときと同じ構造
で格納され、これらは、データ管理テーブル６１から参
照される。

【００４１】次に図５のフローチャートに沿って説明を
行う。

【００４２】ステップＳ１１では、コピー操作の中で、
まず一個の画像データとそれに付随した属性情報を取得
し、ステップＳ１２では、属性情報内のファイルタイプ
３５−１から、この画像データがネィティブデータかど
うかを判断する。もしそうであれば、ステップＳ１３で
デフォルトとして決まっている汎用フォーマット（ＪＰ
ＥＧやＴＥＦＦ等）にネィティブデータを変換する。変
換が終わったらファイルタイプ３５−１も更新する。

【００４３】次にステップＳ１４では、撮影モード３７
−１を調べてパノラマ撮影モードで撮影された画像であ
るかをチェックする。パノラマ画像でない場合は、ステ
ップＳ１８で通常の画像データとして登録する。

【００４４】具体的には、図６で示したデータ管理テー
ブル６１に固有のデータＩＤを付けて登録し、そのデー
タＩＤをカタログテーブル６３に登録する。パノラマ画
像であるときは、このパノラマ画像用のグループが既に
作成済みかどうかをチェックする。これは、図６のカタ
ログテーブル６３を辿っていって、グループＩＤのモー
ドＩＤ３９−１が画像のモードＩＤ３９−１と同じか否
かを見ることによって行われる。対応するグループがな
いときは、グループを作成する。これは、カタログテー
ブル６３に新たにグループ７２を登録し、グループ名７
５、作成日時７６、及びグループタイプ７７を作成す
る。

【００４５】グループタイプ７７には、「パノラマ撮
影」と記録され、画像の属性情報中のモードＩＤ３９−
１が納められる。そして、ステップＳ１７で、このパノ
ラマ画像データに固有のデータＩＤを付けて、管理テー
ブル６１に登録し、そのデータＩＤをデータＩＤ７４と
して登録する。以上の一連の処理をコピーする画像全て
に対して行う（ステップＳ１０）。

【００４６】全ての画像に対して処理が終わったなら
ば、ステップＳ１９へ移る。ステップＳ１９では、今ま
でコピーしたものの中で、パノラマ画像のグループが作
られたかをチェックし、もしパノラマ画像のグループが
あれば、グループ内の画像を用いて後述するパノラマ画
像合成処理を行う（ステップＳ２０）。パノラマ画像の
グループがなければ、処理を終了する。

【００４７】図７は、パノラマ画像合成処理のユーザイ
ンターフェースを示す図である。

【００４８】画面には、パノラマ画像のグループ（前記
ステップＳ１９参照）に属する画像全てがウィンドウに
入る大きさにリサイズされて表示される。これを見てユ
ーザは２つの画像間で一致する箇所を探し、それを次の
ように指定する。

【００４９】まず、一方の画像（画像Ａとする）におけ
る当該箇所にマウス３を移動しそのマウス３のボタンを
押下する。すると、その押下された点を中心にある大き
さの画像が切り出される（Ａ−１）。次にユーザがマウ
ス３のボタンを押下したまま該マウス３を移動（ドラッ
グ）すると、それに伴って切り出された画像も移動す
る。ユーザはその切り出された画像をもう一方の画像
（画像Ｂとする）上の一致点に移動しそこに置く（Ｂ−
１）。切り出された画像が画像Ａあるいは画像Ｂ上を移
動している間は、両者の画像の画素単位でビットごと
に、ＡＮＤ演算をして重なった箇所を表示する。

【００５０】これによって重なった箇所は、両方の画像
が透けて見えるので、ユーザは切り出された画像を画像
Ｂ上の最も一致している箇所に配置することができる。
この一連の動作を２つの画像の組みに対して望ましくは
２回以上、少なくとも１回以上行う。多くの一致点が指
定されていれば合成の精度は高まる。指定された一致点
は次に説明する合成処理において用いられる。

【００５１】図８は、パノラマ画像合成処理の全体の処
理手順を示すフローチャートである。ここでは、例とし
て２枚の画像を合成する場合を述べるが、３枚以上の合
成も以下の動作の繰り返しによって行うことができる。

【００５２】まず、ステップＳ３１で、ユーザが指定し
た一致点（以下ではユーザ指定点と呼ぶ）の組を取得す
る。このユーザ指定点の組は、図９のように切り出され
た画像の中心点８１の座標とそれが置かれた画像の重な
り部分の中心点８２の座標上によって表され、ユーザが
指定した数だけユーザ指定点の組が存在する。ここで、
ユーザ指定点はリサイズされた大まかな画像上でユーザ
が指定した点であり、また操作の誤差も考えるので、完
全な対応点とはなっていない可能性がある。そこで、次
のステップＳ３２において、それを補正し正しい対応点
を抽出する。この詳細は後述する。

【００５３】そして、求まった対応点を用いて、合成の
際に用いる移動、拡大（縮小）、回転のパラメータをス
テップＳ３３で求め、さらにそれらを用いて画像の合成
をステップＳ３４で行う。これらの処理の詳細も後述す
る。

【００５４】図１０は対応点抽出処理のフローチャート
である。また図１１は対応点抽出処理を説明するための
図であり、左と右の画像２枚の例を示している。画像の
枚数が２枚より大きいときは、２枚の合成を何回か繰り
返せばよいので処理としては基本的に同じである。ここ
では、ユーザは左画像９１から部分画像を切り出し右画
像９２へドラッグしたとし、左画像９１におけるユーザ
指定点を９３、右画像９２におけるユーザ指定点を９４
とする。

【００５５】まず、ユーザ指定点９４を中心に、縦ｍ画
素、横ｎ画素の大きさを持つ領域９５を、ユーザ指定点
９３に対する真の対応点が存在すると考えられるサーチ
範囲として設定する。この領域の大きさは、ユーザがリ
サイズされた画像を用いてユーザ指定点を指定している
ことによる誤差、あるいはユーザがマウス３を操作する
際の誤差を考慮し決定されている。実際にはそれほど大
きな領域を取る必要はなく、縦横とも数画素程度であ
る。

【００５６】次いで、ユーザ指定点９３を中心に縦横ｐ
画素の矩形をテンプレート画像として切り出し、このテ
ンプレート画像を前記のサーチ範囲９５上において、画
素単位でその差分をとる。この合計が最小となる点を、
サーチ範囲上を１画素ずつずらして求める。この点がユ
ーザ指定点９３に対する対応点となる。

【００５７】以上が対応点抽出処理の概要となるが、こ
れを図１０のフローチャートに沿ってもう一度説明す
る。

【００５８】まず、ステップＳ４１でエッジ抽出画像を
作成する。そして、ステップＳ４２で、前述したテンプ
レート画像を切り出し、ステップＳ４３でそのテンプレ
ート画像に対するサーチ範囲（前述）を設定する。そし
て、サーチ範囲中の画像と、テンプレート画像とを重ね
合わせ、画素単位で画素値の差の絶対値をとりその合計
を求める（ステップＳ４４）。この差分の合成値が、そ
れまでの最小値かどうかをチェックし（ステップＳ４
５）、そうであればステップＳ４６で、そのサーチ範囲
中のポイントの座標を保持する。

【００５９】以上をサーチ範囲全てに対して行ったかチ
ェックし（ステップＳ４７）、最も一致する（最小の差
分を持つ）点を見付け出す。そして、対応点のリストに
テンプレート画像を切り出したポイントの座標（ｘ，
ｙ）と、最小値が求められたポイントの座標（ｘ，ｙ）
を登録する（ステップＳ４８）。

【００６０】以上をユーザ指定点全部に対して行い（ス
テップＳ４９）、対応点抽出処理を終了する。

【００６１】次に、合成パラメータ設定処理について説
明する。ここでは例として、画像が２枚の場合について
説明する（２枚以上の合成の場合も、２枚の合成の繰り
返しである）。まず、ユーザ指定点が１組指定された場
合について説明する。この場合、２枚の画像がｘ軸方向
及びｙ軸方法にずれていると考えられる。すると、２つ
の画像での対応する点（ｘ，ｙ）、（ｘ’，ｙ’）の関
係は次のように表せる。

【００６２】

【数１】ここで、Δｘ及びΔｙは、それぞれｘ及びｙ方向の並進
量である。この並進量は、先の対応点抽出処理によって
求めた対応点の座標を（ｘ，ｙ）、（ｘ’，ｙ’）に代
入することにより次の式で求めることができる。

【００６３】

【数２】このようにして求めたΔｘ及びΔｙを用いることで２つ
の画像の座標変換を行うことができる。

【００６４】次に、ユーザ指定点が２つ以上指定された
場合について説明する。

【００６５】この場合、２つの画像のずれは、ｘ，ｙ方
向の並進、回転及び拡大率の差で表すことができる。よ
って、対応する点（ｘ，ｙ）、（ｘ’，ｙ’）は次のよ
うに表せる。

【００６６】

【数３】ここで、θは回転角、Δｘ及びΔｙは並進、ｍは倍率を
示す。よって、パラメータＡ，Ｂ，Ｃ，Ｄを求めること
により、この座標変換を表すことができる。先の対応点
抽出処理では、対応点（ｘ，ｙ）、（ｘ’，ｙ’）の複
数の組を取得した。これを最小自乗法を用いてパラメー
タＡ，Ｂ，Ｃ，Ｄを求める。

【００６７】

【数４】の条件で、

【００６８】

【数５】を満たすパラメータＡ，Ｂ，Ｃ，Ｄを求める。

【００６９】ここで、

【００７０】

【数６】とすると、パラメータＡ，Ｂ，Ｃ，Ｄは次のように表す
ことができる。

【００７１】

【数７】このパラメータＰ１からＰ８を求め、上式に代入するこ
とにより、パラメータＡ，Ｂ，Ｃ，Ｄを算出する。ここ
で、ユーザ指定点が多く指定されていれば最小二乗法の
計算における誤差が小さくなり結果的に画像の合成の精
度・品位が向上する。

【００７２】最後に、画像合成処理について説明する。

【００７３】まず、ユーザ指定点が１つ指定された場
合、ｘ方向及びｙ方向への並進パラメータΔｘ，Δｙは
求まっているので、次の式によって座標変換すればよ
い。

【００７４】ｘ＝ｘ−Δｘｙ＝ｙ−Δｙまた、ユーザ指定点が２つ以上指定された場合、パラメ
ータＡ，Ｂ，Ｃ，Ｄは既に求められているので、次式ｘ＝Ａｘ＋Ｂｙ＋Ｃｙ＝−Ｂｘ＋Ａｙ＋Ｄに代入すればよい。図１２は、この画像合成処理を説明
するための図である。

【００７５】図１２において、画像が左及び右画像１０
１，１０２の場合、左画像１０１の２倍の大きさを合成
画像１０３として確保する。ここに、まず、左画像１０
１をそのままコピーしてくる。次に、合成画像１０３の
残りの領域（ｘ，ｙ）について、上式から、対応する
（ｘ’，ｙ’）を求める。そして、右画像の（ｘ’，
ｙ’）の画素を（ｘ，ｙ）にコピーする。これを合成画
像の残りの領域全てに対して行う。

【００７６】図１３は、上記画像合成処理を示すフロー
チャートである。

【００７７】ステップＳ５１では、第１の画像（図１２
での左画像１０１）の２倍の領域を合成画像領域とて確
保し、ステップＳ５２では、第１の画像をこの合成画像
領域に単純にコピーする。ステップＳ５３では、合成画
像の残りの領域（ｘ，ｙ）にいて、上式から、対応する
（ｘ’，ｙ’）を求める。ステップＳ５４では、
（ｘ’，ｙ’）が第２の画像（図１２の右画像１０２）
内にあるかどうかをチェックし、あれば、ステップＳ５
５で（ｘ’，ｙ’）の画素を（ｘ，ｙ）にコピーする。

【００７８】以上を合成画像の残りの領域全てに対して
繰り返し（ステップＳ５６）、処理は終了する。

【００７９】以上で、最終的なパノラマ合成画像を作成
することができる。

【００８０】本実施形態では、図８に示すように、ユー
ザの指定点を全て指定し終わってから（ステップＳ３
１）、対応点抽出処理（ステップＳ３２）と、合成パラ
メータ設定処理（ステップＳ３３）と、画像合成処理
（ステップＳ３４）とを開始しているが、これを図１４
に示すようにユーザ指定点が１つ指定される度に（ステ
ップＳ６１，６２）、対応点抽出処理（ステップＳ６
３）と、合成パラメータ設定処理（ステップＳ６４）
と、画像合成処理（ステップＳ６５）とを順次開始する
ことも可能である。

【００８１】すなわち、全てのユーザ指定点が指定され
る前に画像合成を開始するのである。この場合、合成パ
ラメータ設定処理または画像構成処理が行われている最
中に新たなユーザ指定点が指定されたらその処理を終了
させ、新たなユーザ指定点に対する対応点抽出処理を行
い、その対応点を含めた合成パラメータ設定処理及び画
像合成処理を行う。但し、各ユーザ指定点に対する対応
点抽出処理は、必ず行い途中で終了することがないよう
にする。このように、ある時点で指定されているユーザ
指定点を基に前もって画像の合成を開始しておくことに
より、全体の処理時間の短縮が図れる。

【００８２】上記したように本実施形態では、次のよう
な利点を有している。

【００８３】（１）１つの画像から部分的な画像を切り
出し、その切り出し画像を他の画像に重ねて置く画像重
ね操作により複数の画像の対応関係を指定するようにし
たので、ユーザは重ねる作業を行っている箇所のみを注
視して対応点を指定することができ、従来のように２枚
の画像を見比べて対応点を指定する必要はなくなり、ユ
ーザの負担を減らすことができる。

【００８４】（２）画像重ね操作により複数の画像の対
応関係を指定し、切り出し画像を他の画像上で移動して
いる最中には背景の画像が透けて見え、また切り出され
た画像を重ねる際にも背景の画像が透けて見えるように
したので、ユーザは切り出した画像を他の画像に重ねる
際に両方を同時に透かして見ることができるため、両者
の差異を明確に知ることができ、ユーザの負担が軽減し
またより正確に対応点を指定することができる。

【００８５】（３）切り出し画像は、画像上の一点を指
定することによりその点を中心とする一定の大きさで切
り出される矩形状の画像であるので、ユーザはわざわざ
矩形領域を指定しないで画像の切り出しを行うことがで
き、対応点を指定するための操作の負担を軽減すること
ができる。

【００８６】（４）画像重ね操作が１回しか行われない
場合に、両方の画像の対応関係が水平方向及び垂直方向
にしかずれていないとして画像を合成するようにしたの
で、水平方向及び垂直方向にしかずれていない画像に対
しては、１回の操作で合成を行うことができる。

【００８７】（５）画像重ね操作が終わった段階で、画
像の合成処理を開始し、さらに新たな部分画像が切り出
されて重ねられたら、その情報を基に新たな合成処理を
開始してそれまで行っていた合成処理は終了するように
したので、ユーザからみた処理時間の短縮が図れる。

【００８８】（６）画像重ね操作を１組の画像に対して
３回以上行えるようにしたので、ユーザは対応点の数を
３つ以上指定することができ、対応点の数を増やすこと
により、より精度の高い合成を行うことができる。

【００８９】

【発明の効果】以上詳述したように、第１の発明によれ
ば、１つの画像から部分的な画像を切り出し、その切り
出し画像を他の画像に重ねて置く画像重ね操作により複
数の画像の対応関係を指定するようにしたので、ユーザ
は重ねる作業を行っている箇所のみを注視して対応点を
指定することができ、従来のように２枚の画像を見比べ
て対応点を指定する必要はなくなり、ユーザの負担を減
らすことが可能となる。

【００９０】第２の発明によれば、１つの画像から部分
的な画像を切り出し、その切り出し画像を移動させて他
の画像に重ねて置く画像重ね操作により複数の画像の対
応関係を指定する指定手段と、該指定手段により前記切
り出し画像を他の画像上で移動している間は、該切り出
し画像と他の画像との画素単位でビットごとにＡＮＤ演
算を行って、重なった箇所を表示画面上に表示する表示
手段とを備えたので、ユーザは切り出した画像を他の画
像に重ねる際に両方を同時に透かして見ることができ
る。これにより、両者の差異を明確に知ることができ、
ユーザの負担を軽減しまたより正確に対応点を指定する
ことが可能となる。

【００９１】第３の発明によれば、上記第１または第２
の発明において、前記切り出し画像は、画像上の一点を
指定することによりその点を中心とする一定の大きさで
切り出される矩形状の画像としたので、ユーザはわざわ
ざ矩形領域を指定しないで画像の切り出しを行うことが
でき、対応点を指定するための操作の負担を軽減するこ
とが可能となる。

【００９２】第４の発明によれば、上記第１乃至第３の
発明において、前記画像重ね操作が１回しか行われない
場合に、両方の画像の対応関係が水平方向及び垂直方向
にのみずれていると指定するようにしたので、水平方向
及び垂直方向にしかずれていない画像に対しては、１回
の操作で合成を行うことが可能となる。

【００９３】第５の発明によれば、上記第１乃至第４の
発明において、前記画像重ね操作が新たに行われたと
き、その画像重ね操作によって得られた複数の画像の対
応関係に関する指定情報に基づいて新たな画像の合成を
開始し、それまでに行っていた画像の合成を終了するよ
うにしたので、ユーザからみた処理時間の短縮を図るこ
とができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係るパノラマ画像合成
システムの構成を示すブロック図である。

【図２】本発明のパノラマ画像合成システムが実施され
るプラットフォームであるパーソナルコンピュータシス
テムの構成を示す外観図である。

【図３】カメラ内のメモリに格納される画像データ及び
属性情報のデータ構造を示す図である。

【図４】カメラ内の画像データをパーソナルコンピュー
タへコピーするときの画面を示す図である。

【図５】カメラ内の画像データをパーソナルコンピュー
タへコピーする際の処理を示すフローチャートである。

【図６】ユーザカタログ上でのデータ構造を示す図であ
る。

【図７】パノラマ画像合成処理のユーザインターフェー
スを示す図である。

【図８】パノラマ画像合成処理の全体の処理手順を示す
フローチャートである。

【図９】ユーザ指定点を示す図である。

【図１０】対応点抽出処理のフローチャートである。

【図１１】対応点抽出処理を説明するための図である。

【図１２】画像合成処理を説明するための図である。

【図１３】画像合成処理を示すフローチャートである。

【図１４】パノラマ画像合成処理の他の全体処理手順を
示すフローチャートである。

【図１５】従来例における対応点を指定するユーザイン
ターフェースを示す図である。

【符号の説明】１コンピュータシステム本体２ディスプレイ３マウス４マウスボタン５キーボード６汎用インターフェース７電子カメラ１１ハードウェア１２ＯＳ１３アプリケーションソフトウェア１４ハードディスク１５ファイルシステム１６ディスクＩＯインターフェース１７描画管理システム１８ビデオインターフェース１９入力デバイス管理システム２０キーボードインターフェース２１マウスインターフェース２２双方向インターフェース／ＳＣＳＩインターフェ
ース２３画像データ管理システム２４データ管理手段２５データ表示手段２６パノラマ画像作成システム

───────────────────────────────────────────────────── フロントページの続き (72)発明者片山達嗣東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】領域として一部がオーバーラップしてい
る複数の画像の対応関係を指定する対応指定手段を有
し、該対応指定手段の指定結果に基づいて前記複数の画
像を合成して１枚のパノラマ画像を作成するパノラマ画
像合成システムにおいて、前記対応指定手段は、１つの画像から部分的な画像を切り出し、その切り出し
画像を他の画像に重ねて置く画像重ね操作により複数の
画像の対応関係を指定するようにしたことを特徴とする
パノラマ画像合成システム。
【請求項２】領域として一部がオーバーラップしてい
る複数の画像の対応関係を指定する対応指定手段を有
し、該対応指定手段の指定結果に基づいて前記複数の画
像を表示画面上で合成して１枚のパノラマ画像を作成す
るパノラマ画像合成システムにおいて、前記対応指定手段は、１つの画像から部分的な画像を切り出し、その切り出し
画像を移動させて他の画像に重ねて置く画像重ね操作に
より複数の画像の対応関係を指定する指定手段と、前記指定手段により前記切り出し画像を他の画像上で移
動している間は、該切り出し画像と他の画像との画素単
位でビットごとにＡＮＤ演算を行って、重なった箇所を
前記表示画面上に表示する表示手段とを備えたことを特
徴とするパノラマ画像合成システム。
【請求項３】前記切り出し画像は、画像上の一点を指定することによりその点を中心とする
一定の大きさで切り出される矩形状の画像であることを
特徴とする請求項１または請求項２記載のパノラマ画像
合成システム。
【請求項４】前記対応指定手段は、前記画像重ね操作
が１回しか行われない場合に、両方の画像の対応関係が
水平方向及び垂直方向にのみずれていると指定すること
を特徴とする請求項１乃至請求項３記載のパノラマ画像
合成システム。
【請求項５】前記画像重ね操作が新たに行われたと
き、その画像重ね操作によって得られた複数の画像の対
応関係に関する指定情報に基づいて新たな画像の合成を
開始し、それまでに行っていた画像の合成を終了するよ
うにしたことを特徴とする請求項１乃至請求項４記載の
パノラマ画像合成システム。