JP2000244814A - 画像合成装置、画像合成方法が記録された記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明の目的は、動画からのパノラマ画像や
高解像画像の合成において、次々と入力される大量の枚
数のフレーム画像を遅延なくリアルタイムに処理し記録
しながら、さらに、合成処理の進行状況や結果を示すイ
ンジケータ表示をも同時実行可能にすることにある。 【解決手段】 上記の目的を達成するため、撮影中の動
画を表示する表示手段と、前記動画から順次フレーム画
像を取り込み、取り込み時刻の異なる２枚のフレーム画
像を比較して移動量を求める手段と、前記２枚のフレー
ム画像の差分画像及び前記移動量とを記録する手段と、
記憶された移動量と取り込まれたフレーム画像とから合
成された合成画像を象徴するインジケータ情報を作成す
る手段と、前記差分画像と前記移動量を用いてパノラマ
画像を合成する手段とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、広視野角のパノラ
マ画像を合成する合成装置及び合成方法が記録された記
録媒体に係り、特に連続する動画像からリアルタイムに
パノラマ画像を合成する画像合成装置、及び該合成方法
画記録された記録媒体に関する。

【０００２】

【従来の技術】異なる視野を撮影した複数の画像を合成
して、１枚の広視野のパノラマ画像を作る技術が注目さ
れている。最近では、特に、ビデオカメラをパンして視
野を変えながら撮影した連続動画像から同様にしてパノ
ラマ画像を作成する、Video Mosaicと呼ばれる技術に関
心が集まっている。例えば、米国マサチューセッツ工科
大学のTeodosio、 L。、 Bender、 W。らによる Salien
t Video Stills: Content and Context Preserved、 Pr
oc。 ACM Multimedia 93、 pp。39-46 (1993)などが知
られている。この他にも様々な研究例が存在するが、い
ずれの手法も、連続して得られた複数枚の画像につい
て、その共通領域を見つけ、ちょうど共通領域が重なる
ように、画像を貼り合わせることでパノラマ画像を得て
いる。カメラを動かすに伴って、撮影画像には新しい視
野の画像が入ってくるので、それらが繋ぎ合わされて、
最終的に広視野のパノラマ画像が得られる。

【０００３】しかしながら、多くの研究例では、このよ
うな共通領域をいかに精度良く見つけるかや、レンズの
歪みによる画像周辺部のずれをいかに補正するか、な
ど、合成画像の精度を高めることが重視され、このよう
なパノラマ合成技術を実際に用いる操作者のユーザビリ
ティの観点からの検討が十分とは言い難い。一般に、対
象となる映像の種類を特定できない自然映像について画
像認識を行うには、様々な局面で、人間が介在し、適切
な判断を与える必要がある。この場合、処理の高速応答
性が、操作者の使い勝手を大きく左右する。用途によっ
ては、画像として破綻なく接続されてさえいれば、むし
ろ入力映像をリアルタイム、即ち、映像の入力に対して
遅延なく処理でき、その結果が直ちに確認できる、ユー
ザビリティに優れた手法のほうが望ましい場合も少なく
ない。

【０００４】

【発明が解決しようとする課題】パノラマ画像の作成に
おいては、２種類の処理が行われる必要がある。一つ
は、連続する入力画像を認識して、共通領域の座標を決
定する、カメラ動き量の推定処理である。もう一つは、
得られた動き量から、実際に画像を繋ぎ合わせる合成処
理である。ユーザビリティの観点からは、これらが同時
に、しかもリアルタイムで行われることが最も望まし
い。すなわち、カメラを振ると同時に、その振った量が
計算されて自動的に画像が繋ぎ合わされ、撮り終わった
ときには合成画像がすでに出来ていて確認できることが
理想である。これによって、気に入った画像が得られる
まで何度でも気軽にやり直しができ、情報が欠落してい
るなどの本質的に合成が不可能な映像の撮り方をして
も、その場でミスがわかり、撮り方からの根本的な修正
ができる。

【０００５】カメラを振ると同時に、その振った量が計
算されて自動的に画像が繋ぎ合わされ、撮り終わったと
きには合成画像がすでに出来ていて確認できるようにす
る場合、これら２種類の推定処理、合成処理のいずれも
リアルタイムに処理を行う必要がある。カメラ動き量の
推定処理に関しては、例えば、発明者らによる特開平１
１−００４３９８「デジタルワイドカメラ」で示した高
速処理方式などがある。しかしながら、合成処理につい
ては、リアルタイムに同時に実行できるレベルにまで十
分に検討されているとはいえない。単に、動き量を撮影
と同時にリアルタイムで計算できるだけでは、撮影後
に、動き量の計算分は短くなるものの、画像どうしの貼
り合わせ処理の時間を待たねば、合成結果を確認するこ
とはできず、ユーザビリティの面で不十分である。

【０００６】本発明の目的は、連続する動画像からパノ
ラマ画像を合成する方法において、操作者のユーザビリ
ティを向上させるため、合成結果をリアルタイムで確認
できる、合成処理の高速応答性を実現することにある。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
め、撮影中の動画を表示する表示手段と、前記動画から
順次フレーム画像を取り込み、取り込み時刻の異なる２
枚のフレーム画像を比較して移動量を求める手段と、前
記２枚のフレーム画像の差分画像及び前記移動量とを記
録する手段と、記憶された移動量と取り込まれたフレー
ム画像とから合成された合成画像を象徴するインジケー
タ情報を作成する手段と、前記差分画像と前記移動量を
用いてパノラマ画像を合成する手段とを設ける。

【０００８】

【発明の実施の形態】以下、本発明の一実施例を詳細に
説明する。図１は、本発明を実現するためのシステム構
成の概略ブロック図の一例である。１００は一般的なビ
デオカメラ撮像部であり、撮影した映像を映像信号線10
6を介して演算処理装置116に送信する。カメラ部は、制
御信号線108によって演算処理装置116と接続され、116
は必要に応じてビデオカメラのズーム倍率を変更した
り、ホワイトバランスを調整したり、といったカメラパ
ラメータの設定ができるようになっている。このような
設定が不要な場合は、省略可能である。演算処理装置11
6は、現在汎用的に用いられているデジタルコンピュー
タ、特にパソコンのシステム構成と同じであり、そのデ
ィスプレイ出力は映像信号線を通じてディスプレイ112
の画面上に描画され、入力デバイス120でユーザから受
けた指示は、演算処理装置116に通知される。カメラ部
１００から出力される映像信号は、逐次、102のＡ／Ｄ
変換器によってデジタル画像データに変換され、インタ
フェース104を介してメモリ114に入り、メモリ114の別
の番地に格納されたプログラムに従って、ＣＰＵ110に
よって処理される。

【０００９】ここでは、ビデオカメラからの信号がNTSC
等のアナログビデオ形式の場合の例で説明しているが、
デジタル出力のビデオカメラを利用する場合には、102
のＡ／Ｄ変換器は不要である。この場合、替わりに画像
形式の変換器が必要になる場合もある。また、処理の必
要に応じて、各種情報を118の外部情報記憶装置に蓄積
することができる。

【００１０】メモリ114には、以下に説明する処理によ
って作成される各種のデータが格納され、CPU110が処理
を行う際に、必要に応じて参照される。以下の説明で
は、すべてCPUが実行するソフトウェアとして説明する
が、その一部または全部をハードウェア論理回路で置き
換えて実行させても構わない。また、カメラ部100、演
算処理装置116、ディスプレイ112を一体化したインテリ
ジェントなビデオカメラ形態であっても構わない。

【００１１】以下では、上記ハードウェア上で実行され
る、先述の課題を解決するソフトウェアフローについて
詳細に説明する。まず最初に、上記ソフトウェアを用い
た、パノラマ画像の作成方法について説明する。ユーザ
は、最初にリアルタイムでパノラマ合成が行われる状態
（以下では、パノラマ撮影モードと呼ぶ）に移行するこ
とを、入力デバイス１２０によって演算処理装置１１６
に伝える。入力デバイスは、コンピュータシステムを利
用する場合には、キーボードやマウスなどにあたり、カ
メラ一体型形態をとる場合には、「パノラマ撮影開始ボ
タン」などのスイッチが相当する。演算処理装置１１６
は、パノラマ撮影モードに入ると、ビデオカメラから出
力される映像信号を毎フレーム入力し、入力されたフレ
ーム画像のカメラ動き量を求め、パノラマ合成に必要な
パラメータとデータを収集する。このとき、ディスプレ
イ１１２には、その全体、もしくは一部の領域が、合成
状況を確認するためのプレビュー画面として設定され、
カメラの動きに合わせて繋ぎ合わされていく合成画像の
様子をリアルタイムで更新表示する。

【００１２】図１のディスプレイ１１２内に、そのイメ
ージを示す。本発明では、プレビュー表示用の合成画像
１２２（以下、プレビュー画像と呼ぶ）は、プレビュー
画面内で、その全体がおさまる最大の大きさになるよう
に常にスケーリングされて表示されることを特徴とす
る。これによって、全体の合成状態を、瞬時に把握可能
にする。このとき、プレビュー画面が矩形の場合には、
合成画像の形状によって、画像の存在しない空白部分１
２４が存在するが、これは適当な背景色で埋めておく。
合成画像中における最新の入力フレームの位置は、枠で
囲んだり、色を変えたりして強調表示することで、カメ
ラを動かすべき方向を迷わせない羅針盤の役割も持たせ
る（１２６）。

【００１３】ユーザが、再び入力デバイス１２０によっ
て、パノラマ撮影モードの終了を指示すると、新規のフ
レーム画像入力を中止し、待機状態になる。ディスプレ
イ１１２には、最後のフレーム入力によって更新された
プレビュー画像が保持され、ユーザはその画像を見て所
望の結果が得られているか判断し、良ければ、プレビュ
ー用ではない実サイズの最終的な出力としての合成画像
（以下、最終出力合成画像と呼ぶ）を作成し、外部情報
記録装置１１８などに保存する。

【００１４】図２に、上記機能を実現するフローチャー
トの一例を示す。このアルゴリズムは、上記機能に必須
の高速処理を可能にするため、次の３点を基本コンセプ
トとしている。

【００１５】(1) 最終出力合成画像とは別に、プレビュ
ー専用に縮小サイズの合成画像を作成する。

【００１６】(2) 最終合成画像用に記憶する画像は、最
低限必要な領域のみとする。

【００１７】(3) 任意形状・任意サイズのプレビュー画
像の作成と、メモリ効率とを両立させる。

【００１８】(1)は合成処理にかかる時間を減らすため
の工夫である。一般に、作成された画像が所望のものか
どうかを判断する目的では、必ずしも大きなサイズの画
像である必要はない。そこで、撮影時には、最終出力合
成画像は作成せず、プレビュー用として別個に縮小サイ
ズの合成画像を作成する。これによって、撮影とほぼ同
時にプレービュー画像が完成するようにする。このプレ
ビュー画像は、得られたカメラ動き推定量に基づいて合
成が行われるので、実際の合成結果に極めて近く、歪み
やミスなどもそのまま反映される。ユーザは、このプレ
ビューによって所望の画像が得られたか否かを判断し、
良しと確認されたら、改めて実際の大きさの最終出力合
成画像を作成する。失敗と判断した場合には、直ちにや
り直すことができ、実サイズの合成の時間を省けるの
で、効率的な作業ができる。

【００１９】(2)は、最終出力合成画像のための元デー
タの記録時間を削減するための工夫である。(1)を採用
して最終出力合成画像の作成を後で行うようにした場
合、その元データであるレーム画像を一時的に記録して
おく必要がある。次々と入力される新しいフレーム画像
を次々に記録していくことは、データ転送時間が長くか
かったり、必要なメモリ容量が肥大化したりと、高速処
理の阻害要因となる。

【００２０】ここで、図３に示すように、パノラマ合成
画像は、連続するフレーム画像の１枚１枚を重ね合わせ
て得られる。図３は、一連のパン映像からパノラマ画像
を作成する例であり、上側が連続するフレーム画像から
なる映像を模式的に表し、下側がそれから合成されるパ
ノラマ画像を示している。上下を結び付ける複数の線
は、フレーム画像どうしの対応関係を表している。下側
のパノラマ画像では、連続するフレーム間で常に画像的
に一致する領域（以下、共通領域と呼ぶ）が存在し、デ
ータとして冗長性が極めて高くなっている。そこで、こ
の連続フレーム間の共通領域を省いた部分の領域だけを
組み合わせることで、十分にパノラマ画像が再現でき
る。従って、1フレームにつき、この共通領域を省いた
領域だけを記録するようにすれば、１フレームあたりの
記録すべきデータ量は大幅に削減され、データ転送時間
は短縮され、必要なメモリ容量も少なくなる。最後のフ
レームの重ねあわせだけには画像全体が必要になるが、
唯一その1回のみであり、また、最後であるから、デー
タ転送に時間が多少多くかかっても、次のフレームが存
在しないため、次フレームのための処理に間に合わない
という問題も発生しない。

【００２１】最後の(3)についてであるが、プレビュー
画像は、撮影終了と同時に得られるだけでなく、さらに
撮影中からカメラの動きに即応してリアルタイムに、即
ちカメラの動きに同期して更新されるほうが、ユーザに
とって確認が容易であり、使い勝手がよい。しかし、合
成されるパノラマ画像は、カメラを動かすにしたがって
単調に大きくなり、また、カメラの動かし方によって、
その形状や大きさは様々になる。プレビュー画像を表示
するためには、プレビュー用に合成されるパノラマ画像
が常にメモリ領域上で作成されていなければならない
が、可能性のあるすべての形状や大きさのプレビュー画
像をメモリ領域上に作成するためには、メモリ領域を予
め極めて大きくとっておかなければならない。

【００２２】(1)の指針により、縮小フレーム画像を用
いるとしても、必要なメモリ領域の容量は巨大である。
しかも、実際には利用されないメモリ部分も多く、メモ
リの使用効率が非常は低くなってしまう。もちろん、最
初にカメラを動かす方向を決定して、それに必要な分だ
けメモリ領域を確保することはできる。しかし、この方
法では、ユーザが予めカメラを動かす方向を指示しなく
てはならない煩雑さが生じ、ましてユーザが途中で気が
変わっても全く対応できない。また、最終的にどれだけ
の大きさの画像になるか、ユーザが予測できない場合も
多い。無制限のサイズ・無制限の形状の合成画像に対応
することが望まれる。

【００２３】ここで、モニタにプレビュー画像を表示す
るためのプレビュー画面の大きさは固定であり、プレビ
ュー画像の大きさが固定の大きさのプレビュー画面より
大きくなった場合、その画面サイズに合うように縮小ス
ケーリングされて表示されるようにする。逆にいえば、
プレビュー画面の解像度を超える画素数は、プレビュー
画像を表示する際には無駄になる。

【００２４】そこで、プレビュー画像の大きさが、プレ
ビュー画面の大きさのｎ倍（縦もしくは横の長さとして
の比率。面積的にはｎ×ｎ倍）を超えた時点で、プレビ
ュー画像の大きさを強制的に1/ｍ倍（同じく面積的には
1/(ｍ×ｍ)倍）に縮小する。そしてまた、縮小したプレ
ビュー画像の大きさが再びプレビュー画面のｎ倍を超え
たときには、プレビュー画像の1/ｍ倍縮小を行うという
ように繰り返す。これにより、プレビュー画像用のメモ
リ領域サイズを、プレビュー画面のサイズのｎ倍以下に
制限でき、かつ、プレビュー画面に表示されるプレビュ
ー画像は、それ以上のメモリ領域を持っている場合と比
べて解像度の劣化がないという効果が得られる。

【００２５】以上のことを踏まえて、図２のフローチャ
ートの説明に戻る。まず各種の初期化を処理２００で行
う。例えば、プレビュー画像作成用のワーキングバッフ
ァとして、プレビュー画面の大きさを縦横それぞれｎ倍
にした大きさのメモリ領域（以下、プレビューバッファ
と呼ぶ）を確保する。プレビュー画像は、このプレビュ
ーバッファの中で合成される。プレビューバッファに
は、プレビュー表示領域と呼ばれる領域が設定され、こ
の領域が、ちょうどプレビュー画面の大きさいっぱいに
なるように常にスケーリング、即ち、拡大・縮小され
て、プレビュー画面の表示となる。

【００２６】最初は、バッファ中央部の、プレビュー画
面と同じ大きさの領域が、プレビュー表示領域として設
定され、プレビューバッファ上でプレビュー画像が大き
くなるにしたがって、常にプレビュー画像全体が含まれ
るように、順次プレビュー表示領域を拡大する。次い
で、プレビュー画像作成用の変数である、プレビュー縮
小率ｒの初期値を計算する（２０２）。ｒは、カメラか
ら入力されるフレーム画像の大きさと、プレビュー画面
の大きさとの比率であり、カメラの動きがない初期状態
において、入力フレーム画像が、プレビュー画面いっぱ
いに表示されるように調整するパラメータである。例え
ば、入力フレーム画像の大きさとプレビュー画面の大き
さを同じにした場合には、r=1。0となる。

【００２７】続く処理２０４では、ビデオカメラで撮影
された映像の最新の１コマのフレーム画像を入力する。
そして、次々と入力されるフレーム画像間で比較を行い
ながら画像の移動量検出処理を行う。この移動量検出に
は、オプティカルフロー等の様々な方法が考えられてい
るが、ここでは高速に計算可能な方式として、例えば、
特願平9-153303の「デジタルワイドカメラ」に記載され
た方式を利用する。この方式は、画像の投影分布から移
動量を求めるために非常に高速処理を可能とする。

【００２８】処理２０６では、このフレーム画像から水
平投影分布Px、垂直投影分布Pyを作成する。水平投影分
布とは、画像を構成する画素の各行について、その色や
輝度の平均値をとったもので、行数分だけの平均値の一
次元系列である。垂直投影分布は、画像の各列につい
て、同様に色や輝度の平均値をとったもので、列数分だ
けの平均値の一次元系列である。例えば、垂直投影分布
の値の並びは、画像が左右に移動すると、それに対応し
て順方向もしくは逆方向にシフトする性質がある。同様
に垂直投影分布は、画像の上下動に対応して順逆方向に
シフトする。したがって、あるフレーム画像から作成し
た水平／垂直投影分布と、次に入力されたフレーム画像
から作成した水平／垂直投影分布とを比較し、その平均
値の系列がそれぞれどれだけシフトしたかを求めれば、
２枚の画像の間の水平／垂直方向の移動量が求まること
になる。画像変化なので、ノイズや若干の変形等により
投影分布の値の並びは完全に一致するわけではないが、
比較する２つの投影分布の片方を順次δ画素分だけシフ
トして比較し（δは−Rから＋Rの範囲をとるすべての整
数。Rは予め設定した探索範囲を示す値）、最も相違度
が低くなったときのδを移動量として得る。相違度は、
対応する行または列の画素の色や輝度の平均値それぞれ
の差の絶対の総和などを利用する（２１０〜２１２）。
但し、初めての画像入力の場合には、過去に比較するフ
レーム画像が存在しないので、処理２０４に戻る（２０
８）。

【００２９】処理２１４では、得られた水平／垂直移動
量δから、直前のフレーム画像と現在のフレーム画像と
の共通領域を求め、直前のフレームにおける、その共通
領域以外の部分の領域についてのみ記録する。これによ
って、全ての領域について記録する場合に比べ記憶容量
が少なくて済む。

【００３０】また、処理２１６では、得られた水平／垂
直移動量δの値に、ｒを乗じたプレビュー合成用の移動
量を求め、直前にプレビューバッファ上に描画した縮小
フレーム画像に対して、上記で得られたδ×ｒだけずら
した位置にｒ倍に縮小した画像を重ねて描画する。この
ようにして拡大されたプレビュー画像全体を含むように
更新したプレビュー表示領域を、プレビュー画面に表示
する（２１８）。

【００３１】このとき、もしプレビュー画像の全体が、
プレビューバッファの端いっぱいに迫っているときには
（２２０）、プレビューバッファ全体を１／ｍ倍に縮小
する（２２２）。このとき、プレビュー表示領域も同様
に１／ｍ倍に縮小される。そして、ｒも同様に１／ｍを
乗じておく。

【００３２】図４に、このプレビューバッファの縮小処
理の模式的な流れを示す。４００は、プレビューバッフ
ァ全体を示し、４０２は、プレビュー表示領域である。
４０４は、プレビュー画像を示す。プレビュー表示領域
は、常にプレビュー画像全体に外接するように位置や大
きさが変化する。Aは、パノラマ撮影開始直後の様子を
表しており、入力されたフレーム画像が、中央部に描画
されている。カメラを動かすにしたがって、プレビュー
画像は伸びていき、プレビュー表示領域も追従して大き
くなる（B）。そして、Cに示すように、プレビュー画像
がプレビューバッファの端まで到達すると、バッファか
らはみ出すので、ここで１／ｍ倍にプレビューバッファ
全体を縮小する（D）。このとき、プレビュー表示領域
も同じ倍率で縮小する。そして、さらにプレビュー画像
が伸びれば、それに合わせて画像の描画を続ける。

【００３３】ここで、ｎ＝３、ｍ＝２とすると、はじめ
に、プレビューバッファの中央と表示領域の中央を合わ
せておき、その後、撮影画像に応じて伸び、端に到達し
たときのプレビュー表示領域のサイズは、プレビュー画
面のオリジナルサイズの２倍(縦横の長さ比が２倍)より
も常に大きくなる。したがって、これをプレビューバッ
ファ全体ごと１／２倍(縦横の長さ比を１／２倍)にして
も、プレビュー表示領域のサイズは、プレビュー画面の
オリジナルサイズを下回ることはない。なお、ｎ＝３、
ｍ＝２のとき、プレビュー表示領域がちょうどバッファ
のに到達したとき、プレビュー表示領域は、プレビュー
画面のオリジナルサイズの２倍となる。そこで、プレビ
ューバッファを１／２倍すれば、プレビュー表示領域の
サイズは、プレビュー画面のオリジナルサイズと同じに
なる。

【００３４】これによって、巨大なメモリ領域を確保し
て、自由にプレビュー画像を描画し、その上で、プレビ
ュー画面のサイズに間引いて表示する場合と、ほとんど
変わらない結果が、プレビュー画面のｎ倍のメモリ容量
を用意するだけで得られることになる。また、ｍ＝２の
場合、単純に1画素おきに間引けばよいので、縮小も極
めて高速に行える。

【００３５】ここで、例えば、入力フレーム画像の１０
倍の大きさのパノラマ画像を作成することを考える。上
記の方法によらずに、あらかじめメモリ領域を確保する
方法では、この面積のパノラマ画像のプレビューを行う
ためには、あらかじめ、入力フレーム画像の約４００倍
のメモリ領域を必要とする。これは、最初からどの方向
にカメラが動くか予測できないために、最初の入力フレ
ーム画像を中心にして、上下左右の各方向にそれぞれ１
０倍の長さを持つ矩形領域を確保する必要があるためで
ある。ところが、本発明の方法によれば、ｎ＝３の場合
で、高々９倍の大きさで良い。本発明は、この９倍の大
きさで無制限のサイズを保証するので、従来方法とのメ
モリ領域の差は、合成するパノラマ画像の大きさが２０
倍、３０倍になるに伴い、指数関数的に大きくなる。

【００３６】さらに、上記の手法は、ズーム映像を用い
た高解像静止画合成処理の場合に、さらに効果がある。
図５に、ズームによる高解像静止画合成の原理を示す。
この基本的な考え方は、すでに挙げた文献Salient Vide
o Stills: Content and Context Preservedに示されて
いる。最もズームインされたときのフレーム画像を基準
サイズとして、他のフレーム画像をそのズーム率に合わ
せて重ね合わせていくことで、大きな高解像度画像を得
ることができる。この高解像度画像は、周辺部は画素が
単純に大きくなるだけであるが、中心部に近づくにした
がって少しずつ段階的に高精細になる。通常のスチルカ
メラで撮影した画像も、中心に焦点を合わせたときには
周辺部はボケており、重ね合わせ合成された高解像度画
像の特性に近い。すなわち、安価な低解像度の撮像素子
を用いて、高価な高解像度の撮像素子を用いて写したの
と同等の画像が得られることになる。

【００３７】しかし、このような従来の手法では、ズー
ムアウト時の画像を拡大してから重ね合わせ処理を行わ
なければならず、拡大率が大きくなるにつれて拡大処理
時間も長くなり、パノラマ合成のときよりもさらにリア
ルタイム処理が困難になる。それでも、徐々に単調にズ
ームアウトするような映像の場合には、最初に巨大なメ
モリ領域が用意できれば、最初のフレームを原寸大で描
画し、後はフレーム画像を拡大しながら重ねていくだけ
でよい。しかし、逆に、ズームインするような映像の場
合は、高解像画像合成の目的である、解像度を高めなが
らの合成には、最後に入力されたフレーム画像が常に原
寸大になるように、合成画像のほうを拡大する必要があ
り、巨大なメモリ領域を毎フレームごと拡大するのは非
常に時間がかかる。このことは、予めどのようなカメラ
の動きがあるか予測できないリアルタイム処理ならでは
の課題である。

【００３８】一方、本発明の考え方を適用すれば、少な
いメモリ領域でリアルタイムにプレビューが確認でき
る。ズーム率を高速に求める手法については、例えば、
すでに発明者らによる特願平10-53100「超解像カメラ」
において示している手法が利用できる。ここで確認して
おくと、高解像画像の合成とは、連続するフレーム画像
間の共通領域が同じ縮尺になるようにサイズを調整しな
がら、入力されるフレーム画像を重ね合わせていくこと
である。したがって、パノラマ合成のときと同様に、最
終的な合成画像を得るには、共通領域は１回だけ記録す
ればよく、ズームインの映像の場合には、直前のフレー
ムにおける、共通領域を除いたロの字型の外枠部分だけ
でよい。また、プレビュー画像の作成にあたっては、ズ
ーム率に合わせて縮小したフレーム画像を、ただプレビ
ューバッファに次々と描画していくだけでよい。

【００３９】ズーム率は、ここでは、最初に入力された
フレーム画像を基準にして、共通領域が一致するように
サイズ合わせをしたときの比率として定義する。ズーム
のないときは1。0、ズームインの場合は1より小さく、
ズームアウトの場合、1より大きくなる。一方、ズーム
アウトの映像の場合には、最新のフレームのほうが広い
範囲を写しているので、今度は最新のフレームにおける
共通領域を除いたロの字型の外枠部分を記録する。プレ
ビュー画像の作成のあたっては、この外枠部分をズーム
率に合わせて縮小して描画する。ズームアウトの場合
は、プレビュー画像のサイズが、ズーム率が大きくなる
と、プレビューバッファのサイズを超えるので、その場
合には、パノラマ合成のときと同様に、プレビューバッ
ファ全体を1/mに縮小する。このように、ズームの場合
にも、プレビュー画像作成のために必要な拡大は、ロの
字型の外枠部分だけをｎ倍以下に拡大する処理だけであ
り、明らかに高速に処理できる。以上によって、撮影と
同時に、高解像画像合成の結果もリアルタイムで確認で
きる。

【００４０】本実施例において最終的な合成画像のため
に記録される元データの一例を図６と図７に示す。デー
タは、パノラマファイル構造体６００とパノラマクリッ
プ構造体７００とに大別される。前者のパノラマファイ
ル構造体は、元データ全体をまとめるヘッダーであり、
後者のパノラマクリップ構造体は、各フレームごとに記
録が決定される画像データである。パノラマファイル構
造体には、後続データが画像合成用の元データであるこ
とを示す識別子として、ファイルID６０２と、合成画像
の実サイズを幅（６０４）、高さ（６０６）の順に格納
する。合成画像の最終的なサイズは、カメラ動き量から
決定され、特殊な形状をとっていても、それに外接する
最小の矩形として表現できるので、幅と高さのみを格納
する。また、元データの色数６０８（例えば、２５６色
なのか、２４ビットフルカラーなのか等）や画像フォー
マット６１０（例えば、RGB形式なのか、YUV形式なのか
等）も格納する。

【００４１】また、合成画像に外接する矩形領域の始点
座標をパノラマ画像ｘ、ｙオフセット（６１２、６１
４）として格納し、この座標を基準にして、後述するパ
ノラマクリップの座標を計算する。このヘッダー情報に
続いて、パノラマクリップ構造体７００がデータとして
並ぶ。パノラマクリップ構造体は、フレーム１枚ごとの
データとなっており、合成画像における、そのフレーム
画像の位置とサイズを格納する。まず７０２は総データ
サイズであり、画像データの量を格納する。画像始点ｘ
座標７０２は、前述のパノラマ画像ｘオフセット６１２
で示された座標を合成画像の始点座標としたときの、こ
のパノラマクリップ構造体と対応づけられたフレーム画
像の始点のx座標値を表す。同様に、画像始点ｙ座標７
０４は、フレーム画像の始点のｙ座標値を表す。画像幅
７０６と画像高７０８は、フレーム画像の入力されたま
まの実サイズを表す。これに、ズーム率７１０を乗じ
て、合成画像上でのフレーム画像のサイズを計算する。
７１４〜７２０は、このフレーム画像における、前述の
共通領域の範囲を指定する。共通領域始点ｘ座標７１４
と共通領域始点ｙ座標７１６は、フレーム内における共
通領域の始点座標を表し、共通領域幅７１８と共通領域
高７２０で、その大きさを表す。画素データ７２２に
は、左上から右下方向にスキャンしながら、すべての画
素データが順番に並ぶ。７１４〜７２０に適切な値が入
っている場合には、共通領域に関する画素データは単純
に無視される。

【００４２】次に、上記で記憶した元データから最終的
な合成画像を作成する方法について説明する。まずパノ
ラマファイル構造体６００を参照して合成画像の幅と高
さを調べ、その大きさの矩形画像領域をメモリ領域に確
保する。そして、後続するパノラマクリップ構造体７０
０を参照して、描画すべき位置と大きさを調べて、確保
したメモリ領域内における相対位置を求め、画像データ
７２２を書き込む。但し、ズーム率が１倍を下回るクリ
ップが１つでも存在する場合には、最初に、最も小さな
ズーム率が１になるように、すなわち、最もズームイン
されたフレーム画像が等倍で描画されるように、すべて
のパノラマクリップ構造体のズーム率を比例変換する。
この場合、合成画像のサイズも比例して大きくなる。こ
れによって、フレーム画像が縮小されることがなくな
り、解像度が高められる方向にのみ合成が行われる。

【００４３】以上で述べた画像合成をより美しく見せる
ために、スムージング処理を行うことができる。一般
に、画像を貼り合わせる場合には、動き量が正しく求ま
らなかったり、レンズの収差による入力画像の時点での
歪みがあったり、あるいは撮影時点での明るさが変動す
るなどして、画像の繋ぎ目に微妙な境界線が発生するこ
とがある。人間の知覚では、この境界線は不快な印象を
与えるため、補正を行う必要がある。このような補正を
行う最も簡単な方法は、貼り合わせる画像どうしの間に
糊代を持たせ、境界線を挟んで、一方の画像の色から他
方の画像の色へと段階的に推移するように貼り合わせる
ことである。その概念を非常に単純化して示したイメー
ジを図８に示す。８００では、２枚の画像が単純に貼り
合わされている様子を示している。ここでは、説明を簡
単にするため、２枚の画像はそれぞれ特定の輝度で均一
と仮定している。このときの水平方向の輝度の変化を見
てみると、画像の境目では、グラフ８０２に示すよう
に、瞬時に変化し、これが境界線８０８を形成する。一
方、８０４および８０６に示すように、画像の境界に糊
代を持たせて、一方の画像の輝度から他方の画像の輝度
まで段階的な変化となるように貼り合わせれば、境界線
は目立たなくなる。

【００４４】本発明の合成方法で、上記のスムージング
処理を実現するには、元データを記録するときに、糊代
の分だけ広めの領域を記録するようにすればよい。これ
によって必要最低限のデータ量の増加で、スムージング
が可能になる。そして、後の合成処理の際に、糊代の分
について、スムージング処理を行うことで、滑らかに接
続された合成画像が得られる。糊代とする領域は、基本
的に、連続する２枚の画像の間の共通領域を狭める形で
選ぶ。図９に、２枚のフレーム画像９００、９０２につ
いて、共通領域が重なるように配置した場合の例を示
す。９０２が時間的に新しいフレーム画像であるとする
と、図左上のL字型ハッチング領域９０４が元画像デー
タとして記録される。糊代は、２つの画像の境界線を段
階的に埋めればよいので、境界線に沿って、共通領域を
狭める方向に幅を膨らませた領域が最低限必要な領域と
なる。図９の例では、糊代となる領域は、９０４の内側
のL字型のハッチング領域９０６となる。図１０に、典
型的なカメラ動き量と、そのときの糊代領域との組み合
わせを一覧にして示す。図中、Δｘ、Δｙは、それぞれ
水平／垂直方向の移動量を示す。図１１に、さらに、ズ
ームがある場合の同様の糊代領域のパターンを示す。図
では、ズームインの場合を示している。このように、ズ
ームがあっても、共通領域の大きさが同じになるように
大きさを合わせたときの画像間の境界線から、共通領域
方向に拡張して糊代領域を確定する。ズームアウトの場
合も、フレーム画像９００と９０２の関係が逆になるだ
けで基本的に同じである。

【００４５】なお、高精細画像を作成する場合、ズーム
率に合わせて画像データを貼り合わせる際に、単純な画
素の拡大ではなく、バイリニア補間等の画素補間技術を
利用して拡大することで、さらに見栄えのよい画像が得
られることはいうまでもない。そして、上記のスムージ
ング処理を、画素補間で拡大した画像データを対象にし
て行うことで、さらに美しい画像が得られる。

【００４６】また、上記では、リアルタイムでプレビュ
ー画像を作成し表示する手法について述べたが、プレビ
ュー画像の替わりに、合成中の様子を示すシンボルで簡
略表示するようにして、ユーザビリティと、一層の高速
化との両立を図ることもできる。例えば、プレビュー画
像そのものではなく、そのシルエット、すなわち合成画
像がどのような形状でできているかを線画で示すことに
より、フレーム画像を縮小して貼り合わせることも必要
がなくなると同時に、線画のみなので高速に描画が可能
になる。図12に、これに基づくプレビュー画面の例を示
す。プレビュー画面には、入力映像がそのまま表示さ
れ、それと合わせて、線画１２００もインジケータ表示
される。また、現在入力中のフレームが合成画像中のど
こに当たるのかを示すため、１２０２に示すように、線
画の中で現在のフレーム画像が占める領域を強調表示し
てもよい。これによって、合成状況をリアルタイムで確
認するという目的が、より低コストの演算性能で実現さ
れる。

【００４７】

【発明の効果】本発明によれば、パノラマ画像や高解像
画像の作成において、撮影と同時に、処理の進行状況や
結果を確認でき、気に入った画像が得られるまで、何度
でも気軽に撮り直しが可能な、優れたユーザビリティを
提供できる。

【図面の簡単な説明】

【図１】本発明を実現するためのシステム構成図の一例
である。

【図２】本発明を実現するための処理のフローチャート
の一例である。

【図３】パンする動画からパノラマ画像を合成するイメ
ージ図である。

【図４】本発明を実行した場合のプレビューバッファの
内容の一例である。

【図５】ズームする動画から高解像画像を合成するイメ
ージ図である。

【図６】本発明の処理で用いられるデータ構造体の一例
である。

【図７】本発明の処理で用いられるデータ構造体の一例
である。

【図８】画像貼り合わせ方法を示すイメージ図である。

【図９】本発明の処理で定義した各画像領域を説明する
図である。

【図１０】本発明の処理で用いられる糊代領域のパター
ンの一例である。

【図１１】本発明の処理で用いられる糊代領域のパター
ンの一例である。

【図１２】本発明の処理で用いられるインジケータ表示
の一例である。

【符号の説明】

１００…カメラ部、１０２…A/D変換器、１０４…イン
タフェース、１０６…映像信号線、１０８…制御信号
線、１１０…CPU、１１２…ディスプレイ、１１４…メ
モリ、１１６…演算処理装置、118…外部情報記憶装
置、120…入力デバイス。

フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CD05 CE10 DC22 DC25 DC30 5C023 AA02 AA11 AA21 AA38 BA01 BA11 BA15 CA01 CA03 CA08 DA04 DA08 EA02

Claims (10)

【特許請求の範囲】
1. 【請求項１】撮影中の動画を表示する表示手段と、前記
   動画から順次フレーム画像を取り込み、取り込み時刻の
   異なる２枚のフレーム画像を比較して移動量を求める手
   段と、前記２枚のフレーム画像の差分画像及び前記移動
   量とを記憶する手段と、記憶された移動量と取り込まれ
   たフレーム画像とから合成された合成画像を象徴するイ
   ンジケータ情報を作成する手段と、前記差分画像と前記
   移動量を用いてパノラマ画像を合成する手段とを有する
   こと特徴とする画像合成装置。
2. 【請求項２】請求項１に記載の画像合成装置において、
   前記インジケータ情報は、前記合成画像を縮小したもの
   であって、前記取り込まれたフレーム画像を所定の倍率
   で縮小した縮小フレーム画像と前記移動量を該倍率に合
   わせて変換した移動量とから縮小画像を合成する手段を
   有し、前記表示手段は、前記縮小画像及び前記パノラマ
   画像を表示することを特徴とする画像合成装置。
3. 【請求項３】請求項１に記載の画像合成装置において、
   前記インジケータ情報は、前記合成画像の全体形状を象
   徴するシンボル画像であって、前記合成画像の形状を示
   すシンボル画像を作成する手段を有し、前記表示手段
   は、前記シンボル画像及び、前記パノラマ画像を表示す
   ることを特徴とする画像合成装置。
4. 【請求項４】請求項２に記載の画像合成装置において、
   前記縮小画像中における、最新に取り込まれたフレーム
   に対応する領域を強調表示することを特徴とする画像合
   成装置。
5. 【請求項５】請求項３に記載の画像合成装置において、
   前記シンボル画像中における、最新に取り込まれたフレ
   ームに対応する領域を強調表示することを特徴とする画
   像合成装置。
6. 【請求項６】請求項１に記載の画像合成装置において、
   前記差分画像は、前記２枚のフレーム画像の共通画像領
   域も含み、前記パノラマ画像合成手段は、該共通画像領
   域を用いて前記２枚のフレーム画像間の境界を滑らかに
   合成することを特徴とする画像合成装置。
7. 【請求項７】請求項１に記載の画像合成装置において、
   前記差分画像を拡大して合成画像を作成する場合は、拡
   大された該差分画像の画素を補間によって計算すること
   を特徴とする画像合成装置。
8. 【請求項８】撮影された動画を表示する表示手段と、前
   記動画から順次フレーム画像を取り込む手段と、取り込
   んだ時刻の異なる２枚のフレーム画像を比較して画像の
   移動量を求める手段と、前記移動量に基づき取り込んだ
   フレーム画像を組み合わせて合成画像を得る手段と、前
   記合成画像もしくはその縮小画像を記憶するバッファ手
   段と、前記バッファに記憶された前記合成画像の一領域
   を表示するプレビュー表示手段と、前記合成画像もしく
   はその縮小画像が所定の領域を超えた場合に、前記バッ
   ファに記憶された該合成画像及び前記一領域とを縮小す
   る手段とを有することを特徴とする画像合成装置。
9. 【請求項９】撮影中の動画を表示するステップと、前記
   動画から順次フレーム画像を取り込み、取り込み時刻の
   異なる２枚のフレーム画像を比較して移動量を求めるス
   テップと、前記２枚のフレーム画像の差分画像及び前記
   移動量とを記憶するステップと、記憶された移動量と取
   り込まれたフレーム画像とから合成された合成画像を象
   徴するインジケータ情報を作成するステップと、前記差
   分画像と前記移動量を用いてパノラマ画像を合成するス
   テップとを有すること特徴とする画像合成方法が記録さ
   れたコンピュータ読みとり可能な記録媒体。
10. 【請求項１０】取り込んだ時刻の異なる２枚のフレーム
    画像を比較して画像の移動量を求めるステップと、該移
    動量に基づき取り込んだフレーム画像を組み合わせて合
    成画像を得るステップと、該合成画像もしくはその縮小
    画像をバッファに記憶するステップと、該バッファに記
    憶された該合成画像の一領域を表示するプレビュー表示
    するステップと、該合成画像もしくはその縮小画像が規
    定の領域範囲を超えた場合に、該バッファに記憶された
    該合成画像及び該一領域とを縮小して表示するステップ
    とを有すること特徴とする画像合成方法が記録されたコ
    ンピュータ読みとり可能な記録媒体。