JP2002008024A

JP2002008024A - ２次元連続画像に３次元物体の画像を埋め込んだ合成画像の作成方法及び同装置

Info

Publication number: JP2002008024A
Application number: JP2000186013A
Authority: JP
Inventors: Kazufumi Suzuki; 一史鈴木; Yoshio Ichihashi; 敬男市橋
Original assignee: Gentech Co Ltd
Current assignee: Gentech Co Ltd
Priority date: 2000-06-21
Filing date: 2000-06-21
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】２次元動画像に３次元物体のモデルから生成
した２次元画像等を合成するために、２次元動画像から
３次元座標からの射影変換行列または撮影したカメラの
カメラパラメータを高速に、かつスムーズな値として求
める方法およびそのための装置を提供することを課題と
している。【解決手段】２次元動画像の最初のキャリブレーショ
ン点から決定した射影変換行列の要素またはその関数を
カルマンフィルタの状態変数とし、カルマンフィルタか
ら射影変換行列を決める方法において、カルマン行列の
共分散行列で決められる探索範囲内でトラッキング点を
求め、このトラッキング点を射影変換行列によって変換
した観測値を使ってカルマンフィルタを修正することに
より高速に、かつスムーズな射影変換行列を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数の連続する
２次元画像に３次元物体の画像を埋め込んだ合成画像を
作成する技術分野に関するものである。

【０００２】

【従来の技術】近年コンピュータの高速化、大容量化が
進み、コンピュータグラフィックス（いわゆるＣＧ）や
実写を使用したコンピュータによる画像の生成、実写画
像へコンピュータによって生成された画像の埋め込み等
による画像合成技術が可能となってきている。これは静
止画像に限らず、連続した複数の画像や、動画像（画像
中の物体が移動したり、変化したりする画像をいう）に
対しても可能になっている。なお以下の説明では、連続
画像（又は連続撮影画像）というときは、静止物体をカ
メラを移動（又は回転）させて連続撮影した画像と、動
画像をも含めた広い意味に使用する。

【０００３】例えば、静止実写画像中に３次元物体の画
像又はその他の２次元画像を自然な形で埋め込むために
はその実写画像のフレームに撮影地点および撮影方向と
埋め込むべき画像に対する視点および視線を一致させて
合成する必要がある。このためにはフレームの画像に対
する射影変換行列Ｐ（またはカメラパラメータ）を決定
する必要がある。

【０００４】この射影変換行列Ｐは３×４の行列で、画
像を撮影するカメラの位置、姿勢、画角などのカメラに
関するすべての情報が含まれているためカメラパラメー
タと呼ぶこともある。ここでは射影変換行列と呼ぶこと
にする。射影変換行列Ｐは１１個の未知パラメータと１
個のスケールファクタを含んでおり、この未知パラメー
タを決定するためには、３次元空間内の座標が既知であ
る少なくとも６個の点とそれに対応する２次元座標の６
個の座標が既知であることが必要である。以下、これら
の未知パラメータを決定するために使用する座標点を校
正点と呼び、未知パラメータを求めることをキャリブレ
ーションと呼ぶことにする。

【０００５】これと同じように、連続撮影画像に対して
各フレームに３次元物体の画像を自然な形で埋め込んだ
合成画像を作成するためには、各フレーム毎に射影変換
行列を求めることによって、カメラの位置と撮影方向の
変化を射影変換行列の変化として追跡することができ、
実空間に対応した座標を使ってコンピュータ中に生成さ
れている３次元モデルに対し、各フレームにおける射影
変換行列による２次元画像を生成し、生成した画像を撮
影画像中の対応する位置に配置して合成することで、連
続撮影画像の合成画像を作成することができる。

【０００６】また、逆に撮影カメラを固定した場合に
は、射影変換行列により実空間の被写体と画像中の被写
体の位置関係が明らかになっているため、画像中の被写
体の動きから、実空間における被写体の動きを捕らえる
ことができる。このことからモーションキャプチャと呼
ばれている。

【０００７】上述した連続撮影画像において、各フレー
ムにおいて射影変換行列を求め、被写体の座標と画像中
の位置の対応をとるためには、校正点は６点のデータで
十分であるが、画像中のノイズ、あるいは選択点のうち
の４点以上が同一平面近傍にあるなどで誤差が拡大する
場合があるため、通常は１０点以上の点を使用する。し
かしながら、すべてのフレームにおいて画面中の校正点
を指定する作業を行うとすると、例えば３０フレーム／
秒のすべてのフレームで１０点以上の点を指定しなけれ
ばならず、画面を見ながらのマニュアルでの実行は現実
的ではない。

【０００８】そこで、自動的に校正点を探索する方法が
必要となる。即ち、最初のフレーム（フレーム(0)と称
する）もしくは最初のフレームからの連続する数フレー
ム中でｎ個（例えば１０個）の点Ｐ01〜Ｐ0nを選定した
として、それ以降のフレーム（フレーム(k)）での点を
自動的に探索する方法が必要である。従来から知られて
いる探索方法として以下の方法がある。即ち、（１）最初のフレーム（フレーム(0)）において点Ｐ0i
(i=1〜n)を中心にした特徴的な領域の画像領域Ｐ0i(i=1
〜n)を指定し（以下、ウインドウという）、その画像デ
ータＰＤ0i(i=1〜n)を取得する。（２）取得したウインドウの画像データＰＤ0i(i=1〜n)
を次のフレーム（フレーム(1)）の画像の端から逐次移
動させながら得られるフレーム(1)の画像データと画像
データＰＤ0i(i=1〜n)との比較を行う、即ち、スキャン
しながら比較する。（３）フレーム（１）の画面全体をスキャンして比較し
た結果、画像データＤ0i(i=1〜n)にもっとも近い画像デ
ータを得たスキャン位置での、点Ｐ0i(i=1〜n)に対応す
るフレーム(1)中の点を校正点Ｐ1i(i=1〜n)として選定
する。というものである。

【０００９】この方法によれば、フレーム(k)における
ｎ個の点から、自動的にフレーム(k+1)におけるｎ個の
点を求めることができるので、最初のフレーム(0)にお
けるカメラパラメータを決定するためのｎ個の点を指定
すれば、それ以降のフレーム(k)でのカメラパラメータ
は自動的に求めることができ、撮影動画像からカメラの
視線、方向の変化を自動的に取得することができる。

【００１０】しかしながら、上記従来方法にはいくつか
の問題点がある。まず、フレーム(k)において射影変換
行列を決定するためのｎ個の点を決定し、射影変換行列
を演算で求めた後に、次のフレーム(k+1)における対応
するｎ個の点を求めるために、（１）フレーム(k+1)の
全範囲をスキャンするため、処理時間に長時間を要する
ことが問題である。（２）画像の種類によっては画像中
に類似の画像領域がある場合、画像にノイズがある場合
があり、誤設定する可能性のあるという問題がある。さ
らに、（３）カメラワークの結果、フレーム(k)の画像
中に存在した点Ｐki(i=1〜n)がフレーム(k+1)の画像中
には存在しなくなっている場合があるという問題点もあ
る。また、（４）点Ｐikから射影変換行列を得たとして
も、得られた結果はスムーズでなく、フィルタ等の後処
理を必要とするという問題点がある。

【００１１】

【発明が解決しようとする課題】この発明は、上述のよ
うな背景の下になされたものであり、２次元動画像から
キャリブレーションによって射影変換行列を求め、この
射影変換行列を３次元物体のモデルに適用して該モデル
の画像を求め、この画像を２次元画像に埋め込んで表示
する方法、あるいはキャリブレーションで得られた射影
変換行列に基づいて更にカメラの位置・方向を求め、そ
のカメラの位置・方向で３次元物体を撮影して得た画像
を２次元画像に埋め込んで表示する方法において、画像
中の６〜１０個以上のキャリブレーション点を決めるた
めの全画面スキャンを行わず、画像ノイズの処理・スム
ージング処理を最小限とすることで、射影変換行列また
はカメラの位置・方向を高速に取得することを目的とす
る。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項１
記載の発明は、複数の連続する２次元画像に３次元物体
の画像を埋め込んだ合成画像を作成する方法において、
該２次元画像にキャリブレーションを行うための校正点
の座標を推定するステップと、該推定された座標点の近
傍をサーチして校正点の座標を決定するステップと、決
定された該校正点の座標からキャリブレーションによっ
て射影変換行列を求めるステップと、求められた該射影
変換行列を利用して３次元物体の埋め込み画像を求める
ステップと、該埋め込み画像を前記２次元画像に埋め込
んで合成するステップとを具備することを特徴とする合
成画像の作成方法である。

【００１３】この方法では校正点の座標を推定し、推定
された座標点の近傍のみをサーチすることで校正点の座
標を決定することができるので、従来の全画面をスキャ
ンしてサーチする方法に比べ、非常に高速な処理が可能
となる。また、射影変換行列を求めるので、それを使用
すれば、コンピュータにより生成された３次元モデルか
らでも、実際に存在する３次元物体を撮影する方法でも
埋め込み画像を作成することができる。そして、射影変
換行列を使用して得られた埋め込み画像の２次元画像へ
の埋め込み合成は、周知のあらゆる方法が利用できる。

【００１４】請求項２記載の発明は、請求項１記載の発
明において、校正点の座標を推定するステップとして、
射影変換行列の未知パラメータを未知状態変数としてカ
ルマンフィルタを利用することで、射影変換行列を推定
し、その変換行列により２次元画像の校正点の座標を推
定するものであり、カルマンフィルタを利用することに
より、特別な処理を行うことなくノイズを考慮した最適
推定値を求めることができる。

【００１５】請求項３記載の発明は、請求項１又は請求
項２記載の発明において、３次元物体の埋め込み画像を
求めるステップを、３次元物体の３次元モデルに対して
キャリブレーションによって得られた射影変換行列を作
用させて埋め込み画像を求めるものであり、どのような
３次元モデルに対しても適用可能である。

【００１６】請求項４記載の発明は、請求項１又は請求
項２記載の発明において、３次元物体の埋め込み画像を
求めるステップを、３次元空間における３次元物体に対
してキャリブレーションによって得られた射影変換行列
の要素に従って、撮影カメラの配置を設定して撮影して
埋め込み画像を求めるものであり、コンピュータにより
作成が困難な物体に対して適用可能であり、３次元物体
は静止している必要はなく、動きのあるものでもよい。

【００１７】請求項５乃至請求項８記載の装置の発明
は、請求項１乃至請求項４の方法の発明に対応するもの
であり、請求項５の発明では、複数の連続する２次元画
像に３次元物体の画像を埋め込んだ合成画像を作成する
装置において、該２次元画像にキャリブレーションを行
うための校正点の座標を推定する推定手段と、該推定さ
れた座標点の近傍をサーチして校正点の座標を決定する
探索決定手段と、決定された該校正点の座標からキャリ
ブレーションによって射影変換行列を求める演算手段
と、求められた該射影変換行列を利用して３次元物体の
埋め込み画像を求める埋め込み画像生成手段と、該埋め
込み画像を前記２次元画像に埋め込んで合成する合成手
段とを具備することを特徴とする合成画像の作成装置で
ある。

【００１８】この装置によれば、校正点を推定する推定
手段があるため、探索決定手段による探索範囲が限定さ
れ、高速に校正点を探索できる。そして、校正点を演算
手段に入力することで射影変換行列をオンラインで得る
ことができ、それ以降の、埋め込む画像生成手段、２次
元画像に埋め込んで合成する合成手段は周知の手段を使
用することができる。

【００１９】

【発明の実施形態】図１は請求項１記載された発明の基
本的なステップを示す図であり、ステップＡにおける校
正点の座標の推定とステップＢにおいて推定座標点の近
傍のサーチにより、処理の高速化を図ることができる。
また、ステップＣにおける校正点と射影変換行列の関係
は、請求項２記載の発明のカルマンフィルタの使用によ
り誤差の処理を含む最適な処理が可能となった。ステッ
プＤおよびステップＥの埋め込み画像の取得と２次元画
像への合成は周知の方法が利用できる。図２は本発明の
実施形態におけるアルゴリズムの全体フローチャートで
ある。以下図２に示すフローチャートに従い、必要に
応じて他の図面を参照しながら本実施形態の方法を説明
する。

【００２０】本発明の実施形態は、連続２次元画像のフ
レームからキャリブレーションによって射影変換行列を
求め、その射影変換行列をコンピュータ中に生成された
３次元物体のモデルに適用して該モデルの２次元画像を
連続２次元画像中に埋め込むものであり、コンピュータ
中に生成された３次元物体のモデルを指定された射影変
換行列により２次元画像に変換する技術は周知であり、
図２では連続２次元画像の時々刻々変化するフレーム
（通常１秒間で３０フレーム）における射影変換行列又
はカメラパラメータを高速にかつスムーズに求めるため
にカルマンフィルタを使用するフローチャートを示して
いる。

【００２１】以下、図２に従って説明する。まず、初期
値の設定のため２次元動画像のはじめのフレーム(0)に
対して時間的に変化しない既知の３次元座標を有する点
をｎ個（６点以上で、通常は１０点以上）指定すること
で射影変換行列Ｐｒ(0)とフレーム(1)に対する射影変換
行列Ｐｒ(1)を求めることでキャリブレーションが開始
される（ステップ１）。

【００２２】キャリブレーションは既知の点Ｐi(i=1〜
n)の３次元座標(Ｘi、Ｙi、Ｚi）に対するフレーム(0)
およびフレーム(1)における点Ｐ0i(i=1〜n)および点Ｐ1
i(i=1〜n)の２次元座標（ｕi、ｖi）を指定し、射影変
換行列Ｐｒ(0)およびＰｒ(1)の要素を求める。これによ
り、フレーム(0)およびフレーム(1)の射影変換行列を決
定する（ステップ２）。射影変換行列の決定は１１個の
未知数の決定であり、６点の座標データで十分ではある
が、１０点以上の点のデータから種々の組み合わせの６
点を選定して求めた要素の値を平均化する等の方法（例
えば、自乗和を最小化する方法）によりノイズ、誤差を
除去することができる。

【００２３】射影変換行列Ｐｒ(0)およびＰｒ(1)から射
影変換行列の変化を知ることができ、これは動画像を撮
影したカメラの動きに対応するものであり、その変化か
らカメラの物理的な動きを表すパラメータである平行移
動と回転およびカメラの焦点距離（の変化）を表す７変
数を抽出することができる（ステップ３）。

【００２４】抽出した７変数を状態変数の初期値として
離散時間システムのカルマンフィルタの設定を行うが、
７変数は射影変換行列の要素の関数であり、実質的には
射影変換行列の要素をカルマンフィルタの状態変数とし
ていることになる（ステップ４）。一般にカルマンフィ
ルタでは、信号を生成するシステムの動特性が離散時間
ｋのおける状態変数（ベクトル）ｘ(k)に対する状態方
程式が、

【式１】ｘ(k+1)＝Ｆ(k)ｘ(k)＋Ｇ(k)ｗ(k)
（ｗ(k)は外乱ベクトル）出力ベクトルｙ(k)に対する観測方程式が、

【式２】ｙ(k)＝Ｈ(k)ｘ(k)＋ｖ(k) （ｖ(k)
は観測雑音ベクトル）で指定され、外乱ベクトルｗ(k)、観測雑音ベクトルｖ
(k)の平均が０、かつ、そのスペクトルが白色であり、
ｗ、ｖの共分散行列が

【式３】Ｅ[ｗ(k)ｗ(j)Ｔ]＝Ｑ(k)δkj

【式４】Ｅ[ｖ(k)ｖ(j)Ｔ]＝Ｒ(k)δkj

【式５】Ｅ[ｗ(k)ｖ(j)Ｔ]＝０（Ｅは平均、Ｔは転置、δkjはクロネッカーのデルタ）であり、初期値が与えられた場合、最適推定である状態
変数の最小２乗推定ｘ＊(k、k-1)が次の逐次式で与えら
れる。

【式６】ｘ＊(k+1,k)＝Ｆ(k)ｘ＊(k、k-1)＋Ｋ(k)
ν(k) ここで、ν(k)は、離散時間ｋにおける実観測ベクトル
と最適推定ｘ＊(k、k-1)から導かれる推定観測ベクトル
の差、

【式７】 ν(k)＝ｙ(k)−Ｈ(k)ｘ＊(k、k-1) であり、Ｋ(k)は、カルマンゲインと呼ばれる。

【００２５】この発明では、カメラの動きを示す７変数
を状態変数、キャリブレーション点のうちのいくつか
（６個未満でもよい）あるいは全てをシステムの状態を
修正するための観測値として使用するが、ここではその
働きからトラッキング点と呼ぶことにする。（一般的に
はキャリブレーション点と呼ばれる。）カルマンフィル
タにより推定された状態変数により生成される射影変換
行列によって変換されるトラッキング点の２次元座標を
出力、実際に画面中から得られるトラッキング点に対応
する２次元座標を観測値とする。

【００２６】カメラの動きを示す７変数のうち、平行移
動ｔ、回転ｒについては、時間の２階微分である加速度
が一定値、焦点距離ｆの変化については速度が一定でそ
れ以上は外乱であるとの近似を行う。初期値としては、
例えば、ある変数ｑについては、始めの３フレーム中の
データｑ0、ｑ1、ｑ2 を使用して、座標＝ｑ1、速度＝
（ｑ2−ｑ0）／Δ、加速度＝（ｑ2−２ｑ1＋ｑ0）／Δ
２（＝一定値）として（Δはフレーム間の時間差）、ｑ
についての運動方程式を作る。これによりシステムの動
特性を規定する状態方程式を得ることができる。

【００２７】また、この発明における観測方程式は上記
平行移動、回転、焦点距離からなる状態変数（ｘ(k)）
からトラッキング点のフレーム中の２次元座標の観測値
（ｙ(k)＝（ｕｋ、ｖｋ））の予測値を得るものであ
り、そのためには原理的には平行移動、回転、焦点距離
などの状態変数が判れば、それから射影変換行列に対す
るオペレータを作成でき、結果として平行移動、回転、
焦点距離の値による新たな射影変換行列要素を計算した
後、ｕｋ、ｖｋ、およびトラッキング点の２次元画像
中での座標予測値を得ることができる（ステップ５）。

【００２８】次に、トラッキング点の２次元画像中での
座標測定値とステップ５で得た座標予測値の差にカルマ
ンゲインＫを乗じ、カルマンフィルタのシステムを更新
する。この結果、７つの状態変数が更新され、それより
射影変換行列を得ることができ、同時に状態変数の推定
誤差共分散も更新される（ステップ６）。

【００２９】以上の結果から、トラッキング点の次フレ
ームでの座標予測値（ｕｋ、ｖｋ）、カルマンフィルタ
の状態変数ｘ(k)および推定誤差共分散Ｒ(ｋ)が得られ
たので、次に、システム更新のための観測値を得るため
の探索範囲の決定を行う（ステップ７）。従来、探索範
囲は全画像中に対して行っていたが、この発明では、次
フレームでの座標予測値（ｕｋ、ｖｋ）と推定誤差共分
散Ｒ（ｋ）が得られているので、探索範囲を座標予測値
の近傍で推定誤差共分散の値に応じた限定を行うことが
できる（図２参照）ので計算のための時間が大幅に短縮
することができる。

【００３０】探索範囲が決定されたならば、前フレーム
におけるトラッキング点Ｐiの周りの特徴的な画像デー
タＰＤiを切り出して保持する。保持したデータは、探
索範囲内をスキャンしながら得られる画像データと比較
され、そのパターンの最も一致した位置における前フレ
ームのトラッキング点Ｐiに対応する点を新たなトラッ
キング点Ｐiの座標の測定値とする（ステップ８）。

【００３１】この結果、更新されたカルマンフィルタシ
ステムに対する新たな情報としての測定値が得られたの
で、得られた測定値であるトラッキング点の座標に対応
するカルマンフィルタシステムによる座標予測値を算出
し、更にカルマンフィルタシステムを更新するループが
形成される（ステップ８からステップ５に戻る）。

【００３２】図４は請求項５乃至請求項８に記載された
装置の発明の実施例を説明する図である。

【００３３】この装置では、最初に２次元連続画像４が
２次元画像メモリ５に読み込まれる。２次元画像メモリ
は半導体メモリに限らず、ハードディスクなどでもよ
く、必要に応じ、半導体メモリをキャッシュメモリとし
て利用するように構成されていてもよい。

【００３４】２次元画像メモリの最初のフレームは表示
器６に表示され、その画像を見ながら、オペレータはラ
イトペン７で示すことにより画面上の校正点座標を入力
すると共に、キーボード８により校正点の３次元座標を
入力して、最初のキャリブレーションに必要なデータ入
力を行うと、座標値および校正点についての画像データ
は推定手段９を介して校正点画像メモリ１０に格納され
る。

【００３５】推定手段９は次のフレームの校正点座標を
推定すると共に、推定校正点座標と推定誤差共分散値か
ら算出した探索範囲および校正点画像メモリ１０に蓄積
された校正点の画像データを探索手段１１に送る。

【００３６】探索手段１１では推定手段９から送られた
データに基づき、２次元画像メモリ中の次のフレームに
おいて推定校正点座標の近傍の推定誤差共分散値から算
出した範囲をスキャンしながら、探索手段１１から送ら
れた画像データと２次元画像メモリにおける画像データ
を比較し、観測値としての校正点を得る。

【００３７】探索手段１１により得られた校正点に基づ
き演算手段１２では射影変換行列を求め、生成手段１３
に送られ、生成手段１３においては演算手段１２からの
射影変換行列に基づき、３次元モデルメモリ１４に蓄積
されたデータから３次元物体の埋め込み画像を生成す
る。

【００３８】生成手段１３で生成された埋め込み画像は
合成手段１５により２次元画像メモリ５の２次元画像と
合成され、合成画像メモリ１６に蓄積されが、合成画像
メモリ１６はハードディスクのようなデジタル記憶手段
に限らす、ビデオテープ等の画像記録手段でもよい。

【００３９】なお、演算手段１２で得られた射影変換行
列は推定手段に戻され、次のフレームに対する推定に使
用され、逐次、推定のための状態変数が更新されること
になる。

【００４０】

【発明の効果】この発明が目的とするカメラパラメータ
または射影変換行列は、ステップ６における状態変数か
ら求めることができ、カルマンフィルタシステムの更新
による状態変数の最小２乗推定値の変化に応じた変化と
して取得することができる。また、カルマンフィルタシ
ステムに備わった性質により、平均値０で白色スペクト
ルのシステムノイズおよび観測ノイズを状態変数を最小
２乗とする形ように取り込まれているので改めてフィル
タ等による平均化する必要はない。

【００４１】この発明の方法によれば、撮影済の２次元
動画像からスムーズに変化する射影変換行列を短時間に
オンラインで取得できるので、コンピュータ中に生成さ
れた３次元物体モデルを、時々刻々と変化する２次元動
画像の撮影位置から見た２次元画像にリアルタイムに変
換し、撮影画像中に自然な形で埋め込むことが可能とな
る。

【００４２】また、撮影済の２次元動画像からのデータ
を実際にカメラを移動させるカメラパラメータとして記
録するならば、現実の３次元物体若しくは縮尺模型を記
録されたカメラパラメータに従って撮影することにより
もとの２次元動画像と自然な形で合成することができ
る。この場合には、もとの動画像を撮影したと同じカメ
ラワークとなるため、現実の３次元物体は固定するする
必要はなく、役者の自由な動きを撮影して合成すること
もできる。

【図面の簡単な説明】

【図１】本発明の方法の基本的なステップ。

【図２】本発明の実施形態におけるアルゴリズムの全
体フローチャート。

【図３】本発明の実施形態における各フレームにおけ
るトラッキング点の予測値、測定値と探索範囲の関係。

【図４】本発明の装置の実施例のブロックダイアグラ
ム。

【符号の説明】

１：トラッキング点の測定値２：トラッキング点の予測値３：探索範囲４：２次元連続画像５：２次元画像メモリ６：表示器７：ライトペン８：キーボード９：推定手段１０：校正点画像メモリ１１：探索手段１２：演算手段１３：生成手段１４：３次元モデルメモリ１５：合成手段１６：合成画像メモリ

Claims

【特許請求の範囲】

【請求項１】複数の連続する２次元画像に３次元物体
の画像を埋め込んだ合成画像を作成する方法において、
該２次元画像にキャリブレーションを行うための校正点
の座標を推定するステップ（Ａ）と、該推定された座標
点の近傍をサーチして校正点の座標を決定するステップ
（Ｂ）と、決定された該校正点の座標からキャリブレー
ションによって射影変換行列を求めるステップ（Ｃ）
と、求められた該射影変換行列を利用して３次元物体の
埋め込み画像を求めるステップ（Ｄ）と、該埋め込み画
像を前記２次元画像に埋め込んで合成するステップ
（Ｅ）とを具備することを特徴とする合成画像の作成方
法。
【請求項２】前記校正点の座標を推定するステップ
は、前記射影変換行列の未知パラメータを未知状態変数
としてカルマンフィルタを利用し、該射影変換行列を推
定し、該射影変換行列を３次元空間の校正点の座標に演
算して、２次元画像における該校正点の座標を推定する
ことを特徴とする請求項１に記載の合成画像の生成方
法。
【請求項３】前記３次元物体の埋め込み画像を求める
ステップは、３次元物体の３次元モデルに対してキャリ
ブレーションによって得られた前記射影変換行列を作用
させて埋め込み画像を求めることを特徴とする請求項１
又は請求項２のいずれか１に記載の合成画像の作成方
法。
【請求項４】前記３次元物体の埋め込み画像を求める
ステップは、３次元空間における３次元物体に対してキ
ャリブレーションによって得られた前記射影変換行列の
要素に従って、撮影カメラの配置を設定して撮影し、前
記３次元物体の撮影画像から該埋め込み画像を求めるこ
とを特徴とする請求項１又は請求項２のいずれか１に記
載の合成画像の作成方法。
【請求項５】複数の連続する２次元画像に３次元物体
の画像を埋め込んだ合成画像を作成する装置において、
該２次元画像にキャリブレーションを行うための校正点
の座標を推定する推定手段と、該推定された座標点の近
傍をサーチして校正点の座標を決定する探索決定手段
と、決定された該校正点の座標からキャリブレーション
によって射影変換行列を求める演算手段と、求められた
該射影変換行列を利用して３次元物体の埋め込み画像を
求める埋め込み画像生成手段と、該埋め込み画像を前記
２次元画像に埋め込んで合成する合成手段とを具備する
ことを特徴とする合成画像の作成装置。
【請求項６】前記推定手段は、前記射影変換行列の未
知パラメータを未知状態変数としてカルマンフィルタを
利用し、該射影変換行列を推定し、該射影変換行列を３
次元空間の校正点の座標に演算して、２次元画像におけ
る該校正点の座標を推定することを特徴とする請求項５
に記載の合成画像の生成装置。
【請求項７】前記埋め込み画像生成手段は、３次元物
体の３次元モデルに対してキャリブレーションによって
得られた前記射影変換行列を作用させて埋め込み画像を
求めることを特徴とする請求項５又は請求項６のいずれ
か１に記載の合成画像の作成装置。
【請求項８】前記埋め込み画像生成手段は、３次元空
間における３次元物体に対してキャリブレーションによ
って得られた前記射影変換行列の要素に従って、撮影カ
メラの配置を設定し、前記３次元物体の撮影画像から該
埋め込み画像を求めることを特徴とする請求項５又は請
求項６のいずれか１に記載の合成画像の作成装置。