JPH10336703A - 画像合成装置、方法および記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 立体映像に簡単にＣＧ画像を合成し、立体感
に違和感のない合成した立体映像を得ることができる画
像合成装置を提供する。 【解決手段】 画像合成装置では、ＣＧ画像が被写体画
像に上書きされた左右の合成画像が水平ストライプ画像
に合成されて三次元表示装置１３０に立体表示される
際、合成したＣＧ画像は被写体画像撮影時のカメラパラ
メータを用いて透視投影により生成されるので、立体表
示された合成画像の立体感は、被写体の立体感に対して
違和感がない。撮影者が三次元表示装置１３０に表示さ
れているＣＧ画像の回転、移動、変倍の指示を行うと、
指示されたデータの分だけ変位した操作パラメータに基
づくＣＧ画像がＣＧ画像生成部１０５で生成され、撮影
中の被写体画像と合成された後、再び、三次元表示装置
１３０に立体表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、三次元被写体を撮
影、表示する際、撮影した被写体画像にコンピュータグ
ラフィックス（ＣＧ）画像を合成する画像合成装置、方
法および記憶媒体に関する。

【０００２】

【従来の技術】従来、複数のカメラから視差を持った一
組の画像を得て、それぞれの画像を観察者の左右別々の
眼で観察させることにより立体映像を提供するシステム
が知られている。

【０００３】また一方では、カメラで撮影した画像にコ
ンピュータで作成した画像（ＣＧ画像）を合成する画像
合成装置が知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、立体映
像を撮影、表示する従来のシステムにおいて、ＣＧ画像
を立体画像に合成するためには撮影したそれぞれの画像
にＣＧ画像を合成して再び立体映像として表示する必要
があり、合成する画像中でのＣＧ画像の大きさや向き、
位置を複数の画像それぞれで調整しなければならず、画
像を合成する作業が複雑であった。

【０００５】しかも、撮影した画像の立体感とＣＧ画像
の立体感を一致させるために、合成後の立体映像を観察
して立体感に違和感がある場合にはＣＧ画像の合成から
再度やり直さなければならず、作業が困難であり、それ
らが一致しない場合には合成した画像を立体映像として
観察した場合、違和感のある合成画像となってしまって
いた。

【０００６】そこで、本発明は、立体映像に簡単にＣＧ
画像を合成し、立体感に違和感のない合成した立体映像
を得ることができる画像合成装置、方法および記憶媒体
を提供することを第１の目的とする。

【０００７】また、本発明は、第１の目的に加え、立体
映像の撮影およびＣＧ画像との合成をさらに容易に実現
することができる画像合成装置、方法および記憶媒体を
提供することを第２の目的とする。

【０００８】さらに、本発明は、第１および第２の目的
に加え、撮影した画像の被写体とＣＧモデルが重なる場
合にも 合成した立体画像の隠蔽関係に違和感のない立
体映像を得ることができる画像合成装置、方法および記
憶媒体を提供することを第３の目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に記載の画像合成装置は、異なる
視点で撮影された視野の重なる複数の被写体画像を立体
視表示することが可能な表示手段を備えた画像合成装置
において、三次元構造を表すモデル情報を記憶するモデ
ル情報記憶手段と、該記憶されたモデル情報の向き、位
置を含む操作パラメータと、前記複数の被写体画像の少
なくとも撮影時のカメラの焦点距離と視点間の距離を含
むカメラパラメータとを用いて、前記モデル情報の回
転、移動を算出する算出手段と、該回転、移動が算出さ
れたモデル情報の画像を透視投影によって複数生成する
画像生成手段と、該生成された複数のモデル情報の画像
と前記複数の被写体画像とを合成する画像合成手段とを
備え、該合成された画像を前記表示手段によって立体視
表示することを特徴とする。

【００１０】請求項２に記載の画像合成装置は、複数の
撮像系と、該複数の撮像系で撮影された複数の被写体画
像を立体視表示することが可能な表示手段とを備えた画
像合成装置において、三次元構造を表すモデル情報を記
憶するモデル情報記憶手段と、該記憶されたモデル情報
の向き、位置を含む操作パラメータと、前記複数の撮像
系の焦点距離、視点間の距離を含むカメラパラメータと
を用いて、前記モデル情報の回転、移動を算出する算出
手段と、該回転、移動が算出されたモデル情報の画像を
透視投影によって複数生成する画像生成手段と、該生成
された複数のモデル情報の画像と前記複数の被写体画像
とを合成する画像合成手段とを備え、該合成された画像
を前記表示手段によって立体視表示することを特徴とす
る。

【００１１】請求項３に記載の画像合成装置は、請求項
１または請求項２に係る画像合成装置において前記複数
の被写体画像の視差により該被写体画像の奥行きを抽出
する奥行き抽出手段を備え、前記画像合成手段は、該抽
出された被写体画像の奥行きに基づき、前記生成された
モデル情報の画像と前記被写体画像とを合成することを
特徴とする。

【００１２】請求項４に記載の画像合成方法は、異なる
視点で撮影された視野の重なる複数の被写体画像とコン
ピュータで作成された三次元情報を表すモデル画像とを
合成する画像合成方法において、前記三次元構造を表す
モデル情報を記憶しておく工程と、該記憶されたモデル
情報の向き、位置を含む操作パラメータと、前記複数の
撮像系の焦点距離、視点間の距離を含むカメラパラメー
タとを用いて、前記モデル情報の回転、移動を算出する
工程と、該回転、移動が算出されたモデル情報の画像を
透視投影によって複数生成する工程と、該生成された複
数のモデル情報の画像と前記複数の被写体画像とを合成
する工程と、該合成された画像を立体視表示する工程と
を備えたことを特徴とする。

【００１３】請求項５に記載の画像合成方法は、請求項
４に係る画像合成方法において前記複数の被写体画像の
視差により該被写体画像の奥行きを抽出する工程を備
え、前記画像を合成する工程では、該抽出された被写体
画像の奥行きに基づき、前記生成されたモデル情報の画
像と前記被写体画像とを合成することを特徴とする。

【００１４】請求項６に記載の記憶媒体には、異なる視
点で撮影された視野の重なる複数の被写体画像とコンピ
ュータで作成された三次元情報を表すモデル画像とを合
成する際、前記モデル情報の向き、位置を含む操作パラ
メータと、前記複数の撮像系の焦点距離、視点間の距離
を含むカメラパラメータとを用いて、前記モデル情報の
回転、移動を算出するパラメータ算出モジュールと、該
回転、移動が算出されたモデル情報の画像を透視投影に
よって複数生成する画像生成モジュールと、該生成され
た複数のモデル情報の画像と前記複数の被写体画像とを
合成する画像合成モジュールとを含むコンピュータに実
行させるためのプログラムが格納されたことを特徴とす
る。

【００１５】請求項７に記載の記憶媒体には、請求項６
に係る記憶媒体において前記複数の被写体画像の視差に
より該被写体画像の奥行きを抽出する奥行き抽出モジュ
ールを含み、前記画像を合成する画像合成モジュールで
は、該抽出された被写体画像の奥行きに基づき、前記生
成されたモデル情報の画像と前記被写体画像とを合成す
る前記プログラムが格納されたことを特徴とする。

【００１６】

【発明の実施の形態】本発明の画像合成装置、方法およ
び記憶媒体の実施の形態について説明する。

【００１７】［第１の実施の形態］図１は第１の実施形
態における画像合成装置の構成を示すブロック図であ
る。図において、２００はステレオカメラであり、左右
２系統の画像データを出力する。１０１はカメラパラメ
ータ記憶部であり、ステレオカメラ２００で撮影した左
右画像データのカメラパラメータを記憶している。

【００１８】１１０は奥行き抽出部であり、ステレオカ
メラ２００から出力される左右画像データそれぞれの奥
行き分布を抽出して出力する。１０２はＣＧ操作部であ
り、ポインティングデバイスを介して合成するＣＧ画像
の向きや位置を指示する。

【００１９】１０３はＣＧパラメータ算出部であり、Ｃ
Ｇ操作部１０２のデータにしたがってＣＧ画像を生成す
るためのパラメータを算出する。１０４は着脱可能なメ
モリカード等からなるモデル記憶部であり、外部コンピ
ュータによりあらかじめ作成されたＣＧモデルのデータ
を記憶している。

【００２０】１０５はＣＧ画像生成部であり、モデル記
憶部１０４に記憶されているＣＧモデルの左右画像デー
タをＣＧパラメータ算出部１０３の出力に応じて生成す
る。

【００２１】１２０、１２１は画像合成部であり、被写
体画像データとＣＧ画像データを左右それぞれ合成して
出力する。１０６はステレオ画像合成部であり、２つの
画像合成部１２０、１２１から出力される合成画像デー
タを用いてステレオ画像データを生成し、表示メモリ１
０７に出力する。

【００２２】１０８は表示制御部であり、表示メモリ１
０７に記憶されたステレオ画像データを三次元表示装置
１３０で三次元画像として表示するように制御する。１
４０は画像記録部であり、ステレオ画像データを記録す
る。

【００２３】図２はステレオカメラ２００の構成を示す
ブロック図である。２０１、２０２は撮影レンズであ
り、２つの視点からステレオ画像を撮影する。２０３、
２０４は画像を電気信号として取り込むＣＣＤ等のイメ
ージセンサである。この２つの撮像系はそれぞれの撮像
レンズ２０１、２０２の光軸がイメージセンサ２０３、
２０４の水平方向に対して左右平行になるように配置さ
れている。

【００２４】２０５、２０６はイメージセンサ２０３、
２０４の画像の取り込みを制御する画像取り込み制御回
路である。２０７、２０８は画像信号処理部であり、イ
メージセンサ２０３、２０４からの電気信号を保持して
画像信号を生成し、その画像信号の利得を自動的に制御
し、階調補正を行って出力する。２０９、２１０はＡ／
Ｄ変換器であり、画像信号処理部２０７、２０８から出
力される画像信号をアナログディジタル変換し、ディジ
タル画像データを出力する。

【００２５】２１１、２１２は色信号処理回路であり、
Ａ／Ｄ変換器２０９、２１０から出力されるディジタル
画像データ（以下、単に画像データと称する）を、ＲＧ
Ｂ２４ビットを１画素として１画面分出力する。尚、撮
影レンズ２０１、２０２およびイメージセンサ２０３、
２０４などの構成要素は左右同一の特性のものから構成
されている。

【００２６】図３は三次元表示装置１３０の構成を示す
分解斜視図である。三次元表示装置１３０は本出願人が
先に提案したものであり（特願平８−１４８６１１
号）、つぎのように構成される。すなわち、図におい
て、１３１は表示メモリ１０７に記憶された画像を表示
する液晶表示素子である。１３２はバックライト、１３
３はスリット、１３４、１３５はレンチキュラレンズで
ある。

【００２７】バックライト１３２からの光はスリット１
３３、レンチキュラレンズ１３４、１３５を通って液晶
表示素子１３１を照明する。液晶表示素子１３１では適
当な観察範囲において、観察者は図中Ｌ、Ｒで示した左
画像、右画像をそれぞれ左目、右目に分離して観察する
ことができ、左右の画像に視差がある場合、液晶表示素
子１３１に表示された画像を立体画像として認識するこ
とができる。

【００２８】つぎに、上記構成を有する画像合成装置の
動作について説明する。本実施形態における画像合成装
置は、３つのモード、すなわちＣＧ画像と合成しないで
撮影中の被写体画像だけを三次元表示装置１３０に表示
して記録する通常モードと、撮影中の被写体画像とＣＧ
画像を合成した合成画像を三次元表示装置１３０に表示
しかつ撮影者がＣＧ画像を操作可能な合成モードと、被
写体画像とＣＧ画像を合成した合成画像を記録する記録
モードとを有する。

【００２９】まず、通常モードについて説明する。撮影
者が図示しないカメラの電源スイッチを入れると、画像
取り込み制御回路２０５は撮影レンズ２０１を通して、
イメージセンサ２０３に結像した被写体の右視点からの
画像を電気信号として取り込むように制御し、画像信号
処理部２０７、Ａ／Ｄ変換器２０９、色信号処理回路２
１１を介して、右画像データが得られる。同様に、画像
取り込み制御回路２０６は撮影レンズ２０２を通して、
イメージセンサ２０４に結像した被写体の左視点からの
画像を電気信号として取り込むように制御し、画像信号
処理部２０８、Ａ／Ｄ変換器２１０、色信号処理回路２
１２を介して、左画像データが得られる。

【００３０】このとき得られる２つの画像データは、図
示しない同期信号発生回路から出力される同期信号によ
り同じタイミングで撮影された画像データとしてステレ
オカメラ２００から出力される。

【００３１】ステレオカメラ２００から出力された画像
データは、画像合成部１２０、１２１に送られる。通常
モードでは画像合成部１２０、１２１は入力した画像デ
ータをそのままステレオ画像合成部１０６に出力する。
ステレオ画像合成部１０６は左右の画像データを合成し
て三次元表示装置１３０に表示すべきステレオ画像を生
成し、出力する。

【００３２】図４はステレオ画像合成部１０６の処理を
示す図である。同図（Ａ）、（Ｂ）はそれぞれステレオ
カメラ２００から出力された左画像データ、右画像デー
タである。同図（Ｃ）はステレオ画像合成部１０６で合
成されたステレオ画像である。ステレオ画像合成部１０
６では、同図（Ｃ）に示すように左右の画像データが水
平１ラインごとに組み合わされることにより、三次元表
示装置１３０に表示すべきステレオ画像（水平ストライ
プ画像とも称する）が生成される。そして、この水平ス
トライプ画像が表示メモリ１０７に書き込まれると、表
示制御部１０８により三次元表示装置１３０にステレオ
カメラ２００で撮影中の被写体画像が立体表示される。

【００３３】そして、撮影者は三次元表示装置１３０に
表示される立体画像を見ながら、フレーミングを行い、
図示しないシャッターボタンを押す。シャッターボタン
が押されると、ステレオ画像合成部１０６から出力され
る水平ストライプ画像は表示メモリ１０７でなく、画像
記録部１４０に書き込まれる。そして、画像記録部１４
０のデータが表示メモリ１０７に書き込まれて、表示制
御部１０８により三次元表示装置１３０に画像記録部１
４０に記録された画像データが立体表示される。

【００３４】つぎに、合成モードについて説明する。撮
影者が図示しない合成ボタンを押すと、ＣＧ画像生成部
１０５はモデル記憶部１０４が装着状態であることを確
認してモデル記憶部１０４に記憶されているＣＧモデル
のデータを読み込み、初期ＣＧパラメータにしたがって
ＣＧモデルの左右画像データを生成する。このアルゴリ
ズムについて説明する。

【００３５】まず、ＣＧ操作部１０２はＣＧパラメータ
算出部１０３に操作パラメータを出力する。ここで、操
作パラメータは、ＣＧモデルの向きを示す回転パラメー
タ（直交座標系の３つの座標軸の各軸周りの回転量を表
す値）と、ＣＧモデルの中心の左右画像でのそれぞれの
位置を示す位置パラメータ（水平、垂直方向の位置を表
す値）と、ＣＧモデルの画像中での大きさを制御する変
倍パラメータとから構成される。

【００３６】ステレオカメラ２００の２つの撮像系はそ
れぞれの撮像レンズ２０１、２０２の光軸がイメージセ
ンサの水平方向に対して左右平行になるように配置され
ているので、操作パラメータの２つの位置パラメータの
うち、垂直方向の位置パラメータは左右同一の値とな
る。

【００３７】初期動作時には、ＣＧ操作部１０２から出
力される操作パラメータの代わりにＣＧパラメータ算出
部１０３は初期操作パラメータを生成する。この初期操
作パラメータでは、ＣＧモデルの向きを示す回転パラメ
ータはＣＧモデルの正面を表す向きに生成される。ま
た、ＣＧモデルの中心の左右画像でのそれぞれの位置を
示す位置パラメータは、左右画像内でＣＧ画像の大きさ
が所定の面積（例えば、全画像領域の１／４）であり、
左右画像内でのＣＧ画像の位置が所定の視差を持ち、画
像中心に対して対称となる位置に生成される。

【００３８】そして、操作パラメータの変倍パラメータ
を用いる代わりに、ＣＧモデルの大きさを示す倍率パラ
メータが、カメラパラメータ記憶部１０１に記憶されて
いるカメラパラメータとＣＧモデルの大きさと位置パラ
メータにおける左右画像の視差とから算出されて設定さ
れる。このとき、ＣＧモデルの大きさはモデル記憶部１
０４に記憶されているＣＧモデルの三次元構造から算出
される。

【００３９】ＣＧパラメータ算出部１０３はＣＧ操作部
１０２から出力される操作パラメータとカメラパラメー
タ記憶部１０１に記憶されているカメラパラメータとか
らＣＧパラメータを算出する。

【００４０】ここで、カメラパラメータは、２つの撮像
系のレンズ中心（視点）間での距離（以下、基線長と称
する）、撮像系の焦点距離（撮像系の光軸に沿った視点
から撮像面までの距離）、および画像データの画素間隔
のデータから構成される。

【００４１】また、ＣＧパラメータは、ＣＧモデルの３
次元回転マトリクス、ＣＧモデルの空間位置を示す位置
パラメータ、および被写体画像空間におけるＣＧモデル
の大きさとモデル記憶部１０４に記憶されているＣＧモ
デルの大きさとの比を示す倍率パラメータから構成され
る。

【００４２】ここで、ＣＧモデルの空間位置を示す位置
パラメータは、ステレオカメラ２００の左右撮像系のレ
ンズ中心とＣＧモデルとのそれぞれの相対位置関係を表
しており、２つの左右位置パラメータからなる。また、
回転マトリクスは操作パラメータの回転パラメータから
算出される。さらに、左右位置パラメータは、それぞれ
操作パラメータの位置パラメータと位置パラメータのう
ち水平方向の位置の差（すなわち視差を表すパラメー
タ）およびカメラパラメータから算出される。また、倍
率パラメータはあらかじめＣＧパラメータ算出部１０３
が持つ倍率パラメータに変倍パラメータが乗算して得ら
れる。

【００４３】ＣＧ画像生成部１０５は、モデル記憶部１
０４から読み込んだＣＧモデルのデータを、ＣＧモデル
の大きさを示す倍率パラメータにしたがって被写体空間
における大きさに変換し、それぞれＣＧパラメータの回
転マトリクスと位置パラメータに従い、ＣＧモデルの回
転、移動の変換を行った後、カメラパラメータの焦点距
離および画素間隔のデータを用いて透視投影を行うこと
により、左右のＣＧ画像データを生成する。

【００４４】図５は透視投影の様子を示す図である。
Ｌ、Ｒはそれぞれ基線長分だけ離れた左右撮像系の視点
であり、ＩＬ、ＩＲはＣＧモデルに対する左右のＣＧ画
像である。そして、この２つのＣＧ画像データをそれぞ
れ画像合成部１２０、１２１に出力する。画像合成部１
２０、１２１はそれぞれステレオカメラ２００で撮影中
の被写体画像データにＣＧ画像データを合成する。

【００４５】図６は図４（Ａ）、（Ｂ）の被写体画像に
ＣＧ画像データを合成した様子を示す図である。合成モ
ードにおいてはＣＧ画像は被写体画像に上書きされて合
成される（図６（Ａ）、（Ｂ）参照）。そして、画像合
成部１２０、１２１から出力される合成画像は、通常モ
ードと同様の処理により水平ストライプ画像に合成され
て三次元表示装置１３０に立体表示される。このとき、
合成したＣＧ画像データは、前述したように被写体画像
撮影時のカメラパラメータを用いて透視投影により生成
したものであるので、立体表示された合成画像の立体感
は、被写体の立体感に対して違和感がない。

【００４６】撮影者は三次元表示装置１３０に表示され
る立体画像を見ながら、ＣＧ操作部１０２のインターフ
ェースを介して３Ｄ操作を行う。すなわち、撮影者はポ
インティングデバイスによって、三次元表示装置１３０
に表示されているＣＧ画像の回転、移動、変倍の指示を
行い、指示されたデータの分だけ変位した操作パラメー
タがＣＧ操作部１０２から出力される。

【００４７】そして、変更後の操作パラメータに基づく
ＣＧ画像がＣＧ画像生成部１０５で生成され、ステレオ
カメラ２００で撮影中の被写体画像データと合成された
後、再び、三次元表示装置１３０に立体表示される。

【００４８】このような動作により、合成モードにおい
て撮影中の被写体画像とＣＧ画像とを合成したステレオ
画像が三次元表示装置１３０で立体表示され、撮影者が
ＣＧ操作部１０２によりインタラクティブにＣＧモデル
を操作することができる。

【００４９】つぎに、記録モードについて説明する。記
録モードは合成モード中にシャッターボタンが押される
ことにより動作する。シャッターボタンが押されるとス
テレオカメラ２００から出力される画像データは奥行き
抽出部１１０内の画像メモリに記憶される。

【００５０】図７は奥行き抽出部１１０の構成を示すブ
ロック図である。奥行き抽出部１１０は画像メモリ１１
１、１１２、対応抽出部１１３、領域分割部１１４、１
１５および奥行き算出部１１６から構成される。

【００５１】奥行き抽出部１１０では、画像メモリ１１
１および画像メモリ１１２にそれぞれ記憶された右画像
データおよび左画像データを用いて、対応抽出部１１３
は基準となる右画像を矩形の小領域に分割し、各領域ご
とに左画像の対応する領域を探索する。

【００５２】図８は右画像の各領域毎に対応する左画像
の領域を探索する様子を示す図である。同図（Ｂ）は右
画像であり、破線で示した小領域に分割されている。こ
のとき、各領域に対する探索範囲を、カメラパラメータ
記憶部１０１に記憶されているカメラパラメータからあ
らかじめ推定しておく。例えば、同図（Ａ）に示す右画
像中の太い実線で示される領域に対し、同図（Ｂ）に示
す左画像中の矩形領域を探索範囲とし、その中で最も画
像データの差の小さい領域を対応する領域として抽出す
る。そして、各領域に対応する抽出結果を視差データと
して出力する。

【００５３】一方、領域分割部１１４、１１５は画像デ
ータからエッジ部分を抽出し、抽出されたエッジ部分を
境界として、画像データの類似性を基に被写体領域毎に
画像を分割する。図９は図４（Ａ）に示す左画像に対す
る領域分割を行った結果を示す図である。左画像はＡ、
Ｂ、Ｃ、Ｄの４つの領域に分割されている。

【００５４】奥行き算出部１１６は領域分割部１１４、
１１５の出力である領域分割された各被写体領域に対
し、対応抽出部１１３から出力される視差データを基
に、平均視差を計算し、カメラパラメータを用いて奥行
き（撮像系のカメラ中心から光軸に沿った被写体までの
距離）に変換し、左右の奥行きマップを出力する。これ
らの奥行きマップは被写体領域に分割された画像データ
に算出された奥行きが割り当てられたものである。例え
ば、図９に示す被写体領域Ａ、Ｃ、Ｄには遠距離が、被
写体領域Ｂには近距離が奥行きとして割り当てられる。
このように、奥行き抽出部１１０は画像合成部１２０、
１２１に対してそれぞれ画像データと奥行きマップを出
力する。

【００５５】ＣＧ画像生成部１０５は、左右ＣＧ画像デ
ータと共に、ＣＧ画像データ生成時に用いたＣＧモデ
ル、ＣＧパラメータ、カメラパラメータに基づき、奥行
き抽出部１１０から出力される奥行きマップと等価な左
右２つのＣＧ画像データそれぞれに対する奥行きマップ
を作成し、画像合成部１２０、１２１に出力する。これ
らのＣＧ画像に対する奥行きマップはＣＧモデル以外の
領域では無限遠の値をとる。

【００５６】画像合成部１２０、１２１は、それぞれ一
時的に奥行き抽出部１１０の画像メモリ１１１、１１２
に記憶された画像データとＣＧ画像生成部１０５から出
力されたＣＧ画像データを、奥行き抽出部１１０から出
力された被写体画像に対する奥行きマップとＣＧ画像生
成部１０５から出力されたＣＧ画像に対する奥行きマッ
プを用いて比較し、ＣＧモデル内の領域においては奥行
きの近い画像を選択して合成し、出力する。

【００５７】図１０は図４（Ａ）に示す左画像に左ＣＧ
画像を合成した画像を示す図である。本実施形態では、
ＣＧモデルが中間距離に位置しており、図６（Ａ）に示
した合成モードにおける合成画像に対して隠蔽関係が修
正されている。

【００５８】そして、通常モードと同様の処理により、
ステレオカメラ２００で撮影した被写体画像とＣＧ画像
を合成した水平ストライプ画像は画像記録部１４０に書
き込まれ、三次元表示装置１３０に立体表示される。

【００５９】このような動作により、撮影者は立体映像
に簡単にＣＧ画像を合成することができる。そして、Ｃ
Ｇ画像を生成するときのＣＧパラメータとしてカメラで
撮影したときのカメラパラメータを用いたので、違和感
のない立体映像に合成することができる。また、撮影し
たステレオ画像中の奥行きを利用することにより、自然
な隠蔽関係の合成画像が得られる。

【００６０】本実施形態では、合成モードでは被写体画
像にＣＧ画像を重ねて合成して表示し、記録モードで奥
行きを利用し、隠蔽関係を考慮して合成するようにした
ので、撮影者は常にＣＧ画像の全体を見て操作すること
ができる。尚、合成モードにおいて、奥行きを利用し、
隠蔽関係を考慮して合成するようにしてもよい。このと
き、撮影者がＣＧモデルを３Ｄ操作する際、自然な隠蔽
関係の合成画像をインタラクティブに三次元表示装置で
見ることができる。

【００６１】また、本実施形態のように、奥行き抽出を
画面全体で行わないで、ＣＧモデルの領域内だけで奥行
き抽出を行うようにしてもよい。左右被写体画像間での
対応抽出領域を限定できるので、この処理を軽減でき
る。

【００６２】さらに、本実施形態では、ステレオカメラ
の撮像系のフォーカス位置が可変な撮像系を持つ場合に
は、カメラパラメータのうち焦点距離をフォーカス位置
に対応したものを用いてＣＧパラメータを算出し、ＣＧ
画像生成、奥行き抽出の各処理を行うようにする。この
とき、カメラパラメータをカメラパラメータ記憶部で保
持する代わりにステレオカメラから出力するようにす
る。

【００６３】また、本実施形態では、ステレオカメラの
２つの撮像系のそれぞれの撮像レンズの光軸が左右平行
に配置されている場合について説明したが、光軸が所定
の距離において交差するように輻輳をつけた構成にして
もよいし、輻輳角を変更可能な構成にしてもよい。

【００６４】輻輳角を変更可能な構成にした場合、より
広い距離範囲において左右画像の重複する領域を確保で
き、立体視可能となる。光軸に輻輳をつけた構成にした
場合、カメラパラメータ記憶部に輻輳角の値を記憶して
おき、ＣＧパラメータ算出、ＣＧ画像生成、奥行き抽出
の各処理で輻輳角のパラメータを利用する。

【００６５】また、輻輳角を変更可能な構成にした場
合、撮影時の輻輳角の値をカメラパラメータとしてステ
レオカメラから出力するようにする。これらのカメラパ
ラメータとして、キーボードなどの入力部を外部に設
け、あらかじめ測定した値を入力することにより設定し
てもよい。あるいは、あらかじめ三次元構造の既知な補
正チャートをステレオカメラで撮影し、特徴点の画像中
での位置から焦点距離を、左右画像データ間での特徴点
の対応から基線長、輻輳角などの左右撮像系間の位置関
係に関するパラメータを算出し、ＣＧパラメータ算出、
ＣＧ画像生成、奥行き抽出の各処理に用いるようにして
もよい。

【００６６】さらに、本実施形態では、ステレオカメラ
の撮像レンズの焦点距離や絞り値が変更可能な場合、被
写体画像は奥行きに応じてぼけ量が変わるが、特に焦点
距離が長い場合や絞り径が大きい場合には、ぼけ量の変
化が顕著になるので、ＣＧモデルを生成する場合、撮像
レンズの焦点距離や絞り値に合わせてぼかしたＣＧ画像
を生成し、被写体画像と合成することにより、より自然
な合成画像を得ることができる。この場合、焦点距離、
絞り値をカメラパラメータとしてステレオカメラから出
力するようにし、ＣＧ画像生成処理でカメラパラメータ
に応じたぼけ量を持つＣＧ画像を生成するようにする。

【００６７】また、ステレオカメラで撮影した被写体画
像の明るさや色は撮像系の絞り値、画像信号処理部や色
信号処理回路の処理パラメータに応じて変わるが、ＣＧ
モデルを生成する場合にも、撮像系の絞り値、画像信号
処理部や色信号処理回路の処理パラメータに合わせて生
成するＣＧ画像の明るさや色を調整し、被写体画像と合
成することにより、より自然な合成画像を得ることがで
きる。この場合、撮像系の絞り値、画像信号処理部や色
信号処理回路の処理パラメータをカメラパラメータとし
てステレオカメラから出力するようにし、ＣＧ画像生成
処理でカメラパラメータに応じて生成するＣＧ画像の明
るさや色を調整するようにする。

【００６８】［第２の実施の形態］図１１は第２の実施
形態の画像合成装置の構成を示すブロック図である。図
において、図１および図７と同じ記号を有するものはほ
ぼ同等の機能を有する。

【００６９】３００は記録媒体であり、カメラで撮影、
記録した左右視点での右画像データ、左画像データ、左
右画像の対応抽出の結果得られる視差データ、撮影時の
カメラパラメータを記録している。

【００７０】画像合成装置の動作を説明する。まず、Ｃ
Ｇ操作部１０２はＣＧパラメータ算出部１０３に操作パ
ラメータを出力する。前記第１の実施形態の画像合成装
置と同様に、ＣＧパラメータ算出部１０３は、ＣＧ操作
部１０２から出力される操作パラメータと記録媒体３０
０に記憶されているカメラパラメータとからＣＧパラメ
ータを算出する。ＣＧパラメータ算出部１０３は、初期
動作時に初期操作パラメータを内部で生成してＣＧパラ
メータを算出する。

【００７１】ＣＧ画像生成部１０５は、モデル記憶部１
０４から読み込んだＣＧモデルのデータに対し、ＣＧモ
デルの大きさを倍率パラメータに従って被写体空間にお
ける大きさに変換し、それぞれＣＧパラメータの回転マ
トリクスと位置パラメータに従い、ＣＧモデルの回転、
移動の変換を行った後、カメラパラメータの焦点距離お
よび画素間隔のデータを用いて透視投影を行うことによ
り、左右のＣＧ画像データを得る。そして、左右の２つ
のＣＧ画像データをそれぞれ画像合成部１２０、１２１
に出力する。画像合成部１２０、１２１はそれぞれ記録
媒体３００に記憶されている左右画像データにＣＧ画像
データを合成する。

【００７２】ステレオ画像合成部１０６では、左右画像
データが水平１ラインごとに組み合わされ、三次元表示
装置１３０に表示すべきステレオ画像が生成される。そ
して、この水平ストライプ画像が表示メモリ１０７に書
き込まれ、表示制御部１０８により三次元表示装置１３
０にステレオカメラ２００で撮影中の被写体画像が立体
表示される。

【００７３】このような動作により、記録媒体３００に
記録された左右ステレオ画像とＣＧ画像とを合成したス
テレオ画像が三次元表示装置１３０で立体表示され、使
用者はＣＧ操作部１０２によりインタラクティブにＣＧ
モデルを操作することができる。

【００７４】そして、ＣＧモデルの向きや位置、大きさ
が決定されると、使用者は図示しない合成記録ボタンを
押し、前記第１の実施形態の画像合成装置と同様、画像
中の被写体とＣＧモデルの隠蔽関係が奥行きを利用して
修正される。つづいて、この動作を説明する。

【００７５】まず、領域分割部１１４、１１５は記録媒
体３００に記録されている左右画像データからエッジ部
分を抽出し、抽出されたエッジ部分を境界として、画像
データの類似性を基に被写体領域毎に画像を分割する。

【００７６】そして、奥行き算出部１１６は領域分割部
１１４、１１５の出力である領域分割された各被写体領
域に対して、記録媒体３００に記録されている視差デー
タを基に平均視差を計算し、カメラパラメータを用いて
奥行きに変換し、左右の奥行きマップを出力する。

【００７７】また、ＣＧ画像生成部１０５は、左右のＣ
Ｇ画像データと共に、それぞれのＣＧ画像に対する奥行
きマップを作成し、画像合成部１２０、１２１に出力す
る。画像合成部１２０、１２１は、それぞれ記録媒体３
００に記録されている左右画像データとＣＧ画像生成部
１０５から出力されたＣＧ画像データを、奥行き算出部
１１６から出力された被写体画像に対する奥行きマップ
とＣＧ画像生成部１０５から出力されたＣＧ画像に対す
る奥行きマップを用いて比較し、ＣＧモデル内の領域に
おいては奥行きの近い画像を選択して合成し、出力す
る。

【００７８】そして、画像合成部１２０、１２１の出力
である合成画像から水平ストライプ画像がステレオ画像
合成部１０６で合成され、画像記録部１４０に書き込ま
れると、三次元表示装置１３０に立体表示される。

【００７９】本実施形態では、あらかじめ記録された左
右のステレオ画像にＣＧモデルを合成した水平ストライ
プ画像を静止画として記録し、三次元表示装置で立体表
示する場合を示したが、被写体空間中で使用者が決定し
た大きさのＣＧモデルの複数の向き、位置から画像を生
成し、合成することで左右のステレオ画像とＣＧモデル
とのアニメーション画像を生成することも可能である。

【００８０】この場合、画像合成装置は、ＣＧ操作部１
０２で指定された複数のＣＧモデルのＣＧパラメータの
うち、向き、位置に従ったＣＧパラメータを複数記憶し
ておくＣＧパラメータ記憶部と、複数記憶されたＣＧパ
ラメータからＣＧモデルの軌跡を補間して出力する軌跡
算出部とを備え、軌跡算出部のそれぞれのＣＧパラメー
タに従ってＣＧ画像生成部がＣＧ画像を生成するように
することで実現される。

【００８１】上記実施形態では、モデル記憶部にＣＧモ
デルが１つ記憶されている場合について説明したが、複
数のＣＧモデルが記憶されていてもよい。その場合、例
えば三次元表示装置の表示部の周辺領域に複数のモデル
を一覧表示し、撮影者がポインティングデバイス等で選
択するようにしてもよい。また、被写体画像へ合成可能
なＣＧモデルも１つに限定せず、複数であってもよい。

【００８２】また、上記実施形態では、画像記録部にお
いて水平ストライプ画像を記録するようにしたが、ステ
レオ合成する前の複数の画像合成部の出力画像を記録す
るようにしてもよい。

【００８３】さらに、上記実施形態では、図３に示した
三次元表示装置で立体画像を表示する構成としたが、左
右の画像を時間的に交互に表示して、表示に同期した液
晶シャッター眼鏡をかけて観察することにより、左右画
像をそれぞれ左目、右目で分離して観察可能な三次元表
示装置で立体画像を表示する構成としてもよい。この場
合、２つの画像合成部の出力画像を２つの表示メモリに
書き込み、表示制御部で表示メモリ内のデータを時間的
に切り替えて表示する。

【００８４】また、上記実施形態では、ハードウェアで
構成することを前提に説明したが、各処理部をソフトウ
ェアの処理モジュールに置き換えたプログラムを、コン
ピュータで実行して処理を行うようにしてもよく、つぎ
に第１の実施形態と同様の画像合成装置をソフトウェア
の処理モジュールで実現した場合を、第３の実施形態と
してつぎに説明する。

【００８５】［第３の実施の形態］図１２は第３の実施
形態における画像合成装置の構成を示すブロック図であ
る。第３の実施形態の画像合成装置では、前記第１の実
施形態における画像合成部１２０、１２１、ＣＧ画像生
成部１０５、ＣＧパラメータ算出部１０３、ステレオ画
像合成部１０６および奥行き抽出部１１０の機能をソフ
トウェアの処理モジュールで代替するために、これらの
ハードウェアの代わりにＣＰＵ３０１、ＲＯＭ３０２、
ＲＡＭ３０３、Ｉ／Ｏ３０４が付加されている。前記第
１の実施形態と同一の構成要素に同一の番号を付すこと
によりその説明を省略する。

【００８６】図１３は画像合成処理プログラムが格納さ
れたＲＯＭ３０２のメモリマップを示す図である。ＲＯ
Ｍ３０２には、画像合成処理プログラムを構成する複数
の処理モジュールが格納されている。複数の処理モジュ
ールには、ＣＧ画像生成モジュール、ＣＧパラメータ算
出モジュール、画像合成モジュール、ステレオ画像合成
モジュール、奥行き抽出モジュールが含まれており、奥
行き抽出モジュールは対応抽出モジュール、領域分割モ
ジュール、奥行き算出モジュールから構成されている。

【００８７】第３の実施形態の画像合成装置において
も、前記第１の実施形態の画像合成装置と同様に通常モ
ード、合成モード、記録モードの各動作を行うが、ここ
では、合成モードおよび記録モード動作についてだけ説
明する。

【００８８】図１４はＣＰＵ３０１によって実行される
画像合成処理プログラムのうち合成モードの処理手順を
示すフローチャートである。この処理は、撮影者によっ
て図示しない合成ボタンが押されることにより開始され
る。まず、ＣＰＵ３０１は、モデム記憶部１０４が装着
状態であることを確認し、モデル記憶部１０４に記憶さ
れているＣＧモデルのデータを読み込み、初期ＣＧパラ
メータにしたがってＣＧモデルの左右画像データを生成
する（ステップＳ１、ＣＧ画像生成モジュール）。

【００８９】ＣＣ操作部１０２からの操作パラメータを
入力する（ステップＳ２）。ＣＧ操作部１０２から入力
した操作パラメータとカメラパラメータ記憶部１０１に
記憶されているカメラパラメータからＣＧパラメータを
算出する（ステップＳ３、ＣＧパラメータ算出モジュー
ル）。

【００９０】モデル記憶部１０４から読み込んだＣＧモ
デルのデータに対し、ＣＧモデルの大きさを倍率パラメ
ータにしたがって被写体空間における大きさに変換し、
それぞれＣＧパラメータの回転マトリクスと位置パラメ
ータに従い、ＣＧモデルの回転、移動の変換を行った
後、カメラパラメータの焦点距離および画素間隔のデー
タを用いて透視投影を行うことにより左右のＣＧ画像デ
ータを生成する（ステップＳ４、ＣＧ画像生成モジュー
ル）。

【００９１】生成されたＣＧ画像データをそれぞれステ
レオカメラ２００で撮影中の被写体画像データに合成す
る（ステップＳ５、画像合成モジュール）。

【００９２】ＣＧ画像データが被写体画像データに合成
された左右の合成画像データを用いて、ステレオ画像デ
ータ（水平ストライプ画像データ）を生成し、生成した
水平ストライプ画像データを表示メモリ１０７に出力す
ることにより、三次元表示装置１３０に立体表示が行わ
れる（ステップＳ６、ステレオ画像合成モジュール）。

【００９３】撮影者によってＣＧ操作部１０２が操作さ
れるのを待ち（ステップＳ７）、操作されると、ステッ
プＳ２の処理に戻る。

【００９４】つぎに、記録モードの動作について説明す
る。図１５はＣＰＵ３０１によって実行される画像合成
処理プログラムのうち記録モードの処理手順を示すフロ
ーチャートである。この処理は合成モード中、図示しな
いシャッタボタンが押されることにより開始される。

【００９５】まず、ＣＰＵ３０１は、ステレオカメラ２
００の出力画像データをＲＡＭ３０３に記憶し、ＲＡＭ
３０３に記憶された右画像データおよび左画像データか
ら、基準となる右画像を矩形の小領域に分割し、各領域
毎に左画像の対応する領域を探索し、各領域における対
応の抽出結果を視差データとして得る（ステップＳ１
１、対応抽出モジュール）。

【００９６】画像データからエッジ部分を抽出し、抽出
されたエッジ部分を境界として画像データの類似性を基
に被写体領域毎に画像を分割する（ステップＳ１２、領
域分割モジュール）。

【００９７】領域分割された各被写体領域に対して、ス
テップＳ１１の視差データを基に、平均視差を計算し、
カメラパラメータを用いて奥行き（撮像系のカメラ中心
から光軸に沿った被写体までの距離）に変換し、左右の
奥行きマップを得る（ステップＳ１３、奥行き算出モジ
ュール）。

【００９８】左右のＣＧ画像データと共に、ＣＧ画像デ
ータ生成時に用いたＣＧモデルとＣＧパラメータ、カメ
ラパラメータから、ステップＳ１３で得られた奥行きマ
ップと等価な２つのＣＧ画像それぞれに対する奥行きマ
ップを作成する（ステップＳ１４、ＣＧ画像生成モジュ
ール）。

【００９９】ＲＡＭ３０３に記憶された画像データとス
テップＳ１４で作成されたＣＧ画像データを、被写体画
像に対する奥行きマップとＣＧ画像に対する奥行きマッ
プを用いて比較し、ＣＧモデル内の領域においては奥行
きの近い画像を選択して合成する（ステップＳ１５、画
像合成モジュール）。

【０１００】ステレオカメラ２００で撮影した被写体画
像とＣＧ画像とを合成した左右の合成画像を用いて、水
平ストライプ画像データを合成して画像記録部１４０に
記録することにより、三次元表示装置１３０に立体表示
が行われる（ステップＳ１６、ステレオ画像合成モジュ
ール）。

【０１０１】このように、ソフトウェアの処理モジュー
ルにより画像合成を行う画像合成装置では、前記第１の
実施形態と同様の効果を得ることができる他、各処理モ
ジュールの機能の変更、追加を容易に行うことができ、
画像合成装置の汎用性を高めることができる。

【０１０２】尚、本発明は複数の機器から構成されるシ
ステムに適用してもよいし、１つの機器からなる装置に
適用してもよい。また、本発明はシステムあるいは装置
にプログラムを供給することによって達成される場合に
も適用できることはいうまでもない。この場合、本発明
を達成するためのソフトウェアによって表されるプログ
ラムを格納した記憶媒体をシステムあるいは装置に読み
出すことによってそのシステムあるいは装置が本発明の
効果を享受することが可能となる。

【０１０３】本実施の形態では、記憶媒体としてＲＯＭ
３０２が用いられているが、記憶媒体としては、これに
限らず、例えばフロッピーディスク、ハードディスク、
光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−
Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカードなど
を用いることができる。

【０１０４】

【発明の効果】本発明の請求項１に記載の画像合成装置
によれば、表示手段により異なる視点で撮影された視野
の重なる複数の被写体画像を立体視表示する際、モデル
情報記憶手段により三次元構造を表すモデル情報を記憶
しておき、該記憶されたモデル情報の向き、位置を含む
操作パラメータと、前記複数の被写体画像の少なくとも
撮影時のカメラの焦点距離と視点間の距離を含むカメラ
パラメータとを用いて、算出手段により前記モデル情報
の回転、移動を算出し、画像生成手段により該回転、移
動が算出されたモデル情報の画像を透視投影によって複
数生成し、画像合成手段により該生成された複数のモデ
ル情報の画像と前記複数の被写体画像とを合成し、該合
成された画像を前記表示手段によって立体視表示するの
で、立体映像に簡単にＣＧ画像を合成し、立体感に違和
感のない合成した立体映像を得ることができる。また、
請求項４に記載の画像合成方法においても同様の効果を
得ることができる。

【０１０５】請求項２に記載の画像合成装置によれば、
表示手段により複数の撮像系で撮影された複数の被写体
画像を立体視表示する際、モデル情報記憶手段により三
次元構造を表すモデル情報を記憶しておき、該記憶され
たモデル情報の向き、位置を含む操作パラメータと、前
記複数の撮像系の焦点距離、視点間の距離を含むカメラ
パラメータとを用いて、算出手段により前記モデル情報
の回転、移動を算出し、画像生成手段により該回転、移
動が算出されたモデル情報の画像を透視投影によって複
数生成し、画像合成手段により該生成された複数のモデ
ル情報の画像と前記複数の被写体画像とを合成し、該合
成された画像を前記表示手段によって立体視表示するの
で、請求項１に係る画像合成装置と同等の効果を得るこ
とができる。また、複数の撮像系を備えているので、立
体映像の撮影を容易に行うことができ、しかも、撮影時
のカメラパラメータをそのまま利用できるので、ＣＧ画
像との合成を容易に実現することができる。

【０１０６】請求項３に記載の画像合成装置によれば、
奥行き抽出手段によって前記複数の被写体画像の視差に
より該被写体画像の奥行きを抽出し、前記画像合成手段
は、該抽出された被写体画像の奥行きに基づき、前記生
成されたモデル情報の画像と前記被写体画像とを合成す
るので、視差から求めた被写体画像の奥行きと生成した
ＣＧモデルの奥行きとを比較することにより、撮影した
画像の被写体とＣＧモデルか重なる場合にも合成した立
体映像の隠蔽関係に違和感のない立体映像を得ることが
できる。請求項５の画像合成方法においても同様の効果
を得ることができる。

【０１０７】請求項６に記載の記憶媒体によれば、異な
る視点で撮影された視野の重なる複数の被写体画像とコ
ンピュータで作成された三次元情報を表すモデル画像と
を合成する際、前記モデル情報の向き、位置を含む操作
パラメータと、前記複数の撮像系の焦点距離、視点間の
距離を含むカメラパラメータとを用いて、前記モデル情
報の回転、移動を算出するパラメータ算出モジュール
と、該回転、移動が算出されたモデル情報の画像を透視
投影によって複数生成する画像生成モジュールと、該生
成された複数のモデル情報の画像と前記複数の被写体画
像とを合成する画像合成モジュールとを含むコンピュー
タに実行させるためのプログラムが格納されているの
で、立体映像に簡単にＣＧ画像を合成し、立体感に違和
感のない合成した立体映像をコンピュータの処理により
得ることができる。また、各処理モジュールの機能の変
更、追加を容易に行うことができ、画像合成装置の汎用
性を高めることができる。

【０１０８】請求項７に記載の記憶媒体によれば、前記
複数の被写体画像の視差により該被写体画像の奥行きを
抽出する奥行き抽出モジュールを含み、前記画像を合成
する画像合成モジュールでは、該抽出された被写体画像
の奥行きに基づき、前記生成されたモデル情報の画像と
前記被写体画像とを合成するので、視差から求めた被写
体画像の奥行きと生成したＣＧモデルの奥行きとを比較
することによって撮影した画像の被写体とＣＧモデルが
重なる場合にも合成した立体映像の隠蔽関係に違和感の
ない立体映像をコンピュータの処理により得ることがで
きる。

【図面の簡単な説明】

【図１】第１の実施形態における画像合成装置の構成を
示すブロック図である。

【図２】ステレオカメラ２００の構成を示すブロック図
である。

【図３】三次元表示装置１３０の構成を示す分解斜視図
である。

【図４】ステレオ画像合成部１０６の処理を示す図であ
る。

【図５】透視投影の様子を示す図である。

【図６】図４（Ａ）、（Ｂ）の被写体画像にＣＧ画像デ
ータを合成した様子を示す図である。

【図７】奥行き抽出部１１０の構成を示すブロック図で
ある。

【図８】右画像の各領域毎に対応する左画像の領域を探
索する様子を示す図である。

【図９】図４（Ａ）に示す左画像に対する領域分割を行
った結果を示す図である。

【図１０】図４（Ａ）に示す左画像に左ＣＧ画像を合成
した画像を示す図である。

【図１１】第２の実施形態の画像合成装置の構成を示す
ブロック図である。

【図１２】第３の実施形態における画像合成装置の構成
を示すブロック図である。

【図１３】画像合成処理プログラムが格納されたＲＯＭ
３０２のメモリマップを示す図である。

【図１４】ＣＰＵ３０１によって実行される画像合成処
理プログラムのうち合成モードの処理手順を示すフロー
チャートである。

【図１５】ＣＰＵ３０１によって実行される画像合成処
理プログラムのうち記録モードの処理手順を示すフロー
チャートである。

【符号の説明】

１０１ カメラパラメータ記憶部 １０２ ＣＧ操作部 １０３ ＣＧパラメータ算出部 １０５ ＣＧ画像生成部 １０６ ステレオ画像合成部 １１０ 奥行き抽出部 １２０、１２１ 画像合成部 ２００ ステレオカメラ ３００ 記録媒体 ３０１ ＣＰＵ ３０２ ＲＯＭ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 倉橋 直 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 森 克彦 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 異なる視点で撮影された視野の重なる複
   数の被写体画像を立体視表示することが可能な表示手段
   を備えた画像合成装置において、 三次元構造を表すモデル情報を記憶するモデル情報記憶
   手段と、 該記憶されたモデル情報の向き、位置を含む操作パラメ
   ータと、前記複数の被写体画像の少なくとも撮影時のカ
   メラの焦点距離と視点間の距離を含むカメラパラメータ
   とを用いて、前記モデル情報の回転、移動を算出する算
   出手段と、 該回転、移動が算出されたモデル情報の画像を透視投影
   によって複数生成する画像生成手段と、 該生成された複数のモデル情報の画像と前記複数の被写
   体画像とを合成する画像合成手段とを備え、 該合成された画像を前記表示手段によって立体視表示す
   ることを特徴とする画像合成装置。
2. 【請求項２】 複数の撮像系と、 該複数の撮像系で撮影された複数の被写体画像を立体視
   表示することが可能な表示手段とを備えた画像合成装置
   において、 三次元構造を表すモデル情報を記憶するモデル情報記憶
   手段と、 該記憶されたモデル情報の向き、位置を含む操作パラメ
   ータと、前記複数の撮像系の焦点距離、視点間の距離を
   含むカメラパラメータとを用いて、前記モデル情報の回
   転、移動を算出する算出手段と、 該回転、移動が算出されたモデル情報の画像を透視投影
   によって複数生成する画像生成手段と、 該生成された複数のモデル情報の画像と前記複数の被写
   体画像とを合成する画像合成手段とを備え、 該合成された画像を前記表示手段によって立体視表示す
   ることを特徴とする画像合成装置。
3. 【請求項３】 前記複数の被写体画像の視差により該被
   写体画像の奥行きを抽出する奥行き抽出手段を備え、 前記画像合成手段は、該抽出された被写体画像の奥行き
   に基づき、前記生成されたモデル情報の画像と前記被写
   体画像とを合成することを特徴とする請求項１または請
   求項２記載の画像合成装置。
4. 【請求項４】 異なる視点で撮影された視野の重なる複
   数の被写体画像とコンピュータで作成された三次元情報
   を表すモデル画像とを合成する画像合成方法において、 前記三次元構造を表すモデル情報を記憶しておく工程
   と、 該記憶されたモデル情報の向き、位置を含む操作パラメ
   ータと、前記複数の撮像系の焦点距離、視点間の距離を
   含むカメラパラメータとを用いて、前記モデル情報の回
   転、移動を算出する工程と、 該回転、移動が算出されたモデル情報の画像を透視投影
   によって複数生成する工程と、 該生成された複数のモデル情報の画像と前記複数の被写
   体画像とを合成する工程と、 該合成された画像を立体視表示する工程とを備えたこと
   を特徴とする画像合成方法。
5. 【請求項５】 前記複数の被写体画像の視差により該被
   写体画像の奥行きを抽出する工程を備え、 前記画像を合成する工程では、該抽出された被写体画像
   の奥行きに基づき、前記生成されたモデル情報の画像と
   前記被写体画像とを合成することを特徴とする請求項４
   記載の画像合成方法。
6. 【請求項６】 異なる視点で撮影された視野の重なる複
   数の被写体画像とコンピュータで作成された三次元情報
   を表すモデル画像とを合成する際、 前記モデル情報の向き、位置を含む操作パラメータと、
   前記複数の撮像系の焦点距離、視点間の距離を含むカメ
   ラパラメータとを用いて、前記モデル情報の回転、移動
   を算出するパラメータ算出モジュールと、 該回転、移動が算出されたモデル情報の画像を透視投影
   によって複数生成する画像生成モジュールと、 該生成された複数のモデル情報の画像と前記複数の被写
   体画像とを合成する画像合成モジュールとを含むコンピ
   ュータに実行させるためのプログラムが格納されたこと
   を特徴とする記憶媒体。
7. 【請求項７】 前記複数の被写体画像の視差により該被
   写体画像の奥行きを抽出する奥行き抽出モジュールを含
   み、 前記画像を合成する画像合成モジュールでは、該抽出さ
   れた被写体画像の奥行きに基づき、前記生成されたモデ
   ル情報の画像と前記被写体画像とを合成する前記プログ
   ラムが格納されたことを特徴とする請求項６記載の記憶
   媒体。