JP4144960B2 - 撮像装置及び画像合成装置並びに方法 - Google Patents
撮像装置及び画像合成装置並びに方法 Download PDFInfo
- Publication number
- JP4144960B2 JP4144960B2 JP07445799A JP7445799A JP4144960B2 JP 4144960 B2 JP4144960 B2 JP 4144960B2 JP 07445799 A JP07445799 A JP 07445799A JP 7445799 A JP7445799 A JP 7445799A JP 4144960 B2 JP4144960 B2 JP 4144960B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parameter
- parameters
- light source
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 33
- 239000000203 mixture Substances 0.000 title claims description 24
- 238000000034 method Methods 0.000 title description 12
- 230000007613 environmental effect Effects 0.000 claims description 42
- 239000000463 material Substances 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 20
- 230000015572 biosynthetic process Effects 0.000 description 12
- 239000002131 composite material Substances 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び画像合成装置ならびに方法、特に実写画像と合成用画像（コンピュータグラフィックス（ＣＧ）画像など）を合成する装置及び方法に関する。
【０００２】
【従来の技術】
近年、テレビ放送などでクロマキー技術を用いてＣＧなどで作成した画像素材に実写画像から切り出した出演者を合成して多様な演出を行う技術が用いられている。特に、近年のＣＧ技術の進歩により、カメラの動きにＣＧ画像が同期し、出演者がＣＧの世界であたかも自由に動き回っているような画像を作り出せるシステムも開発されている。このシステム（バーチャルスタジオ）を用いることで、スタジオセットを実際に制作する必要がなくなり、コストの削減や演出効果の増大、さらには作業時間の短縮を図ることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような実写画像とＣＧ画像の合成においては、一見して明らかに合成画像であると分かるようなリアリティに欠ける画像が生ずることがしばしばある。これは、実写画像における種々のパラメータとＣＧ画像におけるパラメータの不一致に起因するものが多いと考えられる。
【０００４】
例えば、リアリティに欠ける画像の一例として画像内の人間の足の接地問題がある。これは、ＣＧ画像で作成した背景に実写画像から切り出した人物を立たせた場合、常に人物が地面から浮いているような印象を与える問題である。この原因は、主として実写画像の影付けの不自然さであり、実写画像における光源パラメータ（光源の位置や強度）とＣＧ背景の光源パラメータとが一致していないために生じる。
【０００５】
このような不自然な合成画像の生成を防止するためには、従来においては合成段階において実写画像におけるパラメータを合成作業者（エデイタ）が注意深く観察してＣＧ画像に反映させる必要があり、作業者に高い熟練が要求されるとともに、合成作業にも長時間を要する問題があった。
【０００６】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、作業者の高い熟練を要することなく、リアリティの極めて高い合成画像を容易に生成することができる装置及び方法を提供し、さらには合成画像生成の自動化機能を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明のある態様は、実写画像と素材画像とを合成する画像合成装置であって、 前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、 抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、 前記実写画像と前記素材画像を合成する合成手段と、を有し、前記環境パラメータは、音源の位置情報であることを特徴とする。
【０００８】
本発明の他の態様は、実写画像と素材画像とを合成する画像合成装置であって、 前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、 抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、前記実写画像と前記素材画像を合成する合成手段と、 を有し、前記環境パラメータは、光源の位置情報、光源の輝度及びスペクトルの少なくともいずれかを含む光源パラメータであることを特徴とする。
【０００９】
本発明の他の態様は、実写画像と素材画像とを合成する画像合成装置であって、 前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、 抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、 前記実写画像と前記素材画像を合成する合成手段と、 を有し、前記環境パラメータは、大気パラメータであって、前記作成手段は、抽出した大気パラメータに基づいて光源の散乱具合を決定し、決定した結果に基づいて素材画像を作成することを特徴とする。
【００１１】
本発明の画像合成システムは、上記のいずれかの画像合成装置と、撮像装置とからなる。この撮像装置は、撮像手段と、前記撮像手段の撮影条件を含めた撮影環境を示す環境パラメータを前記撮像手段で得られた実写画像に付加手段とを有する。
【００２２】
【発明の実施の形態】
以下、図面に基づき本発明の実施形態について説明する。
【００２３】
図１には、本実施形態における撮像装置１の構成ブロック図が示されている。本実施形態の撮像装置１は、撮像部１０、環境パラメータ獲得部１２及び付加部１４を含んで構成される。
【００２４】
撮像部１０は、公知の２次元カメラ（アナログあるいはデジタル）を用いることができ、ＣＣＤセンサで構成することができる。もちろん、ステレオカメラを用いることもでき、さらには３次元センシング機能を有する３次元カメラでもよい。撮像部１０で得られた実写画像は付加部１４に供給される。
【００２５】
環境パラメータ獲得部１２は、撮像部１０で得られた実写画像の撮影環境を示す環境パラメータを獲得するもので、各種センサから構成される。獲得した環境パラメータは付加部１４に供給される。なお、環境パラメータの具体例については後述する。
【００２６】
付加部１４は、撮像部１０から供給された実写画像に環境パラメータ獲得部１２から供給された環境パラメータを付加し、記憶手段に出力する。
【００２７】
ここで、記憶手段は撮像装置１と別体で構成することもできるが、ビデオカメラのように撮像装置１内に組み込むことも可能である。記憶手段としては、磁気テープや磁気ディスク、光学ディスクなど任意の媒体を用いることができる。
【００２８】
また、図１に示された構成では環境パラメータ獲得部１２が撮像装置１に組み込まれているが、環境パラメータ獲得部１２を撮像装置１と別体で構成し、得られた環境パラメータを撮像装置１に供給することも可能である。
【００２９】
環境パラメータ獲得部１２で環境パラメータを獲得するタイミングとしては、撮像部１０で実写画像を撮影するタイミングと同一であることが好適であるが、撮像部１０で実写画像を撮影するに先立って、環境パラメータのみを獲得して付加部１４に供給するか、あるいは撮像部１０で実写画像を撮影した後に別途環境パラメータ獲得部１２で環境パラメータを獲得し、付加部１４に供給することも可能である。いずれにしても、撮像部１０で実写画像を撮影した撮影環境を高精度に環境パラメータ獲得部１２で獲得することが好ましく、獲得すべき環境パラメータが時間とともに変化するようなパラメータである場合には、可能な限り撮像部１０で撮影するタイミングと同一タイミングで獲得することが好ましい。環境パラメータの獲得の態様も、好適には上述したようにセンサで自動検知することが望ましいが、撮影者が手動でパラメータを入力することも可能である。
【００３０】
実写画像に付加される環境パラメータとしては、例えば以下のものがある。
【００３１】
＜カメラ内部パラメータ＞
撮像部１０固有のパラメータであり、具体的にはレンズの焦点距離やＣＣＤサイズ、レンズ歪みなどである。ズームワークを含めることもできる。カメラ内部パラメータは、撮像部１０から一意に決定されるため、予めデータとして付加部１４が有することも可能である。このカメラ内部パラメータにより、実写画像にＣＧ画像を合成する際に、ＣＧ画像のパースパラメータ（透視投影歪み）を実写画像と一致させることが可能となる。
【００３２】
＜カメラワークパラメータ＞
このパラメータは、撮像装置１の移動に関するパラメータであり、このパラメータを用いることで実写画像に合成したＣＧ部品が実写画像のカメラワークにしたがって見え方が変化し、ＣＧ部品が静止物体であればあたかも実際の背景に固定されているかのようなリアリティのある合成画像を得ることができる。カメラワークパラメータを取得するためには、例えば撮像装置１にジャイロセンサやＧＰＳなどの位置センサを設けてもよく、あるいは、Ｒ．Ｙ．Ｔｓａｉ ａｎｄ Ｔ．Ｓ．Ｈｕａｎｇ，「Ｕｎｉｑｕｅｎｅｓｓ ａｎｄ Ｅｓｔｉｍａｔｉｏｎｏｆ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒｓ ｏｆ Ｒｉｇｉｄ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」 ＩＥＥＥ Ｔｒａｎｓ．Ｖｏｌ ＰＡＭＩ−６，ｐｐ．１３−２６，１９８４に記載されているように動画像から得ることもできる。オプティカルフローから算出するのも一法である。カメラワークパラメータの具体例としては、撮像装置１の移動速度や回転角、回転速度である。
【００３３】
＜画像ノイズパラメータ＞
実写画像には、通常ホワイトノイズが含まれており、これにノイズの全くないＣＧ画像を合成した場合、合成部分だけ不自然な印象を与えることになる。そこで、ホワイトノイズの標準偏差などを画像ノイズパラメータとして用い、実写画像に含まれるノイズを強制的にＣＧ画像にも付加することで、実写画像との自然な合成を得ることができる。この画像ノイズパラメータも撮像部１０に多く依存し、特定のパターンを多数撮影して各々の画素毎にデータのばらつきを統計的に調べ、その分散値をパラメータとすることもできる。なお、画像ノイズが撮影時の気温に大きく依存する可能性がある場合には、実写画像撮影時にこの画像ノイズパラメータを獲得するのが好ましい。
【００３４】
＜光源パラメータ＞
昼間の屋外撮影においては、太陽の位置に応じて実写画像に影が生ずる。また、屋内や夜間の屋外撮影においても、様々な照明器具の位置により影が生ずる。光源パラメータは、このような光源の位置や強度に関するパラメータであり、このパラメータを用いることで実写画像とＣＧ画像の影を一致させることができ、リアリティの高い合成が可能となる。
【００３５】
図２には、実写画像とＣＧ画像の合成が模式的に示されている。図２（ａ）は実写画像であり、太陽（あるいは他の光源）１００の影響により実写画像の物体１０２及び１０４にそれぞれ影１０２ａ及び１０４ａが生じている状態が示されている。一方、図２（ｂ）には、コンピュータで作成した、実写画像に合成すべきＣＧ画像２００が示されている。この図では、ＣＧ画像をコップとして表現している。そして、図２（ａ）に示された実写画像に図２（ｂ）で示されたＣＧ画像を合成すると、図２（ｃ）に示された画像となる。ここで、リアリティのある合成画像を作成するためには、実写画像に含まれる物体１０２、１０４の影１０２ａ、１０４ａと同様の影がＣＧ画像２００にも生じている必要があり、ＣＧ画像２００の影２００ａをどの位置にどの程度生成するかが重要となる。この影２００ａの付け方を制御するのが光源パラメータであり、実写画像（図２（ａ））における太陽（あるいは他の光源）１００がどの位置に存在するかを知ることで可能となる。
【００３６】
以下、この光源パラメータの決定方法について説明する。
【００３７】
図３には、光源パラメータを決定するための方法が示されている。まず、表面形状及び表面特性が既知である参照物体３００を用意する。図３（ａ）では、この参照物体を球としている。そして、この参照物体３００を撮像装置１で撮影し、参照物体３００の表面反射のピーク位置を算出する。そして、図３（ａ）に示されるように、表面反射のピーク点における参照物体３００の面法線ベクトル及び撮像装置１とピーク点を結ぶカメラ視線方向を算出する。ピーク点における面法線ベクトルと光源方向ベクトルとのなす角度は、面法線ベクトルとカメラ視線ベクトルとのなす角度に等しく、かつ、これら３ベクトルは平面をなすという拘束条件から、光源方向ベクトルを算出することができる。
【００３８】
そして、以上の処理を複数の参照物体３００、３０２について行うことで複数の光源方向ベクトルを算出し、これら複数の光源方向ベクトルの交わる点を光源の３次元位置とすることができる。また、光源の３次元位置と参照物体３００の反射光量から、光源の光量を計算することもできる。
【００３９】
もちろん、光源パラメータの決定方法としてこれに限らず、例えば椎谷秀一他「三次元情報を用いた画像内の影除去」情報処理学会第５７回全国大会ｐｐ．２：１８５−１８６，１９９８に記載されている方法を用いることもできる。これは、実写画像に立体情報を手動で付加した後、画像内の立体物の一点と、その点に対応した影の部分を指定することで、光源方向を特定する方法である。また、従来のＣＧ画像との合成作業中に試行錯誤的に得たパラメータをそのまま用いることもできる。
【００４０】
＜音パラメータ＞
一般に、実写画像撮影時には音も同時に獲得するが、ここでは特にモデリングされた音情報を意味する。具体的には、騒音環境であるか、非常に静かな環境であるかなどのシンボリックな情報である。
【００４１】
また、単なるステレオ録音された音ではなく、音源モデリングにより、３次元位置が特定された音源も含まれる。これにより、実写画像において視点を変えた際にＣＧ画像もこの音源の３次元位置変化に基づいて変化させることで、極めて臨場感の高い合成画像を得ることができる。
【００４２】
図４には、音パラメータとして音源の３次元位置を決定するための構成ブロック図が示されている。音パラメータを獲得する環境パラメータ獲得部１２は、マイクなどの音入力部１２ａと３次元音源モデリング部１２ｂを含んで構成される。音入力部１２ａは、複数設けられてそれぞれの位置で音を入力する。３次元音源モデリング部１２ｂは、複数の音入力部１２ａからの音を入力して三角測量の原理により音源の３次元位置を特定する。
【００４３】
図５には、３次元音源モデリング部１２ｂにおける処理フローチャートが示されている。まず、３次元音源モデリング部１２ｂは、複数の音入力部１２ａから音信号を入力し（Ｓ１０１）、デジタル信号に変換する（Ｓ１０２）。次に、入力した音を高速フーリエ変換（ＦＦＴ）などにより周波数分解し（Ｓ１０３）、各周波数毎に複数の音入力部１２ａの位相差を検出する（Ｓ１０４）。位相差は音源と各音入力部１２ａとの距離差に相当する。また、複数の音入力部１２ａからの音の各周波数毎の強度差を検出する（Ｓ１０５）。強度及びその差は、音源と音入力部１２ａとの距離及び方向に相当する。検出された各周波数毎の位相差及び強度差に基づき、音源の３次元位置を特定する（Ｓ１０６）。
【００４４】
図６及び図７には、以上述べた処理が模式的に示されている。図６に示すように、複数の音入力部Ａ、Ｂが離間して設けられ、それぞれの地点において音源４００からの音を入力する。各地点において入力した音波の位相及び強度は音源４００からの距離に依存し、図７に示されるように音入力部Ａ、Ｂでの位相差並びに強度差が生ずる。この位相差及び強度差、並びに各音入力部Ａ、Ｂの位置関係から音源４００の３次元位置を特定することができる。なお、図６、７では説明の都合上、２個の音入力部を示しているが、実際には２個の音入力部１２ａでは音源を２次元的にしか特定できないので、音入力部１２ａは少なくとも３個以上設ける必要がある。
【００４５】
また、これらの入力部が１直線を成すように配置した場合、やはり音源は２次元的にしか特定できないので、これらが直線を成さないように配置することが好ましい。
【００４６】
なお、音入力部を２個のみ持つ場合、上記のように音源が２次元的にしか特定できないだけでなく、複数の候補を持つことになる。すなわち、周期ｔの波については、位相距離差ｎ×ｔ＋ｄ（ｎは任意の整数）を満たす地点は全て位相差ｄと判断される。しかし、音入力部を３個持つことで、この問題は以下のように解決される。
【００４７】
３個の音入力部をａ，ｂ，ｃとし、ａ−ｂのペアで観測される位相差をｄ（ａ，ｂ）、ｂ−ｃのペアで観測される位相差をｄ（ｂ，ｃ）、ａ−ｃのペアで観測される位相差をｄ（ａ，ｃ）とする。音源候補はｎ０×ｔ＋ｄ（ａ，ｂ）、ｎ１×ｔ＋ｄ（ｂ，ｃ）、ｎ２×ｔ＋ｄ（ａ，ｃ）を全て満たす地点となり、一般に１地点に特定できる。但し、当然ながら誤差の影響も考慮する必要があり、このため上記の位置誤差に加え強度差も考慮することで、より精度良く音源の３次元位置を特定することができる。
【００４８】
また、音入力部１２ａとしては、図８に示されるように複数の指向性マイクアレイを用いることができる。各指向性マイクで入力された音は上述した処理と同様に周波数分解され、各周波数毎に最強の入力があった指向性マイクの方向及びその近傍のマイクとの強度の差から音源の３次元方向を特定することができる。
【００４９】
さらに、このようにして算出された音源の３次元位置を実写画像を用いて修正することで、３次元位置検出の精度を向上させることも可能である。図９にはこの場合の処理が模式的に示されている。図９（ａ）に示されるように、実写画像から音源の可能性がある物体Ａ、Ｂ、Ｃ、Ｄの３次元配置モデルを生成し、上述した方法で特定された音源の３次元位置をこの３次元配置モデルにプロットする。図９（ｂ）は３次元配置に算出した音源位置をプロットした状態を表しており、算出した音源位置を符号５００、５０２、５０４、５０６で表している。実際の音源は物体Ａ、Ｂ、Ｃ、Ｄから発せられると考えられるので、推定した音源位置５００、５０２、５０４、５０６を物体Ａ、Ｂ、Ｃ、Ｄの配置位置に応じて修正し（例えば、物体の中心位置に引き込む）、図９（ｃ）に示されるように音源位置６００、６０２、６０４、６０６とする。
【００５０】
このようにして実写画像における音源の３次元位置を音パラメータとして用いることで、実写画像にＣＧ画像を合成する場合に、実写画像中において音源の変化に起因して物体の様子が変化しても、音源の３次元位置が既知であるため、合成されるＣＧ画像もこの音源の変化に従った変化を起こさせることが可能となり、極めてリアリティの高い合成画像を得ることができる。
【００５１】
なお、以上では入力された音情報をデジタル変換した後、周波数分解する方法について述べたが、複数のバンドパスフィルタを用いることでアナログ的に周波数分解してもよい。
【００５２】
＜大気パラメータ＞
大気の曇り具合（霧や水粒子密度）に関係するパラメータであり、これにより光源の散乱具合が決定される。したがって、この大気パラメータを用いることで、実写と同様の霧効果をＣＧ画像にも生成することができ、合成した場合でもリアリティの高い画像を得ることができる。大気パラメータを獲得するには、例えば湿度計を用いればよい。
【００５３】
＜天候パラメータ＞
このパラメータには、雨、曇り、雪など一般的な天候情報の他、気温、風速／風向、気圧なども含めることができる。天候パラメータとして雪、風速、風向を有する実写画像にＣＧ画像を合成する場合、ＣＧ画像に対して同様な風速などを与えることで、違和感のない合成画像が得られる。天候パラメータを獲得するには、例えば温度計、気圧計、風速計、風向計を用いることができる。
【００５４】
＜時刻パラメータ＞
撮影部１０で実写画像を取得した時刻に関するパラメータであり、撮影時が早朝であるか、昼間であるか、夕方であるかを示すパラメータである。このパラメータを用いることで、例えば夕方の合成画像を作成する際に朝の実写画像を用いてしまい、合成画像間で光源パラメータが一致していても「なんとなく不自然」な印象を与えてしまうことを確実に防止できる。
【００５５】
＜感情パラメータ＞
実写画像が人物を撮影したものである場合、その人物が「悲しい」、「楽しい」、「怒った」などどんな感情を持っているかに関するパラメータである。これらのパラメータを有することで、合成すべき画像の選択をより適切に行うことができる。例えば、悲しいシーンの合成画像を作成する場合、楽しい雰囲気の実写画像を背景部品として選択してしまい、「なんとなく不自然」な印象を与えることを防止できる。
【００５６】
＜プロローグ／エピローグパラメータ＞
実写画像において実際に得られた画像の前後の状況に関するパラメータである。例えば、実写画像が泣いている人物に関する画像である場合、その原因である交通事故発生に関するデータである（交通事故自体は、実写画像には存在しない）。あるいは、実写画像が多数の人物が上を見ている画像である場合、低空飛行している飛行機に関するデータである（飛行機の画像自体は、実写画像には存在しない）。これらのパラメータを２次的に用いることで、より適切な合成画像を選択することも可能となる。
以上、環境パラメータの具体例について説明したが、もちろんこれらの全てを用いる必要はなく、任意に選択すればよい。そして、付加部１４では、撮像部１０から供給された実写画像と環境パラメータ獲得部１２で獲得した各種獲得パラメータを付加して記憶手段に出力する。以下、付加部１４で実写画像に環境パラメータを付加するフォーマットについて説明する。
【００５７】
図１０には、実写画像のヘッダ部のフォーマット例が示されている。まず、実写画像である映像部品名が先頭に配置され、次に映像のモデル形式、すなわち２次元か３次元かを識別するための情報が配置される。そして、映像情報へのポインタと環境パラメータへのポインタが配置され、さらにその他の付随情報が配置される。
【００５８】
図１１には、図１０における映像情報へのポインタで指定される映像情報部分のフォーマット例が示されている。映像情報は、オブジェクト数、オブジェクト情報＃１、＃２、＃３、・・・から構成され、オブジェクト情報には映像の形状情報、色彩情報、材質情報及び動き情報が含まれる。
【００５９】
一方、図１２には、映像情報に付加される環境情報（環境パラメータ）のフォーマット例が示されている。なお、環境パラメータとして上述した各種パラメータのうち、カメラ内部パラメータ、カメラワークパラメータ、画像ノイズパラメータ、光源パラメータ、大気パラメータ、天候パラメータ、音パラメータ、時刻パラメータのみを示しているが、他のパラメータを含むことができるのは言うまでもない。図１２において、環境パラメータはカメラ内部パラメータが先頭に配置され、次にカメラワークパラメータへのポインタ情報が付加される。そして、画像ノイズパラメータが配置され、さらに光源パラメータへのポインタが配置される。大気パラメータ及び天候パラメータが光源パラメータへのポインタに続き、さらに音パラメータへのポインタ及び時刻パラメータが付加される。もちろん、全てのパラメータをポインタで指定することも可能である。
【００６０】
図１３には図１２におけるカメラワークパラメータへのポインタで指定されるカメラワークパラメータのフォーマット例が示されている。カメラワークパラメータは、モーションセグメント数（移動数）及び＃１開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、＃２開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、・・・から構成される。なお、カメラワークに回転が含まれる場合には、例えば回転速度ベクトルなどを付加することも可能である。
【００６１】
図１４には図１２において光源パラメータへのポインタで指定される光源パラメータのフォーマット例が示されている。光源パラメータは、光源数及び各光源毎に光源位置（ｘ、ｙ、ｚ）、光源光スペクトル、光源強度、光源動き、・・・から構成される。光源光スペクトルは、太陽光や蛍光灯などの光源の種類で代用することができる。光源光スペクトルは、例えば分光器などを用いて獲得することができる。
【００６２】
さらに、図１５には、図１２の音パラメータへのポインタで指定される音パラメータのフォーマット例が示されている。音パラメータは、音源数及び各音源毎の位置（ｘ、ｙ、ｚ）、音波シーケンス、音源動き、・・・から構成される。音波シーケンスは音の種類を示すものである。
【００６３】
本実施形態における撮像装置１は、以上のようにして実写画像に撮影環境を示す環境パラメータを付加して記憶手段に出力する。そして、実際に実写画像と素材画像（合成用の画像）としてのＣＧ画像を合成する際には、記憶手段から実写画像を読み出し、実写画像に付加されている環境パラメータを用いてＣＧ画像を自動合成する。
【００６４】
図１６には、本実施形態における画像合成装置２０の構成ブロック図が示されている。画像合成装置２０は、環境パラメータ抽出部１５、ＣＧ作成部２２及び合成部２４を含んで構成される。
【００６５】
環境パラメータ抽出部１５は、記憶手段に格納されている環境パラメータが付加された実写画像を読み出し、読み出した画像データから環境パラメータデータを抽出してＣＧ作成部２２に供給する。また、実写画像自体は合成部２４に出力する。
【００６６】
ＣＧ作成部２２は、公知のＣＧ処理機能を有するコンピュータで構成され、環境パラメータ抽出部１５から供給された環境パラメータを用いて実写画像のパラメータに合致したパラメータでＣＧ部品を作成する。具体的には、例えば環境パラメータ中の光源パラメータを用いて実写画像に含まれる影と同一の影をＣＧ部品に付加する。作成したＣＧ部品は、合成部２４に供給される。
【００６７】
合成部２４は、ＣＧ作成部２２で作成されたＣＧ部品と環境パラメータ抽出部１５から供給された実写画像を合成し、例えばモニタなどに出力する。環境パラメータに基づいて自動的にＣＧ部品を作成して合成するので、操作者は環境パラメータを独自に観察してＣＧ部品に反映させる必要がなくなり、リアリティの高い合成画像を容易に得ることができる。
【００６８】
なお、ＣＧ作成部２２でＣＧを作成するに際し、環境パラメータ抽出部１５から供給された環境パラメータの全てを考慮してＣＧを作成する必要はない。例えば、意図的に不自然な画像を生成する場合には、必要に応じて環境パラメータのいくつかを考慮せずＣＧを作成することもできる。
【００６９】
また、図１６の構成においては、環境パラメータ抽出部１５から供給された環境パラメータに基づき新たにＣＧ画像を作成したが、一度合成用に作成されたＣＧ画像については、合成時に使用した環境パラメータとともにデータベースに格納しておき、新たに実写画像と合成する必要が生じた場合には、このＣＧ画像に付加された環境パラメータと合成すべき実写画像に含まれている環境パラメータとを比較し、ＣＧ画像を修正して再使用することも考えられる。
【００７０】
図１７には、このような場合の構成ブロック図が示されている。実写画像データベース３０及びＣＧ画像データベース３２が用いられる。実写画像にＣＧ画像を合成する場合、ＣＧ画像データベース３２に格納されているＣＧ画像はＣＧ修正部３４に供給される。そして、実写画像に付加されている環境パラメータをＣＧ修正部３４に供給し、ＣＧ修正部３４では、ＣＧ画像に付加されている環境パラメータと実写画像に付加されている環境パラメータを比較し、環境パラメータの相違に基づいてＣＧ画像を修正する。例えば、光源パラメータＡを有する実写画像に合成されたＣＧ画像ａが存在するとする。このＣＧ画像ａを用いて別の実写画像Ｂに合成する場合、合成すべき実写画像Ｂに付加されている光源パラメータＢを用いてＣＧ画像ａの影の部分を修正してＣＧ画像ｂを得る。これにより、ＣＧ修正部３４は、実写画像のパラメータに一致したＣＧ画像を効率的かつ迅速に作成することができる。
【００７１】
以上、本発明の実施形態について、特に実写画像とＣＧ画像との合成を例にとり説明したが、本発明はこれに限定されるものではなく、実写画像と実写画像の合成にも適用することが可能である。
【００７２】
【発明の効果】
本発明によれば、実写画像のパラメータとＣＧ画像などの合成用画像のパラメータを自動的に一致させることができるので、高い熟練を要することなくリアリティの高い合成画像を容易に得ることができる。
【図面の簡単な説明】
【図１】 本発明の実施形態の撮像装置の構成ブロック図である。
【図２】 光源パラメータの説明図である。
【図３】 光源パラメータの算出説明図である。
【図４】 本実施形態における環境パラメータ獲得部の構成ブロック図である。
【図５】 音パラメータの算出処理フローチャートである。
【図６】 音パラメータ算出の説明図（その１）である。
【図７】 音パラメータの算出説明図（その２）である。
【図８】 図４における音入力部の一構成図である。
【図９】 本実施形態における他の音パラメータ算出説明図である。
【図１０】 環境パラメータが付加された実写画像データのフォーマット図である。
【図１１】 図１０における映像情報部分のフォーマット図である。
【図１２】 図１０における環境パラメータ部のフォーマット図である。
【図１３】 図１２におけるカメラワークパラメータ部のフォーマット図である。
【図１４】 図１２における光源パラメータ部のフォーマット図である。
【図１５】 図１２における音パラメータ部のフォーマット図である。
【図１６】 本実施形態における画像合成装置の構成ブロック図である。
【図１７】 本実施形態における画像合成装置の他の構成ブロック図である。
【符号の説明】
１ 撮像装置、１０ 撮像部、１２ 環境パラメータ獲得部、１４ 付加部、１５ 環境パラメータ抽出部、２０ 画像合成装置、２２ ＣＧ作成部、２４ 合成部、３０ 実写画像データベース、３２ ＣＧ画像データベース、３４ ＣＧ修正部。
【発明の属する技術分野】
本発明は、撮像装置及び画像合成装置ならびに方法、特に実写画像と合成用画像（コンピュータグラフィックス（ＣＧ）画像など）を合成する装置及び方法に関する。
【０００２】
【従来の技術】
近年、テレビ放送などでクロマキー技術を用いてＣＧなどで作成した画像素材に実写画像から切り出した出演者を合成して多様な演出を行う技術が用いられている。特に、近年のＣＧ技術の進歩により、カメラの動きにＣＧ画像が同期し、出演者がＣＧの世界であたかも自由に動き回っているような画像を作り出せるシステムも開発されている。このシステム（バーチャルスタジオ）を用いることで、スタジオセットを実際に制作する必要がなくなり、コストの削減や演出効果の増大、さらには作業時間の短縮を図ることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような実写画像とＣＧ画像の合成においては、一見して明らかに合成画像であると分かるようなリアリティに欠ける画像が生ずることがしばしばある。これは、実写画像における種々のパラメータとＣＧ画像におけるパラメータの不一致に起因するものが多いと考えられる。
【０００４】
例えば、リアリティに欠ける画像の一例として画像内の人間の足の接地問題がある。これは、ＣＧ画像で作成した背景に実写画像から切り出した人物を立たせた場合、常に人物が地面から浮いているような印象を与える問題である。この原因は、主として実写画像の影付けの不自然さであり、実写画像における光源パラメータ（光源の位置や強度）とＣＧ背景の光源パラメータとが一致していないために生じる。
【０００５】
このような不自然な合成画像の生成を防止するためには、従来においては合成段階において実写画像におけるパラメータを合成作業者（エデイタ）が注意深く観察してＣＧ画像に反映させる必要があり、作業者に高い熟練が要求されるとともに、合成作業にも長時間を要する問題があった。
【０００６】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、作業者の高い熟練を要することなく、リアリティの極めて高い合成画像を容易に生成することができる装置及び方法を提供し、さらには合成画像生成の自動化機能を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明のある態様は、実写画像と素材画像とを合成する画像合成装置であって、 前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、 抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、 前記実写画像と前記素材画像を合成する合成手段と、を有し、前記環境パラメータは、音源の位置情報であることを特徴とする。
【０００８】
本発明の他の態様は、実写画像と素材画像とを合成する画像合成装置であって、 前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、 抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、前記実写画像と前記素材画像を合成する合成手段と、 を有し、前記環境パラメータは、光源の位置情報、光源の輝度及びスペクトルの少なくともいずれかを含む光源パラメータであることを特徴とする。
【０００９】
本発明の他の態様は、実写画像と素材画像とを合成する画像合成装置であって、 前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、 抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、 前記実写画像と前記素材画像を合成する合成手段と、 を有し、前記環境パラメータは、大気パラメータであって、前記作成手段は、抽出した大気パラメータに基づいて光源の散乱具合を決定し、決定した結果に基づいて素材画像を作成することを特徴とする。
【００１１】
本発明の画像合成システムは、上記のいずれかの画像合成装置と、撮像装置とからなる。この撮像装置は、撮像手段と、前記撮像手段の撮影条件を含めた撮影環境を示す環境パラメータを前記撮像手段で得られた実写画像に付加手段とを有する。
【００２２】
【発明の実施の形態】
以下、図面に基づき本発明の実施形態について説明する。
【００２３】
図１には、本実施形態における撮像装置１の構成ブロック図が示されている。本実施形態の撮像装置１は、撮像部１０、環境パラメータ獲得部１２及び付加部１４を含んで構成される。
【００２４】
撮像部１０は、公知の２次元カメラ（アナログあるいはデジタル）を用いることができ、ＣＣＤセンサで構成することができる。もちろん、ステレオカメラを用いることもでき、さらには３次元センシング機能を有する３次元カメラでもよい。撮像部１０で得られた実写画像は付加部１４に供給される。
【００２５】
環境パラメータ獲得部１２は、撮像部１０で得られた実写画像の撮影環境を示す環境パラメータを獲得するもので、各種センサから構成される。獲得した環境パラメータは付加部１４に供給される。なお、環境パラメータの具体例については後述する。
【００２６】
付加部１４は、撮像部１０から供給された実写画像に環境パラメータ獲得部１２から供給された環境パラメータを付加し、記憶手段に出力する。
【００２７】
ここで、記憶手段は撮像装置１と別体で構成することもできるが、ビデオカメラのように撮像装置１内に組み込むことも可能である。記憶手段としては、磁気テープや磁気ディスク、光学ディスクなど任意の媒体を用いることができる。
【００２８】
また、図１に示された構成では環境パラメータ獲得部１２が撮像装置１に組み込まれているが、環境パラメータ獲得部１２を撮像装置１と別体で構成し、得られた環境パラメータを撮像装置１に供給することも可能である。
【００２９】
環境パラメータ獲得部１２で環境パラメータを獲得するタイミングとしては、撮像部１０で実写画像を撮影するタイミングと同一であることが好適であるが、撮像部１０で実写画像を撮影するに先立って、環境パラメータのみを獲得して付加部１４に供給するか、あるいは撮像部１０で実写画像を撮影した後に別途環境パラメータ獲得部１２で環境パラメータを獲得し、付加部１４に供給することも可能である。いずれにしても、撮像部１０で実写画像を撮影した撮影環境を高精度に環境パラメータ獲得部１２で獲得することが好ましく、獲得すべき環境パラメータが時間とともに変化するようなパラメータである場合には、可能な限り撮像部１０で撮影するタイミングと同一タイミングで獲得することが好ましい。環境パラメータの獲得の態様も、好適には上述したようにセンサで自動検知することが望ましいが、撮影者が手動でパラメータを入力することも可能である。
【００３０】
実写画像に付加される環境パラメータとしては、例えば以下のものがある。
【００３１】
＜カメラ内部パラメータ＞
撮像部１０固有のパラメータであり、具体的にはレンズの焦点距離やＣＣＤサイズ、レンズ歪みなどである。ズームワークを含めることもできる。カメラ内部パラメータは、撮像部１０から一意に決定されるため、予めデータとして付加部１４が有することも可能である。このカメラ内部パラメータにより、実写画像にＣＧ画像を合成する際に、ＣＧ画像のパースパラメータ（透視投影歪み）を実写画像と一致させることが可能となる。
【００３２】
＜カメラワークパラメータ＞
このパラメータは、撮像装置１の移動に関するパラメータであり、このパラメータを用いることで実写画像に合成したＣＧ部品が実写画像のカメラワークにしたがって見え方が変化し、ＣＧ部品が静止物体であればあたかも実際の背景に固定されているかのようなリアリティのある合成画像を得ることができる。カメラワークパラメータを取得するためには、例えば撮像装置１にジャイロセンサやＧＰＳなどの位置センサを設けてもよく、あるいは、Ｒ．Ｙ．Ｔｓａｉ ａｎｄ Ｔ．Ｓ．Ｈｕａｎｇ，「Ｕｎｉｑｕｅｎｅｓｓ ａｎｄ Ｅｓｔｉｍａｔｉｏｎｏｆ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒｓ ｏｆ Ｒｉｇｉｄ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ」 ＩＥＥＥ Ｔｒａｎｓ．Ｖｏｌ ＰＡＭＩ−６，ｐｐ．１３−２６，１９８４に記載されているように動画像から得ることもできる。オプティカルフローから算出するのも一法である。カメラワークパラメータの具体例としては、撮像装置１の移動速度や回転角、回転速度である。
【００３３】
＜画像ノイズパラメータ＞
実写画像には、通常ホワイトノイズが含まれており、これにノイズの全くないＣＧ画像を合成した場合、合成部分だけ不自然な印象を与えることになる。そこで、ホワイトノイズの標準偏差などを画像ノイズパラメータとして用い、実写画像に含まれるノイズを強制的にＣＧ画像にも付加することで、実写画像との自然な合成を得ることができる。この画像ノイズパラメータも撮像部１０に多く依存し、特定のパターンを多数撮影して各々の画素毎にデータのばらつきを統計的に調べ、その分散値をパラメータとすることもできる。なお、画像ノイズが撮影時の気温に大きく依存する可能性がある場合には、実写画像撮影時にこの画像ノイズパラメータを獲得するのが好ましい。
【００３４】
＜光源パラメータ＞
昼間の屋外撮影においては、太陽の位置に応じて実写画像に影が生ずる。また、屋内や夜間の屋外撮影においても、様々な照明器具の位置により影が生ずる。光源パラメータは、このような光源の位置や強度に関するパラメータであり、このパラメータを用いることで実写画像とＣＧ画像の影を一致させることができ、リアリティの高い合成が可能となる。
【００３５】
図２には、実写画像とＣＧ画像の合成が模式的に示されている。図２（ａ）は実写画像であり、太陽（あるいは他の光源）１００の影響により実写画像の物体１０２及び１０４にそれぞれ影１０２ａ及び１０４ａが生じている状態が示されている。一方、図２（ｂ）には、コンピュータで作成した、実写画像に合成すべきＣＧ画像２００が示されている。この図では、ＣＧ画像をコップとして表現している。そして、図２（ａ）に示された実写画像に図２（ｂ）で示されたＣＧ画像を合成すると、図２（ｃ）に示された画像となる。ここで、リアリティのある合成画像を作成するためには、実写画像に含まれる物体１０２、１０４の影１０２ａ、１０４ａと同様の影がＣＧ画像２００にも生じている必要があり、ＣＧ画像２００の影２００ａをどの位置にどの程度生成するかが重要となる。この影２００ａの付け方を制御するのが光源パラメータであり、実写画像（図２（ａ））における太陽（あるいは他の光源）１００がどの位置に存在するかを知ることで可能となる。
【００３６】
以下、この光源パラメータの決定方法について説明する。
【００３７】
図３には、光源パラメータを決定するための方法が示されている。まず、表面形状及び表面特性が既知である参照物体３００を用意する。図３（ａ）では、この参照物体を球としている。そして、この参照物体３００を撮像装置１で撮影し、参照物体３００の表面反射のピーク位置を算出する。そして、図３（ａ）に示されるように、表面反射のピーク点における参照物体３００の面法線ベクトル及び撮像装置１とピーク点を結ぶカメラ視線方向を算出する。ピーク点における面法線ベクトルと光源方向ベクトルとのなす角度は、面法線ベクトルとカメラ視線ベクトルとのなす角度に等しく、かつ、これら３ベクトルは平面をなすという拘束条件から、光源方向ベクトルを算出することができる。
【００３８】
そして、以上の処理を複数の参照物体３００、３０２について行うことで複数の光源方向ベクトルを算出し、これら複数の光源方向ベクトルの交わる点を光源の３次元位置とすることができる。また、光源の３次元位置と参照物体３００の反射光量から、光源の光量を計算することもできる。
【００３９】
もちろん、光源パラメータの決定方法としてこれに限らず、例えば椎谷秀一他「三次元情報を用いた画像内の影除去」情報処理学会第５７回全国大会ｐｐ．２：１８５−１８６，１９９８に記載されている方法を用いることもできる。これは、実写画像に立体情報を手動で付加した後、画像内の立体物の一点と、その点に対応した影の部分を指定することで、光源方向を特定する方法である。また、従来のＣＧ画像との合成作業中に試行錯誤的に得たパラメータをそのまま用いることもできる。
【００４０】
＜音パラメータ＞
一般に、実写画像撮影時には音も同時に獲得するが、ここでは特にモデリングされた音情報を意味する。具体的には、騒音環境であるか、非常に静かな環境であるかなどのシンボリックな情報である。
【００４１】
また、単なるステレオ録音された音ではなく、音源モデリングにより、３次元位置が特定された音源も含まれる。これにより、実写画像において視点を変えた際にＣＧ画像もこの音源の３次元位置変化に基づいて変化させることで、極めて臨場感の高い合成画像を得ることができる。
【００４２】
図４には、音パラメータとして音源の３次元位置を決定するための構成ブロック図が示されている。音パラメータを獲得する環境パラメータ獲得部１２は、マイクなどの音入力部１２ａと３次元音源モデリング部１２ｂを含んで構成される。音入力部１２ａは、複数設けられてそれぞれの位置で音を入力する。３次元音源モデリング部１２ｂは、複数の音入力部１２ａからの音を入力して三角測量の原理により音源の３次元位置を特定する。
【００４３】
図５には、３次元音源モデリング部１２ｂにおける処理フローチャートが示されている。まず、３次元音源モデリング部１２ｂは、複数の音入力部１２ａから音信号を入力し（Ｓ１０１）、デジタル信号に変換する（Ｓ１０２）。次に、入力した音を高速フーリエ変換（ＦＦＴ）などにより周波数分解し（Ｓ１０３）、各周波数毎に複数の音入力部１２ａの位相差を検出する（Ｓ１０４）。位相差は音源と各音入力部１２ａとの距離差に相当する。また、複数の音入力部１２ａからの音の各周波数毎の強度差を検出する（Ｓ１０５）。強度及びその差は、音源と音入力部１２ａとの距離及び方向に相当する。検出された各周波数毎の位相差及び強度差に基づき、音源の３次元位置を特定する（Ｓ１０６）。
【００４４】
図６及び図７には、以上述べた処理が模式的に示されている。図６に示すように、複数の音入力部Ａ、Ｂが離間して設けられ、それぞれの地点において音源４００からの音を入力する。各地点において入力した音波の位相及び強度は音源４００からの距離に依存し、図７に示されるように音入力部Ａ、Ｂでの位相差並びに強度差が生ずる。この位相差及び強度差、並びに各音入力部Ａ、Ｂの位置関係から音源４００の３次元位置を特定することができる。なお、図６、７では説明の都合上、２個の音入力部を示しているが、実際には２個の音入力部１２ａでは音源を２次元的にしか特定できないので、音入力部１２ａは少なくとも３個以上設ける必要がある。
【００４５】
また、これらの入力部が１直線を成すように配置した場合、やはり音源は２次元的にしか特定できないので、これらが直線を成さないように配置することが好ましい。
【００４６】
なお、音入力部を２個のみ持つ場合、上記のように音源が２次元的にしか特定できないだけでなく、複数の候補を持つことになる。すなわち、周期ｔの波については、位相距離差ｎ×ｔ＋ｄ（ｎは任意の整数）を満たす地点は全て位相差ｄと判断される。しかし、音入力部を３個持つことで、この問題は以下のように解決される。
【００４７】
３個の音入力部をａ，ｂ，ｃとし、ａ−ｂのペアで観測される位相差をｄ（ａ，ｂ）、ｂ−ｃのペアで観測される位相差をｄ（ｂ，ｃ）、ａ−ｃのペアで観測される位相差をｄ（ａ，ｃ）とする。音源候補はｎ０×ｔ＋ｄ（ａ，ｂ）、ｎ１×ｔ＋ｄ（ｂ，ｃ）、ｎ２×ｔ＋ｄ（ａ，ｃ）を全て満たす地点となり、一般に１地点に特定できる。但し、当然ながら誤差の影響も考慮する必要があり、このため上記の位置誤差に加え強度差も考慮することで、より精度良く音源の３次元位置を特定することができる。
【００４８】
また、音入力部１２ａとしては、図８に示されるように複数の指向性マイクアレイを用いることができる。各指向性マイクで入力された音は上述した処理と同様に周波数分解され、各周波数毎に最強の入力があった指向性マイクの方向及びその近傍のマイクとの強度の差から音源の３次元方向を特定することができる。
【００４９】
さらに、このようにして算出された音源の３次元位置を実写画像を用いて修正することで、３次元位置検出の精度を向上させることも可能である。図９にはこの場合の処理が模式的に示されている。図９（ａ）に示されるように、実写画像から音源の可能性がある物体Ａ、Ｂ、Ｃ、Ｄの３次元配置モデルを生成し、上述した方法で特定された音源の３次元位置をこの３次元配置モデルにプロットする。図９（ｂ）は３次元配置に算出した音源位置をプロットした状態を表しており、算出した音源位置を符号５００、５０２、５０４、５０６で表している。実際の音源は物体Ａ、Ｂ、Ｃ、Ｄから発せられると考えられるので、推定した音源位置５００、５０２、５０４、５０６を物体Ａ、Ｂ、Ｃ、Ｄの配置位置に応じて修正し（例えば、物体の中心位置に引き込む）、図９（ｃ）に示されるように音源位置６００、６０２、６０４、６０６とする。
【００５０】
このようにして実写画像における音源の３次元位置を音パラメータとして用いることで、実写画像にＣＧ画像を合成する場合に、実写画像中において音源の変化に起因して物体の様子が変化しても、音源の３次元位置が既知であるため、合成されるＣＧ画像もこの音源の変化に従った変化を起こさせることが可能となり、極めてリアリティの高い合成画像を得ることができる。
【００５１】
なお、以上では入力された音情報をデジタル変換した後、周波数分解する方法について述べたが、複数のバンドパスフィルタを用いることでアナログ的に周波数分解してもよい。
【００５２】
＜大気パラメータ＞
大気の曇り具合（霧や水粒子密度）に関係するパラメータであり、これにより光源の散乱具合が決定される。したがって、この大気パラメータを用いることで、実写と同様の霧効果をＣＧ画像にも生成することができ、合成した場合でもリアリティの高い画像を得ることができる。大気パラメータを獲得するには、例えば湿度計を用いればよい。
【００５３】
＜天候パラメータ＞
このパラメータには、雨、曇り、雪など一般的な天候情報の他、気温、風速／風向、気圧なども含めることができる。天候パラメータとして雪、風速、風向を有する実写画像にＣＧ画像を合成する場合、ＣＧ画像に対して同様な風速などを与えることで、違和感のない合成画像が得られる。天候パラメータを獲得するには、例えば温度計、気圧計、風速計、風向計を用いることができる。
【００５４】
＜時刻パラメータ＞
撮影部１０で実写画像を取得した時刻に関するパラメータであり、撮影時が早朝であるか、昼間であるか、夕方であるかを示すパラメータである。このパラメータを用いることで、例えば夕方の合成画像を作成する際に朝の実写画像を用いてしまい、合成画像間で光源パラメータが一致していても「なんとなく不自然」な印象を与えてしまうことを確実に防止できる。
【００５５】
＜感情パラメータ＞
実写画像が人物を撮影したものである場合、その人物が「悲しい」、「楽しい」、「怒った」などどんな感情を持っているかに関するパラメータである。これらのパラメータを有することで、合成すべき画像の選択をより適切に行うことができる。例えば、悲しいシーンの合成画像を作成する場合、楽しい雰囲気の実写画像を背景部品として選択してしまい、「なんとなく不自然」な印象を与えることを防止できる。
【００５６】
＜プロローグ／エピローグパラメータ＞
実写画像において実際に得られた画像の前後の状況に関するパラメータである。例えば、実写画像が泣いている人物に関する画像である場合、その原因である交通事故発生に関するデータである（交通事故自体は、実写画像には存在しない）。あるいは、実写画像が多数の人物が上を見ている画像である場合、低空飛行している飛行機に関するデータである（飛行機の画像自体は、実写画像には存在しない）。これらのパラメータを２次的に用いることで、より適切な合成画像を選択することも可能となる。
以上、環境パラメータの具体例について説明したが、もちろんこれらの全てを用いる必要はなく、任意に選択すればよい。そして、付加部１４では、撮像部１０から供給された実写画像と環境パラメータ獲得部１２で獲得した各種獲得パラメータを付加して記憶手段に出力する。以下、付加部１４で実写画像に環境パラメータを付加するフォーマットについて説明する。
【００５７】
図１０には、実写画像のヘッダ部のフォーマット例が示されている。まず、実写画像である映像部品名が先頭に配置され、次に映像のモデル形式、すなわち２次元か３次元かを識別するための情報が配置される。そして、映像情報へのポインタと環境パラメータへのポインタが配置され、さらにその他の付随情報が配置される。
【００５８】
図１１には、図１０における映像情報へのポインタで指定される映像情報部分のフォーマット例が示されている。映像情報は、オブジェクト数、オブジェクト情報＃１、＃２、＃３、・・・から構成され、オブジェクト情報には映像の形状情報、色彩情報、材質情報及び動き情報が含まれる。
【００５９】
一方、図１２には、映像情報に付加される環境情報（環境パラメータ）のフォーマット例が示されている。なお、環境パラメータとして上述した各種パラメータのうち、カメラ内部パラメータ、カメラワークパラメータ、画像ノイズパラメータ、光源パラメータ、大気パラメータ、天候パラメータ、音パラメータ、時刻パラメータのみを示しているが、他のパラメータを含むことができるのは言うまでもない。図１２において、環境パラメータはカメラ内部パラメータが先頭に配置され、次にカメラワークパラメータへのポインタ情報が付加される。そして、画像ノイズパラメータが配置され、さらに光源パラメータへのポインタが配置される。大気パラメータ及び天候パラメータが光源パラメータへのポインタに続き、さらに音パラメータへのポインタ及び時刻パラメータが付加される。もちろん、全てのパラメータをポインタで指定することも可能である。
【００６０】
図１３には図１２におけるカメラワークパラメータへのポインタで指定されるカメラワークパラメータのフォーマット例が示されている。カメラワークパラメータは、モーションセグメント数（移動数）及び＃１開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、＃２開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、・・・から構成される。なお、カメラワークに回転が含まれる場合には、例えば回転速度ベクトルなどを付加することも可能である。
【００６１】
図１４には図１２において光源パラメータへのポインタで指定される光源パラメータのフォーマット例が示されている。光源パラメータは、光源数及び各光源毎に光源位置（ｘ、ｙ、ｚ）、光源光スペクトル、光源強度、光源動き、・・・から構成される。光源光スペクトルは、太陽光や蛍光灯などの光源の種類で代用することができる。光源光スペクトルは、例えば分光器などを用いて獲得することができる。
【００６２】
さらに、図１５には、図１２の音パラメータへのポインタで指定される音パラメータのフォーマット例が示されている。音パラメータは、音源数及び各音源毎の位置（ｘ、ｙ、ｚ）、音波シーケンス、音源動き、・・・から構成される。音波シーケンスは音の種類を示すものである。
【００６３】
本実施形態における撮像装置１は、以上のようにして実写画像に撮影環境を示す環境パラメータを付加して記憶手段に出力する。そして、実際に実写画像と素材画像（合成用の画像）としてのＣＧ画像を合成する際には、記憶手段から実写画像を読み出し、実写画像に付加されている環境パラメータを用いてＣＧ画像を自動合成する。
【００６４】
図１６には、本実施形態における画像合成装置２０の構成ブロック図が示されている。画像合成装置２０は、環境パラメータ抽出部１５、ＣＧ作成部２２及び合成部２４を含んで構成される。
【００６５】
環境パラメータ抽出部１５は、記憶手段に格納されている環境パラメータが付加された実写画像を読み出し、読み出した画像データから環境パラメータデータを抽出してＣＧ作成部２２に供給する。また、実写画像自体は合成部２４に出力する。
【００６６】
ＣＧ作成部２２は、公知のＣＧ処理機能を有するコンピュータで構成され、環境パラメータ抽出部１５から供給された環境パラメータを用いて実写画像のパラメータに合致したパラメータでＣＧ部品を作成する。具体的には、例えば環境パラメータ中の光源パラメータを用いて実写画像に含まれる影と同一の影をＣＧ部品に付加する。作成したＣＧ部品は、合成部２４に供給される。
【００６７】
合成部２４は、ＣＧ作成部２２で作成されたＣＧ部品と環境パラメータ抽出部１５から供給された実写画像を合成し、例えばモニタなどに出力する。環境パラメータに基づいて自動的にＣＧ部品を作成して合成するので、操作者は環境パラメータを独自に観察してＣＧ部品に反映させる必要がなくなり、リアリティの高い合成画像を容易に得ることができる。
【００６８】
なお、ＣＧ作成部２２でＣＧを作成するに際し、環境パラメータ抽出部１５から供給された環境パラメータの全てを考慮してＣＧを作成する必要はない。例えば、意図的に不自然な画像を生成する場合には、必要に応じて環境パラメータのいくつかを考慮せずＣＧを作成することもできる。
【００６９】
また、図１６の構成においては、環境パラメータ抽出部１５から供給された環境パラメータに基づき新たにＣＧ画像を作成したが、一度合成用に作成されたＣＧ画像については、合成時に使用した環境パラメータとともにデータベースに格納しておき、新たに実写画像と合成する必要が生じた場合には、このＣＧ画像に付加された環境パラメータと合成すべき実写画像に含まれている環境パラメータとを比較し、ＣＧ画像を修正して再使用することも考えられる。
【００７０】
図１７には、このような場合の構成ブロック図が示されている。実写画像データベース３０及びＣＧ画像データベース３２が用いられる。実写画像にＣＧ画像を合成する場合、ＣＧ画像データベース３２に格納されているＣＧ画像はＣＧ修正部３４に供給される。そして、実写画像に付加されている環境パラメータをＣＧ修正部３４に供給し、ＣＧ修正部３４では、ＣＧ画像に付加されている環境パラメータと実写画像に付加されている環境パラメータを比較し、環境パラメータの相違に基づいてＣＧ画像を修正する。例えば、光源パラメータＡを有する実写画像に合成されたＣＧ画像ａが存在するとする。このＣＧ画像ａを用いて別の実写画像Ｂに合成する場合、合成すべき実写画像Ｂに付加されている光源パラメータＢを用いてＣＧ画像ａの影の部分を修正してＣＧ画像ｂを得る。これにより、ＣＧ修正部３４は、実写画像のパラメータに一致したＣＧ画像を効率的かつ迅速に作成することができる。
【００７１】
以上、本発明の実施形態について、特に実写画像とＣＧ画像との合成を例にとり説明したが、本発明はこれに限定されるものではなく、実写画像と実写画像の合成にも適用することが可能である。
【００７２】
【発明の効果】
本発明によれば、実写画像のパラメータとＣＧ画像などの合成用画像のパラメータを自動的に一致させることができるので、高い熟練を要することなくリアリティの高い合成画像を容易に得ることができる。
【図面の簡単な説明】
【図１】 本発明の実施形態の撮像装置の構成ブロック図である。
【図２】 光源パラメータの説明図である。
【図３】 光源パラメータの算出説明図である。
【図４】 本実施形態における環境パラメータ獲得部の構成ブロック図である。
【図５】 音パラメータの算出処理フローチャートである。
【図６】 音パラメータ算出の説明図（その１）である。
【図７】 音パラメータの算出説明図（その２）である。
【図８】 図４における音入力部の一構成図である。
【図９】 本実施形態における他の音パラメータ算出説明図である。
【図１０】 環境パラメータが付加された実写画像データのフォーマット図である。
【図１１】 図１０における映像情報部分のフォーマット図である。
【図１２】 図１０における環境パラメータ部のフォーマット図である。
【図１３】 図１２におけるカメラワークパラメータ部のフォーマット図である。
【図１４】 図１２における光源パラメータ部のフォーマット図である。
【図１５】 図１２における音パラメータ部のフォーマット図である。
【図１６】 本実施形態における画像合成装置の構成ブロック図である。
【図１７】 本実施形態における画像合成装置の他の構成ブロック図である。
【符号の説明】
１ 撮像装置、１０ 撮像部、１２ 環境パラメータ獲得部、１４ 付加部、１５ 環境パラメータ抽出部、２０ 画像合成装置、２２ ＣＧ作成部、２４ 合成部、３０ 実写画像データベース、３２ ＣＧ画像データベース、３４ ＣＧ修正部。
Claims (4)
- 実写画像と素材画像とを合成する画像合成装置であって、
前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、
抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、
前記実写画像と前記素材画像を合成する合成手段と、 を有し、
前記環境パラメータは、光源の位置情報、光源の輝度及びスペクトルの少なくともいずれかを含む光源パラメータであることを特徴とする画像合成装置。 - 実写画像と素材画像とを合成する画像合成装置であって、
前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、
抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、
前記実写画像と前記素材画像を合成する合成手段と、 を有し、
前記環境パラメータは、音源の位置情報であることを特徴とする画像合成装置。 - 実写画像と素材画像とを合成する画像合成装置であって、
前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、
抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、
前記実写画像と前記素材画像を合成する合成手段と、 を有し、
前記環境パラメータは、大気パラメータであって、
前記作成手段は、抽出した大気パラメータに基づいて光源の散乱具合を決定し、決定した結果に基づいて素材画像を作成することを特徴とする画像合成装置。 - 撮像手段と、前記撮像手段の撮影条件を含めた撮影環境を示す環境パラメータを前記撮像手段で得られた実写画像に付加手段とを有する撮像装置と、
請求項１ないし３のいずれかに記載の画像合成装置と、を備えたことを特徴とする画像合成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07445799A JP4144960B2 (ja) | 1999-03-18 | 1999-03-18 | 撮像装置及び画像合成装置並びに方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07445799A JP4144960B2 (ja) | 1999-03-18 | 1999-03-18 | 撮像装置及び画像合成装置並びに方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007234775A Division JP2008041107A (ja) | 2007-09-10 | 2007-09-10 | 撮像装置及び画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000270203A JP2000270203A (ja) | 2000-09-29 |
| JP4144960B2 true JP4144960B2 (ja) | 2008-09-03 |
Family
ID=13547806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07445799A Expired - Fee Related JP4144960B2 (ja) | 1999-03-18 | 1999-03-18 | 撮像装置及び画像合成装置並びに方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4144960B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103929594A (zh) * | 2014-04-28 | 2014-07-16 | 深圳市中兴移动通信有限公司 | 一种移动终端及其拍摄方法和装置 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002262156A (ja) * | 2000-12-26 | 2002-09-13 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラシステムおよび画像処理方法 |
| US7145737B2 (en) | 2004-04-12 | 2006-12-05 | Canon Kabushiki Kaisha | Lens apparatus and virtual system |
| JP2006030656A (ja) | 2004-07-16 | 2006-02-02 | Canon Inc | レンズ装置 |
| JP2007206807A (ja) * | 2006-01-31 | 2007-08-16 | Nippon Hoso Kyokai <Nhk> | 映像合成装置及び映像合成プログラム |
| JP2007276704A (ja) * | 2006-04-10 | 2007-10-25 | Denso Corp | 照明制御システム |
| JP4829269B2 (ja) * | 2008-04-11 | 2011-12-07 | 富士フイルム株式会社 | 画像処理システムおよびその方法 |
| JP5176841B2 (ja) * | 2008-09-30 | 2013-04-03 | カシオ計算機株式会社 | 撮像装置及びプログラム |
| JP5051156B2 (ja) * | 2009-03-05 | 2012-10-17 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
| JP5347800B2 (ja) | 2009-07-27 | 2013-11-20 | ソニー株式会社 | 検出システムおよび検出方法 |
| US9563959B2 (en) * | 2010-12-09 | 2017-02-07 | Samsung Electronics Co., Ltd. | Image processor, lighting processor and method therefor |
| JP2012174116A (ja) * | 2011-02-23 | 2012-09-10 | Ntt Docomo Inc | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
| JP5494537B2 (ja) * | 2011-03-25 | 2014-05-14 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
| US9710958B2 (en) * | 2011-11-29 | 2017-07-18 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| JP6082304B2 (ja) * | 2012-04-17 | 2017-02-15 | キヤノン株式会社 | 画像処理装置及びその処理方法 |
| WO2018139117A1 (ja) * | 2017-01-27 | 2018-08-02 | ソニー株式会社 | 情報処理装置、情報処理方法およびそのプログラム |
| CN120660356A (zh) * | 2023-02-15 | 2025-09-16 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
| CN118945487B (zh) * | 2024-07-22 | 2025-08-22 | 广州磐碟塔信息科技有限公司 | 虚拟影像合成方法、装置、设备以及存储介质 |
-
1999
- 1999-03-18 JP JP07445799A patent/JP4144960B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103929594A (zh) * | 2014-04-28 | 2014-07-16 | 深圳市中兴移动通信有限公司 | 一种移动终端及其拍摄方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000270203A (ja) | 2000-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000270203A (ja) | 撮像装置及び画像合成装置並びに方法 | |
| US12500993B2 (en) | Information processing device, video processing method, and program | |
| US20030202120A1 (en) | Virtual lighting system | |
| JP4804256B2 (ja) | 情報処理方法 | |
| KR101335391B1 (ko) | 영상 합성 장치 및 그 방법 | |
| US11232293B2 (en) | Active marker device for performance capture | |
| JP2008041107A (ja) | 撮像装置及び画像合成装置 | |
| WO2006047610A2 (en) | Method and apparatus for a virtual scene previewing system | |
| US20240388787A1 (en) | Information processing device, video processing method, and program | |
| JP7632405B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| WO2023090038A1 (ja) | 情報処理装置、映像処理方法、プログラム | |
| WO2023176269A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
| KR20210038609A (ko) | 이미지 합성을 위한 방법 및 데이터 처리 시스템 | |
| CN102625130A (zh) | 基于计算机虚拟三维场景库的合成摄影系统 | |
| CN117372655A (zh) | 信息处理装置、信息处理方法以及程序 | |
| JP2002232783A (ja) | 画像処理装置および画像処理方法、並びにプログラム記憶媒体 | |
| EP4407974A1 (en) | Information processing device, image processing method, and program | |
| JP2015224909A (ja) | ３次元計測装置及び３次元計測方法 | |
| CN119744531A (zh) | 信息处理装置、信息处理方法和程序 | |
| JP2002117413A (ja) | 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法 | |
| CN120639955A (zh) | 虚拟拍摄中的虚拟置景方法、装置和存储介质 | |
| TWI515691B (zh) | 現場動態情境重建之合成錄像拍製方法 | |
| JP2002084552A (ja) | カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法 | |
| JP2004220516A (ja) | ３次元地理形状モデルのテクスチャ画像取得方法 | |
| KR20050015737A (ko) | 조명제어에 의한 사실적 영상합성 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050915 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070910 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080212 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080617 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |