JP2000270203A

JP2000270203A - 撮像装置及び画像合成装置並びに方法

Info

Publication number: JP2000270203A
Application number: JP11074457A
Authority: JP
Inventors: Yukinori Matsumoto; 幸則松本; Kota Fujimura; 恒太藤村; Toru Kitamura; 徹北村
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1999-03-18
Filing date: 1999-03-18
Publication date: 2000-09-29
Anticipated expiration: 2019-03-18
Also published as: JP4144960B2

Abstract

(57)【要約】【課題】実写画像とＣＧ画像の合成画像を自動生成
し、リアリティの高い合成画像を得る。【解決手段】撮像部１０で実写画像を撮影する。ま
た、撮影環境を示す環境パラメータを環境パラメータ獲
得部１２で獲得し、付加部１４で実写画像に環境パラメ
ータを付加して記憶する。環境パラメータとしては、光
源パラメータやカメラワークパラメータなどを用いる。
画像合成時には、実写画像に付加された環境パラメータ
を読み出してＣＧ画像を作成し、実写画像に合成する。
これにより、実写画像に含まれる影と同様の影をＣＧ画
像に容易に付加することができ、リアリティの高い画像
を生成できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置及び画像
合成装置ならびに方法、特に実写画像と合成用画像（コ
ンピュータグラフィックス（ＣＧ）画像など）を合成す
る装置及び方法に関する。

【０００２】

【従来の技術】近年、テレビ放送などでクロマキー技術
を用いてＣＧなどで作成した画像素材に実写画像から切
り出した出演者を合成して多様な演出を行う技術が用い
られている。特に、近年のＣＧ技術の進歩により、カメ
ラの動きにＣＧ画像が同期し、出演者がＣＧの世界であ
たかも自由に動き回っているような画像を作り出せるシ
ステムも開発されている。このシステム（バーチャルス
タジオ）を用いることで、スタジオセットを実際に制作
する必要がなくなり、コストの削減や演出効果の増大、
さらには作業時間の短縮を図ることができる。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな実写画像とＣＧ画像の合成においては、一見して明
らかに合成画像であると分かるようなリアリティに欠け
る画像が生ずることがしばしばある。これは、実写画像
における種々のパラメータとＣＧ画像におけるパラメー
タの不一致に起因するものが多いと考えられる。

【０００４】例えば、リアリティに欠ける画像の一例と
して画像内の人間の足の接地問題がある。これは、ＣＧ
画像で作成した背景に実写画像から切り出した人物を立
たせた場合、常に人物が地面から浮いているような印象
を与える問題である。この原因は、主として実写画像の
影付けの不自然さであり、実写画像における光源パラメ
ータ（光源の位置や強度）とＣＧ背景の光源パラメータ
とが一致していないために生じる。

【０００５】このような不自然な合成画像の生成を防止
するためには、従来においては合成段階において実写画
像におけるパラメータを合成作業者（エデイタ）が注意
深く観察してＣＧ画像に反映させる必要があり、作業者
に高い熟練が要求されるとともに、合成作業にも長時間
を要する問題があった。

【０００６】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、作業者の高い熟練
を要することなく、リアリティの極めて高い合成画像を
容易に生成することができる装置及び方法を提供し、さ
らには合成画像生成の自動化機能を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、撮像手段と、前記撮像手段の撮影条件を
含めた撮影環境を示す環境パラメータを前記撮像手段で
得られた画像に付加する付加手段とを有することを特徴
とする。

【０００８】ここで、前記付加手段から出力された、前
記環境パラメータが付加された画像を記憶する記憶手段
をさらに有するのが好適であり、前記環境パラメータを
取得する取得手段をさらに有することも好適である。

【０００９】また、本発明は、実写画像と素材画像（合
成用の画像）とを合成する画像合成装置であって、前記
実写画像に付加されている環境パラメータを抽出する抽
出手段と、抽出された前記環境パラメータに基づいて前
記素材画像を作成する作成手段と、前記実写画像と前記
素材画像を合成する合成手段とを有することを特徴とす
る。前記素材画像は、例えばＣＧ画像である。

【００１０】また、本発明は、実写画像と素材画像とを
合成する画像合成方法であって、前記実写画像に実写環
境を示す環境パラメータを付加するステップと、前記実
写画像と前記素材画像を合成する際に、前記実写画像に
付加されている前記環境パラメータに基づいて前記素材
画像を作成して合成するステップとを有することを特徴
とする。実写画像に付加された環境パラメータを用いて
合成することで、従来のように合成作業者が実写画像か
らパラメータを読み取って素材画像に反映させるという
作業が不要となり、合成作業者の技量に依存せずに容易
にリアリティの高い合成画像を得ることができる。

【００１１】本発明において、前記環境パラメータとし
ては、前記撮像手段の内部パラメータ、前記撮像手段の
移動情報、光源の位置情報、音源の位置情報などを用い
ることが好適である。これにより、実写画像の主要なパ
ラメータを素材画像に反映させることが可能となり、リ
アリティの高い合成画像を得ることができる。なお、環
境パラメータとしては、これ以外に、少なくとも、大気
の状態、天候、時刻のいずれかを含むことも好適であ
る。これらをパラメータとして用いることで、より実写
画像に合致する素材画像を得ることができる。

【００１２】前記光源の位置情報は、表面形状及び表面
特性が既知である基準物体の表面反射ピーク位置に基づ
き算出することができ、音源の位置情報は、複数の音入
力部から入力された音を周波数分解し、各周波数毎の位
相差及び強度差に基づき算出することができる。音源の
位置情報は、さらに実写画像の３次元モデルに基づいて
修正することが好適であり、これにより音源の位置精度
が向上し、合成画像のリアリティ性が一層向上する。

【００１３】また、本発明は、実写画像を記録する画像
記録方法を提供する。この方法では、撮像手段の撮影環
境及び撮影条件を示す環境パラメータを、前記実写画像
と関連づけて記録する。これにより、画像合成時に環境
パラメータを容易に用いることができる。

【００１４】また、本発明は、実写画像を記録する記録
媒体を提供する。記録媒体には、撮影手段の撮影環境及
び撮影条件を示す環境パラメータが、前記実写画像と関
連づけて記録される。記録媒体には、コンピュータ読み
取り可能なＣＤ−ＲＯＭやＤＶＤなど任意の媒体が含ま
れ、コンピュータで環境パラメータを読み込むことで画
像合成を効率化、さらには自動化できる。

【００１５】また、本発明は、合成画像を記録する画像
記録方法を提供する。この方法では、画像生成パラメー
タを前記合成画像と関連づけて記録する。

【００１６】また、本発明は、合成画像を記録する記録
媒体を提供する。記録媒体には、画像生成パラメータが
前記合成画像と関連づけて記録される。合成作業時に得
られた画像生成パラメータをいわば経験値として記録し
ておくことで、合成画像の再利用が可能となり、次回の
合成作業が簡易化される。

【００１７】また、本発明は、実写画像をデータベース
化する画像データベース構築方法を提供する。この方法
では、撮影手段の撮影環境及び撮影条件を示す環境パラ
メータを、前記実写画像のインデックスに記録してデー
タベース化する。環境パラメータと併せて実写画像をデ
ータベース化することで、データベースを用いた合成作
業の効率化、さらには自動化が可能となる。

【００１８】また、本発明は、合成画像をデータベース
化する画像データベース構築方法を提供する。この方法
では、画像合成パラメータを前記合成画像のインデック
スに記録してデータベース化する。合成時の画像合成パ
ラメータと併せて合成画像をデータベース化すること
で、合成画像データベースを用いた合成作業の効率化、
さらには自動化が可能となる。

【００１９】また、本発明は、音源の３次元位置を決定
する３次元音源位置決定装置を提供する。この装置は、
音情報を入力する音入力部と、入力された音を各周波数
に分解する周波数分解部と、各周波数毎に、音源の方向
を決定する音方向決定部とを有する。音源の３次元位置
を特定することで、例えば画像合成時に音源の３次元位
置を考慮して合成することが可能となり、合成画像のリ
アリティ性を一層向上できる。

【００２０】また、本発明は、音源の３次元位置を決定
する３次元音源位置決定方法を提供する。この方法は、
音情報を入力するステップと、入力された音を各周波数
毎に分解するステップと、各周波数毎に、音源の方向を
決定するステップとを有する。

【００２１】また、本発明は、光源の３次元位置を決定
する３次元光源位置決定装置を提供する。この装置は、
画像を入力する撮像部と、前記画像内に存在する、予め
形状及び位置が既知である参照物体像から、前記光源か
らの光の参照物体における反射情報を検出する検出部と
を有する。光源の３次元位置を特定することで、例えば
画像合成時に光源の３次元位置を考慮して合成すること
が可能となり、合成画像のリアリティ性を向上できる。
なお、光源位置を正確に特定するためには、参照物体は
複数必要であり、また形状としては球であることが好ま
しい。

【００２２】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００２３】図１には、本実施形態における撮像装置１
の構成ブロック図が示されている。本実施形態の撮像装
置１は、撮像部１０、環境パラメータ獲得部１２及び付
加部１４を含んで構成される。

【００２４】撮像部１０は、公知の２次元カメラ（アナ
ログあるいはデジタル）を用いることができ、ＣＣＤセ
ンサで構成することができる。もちろん、ステレオカメ
ラを用いることもでき、さらには３次元センシング機能
を有する３次元カメラでもよい。撮像部１０で得られた
実写画像は付加部１４に供給される。

【００２５】環境パラメータ獲得部１２は、撮像部１０
で得られた実写画像の撮影環境を示す環境パラメータを
獲得するもので、各種センサから構成される。獲得した
環境パラメータは付加部１４に供給される。なお、環境
パラメータの具体例については後述する。

【００２６】付加部１４は、撮像部１０から供給された
実写画像に環境パラメータ獲得部１２から供給された環
境パラメータを付加し、記憶手段に出力する。

【００２７】ここで、記憶手段は撮像装置１と別体で構
成することもできるが、ビデオカメラのように撮像装置
１内に組み込むことも可能である。記憶手段としては、
磁気テープや磁気ディスク、光学ディスクなど任意の媒
体を用いることができる。

【００２８】また、図１に示された構成では環境パラメ
ータ獲得部１２が撮像装置１に組み込まれているが、環
境パラメータ獲得部１２を撮像装置１と別体で構成し、
得られた環境パラメータを撮像装置１に供給することも
可能である。

【００２９】環境パラメータ獲得部１２で環境パラメー
タを獲得するタイミングとしては、撮像部１０で実写画
像を撮影するタイミングと同一であることが好適である
が、撮像部１０で実写画像を撮影するに先立って、環境
パラメータのみを獲得して付加部１４に供給するか、あ
るいは撮像部１０で実写画像を撮影した後に別途環境パ
ラメータ獲得部１２で環境パラメータを獲得し、付加部
１４に供給することも可能である。いずれにしても、撮
像部１０で実写画像を撮影した撮影環境を高精度に環境
パラメータ獲得部１２で獲得することが好ましく、獲得
すべき環境パラメータが時間とともに変化するようなパ
ラメータである場合には、可能な限り撮像部１０で撮影
するタイミングと同一タイミングで獲得することが好ま
しい。環境パラメータの獲得の態様も、好適には上述し
たようにセンサで自動検知することが望ましいが、撮影
者が手動でパラメータを入力することも可能である。

【００３０】実写画像に付加される環境パラメータとし
ては、例えば以下のものがある。

【００３１】＜カメラ内部パラメータ＞撮像部１０固有
のパラメータであり、具体的にはレンズの焦点距離やＣ
ＣＤサイズ、レンズ歪みなどである。ズームワークを含
めることもできる。カメラ内部パラメータは、撮像部１
０から一意に決定されるため、予めデータとして付加部
１４が有することも可能である。このカメラ内部パラメ
ータにより、実写画像にＣＧ画像を合成する際に、ＣＧ
画像のパースパラメータ（透視投影歪み）を実写画像と
一致させることが可能となる。

【００３２】＜カメラワークパラメータ＞このパラメー
タは、撮像装置１の移動に関するパラメータであり、こ
のパラメータを用いることで実写画像に合成したＣＧ部
品が実写画像のカメラワークにしたがって見え方が変化
し、ＣＧ部品が静止物体であればあたかも実際の背景に
固定されているかのようなリアリティのある合成画像を
得ることができる。カメラワークパラメータを取得する
ためには、例えば撮像装置１にジャイロセンサやＧＰＳ
などの位置センサを設けてもよく、あるいは、Ｒ．Ｙ．
ＴｓａｉａｎｄＴ．Ｓ．Ｈｕａｎｇ，「Ｕｎｉｑｕｅ
ｎｅｓｓａｎｄＥｓｔｉｍａｔｉｏｎｏｆＴｈｒ
ｅｅ−ＤｉｍｅｎｓｉｏｎａｌＭｏｔｉｏｎＰａｒ
ａｍｅｔｅｒｓｏｆＲｉｇｉｄＯｂｊｅｃｔｓ
ｗｉｔｈＣｕｒｖｅｄＳｕｒｆａｃｅｓ」ＩＥＥ
ＥＴｒａｎｓ．ＶｏｌＰＡＭＩ−６，ｐｐ．１３−
２６，１９８４に記載されているように動画像から得る
こともできる。オプティカルフローから算出するのも一
法である。カメラワークパラメータの具体例としては、
撮像装置１の移動速度や回転角、回転速度である。

【００３３】＜画像ノイズパラメータ＞実写画像には、
通常ホワイトノイズが含まれており、これにノイズの全
くないＣＧ画像を合成した場合、合成部分だけ不自然な
印象を与えることになる。そこで、ホワイトノイズの標
準偏差などを画像ノイズパラメータとして用い、実写画
像に含まれるノイズを強制的にＣＧ画像にも付加するこ
とで、実写画像との自然な合成を得ることができる。こ
の画像ノイズパラメータも撮像部１０に多く依存し、特
定のパターンを多数撮影して各々の画素毎にデータのば
らつきを統計的に調べ、その分散値をパラメータとする
こともできる。なお、画像ノイズが撮影時の気温に大き
く依存する可能性がある場合には、実写画像撮影時にこ
の画像ノイズパラメータを獲得するのが好ましい。

【００３４】＜光源パラメータ＞昼間の屋外撮影におい
ては、太陽の位置に応じて実写画像に影が生ずる。ま
た、屋内や夜間の屋外撮影においても、様々な照明器具
の位置により影が生ずる。光源パラメータは、このよう
な光源の位置や強度に関するパラメータであり、このパ
ラメータを用いることで実写画像とＣＧ画像の影を一致
させることができ、リアリティの高い合成が可能とな
る。

【００３５】図２には、実写画像とＣＧ画像の合成が模
式的に示されている。図２（ａ）は実写画像であり、太
陽（あるいは他の光源）１００の影響により実写画像の
物体１０２及び１０４にそれぞれ影１０２ａ及び１０４
ａが生じている状態が示されている。一方、図２（ｂ）
には、コンピュータで作成した、実写画像に合成すべき
ＣＧ画像２００が示されている。この図では、ＣＧ画像
をコップとして表現している。そして、図２（ａ）に示
された実写画像に図２（ｂ）で示されたＣＧ画像を合成
すると、図２（ｃ）に示された画像となる。ここで、リ
アリティのある合成画像を作成するためには、実写画像
に含まれる物体１０２、１０４の影１０２ａ、１０４ａ
と同様の影がＣＧ画像２００にも生じている必要があ
り、ＣＧ画像２００の影２００ａをどの位置にどの程度
生成するかが重要となる。この影２００ａの付け方を制
御するのが光源パラメータであり、実写画像（図２
（ａ））における太陽（あるいは他の光源）１００がど
の位置に存在するかを知ることで可能となる。

【００３６】以下、この光源パラメータの決定方法につ
いて説明する。

【００３７】図３には、光源パラメータを決定するため
の方法が示されている。まず、表面形状及び表面特性が
既知である参照物体３００を用意する。図３（ａ）で
は、この参照物体を球としている。そして、この参照物
体３００を撮像装置１で撮影し、参照物体３００の表面
反射のピーク位置を算出する。そして、図３（ａ）に示
されるように、表面反射のピーク点における参照物体３
００の面法線ベクトル及び撮像装置１とピーク点を結ぶ
カメラ視線方向を算出する。ピーク点における面法線ベ
クトルと光源方向ベクトルとのなす角度は、面法線ベク
トルとカメラ視線ベクトルとのなす角度に等しく、か
つ、これら３ベクトルは平面をなすという拘束条件か
ら、光源方向ベクトルを算出することができる。

【００３８】そして、以上の処理を複数の参照物体３０
０、３０２について行うことで複数の光源方向ベクトル
を算出し、これら複数の光源方向ベクトルの交わる点を
光源の３次元位置とすることができる。また、光源の３
次元位置と参照物体３００の反射光量から、光源の光量
を計算することもできる。

【００３９】もちろん、光源パラメータの決定方法とし
てこれに限らず、例えば椎谷秀一他「三次元情報を用い
た画像内の影除去」情報処理学会第５７回全国大会ｐ
ｐ．２：１８５−１８６，１９９８に記載されている方
法を用いることもできる。これは、実写画像に立体情報
を手動で付加した後、画像内の立体物の一点と、その点
に対応した影の部分を指定することで、光源方向を特定
する方法である。また、従来のＣＧ画像との合成作業中
に試行錯誤的に得たパラメータをそのまま用いることも
できる。

【００４０】＜音パラメータ＞一般に、実写画像撮影時
には音も同時に獲得するが、ここでは特にモデリングさ
れた音情報を意味する。具体的には、騒音環境である
か、非常に静かな環境であるかなどのシンボリックな情
報である。

【００４１】また、単なるステレオ録音された音ではな
く、音源モデリングにより、３次元位置が特定された音
源も含まれる。これにより、実写画像において視点を変
えた際にＣＧ画像もこの音源の３次元位置変化に基づい
て変化させることで、極めて臨場感の高い合成画像を得
ることができる。

【００４２】図４には、音パラメータとして音源の３次
元位置を決定するための構成ブロック図が示されてい
る。音パラメータを獲得する環境パラメータ獲得部１２
は、マイクなどの音入力部１２ａと３次元音源モデリン
グ部１２ｂを含んで構成される。音入力部１２ａは、複
数設けられてそれぞれの位置で音を入力する。３次元音
源モデリング部１２ｂは、複数の音入力部１２ａからの
音を入力して三角測量の原理により音源の３次元位置を
特定する。

【００４３】図５には、３次元音源モデリング部１２ｂ
における処理フローチャートが示されている。まず、３
次元音源モデリング部１２ｂは、複数の音入力部１２ａ
から音信号を入力し（Ｓ１０１）、デジタル信号に変換
する（Ｓ１０２）。次に、入力した音を高速フーリエ変
換（ＦＦＴ）などにより周波数分解し（Ｓ１０３）、各
周波数毎に複数の音入力部１２ａの位相差を検出する
（Ｓ１０４）。位相差は音源と各音入力部１２ａとの距
離差に相当する。また、複数の音入力部１２ａからの音
の各周波数毎の強度差を検出する（Ｓ１０５）。強度及
びその差は、音源と音入力部１２ａとの距離及び方向に
相当する。検出された各周波数毎の位相差及び強度差に
基づき、音源の３次元位置を特定する（Ｓ１０６）。

【００４４】図６及び図７には、以上述べた処理が模式
的に示されている。図６に示すように、複数の音入力部
Ａ、Ｂが離間して設けられ、それぞれの地点において音
源４００からの音を入力する。各地点において入力した
音波の位相及び強度は音源４００からの距離に依存し、
図７に示されるように音入力部Ａ、Ｂでの位相差並びに
強度差が生ずる。この位相差及び強度差、並びに各音入
力部Ａ、Ｂの位置関係から音源４００の３次元位置を特
定することができる。なお、図６、７では説明の都合
上、２個の音入力部を示しているが、実際には２個の音
入力部１２ａでは音源を２次元的にしか特定できないの
で、音入力部１２ａは少なくとも３個以上設ける必要が
ある。

【００４５】また、これらの入力部が１直線を成すよう
に配置した場合、やはり音源は２次元的にしか特定でき
ないので、これらが直線を成さないように配置すること
が好ましい。

【００４６】なお、音入力部を２個のみ持つ場合、上記
のように音源が２次元的にしか特定できないだけでな
く、複数の候補を持つことになる。すなわち、周期ｔの
波については、位相距離差ｎ×ｔ＋ｄ（ｎは任意の整
数）を満たす地点は全て位相差ｄと判断される。しか
し、音入力部を３個持つことで、この問題は以下のよう
に解決される。

【００４７】３個の音入力部をａ，ｂ，ｃとし、ａ−ｂ
のペアで観測される位相差をｄ（ａ，ｂ）、ｂ−ｃのペ
アで観測される位相差をｄ（ｂ，ｃ）、ａ−ｃのペアで
観測される位相差をｄ（ａ，ｃ）とする。音源候補はｎ
０×ｔ＋ｄ（ａ，ｂ）、ｎ１×ｔ＋ｄ（ｂ，ｃ）、ｎ２
×ｔ＋ｄ（ａ，ｃ）を全て満たす地点となり、一般に１
地点に特定できる。但し、当然ながら誤差の影響も考慮
する必要があり、このため上記の位置誤差に加え強度差
も考慮することで、より精度良く音源の３次元位置を特
定することができる。

【００４８】また、音入力部１２ａとしては、図８に示
されるように複数の指向性マイクアレイを用いることが
できる。各指向性マイクで入力された音は上述した処理
と同様に周波数分解され、各周波数毎に最強の入力があ
った指向性マイクの方向及びその近傍のマイクとの強度
の差から音源の３次元方向を特定することができる。

【００４９】さらに、このようにして算出された音源の
３次元位置を実写画像を用いて修正することで、３次元
位置検出の精度を向上させることも可能である。図９に
はこの場合の処理が模式的に示されている。図９（ａ）
に示されるように、実写画像から音源の可能性がある物
体Ａ、Ｂ、Ｃ、Ｄの３次元配置モデルを生成し、上述し
た方法で特定された音源の３次元位置をこの３次元配置
モデルにプロットする。図９（ｂ）は３次元配置に算出
した音源位置をプロットした状態を表しており、算出し
た音源位置を符号５００、５０２、５０４、５０６で表
している。実際の音源は物体Ａ、Ｂ、Ｃ、Ｄから発せら
れると考えられるので、推定した音源位置５００、５０
２、５０４、５０６を物体Ａ、Ｂ、Ｃ、Ｄの配置位置に
応じて修正し（例えば、物体の中心位置に引き込む）、
図９（ｃ）に示されるように音源位置６００、６０２、
６０４、６０６とする。

【００５０】このようにして実写画像における音源の３
次元位置を音パラメータとして用いることで、実写画像
にＣＧ画像を合成する場合に、実写画像中において音源
の変化に起因して物体の様子が変化しても、音源の３次
元位置が既知であるため、合成されるＣＧ画像もこの音
源の変化に従った変化を起こさせることが可能となり、
極めてリアリティの高い合成画像を得ることができる。

【００５１】なお、以上では入力された音情報をデジタ
ル変換した後、周波数分解する方法について述べたが、
複数のバンドパスフィルタを用いることでアナログ的に
周波数分解してもよい。

【００５２】＜大気パラメータ＞大気の曇り具合（霧や
水粒子密度）に関係するパラメータであり、これにより
光源の散乱具合が決定される。したがって、この大気パ
ラメータを用いることで、実写と同様の霧効果をＣＧ画
像にも生成することができ、合成した場合でもリアリテ
ィの高い画像を得ることができる。大気パラメータを獲
得するには、例えば湿度計を用いればよい。

【００５３】＜天候パラメータ＞このパラメータには、
雨、曇り、雪など一般的な天候情報の他、気温、風速／
風向、気圧なども含めることができる。天候パラメータ
として雪、風速、風向を有する実写画像にＣＧ画像を合
成する場合、ＣＧ画像に対して同様な風速などを与える
ことで、違和感のない合成画像が得られる。天候パラメ
ータを獲得するには、例えば温度計、気圧計、風速計、
風向計を用いることができる。

【００５４】＜時刻パラメータ＞撮影部１０で実写画像
を取得した時刻に関するパラメータであり、撮影時が早
朝であるか、昼間であるか、夕方であるかを示すパラメ
ータである。このパラメータを用いることで、例えば夕
方の合成画像を作成する際に朝の実写画像を用いてしま
い、合成画像間で光源パラメータが一致していても「な
んとなく不自然」な印象を与えてしまうことを確実に防
止できる。

【００５５】＜感情パラメータ＞実写画像が人物を撮影
したものである場合、その人物が「悲しい」、「楽し
い」、「怒った」などどんな感情を持っているかに関す
るパラメータである。これらのパラメータを有すること
で、合成すべき画像の選択をより適切に行うことができ
る。例えば、悲しいシーンの合成画像を作成する場合、
楽しい雰囲気の実写画像を背景部品として選択してしま
い、「なんとなく不自然」な印象を与えることを防止で
きる。

【００５６】＜プロローグ／エピローグパラメータ＞実
写画像において実際に得られた画像の前後の状況に関す
るパラメータである。例えば、実写画像が泣いている人
物に関する画像である場合、その原因である交通事故発
生に関するデータである（交通事故自体は、実写画像に
は存在しない）。あるいは、実写画像が多数の人物が上
を見ている画像である場合、低空飛行している飛行機に
関するデータである（飛行機の画像自体は、実写画像に
は存在しない）。これらのパラメータを２次的に用いる
ことで、より適切な合成画像を選択することも可能とな
る。以上、環境パラメータの具体例について説明した
が、もちろんこれらの全てを用いる必要はなく、任意に
選択すればよい。そして、付加部１４では、撮像部１０
から供給された実写画像と環境パラメータ獲得部１２で
獲得した各種獲得パラメータを付加して記憶手段に出力
する。以下、付加部１４で実写画像に環境パラメータを
付加するフォーマットについて説明する。

【００５７】図１０には、実写画像のヘッダ部のフォー
マット例が示されている。まず、実写画像である映像部
品名が先頭に配置され、次に映像のモデル形式、すなわ
ち２次元か３次元かを識別するための情報が配置され
る。そして、映像情報へのポインタと環境パラメータへ
のポインタが配置され、さらにその他の付随情報が配置
される。

【００５８】図１１には、図１０における映像情報への
ポインタで指定される映像情報部分のフォーマット例が
示されている。映像情報は、オブジェクト数、オブジェ
クト情報＃１、＃２、＃３、・・・から構成され、オブ
ジェクト情報には映像の形状情報、色彩情報、材質情報
及び動き情報が含まれる。

【００５９】一方、図１２には、映像情報に付加される
環境情報（環境パラメータ）のフォーマット例が示され
ている。なお、環境パラメータとして上述した各種パラ
メータのうち、カメラ内部パラメータ、カメラワークパ
ラメータ、画像ノイズパラメータ、光源パラメータ、大
気パラメータ、天候パラメータ、音パラメータ、時刻パ
ラメータのみを示しているが、他のパラメータを含むこ
とができるのは言うまでもない。図１２において、環境
パラメータはカメラ内部パラメータが先頭に配置され、
次にカメラワークパラメータへのポインタ情報が付加さ
れる。そして、画像ノイズパラメータが配置され、さら
に光源パラメータへのポインタが配置される。大気パラ
メータ及び天候パラメータが光源パラメータへのポイン
タに続き、さらに音パラメータへのポインタ及び時刻パ
ラメータが付加される。もちろん、全てのパラメータを
ポインタで指定することも可能である。

【００６０】図１３には図１２におけるカメラワークパ
ラメータへのポインタで指定されるカメラワークパラメ
ータのフォーマット例が示されている。カメラワークパ
ラメータは、モーションセグメント数（移動数）及び＃
１開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、＃２開始
点（ｘ、ｙ、ｚ）と動き速度ベクトル、・・・から構成
される。なお、カメラワークに回転が含まれる場合に
は、例えば回転速度ベクトルなどを付加することも可能
である。

【００６１】図１４には図１２において光源パラメータ
へのポインタで指定される光源パラメータのフォーマッ
ト例が示されている。光源パラメータは、光源数及び各
光源毎に光源位置（ｘ、ｙ、ｚ）、光源光スペクトル、
光源強度、光源動き、・・・から構成される。光源光ス
ペクトルは、太陽光や蛍光灯などの光源の種類で代用す
ることができる。光源光スペクトルは、例えば分光器な
どを用いて獲得することができる。

【００６２】さらに、図１５には、図１２の音パラメー
タへのポインタで指定される音パラメータのフォーマッ
ト例が示されている。音パラメータは、音源数及び各音
源毎の位置（ｘ、ｙ、ｚ）、音波シーケンス、音源動
き、・・・から構成される。音波シーケンスは音の種類
を示すものである。

【００６３】本実施形態における撮像装置１は、以上の
ようにして実写画像に撮影環境を示す環境パラメータを
付加して記憶手段に出力する。そして、実際に実写画像
と素材画像（合成用の画像）としてのＣＧ画像を合成す
る際には、記憶手段から実写画像を読み出し、実写画像
に付加されている環境パラメータを用いてＣＧ画像を自
動合成する。

【００６４】図１６には、本実施形態における画像合成
装置２０の構成ブロック図が示されている。画像合成装
置２０は、環境パラメータ抽出部１５、ＣＧ作成部２２
及び合成部２４を含んで構成される。

【００６５】環境パラメータ抽出部１５は、記憶手段に
格納されている環境パラメータが付加された実写画像を
読み出し、読み出した画像データから環境パラメータデ
ータを抽出してＣＧ作成部２２に供給する。また、実写
画像自体は合成部２４に出力する。

【００６６】ＣＧ作成部２２は、公知のＣＧ処理機能を
有するコンピュータで構成され、環境パラメータ抽出部
１５から供給された環境パラメータを用いて実写画像の
パラメータに合致したパラメータでＣＧ部品を作成す
る。具体的には、例えば環境パラメータ中の光源パラメ
ータを用いて実写画像に含まれる影と同一の影をＣＧ部
品に付加する。作成したＣＧ部品は、合成部２４に供給
される。

【００６７】合成部２４は、ＣＧ作成部２２で作成され
たＣＧ部品と環境パラメータ抽出部１５から供給された
実写画像を合成し、例えばモニタなどに出力する。環境
パラメータに基づいて自動的にＣＧ部品を作成して合成
するので、操作者は環境パラメータを独自に観察してＣ
Ｇ部品に反映させる必要がなくなり、リアリティの高い
合成画像を容易に得ることができる。

【００６８】なお、ＣＧ作成部２２でＣＧを作成するに
際し、環境パラメータ抽出部１５から供給された環境パ
ラメータの全てを考慮してＣＧを作成する必要はない。
例えば、意図的に不自然な画像を生成する場合には、必
要に応じて環境パラメータのいくつかを考慮せずＣＧを
作成することもできる。

【００６９】また、図１６の構成においては、環境パラ
メータ抽出部１５から供給された環境パラメータに基づ
き新たにＣＧ画像を作成したが、一度合成用に作成され
たＣＧ画像については、合成時に使用した環境パラメー
タとともにデータベースに格納しておき、新たに実写画
像と合成する必要が生じた場合には、このＣＧ画像に付
加された環境パラメータと合成すべき実写画像に含まれ
ている環境パラメータとを比較し、ＣＧ画像を修正して
再使用することも考えられる。

【００７０】図１７には、このような場合の構成ブロッ
ク図が示されている。実写画像データベース３０及びＣ
Ｇ画像データベース３２が用いられる。実写画像にＣＧ
画像を合成する場合、ＣＧ画像データベース３２に格納
されているＣＧ画像はＣＧ修正部３４に供給される。そ
して、実写画像に付加されている環境パラメータをＣＧ
修正部３４に供給し、ＣＧ修正部３４では、ＣＧ画像に
付加されている環境パラメータと実写画像に付加されて
いる環境パラメータを比較し、環境パラメータの相違に
基づいてＣＧ画像を修正する。例えば、光源パラメータ
Ａを有する実写画像に合成されたＣＧ画像ａが存在する
とする。このＣＧ画像ａを用いて別の実写画像Ｂに合成
する場合、合成すべき実写画像Ｂに付加されている光源
パラメータＢを用いてＣＧ画像ａの影の部分を修正して
ＣＧ画像ｂを得る。これにより、ＣＧ修正部３４は、実
写画像のパラメータに一致したＣＧ画像を効率的かつ迅
速に作成することができる。

【００７１】以上、本発明の実施形態について、特に実
写画像とＣＧ画像との合成を例にとり説明したが、本発
明はこれに限定されるものではなく、実写画像と実写画
像の合成にも適用することが可能である。

【００７２】

【発明の効果】本発明によれば、実写画像のパラメータ
とＣＧ画像などの合成用画像のパラメータを自動的に一
致させることができるので、高い熟練を要することなく
リアリティの高い合成画像を容易に得ることができる。

【図面の簡単な説明】

【図１】本発明の実施形態の撮像装置の構成ブロック
図である。

【図２】光源パラメータの説明図である。

【図３】光源パラメータの算出説明図である。

【図４】本実施形態における環境パラメータ獲得部の
構成ブロック図である。

【図５】音パラメータの算出処理フローチャートであ
る。

【図６】音パラメータ算出の説明図（その１）であ
る。

【図７】音パラメータの算出説明図（その２）であ
る。

【図８】図４における音入力部の一構成図である。

【図９】本実施形態における他の音パラメータ算出説
明図である。

【図１０】環境パラメータが付加された実写画像デー
タのフォーマット図である。

【図１１】図１０における映像情報部分のフォーマッ
ト図である。

【図１２】図１０における環境パラメータ部のフォー
マット図である。

【図１３】図１２におけるカメラワークパラメータ部
のフォーマット図である。

【図１４】図１２における光源パラメータ部のフォー
マット図である。

【図１５】図１２における音パラメータ部のフォーマ
ット図である。

【図１６】本実施形態における画像合成装置の構成ブ
ロック図である。

【図１７】本実施形態における画像合成装置の他の構
成ブロック図である。

【符号の説明】

１撮像装置、１０撮像部、１２環境パラメータ獲
得部、１４付加部、１５環境パラメータ抽出部、２
０画像合成装置、２２ＣＧ作成部、２４合成部、３
０実写画像データベース、３２ＣＧ画像データベー
ス、３４ＣＧ修正部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者北村徹大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内Ｆターム(参考） 5B050 BA06 BA07 BA10 DA01 DA10 EA07 EA14 EA19 EA30 FA10 5C022 AB15 AB51 AB66 AB68 AC00 AC13 AC14 AC72 5C076 AA13 AA40 BA06

Claims

【特許請求の範囲】

【請求項１】撮像手段と、前記撮像手段の撮影条件を含めた撮影環境を示す環境パ
ラメータを前記撮像手段で得られた画像に付加する付加
手段と、を有することを特徴とする撮像装置。
【請求項２】請求項１記載の装置において、さらに、前記付加手段から出力された、前記環境パラメータが付
加された画像を記憶する記憶手段を有することを特徴と
する撮像装置。
【請求項３】請求項１記載の装置において、さらに、前記環境パラメータを取得する取得手段を有することを
特徴とする撮像装置。
【請求項４】実写画像と素材画像とを合成する画像合
成装置であって、前記実写画像に付加されている環境パラメータを抽出す
る抽出手段と、抽出された前記環境パラメータに基づいて前記素材画像
を作成する作成手段と、前記実写画像と前記素材画像を合成する合成手段と、を有することを特徴とする画像合成装置。
【請求項５】請求項４記載の装置において、前記素材画像はコンピュータグラフィックスであること
を特徴とする画像合成装置。
【請求項６】実写画像と素材画像とを合成する画像合
成方法であって、前記実写画像に付加されている画像入力時環境を示す環
境パラメータを読み込むステップと、前記実写画像と前記素材画像を合成する際に、前記環境
パラメータに基づいて前記素材画像を作成または加工し
て合成するステップと、を有することを特徴とする画像合成方法。
【請求項７】実写画像と素材画像とを合成する画像合
成方法であって、前記実写画像に実写環境を示す環境パラメータを付加す
るステップと、前記実写画像と前記素材画像を合成する際に、前記実写
画像に付加されている前記環境パラメータに基づいて前
記素材画像を作成して合成するステップと、を有することを特徴とする画像合成方法。
【請求項８】請求項７記載の方法において、前記素材画像はコンピュータグラフィックスであること
を特徴とする画像合成方法。
【請求項９】請求項１〜８のいずれかに記載の装置又
は方法において、前記環境パラメータは、前記撮像手段の内部パラメータ
であることを特徴とする撮像装置又は画像合成装置又は
画像合成方法。
【請求項１０】請求項１〜８のいずれかに記載の装置
又は方法において、前記環境パラメータは、前記撮像手段の移動情報である
ことを特徴とする撮像装置又は画像合成装置又は画像合
成方法。
【請求項１１】請求項１〜８のいずれかに記載の装置
又は方法において、前記環境パラメータは、光源の位置情報であることを特
徴とする撮像装置又は画像合成装置又は画像合成方法。
【請求項１２】請求項１〜８のいずれかに記載の装置
又は方法において、前記環境パラメータは、音源の位置情報であることを特
徴とする撮像装置又は画像合成装置又は画像合成方法。
【請求項１３】請求項１〜８のいずれかに記載の装置
又は方法において、前記環境パラメータは、少なくとも、大気の状態、天
候、時刻のいずれかを含むことを特徴とする撮像装置又
は画像合成装置又は画像合成方法。
【請求項１４】請求項１〜８のいずれかに記載の装置
又は方法において、前記環境パラメータは、前記撮像手段で入力された画像
のノイズパラメータであることを特徴とする撮像装置又
は画像合成装置又は画像合成方法。
【請求項１５】請求項１〜８のいずれかに記載の装置
又は方法において、前記環境パラメータは、光源の輝度及びスペクトル情報
であることを特徴とする撮像装置又は画像合成装置又は
画像合成方法。
【請求項１６】請求項１〜８のいずれかに記載の装置
又は方法において、前記環境パラメータは、音源の強度及びスペクトル情報
であることを特徴とする撮像装置又は画像合成装置又は
画像合成方法。
【請求項１７】請求項１１記載の装置又は方法におい
て、前記光源の位置情報は、表面形状及び表面特性が既知で
ある基準物体の表面反射ピーク位置に基づき算出される
ことを特徴とする撮像装置又は画像合成装置又は画像合
成方法。
【請求項１８】請求項１２記載の装置又は方法におい
て、前記音源の位置情報は、複数の音入力部から入力された
音を周波数分解し、分解された周波数毎に算出されるこ
とを特徴とする撮像装置又は画像合成装置又は画像合成
方法。
【請求項１９】請求項１２記載の装置又は方法におい
て、前記音源の位置情報は、複数の音入力部から入力された
音を周波数分解し、分解された周波数毎に位相差を検出
し、検出された位相差に基づいて算出される３次元位置
であることを特徴とする撮像装置又は画像合成装置又は
画像合成方法。
【請求項２０】請求項１２記載の装置又は方法におい
て、前記音源の位置情報は、複数の音入力部から入力された
音を周波数分解し、各周波数毎の位相差及び強度差に基
づき算出されることを特徴とする撮像装置又は画像合成
装置又は画像合成方法。
【請求項２１】請求項２０記載の装置又は方法におい
て、前記音源の位置情報は、さらに実写画像の３次元モデル
に基づき算出されることを特徴とする撮像装置又は画像
合成装置又は画像合成方法。
【請求項２２】実写画像を記録する画像記録方法であ
って、撮像手段の撮影環境及び撮影条件を示す環境パラメータ
を、前記実写画像と関連づけて記録することを特徴とす
る画像記録方法。
【請求項２３】実写画像を記録する記録媒体であっ
て、撮影手段の撮影環境及び撮影条件を示す環境パラメータ
を、前記実写画像と関連づけて記録することを特徴とす
る記録媒体。
【請求項２４】請求項２２、２３のいずれかに記載の
方法又は媒体において、前記環境パラメータは、前記撮像手段の内部パラメータ
であることを特徴とする画像記録方法又は記録媒体。
【請求項２５】請求項２２、２３のいずれかに記載の
方法又は媒体において、前記環境パラメータは、前記撮像手段で入力された画像
のノイズパラメータであることを特徴とする画像記録方
法又は記録媒体。
【請求項２６】請求項２２、２３のいずれかに記載の
方法又は媒体において、前記環境パラメータは、画像撮影時の光源の位置情報で
あることを特徴とする画像記録方法又は記録媒体。
【請求項２７】請求項２２、２３のいずれかに記載の
方法又は媒体において、前記環境パラメータは、画像撮影時の光源の輝度及びス
ペクトル情報であることを特徴とする画像記録方法又は
記録媒体。
【請求項２８】請求項２２、２３のいずれかに記載の
方法又は媒体において、前記環境パラメータは、画像撮影時の音源の位置情報で
あることを特徴とする画像記録方法又は記録媒体。
【請求項２９】請求項２２、２３のいずれかに記載の
方法又は媒体において、前記環境パラメータは、画像撮影時の音源の強度及びス
ペクトル情報であることを特徴とする画像記録方法又は
記録媒体。
【請求項３０】請求項２２、２３のいずれかに記載の
方法又は媒体において、前記環境パラメータは、少なくとも画像撮影時の大気の
状態、天候、時刻のいずれかを含むことを特徴とする画
像記録方法又は記録媒体。
【請求項３１】合成画像を記録する画像記録方法であ
って、画像生成パラメータを前記合成画像と関連づけて記録す
ることを特徴とする画像記録方法。
【請求項３２】合成画像を記録する記録媒体であっ
て、画像生成パラメータを前記合成画像と関連づけて記録す
ることを特徴とする記録媒体。
【請求項３３】請求項３１、３２のいずれかに記載の
方法又は媒体において、前記画像生成パラメータは、前記合成画像生成時に仮定
したカメラの内部パラメータであることを特徴とする画
像記録方法又は記録媒体。
【請求項３４】請求項３１、３２のいずれかに記載の
方法又は媒体において、前記画像生成パラメータは、前記合成画像生成時に人工
的に与えたノイズパラメータであることを特徴とする画
像記録方法又は記録媒体。
【請求項３５】請求項３１、３２のいずれかに記載の
方法又は媒体において、前記画像生成パラメータは、前記合成画像生成時に仮定
した光源の位置情報であることを特徴とする画像記録方
法又は記録媒体。
【請求項３６】請求項３１、３２のいずれかに記載の
方法又は媒体において、前記画像生成パラメータは、前記合成画像生成時に仮定
した光源の輝度及びスペクトル情報であることを特徴と
する画像記録方法又は記録媒体。
【請求項３７】請求項３１、３２のいずれかに記載の
方法又は媒体において、前記画像生成パラメータは、前記合成画像生成時に仮定
した音源の位置情報であることを特徴とする画像記録方
法又は記録媒体。
【請求項３８】請求項３１、３２のいずれかに記載の
方法又は媒体において、前記画像生成パラメータは、前記合成画像生成時に仮定
した音源の強度及びスペクトル情報であることを特徴と
する画像記録方法又は記録媒体。
【請求項３９】請求項３１、３２のいずれかに記載の
方法又は媒体において、前記画像生成パラメータは、少なくとも前記合成画像生
成時に仮定した大気の状態、天候、時刻のいずれかを含
むことを特徴とする画像記録方法又は記録媒体。
【請求項４０】実写画像をデータベース化する画像デ
ータベース構築方法であって、撮影手段の撮影環境及び撮影条件を示す環境パラメータ
を、前記実写画像のインデックスに記録してデータベー
ス化することを特徴とする画像データベース構築方法。
【請求項４１】合成画像をデータベース化する画像デ
ータベース構築方法であって、画像合成パラメータを前記合成画像のインデックスに記
録してデータベース化することを特徴とする画像データ
ベース構築方法。
【請求項４２】音源の３次元位置を決定する３次元音
源位置決定装置であって、音情報を入力する音入力部と、入力された音を各周波数に分解する周波数分解部と、各周波数毎に、音源の方向を決定する音方向決定部と、を有することを特徴とする３次元音源位置決定装置。
【請求項４３】音源の３次元位置を決定する３次元音
源位置決定方法であって、音情報を入力するステップと、入力された音を各周波数毎に分解するステップと、各周波数毎に、音源の方向を決定するステップと、を有することを特徴とする３次元音源位置決定方法。
【請求項４４】請求項４２記載の装置において、前記音入力部は３個以上あり、かつ、これら３個以上の
音入力部は３次元的に異なる位置に配置されることを特
徴とする３次元音源位置決定装置。
【請求項４５】請求項４２、４４のいずれかに記載の
装置において、前記音入力部は、非直線的な位置に配置されることを特
徴とする３次元音源位置決定装置。
【請求項４６】請求項４２、４４のいずれかに記載の
装置において、前記音入力部は、指向性マイクアレイから構成されるこ
とを特徴とする３次元音源位置決定装置。
【請求項４７】請求項４２、４３のいずれかに記載の
装置又は方法において、前記音源の方向は、各周波数毎に検出された位相差に基
づいて決定されることを特徴とする３次元音源位置決定
装置又は３次元音源位置決定方法。
【請求項４８】光源の３次元位置を決定する３次元光
源位置決定装置であって、画像を入力する撮像部と、前記画像内に存在する、予め形状及び位置が既知である
参照物体像から、前記光源からの光の参照物体における
反射情報を検出する検出部と、を有する３次元光源位置決定装置。
【請求項４９】請求項４８記載の装置において、前記参照物体は２個以上であることを特徴とする３次元
光源位置決定装置。
【請求項５０】請求項４８、４９のいずれかに記載の
装置において、前記参照物体は球形であることを特徴とする３次元光源
位置決定装置。