JPH11261888A - テレビジョン画像の合成方式 - Google Patents

Abstract

(57)【要約】 【課題】クロマキー又はバーチャルスタジオ等における
合成画像において、前景である被写体の影は、ブルーバ
ックの背景画像から被写体を分離抽出する通常のクロマ
キーのパラメータ調整には、高度な技術と経験による調
整を必要し、また影の画像信号領域の抽出にも、更に綿
密で微細な調整と背景の照明の調整を必要とした。ま
た、この方式で抽出される影は、被写体背景のスタジオ
の床又は壁に投影された影であり、合成目的のＣＧ等の
背景画像に家具、柱等の物体がある場合には、投影され
るべき影とは一致しないため、上記課題を容易に解決す
る方式を提供する。 【解決手段】被写体の画像領域の画像信号を、座標変換
処理によってその位置、形状等を変えることにより影の
画像信号として生成して合成し、高画質の合成画像を得
ることができ、また影を投影する仮想光源位置を設定す
ることによって、照明やパラメータの徴細な調整による
多大な時間と労力を要する点を解決し、高画質の合成画
像を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン、映
画等の番組制作、娯楽設備等に利用されるテレビジョン
画像の合成に係り、特に影撮影用光源テレビジョンカメ
ラを用いて、合成画像の前景となる被写体に基づく影を
生成し、合成画面に付加するテレビジョン画像合成方式
に関する。

【０００２】

【従来の技術】テレビジョンの番組制作などで人物その
他の被写体画像を、その背景画像より切り抜き抽出し、
それとは別に、撮影又はＣＧ（コンピュータグラフィッ
クス）で作成された背景画像にはめ込み合成する技術は
広く使用されている。また、従来より合成方式における
被写体の抽出装置としては、クロマキー装置が多用され
ているが、切り抜き抽出すべき被写体は、キャスター等
の人物であることが多いことから、通常は肌色の補色で
あるブルーバック（クロマキーバック）を背景にして、
その前景として撮影し、画像信号における色の相違によ
るレベル差を利用して被写体の画像領域を示すキー信号
が作られ、それをはめ込んで合成される。

【０００３】上記、従来の画像合成方式構成の一例を図
を参照して説明する。図５は従来の画像合成方式の構成
図、である。図において、１は被写体（人物）、２はブ
ルーバック等の背景（壁、床）、３はスタジオカメラ
（スタジオ用カラーテレビジョンカメラ）、４は抽出装
置（クロマキー装置）、５は被写体画像信号、６は被写
体キー信号、７は入力端子、８は背景画像信号、９は合
成装置、１０は出力端子、１１は合成画像信号、１２は
合成画像、１６は画像信号を示す。被写体１はブルーバ
ック等の背景２の前の前景としてスタジオカメラ３によ
り撮影される。そして、その画像信号１６は抽出装置４
に入力され、背景２との色の相違により、クロマキー等
の手法によって抽出された被写体１の領域の被写体画像
信号５は、その背景部分は黒信号に置き換えられて出力
され、合成装置９に入力される。また、被写体部分の領
域を示すキー信号６も、抽出装置４により抽出生成され
て合成装置９に入力される。この信号によって、入力端
子７より入力された撮影又はＣＧ等で作成された合成画
像１２用の背景画像信号８に、被写体１の画像信号がは
め込まれ、合成装置９により合成処理された後、出力端
子１０より合成画像信号１１が出力され、合成画像１２
を得ることができる。

【０００４】また、バーチャルスタジオのように、人物
等の被写体１が動き回る３次元空間を必要とする場合に
は、スタジオの壁及び床をブルーバック等の背景２と
し、かつ均一な照明が望ましい。照明が不均一である
と、ある程度は抽出装置４（クロマキー装置）の抽出操
作のパラメータ設定で対応できるが、抽出した被写体１
の境界部分が乱れて不自然になる等の現象が起き易く、
より高品質の合成画像１２を得るには、照明の照度と方
向の調整及び前記抽出装置４のパラメータ調整を繰り返
し行なう必要があり、高度の技術と経験が要求される。
さらに、画像合成の品質に係る重要な要素として、被写
体１の影が違和感無く合成画像１２に表現されるかがあ
り、これらが無いと被写体１が接地感に欠けて浮いた感
じとなってしまう。

【０００５】次に、合成画面において被写体１の影を表
現するには、 ．照明によりスタジオの床（ブルーバック等の背景
２）等にできた被写体１の影の領域を、影のキー信号と
して画像信号１６より抽出生成し、前記影の領域の画像
信号は黒画像信号に変換して背景画像と合成する（図示
せず）。この影の表現方式は、前述したように、影をブ
ルーバックの床（ブルーバック等の背景２）より抽出す
る揚合の抽出装置４（クロマキー装置）の調整は通常の
調整より困難を伴い、照明とクロマキーのパラメータ調
整を繰り返し綿密に行なう必要がある。

【０００６】．バーチャルスタジオにおいては、合成
画像１２の前景となる被写体１と、背景の３次元ＣＧ画
像との関係における違和感をなくすために、ＣＧの３次
元空間における仮想カメラの位置及び、ロール（傾
き）、パン、ティルト、ズーム等の撮影条件をスタジオ
カメラに一致、連動させる必要がある。そのため、スタ
ジオカメラ３及び、被写体１の基準位置を決め、３次元
ＣＧの各点の位置情報を決めたうえで、それに対するス
タジオカメラ３の移動、ロール、パン、ティルト、ズー
ム等の情報をセンサ等で検出する。この方式には、 １）．被写体撮影用カメラ装置（スタジオカメラ３）の
位置情報及びロール、パン、ティルト、ズーム等の画角
情報を、前記スタジオカメラ３に取り付けたセンサ等に
より測定する方式、あるいは、 ２）．ブルーバック（ブルーバック等の背景２）の色を
複数色のブルーとして、例えば格子縞等の情報パタンを
描いておき、この画像信号１６中のパタン情報を認識す
ることによって、カメラ装置（スタジオカメラ３）の前
記位置、画角情報を得るパタン情報方式、があり、これ
らの情報に基づいてＣＧ装置におけるコンピュータによ
り各画素の移動を計算し仮想カメラの撮影条件をスタジ
オカメラ３と同じにする（図示せず）。上記において、
後者 ２）．項のパタン情報による方式は、既設のカメ
ラ装置をそのまま使用でき、またハンディカメラも使用
できる特徴ある優れた方式であるが、複数色のブルーの
情報パタンが描かれた背景の映像信号から被写体の抽出
に加えて、その影の領域をクロマキーのパラメータ調整
で抽出することは、きわめて困難である。

【０００７】

【発明が解決しようとする課題】前述したように、クロ
マキー又はバーチャルスタジオ等における合成画像にお
いて、前景である被写体の影については、表現に違和感
のないことが、画像の品質に係る重要な要素であり、こ
れが満たされていないと、被写体の画像が接地感に欠け
て浮いた感じとなり、不自然な画像になってしまう。ま
た、ブルーバックの背景画像から被写体を分離抽出する
通常のクロマキーのパラメータ調整においては、高度な
技術と経験による調整を要するものであり、これに加え
て、影の画像信号の領域を抽出するためには更に綿密で
微細な調整と背景の照明の調整が必要となる。したがっ
て、影の境界部分は乱れ易く、品質の良い画像信号を得
ることは困難であり、特に前述のような格子縞等の情報
パタンが描かれたブルーバックの背景からの影の抽出は
極めて困難である。さらに、従来、クロマキー又はバー
チャルスタジオの装置は非常に高価であり、単位時間あ
たりの運用経費も高額となるが、前述のように被写体の
影を違和感なく表現しようとすると、さらに多大な時間
と労力を要して番組等の制作コストも高額となってしま
う。また、前述の方式で抽出される影は、あくまでも前
記被写体の背景であるスタジオの床又は壁に投影された
影であって、合成されるべきＣＧ等の背景画像に机等の
家具、柱その他の物体がある場合には、これに投影され
るべき影とは一致しないことになる。したがって、本発
明では、上記の課題を容易に解決する方式を提供する。

【０００８】

【課題を解決するための手段】本発明者は、上記に鑑み
鋭意研究の結果、被写体の画像領域の画像信号を座標変
換処理によってその位置、形状等を変えることにより影
の画像信号として生成して合成し、高画質の合成画像を
得ることができ、また、影を投影する仮想光源位置を設
定することによって、前記照明やパラメータの徴細な調
整による多大な時間と労力を要する欠点を解決して、高
画質の合成画像を得ることができた。以下にその手段を
記述する。 （１）合成画像の前景となる被写体の画像信号と、被写
体の画像領域を示すキー信号とを、被写体の背景画像よ
り分離抽出し、前記被写体の画像及び異なる背景画像と
を合成する手段を備えた画像合成方式において、画像信
号の座標変換手段を備え、影撮影用光源テレビジョンカ
メラの出力画像信号より抽出した、被写体画像領域に基
づくキー信号を、スタジオ用テレビジョンカメラの位
置、方向及び画角に基づく被写体画像に適応したキー信
号として座標変換することにより、被写体の影を生成し
て合成することを特徴とするテレビジョン画像合成方
式。 （２）低域通過フィルタを備え、影を合成するためのキ
ー信号の波形を鈍らせることを特徴とする前記（１）項
に記載のテレビジョン画像合成方式。 （３）キー信号レベルを傾斜的に変化する手段を備え、
影の透過度を接地点を基に傾斜的に変化させることを特
徴とした（１）項又は（２）項に記載のテレビジョン画
像合成方式。

【０００９】

【発明の実施の形態】本発明は、テレビジョン画像合成
方式において、座標変換処理機能を有する特殊効果装置
と同様な機能である生成装置を備えたことを特徴とし、
ブルーバック等の背景画像から前記抽出装置により抽出
された被写体の領域の画像信号及びキー信号を目的とす
る影の位置、形状となるように、２次元又は３次元の座
標変換処理を行なうことにより、影の画像を生成し、高
品質の合成画像を得るものである。前記特殊効果装置は
一般にテレビジョン方式で使用されており、画像信号を
座標変換することにより画像の回転、反転、移動、縮
小、拡大、スキュー、パースペクテブ、その他デフォー
カス効果等の処理を行なう機能を有する。

【００１０】まず、本発明装置の生成装置８において行
なう座標変換手段について説明する。画像内の任意のピ
クセル位置は（Ｘ，Ｙ）の２次元で表現され入力、出力
ともに２次元画像の場合に入力画像の任意のピクセル
（ｘ，ｙ）が出力画像のピクセル（ｘ’, ｙ’）に写像
されるとすると、次のようになる。 上式において、ｆは任意のピクセル（ｘ，ｙ）の写像位
置で、出力画像のピクセルｘ軸の位置を示し、ｇは任意
のピクセル（ｘ，ｙ）の写像位置で、出力画像のピクセ
ルｙ軸の位置を示す。また、３次元回転、移動、縮小
（拡大）、スキュー等の座標変換は、入力画像の任意の
ピクセル（ｘ，ｙ）が出力画像（ｘ’，ｙ’）に写像さ
れると、３×３射影変換行列で下記のように表わされ
る。数１は２次元画像入力を座標変換し３次元出力画像
に写像した数式を示す。

【００１１】

【数１】

【００１２】上記を模式図にて以下に示す。図１は本発
明に係る入力画像を３次元の出力画像で表した模式図で
あり、（イ）図は入力画像、（ロ）図は変換後の出力画
像を示す。図において、１７は入力画像、２０は出力画
像、２３は画像記号、２５は出力画像枠を示す。図示し
たように、入力画像（イ）図における入力画像の任意の
ピクセル（ｘ，ｙ）点及び記号Ａは、変換されて、出力
画像（ロ）図における出力画像のピクセル（ｘ’,
ｙ’）及び記号Ａの位置に写像される。したがって、１
枚の画像を細かく分割し、その１枚１枚に上記式を適用
すれば、入力画像を球や立方体等の３次元形状をもつ物
体にマッピングすることも可能であり、前述の影が背景
画像内の机、家具、柱等の物体に投影されているかのよ
うに生成することが可能である。

【００１３】次に、本発明に係る合成画面について説明
する。図２は本発明に係る合成画面説明図、であり、
（イ）図は座標変換パラメータを人物の足元を中心に合
わせて設定した状態図。（ロ）図は人物が画面の下方に
移動した場合、座標変換の中心が人物の足元より外れた
図、である。図において、１８は人物、１９は足元（接
地点）、２１は人物の影、２２は人物の移動方向を示
す。影２１を生成する座標変換は、画像全体に対し行わ
れるので、そのパラメータが固定値だと被写体、例えば
人物１８の移動に対して追従できない。合成画面（イ）
図では座標変換パラメータを前記人物１８の接地点１
９、すなわち足元を中心に合わせて設定した状態であっ
て、人物１８の足元１９（接地点）より影２１が発生し
ているが、前記パラメータが固定であると、人物１８が
画面の下方向２２に移動した場合は、座標変換の中心足
元１９は、合成画面（ロ）図のように人物１８の足元１
９より外れてしまう。

【００１４】上記の課題に対する第１の方式。人物１８
の移動に影２１を追従させるための第１の方式は、被写
体の足元１９（接地点）、すなわち被写体が人物１８の
場合は、足元１９についての画像内での２次元座標を、
キー信号における足元１９に該当する位置から検出し、
その座標を変換の中心とする方式である。この場合は２
次元での計算となるので、３次元的に矛盾の無い影を生
成することはできないが、見た目で自然な感じになるよ
うに簡単に設定することができる。図２の（ハ）図及び
（ニ）図によって上記説明の事例を示す（ハ）図は、座
標変換パラメータを、人物の足元を中心に合わせて設定
した状態図、（ニ）図は、人物が下方に移動しても影は
被写体の人物に追従する状態図、をそれぞれ示す。図に
示したように、合成画面（ハ）図における被写体の人物
が移動しても、合成画面（ニ）図のように影は被写体の
人物に追従する。

【００１５】次に本発明に係る画像信号の各種の処理手
段について説明する。 、低域通過フィルタについて、 画像信号は低域通過フィルタを通過させることにより、
レンズの焦点をずらしたようなデフォーカス効果を行う
ことができ、キー信号についてこれを行えばキー信号の
波形が鈍り、輪郭がソフトで自然な影を生成することが
できる。 、キー信号レベルの透過度の調整について、 キー信号は０％から１００％のレベル値を示し、前記合
成装置において例えば０％では背景画像のみが、１００
％では影の画像のみがキー信号の領域において出力さ
れ、０％から１００％までの間ではそのレベル値に比例
した率により背景画像と影の画像とが混合され両者の間
の透過度となって出力される。前述したように、生成さ
れる影の領域の映像信号は通常は黒信号に変換し、被写
体の映像信号をそのまま使用して、合成装置により背景
画像、影の画像、被写体画像の順番で合成し、前記キー
信号レベルの適度な透過度調整によって影を付加するこ
とにより、自然で高品質の合成画像を得ることができ
る。 、キー信号レベルの傾斜的な変化手段について、 上記の場合、影の画像領域をすべて均一な透過度とせ
ず、例えば人影の場合、足元の影又は反射は濃くし、足
元から離れるほど薄くなるようにキー信号のレベルを傾
斜的に変化させることにより、更に自然な影又は反射を
得ることができる。

【００１６】前記課題に対する第２の方式。 第２の方式は、影に関し、スタジオ内で３次元座標を設
定し、被写体の影を発生させるべき光源の仮想的位置
に、影を生成するために、影撮影用テレビジョンカメラ
（光源カメラ）を設置し、影用の抽出装置により、影用
被写体画像信号及び影用キー信号を抽出して生成装置に
入力する。以下その作用を、図３に基づいて説明する。

【００１７】図３は本発明に係る光源カメラによる影の
生成説明図、である。図３の（イ）図は、スタジオにお
ける光源カメラ及びスタジオカメラによる撮影と、人物
と影とを生成した合成画像図である。（ロ）図は、光源
カメラの撮影画像図。（ハ）図は、座標変換された影の
画像図。（ニ）図は、人物と影の合成画像図。（ホ）図
は、スタジオカメラの撮影画像図、をそれぞれ示す。上
記（イ〜ホ）図において、２４は光源カメラ、２６は光
源カメラによる影の撮影画像、２７は座標変換された影
の画像、２８は人物と影の合成画像、２９はスタジオカ
メラの撮影画像、Ａは被写体表面上の点、Ｂは床面の
点、Ｃは光源カメラの被写体画像上の点を示す。（イ）
図において、被写体の人物１８の影２１は、光源から照
射された光が人物１８に遮られることにより発生するも
のであるから、その光源の位置に光源カメラ２４を設置
して人物１８を撮影すれば、その画像における被写体像
は、床面に投影された前記人物１８の影２１の画像領域
と同一である。光源は点光源と仮定し、例えば光源から
照射され被写体表面上の点Ａを通過した光線は、床面の
Ｂ点に照射し、光源カメラの撮影画像において、前記点
Ａと同部分である光源カメラの被写体画像上の点をＣと
すると、Ａ，Ｂ，Ｃ点は一直線上にあり被写体表面の他
の部分に関しても同様である。（ロ）図に、光源カメラ
による影の撮影画像２６を示した。図は人物１８の側面
からの撮影による影の立像である。

【００１８】次に、光源カメラ２４及びスタジオカメラ
３についての位置、画角情報を前記生成装置に入力し、
光源カメラ２４の画像に基づいて抽出生成された前記被
写体１８の画像領域について、前記生成装置で座標変換
処理することにより、スタジオカメラ３で撮影された画
像に適応した影２１として変換することができる。
（ハ）図に、座標変換された影の画像２７を示し、
（ホ）図に、スタジオカメラの撮影画像図２９を示し、
そして、（ニ）図に人物と影の合成画像を２８を示し
た。この方式では、影２１を発生させる光源に基づいた
完全な３次元モデルで計算することができるため、３次
元的に完全な影を生成することができ、背景画像内に存
在する机等の家具、柱等の物体（図示せず）の配置のデ
ータを生成装置に入力して、コンピュータ処理を行なう
ことにより、それらの物体に前景である被写体の影が投
影されているかのように合成処理を行なうことができ
る。

【００１９】次に、本発明の実施例を、構成図に基づい
て説明する。図４は、本発明に係る人物と影の画像合成
方式の構成図、の事例である。図において、１３はカメ
ラデータ検出装置、１４は影抽出装置、１５は影用被写
体キー信号、３０は生成装置を示す。本実施例は、影に
関するものであり、被写体１はブルーバツク等のスタジ
オの背景２の前でタジオカメラ３により撮影され、その
画像信号は、抽出装置４で背景部分は黒信号等に変えら
れた被写体１の画像信号５と、被写体１用キー信号６と
がクロマキーの手法により抽出され合成装置９に入力さ
れる。また、影を発生させる仮想的な光源の位置に設置
した前述の光源カメラ（影撮影用テレビジョンカメラ）
２４の画像信号は、影抽出装置１４により、被写体１の
画像領域を示す影用被写体キー信号１５が抽出されて、
生成装置３０に入力される。

【００２０】一方、スタジオカメラ３及び光源カメラ２
４の、スタジオ内の３次元座標における位置及び方向、
画角情報のカメラデータは、前記カメラ装置に装備した
機械的センサにより、又は画像信号中のブルーバックの
背景２に描いたパタン情報を認識して計算する手段によ
って、カメラデータ検出情報１３により検出され、生成
装置３０に入力される。この場合、光源カメラ２４の位
置、画角は固定であるとすれば、この光源カメラ２４に
関するカメラデータは不要であって、前記位置、画角情
報のデータを生成装置３０に入力すればよく、また最終
的に合成される背景画像に存在する机等の家具、柱等の
物体の３次元形状、配置のデータをあらかじめ生成装置
３０に入力しておいて、コンピュータによる計算処理を
行うことにより、あたかもその物体に影が落ちているよ
うな効果とすることができる。生成装置３０では、スタ
ジオカメラ３の位置、画角情報と、入力されている前記
３次元形状、配置データより、スタジオカメラ３の画像
内の任意のピクセルに３次元モデル内のどの座標が映り
込んでいるかを計算し、そして次に３次元モデル内の座
標が光源カメラ２４のどのピクセルに映り込んでいるか
を計算する。このような座標変換処理を行なうことによ
り、完全に被写体に追従し、しかも、３次元的に矛盾の
無い影のキー信号を生成することが可能となり、座標変
換機能によって付加すべき影の位置、形状となるように
変換処理が行われ、影用のキー信号として生成され合成
装置９に入力される。

【００２１】

【発明の効果】本願発明によれば、次のような優れた効
果が発揮される。 １．本発明の請求項１の発明によれば、 画像信号の座標変換手段を備え、影撮影用光源テレビジ
ョンカメラの出力画像信号より抽出した被写体画像領域
に基づくキー信号を、スタジオ用テレビジョンカメラの
位置、方向及び画角に基づく被写体画像に適応したキー
信号として座標変換することにより、被写体の影を生成
して画像を合成する画像方式としたため、被写体の移動
に追従した被写体の影を生成して合成をすることができ
る。このため、従来の影を実際の画像信号から抽出する
方法は、その境界部分が乱れて不自然になりやすくか
つ、照明やパラメータの微細な調整により、多大な時間
と労力を要していたが、本発明によれば高画質な合成画
像を、容易に得ることができる。 ２．請求項２の発明によれば、 低域通過フィルタを備え、影を合成するためのキー信号
の波形を鈍らせることによって、レンズの焦点をずらし
たようなデフォーカス効果を行うことができ、輪郭がソ
フトで自然な影を生成することができる。 ３．請求項３の発明によれば、 キー信号レベルを傾斜的に変化する手段を備え、影の透
過度を接地点を基に傾斜的に変化させる調整により、よ
り自然で高品質の合成画像を得ることができる。

【図面の簡単な説明】

【図１】本発明に係る入力画像を３次元の出力画像で表
した模式図。

【図２】本発明に係る合成画面説明図。

【図３】本発明に係る光源カメラによる影の生成説明
図。

【図４】本発明に係る人物と影の画面合成方式の構成
図。

【図５】従来の画像合成方式の構成図。

【符号の説明】

１：被写体 ２：背景 ３：スタジオカメラ ４：抽出装置 ５：被写体画像信号 ６：被写体キ
ー信号 ７：入力端子 ８：背景画像
信号 ９：合成装置 １０：出力端
子 １１：合成画像信号 １２：合成画
像 １３：カメラデータ検出装置 １４：影抽出
装置 １５：キー信号 １６：画像信
号 １７：入力画像 １８：人物 １９：足元 ２０：出力画
像 ２１：人物の影 ２２：人物の
移動方向 ２３：画像記号 ２４：光源カ
メラ ２５：出力画像枠 ２６：光源カ
メラによる影の撮影画像 ２７：座標変換された影の画像 ２８：人物と
影の合成画像 ２９：スタジオカメラの撮影画像 ３０：生成装
置 Ａ：被写体表面上の点 Ｂ：床面の点 Ｃ：光源カメラの被写体画像上の点

Claims (3)

【特許請求の範囲】
1. 【請求項１】合成画像の前景となる被写体の画像信号
   と、被写体の画像領域を示すキー信号とを、被写体の背
   景画像より分離抽出し、前記被写体の画像及び異なる背
   景画像とを合成する手段を備えた画像合成方式におい
   て、画像信号の座標変換手段を備え、影撮影用光源テレ
   ビジョンカメラの出力画像信号より抽出した被写体画像
   領域に基づくキー信号を、スタジオ用テレビジョンカメ
   ラの位置、方向及び画角に基づく被写体画像に適応した
   キー信号として座標変換することにより、被写体の影を
   生成して合成することを特徴とするテレビジョン画像合
   成方式。
2. 【請求項２】低域通過フィルタを備え、影を合成するた
   めのキー信号の波形を鈍らせることを特徴とする請求項
   １に記載のテレビジョン画像合成方式。
3. 【請求項３】キー信号レベルを傾斜的に変化する手段を
   備え、影の透過度を接地点を基に傾斜的に変化させるこ
   とを特徴とした請求項１又は２に記載のテレビジョン画
   像合成方式。