JPH09224259A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 コンピュータグラフィックス等によって作成
した３次元画像と、人物などの被写体を撮影して得られ
る画像とを合成する画像合成装置を提供する。 【解決手段】 画像合成装置は、被写体の２次元画像を
表わす色彩情報と撮影位置から被写体までの距離を表わ
す距離情報とをリアルタイムに出力するビデオレート・
ステレオマシン１と、ビデオレート・ステレオマシン１
から得られる色彩情報及び距離情報を一対の立体画像デ
ータとして、１画面分の立体画像データの内、色彩によ
って区別される特定の被写体の立体画像データを抽出す
るクロマキー回路２及び切り出し回路３と、抽出された
立体画像データと３次元グラフィックスデータとを合成
する３次元画像合成回路５とを具えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を撮影して
得られる２次元画像と予め作成されている３次元グラフ
ィックスデータとを合成して、２次元或いは３次元の合
成画像を作成する画像合成装置に関するものである。

【０００２】

【従来の技術】従来、テレビジョン放送による天気予報
等において、背景となる第１の画像(例えば気象予報図)
と、人物(例えば気象予報士)をＴＶカメラで撮影して作
成して得られる第２の画像とを合成して、第１の画像を
背景として第２の画像を映出するクロマキー合成技術が
知られている。クロマキー合成に際しては、人物は青一
色の背景で撮影され、これによって得られる第２の画像
の中で青色領域を第１の画像で置き換えるのである。

【０００３】図５は、人物の画像データhuman_image(X,
Y)と背景となる画像データbackground_image(X,Y)に基
づいて、クロマキー合成を行なう手続きを表わしてい
る。ここで、Ｘ、Ｙは画面上の画素位置を表わす２次元
座標であって、X_IMG_SIZE及びY_IMG_SIZEは夫々の最大
値(画面の大きさ)である。

【０００４】先ずステップＳ３１にて人物画像データhu
man_image(X,Y)及び背景画像データbackgrond_image(X,
Y)を取得し、ステップＳ３２にてＸ及びＹを１に初期化
する。次にステップＳ３３では、画像データhuman_imag
e(X,Y)が青色を表わしているか否かを判断し、ＮＯの場
合はステップＳ３４に移行して、画像データhuman_imag
e(X,Y)を合成画像データcombined_image(X,Y)とする。
又、ＹＥＳの場合は、ステップＳ３５に移行して、背景
画像データbackground_image(X,Y)を合成画像データcom
bined_image(X,Y)とする。

【０００５】続いてステップＳ３６にてＸをカウントア
ップした後、ステップＳ３７では、Ｘがその最大値X_IM
G_SIZE以下であるか否かを判断し、ＹＥＳの場合はステ
ップＳ３３に戻って画像データの置き換えを繰り返す。
その後、ステップＳ３７にてＮＯと判断されたとき、ス
テップＳ３８に移行してＸを１に初期化すると同時に、
Ｙをカウントアップする。次に、ステップＳ３９にて、
Ｙがその最大値Y_IMG_SIZE以下であるか否かを判断し、
ＹＥＳの場合はステップＳ３３に戻って画像データの置
き換えを繰り返す。ＮＯの場合は手続きを終了する。こ
の結果、人物画像と背景画像が合成されることになる。

【０００６】

【発明が解決しようとする課題】ところで、近年のコン
ピュータグラフィックス技術の発達に伴って、３次元の
グラフィックスデータに基づいて、３次元画像をＴＶ画
面に表示することが広く行なわれており、この様な３次
元画像と人物画像を３次元的に合成して、あたかも人物
が３次元空間中に存在している様に見える合成３次元画
像、或いは該合成３次元画像を１軸方向から見た合成２
次元画像を作成したいという要求が生じている。

【０００７】しかしながら、上述のクロマキー合成で
は、２次元画像と人物画像の２次元的な合成は可能であ
るが、３次元画像と人物画像の３次元的な合成は出来な
い。本発明の目的は、コンピュータグラフィックス等に
よって作成した３次元画像と、人物などの被写体を撮影
して得られる画像とを３次元的に合成することが可能な
画像合成装置を提供することである。

【０００８】

【課題を解決する為の手段】本発明に係る画像合成装置
は、(ａ) 被写体を一定位置から撮影することによっ
て、被写体の２次元画像を表わす画素毎の色彩情報と、
撮影位置から被写体までの距離を画素毎に表わす距離情
報とをリアルタイムに出力する撮像装置、(ｂ) 撮像装
置から得られる各画素の色彩情報及び距離情報を一対の
立体画像データとして、１画面分の立体画像データの
内、色彩によって区別される特定の被写体の立体画像デ
ータを抽出する抽出回路、及び(ｃ) 抽出された被写体
の立体画像データと、３次元空間の画像を表わす３次元
グラフィックスデータとを合成して、被写体が３次元空
間に置かれた仮想状態の合成画像を作成する合成回路を
具えている。

【０００９】撮像装置としては、例えば公知のビテオレ
ート・ステレオマシン(日本ロボット学会誌vol.13 No.
3,pp322〜326,1995)を採用することが出来、該撮像装置
によって特定の被写体を所定の一色の背景で撮影する
と、被写体を含む画面の各画素について、色彩情報(例
えばＲＧＢデータ)と、距離情報(例えば撮影位置を原点
とする距離データ)とがリアルタイムに出力される。そ
して、各画素についての色彩情報と距離情報が一対とな
って、立体画像データが構成される。

【００１０】ここで、背景領域の画素には前記所定の一
色の色彩情報が付与されているので、各画素の色彩情報
に基づいて背景領域と被写体領域を分離することが可能
であり、例えば前記特定の一色を表わす立体画像デー
タ、即ち背景領域の立体画像データを排除することによ
って、特定の被写体の立体画像データのみを抽出するこ
とが出来る。

【００１１】抽出された立体画像データと３次元グラフ
ィックスデータの合成は、例えば、立体画像データの座
標系と３次元グラフィックスデータの座標系の内、何れ
か一方の座標系を他方の座標系に変換した後、同一の座
標系にて立体画像データと３次元グラフィックスデータ
の位置関係を判断し、該判断結果に基づいて両データを
合成する方式を採用することが出来る。この場合、撮像
装置による撮影位置から見た場合に互いに位置が重なる
こととなる立体画像データと３次元グラフィックスデー
タについては、撮影位置から遠い方のデータは消去し、
撮影位置から近い方のデータを合成画像データとして採
用することによって、立体画像データと３次元グラフィ
ックスデータを合成することが可能である。

【００１２】

【発明の効果】本発明に係る画像合成装置によれば、３
次元グラフィックスデータからなる３次元画像と人物な
どの被写体を撮影して得られる画像とを３次元的に合成
することが出来る。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態につ
き、図面に沿って具体的に説明する。図１は本発明に係
る画像合成装置の全体構成を表わしており、該装置は、
ビデオレート・ステレオマシン(１)によって撮影した人
物の画像と、コンピュータグラフィックス装置(４)によ
って予め作成されている３次元画像とを合成するもので
ある。

【００１４】画像合成において、被写体となる人物は、
図４(ａ)に示す如く背景が青一色の撮影室(６)内でビデ
オレート・ステレオマシン(１)によって撮影される。一
方、コンピュータグラフィックス装置(４)においては、
図４(ｂ)に示す如く複数の物体の画像(8a)(8b)を含む３
次元画像(８)が予め作成され、３次元グラフフィックス
データCG_dataとして格納されている。

【００１５】図１に示す如くビデオレート・ステレオマ
シン(１)からは、１画面を構成する各画素の色彩画像デ
ータcolor_image(X,Y)と距離画像データdepth_image(X,
Y)とがビデオレート(３０フレーム／秒)で出力される。
ここで、色彩画像データcolor_image(X,Y)は、各画素位
置(X,Y)におけるＲＧＢデータであり、距離画像データd
epth_image(X,Y)は、各画素位置(X,Y)についてのビデオ
レート・ステレオマシン(１)からの距離データである。
従って、１つの画素の色彩画像データcolor_image(X,Y)
と距離画像データdepth_image(X,Y)が一対となって、該
画素についての３次元座標情報と色彩情報を含む立体画
像データが構成されることになる。

【００１６】１画面分の色彩画像データcolor_image(X,
Y)はクロマキー回路(２)へ供給されて、青色の画素領
域、即ち背景領域の色彩画像データを排除することによ
って、人物領域の色彩画像データhuman_color_image(X,
Y)のみが抽出される。

【００１７】一方、距離画像データdepth_image(X,Y)は
切り出し回路(３)へ供給されて、前記クロマキー回路
(２)から得られる人物領域の色彩画像データhuman_colo
r_image(X,Y)に基づいて、人物領域と背景領域の境界が
検知され、人物領域の距離画像データhuman_depth_imag
e(X,Y)のみが切り出される。

【００１８】この様にして得られた人物領域の色彩画像
データhuman_color_image(X,Y)及び距離画像データhuma
n_depth_image(X,Y)は３次元画像合成回路(５)へ供給さ
れる。３次元画像合成回路(５)には、コンピュータグラ
フィックス装置(４)から得られる３次元グラフィックス
データCG_dataが供給されており、これによって３次元
画像が合成される。３次元画像合成回路(５)は、画像合
成に際して、コンピュータグラフィックス装置(４)から
供給される３次元グラフィックスデータCG_dataに座標
変換を施して、仮に図４(ｂ)に示す物体(8a)(8b)を同図
(ａ)のビデオレート・ステレオマシン(１)によって撮影
した場合に得られる色彩画像データCG_color_image(X,
Y)と距離画像データCG_depth_image(X,Y)を作成する。

【００１９】そして、同一座標上で、人物(７)の色彩画
像データhuman_color_image(X,Y)及び距離画像データhu
man_depth_image(X,Y)と、物体(8a)(8b)の色彩画像デー
タCG_color_image(X,Y)及び距離画像データCG_depth_im
age(X,Y)とを合成し、図４(ｃ)に示す如く人物画像
(７′)及び物体画像(8a′)(8b′)からなる３次元合成画
像(９)を作成するのである。この際、人物(７)の距離画
像データhuman_depth_image(X,Y)と物体(8a)(8b)の距離
画像データCG_depth_image(X,Y)の大小比較によって、
人物画像(７′)と物体画像(8a′)(8b′)の前後関係を認
識し、前の画像に隠れた後の画像部分は消去する。

【００２０】図２及び図３は、２次元合成画像を作成す
るための手続きを表わしている。ここで、Ｘ、Ｙは画面
上の画素位置を表わす２次元座標であって、X_IMG_SIZE
及びY_IMG_SIZEは夫々の最大値(画面の大きさ)である。
又、max_numberは、表現し得る最大の数値である。

【００２１】先ず図２のステップＳ１にて、ビデオレー
ト・ステレオマシンから距離画像データdepth_image(X,
Y)及び色彩画像データcolor_image(X,Y)を取得し、ステ
ップＳ２にてＸ及びＹを１に初期化する。次に、ステッ
プＳ３では、色彩画像データcolor_image(X,Y)が青を示
しているか否かが判断され、ＮＯの場合はステップＳ４
に移行して、距離画像データdepth_image(X,Y)を人物領
域の距離画像データhuman_depth_image(X,Y)とする。
又、ＹＥＳの場合はステップＳ５に移行して、max_numb
erを人物領域の距離画像データhuman_depth_image(X,Y)
とする。

【００２２】続いてステップＳ６にてＸをカウントアッ
プした後、ステップＳ７では、Ｘがその最大値X_IMG_SI
ZE以下であるか否かを判断し、ＹＥＳの場合はステップ
Ｓ３に戻って画像データの置き換えを繰り返す。その
後、ステップＳ７にてＮＯと判断されたとき、ステップ
Ｓ８に移行してＸを１に初期化すると同時に、Ｙをカウ
ントアップする。次に、ステップＳ９にて、Ｙがその最
大値Y_IMG_SIZE以下であるか否かを判断し、ＹＥＳの場
合はステップＳ３に戻って画像データの置き換えを繰り
返す。ＮＯの場合は、図３のステップＳ２１に移行す
る。

【００２３】ステップＳ２１では、３次元グラフィック
スデータCG_dataを色彩画像データCG_color_image(X,Y)
及び距離画像データCG_depth_image(X,Y)に変換し、続
いてステップＳ２２にてＸ及びＹを１に初期化する。次
に、ステップＳ２３では、人物領域の距離画像データhu
man_depth_image(X,Y)がコンピュータグラフィックスの
距離画像データCG_depth_image(X,Y)よりも小さいか否
かが判断される。ＹＥＳの場合はステップＳ２４に移行
して、ビデオレート・ステレオマシンからの色彩画像デ
ータcolor_image(X,Y)を合成色彩画像データcombined_c
olor_image(X,Y)とする。又、ＮＯの場合はステップＳ
２５に移行して、コンピュータグラフィックスの色彩画
像データCG_color_image(X,Y)を合成色彩画像データcom
bined_color_image(X,Y)とする。

【００２４】続いてステップＳ２６にてＸをカウントア
ップした後、ステップＳ２７では、Ｘがその最大値X_IM
G_SIZE以下であるか否かを判断し、ＹＥＳの場合はステ
ップＳ２３に戻って画像データの合成を繰り返す。その
後、ステップＳ２７にてＮＯと判断されたとき、ステッ
プＳ２８に移行してＸを１に初期化すると同時に、Ｙを
カウントアップする。次に、ステップＳ２９にて、Ｙが
その最大値Y_IMG_SIZE以下であるか否かを判断し、ＹＥ
Ｓの場合はステップＳ２３に戻って画像データの合成を
繰り返す。ＮＯの場合は、手続きを終了する。この結
果、図４(ｃ)に示す人物画像(７′)及び物体画像(8a′)
(8b′)を仮想的なビデオレート・ステレオマシン(１′)
の位置から見た場合の２次元合成画像が得られることに
なる。

【００２５】上記実施の形態の説明は、本発明を説明す
るためのものであって、特許請求の範囲に記載の発明を
限定し、或は範囲を減縮する様に解すべきではない。
又、本発明の各部構成は上記実施の形態に限らず、特許
請求の範囲に記載の技術的範囲内で種々の変形が可能で
あることは勿論である。

【図面の簡単な説明】

【図１】本発明に係る画像合成装置の構成を示すブロッ
ク図である。

【図２】該装置による画像合成手続きの前半を表わすフ
ローチャートである。

【図３】同上手続きの後半を表わすフローチャートであ
る。

【図４】画像合成の工程を説明する図である。

【図５】従来のクロマキー合成手続きを表わすフローチ
ャートである。

【符号の説明】

(１) ビデオレート・ステレオマシン (２) クロマキー回路 (３) 切り出し回路 (４) コンピュータグラフィックス装置 (５) ３次元画像合成回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 被写体を一定位置から撮影することによ
   って、被写体の２次元画像を表わす画素毎の色彩情報
   と、撮影位置から被写体までの距離を画素毎に表わす距
   離情報とをリアルタイムに出力する撮像装置と、 撮像装置から得られる各画素の色彩情報及び距離情報を
   一対の立体画像データとして、１画面分の立体画像デー
   タの内、色彩によって区別される特定の被写体の立体画
   像データを抽出する抽出回路と、 抽出された被写体の立体画像データと、３次元空間の画
   像を表わす３次元グラフィックスデータとを合成して、
   被写体が３次元空間中に置かれた仮想状態の合成画像を
   作成する合成回路とを具えている画像合成装置。
2. 【請求項２】 抽出回路は、１画面分の立体画像データ
   の内、特定の一色を表わす立体画像データを排除するこ
   とによって、特定の被写体の立体画像データを抽出する
   請求項１に記載の画像合成装置。
3. 【請求項３】 合成回路は、 立体画像データの座標系と３次元グラフィックスデータ
   の座標系の内、何れか一方の座標系を他方の座標系に変
   換する座標変換手段と、 同一の座標系にて立体画像データと３次元グラフィック
   スデータの位置関係を判断して、該判断結果に基づいて
   両データを合成するデータ合成手段とを具えている請求
   項１又は請求項２に記載の画像合成装置。
4. 【請求項４】 合成回路の座標変換手段は、３次元グラ
   フィックスデータの座標系を立体画像データの座標系に
   変換し、データ合成手段は、撮像装置による撮影位置か
   ら見た場合に互いに位置が重なることとなる立体画像デ
   ータと３次元グラフィックスデータについては、撮影位
   置から遠い方のデータを消去することによって両データ
   を合成する請求項３に記載の画像合成装置。