JPH07212653A

JPH07212653A - 画像処理装置

Info

Publication number: JPH07212653A
Application number: JP6003459A
Authority: JP
Inventors: Tomoo Yamashita; 智郎山下; Kiyoshi Maenobu; 潔前信; Akio Nishimura; 明夫西村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-01-18
Filing date: 1994-01-18
Publication date: 1995-08-11

Abstract

(57)【要約】【目的】実写画像と整合のとれたＣＧ画像を生成し、
そのＣＧ画像と実写画像との同期のとれたリアルタイム
での画像合成を行なう。【構成】被写体を撮影し実写画素データ108と撮影条
件109を出力する撮像部101の位置方向を検出する撮像位
置検出部102と、前記撮影条件と位置方向を入力とし三
次元幾何学形状モデルの形状及び属性データをもとに画
像生成する画像生成部103と、実写画素データ108を画像
生成部103の処理時間分遅らせる実写映像遅延部104と、
与えられた合成対象領域の識別基準であるキーをもとに
合成対象領域であるかを識別する合成キー信号112と合
成キー信号対応実写画素データ116とを出力する合成キ
ー信号生成部105と、合成キー信号112に基づき実写画素
データ116と生成画素データ111を画像合成し合成画素デ
ータ113を出力する画像合成部106を具備した構成であ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＣＧ画像と実写画像とを
合成する画像処理装置に関するものであり、特にリアル
タイムで実写画像と整合のとれたＣＧ画像生成を行ない
その生成画面と実写画像との同期をとり合成する画像処
理装置に関するものである。

【０００２】

【従来の技術】近年、ＣＧ技術の発達に伴いＣＧ画像が
様々なところで利用されるようになった。特にテレビ番
組、コマーシャルにおいてＣＧ画像と実写画像との合成
技術が多く使われている(特開平４−３７２０７９号公
報など)。以下従来の画像処理装置の一例としてクロマ
キーと呼ばれる画像合成を行なう画像処理装置について
説明する。

【０００３】クロマキー画像合成は、テレビ放送でよく
使われており、二つの画像のうち１方の画像をもう一方
の画像にはめ込む画像合成技術である。クロマキー画像
合成を用いた画像処理装置を図９に示す。キー信号生成
部９０１においてキー検出対象画像９０５から特定の色
や信号レベルをキー９０９としてキーが検出される領域
９０３かキーが検出されない領域９０４かの検出処理を
行なう。キー信号生成部９０１においてキー９０９を検
出した場合はキー信号９０８を発生する。画像合成部９
０２においてキー信号９０８を検出したときに対応する
画素を置き換え対象画像９０６の画素に置き換え、合成
画像９０７を出力する。一方の画像を実写画像、もう一
方の画像をＣＧ画像にすることで、実写画像とＣＧ画像
との合成画像が出力される。

【０００４】従来の別の画像処理装置としてＺバッファ
法と呼ばれる奥行き値比較による画像合成を行なう画像
処理装置について図１０を参照しながら説明する。Ｚバ
ッファ法を用いた画像処理装置は、少なくとも二つ以上
の入力画像をもち一つの入力画像に対して、画素データ
を一時的に取り込むフレームバッファ１００１と画素デ
ータに対応する奥行きデータを一時的に取り込む奥行き
バッファ１００２を構成し、各入力画像のフレームバッ
ファの出力と奥行きバッファの出力を取り込む画像合成
部１００３で構成される。画像合成部１００３において
奥行き値が最小である入力画像を比較回路１００５で選
択し、比較回路１００５で選択された側の入力画像にセ
レクタ１００４の出力を切替えてその画素データが出力
され、少なくとも二つ以上の入力画像に対し隠面消去処
理された合成画像１００６ができあがる。なお、図１０
において、奥行きバッファ１００２で暗くなっている領
域ほど奥行き値は大きくなっていることを示す。少なく
とも一つの実写画像と少なくとも一つのＣＧ画像を入力
画像とすることで実写画像とＣＧ画像との合成画像が出
力される。

【０００５】

【発明が解決しようとする課題】しかしながら上記従来
の構成では、リアルタイムで実写画像と実写画像と整合
のとれたＣＧ画像とを合成する場合に、ＣＧ画像生成時
間分実写画像に対してＣＧ画像が遅れ同期のとれていな
い画像になるという問題がある。その様子を図１２に示
す。実写画像と相関のあるＣＧ画像とは、たとえば実写
画像を撮影したときのカメラのズーム、フォーカス、ア
イリス（以下撮像条件と呼ぶ）と、撮影位置、カメラの
視線方向（以下撮像位置データと呼ぶ)などをもとに生
成されるＣＧ画像のことである。

【０００６】そこで本発明は、リアルタイムで実写画像
と実写画像と整合のとれたＣＧ画像との同期をとり合成
する画像処理装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】第１の発明は、被写体を
撮影し実写画素データと撮影条件を出力する撮像部と、
前記撮像部の位置方向を前記撮像部と同期して検出する
撮像位置検出部と、前記撮像部から出力される撮影条件
と前記撮像位置検出部から出力される位置方向を入力と
し三次元幾何学形状モデルの形状及び属性データをもと
に画像生成し生成画素データを出力する画像生成部と、
前記撮像部の実写画素データ出力を入力とし前記画像生
成部の処理時間分遅らせて出力する実写映像遅延部と、
前記実写映像遅延部出力を入力とし与えられた合成対象
領域の識別基準であるキーをもとに合成対象領域である
かを識別する合成キー信号と前記合成キー信号に対応し
て実写画素データとを出力する合成キー信号生成部と、
前記合成キー信号生成部出力と前記画像生成部出力とを
入力とし前記合成キー信号に基づき前記実写画素データ
と前記生成画素データを画像合成し合成画素データを出
力する画像合成部と、前記画像合成部出力を入力とし映
像として出力する画像出力部とを具備することを特徴と
している。

【０００８】第２の発明は、被写体を撮影し実写画素デ
ータと撮影条件を出力する撮像部と、前記撮像部の位置
方向を前記撮像部と同期して検出する撮像位置検出部
と、前記撮像部から出力される撮影条件と前記撮像位置
検出部から出力される位置方向を入力とし三次元幾何学
形状モデルの形状及び属性データと与えられた合成対象
領域の識別基準であるキーをもとに画像生成し生成画素
データと前記生成画素データが合成対象領域であるかを
識別する生成キー信号とを出力する画像生成部と、前記
撮像部の実写画素データ出力を入力とし前記画像生成部
の処理時間分遅らせて出力する実写映像遅延部と、前記
実写映像遅延部出力と前記画像生成部出力とを入力とし
前記生成キー信号に基づき前記実写画素データと前記生
成画素データを画像合成し合成画素データを出力する画
像合成部と、前記画像合成部出力を入力とし映像として
出力する画像出力部とを具備することを特徴としてい
る。

【０００９】第３の発明は、被写体を撮影し実写画素デ
ータと撮影条件を出力する撮像部と、前記撮像部で撮影
する被写体の位置を測定し実写奥行き値を前記撮像部と
同期して出力する奥行き情報検出部と、前記撮像部の位
置方向を前記撮像部と同期して検出する撮像位置検出部
と、前記撮像部から出力される撮影条件と前記撮像位置
検出部から出力される位置方向を入力とし三次元幾何学
形状モデルの形状及び属性データをもとに画像生成し生
成画素データと前記生成画素データの生成奥行き値とを
出力する画像生成部と、前記撮像部の実写画素データ出
力を入力とし前記画像生成部の処理時間分遅らせて出力
する実写映像遅延部と、前記奥行き情報検出部出力を入
力とし前記画像生成部の処理時間分遅らせて出力する奥
行き情報遅延部と、前記実写映像遅延部出力と前記画像
生成部出力と前記奥行き情報遅延部出力とを入力とし前
記実写奥行き値と前記生成奥行き値に基づき前記実写画
素データと前記生成画素データを画像合成し合成画素デ
ータを出力する画像合成部と、前記画像合成部から出力
される合成画像データを入力とし映像として出力する画
像出力部とを具備することを特徴としている。

【００１０】第４の発明は、被写体を撮影し実写画素デ
ータと撮影条件を出力する撮像部と、前記撮像部で撮影
する被写体の位置を測定し実写奥行き値を前記撮像部と
同期して出力する奥行き情報検出部と、前記撮像部の位
置方向を前記撮像部と同期して検出する撮像位置検出部
と、前記撮像部から出力される撮影条件と前記撮像位置
検出部から出力される位置方向を入力とし三次元幾何学
形状モデルの形状及び属性データをもとに画像生成し生
成画素データと前記生成画素データの生成奥行き値とを
出力する画像生成部と、前記撮像部の実写画素データ出
力を入力とし前記画像生成部の処理時間分遅らせて出力
する実写映像遅延部と、前記奥行き情報検出部出力を入
力とし前記画像生成部の処理時間分遅らせて出力する奥
行き情報遅延部と、前記実写映像遅延部出力を入力とし
与えられた合成対象領域の識別基準であるキーをもとに
合成対象領域であるかを識別する合成キー信号と前記合
成キー信号に対応して実写画素データとを出力する合成
キー信号生成部と、前記合成キー信号生成部出力と前記
画像生成部出力と前記奥行き情報遅延部出力とを入力と
し前記合成キー信号と前記実写奥行き値と前記生成奥行
き値に基づき前記実写画素データと前記生成画素データ
を画像合成し合成画素データを出力する画像合成部と、
前記画像合成部から出力される合成画像データを入力と
し映像として出力する画像出力部とを具備することを特
徴としている。

【００１１】第５の発明は、被写体を撮影し実写画素デ
ータと撮影条件を出力する撮像部と、前記撮像部で撮影
する被写体の位置を測定し実写奥行き値を前記撮像部と
同期して出力する奥行き情報検出部と、前記撮像部の位
置方向を前記撮像部と同期して検出する撮像位置検出部
と、前記撮像部から出力される撮影条件と前記撮像位置
検出部から出力される位置方向を入力とし三次元幾何学
形状モデルの形状及び属性データと与えられた合成対象
領域の識別基準であるキーをもとに画像生成し生成画素
データと前記生成画素データが合成対象領域であるかを
識別する生成キー信号と前記画素データの生成奥行き値
とを出力する画像生成部と、前記撮像部の実写画素デー
タ出力を入力とし前記画像生成部の処理時間分遅らせて
出力する実写映像遅延部と、前記奥行き情報検出部出力
を入力とし前記画像生成部の処理時間分遅らせて出力す
る奥行き情報遅延部と、前記実写映像遅延部出力と前記
画像生成部出力と前記奥行き情報遅延部出力とを入力と
し前記生成キー信号と前記実写奥行き値と前記生成奥行
き値に基づき前記実写画素データと前記生成画素データ
を画像合成し合成画素データを出力する画像合成部と、
前記画像合成部から出力される合成画像データを入力と
し映像として出力する画像出力部とを具備することを特
徴としている。

【００１２】第６の発明は、被写体を撮影し実写画素デ
ータと撮影条件を出力する撮像部と、前記撮像部で撮影
する被写体の位置を測定し実写奥行き値を前記撮像部と
同期して出力する奥行き情報検出部と、前記撮像部の位
置方向を前記撮像部と同期して検出する撮像位置検出部
と、前記撮像部から出力される撮影条件と前記撮像位置
検出部から出力される位置方向を入力とし三次元幾何学
形状モデルの形状及び属性データと与えられた合成対象
領域の識別基準であるキーをもとに画像生成し生成画素
データと前記生成画素データが合成対象領域であるかを
識別する生成キー信号と前記画素データの生成奥行き値
とを出力する画像生成部と、前記撮像部の実写画素デー
タ出力を入力とし前記画像生成部の処理時間分遅らせて
出力する実写映像遅延部と、前記奥行き情報検出部出力
を入力とし前記画像生成部の処理時間分遅らせて出力す
る奥行き情報遅延部と、前記実写映像遅延部出力を入力
とし与えられた合成対象領域の識別基準であるキーをも
とに合成対象領域であるかを識別する合成キー信号と前
記合成キー信号に対応して実写画素データとを出力する
合成キー信号生成部と、前記合成キー信号生成部出力と
前記画像生成部出力と前記奥行き情報遅延部出力と与え
られた背景画像の背景画素データとを入力とし前記合成
キー信号と前記生成キー信号と前記実写奥行き値と前記
生成奥行き値に基づき前記実写画素データと前記生成画
素データを画像合成し合成画素データを出力する画像合
成部と、前記画像合成部から出力される合成画像データ
を入力とし映像として出力する画像出力部とを具備する
ことを特徴としている。

【００１３】第７の発明は、第３、第４または第５の発
明の画像合成部を合成画素データと前記合成画素データ
に対応する合成奥行き値を出力する画像合成部に置き換
えることを特徴としている。

【００１４】第８の発明については、第６の発明の画像
合成部を、与えられた背景画像の背景画素データと背景
奥行き値とを加え、合成画素データと前記合成画素デー
タに対応する合成奥行き値を出力する画像合成部に置き
換えることを特徴としている。

【００１５】第９の発明は、上記各発明に被写体に対す
る照明条件を検出して照明条件データを出力する照明条
件抽出部をさらに備え、画像生成部を前記照明条件抽出
部から入力された照明条件データにしたがって画像を生
成する画像生成部に置き換えることを特徴としている。

【００１６】

【作用】上記した構成により、第１の発明は、画像生成
部において実写画像と整合のとれたＣＧ画像を生成し、
実写画素データを画像生成部の処理時間分遅らせ実写画
像側からキー信号を生成し、実写画像とＣＧ画像との同
期のとれたリアルタイムキー合成を行なう。

【００１７】第２の発明は、画像生成部において実写画
像と整合のとれたＣＧ画像を生成し、実写画素データを
画像生成部の処理時間分遅らせＣＧ画像側からキー信号
を生成し、実写画像とＣＧ画像との同期のとれたリアル
タイムキー合成を行なう。

【００１８】第３の発明は、画像生成部において実写画
像と整合のとれたＣＧ画像を生成し、実写画素データと
実写奥行き値を画像生成部の処理時間分遅らせ実写奥行
き値とＣＧ画像の奥行き値である生成奥行き値とを用い
て実写画像とＣＧ画像との同期のとれたリアルタイムＺ
バッファ合成を行ない合成画像を出力する。

【００１９】第４の発明は、画像生成部において実写画
像と整合のとれたＣＧ画像を生成し、実写画素データと
実写奥行き値を画像生成部の処理時間分遅らせ実写奥行
き値とＣＧ画像の奥行き値である生成奥行き値と実写画
像側から生成されたキー信号である合成キー信号とを用
いて実写画像とＣＧ画像との同期のとれたリアルタイム
でのＺバッファ合成とキー合成の複合合成を行ない合成
画像を出力する。

【００２０】第５の発明は、画像生成部において実写画
像と整合のとれたＣＧ画像を生成し、実写画素データと
実写奥行き値を画像生成部の処理時間分遅らせ実写奥行
き値とＣＧ画像の奥行き値である生成奥行き値とＣＧ画
像側から生成されたキー信号である生成キー信号とを用
いて実写画像とＣＧ画像との同期のとれたリアルタイム
でのＺバッファ合成とキー合成の複合合成を行ない合成
画像を出力する。

【００２１】第６の発明は、画像生成部において実写画
像と整合のとれたＣＧ画像を生成し、実写画素データと
実写奥行き値を画像生成部の処理時間分遅らせ実写奥行
き値とＣＧ画像の奥行き値である生成奥行き値と実写画
像側から生成されたキー信号である合成キー信号とＣＧ
画像側から生成されたキー信号である生成キー信号とを
用いて実写画像とＣＧ画像との同期のとれたリアルタイ
ムでのＺバッファ合成とキー合成の複合合成を行ない合
成画像を出力する。

【００２２】第７の発明は、第３、第４または第５の発
明の装置の出力に合成画素奥行き値を追加する。

【００２３】第８の発明は、第６の発明の装置に背景画
像と背景奥行き値を合成対象に追加し第６の発明の装置
の出力に合成画素奥行き値を追加する。

【００２４】第９の発明は、各発明の装置の合成画像に
さらに照明条件の整合をとるようにする。

【００２５】

【実施例】

（実施例１）以下本発明の実施例１について図１を参照
しながら説明する。図１は本発明の実施例１における画
像処理装置の構成を示している。

【００２６】図１において、１０１は被写体を撮影し実
写画素データ１０８、撮影条件１０９を出力する撮像
部、１０２は撮像部１０１の三次元空間内での位置、視
線方向などの撮像部の撮像位置データ１１０を出力する
撮像位置検出部、１０３は与えられた三次元幾何学形状
モデルの形状及び属性データ１１４と、撮像位置データ
１１０、撮影条件１０９とから生成画素データ１１１を
出力する画像生成部、１０４は実写画素データ１０８か
ら遅延実写画素データ１１５を出力する実写映像遅延
部、１０５は遅延実写画素データ１１５と与えられたキ
ー１１７から合成キー信号１１２と合成キー信号対応実
写画素データ１１６を出力する合成キー信号生成部、１
０６は生成画素データ１１１と合成キー信号１１２と合
成キー信号対応実写画素データ１１６から合成画素１１
３を出力する画像合成部、１０７は合成画素１１３から
合成映像を出力する画像出力部である。

【００２７】次に実施例１の動作について説明する。ま
ず、撮像部１０１においては、被写体１１８を撮影し、
その画像を実写画素データ１０８として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件１０９として出力する。撮像位置検出部１０２は、
超音波を使った距離センサ（図示せず）によって三次元
空間内のカメラの位置を検出し、ロータリーエンコーダ
（図示せず）によってカメラの方向を検出し、撮像位置
データ１１０として出力する。

【００２８】次に、与えられた三次元幾何学形状モデル
１１４の形状および属性データに対して、画像生成部１
０３は撮像部１０１から出力された撮像条件１０９と、
撮像位置検出部１０２から出力された撮像位置データ１
１０とに従って画像生成の際の視点位置と視線方向と画
角を決定し、これらのデータを基に画像生成を行なっ
て、その結果を生成画素データ１１１として出力する。

【００２９】次に実写映像遅延部１０４では、実写画素
データ１０８をＦＩＦＯを用いて画像生成部１０３の処
理時間分遅らせ、遅延実写画素データ１１５を出力す
る。このため画像合成部１０６の入力段階で、遅延実写
画像データ１１５と生成画素データ１１１の同期がとれ
ている。

【００３０】次に、合成キー信号生成部１０５では、従
来例と同様に、遅延実写画素データ１１５に対してあら
かじめ指定されたキー１１７に基づいて合成キー信号１
１２と合成キー信号１１２に対応して合成キー信号対応
実写画素データ１１６を出力する。

【００３１】次に画像合成部１０６は、合成キー信号生
成部１０５から出力された合成キー信号１１２において
キー検出されている場合、合成キー信号対応実写画素デ
ータに代わって生成画素データが選択出力され、合成キ
ー信号１１２においてキー検出されていない場合、合成
キー信号対応実写画素データが出力される。次に画像出
力部１０７においては、合成画素１１３を映像信号に変
換しディスプレイ等に出力する。

【００３２】以上のように本実施例によれば、画像生成
部において実写画像と整合のとれたＣＧ画像が生成さ
れ、実写画素データを画像生成部の処理時間分遅らせ実
写画像側からキー信号を生成するので、実写画像と整合
のとれたＣＧ画像が生成され、実写画像とＣＧ画像との
同期のとれた実写画像でキー信号検出を行なうリアルタ
イムキー合成ができる。

【００３３】尚、本実施例ではカメラの方向測定にロー
タリーエンコーダを用いているが、方向測定方法はこれ
に限定するものではなく、ステレオカメラの画像処理に
よる方法や磁気センサによる測定といった種々の方法で
も同様の動作が可能である。

【００３４】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【００３５】また、本実施例では、合成キー信号生成部
において合成キー信号を生成する際クロマキー手法を用
いたものを開示しているが、合成キー信号生成方法はこ
れに限定するものではなく、画像認識による領域抽出に
よって合成キー信号を生成することもできる。

【００３６】（実施例２）以下本発明の実施例２につい
て図２を参照しながら説明する。図２は本発明の実施例
２における画像処理装置の構成を示している。

【００３７】図２において、２０１は被写体を撮影し実
写画素データ２０７、撮影条件２０８を出力する撮像
部、２０２は撮像部２０１の三次元空間内での位置、視
線方向などの撮像部の撮像位置データ２０９を出力する
撮像位置検出部、２０３は与えられた三次元幾何学形状
モデルの形状及び属性データ２１２と、撮像位置データ
２０９、撮影条件２０８と与えられたキー信号２１４か
ら生成画素データと生成キー信号２１６を出力する画像
生成部、２０４は実写画素データ２０７から遅延実写画
素データ２１３を出力する実写映像遅延部、２０５は生
成画素データ２１０と生成キー信号２１６と遅延実写画
素データ２１３から合成画素２１１を出力する画像合成
部、２０６は合成画素２１１から合成映像を出力する画
像出力部である。

【００３８】次に実施例２の動作について説明する。ま
ず、撮像部２０１においては、被写体２１５を撮影し、
その画像を実写画素データ２０７として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件２０８として出力する。撮像位置検出部２０２は、
超音波を使った距離センサによって三次元空間内のカメ
ラの位置を、ロータリーエンコーダによってカメラの方
向を検出し、撮像位置データ２０９として出力する。

【００３９】次に、与えられた三次元幾何学形状モデル
２１２の形状および属性データに対して、画像生成部２
０３は撮像部２０１から出力された撮像条件２０８と、
撮像位置検出部２０２から出力された撮像位置データ２
０９とに従って画像生成の際の視点位置と視線方向と画
角を決定し、これらのデータを基に画像生成を行なっ
て、その結果を生成画素データ２１０として出力する。
また生成画素データ２１０があらかじめ与えられたキー
２１４に基づきキーとして検出されているかを生成キー
信号２１６で示し生成画素データ２１０と対応して出力
する。

【００４０】次に実写映像遅延部２０４では、実写画素
データ２０７をＦＩＦＯを用いて画像生成部２０３の処
理時間分遅らせ、遅延実写画素データ２１３を出力す
る。このため画像合成部２０５の入力段階で、遅延実写
画像データ２１３と生成画素データ２１０の同期がとれ
ている。

【００４１】次に画像合成部２０６は、画像生成部２０
３から出力された生成キー信号２１６においてキー検出
されている場合、生成画素データに代わって実写画素デ
ータが選択出力され、生成キー信号２１６においてキー
検出されていない場合、生成画素データが出力される。
次に画像出力部２０６においては合成画素２１１を映像
信号に変換しディスプレイ等に出力する。

【００４２】以上のように本実施例によれば、画像生成
部において実写画像と整合のとれたＣＧ画像が生成さ
れ、実写画素データを画像生成部の処理時間分遅らせＣ
Ｇ画像側からキー信号を生成することで実写画像とＣＧ
画像との同期のとれたリアルタイムキー合成ができる。

【００４３】尚、本実施例ではカメラの方向測定にロー
タリーエンコーダを用いているが、方向測定方法はこれ
に限定するものではなく、ステレオカメラの画像処理に
よる方法や磁気センサによる測定といった種々の方法で
も同様の動作が可能である。

【００４４】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【００４５】また、本実施例では、画像生成部において
生成キー信号を生成する際クロマキー手法を用いたもの
を開示しているが、生成キー信号生成方法はこれに限定
するものではなく、画像認識による領域抽出によって生
成キー信号を生成することもできる。

【００４６】（実施例３）以下本発明の実施例３につい
て図３を参照しながら説明する。図３は本発明の実施例
３における画像処理装置の構成を示している。

【００４７】図３において、３０１は被写体３１９を撮
影し実写画素データ３０９、撮影条件３１０を出力する
撮像部、３０２は撮像部３０１の三次元空間内での位
置、視線方向などの撮像部の撮像位置データ３１１を出
力する撮像位置検出部、３０６は撮像部３０１で撮影す
る被写体の位置を測定し実写奥行き値３１３を出力する
奥行き情報検出部、３０３は与えられた三次元幾何学形
状モデルの形状及び属性データ３１８と、撮像位置デー
タ３１１、撮影条件３１０から生成画素データ３１２と
生成奥行き値３１５を出力する画像生成部、３０４は実
写画素データ３０９から遅延実写画素データ３１６を出
力する実写映像遅延部、３０７は実写奥行き値３１３か
ら遅延実写奥行き値３１４を出力する奥行き情報遅延
部、３０５は生成画素データ３１２と生成奥行き値３１
５と遅延実写画素データ３１６と遅延実写奥行き値３１
４から合成画素３１７を出力する画像合成部、３０８は
合成画素３１７から合成映像を出力する画像出力部であ
る。

【００４８】次に実施例３の動作について説明する。ま
ず、撮像部３０１においては、被写体３１９を撮影し、
その画像を実写画素データ３０９として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件３１０として出力する。撮像位置検出部３０２は、
超音波を使った距離センサによって三次元空間内のカメ
ラの位置を、ロータリーエンコーダによってカメラの方
向を検出し、撮像位置データ３１１として出力する。

【００４９】次に奥行き情報検出部３０６では、磁気セ
ンサを用いてカメラから被写体３１９までの距離を測定
する。磁気センサを用いた距離測定方法を図１１に示
す。図１１において、磁気センサ１１０１の片方を被写
体１１０２の一部に、もう片方をカメラ１１０３の一部
に装着し、カメラ１１０３から被写体１１０２までの距
離である実写奥行き値１１０４を求めている。図１１の
場合、被写体全体が実写奥行き値１１０４で代表されて
おり、平面の物体として扱われる。そのため実写奥行き
値１１０４は、フィールドもしくはフレームの切替えタ
イミングで取り込まなければならない。

【００５０】図１１のような方法を奥行き情報検出部に
用いると被写体一つしか扱うことができず、しかも平面
として扱われてしまうという問題があるが、ステレオカ
メラを使って被写体の奥行きを算出するとこれらの問題
は解決される。また、図１１では距離センサに磁気セン
サを用いたが、超音波センサを用いても同様の動作が可
能である。

【００５１】次に、与えられた三次元幾何学形状モデル
３１８の形状及び属性データに対して、画像生成部３０
３は撮像部３０１から出力された撮像条件３１０と、撮
像位置検出部３０２から出力された撮像位置データ３１
１に従って画像生成の際の視点位置と視線方向と画角を
決定し、これらのデータを基に画像生成を行なって、そ
の結果を生成画素データ３１２と生成画素データ３１２
に対応する奥行き値である生成奥行き値３１５として出
力する。

【００５２】次に実写映像遅延部３０４では、実写画素
データ３０９をＦＩＦＯを用いて画像生成部３０３の処
理時間分遅らせ、遅延実写画素データ３１６を出力す
る。このため画像合成部３０５の入力段階で、遅延実写
画像データ３１６と生成画素データ３１５の同期がとれ
ている。

【００５３】次に奥行き情報遅延部３０７では、実写画
素データ３０９をＦＩＦＯを用いて画像生成部３０３の
処理時間分遅らせ、遅延実写画素データ３１６を出力す
る。このため画像合成部３０５の入力段階で、遅延実写
奥行き値３１４と生成奥行き値３１５の同期がとれてい
る。

【００５４】次に画像合成部３０５は、画像生成部３０
３で出力された生成奥行き値３１５と生成画素データ３
１２と奥行き情報遅延部３０７から出力された遅延実写
奥行き値３１４と実写映像遅延部３０４から出力された
遅延実写画素データ３１６を用いて、Ｚバッファ法を用
いた隠面消去処理を行ない、合成画素３１７を出力す
る。次に画像出力部３０８においては合成画素３１７を
映像信号に変換しディスプレイ等に出力する。

【００５５】以上のように本実施例によれば、画像生成
部において実写画像と整合のとれたＣＧ画像を生成し、
実写画素データと実写奥行き値を画像生成部の処理時間
分遅らせ、実写奥行き値とＣＧ画像の奥行き値である生
成奥行き値とを用いて実写画像とＣＧ画像との同期のと
れたリアルタイムＺバッファ合成を行なうことができ
る。

【００５６】尚、本実施例ではカメラの方向測定にロー
タリーエンコーダを用いているが、方向測定方法はこれ
に限定するものではなく、ステレオカメラの画像処理に
よる方法や磁気センサによる測定といった種々の方法で
も同様の動作が可能である。

【００５７】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【００５８】（実施例４）次に本発明の実施例４につい
て図４を参照しながら説明する。図４は本発明の実施例
４における画像処理装置の構成を示している。

【００５９】図４において、４０１は被写体４２２を撮
影し実写画素データ４１０、撮影条件４１１を出力する
撮像部、４０２は撮像部４０１の三次元空間内での位
置、視線方向などの撮像部の撮像位置データ４１３を出
力する撮像位置検出部、４０６は撮像部４０１で撮影す
る被写体の位置を測定し実写奥行き値４１４を出力する
奥行き情報検出部、４０３は与えられた三次元幾何学形
状モデルの形状及び属性データ４２１と、撮像位置デー
タ４１３、撮影条件４１１から生成画素データ４１２と
生成奥行き値４１６を出力する画像生成部、４０４は実
写画素データ４１０から遅延実写画素データ４１７を出
力する実写映像遅延部、４０７は実写奥行き値４１４か
ら遅延実写奥行き値４１５を出力する奥行き情報遅延
部、４０８は遅延実写画素データ４１７と与えられたキ
ー４２３から合成キー信号４１８と合成キー信号対応実
写画素データ４１９を出力する合成キー信号生成部、４
０５は生成画素データ４１２と生成奥行き値４１６と合
成キー信号４１８と合成キー信号対応実写画素データ４
１９と遅延実写奥行き値４１５から合成画素４２０を出
力する画像合成部、４０９は合成画素４２０から合成映
像を出力する画像出力部である。

【００６０】次に実施例４の動作について説明する。ま
ず、撮像部４０１においては、被写体４２２を撮影し、
その画像を実写画素データ４１０として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件４１１として出力する。撮像位置検出部４０２は、
超音波距離センサによって三次元空間内のカメラの位置
を、ロータリーエンコーダによってカメラの方向を検出
し、撮像位置データ４１３として出力する。

【００６１】次に奥行き情報検出部４０６では、実施例
３と同様にカメラから被写体４２２までの距離を測定す
る。

【００６２】次に、与えられた三次元幾何学形状モデル
４２１の形状及び属性データに対して、画像生成部４０
３は撮像部４０１から出力された撮像条件４１１と、撮
像位置検出部４０２から出力された撮像位置データ４１
３に従って画像生成の際の視点位置と視線方向と画角を
決定し、これらのデータを基に画像生成を行なって、そ
の結果を生成画素データ４１２と生成画素データ４１２
に対応する奥行き値である生成奥行き値４１６として出
力する。

【００６３】次に実写映像遅延部４０４では、実写画素
データ４１０をＦＩＦＯを用いて画像生成部４０３の処
理時間分遅らせ、遅延実写画素データ４１７を出力す
る。このため画像合成部の入力段階で、合成キー信号対
応実写画素データ４１９と生成画素データ４１６の同期
がとれている。

【００６４】次に奥行き情報遅延部４０７では、実写奥
行き値４１４をＦＩＦＯを用いて画像生成部４０３の処
理時間分遅らせ、遅延実写奥行き値４１５を出力する。
このため画像合成部の入力段階で、遅延実写奥行き値４
１５と生成奥行き値４１６の同期がとれている。

【００６５】次に、合成キー信号生成部４０８では、従
来例と同様に、遅延実写画素データ４１７に対してあら
かじめ指定されたキー４２３に基づいて合成キー信号４
１８と合成キー信号４１８に対応して合成キー信号対応
実写画素データ４１９を出力する。

【００６６】次に画像合成部４０５は、画像生成部で出
力された生成奥行き値４１５と生成画素データ４１２と
合成キー信号生成部４０８から出力された合成キー信号
４１８と合成キー信号対応実写画素データ４１９と奥行
き情報遅延部４０７から出力された遅延実写奥行き値４
１５とを用いて、クロマキー処理とＺバッファ法を用い
た隠面消去処理を行ない、合成画素４２０を出力する。
この処理を図１３に示す。

【００６７】図１３において、比較回路１３０５はＣＧ
画像側奥行きバッファ１３０２と実写画像側奥行きバッ
ファ１３０４の比較を行ない奥行き値が手前にある方の
入力画像の選択を行なう。キー信号生成部１３０７につ
いては従来例にしめす処理を行ない、キー信号１３０９
を出力する。入力画像選択回路１３０６はキー信号が検
出される領域についてはＣＧ画像側を、キー信号が検出
されない領域については比較回路１３０５で選択された
結果を選択画像１３１４として出力するセレクタ１３０
６は、選択画像１３１４に基づき、画像の切り替えを行
なう。

【００６８】次に画像出力部４０９においては合成画素
４２０を映像信号に変換しディスプレイ等に出力する。

【００６９】以上のように本実施例によれば、画像生成
部において実写画像と整合のとれたＣＧ画像を生成し、
実写画素データと実写奥行き値を画像生成部の処理時間
分遅らせ、実写奥行き値とＣＧ画像の奥行き値である生
成奥行き値と実写画像側から生成されたキー信号である
合成キー信号とを用いて実写画像とＣＧ画像との同期の
とれたリアルタイムでのＺバッファ合成とキー合成の複
合合成を行なうことができる。

【００７０】尚、本実施例ではカメラの方向測定にロー
タリーエンコーダを用いているが、方向測定方法はこれ
に限定するものではなく、ステレオカメラの画像処理に
よる方法や磁気センサによる測定といった種々の方法で
も同様の動作が可能である。

【００７１】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【００７２】また、本実施例では、合成キー信号生成部
において合成キー信号を生成する際クロマキー手法を用
いたものを開示しているが、合成キー信号生成方法はこ
れに限定するものではなく、画像認識による領域抽出に
よって合成キー信号を生成することもできる。

【００７３】（実施例５）次に本発明の実施例５につい
て図５を参照しながら説明する。図５は本発明の実施例
５における画像処理装置の構成を示している。

【００７４】図５において、５０１は被写体５２０を撮
影し実写画素データ５０９、撮影条件５１０を出力する
撮像部、５０２は撮像部５０１の三次元空間内での位
置、視線方向などの撮像部の撮像位置データ５１２を出
力する撮像位置検出部、５０６は撮像部５０１で撮影す
る被写体の位置を測定し実写奥行き値５１３を出力する
奥行き情報検出部、５０３は与えられた三次元幾何学形
状モデルの形状及び属性データ５１９と、撮像位置デー
タ５１２、撮影条件５１０と与えられたキー５２１から
生成画素データ５１１と生成奥行き値５１５と生成キー
信号５１６を出力する画像生成部、５０４は実写画素デ
ータ５０９から遅延実写画素データ５１７を出力する実
写映像遅延部、５０７は実写奥行き値５１３から遅延実
写奥行き値５１４を出力する奥行き情報遅延部、５０５
は生成画素データ５１１と生成奥行き値５１５と生成キ
ー信号５１６と遅延実写画素データ５１７と遅延実写奥
行き値５１４から合成画素５１８を出力する画像合成
部、５０８は合成画素５１８から合成映像を出力する画
像出力部である。

【００７５】次に実施例５の動作について説明する。ま
ず、撮像部５０１においては、被写体５２０を撮影し、
その画像を実写画素データ５０９として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件５１０として出力する。撮像位置検出部５０２は、
超音波距離センサによって三次元空間内のカメラの位置
を、ロータリーエンコーダによってカメラの方向を検出
し、撮像位置データ５１２として出力する。

【００７６】次に奥行き情報検出部５０６では、実施例
３と同様にカメラから被写体５２０までの距離を測定す
る。次に、与えられた三次元幾何学形状モデル５１９の
形状および属性データに対して、画像生成部５０３は撮
像部５０１から出力された撮像条件５１０と、撮像位置
検出部５０２から出力された撮像位置データ５１３に従
って画像生成の際の視点位置と視線方向と画角を決定
し、これらのデータを基に画像生成を行なって、その結
果を生成画素データ５１１と生成画素データ５１１に対
応する奥行き値である生成奥行き値５１６として出力す
る。さらに生成画素データ５１１に対して従来例と同様
に、あらかじめ与えられたキー５２１に基づいて生成キ
ー信号５１５を出力する。

【００７７】次に実写映像遅延部５０４では、実写画素
データ５０９をＦＩＦＯを用いて画像生成部５０３の処
理時間分遅らせ、遅延実写画素データ５１７を出力す
る。このため画像合成部の入力段階で、遅延実写画素デ
ータ５１７と生成画素データ５１１の同期がとれてい
る。

【００７８】次に奥行き情報遅延部５０７では、実写奥
行き値５１３をＦＩＦＯを用いて画像生成部５０３の処
理時間分遅らせ、遅延実写奥行き値５１４を出力する。
このため画像合成部の入力段階で、遅延実写奥行き値５
１４と生成奥行き値５１６の同期がとれている。

【００７９】次に画像合成部５０５は、画像生成部で出
力された生成奥行き値５１６と生成画素データ５１１と
生成キー信号５１５と実写映像遅延部５０４から出力さ
れた遅延実写画素データ５１７と奥行き情報遅延部５０
７から出力された遅延実写奥行き値５１４とを用いて、
クロマキー処理とＺバッファ法を用いた隠面消去処理を
行ない、合成画素５１８を出力する。この処理は、キー
の検出対象画像をＣＧ画像に変更し、あとは図１３と同
様の処理を行なう。

【００８０】次に画像出力部５０８においては合成画素
５１８を映像信号に変換しディスプレイ等に出力する。

【００８１】以上のように本実施例によれば、画像生成
部において実写画像と整合のとれたＣＧ画像を生成し、
実写画素データと実写奥行き値を画像生成部の処理時間
分遅らせ実写奥行き値とＣＧ画像の奥行き値である生成
奥行き値とＣＧ画像側から生成されたキー信号である生
成キー信号とを用いて実写画像とＣＧ画像との同期のと
れたリアルタイムでのＺバッファ合成とキー合成の複合
合成を行なうことができる。

【００８２】尚、本実施例ではカメラの方向測定にロー
タリーエンコーダを用いているが、方向測定方法はこれ
に限定するものではなく、ステレオカメラの画像処理に
よる方法や磁気センサによる測定といった種々の方法で
も同様の動作が可能である。

【００８３】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【００８４】また、本実施例では、画像生成部５０３に
おいて生成キー信号５１５を生成する際クロマキー手法
を用いたものを開示しているが、生成キー信号生成方法
はこれに限定するものではなく、画像認識による領域抽
出によって生成キー信号を生成することもできる。

【００８５】（実施例６）次に本発明の実施例６につい
て図６を参照しながら説明する。図６は本発明の実施例
６における画像処理装置の構成を示している。

【００８６】図６において、６０１は被写体６２３を撮
影し実写画素データ６１０、撮影条件６１１を出力する
撮像部、６０２は撮像部６０１の三次元空間内での位
置、視線方向などの撮像部の撮像位置データ６１３を出
力する撮像位置検出部、６０６は撮像部６０１で撮影す
る被写体の位置を測定し実写奥行き値６１４を出力する
奥行き情報検出部、６０３は与えられた三次元幾何学形
状モデルの形状及び属性データ６２２と、撮像位置デー
タ６１３、撮影条件６１１と与えられたキー６２５から
生成画素データ６１２と生成奥行き値６１６と生成キー
信号６２０を出力する画像生成部、６０４は実写画素デ
ータ６１０から遅延実写画素データ６１７を出力する実
写映像遅延部、６０７は実写奥行き値６１４から遅延実
写奥行き値６１５を出力する奥行き情報遅延部、６０８
は遅延実写画素データ６１７と与えられたキー６２４か
ら合成キー信号６１８と合成キー信号対応実写画素デー
タ６１９を出力する合成キー信号生成部、６０５は生成
画素データ６１２と生成奥行き値６１６と生成キー信号
６２０と合成キー信号６１８と合成キー信号対応実写画
素データ６１９と遅延実写奥行き値６１５とあらかじめ
与えられた背景画素データから合成画素６２１を出力す
る画像合成部、６０９は合成画素６２１から合成映像を
出力する画像出力部である。

【００８７】次に実施例６の動作について説明する。ま
ず、撮像部６０１においては、被写体６２３を撮影し、
その画像を実写画素データ６１０として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件６１１として出力する。撮像位置検出部６０２は、
超音波距離センサによって三次元空間内のカメラの位置
を、ロータリーエンコーダによってカメラの方向を検出
し、撮像位置データ６１３として出力する。次に奥行き
情報検出部６０６では、実施例３と同様にカメラから被
写体６２３までの距離を測定する。

【００８８】次に、与えられた三次元幾何学形状モデル
６２２の形状及び属性データに対して、画像生成部６０
３は撮像部６０１から出力された撮像条件６１１と、撮
像位置検出部６０２から出力された撮像位置データ６１
３に従って画像生成の際の視点位置と視線方向と画角を
決定し、これらのデータを基に画像生成を行なって、そ
の結果を生成画素データ６１２と生成画素データ６１２
に対応する奥行き値である生成奥行き値６１６として出
力する。さらに生成画素データ６１２に対して従来例と
同様に、あらかじめ与えられたキー６２５に基づいて生
成キー信号６２０を出力する。

【００８９】次に実写映像遅延部６０４では、実写画素
データ６１０をＦＩＦＯを用いて画像生成部６０３の処
理時間分遅らせ、遅延実写画素データ６１７を出力す
る。このため画像合成部の入力段階で、合成キー信号対
応実写画素データ６１９と生成画素データ６１２の同期
がとれている。

【００９０】次に奥行き情報遅延部６０７では、実写奥
行き値６１４をＦＩＦＯを用いて画像生成部６０３の処
理時間分遅らせ、遅延実写奥行き値６１５を出力する。
このため画像合成部の入力段階で、遅延実写奥行き値６
１５と生成奥行き値６１６の同期がとれている。

【００９１】次に、合成キー信号生成部６０８では、従
来例と同様に、遅延実写画素データ６１７に対してあら
かじめ指定されたキー６１６に基づいて合成キー信号６
１８と合成キー信号６１８に対応して合成キー信号対応
実写画素データ６１９を出力する。

【００９２】次に画像合成部６０５は、画像生成部で出
力された生成奥行き値６１５と生成画素データ６１２と
生成キー信号６２０と合成キー信号生成部６０８から出
力された合成キー信号６１８と合成キー信号対応実写画
素データ６１９と奥行き情報遅延部６０７から出力され
た遅延実写奥行き値６１５とを用いて、クロマキー処理
とＺバッファ法を用いた隠面消去処理を行ない、合成画
素６２１を出力する。この処理を図１４に示す。

【００９３】図１４において、ＣＧ画像側キー信号生成
回路１４０７は、あらかじめ与えられたＣＧ画像側キー
１４０６に基づき、ＣＧ画像側フレームバッファからＣ
Ｇ画像側のキー信号である生成キー信号１４１４を出力
する。この動作は、図６の画像生成部６０３の動作の一
部である。実写画像側キー信号生成部１４０８は、あら
かじめ与えられた実写画像側キー１４０９に基づき、実
写画像側フレームバッファ１４０３から実写画像側のキ
ー信号である合成キー信号１４１５を出力する。この動
作は、図６の合成画像生成部６０８の動作の一部であ
る。

【００９４】比較回路１４１０はＣＧ画像側奥行きバッ
ファ１４０２と実写画像側奥行きバッファ１４０４のＺ
比較結果１４１６を出力する。入力画像選択回路１４１
３は生成キー信号１４１４のみ検出される領域について
は、実写画像を選択し、合成キー信号１４１５のみ検出
される領域については、ＣＧ画像を選択し、生成キー信
号１４１４と合成キー信号１４１５の両方とも検出され
る領域については背景を選択し、生成キー信号１４１４
と合成キー信号１４１５のともに検出されない領域につ
いてはＺ比較結果１４１６より、手前にある画像を選択
する。セレクタ１４１２は入力画像選択回路１４１１か
ら出力される選択画像１４１７に従って、画像の出力を
切り換える。

【００９５】次に画像出力部６０９においては合成画素
６２１を映像信号に変換しディスプレイ等に出力する。

【００９６】以上のように本実施例によれば、画像生成
部において実写画像と整合のとれたＣＧ画像を生成し、
実写画素データと実写奥行き値を画像生成部の処理時間
分遅らせ実写奥行き値とＣＧ画像の奥行き値である生成
奥行き値と実写画像側から生成されたキー信号である合
成キー信号とＣＧ画像側から生成されたキー信号である
生成キー信号とを用いて実写画像とＣＧ画像との同期の
とれたリアルタイムでのＺバッファ合成とキー合成の複
合合成を行なうことができる。

【００９７】尚、本実施例ではカメラの方向測定にロー
タリーエンコーダを用いているが、方向測定方法はこれ
に限定するものではなく、ステレオカメラの画像処理に
よる方法や磁気センサによる測定といった種々の方法で
も同様の動作が可能である。

【００９８】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【００９９】また、本実施例では、合成キー信号生成部
６０８において合成キー信号６１８を生成する際と画像
生成部６０３において生成キー信号６２０を生成する際
にクロマキー手法を用いたものを開示しているが、合成
キー信号生成方法はこれに限定するものではなく、画像
認識による領域抽出によって合成キー信号、生成キー信
号を生成することもできる。

【０１００】（実施例７）次に本発明の実施例７につい
て図７を参照しながら説明する。図７は本発明の実施例
７における画像処理装置の構成を示している。

【０１０１】図７において、７０１は被写体７２３を撮
影し実写画素データ７１０、撮影条件７１１を出力する
撮像部、７０２は撮像部７０１の三次元空間内での位
置、視線方向などの撮像部の撮像位置データ７１３を出
力する撮像位置検出部、７０６は撮像部７０１で撮影す
る被写体の位置を測定し実写奥行き値７１４を出力する
奥行き情報検出部、７０３は与えられた三次元幾何学形
状モデルの形状及び属性データ７２２と、撮像位置デー
タ７１３、撮影条件７１１と与えられたキー７２５から
生成画素データ７１２と生成奥行き値７１６と生成キー
信号７２０を出力する画像生成部、７０４は実写画素デ
ータ７１０から遅延実写画素データ７１７を出力する実
写映像遅延部、７０７は実写奥行き値７１４から遅延実
写奥行き値７１５を出力する奥行き情報遅延部、７０８
は遅延実写画素データ７１７と与えられたキー７２４か
ら合成キー信号７１８と合成キー信号対応実写画素デー
タ７１９を出力する合成キー信号生成部、７０５は生成
画素データ７１２と生成奥行き値７１６と生成キー信号
７２０と合成キー信号７１８と合成キー信号対応実写画
素データ７１９と遅延実写奥行き値７１５とあらかじめ
与えられた背景画素データ７２６と背景奥行き値７２７
から合成画素７２１と合成奥行き値７２８を出力する画
像合成部、７０９は合成画素７２１から合成映像を出力
する画像出力部である。

【０１０２】次に実施例７の動作について説明する。ま
ず、撮像部７０１においては、被写体７２３を撮影し、
その画像を実写画素データ７１０として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件７１１として出力する。撮像位置検出部７０２は、
超音波距離センサによって三次元空間内のカメラの位置
を、ロータリーエンコーダによってカメラの方向を検出
し、撮像位置データ７１３として出力する。次に奥行き
情報検出部７０６では、実施例３と同様にカメラから被
写体７２３までの距離を測定する。

【０１０３】次に、与えられた三次元幾何学形状モデル
７２２の形状および属性データに対して、画像生成部７
０３は撮像部７０１から出力された撮像条件７１１と、
撮像位置検出部７０２から出力された撮像位置データ７
１３に従って画像生成の際の視点位置と視線方向と画角
を決定し、これらのデータを基に画像生成を行なって、
その結果を生成画素データ７１２と生成画素データ７１
２に対応する奥行き値である生成奥行き値７１６として
出力する。さらに生成画素データ７１２に対して従来例
と同様に、あらかじめ与えられたキー７２５に基づいて
生成キー信号７２０を出力する。

【０１０４】次に実写映像遅延部７０４では、実写画素
データ７１０をＦＩＦＯを用いて画像生成部７０３の処
理時間分遅らせ、遅延実写画素データ７１７を出力す
る。このため画像合成部の入力段階で、合成キー信号対
応実写画素データ７１９と生成画素データ７１２の同期
がとれている。

【０１０５】次に奥行き情報遅延部７０７では、実写奥
行き値７１４をＦＩＦＯを用いて画像生成部７０３の処
理時間分遅らせ、遅延実写奥行き値７１５を出力する。
このため画像合成部の入力段階で、遅延実写奥行き値７
１５と生成奥行き値７１６の同期がとれている。

【０１０６】次に、合成キー信号生成部７０８では、従
来例と同様に、遅延実写画素データ７１７に対してあら
かじめ指定されたキー７１６に基づいて合成キー信号７
１８と合成キー信号７１８に対応して合成キー信号対応
実写画素データ７１９を出力する。

【０１０７】次に画像合成部７０５は、画像生成部で出
力された生成奥行き値７１５と生成画素データ７１２と
生成キー信号７２０と合成キー信号生成部７０８から出
力された合成キー信号７１８と合成キー信号対応実写画
素データ７１９と奥行き情報遅延部７０７から出力され
た遅延実写奥行き値７１５とを用いて、クロマキー処理
とＺバッファ法を用いた隠面消去処理を行ない、合成画
素７２１と合成奥行き値７２８を出力する。この処理を
図１５に示す。

【０１０８】図１５において、ＣＧ画像側キー信号生成
回路１５０７は、あらかじめ与えられたＣＧ画像側キー
１５０６に基づき、ＣＧ画像側フレームバッファからＣ
Ｇ画像側のキー信号である生成キー信号１５１４を出力
する。この動作は、図６の画像生成部６０３の動作の一
部である。実写画像側キー信号生成部１５０８は、あら
かじめ与えられた実写画像側キー１５０９に基づき、実
写画像側フレームバッファ１５０３から実写画像側のキ
ー信号である合成キー信号１５１５を出力する。この動
作は、図６の合成画像生成部６０８の動作の一部であ
る。

【０１０９】比較回路１５１０はＣＧ画像側奥行きバッ
ファ１５０２と実写画像側奥行きバッファ１５０４のＺ
比較結果１５１６を出力する。入力画像選択回路１５１
３は生成キー信号１５１４のみ検出される領域について
は、実写画像を選択し、合成キー信号１５１５のみ検出
される領域については、ＣＧ画像を選択し、生成キー信
号１５１４と合成キー信号１５１５の両方とも検出され
る領域については背景を選択し、生成キー信号１５１４
と合成キー信号１５１５のともに検出されない領域につ
いてはＺ比較結果１５１６より、手前にある画像を選択
する。セレクタ１５１２は入力画像選択回路１５１１か
ら出力される選択画像１５１７に従って、画像の出力を
切り換える。セレクタ１５２０は入力画像選択回路１５
１１から出力される選択画像１５１７に従って、その画
像に対応する奥行き値の出力を切り換える。

【０１１０】次に画像出力部７０９においては合成画素
７２１を映像信号に変換しディスプレイ等に出力する。

【０１１１】なお、本実施例ではカメラの方向測定にロ
ータリーエンコーダを用いているが、方向測定方法はこ
れに限定するものではなく、ステレオカメラの画像処理
による方法や、磁気センサによる測定といった種々の方
法でも同様の動作が可能である。

【０１１２】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【０１１３】また、本実施例では、合成キー信号生成部
７０８において合成キー信号７１８を生成する際と画像
生成部７０３において生成キー信号７２０を生成する際
にクロマキー手法を用いたものを開示しているが、合成
キー信号生成方法はこれに限定するものではなく、画像
認識による領域抽出によって合成キー信号、生成キー信
号を生成することもできる。

【０１１４】また、本実施例に示すように、実施例６に
ついても、画像合成部の入力として背景画素データと背
景奥行き値が削れるだけで、同様の動作となる。

【０１１５】（実施例８）以下本発明の実施例８につい
て図８を参照しながら説明する。図８は本発明の実施例
８における画像処理装置の構成を示している。

【０１１６】図８において、８０１は被写体８２３を撮
影し実写画素データ８１０、撮影条件８１１を出力する
撮像部、８０２は撮像部８０１の三次元空間内での位
置、視線方向などの撮像部の撮像位置データ８１３を出
力する撮像位置検出部、８０６は撮像部８０１で撮影す
る被写体の位置を測定し実写奥行き値８１４を出力する
奥行き情報検出部、８２９は実写画像の撮影環境におけ
る照明条件を検出し、照明条件データ８３０を出力する
照明条件抽出部、８０３は与えられた三次元幾何学形状
モデルの形状及び属性データ８２２と、撮像位置データ
８１３、撮影条件８１１と与えられたキー８２５と、照
明条件データ８３０から生成画素データ８１２と生成奥
行き値８１６と生成キー信号８２０を出力する画像生成
部、８０４は実写画素データ８１０から遅延実写画素デ
ータ８１７を出力する実写映像遅延部、８０７は実写奥
行き値８１４から遅延実写奥行き値８１５を出力する奥
行き情報遅延部、８０８は遅延実写画素データ８１７と
与えられたキー８２４から合成キー信号８１８と合成キ
ー信号対応実写画素データ８１９を出力する合成キー信
号生成部、８０５は生成画素データ８１２と生成奥行き
値８１６と生成キー信号８２０と合成キー信号８１８と
合成キー信号対応実写画素データ８１９と遅延実写奥行
き値８１５とあらかじめ与えられた背景画素データ８２
６と背景奥行き値８２７から合成画素８２１と合成奥行
き値８２８を出力する画像合成部、８０９は合成画素８
２１から合成映像を出力する画像出力部である。

【０１１７】次に実施例８の動作について説明する。ま
ず、撮像部８０１においては、被写体８２３を撮影し、
その画像を実写画素データ８１０として出力する。ま
た、レンズのズーム、フォーカス、アイリスなどを撮影
条件８１１として出力する。撮像位置検出部８０２は、
超音波距離センサによって三次元空間内のカメラの位置
を、ロータリーエンコーダによってカメラの方向を検出
し、撮像位置データ８１３として出力する。

【０１１８】次に奥行き情報検出部８０６では、実施例
３と同様にカメラから被写体８２３までの距離を測定す
る。

【０１１９】次に照明条件抽出部８２９は、照明状態の
計測あるいは調光器の操作盤の状態取り込みなどによっ
て実写の照明条件を抽出し、照明条件データ８３０を出
力する。

【０１２０】次に、与えられた三次元幾何学形状モデル
８２２の形状および属性データに対して、画像生成部８
０３は撮像部８０１から出力された撮像条件８１１と、
撮像位置検出部８０２から出力された撮像位置データ８
１３に従って画像生成の際の視点位置と視線方向と画角
を決定し、照明条件抽出部８２９から出力された照明条
件データ８３０に従って照明シミュレーション演算を行
なって照度データを求め、これらのデータを基に画像生
成を行なって、その結果を生成画素データ８１２と生成
画素データ８１２に対応する奥行き値である生成奥行き
値８１６として出力する。さらに生成画素データ８１２
に対して従来例と同様に、あらかじめ与えられたキー８
２５に基づいて生成キー信号８２０を出力する。

【０１２１】次に実写映像遅延部８０４では、実写画素
データ８１０をＦＩＦＯを用いて画像生成部８０３の処
理時間分遅らせ、遅延実写画素データ８１７を出力す
る。このため画像合成部の入力段階で、合成キー信号対
応実写画素データ８１９と生成画素データ８１２の同期
がとれている。

【０１２２】次に奥行き情報遅延部８０７では、実写奥
行き値８１４をＦＩＦＯを用いて画像生成部８０３の処
理時間分遅らせ、遅延実写奥行き値８１５を出力する。
このため画像合成部の入力段階で、遅延実写奥行き値８
１５と生成奥行き値８１６の同期がとれている。

【０１２３】次に、合成キー信号生成部８０８では、従
来例と同様に、遅延実写画素データ８１７に対してあら
かじめ指定されたキー８１６に基づいて合成キー信号８
１８と合成キー信号８１８に対応して合成キー信号対応
実写画素データ８１９を出力する。

【０１２４】次に画像合成部８０５は、画像生成部で出
力された生成奥行き値８１５と生成画素データ８１２と
生成キー信号８２０と合成キー信号生成部８０８から出
力された合成キー信号８１８と合成キー信号対応実写画
素データ８１９と奥行き情報遅延部８０７から出力され
た遅延実写奥行き値８１５とを用いて、実施例７と同様
にクロマキー処理とＺバッファ法を用いた隠面消去処理
を行ない、合成画素８２１と合成奥行き値８２８を出力
する。

【０１２５】次に画像出力部８０９においては合成画素
８２１を映像信号に変換しディスプレイ等に出力する。

【０１２６】なお、本実施例ではカメラの方向測定にロ
ータリーエンコーダを用いているが、方向測定方法はこ
れに限定するものではなく、ステレオカメラの画像処理
による方法や、磁気センサによる測定といった種々の方
法でも同様の動作が可能である。

【０１２７】また、本実施例では、カメラの位置測定に
超音波を使った距離センサを用いたものを開示している
が、位置検出方法はこれに限定するものではなく、ロー
タリーエンコーダや磁気センサによる方法でも求めるこ
とができる。

【０１２８】また、本実施例では、合成キー信号生成部
８０８において合成キー信号８１８を生成する際と画像
生成部８０３において生成キー信号８２０を生成する際
にクロマキー手法を用いたものを開示しているが、合成
キー信号生成方法はこれに限定するものではなく、画像
認識による領域抽出によって合成キー信号、生成キー信
号を生成することもできる。

【０１２９】なお、実施例３、４、５の画像合成部にお
いて、合成画素データと前記合成画素データに対応する
合成奥行き値を出力するように構成してもよい。

【０１３０】

【発明の効果】以上のように第１の発明では、撮像部か
ら出力される撮影条件と撮像位置検出部から出力される
位置方向を入力とし三次元幾何学形状モデルの形状及び
属性データをもとに画像生成し生成画素データを出力す
る画像生成部と、撮像部の実写画素データを画像生成部
の処理時間分遅らせ、与えられた合成対象領域の識別基
準であるキーをもとに合成対象領域であるかを識別する
合成キー信号と合成キー信号に対応して遅延させた実写
画素データとを出力する合成キー信号生成部と、合成キ
ー信号に基づき実写画素データと生成画素データを画像
合成し合成画素データを出力する画像合成部とを備えた
ことにより、実写画像と整合のとれたＣＧ画像が生成さ
れ、実写画像とＣＧ画像との同期のとれた実写画像でキ
ー信号検出を行なうリアルタイムキー合成ができる。

【０１３１】第２の発明では、撮像部から出力される撮
影条件と撮像位置検出部から出力される位置方向を入力
とし三次元幾何学形状モデルの形状及び属性データと与
えられた合成対象領域の識別基準であるキーをもとに画
像生成し生成画素データと生成画素データが合成対象領
域であるかを識別する生成キー信号とを出力する画像生
成部と、撮像部の実写画素データを画像生成部の処理時
間分遅らせ、生成キー信号に基づき遅延させた実写画素
データと生成画素データを画像合成し合成画素データを
出力する画像合成部とを備えたことにより、実写画像と
整合のとれたＣＧ画像が生成され、実写画像とＣＧ画像
との同期のとれたＣＧ画像でキー信号検出を行なうリア
ルタイムキー合成ができる。

【０１３２】第３の発明では、撮像部で撮影する被写体
の位置を測定し実写奥行き値を撮像部と同期して出力す
る奥行き情報検出部と、撮像部から出力される撮影条件
と撮像位置検出部から出力される位置方向を入力とし三
次元幾何学形状モデルの形状及び属性データをもとに画
像生成し生成画素データと生成画素データの生成奥行き
値とを出力する画像生成部と、撮像部の実写画素データ
を画像生成部の処理時間分遅らせ、実写奥行き値を画像
生成部の処理時間分遅らせ、遅延させた実写奥行き値と
生成奥行き値に基づき実写画素データと生成画素データ
を画像合成し合成画素データを出力する画像合成部とを
備えたことにより、実写画像と整合のとれたＣＧ画像が
生成され、実写画像とＣＧ画像との同期のとれたリアル
タイムＺバッファ合成ができる。

【０１３３】第４の発明では、撮像部で撮影する被写体
の位置を測定し実写奥行き値を撮像部と同期して出力す
る奥行き情報検出部と、撮像部の位置方向を撮像部と同
期して検出する撮像位置検出部と、撮像部から出力され
る撮影条件と撮像位置検出部から出力される位置方向を
入力とし三次元幾何学形状モデルの形状及び属性データ
をもとに画像生成し生成画素データと生成画素データの
生成奥行き値とを出力する画像生成部と、撮像部の実写
画素データを画像生成部の処理時間分遅らせ、実写奥行
き値を画像生成部の処理時間分遅らせ、与えられた合成
対象領域の識別基準であるキーをもとに合成対象領域で
あるかを識別する合成キー信号と合成キー信号に対応し
かつ遅延させた実写画素データとを出力する合成キー信
号生成部と、合成キー信号と遅延させた実写奥行き値と
生成奥行き値に基づき実写画素データと生成画素データ
を画像合成し合成画素データを出力する画像合成部とを
備えたことにより、実写画像と整合のとれたＣＧ画像が
生成され、実写奥行き値とＣＧ画像の奥行き値である生
成奥行き値と実写画像側から生成されたキーである合成
キー信号とを用いて実写画像とＣＧ画像との同期のとれ
たリアルタイムでのＺバッファ合成とキー合成の複合合
成ができる。

【０１３４】第５の発明では、撮像部で撮影する被写体
の位置を測定し実写奥行き値を撮像部と同期して出力す
る奥行き情報検出部と、撮像部から出力される撮影条件
と撮像位置検出部から出力される位置方向を入力とし三
次元幾何学形状モデルの形状及び属性データと与えられ
た合成対象領域の識別基準であるキーをもとに画像生成
し生成画素データと生成画素データが合成対象領域であ
るかを識別する生成キー信号と画素データの生成奥行き
値とを出力する画像生成部と、撮像部の実写画素データ
を画像生成部の処理時間分遅らせ、実写奥行き値を画像
生成部の処理時間分遅らせ、生成キー信号と遅延させた
実写奥行き値と生成奥行き値に基づき遅延させた実写画
素データと生成画素データを画像合成し合成画素データ
を出力する画像合成部とを備えたことにより、実写画像
と整合のとれたＣＧ画像が生成され、実写奥行き値とＣ
Ｇ画像の奥行き値である生成奥行き値とＣＧ画像側から
生成されたキー信号である生成キー信号とを用いて実写
画像とＣＧ画像との同期のとれたリアルタイムでのＺバ
ッファ合成とキー合成の複合合成ができる。

【０１３５】第６の発明では、撮像部で撮影する被写体
の位置を測定し実写奥行き値を撮像部と同期して出力す
る奥行き情報検出部と、撮像部から出力される撮影条件
と撮像位置検出部から出力される位置方向を入力とし三
次元幾何学形状モデルの形状及び属性データと与えられ
た合成対象領域の識別基準であるキーをもとに画像生成
し生成画素データと生成画素データが合成対象領域であ
るかを識別する生成キー信号と画素データの生成奥行き
値とを出力する画像生成部と、撮像部の実写画素データ
出力を入力とし画像生成部の処理時間分遅らせて出力す
る実写映像遅延部と、奥行き情報検出部出力を入力とし
画像生成部の処理時間分遅らせて出力する奥行き情報遅
延部と、実写映像遅延部出力を入力とし与えられた合成
対象領域の識別基準であるキーをもとに合成対象領域で
あるかを識別する合成キー信号と合成キー信号に対応し
て実写画素データとを出力する合成キー信号生成部と、
前記合成キー信号と生成キー信号と遅延実写奥行き値と
生成奥行き値に基づき遅延され合成キー信号に対応した
実写画素データと生成画素データを画像合成し合成画素
データを出力する画像合成部とを備えたことにより、実
写画像と整合のとれたＣＧ画像が生成され、実写奥行き
値とＣＧ画像の奥行き値である生成奥行き値と実写画像
側から生成されたキー信号である合成キー信号とＣＧ画
像側から生成されたキー信号である生成キー信号とを用
いて実写画像とＣＧ画像との同期のとれたリアルタイム
でのＺバッファ合成とキー合成の複合合成ができる。

【０１３６】第７の発明では、第３、４または５の発明
の画像合成部を合成画素データと前記合成画素データに
対応する合成奥行き値を出力する画像合成部に置き換え
ることで第３、４または５の発明の出力に奥行き値を追
加することができる。

【０１３７】第８の発明では、第６の発明の画像合成部
を背景画素データと背景奥行き値を入力に追加し、合成
画素データとそれに対応する合成奥行き値を出力する画
像合成部に置き換えることで第６の発明の出力に奥行き
値を追加することができる。

【０１３８】第９の発明では、被写体に対する照明条件
を検出して画像生成部に照明条件データを出力する照明
条件抽出部をさらに備え、照明条件抽出部から入力され
た照明条件データにしたがって画像を生成する画像生成
部を備えることで合成画像において実写画像とＣＧ画像
との照明条件の整合がとれる。

【図面の簡単な説明】

【図１】本発明の実施例１における画像処理装置の構成
図

【図２】本発明の実施例２における画像処理装置の構成
図

【図３】本発明の実施例３における画像処理装置の構成
図

【図４】本発明の実施例４における画像処理装置の構成
図

【図５】本発明の実施例５における画像処理装置の構成
図

【図６】本発明の実施例６における画像処理装置の構成
図

【図７】本発明の実施例７における画像処理装置の構成
図

【図８】本発明の実施例８における画像処理装置の構成
図

【図９】従来のクロマキー合成の処理方法を示した図

【図１０】従来のＺバッファ法の処理方法を示した図

【図１１】本実施例における磁気センサを用いた距離測
定方法を示した図

【図１２】リアルタイムで生成されるＣＧ画像の実写画
像に対する時間的遅れを示す図

【図１３】実施例４のクロマキー処理とＺバッファ法を
用いた隠面消去処理方法を示す図

【図１４】実施例６のクロマキー処理とＺバッファ法を
用いた隠面消去処理方法を示す図

【図１５】実施例７のクロマキー処理とＺバッファ法を
用いた隠面消去処理方法を示す図

【符号の説明】

１０１撮像部１０２撮像位置検出部１０３画像生成部１０４実写映像遅延部１０５合成キー信号生成部１０６画像合成部１０７画像出力部２０１撮像部２０２撮像位置検出部２０３画像生成部２０４実写映像遅延部２０５画像合成部２０６画像出力部３０１撮像部３０２撮像位置検出部３０３画像生成部３０４実写映像遅延部３０５画像合成部３０６奥行き情報検出部３０７奥行き情報遅延部３０８画像出力部４０１撮像部４０２撮像位置検出部４０３画像生成部４０４実写映像遅延部４０５画像合成部４０６奥行き情報検出部４０７奥行き情報遅延部４０８合成キー信号生成部４０９画像出力部５０１撮像部５０２撮像位置検出部５０３画像生成部５０４実写映像遅延部５０５画像合成部５０６奥行き情報検出部５０７奥行き情報遅延部５０８画像出力部６０１撮像部６０２撮像位置検出部６０３画像生成部６０４実写映像遅延部６０５画像合成部６０６奥行き情報検出部６０７奥行き情報遅延部６０８合成キー信号生成部６０９画像出力部７０１撮像部７０２撮像位置検出部７０３画像生成部７０４実写映像遅延部７０５画像合成部７０６奥行き情報検出部７０７奥行き情報遅延部７０８合成キー信号生成部７０９画像出力部８０１撮像部８０２撮像位置検出部８０３画像生成部８０４実写映像遅延部８０５画像合成部８０６奥行き情報検出部８０７奥行き情報遅延部８０８合成キー信号生成部８０９画像出力部８２９照明条件抽出部

Claims

【特許請求の範囲】

【請求項１】被写体を撮影し実写画素データと撮影条件
を出力する撮像部と、前記撮像部の位置方向を前記撮像部と同期して検出する
撮像位置検出部と、前記撮像部から出力される撮影条件と前記撮像位置検出
部から出力される位置方向を入力とし三次元幾何学形状
モデルの形状及び属性データをもとに画像生成し生成画
素データを出力する画像生成部と、前記撮像部の実写画素データ出力を入力とし前記画像生
成部の処理時間分遅らせて出力する実写映像遅延部と、前記実写映像遅延部出力を入力とし与えられた合成対象
領域の識別基準であるキーをもとに合成対象領域である
かを識別する合成キー信号と前記合成キー信号に対応し
て実写画素データとを出力する合成キー信号生成部と、前記合成キー信号生成部出力と前記画像生成部出力とを
入力とし前記合成キー信号に基づき前記実写画素データ
と前記生成画素データを画像合成し合成画素データを出
力する画像合成部と、前記画像合成部出力を入力とし映像として出力する画像
出力部とを具備した画像処理装置。
【請求項２】被写体を撮影し実写画素データと撮影条件
を出力する撮像部と、前記撮像部の位置方向を前記撮像部と同期して検出する
撮像位置検出部と、前記撮像部から出力される撮影条件と前記撮像位置検出
部から出力される位置方向を入力とし三次元幾何学形状
モデルの形状及び属性データと与えられた合成対象領域
の識別基準であるキーをもとに画像生成し生成画素デー
タと前記生成画素データが合成対象領域であるかを識別
する生成キー信号とを出力する画像生成部と、前記撮像部の実写画素データ出力を入力とし前記画像生
成部の処理時間分遅らせて出力する実写映像遅延部と、前記実写映像遅延部出力と前記画像生成部出力とを入力
とし前記生成キー信号に基づき前記実写画素データと前
記生成画素データを画像合成し合成画素データを出力す
る画像合成部と、前記画像合成部出力を入力とし映像として出力する画像
出力部とを具備した画像処理装置。
【請求項３】被写体を撮影し実写画素データと撮影条件
を出力する撮像部と、前記撮像部で撮影する被写体の位置を測定し実写奥行き
値を前記撮像部と同期して出力する奥行き情報検出部
と、前記撮像部の位置方向を前記撮像部と同期して検出する
撮像位置検出部と、前記撮像部から出力される撮影条件と前記撮像位置検出
部から出力される位置方向を入力とし三次元幾何学形状
モデルの形状及び属性データをもとに画像生成し生成画
素データと前記生成画素データの生成奥行き値とを出力
する画像生成部と、前記撮像部の実写画素データ出力を入力とし前記画像生
成部の処理時間分遅らせて出力する実写映像遅延部と、前記奥行き情報検出部出力を入力とし前記画像生成部の
処理時間分遅らせて出力する奥行き情報遅延部と、前記実写映像遅延部出力と前記画像生成部出力と前記奥
行き情報遅延部出力とを入力とし前記実写奥行き値と前
記生成奥行き値に基づき前記実写画素データと前記生成
画素データを画像合成し合成画素データを出力する画像
合成部と、前記画像合成部から出力される合成画像データを入力と
し映像として出力する画像出力部とを具備した画像処理
装置。
【請求項４】被写体を撮影し実写画素データと撮影条件
を出力する撮像部と、前記撮像部で撮影する被写体の位置を測定し実写奥行き
値を前記撮像部と同期して出力する奥行き情報検出部
と、前記撮像部の位置方向を前記撮像部と同期して検出する
撮像位置検出部と、前記撮像部から出力される撮影条件と前記撮像位置検出
部から出力される位置方向を入力とし三次元幾何学形状
モデルの形状及び属性データをもとに画像生成し生成画
素データと前記生成画素データの生成奥行き値とを出力
する画像生成部と、前記撮像部の実写画素データ出力を入力とし前記画像生
成部の処理時間分遅らせて出力する実写映像遅延部と、前記奥行き情報検出部出力を入力とし前記画像生成部の
処理時間分遅らせて出力する奥行き情報遅延部と、前記実写映像遅延部出力を入力とし与えられた合成対象
領域の識別基準であるキーをもとに合成対象領域である
かを識別する合成キー信号と前記合成キー信号に対応し
て実写画素データとを出力する合成キー信号生成部と、前記合成キー信号生成部出力と前記画像生成部出力と前
記奥行き情報遅延部出力とを入力とし前記合成キー信号
と前記実写奥行き値と前記生成奥行き値に基づき前記実
写画素データと前記生成画素データを画像合成し合成画
素データを出力する画像合成部と、前記画像合成部から出力される合成画像データを入力と
し映像として出力する画像出力部とを具備した画像処理
装置。
【請求項５】被写体を撮影し実写画素データと撮影条件
を出力する撮像部と、前記撮像部で撮影する被写体の位置を測定し実写奥行き
値を前記撮像部と同期して出力する奥行き情報検出部
と、前記撮像部の位置方向を前記撮像部と同期して検出する
撮像位置検出部と、前記撮像部から出力される撮影条件と前記撮像位置検出
部から出力される位置方向を入力とし三次元幾何学形状
モデルの形状及び属性データと与えられた合成対象領域
の識別基準であるキーをもとに画像生成し生成画素デー
タと前記生成画素データが合成対象領域であるかを識別
する生成キー信号と前記画素データの生成奥行き値とを
出力する画像生成部と、前記撮像部の実写画素データ出力を入力とし前記画像生
成部の処理時間分遅らせて出力する実写映像遅延部と、前記奥行き情報検出部出力を入力とし前記画像生成部の
処理時間分遅らせて出力する奥行き情報遅延部と、前記実写映像遅延部出力と前記画像生成部出力と前記奥
行き情報遅延部出力とを入力とし前記生成キー信号と前
記実写奥行き値と前記生成奥行き値に基づき前記実写画
素データと前記生成画素データを画像合成し合成画素デ
ータを出力する画像合成部と、前記画像合成部から出力される合成画像データを入力と
し映像として出力する画像出力部とを具備した画像処理
装置。
【請求項６】被写体を撮影し実写画素データと撮影条件
を出力する撮像部と、前記撮像部で撮影する被写体の位置を測定し実写奥行き
値を前記撮像部と同期して出力する奥行き情報検出部
と、前記撮像部の位置方向を前記撮像部と同期して検出する
撮像位置検出部と、前記撮像部から出力される撮影条件と前記撮像位置検出
部から出力される位置方向を入力とし三次元幾何学形状
モデルの形状及び属性データと与えられた合成対象領域
の識別基準であるキーをもとに画像生成し生成画素デー
タと前記生成画素データが合成対象領域であるかを識別
する生成キー信号と前記画素データの生成奥行き値とを
出力する画像生成部と、前記撮像部の実写画素データ出力を入力とし前記画像生
成部の処理時間分遅らせて出力する実写映像遅延部と、前記奥行き情報検出部出力を入力とし前記画像生成部の
処理時間分遅らせて出力する奥行き情報遅延部と、前記実写映像遅延部出力を入力とし与えられた合成対象
領域の識別基準であるキーをもとに合成対象領域である
かを識別する合成キー信号と前記合成キー信号に対応し
て実写画素データとを出力する合成キー信号生成部と、前記合成キー信号生成部出力と前記画像生成部出力と前
記奥行き情報遅延部出力と与えられた背景画像の背景画
素データとを入力とし前記合成キー信号と前記合成キー
信号と前記生成キー信号と前記実写奥行き値と前記生成
奥行き値に基づき前記実写画素データと前記生成画素デ
ータを画像合成し合成画素データを出力する画像合成部
と、前記画像合成部から出力される合成画像データを入力と
し映像として出力する画像出力部とを具備した画像処理
装置。
【請求項７】画像合成部において、合成画素データと前
記合成画素データに対応する合成奥行き値を出力する請
求項３、４または５のいずれかに記載の画像処理装置。
【請求項８】画像合成部において、与えられた背景画像
の背景画素データと背景奥行き値とを追加入力とし、合
成画素データと前記合成画素データに対応する合成奥行
き値を出力する請求項６記載の画像処理装置。
【請求項９】被写体に対する照明条件を検出して画像生
成部に照明条件データを出力する照明条件抽出部をさら
に備え、前記画像生成部においては、前記照明条件抽出
部から出力された照明条件データにしたがって画像を生
成する請求項１から８のいずれかに記載の画像処理装
置。