JPH06105232A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 ズームレンズ付きビデオカメラの視点、方向
および撮影倍率に一致するＣＧ画像を確実に得ることが
できるとともに、ビデオカメラによる実画像とこれに対
応するＣＧ画像とをずれなく計画予想画像通りに合成す
ること。 【構成】 位置センサ９で検出したビデオカメラ１の絶
対位置データを基にＣＧ上のビューポイントを設定し、
そして、ビデオカメラ１の絶対位置データとセンサ６，
７で検出した水平角、俯仰角データを基にビューポイン
トからのＣＧ上の描画領域を設定し、さらにズームレン
ズ２のズーム量と被写物距離情報とを基に撮影倍率を求
め、設定された描画領域のサイズを前記撮影倍率にフレ
ーミングしてＣＧ画像を作成し、このＣＧ画像をビデオ
カメラからの実画像にオーバーレイする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ズーミング機能付きの
ビデオカメラで撮像された実画像とコンピュータグラフ
ィックス画像（以下ＣＧ画像という）とを合成して表示
する画像合成装置に関し、特にビデオカメラのズーミン
グによる画像サイズにＣＧ画像サイズを揃えてスーパイ
ンポーズできるようにした画像合成装置に関する。

【０００２】

【従来の技術】例えば、建設予定地に建設される建造物
の予想完成状況を映像で表示する場合は、建造物の予想
完成状況をＣＧで作成し、このＣＧ画像をモニタ画像に
表示して見るのが一般である。また、最近では、建設予
定地をビデオカメラで撮影し、この撮影実画像に前記Ｃ
Ｇ画像を合成してモニタに表示する表示方式も出現して
きている。

【０００３】

【発明が解決しようとする課題】ところで、建設予定地
の景観などを撮影するビデオカメラは、被写物に焦点を
合わせたままズームレンズを操作して被写物ウインドを
拡大、縮小できるようになっているのが一般である。こ
のため、ビデオカメラのズーミングによるウインドの大
きさおよびビデオカメラからビューポイントまでの距離
と方向に合わせてＣＧ画像のウインドサイズおよびビュ
ーポイントを設定する必要がある。

【０００４】しかるに、この種従来の画像合成装置を建
設現場のように撮影対象である被写物が大きく、かつ視
界が広大な場所に適用した場合、被写物に対するビデオ
カメラの視点、位置および方向等がＣＧ画像に反映でき
ないため、ビデオカメラで撮像した実画像とこれに対応
するＣＧ画像とを合成しても、両画像の位置関係および
サイズが微妙にずれ、計画予想と異なる画像になってし
まい、実用性にほど遠いものとなってまう問題があっ
た。本発明は、上述のような事情に鑑みなされたもので
あり、ズーム付きビデオカメラの視点，方向および撮影
倍率に一致するＣＧ画像を確実に得ることができるとと
もに、ビデオカメラで撮像された実画像とこれに対応す
るＣＧ画像とをずれなく計画予想画像通りに合成できる
画像合成装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に本発明は、被写物を撮像するズームレンズ付きのビデ
オカメラと、前記被写物が存在する領域に対する前記ビ
デオカメラの絶対位置を検出する位置検出手段と、前記
ビデオカメラにより撮像される被写物までの被写物距離
を検出する距離検出手段と、前記ビデオカメラのズーム
レンズのズーム量を検出するズーム量検出手段と、前記
ビデオカメラの被写物に対する撮像方向を検出する方向
検出手段と、前記被写物に対応させたコンピュータグラ
フィックス画像を作成するコンピュータグラフィックス
手段と、前記位置検出手段で検出したビデオカメラの絶
対位置データに基づいてコンピュータグラフィックス手
段で作成されるコンピュータグラフィックス画像上の視
点を設定するとともに、前記方向検出手段で検出した撮
像方向データに基づいて前記コンピュータグラフィック
ス画像上の視点に対する描画領域を設定し、前記ズーム
量検出手段で検出したズーム量と前記距離検出手段で検
出した被写物距離に基づいて前記コンピュータグラフィ
ックス画像の倍率を設定する処理手段と、前記ビデオカ
メラから出力される映像信号を離散的なデジタル信号に
変換して実画像データを生成する画像処理手段と、前記
処理手段により処理されてコンピュータグラフィックス
手段から出力されるコンピュータグラフィックス画像と
前記画像処理手段から出力される実画像とを合成する画
像合成手段とを備えたことを特徴とする。

【０００６】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は、本発明による画像合成装置の一実施例を
示す全体の構成図である。図１において、１は建設現場
などの比較的広大な領域の所定の場所に設置されたビデ
オカメラであり、このビデオカメラ１はオートフォーカ
ス機構を内蔵するズームレンス２を備える。このズーム
レンズ２はステッピングモータなどのモータ３によりス
ーミングできるようになっているとともに、モータ３に
はズームレンズ２のズーム量を検出するエンコーダ４が
設けられている。

【０００７】ビデオカメラ１は、ビデオカメラを水平方
向および俯仰方向に動作させる雲台５上に設置され、こ
の雲台５には、この動きからビデオカメラ１の水平方向
の角度を検出する水平角センサ６および俯仰方向の角度
を検出する俯仰角センサ７がそれぞれ設けられている。

【０００８】図１において、８はビデオカメラ１により
撮影される被写物までの距離に応じた距離情報を検出す
る測距部、９は建設現場におけるビデオカメラ１の絶対
位置および向きを検出する位置センサであり、この位置
センサ９はＧＰＳおよび地磁気センサなどを組合わせた
ものから構成される。前記エンコーダ４、水平角センサ
６、俯仰角センサ７、測距部８および位置センサ９は信
号処理回路１０に接続され、この信号処理回路１０に
は、ビデオカメラ１で撮像された実画像に対応したＣＧ
画像を作成するＣＧ装置１１が接続されており、このＣ
Ｇ装置１１は、図２に示すような描画用のＣＧ画像デー
タを格納するグラフィックスメモリ１２を備える。

【０００９】信号処理回路１０は、位置センサ９から出
力される絶対位置データに基づいてＣＧ上のビューポイ
ント（視点）を設定するとともに、絶対位置データと水
平角センサ６および俯仰角センサ７からの検出信号に基
づいて、ビューポイント設定されたＣＧ上の描画領域を
設定し、さらにエンコーダ４で検出されたズーム量と測
距部８で検出された被写物距離情報を基に算出される画
像倍率に前記描画領域の画像サイズを設定するものであ
り、ＣＧ装置１１は、この信号処理回路１０から出力さ
れる各設定指令信号に応じてＣＧ画像を作成する。ま
た、作成されたＣＧ画像データはフレームメモリ１３に
格納される。

【００１０】図１において、１５はＮＴＳＣ／ＲＧＢ変
換部であり、ビデオカメラ１から出力されるＮＴＳＣ方
式の映像信号をコンピュータ処理に適合するＲＧＢ信号
に変換する。ＮＴＳＣ／ＲＧＢ変換部１５にはＡ−Ｄコ
ンバータ１６が接続され、アナログＲＧＢ信号を離散的
なデジタル信号に変換する。Ａ−Ｄコンバータ１６に
は、デジタル信号に変換された実画像データを格納する
実画像用フレームメモリ１７が接続されている。また、
１８はグラフィック用フレームメモリ１３から読み出さ
れるＣＧ画像データと、実画像用フレームメモリ１７か
ら読み出される実画像データとを合成する画像合成回路
であり、この画像合成回路１８で合成された合成画像デ
ータはＤ−Ａコンバータ１９を介してモニタ表示装置２
０に出力される。

【００１１】次に、上記のように構成された本実施例の
動作について説明する。ビデオカメラ１を建設現場内の
所定の被写物に向けた状態でズーミングモータ３に外部
からズーム指令信号を入力すると、ズーミングモータ３
が起動され、ズームレンズ２はワイド端またはテレ端側
へズーミングされる。このとき、ズームレンズ２のズー
ム量はエンコーダ４により検出され、信号処理回路１０
に出力される。ズームレンズ２が希望するズーム位置に
ズーミングされると、これに連動してズームレンズ２を
含む撮影レンズの焦点距離も被写物に合わされる。これ
に伴い撮影レンズを通してビデオカメラ１で撮影された
被写物画像は水平走査タイミングに合わせて画像信号と
して取り出され、ＮＴＳＣ／ＲＧＢ変換部１５に入力さ
れる。このＮＴＳＣ／ＲＧＢ変換部１５では、ＮＴＳＣ
方式で取り込まれる画像信号をＲＧＢ信号に変換してＡ
−Ｄコンバータ１６に出力する。Ａ−Ｄコンバータ１６
では、水平走査タイミングに合わせて取り込まれる画像
信号を所定の周波数でサンプリングし、１画素当たり複
数ビットの離散的なデジタル信号に変換して実画像用フ
レームメモリ１７に格納する。なお、フレームメモリ１
７は１フレームないしそれ以上の画像データを格納でき
る容量のものから構成される。

【００１２】一方、建設現場内におけるビデオカメラ１
の絶対位置は位置センサ９により検出され、その検出結
果は初期データとして信号処理回路１０に取り込まれ
る。同様にして、水平角センサ６により検出された基準
点からのビデオカメラ１の水平角度、および俯仰角セン
サ７により検出された基準点からのビデオカメラ１の俯
仰角度も信号処理回路１０に取り込まれる。さらに測距
部８で検出された被写物距離情報も信号処理回路１０に
取り込まれる。

【００１３】各入力情報を取り込んだ信号処理回路１０
では、絶対位置データに基づいて、ビデオカメラ１の被
写物に対する視点と同様な視点をＣＧ上に設定するため
の信号を生成してＣＧ装置１１に出力する。また、絶対
位置データと水平角データおよび俯仰角データに基づい
てビューポイント（視点）からのＣＧ上の描画領域を設
定する信号を生成してＣＧ装置１１に出力する。さら
に、ズーム量および被写物距離情報に基づいて算出され
る撮影倍率から、前記設定された描画領域の画像サイズ
を設定する信号を生成してＣＧ装置１１に出力する。

【００１４】ＣＧ装置１１では、図２に示すようにグラ
フィックスメモリ１２上のＣＧオブジェクトデータ領域
に対しビデオカメラ１と同様なビューポイントＶＰを設
定し、さらに、ビューポイントＶＰからのＣＧ上の描画
領域をビデオカメラ１の向きに対応して図２の四角枠３
０または３１で示すように設定する。その後、四角枠３
０また３１で示す描画領域の画像サイズを信号処理回路
１０で算出した撮影倍率、例えば、ズームレンズがテレ
端にあるときは図２および図３の四角枠３０に示す大き
さに縮小し、また、ズームレンズがワイド端にあるとき
は図３の四角枠３１’に示す大きさに拡大させる。そし
て、ＣＧ装置１１で縮小または拡大されたＣＧ画像デー
タはフレームメモリ１３に格納される。

【００１５】他方、画像合成回路１８では、グラフィッ
クスフレームメモリ１３および実画像用フレームメモリ
１７からＦＩＦＯ方式などにより順次読み出されるＣＧ
画像データおよび実画像データのうち、例えば、奇数ラ
インでは奇数画素子にＣＧ画像データを配列するととも
に偶数画素に実画像データを配列し、また、偶数ライン
では奇数画素に実画像データを配列し、偶数画素にＣＧ
画像データを配列することでＣＧ画像と実画像とを合成
する。そして、画像合成回路１８で合成された画像デー
タはＤ−Ａコンバータ１９によりＮＴＳＣ方式のアナロ
グ信号に変換されてモニタ表示装置２０に出力し、再生
表示する。

【００１６】このような本実施例の画像合成装置におい
ては、ビデオカメラの絶対位置データに基づいてＣＧ上
のビューポイントを設定するとともに、ビデオカメラの
絶対位置データと水平角および俯仰角を基に設定ビュー
ポイントからのＣＧ上の描画領域を設定し、さらにズー
ムレンズのズーム量と被写物距離情報とから撮影倍率を
求め、設定された描画領域のサイズを求めた倍率にフレ
ーミングしてＣＧ画像を作成し、このＣＧ画像をビデオ
カメラからの実画像にオーバーレイさせるようにしたの
で、ビデオカメラの視点、方向および撮影倍率に一致す
るＣＧ画像を確実に得ることができるほか、ビデオカメ
ラからの実画像とこれに対向するＣＧ画像とをずれなく
計画予想画像通りに合成することができる。これに伴い
実用化が容易になるとともに、観察、監視等に好適な画
像情報を提供することができる。

【００１７】なお、上記実施例では、ズームレンズ付き
のビデオカメラ１を１台使用した場合について述べた
が、本発明はこれに限定されない、例えば、左右２台の
ビデオカメラを用いて立体視画像を得るものにも適用で
きる。この場合、各ビデオカメラに対応した左右のＣＧ
画像が必要となり、また、モニタ表示装置に立体鏡を組
合わせることで立体視できる。また、本発明は、上記実
施例に示す構成のものに限定されず、請求項に記載した
範囲を逸脱しない限り、種々の変形が可能である。

【００１８】

【発明の効果】以上説明したように本発明によれば、被
写物を撮像するズームレンズ付きのビデオカメラと、前
記被写物が存在する領域に対する前記ビデオカメラの絶
対位置を検出する位置検出手段と、前記ビデオカメラに
より撮像される被写物までの被写物距離を検出する距離
検出手段と、前記ビデオカメラのズームレンズのズーム
量を検出するズーム量検出手段と、前記ビデオカメラの
被写物に対する撮像方向を検出する方向検出手段と、前
記被写物に対応させたコンピュータグラフィックス画像
を作成するコンピュータグラフィックス手段と、前記位
置検出手段で検出したビデオカメラの絶対位置データに
基づいてコンピュータグラフィックス手段で作成される
コンピュータグラフィックス画像上の視点を設定すると
ともに、前記方向検出手段で検出した撮像方向データに
基づいて前記コンピュータグラフィックス画像上の視点
に対する描画領域を設定し、前記ズーム量検出手段で検
出したズーム量と前記距離検出手段で検出した被写物距
離に基づいて前記コンピュータグラフィックス画像の倍
率を設定する処理手段と、前記ビデオカメラから出力さ
れる映像信号を離散的なデジタル信号に変換して実画像
データを生成する画像処理手段と、前記処理手段により
処理されてコンピュータグラフィックス手段から出力さ
れるコンピュータグラフィックス画像と前記画像処理手
段から出力される実画像とを合成する画像合成手段とを
備える構成としたので、ズームレンズ付きビデオカメラ
の視点、方向および撮影倍率に一致するＣＧ画像を確実
に得ることができるとともに、ビデオカメラで撮像され
た実画像とこれに対応するＣＧ画像とをずれなく計画予
想画像通りに合成することができ、実用化も容易に実現
できるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例による画像合成装置のブロッ
ク図である。

【図２】本実施例のズーム時におけるＣＧデータ領域に
対するビューポイントおよびＣＧ描画のフレーミング状
態を示す説明図である。

【図３】本実施例のズーム時におけるＣＧ描画のフレー
ミング状態を示す説明図である。

【符号の説明】

１ ビデオカメラ ２ ズームレンズ ４ エンコーダ（ズーム量検出手段） ６ 水平角センサ ７ 俯仰角センサ ８ 測距部（距離検出手段） ９ 位置センサ １０ 信号処理回路（処理手段） １１ ＣＧ装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】 被写物を撮像するズームレンズ付きのビ
   デオカメラと、 前記被写物が存在する領域に対する前記ビデオカメラの
   絶対位置を検出する位置検出手段と、 前記ビデオカメラにより撮像される被写物までの被写物
   距離を検出する距離検出手段と、 前記ビデオカメラのズームレンズのズーム量を検出する
   ズーム量検出手段と、 前記ビデオカメラの被写物に対する撮像方向を検出する
   方向検出手段と、 前記被写物に対応させたコンピュータグラフィックス画
   像を作成するコンピュータグラフィックス手段と、 前記位置検出手段で検出したビデオカメラの絶対位置デ
   ータに基づいて前記コンピュータグラフィックス手段で
   作成されるコンピュータグラフィックス画像上の視点を
   設定するとともに、前記方向検出手段で検出した撮像方
   向データに基づいて前記コンピュータグラフィックス画
   像上の視点に対する描画領域を設定し、前記ズーム量検
   出手段で検出したズーム量と前記距離検出手段で検出し
   た被写物距離に基づいて前記コンピュータグラフィック
   ス画像の倍率を設定する処理手段と、 前記ビデオカメラから出力される映像信号を離散的なデ
   ジタル信号に変換して実画像データを生成する画像処理
   手段と、 前記処理手段により処理されてコンピュータグラフィッ
   クス手段から出力されるコンピュータグラフィックス画
   像と前記画像処理手段から出力される実画像とを合成す
   る画像合成手段と、 を備えたことを特徴とする画像合成装置。