JPH08139994A - 画像合成システム - Google Patents

Abstract

(57)【要約】 【目的】パソコン等のコンピューターを用いて、実際に
撮影した映像とコンピュータの画像を合成し、それらを
同期させる。 【構成】映像信号と共に映像内容に関係するデータを出
力可能なビデオカメラ１と、映像信号をコンピュータデ
ータに変換する映像変換手段と、そのデータを第一の映
像６として表示するコンピューター２と、コンピュータ
−映像入力手段間の検出した情報を送信する通信手段９
より構成され、コンピュータは通信手段９で入手したデ
ータに基づき第二の画像７を表示画面上３に合成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】コンピュータを用いた画像合成シ
ステムとして利用する。

【０００２】

【従来の技術】最近、ビデオカメラやビデオデッキなど
の出力する動画像をパソコン等のコンピュータに取り込
み、そのスクリーンに表示する試みが頻繁に行なわれる
ようになってきた。この目的のためには、コンピュータ
にビデオキャプチャーボードと呼ばれる、NTSCアナログ
ビデオ信号をコンピュータ用の画像データに変換してコ
ンピュータメモリーに取り込むための機能拡張ボードを
コンピュータの拡張スロットに取付ける必要がある。こ
のボードに上記ビデオ信号を入力することにより、コン
ピュータのスクリーンの一部あるいは全部にビデオ信号
に含まれる映像がリアルタイムにスクリーンに表示され
る。

【０００３】さらに、上記ボードの中には付属のソフト
により、表示画面の全部あるいは一部矩形領域を静止画
あるいは動画としてコンピュータの画像データとして保
存する機能を追加したものもある。

【０００４】以上のようにして表示あるいは取り込んだ
動画像は、スクリーン上で観賞するかあるいはコンピュ
ータ上の動画像データとして保存、加工処理、再配付な
どが行なわれる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来技術はビデオデッキなどの外部のビデオ機器が出力す
るビデオ信号をそのままの形でコンピュータに取り込む
ものであった。そのままの形とは矩形領域内の各点に何
ビットかの画像データが割り当てられたものであり、コ
ンピュータにとってはただの画像データ列に過ぎない。
従ってコンピュータ側は画像データ全体にわたって一定
の演算等はできるものの、この画像データのデータ転送
速度は通常のコンピューターにとっては膨大なものであ
り、コンピューターは他にも処理すべきタスクを抱えて
いるので、その画像の内容に基づいてリアルタイムに反
応し、動作することは困難であった。

【０００６】本発明は、上記問題に鑑み、その解決手段
を提供するものである。

【０００７】

【課題を解決するための手段】映像信号を出力する映像
信号出力手段と、表示装置と、該映像信号出力手段より
出力される映像信号を取り込んで映像を該表示装置の画
面の一部あるいは全部に表示するコンピュータからなる
画像合成システムで、該コンピューターに代わって該映
像信号から特定の映像の大きさあるいはその位置あるい
はその両方の情報を検出する検出手段と、該検出手段と
該コンピュータとの間に該検出した情報のデータを送受
信するデータ入出力手段を備え、該コンピュータは、該
データ入出力手段から該検出された情報を入力し、該検
出された情報に応じて、上記映像信号出力手段より取り
込んだ上記映像信号による映像と、上記コンピュータが
生成する画像あるいは上記映像信号出力手段とは別の映
像信号源から取り込んだ映像信号による映像を上記表示
装置上で重ねて表示することにより達成される。

【０００８】また、ビデオカメラとコンピューターを用
いるテレビ会議システムにおいては、該ビデオカメラは
物体を撮影して映像信号を生成し出力する手段の他に、
該映像信号から特定の被写体の大きさあるいは位置ある
いはその両方の情報を検出する検出手段を備え、該ビデ
オカメラと該コンピューターの間に該検出した情報を自
局あるいは該コンピューターを通して相手局あるいはそ
の両方に伝送するデータ入出力手段を備え、該コンピュ
ーターは、音声データと上記ビデオカメラが物体を撮影
して取り込んだ第１の映像データの他に、上記コンピュ
ータが生成する第２の画像データを伝送する伝送手段を
備え、該第１の映像と該第２の映像を上記検出した情報
の伝送により受信した情報に応じて、上記コンピュータ
ーの表示画面上に重ねて表示することにより達成され
る。

【０００９】

【作用】任意の映像の大きさあるいはその位置あるいは
その両方の情報を検出し、映像信号とともに該検出され
た情報を送受信する通信手段を設け、該通信手段により
画像データだけでなく、既に処理された該検出された情
報をコンピューターに入力することにより、コンピュー
タは該情報に基づいて、リアルタイムに反応して、上記
映像信号出力手段より取り込んだ映像と、上記コンピュ
ータが生成する画像あるいは上記コンピュータが上記映
像信号出力手段とは別の映像信号源から取り込んだ映像
信号による映像をコンピューターの表示装置上に重ねて
表示することができる。

【００１０】該情報に反応して、リアルタイムに表示す
ることができれば、様々な効果が期待できる。

【００１１】例えば、特定の被写体の位置に応じて、コ
ンピュータが生成する画像の表示位置を決定することが
できる。毎回、コンピュータが生成する画像の表示位置
を決定するわずらわしさがなくなり、操作がスムーズに
なる。

【００１２】さらに、特定の被写体の位置に応じて、コ
ンピュータが生成する画像の表示位置を変化させること
ができる。つまり、映像信号出力手段が出力する特定の
被写体と、コンピュータが生成する画像が相互作用して
いる画像内容を作成することができる。コンピュータの
画像を有効に利用し、ユーザがそれを示しながら説明す
る形の画像を生成することで、より説得力の有るプレゼ
ンテーション用の画像を作成することもできる。さらに
このとき、ビデオカメラを用いれば、リアルタイムに生
成する現実の特定被写体の映像とコンピュータが生成す
る仮想の画像が相互作用している新しい画像内容を作成
することができる。この種のシステムを最近ではバーチ
ャルリアリティ（仮想現実）とよぶこともある。

【００１３】また、映像の左右を反転させて表示すれ
ば、対面しているユーザーと表示画面の左右関係が、逆
でなく一致するので、操作が容易になる。

【００１４】位置情報だけでなく、特定被写体の大きさ
について反応することも可能である。特定被写体の大き
さに応じてコンピューターが生成する画像の大きさが変
化すれば、ますます現実感のある画像が得られる。

【００１５】このシステムをテレビ会議システムに応用
した場合、ビデオカメラは物体を撮影して映像信号を生
成し出力する手段の他に、該映像信号から特定の被写体
の大きさあるいは位置あるいはその両方の情報を検出す
る検出手段を備え、該ビデオカメラとコンピューターの
間に該検出した情報を自局あるいは該コンピューターを
通して相手局あるいはその両方に伝送するデータ入出力
手段を備え、該コンピューターは、音声データと上記ビ
デオカメラが物体を撮影して取り込んだ第１の映像デー
タの他に、上記コンピュータが生成する第２の画像デー
タを伝送する伝送手段を備えることにより、該第１の映
像と該第２の映像を上記検出した情報の伝送により受信
した情報にリアルタイムに応じて、上記コンピューター
の表示画面上に重ねて表示することができる。このシス
テムを用いれば、任意の位置に話題に関係する画像と特
定の被写体を伝送できるため、直感的なコミュニケーシ
ョンができる。また、このときも、コンピュータの画像
を有効に利用し、ユーザがそれを示しながら説明する形
の画像を生成し、伝送することで、より説得力の有るプ
レゼンテーションができる。

【００１６】さらに、自局と相手局に共通な操作ボタン
を配置し、どちらの局からもアクセス可能とし、位置情
報によりコンピューターを制御することで、コンピュー
ターを視覚的に操作しやすく、かつ相手に自分の行動が
理解され、より直感的で円滑な会話を行なうことができ
る。

【００１７】

【実施例】図１に本発明の第１の実施例を示す。１は映
像信号出力手段の一例であるビデオカメラ、２はパソコ
ン等のコンピューター、３はコンピューターの表示画面
であるスクリーン、４はコンピューターを操作するユー
ザー、５はユーザーの指先、６はコンピュータースクリ
ーン３に表示されたユーザーの映像、７はコンピュータ
ースクリーン表示画面３に表示されたコンピューターの
画像、８はビデオカメラからの映像信号を伝送するため
の信号線、９はコンピューターとビデオカメラが通信を
行なう信号線である。

【００１８】ビデオカメラ１はユーザ４を含む映像を撮
影し、その映像信号を信号線８を経由してコンピュータ
ー２に入力する。２図に第１の実施例のブロック図を示
す。２図において、１図に示された番号がふられている
ものは、１図と同じものを示す。１０はビデオキャプチ
ャーボード、１１はシリアルインターフェース、１２は
周辺機器インターフェース、１３はＣＰＵ（Central Pr
ocessing Unit）、１４はプログラムやデータを記憶す
るメモリであるＲＡＭ、１５はバス、１６はマウス、１
７はキーボードである。ユーザー４がコンピューター２
を操作するためのマウス１６とキーボード１７はコンピ
ューター内の周辺装置インターフェース１２に接続され
ている。ビデオキャプチャーボード１０、シリアルイン
ターフェース１１、周辺機器インターフェース１２、Ｒ
ＡＭ１４は、コンピューター内のバス１５により、ＣＰ
Ｕ１３と接続されており、ＣＰＵ１３により制御され
る。現状ではビデオカメラの出力はＮＴＳＣアナログビ
デオ信号であり、これをコンピューターに取り込むため
にはビデオキャプチャーボードと呼ばれる変換装置が必
要になる。最近では、標準でビデオキャプチャーボード
を内蔵しているコンピューターもあるが、その他のコン
ピューターは拡張スロットにビデオキャプチャーボード
を取付ける必要がある。ビデオキャプチャボード１０の
機能により、映像信号はディジタル化されてビデオキャ
プチャーボード１０内のスクリーンバッファーに格納さ
れる。このスクリーンバッファーは書き込み読みだしが
非同期に行なえるもので、スクリーンバッファー内のデ
ータを順次読み出して、コンピューターのスクリーン３
に映像を表示する。

【００１９】本発明では、映像信号から選びだした特定
の映像、つまり特定被写体の情報に応じて、映像信号出
力手段であるビデオカメラより取り込んだ映像と、コン
ピュータが生成する画像を表示装置上で重ねて表示す
る。まず、情報を検出する方法について述べる。ビデオ
カメラ１は特定被写体の位置あるいは大きさを検出する
機能を持っており、その位置データあるいは大きさのデ
ータを信号線９を経由してコンピューター２に伝送す
る。信号線９は、ビデオカメラ１とコンピューター２が
データを入出力するためのインターフェースである。コ
ンピューター２がビデオカメラ１の制御のために、信号
線９を利用して、コマンドを送信すると、ビデオカメラ
１はそのコマンドに応じた動作を行い、コマンドによっ
ては、位置あるいは大きさの情報をコンピューター２に
信号線９を通じて返信する。上記コマンドの１つは、上
記特定被写体の位置情報を取得するコマンドであり、上
記に述べたように、ビデオカメラ１から特定被写体の位
置あるいは大きさの情報をコンピューター２に送る。

【００２０】図２では、信号線９はパソコン内のシリア
ルインターフェース回路１１に接続されているが、これ
は一例であり、例えばプリンタポート等のその他のデー
タ入出力手段でもよい。

【００２１】つぎに、特定被写体の情報に応じて、ビデ
オカメラより取り込んだ映像と、コンピュータが生成す
る画像を表示装置上で重ねて表示する方法について述べ
る。図１では特定被写体はユーザの指先であり、ビデオ
カメラ１は上記に述べたように、特定被写体の位置デー
タをコンピューター２に入力する。コンピューター２は
この位置データに基づいて、スクリーン３の重ね合わせ
位置を計算、そのアドレスを算出して、そのアドレス位
置に重ね合わせるべき画像７のデータを、ビデオキャプ
チャーボード１０内のスクリーンバッファーに転送す
る。このビデオキャプチャーボード内のデータに基づい
て、カメラ１の映像とコンピューターの画像７をスクリ
ーン３に重ねて表示する。画像７は映像信号から特定の
物体のイメージであり、ビデオカメラ１から取り込む映
像以外のコンピューター２が生成する画像であれば何で
もよい。コンピューターの記録装置に記録された画像で
も、リアルタイムに生成する画像でも、第２のビデオキ
ャプチャーボードを取付けて、それより取り込んだ画像
でもよい。上記位置データは毎フレーム伝送されること
が望ましい。そのデータによりコンピューター２は毎フ
レーム画像７の表示位置を変更する。

【００２２】画像７の一例を挙げるなら、図１に示した
ものは「本」のイメージであり、本を片手にしてその内
容について語るなどのことが仮想的に実現できることを
示している。また、この画像は簡単に他の様々な画像で
置き換え可能であり、手軽に仮想的な画像を生成するこ
とができる。

【００２３】通常、ビデオカメラ１から取り込んだ映像
をスクリーン３に表示すれば、ユーザー４とスクリーン
３に表示されたユーザーの映像６は左右反対になる。そ
こで、１図に示すように、コンピュータースクリーン３
を鏡のようにして、操作の円活化を図るため、カメラ１
が取り込んだ映像を左右反転させることも必要である。
この処理はビデオカメラ１内の映像処理により行なうこ
とも可能であり、ビデオキャプチャーボード９内で処理
するようにすることも可能である。どちらの場合も、処
理過程の映像データの読み出しにおいて水平方向の操作
を左右逆転させて行なえばよい。通常市販されているビ
デオカメラにはこの機能は内蔵されていないが、テレビ
電話の目的で利用されるビデオキャプチャーボードには
この機能が内蔵されているものもある。

【００２４】上記に述べた動作について、以下詳しく述
べる。

【００２５】図３に上記目的を実現するビデオカメラ１
のブロック図の一例を示す。２０はＣＣＤ（Charge cou
pled device）センサー、２１はカメラ信号処理回路、
２２はビデオ信号出力端子、２３は画像抽出回路、２４
は入出力端子、２５は２１−２５間のインターフェース
信号である。特定被写体の映像がＣＣＤセンサー２０に
より検出され、シアン、マゼンタ、イエロー、グリーン
の四補色の強度に対応する電気信号に変換される。カメ
ラ信号処理回路２１はこの補色信号を信号処理して通常
のビデオ信号（ＮＴＳＣアナログビデオ信号など）を出
力端子２２より出力する。カメラ信号処理回路２１はデ
ィジタル回路で構成する。最近の半導体技術の進歩によ
り、小型で低価格のカメラ信号処理回路がディジタル回
路で構成できるようになった。カメラ信号処理回路２１
内ではディジタルの輝度信号データ（Ｙ）および色差デ
ータ（ｃ）を生成し、これらを画像抽出回路２３に送
る。画像抽出回路２３は上記ディジタルデータを処理し
て、与えられた特定被写体の特徴から、その特定被写体
に関する位置あるいは大きさの情報を計算し、入出力端
子２４より出力する。入出力端子２４は、図１における
特定被写体に関する情報を、入出力端子２４を通じてコ
ンピューター２より入力する。

【００２６】図４に画像抽出回路２３のブロック図の一
例を示す。３０は入力端子、３１は二値化回路、３２は
メモリー、３３はＣＰＵ、３４は入出力端子である。こ
の回路例は、特定被写体をその特定被写体の輝度及び色
差信号のレベルにより判別し、その領域を抽出するもの
である。入力端子３０より入力した輝度および色差信号
のディジタルデータを二値化回路３１により輝度及び色
差信号レベルの条件において二値化する。この出力デー
タは、特定被写体と同一の輝度及び色差信号レベルの領
域であり、特定被写体領域の候補領域となる。メモリー
３２は特定被写体領域を記憶するものであり、ＣＰＵ３
３はこのメモリーに記憶した１フレーム、あるいはフィ
ールド前の特定被写体領域と二値化回路３１の出力を比
較して、現フレームの特定被写体領域を計算する。この
比較の際には特定被写体の移動を考慮し、前フレームの
特定被写体領域は外側に所定量拡大、あるいは成長させ
たものを用いる。所定量拡大させる逐次成長法に関して
は、例えば、テレビジョン学会技術報告Vol.18,No8,pp1
3-18「画像抽出処理カメラ」に記載されている。初期領
域を所定の方法により決定することにより、以降、特定
被写体領域を抽出することができる。メモリー３２には
特定被写体の領域が二値データとして記憶されており、
ＣＰＵ３３はこのデータを用いて特定被写体の大きさま
たは、重心あるいは境界等の位置に関する情報を算出す
る。そして、特定被写体に関する情報を入出力端子３４
を介して、コンピューター２に出力する。

【００２７】図５に特定被写体の位置と大きさの算出法
を示す。特定被写体の位置、大きさを検出する方法の一
つは、特定被写体を囲む最小の矩形領域を求め、その位
置をその矩形領域の中心、大きさをその矩形領域の縦横
の長さとして求めることである。メモリー６２内には図
５に示すように、特定被写体領域３５を示す二次元２値
データが得られる。斜線領域が示す特定被写体領域３５
ではデータ値１、その他の領域ではデータ値０である。
ＣＰＵ３３は水平方向位置ｘ０において、特定被写体領
域３５の最大及び最小の垂直位置ｙ１，ｙ２を計算す
る。この計算をすべての水平位置において行なうことに
より、画面全体での最大値、最小値を求めることができ
る。最大最小の水平位置ｘ１，ｘ２についても、同様に
求めることができる。この４つの値が上記特定被写体を
囲む最小の矩形領域であり、求める特定被写体の位置は
（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２、大きさは
（ｘ２−ｘ１），（ｙ２−ｙ１）である。

【００２８】特定被写体の位置及び大きさの情報は、コ
ンピューター２とビデオカメラ１間の通信により、やり
取りされる。ビデオカメラ１内のＣＰＵ３３はインター
フェース８を通じて、コンピューター２から送られるコ
マンドに反応した動作を起こす。上記コマンドの１つに
特定被写体の大きさ、位置のデータを読みだす命令があ
り、パソコンは所望の時にこのコマンドをカメラ側に送
り、そのデータを取得する。本実施例にはリアルタイム
性が要求されるので、上記データの返信は望ましくは時
間的遅れが画面上で認識されないほど速く、すなわち１
フレーム内に行なえるようにするのがよい。図６に上記
情報フォーマットの一例を示す。（ａ）は前述の位置、
大きさを送るものであり、（ｂ）は前述の矩形領域の座
標をそのまま送るフォーマットである。具体的処理内容
に応じてフォーマットを選択する。位置、大きさのデー
タはカメラのＣＣＤセンサーの画素を単位とする。各デ
ータは、ＣＣＤの全画素位置を表現できるよう、十分な
ビット幅を割り当てる。

【００２９】図７にビデオキャプチャーボード１０のブ
ロック図の一例を示す。４０はビデオ信号入力端子、４
１は入力ビデオ信号、４２はビデオデコーダ、４３はＲ
ＧＢデジタルデータ、４４はスクリーンバッファー、４
５はＲＧＢデジタルデータ、４６はディスプレイドライ
バー、４７はアナログＲＧＢ信号、４８は出力端子、４
９はＣＰＵ−スクリーンバッファーインターフェース回
路、５０はスクリーンバッファーコントロール回路、５
１，５２，５３は各インタフェース信号である。通常入
力端子４０より入力する信号は、アナログビデオ信号で
ある。これには輝度信号（Ｙ）と色信号（ｃ）が混合さ
れたコンポジット信号と、ＹとＣが分離したＳビデオ信
号の２種類があるが、いずれの場合もコンピューターに
取り込む際には、ディジタルＲＧＢデータに変化する必
要がる。ビデオデコーダ４３はいずれの種類の入力に対
してもビデオ信号をデコードして、ＲＧＢ各何ビットか
のディタルデータに変換して出力する。

【００３０】図７に示した例は、コンピューターのグラ
フィクスシステムにおいてカラールックアップテーブル
を用いないフルカラーシステムである。すなわちフルカ
ラーシステムにおいては、スクリーンバッファ４４に書
き込んだデータを、カラーテーブルで変換せず、直接読
みだしてスクリーン３に表示する。スクリーンバッファ
ー４４にはランダムにアクセス可能な入出力ポートと、
シーケンシャルに読みだし可能なシリアル出力ポートを
もつデュアルポートメモリーを用いる。ビデオデコーダ
４２の出力データはスクリーンバッファーコントローラ
５０の制御によりアドレスが発生されて、スクリーンバ
ッファー４４に書きこまれる。スクリーンバッファー４
４に記憶された映像のデータは、シリアル出力ポートよ
りディスプレイドライバー４６に読みだされて、出力端
子４８より出力される。以上の過程により入力ビデオ信
号４１はスクリーン上に表示される。スクリーンバッフ
ァコントローラ５０の書き込みアドレス発生の内容によ
りスクリーン３上の表示部分が決定される。

【００３１】ノンフルカラーシステムにおいても、スク
リーンバッファーに書き込む際に、カラールックアップ
テーブルを参照し、画像データそのものではなく、その
テーブル内の所望の画像データに最も近い色を指定する
色番号を書き込むようにすれば同様に処理することが可
能である。

【００３２】パソコンの場合、ビデオ入力の表示はスク
リーンの一部分にウインドウと呼ばれる矩形領域を設け
て、その部分表示し、その他の部分は同時に起動されて
いる他のプログラムが使用する場合が多い。このビデオ
表示部分以外の領域すなわちコンピューターによる描画
領域は、ＣＰＵインターフェース４９を介して、ＣＰＵ
がスクリーンバッファ４４に書込みを行なうことにより
実行される。

【００３３】画像７のデータをスクリーン３上に表示す
る際には、画像７のデータをビデオカメラ１からの映像
信号の上に重ねて表示する必要がある。これを行なうた
めには、画像７のデータのスクリーンバッファーへの書
込みのタイミングを、カメラからの映像信号の書込みと
スクリーンバッファーからのデータ読み出しのタイミン
グの間にするなどの処理を行えばよい。

【００３４】図８にスクリーンバッファー４４に画像７
のデータが書き込まれる過程を示す。（ａ）はスクリー
ンバッファー４４のメモリ内容を二次元的に表示したも
のである。スクリーンバッファー４４はスクリーン全領
域６０以上のメモリ容量をもち、ビデオ表示にはその一
部の矩形領域である領域Ａ６１（ビデオ表示領域）を使
用する。その他の領域Ｃ６３は通常のコンピューター画
面が表示される。この表示は画面表示に変化が生じた際
にＣＰＵ１３によってデータが領域Ｃ６３に転送される
ことによって行なわれる。領域Ａ６１の内部には、重ね
合わせて表示する画像７のデータの領域Ｂ’６２（スー
パーインポーズ領域）が含まれる。画像７のデータは、
ＣＰＵ１３がアクセス可能なＲＡＭ１４内のメモリ領域
である領域Ｂ６４に記憶されており、これをＣＰＵ１３
がスクリーンバッファー４４の適切な位置にフレーム毎
にデータ転送する。この位置は（ｂ）に示すように、上
記に述べたビデオカメラ１から送られる位置情報から求
めることができる。関数ｆはビデオカメラ内のデータ空
間６５での二次元座標からスクリーンバッファー内のデ
ータ空間６６の二次元座標への変換の関数であり、ｇは
この二次元座標をＣＰＵ１３のアクセス可能なアドレス
に変換する関数である。関数ｇにより、スクリーンバッ
ファー内の転送アドレスＺを決定する。図８（ａ）に示
すように、ＣＰＵ１３はアドレスＺに対して、ＲＡＭ１
４内のデータを転送する。関数ｆは変更可能な領域Ａの
状態により変化するが、コンピューター２はこの変化を
常に知ることができる。この２つの関数よりコンピュー
ター２はデータ転送位置を算出できる。

【００３５】特定被写体は通常ある有限な大きさを持っ
ているのが普通であり、その位置を指定するには代表点
を決める必要がある。一例として、その特定被写体を囲
む最小の矩形領域の中心とするものがあげられる。同様
に、画像７の位置もそれを囲む矩形領域の中心とするこ
とができる。画像７と特定被写体７０との、より詳細な
位置合わせのために上記２つの位置の間にオフセットを
設けるようにするとよい。図９はスクリーンバッファー
内の上記関係を説明するものである。画像７のデータ７
２の各画素のアドレス７３は特定被写体位置７１（Ｘ
ｓ，Ｙｓ）よりオフセット（Ｘoff,Yoff)を加算して求
めることができ、これより図８（ｂ）の関数ｇを用い
て、転送アドレスＺを算出することが出きる。ＣＰＵ１
３はこのアドレスに対して、ＲＡＭ１４内の画像７のデ
ータ７２を転送すればよい。以上述べたように、ビデオ
カメラが取り込んだ映像６とコンピューター２が生成す
る画像７は、スクリーンバッファー４４に書き込まれ、
シリアル出力ポートよりディスプレイドライバー４６に
読みだされて、出力端子４８より出力されて、スクリー
ン上に表示される。

【００３６】本実施例によれば、ビデオカメラを用いて
動画像をパソコン等に入力し、パソコン画面上にその映
像（実画像）を表示する際、コンピューターが表示可能
な画像（コンピューター画像）を重ね合わせて表示し
て、かつ実画像内の特定被写体と同期して、リアルタイ
ムにコンピューター画像を動かすことができる。

【００３７】本実施例では、映像信号出力手段として、
ビデオカメラを用いたが、映像を取り込む手段として、
予め記録された映像を出力するＶＴＲを用いた場合にも
同等の効果が得られる。

【００３８】さらに、より現実感のある表示画像を作り
出す第２の実施例について述べる。第２の実施例では、
コンピューターの画像７の位置だけでなく大きさも、実
画像の特定被写体の大きさに応じて変化させる。例え
ば、図１で画像７が人の手の上に乗って動くように見せ
る表示画像では、人の手がカメラから離れて小さくなる
につれて、画像７の表示サイズを小さくすれば、より現
実感のある画像が得られる。このため、コンピューター
２から位置及び大きさの情報を得るためのコマンドをビ
デオカメラ２に送って、上記情報を取得して、スクリー
ンバッファー４４内に、画像７のデータを転送する際
に、第１の実施例で述べた特定被写体の大きさに応じた
拡大あるいは縮小処理を行なえばよい。この拡大あるい
は縮小処理は、通常にコンピューター１内で行なわれる
画像処理を用いる。この大きさの同期を取るには２つの
方法がある。一つは現実世界での実際の大きさを用いる
方法である。この方法は、特定被写体、画像７の大きさ
に関するデータベースを内蔵し、それぞれの特定被写
体、あるいは画像７を識別する方法である。第二の方法
は画像を合成した初期状態のサイズ比を一定に保持する
方法である。これは特に大きさに関するデータベースと
それを利用するための識別は必要ない。実際のシステム
では２つの方法を使い分けるようにするとよい。

【００３９】第三の実施例を図１０に示す。８０ａおよ
び８０ｂはコンピューターのディスプレイ、８１ａ及び
８１ｂはコンピューター本体、８２ａ及び８２ｂはビデ
オカメラ、８３ａおよび８３ｂはビデオカメラ８２ａあ
るいは８２ｂとコンピューター本体８１ａあるいは８１
ｂの間で、映像信号を伝送するための信号線、８４ａお
よび８３ｂはビデオカメラ８２ａあるいは８２ｂとコン
ピューター本体８１ａあるいは８１ｂが通信を行う信号
線、８５は二局間をつなぐ通信回線である。本構成によ
りコンピューターを用いたテレビ会議システムを実現す
る。ビデオカメラ８０ａは第一の実施例のカメラ１と同
様に、映像信号だけでなく、特定被写体に関する位置、
大きさの情報を出力し、コンピューター８１ａに入力す
る。コンピューター８１ａからは特定被写体の条件デー
タを、８４ａを介してカメラ８２ａに入力しておき、上
記特定被写体に関する情報をカメラ８２ａより取得す
る。カメラ８２ａから入力する映像信号は、コンピュー
ター本体８１ａに内蔵あるいは取り付けたビデオキャプ
チャーボードにより、コンピューターのデータに変換
し、画面上に表示すると共に符号化して、音声その他の
データと共に通信回線８５を経由して相手局に伝送す
る。相手局からの符号化データはデータの種別つまり、
音声、映像、データの種別により分離し、それぞれ復号
化し、音声、映像、その他のデータを再生する。以上の
説明では、映像に関しては自局と相手局の二つの映像が
コンピューター内部に存在するが、それらは切り換えあ
るいは合成により、コンピューター画面上に表示できる
ようにする。自局の画像は確認のために必要である。

【００４０】図１１に自局、あるいは相手局のブロック
図を示す。ネットワークインターフェースと通信路以外
は第１の実施例の図２と同じ構成である。映像、音声、
検出された情報のデータが、通信路８５を介して接続さ
れた同様の通信装置の間で送受信される。

【００４１】本実施例の特徴は上記ビデオカメラが出力
した第１の映像の他に、コンピューター自体が生成する
第２の画像データも一緒に通信回線を介して伝送するこ
とにある。これによりコンピュータースクリーン上には
ビデオカメラが撮影した自局あるいは相手局の映像のほ
かに、自局あるいは相手局のコンピューターが生成した
画像が表示される。図１２を用いて本実施例のコンピュ
ーター上での具体的動作を説明する。１００はコンピュ
ーターのスクリーン、１０１ａ，１０１ｂ，１０１ｃは
上記第２の画像、１０２は自局あるいは相手局のカメラ
が撮影した画像、１０３は自局の特定被写体の位置を示
すポインターである。第２の画像の目的は（１）自局あ
るいは相手局あるいはその両方にコンピューターの動作
をコントロールするための操作ボタンを提供すること
と、（２）自局および相手局の両方に共通のコンピュー
タ画像を表示することである。

【００４２】上記（１）に関しては自局のみで操作可能
なボタンをスクリーン上に表示することは、従来より行
なわれてきたことであるが、両方の局に同じ操作ボタン
を表示することはなかった。このような操作ボタンを提
供することは、視覚的なために操作しやすく、かつ相手
に自分の行動が理解され、より円滑なコミュニケーショ
ンを可能とするものである。これは相手局のスクリーン
の所定位置に第２の画像を表示することと、相手局のビ
デオカメラが相手局の特定被写体、たとえば指先等の位
置を検出し、検出された情報のデータを伝送することに
より実現される。このデータを受け取ったコンピュータ
ーはその位置が上記第２の画像の上であるか否かを判断
し、所定の動作をするようプログラムされる。ボタンに
アクセスする場合には、コンピューター等のマウスの場
合でわかるようにボタンを押す等の所定の動作が必要で
ある。この所定の動作としては、ボタン上を一定時間差
し続ける、コンピューターキーボードの所定のキーを押
す等のことが考えられるが、その方法をユーザが選択で
きるようにする。コンピューターは特定被写体の位置情
報とボタンの領域を比較して、反応すべきボタンのアク
セスを判断し、反応すべきボタンの動作を行う。（１）
のボタンの一例はテレビ会議の途中で補足的な図面等の
資料をスクリーン表示するボタンである。このボタンは
どちらかの局のコンピューターのデータである上記資料
に関連づけられているが、どちらの局からもアクセス可
能となる。

【００４３】上記第２の画像の目的の（２）に関して
は、テレビ会議の中で話題に関係する画像を自局および
相手局に共通に表示することが一例としてあげられる。
表示した画像は、第１の実施例でも述べたように特定被
写体の位置検出により、指先等の特定被写体で表示位置
を移動でき、より直感的なコミュニケーションが可能で
ある。

【００４４】図１２ではいくつかの上記操作ボタンを示
した。１０１ａおよびｂは上記（１）の目的、１０１ｃ
は（２）の目的のものである。より多くのボタンを効率
的に提供するために、ボタンには優先順位を付ける。２
つのボタンの領域が重なる場合には優先順位の高いボタ
ンの機能を実行する。換言すると、ボタンには見かけ
上、上下関係がありユーザーから見て上になっているボ
タンの機能が優先されることになる。このためのデータ
構造は図１３のような線形のリンク構造により実現でき
る。各ボタンの領域に関するデータはその末尾にそのボ
タンの次の優先順位のボタンの領域に関するデータへの
アドレスを持っている。コンピューターはこのデータ構
造を順次スキャンして、特定被写体の位置情報とボタン
の領域を比較して反応すべきボタンのアクセスを判断
し、反応すべきボタンの動作を行う。

【００４５】本実施例では、システムの構成として、自
画像を表示しないのであれば、第１の実施例で述べた様
な映像の左右反転は必要ない。位置データに関してのみ
左右反転を行なえばよい。

【００４６】現状ＩＳＤＮでは２つの情報チャンネル
（Ｂチャンネル、６４ｋｂｐｓ）と１つの信号チャンネ
ル（Ｄチャンネル、１６ｋｂｐｓ）より構成されるが、
上記ボタン類である第２の画像データは静的情報であ
り、比較的低速の通信でも可能であるので、上記Ｄチャ
ンネルを利用して送る。

【００４７】本実施例によれば、自局および相手局のス
クリーン上に共通の操作ボタンを配置し、それを指先等
の特定被写体の移動によって、どちらの局からもアクセ
ス可能として、より直感的で円滑なコミュニケーション
が可能なテレビ会議システムを実現できる。

【００４８】

【発明の効果】本発明によれば、コンピューターを用い
て容易に、実際に撮影した映像あるいは取り込んだ映像
とコンピュータの画像を合成することが可能である。こ
れにより仮想現実的映像を生成することができる。ある
いは、コンピュータの画像を有効に利用し、ユーザがそ
れを示しながら説明する形の映像を生成することで、よ
り説得力の有るプレゼンテーション用の画像を作成する
こともできる。さらに、テレビ電話装置において伝送す
る映像に本発明の装置が生成する画像により両者が共通
に操作できる操作ボタンをスクリーン上に配置して直感
的で円滑な会話を行なうことができる。

【図面の簡単な説明】

【図１】本発明の第一の実施例の構成図。

【図２】本発明の第一の実施例のブロック図。

【図３】本発明で用いるカメラの信号処理のブロック
図。

【図４】図３の画像抽出回路４３のブロック図。

【図５】特定被写体の位置を算出する説明図。

【図６】位置情報フォーマットの１例を示す図。

【図７】ビデオキャプチャーボードのブロック図。

【図８】画像データのデータ転送を説明する図。

【図９】スクリーンバッファー内の上下関係の説明図。

【図１０】第三の実施例のテレビ会議システムの構成
図。

【図１１】第三の実施例のテレビ会議システムのブロッ
ク。

【図１２】第三の実施例のコンピューターの画面表示の
説明図。

【図１３】第三の実施例の操作ボタンの領域情報のデー
タ構造の説明図。

【符号の説明】

１…ビデオカメラ、 ２…コンピュータ、 ３…コンピューターの表示画面であるスクリーン、 ４…コンピュータを操作するユーザー、 ５…ユーザーの指先、 ６…コンピュータスクリーンに写ったユーザーの映像、 ７…コンピュータスクリーンに表示されたコンピュータ
の画像データ、 ８…ビデオカメラからの画像信号を伝送するための信号
線、 ９…コンピュータとビデオカメラが通信を行なう信号
線。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井浦 則行 茨城県ひたちなか市稲田1410番地株式会社 日立製作所マルチメディアシステム事業部 内 (72)発明者 島上 和人 茨城県ひたちなか市稲田1410番地株式会社 日立製作所パーソナルメディア機器事業部 内

Claims (9)

【特許請求の範囲】
1. 【請求項１】映像信号を出力する映像信号出力手段と、
   表示装置と、該映像信号出力手段より出力される映像信
   号を取り込んで映像を該表示装置の画面の一部あるいは
   全部に表示するコンピュータからなるシステムであっ
   て、 該映像信号から特定の被写体の大きさあるいは位置ある
   いはその両方の情報を検出する検出手段と、 該検出手段と該コンピュータとの間に該映像信号及び検
   出された該情報のデータを送信するデータ入出力手段を
   備え、 該コンピューターは、該データ入出力手段から該検出さ
   れた情報を入力し、該検出された情報に応じて、上記映
   像信号出力手段より取り込んだ該映像信号による映像
   と、当該コンピュータが生成する画像あるいは上記映像
   信号出力手段とは別の映像信号源から取り込んだ映像信
   号による映像を上記表示装置上で重ねて表示することを
   特徴とする画像合成システム。
2. 【請求項２】請求項１に記載の画像合成システムにおい
   て、 上記映像信号出力手段は、物体を撮影して映像信号を生
   成し出力するビデオカメラであることを特徴とする画像
   合成システム。
3. 【請求項３】請求項１または２に記載の画像合成システ
   ムにおいて、 上記データ入出力手段により出力される位置情報によ
   り、上記コンピュータの内部で生成する画像の表示位置
   を決定することを特徴とする画像合成システム。
4. 【請求項４】請求項３に記載の画像合成システムにおい
   て、 上記データ入出力手段により出力される位置情報によ
   り、上記コンピュータの内部で生成する画像の表示位置
   を変化させることを特徴とする画像合成システム。
5. 【請求項５】請求項１，２，３または４に記載の画像合
   成システムにおいて、 上記映像信号出力手段より取り込んだ該映像信号による
   映像を、左右反転させて表示することを特徴とする画像
   合成システム。
6. 【請求項６】ビデオカメラとコンピューターを用いるテ
   レビ会議システムの伝送方法であって、 該ビデオカメラは物体を撮影して映像信号を生成する他
   に、該映像信号から特定の被写体の大きさあるいは位置
   あるいはその両方の情報を検出し、該検出した情報を、
   該ビデオカメラが取り込んだ映像や音声の情報と共に伝
   送することを特徴とする伝送方法。
7. 【請求項７】ビデオカメラとコンピューターを用いるテ
   レビ会議システムにおいて、 該ビデオカメラは物体を撮影して映像信号を生成する手
   段の他に、該映像信号から特定の被写体の大きさあるい
   は位置あるいはその両方の情報を検出する検出手段を備
   え、 該ビデオカメラと該コンピューターの間に該検出した情
   報を自局あるいは該コンピューターを通して相手局ある
   いはその両方に伝送するデータ入出力手段を備え、 該コンピューターは、音声データと上記ビデオカメラが
   物体を撮影して取り込んだ第１の映像データの他に、上
   記コンピュータが生成する第２の画像データを伝送する
   伝送手段を備え、上記検出した情報の伝送により受信し
   た情報に応じて、該第１の映像と該第２の映像を上記コ
   ンピューターの表示画面上に重ねて表示することを特徴
   とするテレビ会議システム。
8. 【請求項８】請求項７に記載のテレビ会議システムにお
   いて、上記コンピュータは上記データ入出力手段により
   受信した上記情報と上記第２の映像の関係より、上記コ
   ンピューター自身の動作を制御することを特徴とするテ
   レビ会議システム。
9. 【請求項９】請求項８に記載のテレビ会議システムにお
   いて、 第二の映像データは本システムの動作を制御するスイッ
   チを示す画像であり、上記特定の被写体が上記表示画面
   上の該画像の部分で所定の動作を行なうことにより該ス
   イッチが反応することを特徴とするテレビ会議システ
   ム。