JPH06165173A

JPH06165173A - 仮想社交界実現システム

Info

Publication number: JPH06165173A
Application number: JP4307371A
Authority: JP
Inventors: Yasushi Hibino; 靖日比野; Hajime Suzuki; 鈴木　　元
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1992-11-17
Filing date: 1992-11-17
Publication date: 1994-06-10
Anticipated expiration: 2018-08-18
Also published as: JP3438737B2

Abstract

(57)【要約】【目的】遠隔地にいる多数の端末利用者が、あたかも
同じ場所で出会い、会話し、自然な形で交流する仮想社
交界を実現する。【構成】各端末装置１、２、３は撮映装置、受像装
置、送受話器、制御情報入力装置を具備する。サービス
センタ装置４は、映像合成装置、音声混合装置４４、映
像分配装置、音声分配装置、背景映像源、背景音源及び
制御装置を具備する。各端末装置は利用者の映像、音
声、制御情報を通信網５に送出する。サービスセンタ装
置４は、各利用者の映像、音声を背景映像、背景音と合
成し、仮想社交界を創り出す。そして、この合成した仮
想社交界の映像と音声を通信網５を介して各利用者の端
末装置１、２、３へ送る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、通信網を通じ、画像通
信技術と音声通信技術によって、複数の人間に仮想の交
流の場を提供する仮想社交界実現システムに関するもの
である。

【０００２】

【従来の技術】従来の類似のシステムとしては、音声に
よる電話会議が実現されている。また、画像通信技術を
用い、いわゆるテレビ会議では、複数の地点間で画像を
送りあい、受像器の画像を分割し、そこに複数の画面を
同時に表示する方式や、対地対応の複数の受像器に表示
する方式が採られている。

【０００３】

【発明が解決しようとする課題】上記従来技術において
は、互いに交流したい相手と同一の場所での交流ができ
ないし、また、多地点間での交信では、地点数が限られ
るという問題がある。

【０００４】本発明の目的は、交流する複数の人間が、
あたかも一つの場所に集まったかのようにして、会話、
身ぶりを通じた交流ができ、また、交流する人間の数の
制限をなくすことをねらいとした仮想社交界実現システ
ムを提供することにある。

【０００５】

【課題を解決するための手段】本発明の仮想社交界実現
システムは、複数の端末装置と、それらと通信回線を通
して接続されたサービスセンタ装置とからなり、各端末
装置は、当該端末利用者の人物像を撮像する撮像装置
と、該利用者の音声を入力する送話器と、該利用者によ
る制御情報を入力する入力装置と、前記利用者の人物映
像信号、音声信号及び制御情報をセンタ装置へ送信する
送信装置と、前記センタ装置が送信する合成映像信号と
混合音声信号を受信する受信装置と、前記受信した合成
映像信号を出力する受像装置と、混合音声信号を出力す
る送話器とを有し、サービスセンタ装置は、複数の背景
映像信号を蓄積する背景映像源と、複数の背景音信号を
蓄積する背景音源と、前記各端末装置が送信する人物映
像信号、音声信号及び制御情報を受信する受信装置と、
前記各端末装置からの人物映像信号と前記背景映像信号
源から選択した背景映像信号を合成する映像合成装置
と、前記各端末装置からの音声信号と前記背景音源から
選択した背景音信号を混合する音声混合装置と、前記合
成映像信号と混合音声信号を各端末装置へ分配する分配
装置と、前記各端末装置からの制御情報を解析し、前記
背景映像源及び背景音源からの背景映像信号や背景音信
号の選択制御、前記映像合成装置及び音声混合装置の映
像合成や音声混合の制御を行う制御装置とを有すること
を特徴とする。

【０００６】

【作用】各端末装置の前にいる利用者の映像と音声は、
撮像装置と送話器により、それぞれ、映像信号と音声信
号に変換され、通信網に送出される。この各利用者の映
像および音声信号は、サービスセンタ装置に送られて、
そこで背景映像および背景音と合成され、仮想的な世界
「仮想社交界」を創りだす。この合成された「仮想社交
界」の映像と音声は、通信網を通じて、各利用者の端末
装置に送られ、受像装置および受話器で再生される。

【０００７】

【実施例】以下、本発明の一実施例について図面により
説明する。

【０００８】図１は本発明の仮想社交界実現システムの
全体の概念図で、端末装置１、２、３が通信網５を介し
てサービスセンタ装置４と接続されて仮想社交界のサー
ビスを受けることを示している。本実施例では、３台の
端末の例を示しているが、本発明は端末の数を限定する
ものではない。

【０００９】図２は各端末装置１、２、３の構成例であ
り、テレビカメラなどの撮像装置１１、マイクロホンな
どの送話器１２、ディスプレィなどの受像装置１３、ス
ピーカなどの受話器１４、キーボードやマウスなどの制
御情報入力装置１５、符号／復号化部１６１を含む送受
信装置１６よりなる。

【００１０】ここで、制御情報入力装置１５は、つぎの
ような制御情報の入力に用いる。（１）「仮想社交界」の選択に用いる。これにより、利
用者はサービスセンタ装置に用意された複数の「仮想社
交界」の中から好みの「社交界」を選択できる。（２）利用者像を、「仮想社交界」すなわち背景映像お
よび背景音の作り出す空間の、どの位置に置くかを選択
するために用いる。これによって、利用者は「仮想社交
界」の中を動き回ることができる。（３）利用者像を当該利用者へ送り返すとき、そのまま
の映像とするか、シルエット映像とするかを選択するの
に用いる。（４）特定の相手の映像を拡大（アップの映像）し、相
手の音声だけを選択的に大きくし、他の音声を小さくす
るための指示に用いる。これによって、特定の相手との
会話が可能となる。

【００１１】図３はサービスセンタ装置４の構成例であ
り、複数チャネル（本実施例では３チャネル）用符号／
復号化部４１１、４１２、４１３を含む送受信装置４
１、複数の映像信号を合成する映像合成装置４２、合成
映像信号を複数チャネルに分配する映像分配装置４３、
複数の音声信号を混合する音声混合装置４４、混合音声
信号を複数チャネルに分配する音声分配装置４５、複数
の背景映像信号を蓄積する背景映像源４６、複数の背景
音声信号を蓄積する背景音源４７、各背景ごとに各人の
位置情報を格納する位置情報記憶装置４８、及び、端末
装置側からの制御情報を解析して各装置を制御する制御
装置４９からなる。なお、４２０は映像信号バス、４４
０は音声信号バス、４９０は制御信号バスである。

【００１２】まず、本システムの基本動作について説明
する。いま、利用者Ａ、Ｂ、Ｃが、それぞれ端末装置
１、２、３を使用しているとする。また、各利用者は、
単色無地の壁を背景として撮像するものとする。背景の
壁の色としては「青」が望ましい。これは、後述のクロ
マキー処理による映像合成をやりやすくするためであ
る。

【００１３】各端末装置１、２、３は、各利用者Ａ、
Ｂ、Ｃの映像と音声（これをまとめた利用者像という）
を、それぞれ撮像装置１１と送話器１２により映像信号
と音声信号に変換し、また、利用者が指定する「仮想社
交界」選択情報を制御情報入力装置１５より制御情報と
して入力し、これらの映像信号、音声信号、制御情報を
送受信装置１６より通信網５を通してサービスセンタ装
置４へ送信する。送受信装置１６には符号／復号化部１
６１が含まれており、映像信号、音声信号、制御情報
を、効率よく伝送するために圧縮する。

【００１４】サービスセンタ装置４では、各端末装置
１、２、３が送信する映像信号、音声信号、制御情報を
送受信装置４１で受信し、それぞれの符号／復号化部４
１１、４１２、４１３により復号して映像信号、音声信
号、制御情報に分離し、それぞれ映像信号バス４２０、
音声信号バス４４０、制御信号バス４６０を通して映像
合成装置４２、音声混合装置４４、制御装置４９に送
る。制御装置４９は制御情報を解析して、利用者の指定
した「仮想社交界」に対応する背景映像信号と背景音信
号を、それぞれ背景映像源４６と背景音源４７から選択
して映像合成装置４２と音声混合装置４４へ送る。さら
に、制御装置４９は、位置情報メモリ４８を参照して、
当該仮想社交界に対応する各利用者Ａ、Ｂ、Ｃの位置情
報を映像合成装置４２へ送る。なお、位置情報メモリ４
８へは、あらかじめ利用者から指定された値あるいは任
意の値を格納しておく。映像合成装置４２は、各利用者
の位置情報に従って、各利用者の映像信号と背景映像信
号を合成して映像分配装置４３へ送る。音声混合装置４
４は各利用者の音声信号と背景音信号を混合して音声分
配装置４５へ送る。映像分配装置４３と音声分配装置４
５は、それぞれ合成された画像信号、混合された音声信
号を符号／復号化部４１１、４１２、４１３に分配す
る。符号／復号化部４１１、４１２、４１３は、それぞ
れ合成画像信号と混合音声信号を符号化し、端末装置
１、２、３へ送信する。

【００１５】各端末装置１、２、３では、合成画像信号
と混合音声信号を送受信装置１６で受信し、その符号／
復号化部１６１により復号して合成映像信号と混合音声
信号を分離する。受像装置１３は、合成画像を映し出
し、受話器１４は混合音声を出力する。この結果、各端
末１、２、３の前にいる利用者Ａ、Ｂ、Ｃは、あたかも
同じ場所で出会ったごとく、会話し、交流することがで
きる。

【００１６】次に、映像合成の各種の実現法について説
明する。いま、各利用者Ａ、ＢＣは、背景映像に向かっ
て左からＡ、Ｂ、Ｃの順に並ぶように位置の選択をして
いるとする。この場合、制御装置４９からの指示に従
い、映像合成装置４２は、図４の（１）に示すように、
各利用者の映像信号と背景映像をクロマキー処理によっ
て合成する。この状態で、各利用者Ａ、Ｂ、Ｃが制御情
報入力装置１５により、自分の映像の表示方法としてシ
ルエット映像を選択すると、この制御情報が制御装置４
９に伝えられ、映像合成装置４２への指令となる。映像
合成装置４２は、各利用者の映像と背景映像を合成する
際、該当利用者の映像をシルエット映像へ変換する。シ
ルエット映像への変換処理には、クロマキーで抜いた部
分を黒レベルにする等の方法と、別途用意したシルエッ
ト映像源かの固定パターンによる方法が考えられる。図
４の（２）、（３）、（４）に、固定パターンによる場
合の各端末１、２、３に対応する合成映像を示す。

【００１７】また、ある利用者が制御情報入力装置１５
により、背景映像中の自分の位置を移動させることを指
示した場合（例えば、マウス等で移動方向、距離等を指
示する）、これが制御装置４９に伝えられ、制御装置４
９は、位置情報メモリ４８中の該当利用者の位置情報を
更新し、映像合成装置４２への位置指令とする。映像合
成装置４２は、この位置指令に従い、該当利用者の映像
信号を指定された位置へ移動し、クロマキー処理により
他の利用者の映像信号と合成する。また、この時、制御
装置４２が位置情報メモリ４８を参照して、移動の指示
された利用者と他の利用者の相対位置関係を計算し、接
近する利用者の映像・視野の拡大を映像合成装置４２に
指令すれば、ある利用者の映像の移動に追従して、特定
の相手の映像・視野を拡大（アップ映像）して合成する
こともできる。

【００１８】次に、音声混合の各種の実現法について説
明する。いま、図４に示すように、利用者Ａ、Ｂ、Ｃが
左からＡ、Ｂ、Ｃの順に並んでいる場合、音声混合装置
４４は、この配置のように各利用者の声音レベルを調整
する。この場合、音声チャンネルがモノラルの場合は、
大小関係のみの調整でよいが、ステレオの場合は左右に
振り分ける音声を調節する。また、ある利用者自身の音
声は、その利用者には返さないようにする。さらに、特
定の相手の映像・視野を拡大した場合、該相手の音声信
号だけを選択的に大きくし、他の音声信号を小さくす
る。これらの制御は、制御装置４９からの指令で、映像
合成と同期して行う。

【００１９】

【発明の効果】本発明の仮想社交界実現システムによれ
ば、遠隔地にいる多数の利用者が、あたかも同じ場所で
出会ったごとく、会話し自然な形で交流することができ
る。このように、本発明システムは、人と人との交流の
ための新たなシステム形態を与えるものである。

【図面の簡単な説明】

【図１】本発明の仮想社交界実現システムの全体の構成
図である。

【図２】図１の各端末装置の構成例を示す図である。

【図３】図１のサービスセンタ装置の構成例を示す図で
ある。

【図４】各端末装置に表示される合成映像の一例を示す
図である。

【符号の説明】

１〜３端末装置４サービスセンタ装置５通信網１１撮映装置１２送話器１３受像装置１４受話器１５制御情報入力装置１６送受信装置４１送受信装置４２映像合成装置４３映像分配装置４４音声混合装置４５音声分配装置４６背景映像源４７背景音源４８位置情報メモリ４９制御装置

Claims

【特許請求の範囲】

【請求項１】複数の端末装置と、それらと通信回線を
通して接続されたサービスセンタ装置とからなり、各端末装置は、当該端末利用者の人物像を撮像する撮像
装置と、該利用者の音声を入力する送話器と、該利用者
による制御情報を入力する入力装置と、前記利用者の人
物映像信号、音声信号及び制御情報をセンタ装置へ送信
する送信装置と、前記センタ装置が送信する合成映像信
号と混合音声信号を受信する受信装置と、前記受信した
合成映像信号を出力する受像装置と、混合音声信号を出
力する送話器とを有し、サービスセンタ装置は、複数の背景映像信号を蓄積する
背景映像源と、複数の背景音信号を蓄積する背景音源
と、前記各端末装置が送信する人物映像信号、音声信号
及び制御情報を受信する受信装置と、前記各端末装置か
らの人物映像信号と前記背景映像源から選択した背景映
像信号を合成する映像合成装置と、前記各端末装置から
の音声信号と前記背景音源から選択した背景音信号を混
合する音声混合装置と、前記合成映像信号と混合音声信
号を各端末装置へ分配する分配装置と、前記各端末装置
からの制御情報を解析し、前記背景映像源及び背景音源
からの背景映像信号や背景音信号の選択制御、前記映像
合成装置及び音声混合装置の映像合成や音声混合の制御
を行う制御装置とを有する、ことを特徴とする仮想社交界実現システム。
【請求項２】前記制御装置は、ある端末装置から制御
情報としてシルエット映像指示を受け取ると、当該端末
装置に対する合成映像信号として、当該端末装置が送信
する物人映像信号に替えてその人物シルエット映像信号
を送信するように前記映像合成装置に指令することを特
徴とする請求項１記載の仮想社交界実現システム。
【請求項３】前記制御装置は、ある端末装置から制御
情報として当該人物像の移動指示を受け取ると、背景映
像中での当該端末装置の人物映像の位置を移動せしめる
ように前記映像合成装置に指令することを特徴とする請
求項１あるいは２記載の仮想社交界実現システム。
【請求項４】前記制御装置は、当該端末装置の人物像
の位置に応じ、当該端末装置以外の音声信号の音量を調
整せしめることを前記音声混合装置に指令することを特
徴とする請求項３記載の仮想社交界実現システム。
【請求項５】前記制御装置は、背景映像中での人物映
像の移動にともない、特定の端末装置の人物映像を拡大
し、音声レベルを高くし、その他の端末装置からの人物
映像を縮小し、音声レベルを低くせしめることを、前記
映像合成装置と音声混合装置に指令することを特徴とす
る請求項３記載の仮想社交界実現システム。【請求項５】前記制御装置は、ある端末装置からの制
御情報にしたがい、当該端末装置からの視野を指定選択
し、該視野内の映像を拡大し、音声レベルを高くし、視
野外の映像を縮小し、音声レベルを低くせしめること
を、前記映像合成装置と音声混合装置に指令することを
特徴とする請求項１または２記載の仮想社交界実現シス
テム。