JPH06113336A

JPH06113336A - 三次元多地点テレビ会議システム

Info

Publication number: JPH06113336A
Application number: JP4261249A
Authority: JP
Inventors: Setsu Fukuda; 節福田; Yuichi Terui; 雄一照井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-09-30
Filing date: 1992-09-30
Publication date: 1994-04-22

Abstract

(57)【要約】【目的】各会議地点の三次元映像を表示してテレビ会
議を行う三次元多地点テレビ会議システムに関し、実在
感並びに臨場感のあるテレビ会議を行わせる。【構成】三次元映像の表示機能と撮像機能とを含む端
末装置１と、高能率符号化復号化を行う符号化復号化装
置２と、伝送路インタフェース部３とをそれぞれ備えた
複数の会議地点ａ，ｂ，ｃと、会議地点ａ，ｂ，ｃ間の
接続を行う多地点会議制御装置４とからなる多地点テレ
ビ会議システムに於いて、三次元映像表示の為の処理を
行う三次元映像処理部５を設け、端末装置１の映像表示
スクリーンを複数に分割した分割スクリーン上に、三次
元映像処理部５により処理した各会議地点の三次元映像
を表示させ、発言者を含む三次元映像は受信者に対して
近い位置となるように表示させる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、遠隔地間で各地点の三
次元映像を相互に表示してテレビ会議を行う三次元多地
点テレビ会議システムに関する。テレビ会議システム
は、会議地点のテレビカメラによる映像信号を高能率符
号化して伝送し、受信側では復号化してモニタテレビに
送信側の映像を表示させ、音声も同時に伝送されること
から、遠隔地の会議室間で複数の人が参加して会議を行
うことができる。このようなテレビ会議システムでは、
複数箇所の会議地点間を接続して会議を行う多地点テレ
ビ会議システムも知られている。

【０００２】

【従来の技術】図８は従来例の説明図であり、会議地点
ａ，ｂ，ｃの３箇所間でテレビ会議を行う場合を示し、
５１はテレビカメラ，モニタテレビ等を含む端末装置
（ＴＥ）、５２は高能率符号化，復号化を行う符号化復
号化装置（ＣＤＣ）、５３は伝送路インタフェース部
（ＬＩＦ）、５４は多地点会議制御装置、５５，５６は
伝送路であり、ＶＤは映像信号、ＶＣは音声信号、ＣＴ
は制御信号を示す。又会議地点ａに多地点会議制御装置
５４を設けた場合を示すが、会議地点ａ，ｂ，ｃとは独
立的に設けることもできる。

【０００３】会議地点ｂ，ｃに於いては、端末装置５１
による会議参加者を撮像した映像信号ＶＤと、発言者の
音声信号ＶＣと、会議参加者又はオペレータの操作等に
よる制御信号ＣＴとが符号化復号化部５２に加えられて
高能率符号化され、伝送路インタフェース部５３を介し
て伝送路５５，５６に送出され、会議地点ａの伝送路イ
ンタフェース部５３を介して多地点会議制御装置５４に
加えられる。又会議地点ａに於いては、端末装置５１か
らの映像信号ＶＤと音声信号ＶＣと制御信号ＣＴとは符
号化復号化装置５２により高能率符号化され、多地点会
議制御装置５４に加えられる。

【０００４】多地点会議制御装置５４は、音声信号ＶＣ
を合成して各会議地点ａ，ｂ，ｃに分配し、映像信号Ｖ
Ｄは自会議地点以外に分配するか又は会議地点からの要
求に従って分配する。分配された音声信号ＶＣ及び映像
信号ＶＤは符号化復号化装置５２により復号化されて端
末装置５１に加えられ、モニタテレビに映像が表示され
る。

【０００５】このようなテレビ会議システムに於いて、
発言者の音声信号を検出して、発言者を撮像するように
テレビカメラを制御する方式や、多地点会議制御装置５
４に於いて各地点の映像信号ＶＤを多重化して分配し、
各会議地点では、会議地点対応のモニタテレビを設けて
受信多重化映像信号を多重分離し、或いはモニタテレビ
画面を分割し、各モニタテレビ或いは分割画面にそれぞ
れの会議地点の映像を表示する方式等が提案されてい
る。

【０００６】

【発明が解決しようとする課題】従来例のテレビ会議シ
ステムに於けるモニタテレビの画面、或いは投影スクリ
ーンの画面は、総て二次元映像であり、カラー化と共に
解像度を向上することにより、臨場感のある遠隔地に散
在する会議地点ａ，ｂ，ｃ間でテレビ会議を開催するこ
とができるが、デザインや設計の分野に於いては、対象
物体の映像を伝送して表示させても、立体感のある表示
内容とすることは容易ではない。又三次元映像を表示す
る各種の手段が提案されているが、テレビ会議には単純
には適用できないものである。本発明は、分割スクリー
ンへの三次元映像の表示により実在感及び臨場感のある
テレビ会議を行わせることを目的とする。

【０００７】

【課題を解決するための手段】本発明の三次元多地点テ
レビ会議システムは、映像表示機能と撮像機能とを有す
る端末装置（ＴＥ）１と、符号化復号化装置（ＣＤＣ）
２と、伝送路インタフェース部（ＬＩＦ）３とをそれぞ
れ備えた複数の会議地点ａ，ｂ，ｃと、各会議地点ａ，
ｂ，ｃ間の接続制御を行う多地点会議制御装置４とから
なる多地点テレビ会議システムに於いて、各会議地点
ａ，ｂ，ｃに、三次元映像表示の為の処理を行う三次元
映像処理部５を設け、端末装置１の映像表示スクリーン
を複数に分割した分割スクリーン上に、三次元映像処理
部５により処理した各会議地点の三次元映像を表示して
会議を行うものである。

【０００８】又三次元映像処理部５に発言者検出部を設
け、この発言者検出部による発言者の検出信号により、
三次元映像処理部５は、発言者を含む分割スクリーン上
の三次元映像が受信者に近い位置で表示されるように制
御することができる。

【０００９】又多地点会議制御装置４は、各会議地点
ａ，ｂ，ｃからの情報に付加された発言者情報を基に、
映像表示スクリーンの分割比を制御し、発言者を含む三
次元映像を表示する分割スクリーンを大きくし且つ受信
者に近い位置で表示されるように制御することができ
る。

【００１０】又人物映像モードと物体映像モードとを備
えて、物体映像モードの時に、三次元映像処理部５は、
物体を含む分割スクリーン上の三次元映像が受信者に近
い位置で表示されるように制御することができる。

【００１１】又多地点会議制御装置４は、各会議地点か
らの情報に付加された物体映像モードを検出した時に、
物体を含む三次元映像を表示する分割スクリーンを大き
くし且つその物体を受信者に近い位置で表示されるよう
に制御することができる。

【００１２】

【作用】端末装置１は、複数のテレビカメラ或いは三次
元用のテレビカメラを備え、又ホログラフィック表示機
能等を備えており、又三次元映像処理部５は、例えば、
奥行き階層型ホログラフィック・ステレオグラム方式に
よる映像信号の処理部である。又映像表示スクリーンを
分割し、分割スクリーンに会議地点ａ，ｂ，ｃの三次元
映像を表示させることができるから、実在感及び臨場感
が溢れる表示内容となり、会議進行が容易となる。

【００１３】又三次元映像処理部５は、発言者を含む三
次元映像を、受信者に近い位置で表示するように、三次
元位置を求める。従って、端末装置１により表示された
三次元映像は、広い会議室であっても、発言者が近くに
寄って発言しているような映像となり、発言者に注目を
集めることができる。

【００１４】又多地点会議制御装置４は、会議地点から
の情報に付加された発言者情報を基に、発言者を含む三
次元映像を表示する分割スクリーンの分割比を制御し
て、その分割スクリーンを大きくする。又その分割スク
リーン上の三次元映像を受信者に近い位置となるように
制御する。従って、発言者を含む三次元映像の表示面積
が広くなり、発言者の表情等を明確に表示することがで
きる。

【００１５】又人物映像モードと物体映像モードとの中
の物体映像モードとした時に、物体を含む分割スクリー
ン上の三次元映像を受信者に近い位置で表示させるか
ら、受信者が観測し易い状態で表示されることになる。

【００１６】又多地点会議制御装置４は、各会議地点か
らの情報に付加された物体映像モードを検出した時に、
分割スクリーンの分割比を変更して、物体を含む三次元
映像を表示する分割スクリーンを大きくして、物体の表
示面積を広くし、更に受信者に近い位置で表示されるよ
うに制御するから、受信者が観測し易い状態で表示され
ることになる。

【００１７】

【実施例】図２は本発明の実施例の要部説明図であり、
図１の会議地点ａの構成に対応し、１は端末装置、２は
符号化復号化装置、３は伝送路インタフェース部、４は
多地点会議制御装置、５は三次元映像処理部、１１，１
３は発言者検出部、１２，１４は物体モード検出部、１
５は多地点分割表示指示部である。又図１の会議地点
ｂ，ｃは、多地点会議制御装置４を省略した構成とな
る。

【００１８】端末装置１は、複数のテレビカメラ又は三
次元用テレビカメラやマイクロホンと、スピーカ，モニ
タテレビや三次元映像の表示手段を備えており、この三
次元映像表示手段としては、既に知られている各種の構
成を採用することができる。又三次元映像を表示するス
クリーンを複数に分割できる構成を有し、その分割スク
リーンの分割比を変更可能とするものである。

【００１９】又三次元映像処理部５は、三次元映像表示
手段に対応した構成を有し、例えば、奥行き階層型ホロ
グラフィック・ステレオグラム方式による構成を用いる
ことができる。これは、端末装置１の複数のテレビカメ
ラによる映像信号の水平方向の拡張と奥行き方向の分解
を行った後、画面設定，変換を行い、三次元映像として
の奥行きを示す位相を計算してホログラム・セルを生成
し、このホログラム・セルの位相分布情報を送出するも
のであり、又この位相分布情報を受信した時は、位相分
布情報を基にホログラム・セルを再生して、端末装置１
を制御することにより、三次元映像を投影させるもので
ある。

【００２０】又符号化復号化装置２は、三次元映像信号
と音声信号ＶＣと制御信号ＣＴとの高能率符号化及び復
号化を行うものであり、又多地点会議制御装置４は、符
号化復号化装置２と伝送路インタフェース部３との間に
接続した場合を示すが、会議地点ａ，ｂ，ｃの構成を同
一とし、会議地点ａ，ｂ，ｃと伝送路を介して多地点会
議制御装置４を接続する構成とすることも可能である。
この多地点会議制御装置４は、複数の会議地点からの音
声信号の合成，分配及び三次元映像信号の多重化，分
配，三次元映像を表示するスクリーンの分割比指示等の
制御を行うものである。

【００２１】又発言者検出部１１は、例えば、会議参加
者対応のマイクロホンによる音声信号レベルが高い場合
に発言者として検出し、その発言者情報を三次元映像処
理部５に加え、或いは受信した三次元映像信号に付加さ
れた発言者情報を検出して、三次元映像処理部５に加え
る機能を有し、三次元映像処理部５は、発言者情報によ
り、距離パラメータの修正処理等を行わせて、発言者を
含む三次元映像を近距離として表示させるものである。

【００２２】又物体モード検出部１２は、人物映像モー
ドと物体映像モードとの二つのモードを設け、模型等の
物体のみの映像の物体映像モードを検出するものであ
り、映像信号から人物の映像か物体のみの映像かを認識
可能の場合或いは発言が所定時間以上ない場合、自動的
に物体映像モードを検出することができ、又マニュアル
設定の設定情報により物体映像モードを検出する構成と
することができる。又三次元映像信号に付加された物体
映像モード情報を検出する。検出したモード情報を三次
元映像処理部５に加える。それにより、物体のみの三次
元映像を近距離として表示させるように、距離パラメー
タの修正処理等を行うものである。又三次元映像処理部
５は、三次元映像信号に、自会議地点の発言者検出によ
る発言者情報或いは物体映像モードの検出による物体映
像モード情報を付加して送出するものである。

【００２３】又多地点会議制御装置４に接続した発言者
検出部１３は、伝送情報に付加された発言者の検出情報
を検出するものであり、又多地点会議制御装置４に接続
した物体モード検出部１４は、伝送情報に付加された物
体映像モード情報を検出するものである。又多地点分割
表示指示部１５は、会議地点対応に三次元映像を表示す
るスクリーンを分割し、その分割比を制御するものであ
る。

【００２４】図３は送信側三次元映像処理部５の説明図
であり、奥行き階層型ホログラフィック・ステレオグラ
ム方式を適用した場合を示し、２１はテレビカメラ、２
２は水平方向拡張部、２３は奥行き分解部、２４は陰線
処理部、２５は画面のサイズ，位置等の設定変換部、２
６，２７，２８はＡ面，Ｂ面，Ｃ面位相計算部、２９は
位相合成部である。

【００２５】複数のテレビカメラ２１により、Ａ面，Ｂ
面，Ｃ面等のように奥行きのある被写体を撮像し、各テ
レビカメラ２１による映像信号を奥行き分解部２３に加
えて奥行き方向の分解を行い、又水平方向拡張部２２に
より水平方向の拡張（補間）を行い、陰線処理部２４に
より前面の映像により後面が隠れる部分等の処理を行
い、設定変換部２５に於いて画面のサイズ，位置を設定
し、テレビカメラ２１により撮像したＡ面，Ｂ面，Ｃ面
に対応して、位相計算部２６，２７，２８により奥行き
映像の位相計算を行い、ホログラムセルを生成し、各ホ
ログラムセルの位相情報を位相合成部２９に於いて合成
した合成ホログラムセル位相情報を三次元映像信号とし
て送出するものである。

【００２６】図４は受信側三次元映像処理部の説明図で
あり、３１は位相分布表示部、３２は光学波面変換部、
３３はスクリーン、３４は参照光発生部である。位相分
布表示部３１により、受信合成ホログラム位相情報から
合成ホログラムセルを再生し、参照光発生部３４からの
レーザ参照光を光学波面変換部３２に入射して、スクリ
ーン３３に三次元映像を表示するものである。本発明に
於いては、このスクリーン３３を分割し、且つその分割
比を制御し、或いは分割スクリーン対応に距離パラメー
タの修正処理によって、近距離表示等を行わせるもので
ある。

【００２７】前述の図３に示す送信側三次元映像処理部
及び図４に示す受信側三次元映像処理部は、奥行き階層
型ホログラフィック・ステレオグラム方式による構成を
示すものであり、この方式に於ける三次元情報の生成，
奥行き画像の生成，位相分布の計算，表示三次元映像の
大きさ，表示三次元映像の距離，カラー三次元表示等に
ついては、本願の出願人が先に出願した特願平４−２２
２５８８号の明細書に詳細に説明されており、この技術
を用いることができるものである。

【００２８】図５は多地点会議制御装置の説明図であ
り、ａ，ｂ，ｃは前述の会議地点、ａ１，ｂ１，ｃ１は
送信部、ａ２，ｂ２，ｃ２は受信部、４１，４２，４３
は多地点会議制御装置４の合成部である。合成部４１
は、会議地点ｂ，ｃの送信部ｂ１，ｃ１からの三次元映
像信号を合成して会議地点ａに伝送し、合成部４２は、
会議地点ａ，ｃの送信部ａ１，ｃ１からの三次元映像信
号を合成して会議地点ｂに伝送し、合成部４３は、会議
地点ａ，ｂの送信部ａ１，ｂ１からの三次元映像信号を
合成して会議地点ｃに伝送するものである。従って、各
会議地点ａ，ｂ，ｃの受信部ａ２，ｂ２，ｃ２により受
信し、分割スクリーンに他の会議地点の三次元映像が分
割スクリーンに表示されることになる。

【００２９】図６は本発明の実施例の分割画面制御説明
図であり、４４はホログラムセル多重化部、４５，４６
はホログラムセルバッファ、４７，４８はホログラムセ
ル補完間引処理部、４９は制御部である。例えば、会議
地点ｂからのホログラムセル位相情報ＳＢがホログラム
セルバッファ４５に加えられ、会議地点ｃからのホログ
ラムセル位相情報ＳＣがホログラムセルバッファ４６に
加えられ、人物映像モードか物体映像モードかを示すモ
ード情報或いは発言者情報が制御部４９に加えられる。

【００３０】例えば、会議地点ｂからのホログラムセル
位相情報ＳＢについて発言者情報が付加されて伝送され
た場合、制御部４９は、ホログラムセル補完間引処理部
４７を制御して補完処理を行い、又ホログラムセル補完
間引処理部４８を制御して間引処理を行うことにより、
ホログラムセル多重化部４４で多重化された合成ホログ
ラムセル位相情報ＳＭは、異なる方向の斜線等で区別し
て示すように、補完処理されたホログラムセル位相情報
ＳＢと、間引処理されたホログラムセル位相情報ＳＣと
を合成したものとなり、それによる分割スクリーンは、
ＤＶＢ，ＤＶＣとして示すような分割比により、会議地
点ｂの三次元映像を拡大表示し、会議地点ｃの三次元映
像を縮小表示することができる。又この分割比の変更と
共に、距離パラメータを修正して、会議地点ｂの三次元
映像を近距離に表示し、会議地点ｃの三次元映像を遠距
離に表示することができる。

【００３１】図７は本発明の実施例の分割画面表示説明
図であり、端末装置１の三次元映像を表示するスクリー
ンを４分割した場合を示し、（ａ）は均等に分割した分
割スクリーンＤＶＡ，ＤＶＢ，ＤＶＣ，ＤＶＤを示し、
この分割スクリーンＤＶＡ，ＤＶＢ，ＤＶＣ，ＤＶＤ
は、各会議地点対応に割当てることができる。なお、こ
の分割スクリーンＤＶＡ，ＤＶＢ，ＤＶＣ，ＤＶＤの分
割比は、前述のように変更可能のものである。

【００３２】又図７の（ｂ）は、発言者を含む分割スク
リーンＤＶＡに表示する三次元映像を、三次元映像処理
部５に於ける距離パラメータの修正により近距離表示と
した場合を示し、他の分割スクリーンＤＶＢ，ＤＶＣ，
ＤＶＤに表示される三次元映像に比較して発言者が近い
位置に表示されるから、会議参加者の誰が発言している
かを容易に識別できることになる。又図７の（ｃ）は、
発言者を含む三次元映像を表示する分割スクリーンＤＶ
Ａを大きくするように分割比を変更し、更に、三次元映
像処理部５に於ける距離パラメータの修正により、近距
離表示とした場合を示し、発言者を拡大表示すると共
に、近い位置に表示することができるから、発言者の表
情等を一層明確に表示することができる。

【００３３】又図７の（ｄ）は、分割スクリーンＤＶＡ
に表示する三次元映像が物体映像モードで表示すること
を検出した場合、その物体のみの三次元映像を近距離表
示とした場合を示し、物体が近い位置に表示されるか
ら、その物体の細部の観測が容易となる。又図７の
（ｅ）は、分割スクリーンＤＶＡ，ＤＶＤに表示する三
次元映像が共に物体映像モードで表示することを検出し
た場合に、分割スクリーンＤＶＡ，ＤＶＤに物体のみの
三次元映像を近距離表示とした場合を示し、両者の物体
の比較等が容易となる。又図７の（ｆ）は、（ｃ）の場
合に類似し、分割スクリーンＤＶＡを大きくするように
分割比を変更し、更に分割スクリーンＤＶＡに表示する
三次元映像を近距離表示とし、物体を近い位置で拡大表
示できるようにしたものである。

【００３４】前述の実施例は、分割スクリーンＤＶＡ，
ＤＶＢ，ＤＶＣ，ＤＶＤに表示する三次元映像の拡大表
示，近距離表示を示すものであるが、通常のモニタ画面
に於ける各種の画像処理技術を、三次元画像処理に適用
して、三次元画像の任意角度の回転や一部拡大等の表示
も可能である。又三次元計測技術やコンピュータ・グラ
フィック技術を適用した三次元映像を表示させることも
できる。

【００３５】

【発明の効果】以上説明したように、本発明は、分割ス
クリーンに三次元映像表示を行って多地点テレビ会議を
行うものであり、相手の会議室も立体的に表示され、又
発言者が近い位置に表示されるから、発言者に注目させ
ることができる。従って、臨場感のある多地点テレビ会
議を進行させることができる利点がある。更に、デザイ
ンや設計の分野に於いては、模型等の物体を表示する場
合に、近距離で且つ三次元映像として表示されるから、
二次元映像に比較して物体の観察が容易となる利点があ
り、又複数会議地点に於ける物体の比較も容易となる利
点がある。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の実施例の要部説明図である。

【図３】送信側三次元映像処理部の説明図である。

【図４】受信側三次元映像処理部の説明図である。

【図５】多地点会議制御装置の説明図である。

【図６】本発明の実施例の分割画面制御説明図である。

【図７】本発明の実施例の分割画面表示説明図である。

【図８】従来例の説明図である。

【符号の説明】

１端末装置（ＴＥ）２符号化復号化装置（ＣＤＣ）３伝送路インタフェース部（ＬＩＦ）４多地点会議制御装置５三次元映像処理部６伝送路ａ，ｂ，ｃ会議地点

Claims

【特許請求の範囲】

【請求項１】映像表示機能及び撮像機能を有する端末
装置（１）と、符号化復号化装置（２）と、伝送路イン
タフェース部（３）とをそれぞれ備えた複数の会議地点
と、各会議地点間の接続制御を行う多地点会議制御装置
（４）とからなる多地点テレビ会議システムに於いて、前記各会議地点に、三次元映像表示の為の処理を行う三
次元映像処理部（５）を設け、前記端末装置（１）の映像表示スクリーンを複数に分割
した分割スクリーン上に、前記三次元映像処理部（５）
により処理した各会議地点の三次元映像を表示して会議
を行うことを特徴とする三次元多地点テレビ会議システ
ム。
【請求項２】前記三次元映像処理部（５）に発言者検
出部を設け、該発言者検出部による発言者の検出信号に
より、該三次元映像処理部（５）は、該発言者を含む分
割スクリーン上の三次元映像が受信者に近い位置で表示
されるように制御することを特徴とする請求項１記載の
三次元多地点テレビ会議システム。
【請求項３】前記多地点会議制御装置（４）は、前記
各会議地点からの情報に付加された発言者情報を基に、
前記映像表示スクリーンの分割比を制御し、発言者を含
む三次元映像を表示する分割スクリーンを大きくし且つ
受信者に近い位置で表示されるように制御することを特
徴とする請求項１記載の三次元多地点テレビ会議システ
ム。
【請求項４】人物映像モードと物体映像モードとを備
え、物体映像モード時は、前記三次元映像処理部（５）
は、物体を含む分割スクリーン上の三次元映像が受信者
に近い位置で表示されるように制御することを特徴とす
る請求項１記載の三次元多地点テレビ会議システム。
【請求項５】前記多地点会議制御装置（４）は、前記
各会議地点からの情報に付加された物体映像モードを検
出した時に、物体を含む三次元映像を表示する分割スク
リーンを大きくし且つ該物体を受信者に近い位置で表示
されるように制御することを特徴とする請求項１記載の
三次元多地点テレビ会議システム。