JPH0730877A

JPH0730877A - 多地点間マルチメディア通信会議システム

Info

Publication number: JPH0730877A
Application number: JP5171501A
Authority: JP
Inventors: Shigeru Fukunaga; 茂福永; 哲雄 ▲吉▼田; Tetsuo Yoshida; Toshihisa Nakai; 敏久中井
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1993-07-12
Filing date: 1993-07-12
Publication date: 1995-01-31

Abstract

(57)【要約】【目的】多地点間で会議に参加している人の意思疎通
を、従来に比べ図り易く支援する。【構成】視線情報伝送表示部６は、注視相手データと
位置データとが入力されると、これらのデータを多重化
し、位置・注視相手データを出力し、送信部７から伝送
路へ出力する。同時に視線情報を生成し、視線情報を表
示する。伝送路からの位置・注視相手データは受信部８
に与えられると、視線情報伝送表示部６に与える。ここ
で、他のテレビ会議装置からの視線情報を表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は多地点間マルチメディ
ア通信会議システムに関し、少なくとも２地点間以上の
マルチメディア通信によって形成されるものである。

【０００２】

【従来の技術】近年、画像処理技術やネットワーク技術
の向上によって、動画通信を行うシステムが多く実用化
されている。その一つがテレビ会議システムであり、専
用のキャビネットを持つフロア設置型のものから、パー
ソナルコンピュータやワークステーションを通信端末と
して使用するデスクトップ型のものまである。

【０００３】また、２地点間をつなぐだけでなく、３地
点以上の複数の地点間を接続できるものも開発されてい
る。

【０００４】例えば、この様なテレビ会議システムの実
現を目的とした文献として次の様なものがある。

【０００５】文献：電子情報通信学会技術研究報告ＩＥ
９０−４９、１９９０年発行、『Ｂ−ＩＳＤＮ用多地点
間マルチメディア通信会議システムＰＭＴＣ』などがあ
る。

【０００６】そして、この様なテレビ会議システムは、
基本的には各参加者の顔画像をそれぞれ伝送し、相手の
様子を見ながら会議を勧める。特に、多地点間テレビ会
議システムでは、複数の相手の顔画像を同時に表示し
て、参加者全員の様子を見ながら会議をする。この様子
を図２に示している。

【０００７】しかしながら、複数の画像を表示するに
は、例えば、図３に示す様に、複数のメモリや復号器４
などが必要であり、ハードウエアの規模が大きくなると
いう問題点もある。

【０００８】ここで、この図３のテレビ会議システムを
説明する。このテレビ会議システムにおいては、復号器
４を３個備えている。そして、この図３において、符号
器１は、カメラから入力された画像データを符号化する
手段である。送信手段２は、符号化された画像データを
送信元、送信先などの情報を付加し、送信する手段であ
る。そして、受信手段３は、他のシステムからのデータ
を受信し、そのデータを画像データとそれ以外の情報に
分け、更に送信元別にデータを分類し、復号器４ａ〜４
ｃに割り当てる手段である。

【０００９】そして、図３の復号器４は、画像データを
復号する手段であり、複数個備えられている。送信元数
が復号器の数寄りも多いときには、１つの復号器で複数
の画像を復号する。その場合、各復号器４ａ〜４ｃに
は、復号する画像数だけ、メモリが必要となる。そし
て、画像表示手段５は、それぞれの復号器４ａ〜４ｃか
らの画像データを表示する手段である。

【００１０】そして、一般に表示される顔画像は、それ
ぞれの参加者の胸像を正面から捕らえたものであり、そ
の人の表情や顔色、服装や回りの様子などを見てとるこ
とができる。しかしながら、いつもカメラを見ながら話
をする訳ではないので、視線は別の方向を向いている場
合もあり、この場合は、視線不一致である。

【００１１】そして、人間は、一般的に相手に自分の意
見を強く主張したいときは、相手に目を見て話す。更に
見られた方も自分に対して話されていると認識して普段
よりは真剣に話しを聞くであろう。そこで、視線を一致
させる技術が重要となるが、それだけでは視線の情報は
十分では無い。

【００１２】図４は、実際の会議室での視線の方向を示
す例である。丸○印しは参加者を表している。更に、矢
↑印しはそれぞれの視線の方向を表している。話者Ａ
は、相手Ｄに対して意見を主張している。これに反応し
て相手Ｄは、話者Ａを見るので、話者Ａと相手Ｄとはお
互いに向かい合っている。この２人の間では、視線一致
は重要である。

【００１３】しかしながら、他の参加者Ｂ、Ｃにとって
は、話者Ａが相手Ｄを見ているということが重要であ
り、視線一致はむしろ邪魔である。即ち、話者Ａが自分
の方を向いていないときは、自分に対して話しているの
では無いという事も判断できるからである。

【００１４】つまり、視線情報（誰が誰を見て話してい
るかを表す情報）は、意思疎通を円滑に行う上で重要な
情報の一つである。

【００１５】

【発明が解決しようとする課題】ところが、実際には上
述の様な従来の多地点間テレビ会議システムでは、参加
者の正面画像をただ伝送・表示しているだけであり、視
線情報は全く伝送されない。つまり、参加者の内、ある
特定の人に対して意見を主張し（伝え）たい場合、カメ
ラを向いて話す（若しくは、視線一致技術が完成してい
る）と、他の参加者全員に視線を向けることになるの
で、他の人までが自分の方向を向いて話されていると勘
違いしてしまうという問題があった。

【００１６】更に、注視されている肝心の人としては、
自分に話されているのでは無いと誤った判断をして、話
者の話しを自分に対するものとして真剣に聞かない様な
問題も起こり得た。

【００１７】従って、上述の様な問題から、あたかも同
じ会議室（部屋）で複数の人達が実際に対面して会議を
行っているかの様に行い得る仕組みが要請されている。
つまり、各参加者の視線情報を明示するシステム（仕組
み）を付加することで、各参加者が現在誰を見ているか
が分かり、円滑な意思疎通を支援する仕組みが要請され
ている。

【００１８】この発明は、以上の課題に鑑み為されたも
のであり、その目的とする所は、多地点間で会議に参加
している人の意思疎通を、従来に比べ図り易く支援する
多地点間マルチメディア通信会議システムを提供するこ
とである。

【００１９】

【課題を解決するための手段】第１の発明は、以上の目
的を達成するために、自マルチメディア通信会議装置の
会議参加者の画像を他のマルチメディア通信会議装置に
伝送し、会議参加者の画像を自マルチメディア通信会議
装置に画像表示させ、多地点間でマルチメディア通信を
行う多地点間マルチメディア通信会議システムにおい
て、以下の特徴的な構成で実現した。

【００２０】つまり、自マルチメディア通信会議装置の
会議参加者が他の会議参加者の誰を、又は、他のマルチ
メディア通信会議装置の会議参加者の誰を、注視するか
を表す注視情報（例えば、視線情報や位置情報など）を
生成し、他のマルチメディア通信会議装置に伝送させる
注視情報生成手段と、上記注視情報を自マルチメディア
通信会議装置に表示させる注視情報表示手段とを備える
ことを特徴とする。

【００２１】また、第２の発明も、自マルチメディア通
信会議装置の会議参加者の画像を他のマルチメディア通
信会議装置に伝送し、会議参加者の画像を自マルチメデ
ィア通信会議装置に画像表示させ、多地点間でマルチメ
ディア通信を行う多地点間マルチメディア通信会議シス
テムにおいて、以下の特徴的な構成で実現した。

【００２２】即ち、上記自マルチメディア通信会議装置
は、誰を注視するかを表す注視情報（例えば、視線情報
や位置情報など）を他のマルチメディア通信会議装置か
ら受信し、この注視情報を表示させる注視情報受信表示
手段を備えることを特徴とする。

【００２３】更に、上述の第１の発明と、第２の発明と
を合わせ備えた構成の多地点間マルチメディア通信会議
システムも好ましい。

【００２４】

【作用】第１の発明によれば、注視情報生成手段は、自
マルチメディア通信会議装置に会議参加者が複数（Ａ、
Ｂ）居る場合に、例えば、会議参加者ＡがＢに対して注
視して話しを行うときには、ＡからＢへの注視情報（例
えば、注視線情報）を生成し、他のマルチメディア通信
会議装置に伝送させる。そして、注視情報表示手段によ
って、注視情報を同時に自マルチメディア通信会議装置
に表示できる。しかも、会議参加者の画像とを関係付け
て表示させることもができる。

【００２５】この関係付けは、いかなるものであっても
良い。例えば、参加者の画像は静止画の顔画像又はシン
ボル画像とし、この参加者の画像に、矢印↑などで注視
されている参加者の画像に向けて画像表示することも良
い。

【００２６】また、自マルチメディア通信会議装置の会
議参加者Ａが、他のマルチメディア通信会議装置の会議
参加者Ｃに対して注視して話しを行うときには、注視情
報生成手段によってＡからＣへの注視情報を他のマルチ
メディア通信会議装置に対して伝送させる。そして、こ
の様なＡからＣへの注視状態も、上記注視情報表示手段
の注視情報によって、会議参加者の関係を客観的に画像
表示させることもできる。

【００２７】また、第２の発明によれば、自マルチメデ
ィア通信会議装置は、注視情報受信表示手段によって、
他のマルチメディア通信会議装置から注視情報を受信
し、上記注視情報を自マルチメディア通信会議装置に表
示できるので、会議参加者間で注視相手が誰であるかを
画像上で客観的に視認することができる。しかも、会議
参加者の画像に関係付けすることも出来る。

【００２８】上記注視情報と会議参加者の画像との関係
付けは、上述と同様にいかなるものであっても良い。例
えば、参加者の画像は動画の顔画像とし、そして、注視
関係にある画像２つと、注視関係に無い参加者の画像と
を別配置に画像構成する様な事でも良い。

【００２９】また更に、上述の第１の発明の構成と、上
述の第２の発明の構成とを合わせ備えることによって、
多地点間の意思疎通を益々支援することができる。

【００３０】その他、（１）上述の第１の発明や、第２
の発明において、以下の様な構成を図る採ることによっ
て、更に有効となる。即ち、例えば、会議室を上から見
た構図の平面図を生成し、各参加者の位置を円などで表
示し、視線方向を円から伸びる矢印や線や点などで表示
することによって、各参加者の視線方向を明示すること
も出来る。

【００３１】（２）また、例えば、会議参加者の顔画像
や似顔絵画像を配置することで各参加者の位置を画像表
示することも出来る。（３）更に、例えば、各方向を向
いている顔画像や似顔絵画像を切替えて表示することで
視線方向を表すことも出来る。

【００３２】（４）更にまた、例えば、各方向を向いて
いる顔をコンピュータグラフィクス（ＣＧ）で合成表示
することで位置と視線方向を表すことも出来る。（５）
また、例えば、自分の位置から見た構図の会議室の画像
を生成し、顔画像や似顔絵画像を画像配置し、コンピュ
ータグラフィクスによって顔画像を合成することで各参
加者の位置と視線方向を表すことも出来る。

【００３３】（６）更に、例えば、自分の視線に合わせ
て、背景や他の参加者の位置を変更して、表示すること
も出来る。（７）更にまた、例えば、各参加者の画像を
切替えて、一部の参加者だけを表示することも出来る。

【００３４】（８）また、例えば、自分の視線方向に合
わせて表示画像を切替える手段を備えることも出来る。
（９）更に、例えば、いずれの参加者の画像を表示中か
を明示する手段を備えることも出来る。

【００３５】

【実施例】次にこの発明を多地点間テレビ会議システム
に適用した場合の好適な実施例を図面を用いて説明す
る。

【００３６】（実施例の概要）：この実施例では、従来
の顔画像データ以外に、特に視線情報を伝送し、画面に
表示する様に構成する。そこで、参加者全員が仮想的な
一つの場所（会議室）に集まっているものとして、共通
の座標を用意し、それぞれの参加者の位置はその座標で
表す。そして、参加者はこの座標上を自由に移動できる
様に構成とする。

【００３７】そして、各参加者は自分自身が見たい相手
を選択する。そして、システムでは、自分の注視相手デ
ータ（自分が誰を見ているかを表すデータ）と、自分の
位置データを全ての参加者へ伝送すると共に、他のシス
テムから伝送されてきた、位置・注視相手データを用い
て、画面上に全参加者の視線情報を表示する様に構成す
る。そこで、上述の様な趣旨のもとに、具体的にこの多
地点間テレビ会議システムを説明する。

【００３８】（システムの構成）：図１は、第１実施例
の多地点間テレビ会議システムの機能的な構成図であ
る。この図１において、多地点間テレビ会議装置２０
は、符号器１と、送信部７と、画像表示部５と、復号器
４ａ〜４ｃと、受信部８と、視線情報伝送表示部６とか
ら構成されている。ここで、特徴的な構成は、視線情報
伝送表示部６を備えていることである。この視線情報伝
送表示部６を新たに備えるために、送信部７と、受信部
８とを改善している。

【００３９】そして、図１の視線情報伝送表示部６は、
使用者から入力される注視相手データと、位置データと
を送信部７に与える。そして、この視線情報伝送表示部
６は、受信部８から他の参加者の位置データと、注視相
手データとを受け取る。更に、これらのデータからそれ
ぞれの参加者がどこに位置し、誰を見ているかを算出
し、これを表示させる。

【００４０】そして、図１の送信部７は、画像データに
送信元・送信先情報を付加して、伝送路３０を通じて各
システムに送信する。また、この送信部７は、視線情報
伝送表示部６から得られる位置データと、注視相手デー
タにも送信元・送信先情報を付加して、各システムに送
信する。この送信のときに、データの種類（例えば、画
像、位置、注視相手）の情報も付加して行う。

【００４１】そして、図１の受信手段８は、各システム
から送られてきたデータを受信し、画像データは復号器
４ａ〜４ｃに与え、位置データと注視相手データは視線
情報伝送表示手段６に分類して送るものである。

【００４２】（視線情報伝送表示部６の構成）：図５
は、視線情報伝送表示部６の一構成例の図である。この
図５において、視線情報伝送表示部６は、注視相手選択
部９と、位置座標変更手段１０と、位置・注視相手デー
タ多重化部１１と、視線方向算出部１２と、視線情報表
示部１３とから構成されている。

【００４３】そして、この図５の注視相手選択部９は、
会議の参加者の内、いずれの参加者を見るか、又は、見
ていることにするかを選択するものである。例えば、キ
ーボードなどの入力装置から直接相手名を入力すること
でも実現できる。また、マウス等で画面上に表示されて
いる相手画像を指定したり、視線情報表示部１３によっ
て表示されている会議室上の相手を指定することでも実
現することが出来る。

【００４４】そして、図５の位置座標変更部１０は、仮
想的な会議室における共通の座標上で、自分の位置を指
定したり変更するものである。そして、会議開始時に初
期位置を入力し、その後、任意の場所に変更することが
出来る。例えば、キーボードなどの入力装置から直接座
標を入力することでも実現することが出来るし、マウス
等で視線情報表示部１３によって画面上に表示されてい
る会議室の場所を指定することでも実現することが出来
る。

【００４５】そして、図５の位置・注視相手データ多重
化部１１は、注視相手選択部９と位置座標変更部１０と
によって得られた注視相手データと位置データとを多重
化するものである。例えば、図６に示す様に、識別子と
参加者名とから成るヘッダ情報を、位置データと注視相
手データとに付加して多重化する。

【００４６】そして、図５の視線方向算出部１２は、自
分を含む各参加者の位置・注視相手データから、視線の
方向を算出するものである。例えば、共通の座標上で参
加者ＡとＢとが図７に示す様に、位置しているときに、
ＡがＢを見ているとすると、Ａの視線方向はｘ軸との為
す角度θで表すとして算出することができる。

【００４７】そして、図５の視線情報表示部１３は、自
分と他の参加者との位置データと、視線方向データとか
ら、誰がどこを見ているかを明示できる様に表示するも
のである。例えば、図８に示す様に、会議室を上から見
た図の中に、丸○と棒線｜や符号で表した参加者Ａ〜Ｄ
を配置することで表現出来る。そして、棒線｜が視線方
向を表すものとする。棒線｜以外でも、図９に示す様
に、矢印↑や点●を使って視線方向を表すことも良い。

【００４８】また、図１０に示す様に、顔画像や似顔絵
を会議室上に配置することで位置情報を表し、これらを
回転したり、異なる方向を向いた画像に切替えることに
よって、視線方向を表すこともできる。

【００４９】また、コンピュータグラフィクス（ＣＧ）
の技術を用いて、図１１に示す様に、３次元的に自分の
方向を見た会議室の様子を表示し、見る方向によって、
表示がリアルタイムに変化する様にすると、より現実感
が得られる。そして、会議室中の人の顔も本人のデータ
をもとに合成すると、誰がどこを見ているかがより分か
り易くなる。

【００５０】この様な会議室の図を、図１２に示す様
に、従来からのシステムの画面上に顔画像１２１ａ〜ｄ
と一緒に表示することで、視線情報表示１２２を付加し
たテレビ会議システムを実現することができる。

【００５１】また、本来、人間は自分が見ている人以外
は、それほどはっきりと見えず、雰囲気だけを感じてい
るものである。そこで、視線情報表示が図１１に示す様
に現実味を帯びてくると、他の人の情報はここから得ら
れるので、顔画像を表示しなくても良くなる。即ち、見
たい人の画像だけを伝送・表示すれば良いので、例え
ば、第２実施例の図１３の機能ブロック図に示す様に、
この場合には、復号器４が一つで済み、ハードウエアの
規模も小さくなる。

【００５２】尚、図１３において、復号器４を一つにし
ている以外は、図１と同じ構成としている。従って、こ
のときに、１つの復号器４で表示する画像は、図５にお
ける視線方向算出部１２によって選定され、それによっ
て、図５の注視相手選択部９が画像データを切替える訳
である。

【００５３】また、見たい画像の送信元にのみ画像を要
求し、それ以外の参加者からは画像データを伝送しない
様にすると、ネットワークの負荷がかなり軽減される。

【００５４】そして、画像切替方式のテレビ会議システ
ムの構成例を第３実施例の図１４に示している。この図
１４において、会議室上のいずれの参加者の画像かを明
示することで、自分が今誰を見ているかが分かり易くな
る様に構成している。

【００５５】（実施例の効果）：（１）以上の第１実施
例〜第３実施例の多地点間テレビ会議システムによれ
ば、各参加者が誰を見ているかが客観的に分かるので、
例えば、話者が誰に対して特に意見を主張したいかが認
識でき、円滑な意思疎通を支援する事が可能となる。

【００５６】（２）また、第３実施例によれば、各参加
者の全画像を一時に全て伝送表示せず、切替えて表示し
ても、得られる情報量を減らすこと無く、会議は実施で
きるので、伝送路（ネットワーク）の負荷を軽減させる
ことができる。

【００５７】（他の実施例）：（１）尚、以上の第１実
施例の図１において、機能構成はこの図１の構成に限定
するものでは無い。例えば、復号器４ａ〜４ｃで構成し
ているが、ネットワークを形成するテレビ会議装置の数
に合わせて、更に多く構成することも望ましい。また、
更に他の機能構成を追加構成することでも良い。例え
ば、音声情報を伝送し、参加者の会話音声と共に上述の
実施例の画像を表示できるマルチメディアシステムが好
ましい。また、第２実施例の図１３についても同様に、
この様な構成に限定するものでは無い。

【００５８】（２）また、図５の視線情報伝送表示手段
６の機能構成についても、この様な構成に限定するもの
では無い。例えば、他の機能構成を追加構成することで
も良い。

【００５９】（３）更に、上述の実施例の図６の位置・
注視相手データの多重化の構成は、この様な構成に限定
するものでは無い。他の情報を追加構成することであっ
ても良い。

【００６０】（４）更にまた、上述の実施例の図７の視
線方向の算出の仕方についても、これに限定するもので
は無い。

【００６１】（５）また、上述の実施例の図８〜図１
２、図１４の画像表示例についても、これらの画像表示
例に限定するものでは無い。例えば、動画や静止画や画
像合成技術を使用して、この発明の要旨を変更し無い範
囲で、様々な表示方法が適用可能である。

【００６２】（６）更に、上述の実施例では、テレビジ
ョンによる会議を例に説明したが、この様なテレビジョ
ン方式に限定するものでは無い。

【００６３】

【発明の効果】以上述べた様にこの発明の多地点間マル
チメディア通信会議システムによれば、会議参加者間の
注視状態を注視情報として伝送し、マルチメディア通信
会議装置の会議参加者の間の注視情報を表示出来るの
で、会議参加者間の注視関係を客観的に理解させること
ができ、多地点間で会議に参加している人の意思疎通
を、従来に比べ図り易く支援することができる。

【図面の簡単な説明】

【図１】この発明の第１実施例の多地点間テレビ会議シ
ステムの構成図である。

【図２】従来例のテレビ会議システムにおける画面表示
の一例図である。

【図３】従来例の多地点間テレビ会議システムの構成図
である。

【図４】従来の課題を説明するための説明図である。

【図５】一実施例の視線情報伝送表示部の機能構成例の
図である。

【図６】一実施例の位置・注視相手データの多重化の例
の図である。

【図７】一実施例の視線方向の算出例の説明図である。

【図８】一実施例の視線情報表示の例の図である。

【図９】一実施例の視線方向の表示例の図である。

【図１０】一実施例の視線方向の表示例の図である。

【図１１】一実施例の視線情報表示の例の図である。

【図１２】一実施例のテレビ会議システムにおける画面
表示例の図である。

【図１３】第２実施例の多地点間テレビ会議システムの
構成図である。

【図１４】第３実施例の多地点間テレビ会議システムに
よる画面表示の例の図である。

【符号の説明】

４…復号器、５…画像表示部、６…視線情報伝送表示
部、７…送信部、８…受信部、２０…多地点間テレビ会
議装置、３０…伝送路。

Claims

【特許請求の範囲】

【請求項１】自マルチメディア通信会議装置の会議参
加者の画像を他のマルチメディア通信会議装置に伝送
し、会議参加者の画像を自マルチメディア通信会議装置
に画像表示させ、多地点間でマルチメディア通信を行う
多地点間マルチメディア通信会議システムにおいて、自マルチメディア通信会議装置の会議参加者が他の会議
参加者の誰を、又は、他のマルチメディア通信会議装置
の会議参加者の誰を、注視するかを表す注視情報を生成
し、他のマルチメディア通信会議装置に伝送させる注視
情報生成手段と、上記注視情報を自マルチメディア通信会議装置に表示さ
せる注視情報表示手段とを備えることを特徴とする多地
点間マルチメディア通信会議システム。
【請求項２】自マルチメディア通信会議装置の会議参
加者の画像を他のマルチメディア通信会議装置に伝送
し、会議参加者の画像を自マルチメディア通信会議装置
に画像表示させ、多地点間でマルチメディア通信を行う
多地点間マルチメディア通信会議システムにおいて、上記自マルチメディア通信会議装置は、誰を注視するか
を表す注視情報を他のマルチメディア通信会議装置から
受信し、この注視情報を表示させる注視情報受信表示手
段を備えることを特徴とする多地点間マルチメディア通
信会議システム。