JPH0813127B2 - 電子会議システム - Google Patents

Description

【発明の詳細な説明】 ［発明の技術分野］ 本発明は遠隔地点で会議を行なうための電子会議シス
テムに係り、特に発言者と離席者を検出し発言者の動画
データを話者識別情報を付加してシステムに入力するよ
うにした電子会議システムに関する。

［発明の技術的背景］ 従来から遠隔地に設置された会議ユニットシステム間
で会議通信を行なうシステムとして電子会議システムが
知られている。

このような電子会議システムに採用される会議ユニッ
トシステムとしては、たとえば第11図に示すようなもの
が考えられている。同図に示されるようにこの会議ユニ
ットシステムは、マイク１、スピーカ２、会議場を撮像
するテレビカメラ３、原稿を写すテレビカメラ４、テレ
ビモニタ５、ファクシミリ装置６、プリンタとしてのハ
ードコピー装置12、前記マイク１とスピーカ２の音声信
号を符号化、復号化する音声ユニット７、画像信号の符
号化、復号化を行なう画像ユニット８、画像ユニットを
制御する制御ユニット９、制御ユニット９の指示を入力
する操作ユニット10、音声信号および画像信号の送信お
よび受信を行なう伝送ユニット11より構成されている。

［背景技術の問題点］ しかしながら、このような電子会議システムにおいて
は、音声信号の符号化・復号化は音声ユニット７で行な
い、画像信号の符号化・復号化は画像ユニット８で行な
っているので、これらの音声ユニット７および画像ユニ
ット８はシステム全体として想定している音声系・画像
系の入出力装置の最大数分だけ符号化・復号化機能を用
意しておかねばならず、装置全体が大型化するととも
に、入出力装置が少ない小規模システムのときには無駄
が多いという問題点があった。

［発明の目的］ 本発明はこのような点に対処してなされたもので特に
データ量の多い動画入力系を自動的に必要最小限の構成
とし、かつ発言者の動画に話者識別情報を付加して解像
度不足による発言者判別の困難性を補った電子会議シス
テムを抵抗することを目的とする。

［発明の概要］ すなわち本発明は、会議出席者に基づく動画データお
よび可聴音データを回線を介して複数の会議ユニットシ
ステム間で伝送する電子会議システムにおいて、少なく
とも２つの音声入力手段を有し、これらの２つの音声入
力手段に入力された信号の相関をとることによって会議
場内に出席している複数の会議出席者の中から発言者を
判定してこの発言者を示す話者識別信号（ID）を生成す
る話者識別装置と、超音波を発生する発振器と会議参加
者あるいは会議場の壁で反射された前記超音波を検出す
る超音波検出器と前記超音波検出器からの出力信号を入
力し出席者の有無を判定する判定手段を具備し、前記判
定手段の出力を会議出席者の離着席状態を表す状態検出
信号（SDET）として出力する状態検出装置と、前記話者
識別信号（ID）と前記状態検出信号（SDET）から送話者
切替信号（PID）を生成する手段を有する制御装置と、
前記複数の会議出席者の動画を個別に入力する複数個の
動画入力手段を有し、前記制御装置において生成された
前記送話者切替信号（PID）により、前記複数個の動画
入力手段の中から、発言者に対応する動画が入力される
一つの動画入力手段を選択し、かつ離席した会議出席者
に対応する動画入力手段の出力を無効とする選択手段と
を備えた動画入力装置とを設けたことを特徴とする電子
会議システム。

［発明の実施例］ 以下、図面に基づいて本発明の実施例を詳細に説明す
る。

第１図は本発明の電子会議システムの一実施例に係る
会議ユニットシステムを示すブロック構成図である。

制御装置900には描画系、静止画系、動画系、音声系
の入力装置が接続され、磁気記憶系、記憶出力系、音声
系の出力装置が接続されている。これらの入力装置から
の信号、出力装置への信号は幾つかの制御情報信号によ
り選択、多重化等の処理を施され、また伝送される。

入力装置としては、手書き文字や図形を入力するため
の複数の描画入力装置100、会議前あるいは、会議中に
書類原稿を入力するための静止画入力装置200、会議出
席者や会議場の背景の画像を入力するための動画入力装
置300、および音声を入力する音声入力装置400が接続さ
れている。

また出力装置は、自端末や伝送されて来る描画系、静
止画系の入力情報を表示する複数の平面表示装置150お
よび図形表示装置（１）160、図形表示装置（１）160に
表示された情報に基づく記憶出力（コピー）を行うハー
ドコピー装置250、自端末や伝送されて来る動画系の入
力情報を表示する図形表示装置（２）350、伝送されて
来る音声系入力情報を出力する音声出力装置450が接続
されている。

また蓄積装置600により、これらの入出力情報の記
録、読み出しが行なわれ、かつ伝送装置700により遠隔
地の他の２以上の会議ユニットシステムに伝送される。

以上の入出力情報は操作入力装置850、会議出席者の
離着席を検出する状態検出装置800、音声から発言者を
判定する話者識別装置510などの装置からの信号により
情報の伝送が制御されている。

以下この実施例の主要部をなす各装置についてさらに
詳細に説明する。

動画入力装置300 第２図は動画入力装置300の一例を示すブロック構成
図である。

この動画入力装置300は複数のテレビカメラにより発
言者を映し、この中の所のテレビカメラを選択して映さ
れた画像情報を制御装置900に送るものである。

この動画入力装置300は複数の動画入力部310a、310
b、310c、310dと、制御装置900からの送話者切替信号
（PID）により、これら複数の動画入力部から１つの動
画入力部を選択する動画セレクタ部320と、この選択さ
れた動画入力信号（PIN）を圧縮符号化する動画符号化
部330と、この符号化された動画データ（PSD）にフレー
ム識別子（FID）と送話者切替信号（PID）を付加する識
別子付加部340から構成される。

以下、この動画入力装置300の動作を説明する。

会議出席者や会議場の背景等の動画像は複数の動画入
力部310a、310b、310c、310dにより電気信号に変換さ
れ、動画セレクタ部320に送出される。

回線の伝送容量を64kbpsとし、この回線には音声等の
データも送出せねばならないことを考えると、同時に複
数の動画入力は不可能である。そこで動画セレクタ部32
0は、制御装置900の送話者切替信号（PID）により発言
者を写すろように該当する動画入力部を１つ選択し、こ
の動画入力信号（PIN）を動画符号化部300に送出する。

なお、後述するように送話者切替信号（PID）は、話
者識別装置510により生成される話者識別信号（ID）と
状態検出装置800により生成される状態検出信号（SDE
T）から制御装置900の会議支援部991により生成され、
会議途中に出席者が退席した場合には、その送話者切替
信号（PID）により、会議途中の退席者の動画入力部の
切放が行なわれる。

動画符号化部330は動画入力信号（PIN）をフレーム駒
落し方式による標本化処理、フレーム間符号化方式によ
る予測符号化処理、コサイン変換符号化方式による直交
換符号化処理などにより32kbpsに圧縮符号化し、動画デ
ータ（PSD）として識別子付加部340に送出する。

識別子付加部340は、動画データであることを示すフ
レーム識別子（FID）と、複数の動画入力部の中からど
の動画入力部を選択したかを示す送話者切替信号（PI
D）とを動画データ（PSD）に付加し、送信データ（SX
D）として制御装置900に送出する。

次に動画符号化部330について説明する。

動画符号化部330 動画符号化部330の一例を第３図に示す。

この動画符号化部330は入力処理ユニット331と、送信
メモリユニット332と、コサイン変換ユニット333と、符
号化ユニット334とよりなる。

以下、この動画符号化部330の動作について説明す
る。

まず動画セレクタ部320で選択された動画入力信号（P
IN）は入力処理ユニット331に送出され、動画入力信号
からカラーバーストと同期信号が除去された後、８ビッ
トでA/D変換が行なわれる。さらに図示しないディジタ
ルフィルタにより各フレームの画素数は256×256から12
8×128へ、フレーム周波数も30フレーム／秒から10フレ
ーム／秒に減少される。

次に入力処理された各フレームのデータは、送信メモ
リユニット332に送出され、図示しない現用フレームメ
モリに入れられる。一つ前の書き換え済フレームのデー
タは、図示しない参照フレームメモリに入れられてお
り、８×８画素のブロック単位で現フレームと参照フレ
ームが比較され、書き換えるべきブロックが決められ
る。あるブロックが大きく変化していると参照メモリが
書き直されるとともに、そのブロック情報がコサイン変
換ユニット33に入力される。あまり変化のないブロック
は何も処理されず書き直しもされない。

さらにコサイン変換ユニット333は、２次元コサイン
変換により画素間の相関性を取り除き、得られた変換係
数を符号化ユニット334に送出する。

この変換係数はゼロをとる係数が多いため、ビット０
の長い列を送る代わりにランレングス符号化で圧縮す
る。

次に符号化ユニット334は、変換係数に対し画像の局
部エネルギーの予測に従ってハフマン符号化表中の実際
の符号を選択する。また、ブロックに関する情報も符号
化する。

この符号化データは図示しない送信バッファに入り、
ここから所定の伝送速度で識別子付加部340に動画デー
タ（PSD）として送出される。

また、符号化ユニット334は送信データのオーバフロ
ーや、アンダフローを防ぐため伝送レート制御を行な
う。

このように動画符号化部330ではスペクトル上、空間
上、時間上の三つの圧縮を組合せている。

即ち、スペクトル上は色成分の冗長度に対し、色成分
のフィルタリングにサブサンプリングを行ない、空間上
は輝度あるいは振幅における冗長度に対し水平・垂直両
方向でのサブサンプリングと画素間の相関性を除くため
の２次元コサイン変換符号化を行ない、さらに時間上は
フレーム間の値における冗長度に対しフレーム飛び越し
と内挿および条件付き書き換えを行なっている。

話者識別装置510 第４図は話者識別装置510の一例を示すブロック構成
図である。

この話者識別装置510は、複数の会議参加者がいる場
合にその中の誰かが発言したとき符号相関を用いてその
発言者を識別する装置であり、マイク512、514と、アン
プ516、515と、符号検出器520、522と、64タップのシフ
トレジスタ524、32タップのシフトレジスタ526、相関検
出器としての64個の排他的論理和回路528、64個のアッ
プダウンカウンタ530−１〜530−64、コーダ532、オア
回路534およびラッチ536とからなっている。

第５図は、Ａ〜Ｅの５人の会議参加者がいる場合のこ
の話者識別装置510の設置例を示すもので、同図に示さ
れるようにマイク512、514が装置の左右に設置されてい
る。

このマイク512、514は発言者の発した音声を電気信号
に変換し、アンプ516、515は変換された第１チャンネル
の音声信号および第２チャンネルの音声信号をそれぞれ
適切なレベルまで増幅する。

次に符号検出器520、522はそれぞれアンプ516、515か
ら出力される信号が（＋）ならば“1"とし、（−）なら
ば“0"の符号を、SIGNR（ｋ）、SIGNL（ｋ）として出力
する。

ただしこの実施例の場合には、音声信号は帯域の約２
倍の周波数、たとえば０〜3.4kHz帯域では、8kHzでサン
プルされたｋサンプル時の信号であらわされている。

次に64タップのシフトレジスタ524は第２チャネルの
符号を8kHzごとにシフトする。また32タップのシフトレ
ジスタ526は第１チャンネルの符号をシフトし、32サン
プル分遅延させる。

そして排他的論理和回路528は第（１）式に示すよう
に、シフトレジスタ524のｉ段目の出力SIGNR（ｋ−ｉ＋
１）と、サンプルシフトレジスタ526の出力であるSIGNL
（ｋ−32）との間で符号相関をとる。

Zi＝SIGNR（ｋ−ｉ＋１）＋SIGNL（ｋ−32）……（１） アップダウンカウンタ530−１〜530−64は、この相関
出力ZiをZi＝１の時はカウントアップし、Zi＝０の時は
カウントダウンすることにより平均化し、このカウンタ
ーがオーバーフローすることにより、最も相関の高いタ
ップ位置が検出される。

すなわちコーダ532はアップダウンカウンタ530−１〜
530−64のオーバーフローの位置をみつけ、その位置情
報を６ビットにコード化し、その上位３ビットをラッチ
536に出力する。

またオア回路534はオーバーフローがあったとき各ア
ップダウンカウンタ530−１〜530−64をクリアするとと
もに、ラッチ536に信号を送る。

ラッチ536はこの信号受信時に前記３ビットの情報を
とらえ、これを話者識別信号IDとして制御装置900に送
る。

第６図（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）は第
５図に示した各会議参加者Ａ、Ｂ、Ｃ、Ｄ、Ｅが発言を
した場合のインパルス応答を示すもので、各会議参加者
の発言によって左右各チャンネルへの音声到達時間が異
なるので、左右各チャンネルの入力信号の相関を取るこ
とにより話者識別を行なうことができる。

すなわち左右のマイクは、第５図に示すように設置さ
れ、各チャンネル間の伝達特性よりインパルス応答を求
めると、第６図に示すように、左右各チャンネルへの音
声到達時間差が発言者の位置により異なる。

第５図の場合、遅延は±4msec以内なので、相関検出
器は、音声の帯域を3.4k Hzとし、１サンプルは125μse
cとすれば、前後32サンプルの計64サンプル処理できれ
ば良い。

したがって第４図の相関検出器は64サンプに３者テレ
コンファレンスが実施できる。

状態検出装置800 状態検出装置800は会議出席者の有無を検出するもの
で第７図にその一例を示す。

この状態検出装置800はｎ個の座席802−１〜802−ｎ
に対応したｎ個の検出部804−１〜804−ｎと、検出部80
4−１〜804〜ｎの出力コード化して状態検出信号SDETと
して後述する制御装置900内の会議支援部991に送るコー
ダ806とからなる。

この検出部804−ｉは超音波を発生する発振器（OSC）
808と、会議参加者や壁で反射された前記超音波を検出
する検出器（DET）810と、測定回路812とからなる。

第８図は検出部804−ｉの詳細な回路図であり、測定
回路812は第９図に示すパルスを発生するパルス発生回
路（PG）814と、検出器810の信号を反転するインバータ
816と、パルス発生回路814の出力とインバータ816の出
力との論理積をとるアンド回路818と、アンド回路818の
出力が“1"のときの時間を測定するタイマ（TIMER）820
と、タイマ820の出力信号Ｃをあらかじめ設定した値Ｔ
と比較し、Ｃ＜Ｔのときにはその出力信号STiを“1"と
し、着席していることを示す比較器（COMP）822とから
なる。

次のこの状態検出装置800の動作について説明する。

まずパルス発生回路814から第９図（ａ）に示すよう
なパルスが発生されると、発振器808は前記パルスが
“1"のときだけ発振し、第９図（ｂ）に示すような超音
波を発生させる。

この超音波は座席に会議参加者がすわっているときに
は会議参加者に反射され、座席に会議参加者がすわって
いないときには壁によって反射され、第９図（ｃ）に示
すように遅延時間τだけ遅れて検出器810に到着する。

検出器810はこの超音波を検出しているとき、その出
力信号が“1"となる（第９図（ｄ））。これがインバー
タ816で反転され、又パルス発生回路814の出力信号とイ
ンバータの出力信号との論理和がアンドゲート818によ
ってとられるので、アンドゲート818の出力は第９図
（ｅ）に示すようなものとなる。

すなわちアンドゲート818の出力信号は遅延時間τの
間だけ“1"となる信号となる。そしてこの遅延時間τは
座席に会議出席者が着席しているときは小さく、会議出
席者がいないときは大きくなる。

そこでタイマ820はアンドゲート818の出力信号が“1"
となっている時間を測定し、信号Ｃとして比較器822に
入力する。

比較器822では信号Ｃと設定値Ｔとを比較する。この
設定値Ｔは会議出席者が着席している場合には信号Ｃの
方がＴより小さく、会議出席者が着席していない場合に
は信号Ｃの方がＴより大きくなるよう予め決定されてい
るので、Ｃ＜Ｔのときには比較器822の出力信号STiは
“1"となり、Ｃ＞Ｔのときには比較器の出力信号STiは
“0"となり、この出力信号STiにより会議出席者が着席
しているか否かがわかる。

第７図においてコーダ806は、各検出部804−１〜804
−ｎから送られる出力信号STi（ｉ＝１〜ｎ）をコード
化して状態検出信号SDETを会議支援部991に送る。

制御装置900 第10図は制御装置900の構成を示すブロック構成図で
ある。

各入力装置からのデータや各出力装置へのデータは内
部のデータバス901を介して伝達される。

すなわち描画入力装置100a、ｂ…からの描画データは
多重化部911により多重化されて入力インターフェース
部912、データバッファ913を介してデータバス901に送
られる。ここで、ａ、ｂ…とアルファベットを付記した
ものは同一機能の装置が複数台接続されていることを示
すものである（以下同じ）。

静止画入力装置200からの静止画データは入力インタ
ーフェース部922、データバッファ923を介してデータバ
ス901に送られる。

動画入力装置300からの動画データは入力インターフ
ェース部932、データバッファ933を介してデータバス90
1に送られる。

音声入力装置400からの音声データは入力インターフ
ェース部942、データバッフア943を介してデータバス90
1に送られる。

これら入力データにはどの入力装置からのデータフレ
ームであるかを示すフレーム識別子（FID）が付加され
ている。

データ出力の方は、まず静止画データがデータバス90
1から出力インターフェース部926を介してハードコピー
装置260へ送られる。

同様にして静止画、描画データがデータバス901から
出力インターフェース部916を介して平面表示装置150
a、ｂ…へ送られ、また出力インターフェース部917を介
して図形表示装置（１）160へ送られ、動画データが出
力インターフェース部936を介して図形表示装置（２）3
50へ送られ、音声データが出力インターフェース部946
を介して音声出力装置450へ送られる。

さらに図形表示装置（１）160からは入出力インター
フェース部917を介してデータバス901へ静止画、描画デ
ータを送ることもできる。

また蓄積装置600からの蓄積データはファイルインタ
ーフェース961を介してデータバス901に送られ、逆に蓄
積するときはデータバス901からファイルインターフェ
ース961を介して蓄積装置600へ送られる。

これらのデータの伝送先の切換えやデータの選択、多
重化はフレームコトローラ990にて行なわれる。

このフレームコントローラ990に集められたデータ群
を回線に送出する場合は、伝送インターフェース972を
介して伝送装置700に送られる。回線から伝送装置700を
介して送られてきたデータ群は伝送インターフェース97
2を介してフレームコントローラ990に送られる。

ここでデータバッファ913、923、933、943は、データ
の伝送先の切換えやデータの選択によりデータバスへの
伝送が一時的に中断されたときや、多重化により伝送路
容量を過渡的にオーバーしているときなどにデータを蓄
えるためのものである。

そしてフレームコントローラ990を制御しているのは
会議支援部991である。会議支援部991は話者識別装置51
0、状態検出装置800、操作入力装置850などからの信号
によりフレームコントローラ990に対してデータの選択
や送り先などの指示を行なう。

以上のデータ量において会議支援部991により会議を
進行させる。

以下、制御装置900の動作を説明する。

まず発言者が誰であるかを示す話者識別信号（ID）が
話者識別装置510より入力される。この信号をとに会議
支援部991は動画入力装置300に対して発言者を写すよう
に送話者切替信号（PID）を出力する。

これらの動画データはフレームコントローラ990にて
多重化され、伝送インターフェース972を介して伝送装
置700へ送られる。動画データには発言者を示す送話者
切替信号（PID）がデータフレームに付加される。

これとともに動画データは出力インターフェース部93
6を介して図形表示装置（２）350に送られ表示される。
この動画データはフレーム相関などの方法により圧縮さ
れたデータである。発言者は図形表示装置（２）350に
自分が表示されたことで選択されていることが判断でき
る。

会議出席者数や会議途中の退席者などの信号を示す状
態検出信号（SDET）は状態検出装置800から会議支援部9
91に入力される。会議支援部991ではこの信号をもとに
各入力装置のデータの入力の選択をフレームコントロー
ラ990に指示したり、またこの信号をもとに送話者切替
信号（PID）を生成して動画入力装置300に送り対応する
動画入力部310の切離しを指示したり、また図形表示装
置（２）350の表示から退席者の表示の消去を送話者切
替信号（PID）により指示したりする。

このように本実施例においては話者識別装置510によ
って検出される話者識別信号と状態検出装置800によっ
て検出される状態検出信号とから会議支援部991によっ
て送話者識別信号（PID）が生成されて動画入力装置300
の動画セレクタ部320に入力され、この動画セレクタ部3
20によって発言中の会議出席者に対応する動画入力部31
0が選択され、かつ離席した会議出席者に対応する動画
入力部310が切り離されるので、自動的に発言中の会議
出席者の動画データが本システムに入力されオペレータ
も不要となる。

［発明の効果］ 以上説明したように本発明では、話者識別信号と状態
検出信号から送話者識別信号を生成し、この送話者識別
信号により動画入力装置の動画入力部の選択および切離
しを行なうことにしたので、自動的に発言者の動画デー
タが本システムに入力されオペレータが不要となり、し
かもシステム全体を小型化することができる。

【図面の簡単な説明】

第１図は電子会議システムのブロック構成図、第２図は
動画入力装置のブロック構成図、第３図は動画符号化部
のブロック構成図、第４図は話者識別装置のブロック構
成図、第５図は話者識別装置の設置例を示す図、第６図
はインパルス応答図、第７図は状態検出装置のブロック
構成図、第８図は検出部のブロック構成図、第９図は状
態検出装置の各部の信号の波形図、第10図は制御装置の
ブロック構成図、第11図は従来の電子会議システムのブ
ロック構成図である。 300……動画入力装置 510……話者識別装置 800……状態検出装置 900……制御装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 升一 東京都日野市旭が丘３丁目１番１号 株式 会社東芝日野工場内 (72)発明者 坂野 弘和 東京都日野市旭が丘３丁目１番１号 株式 会社東芝日野工場内 (72)発明者 藍原 政芳 東京都日野市旭が丘３丁目１番１号 株式 会社東芝日野工場内

Claims (2)

【特許請求の範囲】
1. 【請求項１】会議出席者に基づく動画データおよび可聴
   音データを回線を介して複数の会議ユニットシステム間
   で伝送する電子会議システムにおいて、 少なくとも２つの音声入力手段を有し、これらの２つの
   音声入力手段に入力された信号の相関をとることによっ
   て会議場内に出席している複数の会議出席者の中から発
   言者を判定してこの発言者を示す話者識別信号（ID）を
   生成する話者識別装置と、 超音波を発生する発振器と会議参加者あるいは会議場の
   壁で反射された前記超音波を検出する超音波検出器と前
   記超音波検出器からの出力信号を入力し出席者の有無を
   判定する判定手段を具備し、前記判定手段の出力を会議
   出席者の離着席状態を表す状態検出信号（SDET）として
   出力する状態検出装置と、 前記話者識別信号（ID）と前記状態検出信号（SDET）か
   ら送話者切替信号（PID）を生成する手段を有する制御
   装置と、 前記複数の会議出席者の動画を個別に入力する複数個の
   動画入力手段を有し、前記制御装置において生成された
   前記送話者切替信号（PID）により、前記複数個の動画
   入力手段の中から、発言者に対応する動画が入力される
   一つの動画入力手段を選択し、かつ離席した会議出席者
   に対応する動画入力手段の出力を無効とする選択手段と
   を備えた動画入力装置とを設けたことを特徴とする電子
   会議システム。
2. 【請求項２】前記複数の判定手段は、所定の周期でパル
   スを発生するパルス発生回路と、前記超音波検出器から
   の出力信号の極性を反転するインバータと、前記パルス
   発生回路の出力と前記インバータの出力の論理積をとる
   論理積回路と、前記論理積回路の出力が第１のレベルの
   とき時間を測定するタイマと、前記タイマの出力信号Ｃ
   をあらかじめ設定した値Ｔを比較し、Ｃ＜Ｔのときには
   着席していることを示す第１のレベルの状態検出信号
   を、Ｃ＞Ｔのときには離席していることを示す前記第１
   のレベルと異なる第２のレベルの状態検出信号をそれぞ
   れ出力する比較器とを具備することを特徴とする特許請
   求の範囲第１項記載の電子会議システム。