JPH09247643A

JPH09247643A - 多地点テレビ会議システム

Info

Publication number: JPH09247643A
Application number: JP7931496A
Authority: JP
Inventors: Giichi Watanabe; 義一渡邊
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-03-08
Filing date: 1996-03-08
Publication date: 1997-09-19
Anticipated expiration: 2016-03-08
Also published as: JP3554999B2

Abstract

(57)【要約】【課題】各テレビ会議端末から受信した符号化された
ままの動画像情報を多地点テレビ会議制御装置が合成し
てその合成動画情報をテレビ会議端末に送信する際に生
じる得る不具合を解消することができるテレビ会議シス
テムを提供すること。【解決手段】多地点テレビ会議制御装置は、切り出し
領域を各テレビ会議端末へ通知する手段を備える一方、
前記各テレビ会議端末は、前記多地点テレビ会議制御装
置から通知された前記切り出し領域に基づいて動きベク
トル情報の付加領域を設定する手段と、その設定された
付加領域にのみ動きベクトル情報を付加して前記多地点
テレビ会議制御装置に送信する手段とを備えたことを特
徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】符号化されたままの伝送動画
情報の合成を伴う多地点テレビ会議システムに関する。

【０００２】

【従来の技術】従来の多地点テレビ会議制御装置におい
ては動画情報の切り出し、合成を行う際には、特開平４
−６３０８４号公報に見られるように、回線によって接
続された各テレビ会議端末からの受信動画情報を一旦復
号化した後に合成等の処理を行い、再符号化して送信し
ている。

【０００３】しかしながら上記の方法では、多地点テレ
ビ会議制御装置は、接続されるテレビ会議端末数分の動
画復号化器を備える必要があり、装置のコストの増大を
招いていた。

【０００４】そのため、ＩＴＵ−Ｔ勧告草案Ｔ．１２８
の１３．４．３項に示す様に、受信動画像の完全な復号
化を行わずに（完全な復号化とは、ＩＴＵ−Ｔ勧告Ｈ．
２６１に示される復号化の手順を全て実行する事を指
す）、符号化されている動画情報の内、ＧＯＢ番号のみ
を書き換える（この処理はＴ．１２８内には記述されて
いないが、Ｈ．２６１との整合を考えるとこの処理が必
要である）ことによって、４つのＱＣＩＦ動画情報を１
つのＦＣＩＦ動画情報へ合成する様な方法が提案されて
いる。

【０００５】しかしながら、上記の方法では、特開平４
−６３０８４号公報に開示された多地点間テレビ会議シ
ステムの様に画像の一部分の切り出しを伴う様な場合
（ただし、この多地点間テレビ会議システムでは一旦復
号化を行ってから切り出し、合成を行っているので、本
発明の構成とは異なる）には、テレビ会議端末からの受
信動画情報において動きベクトルが切り出し領域の外を
参照している様な場合に対応する事ができない為、テレ
ビ会議端末側ではフレームの全体を動きベクトル情報無
しのまま符号化（ＩＴＵ−Ｔ勧告Ｈ．２６１規定のＭＴ
ＹＰＥをＩＮＴＲＡもしくはＩＮＴＥＲ）するしかな
く、符号量が増大し、ひいては画質の低下を招くという
不具合が発生する。

【０００６】テレビ会議端末側で、切り出し領域の画像
のみを符号化して送信するような構成もあり得るが、そ
の場合にはＩＴＵ−Ｔ勧告草案Ｔ．１２８の１３．１項
に示されているスイッチクングサービスとの併用（ある
テレビ会議端末にはアレイプロセッサによる合成画像を
送信し、別のテレビ会議端末にはスイッチングサービス
によって、合成していないあるテレビ会議端末からの画
像を送信するような場合、例えば、発言者と前発言者の
テレビ会議端末にはお互いの画像をスイッチングサービ
スで提供し、それら以外のテレビ会議端末にはアレイプ
ロセッサで合成画像を提供する場合に対応することがで
きない。

【０００７】また、多地点テレビ会議制御装置における
画像合成の方法には、ＩＴＵ−Ｔ勧告草案Ｔ．１２８の
１３．４項に示されているマルチプレクスモード、トラ
ンスコーダ及びアレイプロセッサの３通りの方法が提案
されている。

【０００８】これらのうち、マルチプレクスモード、ア
レイプロセッサにおいては、送信側テレビ会議端末に設
定される動画情報の通信帯域の容量を１とすると、受信
側のテレビ会議端末には動画情報のために容量４の通信
帯域を設定する事が前提となる。

【０００９】しかしながら、通常の回線交換による回線
（パケットではない）では、回線の持つ帯域は固定であ
り、その固定の帯域内を送信、受信で対称に、音声用、
データ用、動画用に分割して利用するのが常である。こ
れらの手順はＩＴＵ−Ｔ勧告Ｈ．２２１・２４２に定義
される。勧告Ｈ．２２１では、送信、受信非対称の帯域
の設定も可能であるが、通常用いられない。また、動画
の帯城は音声及びデータで使われた残りが割り当てられ
るため、送信に対して正確に４倍の受信帯域を割り当て
る事はできない。

【００１０】また、ＩＴＵ−Ｔ勧告草案Ｔ．１２８の１
３．１項に示されているスイッチングサービスでは、ソ
ースとして選択された動画の帯城に受信側の帯域を合わ
せる必要があり、通常、スイッチングサービスに対応す
るために、各テレビ会議端末の送信、受信の帯城を対称
にし、かつ各端末での帯域も同一に合わせるような動作
が想定される。

【００１１】以上を鑑みて、上記２通りの画像合成の方
法を考えると、マルチプレクスモードでは、ａ）送信側及び受信側のテレビ会議端末に対称の通信帯
城を割り当てた場合には、多地点テレビ会議制御装置の
送信バッファのオーバーフローが発生する。つまり、対
称の通信帯域を割り当てた場合には、実用に供さない。ｂ）送信側及び受信側のテレビ会議端末に非対称の通信
帯域を割り当てた場合にも、通信帯域を正確に１：４に
設定する事はできない為、バッファのオーバーフローが
発生する（アンダーフローも発生しうるが、これは誤り
訂正フレームでのフィルビット挿入により回避できる：
ＩＴＵ−Ｔ勧告Ｈ．２６１参照）。また、スイッチング
サービスとコンティニュアスプレゼンスモードの切り替
えの度にビデオ帯城を再設定する必要があり、切り替え
に時間がかかる。アレイプロセッサでは、ａ）送信側及び受信側のテレビ会議端末に対称の通信帯
域を割り当てた場合には、多地点テレビ会議制御装置の
送信バッファにオーバーフローが発生する。つまり、対
象の通信帯城を割り当てた場合には、実用に供さない。ｂ）送信側及び受信側のテレビ会議端末に非対称の通信
帯城を割り当てた場合にも、通信帯域を正確に１：４に
設定する事はできない為、バッファのオーバーフローが
発生する。また、スイッチングサービスとコンティニュ
アスプレゼンスモードの切り替えの度にビデオ帯域を再
設定する必要があり、切り替えに時間がかかる。さら
に、多地点テレビ会議制御装において動画情報の切り出
しを伴うような場合には、ＧＯＢ番号だけでなく、各層
でのアドレスや動きベクトル情報も書き換える必要があ
り、そのことによる符号量の増大によって、送信バッフ
ァのオーバーフローが発生する可能性がある。

【００１２】また、アレイプロセッサにより画像合成を
行っている多地点テレビ会議制御装置を介して各テレビ
会議端末が多地点会議を行っている場合に、あるテレビ
会議端末からＶＣＵ（ビデオコマンド−ファーストアッ
プデイトリクエスト：ＩＴＵ−Ｔ勧告Ｈ．２３０参照）
の指示があると、多地点テレビ会議制御装置は回線を介
して接続されている全てのテレビ会議端末にＶＣＵを発
行して各テレビ会議端末からのＩＮＴＲＡフレーム（１
フレーム全体がＩＮＴＲＡモードで符号化されたフレー
ムを指す：通常このようなフレームでは、ＩＴＵ−Ｔ勧
告Ｈ．２６１に規定されているＰＴＹＰＥ−第３ビット
（ＦｒｅｅｚｅＲｅｌｅａｓｅ）をオン（＝１）し、
そのビットによりＩＮＴＲＡフレームか否かを判別す
る）の動画情報を合成してテレビ会議端末に送信するよ
うに動作する。

【００１３】しかしながら、多地点テレビ会議制御装置
から発行されたＶＣＵに対する各テレビ会議端末の応答
には時間的なズレがあるために、同一構成のテレビ会議
端末でかつ伝送バッファ状態が同様であったとしても、
最大（１／フレームレート）秒のズレが発生するため、
すべてのテレビ会議端末からのＩＮＴＲＡフレームの動
画情報が揃うまでは、合成後の動画情報をＩＮＴＲＡフ
レームとしてテレビ会議端末に送信できないケースが発
生する。

【００１４】もっとも、多地点テレビ会議端末が伝送バ
ッファで全てのテレビ会議端末からのＩＮＴＲＡフレー
ムの動画情報を待つ事により、合成動画情報のＩＮＴＲ
Ａフレームを構成する事はできるが、各テレビ会議端末
からの動画情報には、端末ごとに異なる大きな遅延が発
生することになるため、特別な処理を行わない限りＩＮ
ＴＲＡフレームの送信後も、合成動画情報を構成する各
テレビ会議端末からの動画情報は、互いに時間的にズレ
たままになってしまう。

【００１５】また、ＶＣＵを発行したテレビ会議端末
が、受信した動画データをデコードし続けていれば問題
なく動画像は復旧するが、通常、交信中にテレビ会議端
末がＶＣＵを発行するのは、受信データにエラーが検出
された場合である。その場合、多くのテレビ会議端末
は、受信動画像をフリーズして多地点テレビ会議制御装
置からのＩＮＴＲＡフレームを待ち、ＩＮＴＲＡフレー
ムの受信によってフリーズを解除する様に動作する。そ
のため、多地点テレビ会議制御装置の受信する各テレビ
会議端末からＶＣＵに応答して送信されたＩＮＴＲＡフ
レームにズレが生じると、多地点テレビ会議制御装置か
ら各テレビ会議端末への合成動画情報のＩＮＴＲＡフレ
ームの送信も遅れることになり、その遅れの分だけ、Ｖ
ＣＵを発行したテレビ会議端末は受信動画像のフリーズ
を解除する事ができずに一定時間動画が停止してしま
い、ＩＴＵ−Ｔ勧告Ｈ．２６１に規定されたタイムアウ
トによりフリーズが解除されてしまうと、タイムアウト
によって復号化を再開しても、受信したＩＮＴＥＲフレ
ームに対して参照すべき、ＩＮＴＲＡフレームをまだ受
信していなため、その後の受信動画像が乱れた映像にな
ってしまう。

【００１６】上記の場合とは逆に、多地点テレビ会議制
御装置で、あるテレビ会議端末からの受信動画データに
エラーを検出した場合には、通常、多地点テレビ会議制
御装置はテレビ会議端末に対してＶＣＵを発行する。し
かし、多地点テレビ会議制御装置がアレイプロセッサに
より画像合成を行っている場合には、受信した動画デー
タの復号化を行っていないため、前述したテレビ会議端
末での受信動画像の処理の様に、受信動画像を暫時フリ
ーズするといった処理はできない。

【００１７】このような場合の多地点テレビ会議制御装
置の動作としては、ａ）エラーフレームをそのまま、あるいはエラーを検出
したフレームのみを破棄する。ｂ）ＶＣＵのレスポンスがあるまで、無効データ（フィ
ルフレーム）を挿入する。が考えられる。

【００１８】しかし、ａ）の場合にはエラーフレームを
含む合成動画情報を受信したテレビ会議端末側でデコー
ドエラーが発生して画像が乱れる。また、ｂ）の場合に
は画像の一部分だけが静止する。したがって、テレビ会
議端末では合成後の１端末分の画像領域のデータが欠落
した形になるので、その部分の画像は更新されず見た目
でフリーズするため、エラーなのか、本当に静止してい
るのかの判別ができない。

【００１９】

【発明が解決しようとする課題】以上説明したように、
各テレビ会議端末から受信した動画像情報を多地点テレ
ビ会議制御装置が合成してその合成動画像画情報をテレ
ビ会議端末に送信する際には、上記したような種々の不
具合が生じ得る問題点があった。

【００２０】本発明は、係る事情に鑑みてなされたもの
であり、各テレビ会議端末から受信した符号化されたま
まの動画像情報を多地点テレビ会議制御装置が合成して
その合成動画情報をテレビ会議端末に送信する際に生じ
る得る不具合を解消することができるテレビ会議システ
ムを提供することを目的とする。

【００２１】

【課題を解決するための手段】請求項１記載の多地点テ
レビ会議システムは、複数の地点に設けられたテレビ会
議端末を多地点テレビ会議制御装置に接続し、前記各テ
レビ会議端末から多地点テレビ会議制御装置に符号化さ
れた動画情報を伝送するとともに、前記多地点テレビ会
議制御装置が前記各テレビ会議端末からの動画情報の一
部を切り出して得た切り出し領域を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記切り出し領域を前記各テレビ会議端末へ通知する手
段を備える一方、前記各テレビ会議端末は、前記多地点
テレビ会議制御装置から通知された前記切り出し領域に
基づいて動きベクトル情報の付加領域を設定する手段
と、その設定された付加領域にのみ動きベクトル情報を
付加して前記多地点テレビ会議制御装置に送信する手段
とを備えたことを特徴とする。

【００２２】請求項２記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記動画情報の合成方法を前記各テレビ会議端末に通知
する手段を備える一方、前記各テレビ会議端末は、前記
多地点テレビ会議制御装置から通知された合成方法に応
じて、前記多地点テレビ会議制御装置に伝送する符号化
された動画情報に所定量の無効情報を付加する手段を備
えたことを特徴とする。

【００２３】請求項３記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記各テレビ会議端末から伝送される符号化された動画
情報からフレーム内圧縮された領域を検出する手段と、
前記各テレビ会議端末へ送信する動画情報を一時蓄積す
るための動画送信バッファの蓄積状況を監視する手段
と、その動画送信バッファの蓄積量が所定量以上になっ
た場合には、前記各テレビ会議端末から伝送される符号
化された動画情報を一時蓄積するための動画受信バッフ
ァに蓄積された動画像情報のうち、前記フレーム内圧縮
を検出した領域に相当する動画情報を削除する手段とを
備えたことを特徴とする。

【００２４】請求項４記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
所定の画像をフレーム内圧縮した画像情報を記憶する手
段と、前記各テレビ会議端末から強制画面更新の要求が
あった場合には、前記所定の画像をフレーム内圧縮した
画像情報を前記各テレビ会議端末に送信する手段とを備
えたことを特徴とする。

【００２５】請求項５記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記各テレビ会議端末からの動面情報の伝送エラーを検
出する手段と、所定の画像をフレーム内圧縮した画像情
報を記憶する手段と、動画情報の伝送エラーを検出した
テレビ会議端末からの動画情報を、所定の画像をフレー
ム内圧縮した画像情報に差し替えて前記各テレビ会議端
末からの動画情報と合成し、その合成動画情報を各テレ
ビ会議端末へ送信する手段とを備えたことを特徴とす
る。

【００２６】請求項６記載の多地点テレビ会議システム
は、請求項５記載の多地点テレビ会議システムにおい
て、前記多地点テレビ会議制御装置は、前記所定の画像
をフレーム内圧縮した画像情報として、想定される伝送
レート、動画情報の合成数または／及びフレームレート
に応じた情報量の異なる複数の画像情報を記憶する手段
と、各テレビ会議端末との間に設定される伝送レート、
動画情報の合成数または／及びフレームレートに応じ
て、前記所定の画像をフレーム内圧縮した画像情報とし
て、前記情報量の異なる複数の画像情報のうちのいずれ
かを選択する手段とを備えたことを特徴とする。

【００２７】

【発明の実施の形態】以下、添付図面を参照しながら本
発明の実施の形態に係るテレビ会議システムの制御方法
について詳細に説明する。

【００２８】図１は、本実施の形態に係るテレビ会議シ
ステムの制御方法が適用されるテレテレビ会議システム
の構成を示している。

【００２９】同図において、１、１９、２０は、本発明
に関係する、同一構成のテレビ会議端末であり、ＩＳＤ
Ｎ回線１８により、ＩＳＤＮネットワークに接続されて
いる。なお、図示していないが、本発明に関係するテレ
ビ会議端末は、１、１９及び２０の３装置に限られな
い。また、２１は多地点テレビ会議制御装置であり、Ｉ
ＳＤＮ回線３１によりＩＳＤＮネットワークに接続され
ている。

【００３０】図２は、本発明に関係するテレビ会議端末
のうちのテレビ会議端末１について、そのブロック構成
を示したものである。

【００３１】同図において、２はシステム全体の制御を
司り、ＣＰＵ、メモリ、タイマー等からなるシステム制
御部、３は各種プログラムやデータを記憶するための磁
気ディスク装置、４はＩＳＤＮのレイヤ１の信号処理と
Ｄチャネルのレイヤ２の信号処理とを行うＩＳＤＮイン
ターフェイス部、５はＩＴＵ−Ｔ勧告Ｈ．２２１に規定
された信号処理によって、複数メディアのデータの多重
・分離を行うマルチメデイア多重・分離部、６は音声入
力のためのマイク、７は、マイク６からの入力信号を増
幅した後Ａ／Ｄ変換を行う音声入力処理部、８は音声信
号の符号化・復号化・エコーキャンセルを行う音声符号
・復号化部、９は音声符号・復号化部８で復号化された
音声信号をＤ／Ａ変換の後増幅する、音声出力処理部、
１０は音声出力処理部９からの音声を出力するためのス
ピーカ、１１は映像入力のためのビデオカメラ、１２は
ビデオカメラ１１からの映像信号をＮＴＳＣデコード、
Ａ／Ｄ変換等の信号処理を行う映像入力処理部、１３は
ＩＴＵ−Ｔ勧告Ｈ．２６１に準拠した動画像の符号化・
復号化を行う動画符号化・復号化部、１４は、動画符号
化・復号化装置１３で復号化された映像信号をＤ／Ａ変
換、ＮＴＳＣエンコード、グラフイックス合成等の信号
処理を行う映像出力処理部、１５は受信動画映像やグラ
フィックス情報を表示するためのモニター、１６はコン
ソールを制御するユーザーインターフェイス制御部、１
７は操作キー及び表示部よりなるコンソール、１８はＩ
ＳＤＮ回線である。

【００３２】図３は、多地点テレビ会議制御装置２１の
ブロック構成を示している。同図において、２２はシス
テム全体の制御を司りＣＰＵ、メモリ、タイマー等から
なるシステム制御部である。

【００３３】２３はＩＳＤＮインターフェイス部、２４
はマルチメデイア多重・分離部、２５は音声信号の符号
化・復号化を行う音声符号・復号化部、２６は送信する
動画データに訂正符号を付加してフレーム化する動画訂
正符号生成部（ＩＴＵ−Ｔ勧告Ｈ．２６１参照）、２７
は動画データの送信バッファ、２８は受信した動画デー
タのフレーム同期を検出しエラー検出、訂正を行う動画
エラー訂正・検出部（ＩＴＵ一Ｔ勧告Ｈ．２６１参
照）、２９は、動画データの受信バッファであり、２３
ないし２９の構成要素により、通信チャネル１が構成さ
れている。

【００３４】以上の構成は、通信チャネル１の構成であ
るが、図示するように、多地点テレビ会議制御装置２１
は、１ないしｎの通信チャネルを備え、通信チャネル１
以外の通信チャネルも、図示を省略しているが通信チャ
ネル１と同一構成を備え、それぞれがＩＳＤＮ回線に接
続されている。

【００３５】また、図３に示されている接続のうち、各
通信チャネルと音声・動画マルチプレクス部３０間の接
続（音声データ送受、動画データ送受）は、詳細には、
図４に示される様に各チャネル毎に別々の接続となって
いる。なお、図４については、後述する。

【００３６】その音声・動画マルチプレクス部３０は、
各通信チャネル１ないしｎで復号化された音声および動
画のデータをチャネル間で合成し配送する者である。３
１は、各通信チャネルに接続されたＩＳＤＮ回線であ
る。

【００３７】次に、テレビ会議システムの基本的な動作
について図５を参照して説明する。同図において、テレ
ビ会議を起動する際には、まず回線の接続を行う必要が
ある。これはＬＡＰＤを通じて行う通常の発呼手順に従
う。ＳＥＴＵＰ（呼設定メッセージ）は、伝達能力（Ｂ
Ｃ）を非制限デジタル、下位レイヤ整合性（ＬＬＣ）を
Ｈ．２２１、高位レイヤ整合性（ＨＬＣ）を会議として
送出する。

【００３８】相手端末がＳＥＴＵＰを解析し、通信可能
性が承認されると、相手端末はＣＯＮＮ（応答）を返
し、呼が確立される。ここで、下位レイヤ整合性におい
てＨ．２２１とは、図２におけるマルチメデイア多重・
分離部５で実行されるＩＴＵ−Ｔ勧告Ｈ．２２１がイン
プリメントされていることを示している。

【００３９】呼が確立されると、システム制御部２はマ
ルチメデイア多重・分離部５を制御し、マルチフレーム
同期信号の送出を行いマルチフレーム同期を確立する。
更に、システム制御部２はＩＴＵ一Ｔ勧告Ｈ．２４２に
従いマルチメデイア多重・分離部５を制御して能力通知
を行い、交信モードを確立する。これは、Ｈ．２２１上
のＢＡＳ信号上で行い、共通能力で必要なチャネルの設
定、ビットレートの割り当てを行う。本実施例では、音
声、動画、デー夕（ＭＬＰ）の３つのチャネルがアサイ
ンされる。交信モードが確定すると、各チャネルは各々
独立したデータとして取り扱う事が可能となり、テレビ
会議としての動作を開始する。

【００４０】以上の手順が、各テレビ会議端末と、多地
点テレビ会議制御装置２１の各通信チャネルとの間で行
われることにより、多地点テレビ会議制御装置２１を介
して多地点テレビ会議が可能となる。

【００４１】なお、動画データの通信帯城を送信、受信
とで非対称１：４に設定する為には、ダミーのデータチ
ャネル（ＬＳＤ）を確立する。例えば、回線の通信帯城
がＩＳＤＮのＢＲＩ：１２８ｋｂｐｓであったとする
と、受信側：３．２Ｋ（ＦＡＳ／ＢＡＳ）＋６．４Ｋ
（ＭＬＰ）＋６４Ｋ（音声）＋５４．４Ｋ（動画）送信側：３．２Ｋ（ＦＡＳ／ＢＡＳ）＋６．４Ｋ
（ＭＬＰ）＋６４Ｋ（音声）＋４０Ｋ（ＬＳＤ）＋１
４．４Ｋ（動画）といった設定を行い、送信側の動画データの通信帯域
（１４．４Ｋ）を、送信側の動画データの通信帯域（５
４．４Ｋ）の約４分の１に設定し、残りの約４分の３
（４０ｋ）をダミーのＬＳＤに設定する。

【００４２】しかしながら、上記の例でも明らかなよう
に、ＬＳＤの取り得る通信帯域は、任意の容量を選択す
ることはできず、予め決められたものの中から選択する
しかない（ＩＴＵ−Ｔ勧告Ｈ．２２１参照）ため、通信
帯域からその他のデータに配分される通信容量を差し引
いた残りの通信帯域が配分される動画データには、正確
に１：４の通信帯域を設定する事はできない。

【００４３】テレビ会議が起動されると、システム制御
部２は、音声符号・復号化部８及び動画符号・復号化部
１３を起動し、音声、動画、及びデータの双方向通信が
可能となる。

【００４４】データチャネル（ＭＬＰ）上では、ＩＴＵ
−Ｔ勧告草案Ｔ．１２０シリーズに規定されている会議
運営にまつわる各種データの授受が行われる。データチ
ャネル上のデータは、マルチメデイア多重・分離部５
（多地点テレビ会議制御装置２１側では２４、以下同）
で音声、動画データと分離、合成される。システム制御
部２（あるいは２２）は、マルチメディア多重・分離部
５（あるいは２４）へデータの読み出し、書き込みを行
い、上記勧告草案で示される各プロトコルは、システム
制御部２（あるいは２２）上において実行される。

【００４５】テレビ会議終了時には、システム制御部２
は、音声符号・復号化部８及び動画符号・復号化部１３
を停止すると共に、ＩＳＤＮインターフェイス部４を制
御し図５に示した手順に従い呼を解放する。

【００４６】ユーザは、これまで述べた各動作（発呼、
会議終了）の起動を、コンソール１７を操作して行う。
入力された操作データは、ユーザーインターフェイス制
御部１６を介してシステム制御部２へ通知される。シス
テム制御部２は、操作データを解析し、操作内容に応じ
た動作の起動あるいは停止を行うと共に、ユーザーへの
ガイダンスの表示データを作成し、ユーザーインターフ
ェイス制御部１６を介して、コンソール１７上へ表示さ
せる。

【００４７】多地点テレビ会議制御装置２１側では、上
述した様な手順で、各通信チャネル毎に１つのテレビ会
議端末と接続し、多地点間でのテレビ会議を運営する。
なお、上述した例では、テレビ会議端末側からの発呼に
より接続する例について説明したが、あらかじめ定めら
れた時刻に定められたテレビ会議端末へ多地点テレビ会
議制御装置２１側から発呼し、接続することもできる。

【００４８】次に、音声、動画のマルチプレクスの処理
について説明する。図４は、多地点テレビ会議制御装置
２１の音声・動画マルチプレクス部３０の構成を示して
いる。同図において、１０１は各通信チャネルからのデ
コードされた音声データの音量レベルを監視し、どのチ
ャネル（テレビ会議通信端末）からの音量レベルが最大
であるかを検出する話者検出部、１０２は各通信チャネ
ルからの音声データに重みづけを行ってミキシングを行
う音声ミキシング部、１０３はマトリクススイッチから
なり、各通信チャネルからの音声データ及び音声ミキシ
ング部１０２からのミキシングデータを各通信チャネル
に配信する音声切替部、１０４は各通信チャネルからの
動画データ（デコードはされておらず、符号データのま
ま）をＩＴＵ−Ｔ勧告草案Ｔ１２８の１３．４．３項に
示すような方法により合成を行うアレイプロセッサ部、
１０５はマトリクススイッチからなり、各通信チャネル
からの動画データ及びアレイプロセッサ部１０４からの
合成データを各通信チャネルに配信する動画切替部であ
る。

【００４９】システム制御部２２は、ＩＴＵ−Ｔ勧告草
案Ｔ．１２０シリーズのプロトコルに従って、または／
及び、システム制御部２２にあらかじめ設定されている
パラメータに基づく適応制御によって、音声、動画の合
成形態（音声ミキシング部１０２における各チャネルの
重みづけ、アレイプロセッサ部１０４における動画の合
成位置、形状、音声切替部１０３における配信形態、動
画切替部１０５における配信形態）を決定して、各部に
設定する。また、上記合成形態の決定要因として話者の
特定を行う必要のある場合には、話者検出部１０１から
話者と判別されたチャネル番号（端末番号）を読み出
し、要因として使用する。

【００５０】一例として、９つのテレビ会議端末が接続
され会議を行っている際に、話者として端末番号２が、
また直前の話者として端末番号３が検出されていた場合
の、各チャネルへの出力データの例を図６に示す。ま
た、このときの音声ミキシング部１０２での合成形態
（比率）の例を図７に、アレイプロセッサ部１０４での
合成形態を図８に示す。

【００５１】図８ではまた、画像切りだしを伴うアレイ
プロセッサ部１０４での処理の一例を示している。アレ
イプロセッサでは、送信する画像フォーマットに対して
１／４の画像（縦横とも１／２）の画像を受信して合成
を行うが、この例では更に受信した画像の一部を切り出
して合成している。ここでは、送信がＦＣＩＦ、受信が
ＱＣＩＦフォーマットの例を示している。図中「ＭＢ」
とあるのはマクロブロックを示しており、切りだし、合
成はこのＭＢを最小単位として処理される。

【００５２】符号データのまま（デコードせずに）図８
に示すような画像の合成を行うには、ＩＴＵ−Ｔ勧告
Ｈ．２６１におけるフレーム構造中の各層でのアドレス
情報を書き換える必要がある。また、量子化ステップサ
イズの値も、必要に応じて（この値は必ずしもＭＢ層で
付加されていないため、ＧＯＢ層で付加された値や前に
ＭＢ層で変更された値を管理し、合成位置でのＧＯＢ層
や前の値と比較して必要に応じて付加する）書き換え
る。動きベクトルについては画像中の切りだし領域外が
指し示された場合に参照する術を持たない為、付加する
事はできない（テレビ会議端末側で全てのフレームを動
きベクトル無しで符号化する）。

【００５３】次に、本発明に係るテレビ会議システムに
おけるいくつかの動作手順について、各実施形態に分け
て説明する。

【００５４】先ず第１実施形態ついて説明する。第１実
施形態では、多地点テレビ会議制御装置装置は、アレイ
プロセッサで合成処理を行う際には、テレビ会議端末へ
切りだし領域を通知し、テレビ会議端末は、通知された
切りだし領域に基づいて動きベクトル付加領域を設定し
て動画の符号化を行う。

【００５５】切り出し領域の通知は、アレイプロセッサ
部１０４の起動時及び同部での合成形態の変更時に、
Ｈ．２２１上のＢＡＳコマンド（ＭＢＥ）を用いて通知
する（切りだしを行わない１フレーム全体を使用する場
合にも通知は行う）。そのため、第１実施形態では、図
５に示した能力交換の際にＭＢＥ能力有りとして能力交
換を行う。（他の方法としてＭＬＰ上のプロトコルを用
いても良い。）

【００５６】多地点テレビ会議制御装置２１からの切り
だし領域の通知に応じてテレビ会議端末が動きベクトル
付加領域を設定して動画の符号化を行う処理の手順につ
いて図９を参照して説明する。なお、多地点テレビ会議
制御装置装置に回線を介して接続されるテレビ会議端末
の代表として、テレビ会議端末１についてのみ説明する
が、その他のテレビ会議端末についても同様である（以
後説明する実施形態においても同様である）。

【００５７】図９において、テレビ会議端末１は、多地
点テレビ会議制御装置２１からＢＡＳを受信すると、シ
ステム制御部２がそれをマルチメデイア多重・分離部５
から読み込み、それが切りだし領域の通知かどうかをチ
ェックする（判断１００１）。

【００５８】図１０にその場合のＢＡＳコマンドの例を
示す。同図において、最初のデータはＭＢＥの開始を示
すＨ．２２１に規定されたデータ（コマンド：０ｘＦ
９）、続いてデータのバイト数（５ｂｙｔｅ）、データ
が切りだし領域通知であることを示す識別子（０ｘ１
Ｄ）、切りだし領域を示すデータとなっている。切りだ
し領域を示すデータは、４角形の４頂点のうちの１つ
（左上の頂点）を切り出し開始位置としてそのｘ座標及
びｙ座標をマクロブロック（ＭＢ）単位で指定するため
のデータと４角形の大きさをｘ座標及びｙ座標方向のマ
クロブロック（ＭＢ）単位の長さで指定するためのデー
タにより構成されている。

【００５９】さて、図９の手順において、受信したＢＡ
Ｓが切りだし領域の通知であると（判断１００１のＹｅ
ｓ）、システム制御部２は、動きベクトル情報の付加領
域を判定する（処理１００２）。

【００６０】設定する付加領域は、（１）切りだし領域より１ＭＢ分画像の内側の領域を動
きベクトル付加領域とする。（２）ただし、切りだし領域が画像領域の縁面に接する
場合には、その辺については切りだし領域と同一とす
る。の２点の法則に従って判定する。

【００６１】図１１に画像切りだし領域と動きベクトル
付加領域の関係について示す。切り出し領域の辺縁のマ
クロブロックは、その動きベクトルを求めるために切り
出し領域外を参照する場合があるため、多地点テレビ会
議制御装置２１において、動きベクトルの復号化を保証
するために、同図（ａ）に示すように、動きベクトルの
付加領域は、切り出し領域の１マクロブロック幅分の辺
縁を除外した領域としている。これより、多地点テレビ
会議制御装置２１においては、テレビ会議端末で付加さ
れた動きベクトルを確実に復号化できる（上記（１）の
場合）。

【００６２】また、同図（ｂ）、（ｃ）及び（ｄ）の例
が、上述した（２）の場合にあたり、切り出し領域のい
ずれかの辺が、元の画像のいずれかの辺と接する場合
は、その接する部分のマクロブロックには、元々動きベ
クトルは付加されていないため、その接する部分のマク
ロブロックは、動きベクトル付加領域とはしない。

【００６３】さて、図９の手順において、処理１００２
により上記したように動きベクトル付加領域を判定した
システム制御部２は、判定した動きベクトル付加領域を
動画符号・復号化部１３に設定する（処理１００３）。

【００６４】これにより、アレイプロセッサにより画像
切り出しを伴う画像合成を行う際にも、動きベクトル情
報を使用して画質の向上を図ることができる。

【００６５】次に、第２実施形態について説明する。本
実施形態では、多地点テレビ会議制御装置２１で行われ
る画像合成の方式をテレビ会議端末へ通知し、テレビ会
議端末は、通知された方式に基づいて符号化された動画
データに所定量の無効情報を付加して送信する。

【００６６】切り出し領域の通知は、通信の開始時及び
音声・動画マルチプレクス部３０での合成方式の変更時
に、Ｈ．２２１上のＢＡＳコマンド（ＭＢＥ）を用いて
通知する（合成を行わない場合にも通知は行う）。その
ため、第２実施形態では、図５に示した能力交換の際に
ＭＢＥ能力有りとして能力交換を行う。（他の方法とし
てＭＬＰ上のプロトコルを用いても良い。）

【００６７】第２実施形態の処理手順について、図１２
を参照して説明する。同図において、、テレビ会議端末
１は、ＢＡＳを受信すると、システム制御部２がそれを
マルチメディア多重・分離部５から読み込み、それが合
成方式の通知かどうかをチェックする（判断２００
１）。

【００６８】図１３に、その場合のＢＡＳコマンドの例
を示す。同図において、最初のデータはＭＢＥの開始を
示すＨ．２２１に規定されたデータ（コマンド）、続い
てデータのバイト数、データが合成方式通知であること
を示す識別子、合成方式を示すデータとなっている。

【００６９】さて、図１２に示す手順において、受信し
たＢＡＳが合成方式の通知であると（判断２００１のＹ
ｅｓ）、システム制御部２は、あらかじめ記憶されてい
る図１４に示すような、合成方法に対応した評価値Ｑを
判定する（処理２００３）。そして、システム制御部２
は、判定して得た評価値から付加すべき無効情報量Ｉｉ
ｎｖを算出する（処理２００３）。

【００７０】無効情報量Ｉｉｎｖは、動画の送信伝送帯
域をＢｔｘ、受信伝送帯域をＢｒｘ、評価値をＱとし、
以下の式１で示される。Ｉｉｎｖ＝Ｂｔｘ−（Ｂｒｘ×Ｑ）／１００ −（式１）

【００７１】なお、図１４において、トランスコーダで
の評価値が８０となっているのは、トランスコードの際
の縮小または／及び切りだしの際の画像の高周波成分の
増加に伴ってフレームレートが落ちてしまわないよう
に、あらかじめ端末からの送信時に情報量を削減してし
まうような動作を想定している。また、マルチプレクで
の評価値は、４つのソース画像がマルチプレクスで処理
される場合を想定している。

【００７２】さて、システム制御部２は、算出した無効
情報量Ｉｉｎｖを動画符号化・復号化部１３に設定する
（処理２００４）。動画符号化・復号化部１３における
無効情報の付加の方法には、ＩＴＵ−Ｔ勧告Ｈ．２６１
で規定されている２つの方法（マクロブロックフィル／
フィルビット挿入）のうちの、何れかあるいは両方を使
用する。

【００７３】以上の手順により、多地点テレビ会議制御
装置２１における画像合成方式に応じて、多地点テレビ
会議制御装置２１の動画送信バッファ２７がオーバーフ
ローしないように、テレビ会議端末１側で本来の動画デ
ータに付加する無効情報を適応的に増減させるため、多
地点テレビ会議制御装置２１における動画送信バッファ
のオーバーフロー回避することができる。

【００７４】次に第３実施形態について説明する。本実
施形態では、アレイプロセッサ（あるいはマルチプレク
ス）により画像合成が行われている際に、動画の送信バ
ッファのオーバーフローを避ける為に図１５に示す手順
の処理を行う。

【００７５】同図において、通信中、アレイプロセッサ
（あるいはマルチプレクス）によって画像合成が開始さ
れると、多地点テレビ会議制御装置のシステム制御部２
２は、各通信チャネルの動画送信バッファ２７の蓄積量
を監視する（処理３００１、判断３００２のＮｏルー
プ）。

【００７６】所定量以上の蓄積量が検出されると（判断
３００２のＹｅｓ）、システム制御部２２は、画像合成
のソースとなっている通信チャネルの動画受信バッファ
２９を検索する（処理３００３）。ＩＮＴＲＡモード
（フレーム内での符号化処理）で符号化されているマク
ロブロック（ＭＢ）を検出すると（判断３００４のＹｅ
ｓ）、システム制御部２２は、そのＭＢの合成後の画像
位置を求め、処理３００１で検出した動画送信バッファ
２７から、同じ画像位置の動画データを削除する（処理
３００５）。

【００７７】システム制御部２２は、以上の処理３００
３〜３００５までの処理を、ソースとなっている全通信
チヤネルに対して繰り返し行う（判断３００６のＮｏル
ープ）。さらに、システム制御部２２は、判断３００２
で検出した動画送信バッファ２７の蓄積量を確認し（判
断３００７）、改善されていなければ（判断３００７の
Ｎｏ）（まだ蓄積量が所定量以上であったら）従来のバ
ツファオーバーフロ一のエラー処理（例えば、動画送信
バッファ２７をクリアし、ソースとなっている全通信チ
ャネル（テレビ会議端末）に対してＶＣＵコマンドを発
行する）を行う（処理３００８）。

【００７８】これにより、多地点テレビ会議制御装置２
１でアレイプロセッサにより画像合成を行う際に、送信
バッファの蓄積量が所定量以上になると、受信バッファ
からＩＮＴＲＡ−ＭＢのデータを検索し、合成画像上の
同位置のデータが送信バッファから削除されるため、動
画送信バッファ２７のオーバーフローを回避することが
できる。

【００７９】次に、第４実施形態について説明する。本
実施形態では、アレイプロセッサにより画像合成が行わ
れている際に、テレビ会議端末からのＶＣＵコマンドを
受信すると、そのレスポンスとして図１６に示す手順の
処理を行う。

【００８０】同図において、通信中、アレイプロセッサ
によって画像合成が開始されると、多地点テレビ会議制
御装置２１のシステム制御部２２は、画像合成された動
画を送信している各通信チャネルのマルチメディア多重
分離部２４のＣ＆Ｉ符号（ＩＴＵ−Ｔ勧告Ｈ．２３０参
照：ＶＣＵコマンドはＣ＆Ｉ符号の一つである）を読み
出し、監視する（処理４００１及び判断４００２のＮｏ
ループ）。

【００８１】ＶＣＵコマンドが検出されると（判断４０
０２のＹｅｓ）、システム制御部２２は、画像合成のソ
ースとなっている全通信チャネル（テレビ会議端末）に
対してＶＣＵコマンドを発行する（全通信チャネルのマ
ルチメデイア多重・分離部２４にＶＣＵコマンドのＣ＆
Ｉ符号を書き込む）（処理４００３）。

【００８２】さらにシステム制御部２２は、アレイプロ
セッサ部１０４に記憶画像データの送信を指示して、ア
レイプロセッサ部１０４は、あらかじめ同部の中の不揮
発性メモリ（ＲＯＭ等）に記憶されている画像データ
（このデータは１フレーム分の画像データで、ＩＮＴＲ
Ａモードで符号化されている）を出力すると共に、画像
合成の処理を停止する（処理４００４）。その後、シス
テム制御部２２は画像合成のソースとなっていた全通信
チャネルの動画データを監視し（処理４００５、判断４
００６のＮｏループ）、ＩＮＴＲＡフレームを検出する
と（判断４００６のＹｅｓ）、その通信チャネルの画像
合成を再開する（処理４００７）。

【００８３】以上の処理４００５ないし４００７の処理
を、画像合成のソースとなっていた全通信チャネルの画
像合成が再開されるまで繰り返す（判断４００８のＮｏ
ループ）。

【００８４】以上の処理中における、テレビ会議端末側
での画像の変化を、図１７に示す。同図において、
（Ａ）は上述した図１６に示す手順における処理４００
４での画像、（Ｂ）は処理４００５ないし４００７で一
部の通信チャネルの画像合成が再開されている画像、
（Ｃ）は全ての画像合成が再開されている画像（ＥＮ
Ｄ）を示している。

【００８５】これにより、多地点テレビ会議制御装置２
１がテレビ会議端末からＶＣＵコマンドを受信した場合
には、他のテレビ会議端末にＶＣＵコマンドを発行する
と共に、一旦あらかじめ記憶されているＩＮＴＲＡフレ
ームの画像データを送信するため、多地点テレビ会議制
御装置２１において合成される画像間の遅延差の発生を
回避することができる。まは、テレビ会議端末におけ
る、画像のロックあるいは画像乱れを回避することがで
きる。

【００８６】次に、第５実施形態について説明する。本
実施形態では、アレイプロセッサにより画像合成が行わ
れている際に、そのソースとなっている通信チャネルで
伝送エラーを検出した際に、そのレスポンスとして図１
８に示す手順の処理を行う。

【００８７】同図において、通信中、アレイプロセッサ
によって画像合成が開始されると、多地点テレビ会議制
御装置２１のシステム制御部２２は、画像合成のソース
となっている各通信チャネルの動画エラー訂正・検出部
２８のエラー情報を読み出し、監視する（処理５００
１、判断５００２のＮｏループ）。訂正不能な伝送エラ
ーが検出されると（判断５００２のＹｅｓ）、システム
制御部２２は、エラーを検出した通信チャネル（テレビ
会議端末）に対してＶＣＵコマンドを発行する（通信チ
ャネルのマルチメデイア多重・分離部２４にＶＣＵコマ
ンドのＣ＆Ｉ符号を書き込む）（処理５００３）。

【００８８】さらにシステム制御部２２は、アレイプロ
セッサ部１０４に記憶画像データの合成を指示して、ア
レイプロセッサ部１０４は、あらかじめ同部の中の不揮
発性メモリ（ＲＯＭ等）に記憶されている画像データ
（このデータは１フレーム分の画像データで、ＩＮＴＲ
Ａモードで符号化されている）をエラーを検出した通信
チャネルの画像データとして画像合成を行う（処理５０
０４）。その後、システム制御部２２はエラーを検出し
た通信チヤネルの動画データを監視し（処理５００５、
判断５００５のＮｏループ）、ＩＮＴＲＡフレームを検
出すると（判断５００６のＹｅｓ）、その通信チャネル
から受信したデータによる画像合成を再開する（処理５
００７）。

【００８９】以上の処理中における、テレビ会議端末側
での画像の変化を、図１９に示す。同図において、
（Ａ）は上述した処理５００４での画像、（Ｂ）は、処
理５００７において受信したデータによる画像合成が再
開されている画像（ＥＮＤ）を示している。

【００９０】これにより、多地点テレビ会議制御装置２
１がテレビ会議端末からの動画データに伝送エラーを検
出した場合には、テレビ会議端末にＶＣＵコマンドを発
行すると共に、一旦あらかじめ記憶されているＩＮＴＲ
Ａフレームの画像データを合成するため、テレビ会議端
末における、画像乱れを回避することができる、また、
テレビ会議端末において、ユーザーに画像更新中である
ことを明示することができる。

【００９１】第５実施形態は、上記した利点を有する
が、あるテレビ会議端末からの受信動画データにエラー
が発すると、多地点テレビ会議制御装置２１が、あらか
じめ記憶してある符号化された画像データを、エラーを
検出した受信動画データの代わりに伝送する場合に、そ
の画像データのサイズが一定であると（１つのテレビ会
議端末に割り当てられている（帯域／フレームレート）
以上であると）伝送バッファがオーバーフローしてしま
う（アレイプロセッサでは、フレームレートを落とす
（フレームスキップにより情報を削減する）ことができ
ないため）。

【００９２】その問題を解決する、第６実施形態にいつ
て以下説明する。本実施形態では、第５実施形態に係る
図１８に示した処理手順における処理５００４で使用す
る画像データとして、それぞれデータ長の異なる複数の
画像データを持ち、動画送信の伝送レートと合成数に従
って適宜選択して使用する。

【００９３】図２０に記憶画像データのデータ長の例を
示す。多地点テレビ会議制御装置２１のアレイプロセッ
サ部１０４には図２０に示すような複数のデータ長の画
像データが、画像データ番号に対応してあらかじめ同部
の中の不揮発性メモリ（ＲＯＭ等）に記憶されている。
なお、これらの画像データは内容は同一のもので、符号
化における圧縮率が異なる（精細度が異なる）ものであ
る。

【００９４】システム制御部２２は、図１８に示す処理
５００４においてアレイプロセッサ部１０４に記憶画像
データの合成を指示する際に、（動画送信に割り当てら
れている帯域／合成数（画像合成のソースの数））を算
出し、それを基に、あらかじめシステム制御部２２内に
記憶されている図２０に示すテーブルを参照して、使用
する画像データ番号を決定してアレイプロセッサ部１０
４に通知する。アレイプロセッサ部１０４は、通知され
た画像データ番号に従って、画像データを合成し出力す
る。

【００９５】なお、第６実施形態では、フレームレート
が１５ｆｐｓ固定の場合について示したが、フレームレ
ートもオーバーフローの要因となるため、これに適応す
る複数の画像データを持つ事も有効である。同一内容で
圧縮率の異なる複数の画像データを記憶している例につ
いて示したが、画像内容そのものを異なるものとし、同
一の圧縮率でデータ長の異なるものを記憶しておいても
良い。

【００９６】

【発明の効果】請求項１に係る発明によれば、多地点テ
レビ会議制御装置において符号化されたままの動画情報
を、画像切り出しを伴って画像合成を行う際には、画像
の切りだし領域を各テレビ会議端末通知し、各テレビ会
議端末では、通知された画像の切りだし領域に基づいて
動きベクトルの付加領域を設定し、その付加領域にのみ
動くベクトル情報を付加するため、符号化されたままの
動画情報を、画像切り出しを伴って画像合成を行う際に
も動きベクトル情報を使用して画質の向上を計ることが
できる。また、いわゆるアレイプロセッサにより画像切
りだしを伴う画像合成とスイッチングサービスとを併用
して運用することができる利点もある。

【００９７】請求項２に係る発明によれば、多地点テレ
ビ会議制御装置で画像合成を行う際には、合成方式を各
テレビ会議端末に通知し、各テレビ会議端末では、通知
された合成方式に応じて動画データに所定量の無効情報
を付加するように構成されているため、多地点テレビ会
議制御装置における動画送信バッファのオーバーフロー
を回避することができる。また、多地点テレビ会議制御
装置における画像合成とスイッチングモードとの切り替
えをスムーズに行うことができる利点もある。

【００９８】請求項３に係る発明によれば、多地点テレ
ビ会議制御装置でいわゆるアレイプロセッサにより画像
合成を行う際に、動画送信バッファの蓄積量が所定量以
上になると、動画受信バッファからフレーム内圧縮され
た領域を検索し、合成画像上の対応する領域のデータを
動画送信バッファから削除するように構成されているた
め、多地点テレビ会議制御装置における動画送信バッフ
ァのオーバーフローを回避することができる。

【００９９】請求項４に係る発明によれば、多地点テレ
ビ会議制御装置がテレビ会議端末から強制画面更新要求
があった場合には、他のテレビ会議端末に強制画面更新
要求を発行すると共に、一旦あらかじめ記憶されている
フレーム内圧縮された画像情報を各テレビ会議端末に送
信するように構成されているため、多地点テレビ会議制
御装置において、強制画面更新要求に応答して各テレビ
会議通信端末から伝送されてくる画像間の遅延差に起因
する弊害を回避することができる。また、各テレビ会議
端末においては、多地点テレビ会議制御装置から受信す
る動画情報のロックあるいは画像乱れを回避することが
できる利点もある。

【０１００】請求項５に係る発明によれば、多地点テレ
ビ会議制御装置が各テレビ会議端末からの動画データに
伝送エラーを検出した場合には、その動画データに伝送
エラーが発生したテレビ会議端末に強制画面更新要求を
発行すると共に、一旦あらかじめ記憶されているフレー
ム内圧縮された画像情報を、動画データに伝送エラーが
発生したテレビ会議端末からの動画情報と差し替えて、
他のテレビ会議端末からの動画情報と合成するように構
成されているため、各テレビ会議端末における画像乱れ
を回避することができる。また、各テレビ会議端末にお
いて、ユーザに画像更新中であることを明示することが
できる利点もある。

【０１０１】請求項６に係る発明によれば、請求項５記
載のテレビ会議システムにおいて、多地点テレビ会議制
御装置は、前記所定の画像をフレーム内圧縮した画像情
報として、想定される伝送レート、動画情報の合成数ま
たは／及びフレームレートに応じた情報量の異なる複数
の画像情報を記憶し、各テレビ会議端末との間に設定さ
れる伝送レート、動画情報の合成数または／及びフレー
ムレートに応じて適切なデータ量の画像情報を選択して
合成するように構成されているため、多地点テレビ会議
制御装置における、送信バッファのオーバーフローを回
避することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るテレビ会議システム
の構成を示す図である。

【図２】本発明の実施の形態に係るテレビ会議端末のブ
ロック構成を示す図である。

【図３】本発明の実施の形態に係る多地点地点テレビ会
議制御装置のブロック構成を示す図である。

【図４】本発明の実施の形態に係る多地点地点テレビ会
議制御装置のの音声・動画マルチプレクス部３０の構成
を示している。

【図５】本発明の実施の形態に係るテレビ会議システム
の基本的な動作を示す図である。

【図６】各通信チャネルへ出力される音声及び動画デー
タの例を示す図である。

【図７】音声ミキシング部での各通信チャネル別の重み
付けの合成形態（比率）の例を示す図である。

【図８】アレイプロセッサ部での画像合成形態及び、画
像切り出しを伴うアレイプロセッサ部での処理の一例を
示す図である。

【図９】本発明に係るテレビ会議システムにおける第１
実施形態の処理手順を示すフローチャートである。

【図１０】第１実施形態に係る処理手順におけるＢＡＳ
コマンドの一例を示す図である。

【図１１】第１実施形態に係る画像切りだし領域と動き
ベクトル付加領域の関係について示す図である。

【図１２】本発明に係るテレビ会議システムにおける第
２実施形態の処理手順を示すフローチャートである。

【図１３】第２実施形態に係る処理手順におけるＢＡＳ
コマンドの一例を示す図である。

【図１４】第２実施形態に係る処理手順における合成方
法と評価値との対応例を示す図である。

【図１５】本発明に係るテレビ会議システムにおける第
３実施形態の処理手順を示すフローチャートである。

【図１６】本発明に係るテレビ会議システムにおける第
４実施形態の処理手順を示すフローチャートである。

【図１７】第４実施形態に係る処理手順におけるテレビ
会議端末側での画像の変化を示す図である。

【図１８】本発明に係るテレビ会議システムにおける第
５実施形態の処理手順を示すフローチャートである。

【図１９】第４実施形態に係る処理手順におけるテレビ
会議端末側での画像の変化を示す図である。

【図２０】第５実施形態に係る記憶画像データのデータ
長の一例を示す図である。

【符号の説明】

１、１９、２０テレビ会議端末２システム制御部３磁気ディスク装置４ＩＳＤＮインターフェイス部５マルチメデイア多重・分離部６マイク７音声入力処理部８音声符号・復号化部９音声出力処理部１０スピーカ１１ビデオカメラ１２映像入力処理部１３動画符号化・復号化部１４映像出力処理部１５モニター１６ユーザーインターフェイス制御部１７コンソール１８、３１ＩＳＤＮ回線２２システム制御部２３ＩＳＤＮインターフェイス部２４マルチメデイア多重・分離部２５音声符号・復号化部２６動画訂正符号生成部２７動画送信バッファ２８動画エラー訂正・検出部２９動画データ受信バッファ３０音声・動画マルチプレクス部１０１話者検出部１０２音声ミキシング部１０３音声切替部１０４アレイプロセッサ部１０５動画切替部

Claims

【特許請求の範囲】

【請求項１】複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報の一部を切
り出して得た切り出し領域を合成し、その合成動画情報
を各テレビ会議端末へ送信する多地点テレビ会議システ
ムにおいて、前記多地点テレビ会議制御装置は、前記切り出し領域を
前記各テレビ会議端末へ通知する手段を備える一方、前
記各テレビ会議端末は、前記多地点テレビ会議制御装置
から通知された前記切り出し領域に基づいて動きベクト
ル情報の付加領域を設定する手段と、その設定された付
加領域にのみ動きベクトル情報を付加して前記多地点テ
レビ会議制御装置に送信する手段とを備えたことを特徴
とする多地点テレビ会議システム。
【請求項２】複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、前記多地点テレビ会議制御装置は、前記動画情報の合成
方法を前記各テレビ会議端末に通知する手段を備える一
方、前記各テレビ会議端末は、前記多地点テレビ会議制
御装置から通知された合成方法に応じて、前記多地点テ
レビ会議制御装置に伝送する符号化された動画情報に所
定量の無効情報を付加する手段を備えたことを特徴とす
る多地点テレビ会議システム。
【請求項３】複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、前記多地点テレビ会議制御装置は、前記各テレビ会議端
末から伝送される符号化された動画情報からフレーム内
圧縮された領域を検出する手段と、前記各テレビ会議端
末へ送信する動画情報を一時蓄積するための動画送信バ
ッファの蓄積状況を監視する手段と、その動画送信バッ
ファの蓄積量が所定量以上になった場合には、前記各テ
レビ会議端末から伝送される符号化された動画情報を一
時蓄積するための動画受信バッファに蓄積された動画像
情報のうち、前記フレーム内圧縮を検出した領域に相当
する動画情報を削除する手段とを備えたことを特徴とす
る多地点テレビ会議システム。
【請求項４】複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、前記多地点テレビ会議制御装置は、所定の画像をフレー
ム内圧縮した画像情報を記憶する手段と、前記各テレビ
会議端末から強制画面更新の要求があった場合には、前
記所定の画像をフレーム内圧縮した画像情報を前記各テ
レビ会議端末に送信する手段とを備えたことを特徴とす
る多地点テレビ会議システム。
【請求項５】複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、前記多地点テレビ会議制御装置は、前記各テレビ会議端
末からの動面情報の伝送エラーを検出する手段と、所定
の画像をフレーム内圧縮した画像情報を記憶する手段
と、動画情報の伝送エラーを検出したテレビ会議端末か
らの動画情報を、所定の画像をフレーム内圧縮した画像
情報に差し替えて前記各テレビ会議端末からの動画情報
と合成し、その合成動画情報を各テレビ会議端末へ送信
する手段とを備えたことを特徴とする多地点テレビ会議
システム。
【請求項６】前記多地点テレビ会議制御装置は、前記
所定の画像をフレーム内圧縮した画像情報として、想定
される伝送レート、動画情報の合成数または／及びフレ
ームレートに応じた情報量の異なる複数の画像情報を記
憶する手段と、各テレビ会議端末との間に設定される伝
送レート、動画情報の合成数または／及びフレームレー
トに応じて、前記所定の画像をフレーム内圧縮した画像
情報として、前記情報量の異なる複数の画像情報のうち
のいずれかを選択する手段とを備えたことを特徴とする
請求項５記載の多地点テレビ会議システム。