JPH07236136A - 動画情報の伝送制御方式および表示制御方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【構成】ワークステーションやパーソナルコンピュータ
等の機器上、映像や音声等のマルチメディア通信を行な
うシステムにおいて、複数の動画像信号を受信してそれ
ぞれ複数の動画ウインドウに表示する。それらの動画ウ
インドウの表示状態に基づいて、各動画の帯域値を決定
する。決定した帯域値は、対応する動画の送信元に知ら
せる。送信側では、その帯域値の符号化速度で動画を符
号化して送信するようにする。受信側では、その帯域値
の復号化速度で動画を復号化して表示する。特に、ウイ
ンドウの深度が浅い動画や露出面積が大きい動画は、よ
り大きな帯域で高画質な動画像で表示し、ウインドウの
深度が深い動画や露出面積が小さい動画は、低画質な動
画像で表示する。 【効果】通信中であっても、受信側の表示状態から重要
な映像、注目されている映像を判断し、その映像ほど画
質がよくなるように伝送帯域を動的に多く割り当てるこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画情報の伝送制御方
式および表示制御方式に関し、詳しくは、通信網で相互
に接続されたワークステーションやパーソナルコンピュ
ータ等の機器上で動画像を含むマルチメディアの通信や
検索を行なうシステムにおいて、通信網を介して複数の
動画情報を受信し、複数の動画ウインドウに表示する場
合に、各動画像への割当て帯域幅を動的に変えること
で、より重要な動画像をより高画質に伝達および表示さ
せることができるようにした動画情報の伝送制御方式お
よび表示制御方式に関する。

【０００２】

【従来の技術】従来の通信システムでは、複数の動画像
を送る場合、各々の画像に割り当てる帯域は、通信開始
時に送り側が静的に決めていた。そのため、受け側は、
より高精細に画像を見たい場合は、改めて、通信回線の
帯域を設定しなおさねばならなかった。

【０００３】一方、通信中に、帯域を変化させるシステ
ムとして、特開昭６３−５４８５９「電子会議システム
のデータ伝送方式」に開示された方式がある。この方式
は、通信網のトラフィックに応じて、伝送すべきデータ
の優先順位の変更を行なうものである。すなわち、使用
している通信網のトラフィックが小さいときには、可聴
音データおよび動画データは低い圧縮率で圧縮符号化さ
れて伝送される。また、使用している通信網のトラフィ
ックが大きいときには、可聴音データおよび動画データ
は高い圧縮率で圧縮符号化されて伝送される。

【０００４】

【発明が解決しようとする課題】上記従来のシステムで
用いられている通信開始時に静的に帯域を定めて動画デ
ータを送る方式では、途中で、特定の映像の画質の向上
を図ろうとした場合、回線を一度切断し、改めて広い帯
域の回線を張り直すことになり、通信が一時中断してし
まうという問題があった。

【０００５】また、後者の通信中に帯域を変化させるシ
ステムでは、通信網のトラフィックに応じた制御しかで
きず、動画の通信の進行に応じて帯域を変えるというこ
とはできなかった。さらに、複数の動画信号に対する帯
域の変更や、その切っ掛けの与え方等は、考慮されてい
なかった。

【０００６】本発明は、通信網で相互に接続されたワー
クステーションやパーソナルコンピュータ等の機器上
で、従来のデータ通信のみならず、映像や音声を含むマ
ルチメディア通信を行なうシステムにおいて、複数の動
画ウインドウを用いて複数の動画の表示を行なう際に、
与えられた通信路容量の中で、複数ある動画像への割当
て帯域幅を各々変えることで、通信中の話題や状況に応
じて、重要な動画像をより高画質に伝達および表示させ
ることを目的とする。

【０００７】

【課題を解決するための手段】本発明は、受信側端末装
置において、複数の動画情報を受信して同時に表示して
いる最中に、複数の動画の表示状態に応じて、高画質化
すべき動画像と低画質化してもよい動画像とを区別し、
通信路を流れる複数の動画像信号の伝送のために割当て
られている個々の帯域を、通信路に割り当てられた通信
容量の上限値の範囲内で、動的に変更するようにしてい
る。このために、動画像毎の帯域を管理する帯域管理テ
ーブルを持たせ、これに基づいて割当て帯域の増減量を
決定するとよい。

【０００８】特に、受信側端末装置では、任意の台数の
送信側端末装置から送られてくる複数の動画像信号を受
信し、複数の動画ウインドウにそれぞれ表示していると
き、複数の動画ウインドウおよび他のウインドウに対す
るウインドウ操作がなされたことを検出するようにし、
該ウインドウ操作に応じて前記動画ウインドウの表示状
態がどのように変更されたかを求め、該表示状態に応じ
て前記通信網を流れる複数の動画像信号の伝送のために
割当てられている個々の帯域の変更値を決定する。決定
した帯域変更値は、受信側端末装置から送信側端末装置
に送られる。受信側端末装置と送信側端末装置では、そ
の帯域変更値で動画の符号化復号化を行なう。

【０００９】さらに、受信側での複数の動画の表示状態
に応じて、高画質化すべき動画像と低画質化してもよい
動画像とを区別する方式として、受信側の端末の表示画
面上での動画ウインドウの深度に応じて各動画の帯域を
決定するようにするとよい。すなわち、動画ウインドウ
の重なり状態からみて、一番上に置かれている動画ウイ
ンドウを高画質化の対象とし、一番下に置かれている動
画ウインドウを低画質化の対象とするようにする。この
ために、帯域管理テーブルの中に、各動画ウインドウの
ウインドウ重なり状態（深度）を書き込んでおき、この
情報に基づいて、割当て帯域の増減を決定するようにす
る。

【００１０】さらに、受信側での複数の動画の表示状態
に応じて、高画質化すべき動画像と低画質化してもよい
動画像とを区別する方式として、受信側の端末の表示画
面上での露出面積に応じて各動画の帯域を決定してもよ
い。すなわち、動画ウインドウの露出面積が最も大きい
動画ウインドウを高画質化の対象とし、露出面積の最も
小さい動画ウインドウを低画質化の対象とする。このた
めに、前記帯域管理テーブルの中に、各動画ウインドウ
のウインドウ重なり状態からみた露出面積を書き込んで
おき、この情報に基づいて、割当て帯域の増減を決定す
る。

【００１１】

【作用】受信側端末装置における複数の動画の表示状態
に応じて、通信網を流れる複数の動画像信号の伝送のた
めに割当てられている個々の帯域が動的に変更される。

【００１２】端末装置に持たせる帯域管理テーブルに
は、動画像ごとに割当て帯域値を書き込んでおく。さら
に、帯域管理テーブルには、動画ウインドウの重なり状
態（すなわち、画面上の何層めにあるかを示す深度）、
および露出比率（すなわち、他のウインドウに隠れず
に、表に見える面積比）を記載する欄を設ける。この重
なり状態や露出比率は、ウインドウの移動、拡大、およ
び縮小等の度に、再計算し、テーブルの更新を行なう。
その結果に応じて次の帯域割当て変更を行なう。

【００１３】ウインドウの深度の順に画質をよくする場
合には、帯域管理テーブルのウインドウが何層目にある
かの情報を参照し、１番上の動画ウインドウへの割当て
帯域を１番多くなるように設定し、１番下の動画ウイン
ドウへの割当て帯域をもっとも少なくなるように設定す
る。中間に位置するウインドウについても同様に増減値
を定める。合計する帯域値が通信路容量を越えないよう
にする。各動画ウインドウの動画に対する割当て帯域幅
が定まったところで、送信側の動画像の符号化装置と、
受信側の復号化装置に帯域変更指示を出す。

【００１４】一方、ウインドウの露出比率に基づいて画
質をよくする場合には、帯域管理テーブルのウインドウ
の表に見える面積比の情報を参照し、１番比率の高い動
画ウインドウへの割当て帯域を１番多くなるように設定
し、１番比率の低い動画ウインドウへの割当て帯域をも
っとも少なくなるように設定する。中間に位置するウイ
ンドウについても同様に増減値を定める。合計する帯域
値が通信路容量を越えないようにする。各動画ウインド
ウの動画に対する割当て帯域幅が定まったところで、送
信側の動画像の符号化装置と、受信側の復号化装置に帯
域変更指示を出す。

【００１５】ウインドウ操作により、画質が変わって欲
しくない動画ウインドウに関しては、帯域管理テーブル
の中の該当する動画ウインドウの割当て帯域の増減許可
情報に変更禁止を指示しておくことで、割当て変更手順
の際に、該当するウインドウについては、以前割り当て
られて帯域のままにして、他のウインドウの帯域だけを
増減させるようにするようにする。

【００１６】操作者から特定の動画ウインドウに関して
割当て帯域の指示があった場合には、帯域管理テーブル
に指示値と操作者からの指示があったという印をつけ
る。次に割当て変更手順を行なうが、その際に、該当す
るウインドウのみは、指示値に従い、他の動画ウインド
ウに関しては、通信路容量を越えない範囲で、所定の割
当て値を設定する。

【００１７】動画検索システムへの適用において、後か
ら検索した動画の画質を優先させる場合は、動画が検索
される度に、帯域管理テーブルに登録すると共に、呼び
出された順番がわかるように通番をふっておく。呼出し
がある度に、割当て帯域の見直しを行ない、最新の検索
動画像には帯域を多く与え、それ以前の検索動画像の帯
域は減少させることによって実現できる。

【００１８】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。なお、これにより、本発明が限定されるものではな
い。

【００１９】図１は、本発明の一実施例を示すシステム
構成図である。

【００２０】この図において、２のワークステーション
Ａと、１のワークステーションＢとは、ネットワーク３
によって接続されている。各ワークステーション１，２
は、同時に複数の動画像を送受信できる機能を備える。
ここでは、４つの動画を同時に送信および受信できる構
成になっている。

【００２１】ワークステーション２内の４つの映像源４
ａ，４ｂ，４ｃ，４ｄから出力された動画は、送信部５
により同時に送信され、ネットワーク３を介して、相手
方のワークステーション１内の受信部６に届く。受信部
６に届いた動画は、表示部７経由でディスプレイ８に出
力され、これにより、４つの動画がマルチウインドウ表
示で同時に表示される。

【００２２】同様に、ワークステーション１内の４つの
映像源１１ａ，１１ｂ，１１ｃ，１１ｄから出力された
動画も、送信部１２からネットワーク３を介して、相手
方のワークステーション２内の受信部１３に送られる。
受信部１３に届いた動画は、表示部１４経由でディスプ
レイ１５に出力され、これにより、４つの動画がマルチ
ウインドウ形式で同時に表示される。

【００２３】これらの動作は、各ワークステーション
１，２に備わるプロセッサ部９，１０による制御のもと
で実行される。なお、ネットワーク３としては、例え
ば、広帯域ＩＳＤＮ（サービス総合ディジタル網）が用
いられる。

【００２４】図２は、図１の構成の中の、プロセッサ部
９（または１０）の詳細な構成を示すブロック図であ
る。プロセッサ部は、ＣＰＵ２０、メモリ２１、通信制
御２３、およびＩ／Ｏ制御２４を備えている。２２は、
これら各部を接続するバスラインである。

【００２５】通信制御２３は、ＣＰＵ２０の制御のもと
で、ネットワーク３を介しての相手ワークステーション
との接続のために、ネットワーク３との間で通信路の確
立や通信路容量の確保を行なう。また、接続後、通信制
御２３は、相手ワークステーションとの間で、動画用の
通信路の帯域割当てのための通信など各種制御のための
通信を行なう。これらの通信制御は、データ通信用のセ
ル送信部（後述する図３の３９）への信号線２５や、デ
ータ通信用のセル受信部（後述する図４の４８）からの
信号線２６を用いて行なわれる。

【００２６】Ｉ／Ｏ制御２４は、動画用の通信路の帯域
の変更に伴って、動画の符号および復号の速度変更を指
示するために、符号速度指定レジスタ（後述する図３の
３８）への信号線２７や、復号速度指定レジスタ（後述
する図４の５２）への信号線２８を使用する。また、動
画ウインドウの制御のために、フレームメモリ制御（後
述する図５の５８）への信号線２９を使用する。

【００２７】ワークステーションは、動画以外に、通常
のグラフィックも表示させる。そのため、バス２２は、
信号線３０を介してグラフィック用フレームメモリ（後
述する図５の５６）にも接続されている。

【００２８】図３は、図１の構成の中の、送信部１２
（または５）の詳細な構成を示すブロック図である。

【００２９】４つの映像源から出力される動画信号は、
各々独立に、信号線３５ａ，３５ｂ，３５ｃ，３５ｄを
介して、動画符号化部３６ａ，３６ｂ，３６ｃ，３６ｄ
に入力する。符号速度指定レジスタ３８は、プロセッサ
部からの指令に応じて、４つの動画の各々に対して独立
に符号化速度を設定できるようになっている。動画符号
化部３６ａ，３６ｂ，３６ｃ，３６ｄは、符号速度指定
レジスタ３８に設定されているそれぞれの符号化速度に
基づいて、各動画信号の符号化を行なう。

【００３０】符号化された動画は、各々、動画用セル送
信部３７ａ，３７ｂ，３７ｃ，３７ｄへ送られる。動画
用セル送信部３７ａ，３７ｂ，３７ｃ，３７ｄは、符号
化された動画（動画データ）にヘッダ等を付加してセル
化し、そのセルを、セル多重化部４０へ送る。また、デ
ータ通信用セル送信部３９は、プロセッサ部からの制御
用情報をセル化し、セル多重化部４０へ送る。セル多重
化部４０は、入力したセルを多重化した後、網インタフ
ェース４１より、信号線４２を介してネットワーク３へ
送出する。

【００３１】図４は、図１の構成の中の、受信部６（ま
たは１３）の詳細な構成を示すブロック図である。

【００３２】他ワークステーションの送信部から送り出
された多重化されたセルは、ネットワーク３から、信号
線４５を介して、網インタフェース４６にて受信され
る。網インタフェース４６にて受信された多重化された
セルは、セルＩＤ別分離４７により、個々のセルに分離
され、セルＩＤに基づいて区分けされる。

【００３３】すなわち、データ通信用のセルは、データ
通信用セル受信部４８にて受信される。また、動画用の
セルは、セルＩＤ別分離４７において、複数ある動画の
うちのどの動画なのかがセルＩＤにより判別され、それ
ぞれ、対応する動画用セル受信部４９ａ，４９ｂ，４９
ｃ，４９ｄにて受信される。

【００３４】動画用セル受信部４９ａ，４９ｂ，４９
ｃ，４９ｄは、それぞれ、受信した動画用セルから動画
データを取り出し、動画復号化部５０ａ，５０ｂ，５０
ｃ，５０ｄに送る。動画復号化部５０ａ，５０ｂ，５０
ｃ，５０ｄは、動画データを復号する。

【００３５】復号速度指定レジスタ５２は動画データの
復号化速度を指定するためのレジスタであり、プロセッ
サ部からの指令に応じて、４つの動画の各々に対して独
立に復号化速度を設定できるようになっている。それぞ
れの動画復号化部５０ａ，５０ｂ，５０ｃ，５０ｄで
は、復号速度指定レジスタ５２に設定されている個別に
定められた復号化速度にて、動画データの復号を行な
う。各々、復号された動画は、信号線５１ａ，５１ｂ，
５１ｃ，５１ｄを介して、表示部（図１の７または１
４）へ送られる。

【００３６】図５は、図１の構成の中の、表示部７（ま
たは１４）の詳細な構成を示すブロック図である。

【００３７】受信部６（または１３）からの動画は、各
々、動画用フレームメモリ５５ａ，５５ｂ，５５ｃ，５
５ｄに書き込まれる。動画以外のグラフィックは、グラ
フィック用フレームメモリ５６に格納される。フレーム
メモリ制御５８は、プロセッサ部からの指示に従い、グ
ラフィックと４つの動画をどのような大きさのウインド
ウにするか、どの位置に配置するかの制御を行なう。こ
の制御により、グラフィック用フレームメモリ５６や動
画用フレームメモリ５５ａ，５５ｂ，５５ｃ，５５ｄか
ら、バス５７を介して表示データが取り出され、マルチ
ウインドウ化されてマスタフレームメモリ５９の上に展
開される。これを、表示制御６０がディスプレイ６１に
表示する。

【００３８】図６は、本実施例での帯域変更制御を実現
するためにワークステーション同士が通信するセルの通
信フォーマットを示したものである。

【００３９】ワークステーション間では、通信フォーマ
ット６５が用いられる。このセルは、宛先ＷＳ（ワーク
ステーション）アドレス用フィールド６６、送り元ＷＳ
アドレス用フィールド６７、セルＩＤ用フィールド６
８、およびデータ用フィールド６９からなる。セルＩＤ
用フィールド６８には、このセルがデータ通信用なの
か、映像用なのか、そしてどの映像用なのかが識別でき
るＩＤ（識別子）が設定される。

【００４０】セルＩＤ６８がデータ通信を示している場
合、データ用フィールド６９の中身は、付番７０に示す
フォーマットとなる。すなわち、データ用フィールド６
９の中身７０は、画質変更コマンド用フィールド７１、
どの動画に対するコマンドであるかを識別するための動
画ＩＤ用フィールド７２、および動画符号化速度の変更
値を指示するためのフィールド７３からなる。

【００４１】セルＩＤ６８が映像を示している場合、デ
ータ用フィールド６９の中身は、付番７４に示すフォー
マットとなる。すなわち、データ用フィールド６９の中
身７４は、動画データ用フィールド７６、およびどの動
画のデータであるかを識別するための動画ＩＤ用フィー
ルド７５からなっている。

【００４２】図７は、本実施例での帯域変更制御を実現
するためにワークステーションが備えている帯域管理テ
ーブルを示す。帯域管理テーブルには、複数の動画に関
して、ウインドウシステムから得た情報と、これに基づ
いて決定された動画符号化速度情報などが書き込まれて
いる。

【００４３】動画は、動画ウインドウとして、ウインド
ウシステムと連携して動作させるために、ウインドウＩ
Ｄによって区別される。このウインドウＩＤを書き込む
欄がウインドウＩＤ欄８０である。マルチウインドウ表
示のためウインドウ同士が重なりあうが、この重なり順
を示したのが、ウインドウ深度欄８１である。ウインド
ウ深度の値が小さいウインドウ程、画面上で手前側にあ
る。ウインドウ深度はウインドウシステムにより管理さ
れているから、ウインドウシステムからウインドウ深度
の情報を得て、ウインドウ深度欄８１に書き込むように
なっている。

【００４４】ウインドウサイズ欄８２には、各動画ウイ
ンドウのサイズを書き込む。ウインドウサイズ欄８２の
ウインドウサイズと、ウインドウシステムから得られる
ウインドウ位置の情報より、ウインドウの重なり状態に
よって、どのウインドウにも隠れていないで表にでてい
る部分の露出面積が計算できるので、その露出面積を書
き込む欄８３が設けられている。また、この露出してい
る面積がその動画ウインドウの全面積に対してどれくら
いの割合であるかを、露出面積とウインドウサイズとか
ら計算し、露出比率を求め、これを露出比率欄８４に書
き込む。

【００４５】各動画ウインドウと、通信路上での動画セ
ルとの対応をとるのが、動画ＩＤ欄８５である。動画符
号化速度欄８６には、現在の各動画ごとの、動画符号化
速度が記載されている。

【００４６】帯域変更許可欄８７は、受信側のウインド
ウ操作に関係なく、現在の割当て帯域を維持させたい場
合に、その動画に対して、帯域の変更禁止を指示してお
くことにより、変更対象から除かれるようにするための
欄である。ユーザにより、ある動画ウインドウの帯域の
変更禁止が指示されると、その動画ウインドウに関する
帯域変更許可欄８７に禁止を示すフラグが設定される。
図７の帯域管理テーブルの例では、ウインドウＩＤがＷ
１の動画が帯域変更禁止になっている。これにより、Ｗ
１の動画については常に動画符号化速度が１６Ｍｂｐｓ
で送受される。

【００４７】後述するようにウインドウ深度に基づいて
帯域割当てを行なう場合、ウインドウ深度が深いウイン
ドウは、帯域の割当分が小さくなり品質が低い動画にな
ることがある。しかし、ユーザの希望により、所定の品
質で常に見ていたいウインドウもある。その場合は、そ
のようなウインドウの帯域の変更を禁止することで、常
に所定の動画符号化速度で送受され、これにより常に所
定の品質で動画が表示されるようにできる。

【００４８】帯域のユーザ指定値欄８８は、ユーザが指
定した値で帯域を割当てるための欄である。ユーザは、
任意の動画ウインドウを指定して帯域の値を指定でき
る。ユーザの指定した値が、この欄８８に設定される。
以後は、そのウインドウの帯域は、この欄８８に指定さ
れた値となる。図７の帯域管理テーブルの例では、ウイ
ンドウＩＤがＷ２の動画のユーザ指定値欄８８に３６Ｍ
ｂｐｓと指定されている。これにより、Ｗ２の動画につ
いては、自動的に帯域割当て量が決められるのではな
く、常に指定された動画符号化速度３６Ｍｂｐｓで送受
される。この機能を用いることにより、ユーザは任意の
動画について常に所定の品質で見ていられるように指定
できる。

【００４９】図８は、通信中に動画の自動的な帯域割当
て変更を行なうためにワークステーション間で行なわれ
る処理のシーケンスフローを示したものである。映像の
送信元ＷＳ（ワークステーション）９１と映像受信側Ｗ
Ｓ９０との間のやり取りを示している。

【００５０】変更前の符号化速度にしたがって、映像送
信元ＷＳ９１から映像受信側ＷＳ９０へ、映像データ９
２が送られている。映像受信側ＷＳ９０にて、ウインド
ウ操作９３が行なわれると、ウインドウ深度および露出
比率等の再計算９４が行なわれる。計算結果（新たなウ
インドウ深度および露出比率等）は、図７の帯域管理テ
ーブルに書込まれる。

【００５１】この新たなウインドウ深度や露出比率に基
づいて、割当て帯域変更値の決定９５がなされる。この
決定に基づいて、図７の帯域管理テーブルの動画符号化
速度欄８６の更新９６がなされ、映像受信側ＷＳ９０か
ら映像送信元ＷＳ９１に対して、変更対象映像の符号速
度変更指示９７が通知される。

【００５２】受信側ＷＳ９０と、この通知を受けた送信
元ＷＳ９１では、それぞれ、復号速度指定レジスタ５２
の書き換え処理９８、および符号速度指定レジスタ３８
の書き換え処理９９を行なう。その後、映像送信元ＷＳ
９１は、変更後の符号化速度に基づいた映像データの送
信１００を行なう。

【００５３】図９、図１０、および図１１は、図８に示
したフローのうち、映像受信側ＷＳ９０における帯域変
更処理の部分を詳細に示したフローチャート図である。

【００５４】映像受信側ＷＳ９０では、ウインドウの大
きさや、位置、重なり具合等の変化があったかどうかを
調べるために、ウインドウマネージャからのウインドウ
操作イベントの到着待ちの処理１０５を行なう。イベン
トが来たら、処理１０６にて、図７の帯域管理テーブル
に登録されているすべての動画ウインドウに対するウイ
ンドウＩＤをウインドウマネージャに送り、ウインドウ
深度、大きさ（ウインドウサイズ）、および位置の座標
を得る。得られたウインドウ深度、およびウインドウサ
イズは、帯域管理テーブルの該当する欄８１，８２に書
き込む。

【００５５】次に、処理１０７にて、動画ウインドウ以
外のウインドウの深度、大きさ、および位置の座標を得
る。そして、処理１０８にて、得られたウインドウ情報
に基づいて、仮想画面上に全ウインドウを展開し、ウイ
ンドウの面積および重なり状況から、各動画ウインドウ
の露出面積および露出比率を計算する。計算結果は、帯
域管理テーブルの該当する欄８３，８４に書き込む。

【００５６】次に、処理１０９にて、通信路容量を変更
可能合計帯域値に初期設定しておく。変更可能合計帯域
値は、本システムで動画の通信用に使える帯域の最大値
である。

【００５７】次に、処理１１０にて、帯域管理テーブル
を調べ、帯域変更許可の欄８７が禁止になっている動画
があるかどうか調べる。なければ、処理１１３にうつ
る。もしある場合には、その動画を帯域の変更対象から
除く処理１１１を行なうと共に、先に初期設定した変更
可能合計帯域値から禁止されている動画の現在の割当て
量（動画符号化速度欄８６の値）を差し引く処理１１２
を行なう。その後、処理１１３にうつる。

【００５８】処理１１３では、帯域管理テーブルを調
べ、欄８８に帯域の指定値をユーザが指定しているかど
うか調べる。指定していなければ、処理１１６にうつ
る。もし指定されていた場合には、その動画を帯域の変
更対象から除く処理１１４を行なうと共に、変更可能合
計帯域値からユーザの指定値（帯域のユーザ指定値欄８
８の値）を差し引く処理１１５を行なう。その後、処理
１１６にうつる。

【００５９】処理１１６では、帯域割当てをどのような
方針で行なうかによって処理を分ける。ウインドウ深度
に基づいて帯域配分の制御を行なう場合は処理１１７に
うつり、露出比率に基づいて帯域配分の制御を行なう場
合は処理１１８にうつる。どちらの方針で帯域割当てを
行なうかは、あらかじめユーザにより指定されているも
のとする。

【００６０】処理１１７では、図７の帯域管理テーブル
に登録されている動画のうち、変更対象の動画（処理１
１１や１１４で除かれている動画は変更対象ではない）
について、合計値が変更可能合計帯域値（この時点での
値であり、処理１１２，１１５が実行されていた場合は
それらの処理で差し引かれた結果の値）になるように、
ウインドウ深度順に帯域値を割り振る。

【００６１】処理１１８では、図７の帯域管理テーブル
に登録されている動画のうち、変更対象の動画につい
て、合計値が変更可能合計帯域値になるように、露出比
率に基づいて帯域値を割り振る。

【００６２】なお、処理１１７，１１８で帯域値を割り
振る際、他のウインドウに全体を隠されてしまい画面上
には全く見えていない動画に関しては割当て帯域を０Ｍ
ｂｐｓにする。例えば、図７の帯域管理テーブルで、ウ
インドウＩＤがＷ５のウインドウは、他のウインドウに
隠されており露出面積が０であるので、割当てられた動
画符号化速度８６は０Ｍｂｐｓになっている。

【００６３】処理１１７または処理１１８のいずれかの
配分制御で、各動画の符号化速度の変更値が決定した
ら、処理１１９にうつる。

【００６４】処理１１９では、変更結果を図７の帯域管
理テーブルの動画符号化速度欄８６に書き込む。次に、
処理１２０にて、映像送信元である相手ＷＳ９１に各動
画ごとの帯域割当て変更値を通知するために、図６の付
番７０に示したような画質変更コマンド、動画ＩＤ、お
よび動画符号化速度の変更値等を送信元ＷＳ９１に通知
する。次に、処理１２１において、帯域割当て変更値に
基づいて自ＷＳ９０の動画ＩＤに対応する復号化部の復
号速度指定レジスタ５２を書き換える。

【００６５】図１２は、図８に示したフローのうち、映
像送信元ＷＳ９１における帯域変更の受け付け処理の部
分を詳細に示したフローチャート図である。

【００６６】映像送信側ＷＳ９１では、処理１２５に
て、映像受信側ＷＳ９０からの動画符号化速度の変更通
知を待ち、届いた場合には、処理１２６にて、その動画
符号化速度の変更通知に基づいて、自ＷＳの動画ＩＤに
対応する符号化部の符号速度指定レジスタ３８を書き換
える。次に、処理１２７にて、変更後の動画符号化速度
に基づいて、符号化部からの動画の送信を再開する。

【００６７】図１３は、マルチウインドウ表示されてい
る複数の動画の例を示す。この図を参照して、異なる方
針で帯域配分した場合に、配分量が異なる様子を説明す
る。

【００６８】ワークステーションの画面１３０の上に、
動画ウインドウ１３１，１３２，１３３，１３４が表示
されている。この図１３の状態における帯域管理テーブ
ルは、図７のものであるとする。ただし、動画符号化速
度欄８６は変更する前の値であるものとし、帯域ユーザ
指定値８８は指定されていないものとする。

【００６９】図１３で一番手前（深度が１）に表示され
ている動画ウインドウ１３１は、図７の帯域管理テーブ
ルのウインドウＩＤがＷ３のウインドウである。また、
図１３のウインドウ１３２（深度が２）は図７のＷ４、
ウインドウ１３３（深度が３）はＷ２、ウインドウ１３
４（深度が４）はＷ１である。Ｗ５のウインドウ（深度
が５）は他のウインドウに隠れており、図１３では図示
されていない。

【００７０】まず、ウインドウ深度の順で帯域割当て制
御を行なう場合について説明する。この場合、深度が１
の動画ウインドウ１３１の動画符号化速度が最も大き
く、深度が２の動画ウインドウ１３２の動画符号化速度
がその次の大きさとなり、深度が３の動画ウインドウ１
３３の動画符号化速度がさらにその次の大きさとなるよ
うに、帯域配分が行なわれる。帯域配分の結果は、新た
に動画符号化速度欄８６に書込まれる。また、動画ウイ
ンドウ１３４のように、重なりからはずれている動画に
関しては、変更許可を禁止しておくことにより、他のウ
インドウの変化にかかわらず、画質を一定に保つことが
できる。

【００７１】これに対し、帯域割当て制御を露出比率に
基づいて行なった場合には、まず露出比率が１００％の
ウインドウＷ３、すなわち動画ウインドウ１３１に最も
大きい動画符号化速度が割当てられ、次に露出比率が６
０％のウインドウＷ２、すなわち動画ウインドウ１３３
にその次の大きさで動画符号化速度が割当てられ、さら
に露出比率が２５％のウインドウＷ４、すなわち動画ウ
インドウ１３２にさらにその次の大きさで動画符号化速
度が割当てられる。動画ウインドウ１３４（Ｗ１）は、
露出比率が１００％であるが、変更が禁止されているの
で、動画符号化速度は変更されない。

【００７２】次に、本発明の第２の実施例として、本発
明を動画データベースシステムに適用した例について説
明する。

【００７３】図１４は、動画データベースシステムに適
用した場合の概略構成を示す。動画データベース１４０
は、１４１の動画Ａと、１４２の動画Ｂとを、各々、別
々の符号化部１４４，１４５，１４６，１４７にて送信
する。検索ＷＳ１５７，１６０では、ウインドウシステ
ムにより動画ウインドウを表示して、その動画Ａ，Ｂを
表示する。

【００７４】この場合、動画データベースの側を送信
側、検索ＷＳの側を受信側として、上記第１の実施例と
同様にして帯域配分するようにできる。これにより、各
検索ＷＳで表示状態が異なっても、独立して、それぞれ
のウインドウの状態に応じて、検索者が注目している動
画を高画質に送ることが可能となる。

【００７５】さらに、このように本発明を動画データベ
ースシステムに適用した場合に、検索順に動画の帯域配
分を行なうようにしてもよい。

【００７６】図１５は、図７の帯域管理テーブルに検索
順序の欄１６５を追加したものである。この図の例で
は、検索順序１６５が後の動画ほど、より大きな帯域が
割当てられている。例えば、最後（５番目）に検索した
ウインドウＷ５に最も大きな動画符号化速度が割当てら
れている。これにより、割当て変更処理において、この
検索順序をもとに帯域の割当て量を決定することがで
き、後から検索した動画ほど高画質にする制御が実現で
きる。

【００７７】

【発明の効果】本発明は、以上のように構成されている
ので、以下の如き効果を奏する。 （１）通信中であっても、重要な映像ほど画質がよくな
るように伝送帯域を動的に多く割り当てることができ
る。 （２）通信中に、通信路を保持しつつ、通信路に割り当
てられた通信容量を一定に保ちながら、通信路内を流れ
る複数の動画像信号の伝送のために割当てられている個
々の帯域を可変することで、通信中の複数の動画像の画
質に優劣をつけることができる。

【００７８】（３）受信側のウインドウ操作により、一
番上に配置された動画に対する帯域を一番多くし、一番
下の動画に対する帯域を一番少なく割当て直すことによ
り、現在、操作者が一番注目している動画を高画質に見
せることができる。 （４）受信側のウインドウ操作により、他のウインドウ
に隠されずに表に出ている動画に対する帯域を一番多く
し、一番隠れ方が大きい動画に対する帯域を一番少なく
割当て直すことにより、現在、操作者が一番注目してい
る動画を高画質に見せることができる。

【００７９】（５）特定の動画の帯域を、操作者が指定
することにより、該当するウインドウは、ウインドウ操
作があっても、指定した値のままで、他のウインドウだ
けが割当て変更されるようにできる。 （６）特定の動画の帯域を、現時点の帯域幅で固定させ
ることにより、特定の動画のみ現在の画質を保つことが
できる。

【００８０】（７）複数の動画が検索できる動画検索シ
ステムに適用することにより、検索している複数の動画
のうち操作者が注目している動画がもっとも高画質にな
るようにすることができる。 （８）複数の動画が検索できる動画検索システムに適用
することにより、後から検索した動画に多くの帯域を与
え、検索者が注目している動画がもっとも高画質になる
ようにすることができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すシステム構成図。

【図２】プロセッサ部のブロック図。

【図３】送信部のブロック図。

【図４】受信部のブロック図。

【図５】表示部のブロック図。

【図６】セルの通信フォーマットを示す図。

【図７】帯域管理テーブルを示す図。

【図８】ワークステーション間で行なわれる処理のシー
ケンスフロー図。

【図９】映像受信側ＷＳにおける帯域変更処理のフロー
チャート（その１）図。

【図１０】映像受信側ＷＳにおける帯域変更処理のフロ
ーチャート（その２）図。

【図１１】映像受信側ＷＳにおける帯域変更処理のフロ
ーチャート（その３）図。

【図１２】映像送信元ＷＳにおける帯域変更の受け付け
処理のフローチャート図。

【図１３】動画ウインドウの重なり状態の例を示す図。

【図１４】動画データベースへ適用した場合のシステム
構成図。

【図１５】検索順に帯域を割り付ける場合の帯域管理テ
ーブルを示す図。

【符号の説明】

１…ワークステーション、２…ワークステーション、３
…ネットワーク、４…映像源、５…送信部、６…受信
部、７…表示部、８…ディスプレイ、９…プロセッサ
部、１０…プロセッサ部、１１…映像源、１２…送信
部、１３…受信部、１４…表示部、１５…ディスプレ
イ、２０…ＣＰＵ、２１…メモリ、２２…バス、２３…
通信制御部、２４…Ｉ／Ｏ制御部、２５…通信制御部か
らセル送信部への信号線、２６…セル受信部から通信制
御部への信号線、２７…Ｉ／Ｏ制御部から符号速度レジ
スタへの信号線、２８…Ｉ／Ｏ制御部から復号速度レジ
スタへの信号線、２９…Ｉ／Ｏ制御部からフレームメモ
リ制御への信号線、３０…バスからグラフィック用フレ
ームメモリへの信号線、３５…映像源から動画符号化部
への信号線、３６…動画符号化部、３７…動画用セル送
信部、３８…符号速度指定レジスタ、３９…データ通信
用セル送信部、４０…セル多重化部、４１…網インタフ
ェース部、４２…網インタフェース部からネットワーク
への信号線、４５…ネットワークから網インタフェース
部への信号線、４６…網インタフェース、４７…セルＩ
Ｄ別分離部、４８…データ通信用セル受信部、４９…動
画用セル受信部、５０…動画復号化部、５１…動画復号
化部から表示部への信号線、５２…復号速度指定レジス
タ、５５…動画用フレームメモリ、５６…グラフィック
用フレームメモリ、５７…バス、５８…フレームメモリ
制御、５９…マスタフレームメモリ、６０…表示制御
部、６１…ディスプレイ、６５…通信フォーマット、６
６…宛先ＷＳアドレス用フィールド、６７…送り元ＷＳ
アドレス用フィールド、６８…セルＩＤ用フィールド、
６９…データ用フィールド、７０…セルＩＤがデータ通
信の場合の通信フォーマット内のデータの内容、７１…
画質変更コマンド用フィールド、７２…動画ＩＤ用フィ
ールド、７３…動画符号化速度の変更値用フィールド、
７４…セルＩＤが映像の場合の通信フォーマット内のデ
ータの内容、７５…動画ＩＤ用フィールド、７６…動画
データ用フィールド、８０…帯域管理テーブルのウイン
ドウＩＤ欄、８１…帯域管理テーブルのウインドウ深度
欄、８２…帯域管理テーブルのウインドウサイズ欄、８
３…帯域管理テーブルの露出面積欄、８４…帯域管理テ
ーブルの露出比率欄、８５…帯域管理テーブルの動画Ｉ
Ｄ欄、８６…帯域管理テーブルの動画符号化速度欄、８
７…帯域管理テーブルの帯域変更許可欄、８８…管理テ
ーブルの帯域のユーザ指定値欄。

Claims (13)

【特許請求の範囲】
1. 【請求項１】動画像信号を送信する送信側端末装置、複
   数の動画像信号を受信してそれぞれの動画を同時に表示
   する受信側端末装置、および該送信側端末装置と受信側
   端末装置とを接続する通信網を備えた通信システムにお
   ける動画情報の伝送制御方式であって、 前記受信側端末装置における複数の動画の表示状態に応
   じて、前記通信網を流れる複数の動画像信号の伝送のた
   めに割当てられている個々の帯域を動的に変更すること
   を特徴とする動画情報の伝送制御方式。
2. 【請求項２】動画像信号を送信する送信側端末装置、複
   数の動画像信号を受信してそれぞれの動画を同時に表示
   する受信側端末装置、および該送信側端末装置と受信側
   端末装置とを接続する通信網を備えた通信システムにお
   ける動画情報の伝送制御方式であって、 前記受信側端末装置は、 表示している複数の動画の表示状態を取得するステップ
   と、 該表示状態に応じて、前記通信網を流れる複数の動画像
   信号の伝送のために割当てられている個々の帯域の変更
   値を決定するステップと、 決定した帯域変更値を前記送信側端末装置に送るととも
   に、対応する動画の復号速度を該決定した帯域変更値に
   変更するステップとを備え、 前記送信側端末装置は、 前記受信側端末装置から帯域変更値が送られてきたとき
   は、動画の符号化速度を該帯域変更値に変更した後、動
   画像信号を送信するステップを備えたことを特徴とする
   動画情報の伝送制御方式。
3. 【請求項３】動画像信号を送信する送信側端末装置、複
   数の動画像信号を受信してそれぞれの動画を同時に表示
   する受信側端末装置、および該送信側端末装置と受信側
   端末装置とを接続する通信網を備えた通信システムにお
   ける動画情報の表示制御方式であって、 前記受信側端末装置は、 任意の台数の送信側端末装置から送られてくる複数の動
   画像信号を受信し、複数の動画ウインドウにそれぞれ表
   示するステップと、 該複数の動画ウインドウおよび他のウインドウに対する
   ウインドウ操作がなされたことを検出するステップと、 該ウインドウ操作に応じて前記動画ウインドウの表示状
   態がどのように変更されたかを求めるステップと、 該表示状態に応じて、前記通信網を流れる複数の動画像
   信号の伝送のために割当てられている個々の帯域の変更
   値を決定するステップと、 決定した帯域変更値を前記送信側端末装置に送るととも
   に、対応する動画の復号速度を該決定した帯域変更値に
   変更するステップとを備え、 前記送信側端末装置は、 前記受信側端末装置から帯域変更値が送られてきたとき
   は、動画の符号化速度を該帯域変更値に変更した後、動
   画像信号を送信するステップを備えたことを特徴とする
   動画情報の表示制御方式。
4. 【請求項４】前記帯域の変更において、受信側端末装置
   の表示画面上での各動画ウインドウの深度に応じて、各
   動画の帯域の変更値が決定される請求項３に記載の動画
   情報の表示制御方式。
5. 【請求項５】前記帯域の変更において、受信側端末装置
   の表示画面上での各動画ウインドウの露出面積に応じ
   て、各動画の帯域の変更値が決定される請求項３に記載
   の動画情報の表示制御方式。
6. 【請求項６】さらに、特定の動画に関しては、受信側で
   の複数の動画の表示状態にかかわらず帯域の変更を許可
   しない指定ができ、その指定がなされた動画については
   帯域の変更の対象から除くようにする請求項３に記載の
   動画情報の表示制御方式。
7. 【請求項７】さらに、特定の動画に関しては、受信側で
   の複数の動画の表示状態にかかわらず操作者が帯域の指
   示値を指定することができ、その指定がなされた動画に
   ついては該指示値を帯域値とする請求項３に記載の動画
   情報の表示制御方式。
8. 【請求項８】同時に複数の動画像を送信できる動画デー
   タベースと、同時に複数の動画像を受信し表示できる検
   索端末と、通信網とからなる動画検索システムにおい
   て、 前記検索端末における複数の動画の表示状態に応じて、
   前記動画データベースから送出され前記通信網を流れる
   複数の動画像信号の伝送のために割当てられている個々
   の帯域を動的に変更することを特徴とする動画検索シス
   テム。
9. 【請求項９】前記帯域の変更において、前記検索端末に
   おける検索順序に応じて、各動画の帯域の変更値を決定
   する請求項８に記載の動画検索システム。
10. 【請求項１０】動画像信号を送信する送信側端末装置、
    複数の動画像信号を受信してそれぞれの動画を同時に表
    示する受信側端末装置、および該送信側端末装置と受信
    側端末装置とを接続する通信網を備えた動画情報の表示
    制御システムであって、 前記受信側端末装置は、 任意の台数の送信側端末装置から送られてくる複数の動
    画像信号を受信し、複数の動画ウインドウにそれぞれ表
    示する手段と、 該複数の動画ウインドウおよび他のウインドウに対する
    ウインドウ操作がなされたことを検出する手段と、 該ウインドウ操作に応じて前記動画ウインドウの表示状
    態がどのように変更されたかを求める手段と、 該表示状態に応じて、前記通信網を流れる複数の動画像
    信号の伝送のために割当てられている個々の帯域の変更
    値を決定する手段と、 決定した帯域変更値を前記送信側端末装置に送るととも
    に、対応する動画の復号速度を該決定した帯域変更値に
    変更する手段とを備え、 前記送信側端末装置は、 前記受信側端末装置から帯域変更値が送られてきたとき
    は、動画の符号化速度を該帯域変更値に変更した後、動
    画像信号を送信する手段を備えたことを特徴とする動画
    情報の表示制御システム。
11. 【請求項１１】前記受信側端末装置における帯域の変更
    値を決定する手段は、表示画面上での各動画ウインドウ
    の深度に応じて、各動画の帯域の変更値を決定するもの
    である請求項１０に記載の動画情報の表示制御システ
    ム。
12. 【請求項１２】前記受信側端末装置における帯域の変更
    値を決定する手段は、表示画面上での各動画ウインドウ
    の露出面積に応じて、各動画の帯域の変更値を決定する
    ものである請求項１０に記載の動画情報の表示制御シス
    テム。
13. 【請求項１３】前記動画ウインドウの表示状態および帯
    域を管理するための帯域管理テーブルを備えた請求項１
    ０に記載の動画情報の表示制御システム。