JPH11313048A - マルチメディア通信方法及び通信装置 - Google Patents

Abstract

(57)【要約】 【課題】 通信路伝送帯域の変動や送信するメディア情
報数の変動に対して、伝送帯域に適合した符号化を施し
て各メディア情報に要求されるリアルタイム性や品質を
或る一定以上に保持する。 【解決手段】 通信路制御部１３によって通信路１０の
伝送帯域の変動を検出し、通信路の帯域と符号化方式と
の対応関係をメディア情報の種別毎に記憶するテーブル
２３を参照して、メディア情報の種別毎に複数の方式で
用意されている符号化器１１の内から、符号化制御部１
６が伝送帯域に対応する方式の符号化器を選択して送信
対象のメディア情報を符号化させる。そして、符号化さ
れた複数のメディア情報を多重化部１２で多重化し、こ
の多重化された符号化メディア情報を通信路１０を介し
て送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声、画像、手書
き文字画像等と言った複数のメディア情報を多重化して
通信するマルチメディア通信技術に関する。

【０００２】

【従来の技術】近年、据置き式や携帯可能なパーソナル
コンピュータ等の通信端末を用いて、有線或いは無線の
通信路により情報通信が盛んに行われている。このよう
な情報通信では、文字コード情報ばかりではなく、音声
情報、動画像情報、静止画像情報、更には、手書き文字
画像情報等と言った種々なメディア情報が符号化通信さ
れており、これら種々な符号化メディア情報を更に多重
化して通信することにより、メディア情報の同時性を図
っている。

【０００３】図９には、画像情報と音声情報とを符号化
及び多重化して通信するマルチメディア通信装置の一例
を示してある。デジタル変換されてＶＲＡＭ１００に一
時的に蓄積された入力画像情報は、符号化部１０１の画
像符号化部１０２で情報源符号化される。この画像符号
化方式としては、例えば、静止画ではＪＰＥＧ方式が一
般的に使われており、動画ではＩＳＯ標準のＭＰＥＧ１
（〜１．２Ｍｂｐｓ）、ＭＰＥＧ２（〜数Ｍｂｐｓ以
上）等や、ＩＴＵ−Ｔ勧告のＨ．２６１（６４〜１９２
０ｋｂｐｓ）、Ｈ．２６２（ＭＰＥＧ２と同じ〜数Ｍｂ
ｐｓ以上）、Ｈ．２６３（数ｋｂｐｓ以上）等が用いら
れている。なお、これらの符号化方式はいずれも基本的
な符号化の方法は同じで、離散コサイン変換（以下、Ｄ
ＣＴ：Discrete Cosine Transform）により変換して得
たＤＣＴ係数を、量子化器を用いて有効係数の数を削減
し、この量子化されたＤＣＴ係数を、エントロピー符号
化器（例えばハフマン符号化器）によって、エントロピ
ー符号化して情報源符号化情報とするものである。

【０００４】一方、入力音声情報は、Ａ／Ｄ変換器１０
３でデジタル変換された後、符号化部１０１の音声符号
化部１０４で情報源符号化される。この音声符号化方式
としては、例えば、ＩＴＵ−Ｔ勧告のＧ．７１１（６４
ｋｂｐｓ）、Ｇ．７２１（３２ｋｂｐｓ）、Ｇ．７２
３．１（５．３＆６．３ｋｂｐｓ）、Ｇ．７２８（１６
ｋｂｐｓ）、Ｇ．７２９（８ｋｂｐｓ）等が用いられて
いる。

【０００５】これらの情報源符号化情報は、受信側装置
で同時に復号されるように、多重化部１０５で画像情報
と音声情報とが同じ通信フレームに載せられて多重化さ
れる。そして、この多重化情報は通信制御部１０６の誤
り訂正符号化部１０７により誤り訂正符号化され、変調
器１０８により通信路１０９に適した信号に変調されて
送信される。なお、通信制御部１０６は、誤り訂正処理
の他に、データフロー制御や誤り検出等も行う。図１０
には、通信フレームの構造の一例を示してあり、通信フ
レームは、画像情報と音声情報とを多重化したデータ部
Ｉに、データフロー制御等の制御情報Ｃ及び同期信号Ｓ
が付加されて構成されている。

【０００６】受信側装置では、通信路１０９を介して受
信した多重化符号情報を復調器１１０により復調し、通
信制御部１１１の誤り訂正復号部１１２により誤り訂正
復号して、分離部１１３で各符号化メディア情報に分離
する。そして、分離された符号化画像情報は、情報源符
号化と逆の過程を辿って、復号部１１４の画像復号部１
１５でエントロピー復号、逆量子化、逆離散コサイン変
換され、これによって復号された画像情報がＶＲＡＭ１
１６に出力されて表示画面に表示される。一方、分離さ
れた符号化音声情報は、情報源符号化と逆の過程を辿っ
て、復号部１１４の音声復号部１１７で復号され、この
復号された音声情報がＤ／Ａ変換器１１８でアナログ変
換されてスピーカから出力される。

【０００７】ここで、上記のように複数種類のメディア
情報を同一の通信路（伝送媒体）を介して通信する装置
として、従来よりＴＶ電話システムが知られている。し
かしながら、ＴＶ電話システムでは、固定的に割り当て
た伝送帯域を用いて画像情報と音声情報とを常に同時に
送信しているため、外乱等によって通信路の伝送帯域に
変化が生ずると、画像情報の通信品質が極端に下がり、
時には音声情報の通信もままならないことが生じてい
た。

【０００８】顕著な例としては、インターネット上での
ＴＶ電話等による画像情報と音声情報との多重化通信が
ある。一般公衆回線では３３．６ｋｂｐｓ、ＩＳＤＮで
は６４ｋｂｐｓの通信が可能であるが、インターネット
では複数の呼が同時に接続可能であるので、サーバーに
接続する呼の数が増えると１つの呼あたりの伝送帯域が
減ってしまい、良好な多重化通信を行えない状態が生ず
る。すなわち、１０Ｍｂｐｓの転送能力を持つサーバー
に２００個の呼が接続されているときは１つの呼あたり
最大５０ｋｂｐｓの伝送帯域を割り当てることが可能で
あるが、２０００個の呼が接続されているときは１つの
呼あたり最大５ｋｂｐｓの伝送帯域しか割り当てること
ができない。

【０００９】しかも、接続数が一定ではないため、１つ
の呼あたりの伝送帯域は刻々と変化する。これは、呼接
続時に、例えば「音声８ｋｂｐｓ＋画像２０ｋｂｐｓ」
で接続できても、サーバに接続している呼の数が増えて
きて伝送帯域が減っても同じレートで音声情報と画像情
報とを送り続けようとするので、音声情報と画像情報の
どちらも途切れることになって、送信した情報の内容が
受信側に伝わらないという事態となる。

【００１０】図１１には、音声情報と動画像情報とを多
重化通信した場合において、変化する伝送帯域内で両者
の占める割合を示してある。音声情報はリアルタイムで
常に同じ方式で符号化され、その通信に占める伝送帯域
は一定であり、動画像情報は残余の伝送帯域しか通信に
使用することができない。図示のように、最初は２８ｋ
ｂｐｓの伝送帯域内で音声情報が８ｋｂｐｓ動画像情報
が２０ｋｂｐｓで通信していた場合に、時刻ｔ１からト
ータルの伝送帯域が１８ｋｂｐｓに減少したとすると、
十分な伝送帯域を確保できないことから、音声情報には
途切れが起こり、動画像情報も２０ｋｂｐｓに対応して
符号化されてくるのに対して、使用できる伝送帯域が足
りないために遅延とフロー制御によるバッファされた情
報の廃棄が起こり、スムーズな（一定のフレームレート
での）動画再生が行えないこととなる。更に、時刻ｔ２
になって１５ｋｂｐｓに伝送帯域が更に狭くなると、音
声情報は途切れが増加して認識できない程となり、動画
像情報は数秒に１フレームしか再生できないような動画
とは呼べない状態となる。

【００１１】また、近年、通話中にデータ通信を行う無
線通信システムが開発されており、このようなシステム
では、音声情報によるトラフィックが発生していない無
音状態の時に通信路の伝送帯域をデータ伝送に割り当
て、伝送帯域制限が厳しい無線通信路を有効活用するよ
うにしている。しかしながら、このような無線通信シス
テムは、複数種類のメディア情報を要求されるリアルタ
イム性や品質を満たして通信することはできず、また、
上記と同様に音声情報の符号化レートが常に一定である
ため、音声情報と画像情報とを通信する場合には画像情
報への伝送帯域が常に制限されてしまっていた。

【００１２】図１２には、音声情報と静止画像情報と手
書き文字画像情報とを多重化通信した場合において、伝
送帯域内で両者の占める割合を示してある。音声情報は
リアルタイムで常に同じ方式で符号化され、その通信に
占める伝送帯域は一定であるため、静止画像情報や手書
き文字画像情報のデータ通信には残余の伝送帯域しか使
用することができない。このように、トータルの伝送帯
域が変化しない場合でも、静止画像情報に加えて、更に
手書き文字画像情報を通信しようとした場合には、静止
画像情報と手書き文字画像情報とをまとめて狭い伝送帯
域で通信しなければならず、良好なデータ通信を実現す
ることができなかった。

【００１３】

【発明が解決しようとする課題】上記のように従来にあ
っては、外乱等によって通信路の伝送帯域に増減変化が
生じてしまった場合には、これに対応することができ
ず、多重化して通信されるメディア情報の品質を悪化さ
せてしまうと言う問題があった。また、通信路の伝送帯
域が一定な状態にあっても、送信するメディア情報の数
が増加した場合には、これらのメディア情報を要求され
るリアルタイム性を満たして送信することができないと
言う問題があった。例えば、音声情報と動画像情報とを
多重化通信するＴＶ会議システムにおいて、手書き文字
情報（すなわち、ファクシミリ文書情報）を必要に応じ
て送信する場合、更に手書き文字画像情報を多重化して
しまうと、利用者にとっては高いリアルタイム性や品質
を実現してこそ価値のある音声情報や動画像情報の送信
が遅延したり途切れたりしてしまうと言う事態が生ず
る。

【００１４】ここで、マルチメディア通信に関して、従
来では次のような発明がなされている。特許第２５２３
９９５号公報に記載された発明では、音声情報と画像情
報とを多重化して通信する場合に、これら情報の量に応
じて音声情報と画像情報との伝送比率を決めて、通信フ
レーム長が一定となるようにしている。しかしながら、
この発明にあっては、或る一定の伝送帯域が確保された
通信路において、音声情報と画像情報との伝送比率を当
該伝送帯域に合うようにしているだけであるため、外乱
等によって伝送帯域自体が変化してしまう場合には対応
することができないものであった。また、この発明は、
伝送比率は音声情報と画像情報との情報量によって決め
られることから、音声情報と画像情報とには当該情報量
に応じた遅延が生じてしまうため、通信するメディア情
報数の変動に対して、利用者の意図に沿ったリアルタイ
ム性や品質を実現して複数のメディア情報を送信するこ
とができないものであった。

【００１５】また、特公平７−７１２７６号公報に記載
された発明では、音声情報と動画像情報とを符号化して
伝送帯域が一定値に定められた通信路を介して通信する
場合に、通信する情報量に応じて動画像情報の符号化方
式を選択し、これら符号化音声情報と符号化動画像情報
とを当該伝送帯域で送信するようにしている。しかしな
がら、この発明にあっては、上記の発明と同様に、或る
一定の伝送帯域が確保された通信路において、動画像情
報の符号化方式を変更することにより通信情報量を当該
伝送帯域に合うようにしているだけであるため、外乱等
によって伝送帯域自体が変化してしまう場合には対応す
ることができないものであった。また、この発明は、常
に動画像情報側が符号化方式を変更されて、動画像情報
だけの圧縮率が調整されてそのリアルタイム性や品質が
変更されるため、通信するメディア情報数の変動に対し
て、利用者の意図に沿ったリアルタイム性や品質を実現
して複数のメディア情報を送信することができないもの
であった。

【００１６】また、特開平８−１８６２２号公報に記載
された発明では、伝送帯域が一定値に定められた通信路
を介して複数種類のメディア情報を符号化して多重通信
する場合に、メディア情報間の情報量に応じて各メディ
ア情報の符号化レートの配分を決めて当該伝送帯域で送
信するようにしている。しかしながら、この発明にあっ
ては、上記の発明と同様に、或る一定の伝送帯域が確保
された通信路において、各メディア情報の配分を決めて
通信情報量を当該伝送帯域に合うようにしているだけで
あるため、外乱等によって伝送帯域自体が変化してしま
う場合には対応することができないものであった。ま
た、この発明は、符号化レートの配分は通信情報量の相
関によって決められて、各メディア情報のリアルタイム
性や品質が通信情報量の相関によって変更されるため、
通信するメディア情報数の変動に対して、利用者の意図
に沿ったリアルタイム性や品質を実現して複数のメディ
ア情報を送信することができないものであった。

【００１７】本発明は、上記従来の事情に鑑みなされた
もので、通信路の伝送帯域の変動に対して、多重化して
通信されるメディア情報のリアルタイム性や品質の低下
を抑制するマルチメディア通信方法及び通信装置を提供
することを目的とする。また、本発明は、利用者の意図
に沿った態様で、当該リアルタイム性や品質の低下を抑
制するマルチメディア通信方法及び通信装置を提供する
ことを目的とする。また、本発明は、送信するメディア
情報数の変動に対して、利用者の意図に沿った態様で、
多重化して通信されるメディア情報のリアルタイム性や
品質の低下を抑制するマルメディア通信方法及び通信装
置を提供することを目的とする。

【００１８】

【課題を解決するための手段】本発明に係るマルチメデ
ィア通信方法では、複数のメディア情報を符号化して多
重化送信するに際して、検出された通信路の伝送帯域の
増減変化に応じて、通信路の伝送帯域が減少した場合に
は狭帯域用の符号化方式に切り替えて、メディア情報を
例えば高圧縮率で符号化して多重化送信する一方、通信
路の伝送帯域が増加した場合には広帯域用の符号化方式
に切り替えて、メディア情報を例えば低圧縮率で符号化
して多重化送信する。したがって、外乱等によって通信
路の伝送帯域が変動した場合にあっても、当該伝送帯域
に適合した符号化を施して複数のメディア情報を多重化
通信することができ、各メディア情報に要求されるリア
ルタイム性や品質を或る一定以上の保持することができ
る。

【００１９】このようなマルチメディア通信は、本発明
に係るマルチメディア通信装置により実施することがで
き、通信路情報検出手段によって通信路の伝送帯域の増
減変化を検出し、通信路の帯域と符号化方式との対応関
係をメディア情報の種別毎に記憶するテーブルを参照し
て、メディア情報の種別毎に複数の方式で用意されてい
る符号化器の内から、符号化制御手段が検出された伝送
帯域に対応する方式の符号化器を選択して送信対象のメ
ディア情報を符号化させる。そして、符号化された複数
のメディア情報を多重化手段で多重化し、この多重化さ
れた符号化メディア情報を送信手段が通信路を介して送
信する。

【００２０】更に、本発明に係るマルチメディア通信方
法では、符号化に用いた方式を示す制御情報を当該符号
化されたメディア情報と多重化して送信し、受信側で
は、当該制御情報に基づいて対応する復号方式に切り替
えて、受信した符号化メディア情報を復号する。したが
って、変動した伝送帯域に適合させて符号化方式を切り
替えた場合にあっても、受信したメディア情報を当該方
式に対応して復号することができる。

【００２１】このようなマルチメディア通信は、本発明
に係るマルチメディア通信装置により実施することがで
き、送信側装置では、多重化手段が符号化されたメディ
ア情報に更に符号化に用いた方式を示す制御情報を多重
化し、多重化されたメディア情報及び制御情報を送信手
段が通信路を介して送信し、受信側装置では、受信手段
で多重化されたメディア情報及び制御情報を受信して、
分離手段により制御情報及び種別毎の符号化メディア情
報に分離し、メディア情報の種別毎に用意された複数の
方式の復号器の内から、復号制御手段が受信した制御情
報に基づいて対応する方式の復号器を選択して、受信し
たメディア情報を復号させる。

【００２２】また、本発明に係るマルチメディア通信方
法では、複数のメディア情報を多重化送信するに際し
て、検出された通信路の伝送帯域の増減変化に対して、
メディア情報の種別に応じて設定された送信優先度に従
って、多重化して送信するメディア情報の数を増減させ
る。したがって、外乱等によって通信路の伝送帯域が変
動した場合にあっても、送信するメディア情報の数を調
整させて当該伝送帯域に適合させ、送信するメディア情
報について要求されるリアルタイム性や品質を或る一定
以上の保持することができる。しかも、このメディア情
報数の調整は送信優先度に従って行われるため、例え
ば、利用者が動画像情報を手書き文字画像情報より送信
優先度を高く設定しておけば、伝送帯域が減少してしま
った場合にあっても、少なくとも動画像だけはリアルタ
イムに送信して、受信側へ必要最低限の情報をその品質
を保って適時に伝達することができる。

【００２３】このようなマルチメディア通信は、本発明
に係るマルチメディア通信装置により実施することがで
き、優先度設定手段でメディア情報の種別に応じた送信
優先度を設定することにより、通信情報検出手段により
伝送帯域が減少したことが検出された場合に、当該送信
優先度に従って、符号化制御手段が符号化器により符号
化する送信対象のメディア情報の数を減少させ、多重化
手段が符号化された複数のメディア情報を多重化し、送
信手段が多重化された符号化メディア情報を通信路を介
して送信する。

【００２４】更に、本発明に係るマルチメディア通信方
法では、送信優先度をメディア情報の種別に応じたリア
ルタイム性に基づいて設定し、上記の送信するメディア
情報数の調整によって、送信を保留したメディア情報を
蓄積しておき、例えば伝送帯域が増加変動したり或いは
メディア情報の送信が一段落して、通信路の伝送帯域が
確保された時に当該蓄積されたメディア情報を送信す
る。したがって、即時に伝達したい情報は即時に送信さ
れ、或る程度遅延しての支障がない情報は送信すること
ができる状態となったときに送信され、種別に応じた特
徴に沿って複数のメディア情報を要求されるリアルタイ
ム性や品質を保って送信することができる。

【００２５】このようなマルチメディア通信は、本発明
に係るマルチメディア通信装置により実施することがで
き、上記した構成に加えて、メモリに符号化する送信対
象のメディア情報を保持し、通信路の伝送帯域が減少し
た時に保留したメディア情報を、符号化制御手段が通信
路の伝送帯域が確保された時にメモリから符号化器へ出
力し、符号化して送信させる。

【００２６】なお、本発明に係るマルチメディア通信方
法では、通信路の伝送帯域の増減変化に対して、上記し
た符号化方式の切り替えと送信優先度に従った送信メデ
ィア情報数の調整とを併用することにより、その時点で
使用可能な伝送帯域に適合させた適切な送信制御を実現
することができる。

【００２７】また、本発明に係るマルチメディア通信装
置では、上記した構成に加えて、送信側装置と受信側装
置との少なくとも一方に符号化に用いた方式を表示する
表示手段を備え、送信者や受信者にどのような符号化方
式によって情報が送信されているかを知らせるようにし
ている。したがって、例えば画像情報の劣化が或る程度
生じてしまうような状態にあっても、当該状態を踏まえ
た情報の解釈を可能にして、両者間での情報伝達をスム
ースに行わせることができる。

【００２８】また、本発明に係るマルチメディア通信装
置では、上記した構成に加えて、送信対象のメディア情
報の種別及びメディア情報毎の符号化に用いることが可
能な方式を検出された伝送帯域に応じて表示する表示手
段を備え、この表示を見ながら、利用者が優先度設定手
段によりメディア情報の種別に応じた送信優先度を入力
設定できるようにしている。したがって、送信者は自己
の感覚に従った送信優先度をその時の伝送帯域に応じて
適宜設定することができ、人と人との間の情報伝達を人
の感覚に従った態様で実現することができる。

【００２９】また、本発明に係るマルチメディア通信方
法では、複数のメディア情報を符号化して多重化送信す
るに際して、送信対象のメディア情報数の増減変化に応
じて、メディア情報数が減少した場合には広帯域用の符
号化方式に切り替えて、当該メディア情報を符号化して
多重化送信する一方、メディア情報数が増加した場合に
は、メディア情報の種別に応じて設定された送信優先度
に従って、優先度の低いメディア情報から狭帯域用の符
号化方式に順次切り替えて、当該メディア情報を符号化
して多重化送信する。また、本発明に係るマルチメディ
ア通信方法では、符号化したメディア情報を多重化送信
中に、当該メディア情報に対して送信優先度が高いメデ
ィア情報が送信対象として増加した場合には、優先度が
低いメディア情報を狭帯域用の符号化方式に切り替え符
号化し、符号化した優先度が高いメディア情報と符号化
した優先度が低いメディア情報とを多重化して送信す
る。

【００３０】したがって、送信対象のメディア情報数が
増加して現時点での伝送帯域を上回ってしまう場合に
は、送信優先度に従って、或る程度品質が劣化すること
が許容されるメディア情報から順に例えば圧縮率の高い
狭帯域用の符号化方式に切り替えて符号化し、送信要求
された数のメディア情報をその種別に応じた品質を保持
して、現時点の伝送帯域に適合させて送信することがで
きる。また、送信対象のメディア情報数が減少して現時
点での伝送帯域に余裕が生ずる場合には、例えば圧縮率
の低い広帯域用の符号化方式に切り替えて符号化し、現
時点の伝送帯域に有効に利用してメディア情報をより高
い品質で送信することができる。なお、このような制御
は伝送帯域が常に一定に設定された通信路を用いた場合
と、伝送帯域が上記のように変動する通信路を用いた場
合との、いずれにおいても効果があり、後者の場合に用
いた場合には、伝送帯域の変動と送信情報数の変動とが
複合された複雑な状態に対しても、種別に応じた必要な
品質を保持して複数のメディア情報を伝送帯域に適合さ
せて多重化送信することができる。

【００３１】このようなマルチメディア通信は、本発明
に係るマルチメディア通信装置により実施することがで
き、メディア数検出手段によって送信対象のメディア情
報数を検出し、通信路の伝送帯域を上回る送信対象メデ
ィア情報数が検出された場合には、符号化制御手段が、
送信するメディア情報数に応じてメディア情報の種別毎
に設定した符号化方式を記憶するテーブルを参照して、
優先度設定手段で設定された送信優先度に従って優先度
の低いメディア情報の符号化方式を狭帯域用に順次切り
替えて符号化器により符号化させ、多重化手段でこれら
符号化された複数のメディア情報を多重化して、送信手
段により通信路を介して送信する。

【００３２】更に、本発明に係るマルチメディア通信方
法では、符号化に用いた方式を示す制御情報を当該符号
化されたメディア情報と多重化し送信し、受信側では、
当該制御情報に基づいて対応する復号方式に切り替え
て、受信した符号化メディア情報を復号する。したがっ
て、送信する情報数の変動に対して伝送帯域に適合する
ように符号化方式を切り替えた場合にあっても、受信し
たメディア情報を当該方式に対応して復号することがで
きる。

【００３３】このようなマルチメディア通信は、本発明
に係るマルチメディア通信装置により実施することがで
き、送信側装置では、多重化手段が符号化されたメディ
ア情報に更に符号化に用いた方式を示す制御情報を多重
化し、多重化されたメディア情報及び制御情報を送信手
段が通信路を介して送信し、受信側装置では、受信手段
で多重化されたメディア情報及び制御情報を受信して、
分離手段により制御情報及び種別毎の符号化メディア情
報に分離し、メディア情報の種別毎に用意された複数の
方式の復号器の内から、復号制御手段が受信した制御情
報に基づいて対応する方式の復号器を選択して、受信し
たメディア情報を復号させる。

【００３４】また、本発明に係るマルチメディア通信方
法では、符号化された複数のメディア情報を多重化して
通信するに際して、通信路の伝送帯域を上回る送信対象
メディア情報数が検出された場合に、メディア情報の種
別毎に設定された送信優先度に従って優先度の低いメデ
ィア情報の符号化を保留して、残余の送信対象のメディ
ア情報を符号化して多重化送信する。したがって、送信
対象のメディア情報数が増加して現時点での伝送帯域を
上回ってしまう場合には、送信優先度に従って、リアル
タイム性がそれほど要求されないメディア情報から順に
符号化送信を保留し、リアルタイムの必要性が高いメデ
ィア情報を必要な品質を保持して、伝送帯域に適合させ
て送信することができる。

【００３５】このようなマルチメディア通信は、本発明
に係るマルチメディア通信装置により実施することがで
き、メディア数検出手段により通信路の伝送帯域を上回
る送信対象メディア情報数が検出された場合に、符号化
制御手段が、優先度設定手段により設定された送信優先
度に従って優先度の低いメディア情報の符号化を保留し
て、残余の送信対象のメディア情報を符号化器により符
号化させ、多重化手段でこれら符号化された複数のメデ
ィア情報を多重化して、送信手段により通信路を介して
送信する。

【００３６】また、本発明に係るマルチメディア通信装
置では、上記の構成に加えて、符号化する送信対象のメ
ディア情報を保持するメモリを備え、符号化制御手段
が、保留したメディア情報を、送信対象のメディア情報
の数が減少した時にメモリから符号化器へ出力し、符号
化して送信させる。したがって、送信対象のメディア情
報数が減少して現時点での伝送帯域に余裕が生じた時
に、伝送帯域を有効に利用してリアルタイム性がそれ程
要求されないメディア情報を高品質で送信することがで
きる。

【００３７】

【発明の実施の形態】本発明を実施例に基づいて具体的
に説明する。図１には、有線或いは無線の通信路１０を
介して接続される送信側装置と受信側装置とを備えた本
発明の一実施例に係るマルチメディア通信装置の構成を
示してある。なお、同図には、送信側装置に符号化して
多重化送信する機能を備え、受信側装置に多重化信号を
分離して復号する機能を備えて、送信側装置から受信側
装置へ単方向で送信する例を示してあるが、両方の装置
に符号化して多重送信する機能と多重化情報を受信して
分離復号する機能とをそれぞれ備えて、双方向で通信す
るようにしてもよい。

【００３８】送信側装置には、送信対象のメディア情報
を情報源符号化する符号化部１１と、符号化されたメデ
ィア情報及び符号化方式を示す制御情報を多重化して図
１０に示したような通信フレームに構成する多重化部１
２と、当該通信フレーム対する誤り訂正符号化処理やデ
ータフロー制御等を施す通信制御部１３と、当該通信フ
レームを通信路１０に適合する信号に変調して通信路１
０へ送信する変調器１４と、利用者からの操作入力を受
け付けるキーボタンやポインティングデバイス更にはマ
イクロホン等の入力部１５と、通信制御部１３から入力
される通信路情報や入力部１５から入力される利用者の
操作入力に応じて符号化部１１による符号化処理を制御
する符号化制御部１６と、利用者に対して採用可能な符
号化方式等を表示出力するＬＣＤ等の表示部１７と、を
備えている。

【００３９】受信側装置には、通信路１０から多重化さ
れた符号化メディア情報を受信して復調する復調器３１
と、復調した受信信号に誤り訂正復号処理等を施す通信
制御部３２と、受信した多重化信号を各符号化メディア
情報及び制御情報に分離する分離部３３と、分離された
符号化メディア情報を復号する復号部３４と、を備えて
いる。

【００４０】上記した送信側装置の更に詳細な構成は、
図２に示すようになっている。符号化部１１には、メデ
ィア情報の種類毎に複数の符号化部が備えられており、
本例では、手書き文字画像情報に対して可逆符号化を行
うデータ符号化用の符号化部１８と、静止画像情報に対
して非可逆符号化を行う画像符号化用の符号化部１９
と、音声情報に対して符号化を行う音声符号化用の符号
化部２０と、が備えられ、更に、各符号化部１８、１
９、２０には互いに符号化方式が異なる複数の符号化器
（符号化器１、符号化器２、符号化器３、・・・）が備
えられている。このようにメディア情報の種別毎、更に
は、符号化方式を違えて複数設けられた符号化器は、後
述するように通信路情報や利用者からの指示入力に基づ
いて符号化制御部１６により選択されて、入力された対
応するメディア情報を情報源符号化する。

【００４１】ここで、データ用符号化部１８には、例え
ば、符号化器１としてＨｕｆｆｍａｎ符号化器、符号化
器２としてＬｅｍｐｅｌ−Ｚｉｖ符号化器、符号化器３
としてＲｕｎｌｅｎｇｔｈ＋Ｌｅｍｐｅｌ−Ｚｉｖ符号
化器が備えられており、高圧縮率で狭帯域用のものから
低圧縮率で広帯域用のものまで複数の符号化方式が備え
られている。なお、本発明における手書き文字画像情報
とは、ＦＡＸデータをも含む可逆符号化を要するデータ
を言う。

【００４２】また、画像用符号化部１９には、例えば、
伝送帯域〜４ｋｂｐｓで１０ｋｂｙｔｅ（３２０×２４
０×２４ビット画像の約１／２０、画質は悪）の符号
化、伝送帯域４〜８ｋｂｐｓで２０ｋｂｙｔｅ（３２０
×２４０×２４ビット画像の約１／１０、画質は中）の
符号化、伝送帯域８〜１６ｋｂｐｓで４０ｋｂｙｔｅ
（６４０×４８０×２４ビット画像の約１／２０、画質
は良）の符号化を行うＪＰＥＧ符号化器が符号化器１と
して備えられている。また、画像用符号化部１９には、
例えば、伝送帯域１６ｋｂｐｓ以上で、３〜５ｆｐｓ以
下（１７６×１４４×２４ビット画像、画質は悪）の符
号化、６〜９ｆｐｓ（１７６×１４４×２４ビット画
像、画質は中）の符号化、１０ｆｐｓ以上（１７６×１
４４×２４ビットより大きい画像、画質は良）の符号化
を行うＨ．２６３符号化器が符号化器２として備えられ
ている。なお、これらの符号化器自体で、或る程度は伝
送帯域に適合させることは可能であるので、設定を変え
たものを符号化器１、符号化器２・・・としてもよい。

【００４３】また、音声用符号化部２０には、符号化器
１として伝送帯域１６ｋｂｐｓで用いるＧ．７２８（音
質は秀）の符号化器、符号化器２として伝送帯域８ｋｂ
ｐｓで用いるＧ．７２９（音質は良）の符号化器、符号
化器３として伝送帯域５．３ｋｂｐｓと６．３ｋｂｐｓ
で用いるＧ．７２３．１（音質はやや悪）の符号化器が
備えられている。

【００４４】多重化部１２には、符号化部１１で情報源
符号化された複数のメディア情報を多重化する多重化器
２１と、この多重化メディア情報に符号化制御部１６で
選択された符号化器の種類やパラメータ等の符号化制御
情報を更に多重化する多重化制御器２２とが備えられて
いる。すなわち、図１０に示したように、多重化メディ
ア情報Ｉに制御情報Ｃが付加され、更に通信制御部１３
によって同期信号Ｓが付加された送信信号が変調部１４
から通信路１０へ送信される。

【００４５】符号化制御部１６は、伝送帯域と符号化器
の種類及びメディア情報の種類とを対応付けたデータを
記憶するテーブル２３を有しており、このテーブル２３
を参照して、通信制御部１３で検出された通信路１０の
伝送帯域（通信路情報）或いは入力部１５からの指示に
対応する符号化処理を実行制御する。なお、符号化部１
１の入力端には、入力された手書き文字画像情報を記憶
保持するＲＡＭ２４と、入力された静止画像情報を記憶
保持するＶＲＡＭ２５と、入力された音声情報をデジタ
ル変換するＡ／Ｄ変換器２６とが設けられている。

【００４６】一方、上記した受信側装置の更に詳細な構
成は、図３に示すようになっている。分離部３３には、
受信した通信フレーム中から制御情報を分離する分離制
御器３５と、受信した通信フレーム中から各符号化メデ
ィア情報を分離する分離器３６とが備えられている。ま
た、復号化部３４には、分離された制御情報が入力され
る復号制御部３７と、メディア情報の種類毎に送信側の
符号化器１１に対応した方式の複数の復号部が備えられ
ており、本例では、手書き文字画像情報に対して復号を
行うデータ復号用の復号部３８と、静止画像情報に対し
て復号を行う画像復号用の復号部３９と、音声情報に対
して復号を行う音声復号用の復号部４０と、が備えら
れ、更に、各復号部３８、３９、４０には送信側の符号
化器１１に対応して互いに復号方式が異なる複数の復号
器（復号器１、復号器２、復号器３、・・・）が備えら
れている。

【００４７】このようにメディア情報の種別毎、更に
は、方式を違えて複数設けられた復号器は、制御情報に
含まれる符号化方式を示す情報に基づいて復号制御部３
７により選択されて、分離された対応する符号化メディ
ア情報を復号する。なお、復号制御部３７には、受信し
た情報の符号化方式等を利用者に対して表示する表示部
４１、利用者からの操作入力を受け付ける入力部４２が
備えられている。また、データ復号部３８で復号された
手書き文字画像情報を表示画面に表示するために保持す
るＲＡＭ４３、画像復号部３９で復号された画像情報を
表示画面に表示するために保持するＶＲＡＭ４４、音声
復号部４０で復号された音声情報をスピーカから出力す
るためにアナログ変換するＤ／Ａ変換器４５が設けられ
ている。

【００４８】上記のような構成のマルチメディア通信装
置によると、次のようなマルチメディア通信が実施され
る。まず、送信側装置と受信側装置との間で呼接続の開
始時にお互いの能力交換（どのような符号化器、復号器
を持っているなど）を行っておく。そして、複数のメデ
ィア情報の送信が開始されると、通信制御部１３で検出
された通信路１０の伝送帯域（通信路情報）に応じて、
符号化制御部１６がテーブル２３を参照して伝送帯域に
応じたメディア情報毎の符号化方式を符号化部１１に指
示する。なお、ここでいう通信路情報とは実際に呼接続
したときの音声情報や画像情報の実際の実効値や遅延等
であり、例えば、ＩＳＤＮの１Ｂでは６４ｋｂｐｓの伝
送帯域があるが、実際には非同期で接続した場合は５
７．６ｋｂｐｓや３８．４ｋｂｐｓであることが多い上
に、フレーミング処理のオーバーヘッドにより実効値は
伝送帯域の０．８くらいになる。

【００４９】通信路１０の伝送帯域は前述のように接続
数によって変化することがあるので、通信路情報に基づ
いた符号化制御部１６による上記の制御は適当な時間間
隔で行われる。そして、符号化制御部１６の制御によっ
て、多重化情報が現時点の伝送帯域に適合するように、
送信対象のメディア情報毎の符号化器が選択され、各メ
ディア情報がそれぞれ符号化されて多重化器２１で多重
化され、更にこれら符号化方式を示す制御情報が多重化
制御器２２で多重化されて、通信制御部１３及び変調部
１４を介して通信路１０へ送信される。すなわち、符号
化部１１は、符号化制御部１６からの指示により、高圧
縮率で狭帯域用（Ｇ７２３．１、Ｇ７２９、Ｈ．２６
３）や、低圧縮率で広帯域用（Ｇ．７１１、Ｈ．２６
２）など、性格の異なる複数種類のメディア情報に対し
て選択指示された最適な符号化器でそれぞれのメディア
情報を符号化する。

【００５０】そして、この多重化メディア情報は受信側
装置で受信されて、上記のようにして分離されて、制御
情報に基づいて符号化に対応して選択された方式で復号
されて出力される。ここで、上記の符号化制御部１６に
よる制御に際して、送信側の利用者が入力部１５からメ
ディア情報の送信優先度を入力した場合、或いは、受信
側の利用者が入力部４２から欲しいと思うメディア情報
の優先度を通信路１０を介して送信側の符号化制御部１
６へ伝えた場合には、当該指示に従ってテーブル２３を
参照して、符号化制御部１６は優先度が高いメディア情
報は圧縮率の低い符号化方式（すなわち、伝送帯域に適
合させるためには、優先度が低いメディア情報は圧縮率
の高い符号化方式）を選択する。

【００５１】なお、検出された伝送帯域が減少している
場合には、このような送信優先度の設定に従って符号化
制御部１６が送信対象のメディア情報数を削減して、当
該伝送帯域に適合させるようにしてもよい。この場合に
は、符号化方式の変更を伴わずに単純に送信情報量を削
減することにより伝送帯域に適合させるようにしてもよ
いが、符号化制御部１６が送信対象メディア情報数の削
減と符号化方式の切り替えとを共に行えば、伝送帯域を
極めて有効に用いて、送信するメディア情報をより高品
質な状態で送信することができる。

【００５２】ここで、送信情報量を削減するために送信
を保留されたメディア情報は、入力メモリ２４、２５や
図外の入力バッファに保持され、伝送帯域が増加した場
合や情報送信が一段落して伝送帯域に余裕が生じたこと
を符号化制御部１６が通信路情報によって確認したとき
に、符号化制御部１６が保留したメディア情報を符号化
部１１で符号化して上記のようにして送信させる。した
がって、送信優先度に基づいて送信を保留する場合に
は、送信優先度はメディア情報の種類に応じたリアルタ
イム性に応じて設定されるのが好ましく、リアルタイム
性の高い音声情報や動画像情報は他のメディア情報に優
先して即時に送信し、リアルタイム性が比較的低い静止
画像情報や手書き文字画像情報は使用可能な伝送帯域に
適合させるために或る程度遅延させて送信する。

【００５３】このような送信優先度を用いた制御を行う
場合には、表示部１７に符号化部１１に備えられてメデ
ィア情報の種別毎に利用可能な符号化方式を一覧等で表
示するのが好ましく、このような表示を行えば、メディ
ア情報の種別毎の送信優先度の設定を利用者が行い易く
なり、送信するメディア情報の符号化や送信情報のリア
ルタイム性をより利用者の感覚に合った形態で実現する
ことができる。また、図４に示すように、送信側の表示
部１７や受信側の表示部４１に、現在通信されているメ
ディア情報の種類や、その符号化に用いられている方式
（図示の例では、画質の良し悪しの程度で簡易化して表
示してある）を表示するのが好ましく、このような表示
を行えば、例えば、現在の通信路の状態では動画像情報
の通信ができない状態であると利用者は表示により知る
ことができるので、利用者はストレスのない通信を行う
ことができる。

【００５４】

【表１】

【００５５】具体例として、利用者がメディア情報の送
信優先度の順位として、音声＞画像とした場合の伝送帯
域と送信メディア情報の種類及びその符号化方式の関係
を表１に示してある。このような送信優先度の設定は、
伝送帯域が狭くても音声情報だけは優先的に送信し、伝
送帯域が広くなるに連れて、静止画像情報、動画像情報
や手書き文字画像情報を送信するというものである。な
お、伝送帯域が５．３ｋｂｐｓ以下のときはリアルタイ
ム音声情報の送信はできないので蓄積音声とし、伝送帯
域が広くなるに従って音質の良い符号化器を使用して、
伝送帯域の余裕部分を画像情報の送信に当てている。

【００５６】

【表２】

【００５７】また、他の具体例として、利用者がメディ
ア情報の送信優先度の順位として、画像＞音声とした場
合の伝送帯域と送信メディア情報の種類及びその符号化
方式の関係を表１に示してある。このような送信優先度
の設定は、伝送帯域が狭くても静止画像情報だけは優先
的に送信し、伝送帯域が広くなるに連れて、動画像情
報、音声情報や手書き文字画像情報を送信するというも
のである。なお、伝送帯域が８ｋｂｐｓ以下のときは画
質が中の静止画像情報をＪＰＥＧ方式で符号化し、８〜
１４ｋｂｐｓのときでも画像を優先して、音声情報は蓄
積音声で静止画像情報は画質が良のＪＰＥＧ方式で符号
化し、１４ｋｂｐｓ以上では音声情報はＧ．７２３．１
（５．３ｋｂｐｓ）方式で符号化し、更に伝送帯域が広
くなるに従って静止画像情報を画質良のＪＰＥＧ方式で
符号化し、動画像情報を画質悪〜画質良のＨ．２６３方
式で符号化している。

【００５８】図５には、伝送帯域が時間経過に伴って変
動した場合に、上記のマルチメディア通信装置により符
号化方式を切り替え制御して、送信する複数のメディア
情報（画像、音声）の割合をその時点の伝送帯域に適合
させて行く様子を示してある。図示の例では、最初は画
像情報を優先度を高く設定してあり、時刻ｔ１までは伝
送帯域が２８ｋｂｐｓで、音声情報に５．３ｋｂｐｓ
（Ｇ．７２３．１）、動画像情報に２２．７ｋｂｐｓ
（Ｈ．２６３）を用いて通信している。そして、時刻ｔ
１に伝送帯域が１８ｋｂｐｓになると、Ｈ．２６３の符
号化方式がＪＰＥＧ（画質良）方式に切り替えられ、１
２．７ｋｂｐｓで動画像情報に代わって静止画像情報が
通信される。更に、時刻ｔ２で音声情報を優先するモー
ドに利用者によって切り替えられると、音声情報に使用
する伝送帯域は８ｋｂｐｓ（Ｇ．７２９）になり、画像
情報に用いる伝送帯域が更に狭められる。そして、時刻
ｔ３で伝送帯域が更に減って１５ｋｂｐｓになると、画
像情報の符号化方式がＪＰＥＧ（画質中）に切り替えら
れる。この間、音声情報は切り替えによる音質変化はあ
るが、途切れて内容が不可解になることはなく、要求さ
れるリアルタイム性が保証される。

【００５９】図６には本発明の他の一実施例に係る送信
側装置の構成を示してあり、当該送信側装置と図３に示
した受信側装置とにより、送信対象のメディア情報数の
変化に応じた符号化制御を行うマルチメディア通信装置
が構成される。なお、前述した実施例と同様な部分には
同一符号を付して重複する説明は省略し、また、図３に
示した受信側装置も適宜参照して説明する。

【００６０】この送信側装置に備えられる符号化制御部
４６は、前記実施例の符号化制御部１６の機能に加え
て、送信対象となるメディア情報数が増減変化した場合
に設定された送信優先度に従って符号化処理を制御する
機能を有している。また、この送信側装置には入力デバ
イス部（入力部）１５から入力される利用者の操作入力
を符号化制御部４６へ伝達する入力デバイス制御部４７
が備えられており、例えば、利用者が入力デバイス部
（入力部）１５から送信対象のメディア情報の増加や削
減を指示すると、これが入力デバイス制御部４７から符
号化制御部４６へ伝達されて、テーブル２３及び送信優
先度を参照して、符号化制御部４６が符号化部１１によ
る符号化処理を制御して送信する符号化情報量が通信路
１０の伝送帯域に適合するようにする。なお、入力デバ
イス制御部４７は、入力デバイス部１５のマイクロホン
から直接入力される音声情報の有無も符号化制御部４６
へ伝達し、送信対象にこのような音声情報があるか否か
も符号化制御部４６へ伝達する。

【００６１】

【表３】

【００６２】前記実施例と同様に、符号化部１１に備え
られる各メディア種類毎の各符号化手段には高圧縮率で
効果を発揮する狭帯域用（Ｇ．７２３．１やＧ．７２
９、Ｈ．２６３等）から低圧縮率で効果を発揮する広帯
域用（Ｇ．７１１、Ｈ．２６２等）まで種々な方式の符
号化器が複数備えられており、本例では、これらメディ
ア種別毎の符号化方式を送信メディア情報数に応じて選
択するために表３に示すような情報がテーブル２３に記
憶されている。表３に示すテーブル情報は、音声情報、
画像情報、手書き文字画像情報の順に送信優先度を高く
設定した例であり、送信対象のメディア情報数に応じて
狭帯域用の符号化方式が選択されるようになっている。

【００６３】したがって、本実施例のマルチメディア通
信装置によれば、次のようなマルチメディア通信が実施
される。複数のメディア情報の送信を利用者が入力デバ
イス部１５を操作して指示した場合、或いは、複数のメ
ディア情報の送信中に利用者が入力デバイス部１５を操
作して多重化送信するメディア情報を更に追加した場
合、この送信メディア情報数が入力デバイス制御部４７
から符号化制御部４６へ伝えられ、通信制御部１３で検
出された通信路１０の伝送帯域（通信路情報）及びテー
ブル２３に記憶された情報を参照して、符号化制御部４
６が伝送帯域に応じたメディア情報毎の符号化方式を符
号化部１１に指示する。

【００６４】そして、符号化制御部４６の制御によっ
て、多重化情報が現時点の伝送帯域に適合するように、
送信対象のメディア情報毎の符号化器が選択され、各メ
ディア情報がそれぞれ符号化されて多重化器２１で多重
化され、更にこれら符号化方式を示す制御情報が多重化
制御器２２で多重化されて、通信制御部１３及び変調部
１４を介して通信路１０へ送信される。すなわち、符号
化部１１は、メディア情報数が多いときには高圧縮率で
狭帯域用の符号化方式に切り替え、メディア情報数が少
ないときには低圧縮率で広帯域用の符号化方式に切り替
える。そして、この多重化メディア情報は受信側装置で
受信されて、上記のようにして分離されて、制御情報に
基づいて符号化に対応して選択された方式で復号されて
出力され、優先度に基づいた良好なコミュニケーション
が実現される。

【００６５】具体例として、図７には、伝送帯域が一定
（２４ｋｂｐｓ）の場合において、表３に示したメディ
ア情報毎の符号化方式と送信優先度の下に、送信するメ
ディア情報の増減変化に応じてなされる符号化制御と伝
送帯域に占める各メディア情報の割合の様子を示してあ
る。時刻ｔ１間では音声情報のみの通信であるので音声
情報を広帯域用の方式（Ｇ．７２８）で符号化して送信
し、時刻ｔ１になって動画像情報の送信も要求される
と、符号化方式を狭帯域用に切り替えて音声情報と動画
像情報とを符号化して多重化送信する。そして、時刻ｔ
２になって音声情報と静止画像情報と手書き文字画像情
報との送信がなされると、これら情報を符号化して多重
化送信し、時刻ｔ３で手書き文字画像の送信が中止（或
いは終了）すると、静止画像情報の符号化方式を広帯域
用に切り替えて音声情報と静止画像情報とを符号化して
多重化送信する。

【００６６】また、他の具体例として、図８には、伝送
帯域が一定（３２ｋｂｐｓ）の場合において、音声情報
の送信優先度を最も高く設定した状態において、手書き
文字画像情報と画像情報とを多重化送信中（通常モー
ド）に、送信するために利用者がマイクロホンから入力
した音声情報が送信対象に随時加わる時の符号化制御と
伝送帯域に占める各メディア情報の割合の様子を示して
ある。手書き文字画像情報と画像情報とを多重化送信中
に、これらより優先度の高い音声情報が入力されると、
方式を狭帯域用に切り替えて手書き文字画像情報と画像
情報とを符号化するとともに当該音声情報を符号化し
て、これら情報を多重化して送信する。そして、音声情
報の送信が終了すると、方式を広帯域用に切り替えて手
書き文字画像情報と画像情報とを符号化して多重化送信
する通常モードに復帰する。

【００６７】なお、本実施例では、上記のような優先度
設定により高音質を優先的に確保して、多重化送信する
メディア情報数が増加しても音声情報によるリアルタイ
ムなコミニュケーションが阻害されないようにしている
が、実際のコミュニケーションの形態に応じて、メディ
ア情報の種類に応じた送信優先度は種々な態様で設定さ
れる。例えば、音声情報、動画像情報、静止画像情報、
手書き文字画像情報、或いは、動画像情報、音声情報、
静止画像情報、手書き文字画像情報の順に送信優先度を
高く設定して、動画像情報や音声情報に要求されるリア
ルタイム性を保証するとともに、共にリアルタイム性は
それ程要求されないが、比較的画像内容が複雑となって
情報量が多い静止画像情報を、比較的画像内容が単純で
情報量も少ない手書き文字画像情報より低圧縮率で符号
化することができる。

【００６８】ここで、送信対象の全てのメディア情報の
符号化方式を送信優先度に従って一時期に切り替えても
よいが、送信優先度の低いメディア情報から狭帯域用の
符号化方式に順次切り替えて、送信する多重化情報量を
伝送帯域に適合させるようにするのが好ましく、このよ
うな切り替えを行えば、送信するメディア情報数が増加
しても、送信優先度の高いメディア情報については当初
の広帯域用の符号化方式のままで送信する多重化情報量
を伝送帯域に適合させることも可能となって、優先度の
高い情報は高品質を維持した良好なコミュニケーション
を実現することができる。

【００６９】また、伝送帯域に較べてかなり多い数のメ
ディア情報が送信対象となった場合には、送信優先度の
設定に従って符号化制御部４６が送信対象のメディア情
報数を削減して、当該伝送帯域に適合させるようにして
もよい。この場合には、符号化方式の変更を伴わずに単
純に送信情報量を削減することにより伝送帯域に適合さ
せるようにしてもよいが、符号化制御部４６が送信対象
メディア情報数の削減と符号化方式の切り替えとを共に
行えば、伝送帯域を極めて有効に用いて、送信するメデ
ィア情報をより高品質な状態で送信することができる。

【００７０】ここで、送信情報量を削減するために送信
を保留されたメディア情報は、入力メモリ２４、２５や
図外の入力バッファに保持され、情報送信が一段落して
送信するメディア情報数が減少したことを符号化制御部
４６が確認したときに、符号化制御部４６が保留したメ
ディア情報を符号化部１１で符号化して送信させる。こ
のように送信優先度に基づいて送信を保留する場合に
は、送信優先度はメディア情報の種類に応じたリアルタ
イム性に応じて設定されるのが好ましく、リアルタイム
性の高い音声情報や動画像情報は他のメディア情報に優
先して即時に送信し、リアルタイム性が比較的低い静止
画像情報や手書き文字画像情報は伝送帯域に適合させる
ために或る程度遅延させて送信する。

【００７１】なお、上記した送信対象のメディア情報数
の変化に応じた符号化制御と、前記実施例で説明した伝
送帯域の変化に応じた符号化制御とを同時に行ってもよ
く、このようにすれば、通信時点において使用できる伝
送帯域を有効利用して、利用者の感覚により一層即した
高品質なマルチメディア通信を実現することができる。
また、本発明は、勿論、上記した各実施例で示したメデ
ィア情報以外にも種々な種類のメディア情報の通信に適
用することができ、また、送信優先度や符号化方式は通
信の実情に合わせて任意に設定することができる。

【００７２】

【発明の効果】以上説明したように、本発明によれば、
通信路の伝送帯域の変動に対応して符号化制御を動的に
変更するようにしたため、意図しない伝送帯域の変動が
生じても多重化通信するマルチメディア情報のリアルタ
イム性や品質の変動を抑制することができる。また、こ
の符号化制御の変更を送信優先度に従って行うようにし
たため、利用者の意図や各メディア情報への要求に沿っ
た態様で、リアルタイム性や品質の低下を抑制すること
ができる。また、本発明によれば、送信するメディア情
報数の変動に対応して送信優先度に従って符号化制御を
動的に変更するようにしたため、送信するメディア情報
の数が随時変化する場合にあっても、利用者の意図や各
メディア情報への要求に沿った態様で、多重化通信され
るマルチメディア情報のリアルタイム性や品質の低下を
抑制することができる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係るマルチメディア通信
装置の構成図である。

【図２】 本発明の一実施例に係る送信側装置の構成図
である。

【図３】 本発明の一実施例に係る受信側装置の構成図
である。

【図４】 本発明の一実施例に係る表示画面を示す図で
ある。

【図５】 伝送帯域の変化に応じたマルチメディア情報
通信の一例を説明する図である。

【図６】 本発明の他の一実施例に係る送信側装置の構
成図である。

【図７】 メディア情報の送信数や種類の変化に応じた
マルチメディア情報通信の一例を説明する図である。

【図８】 メディア情報の送信数や種類の変化に応じた
マルチメディア情報通信の他の一例を説明する図であ
る。

【図９】 従来のマルチメディア通信装置の一例を示す
構成図である。

【図１０】 通信フレーム構造の一例を示す図である。

【図１１】 マルチメディア情報通信の伝送帯域変化に
よる影響を説明する図である。

【図１２】 従来のマルチメディア情報通信の形態を説
明する図である。

【符号の説明】

１１・・・符号化部、 １２・・・多重化部、 １３・
・・通信制御部、１４・・・変調部、 １５・・・入力
部、 １６・・・符号化制御部、１７・・・表示部、
１８・・・データ用符号化手段、１９・・・画像用符号
化手段、 ２０・・・音声用符号化手段、２１・・・多
重化器、 ２２・・・多重化制御器、 ２４、２５・・
・メモリ、３１・・・復調部、 ３２・・・通信制御
部、 ３３・・・分離部、３４・・・復号部、 ３５・
・・分離制御器、 ３６・・・分離器、３７・・・復号
制御部、 ３８・・・データ用復号手段、３９・・・画
像用復号手段、 ４０・・・音声用復号手段、４１・・
・表示部、 ４２・・・入力部、 ４３、４４・・・メ
モリ、４６・・・符号化制御部、 ４７・・・入力デバ
イス制御部、

フロントページの続き (72)発明者 宮内 和子 東京都中野区東中野三丁目14番20号 国際 電気株式会社内 (72)発明者 占部 健三 東京都中野区東中野三丁目14番20号 国際 電気株式会社内

Claims (21)

【特許請求の範囲】
1. 【請求項１】 複数のメディア情報を符号化して多重化
   送信するマルチメディア通信方法において、 通信路の伝送帯域の増減変化に応じて、通信路の伝送帯
   域が減少した場合には狭帯域用の符号化方式に切り替え
   て、メディア情報を符号化して多重化送信する一方、通
   信路の伝送帯域が増加した場合には広帯域用の符号化方
   式に切り替えて、メディア情報を符号化して多重化送信
   することを特徴とするマルチメディア通信方法。
2. 【請求項２】 請求項１に記載のマルチメディア通信方
   法において、 符号化に用いた方式を示す制御情報を当該符号化された
   メディア情報と多重化して送信し、 受信側では、当該制御情報に基づいて対応する復号方式
   に切り替えて、受信した符号化メディア情報を復号する
   ことを特徴とするマルチメディア通信方法。
3. 【請求項３】 複数のメディア情報を多重化送信するマ
   ルチメディア通信方法において、 通信路の伝送帯域の増減変化に対して、メディア情報の
   種別に応じて設定された送信優先度に従って、多重化し
   て送信するメディア情報の数を増減させることを特徴と
   するマルチメディア通信方法。
4. 【請求項４】 請求項３に記載のマルチメディア通信方
   法において、 送信優先度はメディア情報の種別に応じたリアルタイム
   性に基づいて設定され、 通信路の伝送帯域が減少した時に保留されたメディア情
   報を蓄積しておき、通信路の伝送帯域が確保された時に
   当該蓄積されたメディア情報を送信することを特徴とす
   るマルチメディア通信方法。
5. 【請求項５】 複数のメディア情報を符号化して多重化
   送信するマルチメディア通信方法において、 通信路の伝送帯域の増減変化を検出して、通信路の伝送
   帯域が減少した場合には、メディア情報の種別に応じて
   設定された送信優先度に従って多重化送信するメディア
   情報の数を減少させるとともに、狭帯域用の符号化方式
   に切り替えてメディア情報を符号化して多重化送信する
   一方、通信路の伝送帯域が増加した場合には、当該送信
   優先度に従って多重化送信するメディア情報の数を増加
   させるとともに、広帯域用の符号化方式に切り替えて、
   メディア情報を符号化して多重化送信することを特徴と
   するマルチメディア通信方法。
6. 【請求項６】 符号化された複数のメディア情報を多重
   化して通信するマルチメディア通信装置において、 通信路の伝送帯域の増減変化を検出する通信路情報検出
   手段と、 メディア情報の種別毎に設けられた複数の方式の符号化
   器と、 通信路の帯域と符号化方式との対応関係をメディア情報
   の種別毎に記憶するテーブルと、 テーブルを参照して、通信情報検出手段により検出され
   た伝送帯域に対応する方式の符号化器により送信対象の
   メディア情報を符号化させる符号化制御手段と、 符号化された複数のメディア情報を多重化する多重化手
   段と、 多重化されたメディア情報を通信路を介して送信する送
   信手段と、 を備えたことを特徴とするマルチメディア通信装置。
7. 【請求項７】 符号化された複数のメディア情報を多重
   化して通信するマルチメディア通信装置において、 送信側装置には、 通信路の伝送帯域の増減変化を検出する通信路情報検出
   手段と、 メディア情報の種別毎に設けられた複数の方式の符号化
   器と、 通信路の帯域と符号化方式との対応関係をメディア情報
   の種別毎に記憶するテーブルと、 テーブルを参照して、通信情報検出手段により検出され
   た伝送帯域に対応する方式の符号化器により送信対象の
   メディア情報を符号化させる符号化制御手段と、 符号化に用いた方式を示す制御情報と当該符号化された
   メディア情報とを多重化する多重化手段と、 多重化されたメディア情報及び制御情報を通信路を介し
   て送信する送信手段と、を備え、 受信側装置には、 通信路を介して多重化されたメディア情報及び制御情報
   を受信する受信手段と、 多重化された制御情報及び種別毎の符号化メディア情報
   を分離する分離手段と、 メディア情報の種別毎に設けられた複数の方式の復号器
   と、 受信した制御情報に対応する方式の復号器により受信し
   たメディア情報を復号させる復号制御手段と、 を備えたことを特徴とするマルチメディア通信装置。
8. 【請求項８】 符号化された複数のメディア情報を多重
   化して通信するマルチメディア通信装置において、 通信路の伝送帯域の増減変化を検出する通信路情報検出
   手段と、 メディア情報の種別毎に設けられた符号化器と、 メディア情報の種別に応じた送信優先度を設定する優先
   度設定手段と、 通信情報検出手段により伝送帯域が減少したことが検出
   された場合に、設定された送信優先度に従って、符号化
   器により符号化する送信対象のメディア情報の数を減少
   させる符号化制御手段と、 符号化された複数のメディア情報を多重化する多重化手
   段と、 多重化されたメディア情報を通信路を介して送信する送
   信手段と、 を備えたことを特徴とするマルチメディア通信装置。
9. 【請求項９】 請求項８に記載のマルチメディア通信装
   置において、 符号化する送信対象のメディア情報を保持するメモリを
   備え、 符号化制御手段は、通信路の伝送帯域が減少した時に保
   留したメディア情報を、通信路の伝送帯域が確保された
   時にメモリから符号化器へ出力し、符号化して送信させ
   ることを特徴とするマルチメディア通信装置。
10. 【請求項１０】 請求項７に記載のマルチメディア通信
    装置において、 送信側装置と受信側装置との少なくとも一方に符号化に
    用いた方式を表示する表示手段を備えたことを特徴とす
    るマルチメディア通信装置。
11. 【請求項１１】 請求項８又は請求項９に記載のマルチ
    メディア通信装置において、 通信情報検出手段により検出された伝送帯域に応じて、
    送信対象のメディア情報の種別及びメディア情報毎の符
    号化に用いることが可能な方式を表示する表示手段を更
    に備え、 優先度設定手段は利用者からの指示入力によってメディ
    ア情報の種別に応じた送信優先度を設定することを特徴
    とするマルチメディア通信装置。
12. 【請求項１２】 複数のメディア情報を符号化して多重
    化送信するマルチメディア通信方法において、 送信対象のメディア情報数の増減変化に応じて、メディ
    ア情報数が減少した場合には広帯域用の符号化方式に切
    り替えて、当該メディア情報を符号化して多重化送信す
    る一方、メディア情報数が増加した場合には、メディア
    情報の種別に応じて設定された送信優先度に従って、優
    先度の低いメディア情報から狭帯域用の符号化方式に順
    次切り替えて、当該メディア情報を符号化して多重化送
    信することを特徴とするマルチメディア通信方法。
13. 【請求項１３】 請求項１２に記載のマルチメディア通
    信方法において、 音声情報又は動画像情報は、静止画像情報より送信優先
    度が高く設定されていることを特徴とするマルチメディ
    ア通信方法。
14. 【請求項１４】 請求項１２に記載のマルチメディア通
    信方法において、 静止画像情報は、手書き文字画像情報より送信優先度が
    高く設定されていることを特徴とするマルチメディア通
    信方法。
15. 【請求項１５】 請求項１２に記載のマルチメディア通
    信方法において、 符号化したメディア情報を多重化送信中に、当該メディ
    ア情報に対して送信優先度が高いメディア情報が送信対
    象として増加した場合には、優先度が低いメディア情報
    を狭帯域用の符号化方式に切り替え符号化し、符号化し
    た優先度が高いメディア情報と符号化した優先度が低い
    メディア情報とを多重化して送信することを特徴とする
    マルチメディア通信方法。
16. 【請求項１６】 請求項１２乃至請求項１５のいずれか
    １項に記載のマルチメディア通信方法において、 符号化に用いた方式を示す制御情報を当該符号化された
    メディア情報と多重化し送信し、 受信側では、当該制御情報に基づいて対応する復号方式
    に切り替えて、受信した符号化メディア情報を復号する
    ことを特徴とするマルチメディア通信方法。
17. 【請求項１７】 符号化された複数のメディア情報を多
    重化して通信するマルチメディア通信方法において、 通信路の伝送帯域を上回る送信対象メディア情報数が検
    出された場合に、メディア情報の種別毎に設定された送
    信優先度に従って優先度の低いメディア情報の符号化を
    保留して、残余の送信対象のメディア情報を符号化して
    多重化送信することを特徴とするマルチメディア通信方
    法。
18. 【請求項１８】 符号化された複数のメディア情報を多
    重化して通信するマルチメディア通信装置において、 送信対象のメディア情報数を検出するメディア数検出手
    段と、 メディア情報の種別毎に設けられた複数の方式の符号化
    器と、 送信するメディア情報数に応じてメディア情報の種別毎
    に設定した符号化方式を記憶するテーブルと、 メディア情報の種別に応じた送信優先度を設定する優先
    度設定手段と、 メディア数検出手段により通信路の伝送帯域を上回る送
    信対象メディア情報数が検出された場合に、テーブルを
    参照して、設定された送信優先度に従って優先度の低い
    メディア情報の符号化方式を狭帯域用に順次切り替えて
    符号化器により符号化させる符号化制御手段と、 符号化された複数のメディア情報を多重化する多重化手
    段と、 多重化されたメディア情報を通信路を介して送信する送
    信手段と、 を備えたことを特徴とするマルチメディア通信装置。
19. 【請求項１９】 符号化された複数のメディア情報を多
    重化して通信するマルチメディア通信装置において、 送信側装置には、 送信対象のメディア情報数を検出するメディア数検出手
    段と、 メディア情報の種別毎に設けられた複数の方式の符号化
    器と、 送信するメディア情報数に応じてメディア情報の種別毎
    に設定した符号化方式を記憶するテーブルと、 メディア情報の種別に応じた送信優先度を設定する優先
    度設定手段と、 メディア数検出手段により通信路の伝送帯域を上回る送
    信対象メディア情報数が検出された場合に、テーブルを
    参照して、設定された送信優先度に従って優先度の低い
    メディア情報の符号化方式を狭帯域用に順次切り替えて
    符号化器により符号化させる符号化制御手段と、 符号化に用いた方式を示す制御情報と当該符号化された
    メディア情報とを多重化する多重化手段と、 多重化されたメディア情報を及び制御情報通信路を介し
    て送信する送信手段と、を備え、 受信側装置には、 通信路を介して多重化されたメディア情報及び制御情報
    を受信する受信手段と、 多重化された制御情報及び種別毎の符号化メディア情報
    を分離する分離手段と、 メディア情報の種別毎に設けられた複数の方式の復号器
    と、 受信した制御情報に対応する方式の復号器により受信し
    たメディア情報を復号させる復号制御手段と、 を備えたことを特徴とするマルチメディア通信装置。
20. 【請求項２０】 符号化された複数のメディア情報を多
    重化して通信するマルチメディア通信装置において、 送信対象のメディア情報数を検出するメディア数検出手
    段と、 メディア情報の種別毎に設けられた符号化器と、 メディア情報の種別に応じた送信優先度を設定する優先
    度設定手段と、 メディア数検出手段により通信路の伝送帯域を上回る送
    信対象メディア情報数が検出された場合に、設定された
    送信優先度に従って優先度の低いメディア情報の符号化
    を保留して、残余の送信対象のメディア情報を符号化器
    により符号化させる符号化制御手段と、 符号化された複数のメディア情報を多重化する多重化手
    段と、 多重化されたメディア情報を通信路を介して送信する送
    信手段と、 を備えたことを特徴とするマルチメディア通信装置。
21. 【請求項２１】 請求項２０に記載のマルチメディア通
    信装置において、 符号化する送信対象のメディア情報を保持するメモリを
    備え、 符号化制御手段は、保留したメディア情報を、送信対象
    のメディア情報の数が減少した時にメモリから符号化器
    へ出力し、符号化して送信させることを特徴とするマル
    チメディア通信装置。