JPH1051495A - マルチメディア多重化通信システム - Google Patents

Abstract

(57)【要約】 【課題】 携帯電話のように伝送速度が比較的低速で且
つ一定な通信装置を用いて、同時性を確保しながら効率
の高いマルチメディア通信を実現する。 【解決手段】 送信側装置１６は、各メディアデータか
ら生成したメディア毎のパケットを当該パケットの生成
時刻情報を付してパケットバッファ２３、２６に格納
し、各メディアのパケットバッファ２３、２６に格納さ
れたパケットをその生成時刻の古い順に混合配列させて
多重化バッファ２７に順次格納させる。そして、多重化
バッファ２７に格納された各パケットを順次読み出して
パケット列として通信装置１３から送信する。受信側装
置１８は、受信したパケット列を多重化バッファ３１に
順次格納し、このパケット列から各メディア毎のパケッ
トを取り出して各バッファ３２、３５に元の生成時刻順
に格納し、格納された各パケットを分解してメディアデ
ータを再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パケット化したマ
ルチメディアデータの多重化技術に関し、特に、複数種
類のメディアデータのパケットをその生成時刻順に応じ
てパケット列へ多重化して通信するシステムに関する。

【０００２】

【従来の技術】従来では画像、音声、文字等といった種
類の異なる複数のメディアデータはそれぞれ別個なデー
タとして通信されていたが、情報通信が多様化するにつ
れて複数種類のメディアデータを多重化させて通信する
マルチメディア通信の必要性が高まっている。例えば、
パーソナルハンディホン（ＰＨＳ）等の携帯電話を用い
て音声データと共に画像データを通信する場合、従来で
は音声データと画像データとは多重化させずに別々に伝
送していたが、通話中は画像を伝送することができず、
また画像伝送中は通話することができないことから、即
時性を要するマルチメディア通信には不便であった。こ
のため、種類の異なる複数のメディアデータを多重化さ
せて同時に通信することが求められていた。

【０００３】また、音声データと画像データとを多重化
する従来の主な方法は、各メディアデータに予め固定的
に帯域（例えば、音声データには８Ｋｂｐｓ、画像デー
タには１６Ｋｂｐｓ）を割り当てて伝送するものであっ
た。しかしながら、この方法では、マルチメディア通信
の即時性は得られるものの、各メディアデータに一定の
帯域（伝送速度）を割り当てているため、マルチメディ
ア通信の伝送効率が悪いという問題があった。例えば、
音声のレベルや画像の種類によって単位時間当たりに発
生するデータ量は変動するが、各メディアデータに一定
の帯域を割り当てていることにより、データ量が大幅に
増えてしまったときには伝送できずに廃棄されるデータ
が生じ、逆に、データ量が減ってしまったときには無効
なデータを伝送することとなってしまっていた。

【０００４】

【発明が解決しようとする課題】上記のように、マルチ
メディア通信においては多重化による即時性の実現が求
められているが、従来の多重化通信では満足のいく伝送
効率が得られなかった。特に、携帯電話のように伝送速
度が比較的低速な通信システムを用いてマルチメディア
多重化通信を実現しようとする場合には、同時通信は行
われるものの通信全体が遅延し、この点での即時性が失
われてしまっていた。

【０００５】本発明は、このような従来の課題を解決す
るためになされたもので、例えば携帯電話のように伝送
速度が比較的低速で且つ一定な通信装置が用いられる際
に、複数種類のメディアデータのパケットをその生成時
刻順に応じて混合多重化し、このように多重化されたマ
ルチメディアパケット列を伝送させることにより、各メ
ディアデータのデータ量の増減を許容して、各メディア
データの同時性を確保しながら伝送効率の高い通信を実
現するマルチメディア通信システムを提供することを目
的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係るマルチメディア多重化通信システム
は、送信側装置に、各メディアデータをパケット化する
パケット生成手段と、生成されたパケットに対してその
生成時刻順に応じて多重化順序を決定する多重化制御手
段と、決定された多重化順序に基づいて各メディアデー
タのパケットを混合配列させるパケット多重化手段と、
混合配列により生成されたパケット列を送信する送信手
段と、を備え、受信側装置に、パケット列を受信する受
信手段と、受信したパケット列を各メディアデータ毎の
パケットに分離するパケット分離手段と、分離された各
メディアデータ毎のパケットからメディアデータを再生
するデータ再生手段と、を備え、送信側装置によりパケ
ット化された複数種類のメディアデータを混合多重化し
て送信し、受信側装置によりパケット列を受信して各メ
ディアデータを再生する。

【０００７】すなわち、送信側装置では、多重化制御手
段が各メディアデータのパケットの生成時刻を管理し、
パケット多重化手段がこれら全てのパケットについてそ
の生成時刻の古い順に配列し直して、効率よく多重化さ
れたマルチメディアパケット列を構成し、このパケット
列を携帯電話機等の通信手段を介して送信する。そし
て、受信側装置では、このパケット列を同様な受信手段
によって受信し、パケット分離手段で各メディアデータ
毎のパケットに分離し、データ再生手段で各メディアデ
ータ毎のパケットからメディアデータを再生する。した
がって、効率よく多重化されたマルチメディアパケット
列が無線伝送路或いは有線伝送路を介して伝送され、効
率のよいマルチメディア伝送が実現される。

【０００８】

【発明の実施の形態】本発明の一実施例を図面を参照し
て説明する。図１には、本発明に係るマルチメディア多
重化通信システムの一例を示してあり、このマルチメデ
ィア多重化通信システムには、画像データと音声データ
とを多重化させたパケット列として無線送信し、また、
このように多重化されたパケット列を無線受信して画像
データと音声データとを再生するマルチメディア多重化
通信装置１０と、画像を撮像して画像データ（ビデオ信
号）を入力するカメラ１１と、音声を取り込んで音声デ
ータ（音声信号）を入力するマイクロホン１２と、多重
化されたパケット列を無線送受信するパーソナルハンデ
ィホン等の通信装置１３と、再生された画像データに基
づく画像を表示する液晶ディスプレイ等の表示装置１４
と、再生された音声データに基づく音声を出力するスピ
ーカ１５とが備えられている。

【０００９】なお、これらデータ入力装置１１、１２、
通信装置１３、再生データ出力装置１４、１５は多重化
通信装置１０とは別体の構成としているが、その一部或
いは全部を多重化通信装置１０に一体的に組み込んで構
成する等してもよく、各装置１０〜１５をどのような組
み込み関係で構成するかは任意である。また、本実施例
では、カメラ１１は静止画アナログデータを多重化通信
装置１０に入力するものとしているが、カメラ１１から
動画データを入力して多重化通信装置１０で動画像を多
重化通信することもできる。また、本実施例では２種類
のメディアデータを多重化通信するが、文字データ等も
含めた３種類以上のメディアデータを多重化通信するこ
ともでき、そのメディア種類の組合せも任意である。

【００１０】多重化通信装置１０には、画像データ及び
音声データをパケット化して多重パケット列に構成する
送信部１６と、多重化されたパケット列を通信装置１３
から送信させ或いは多重化されたパケット列を通信装置
１３から受信する通信制御部１７と、受信した多重化パ
ケット列をメディア毎に分離分解して画像データ及び音
声データを再生する受信部１８と、これら各機能部１６
〜１８を統括して制御する主制御部１９と、が内蔵され
ている。

【００１１】送信部１６には、カメラ１１から入力され
たビデオ信号をデジタル画像データに変換するアナログ
／デジタル変換器（Ａ／Ｄ変換器）２１と、デジタル化
された画像データをＪＰＥＧ方式等によって圧縮符号化
する符号化器２２と、圧縮符号化された画像データを複
数のパケットとして格納するパケットバッファ（ＰＡＤ
バッファ）２３と、マイクロホン１２から入力された音
声信号をデジタル音声データに変換するアナログ／デジ
タル変換器２４と、デジタル化された音声データを圧縮
符号化する符号化器２５と、圧縮符号化された音声デー
タを複数のパケットとして格納するパケットバッファ
（ＰＡＤバッファ）２６と、パケットバッファ２３と２
６から取り出された画像データと音声データとのパケッ
トを多重化したパケット列として格納する多重化バッフ
ァ（ＭＵＸバッファ）２７と、が備えられている。

【００１２】受信部１８には、通信装置１３及び通信制
御部１７を介して受信した多重化パケット列を格納する
多重化バッファ３１と、多重化バッファ３１から取り出
された画像データのパケットを格納するパケットバッフ
ァ３２と、画像データパケットから取り出された画像デ
ータストリームを伸長復号化する復号器３３と、復号化
された画像データをアナログデータに変換して表示装置
１４へ出力するデジタルアナログ変換器（Ｄ／Ａ変換
器）３４と、多重化バッファ３１から取り出された音声
データのパケットを格納するパケットバッファ３５と、
音声データパケットから取り出された音声データストリ
ームを伸長復号化する復号器３６と、復号化された音声
データをアナログデータに変換してスピーカ１５へ出力
するデジタルアナログ変換器３７と、が備えられてい
る。

【００１３】ここで、画像データ等の通信においては一
般的にデータ圧縮が行われることから、本実施例では上
記のように、送信部１６にパケット化されるメディアデ
ータを圧縮する符号器２２、２５を備え、受信部１８に
圧縮されたメディアデータを伸長する復号器３３、３６
を備えた。上記の圧縮及び復号手段により画像データを
圧縮処理する場合には、平坦で相関性の高い風景画等を
撮像したときには圧縮処理によってデータストリームは
比較的短くなるが、複雑で細かい人物画等を撮像したと
きには圧縮処理を行ってもデータストリームは比較的長
くなるため、画像パケットバッファ２３に格納されるパ
ケット数が変動する。

【００１４】また、本実施例では、音声レベルに閾値を
設け、閾値以上の音量の音声データについては一定速度
（例えば、３２Ｋｂｐｓ）の符号化方法でデータストリ
ームに作成し、閾値に満たない音量の音声データについ
てはデータストリームを作成しないようにした場合につ
いて説明する。この場合には、単位時間当たりに発生す
る音声データ量は一定とならないため、音声パケットバ
ッファ２６に格納されるパケット数が変動する。

【００１５】上記のように、システムに圧縮伸長手段や
音声レベルの閾値を設けた場合には、単位時間当たりに
生成される画像データや音声データのパケット数の変動
はそれらのデータ量が変動する場合に生ずるばかりでは
なく、圧縮率や音声レベルが変動した場合にも生ずるた
め、本例では、生成された全てのパケットの生成時刻を
監視し、これらパケットを生成時刻の古い順に混合多重
化して送信することにより、上記のようなパケット数の
変動を許容して効率よく且つ同時性を満たして多重化し
たパケット列の送信を行う。

【００１６】主制御部１９には、制御プログラムを格納
したＲＯＭ４１と、制御プログラムを実行するマイクロ
プロセッサ（ＭＰＵ）４２と、ＭＰＵ４２の作業領域と
なるＲＡＭ４３と、各メディア毎のパケット生成時刻を
計時するタイマ４４とが備えられており、制御プログラ
ムを実行することによって、パケットバッファ２３及び
２６を用いた画像データ及び音声データのパケット化処
理、多重化バッファ２７を用いたパケット列の多重化処
理、多重化バッファ３１及びパケットバッファ３２、３
５を用いた多重化パケット列の分離処理、及び、パケッ
トの分解処理等を行う。

【００１７】すなわち、主制御部１９とパケットバッフ
ァ２３及び２６とによりパケット生成手段が構成され、
主制御部１９と多重化バッファ２７とによりパケット多
重化手段が構成され、主制御部１９と多重化バッファ３
１及びパケットバッファ３２、３５とによりパケット分
離手段が構成され、更に、後述するように主制御部１９
とパケットバッファ２３、２６のパケット数ポインタ及
び各パケットに付されたタイムスタンプ（生成時刻）と
により多重化制御手段が構成される。なお、これら機能
手段はプログラム制御によるソフトウエア手段として構
成せずとも、機能毎の回路として構成することも可能で
ある。また、上記の装置構成において、画像データ処理
と音声信号処理とで、Ａ／Ｄ変換器２１と２４、符号器
２２と２５、復号器３３と３６、Ｄ／Ａ変換器３４と３
７をそれぞれ共用化することも可能であり、また、パケ
ットバッファ２３、２６、３２、３５及び多重化バッフ
ァ２７、３１を１つのメモリに領域を区切って構成する
ことも可能である。

【００１８】次に、図２を参照して、上記したパケット
化処理を説明するとともにパケットバッファ２３及び２
６の構成を更に詳しく説明する。なお、明確化のために
画像データを例にとって説明するが、パケットバッファ
２６及び音声データのパケット化処理についても同様で
ある。同図に示すデータストリームはカメラ１１から取
り込まれた後に符号器２２で圧縮符号化された画像デー
タであり、主制御部１９が、符号器２２から出力される
画像データストリームを固定長のデータブロックに分割
し、図３に示すように各データブロックにその生成時刻
情報を有するタイムスタンプ部５０を付してパケットと
し、生成されたタイムスタンプ部５０とデータ部５１と
から成るパケットをパケットバッファ２３に格納させ
る。なお、符号器２２からデータストリームが出力され
ないときにはパケットも生成されない。

【００１９】ここで、上記パケットの生成時刻とは、分
割されたデータブロックがパケットとしてパケットバッ
ファ２３に格納される時の時刻のことであり、パケット
に付されるタイムスタンプとしては、主制御部１９に備
えられたタイマ４４に基づいて、例えば１ｍｓ単位のタ
イマカウンタの値等がタイムスタンプとしてパケットに
付されればよい。また、上記パケット生成の際に、主制
御部１９は各データブロックにヘッダや誤り制御符号を
付してもよく、本実施例では、ヘッダにデータの種類を
示すメディア種別情報を含ませ、この種別情報に基づい
て多重化されたパケット列をメディア毎のパケットに分
離する。

【００２０】パケットバッファ２３は先入れ先出し方式
でパケットをタイムスタンプ順に格納し、パケットが格
納される毎にＰＵＴポインタの値が主制御部１９によっ
て１つずつ増加され、パケットが取り出される毎にＧＥ
Ｔポインタの値が主制御部１９によって１つずつ増加さ
れる。したがって、ＰＵＴポインタとＧＥＴポインタと
に記述された値の差が、パケットバッファ２３に格納さ
れているパケット数を示している。

【００２１】上記のパケット化処理によって、図４に示
すように、画像パケットバッファ２３には複数の画像パ
ケットが”画像パケット１”、”画像パケット２”・・
・といったように画像データストリーム中の並び（すな
わち、画像パケットの生成時刻順）に従って格納され、
音声パケットバッファ２６には複数の音声パケットが”
音声パケット１”、”音声パケット２”・・・といった
ように音声データストリーム中の並び（すなわち、音声
パケットの生成時刻順）に従って格納される。

【００２２】次に、上記パケットバッファ２３及び２６
に格納されたパケットを混合配列して多重化バッファ２
７に格納する多重化処理方法を、図５に示すフローチャ
ートを参照して説明する。まず、主制御部１９が画像パ
ケットバッファ２３のＧＥＴポインタとＰＵＴポインタ
との値の差から当該バッファ２３に送信すべき画像パケ
ットが格納されているか否かを確認し（ステップＳ
１）、当該バッファ２３にパケットが格納されている場
合には、主制御部１９が音声パケットバッファ２６のＧ
ＥＴポインタとＰＵＴポインタとの値の差から当該バッ
ファ２６に送信すべき音声パケットが格納されているか
否かを確認する（ステップＳ２）。

【００２３】次に、上記ステップＳ２において、画像パ
ケットバッファ２３と同様に、音声パケットバッファ２
６にもパケットが格納されている場合には、主制御部１
９が画像パケットバッファ２３に格納されているパケッ
トの中で最も生成時刻の古いパケットに付されたタイム
スタンプを読み取って当該画像パケットの生成時刻を検
出し（ステップＳ３）、それと同様に、主制御部１９が
音声パケットバッファ２６に格納されているパケットの
中で最も生成時刻の古いパケットに付されたタイムスタ
ンプを読み取って当該音声パケットの生成時刻を検出す
る（ステップＳ４）。

【００２４】そして、主制御部１９が上記検出された画
像パケットの生成時刻と音声パケットの生成時刻とを比
較して（ステップＳ５）、画像パケットの生成時刻の方
が音声パケットの生成時刻よりも古い場合には当該画像
パケットを多重化バッファ２７に格納し（ステップＳ
６）、音声パケットの生成時刻の方が画像パケットの生
成時刻よりも古い場合には当該音声パケットを多重化バ
ッファ２７に格納して（ステップＳ７）、多重化処理を
ステップＳ１に戻す。ここで、画像パケットバッファ２
３及び音声パケットバッファ２６は上記のように先入れ
先出し方式でパケットを順次格納するため、これらのバ
ッファ２３及び２６から最も生成時刻の古いパケットを
取り出す場合には、先入れ先出し方式にしたがってパケ
ットが取り出されればよい。

【００２５】また、上記ステップＳ５での生成時刻比較
処理において、画像パケットの生成時刻と音声パケット
の生成時刻とが一致する場合には、例えば音声パケット
を先に多重化バッファ２７に格納してもよく、また、画
像パケットを先に多重化バッファ２７に格納してもよ
く、生成時刻が一致するパケットの多重化バッファ２７
への格納順序としては任意に設定しておけばよい。な
お、本説明に用いた図５には、画像パケットと音声パケ
ットの生成時刻が一致する場合には音声パケットを多重
化バッファ２７に格納するようにしており、情報通信に
おける音声と画像との性質の相違から、音声の即時性を
優先させている。

【００２６】一方、上記ステップＳ２において、画像パ
ケットバッファ２３と異なり、音声パケットバッファ２
６にはパケットが格納されていない場合には、主制御部
１９が画像パケットバッファ２３に格納されているパケ
ットの中で最も生成時刻の古いパケットを当該バッファ
２３から取り出して多重化バッファ２７に格納し（ステ
ップＳ６）、多重化処理をステップＳ１に戻す。

【００２７】また、上記ステップＳ１において、画像パ
ケットバッファ２３にパケットが格納されていない場合
には、主制御部１９が音声パケットバッファ２６のＧＥ
ＴポインタとＰＵＴポインタとの値の差から当該バッフ
ァ２６に送信すべき音声パケットが格納されているか否
かを確認し（ステップＳ８）、音声パケットバッファ２
６にパケットが格納されている場合には、主制御部１９
が音声パケットバッファ２６に格納されているパケット
の中で最も生成時刻の古いパケットを当該バッファ２６
から取り出して多重化バッファ２７に格納し（ステップ
Ｓ７）、多重化処理をステップＳ１に戻す。

【００２８】一方、上記ステップＳ８において、画像パ
ケットバッファ２３と同様に、音声パケットバッファ２
６にもパケットが格納されていない場合には、主制御部
１９はどちらのバッファからもパケット取り出しを行う
ことなく、多重化処理をステップＳ１に戻す。

【００２９】以上説明した多重化処理方法により、画像
パケットバッファ２３及び音声パケットバッファ２６に
格納された画像及び音声パケットがその生成時刻順に応
じた多重化順序にしたがって多重化バッファ２７に順次
格納される。例えば、図４に示した画像パケットバッフ
ァ２３及び音声パケットバッファ２６に格納されたパケ
ットが、”画像パケット１”、”音声パケット１”、”
画像パケット２”、”音声パケット２”・・・という順
序で生成されたパケットである場合には、多重化バッフ
ァ２７には、同図に示すように、これら各パケットの生
成時刻順にしたがって画像及び音声データのパケットが
混合配列されて順次格納される。そして、生成時刻順に
応じて混合多重化されたパケット列が通信制御手段１７
を介して通信装置１３から順次送信される。

【００３０】したがって、画像データの圧縮率や音声の
レベルが変動する等して各メディアの単位時間当たりに
生成されるパケット数が変動した場合にあっても、送信
するために多重化バッファ２７から順次取り出されたパ
ケット列には各メディアのパケットがその生成時刻順に
応じて配列され、受信側装置での各メディアデータの同
時性が確保される。

【００３１】次に、上記のようにして多重化されたパケ
ット列の受信処理について説明する。通信装置１３から
多重化パケット列を受信すると、このパケット列は通信
制御部１７を介して受信部１８の多重化バッファ３１に
順次格納される。そして、主制御部１９が各パケットを
メディア種別情報に基づいてメディア毎に識別分離し、
画像パケットは元の生成時刻順に画像パケットバッファ
３２に順次格納するとともに、音声パケットは元の生成
時刻順に音声パケットバッファ３５に順次格納する。

【００３２】画像パケットバッファ３２に格納された各
画像パケットは復号器３３によって分解され、それぞれ
のデータ部分が伸長処理されて画像データストリームに
再生される。そして、画像データストリームはＤ／Ａ変
換器３４によってアナログ化された後、表示装置１４へ
出力されて原画像が再生表示される。また、音声パケッ
トバッファ３５に格納された各音声パケットは復号器３
６によって分解され、それぞれのデータ部分が伸長処理
されて音声データストリームに再生される。そして、音
声データストリームはＤ／Ａ変換器３７によってアナロ
グ化された後、スピーカ１５へ出力されて原音声が再生
出力される。このように、各メディアのパケットが高密
度且つ生成時刻順に応じて配列されたパケット列により
データ伝送がなされるため、効率の高いマルチメディア
伝送が実現されるとともに画像と音声との極めて高い即
時性及び同時性が実現される。

【００３３】ここで、上記実施例では、カメラやマイク
ロホンで入力したデータをパケット通信する例を示した
が、記憶装置に予め記憶されたメディアデータをパケッ
ト通信するようにしてもよく、また、本発明の多重化処
理は予めパケット化されたマルチメディアデータに対し
ても適用することができる。また、上記実施例では、各
パケットにメディア種別情報を付加したが、例えば、パ
ケット列内でのメディア毎の配列を送信側と受信側とに
予め設定する或いはパケット列の送信に際して送信側か
ら受信側へ通知するようにすれば、メディア種別は省略
することができる。

【００３４】また、上記実施例では、各パケット生成時
にその生成時刻情報を有するタイムスタンプを付加して
おき、多重化処理を行う際に主制御部１９により各パケ
ットのタイムスタンプに基づいてその生成時刻を検出し
たが、主制御部１９が各メディアの生成されたパケット
を例えばその識別子により識別するとともに、これらパ
ケットの生成時刻を管理し、これらパケットを生成時刻
の古い順に送信されるようにしてもよく、要は、どのよ
うな手段が用いられる場合であっても、複数種類のメデ
ィアデータのパケットをその生成時刻順に応じて混合多
重化することができるような手段であればよい。

【００３５】また、上記実施例では、送信側装置と受信
側装置とを通信装置１０として一体化した例を示した
が、送信側装置と受信側装置とをそれぞれ別体の単一機
能装置として構成することも可能である。

【００３６】

【発明の効果】以上説明したように、本発明によると、
複数種類のメディアデータが効率よく多重化されたパケ
ット列に構成され、当該パケット列によって効率のよい
マルチメディア伝送が実現される。また、各メディアの
パケットがその生成時刻順に応じて混合多重化されるた
め、マルチメディア通信における各メディアデータの即
時性及び同時性が向上する。このようにメディアデータ
の多重化効率が向上して伝送効率が向上することから、
中継伝送の速度が低速で且つ固定的（例えば、ＰＨＳで
は３２Ｋｂｐｓ）な通信手段を用いてマルチメディア通
信を行うことができ、簡易テレビ電話システム、ビデオ
フォンシステム、遠隔指示システム、工事立ち会いシス
テム、遠隔監視システム等といった広い分野への適用が
可能である。

【図面の簡単な説明】

【図１】本発明の一実施例に係るマルチメディア多重化
通信装置の構成図である。

【図２】データストリームのパケット化を説明する概念
図である。

【図３】パケットの構成を説明する概念図である。

【図４】パケットの多重化を説明する概念図である。

【図５】パケット多重化処理手順を示すフローチャート
である。

【符号の説明】

１１・・・カメラ、 １２・・・マイクホン、 １３・
・・通信装置、１４・・・表示装置、 １５・・・スピ
ーカ、 １６・・・送信部、１８・・・受信部、 １９
・・・主制御部、 ２２、２５・・・符号器、２３、２
６・・・送信側パケットバッファ、２７・・・送信側多
重化バッファ、 ３１・・・受信側多重化バッファ、３
２、３５・・・受信側パケットバッファ、 ３３、３６
・・・復号器、４２・・・ＭＰＵ、 ４３・・・ＲＡＭ
（タイマ）、

Claims (1)

【特許請求の範囲】
1. 【請求項１】 送信側装置によりパケット化された複数
   種類のメディアデータを混合多重化して送信し、受信側
   装置によりパケット列を受信して各メディアデータを再
   生するマルチメディア多重化通信システムにおいて、 送信側装置は、各メディアデータをパケット化するパケ
   ット生成手段と、生成されたパケットに対してその生成
   時刻順に応じて多重化順序を決定する多重化制御手段
   と、決定された多重化順序に基づいて各メディアデータ
   のパケットを混合配列させるパケット多重化手段と、混
   合配列により生成されたパケット列を送信する送信手段
   と、を備え、 受信側装置は、パケット列を受信する受信手段と、受信
   したパケット列を各メディアデータ毎のパケットに分離
   するパケット分離手段と、分離された各メディアデータ
   毎のパケットからメディアデータを再生するデータ再生
   手段と、 を備えたことを特徴とするマルチメディア多重化通信シ
   ステム。