JPH10341217A - マルチメディア多重化通信システム - Google Patents

Abstract

(57)【要約】 【課題】 複数種類のメディアデータを多重化して送信
側装置から受信側装置へ送信するに際して、各メディア
毎の特性等に応じて再送処理を規制する。 【解決手段】 送信側装置では、ブロック生成手段３、
７、１１が各メディアデータをブロックに分割してエラ
ー検出符号を付し、これらを多重化手段１３が混合配列
して送信手段１５が送信するとともに、再送手段４、
８、１２が受信側装置から通知されたブロックデータを
再送処理する。受信側装置では、受信手段が受信したブ
ロックデータ列を分離手段が各メディア毎に分離し、再
生手段が各メディアデータを再生するとともに、再送要
求手段がエラー検出手段により伝送エラーが検出された
ブロックを送信側装置へ通知する。また、送信側装置と
受信側装置との少なくともいずれか一方には、各メディ
ア毎に再送処理を行うか否かを設定する再送設定手段
と、この設定に基づいて各メディア毎に再送処理を規制
する再送制御手段とが備えられている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各メディア毎のデ
ータをブロックに分割して、これら複数種類のメディア
のブロックデータを多重化して通信する技術に関し、特
に、各メディアデータ毎に再送処理を行うか否かを設定
することにより、当該設定に基づいて各メディアデータ
毎の再送処理を規制するマルチメディア多重化通信シス
テム及び方法に関する。

【０００２】

【従来の技術】例えば画像データや音声データやテキス
トデータといった複数種類のメディアデータを送受信す
るシステムとして、これらのデータを多重化して通信す
るマルチメディア多重化通信システムが知られている。
すなわち、このようなシステムでは、上記したような複
数種類のメディアデータを多重化し、例えば、多重化し
た大量のデータを狭帯域統合サービスデジタル網（Ｎ−
ＩＳＤＮ）や広帯域統合サービスデジタル網（Ｂ−ＩＳ
ＤＮ）といった有線網を介して送信側装置から受信側装
置へ送信することが行われている。

【０００３】また、上記のようなシステムでは、有線網
の終端から離れた場所においても上記と同様にマルチメ
ディアデータの伝送を行うことが望まれる場合があり、
このような場合には、多重化したデータを例えば無線回
線を介して伝送することが行われている。しかしなが
ら、一般に無線回線は有線回線に比べて伝送品質が低い
ため、このような無線回線が伝送路として用いられた場
合には、伝送中のデータにエラーが発生してしまう確率
が高くなってしまう。なお、伝送中のデータに発生する
エラーとしては、例えばデータ中にランダムに発生する
ランダムエラーや連続した多くのデータにわたって発生
するバーストエラーといったものがあり、こうしたエラ
ーは、例えば伝送に使用される周波数や、変調方式によ
る特性や、伝送路における障害物等の環境といった状況
に応じて種々の形態をとる。

【０００４】上記のような伝送エラーに対処する方法と
して、例えばＢＣＨ符号やリードソロモン符号やビタビ
復号法やこれらを組み合わせたもの等といったエラー訂
正技術や、また、例えばインターリーブ等といったエラ
ー拡散技術が用いられる場合がある。しかしながら、特
に無線回線のように伝送品質が低い伝送路が用いられた
場合には、このような技術を用いても各メディアデータ
を再生するために必要な通信品質を得ることが困難であ
る場合が多い。このため、上記のようなシステムでは、
送信側装置から受信側装置へ正常に伝送されなかったデ
ータについて送信側装置により再送処理を行い、これに
より、受信側装置により再生されるマルチメディアデー
タの品質を高めることが行われている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記し
たようなマルチメディア多重化通信システム及び方法で
は、多重化して伝送するマルチメディアデータの再送処
理を行うに際して、メディア毎の特性に応じた再送処理
が行われていないといった不具合があった。すなわち、
マルチメディアデータの通信においては、例えば即時性
を必要とするメディアデータやデータの信頼性（伝送品
質）を特に必要とするメディアデータを同時に多重化し
て伝送する場合もあり、このような場合であっても、例
えば画像や音声やテキストといった各メディア毎の特性
等に応じて再送処理を行うか否かを設定することができ
ないといった不具合があった。また、同様に、例えば即
時性が要求されるメディアデータについて再送処理を行
っても要求される時間以内に再送データが得られず、再
送処理を行う効果がほとんど得られないといった場合で
あっても、多重化されて伝送されるすべてのメディアデ
ータについて再送処理が行われてしまうため、マルチメ
ディアデータ全体としての伝送効率が低下してしまうと
いった不具合があった。

【０００６】本発明は、このような従来の課題を解決す
るためになされたもので、送信側装置により各メディア
毎のデータをブロックに分割して、これら複数種類のメ
ディアのブロックデータを混合多重化して送信し、受信
側装置によりブロックデータ列を受信して各メディアデ
ータを再生するに際して、各メディア毎の特性等に応じ
て各メディアデータ毎に再送処理を行うか否かを設定
し、当該設定に基づいて各メディアデータ毎の再送処理
を規制することができるマルチメディア多重化通信シス
テムを提供することを目的とする。

【０００７】また、本発明は、各メディア毎のデータを
ブロックに分割して、これら複数種類のメディアのブロ
ックデータを多重化して送信するに際して、各メディア
の特性等に応じて各メディアデータ毎に再送処理を行う
か否かを設定し、当該設定に基づいて各メディアデータ
毎の再送処理を規制することができるマルチメディア多
重化通信方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係るマルチメディア多重化通信システムで
は、複数種類のメディアデータを多重化して送信側装置
と受信側装置との間で次のようにして通信する。送信側
装置では、ブロック生成手段が各メディアデータを複数
のブロックデータに分割して各ブロックデータ毎に伝送
エラーを検出するチェックコードを付加し、多重化手段
が生成された各メディアデータのブロックデータを混合
配列させ、送信手段が混合配列により生成されたブロッ
クデータ列を送信する。一方、受信側装置では、受信手
段が送信側装置から送信されたブロックデータ列を受信
し、分離手段が受信されたブロックデータ列を各メディ
アデータ毎のブロックデータに分離し、エラー検出手段
が分離された各ブロックデータについてチェックコード
に基づいて伝送エラーを検出し、再生手段が分離された
各メディアデータ毎のブロックデータからメディアデー
タを再生する。

【０００９】また、受信側装置では、再送要求手段が伝
送エラーが検出されたブロックデータを送信側装置へ通
知する一方、送信側装置では、再送手段が受信側装置か
ら通知されたブロックデータについて再送処理を行う。
ここで、送信側装置と受信側装置との少なくともいずれ
か一方には、各メディアデータ毎に再送処理を行うか否
かを設定する再送設定手段と、この再送設定手段の設定
に基づいて各メディアデータ毎に再送手段による再送処
理を規制する再送制御手段とが備えられており、送信側
装置から受信側装置への再送処理が再送設定手段の設定
に基づいて各メディアデータ毎に規制される。

【００１０】従って、例えば、画像データと音声データ
とテキストデータとを混合多重化して通信するに際し
て、即時性を必要とする音声データについては再送処理
を行わず、データの品質を重要視する画像データやテキ
ストデータについては再送処理を行うといったように各
メディア毎の特性等に応じて各メディアデータの再送処
理を行うか否かを設定し、当該設定に基づいて各メディ
アデータ毎の再送処理を規制することができる。また、
このようにメディア毎の特性等に応じて再送処理を規制
し、例えば再送処理を行うことが特に要求されるメディ
アデータのみを重点的に再送処理することにより、マル
チメディアデータ全体としての伝送効率を低下させるこ
となく、データの品質が特に重要視されるメディアのデ
ータについて再送処理を行うことにより伝送品質を担保
することができる。

【００１１】また、本発明に係るマルチメディア多重化
通信方法では、各メディア毎のデータをブロックに分割
して、これら複数種類のメディアのブロックデータを多
重化して送信するに際して、各メディアデータの種類毎
に再送処理を行うか否かを設定し、再送処理を行うこと
が設定されているメディアデータについて送信されたブ
ロックデータに伝送エラーが発生した場合に、当該ブロ
ックデータについての再送処理を行う。従って、上記と
同様に、各メディアの特性等に応じて各メディアデータ
毎に再送処理を行うか否かを設定し、当該設定に基づい
て各メディアデータ毎の再送処理を規制することができ
る。

【００１２】

【発明の実施の形態】本発明に係る一実施例を図面を参
照して説明する。なお、本発明に係るマルチメディア多
重化通信システムは、データを送信する送信側装置とデ
ータを受信する受信側装置とから構成されており、本例
では、これらの装置間で無線伝送路を介して画像データ
と音声データとテキストデータとを多重化して通信する
場合について説明する。

【００１３】図１には、本発明に係るマルチメディア多
重化通信システムの送信側装置の一例を示してあり、こ
の送信側装置には、画像データを入力する画像入力部１
と、画像データを符号化する画像符号化部２と、画像デ
ータをセルに分割するセル化部３と、画像データの再送
処理を制御する再送部４と、音声データを入力する音声
入力部５と、音声データを符号化する音声符号化部６
と、音声データをセルに分割するセル化部７と、音声デ
ータの再送処理を制御する再送部８と、テキストデータ
を入力するデータ入力部９と、テキストデータを符号化
するデータ符号化部１０と、テキストデータをセルに分
割するセル化部１１と、テキストデータの再送処理を制
御する再送部１２と、画像データと音声データとテキス
トデータとを多重化する多重化部１３と、多重化された
データをパケット化するパケット化部１４と、データを
送受信する送受信部１５と、受信側装置から受信した制
御データを解読する制御データ解読部１６と、上記した
各部１〜１６を統括制御する制御部１７が備えられてい
る。

【００１４】画像入力部１は、例えばスチルカメラやビ
デオカメラから構成されており、入力した画像データを
表すアナログ信号にアナログデジタル変換処理や補正処
理や画像サイズ変換処理等を施して画像符号化部２へ出
力する。なお、画像入力部１にデジタル画像信号が入力
された場合には、上記したアナログデジタル変換処理を
行う必要はない。また、画像入力部１としては、メモリ
や外部の記憶媒体等に記憶されている画像データを読み
出して入力する手段として構成することもできる。画像
符号化部２は、画像データを符号化する符号化器から構
成されており、画像入力部１から入力されたデジタル画
像データを符号化してセル化部３へ出力する。ここで、
画像データを符号化する方式としては、例えば静止画像
データについてはＪＰＥＧ等の方式が用いられ、また、
動画像データについてはＨ．２６１やＭＰＥＧ等の方式
が用いられる。

【００１５】セル化部３は、画像データを複数のブロッ
クデータに分割して各ブロックデータ毎に伝送エラーを
検出するチェックコードを付加するブロック生成手段を
有しており、本例では、図２に示すように、画像符号化
部２から入力された符号化画像データストリーム２１を
一定のデータ長毎のユーザデータに分割し、これらにチ
ェックコードを付加して複数のセル２２ａ、２２ｂ、２
２ｃ、・・・を生成する。ここで、各セル２２ａ、２２
ｂ、２２ｃ、・・・は、例えば図３に示すように、順序
番号やタイムスタンプや宛先情報等の制御情報を一定の
データ長で構成したヘッダ２３と、上記したブロックデ
ータに該当するユーザデータ２４と、巡回検査文字（Ｃ
ＲＣ）や各種誤り訂正符号等のチェックコードを一定の
データ長で構成したトレイラ２５とから構成されてい
る。なお、図３では、図２に示したセル２２ａ、２２
ｂ、２２ｃ、・・・を総称してセル２２として示してあ
る。

【００１６】また、上記したヘッダ２３には、メディア
の種類（すなわち、ここでは画像データ）を示す識別子
が含まれており、この識別子と上記した順序番号とによ
り、送信側装置及び受信側装置において各セルのメディ
アの種類と送信順序とが特定される。なお、順序番号と
しては、例えばセルの出力順に”０”〜”２５５”とい
った番号がサイクリックに各セルに付加される。再送部
４は、画像データについてのセルを格納する再送用のバ
ッファを有しており、セル化部３から入力されたセルを
多重化部１３へ出力するとともに当該セルをこの再送用
バッファに格納する。また、再送部４は、後述する制御
部１７からの指示に従って、再送対象となるセルを再送
用バッファから取り出して多重化部１３へ出力し、ま
た、正常に伝送された等のために不要となった再送用バ
ッファ内のセルを廃棄する。

【００１７】本例では、この再送部４が制御部１７から
の再送指示に従って、受信側装置から通知されたセルに
ついて上記のように再送処理を行うことにより、画像デ
ータについての再送手段が構成される。音声入力部５
は、例えばマイクロホンから構成されており、入力した
音声データをアナログデジタル変換等して音声符号化部
６へ出力する。また、音声入力部５としては、メモリや
外部の記憶媒体等に記憶されている音声データを読み出
して入力する手段として構成することもできる。音声符
号化部６は、音声データを符号化する符号化器から構成
されており、音声入力部５から入力された音声データを
符号化してセル化部７へ出力する。

【００１８】セル化部７は、音声データを複数のブロッ
クデータに分割して各ブロックデータ毎に伝送エラーを
検出するチェックコードを付加するブロック生成手段を
有しており、本例では、上記した画像データについての
セル化部３と同様に、音声符号化部６から入力された符
号化音声データストリームから複数のセルを生成して再
送部８へ出力する。再送部８は、音声データについての
セルを格納する再送用のバッファを有しており、セル化
部８から入力されたセルを多重化部１３へ出力するとと
もに当該セルをこの再送用バッファに格納する。また、
再送部８は、上記した画像データについての再送部４と
同様に、後述する制御部１７からの指示に従ってセルの
再送処理等を行う。なお、本例では、この再送部８が制
御部１７からの再送指示に従って、受信側装置から通知
されたセルについて再送処理を行うことにより、音声デ
ータについての再送手段が構成される。

【００１９】データ入力部９は、例えばメモリや外部の
記憶媒体等に記憶されているテキストファイルを入力す
る手段を有しており、入力したテキストデータをアナロ
グデジタル変換等してデータ符号化部１０へ出力する。
また、データ入力部９としては、例えばこのデータ入力
部９をキーボードやマウス等の入力装置から構成し、オ
ペレータがこれら入力装置を操作して文字等を入力する
という構成にすることもできる。データ符号化部１０
は、テキストデータを符号化する符号化器から構成され
ており、データ入力部９から入力されたテキストデータ
を符号化してセル化部１１へ出力する。

【００２０】セル化部１１は、テキストデータを複数の
ブロックデータに分割して各ブロックデータ毎に伝送エ
ラーを検出するチェックコードを付加するブロック生成
手段を有しており、本例では、上記した画像データにつ
いてのセル化部３と同様に、データ符号化部１０から入
力された符号化テキストデータストリームから複数のセ
ルを生成して再送部１２へ出力する。再送部１２は、テ
キストデータについてのセルを格納する再送用のバッフ
ァを有しており、セル化部１２から入力されたセルを多
重化部１３へ出力するとともに当該セルをこの再送用バ
ッファに格納する。また、再送部１２は、上記した画像
データについての再送部４と同様に、後述する制御部１
７からの指示に従ってセルの再送処理等を行う。なお、
本例では、この再送部１２が制御部１７からの再送指示
に従って、受信側装置から通知されたセルについて再送
処理を行うことにより、テキストデータについての再送
手段が構成される。

【００２１】多重化部１３は、上記したセル化部３、
７、１１により生成された各メディアデータのセルを混
合配列させる多重化手段を有しており、本例では、図４
に示すように、各再送部４、８、１２からそれぞれ入力
された画像データについてのセルストリーム３１、音声
データについてのセルストリーム３２、テキストデータ
についてのセルストリーム３３中に含まれる各メディア
のセルを混合配列させて多重化ストリーム３４を生成
し、生成した多重化ストリームをパケット化部１４へ出
力する。なお、本例では、後述する制御部１７により多
重化の割合が指示される。

【００２２】パケット化部１４は、多重化部１３から入
力された多重化ストリームに含まれているセルを例えば
一定個数毎にまとめてパケット化し、生成したパケット
を送受信部１５へ出力する。ここで、図５には、パケッ
ト化部１４により生成されるパケット３５の構成例を示
してあり、このパケット３５には、通信時に同期をとる
ためのプリアンブルやユニークワード等の制御情報から
構成されるヘッダ３６と、セルを一定個数毎にまとめた
ユーザデータ３７と、誤り訂正符号等から構成されるト
レイラ３８とが含まれている。本例では、このパケット
を伝送単位として送信側装置と受信側装置との間でデー
タ通信を行う。

【００２３】送受信部１５は、多重化部１３で混合配列
により生成されたブロックデータ列、すなわち多重化ス
トリームを送信する送信手段を有しており、本例では、
上記したように、パケット化部１４から入力されたパケ
ットを伝送単位として、無線伝送路を介して多重化スト
リームを一定個数のセル毎に受信側装置へ送信する。ま
た、送受信部１５は、受信側装置から送信されたＡＣＫ
やＮＡＫ等を含む制御データを無線伝送路を介して受信
する手段が備えられており、受信した制御データは制御
データ解読部１６へ出力される。

【００２４】また、上記したＡＣＫやＮＡＫは、一般
に、受信側装置においてセルを正常に受信することがで
きたか否かといった情報を送信側装置へ通知するために
用いられ、本例では、受信側装置から送信側装置へセル
の再送を要求しない場合にＡＣＫを通知するものとし、
これとは逆に、セルの再送を要求する場合にＮＡＫを通
知するものとする。なお、上記した送受信部１５は、例
えば位相偏移変調（ＰＳＫ）や四相位相変調（ＱＰＳ
Ｋ）といった方式によりデータを変調する変調器や、同
様な方式によりデータを復調する復調器等から構成され
ており、この送受信部１５による送信処理と受信処理と
は、後述する制御部１７からの指示により例えば一定の
タイミング毎に切り替えられる。

【００２５】制御データ解読部１６は、送受信部１５か
ら入力された制御データを解読し、解読された内容を制
御部１７へ通知する。すなわち、制御データ解読部１６
は、ＡＣＫやＮＡＫと共に制御データとして通知された
順序番号やメディアの種類を示す識別子等に基づいて、
再送処理が要求されているセルのメディアの種類や順序
番号を特定して制御部１７に通知する。また、同様に、
再送処理が要求されておらず、上記した再送部４、８、
１２の再送用バッファ内から廃棄すべきセルを特定して
制御部１７に通知する。

【００２６】制御部１７は、各種の演算処理を行うＣＰ
Ｕや、制御プログラムを格納したＲＯＭや、ＣＰＵが行
う演算の処理領域や種々のデータの格納領域として用い
られるＲＡＭや、データを記憶するメモリ等から構成さ
れており、ＣＰＵがＲＯＭに格納された制御プログラム
をＲＡＭに展開して実行することにより、上記した各部
１〜１６を統括制御し、これにより、送信側装置におけ
る再送処理等といったマルチメディア通信処理を制御す
る。なお、本例では、上記のセル化部３、７、１１と再
送部４、８、１２とデータ入力部９と多重化部１３とパ
ケット化部１４と制御データ解読部１６における各処理
手段は、制御部１７に備えられたＣＰＵが各処理に対応
した制御プログラムをＲＡＭに展開して実行することに
より構成される。

【００２７】また、上記した制御部１７に備えられたメ
モリには、各メディアデータ毎に再送処理を行うか否か
を設定する再送設定手段として、図６に示す再送状態テ
ーブル４１が格納されている。同図に示した再送状態テ
ーブル４１では、画像データについては再送処理を行い
（同図中で”有”と示した）、音声データについては再
送処理を行わず（同図中で”無”と示した）、テキスト
データ（同図中では”データ”と示した）については再
送処理を行う（同図中で”有”と示した）ことが設定さ
れている。なお、図６では、再送処理を行うか否かを”
有”や”無”を用いて示したが、例えば”１”（再送処
理を行う）や”０”（再送処理を行わない）といった数
値を用いて再送処理を行うか否かを示すこともできる。
また、制御部１７には、上記した再送状態テーブル４１
の設定に基づいて各メディアデータ毎に再送部４、８、
１２の再送手段による再送処理を規制する再送制御手段
が備えられている。

【００２８】また、制御部１７に備えられたメモリに
は、図７に示す再送セルテーブル４２が格納されてお
り、制御部１７では、この再送セルテーブル４２に受信
側装置から再送処理を行うことが要求されたセルの順序
番号（再送セル順序番号）をメディア毎に順次追加して
記憶させておき、このテーブル４２の内容に基づいて上
記した再送部４、８、１２を制御してセルの再送処理を
行わせる。なお、以上では、バッファとして再送部４、
８、１２に備えられた再送用バッファについてのみ説明
したが、上記した各部１〜１６において、データを処理
する際に待ち時間が発生する構成部にはデータを一時格
納しておくバッファが備えられている。以上の構成によ
り、送信側装置では、複数種類のメディアデータを多重
化して受信側装置へ送信し、また、受信側装置から再送
要求が通知されたセルについては、当該セルのメディア
について再送処理を行うことが設定されている場合には
再送処理を行い、当該セルのメディアについて再送処理
を行わないことが設定されている場合には再送処理を規
制して当該処理を行わない。

【００２９】次に、図８には、本発明に係るマルチメデ
ィア多重化通信システムの受信側装置の一例を示してあ
り、この受信側装置には、データを送受信する送受信部
５１と、パケットを分解するパケット分解部５２と、多
重化ストリームを分離する分離化部５３と、画像データ
についてのセルのエラー検出等を行う再送判定部５４
と、セルを画像データストリームに生成するストリーム
化部５５と、符号化画像データを復号化する画像復号化
部５６と、画像データを出力する画像出力部５７と、音
声データについてのセルのエラー検出等を行う再送判定
部５８と、セルを音声データストリームに生成するスト
リーム化部５９と、符号化音声データを復号化する音声
復号化部６０と、音声データを出力する音声出力部６１
と、テキストデータについてのセルのエラー検出等を行
う再送判定部６２と、セルをテキストデータストリーム
に生成するストリーム化部６３と、符号化テキストデー
タを復号化するデータ復号化部６４と、テキストデータ
を出力するデータ出力部６５とが備えられている。

【００３０】送受信部５１は、送信側装置から送信され
たブロックデータ列、すなわち多重化ストリームを受信
する受信手段を有しており、本例では、上記したよう
に、パケットを伝送単位として無線伝送路を介して受信
し、受信したパケットをパケット分解部５２へ出力す
る。また、この送受信部５１は、後述する制御データ生
成部６６から入力された制御データを無線伝送路を介し
て送信側装置へ送信する手段を有している。また、この
送受信部５１は、上記した送信側装置に備えられた送受
信部１５と同様に、変調器や復調器等から構成されてお
り、後述する制御部６７からの指示により送信処理と受
信処理とが例えば一定のタイミング毎に切り替えられ
る。

【００３１】パケット分解部５２は、送受信部５１から
入力されたパケットをトレイラ内の誤り訂正符号を用い
て誤り訂正処理するとともに、当該パケットを上記図５
に示したヘッダ３６とユーザデータ３７とトレイラ３８
とに分解し、分解されたユーザデータ（すなわち、多重
化ストリーム）を分離化部５３へ出力する。分離化部５
３は、ブロックデータ列、すなわち多重化ストリームを
各メディアデータ毎のブロックデータに分離する分離手
段を有しており、本例では、パケット分解部５２から入
力された多重化ストリームを各セルに分離するととも
に、各セルのヘッダ内に含まれる上記した識別子により
各セルのメディアの種類を判定し、これら各セルをそれ
ぞれのメディアの種類に対応した再送判定部５４、５
８、６２へ出力する。

【００３２】再送判定部５４は、画像データについての
各セルについてチェックコードに基づいて伝送エラーを
検出するエラー検出手段を有しており、本例では、分離
化部５３から入力されたセルに含まれているトレイラ内
のＣＲＣや誤り訂正符号等といったチェックコードに基
づいて当該セルに伝送エラーが発生したかどうかを検出
するとともに、後述する制御部６７からの指示に従って
各セルに含まれるユーザデータをストリーム化部５５へ
出力する。なお、チェックコードとして誤り訂正符号が
用いられた場合に、この誤り訂正符号によってセルに発
生した伝送エラーが訂正されるときには、当該セルを正
常に受信したとみなすことができる。

【００３３】また、再送判定部５４では、上記した伝送
エラーの検出結果や後述する図９に示す再送状態テーブ
ル７１の設定に基づいて、分離化部５３から入力された
各セルについて再送処理を行うか否かを判定するととも
に、当該セルに含まれているヘッダ内の順序番号を読み
取り、読み取った順序番号と再送処理を行うか否かとい
う判定結果とを後述する制御部６７に通知する。また、
再送判定部５４には、画像データについてのセル内のユ
ーザデータを格納する受信バッファが備えられており、
後述する図９に示す再送状態テーブル７１の設定に基づ
いて、分離化部５３から入力されたセル内のユーザデー
タをこの受信バッファに格納するか否かを判定し、格納
することが判定された場合には、入力されたセル内のユ
ーザデータを受信バッファに格納する。

【００３４】すなわち、例えば、伝送エラーが発生した
セル内のユーザデータを廃棄してしまわずに上記した受
信バッファに一時的に保持しておくことにより、このユ
ーザデータが再送処理によっても正常に得られなかった
場合に、受信バッファ内に格納されているユーザデータ
を正常なユーザデータの代わりにストリーム化部５５へ
出力して復号化処理に用いることができる。具体的に
は、例えば画像フレームを複数のブロックに分割してフ
レーム内で隣り合うブロック間での相関を用いて符号化
した場合に、この画像フレームを復号化処理するに際し
て、一般に、元のブロックの個数と同数のブロック（す
なわち、ユーザデータ）が必要になり、このような場合
に上記のような受信バッファが有効となる。

【００３５】つまり、上記のようにフレーム内相関を用
いて符号化された画像データフレーム中の１つ或いは幾
つかのブロックデータの個数が欠けてしまうと当該画像
データフレームを正常に復号化処理することができない
といった場合があり、このような場合には、たとえ伝送
エラーが発生していても元の個数と同数のブロックデー
タ（すなわち、ユーザデータ）が復号化処理に際して必
要となることがある。このため、上記した受信バッファ
では、伝送エラーが発生したセル内のユーザデータをも
格納しておき、当該セルが再送処理によって正常に得ら
れるか、或いは、後述する制御部６７から受信バッファ
を開放すべき指示があるまでの間、格納したセルを保持
しておく。なお、受信バッファ内にユーザデータを格納
する際に、再送処理等に起因してユーザデータの並び順
序が元の並び順序とは異なってしまう場合があるが、こ
の場合には、例えば格納された各ユーザデータの順序番
号を記憶するテーブル等を設けることにより、各ユーザ
データをストリーム化部５５へ出力する際に各ユーザデ
ータの出力順序が元の順序番号通りになるように担保す
る。

【００３６】ストリーム化部５５は、データを格納する
バッファを有しており、再送判定部５４から入力された
画像データについてのユーザデータを入力された順序に
従って格納し、格納したユーザデータを例えば一定の個
数（データ長）毎の符号化画像データストリームにまと
めて画像復号化部５６へ出力する。画像復号化部５６
は、符号化画像データを復号化する復号化器から構成さ
れており、ストリーム化部５５から入力された符号化画
像データストリームを上記した送信側装置における符号
化方式に対応した方式により復号化して画像出力部５７
へ出力する。

【００３７】なお、本例では、画像データの符号化及び
復号化処理を行っているため、上記したストリーム化部
５５と画像復号化部５６とにより、画像データについて
のブロックデータ（すなわち、ユーザデータ）からメデ
ィアデータを再生する再生手段が構成される。画像出力
部５７は、例えばディスプレイ画面から構成されてお
り、画像復号化部５６から入力された画像データを当該
画面上に表示出力させる。なお、画像出力部５７として
は、例えばメモりといった外部の記憶媒体に画像復号化
部５６から入力された画像データを出力して記憶させる
手段として構成することもできる。

【００３８】再送判定部５８は、上記した画像データに
ついての再送判定部５４と同様に、音声データについて
の各セルについてチェックコードに基づいて伝送エラー
を検出するエラー検出手段を有しており、本例では、分
離化部５３から入力されたセルに含まれているトレイラ
内のＣＲＣや誤り訂正符号等といったチェックコードに
基づいて当該セルに伝送エラーが発生したかどうかを検
出するとともに、後述する制御部６７からの指示に従っ
て各セル内に含まれるユーザデータをストリーム化部５
９へ出力する。また、再送判定部５８では、上記した画
像データについての再送判定部５４と同様な処理によ
り、分離化部５３から入力されたセルの再送処理を行う
か否かを判定し、この判定結果と当該セルの順序番号と
を後述する制御部６７に通知する。

【００３９】また、再送判定部５８には、音声データに
ついてのセル内のユーザデータを格納する受信バッファ
が備えられており、上記した画像データについての再送
判定部５４と同様に、分離化部５３から入力されたセル
内のユーザデータを受信バッファに格納するか否かを判
定し、格納することが判定された場合には、セル内のユ
ーザデータを受信バッファに一時格納する。なお、上記
と同様に、受信バッファでは、格納したセルを当該セル
が再送処理によって正常に得られるか、或いは、後述す
る制御部６７から受信バッファを開放すべき指示がある
までの間保持しておく。

【００４０】ストリーム化部５９は、データを格納する
バッファを有しており、上記した画像データについての
ストリーム化部５５と同様に、再送判定部５８から入力
された音声データについてのユーザデータを格納し、格
納したユーザデータを例えば一定の個数（データ長）毎
の符号化音声データストリームにまとめて音声復号化部
６０へ出力する。音声復号化部６０は、符号化音声デー
タを復号化する復号化器から構成されており、ストリー
ム化部５９から入力された符号化音声データストリーム
を上記した送信側装置における符号化方式に対応した方
式により復号化して音声出力部６１へ出力する。

【００４１】なお、本例では、音声データの符号化及び
復号化を行っているため、上記したストリーム化部５９
と音声復号化部６０とにより、音声データについてのブ
ロックデータ（すなわち、ユーザデータ）からメディア
データを再生する再生手段が構成される。音声出力部６
１は、例えばスピーカから構成されており、音声復号化
部６０から入力された音声データを出力する。なお、音
声出力部６１としては、例えばメモりといった外部の記
憶媒体に音声復号化部６０から入力された音声データを
出力して記憶させる手段として構成することもできる。

【００４２】再送判定部６２は、上記した画像データに
ついての再送判定部５４と同様に、テキストデータにつ
いての各セルについてチェックコードに基づいて伝送エ
ラーを検出するエラー検出手段を有しており、本例で
は、分離化部５３から入力されたセルに含まれているト
レイラ内のＣＲＣや誤り訂正符号等といったチェックコ
ードに基づいて当該セルに伝送エラーが発生したかどう
かを検出するとともに、後述する制御部６７からの指示
に従って各セル内に含まれるユーザデータをストリーム
化部６３へ出力する。また、再送判定部６２では、上記
した画像データについての再送判定部５４と同様な処理
により、分離化部５３から入力されたセルの再送処理を
行うか否かを判定し、この判定結果と当該セルの順序番
号とを後述する制御部６７に通知する。

【００４３】また、再送判定部６２には、テキストデー
タについてのセル内のユーザデータを格納する受信バッ
ファが備えられており、上記した画像データについての
再送判定部５４と同様に、分離化部５３から入力された
セル内のユーザデータを受信バッファに格納するか否か
を判定し、格納することが判定された場合には、入力さ
れたセル内のユーザデータを受信バッファに一時格納す
る。なお、上記と同様に、受信バッファでは、格納した
セルを当該セルが再送処理によって正常に得られるか、
或いは、後述する制御部６７から受信バッファを開放す
べき指示があるまでの間保持しておく。

【００４４】ストリーム化部６３は、データを格納する
バッファを有しており、上記した画像データについての
ストリーム化部５５と同様に、再送判定部６２から入力
されたテキストデータについてのユーザデータを格納
し、格納したユーザデータを例えば一定の個数（データ
長）毎の符号化テキストデータストリームにまとめてデ
ータ復号化部６４へ出力する。データ復号化部６４は、
符号化テキストデータを復号化する復号化器から構成さ
れており、ストリーム化部６３から入力された符号化テ
キストデータストリームを上記した送信側装置における
符号化方式に対応した方式により復号化してデータ出力
部６５へ出力する。

【００４５】なお、本例では、テキストデータの符号化
及び復号化を行っているため、上記したストリーム化部
６３とデータ復号化部６４とにより、テキストデータに
ついてのブロックデータ（すなわち、ユーザデータ）か
らメディアデータを再生する再生手段が構成される。デ
ータ出力部６５は、例えばテキストファイルを格納する
ハードディスク装置に接続されており、データ復号化部
６４から入力された再生テキストデータをテキストファ
イルとしてハードディスク装置に記憶させる。なお、デ
ータ出力部６５としては、例えばこのデータ出力部６５
をディスプレイ画面から構成し、データ復号化部６４か
ら入力された再生テキストデータを画面上に表示出力さ
せるという構成にすることもできる。

【００４６】制御データ生成手段６６は、後述する制御
部６７からの指示により、上記したＡＣＫやＮＡＫ等を
含む制御データを送受信手段５１により送信側装置へ送
信させる手段を有している。なお、この制御データに
は、上記したＡＣＫやＮＡＫと共に、通知の対象となる
セルのメディアの種類を示す識別子や当該セルの順序番
号が含まれている。制御部６７は、各種の演算処理を行
うＣＰＵや、制御プログラムを格納したＲＯＭや、ＣＰ
Ｕが行う演算の処理領域や種々のデータの格納領域とし
て用いられるＲＡＭや、データを記憶するメモリ等から
構成されており、ＣＰＵがＲＯＭに格納された制御プロ
グラムをＲＡＭに展開して実行することにより、上記し
た各部５１〜６６を統括制御し、これにより、受信側装
置における再送要求処理等といったマルチメディア通信
処理を制御する。なお、本例では、上記のパケット分解
部５２と分離化部５３と再送判定部５４、５８、６２と
ストリーム化部５５、５９、６３とデータ出力部６５と
制御データ生成部６６における各処理手段は、制御部６
７に備えられたＣＰＵが各処理に対応した制御プログラ
ムをＲＡＭに展開して実行することにより構成される。

【００４７】また、上記した制御部６７に備えられたメ
モリには、各メディアデータ毎に再送処理を行うか否か
を設定する再送設定手段として、図９に示す再送状態テ
ーブル７１が格納されている。同図に示した再送状態テ
ーブル７１では、上記図６に示した送信側装置における
再送状態テーブル４１と同様に、画像データについては
再送処理を行い（同図中で”有”と示した）、音声デー
タについては再送処理を行わず（同図中で”無”と示し
た）、テキストデータ（同図中では”データ”と示し
た）については再送処理を行う（同図中で”有”と示し
た）ことが設定されている。

【００４８】また、この再送状態テーブル７１には、各
メディアデータ毎に上記した再送判定部５４、５８、６
２に備えられた受信バッファにセル内のユーザデータを
格納するか否かということが設定されており、図９に示
した再送状態テーブル７１では、画像データについては
受信バッファに格納し（同図中で”入れる”と示し
た）、音声データについては受信バッファに格納せず
（同図中で”入れない”と示した）、テキストデータに
ついては受信バッファに格納しない（同図中で”入れな
い”と示した）ことが設定されている。また、上記した
ように、制御部６７は、例えば再送処理によっても正常
なデータを得ることができなかったユーザデータを受信
バッファから開放してストリーム化部５５、５９、６３
へ出力するように再送判定部５４、５８、６２に指示を
通知する。

【００４９】ここで、上記した再送判定部５４、５８、
６２により分離化部５３から入力されたセルの伝送エラ
ーを検出するとともに、伝送エラーが検出されたセルに
ついて当該セルの順序番号を制御部６７に通知し、これ
により、制御データ生成部６６を介して当該セルのメデ
ィアの種類や順序番号といった再送要求を送信側装置に
通知することにより、各メディアデータについての再送
要求手段が構成される。また、本例では、上記図９に示
した再送状態テーブル７１の設定に基づいて上記した再
送要求手段による再送要求通知処理が制御され、再送処
理を行うことが設定されているメディアデータについて
は再送要求通知を行い、再送処理を行わないことが設定
されているメディアデータについては再送要求通知を行
わずに送信側装置の再送手段による再送処理を規制する
ことにより再送制御手段が構成される。

【００５０】また、以上では、バッファとして再送判定
部５４、５８、６２に備えられた受信バッファ及びスト
リーム化部５５、５９、６３に備えられたバッファにつ
いてのみ説明したが、上記した各部５１〜６６におい
て、データを処理する際に待ち時間が発生する構成部に
はデータを一時格納しておくバッファが備えられてい
る。以上の構成により、受信側装置では、送信側装置か
ら送信された多重化ストリームを含んだパケットを受信
して再生するに際して、受信したセルに伝送エラーが発
生していた場合に、再送処理を行うことが設定されてい
るメディアデータについては送信側装置に当該セルの再
送要求を通知し、再送処理を行わないことが設定されて
いるメディアデータについては再送要求通知を行うこと
を規制して当該通知を行わない。

【００５１】次に、以上に示した送信側装置と受信側装
置とから構成されるマルチメディア多重化通信システム
により行われる再送処理の手順を図面を参照して説明す
る。図１０には、マルチメディア多重化通信システムの
送信側装置により行われる再送処理の手順を示してあ
る。送信側装置では、受信側装置へ送信したセルについ
て受信側装置からＮＡＫ、すなわち再送要求が通知され
ると、当該再送要求が制御データ解読部１６を介して制
御部１７に通知され、これにより、制御部１７が再送部
４、８、１２に再送処理を開始することを指示して再送
処理を開始させる（ステップＳ１）。

【００５２】再送処理が開始されると、まず、制御部１
７では、上記図６に示した再送状態テーブル４１が参照
され（ステップＳ２）、再送要求が通知されたメディア
のセルについて再送処理を行うか否かを判定する（ステ
ップＳ３）。例えば画像データのセルについて再送要求
が通知され、再送状態テーブル４１に画像データについ
て再送処理を行うことが設定されている場合には、次
に、上記図７に示した再送セルテーブル４２を参照し、
再送セルテーブル４２に再送すべきセルの順序番号が記
憶されている場合には、記憶されているセル番号を書き
込まれた順序、すなわち受信側装置から再送要求を通知
された順序に従って読みだす（ステップＳ４）。

【００５３】なお、図７に示した再送処理テーブル４２
では、画像データについて順序番号”３”、”３５”の
セルを再送処理すべきことが記憶されており、テキスト
データ（図７中では”データ”と示した）について順序
番号”１”、”１５”、”２３”、”３５”、”５
１”、”６７”のセルを再送処理すべきことが記憶され
ている。例えば画像データについては、上記の処理によ
り、順序番号”３”及び”３５”が再送処理すべきセル
の順序番号として読み出される。

【００５４】次いで、再送処理すべきセルがあった場合
には（ステップＳ５）、次のようにして再送部４、８、
１２により再送処理が行われる。すなわち、例えば画像
データについて順序番号”３”のセルを再送処理する場
合には、再送部４に備えられた再送用バッファ内から順
序番号”３”のセルを検索し（ステップＳ６）、次い
で、検索された当該セルを取り出して（ステップＳ
７）、多重化部１３へ出力する（ステップＳ８）。ここ
で、パケット化部１４で現在生成されているパケット内
に更にセル含ませることができる空きがあるか否かが判
定され（ステップＳ９）、セルを含ませることができる
空きがある場合には、再送処理を行うべき他のセルがあ
るか否かが判定され（ステップＳ１０）、例えば画像デ
ータについて順序番号”３５”のセルを再送処理すべき
ことが判定されると、上記と同様に、当該セルが再送用
バッファ内から取り出されて多重化部１３へ出力される
（ステップＳ６〜Ｓ９）。なお、この際、上記した再送
セルテーブル４２が再び参照されてもよい。

【００５５】ここで、再送されたセルの順序番号につい
ては、上記した再送セルテーブル４２から削除される。
また、パケット化部１４により現在生成されているパケ
ットにセルを含ませる空きがなくなった場合には（ステ
ップＳ９）、当該パケットを送信処理することにより当
該パケットに含ませたセルの再送処理を実行し、当該セ
ルの再送処理を終了する（ステップＳ１５）。そして、
パケット化部１４により生成される次のパケットによ
り、再送すべき他のセルについての再送処理が上記と同
様にして行われる。なお、テキストデータについても上
記した画像データの場合と同様に再送処理が行われる。

【００５６】また、再送すべきセルがなくなったとき
に、パケット化部１４により現在生成されているパケッ
トにセルを含ませる空きが残っている場合には（ステッ
プＳ１０）、再送部４、１２では、セル化部３、１１か
ら入力された通常に送信されるセル（すなわち、再送で
はないセル）を取り出して（ステップＳ１１）、多重化
部１３へ出力する（ステップＳ１２）。次いで、上記と
同様に、パケット化部１４により生成されているパケッ
トにセルを含ませる空きがあるか否かを判定し（ステッ
プＳ１３）、空きがある場合には通常に送信される他の
セルを取り出して多重化部１３へ出力し（ステップＳ１
１〜Ｓ１２）、また、空きがない場合には生成されたパ
ケットを受信側装置へ送信することにより、当該パケッ
トに含ませた再送のためのセルを再送処理する（ステッ
プＳ１４）。

【００５７】なお、上記処理において、再送状態テーブ
ル４１に再送処理を行わないことが設定されている例え
ば音声データについては、受信側装置からＮＡＫが通知
された場合であっても再送処理が規制されて行われずに
（ステップＳ３）、通常のセルのみが上記したようにし
て送信される（ステップＳ１１〜Ｓ１４）。また、再送
処理すべきメディアであっても、再送セルテーブル４２
に再送処理すべきセルの順序番号が書き込まれていない
場合には（ステップＳ５）、同様に再送処理は行われな
い。

【００５８】従って、例えば、即時性を必要とする音声
データについては再送処理を行わず、データの品質を重
要視する画像データやテキストデータについては再送処
理を行うといったように各メディア毎の特性等に応じて
各メディアデータの再送処理を行うか否かを設定し、当
該設定に基づいて各メディアデータ毎の再送処理を規制
することができる。また、このようにメディア毎の特性
等に応じて再送処理を規制し、例えば再送処理を行うこ
とが特に要求されるメディアデータのみを重点的に再送
処理することにより、マルチメディア全体としての伝送
効率を低下させることなく、データの品質が特に重要視
されるメディアのデータについて再送処理を行うことに
より伝送品質を担保することができる。

【００５９】また、例えば、多重化して伝送されるメデ
ィアデータのすべてについて再送処理を行うのではな
く、データの品質が特に重要となるメディアデータのみ
について再送処理を行うようにすることにより、マルチ
メディアデータ全体としての伝送効率を向上させること
もできる。なお、本例では、再送に係るセルを通常のセ
ル（再送ではないセル）よりも優先して受信側装置へ送
信することにより再送処理の即時性を担保した処理手順
としたが、例えば１つのパケットに含ませることができ
る再送セルの数を設定しておき、この設定に従ってセル
の再送処理を行うこともできる。

【００６０】次に、図１１には、マルチメディア多重化
通信システムの受信側装置により行われる再送要求通知
処理の手順を示してある。受信側装置では、送信側装置
から送信されたセルを受信すると、再送判定処理が開始
される（ステップＳ２１）。まず、再送判定部５４、５
８、６２では、上記図９に示した再送状態テーブル７１
を参照することにより（ステップＳ２２）、各メディア
データ毎に再送処理を行うか否かという設定を読み込
み、また、各メディアデータ毎にセル内のユーザデータ
を受信バッファに格納するか否かという設定を読み込
む。

【００６１】これとともに、再送判定部５４、５８、６
２では、受信されたセルを分離化部５３から取り出して
誤り訂正処理等を行い（ステップＳ２３）、また、セル
内のヘッダから順序番号を取り出す（ステップＳ２
４）。また、セル内のユーザデータに誤りがあるか否か
を判定し（ステップＳ２５）、誤りがあった場合には、
当該セルを再送処理するか否かを上記で読み込んだ再送
状態テーブル７１の設定に基づいて判定する（ステップ
Ｓ２６）。ここで、例えば画像データやテキストデータ
について誤りがあったセルについて再送処理を行うこと
が判定された場合には、送信側装置に通知する応答とし
てＮＡＫを設定する（ステップＳ２７）。

【００６２】また、セル内のユーザデータに誤りがなか
った場合には（ステップＳ２５）、送信側装置に通知す
る応答としてＡＣＫを設定し（ステップＳ３２）、同様
に、例えば音声データのセルについて誤りが生じていた
が当該メディアについて再送処理を規制して行わないこ
とが設定されている場合には（ステップＳ２６）、送信
側装置に通知する応答としてＡＣＫを設定する（ステッ
プＳ３３）。

【００６３】次に、再送判定部５４、５８、６２では、
上記で読み込んだ再送状態テーブル７１に基づいてセル
内のユーザデータを受信バッファに格納するか否かを判
定し（ステップＳ２８）、例えば画像データについてユ
ーザデータを受信バッファに格納することが判定された
場合には、当該ユーザデータを受信バッファに格納し
（ステップＳ２９）、また、例えば音声データやテキス
トデータについてユーザデータを受信バッファに格納し
ないことが判定された場合には、正常に得られたユーザ
データを順序番号に従ってストリーム化部５９、６３へ
出力する（ステップＳ３４）。なお、上記したように、
受信バッファに格納されたユーザデータは、当該ユーザ
データが再送処理によって正常に得られるか、或いは、
制御部６７から受信バッファを開放すべき指示があるま
での間保持される。

【００６４】また、これとともに、上記のようにして再
送判定部５４、５８、６２により設定されたＡＣＫ或い
はＮＡＫの応答及びセルのメディアの種類や順序番号が
制御部６７に通知され、これらの情報から構成される制
御データが制御データ生成部６６により生成されて送信
側装置へ送信される（ステップＳ３０）。これにより、
受信側装置により受信された１つ或いは幾つかのセルに
ついての再送要求通知処理が終了し（ステップＳ３
１）、続いて受信されるセルについても上記と同様の処
理が行われる。

【００６５】従って、上記した送信側装置の場合と同様
に、各メディア毎の特性等に応じて各メディアデータの
再送処理を行うか否かを設定し、当該設定に基づいて各
メディアデータ毎の再送処理を規制してマルチメディア
データの通信を行うことができる。以上のように、上記
したマルチメディア多重化通信システムでは、各メディ
ア毎の特性等に応じて、各メディアデータ毎に再送処理
を規制してマルチメディアデータの通信を行うことがで
きる。また、同様に、上記したマルチメディア多重化通
信方法によると、各メディア毎のデータをブロックに分
割して、これら複数種類のメディアのブロックデータを
多重化して送信するに際して、各メディアの特性等に応
じて各メディアデータ毎に再送処理を行うか否かを設定
し、当該設定に基づいて各メディアデータ毎の再送処理
を規制することにより、例えばマルチメディアデータ全
体としての伝送効率を向上させることができる。

【００６６】また、本例では、上記のように各メディア
毎に受信側装置により受信されたセル内のユーザデータ
を受信バッファに格納するか否かを設定することができ
るため、例えば上記したように画像データについてのユ
ーザデータについては誤りがあった場合であっても受信
バッファに一時的に格納しておくことにより、当該画像
データの復号化処理が正常に行われることを担保すると
ともに、例えばこうした必要性のない音声データやテキ
ストデータについては受信バッファに格納せずに次の処
理を行うことにより、受信バッファの小型化等を図るこ
とができる。すなわち、各メディアデータ毎に施される
符号化及び復号化処理の特性等に応じて、受信側装置に
より受信されたセル内のユーザデータを受信バッファに
格納するか否かを設定することができる。

【００６７】ここで、以上では、各メディアデータ毎に
再送処理を行うか否かを設定したが、この設定に加え
て、再送処理を行うことが設定されたメディアデータ毎
に同一のセルについて再送処理を行うことができる上限
の回数を設定することもできる。例えば、このような設
定は、送信側装置に備えられた制御部１７に図１２に示
す再送状態テーブル８１を格納させておくことにより実
現される。同図に示した再送状態テーブル８１では、上
記図６に示した再送状態テーブル４１の内容に加えて、
再送処理を行うことが設定された各メディアデータ毎に
同一のセルについて再送処理を行うことができる上限の
回数が設定されている。

【００６８】すなわち、図１２に示した再送状態テーブ
ル８１では、例えばデータの品質が重要視されるととも
に再生のために即時性をも要求される画像データについ
ては同一のセルを最高で１回まで再送処理することが設
定されており、また、例えばデータの品質が特に重要視
されるが即時性は比較的要求されないテキストデータに
ついては同一のセルを最高で３回まで再送処理すること
が設定されている。なお、本例では、音声データについ
ては再送処理を行わないことが設定されている。また、
送信側装置に備えられた制御部１７には、各メディアデ
ータ毎のセルを再送処理した回数を管理するために、例
えば図１３に示す再送セル履歴テーブル８２が格納され
ている。この再送セル履歴テーブル８２には、セルの通
常の送信（再送ではない送信）も含めて再送処理を行っ
たセルの順序番号が送信順序に従って記憶される。すな
わち、例えば画像データについては、”１０”、”１
５”、”３０”、”１０”、”４５”の順序番号のセル
を送信したことが記憶されている。

【００６９】これにより、例えば画像データについての
順序番号”１０”のセルが通常の送信も含めて２回送信
処理された（すなわち、１回再送処理された）ことや、
同様に、テキストデータの順序番号”３５”のセルが通
常の送信も含めて３回送信処理された（すなわち、２回
再送処理された）ことが判定される。なお、本例では、
各メディアのセルについての順序番号として、”０”
〜”２５５”の番号がサイクリックに用いられているた
め、隣り合うサイクルで用いられる同一の番号が再送セ
ル履歴テーブル８２内で重複してしまわないように、再
送セル履歴テーブル８２に記憶された順序番号は、１サ
イクルが経過して同一の番号が順序番号として用いられ
る前に削除される。

【００７０】送信側装置がこれらの再送状態テーブル８
１や再送セル履歴テーブル８２を用いて、各メディアデ
ータ毎に同一のセルを再送処理する上限の回数を規制す
る処理の手順としては、再送処理の回数を規制するとい
う点以外については上記図１０に示した処理手順と同様
であり、例えば送信側装置において再送状態テーブル８
１を参照するに際して（図１０中のステップＳ２）、各
メディアデータ毎に設定されている再送処理を行うこと
ができる上限の回数をも参照する。また、再送すべきセ
ルを再送用バッファ内から検索する処理を行う前に（図
１０中のステップＳ６の前）、再送セル履歴テーブル８
２を参照して当該セルの再送処理回数を検出し、再送処
理回数が設定された上限の回数に達していない場合に
は、当該セルの再送処理を行う（図１０中のステップＳ
６〜Ｓ１０及びＳ１５）。

【００７１】また、再送処理回数が設定された上限の回
数に達していた場合には、このセルについては再送処理
を行うことを中止し、再送処理を行うべき他のセルがあ
るか否かを判定し（図１０中のステップＳ１０）、再送
処理を行うべき他のセルがあればこのセルについての再
送処理を行う。なお、他の処理手順については、上記図
１０で示した手順と同様である。このように、各メディ
アの種類毎の特性等に応じて各メディアデータ毎に同一
のセルについて再送処理を行うことができる上限の回数
を設定することができる。

【００７２】また、上記した再送状態テーブル４１、７
１、８１の設定内容としては、例えばマルチメディア通
信を行う前にオペレータにより予め設定されてもよく、
また、例えば通信中に各メディアデータのセルに生じた
伝送エラーの発生率等に基づいて、送信側装置或いは受
信側装置に備えられた制御部１７、６７により設定内容
を随時変更させるようにすることもできる。すなわち、
例えば受信側装置では、再送判定部５４、５８、６２に
より検出された各メディアデータ毎のセルの伝送エラー
の発生頻度に基づいて、制御部６７に格納された再送状
態テーブル７１の設定内容を変更し、また、送信側装置
では、制御データ解読部１６により解読された受信側装
置からの各メディアデータ毎のセルの再送要求通知の受
信頻度に基づいて、制御部１７に格納された再送状態テ
ーブル４１、８１の設定内容を変更する。

【００７３】また、例えば受信側装置から送信側装置へ
送信する制御データ中に再送状態テーブル７１の設定の
変更を通知する情報を含ませることや、これとは逆に、
送信側装置から受信側装置へ再送状態テーブル４１、８
１の設定の変更を通知する情報を送信することにより、
送信側装置と受信側装置との間で再送状態テーブル４
１、７１、８１の設定内容を同一のものにすることもで
きる。こうした設定内容の変更を行う具体的な方法とし
ては、例えば各メディアデータ毎のセルについて許容さ
れ得るエラー発生確率の閾値を送信側装置や受信側装置
に予め設定しておくことにより、検出されたエラー発生
確率がこの閾値以下の場合には再送処理を行わないよう
に設定を変更して再送処理を規制する一方、検出された
エラー発生確率がこの閾値を超えた場合には再送処理を
行うように設定を変更してデータの品質を担保するよう
にすることもできる。

【００７４】また、同様に、例えば再送処理を行うこと
が設定されている各メディアデータ毎のセルについてエ
ラー発生確率の閾値を設定しておくことにより、検出さ
れたエラー発生確率がこの閾値以下であった場合には再
送処理を行うことができる上限の回数の設定を３回に変
更する一方、検出されたエラー発生確率がこの閾値を超
えた場合には再送処理を行うことができる上限の回数の
設定を５回に変更してデータの品質をより高めるように
することもできる。このように、再送処理を行うか否か
といった設定や、再送処理を行う場合に同一のセルにつ
いて再送処理を最高何回まで行うかといった設定を各メ
ディア毎にデータ通信中における各メディアデータ毎の
エラー発生確率等に基づいて変更することにより、例え
ばデータ通信中に或るメディアについての伝送路の品質
が変動して低下したといった場合であっても、当該メデ
ィアデータの再送処理を行うように設定を変更すること
や、当該メディアデータを再送処理する場合に同一のセ
ルについて再送処理することができる上限の回数を増加
させることにより、各メディアの特性等に応じて各メデ
ィアデータ毎にデータの品質を確保してマルチメディア
通信を行うことができる。

【００７５】ここで、上記実施例では、上記図６或いは
図１２や図９に示した再送状態テーブルを送信側装置と
受信側装置との両方に備え、これら両装置において各メ
ディアデータ毎に再送処理を行うか否かを設定して再送
処理を規制する処理を行ったが、この設定及び規制処理
を行う手段としては、送信側装置と受信側装置との少な
くともいずれか一方に備えられていればよい。すなわ
ち、例えば送信側装置にのみ上記した設定及び規制処理
を行う手段を備え、送信側装置が、受信側装置から通知
されたＡＣＫやＮＡＫについて、再送処理を行うことが
設定されているメディアのセルについてのＮＡＫを受信
した場合にのみ当該セルを再送処理することにより、上
記実施例で示したのと同様の効果を奏することができ
る。

【００７６】また、例えば受信側装置にのみ上記した設
定及び規制処理を行う手段を備え、受信側装置が、送信
側装置から受信したセルについて、再送処理を行うこと
が設定されているメディアのセルについて伝送エラーが
生じていた場合にのみ当該セルの再送要求を送信側装置
に通知することにより、上記実施例で示したのと同様の
効果を奏することができる。また、上記実施例では、各
メディアデータについて送信側装置において符号化処理
を行い、受信側装置において復号化処理を行ったが、符
号化及び復号化処理は必ずしも行われなくてもよい。

【００７７】また、上記実施例では、幾つかのセルをま
とめて構成されるパケットを伝送単位として用いること
により、例えば各セル毎にプリアンブルやユニークワー
ド等を付加して送信する場合に比べて少ない伝送量でデ
ータを伝送することができる構成としたが、伝送単位と
しては必ずしもパケットが用いられる必要はなく、例え
ば上記したように各セル毎のデータを伝送単位として用
いてもよい。要は、各メディア毎の特性等に応じて各メ
ディアデータ毎に再送処理を行うか否かを設定して再送
処理を規制することができる構成であれば任意の構成が
用いられてよい。

【００７８】また、上記実施例では、データを送信する
送信側装置とデータを受信する受信側装置との間でマル
チメディア通信を行った場合の例を示したが、例えば上
記実施例で示した送信側装置に備えられた送信処理を行
う機能構成と受信側装置に備えられた受信処理を行う機
能構成とを兼ね備えた通信装置を複数用いて、これら複
数の通信装置の間で上記したようなマルチメディア通信
を行うこともできる。また、上記実施例では、マルチメ
ディア通信を行うための伝送路として、無線伝送路を用
いたが、本発明は、無線伝送路ばかりでなく、有線伝送
路にも適用されるものである。

【００７９】また、上記実施例では、プロセッサやメモ
リ等を備えたハードウェア資源において、プロセッサが
制御プログラムを実行することにより、上記した各メデ
ィアデータ毎に再送処理を設定及び規制する処理を制御
する構成としたが、本発明では、当該処理を実行するた
めの各機能手段を独立したハードウェア回路として構成
してもよい。また、本発明は上記の制御プログラムを格
納したフロッピーディスクやＣＤ−ＲＯＭ等のコンピュ
ータにより読み取り可能な記憶媒体として把握すること
もでき、当該制御プログラムを記憶媒体からコンピュー
タに入力してプロセッサに実行させることにより、本発
明に係る処理を遂行させることができる。

【００８０】

【発明の効果】以上説明したように、本発明に係るマル
チメディア多重化通信システムによると、送信側装置に
より各メディア毎のデータをブロックに分割して、これ
ら複数種類のメディアのブロックデータを混合多重化し
て送信し、受信側装置によりブロックデータ列を受信し
て各メディアデータを再生するに際して、各メディア毎
の特性等に応じて各メディアデータ毎に再送処理を行う
か否かを設定して各メディアデータ毎に再送処理を規制
するようにしたため、例えば各メディアデータ毎に要求
される即時性や伝送品質等を担保してマルチメディアデ
ータの通信を効率よく行うことができる。

【００８１】また、本発明に係るマルチメディア多重化
通信方法によると、各メディア毎のデータをブロックに
分割して、これら複数種類のメディアのブロックデータ
を多重化して送信するに際して、上記と同様に、各メデ
ィアの特性等に応じて各メディアデータ毎に再送処理を
行うか否かを設定し、当該設定に基づいて各メディアデ
ータ毎の再送処理を規制するようにしたため、各メディ
ア毎の特性等に応じてマルチメディアデータの通信を効
率よく行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るマルチメディア多重化
通信システムの送信側装置の構成例である。

【図２】符号化データストリームをセルに分割する処理
を説明するための図である。

【図３】セルの構成を説明するための図である。

【図４】セルを多重化する処理を説明するための図であ
る。

【図５】パケットの構成を説明するための図である。

【図６】送信側装置における再送状態テーブルの一例で
ある。

【図７】送信側装置における再送セルテーブルの一例で
ある。

【図８】本発明の一実施例に係るマルチメディア多重化
通信システムの受信側装置の構成例である。

【図９】受信側装置における再送状態テーブルの一例で
ある。

【図１０】送信側装置により行われる再送処理の手順を
説明するための図である。

【図１１】受信側装置により行われる再送要求通知処理
の手順を説明するための図である。

【図１２】送信側装置における再送状態テーブルの一例
である。

【図１３】送信側装置における再送セル履歴テーブルの
一例である。

【符号の説明】

１・・画像入力部、 ２・・画像符号化部、 ３・・セ
ル化部、４・・再送部、 ５・・音声入力部、 ６・・
音声符号化部、７・・セル化部、 ８・・再送部、 ９
・・データ入力部、１０・・データ符号化部、 １１・
・セル化部、 １２・・再送部、１３・・多重化部、
１４・・パケット化部、 １５・・送受信部、１６・・
制御データ解読部、 １７・・制御部、４１・・再送状
態テーブル、 ４２・・再送セルテーブル、５１・・送
受信部、 ５２・・パケット分解部、 ５３・・分離化
部、５４・・再送判定部、 ５５・・ストリーム化部、
５６・・画像復号化部、５７・・画像出力部、 ５８
・・再送判定部、 ５９・・ストリーム化部、６０・・
音声復号化部、 ６１・・音声出力部、 ６２・・再送
判定部、６３・・ストリーム化部、 ６４・・データ復
号化部、６５・・データ出力部、 ７１・・再送状態テ
ーブル、８１・・再送状態テーブル、 ８２・・再送セ
ル履歴テーブル、

───────────────────────────────────────────────────── フロントページの続き (72)発明者 美馬 充 東京都中野区東中野三丁目14番20号 国際 電気株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 送信側装置によりブロック化された複数
   種類のメディアデータを混合多重化して送信し、受信側
   装置によりブロックデータ列を受信して各メディアデー
   タを再生するマルチメディア多重化通信システムにおい
   て、 送信側装置は、各メディアデータを複数のブロックデー
   タに分割して各ブロックデータ毎に伝送エラーを検出す
   るチェックコードを付加するブロック生成手段と、 生成された各メディアデータのブロックデータを混合配
   列させる多重化手段と、 混合配列により生成されたブロックデータ列を送信する
   送信手段と、を備え、 受信側装置は、送信されたブロックデータ列を受信する
   受信手段と、 受信したブロックデータ列を各メディアデータ毎のブロ
   ックデータに分離する分離手段と、 分離された各ブロックデータについてチェックコードに
   基づいて伝送エラーを検出するエラー検出手段と、 分離された各メディアデータ毎のブロックデータからメ
   ディアデータを再生する再生手段と、を備え、 更に、受信側装置には、伝送エラーが検出されたブロッ
   クデータを送信側装置へ通知する再送要求手段が備えら
   れており、 送信側装置には、受信側装置から通知されたブロックデ
   ータについて再送処理を行う再送手段が備えられてお
   り、 送信側装置と受信側装置との少なくともいずれか一方に
   は、各メディアデータ毎に再送処理を行うか否かを設定
   する再送設定手段と、 再送設定手段の設定に基づいて各メディアデータ毎に再
   送手段による再送処理を規制する再送制御手段と、が備
   えられていることを特徴とするマルチメディア多重化通
   信システム。
2. 【請求項２】 各メディア毎のデータをブロックに分割
   して、これら複数種類のメディアのブロックデータを多
   重化して送信するマルチメディア多重化通信方法におい
   て、 各メディアデータの種類毎に再送処理を行うか否かを設
   定し、再送処理を行うことが設定されているメディアデ
   ータについて送信されたブロックデータに伝送エラーが
   発生した場合に、当該ブロックデータについての再送処
   理を行うことを特徴とするマルチメディア多重化通信方
   法。