JPH1056480A - マルチメディア多重化通信システム - Google Patents

Abstract

(57)【要約】 【課題】 マルチメディア通信において伝送エラーの発
生に対して行われる再送処理を、メディア毎の特性に応
じた遅延時間内において実行する 【解決手段】 パケット化した複数種類のメディアデー
タを多重化して送信するマルチメディア多重化通信方法
において、各メディアデータの種類毎に再送処理に費や
すことができる時間を送信側装置１に予め設定し、送信
されたメディアデータパケットに伝送エラーが発生した
場合に、受信側装置３０へ当該パケットを再送する処理
を前記設定時間内において行う。各パケットには伝送エ
ラーを検出するチェックコードが付加されており、再送
処理は、送信されたデータを受信する受信側装置３０か
ら正常受信の確認応答が所定の時間内に得られないこと
に基づいて行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パケット化したマ
ルチメディアデータの多重化技術に関し、特に、各メデ
ィアデータ毎の再送処理に費やすことができる時間を管
理する装置及び方法に関する。

【０００２】

【従来の技術】従来では画像、音声、テキスト等といっ
た種類の異なる複数のメディアデータはそれぞれ別個な
データとして通信されていたが、情報通信が多様化する
につれて複数種類のメディアデータを多重化させて通信
するマルチメディア通信の必要性が高まっている。例え
ば、パーソナルハンディホン（ＰＨＳ）等の携帯電話を
用いて音声データと共に画像データを通信する場合、従
来では音声データと画像データとは多重化させずに別々
に伝送していたが、通話中は画像を伝送することができ
ず、また画像伝送中は通話することができないことか
ら、即時性を要するマルチメディア通信には不便であっ
た。このため、種類の異なる複数のメディアデータを多
重化させて同時に通信することが求められていた。

【０００３】音声データと画像データとを多重化する従
来の主な方法は、各メディアデータに予め固定的に帯域
（例えば、音声データには８Ｋｂｐｓ、画像データには
１６Ｋｂｐｓ）を割り当てて伝送するものであった。こ
こで、このようなデータ通信は無線や有線の回線を介し
て行われるが、例えばフェージング等の外乱によってデ
ータに伝送エラーが発生する場合がある。特に、出力が
限られ、また、建物等の遮蔽がある環境で無線通信する
携帯電話を用いてデータ通信する場合には、伝送エラー
の発生確率はかなり高いものとなる。このような伝送エ
ラーに対しては、チェックコードを付加してデータを伝
送し、このチェックコードに基づいて伝送エラーを検出
して該当するデータを再送する処置がとられている。

【０００４】しかしながら、上記した従来の多重化方法
では、マルチメディア通信の即時性は得られるものの、
各メディアデータを多重化して伝送フレームの形式にし
た後にチェックコードを付加して伝送させていたため、
伝送エラーに対する再送処理を各メディアの特性に応じ
て実施することができなかった。すなわち、例えば音声
データと画像データとを多重化して送信する場合には、
図１６に示すように、音声データと画像データとを１つ
の伝送フレームにし、これらフレーム毎にチェックコー
ドを付加して送信していたため、例えば画像データの一
部にのみ伝送エラーが発生しても、エラーを回復させる
ためには当該エラー部を含むフレーム全体（音声データ
＋画像データ）を再送処理することとなり、再送が必要
でない音声データ部も再送することとなっていた。

【０００５】このような再送処理によるエラー回復のた
めには当然のことながら或る程度の処理時間が必要とな
るが、メディアの特性から、音声データと画像データと
ではエラー回復のために許容できる遅延時間が異なる。
例えば、音声データは少なくとも１０ｍＳ以内にエラー
回復を行わなければならないが、画像データは５０ｍＳ
以内にエラー回復されれば足りるといったように、メデ
ィアの種類によって再送処理に費やすことができる時間
が異なる。このような事情は、パソコン通信の電子メー
ル等のデータ、ファクシミリ通信のデータ、ファイル転
送のデータ等、音声や画像以外についても同様である。
このため、再送処理に費やすことができる時間を比較的
長く設定すればデータを確実に伝送できる確率が向上す
る反面、或るデータについてはエラー回復のために許容
できる時間を上回ってしまうためにデータ自体の価値が
損なわれてしまうといった事態が生じていた。

【０００６】

【発明が解決しようとする課題】上記のように、マルチ
メディア通信においても、伝送エラーの発生に対して再
送処理を行う処置がとられるが、メディア毎の特性に応
じた再送処理が行われていなかった。特に、携帯電話の
ように伝送速度が比較的低速で且つ使用環境が比較的劣
悪な通信手段を用いてマルチメディア多重化通信を実現
しようとする場合には、伝送エラーによる影響が顕著な
ものとなっていた。

【０００７】本発明は上記従来の事情に鑑みなされたも
ので、パケット化した各メディアデータに対してそのメ
ディアの種類毎に再送処理に費やすことができる時間を
管理することにより、メディアの特性に応じた再送処理
を実現するマルチメディア多重化通信方法及びシステム
を提供することを目的とする。また、本発明は、携帯電
話のように伝送速度が比較的低速で且つ使用環境が比較
的劣悪な通信装置を用いて、効率の高いマルチメディア
通信を実現するシステム及び方法を提供することを目的
とする。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係るマルチメディア多重化通信方法では、
パケット化した複数種類のメディアデータを多重化して
送信するマルチメディア多重化通信方法において、各メ
ディアデータの種類毎に再送処理に費やすことができる
時間を予め設定し、送信されたメディアデータパケット
に伝送エラーが発生した場合に、当該パケットについて
の再送処理を前記設定時間内において行う。したがっ
て、例えば音声データについては１０ｍＳ、画像データ
については５０ｍＳといったように、再送処理に費やす
ことができる時間をメディアの種類毎に設定しておくこ
とにより、メディアの特性に応じた再送処理が実行され
る。

【０００９】また、本発明に係るマルチメディア多重化
通信方法では、前記設定時間は所定の時間内に行われる
再送処理の回数で設定される。すなわち、データパケッ
トが正常に受信されるまで繰り返し行う再送処理の回数
をメディア毎に規制することにより、実質的に再送処理
に費やすことができる時間をメディアの種類毎に管理す
る。また、本発明に係るマルチメディア多重化通信方法
では、各パケットには伝送エラーを検出するチェックコ
ードが付加されており、再送処理は、送信されたデータ
を受信する受信側装置から正常受信の確認応答が所定の
時間内に得られないことに基づいて行われる。すなわ
ち、伝送エラーの検出は各チェックコードに基づいてメ
ディア毎且つパケット毎に行われ、伝送エラーの生じた
パケットに対しては、上記の管理の下に再送処理がなさ
れる。

【００１０】また、本発明に係るマルチメディア多重化
通信システムでは、送信側装置に、各メディアデータを
パケット化するパケット生成手段と、生成された各メデ
ィアデータのパケットを混合配列させるパケット多重化
手段と、混合配列により生成されたパケット列を各パケ
ット毎に伝送エラーを検出するチェックコードを付加し
て送信する送信手段と、を備え、受信側装置に、送信さ
れたパケット列中の各パケットについてチェックコード
に基づいて伝送エラーを検出するエラー検出手段と、送
信されたパケット列を受信する受信手段と、正常に受信
したパケット列を各メディアデータ毎のパケットに分離
するパケット分離手段と、分離された各メディアデータ
毎のパケットからメディアデータを再生するデータ再生
手段と、を備え、送信側装置によりパケット化された複
数種類のメディアデータを混合多重化して送信し、受信
側装置によりパケット列を受信して各メディアデータを
再生する。

【００１１】そして更に、上記の受信側装置には、伝送
エラーを検出したパケットを送信側装置へ通知する再送
要求手段が備えられ、また、上記の送信側装置には、前
記通知に基づいて該当するパケットを再送させる再送処
理手段と、各メディアデータの種類毎に予め設定された
再送処理に費やすことができる時間内で当該再送処理を
実行させる再送管理手段と、が備えられており、伝送エ
ラーが発生したパケットに対してそのメディア種類に応
じた時間内で再送処理が実行される。

【００１２】また、本発明に係るマルチメディア多重化
通信システムでは、再送管理手段は、所定の時間内に行
われる再送処理の回数で管理を行い、実質的に再送処理
に費やすことができる時間を管理する。また、本発明に
係るマルチメディア多重化通信システムでは、送信側装
置は、パケット化されるメディアデータを圧縮するデー
タ圧縮手段を更に備え、受信側装置は、圧縮されたメデ
ィアデータを伸長するデータ伸長手段と、伸長再生され
た各メディアデータに基づいて各メディア情報を出力す
る出力手段と、を更に備えており、データ伝送効率が高
められている。

【００１３】

【発明の実施の形態】本発明の実施の形態を図面を参照
して説明する。図１には、本発明に係るマルチメディア
多重化通信システムの一例を示してある。このマルチメ
ディア多重化通信システムは、画像データ、テキストデ
ータ、及び、音声データを多重化させたパケット列とし
て無線送信する送信側装置１と、このように多重化され
たパケット列を無線受信して画像データ、テキストデー
タ、及び、音声データとを再生する受信側装置３０と、
が備えられている。なお、本例では説明を簡略化するた
め、送信側装置１は送信側機能を司る装置、受信側装置
３０は受信側機能を司る装置としてあるが、各装置は送
信側機能と受信側機能とを兼備した送受信装置として構
成してもよい。また、マルチメディア多重化通信システ
ムは、これら装置を２以上の任意の数備えて構成しても
よい。

【００１４】まず、送信側装置１には、画像を撮像して
画像データ（ビデオ信号）を入力するカメラ２と、テキ
ストファイルを格納したテキストファイル手段３と、音
声を取り込んで音声データ（音声信号）を入力するマイ
クロホン４と、多重化されたパケット列及び必要なデー
タを無線送受信するパーソナルハンディホン等の通信装
置５と、が接続されている。また、送信側装置１には、
入力された各メディアのデータを圧縮符号化する送信側
符号化部（送信ＣＯＤＥＣ部）６と、符号化された各メ
ディアデータをパケット化して多重パケット列に構成す
る送信パケット部７と、多重化されたパケット列を通信
装置５から送信させ或いは後述する確認応答等のデータ
を通信装置５を介して受信する通信制御部８と、これら
各機能部６〜８を統括して制御するとともに後述する再
送管理を行う主制御部９と、が内蔵されている。

【００１５】送信側符号化部６には、カメラ２から入力
されたビデオ信号をデジタル画像データに変換するアナ
ログ／デジタル変換器（Ａ／Ｄ変換器）１０と、デジタ
ル化された画像データをＪＰＥＧ方式等によって圧縮符
号化する符号化器１１と、テキストファイル手段３から
テキストデータを取り込んで入力するテキスト入力手段
１２と、入力されたテキストデータを圧縮符号化する符
号化器１３と、マイクロホン４から入力された音声信号
をデジタル音声データに変換するアナログ／デジタル変
換器１４と、デジタル化された音声データを圧縮符号化
する符号化器１５と、が備えられている。

【００１６】また、送信パケット部７には、符号化器１
１によって圧縮符号化された画像データを複数のパケッ
トに分割して格納するパケットバッファ（ＰＡＤバッフ
ァＡ）１６と、符号化器１３によって圧縮符号化された
テキストデータを複数のパケットに分割して格納するパ
ケットバッファ（ＰＡＤバッファＢ）１７と、符号化器
１５によって圧縮符号化された音声データを複数のパケ
ットに分割して格納するパケットバッファ（ＰＡＤバッ
ファＣ）１８と、各パケットバッファ１６〜１８から取
り出された各メディアのデータパケットを多重化したパ
ケット列として格納する多重化バッファ（ＭＵＸバッフ
ァ）１９と、が備えられている。また、通信制御部８
は、上記したデータの送受信処理の他に、送信するメデ
ィア毎の各パケットに伝送エラーを検出するためのチェ
ックコード（例えば、ＣＲＣ）を付加する。

【００１７】また、主制御部９には、制御プログラム及
び後述する再送処理の定義テーブルを格納したＲＯＭ２
０と、制御プログラムを実行するプロセッサ（ＣＰＵ）
２１と、ＣＰＵ２１の作業領域となるとともに後述する
再送管理テーブルを格納したＲＡＭ２２と、再送管理処
理等の種々な制御に用いる計数を行うタイマ２３と、が
備えられている。この主制御部９は、制御プログラムを
実行することによって、パケットバッファ１６〜１８を
用いた各メディアデータのパケット化処理、多重化バッ
ファ１９を用いたパケット列の多重化処理、受信側装置
３０からの確認応答の有無に応じたパケットの再送処
理、メディア毎のパケット再送処理を管理する処理等を
行う。

【００１８】すなわち、主制御部９とパケットバッファ
１６〜１８とによりパケット生成手段が構成され、主制
御部９と多重化バッファ１９とによりパケット多重化手
段が構成され、主制御部９と通信制御手段８とによりパ
ケットを再送させる再送処理手段が構成され、更に、後
述するように主制御部９の再送管理テーブルとタイマ２
３とによりメディア毎のパケット再送処理を管理する再
送管理手段が構成される。なお、これら機能手段はプロ
グラム制御によるソフトウエア手段として構成せずと
も、機能毎の回路として構成することも可能である。ま
た、上記の装置構成において、Ａ／Ｄ変換器１０と１
４、符号器１１、１３、１５、をそれぞれ共用化するこ
とも可能であり、また、パケットバッファ１６〜１８及
び多重化バッファ１９を１つのメモリに領域を区切って
構成することも可能である。

【００１９】一方、受信側装置３０には、再生された画
像データに基づく画像を表示出力する液晶ディスプレイ
等の表示部３１と、再生されたテキストデータを格納す
るハードディスク装置等のテキストファイル手段３２
と、再生された音声データに基づく音声を出力するスピ
ーカ３３と、多重化されたパケット列及び必要なデータ
を無線送受信するパーソナルハンディホン等の通信装置
３４と、が接続されている。また、受信側装置３０に
は、多重化されたパケット列を通信装置３４を介して受
信し或いは後述する確認応答等のデータを通信装置３４
を介して送信する通信制御部３５と、受信したパケット
列を各メディアデータ毎に分離する受信パケット部３６
と、各メディア毎に分離されたデータを伸長復号化する
受信側復号化部（受信ＣＯＤＥＣ部）３７と、これら各
機能部３５〜３７を統括して制御するとともに後述する
受信管理を行う主制御部３８と、が内蔵されている。

【００２０】通信制御部３５は、上記したデータの送受
信処理の他に、各パケットに付加されたチェックコード
に基づいて伝送エラーの有無を検出する処理を行い、伝
送エラーが生じたパケットを破棄する処理を行う。ま
た、受信パケット部３６には、正常に受信した各メディ
アのデータパケットを多重化された状態で格納する多重
化バッファ（ＭＵＸバッファ）３９と、多重化バッファ
３９から取り出された画像データパケットを順次格納し
て元のデータストリームの並びで保持するパケットバッ
ファ（ＰＡＤバッファＤ）４０と、多重化バッファ３９
から取り出されたテキストデータパケットを順次格納し
て元のデータストリームの並びで保持するパケットバッ
ファ（ＰＡＤバッファＥ）４１と、多重化バッファ３９
から取り出された音声データパケットを順次格納して元
のデータストリームの並びで保持するパケットバッファ
（ＰＡＤバッファＦ）４２と、が備えられている。

【００２１】また、受信側復号化部３７には、パケット
バッファ４０から取り出した画像データを圧縮時に対応
した方式によって伸長復号化する復号化器４３と、復号
化された画像データをアナログビデオ信号に変換して表
示部３１へ出力するデジタル／アナログ変換器４４と、
パケットバッファ４１から取り出したテキストデータを
圧縮時に対応した方式によって伸長復号化する復号化器
４５と、復号化されたテキストデータをテキストファイ
ル３２に格納する出力手段４６と、パケットバッファ４
２から取り出した音声データを圧縮時に対応した方式に
よって伸長復号化する復号化器４７と、復号化された音
声データをアナログ音声信号に変換してスピーカ３３へ
出力するデジタル／アナログ変換器４８と、テキストデ
ータを圧縮符号化する符号化器１３と、マイクロホン４
から入力された音声信号をデジタル音声データに変換す
るアナログ／デジタル変換器１４と、デジタル化された
音声データを圧縮符号化する符号化器１５と、が備えら
れている。

【００２２】また、主制御部３８には、制御プログラム
及び後述する再送監視処理の定義テーブルを格納したＲ
ＯＭ４９と、制御プログラムを実行するプロセッサ（Ｃ
ＰＵ）５０と、ＣＰＵ５０の作業領域となるとともに後
述する受信管理テーブルを格納したＲＡＭ５１と、受信
管理処理等の種々な制御に用いる計数を行うタイマ５２
と、が備えられている。この主制御部３８は、制御プロ
グラムを実行することによって、パケットバッファ４０
〜４２を用いて行う多重化パケット列の各メディアデー
タパケットへの分離処理、受信するパケットの管理処理
等を行う。

【００２３】すなわち、主制御部３８とパケットバッフ
ァ４０〜４２とによりパケット分離手段が構成され、主
制御部３８と通信制御手段８とにより正常に受信したパ
ケットについての確認応答を返送する確認応答手段が構
成される。なお、本例では後述するように、確認応答の
ないパケットについては伝送エラーが生じたものとして
再送処理を行っており、確認応答手段が確認応答を行わ
ないことによって送信側装置１へ伝送エラーを検出した
パケットを通知することとなる。また、これら機能手段
はプログラム制御によるソフトウエア手段として構成せ
ずとも、機能毎の回路として構成することも可能であ
る。また、上記の装置構成において、Ｄ／Ａ変換器４４
と４８、復号器４３、４５、４７、をそれぞれ共用化す
ることも可能であり、また、パケットバッファ４０〜４
２及び多重化バッファ３９を１つのメモリに領域を区切
って構成することも可能である。

【００２４】なお、本例では、データ入力装置２〜３、
通信装置５又は３４、再生データ出力装置３１〜３３は
送信側装置１又は受信側装置３０とは別体の構成として
いるが、その一部或いは全部を装置１又は３０に一体的
に組み込んで構成する等してもよく、各装置をどのよう
な組み込み関係で構成するかは任意である。また、本実
施例では、カメラ２は静止画アナログデータを入力する
ものとしているが、カメラ２から動画データを入力して
多重化通信することもできる。また、本実施例では３種
類のメディアデータを多重化通信するが、他の種類のデ
ータ等も含めた任意の数のメディアデータを多重化通信
することもでき、そのメディア種類の組合せも任意であ
る。

【００２５】次に、図２を参照して、上記したパケット
化処理を説明するとともにパケットバッファ１６〜１８
の構成を更に詳しく説明する。なお、明確化のために画
像データを例にとって説明するが、パケットバッファ１
７、１８及びテキストデータや音声データのパケット化
処理についても同様である。同図に示すデータストリー
ムはカメラ２から取り込まれた後に符号器１１で圧縮符
号化された画像データであり、主制御部９が、符号器１
１から出力される画像データストリームを固定長のデー
タブロックに分割し、各データブロックに制御データを
付してパケットとし、これらパケットをパケットバッフ
ァ１６に順次格納させる。なお、符号器１１からデータ
ストリームが出力されないときにはパケットも生成され
ない。

【００２６】すなわち、図３（ａ）に示すように、各パ
ケットは固定長のデータブロックを含むデータ部に制御
データとしての送信順序番号Ｐ（Ｓ）とバーチャルチャ
ネル番号ＶＣとが付加されたフォーマット構成であり、
このバーチャルチャネル番号ＶＣによって各パケットの
メディア種別が識別され、送信順序番号Ｐ（Ｓ）によっ
て各パケットが送信順序として識別される。本例では、
送信順序番号Ｐ（Ｓ）は”０”〜”７”の数値をサイク
リックに使用しており、また、データの通信路を仮想的
に定義するバーチャルチャネル番号ＶＣは、画像データ
パケットの通信路（パケットバッファ１６とパケットバ
ッファ４０との間の通信路）をＶＣ１、テキストデータ
パケットの通信路（パケットバッファ１７とパケットバ
ッファ４１との間の通信路）をＶＣ２、音声データパケ
ットの通信路（パケットバッファ１８とパケットバッフ
ァ４２との間の通信路）をＶＣ３としてある。

【００２７】パケットバッファ１６は先入れ先出し方式
でパケットをサイクリックに順次格納するリングバッフ
ァであり、パケットが格納される毎にＰＵＴポインタの
値が主制御装置９によって１つずつ更新されて有効なパ
ケットがあることが示され、また、主制御装置９により
パケットが取り出さて多重化バッファ７へ格納される毎
にＧＥＴポインタの値が１つずつ更新される。したがっ
て、ＰＵＴポインタとＧＥＴポインタとに記述された値
の差が、パケットバッファ１６に格納されているパケッ
ト数を示している。また、後述するように多重化バッフ
ァ７に格納したパケットが受信側装置３０へ送信され
て、受信側装置３０から当該パケットについての確認応
答を受信する毎に、主制御装置９によりパケットバッフ
ァ１６の廃棄ポインタが１つずつ更新されて正常に送信
できたパケット位置が示される。

【００２８】例えば、図２に示す状態では、ＰＵＴポイ
ンタがパケットＣの後にあるということでデータストリ
ームから切り取られる次のパケットはパケットＣの下に
格納されることを示しており、ＧＥＴポインタがパケッ
トＢの後にあるということで多重化バッファ７に次に格
納されるパケットがパケットＣであることを示してお
り、廃棄ポインタがパケットＡの前にあることでパケッ
トＡについての確認応答を受信待ちしていることを示し
ている。

【００２９】ここで、確認応答は図３（ｂ）に示すよう
にデータ部を有しないパケットであり、受信順序番号Ｐ
（Ｒ）とバーチャルチャネル番号ＶＣとから構成されて
いる。この受信順序番号Ｐ（Ｒ）は正常に受信できたパ
ケットに付された送信順序番号Ｐ（Ｓ）であり、また、
バーチャルチャネル番号ＶＣは当該パケットに付された
バーチャルチャネル番号ＶＣであり、これら受信順序番
号Ｐ（Ｒ）とバーチャルチャネル番号ＶＣとにより、何
れのメディアの何れのパケットが伝送エラーを生ずるこ
となく受信側装置３０で正常に受信されたかが示され
る。なお、この確認応答パケットは受信側装置３０から
送信側装置１へパケットが正常受信されたことを通知す
るためのものであり、パケットバッファには格納されな
い。また、この確認応答パケットは正常受信されたパケ
ットを通知するものであることから、確認応答パケット
を受信し得ないと言うことによりパケットに伝送エラー
が発生したことが実質的に通知される。なお、本発明に
おいては、送信されたパケットが正常受信できないとき
に、受信側装置３０が再送要求を送信することにより、
再送処理を行うようにすることもできる。

【００３０】次に、図４を参照して、上記したパケット
列の多重化処理を説明する。上記のパケット化処理によ
って、画像パケットバッファ１６には複数の画像パケッ
トが”画像パケット１”、”画像パケット２”・・・と
いったように画像データストリーム中の並びに従って格
納され、テキストパケットバッファ１７には複数の画像
パケットが”テキストパケット１”、”テキストパケッ
ト２”・・・といったようにテキストデータストリーム
中の並びに従って格納され、音声パケットバッファ１８
には複数の音声パケットが”音声パケット１”、”音声
パケット２”・・・といったように音声データストリー
ム中の並びに従って格納される。主制御部９は、図４に
示すように、それぞれのパケットバッファ１６〜１８か
ら交互にパケットを取り出して多重化バッファ１９に順
次格納し、これらパケットを多重化バッファ１９への格
納順に通信制御手段８へ順次渡して送信させる。すなわ
ち、”画像パケット１”、”テキストパケット１”、”
音声パケット１”、”画像パケット２”、”テキストパ
ケット２”、”音声パケット２”・・・といった多重化
されたパケット列が受信側装置３０へ送信される。

【００３１】このような多重化パケット列は通信制御手
段８によって構成され、通信制御手段８は当該パケット
列を構成するに際して伝送エラーを検出するためのチェ
ックコード（例えば、ＣＲＣ）を各パケット毎に付加す
る。すなわち、図５に示すように、多重化パケット列に
含まれて送信される各パケットにはチェックコードが付
加され、伝送エラーの検出は受信側装置３０の通信制御
手段３５において各パケット単位で行われる。なお、伝
送エラーが検出されたパケットは通信制御手段３５によ
り破棄され、再送処理の対象となる。

【００３２】次に、図６を参照して、上記した多重化パ
ケット列を受信側装置３０において各メディア毎のパケ
ットに分離する処理を説明する。この分離処理は各パケ
ットバッファ４０〜４２及び多重化バッファ３９を用い
て主制御部３８による制御の下に行われ、多重化バッフ
ァ３９には通信制御手段３５において伝送エラーの無い
ことが確認された正常に受信したパケットが順次格納さ
れる。そして、主制御部３８が多重化バッファ３９に格
納された各パケットをそのバーチャルチャネル番号ＶＣ
に従って対応するパケットバッファ４０〜４２へ順次格
納し、各パケットバッファ４０〜４２にそれぞれのメデ
ィア毎に分離されたパケットを送信時のデータストリー
ムに従った順序で保持させる。なお、各パケットバッフ
ァ４０〜４２のＰＵＴポインタはパケットが格納される
毎に更新されて有効なパケットが保持されていることを
示し、また、ＧＥＴポインタは再生出力のために復号化
器へパケットが取り出される毎に更新される。

【００３３】上記のような多重化されたパケット列が送
信側装置１から送信され、受信側装置３０で受信されて
各メディアが元のデータとして再生されるが、この送信
処理に際しては確認応答の有無に基づいた再送管理がな
される。本実施例の再送管理は、伝送エラーが生じた各
メディアのパケット毎に再送処理を行うことができる回
数によって行っており、図７（ａ）に示すように、管理
を行うためのパラメータが定義されたテーブルが送信側
装置１のＲＯＭ２０に予め記憶されている。この定義テ
ーブルには、各メディアデータ毎に再送タイマ値と再送
回数値とが記憶されており、再送タイマ値によって再送
処理を行うこととする確認応答の受信までの遅延時間が
規定され、再送回数値によって再送処理を繰り返し行う
ことができる回数が規定される。

【００３４】なお、受信側装置３０のＲＯＭ４９には、
図７（ｂ）に示すように、再送処理の打ち切り管理を行
うためのパラメータが定義されたテーブルが予め記憶さ
れており、この定義テーブルには、各メディアデータ毎
に再送処理を受信装置３０側から打ち切るためのタイマ
値が受信監視タイマ値として記憶されている。ここで、
図７（ａ）及び（ｂ）に示した定義テーブルのパラメー
タは必要に応じて書き換え可能であり、後述する各メデ
ィア毎の再送回数（すなわち、再送処理に費やすことが
できる時間）をシステム環境等に応じて変更することも
可能である。

【００３５】上記の再送管理は主制御部９がＲＡＭ２２
に格納されている再送管理テーブルを用いて行い、具体
的には図９に示す処理手順によって実行される。ここ
で、ＲＡＭ２２に格納されている再送管理テーブルを図
８を参照して説明しておく。再送管理テーブルは各メデ
ィアのパケットバッファ１６〜１８毎に設けられてお
り、各メディア毎に、何番の送信順序番号Ｐ（Ｓ）のパ
ケットが送信され、何番までの確認応答を受信し、さら
には、各パケット毎に確認応答が得られるまでに許容す
るタイマ値及び再送処理を行った際の回数値を管理す
る。すなわち、再送管理テーブルには、メディア毎のパ
ケットにサイクリックに付与された送信順序番号Ｐ
（Ｓ）を示す送信Ｐ（Ｓ）ポインタ、確認応答パケット
に含まれた受信順序番号Ｐ（Ｒ）を示す受信Ｐ（Ｒ）ポ
インタ、更には、送信順序番号が”０”〜”７”までの
各パケットについて、再送処理を行うまでに許容する遅
延時間を規定するタイマ値及び再送処理の上限回数を規
定する再送回数の領域が設けられている。

【００３６】次に、図９を参照して再送管理処理の手順
を具体的に説明する。なお、この再送管理処理も各パケ
ットバッファ１６〜１８毎に独立して実行される。ま
ず、パケットバッファのＰＵＴポインタとＧＥＴポイン
タとを比較してパケットバッファ内に送信すべきパケッ
トがあるかを判断し（ステップＳ１）、パケットがある
場合には当該パケットを多重化バッファ１９に格納する
一方（ステップＳ２）、パケットがない場合にはステッ
プＳ１の判断処理を繰り返し行う。上記のように送信対
象のパケットを多重化バッファ１９に格納した後、再送
管理テーブルの送信Ｐ（Ｓ）ポインタを更新（＋１）し
（ステップＳ３）、送信管理テーブルの対応する順序番
号のパケットについて、定義テーブル（図７（ａ））に
定義されている再送タイマ値を設定するとともにタイマ
２３をスタートさせ（ステップＳ４）、更に、当該パケ
ットについて、定義テーブルに定義されている再送回数
値を再送管理テーブルの再送回数値に設定する（ステッ
プＳ５）。

【００３７】次いで、タイマ２３によるカウント値と送
信管理テーブルの再送タイマ値とを比較してタイムアッ
プしたパケットがあるかを判断し（ステップＳ６）、タ
イプアップしたパケットがない場合には上記の処理を繰
り返し行う一方、タイムアップしたパケットがある場合
には、当該パケットについての再送処理を行うために再
送管理テーブルの対応する再送回数を更新（−１）する
（ステップＳ７）。次いで、更新した再送回数値が”
０”すなわち規定された再送回数の上限値に達したかを
判断し（ステップＳ８）、この規定値に未だ達していな
い場合には当該パケットについての再送を更に繰り返し
て行うために、送信管理テーブルの送信Ｐ（Ｓ）ポイン
タを戻して（−１）上記の処理を繰り返し行う（ステッ
プＳ９）。すなわち、この送信Ｐ（Ｓ）ポインタを戻す
ことによって、当該パケットは未だ送信されていない状
態と管理され、送信処理（すなわち、再送処理）が行わ
れることとなる。

【００３８】一方、規定値に達した場合には再送処理に
費やすことができる時間が経過した状態であるので、伝
送エラーが生じている当該パケットについて再送処理を
打ち切るために、当該伝送エラーのパケットを正常受信
されたパケットと同様に扱い、再送管理テーブルの送信
Ｐ（Ｓ）ポインタを更新して次のパケットについての再
送管理を行うとともに（ステップＳ１０）、パケットバ
ッファの廃棄ポインタを更新する（ステップＳ１１）。
したがって、各メディア毎のパケットは再送回数で規定
される時間内でのみ再送処理が行われ、各メディアの特
性に応じて許容される遅延時間での再送処理が実行され
る。

【００３９】ここで、上記の再送管理処理は受信側装置
３０からの確認応答が得られない状態でのみ行われ、応
答確認が得られたときには図１０に示す処理が主制御部
９によって実行されて、対応するパケットを再送処理の
対象から除外する。すなわち、確認応答パケットを受信
すると、そのバーチャルチャネル番号ＶＣから何れのメ
ディアについての応答かを特定して、対応する再送管理
テーブルを特定する（ステップＳ２１）。次いで、確認
応答パケットの受信順序番号Ｐ（Ｒ）に１を加えた値を
当該再送管理テーブルの送信Ｐ（Ｓ）ポインタに設定す
ることにより、当該ポインタを更新して当該パケットを
送信処理の対象から外す（ステップＳ２２）。そして、
対応するパケットバッファの廃棄ポインタを更新して
（ステップＳ２３）、当該パケットをパケットバッファ
から取り除く。

【００４０】上記の確認応答は受信側装置３０の主制御
部３８がＲＡＭ５１に格納されている受信管理テーブル
を用いて行い、具体的には図１２に示す処理手順によっ
て実行される。ここで、ＲＡＭ５１に格納されている受
信管理テーブルを図１１を参照して説明しておく。受信
管理テーブルは各メディアのパケットバッファ４０〜４
２毎に設けられており、各メディア毎に、何番の送信順
序番号Ｐ（Ｓ）のパケットを受信することを期待してい
るかを管理し、更には、正常受信されていないにも拘わ
らず確認応答パケットを送信するまでに許容されるタイ
マ値を各パケット毎に管理する。すなわち、受信管理テ
ーブルには、メディア毎のパケットにサイクリックに付
与された送信順序番号Ｐ（Ｓ）を示す受信Ｐ（Ｓ）期待
値、更には、受信を期待する順序番号が”０”〜”７”
までの各パケットについて、正常受信されていないにも
拘わらず確認応答パケットを送信するまでに許容する遅
延時間を規定するタイマ値の領域が設けられている。

【００４１】次に、図１２を参照して確認応答の送信処
理手順を具体的に説明する。なお、この処理も各パケッ
トバッファ４０〜４２毎に独立して実行される。まず、
後述するステップＳ３７でスタートされたタイマ５２に
よるカウント値と受信管理テーブルのタイマ値とを比較
して、タイムアップしたパケットがあるかを判断し（ス
テップＳ３１）、タイムアップしているものがない場合
には、正常に受信できたパケットがあるかを確認する
（ステップＳ３２）。この結果、未だ正常受信したパケ
ットがない場合には上記の処理を繰り返して行う一方、
正常受信したパケットがある場合には、当該パケットの
送信順序番号Ｐ（Ｓ）と受信管理テーブルの受信Ｐ
（Ｓ）期待値とが一致しているかを判断する（ステップ
Ｓ３３）。

【００４２】この判断の結果、一致している場合には送
信側装置１へ確認応答パケットを送信し（ステップＳ３
４）、受信管理テーブルの受信Ｐ（Ｓ）期待値を更新
（＋１）して次のパケットの受信に備え（ステップＳ３
５）、正常受信したパケットのデータ部をパケットバッ
ファから対応する符号化器へ出力する（ステップＳ３
６）。一方、上記の判断（ステップＳ３３）の結果、正
常受信したパケットの送信順序番号Ｐ（Ｓ）と受信管理
テーブルの受信Ｐ（Ｓ）期待値とが一致していない場合
には、伝送エラーによって通信制御手段３５で破棄され
たパケットがあるため、当該破棄された（抜けた）パケ
ットについての再送処理を所定の時間内に規制するため
にタイマ５２のスタートさせて（ステップＳ３７）、上
記のステップＳ３１以降の処理を繰り返し行う。

【００４３】そして、タイマ５２によるカウント値が受
信管理テーブルのタイマ値（すなわち、ＲＯＭ４９に定
義されたタイマ値）に達したところで（ステップＳ３
１）、当該パケットは再送処理が試みられたが所定の時
間内では正常に受信し得なかったので、受信動作を打ち
切るために確認応答パケットを送信側装置１へ送信し
（ステップＳ３８）、受信管理テーブルの受信Ｐ（Ｓ）
期待値を更新（＋１）して次のパケットの受信に備える
（ステップＳ３９）。したがって、この受信側装置３０
による応答確認の送出処理によっても、メディア毎の再
送処理時間が規制される。

【００４４】図１３〜図１５には、本発明の第２の実施
例を示してある。上述した実施例では、各メディアのパ
ケット毎の再送処理に許容される時間を再送回数で規制
したが、この実施例では、再送処理に許容される時間を
予め直接的に定義している。このため、パケットバッフ
ァ１６〜１８にそれぞれ対応して送信側装置１のＲＡＭ
２２に格納されている再送管理テーブルを、図１３に示
す構成に変更している。再送管理テーブルは各メディア
のパケットバッファ１６〜１８毎に設けられており、各
メディア毎に、何番の送信順序番号Ｐ（Ｓ）のパケット
が送信され、何番までの確認応答を受信し、更には、各
パケット毎に確認応答が得られるまでに許容する応答遅
延タイマ値、再送処理を行った際に許容し得る再送監視
タイマ値、及び、再送処理を実行中であることを示す識
別フラグを管理する。

【００４５】すなわち、再送管理テーブルには、メディ
ア毎のパケットにサイクリックに付与された送信順序番
号Ｐ（Ｓ）を示す送信Ｐ（Ｓ）ポインタ、確認応答パケ
ットに含まれた受信順序番号Ｐ（Ｒ）を示す受信Ｐ
（Ｒ）ポインタ、更には、送信順序番号が”０”〜”
７”までの各パケットについて、再送処理を行うことが
許容される上限時間を規定する再送監視タイマ値、確認
の応答の遅延に対して再送処理を行うまでに許容する遅
延時間を規定する応答遅延タイマ値、及び、パケットに
ついての送信処理が再送処理であるかを示す送信識別フ
ラグの領域が設けられている。

【００４６】この再送監視タイマと応答遅延タイマとは
メディア毎のパケットを送信（再送ではない初回）する
ときにスタートされ、この初回の送信がなされることに
よって送信識別フラグが”１”にセットされる。この応
答遅延タイマをスタートさせることによって、当該パケ
ットの確認応答が所定の応答遅延時間以内に得られるか
（すなわち、再送を行うか）が管理され、また、この送
信識別フラグを立てることによって、当該パケットにつ
いて以後送信を行うときには再送であることが識別され
る。また、再送監視タイマをスタートさせることによっ
て、当該パケットについて再送処理を行うことが許容さ
れる時間が管理される。

【００４７】また、再送管理を行うために送信側装置１
のＲＯＭ２０に予め記憶されている定義テーブルも図１
４に示す構成に変更されており、この定義テーブルに
は、各メディアデータ毎に再送処理を行うことが許容さ
れる上限時間を規定する再送監視タイマ値が記憶されて
いる。すなわち、再送監視タイマ値によって再送処理を
繰り返し行うことができる最大限の時間が規定されてお
り、再送管理処理においては再送処理に費やしているタ
イマ値（時間）と当該再送監視タイマ値とが比較され
る。なお、受信側装置３０のＲＡＭ５１に記憶された受
信管理テーブル及びＲＯＭ４９に記憶された定義テーブ
ルは、上述した実施例と同様である。

【００４８】次に、図１５を参照して、本実施例におけ
る再送管理処理の手順を具体的に説明する。なお、この
再送管理処理も各パケットバッファ１６〜１８毎に独立
して実行される。まず、パケットバッファのＰＵＴポイ
ンタとＧＥＴポインタとを比較してパケットバッファ内
に送信すべきパケットがあるかを判断し（ステップＳ４
１）、パケットがある場合には当該パケットを多重化バ
ッファ１９に格納する一方（ステップＳ４２）、パケッ
トがない場合にはステップＳ４１の判断処理を繰り返し
行う。そして、上記のように送信対象のパケットを多重
化バッファ１９に格納した後、再送管理テーブルの送信
Ｐ（Ｓ）ポインタを更新（＋１）し（ステップＳ４
３）、送信管理テーブルの対応する順序番号のパケット
について、応答遅延時間を計時するためのタイマ２３を
スタートさせる（ステップＳ４４）。

【００４９】次いで、再送管理テーブルの送信識別フラ
グを確認して（ステップＳ４５）、当該フラグが”０”
である場合（再送処理ではない場合）には、当該パケッ
トについて以後に再送処理が行われた場合にこれを時間
管理するため、当該パケットについての再送許容時間を
計時するためのタイマ２３をスタートさせる（ステップ
Ｓ４６）。なお、この処理を行うと同時に、送信識別フ
ラグが”１”にセットされる。一方、送信識別フラグ
が”１”である場合には、当該パケットについてこれか
ら行う送信処理は２回目以降（すなわち、再送）であ
り、既に再送監視タイマはスターとされているのでその
まま次の処理ステップへ移行する。

【００５０】次いで、タイマ２３によるカウント値と送
信管理テーブルの応答遅延タイマ値とを比較してタイム
アップしたパケットがあるかを判断し（ステップＳ４
７）、タイプアップしたパケットがない場合には上記の
処理を繰り返し行う。一方、タイムアップしたパケット
がある場合には、当該パケットについての再送処理を行
う時間があるかを確認するため、タイマ２３によるカウ
ント値と送信管理テーブルの再送監視タイマ値とを比較
してタイムアップしたかを判断する（テップＳ４８）。
この結果、このタイムアップしていない場合には当該パ
ケットについての再送を更に繰り返して行うために、送
信管理テーブルの送信Ｐ（Ｓ）ポインタを戻して（−
１）上記の処理を繰り返し行う（ステップＳ４９）。す
なわち、この送信Ｐ（Ｓ）ポインタを戻すことによっ
て、当該パケットは未だ送信されていない状態と管理さ
れ、送信処理（すなわち、再送処理）が行われることと
なる。

【００５１】一方、タイムアップした場合には再送処理
に費やすことができる時間が経過した状態であるので、
伝送エラーが生じている当該パケットについて再送処理
を打ち切るために、当該伝送エラーのパケットを正常受
信されたパケットと同様に扱い、再送管理テーブルの送
信Ｐ（Ｓ）ポインタを更新して次のパケットについての
再送管理を行うとともに（ステップＳ５０）、パケット
バッファの廃棄ポインタを更新する（ステップＳ５
１）。したがって、各メディア毎のパケットは再送監視
タイマ値で規定される時間内でのみ再送処理が行われ、
各メディアの特性に応じて許容される遅延時間での再送
処理が実行される。

【００５２】なお、上記実施例ではカメラやマイクロホ
ンで入力したデータをパケット通信する例を示したが、
記憶装置に予め記憶されらメディアデータをパケット通
信するようにしてもよく、また、本発明は予めパケット
化されたマルチメディアデータに対しても適用すること
ができる。また、上記の実施例では各パケットのメディ
ア種別をバーチャルチャネル番号で識別したが、各パケ
ットにメディア種別情報を付加するようにしてもよい。

【００５３】

【発明の効果】以上説明したように、本発明によると、
多重化された複数種類のメディアデータの通信におい
て、伝送エラーの発生に対する再送処理がメディア毎に
予め設定した時間内で行われるため、再送処理に起因し
て過大な遅延時間が生ずることが防止され、各メディア
の特性に応じたデータ通信を実現することができる。特
に、中継伝送の速度が低速で且つ固定的（例えば、ＰＨ
Ｓでは３２Ｋｂｐｓ）な無線通信手段を用いてマルチメ
ディア通信を行う場合に適用して本発明は顕著な効果を
奏し、また、簡易テレビ電話システム、ビデオフォンシ
ステム、遠隔指示システム、工事立ち会いシステム、遠
隔監視システム等といった広い分野への適用も可能であ
る。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るマルチメディア多重
化通信装置の構成図である。

【図２】データストリームのパケット化を説明する概念
図である。

【図３】データパケット及び確認応答パケットの構成を
説明する図である。

【図４】パケットの多重化を説明する概念図である。

【図５】多重化パケット列の伝送フレーム構成を説明す
る図である。

【図６】多重化パケット列の分離を説明する概念図であ
る。

【図７】送信側装置及び受信側装置の定義テーブルを説
明する概念図である。

【図８】送信側装置に備えられた送信管理テーブルの一
例を説明する概念図である。

【図９】再送管理処理の手順の一例を示すフローチャー
トである。

【図１０】確認応答受信処理の手順の一例を示すフロー
チャートである。

【図１１】受信側装置に備えられた受信管理テーブルの
一例を説明する概念図である。

【図１２】確認応答送信処理の手順の一例を示すフロー
チャートである。

【図１３】送信側装置に備えられた再送管理テーブルの
一例を説明する概念図である。

【図１４】送信側装置の定義テーブルを説明する概念図
である。

【図１５】再送管理処理の手順の他の一例を示すフロー
チャートである。

【図１６】従来における多重化パケット列の伝送フレー
ム構成を説明する図である。

【符号の説明】

１・・・送信側装置、 ２・・・カメラ、 ３・・・テ
キストファイル、４・・・マイクロフォン、 ５・・・
通信手段、 ６・・・送信符号化部、７・・・送信パケ
ット部、 ８・・・通信制御手段、 ９・・・主制御
部、３０・・・受信側装置、 ３１・・・表示部、 ３
２・・・テキストファイル、３３・・・スピーカ、 ３
４・・・通信手段、 ３５・・・通信制御手段、３６・
・・受信パケット部、 ３７・・・受信復号化部、３８
・・・主制御部、

Claims (6)

【特許請求の範囲】
1. 【請求項１】 パケット化した複数種類のメディアデー
   タを多重化して送信するマルチメディア多重化通信方法
   において、 各メディアデータの種類毎に再送処理に費やすことがで
   きる時間を予め設定し、送信されたメディアデータパケ
   ットに伝送エラーが発生した場合に、当該パケットにつ
   いての再送処理を前記設定時間内において行うことを特
   徴とするマルチメディア多重化通信方法。
2. 【請求項２】 請求項１に記載のマルチメディア多重化
   通信方法において、 前記設定時間は、所定の時間内に行われる再送処理の回
   数で設定されることを特徴とするマルチメディア多重化
   通信方法。
3. 【請求項３】 請求項１又は請求項２に記載のマルチメ
   ディア多重化通信方法において、 各パケットには伝送エラーを検出するチェックコードが
   付加されており、 再送処理は、送信されたデータを受信する受信側装置か
   ら正常受信の確認応答が所定の時間内に得られないこと
   に基づいて行われることを特徴とするマルチメディア多
   重化通信方法。
4. 【請求項４】 送信側装置によりパケット化された複数
   種類のメディアデータを混合多重化して送信し、受信側
   装置によりパケット列を受信して各メディアデータを再
   生するマルチメディア多重化通信システムにおいて、 送信側装置は、各メディアデータをパケット化するパケ
   ット生成手段と、生成された各メディアデータのパケッ
   トを混合配列させるパケット多重化手段と、混合配列に
   より生成されたパケット列を各パケット毎に伝送エラー
   を検出するチェックコードを付加して送信する送信手段
   と、を備え、 受信側装置は、送信されたパケット列中の各パケットに
   ついてチェックコードに基づいて伝送エラーを検出する
   エラー検出手段と、送信されたパケット列を受信する受
   信手段と、正常に受信したパケット列を各メディアデー
   タ毎のパケットに分離するパケット分離手段と、分離さ
   れた各メディアデータ毎のパケットからメディアデータ
   を再生するデータ再生手段と、を備え、 更に、受信側装置には、伝送エラーを検出したパケット
   を送信側装置へ通知する再送要求手段が備えられ、 送信側装置には、前記通知に基づいて該当するパケット
   を再送させる再送処理手段と、各メディアデータの種類
   毎に予め設定された再送処理に費やすことができる時間
   内で当該再送処理を実行させる再送管理手段と、が備え
   られていることを特徴とするマルチメディア多重化通信
   システム。
5. 【請求項５】 請求項４に記載のマルチメディア多重化
   通信システムにおいて、 再送管理手段は、所定の時間内に行われる再送処理の回
   数で再送処理に費やすことができる時間を管理すること
   を特徴とするマルチメディア多重化通信システム。
6. 【請求項６】 請求項４又は請求項５に記載のマルチメ
   ディア多重化通信システムにおいて、 送信側装置は、パケット化されるメディアデータを圧縮
   するデータ圧縮手段を更に備え、 受信側装置は、圧縮されたメディアデータを伸長するデ
   ータ伸長手段と、伸長再生された各メディアデータに基
   づいて各メディア情報を出力する出力手段と、を更に備
   えていることを特徴とするマルチメディア多重化通信シ
   ステム。