JPH11331248A - 送信装置および送信方法、受信装置および受信方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 複数チャンネルのオーディオ信号を、受信側
において、リアルタイムで、復号、再生することができ
るように送信する。 【解決手段】 オーディオ信号入力回路３１において、
複数チャンネルのディジタル信号それぞれが、１以上の
素片に分割され、その複数チャンネルの素片それぞれ
が、符号化部４１₁乃至４１_Mのうちの、対応するチャン
ネルのものにおいて符号化されて、符号化素片データと
される。そして、多重化部４３は、符号化素片データの
送信を終了した時刻において、複数チャンネルの符号化
素片データの中から、次に送信するものが選択され、送
信回路３３に供給される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、送信装置および送
信方法、受信装置および受信方法、並びに提供媒体に関
し、特に、例えば、複数チャンネルのディジタルオーデ
ィオ信号などのディジタル信号を符号化して送信し、受
信側において、これを受信して復号し、リアルタイムで
再生する場合などに用いて好適な送信装置および送信方
法、受信装置および受信方法、並びに提供媒体に関す
る。

【０００２】

【従来の技術】例えば、インターネットなどのネットワ
ークを介して、送信側から受信側に、ディジタルオーデ
ィオ信号などのディジタル信号を伝送する場合において
は、送信側で、一般に、オーディオ信号を、約１／１０
乃至１／１００程度に高能率符号化し、符号化データと
してから送信し、受信側で、その符号化データを復号、
再生するようになされている。

【０００３】

【発明が解決しようとする課題】ところで、ネットワー
クを介して提供されるオーディオ信号は、一般に、モノ
ラルかステレオで、複数の楽器の音や歌声（歌詞）がミ
キシングされた状態になっている。従って、受信側にお
いて、例えば、全体の音量を大きくしたり、また小さく
したりする調整は行うことができるが、ある１の楽器の
音だけや、歌声だけの音量を調整することは困難であ
る。

【０００４】しかしながら、受信側において、ある１の
楽器の音だけや、歌声だけの音量を調整したり、さらに
は、ボーカルパートだけや伴奏パートだけを聴いたり、
幾つかの所望の楽器の音だけをミキシングして聴くなど
といった、いわばユーザインタラクティビティの高いサ
ービスの提供（汎用性の高いオーディ信号の提供）が要
望されている。

【０００５】これを実現するには、複数の楽器の音それ
ぞれのオーディオ信号、歌声のオーディオ信号などをミ
キシングせずに、別々に送信する必要があるが、このよ
うに複数のオーディオ信号を別々に送信する場合には、
それらをミキシングして送信する場合に比較して、受信
側に送信するデータ量が増加する。そして、このデータ
量の増加を低減しようとすれば、複数のオーディオ信号
それぞれのデータ量を少なくせざるを得ず、受信側で再
生されるオーディオ信号の音質が劣化することとなる。

【０００６】一方、ネットワークの伝送レート（使用可
能な帯域）は、そのネットワークに接続するためにユー
ザが使用する回線や、サーバなどの送信側にアクセスし
ているユーザの数などによって変動する。このため、受
信側において、複数のオーディオ信号それぞれを符号化
した符号化データを受信しながら、それをリアルタイム
で復号、再生するような場合に、ネットワークの伝送レ
ートに起因して、符号化データの送信が間に合わなくな
り、オーディオ信号を、リアルタイムで、復号、再生す
ることが困難となることがある。

【０００７】本発明は、このような状況に鑑みてなされ
たものであり、送信側において、複数のオーディオ信号
を適応的に送信することにより、受信側において、汎用
性の高いオーディオ信号を、リアルタイムで、復号、再
生すること等ができるようにするものである。

【０００８】

【課題を解決するための手段】請求項１に記載の送信装
置は、複数チャンネルのディジタル信号それぞれを、１
以上の素片に分割する分割手段と、複数チャンネルの素
片それぞれを符号化し、符号化素片データとする符号化
手段と、所定の時刻において、複数チャンネルの符号化
素片データのうちのいずれかを選択する選択手段と、選
択手段によって選択された符号化素片データを送信する
送信手段とを備えることを特徴とする。

【０００９】請求項１４に記載の送信方法は、複数チャ
ンネルのディジタル信号それぞれを、１以上の素片に分
割する分割ステップと、複数チャンネルの素片それぞれ
を符号化し、符号化素片データとする符号化ステップ
と、所定の時刻において、複数チャンネルの符号化素片
データのうちのいずれかを選択する選択ステップと、選
択ステップで選択された符号化素片データを送信する送
信ステップとを備えることを特徴とする。

【００１０】請求項２７に記載の提供媒体は、複数チャ
ンネルのディジタル信号それぞれを、１以上の素片に分
割する分割ステップと、複数チャンネルの素片それぞれ
を符号化し、符号化素片データとする符号化ステップ
と、所定の時刻において、複数チャンネルの符号化素片
データのうちのいずれかを選択する選択ステップと、選
択ステップで選択された符号化素片データを送信する送
信ステップとを備えるコンピュータプログラムを提供す
ることを特徴とする。

【００１１】請求項４０に記載の提供媒体は、複数チャ
ンネルのディジタル信号それぞれを、１以上の素片に分
割し、複数チャンネルの素片それぞれを符号化して、符
号化素片データとし、所定の時刻において、複数チャン
ネルの符号化素片データのうちのいずれかを選択して出
力することにより得られる符号化素片データを提供する
ことを特徴とする。

【００１２】請求項４１に記載の受信装置は、符号化デ
ータを、複数チャンネルのディジタル信号それぞれを１
以上の素片に分割して符号化した符号化素片データと、
その再生を開始する再生開始時刻に関する時刻情報とに
分離する分離手段と、符号化素片データを、素片に復号
する復号手段と、復号手段が出力する素片の再生を、時
刻情報に基づいて制御する制御手段とを備えることを特
徴とする。

【００１３】請求項４３に記載の受信方法は、符号化デ
ータを、複数チャンネルのディジタル信号それぞれを１
以上の素片に分割して符号化した符号化素片データと、
その再生を開始する再生開始時刻に関する時刻情報とに
分離する分離ステップと、符号化素片データを、素片に
復号する復号ステップと、復号ステップで得られる素片
の再生を、時刻情報に基づいて制御する制御ステップと
を備えることを特徴とする。

【００１４】請求項４５に記載の提供媒体は、符号化デ
ータを、複数チャンネルのディジタル信号それぞれを１
以上の素片に分割して符号化した符号化素片データと、
その再生を開始する再生開始時刻に関する時刻情報とに
分離する分離ステップと、符号化素片データを、素片に
復号する復号ステップと、復号ステップで得られる素片
の再生を、時刻情報に基づいて制御する制御ステップと
を備えるコンピュータプログラムを提供することを特徴
とする。

【００１５】請求項４７に記載の受信装置は、複数チャ
ンネルのディジタル信号それぞれを、１以上の素片に分
割し、複数チャンネルの素片それぞれを符号化して、符
号化素片データとし、所定の時刻において、複数チャン
ネルの符号化素片データのうちのいずれかを選択して出
力することにより得られる符号化素片データを受信する
受信手段と、受信手段により受信された符号化素片デー
タを、素片に復号する復号手段とを備えることを特徴と
する。

【００１６】請求項４８に記載の受信方法は、複数チャ
ンネルのディジタル信号それぞれを、１以上の素片に分
割し、複数チャンネルの素片それぞれを符号化して、符
号化素片データとし、所定の時刻において、複数チャン
ネルの符号化素片データのうちのいずれかを選択して出
力することにより得られる符号化素片データを受信する
受信ステップと、受信ステップで受信された符号化素片
データを、素片に復号する復号ステップとを備えること
を特徴とする。

【００１７】請求項４９に記載の提供媒体は、複数チャ
ンネルのディジタル信号それぞれを、１以上の素片に分
割し、複数チャンネルの素片それぞれを符号化して、符
号化素片データとし、所定の時刻において、複数チャン
ネルの符号化素片データのうちのいずれかを選択して出
力することにより得られる符号化素片データを受信する
受信ステップと、受信ステップで受信された符号化素片
データを、素片に復号する復号ステップとを備えるコン
ピュータプログラムを提供することを特徴とする。

【００１８】請求項１に記載の送信装置においては、分
割手段は、複数チャンネルのディジタル信号それぞれ
を、１以上の素片に分割し、符号化手段は、複数チャン
ネルの素片それぞれを符号化して、符号化素片データと
するようになされている。選択手段は、所定の時刻にお
いて、複数チャンネルの符号化素片データのうちのいず
れかを選択し、送信手段は、選択手段によって選択され
た符号化素片データを送信するようになされている。

【００１９】請求項１４に記載の送信方法においては、
複数チャンネルのディジタル信号それぞれを、１以上の
素片に分割し、複数チャンネルの素片それぞれを符号化
して、符号化素片データとし、所定の時刻において、複
数チャンネルの符号化素片データのうちのいずれかを選
択し、その選択された符号化素片データを送信するよう
になされている。

【００２０】請求項２７に記載の提供媒体においては、
複数チャンネルのディジタル信号それぞれを、１以上の
素片に分割し、複数チャンネルの素片それぞれを符号化
して、符号化素片データとし、所定の時刻において、複
数チャンネルの符号化素片データのうちのいずれかを選
択し、その選択された符号化素片データを送信する処理
を行うためのコンピュータプログラムを提供するように
なされている。

【００２１】請求項４０に記載の提供媒体においては、
複数チャンネルのディジタル信号それぞれを、１以上の
素片に分割し、複数チャンネルの素片それぞれを符号化
して、符号化素片データとし、所定の時刻において、複
数チャンネルの符号化素片データのうちのいずれかを選
択して出力することにより得られる符号化素片データを
提供するようになされている。

【００２２】請求項４１に記載の受信装置においては、
分離手段は、符号化データを、複数チャンネルのディジ
タル信号それぞれを１以上の素片に分割して符号化した
符号化素片データと、その再生を開始する再生開始時刻
に関する時刻情報とに分離するようになされている。復
号手段は、符号化素片データを、素片に復号し、制御手
段は、復号手段が出力する素片の再生を、時刻情報に基
づいて制御するようになされている。

【００２３】請求項４３に記載の受信方法においては、
符号化データを、複数チャンネルのディジタル信号それ
ぞれを１以上の素片に分割して符号化した符号化素片デ
ータと、その再生を開始する再生開始時刻に関する時刻
情報とに分離し、符号化素片データを、素片に復号し、
その素片の再生を、時刻情報に基づいて制御するように
なされている。

【００２４】請求項４５に記載の提供媒体においては、
符号化データを、複数チャンネルのディジタル信号それ
ぞれを１以上の素片に分割して符号化した符号化素片デ
ータと、その再生を開始する再生開始時刻に関する時刻
情報とに分離し、符号化素片データを、素片に復号し、
その素片の再生を、時刻情報に基づいて制御する処理を
行うためのコンピュータプログラムを提供するようにな
されている。

【００２５】請求項４７に記載の受信装置においては、
受信手段は、複数チャンネルのディジタル信号それぞれ
を、１以上の素片に分割し、複数チャンネルの素片それ
ぞれを符号化して、符号化素片データとし、所定の時刻
において、複数チャンネルの符号化素片データのうちの
いずれかを選択して出力することにより得られる符号化
素片データを受信し、復号手段は、受信手段により受信
された符号化素片データを、素片に復号するようになさ
れている。

【００２６】請求項４８に記載の受信方法においては、
複数チャンネルのディジタル信号それぞれを、１以上の
素片に分割し、複数チャンネルの素片それぞれを符号化
して、符号化素片データとし、所定の時刻において、複
数チャンネルの符号化素片データのうちのいずれかを選
択して出力することにより得られる符号化素片データを
受信し、その符号化素片データを、素片に復号するよう
になされている。

【００２７】請求項４９に記載の提供媒体においては、
複数チャンネルのディジタル信号それぞれを、１以上の
素片に分割し、複数チャンネルの素片それぞれを符号化
して、符号化素片データとし、所定の時刻において、複
数チャンネルの符号化素片データのうちのいずれかを選
択して出力することにより得られる符号化素片データを
受信し、その符号化素片データを、素片に復号する処理
を行うためのコンピュータプログラムを提供するように
なされている。

【００２８】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００２９】即ち、請求項１に記載の送信装置は、複数
チャンネルのディジタル信号それぞれを符号化した符号
化データを送信する送信装置であって、複数チャンネル
のディジタル信号それぞれを、１以上の素片に分割する
分割手段（例えば、図４に示すオーディオ信号入力回路
３１など）と、複数チャンネルの素片それぞれを符号化
し、符号化素片データとする符号化手段（例えば、図４
に示す符号化部４１₁乃至４１_Mなど）と、所定の時刻に
おいて、複数チャンネルの符号化素片データのうちのい
ずれかを選択する選択手段（例えば、図８に示すプログ
ラムの処理ステップＳ５など）と、選択手段によって選
択された符号化素片データを送信する送信手段（例え
ば、図４に示す送信回路３３など）とを備えることを特
徴とする。

【００３０】請求項２に記載の送信装置は、送信手段に
よる符号化素片データの送信が終了した送信終了時刻を
検出する検出手段（例えば、図８に示すプログラムの処
理ステップＳ３など）をさらに備え、選択手段が、送信
終了時刻において、送信手段に次に送信させる符号化素
片データを選択することを特徴とする。

【００３１】請求項３に記載の送信装置は、複数チャン
ネルそれぞれには、その重要性を表す重要度が設定され
ており、現在時刻と、最も高い重要度のチャンネルのデ
ィジタル信号の再生を開始する再生開始時刻とを比較す
る比較手段（例えば、図２０に示すプログラムの処理ス
テップＳ６６など）をさらに備え、送信手段が、比較手
段の比較結果に基づいて、いま送信している符号化素片
データの送信を、強制的に終了することを特徴とする。

【００３２】請求項４に記載の送信装置は、符号化素片
データに、その再生を開始する再生開始時刻に関する時
刻情報を付加する付加手段（例えば、図４に示す制御部
４２など）をさらに備えることを特徴とする。

【００３３】請求項４１に記載の受信装置は、複数チャ
ンネルのディジタル信号それぞれを符号化した符号化デ
ータを受信する受信装置であって、符号化データを受信
する受信手段（例えば、図６に示す受信回路６１など）
と、符号化データを、複数チャンネルのディジタル信号
それぞれを１以上の素片に分割して符号化した符号化素
片データと、その再生を開始する再生開始時刻に関する
時刻情報とに分離する分離手段（例えば、図６に示す分
離部７１など）と、符号化素片データを、素片に復号す
る復号手段（例えば、図６に示す復号部７２₁乃至７２_M
など）と、復号手段が出力する素片の再生を、時刻情報
に基づいて制御する制御手段（例えば、図６に示す再生
タイミング調整部７３など）とを備えることを特徴とす
る。

【００３４】請求項４２に記載の受信装置は、符号化デ
ータを一時記憶する記憶手段（例えば、図６に示すバッ
ファ６１Ａなど）をさらに備えることを特徴とする。

【００３５】請求項４７に記載の受信装置は、複数チャ
ンネルのディジタル信号それぞれを符号化した符号化デ
ータを受信する受信装置であって、複数チャンネルのデ
ィジタル信号それぞれを、１以上の素片に分割し、複数
チャンネルの素片それぞれを符号化して、符号化素片デ
ータとし、所定の時刻において、複数チャンネルの符号
化素片データのうちのいずれかを選択して出力すること
により得られる符号化素片データを受信する受信手段
（例えば、図６に示す受信回路６１など）と、受信手段
により受信された符号化素片データを、素片に復号する
復号手段（例えば、図６に示す復号部７２₁乃至７２_Mな
ど）とを備えることを特徴とする。

【００３６】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００３７】図１は、本発明を適用した伝送システム
（システムとは、複数の装置が論理的に集合した物をい
い、各構成の装置が同一筐体中にあるか否かは問わな
い）の一実施の形態の構成例を示している。

【００３８】この伝送システムでは、クライアント端末
３からサーバ１に対して、例えば、インターネットや、
ＩＳＤＮ（Integrated Service Digital Network），Ｌ
ＡＮ（Local Area Network），ＰＳＴＮ（Public Switc
hed Telephone Network）などのネットワーク２を介し
て、例えば、曲などのオーディオ信号の要求があると、
サーバ１において、その要求のあった曲に対応するオー
ディオ信号を、所定の符号化方法で符号化した符号化デ
ータが、ネットワーク２を介して、クライアント端末３
に送信される。クライアント端末３では、サーバ１から
の符号化データが受信され、例えば、リアルタイムで、
復号、再生される（ストリーミング再生される）。

【００３９】図２は、図１のサーバ１のハードウェア構
成例を示している。

【００４０】ＲＯＭ（Read Only Memory）１１には、例
えば、ＩＰＬ（Initial Program Loading）プログラム
などが記憶されている。ＣＰＵ（Central Processor Un
it）１２は、例えば、ＲＯＭ１１に記憶されているＩＰ
Ｌプログラムにしたがって、外部記憶装置１６に記憶
（記録）されたＯＳ（Operating System）のプログラム
を実行し、さらに、そのＯＳの制御の下、外部記憶装置
１６に記憶された各種のアプリケーションプログラムを
実行することで、オーディオ信号の符号化処理や、その
符号化処理により得られる符号化データの、クライアン
ト端末３への送信処理などを行う。ＲＡＭ（Random Acc
ess Memory）１３は、ＣＰＵ１２の動作上必要なプログ
ラムやデータなどを記憶する。入力装置１４は、例え
ば、キーボードやマウス、マイク、外部インターフェイ
スなどで構成され、必要なデータやコマンドを入力する
ときに操作される。さらに、入力装置１４は、外部か
ら、クライアント端末３に対して提供するディジタルオ
ーディオ信号の入力を受け付けるインターフェイスとし
ても機能するようになされている。出力装置１５は、例
えば、ディスプレイや、スピーカ、プリンタなどで構成
され、必要な情報を表示、出力する。外部記憶装置１６
は、例えば、ハードディスクなどでなり、上述したＯＳ
やアプリケーションプログラムなどを記憶している。ま
た、外部記憶装置１６は、その他、ＣＰＵ２２の動作上
必要なデータなども記憶する。通信装置１７は、ネット
ワーク２を介しての通信に必要な制御を行う。

【００４１】次に、図３は、図１のクライアント端末３
のハードウェア構成例を示している。

【００４２】クライアント端末３は、ＲＯＭ２１乃至通
信装置２７で構成され、上述したＲＯＭ１１乃至通信装
置１７で構成されるサーバ１と基本的に同様に構成され
ている。

【００４３】但し、外部記憶装置２６には、アプリケー
ションプログラムとして、例えば、サーバ１からの符号
化データを復号するためのプログラムや、その他の後述
するような処理を行うためのプログラムなどが記憶され
ており、ＣＰＵ２２では、これらのアプリケーションプ
ログラムが実行されることで、符号化データの復号、再
生処理などが行われるようになされている。

【００４４】次に、図４は、図２のサーバ１の機能的構
成例を示している。なお、この構成は、ＣＰＵ１２が、
外部記憶装置１６に記憶されているアプリケーションプ
ログラムを実行することで実現される。

【００４５】クライアント端末３に提供すべきオーディ
オ信号は、オーディオ信号入力回路３１に供給されるよ
うになされており、そこでは、アナログのオーディオ信
号がＡ／Ｄ変換されることにより、ディジタルオーディ
オ信号とされる。そして、オーディオ信号入力回路３１
は、そのディジタル信号としたオーディオ信号を、例え
ば、チャンネルごとに分け、さらに、各チャンネルのオ
ーディオ信号を、所定の長さの素片に分割する。

【００４６】即ち、オーディオ信号入力回路３１には、
例えば、曲のオーディオ信号として、その曲を構成して
いるギターや、ピアノ、ドラム、歌（歌詞）などの各パ
ートごとに分けたオーディオ信号が同期して入力される
ようになされており、オーディオ信号入力回路３１は、
各パートのオーディオ信号に所定のチャンネルを割り当
てる。さらに、オーディオ信号入力回路３１は、複数チ
ャンネルそれぞれのオーディオ信号を所定の長さの素片
に分割し、符号化回路３２に供給する。

【００４７】なお、オーディオ信号入力回路３１には、
２以上のパートのオーディオ信号をミキシングしたもの
を入力することも可能である。但し、この場合、オーデ
ィオ信号入力回路３１からは、ミキシングされた状態の
オーディオ信号の素片が出力されることになる。

【００４８】また、オーディオ信号入力回路３１には、
実際のオーディオ信号の波形そのもの他、例えば、ＭＩ
ＤＩ（Musical Instrument Digital Interface）のデー
タなどを、オーディオ信号として入力することも可能で
ある。

【００４９】さらに、オーディオ信号入力回路３１に
は、複数チャンネルのディジタル信号それぞれを、固定
の長さの素片に分割させることも可能であるし、可変の
長さの素片に分割させることも可能である。オーディオ
信号を可変の長さに分割する場合には、例えば、オーデ
ィオ信号の無音部分や、パワー（振幅の２乗和）が所定
値以下の部分を検出し、そこで、素片を区切るようにす
れば良い。

【００５０】また、オーディオ信号は、複数チャンネル
すべてについて同一の長さの素片に分割すること（ある
チャンネルのオーディオ信号の素片の長さが、その先頭
からＬ１，Ｌ２，・・・となっている場合に、他のチャ
ンネルのオーディオ信号の素片の長さも、その先頭から
Ｌ１，Ｌ２，・・・となっていること）も可能である。

【００５１】さらに、オーディオ信号は、各チャンネル
ごとに、別個独立の長さの素片に分割することも可能で
ある。即ち、各チャンネルのオーディオ信号の素片の長
さは、チャンネル間で異なっていてもかまわない。

【００５２】符号化回路３２は、オーディオ信号入力回
路３１からのオーディオ信号を高能率符号化する。

【００５３】即ち、図４の実施の形態では、符号化回路
３２は、Ｍ個の符号化部４１₁乃至４１_M、制御部４２、
および多重化部４３で構成されている。

【００５４】符号化部４１_m（ｍ＝１，２，・・・，
Ｍ）には、オーディオ信号入力回路３１から、対応する
チャンネル（パート）のオーディオ信号の素片が供給さ
れる。符号化部４１_mは、オーディオ信号入力回路３１
からのオーディオ信号の素片を、所定の符号化方法で符
号化し、その結果得られるデータ（以下、適宜、符号化
素片データという）を、制御部４２に供給する。

【００５５】ここで、オーディオ信号の符号化方法とし
ては、（例えば、リニアＰＣＭ（Pulse Code Modulatio
n）や、ＡＤＰＣＭ（Adaptive Differential PCM），Ｍ
ＰＥＧ（Moving Picture Experts Group）のレイヤ１，
２，３，ＡＴＲＡＣ（Adaptive Transform Acoustic Co
ding），ＡＴＲＡＣ２などがある。なお、符号化部４１
₁乃至４１_Mにおける符号化方法は、同一のものであって
も、異なるものであってもかまわない。

【００５６】制御部４２は、符号化部４１₁乃至４１_Mそ
れぞれからの符号化素片データを復号して得られる素片
の再生が開始される、例えば、曲の先頭を基準とする時
刻（以下、適宜、再生開始時刻という）を、対応する符
号化素片データに付加する。さらに、制御部４２は、符
号化素片データに対して、必要な制御情報も付加し、多
重化部４３に供給する。

【００５７】多重化部４３は、所定のタイミング（時
刻）において、制御部４２から供給される各チャンネル
の符号化素片データのうちのいずれかを、重要度設定部
３４に設定されているチャンネルの重要性を表す重要度
や、符号化素片データに付加されている再生開始時刻、
符号化素片データのデータ量などに基づいて選択する。
即ち、多重化部４３は、例えば、前回選択した符号化素
片データの送信が終了した時刻（例えば、曲の先頭部分
の送信を開始した時刻を基準とするもの）（以下、適
宜、送信終了時刻という）において、制御部４２から供
給される各チャンネルの符号化素片データのうちのいず
れかを選択し、その選択した符号化素片データ（以下、
適宜、選択素片データという）を送信回路３３に出力す
る。

【００５８】送信回路３３は、多重化部４３から供給さ
れる選択素片データを、ネットワーク２に適した通信プ
ロトコルに対応したフォーマットに変換し、その結果得
られる符号化データを、ネットワーク２を介して、クラ
イアント端末３に送信する。

【００５９】重要度設定部３４には、符号化部４１₁乃
至４１_Mにおいて符号化されるオーディオ信号の各チャ
ンネルの重要性を表す重要度が設定されている。この設
定は、例えば、サーバ１の管理者などが、重要度設定部
３４を操作することによって行われる。即ち、例えば、
曲が、ギター、ピアノ、ドラム、歌（歌詞）のパートで
構成されている場合において、歌、ピアノ、ギター、ド
ラムの順で、重要性が高いと考えられるときには、重要
度設定部３４を、そのように操作することで、歌ピア
ノ、ギター、ドラムそれぞれに対応するチャンネルの重
要度が設定される。なお、チャンネルの重要度の設定
は、重要度設定部３４の操作に基づいて行う他、例え
ば、各チャンネルのオーディオ信号のパワーの大小や、
無音部の多少などに基づいて行うことも可能である。チ
ャンネルの重要度の設定を、重要度設定部３４の操作に
基づいて行う場合には、次に操作が行われるまで、各チ
ャンネルの重要度は変化しないが、オーディオ信号のパ
ワーの大小や無音部の多少に基づいて行う場合には、各
チャンネルの重要度は、その送信中に変化することがあ
る。

【００６０】次に、図５は、図４の制御部４２が出力す
るデータのフォーマットを示している。

【００６１】同図に示すように、符号化部４１_mから出
力された符号化素片データは、制御部４２において、そ
の再生開始時刻や制御情報などがヘッダとして付加さ
れ、符号化データとされて出力される。

【００６２】次に、図６は、図３のクライアント端末３
の機能的構成例を示している。なお、この構成は、ＣＰ
Ｕ２２が外部記憶装置２６に記憶されたアプリケーショ
ンプログラムを実行することで実現される。

【００６３】サーバ１から、ネットワーク２を介して送
信されてくる符号化データは、受信回路６１に供給され
る。受信回路６１は、符号化データを受信し、図４の送
信回路３３におけるフォーマット変換に対応するフォー
マット変換を施した後、復号回路６２に供給する。復号
回路６２は、受信回路６１から供給される符号化データ
を復号する。

【００６４】即ち、復号回路６２は、分離部７１，Ｍ個
の復号部７２₁乃至７２_M、および再生タイミング調整部
７３で構成されている。なお、ここでは、復号回路６２
を構成する復号部７２₁乃至７２_Mの数を、図４の符号化
回路３２を構成する符号化部４１₁乃至４１_Mの数と同一
にしているが、これらの数は一致していなくてもかまわ
ない。但し、復号部の数が、符号化部の数よりも少ない
場合には、クライアント端末３において、復号、再生さ
れないチャンネル（パート）のオーディオ信号が生じる
ことになる。また、復号部７２₁乃至７２_Mは、ここで
は、例えば、図４の符号化部４１₁乃至４１_Mにおいてそ
れぞれ符号化されたデータの復号をすることができるよ
うになされている。

【００６５】分離部７１には、受信回路６１が出力する
符号化データが供給されるようになされている。分離部
７１は、符号化データから、符号化素片データと、ヘッ
ダとを分離し、符号化素片データを、復号部７２₁乃至
７２_Mのうちの、対応するチャンネルのものに供給す
る。さらに、分離部７１は、ヘッダに配置されている再
生開始時刻を、再生タイミング調整部７３に供給すると
ともに、同じくヘッダに配置されている制御情報を、オ
ーディオ信号出力回路６３に供給する。

【００６６】復号部７２_mは、分離部７１からの符号化
素片データを、元の素片に復号し、再生タイミング調整
部７３に供給する。再生タイミング調整部７３は、復号
部７２_mから供給されるオーディオ信号の素片が、分離
部７１から供給される再生開始時刻に、オーディオ信号
出力回路６３から出力されるように（再生されるよう
に）、オーディオ信号出力回路６３への出力タイミング
を調整して、オーディオ信号出力回路６３に供給する。

【００６７】オーディオ信号出力回路６３は、再生タイ
ミング調整部７３から供給される各チャンネルのオーデ
ィオ信号の素片をＤ／Ａ変換し、さらに、必要に応じて
ミキシングして出力する。オーディオ信号出力回路６３
が出力するオーディオ信号は、出力装置２５（図３）を
構成するスピーカなどから出力される。

【００６８】図７は、図６のオーディオ信号出力回路６
３の構成例を示している。

【００６９】図７（Ａ）の実施の形態では、オーディオ
信号出力回路６３は、再生タイミング調整部７３から出
力されるＮ（≦Ｍ）個のオーディオ信号（の素片）Ｓ₁
乃至Ｓ_Nを、そのまま、オーディオ信号ｃｈ₁乃至ｃｈ_N
として、それぞれ出力するようになされている。

【００７０】図７（Ｂ）の実施の形態では、オーディオ
信号出力回路６３は、ミキサ６３Ａを有し、ミキサ６３
Ａは、再生タイミング調整部７３から出力されるＮ個の
オーディオ信号Ｓ₁乃至Ｓ_Nを、分離部７１からの制御情
報に基づいてミキシングし、オーディオ信号ｃｈ₁また
はｃｈ₂として、それぞれ出力するようになされてい
る。なお、オーディオ信号ｃｈ₁またはｃｈ₂は、例え
ば、Ｌ（Left）チャンネルまたはＲ（Right）チャンネ
ルに相当する。また、この場合、制御情報は、オーディ
オ信号Ｓ₁乃至Ｓ_Nそれぞれを、ＬチャンネルまたはＲチ
ャンネルのいずれから出力するのかを指示する情報を含
んでいる。さらに、この場合、制御情報には、オーディ
オ信号Ｓ₁乃至Ｓ_Nそれぞれをパンニングするための情報
を含めることができる。即ち、制御情報には、オーディ
オ信号Ｓ_n（ｎ＝１，２，・・・，Ｎ）を、Ｌチャンネ
ルまたはＲチャンネルそれぞれから何％の割合で出力さ
せるかを指示する情報（例えば、ＬまたはＲチャンネル
からそれぞれ３０％または７０％のレベルで、オーディ
オ信号Ｓ_n（ｎ＝１，２，・・・，Ｎ）を出力するよう
に指示する情報）を含めることができる。

【００７１】図７（Ｃ）の実施の形態では、オーディオ
信号出力回路６３は、マトリックススイッチャ６３Ｂを
有し、マトリックススイッチャ６３Ｂは、再生タイミン
グ調整部７３から出力されるＮ個のオーディオ信号Ｓ₁
乃至Ｓ_Nそれぞれを、分離部７１からの制御情報に基づ
いて、オーディオ信号ｃｈ₁乃至ｃｈ_Nのうちのいずれか
として出力するようになされている。なお、この場合、
制御情報は、オーディオ信号Ｓ₁乃至Ｓ_Nそれぞれを、オ
ーディオ信号ｃｈ₁乃至ｃｈ_Nのうちのいずれとして出力
するのかを指示する情報を含んでいる。

【００７２】ここで、オーディオ信号出力回路６３に
は、符号化データに含まれている制御情報を与えるので
はなく、ユーザが入力装置２４（図３）を操作すること
によって入力される制御情報を与えるようにすることも
可能である。この場合、オーディオ信号出力回路６３か
ら、どのような形でオーディオ信号を出力させるのか
を、ユーザが自由に設定することができる。

【００７３】次に、図８のフローチャートを参照して、
サーバ１が行うオーディオ信号（を符号化したもの）の
送信処理について説明する。

【００７４】サーバ１は、ネットワーク２を介して、ク
ライアント端末３から、曲の要求があると、図８のフロ
ーチャートにしたがった送信処理を行うことにより、ク
ライアント端末３から要求のあった曲の各パートごとの
オーディオ信号を、別々のチャンネルのオーディオ信号
として、かつ、その復号、再生をリアルタイムで行うこ
とができるように、ネットワーク２を介し、クライアン
ト端末３に対して送信するようになされている。

【００７５】即ち、各パートごとのオーディオ信号をミ
キシングせずに、別々のチャンネルのオーディオ信号と
して送信する場合においては、前述したように、それら
をミキシングして送信する場合に比較して、データ量が
増加する。従って、データ量に対して、ネットワーク２
の伝送レートが不十分な場合には、複数チャンネルのオ
ーディオ信号の送信が、その再生に間に合わなくなり、
リアルタイムでの再生をすることができなくなる。

【００７６】また、送信する複数チャンネルのオーディ
オ信号のデータ量に対して、ネットワーク２の伝送レー
トが不十分とならないように、各チャンネルのオーディ
オ信号のデータ量を少なくすると、ネットワーク２にお
けるトラフィック量が少なく、大きな（高い）伝送レー
トを確保することができる場合であっても、クライアン
ト端末３には、音質の劣化したオーディオ信号が提供さ
れることになる。

【００７７】そこで、ここでは、複数チャンネルのオー
ディオ信号の素片の中から、クライアント端末３に送信
するものを、適応的に選択するようにすることで、即
ち、ネットワーク２の伝送レートが不十分な場合（すべ
てのチャンネルのオーディオ信号を送信すると、そのリ
アルタイム再生ができなくなってしまう場合）には、最
も重要度の高いチャンネルの素片を送信することを必須
とし、他のチャンネルの素片の送信を、必要に応じて諦
める（断念する）ことで、クライアント端末３におけ
る、オーディオ信号のリアルタイム再生を保証するよう
になっている。

【００７８】即ち、サーバ１（図４）では、クライアン
ト端末３から要求のあった曲を構成する各パートのオー
ディオ信号が、オーディオ信号入力回路３１に入力され
る。オーディオ信号入力回路３１では、そこに入力され
た各パートのオーディオ信号がＡ／Ｄ変換され、それぞ
れ所定のチャンネルのディジタルオーディオ信号とされ
る。さらに、オーディオ信号入力回路３１では、各チャ
ンネルのオーディオ信号が、所定の長さの素片に分割さ
れ、符号化回路３２に供給される。符号化回路３２で
は、符号化部４１_mにおいて、対応するチャンネルのオ
ーディオ信号の素片が符号化され、その結果得られる符
号化素片データが、制御部４２に供給される。

【００７９】制御部４２では、符号化部４１₁乃至４１_M
それぞれからの符号化素片データに対して、その再生開
始時刻や必要な制御情報が付加され、多重化部４３に供
給される。

【００８０】多重化部４３は、クライアント端末３から
曲の要求がされた後に、最初に、制御部４２から符号化
素片データ（ヘッダが付加されたもの）を受信すると、
その中から、重要度設定部３４において最も重要度が高
く設定されているチャンネルの符号化素片データであっ
て、再生開始時刻が最も早いものを、選択素片データと
して選択し、送信回路３３に供給する。これにより、送
信回路３３では、ステップＳ１において、多重化部４３
からの選択素片データ、即ち、いまの場合、重要度設定
部３４において最も重要度が高く設定されているチャン
ネルの符号化素片データであって、再生開始時刻が最も
早いものが、ネットワーク２を介して、クライアント端
末３に送信される。

【００８１】そして、ステップＳ２に進み、選択素片デ
ータの送信がすべて終了したかどうかが判定され、ま
だ、終了していないと判定された場合、ステップＳ１に
戻る。これにより、送信回路３３では、選択素片データ
の送信が続行される。

【００８２】また、ステップＳ２において、選択素片デ
ータの送信がすべて終了したと判定された場合、ステッ
プＳ３に進み、選択素片データの送信を終了した送信終
了時刻Ｔ_eが、多重化部４３において検出され、ステッ
プＳ４に進み、まだ、送信すべき符号化素片データがあ
るかどうかが判定される。ステップＳ４において、ま
だ、送信すべき符号化素片データがあると判定された場
合、ステップＳ５に進み、多重化部４３において、次
に、送信回路３３に送信させる符号化素片データを選択
する素片選択処理が行われる。そして、多重化部４３に
おいて、素片選択処理が行われることにより、選択素片
データとする符号化素片データが選択されると、その選
択素片データは、送信回路３３に供給され、ステップＳ
１に戻り、送信回路３３において、多重化部４３からの
選択素片データが、ネットワーク２を介して、クライア
ント端末３に送信される。その後、ステップＳ２に進
み、以下、上述した処理が繰り返される。

【００８３】一方、ステップＳ４において、送信すべき
符号化素片データがないと判定された場合、送信処理を
終了する。

【００８４】次に、図８のステップＳ５における素片選
択処理について詳述する。

【００８５】なお、ここでは、クライアント端末３から
供給された曲が、例えば、図９に示すように、４チャン
ネルのオーディオ信号Ａ，Ｂ，Ｃ，Ｄで構成されるもの
とし、さらに、重要度設定部３４では、その順番で、重
要度が設定されているものとする。従って、図９の実施
の形態では、オーディオ信号Ａのチャンネルの重要度が
最も高く、オーディオ信号Ｄのチャンネルの重要度が最
も低いものとされている。ここで、重要度の最も高いチ
ャンネル（ここでは、オーディオ信号Ａのチャンネル）
を、以下、適宜、最重要チャンネルという。

【００８６】図９の実施の形態では、オーディオ信号Ａ
は、２つの素片Ａ１とＡ２に、オーディオ信号Ｂは、２
つの素片Ｂ１とＢ２に、オーディオ信号Ｃは、４つの素
片Ｃ１，Ｃ２，Ｃ３，Ｃ４に、オーディオ信号Ｄは、３
つの素片Ｄ１，Ｄ２，Ｄ３に、それぞれ分割されてい
る。さらに、素片Ａ１，Ｂ１，Ｃ１，Ｄ１の再生開始時
刻は同一になっており、素片Ａ２，Ｂ２，Ｃ２，Ｃ３，
Ｃ４，Ｄ２，Ｄ３の再生開始時刻は、それぞれ、Ｔ_a2，
Ｔ_b2，Ｔ_c2，Ｔ_c3，Ｔ_c4，Ｔ_d2，Ｔ_d3とされている。な
お、図９の実施の形態では、Ｔ_c2＜Ｔ_d2＜Ｔ_c3＜ｔ_a2＝
Ｔ_d3＜Ｔ_c4となっている。

【００８７】例えば、いま、多重化部４３に、（１）再
生開始時刻がより早い符号化素片データを、そして、
（２）再生開始時刻が同一である場合には、重要度が高
い符号化素片データを優先的に、選択素片データとして
選択させる場合には、図８のステップＳ５における素片
選択処理では、例えば、図１０のフローチャートにした
がった処理が行われる。

【００８８】即ち、この場合、素片選択処理では、まず
最初に、ステップＳ１１において、最重要チャンネルを
除いたチャンネルそれぞれについて、未送信の符号化素
片データの中から、選択素片データの候補が選択され
る。具体的には、例えば、図１１に示すように、前回、
選択素片データとして送信された符号化素片データの送
信終了時刻をＴ_eと、最重要チャンネルを除いたチャン
ネルの、未送信の符号化素片データの再生開始時刻をＴ
_sと、その符号化素片データを送信するのに要する時間
をＴ_tと、次に送信すべき最重要チャンネルの符号化素
片データ（例えば、図９において、既に、素片Ａ１の送
信を終了している場合には、素片Ａ２が、次に送信すべ
き最重要チャンネルの素片になる）の再生開始時刻をＴ
_smと、それぞれするとき、最重要チャンネルを除くチャ
ンネルそれぞれから、再生開始時刻Ｔ_sが、送信終了時
刻Ｔ_eよりも後で（遅く）、かつ再生開始時刻Ｔ_sから送
信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小の符
号化素片データが、選択素片データの候補として選択さ
れる。

【００８９】そして、ステップＳ１２に進み、最重要チ
ャンネルを除いたチャンネルそれぞれから選択された選
択素片データの候補のうち、再生開始時刻Ｔ_sから送信
終了時刻Ｔ_eまでの時間ｄが最小のものが、仮の選択素
片データとして選択される。

【００９０】その後、ステップＳ１３に進み、選択素片
データの候補の中に、時間ｄが同一のものがあるかどう
かが判定される。ステップＳ１３において、選択素片デ
ータの候補の中に、時間ｄが同一のものがあると判定さ
れた場合、即ち、ステップＳ１２で、仮の選択素片デー
タとして、２以上のチャンネルから、符号化素片データ
が選択された場合、ステップＳ１４に進み、その２以上
のチャンネルから選択された符号化素片データのうち、
より重要度の高いチャンネルのものが、仮の選択素片デ
ータとして、最終的に選択され、ステップＳ１５に進
む。

【００９１】また、ステップＳ１３において、選択素片
データの候補の中に、時間ｄが同一のものがないと判定
された場合、即ち、ステップＳ１２で、仮の選択素片デ
ータとして、１のチャンネルから、符号化素片データが
選択された場合、その符号化素片データが、仮の選択素
片データとして、最終的に選択され、ステップＳ１４を
スキップして、ステップＳ１５に進み、仮の選択素片デ
ータを送信したと仮定した場合に、その送信を終了する
時刻が推定され（この時刻を、以下、適宜、推定終了時
刻という）、その推定終了時刻が、仮の選択素片データ
の再生開始時刻Ｔ_sよりも前かどうかが判定される。

【００９２】ここで、仮の選択素片データの推定終了時
刻は、例えば、その仮の選択素片データを送信するのに
要する時間Ｔ_tを、送信終了時刻Ｔ_eに加算（Ｔ_t＋Ｔ_e）
することで求められる。

【００９３】また、仮の選択素片データを送信するのに
要する時間Ｔ_tは、例えば、その仮の選択素片データの
データ量を、ネットワーク２の伝送レートで除算（［デ
ータ量］／［伝送レート］）することで求められる。

【００９４】なお、ネットワーク２の伝送レートは、例
えば、次のようにして求めることができる。

【００９５】即ち、サーバ１とクライアント端末３との
間の通信は、一般に、クライアント端末３からデータの
要求があり、その要求に応じて、サーバ１がデータを送
信することで、あるいは、サーバ１がデータを送信し、
そのデータを受信したクライアント端末３がアクノリッ
ジ信号ＡＣＫ（acknowledge）を、サーバ１に送信する
ことで行われる。

【００９６】そこで、サーバ１が、クライアント端末３
からのデータの要求を受信した時刻ｔ１、その要求に応
じて、サーバ１が送信したデータのビット量ｎ１、その
次に、サーバ１が、クライアント端末３からのデータの
要求を受信した時刻ｔ２、その要求に際して、クライア
ント端末３から送信されてきたデータのビット量ｎ２を
用いて、ネットワーク２の伝送レートＢ［ｂｐｓ］は、
例えば、次式にしたがって求めることができる。

【００９７】Ｂ＝（ｎ１＋ｎ２）／（ｔ２−ｔ１）

【００９８】ここで、ネットワーク２の伝送レートＢ
は、通信の開始後、ステップＳ１５の処理が、最初に行
われるときにのみ求め、その通信が終了するまでは、最
初に求めた伝送レートＢを用いるようにしても良いが、
ネットワーク２の伝送レートは、基本的に、そのトラフ
ィックの状態によって、時々刻々と変化するから、ステ
ップＳ１５の処理が行われるたびに求めるのが望まし
い。

【００９９】なお、ネットワーク２が、インターネット
などの場合においては、例えば、ＲＦＣ（Request For
Comments）１８８９（ＩＥＴＦ（Internet Engineering
Task Force）発行）などに規定されているＲＴＰ（Rea
l-time Transport Protocol）と呼ばれるプロトコルを
使用することが可能であるが、ＲＴＰによるパケットに
は、そのパケットの送信時刻が配置されるため、伝送レ
ートＢは、その送信時刻を利用して求めることが可能で
ある。

【０１００】また、例えば、ＲＦＣ２２０５（ＩＥＴＦ
発行）などに規定されているＲＳＶＰ（Resouse Reserv
ation Protocol）のように、使用する伝送レート（帯
域）を予約するプロトコルを用いる場合においては、そ
の予約した伝送レートを、そのまま用いることができ
る。

【０１０１】ステップＳ１５において、仮の選択素片デ
ータの送信を終了する推定終了時刻が、その仮の選択素
片データの再生開始時刻Ｔ_sよりも前である（時間的に
先行する）と判定された場合、即ち、仮の選択素片デー
タの送信が、その再生開始時刻Ｔ_sまでに終了する場
合、ステップＳ１６に進み、仮の選択素片データの送信
を終了する推定終了時刻が、次に送信すべき最重要チャ
ンネルの素片の再生開始時刻Ｔ_smよりも前であるかどう
かが判定される。

【０１０２】ステップＳ１６において、仮の選択素片デ
ータの送信を終了する推定終了時刻が、次に送信すべき
最重要チャンネルの素片の再生開始時刻Ｔ_smよりも前で
あると判定された場合、即ち、仮の選択素片データの送
信が、次に送信すべき最重要チャンネルの素片の再生開
始時刻Ｔ_smまでに終了する場合、ステップＳ１７に進
み、仮の選択素片データを、選択素片データとして確定
し、リターンする。

【０１０３】また、ステップＳ１５において、仮の選択
素片データの送信を終了する推定終了時刻が、その仮の
選択素片データの再生開始時刻Ｔ_sよりも前でないと判
定された場合、即ち、仮の選択素片データの送信が、そ
の再生開始時刻Ｔ_sまでに終了しない場合、ステップＳ
１８に進み、ステップＳ１１で選択された選択素片デー
タの候補のうち、まだ、最終的に仮の選択素片データと
されていないものがあるかどうかが判定される。ステッ
プＳ１８において、選択素片データの候補のうち、ま
だ、最終的に仮の選択素片データとされていないものが
あると判定された場合、ステップＳ１２に戻り、まだ、
最終的に仮の選択素片データとされていない候補（選択
素片データの候補）を対象に、ステップＳ１２以下の処
理が繰り返される。

【０１０４】また、ステップＳ１６において、仮の選択
素片データの送信を終了する推定終了時刻が、次に送信
すべき最重要チャンネルの素片の再生開始時刻Ｔ_smより
も前でないと判定された場合、即ち、仮の選択素片デー
タの送信が、次に送信すべき最重要チャンネルの素片の
再生開始時刻Ｔ_smまでに終了しない場合、ステップＳ１
８に進み、以下、上述した処理が行われる。

【０１０５】ここで、上述したように、本実施の形態で
は、クライアント端末３におけるオーディオ信号のリア
ルタイム再生を保証するために、最重要チャンネルの素
片の送信を必須としているので、選択素片データは、次
に送信すべき最重要チャンネルの素片の再生開始時刻前
に送信が終了するものでなければならない。このため、
仮の選択素片データの送信が、次に送信すべき最重要チ
ャンネルの素片の再生開始時刻Ｔ_smまでに終了しない場
合においては、その仮の選択素片データを、選択素片デ
ータとして送信するのを諦め、他の候補について、選択
素片データとすることができるかどうかを調べるように
なされている。

【０１０６】また、符号化素片データの送信が、その再
生開始時刻までに開始されれば、理論的には、リアルタ
イム再生を行うことができるが、ここでは、余裕をみ
て、ステップＳ１５において、符号化素片データの送信
が、その再生開始時刻までに終了することを、その符号
化素片データが、選択素片データとして選択されるため
の条件の１つとしている。

【０１０７】一方、ステップＳ１８において、選択素片
データの候補のうち、まだ、最終的に仮の選択素片デー
タとされていないものがないと判定された場合、ステッ
プＳ１９に進み、次に送信すべき最重要チャンネルの符
号化素片データが、選択素片データとして確定され、リ
ターンする。

【０１０８】図１０の素片選択処理によれば、図９に示
した４チャンネルのオーディオ信号Ａ乃至Ｄは、図１２
に示すように送信される。

【０１０９】即ち、最初は、図８のステップＳ１で説明
したことから、最重要チャンネルの中の、再生開始時刻
が最も早い符号化素片データが、選択素片データとされ
るので、図１２（Ｂ）に示すように、符号化素片データ
Ａ１が送信される（ステップＳ１）。

【０１１０】符号化素片データＡ１の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＡ１の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ２，Ｄ２が、
選択素片データの候補として選択される（ステップＳ１
１）。従って、この時点で、符号化素片データＢ１，Ｃ
１，Ｄ１の再生は間に合わないため、その送信は断念さ
れる（諦められる）。

【０１１１】選択素片データの候補Ｂ２，Ｃ２，Ｄ２の
うち、再生開始時刻Ｔ_sから、符号化素片データＡ１の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１２（Ａ）および図１２（Ｂ）から、時刻Ｔ_c2
から再生が開始される符号化素片データＣ２だけである
から、この符号化素片データＣ２が、仮の選択素片デー
タとして、最終的に選択される（ステップＳ１２乃至Ｓ
１４）。

【０１１２】そして、仮の選択素片データＣ２について
は、それを送信したと仮定した場合に、図１２（Ｃ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＣ２の再生開始時刻Ｔ_c2よりも前で
あり、かつ、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＣ２
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０１１３】符号化素片データＣ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＣ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ３，Ｄ２が、
選択素片データの候補として選択される（ステップＳ１
１）。

【０１１４】選択素片データの候補Ｂ２，Ｃ３，Ｄ２の
うち、再生開始時刻Ｔ_sから、符号化素片データＣ２の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１２（Ａ）および図１２（Ｃ）から、時刻Ｔ_d2
から再生が開始される符号化素片データＤ２だけである
から、この符号化素片データＤ２が、仮の選択素片デー
タとして、最終的に選択される（ステップＳ１２乃至Ｓ
１４）。

【０１１５】そして、仮の選択素片データＤ２について
は、それを送信したと仮定した場合に、図１２（Ｄ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＤ２の再生開始時刻Ｔ_d2よりも前で
あり、かつ、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＤ２
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０１１６】符号化素片データＤ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＤ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ３，Ｄ３が、
選択素片データの候補として選択される（ステップＳ１
１）。

【０１１７】選択素片データの候補Ｂ２，Ｃ３，Ｄ３の
うち、再生開始時刻Ｔ_sから、符号化素片データＤ２の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１２（Ａ）および図１２（Ｄ）から、時刻Ｔ_b2
から再生が開始される符号化素片データＢ２だけである
から、この符号化素片データＢ２が、仮の選択素片デー
タとして、最終的に選択される（ステップＳ１２乃至Ｓ
１４）。

【０１１８】そして、仮の選択素片データＢ２について
は、それを送信したと仮定した場合に、図１２（Ｅ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＢ２の再生開始時刻Ｔ_b2よりも前に
ならないため（ステップＳ１５）、選択素片データの候
補Ｂ２，Ｃ３，Ｄ３のうち、まだ、最終的に仮の選択素
片データとされていない候補Ｃ３，Ｄ３を対象に、同様
の処理が行われる（ステップＳ１８）。

【０１１９】即ち、この場合、候補Ｃ３，Ｄ３のうち、
再生開始時刻Ｔ_Sから、符号化素片データＤ２の送信終
了時刻Ｔ_eまでの時間が最小なのは、図１２（Ａ）およ
び図１２（Ｄ）から、時刻Ｔ_c3から再生が開始される符
号化素片データＣ３だけであるから、この符号化素片デ
ータＣ３が、仮の選択素片データとして、最終的に選択
される（ステップＳ１２乃至Ｓ１４）。

【０１２０】そして、仮の選択素片データＣ３について
は、それを送信したと仮定した場合に、図１２（Ｆ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＣ３の再生開始時刻Ｔ_c3よりも前で
あり、かつ次に送信すべき最重要チャンネルの符号化素
片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＣ３
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０１２１】符号化素片データＣ３の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＣ３の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＣ４，Ｄ３が、選択素
片データの候補として選択される（ステップＳ１１）。

【０１２２】選択素片データの候補Ｃ４，Ｄ３のうち、
再生開始時刻Ｔ_sから、符号化素片データＡ１の送信終
了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小なのは、
図１２（Ａ）および図１２（Ｆ）から、時刻Ｔ_d3から再
生が開始される符号化素片データＤ３だけであるから、
この符号化素片データＤ３が、仮の選択素片データとし
て、最終的に選択される（ステップＳ１２乃至Ｓ１
４）。

【０１２３】そして、仮の選択素片データＤ３について
は、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＤ３の再
生開始時刻Ｔ_d3よりも前にならないため（ステップＳ１
５）、選択素片データの候補Ｃ４，Ｄ３のうち、まだ、
最終的に仮の選択素片データとされていない候補Ｃ４を
対象に、同様の処理が行われる（ステップＳ１８）。こ
の場合、符号化素片データＣ４が、仮の選択素片データ
として、最終的に選択される。そして、仮の選択素片デ
ータＣ４は、それを送信したと仮定した場合に、その送
信を終了する推定終了時刻が、その仮の選択素片データ
Ｃ４の再生開始時刻Ｔ_c4よりも前になるが（ステップＳ
１５）、次に送信すべき最重要チャンネルの符号化素片
データＡ２の再生開始時刻Ｔ_a2よりも前でない（ステッ
プＳ１６）。さらに、まだ、最終的に仮の選択素片デー
タとされていない候補もないため（ステップＳ１８）、
次に送信すべき最重要チャンネルの符号化素片データＡ
２が、選択素片データとして確定され（ステップＳ１
９）、図１２（Ｇ）に示すように送信される（ステップ
Ｓ１）。

【０１２４】従って、最重要チャンネルのリアルタイム
再生を必須とする場合においては、図１０の素片選択処
理では、符号化素片データＢ１，Ｂ２，Ｃ１，Ｃ４，Ｄ
１，Ｄ３の送信は断念される。

【０１２５】次に、例えば、多重化部４３に、図９に示
した素片を表す、アルファベットと数字の組み合わせ
（Ａ１，Ａ２，Ｂ１，Ｂ２，Ｃ１乃至Ｃ４，Ｄ１乃至Ｄ
３）の中の数字（以下、適宜、素片番号という）がより
小さく、かつ、最重要チャンネルを除いたチャンネルの
中で、重要度がより高い符号化素片データを優先的に、
選択素片データとして選択させる場合には、図８のステ
ップＳ５における素片選択処理では、例えば、図１３の
フローチャートにしたがった処理が行われる。

【０１２６】即ち、この場合、素片選択処理では、まず
最初に、ステップＳ２１において、図１０のステップＳ
１１における場合と同様にして、選択素片データの候補
が、最重要チャンネルを除く各チャンネルから選択され
る。

【０１２７】そして、ステップＳ２２に進み、最重要チ
ャンネルを除いたチャンネルそれぞれから選択された選
択素片データの候補のうち、重要度が最も高いものと２
番目に高いものとが選択され、ステップＳ２３に進む。
ステップＳ２３では、ステップ２２で選択された２つの
候補（選択素片データの候補）のうち、素片番号の小さ
いものが、仮の選択素片データとして、最終的に選択さ
れ、ステップＳ２４に進む。なお、ステップＳ２３で
は、ステップＳ２２で選択された２つの候補の素片番号
が等しい場合には、例えば、重要度の高いチャンネルの
候補が、仮の選択素片データとして、最終的に選択され
る。

【０１２８】ステップＳ２４では、仮の選択素片データ
を送信したと仮定した場合に、その送信を終了する推定
終了時刻（Ｔ_t＋Ｔ_e）が、図１０のステップＳ１５にお
ける場合と同様にして推定され、その推定終了時刻が、
仮の選択素片データの再生開始時刻Ｔ_sよりも前かどう
かが判定される。

【０１２９】ステップＳ２４において、仮の選択素片デ
ータの送信を終了する推定終了時刻が、その仮の選択素
片データの再生開始時刻Ｔ_sよりも前であると判定され
た場合、ステップＳ２５に進み、図１０のステップＳ１
６における場合と同様に、仮の選択素片データの送信を
終了する推定終了時刻が、次に送信すべき最重要チャン
ネルの素片の再生開始時刻Ｔ_smよりも前であるかどうか
が判定される。

【０１３０】ステップＳ２５において、仮の選択素片デ
ータの送信を終了する推定終了時刻が、次に送信すべき
最重要チャンネルの素片の再生開始時刻Ｔ_smよりも前で
あると判定された場合、ステップＳ２６に進み、仮の選
択素片データを、選択素片データとして確定し、リター
ンする。

【０１３１】また、ステップＳ２４において、仮の選択
素片データの送信を終了する推定終了時刻が、その仮の
選択素片データの再生開始時刻Ｔ_sよりも前でないと判
定された場合、ステップＳ２７に進み、ステップＳ２２
で選択された候補のうち、まだ、最終的に仮の選択素片
データとされていないものがあるかどうかが判定され
る。ステップＳ２７において、ステップＳ２２で選択さ
れた候補のうち、まだ、最終的に仮の選択素片データと
されていないものがあると判定された場合、ステップＳ
２８に進み、その、まだ最終的に仮の選択素片データと
されていない候補が、仮の選択素片データとして、最終
的に選択され、ステップＳ２４に戻り、以下、同様の処
理が繰り返される。

【０１３２】また、ステップＳ２７において、ステップ
Ｓ２２で選択された候補のうち、まだ、最終的に仮の選
択素片データとされていないものがないと判定された場
合、ステップＳ２９に進み、ステップＳ２１で選択され
た選択素片データの候補のうち、まだ、最終的に仮の選
択素片データとされていないものがあるかどうかが判定
される。ステップＳ２９において、選択素片データの候
補のうち、まだ、最終的に仮の選択素片データとされて
いないものがあると判定された場合、ステップＳ２２に
戻り、まだ、最終的に仮の選択素片データとされていな
い候補を対象に、ステップＳ２２以下の処理が繰り返さ
れる。

【０１３３】また、ステップＳ２５において、仮の選択
素片データの送信を終了する推定終了時刻が、次に送信
すべき最重要チャンネルの素片の再生開始時刻Ｔ_smより
も前でないと判定された場合、ステップＳ２７に進み、
以下、上述した処理が行われる。

【０１３４】一方、ステップＳ２９において、選択素片
データの候補のうち、まだ、最終的に仮の選択素片デー
タとされていないものがないと判定された場合、ステッ
プＳ３０に進み、次に送信すべき最重要チャンネルの符
号化素片データが、選択素片データとして確定され、リ
ターンする。

【０１３５】図１３の素片選択処理によれば、図９に示
した４チャンネルのオーディオ信号Ａ乃至Ｄは、図１４
に示すように送信される。

【０１３６】即ち、最初は、図８のステップＳ１で説明
したことから、最重要チャンネルの中の、再生開始時刻
が最も早い符号化素片データが、選択素片データとされ
るので、図１４（Ｂ）に示すように、符号化素片データ
Ａ１が、選択素片データとして選択されて送信される
（ステップＳ１）。

【０１３７】符号化素片データＡ１の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＡ１の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ２，Ｄ２が、
選択素片データの候補として選択される（ステップＳ２
１）。従って、この時点で、符号化素片データＢ１，Ｃ
１，Ｄ１の再生は間に合わないため、その送信は断念さ
れる。

【０１３８】選択素片データの候補Ｂ２，Ｃ２，Ｄ２の
うち、重要度が最も高いものまたは２番目に高いもの
は、それぞれＢ２またはＣ２であるから、まず、これら
が選択され（ステップＳ２２）、さらに、この候補Ｂ２
およびＣ２のうち、素片番号が小さいものが、仮の選択
素片データとして、最終的に選択される（ステップＳ２
３）。ここで、上述したように、２つの候補の素片番号
が同一の場合には、重要度の高い方が選択されるように
なされている。従って、ここでは、候補Ｂ２が、仮の選
択素片データとして、最終的に選択される。

【０１３９】そして、仮の選択素片データＢ２について
は、それを送信したと仮定した場合に、図１４（Ａ）お
よび図１４（Ｃ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＢ２の再生開始
時刻Ｔ_b2よりも前であり、かつ、次に送信すべき最重要
チャンネルの符号化素片データＡ２の再生開始時刻Ｔ_a2
よりも前であるので（ステップＳ２４，Ｓ２５）、仮の
選択素片データＢ２が、選択素片データとして確定され
（ステップＳ２６）、送信される（ステップＳ１）。

【０１４０】符号化素片データＢ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＢ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＣ３，Ｄ２が、選択素
片データの候補として選択される（ステップＳ２１）
（図１４（Ａ）、図１４（Ｃ））。従って、この時点
で、符号化素片データＣ２の再生は間に合わないため、
その送信は断念される。

【０１４１】選択素片データの候補は、Ｃ３，Ｄ２の２
つだけであるから、これらの両方が、重要度の１番目と
２番目に高いものとして選択され（ステップＳ２２）、
さらに、この候補Ｃ３およびＤ２のうち、素片番号が小
さい候補Ｄ２が、仮の選択素片データとして、最終的に
選択される（ステップＳ２３）。

【０１４２】そして、仮の選択素片データＤ２について
は、それを送信したと仮定した場合に、図１４（Ａ）お
よび図１４（Ｄ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＤ２の再生開始
時刻Ｔ_d2でないため（ステップＳ２４）、ステップＳ２
２で選択された２つの候補Ｃ３，Ｄ２のうちの、まだ、
最終的に、仮の選択素片データとされていない候補Ｃ３
が、仮の選択素片データとして、最終的に選択される
（ステップＳ２７，Ｓ２８）。

【０１４３】そして、仮の選択素片データＣ３について
は、それを送信したと仮定した場合に、図１４（Ａ）お
よび図１４（Ｅ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データの再生開始時刻
Ｔ_c3よりも前であり、かつ、次に送信すべき最重要チャ
ンネルの符号化素片データＡ２の再生開始時刻Ｔ_a2より
も前であるので（ステップＳ２４，Ｓ２５）、仮の選択
素片データＣ３が、選択素片データとして確定され（ス
テップＳ２６）、送信される（ステップＳ１）。

【０１４４】符号化素片データＣ３の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_s（図１４（Ａ））が、符号化素片データＣ３の送
信終了時刻Ｔ_e（図１４（Ｅ））よりも後で、かつ再生
開始時刻Ｔ_sから送信終了時刻Ｔ_eまでの時間が最小の符
号化素片データＣ４，Ｄ３が、選択素片データの候補と
して選択される（ステップＳ２１）。

【０１４５】選択素片データの候補は、Ｃ４，Ｄ３の２
つだけであるから、これらの両方が、重要度が１番目と
２番目に高いものとして選択され（ステップＳ２２）、
さらに、この候補Ｃ４およびＤ３のうち、素片番号が小
さい候補Ｄ３が、仮の選択素片データとして、最終的に
選択される（ステップＳ２３）。

【０１４６】そして、仮の選択素片データＤ３について
は、それを送信したと仮定した場合に、図１４（Ａ）お
よび図１４（Ｆ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＤ３の再生開始
時刻Ｔ_d3よりも前であり、かつ、次に送信すべき最重要
チャンネルの符号化素片データＡ２の再生開始時刻Ｔ_a2
よりも前であるので（ステップＳ２４，Ｓ２５）、仮の
選択素片データＤ３が、選択素片データとして確定され
（ステップＳ２６）、送信される（ステップＳ１）。

【０１４７】符号化素片データＤ３の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_s（図１４（Ａ））が、符号化素片データＤ３の送
信終了時刻Ｔ_e（図１４（Ｆ））よりも後で、かつ再生
開始時刻Ｔ_sから送信終了時刻Ｔ_eまでの時間が最小の符
号化素片データＣ４が、選択素片データの候補として選
択される（ステップＳ２１）。

【０１４８】選択素片データの候補は、Ｃ４の１つだけ
であるから、これが、重要度の１番目に高いものとして
選択され（ステップＳ２２）、さらに、素片番号が小さ
いものとして選択される（ステップＳ２３）。即ち、候
補Ｃ４は、仮の選択素片データとして、最終的に選択さ
れる。

【０１４９】そして、仮の選択素片データＣ４について
は、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＣ４の再
生開始時刻Ｔ_c4よりも前であるが（ステップＳ２４）、
次に送信すべき最重要チャンネルの符号化素片データＡ
２の再生開始時刻Ｔ_a2よりも前にならない（ステップＳ
２５）。さらに、まだ、最終的に仮の選択素片データと
されていない候補もないため（ステップＳ２９）、次に
送信すべき最重要チャンネルの符号化素片データＡ２
が、選択素片データとして確定され（ステップＳ３
０）、図１４（Ｇ）に示すように送信される（ステップ
Ｓ１）。

【０１５０】従って、最重要チャンネルのリアルタイム
再生を必須とする場合においては、図１３の素片選択処
理では、符号化素片データＢ１，Ｃ１，Ｃ２，Ｃ４，Ｄ
１，Ｄ２の送信は断念される。

【０１５１】次に、例えば、多重化部４３に、素片番号
がより小さく、かつ、最重要チャンネルを除いたチャン
ネルの中で、重要度がより高い符号化素片データを優先
的に、選択素片データとして選択させ、さらに、この条
件によって選択した符号化素片データを、選択素片デー
タとして選択したのでは、次に送信すべき最重要チャン
ネルの符号化素片データの送信が間に合わなくなる場合
に、最重要チャンネル以外のチャンネルの中で、次に送
信すべき最重要チャンネルの符号化素片データの送信に
支障をきたさない符号化データを優先的に、選択素片デ
ータとして選択させるときには、図８のステップＳ５に
おける素片選択処理では、例えば、図１５のフローチャ
ートにしたがった処理が行われる。

【０１５２】即ち、この場合、素片選択処理では、ステ
ップＳ３１乃至Ｓ３９において、図１３のステップＳ２
１乃至Ｓ２９における場合とそれぞれ同様の処理が行わ
れる。そして、ステップＳ３９において、選択素片デー
タの候補のうち、まだ、最終的に仮の選択素片データと
されていないものがないと判定された場合、ステップＳ
４０に進み、再生開始時刻Ｔ_sが、送信終了時刻Ｔ_eより
後の、未送信の符号化素片データの中で、その送信に要
する時間Ｔ_tが最小のもの（これは、データ量の最小の
ものに等しい）が、仮の選択素片データとして選択され
る。

【０１５３】そして、ステップＳ４１に進み、図１０の
ステップＳ１６における場合と同様に、仮の選択素片デ
ータの送信を終了する推定終了時刻が、次に送信すべき
最重要チャンネルの素片の再生開始時刻Ｔ_smよりも前で
あるかどうかが判定される。

【０１５４】ステップＳ４１において、仮の選択素片デ
ータの送信を終了する推定終了時刻が、次に送信すべき
最重要チャンネルの素片の再生開始時刻Ｔ_smよりも前で
あると判定された場合、ステップＳ４２に進み、仮の選
択素片データを、選択素片データとして確定し、リター
ンする。即ち、送信に要する時間Ｔ_tが最小の符号化素
片データを送信しても、次に送信すべき最重要チャンネ
ルの素片の送信が、その再生に間に合う場合には、送信
に要する時間Ｔ_tが最小の符号化素片データが、選択素
片データとして選択されて送信される。

【０１５５】また、ステップＳ４１において、仮の選択
素片データの送信を終了する推定終了時刻が、次に送信
すべき最重要チャンネルの素片の再生開始時刻Ｔ_smより
も前でないと判定された場合、即ち、送信に要する時間
Ｔ_tが最小の符号化素片データを送信すると、次に送信
すべき最重要チャンネルの素片の送信が間に合わなくな
ってしまう場合、ステップＳ４３に進み、次に送信すべ
き最重要チャンネルの符号化素片データが、選択素片デ
ータとして確定され、リターンする。

【０１５６】図１５の素片選択処理によれば、複数チャ
ンネルのオーディオ信号は、例えば、図１６に示すよう
に送信される。

【０１５７】なお、ここでは、説明の都合上、図１６
（Ａ）に示すような５チャンネルのオーディオ信号Ａ，
Ｂ，Ｃ，Ｄ，Ｅで構成される曲を送信の対象とする。

【０１５８】図１６（Ａ）の実施の形態では、オーディ
オ信号Ａのチャンネルの重要度が最も高く、以下、Ｂ，
Ｃ，Ｄの順で、重要度が下がり、オーディオ信号Ｅのチ
ャンネルの重要度が最も低いものとされている。

【０１５９】また、オーディオ信号Ａ，Ｃ，Ｄは、図９
における場合と同様に分割されている。そして、オーデ
ィオ信号Ｂは、３つの素片Ｂ１，Ｂ２，Ｂ３に分割され
ている。なお、素片Ｂ１，Ｂ２は、図９における場合と
同一のものとなっており、従って、図１６（Ａ）におけ
るオーディオ信号Ｂは、素片Ｂ１，Ｂ２に、素片Ｂ３を
付加した構成となっている。なお、素片Ｂ３の再生開始
時刻はＴ_b3（＞Ｔ_c4）とされている。

【０１６０】さらに、図１６（Ａ）では、オーディオ信
号Ｅは、５つの素片Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５に分
割されている。そして、素片Ｅ１の再生開始時刻は、素
片Ａ１（Ｂ１，Ｃ１，Ｄ１）の再生開始時刻に一致して
おり、素片Ｅ２乃至Ｅ５の再生開始時刻は、それぞれ、
Ｔ_e2乃至Ｔ_e5とされている。なお、図１６（Ａ）の実施
の形態では、Ｔ_e2＜Ｔ_e3＜Ｔ_e4＜Ｔ_e5となっており、ま
た、時刻Ｔ_e3は時刻Ｔ_c2と、時刻Ｔ_e4は時刻Ｔ_c4と、時
刻Ｔ_e5は時刻Ｔ_b3と、それぞれ一致している。

【０１６１】図１５の素片選択処理によれば、図１６
（Ａ）に示した５チャンネルのオーディオ信号Ａ乃至Ｅ
は、図１６（Ｂ）乃至１６（Ｉ）に示すように送信され
る。

【０１６２】即ち、最初は、図８のステップＳ１で説明
したことから、最重要チャンネルの中の、再生開始時刻
が最も早い符号化素片データが、選択素片データとされ
るので、図１６（Ｂ）に示すように、符号化素片データ
Ａ１が、選択素片データとして選択されて送信される
（ステップＳ１）。

【０１６３】符号化素片データＡ１の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＡ１の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ２，Ｄ２，Ｅ
３が、選択素片データの候補として選択される（ステッ
プＳ３１）。従って、この時点で、符号化素片データＢ
１，Ｃ１，Ｄ１，Ｅ１，Ｅ２の送信は間に合わないため
断念される。

【０１６４】選択素片データの候補Ｂ２，Ｃ２，Ｄ２，
Ｅ３のうち、重要度が最も高いものまたは２番目に高い
ものは、それぞれＢ２またはＣ２であるから、まず、こ
れらが選択され（ステップＳ３２）、さらに、この候補
Ｂ２およびＣ２のうち、素片番号が小さいものが、仮の
選択素片データとして、最終的に選択される（ステップ
Ｓ３３）。ここで、上述したように、素片番号が同一の
場合には、重要度の高い方が選択されるので、ここで
は、候補Ｂ２が、仮の選択素片データとして、最終的に
選択される。

【０１６５】そして、仮の選択素片データＢ２について
は、それを送信したと仮定した場合に、図１６（Ａ）お
よび図１６（Ｃ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＢ２の再生開始
時刻Ｔ_b2よりも前であり、かつ、次に送信すべき最重要
チャンネルの符号化素片データＡ２の再生開始時刻Ｔ_a2
よりも前であるので（ステップＳ３４，Ｓ３５）、仮の
選択素片データＢ２が、選択素片データとして確定され
（ステップＳ３６）、送信される（ステップＳ１）。

【０１６６】符号化素片データＢ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_s（図１６（Ａ））が、符号化素片データＢ２の送
信終了時刻Ｔ_e（図１６（Ｃ））よりも後で、かつ再生
開始時刻Ｔ_sから送信終了時刻Ｔ_eまでの時間が最小の符
号化素片データＢ３，Ｃ２，Ｄ２，Ｅ３が、選択素片デ
ータの候補として選択される（ステップＳ３１）。

【０１６７】選択素片データの候補Ｂ３，Ｃ２，Ｄ２，
Ｅ３のうち、重要度が最も高いものまたは２番目に高い
ものは、それぞれＢ３またはＣ２であるから、まず、こ
れらが選択され（ステップＳ３２）、さらに、この候補
Ｂ３およびＣ２のうち、素片番号が小さい候補Ｃ２が、
仮の選択素片データとして、最終的に選択される（ステ
ップＳ３３）。

【０１６８】そして、仮の選択素片データＣ２について
は、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＣ２の再
生開始時刻Ｔ_c2よりも前でないため（ステップＳ３
４）、ステップＳ３２で選択された２つの候補Ｂ３，Ｃ
２のうち、まだ、最終的に仮の選択素片データとされて
いない候補Ｂ３が、仮の選択素片データとして選択され
る（ステップＳ３７，Ｓ３８）。

【０１６９】仮の選択素片データＢ３については、それ
を送信したと仮定した場合に、図１６（Ａ）および図１
６（Ｄ）に示すように、その送信を終了する推定終了時
刻が、その仮の選択素片データＢ３の再生開始時刻Ｔ_b3
よりも前であり、かつ、次に送信すべき最重要チャンネ
ルの符号化素片データＡ２の再生開始時刻Ｔ_a2よりも前
であるので（ステップＳ３４，Ｓ３５）、仮の選択素片
データＢ３が、選択素片データとして確定され（ステッ
プＳ３６）、送信される（ステップＳ１）。

【０１７０】符号化素片データＢ３の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_s（図１６（Ａ））が、符号化素片データＢ３の送
信終了時刻Ｔ_e（図１６（Ｄ））よりも後で、かつ再生
開始時刻Ｔ_sから送信終了時刻Ｔ_eまでの時間が最小の符
号化素片データＣ３，Ｄ２，Ｅ４が、選択素片データの
候補として選択される（ステップＳ３１）。従って、こ
の時点で、符号化素片データＣ２，Ｅ３の送信は、その
再生に間に合わないため断念される。

【０１７１】選択素片データの候補Ｃ３，Ｄ２，Ｅ４の
うち、重要度が最も高いものまたは２番目に高いもの
は、それぞれＣ３またはＤ２であるから、まず、これら
が選択され（ステップＳ３２）、さらに、そのうちの素
片番号が小さいＤ２が、仮の選択素片データとして、最
終的に選択される（ステップＳ３３）。

【０１７２】そして、仮の選択素片データＤ２について
は、それを送信したと仮定した場合に、図１６（Ａ）お
よび図１６（Ｅ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＤ２の再生開始
時刻Ｔ_d2よりも前であり、かつ、次に送信すべき最重要
チャンネルの符号化素片データＡ２の再生開始時刻Ｔ_a2
よりも前であるので（ステップＳ３４，Ｓ３５）、仮の
選択素片データＤ２が、選択素片データとして確定され
（ステップＳ３６）、送信される（ステップＳ１）。

【０１７３】符号化素片データＤ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_s（図１６（Ａ））が、符号化素片データＤ２の送
信終了時刻Ｔ_e（図１６（Ｅ））よりも後で、かつ再生
開始時刻Ｔ_sから送信終了時刻Ｔ_eまでの時間が最小の符
号化素片データＣ３，Ｄ３，Ｅ４が、選択素片データの
候補として選択される（ステップＳ３１）。

【０１７４】選択素片データの候補Ｃ３，Ｄ３，Ｅ４の
うち、重要度が最も高いものまたは２番目に高いもの
は、それぞれＣ３またはＤ３であるから、まず、これら
が選択され（ステップＳ３２）、さらに、これらの素片
番号は同一であるから、重要度の高いチャンネルの候補
Ｃ３が、仮の選択素片データとして、最終的に選択され
る（ステップＳ３３）。

【０１７５】そして、仮の選択素片データＣ３について
は、それを送信したと仮定した場合に、図１６（Ａ）お
よび図１６（Ｆ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＣ３の再生開始
時刻Ｔ_c3よりも前であり、かつ、次に送信すべき最重要
チャンネルの符号化素片データＡ２の再生開始時刻Ｔ_a2
よりも前であるので（ステップＳ３４，Ｓ３５）、仮の
選択素片データＣ３が、選択素片データとして確定され
（ステップＳ３６）、送信される（ステップＳ１）。

【０１７６】符号化素片データＣ３の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_s（図１６（Ａ））が、符号化素片データＣ３の送
信終了時刻Ｔ_e（図１６（Ｆ））よりも後で、かつ再生
開始時刻Ｔ_sから送信終了時刻Ｔ_eまでの時間が最小の符
号化素片データＣ４，Ｄ３，Ｅ４が、選択素片データの
候補として選択される（ステップＳ３１）。

【０１７７】選択素片データの候補Ｃ４，Ｄ３，Ｅ４の
うち、重要度が最も高いものまたは２番目に高いもの
は、それぞれＣ４またはＤ３であるから、まず、これら
が選択され（ステップＳ３２）、さらに、そのうちの素
片番号が小さいＤ３が、仮の選択素片データとして、最
終的に選択される（ステップＳ３３）。

【０１７８】そして、仮の選択素片データＤ３について
は、それを送信したと仮定した場合に、図１６（Ａ）お
よび図１６（Ｇ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＤ３の再生開始
時刻Ｔ_d3よりも前であり、かつ、次に送信すべき最重要
チャンネルの符号化素片データＡ２の再生開始時刻Ｔ_a2
よりも前であるので（ステップＳ３４，Ｓ３５）、仮の
選択素片データＤ３が、選択素片データとして確定され
（ステップＳ３６）、送信される（ステップＳ１）。

【０１７９】符号化素片データＤ３の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_s（図１６（Ａ））が、符号化素片データＤ３の送
信終了時刻Ｔ_e（図１６（Ｇ））よりも後で、かつ再生
開始時刻Ｔ_sから送信終了時刻Ｔ_eまでの時間が最小の符
号化素片データＣ４，Ｅ４が、選択素片データの候補と
して選択される（ステップＳ３１）。

【０１８０】いまの場合、選択素片データの候補は、Ｃ
４，Ｅ４の２つだけであるから、これらが、重要度が最
も高いものまたは２番目に高いものとして選択され（ス
テップＳ３２）、さらに、候補Ｃ４，Ｅ４は、素片番号
が同一であるから、そのうちの重要度の高いＣ４が、仮
の選択素片データとして、最終的に選択される（ステッ
プＳ３３）。

【０１８１】そして、仮の選択素片データＣ４について
は、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＣ４の再
生開始時刻Ｔ_c4よりも前であるが（ステップＳ３４）、
次に送信すべき最重要チャンネルの符号化素片データＡ
２の再生開始時刻Ｔ_a2よりも前にならないため（ステッ
プＳ３５）、ステップＳ３２で選択された候補Ｃ４，Ｅ
４のうちの、まだ、最終的に、仮の選択素片データとさ
れていない候補Ｅ４が、仮の選択素片データとして、最
終的に選択される（ステップＳ３７，Ｓ３８）。

【０１８２】そして、仮の選択素片データＥ４について
も、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＥ４の再
生開始時刻Ｔ_e4よりも前であるが（ステップＳ３４）、
次に送信すべき最重要チャンネルの符号化素片データＡ
２の再生開始時刻Ｔ_a2よりも前にならず（ステップＳ３
５）、さらに、この時点で、ステップＳ３１で選択され
た候補のうち、まだ、最終的に、仮の選択素片データと
して選択されていないものも存在しないため（ステップ
Ｓ３９）、再生開始時刻Ｔ_sが、符号化素片データＤ３
の送信終了時刻Ｔ_e（図１６（Ｇ））より後の、未送信
の符号化素片データの中で、その送信に要する時間Ｔ_t
が最小のもの、即ち、ここでは、図１６（Ａ）に示す素
片の中から、素片Ｅ５についての符号化素片データが選
択される（ステップＳ４０）。従って、この時点で、符
号化素片データＣ４，Ｅ４の送信は断念される。

【０１８３】そして、符号化素片データＥ５について
は、それを送信したと仮定した場合に、図１５（Ａ）お
よび図１５（Ｈ）に示すように、その送信を終了する推
定終了時刻が、次に送信すべき最重要チャンネルの符号
化素片データＡ２の再生開始時刻Ｔ_a2よりも前であるの
で（ステップＳ４１）、符号化素片データＥ５が、選択
素片データとして選択され（ステップＳ４２）、送信さ
れる（ステップＳ１）。

【０１８４】即ち、この場合、符号化素片データＤ３の
送信終了時刻Ｔ_eから、次に送信すべき最重要チャンネ
ルの符号化素片データＡ２の再生開始時刻Ｔ_a2までの間
に送信することのできる符号化素片データＥ５が、符号
化素片データＡ２の送信に先立って送信される。

【０１８５】符号化素片データＥ５の送信後は、推定終
了時刻が、次に送信すべき最重要チャンネルの符号化素
片データＡ２の再生開始時刻Ｔ_a2よりも前になる符号化
素片データが存在しないため（ステップＳ４１）、次に
送信すべき最重要チャンネルの符号化素片データＡ２
が、選択素片データとして確定され（ステップＳ４
３）、図１６（Ｉ）に示すように送信される（ステップ
Ｓ１）。

【０１８６】従って、最重要チャンネルのリアルタイム
再生を必須とする場合においては、図１５の素片選択処
理では、符号化素片データＢ１，Ｃ１，Ｃ２，Ｃ４，Ｄ
１，Ｅ１乃至Ｅ４の送信は、リアルタイム再生を行うた
めに断念される。

【０１８７】次に、例えば、多重化部４３に、（１）再
生開始時刻がより早い符号化素片データを、そして、
（２）再生開始時刻が同一である場合には、重要度が高
い符号化素片データを優先的に、選択素片データとして
選択させる場合において、最重要チャンネルの中の、再
生開始時刻が最も早い符号化素片データが、選択素片デ
ータとされて送信された後には、選択素片データとして
選択された符号化素片データのチャンネルの重要度以下
のチャンネルの符号化素片データを、選択素片データと
して選択しないようにするときには、図８のステップＳ
５における素片選択処理では、例えば、図１８のフロー
チャートにしたがった処理が行われる。

【０１８８】即ち、この場合、ステップＳ５１乃至Ｓ５
６において、図１０のステップＳ１１乃至Ｓ１６におけ
る場合とそれぞれ同様の処理が行われる。そして、ステ
ップＳ５６において、仮の選択素片データの送信を終了
する推定終了時刻が、次に送信すべき最重要チャンネル
の素片の再生開始時刻Ｔ_smよりも前であると判定された
場合には、ステップＳ５７に進み、仮の選択素片データ
のチャンネルの重要度が、再生開始時刻が最も早い符号
化素片データが、選択素片データとされて送信された後
に、選択素片データとして選択された符号化素片データ
のチャンネルの重要度のうちの最も低いもの（以下、適
宜、最低重要度という）以上であるかどうかが判定され
る。

【０１８９】ステップＳ５７において、仮の選択素片デ
ータのチャンネルの重要度が、最低重要度以上であると
判定された場合、ステップＳ５８に進み、図１０のステ
ップＳ１７における場合と同様に、その仮の選択素片デ
ータを、選択素片データとして確定し、リターンする。

【０１９０】また、ステップＳ５７において、仮の選択
素片データのチャンネルの重要度が、最低重要度以上で
ないと判定された場合、ステップＳ５９に進み、ステッ
プＳ５１で選択された選択素片データの候補のうち、ま
だ、最終的に仮の選択素片データとされていないものが
あるかどうかが判定される。ステップＳ５９において、
選択素片データの候補のうち、まだ、最終的に仮の選択
素片データとされていないものがあると判定された場
合、ステップＳ５２に戻り、まだ、最終的に仮の選択素
片データとされていない候補を対象に、ステップＳ５２
以下の処理が繰り返される。

【０１９１】また、ステップＳ５９において、選択素片
データの候補のうち、まだ、最終的に仮の選択素片デー
タとされていないものがないと判定された場合、ステッ
プＳ６０に進み、次に送信すべき最重要チャンネルの符
号化素片データが、選択素片データとして確定され、リ
ターンする。

【０１９２】従って、最低重要度より低い重要度のチャ
ンネルにおける符号化素片データは、選択素片データと
して選択されず、従って送信されない。

【０１９３】図１７の素片選択処理によれば、図９に示
した４チャンネルのオーディオ信号Ａ乃至Ｄは、図１８
に示すように送信される。

【０１９４】即ち、最初は、最重要チャンネルの中の、
再生開始時刻が最も早い符号化素片データＡ１が、選択
素片データとされ、図１８（Ｂ）に示すように送信され
る（ステップＳ１）。

【０１９５】符号化素片データＡ１の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＡ１の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ２，Ｄ２が、
選択素片データの候補として選択される（ステップＳ１
１）。従って、この時点で、符号化素片データＢ１，Ｃ
１，Ｄ１の再生は間に合わないため、その送信は断念さ
れる。

【０１９６】選択素片データの候補Ｂ２，Ｃ２，Ｄ２の
うち、再生開始時刻Ｔ_sから、符号化素片データＡ１の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１８（Ａ）から、時刻Ｔ_c2から再生が開始され
る符号化素片データＣ２だけであるから、この符号化素
片データＣ２が、仮の選択素片データとして、最終的に
選択される（ステップＳ５２乃至Ｓ５４）。

【０１９７】そして、仮の選択素片データＣ２について
は、それを送信したと仮定した場合に、図１８（Ｃ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＣ２の再生開始時刻Ｔ_c2よりも前で
あり、かつ、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ５５，Ｓ５６）、仮の選択素片データＣ２
が、選択素片データとして確定され（ステップＳ５
８）、送信される（ステップＳ１）。

【０１９８】なお、最重要チャンネルの中の、再生開始
時刻が最も早い符号化素片データＡ１の送信直後は、最
低重要度として、チャンネルＡ乃至Ｄのうちの最も低い
重要度が設定されるようになされている。従って、チャ
ンネルＣの符号化素片データＣ２は、その重要度が最低
重要度より低いとして、選択素片データとして選択され
ないようなことはない（ステップＳ５７）。

【０１９９】また、チャンネルＣの符号化素片データＣ
２が、選択素片データとして選択された後は、最低重要
度は、チャンネルＣの重要度になる。

【０２００】符号化素片データＣ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＣ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ３，Ｄ２が、
選択素片データの候補として選択される（ステップＳ５
１）。

【０２０１】選択素片データの候補Ｂ２，Ｃ３，Ｄ２の
うち、再生開始時刻Ｔ_sから、符号化素片データＣ２の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１８（Ａ）から、時刻Ｔ_d2から再生が開始され
る符号化素片データＤ２だけであるから、この符号化素
片データＤ２が、仮の選択素片データとして、最終的に
選択される（ステップＳ５２乃至Ｓ５４）。

【０２０２】そして、仮の選択素片データＤ２について
は、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＤ２の再
生開始時刻Ｔ_d2よりも前であり、かつ、次に送信すべき
最重要チャンネルの符号化素片データＡ２の再生開始時
刻Ｔ_a2よりも前であるが（ステップＳ５５，Ｓ５６）、
その重要度は、最低重要度、即ち、いまの場合、チャン
ネルＣの重要度より低いので、選択素片データとして選
択されない（ステップＳ５７）。

【０２０３】そこで、選択素片データの候補Ｂ２，Ｃ
３，Ｄ２のうち、まだ、最終的に仮の選択素片データと
されていない候補Ｂ２，Ｄ２を対象に、同様の処理が行
われる（ステップＳ５９）。この場合、Ｂ２，Ｄ２のう
ち、再生開始時刻Ｔ_sから、符号化素片データＣ２の送
信終了時刻までの時間ｄが小さい符号化素片データＤ２
が、仮の選択素片データとして、最終的に選択されるが
（ステップＳ５２乃至Ｓ５４）、符号化素片データＤ２
の重要度は、やはり、最低重要度であるチャンネルＣの
重要度より低いので、選択素片データとして選択されな
い（ステップＳ５７）。

【０２０４】その後、選択素片データの候補Ｂ２，Ｃ
３，Ｄ２のうち、まだ、最終的に仮の選択素片データと
されていない候補Ｂ２を対象に、同様の処理が行われる
（ステップＳ５９）。この場合、候補が、符号化素片デ
ータＢ２だけであるから、これが、仮の選択素片データ
として、最終的に選択される（ステップＳ５２乃至Ｓ５
４）。

【０２０５】そして、仮の選択素片データＢ２について
は、それを送信したと仮定した場合に、図１８（Ｄ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＢ２の再生開始時刻Ｔ_b2よりも前で
あり、かつ、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2よりも前であり（ス
テップＳ５５，Ｓ５６）、さらに、その重要度は、最低
重要度であるチャンネルＣの重要度以上であるため（ス
テップＳ５７）、選択素片データとして選択されて（ス
テップＳ５８）、送信される（ステップＳ１）。

【０２０６】ここで、チャンネルＢの符号化素片データ
Ｂ２が、選択素片データとして選択された後は、最低重
要度は、チャンネルＢの重要度になる。

【０２０７】符号化素片データＢ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＢ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＣ３，Ｄ３が、選択素
片データの候補として選択される（ステップＳ５１）。

【０２０８】しかしながら、符号化素片データＣ３，Ｄ
３は、その重要度が、いま最低重要度となっているチャ
ンネルＢの重要度より低いため、選択素片データとして
選択されない（ステップＳ５７）。

【０２０９】さらに、既に、最重要チャンネルを除くチ
ャンネルの中で、最低重要度となっているチャンネルＢ
の重要度以上のチャンネル、即ち、ここでは、チャンネ
ルＢにおいて、未送信の符号化素片データは存在しない
から、最終的には、次に送信すべき最重要チャンネルの
符号化素片データＡ２が、選択素片データとして確定さ
れ（ステップＳ６０）、図１８（Ｅ）に示すように送信
される（ステップＳ１）。

【０２１０】従って、図１７の素片選択処理では、図９
に示した符号化素片データのうちの、符号化素片データ
Ａ１，Ｃ２，Ｂ２，Ａ２しか送信されず、図１０、図１
３、図１５で説明した場合よりも、送信される符号化素
片データが少ないが、その分、いわば余裕をもって、符
号化素片データの送信を行うことができる。

【０２１１】次に、以上においては、ネットワーク２に
おける遅延がないものとし、さらに、最重要チャンネル
の中の、再生開始時刻が最も早い符号化素片データＡ１
が送信されるのと同時に、クライアント端末３におい
て、その符号化素片データＡ１が受信、復号されるもの
としたため、即ち、符号化素片データＡ１の送信を開始
した時刻と、その再生開始時刻とが一致するものとした
ため、図９において、再生開始時刻が、符号化素片デー
タＡ１と同一の符号化素片データＢ１，Ｃ１，Ｄ１は、
送信が再生に間に合わないとして、クライアント端末３
に送信されることがなかったが、クライアント端末３に
おいて、例えば、図６に点線で示したように、受信回路
６１に、バッファ６１Ａを内蔵させ、このバッファ６１
Ａに、ネットワーク２から受信した符号素片データ（符
号化データ）を一時記憶させてから、復号回路６２に供
給するようにすることで、再生開始時刻が、符号化素片
データＡ１と同一の符号化素片データＢ１，Ｃ１，Ｄ１
も、その再生に間に合うように送信することが可能とな
る。

【０２１２】即ち、この場合、クライアント端末３で
は、符号化素片データが、バッファ６１Ａに一旦記憶さ
れてから復号、再生されるため、符号化素片データＡ１
の再生開始時刻は、図１９（Ａ）に示すように、その送
信を開始した時刻から、バッファ６１Ａに記憶されてい
る時間（以下、適宜、バッファリングタイムという）だ
け遅れる。従って、バッファリングタイムを、符号化素
片データＡ１の送信に要する時間よりも大きくとること
で、再生開始時刻が、符号化素片データＡ１と同一の符
号化素片データＢ１，Ｃ１，Ｄ１も、その再生に間に合
うように送信することが可能となる。

【０２１３】具体的には、例えば、図１９（Ａ）に示す
ようにバッファリングタイムをとっり、かつ、例えば、
図１０で説明した素片選択処理により、選択素片データ
とする符号化素片データを選択する場合においては、図
１９（Ｂ）に示すように、符号化素片データＡ１が送信
された後、最重要チャンネルを除くチャンネルそれぞれ
から、再生開始時刻Ｔ_sが、符号化素片データＡ１の送
信終了時刻Ｔ_eよりも後で、かつ再生開始時刻Ｔ_sから送
信終了時刻Ｔ_eまでの時間が最小の符号化素片データＢ
１，Ｃ１，Ｄ１が、選択素片データの候補として選択さ
れる（ステップＳ１１）。

【０２１４】選択素片データの候補Ｂ１，Ｃ１，Ｄ１の
うち、再生開始時刻Ｔ_sから、符号化素片データＡ１の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１９（Ａ）および図１９（Ｂ）から、Ｂ１，Ｃ
１，Ｄ１のすべてであり、従って、その中の重要度の最
も高い符号化素片データＢ１が、仮の選択素片データと
して、最終的に選択される（ステップＳ１２乃至Ｓ１
４）。

【０２１５】そして、仮の選択素片データＢ１について
は、それを送信したと仮定した場合に、図１９（Ｃ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＢ１の再生開始時刻よりも前であ
り、かつ、次に送信すべき最重要チャンネルの符号化素
片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＢ１
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０２１６】符号化素片データＢ１が送信された後は、
最重要チャンネルを除くチャンネルそれぞれから、再生
開始時刻Ｔ_sが、符号化素片データＢ１の送信終了時刻
Ｔ_eよりも後で、かつ再生開始時刻Ｔ_sから送信終了時刻
Ｔ_eまでの時間が最小の符号化素片データＢ２，Ｃ１，
Ｄ１が、選択素片データの候補として選択される（ステ
ップＳ１１）。

【０２１７】選択素片データの候補Ｂ２，Ｃ１，Ｄ１の
うち、再生開始時刻Ｔ_sから、符号化素片データＢ１の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１９（Ａ）および図１９（Ｃ）から、Ｃ１とＤ
１の２つであり、従って、その中の重要度の最も高い符
号化素片データＣ１が、仮の選択素片データとして、最
終的に選択される（ステップＳ１２乃至Ｓ１４）。

【０２１８】そして、仮の選択素片データＣ１について
は、それを送信したと仮定した場合に、図１９（Ｄ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＣ１の再生開始時刻よりも前であ
り、かつ、次に送信すべき最重要チャンネルの符号化素
片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＣ１
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０２１９】符号化素片データＣ１が送信された後、最
重要チャンネルを除くチャンネルそれぞれから、再生開
始時刻Ｔ_sが、符号化素片データＣ１の送信終了時刻Ｔ_e
よりも後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_e
までの時間が最小の符号化素片データＢ２，Ｃ２，Ｄ１
が、選択素片データの候補として選択される（ステップ
Ｓ１１）。

【０２２０】選択素片データの候補Ｂ２，Ｃ２，Ｄ１の
うち、再生開始時刻Ｔ_sから、符号化素片データＣ１の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図１９（Ａ）および図１９（Ｄ）から、Ｄ１だけ
であり、従って、候補Ｄ１が、仮の選択素片データとし
て、最終的に選択される（ステップＳ１２乃至Ｓ１
４）。

【０２２１】そして、仮の選択素片データＤ１について
は、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＤ１の再
生開始時刻よりも前にならない。このため、ステップＳ
１１で選択された候補Ｂ２，Ｃ２，Ｄ１のうち、まだ、
最終的に、仮の選択素片データとされていない候補Ｂ
２，Ｃ２を対象に、同様の処理が行われる。従って、こ
の時点で、符号化素片データＤ１の送信は断念される。

【０２２２】選択素片データの候補Ｂ２，Ｃ２のうち、
再生開始時刻Ｔ_sから、符号化素片データＣ１の送信終
了時刻Ｔ_eまでの時間ｄが最小なのは、図１９（Ａ）お
よび図１９（Ｄ）から、時刻Ｔ_c2から再生が開始される
符号化素片データＣ２だけであるから、この符号化素片
データＣ２が、仮の選択素片データとして、最終的に選
択される（ステップＳ１２乃至Ｓ１４）。

【０２２３】そして、仮の選択素片データＣ２について
は、それを送信したと仮定した場合に、図１９（Ｅ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＣ２の再生開始時刻Ｔ_c2よりも前で
あり、かつ、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＣ２
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０２２４】符号化素片データＣ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＣ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ３，Ｄ２が、
選択素片データの候補として選択される（ステップＳ１
１）。

【０２２５】選択素片データの候補Ｂ２，Ｃ３，Ｄ２の
うち、再生開始時刻Ｔ_sから、符号化素片データＣ２の
送信終了時刻Ｔ_eまでの時間ｄが最小なのは、図１９
（Ａ）および図１９（Ｅ）から、時刻Ｔ_d2から再生が開
始される符号化素片データＤ２だけであるから、この符
号化素片データＤ２が、仮の選択素片データとして、最
終的に選択される（ステップＳ１２乃至Ｓ１４）。

【０２２６】そして、仮の選択素片データＤ２について
は、それを送信したと仮定した場合に、図１９（Ｆ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＦ２の再生開始時刻Ｔ_d2よりも前で
あり、かつ、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＤ２
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０２２７】符号化素片データＤ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＤ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＢ２，Ｃ３，Ｄ３が、
選択素片データの候補として選択される（ステップＳ１
１）。

【０２２８】選択素片データの候補Ｂ２，Ｃ３，Ｄ３の
うち、再生開始時刻Ｔ_sから、符号化素片データＡ１の
送信終了時刻Ｔ_eまでの時間ｄが最小なのは、図１９
（Ａ）および図１９（Ｆ）から、時刻Ｔ_b2から再生が開
始される符号化素片データＢ２だけであるから、この符
号化素片データＢ２が、仮の選択素片データとして、最
終的に選択される（ステップＳ１２乃至Ｓ１４）。

【０２２９】そして、仮の選択素片データＢ２について
は、それを送信したと仮定した場合に、図１９（Ｇ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＢ２の再生開始時刻Ｔ_b2りも前であ
り、かつ、次に送信すべき最重要チャンネルの符号化素
片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＢ２
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０２３０】符号化素片データＢ２の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＣ３の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＣ３，Ｄ３が、選択素
片データの候補として選択される（ステップＳ１１）。

【０２３１】選択素片データの候補Ｃ３，Ｄ３のうち、
再生開始時刻Ｔ_sから、符号化素片データＢ２の送信終
了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小なのは、
図１９（Ａ）および図１９（Ｇ）から、時刻Ｔ_c3から再
生が開始される符号化素片データＣ３だけであるから、
この符号化素片データＣ３が、仮の選択素片データとし
て、最終的に選択される（ステップＳ１２乃至Ｓ１
４）。

【０２３２】そして、仮の選択素片データＣ３について
は、それを送信したと仮定した場合に、図１９（Ｈ）に
示すように、その送信を終了する推定終了時刻が、その
仮の選択素片データＣ３の再生開始時刻Ｔ_c3りも前であ
り、かつ、次に送信すべき最重要チャンネルの符号化素
片データＡ２の再生開始時刻Ｔ_a2よりも前であるので
（ステップＳ１５，Ｓ１６）、仮の選択素片データＣ３
が、選択素片データとして確定され（ステップＳ１
７）、送信される（ステップＳ１）。

【０２３３】符号化素片データＣ３の送信後は、最重要
チャンネルを除くチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＣ３の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＣ４，Ｄ３が、選択素
片データの候補として選択される（ステップＳ１１）。

【０２３４】選択素片データの候補Ｃ４，Ｄ３のうち、
再生開始時刻Ｔ_sから、符号化素片データＢ２の送信終
了時刻Ｔ_eまでの時間ｄが最小なのは、図１９（Ａ）お
よび図１９（Ｈ）から、時刻Ｔ_c3から再生が開始される
符号化素片データＤ３だけであるから、この符号化素片
データＤ３が、仮の選択素片データとして、最終的に選
択される（ステップＳ１２乃至Ｓ１４）。

【０２３５】そして、仮の選択素片データＤ３について
は、それを送信したと仮定した場合に、その送信を終了
する推定終了時刻が、その仮の選択素片データＤ３の再
生開始時刻Ｔ_d3よりも前にならないため（ステップＳ１
５）、選択素片データの候補Ｃ４，Ｄ３のうち、まだ、
最終的に仮の選択素片データとされていない候補Ｃ４を
対象に、同様の処理が行われる（ステップＳ１８）。

【０２３６】この場合、符号化素片データＣ４が、仮の
選択素片データとして、最終的に選択されるが、仮の選
択素片データＣ４は、それを送信したと仮定した場合
に、その送信を終了する推定終了時刻が、その仮の選択
素片データＣ４の再生開始時刻Ｔ_c4よりも前になるが
（ステップＳ１５）、次に送信すべき最重要チャンネル
の符号化素片データＡ２の再生開始時刻Ｔ_a2よりも前に
ならず（ステップＳ１６）、さらに、まだ、最終的に仮
の選択素片データとされていない候補もないため（ステ
ップＳ１８）、次に送信すべき最重要チャンネルの符号
化素片データＡ２が、選択素片データとして確定され
（ステップＳ１９）、図１９（Ｉ）に示すように送信さ
れる（ステップＳ１）。

【０２３７】以上のように、バッファリングタイムを設
けることで、リアルタイム再生される素片の数を増加さ
せることができる。

【０２３８】なお、バッファリングタイムは、クライア
ント端末３が要求した曲についての符号化素片データの
送信が開始されてから、クライアント端末３において、
その再生が開始されるまでの時間を、どれだけ許容する
かなどによって決めることができる。但し、実際のバッ
ファリングタイムが、サーバ１が想定するバッファリン
グタイム以上になっているのが望ましい。

【０２３９】また、図１９の実施の形態では、符号化素
片データＤ１の送信は、上述したように断念されるが、
バッファリングタイムを、より大きくすることで、符号
化素片データＤ１も、リアルタイム再生が可能なように
送信することができるようになる。

【０２４０】次に、図２０のフローチャートを参照し
て、サーバ１が行うオーディオ信号の送信処理の他の例
について説明する。

【０２４１】クライアント端末３からサーバ１に対し
て、曲の要求があると、上述したようにして、その曲を
構成する各チャンネルのオーディオ信号が、所定の長さ
の素片に分割され、符号化素片データに符号化された
後、その符号化素片データに、その再生開始時刻や必要
な制御情報が付加され、多重化部４３に供給される。

【０２４２】多重化部４３は、クライアント端末３から
曲の要求がされた後に、最初に、制御部４２から符号化
素片データ（ヘッダが付加されたもの）を受信すると、
その中から、重要度設定部３４において最も重要度が高
く設定されているチャンネルの符号化素片データであっ
て、再生開始時刻が最も早いものを、選択素片データと
して選択し、送信回路３３に供給する。これにより、送
信回路３３では、ステップＳ６１において、多重化部４
３からの選択素片データ、即ち、いまの場合、重要度設
定部３４において最も重要度が高く設定されているチャ
ンネルの符号化素片データであって、再生開始時刻が最
も早いものが、ネットワーク２を介して、クライアント
端末３に送信される。

【０２４３】そして、ステップＳ６２に進み、選択素片
データの送信がすべて終了したかどうかが判定され、終
了したと判定された場合、ステップＳ６３に進み、以
下、ステップＳ６３乃至Ｓ６５において、図８のステッ
プＳ３乃至Ｓ５における場合とそれぞれ同様の処理が行
われる。

【０２４４】また、ステップＳ６２において、選択素片
データの送信が、まだ終了していないと判定された場
合、即ち、選択素片データが送信中である場合、ステッ
プＳ６６に進み、現在時刻（例えば、曲の先頭を基準と
する現在時刻）Ｔ_nが、次に送信すべき最重要チャンネ
ルの符号化素片データの再生開始時刻Ｔ_smよりも前であ
るかどうかが判定される。ステップＳ６６において、現
在時刻Ｔ_nが、次に送信すべき最重要チャンネルの符号
化素片データの再生開始時刻Ｔ_smよりも前であると判定
された場合、即ち、送信中の選択素片データの送信を続
行しても、次に送信すべき最重要チャンネルの符号化素
片データの送信が、その再生に間に合う場合、ステップ
Ｓ６１に戻り、送信中の選択素片データの送信が続けら
れる。

【０２４５】一方、ステップＳ６６において、現在時刻
Ｔ_nが、次に送信すべき最重要チャンネルの符号化素片
データの再生開始時刻Ｔ_smよりも前でないと判定された
場合、即ち、送信中の選択素片データの送信を続行する
と、次に送信すべき最重要チャンネルの符号化素片デー
タの送信が、その再生に間に合わなくなる場合、ステッ
プＳ６７に進み、送信中の選択素片データの送信が中断
される。そして、ステップＳ６３に進み、ステップＳ６
７で選択素片データの送信が終了（中断）された時刻、
即ち、送信終了時刻Ｔ_eが検出される。そして、ステッ
プＳ６４に進み、以下、上述した処理が行われる。

【０２４６】従って、図２０の送信処理によれば、次に
送信すべき最重要チャンネルの符号化素片データの送信
が、その再生に間に合わなくなるような場合には、送信
中の選択素片データの送信が中断され、ステップＳ６５
において、素片選択処理が行われるので、即ち、新た
に、選択素片データの選択が行われるので、ステップＳ
６５における素片選択処理において、仮の選択素片デー
タを送信したと仮定した場合に、その送信を終了する推
定終了時刻を推定し、さらに、その推定終了時刻が、仮
の選択素片データの再生開始時刻Ｔ_sよりも前かどうか
や、次に送信すべき最重要チャンネルの素片の再生開始
時刻Ｔ_smよりも前であるかどうかといった判定（例え
ば、図１０のステップＳ１５およびＳ１６）を行う必要
がなくなる。

【０２４７】具体的には、例えば、多重化部４３に、
（１）再生開始時刻がより早い符号化素片データを、そ
して、（２）再生開始時刻が同一である場合には、重要
度が高い符号化素片データを優先的に、選択素片データ
として選択させる場合には、図２０のステップＳ６５に
おける素片選択処理では、例えば、図２１のフローチャ
ートにしたがった処理を行えばよい。

【０２４８】即ち、この場合、素片選択処理では、まず
最初に、ステップＳ７１において、最重要チャンネルを
含むすべてのチャンネルそれぞれについて、未送信の符
号化素片データの中から、選択素片データの候補が選択
される。具体的には、例えば、最重要チャンネルを含む
チャンネルそれぞれから、再生開始時刻Ｔ_sが、送信終
了時刻Ｔ_eよりも後で、かつ再生開始時刻Ｔ_sから送信終
了時刻Ｔ_eまでの時間が最小の符号化素片データが、選
択素片データの候補として選択される。

【０２４９】そして、ステップＳ７２に進み、最重要チ
ャンネルを含むチャンネルそれぞれから選択された選択
素片データの候補のうち、再生開始時刻Ｔ_sから送信終
了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小のもの
が、仮の選択素片データとして選択される。

【０２５０】その後、ステップＳ７３に進み、選択素片
データの候補の中に、時間ｄが同一のものがあるかどう
かが判定される。ステップＳ７３において、選択素片デ
ータの候補の中に、時間ｄが同一のものがあると判定さ
れた場合、即ち、ステップＳ７２で、仮の選択素片デー
タとして、２以上のチャンネルから、符号化素片データ
が選択された場合、ステップＳ７４に進み、その２以上
のチャンネルから選択された符号化素片データのうち、
より重要度の高いチャンネルのものが、仮の選択素片デ
ータとして、最終的に選択され、ステップＳ７５に進
む。

【０２５１】また、ステップＳ７３において、選択素片
データの候補の中に、時間ｄが同一のものがないと判定
された場合、即ち、ステップＳ７２で、仮の選択素片デ
ータとして、１のチャンネルだけの符号化素片データが
選択された場合、その符号化素片データが、仮の選択素
片データとして、最終的に選択され、ステップＳ７４を
スキップして、ステップＳ７５に進む。ステップＳ７５
では、いま、仮の選択素片データとされている符号化素
片データが、選択素片データに確定され、リターンす
る。

【０２５２】図２０の送信処理によれば、図９に示した
４チャンネルのオーディオ信号Ａ乃至Ｄは、図２２に示
すように送信される。なお、ここでは、バッファリング
タイムを考慮せず、また、ステップＳ６５の選択処理と
しては、図２１に示したフローチャートにしたがった処
理が行われるものとする。

【０２５３】即ち、この場合、最重要チャンネルの中
の、再生開始時刻が最も早い符号化素片データＡ１が、
選択素片データとされ、図２２（Ｂ）に示すように送信
される（ステップＳ６１）。

【０２５４】符号化素片データＡ１の送信後は、最重要
チャンネルを含むチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＡ１の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＡ２，Ｂ２，Ｃ２，Ｄ
２が、選択素片データの候補として選択される（ステッ
プＳ７１）。

【０２５５】選択素片データの候補Ａ２，Ｂ２，Ｃ２，
Ｄ２のうち、再生開始時刻Ｔ_sから、符号化素片データ
Ａ１の送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が
最小なのは、図２２（Ａ）および図２２（Ｂ）から、時
刻Ｔ_c2から再生が開始される符号化素片データＣ２だけ
であるから、この符号化素片データＣ２が、仮の選択素
片データとして、最終的に選択される（ステップＳ７２
乃至Ｓ７４）。

【０２５６】そして、仮の選択素片データＣ２が、選択
素片データとして確定され（ステップＳ７５）、図２２
（Ｃ）に示すように送信される。

【０２５７】ここで、図１２（Ａ）および図１２（Ｃ）
から、選択素片データＣ２を送信している最中に、現在
時刻Ｔ_nが、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2になってしまうこと
はないので、選択素片データＣ２の送信は中断されず
に、最後まで、正常に送信される。

【０２５８】符号化素片データＣ２の送信後は、最重要
チャンネルを含むチャンネルそれぞれから、再生開始時
刻Ｔ_sが、符号化素片データＣ２の送信終了時刻Ｔ_eより
も後で、かつ再生開始時刻Ｔ_sから送信終了時刻Ｔ_eまで
の時間が最小の符号化素片データＡ２，Ｂ２，Ｃ３，Ｄ
３が、選択素片データの候補として選択される（ステッ
プＳ７１）。

【０２５９】選択素片データの候補Ａ２，Ｂ２，Ｃ３，
Ｄ３のうち、再生開始時刻Ｔ_sから、符号化素片データ
Ｃ２の送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が
最小なのは、図２２（Ａ）および図２２（Ｃ）から、時
刻Ｔ_b2から再生が開始される符号化素片データＢ２だけ
であるから、この符号化素片データＢ２が、仮の選択素
片データとして、最終的に選択される（ステップＳ７２
乃至Ｓ７４）。

【０２６０】そして、仮の選択素片データＢ２が、選択
素片データとして確定され（ステップＳ７５）、図２２
（Ｅ）に示すように送信される。

【０２６１】ここで、図２２（Ａ）および図２２（Ｅ）
から、選択素片データＢ２を送信している最中に、現在
時刻Ｔ_nが、次に送信すべき最重要チャンネルの符号化
素片データＡ２の再生開始時刻Ｔ_a2になってしまうた
め、選択素片データＢ２の送信は、図２２（Ｄ）に示す
ように中断され、終了する（ステップＳ６６，Ｓ６
７）。その結果、選択素片データＢ２は、図２２（Ｅ）
に示すように、途中までしか送信されない。なお、この
場合、符号化素片データＢ２の送信終了時刻Ｔ_eとして
は、その送信を中継した時刻が検出される（ステップＳ
６３）。

【０２６２】符号化素片データＢ２の送信の終了（中
断）後は、最重要チャンネルを含むチャンネルそれぞれ
から、再生開始時刻Ｔ_sが、符号化素片データＢ２の送
信終了時刻Ｔ_eよりも後で、かつ再生開始時刻Ｔ_sから送
信終了時刻Ｔ_eまでの時間が最小の符号化素片データＡ
２，Ｃ４，Ｄ３が、選択素片データの候補として選択さ
れる（ステップＳ７１）。

【０２６３】選択素片データの候補Ａ２，Ｃ４，Ｄ３の
うち、再生開始時刻Ｔ_sから、符号化素片データＢ２の
送信終了時刻Ｔ_eまでの時間ｄ（＝Ｔ_s−Ｔ_e）が最小な
のは、図２２（Ａ）および図２２（Ｅ）から、時刻Ｔ_a2
から再生が開始される符号化素片データＡ２だけである
から、この符号化素片データＡ２が、仮の選択素片デー
タとして、最終的に選択される（ステップＳ７２乃至Ｓ
７４）。

【０２６４】そして、仮の選択素片データＡ２が、選択
素片データとして確定され（ステップＳ７５）、図２２
（Ｆ）に示すように送信される。

【０２６５】以上のように、次に送信すべき最重要チャ
ンネルの符号化素片データの送信が、その再生に間に合
わなくなるような場合に、送信中の選択素片データの送
信を中断するときには、その送信中の選択素片データの
送信を終了する推定終了時刻を推定する必要がなくなる
ので、その推定による誤差に起因して、最重要チャンネ
ルの符号化素片データの送信が、その再生に間に合わな
くなることを防止することが可能となる。即ち、時々刻
々と変化するネットワーク２の伝送レートに的確に対応
することが可能となる。

【０２６６】次に、図２３のフローチャートを参照し
て、クライアント端末３が行うオーディオ信号（を符号
化したもの）の再生処理について説明する。

【０２６７】クライアント端末３において、サーバ１に
対して、曲の要求が行われ、その要求に応じて、上述し
たようにして、サーバ１から符号化データが送信されて
くると、その符号化データは、クライアント端末３（図
６）の受信回路６１で受信される。受信回路６１では、
符号化データがフォーマット変換され、復号回路６２の
分離部７１に供給される。

【０２６８】分離部７１では、ステップＳ８１におい
て、符号化データから、符号化素片データと、ヘッダと
が抽出され、符号化素片データが、復号部７２₁乃至７
２_Mのうちの、対応するチャンネルのものに供給される
とともに、ヘッダに配置されている再生開始時刻が、再
生タイミング調整部７３に供給される。

【０２６９】復号部７２_mでは、分離部７１からの符号
化素片データが、元の素片に復号され、再生タイミング
調整部７３に供給される。再生タイミング調整部７３で
は、ステップＳ８２において、現在時刻Ｔ_nが、分離部
７１から供給された再生開始時刻に一致するかどうかが
判定され、一致しないと判定された場合、ステップＳ８
２に戻る。また、ステップＳ８２において、現在時刻Ｔ
_nが、分離部７１から供給された再生開始時刻に一致す
ると判定された場合、再生タイミング調整部７３は、そ
の再生開始時刻が付加されていた符号化素片データを復
号したオーディオ信号の素片を、オーディオ信号出力回
路６３に出力する。オーディオ信号出力回路６３は、再
生タイミング調整部７３からのオーディオ信号の素片に
所定の処理を施して出力する。これにより、ステップＳ
８３において、そのオーディオ信号の素片が再生され
る。そして、ステップＳ８１に戻り、以下、同様の処理
が繰り返される。

【０２７０】なお、受信回路６１が、バッファ６１Ａを
有する場合には、受信回路６１で受信された符号化デー
タは、バッファ６１Ａに一時記憶されてから、分離部７
１に供給される。

【０２７１】以上のように、複数チャンネルのディジタ
ル信号それぞれを、１以上の素片に分割し、複数チャン
ネルの素片それぞれを符号化して、符号化素片データと
し、前回送信した符号化素片データの送信終了時刻にお
いて、複数チャンネルの符号化素片データのうちのいず
れかを選択し、その選択された符号化素片データを送信
するようにしたので、例えば、伝送レートが十分大きい
場合には、多くのチャンネルの符号化素片データを送信
し、伝送レートが十分でない場合には、少ないチャンネ
ルの符号化素片データを送信するといった、いわば、チ
ャンネル（本実施の形態では、パート）単位でのスケー
ラビリティを実現することができる。その結果、伝送レ
ートが十分な場合には、質の高い曲を提供することがで
き、また、伝送レートが不十分な場合であっても、質は
低下するが、リアルタイムで、曲を提供することが可能
となる。

【０２７２】さらに、本実施の形態では、サーバ１にお
いて、パートごとにチャンネルを割り当てて、オーディ
オ信号を送信するようにしたので、クライアント端末３
では、ある１の楽器の音だけや、歌声だけの音量を調整
したり、ボーカルパートだけや伴奏パートだけを聴いた
り、幾つかの所望の楽器の音だけをミキシングして聴く
などといったことが可能となる。即ち、ユーザインタラ
クティビティの高いサービスの提供を受けることができ
る。

【０２７３】なお、本実施の形態では、オーディオ信号
を、処理の対象としたが、本発明は、その他、例えば、
ビデオ信号、テキストデータ、その他のディジタル信号
を提供する場合にも適用可能である。また、オーディオ
信号だけやビデオ信号だけなどの１の種類のディジタル
信号を提供する場合の他、例えば、ビデオ信号と、それ
に同期したオーディオ信号などの、異なる種類の信号を
提供する場合にも適用可能である。この場合、例えば、
ビデオ信号のチャンネルの重要度を、オーディオ信号の
チャンネルの重要度より高くすることで、少なくともビ
デオ信号のリアルタイム再生を保証することが可能とな
る。

【０２７４】さらに、ネットワーク２は、双方向のネッ
トワークであれば、有線および無線のいずれのものであ
っても良い。

【０２７５】また、図４に示したサーバ１、および図６
に示したクライアント端末３は、上述したように、ＣＰ
Ｕ（コンピュータ）に、コンピュータプログラム（ソフ
トウェア）を実行させることによって実現することも可
能であるし、それ専用のハードウェアによって実現する
ことも可能である。

【０２７６】さらに、サーバ１やクライアント端末３が
行う処理を、コンピュータプログラムによって実現する
場合においては、そのコンピュータプログラムは、ＣＤ
−ＲＯＭ（Compact Disc-Read Only Memory）などの記
録媒体に記録して提供することも可能であるし、インタ
ーネットその他の伝送媒体を介して伝送することにより
提供することも可能である。

【０２７７】また、本実施の形態では、サーバ１が出力
する符号化データを、伝送媒体であるネットワーク２を
介して、クライアント端末３に提供するようにしたが、
符号化データは、ＣＤ−ＲＯＭその他の記録媒体に記録
して、クライアント端末３に提供することも可能であ
る。

【０２７８】さらに、素片選択処理における素片の選択
の仕方は、上述したものに限定されるものではない。

【０２７９】

【発明の効果】請求項１に記載の送信装置および請求項
１４に記載の送信方法、並びに請求項２７に記載の提供
媒体によれば、複数チャンネルのディジタル信号それぞ
れが、１以上の素片に分割され、その複数チャンネルの
素片それぞれが符号化されて、符号化素片データとされ
る。そして、所定の時刻において、複数チャンネルの符
号化素片データのうちのいずれかが選択され、その選択
された符号化素片データが送信される。従って、ディジ
タル信号を、例えば、リアルタイムで、復号、再生する
ことができるように、その送信を行うことが可能とな
る。

【０２８０】請求項４０に記載の提供媒体によれば、複
数チャンネルのディジタル信号それぞれを、１以上の素
片に分割し、複数チャンネルの素片それぞれを符号化し
て、符号化素片データとし、所定の時刻において、複数
チャンネルの符号化素片データのうちのいずれかを選択
して出力することにより得られる符号化素片データが提
供される。従って、その符号化素片データから、ディジ
タル信号を、例えば、リアルタイムで、復号、再生する
ことが可能となる。

【０２８１】請求項４１に記載の受信装置および請求項
４３に記載の受信方法、並びに請求項４５に記載の提供
媒体によれば、符号化データが、複数チャンネルのディ
ジタル信号それぞれを１以上の素片に分割して符号化し
た符号化素片データと、その再生を開始する再生開始時
刻に関する時刻情報とに分離され、符号化素片データ
が、素片に復号される。そして、その素片の再生が、時
刻情報に基づいて制御される。従って、ディジタル信号
を、例えば、リアルタイムで、復号、再生することが可
能となる。

【０２８２】請求項４７に記載の受信装置および請求項
４８に記載の受信方法、並びに請求項４９に記載の提供
媒体によれば、複数チャンネルのディジタル信号それぞ
れを、１以上の素片に分割し、複数チャンネルの素片そ
れぞれを符号化して、符号化素片データとし、所定の時
刻において、複数チャンネルの符号化素片データのうち
のいずれかを選択して出力することにより得られる符号
化素片データが受信され、その符号化素片データが、素
片に復号される。従って、ディジタル信号を、例えば、
リアルタイムで、復号、再生することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した伝送システムの一実施の形態
の構成例を示す図である。

【図２】図１のサーバ１のハードウェア構成例を示すブ
ロック図である。

【図３】図１のクライアント端末３のハードウェア構成
例を示すブロック図である。

【図４】図２のサーバ１の機能的構成例を示すブロック
図である。

【図５】図４の制御部４２が出力するデータのフォーマ
ットを示す図である。

【図６】図３のクライアント端末３の機能的構成例を示
すブロック図である。

【図７】図６のオーディオ信号出力回路６３の処理を説
明するための図である。

【図８】サーバ１による送信処理の第１実施の形態を説
明するためのフローチャートである。

【図９】図８のステップＳ５における素片選択処理を説
明するための図である。

【図１０】図８のステップＳ５における素片選択処理の
第１実施の形態を説明するためのフローチャートであ
る。

【図１１】図１０のステップＳ１１の処理を説明するた
めの図である。

【図１２】図１０の素片選択処理を説明するための図で
ある。

【図１３】図８のステップＳ５における素片選択処理の
第２実施の形態を説明するためのフローチャートであ
る。

【図１４】図１３の素片選択処理を説明するための図で
ある。

【図１５】図８のステップＳ５における素片選択処理の
第３実施の形態を説明するためのフローチャートであ
る。

【図１６】図１５の素片選択処理を説明するための図で
ある。

【図１７】図８のステップＳ５における素片選択処理の
第４実施の形態を説明するためのフローチャートであ
る。

【図１８】図１７の素片選択処理を説明するための図で
ある。

【図１９】クライアント端末３がバッファ６１Ａを有す
る場合の、図８のステップＳ５における素片選択処理を
説明するための図である。

【図２０】サーバ１による送信処理の第２実施の形態を
説明するためのフローチャートである。

【図２１】図２０のステップＳ６５における素片選択処
理を説明するためのフローチャートである。

【図２２】図２１の素片選択処理を説明するための図で
ある。

【図２３】クライアント端末３による再生処理を説明す
るためのフローチャートである。

【符号の説明】

１ サーバ， ２ ネットワーク， ３ クライアント
端末， １１ ＲＯＭ， １２ ＣＰＵ， １３ ＲＡ
Ｍ， １４ 入力装置， １５ 出力装置，１６ 外部
記憶装置， １７ 通信装置， ２１ ＲＯＭ， ２２
ＣＰＵ，２３ ＲＡＭ， ２４ 入力装置， ２５
出力装置， ２６ 外部記憶装置，２７ 通信装置，
３１ オーディオ信号入力回路， ３２ 符号化回路，
３３ 送信回路， ３４ 重要度設定部， ４１₁乃至
４１_M 符号化部， ４２制御部， ４３ 多重化部，
６１ 受信回路， ６１Ａ バッファ， ６２復号回
路， ６３ オーディオ信号出力回路， ６３Ａ ミキ
サ， ６３Ｂマトリックススイッチャ， ７１ 分離
部， ７２₁乃至７２_M 復号部， ７３再生タイミング
調整部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１０年６月８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０１００

【補正方法】変更

【補正内容】

【０１００】また、例えば、ＲＦＣ２２０５（ＩＥＴＦ
発行）などに規定されているＲＳＶＰ（Resource Reser
vation Protocol）のように、使用する伝送レート（帯
域）を予約するプロトコルを用いる場合においては、そ
の予約した伝送レートを、そのまま用いることができ
る。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０１４２

【補正方法】変更

【補正内容】

【０１４２】そして、仮の選択素片データＤ２について
は、それを送信したと仮定した場合に、図１４（Ａ）お
よび図１４（Ｄ）に示すように、その送信を終了する推
定終了時刻が、その仮の選択素片データＤ２の再生開始
時刻Ｔ_d2 より前でないため（ステップＳ２４）、ステッ
プＳ２２で選択された２つの候補Ｃ３，Ｄ２のうちの、
まだ、最終的に、仮の選択素片データとされていない候
補Ｃ３が、仮の選択素片データとして、最終的に選択さ
れる（ステップＳ２７，Ｓ２８）。

Claims (49)

【特許請求の範囲】
1. 【請求項１】 複数チャンネルのディジタル信号それぞ
   れを符号化した符号化データを送信する送信装置であっ
   て、 前記複数チャンネルのディジタル信号それぞれを、１以
   上の素片に分割する分割手段と、 前記複数チャンネルの素片それぞれを符号化し、符号化
   素片データとする符号化手段と、 所定の時刻において、前記複数チャンネルの符号化素片
   データのうちのいずれかを選択する選択手段と、 前記選択手段によって選択された前記符号化素片データ
   を送信する送信手段とを備えることを特徴とする送信装
   置。
2. 【請求項２】 前記送信手段による前記符号化素片デー
   タの送信が終了した送信終了時刻を検出する検出手段を
   さらに備え、 前記選択手段は、前記送信終了時刻において、前記送信
   手段に次に送信させる前記符号化素片データを選択する
   ことを特徴とする請求項１に記載の送信装置。
3. 【請求項３】 前記複数チャンネルそれぞれには、その
   重要性を表す重要度が設定されており、 現在時刻と、最も高い重要度のチャンネルの前記ディジ
   タル信号の再生を開始する再生開始時刻とを比較する比
   較手段をさらに備え、 前記送信手段は、前記比較手段の比較結果に基づいて、
   いま送信している前記符号化素片データの送信を、強制
   的に終了することを特徴とする請求項２に記載の送信装
   置。
4. 【請求項４】 前記符号化素片データに、その再生を開
   始する再生開始時刻に関する時刻情報を付加する付加手
   段をさらに備えることを特徴とする請求項１に記載の送
   信装置。
5. 【請求項５】 前記複数チャンネルそれぞれには、その
   重要性を表す重要度が設定されており、 前記選択手段は、前記符号化素片データの選択を、その
   重要度に基づいて行うことを特徴とする請求項１に記載
   の送信装置。
6. 【請求項６】 前記選択手段は、前記符号化素片データ
   の選択を、その再生を開始する再生開始時刻に基づいて
   行うことを特徴とする請求項１に記載の送信装置。
7. 【請求項７】 前記選択手段は、前記再生開始時刻まで
   に、前記送信手段による送信が正常終了する前記符号化
   素片データを選択することを特徴とする請求項６に記載
   の送信装置。
8. 【請求項８】 前記選択手段は、前記送信手段による前
   記符号化素片データの送信が終了した送信終了時刻後に
   再生される前記符号化素片データのうち、前記再生開始
   時刻が最も早いものを選択することを特徴とする請求項
   ６に記載の送信装置。
9. 【請求項９】 前記選択手段は、前記符号化素片データ
   の選択を、そのデータ量に基づいて行うことを特徴とす
   る請求項１に記載の送信装置。
10. 【請求項１０】 前記分割手段は、前記複数チャンネル
    のディジタル信号それぞれを、固定または可変の長さの
    素片に分割することを特徴とする請求項１に記載の送信
    装置。
11. 【請求項１１】 前記分割手段は、前記ディジタル信号
    を、前記複数チャンネルすべてについて同一の長さの素
    片に分割することを特徴とする請求項１に記載の送信装
    置。
12. 【請求項１２】 前記分割手段は、あるチャンネルの前
    記ディジタル信号を、他のチャンネルの前記ディジタル
    信号と異なる長さの素片に分割することを特徴とする請
    求項１に記載の送信装置。
13. 【請求項１３】 あるチャンネルの前記ディジタル信号
    と、他のチャンネルの前記ディジタル信号とが、異なる
    種類のものであることを特徴とする請求項１に記載の送
    信装置。
14. 【請求項１４】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを送信する送信方法であ
    って、 前記複数チャンネルのディジタル信号それぞれを、１以
    上の素片に分割する分割ステップと、 前記複数チャンネルの素片それぞれを符号化し、符号化
    素片データとする符号化ステップと、 所定の時刻において、前記複数チャンネルの符号化素片
    データのうちのいずれかを選択する選択ステップと、 前記選択ステップで選択された前記符号化素片データを
    送信する送信ステップとを備えることを特徴とする送信
    方法。
15. 【請求項１５】 前記送信ステップにおける前記符号化
    素片データの送信が終了した送信終了時刻を検出する検
    出ステップをさらに備え、 前記選択ステップでは、前記送信終了時刻において、前
    記送信ステップで次に送信する前記符号化素片データを
    選択することを特徴とする請求項１４に記載の送信方
    法。
16. 【請求項１６】 前記複数チャンネルそれぞれには、そ
    の重要性を表す重要度が設定されており、 現在時刻と、最も高い重要度のチャンネルの前記ディジ
    タル信号の再生を開始する再生開始時刻とを比較する比
    較ステップをさらに備え、 前記送信ステップにおいて、前記比較ステップの比較結
    果に基づいて、いま送信している前記符号化素片データ
    の送信を、強制的に終了することを特徴とする請求項１
    ５に記載の送信方法。
17. 【請求項１７】 前記符号化素片データに、その再生を
    開始する再生開始時刻に関する時刻情報を付加する付加
    ステップをさらに備えることを特徴とする請求項１４に
    記載の送信方法。
18. 【請求項１８】 前記複数チャンネルそれぞれには、そ
    の重要性を表す重要度が設定されており、 前記選択ステップにおいて、前記符号化素片データの選
    択を、その重要度に基づいて行うことを特徴とする請求
    項１４に記載の送信方法。
19. 【請求項１９】 前記選択ステップにおいて、前記符号
    化素片データの選択を、その再生を開始する再生開始時
    刻に基づいて行うことを特徴とする請求項１４に記載の
    送信方法。
20. 【請求項２０】 前記選択ステップにおいて、前記再生
    開始時刻までに、前記送信ステップによる送信が正常終
    了する前記符号化素片データを選択することを特徴とす
    る請求項１９に記載の送信方法。
21. 【請求項２１】 前記選択ステップにおいて、前記送信
    ステップにおける前記符号化素片データの送信が終了し
    た送信終了時刻後に再生される前記符号化素片データの
    うち、前記再生開始時刻が最も早いものを選択すること
    を特徴とする請求項１９に記載の送信方法。
22. 【請求項２２】 前記選択ステップにおいて、前記符号
    化素片データの選択を、そのデータ量に基づいて行うこ
    とを特徴とする請求項１４に記載の送信方法。
23. 【請求項２３】 前記分割ステップにおいて、前記複数
    チャンネルのディジタル信号それぞれを、固定または可
    変の長さの素片に分割することを特徴とする請求項１４
    に記載の送信方法。
24. 【請求項２４】 前記分割ステップにおいて、前記ディ
    ジタル信号を、前記複数チャンネルすべてについて同一
    の長さの素片に分割することを特徴とする請求項１４に
    記載の送信方法。
25. 【請求項２５】 前記分割ステップにおいて、あるチャ
    ンネルの前記ディジタル信号を、他のチャンネルの前記
    ディジタル信号と異なる長さの素片に分割することを特
    徴とする請求項１４に記載の送信方法。
26. 【請求項２６】 あるチャンネルの前記ディジタル信号
    と、他のチャンネルの前記ディジタル信号とが、異なる
    種類のものであることを特徴とする請求項１４に記載の
    送信方法。
27. 【請求項２７】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを送信する処理を、コン
    ピュータに行わせるためのコンピュータプログラムを提
    供する提供媒体であって、 前記複数チャンネルのディジタル信号それぞれを、１以
    上の素片に分割する分割ステップと、 前記複数チャンネルの素片それぞれを符号化し、符号化
    素片データとする符号化ステップと、 所定の時刻において、前記複数チャンネルの符号化素片
    データのうちのいずれかを選択する選択ステップと、 前記選択ステップで選択された前記符号化素片データを
    送信する送信ステップとを備えるコンピュータプログラ
    ムを提供することを特徴とする提供媒体。
28. 【請求項２８】 前記コンピュータプログラムは、前記
    送信ステップにおける前記符号化素片データの送信が終
    了した送信終了時刻を検出する検出ステップをさらに備
    え、 前記選択ステップでは、前記送信終了時刻において、前
    記送信ステップで次に送信する前記符号化素片データを
    選択することを特徴とする請求項２７に記載の提供媒
    体。
29. 【請求項２９】 前記複数チャンネルそれぞれには、そ
    の重要性を表す重要度が設定されており、 前記コンピュータプログラムは、現在時刻と、最も高い
    重要度のチャンネルの前記ディジタル信号の再生を開始
    する再生開始時刻とを比較する比較ステップをさらに備
    え、 前記送信ステップにおいて、前記比較ステップの比較結
    果に基づいて、いま送信している前記符号化素片データ
    の送信を、強制的に終了することを特徴とする請求項２
    ８に記載の提供媒体。
30. 【請求項３０】 前記コンピュータプログラムは、前記
    符号化素片データに、その再生を開始する再生開始時刻
    に関する時刻情報を付加する付加ステップをさらに備え
    ることを特徴とする請求項２７に記載の提供媒体。
31. 【請求項３１】 前記複数チャンネルそれぞれには、そ
    の重要性を表す重要度が設定されており、 前記選択ステップにおいて、前記符号化素片データの選
    択を、その重要度に基づいて行うことを特徴とする請求
    項２７に記載の提供媒体。
32. 【請求項３２】 前記選択ステップにおいて、前記符号
    化素片データの選択を、その再生を開始する再生開始時
    刻に基づいて行うことを特徴とする請求項２７に記載の
    提供媒体。
33. 【請求項３３】 前記選択ステップにおいて、前記再生
    開始時刻までに、前記送信ステップによる送信が正常終
    了する前記符号化素片データを選択することを特徴とす
    る請求項３２に記載の提供媒体。
34. 【請求項３４】 前記選択ステップにおいて、前記送信
    ステップにおける前記符号化素片データの送信が終了し
    た送信終了時刻後に再生される前記符号化素片データの
    うち、前記再生開始時刻が最も早いものを選択すること
    を特徴とする請求項３２に記載の提供媒体。
35. 【請求項３５】 前記選択ステップにおいて、前記符号
    化素片データの選択を、そのデータ量に基づいて行うこ
    とを特徴とする請求項２７に記載の提供媒体。
36. 【請求項３６】 前記分割ステップにおいて、前記複数
    チャンネルのディジタル信号それぞれを、固定または可
    変の長さの素片に分割することを特徴とする請求項２７
    に記載の提供媒体。
37. 【請求項３７】 前記分割ステップにおいて、前記ディ
    ジタル信号を、前記複数チャンネルすべてについて同一
    の長さの素片に分割することを特徴とする請求項２７に
    記載の提供媒体。
38. 【請求項３８】 前記分割ステップにおいて、あるチャ
    ンネルの前記ディジタル信号を、他のチャンネルの前記
    ディジタル信号と異なる長さの素片に分割することを特
    徴とする請求項２７に記載の提供媒体。
39. 【請求項３９】 あるチャンネルの前記ディジタル信号
    と、他のチャンネルの前記ディジタル信号とが、異なる
    種類のものであることを特徴とする請求項２７に記載の
    提供媒体。
40. 【請求項４０】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを提供する提供媒体であ
    って、 前記複数チャンネルのディジタル信号それぞれを、１以
    上の素片に分割し、 前記複数チャンネルの素片それぞれを符号化して、符号
    化素片データとし、 所定の時刻において、前記複数チャンネルの符号化素片
    データのうちのいずれかを選択して出力することにより
    得られる前記符号化素片データを提供することを特徴と
    する提供媒体。
41. 【請求項４１】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを受信する受信装置であ
    って、 前記符号化データを受信する受信手段と、 前記符号化データを、前記複数チャンネルのディジタル
    信号それぞれを１以上の素片に分割して符号化した符号
    化素片データと、その再生を開始する再生開始時刻に関
    する時刻情報とに分離する分離手段と、 前記符号化素片データを、前記素片に復号する復号手段
    と、 前記復号手段が出力する前記素片の再生を、前記時刻情
    報に基づいて制御する制御手段とを備えることを特徴と
    する受信装置。
42. 【請求項４２】 前記符号化データを一時記憶する記憶
    手段をさらに備えることを特徴とする請求項４１に記載
    の受信装置。
43. 【請求項４３】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを受信する受信方法であ
    って、 前記符号化データを受信する受信ステップと、 前記符号化データを、前記複数チャンネルのディジタル
    信号それぞれを１以上の素片に分割して符号化した符号
    化素片データと、その再生を開始する再生開始時刻に関
    する時刻情報とに分離する分離ステップと、 前記符号化素片データを、前記素片に復号する復号ステ
    ップと、 前記復号ステップで得られる前記素片の再生を、前記時
    刻情報に基づいて制御する制御ステップとを備えること
    を特徴とする受信方法。
44. 【請求項４４】 前記符号化データを一時記憶する記憶
    ステップをさらに備えることを特徴とする請求項４３に
    記載の受信方法。
45. 【請求項４５】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを受信する処理を、コン
    ピュータに行わせるためのコンピュータプログラムを提
    供する提供媒体であって、 前記符号化データを受信する受信ステップと、 前記符号化データを、前記複数チャンネルのディジタル
    信号それぞれを１以上の素片に分割して符号化した符号
    化素片データと、その再生を開始する再生開始時刻に関
    する時刻情報とに分離する分離ステップと、 前記符号化素片データを、前記素片に復号する復号ステ
    ップと、 前記復号ステップで得られる前記素片の再生を、前記時
    刻情報に基づいて制御する制御ステップとを備えるコン
    ピュータプログラムを提供することを特徴とする提供媒
    体。
46. 【請求項４６】 前記コンピュータプログラムは、前記
    符号化データを一時記憶する記憶ステップをさらに備え
    ることを特徴とする請求項４５に記載の提供媒体。
47. 【請求項４７】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを受信する受信装置であ
    って、 前記複数チャンネルのディジタル信号それぞれを、１以
    上の素片に分割し、 前記複数チャンネルの素片それぞれを符号化して、符号
    化素片データとし、 所定の時刻において、前記複数チャンネルの符号化素片
    データのうちのいずれかを選択して出力することにより
    得られる前記符号化素片データを受信する受信手段と、 前記受信手段により受信された前記符号化素片データ
    を、前記素片に復号する復号手段とを備えることを特徴
    とする受信装置。
48. 【請求項４８】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを受信する受信方法であ
    って、 前記複数チャンネルのディジタル信号それぞれを、１以
    上の素片に分割し、 前記複数チャンネルの素片それぞれを符号化して、符号
    化素片データとし、 所定の時刻において、前記複数チャンネルの符号化素片
    データのうちのいずれかを選択して出力することにより
    得られる前記符号化素片データを受信する受信ステップ
    と、 前記受信ステップで受信された前記符号化素片データ
    を、前記素片に復号する復号ステップとを備えることを
    特徴とする受信方法。
49. 【請求項４９】 複数チャンネルのディジタル信号それ
    ぞれを符号化した符号化データを受信する処理を、コン
    ピュータに行わせるためのコンピュータプログラムを提
    供する提供媒体であって、 前記複数チャンネルのディジタル信号それぞれを、１以
    上の素片に分割し、 前記複数チャンネルの素片それぞれを符号化して、符号
    化素片データとし、 所定の時刻において、前記複数チャンネルの符号化素片
    データのうちのいずれかを選択して出力することにより
    得られる前記符号化素片データを受信する受信ステップ
    と、 前記受信ステップで受信された前記符号化素片データ
    を、前記素片に復号する復号ステップとを備えるコンピ
    ュータプログラムを提供することを特徴とする提供媒
    体。