WO2002098109A1

WO2002098109A1 - Packet reception apparatus and packet reception method

Info

Publication number: WO2002098109A1
Application number: PCT/JP2002/004901
Authority: WO
Inventors: Daiji Ido
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-05-29
Filing date: 2002-05-21
Publication date: 2002-12-05
Anticipated expiration: 2003-11-29
Also published as: US20030156544A1; EP1301009A4; EP1301009A1; JP3569241B2; CN1198435C; EP1301009B1; US7296081B2; JP2002354032A; CN1465170A

Description

明細書バケツト受信装置及びパケット受信方法技術分野

本発明は、パケット受信装置及びパケット受信方法に関する。背景技術

従来、 SMIL (Synchronized Multimedia Integration Language; と呼ばれる技術がある。この技術は、テキスト、静止画、動画、音声を含むコンテンヅを統合し、空間的および時間的配置を記述する方法として、 W3C (World Wide Web Consortium) によって標準化されたものである。 SMIL記述言語は、コンテンヅに時間情報を持っていることがハイパーテキスト記述言語（H TML (Hypertext Markup Language) ) と異なっている。なお、 HTML記述言語はイン夕一ネットで普及している最もポピュラーな言語である。

ここで、クライアントが、 SMI L記述言語で作成されたサーバ上のコンテンヅを、ネットワークを介して再生する方法について説明する。

図 1は SMI Lを用いたコンテンツ配信を説明するための図である。この図において、クライアント 201が、ネットワーク 200を介してサーバ 203 へアクセスして、コンテンツが記述された SMI Lファイルを取得する。そして、取得した SMI Lファイルを解釈する。次に、 SMILファイルに記述されているテキスト、静止画、動画又は音声等のメディアをサーバ 202及び 2 04から取得する。次いで、 SMI Lファイルに記述されている時間情報に基づいてそれそれのメディア (テキスト、静止画、動画又は音声等）を適切な時刻で再生する。なお、この図では、 SMILファイル、音声や動画、テキストや静止画がそれそれ個別のサーバ 202、 203、 204で保存されるが、 1 つのサーバに保存される場合もある。

次に、 SMI Lファイルゃ各メディァの伝送方法について説明する。 SMILファイル、静止画ファイル、テキストファイル等の各メディアファィルをサーバ 202、 203、 204からクライアント 201へ伝送するには、一般的に TCP (Transmission Control Protocol) と呼ばれる通信プロトコルが用いられる。この TCPは、インターネットで広く普及している HTM Lと同様に信頼性のあるプロトコルである。一方、音声デ一夕や動画データといつた時間的に連続するデータの伝送には、リアル夕ィム性を優先した R T P (Real-time Transport Protocol)および UDP (User Datagram Protocol) という通信プロトコルが用いられることが多い。 TCPまたは RTPZUDP を伝送する下位プロトコルとして、 IP (Internet Protocol) プロトコルが一般的である。

以上の TCP、 RTP、 UDP、 IPプロトコルは、全て IETF (Intern et Engineering Task Force) によって標準化されており、インターネヅトを中心に広く普及している。

次に、 SMI Lファイルのコンテンヅ記述方法について簡単に説明する。図 2は SMI Lで記述された文章の一例を示す図である。この図において、左端の数字 1、 2、 …は説明のための行番号であり、右端は説明文である。なお、これらの数字及び説明文は実際の SMI Lファイルには記述されない。数字 1と数字 15で囲まれたテキストが SMI L文書であり、その内容は数字 2から数字 8で囲まれるヘッダ部分と、数字 9から数字 14で囲まれる本文とからなる。ヘッダ部分には、時間情報と無関係なレイアウト情報等が記述される。本文には、実際のメディア情報と再生に関する時間情報が記述される。数字 11で示す記述は、動画を表示するための制御文である。また、数字 12 で示す記述は、静止画を表示するための制御文である。これらは数字 10と数字 13で示す <p a r >で囲まれる。このく p a r >で囲まれる部分は、同時に再生することを表している。この例では、動画と静止画が同時に再生されることを表している。メディアの所在は、 "src" によって言己述される。また、メディアの再生時間に関する指定は、 "begin"、 "end"、 "dur" 等を用いて記述される。この場合、 "begin" はメディア開始時刻、 "en d" はメディア終了時刻、 "dur" はメディア再生時間をそれそれ指定している。

また、数字 11で示す記述は、 "a" という領域に、 "s r c" で指定された動画デ一夕を 3秒から 20秒の間表示するというものである。数字 12で示す記述は、 "b" という領域に "s r c" で指定された静止画データを 10秒間表示するというものである。再生開始と終了を、数字 1 1と数字 12で示す記述のように絶対時刻で指定する以外に、以下の例（1) 、例（2) に示すようにシーケンス的に指定することも可能である。

例（ 1 )

<seq>

く video id="videol⁵" src='' rt sp： // examp 1 e . c om/ v i deo 1. m4v⁵⁵ />

く video id=，，video2，， src=" rts ： // example . com/video2. m4v" .../>

</seq>

例（ 2 )

<par>

く video id=，，videol" src二" rtsp://example.com/videol.m4v" />

く video id-'video2^M src=" rtsp： // example . com/video2. m4v" begin- 'videol.e nd" .../>

</par>

例（ 1 ) と例（ 2 ) は、それそれ video 1の再生が終了した後に video 2を再生するという記述である。なお、例（1) 、例（2) は共に動画の場合であるが、動画と静止画でも同様である。

次に、上記例におけるクライアントとサーバとの間の実際の動作について説明する。

図 3はメディアの連続再生の一例を示すシーケンス図である。この図において、実線はリアルタイムデータの制御用に用いられるプロトコルである RTS P (Real Time Streaming Protocol)のコマンドおよびレスポンス信号を表している。 RTSPは TCP上を介して通信される。点線はメディアデ一夕を表している。メディアデータの伝送にはリアルタイム通信に適した R TPプロトコルが用いられる。また、データの終わりを表すコマンドの伝送も R TPプロトコルが用いられる。

さて、クライアントは、 SMI L文書中の videolを再生する記述を角军釈した後、サーバに向けて再生を要求する（ステヅプ 1)。サーバは、クライアントから再生要求を受けると再生準備を開始する。そして、再生準備が整うとクライアントに向けて OKを送信する（ステップ 2) 。 OKを送信した後、 vide olのデータの送信を開始する（ステップ 3) 。そして、 videolのデ一夕全てを送信し終えると、クライアントに向けて RTPプロトコルで規定されている RT CP(RTP control protocol) BYEという制御信号を送信し、クライアントに videolのデータを全て送信したことを通知する（ステップ 4) 。

クライアントは、； TCP BYEを受信すると、セッションを終了するために、サーバに向けて RTSP TEARD OWNという制御信号を送信する (ステップ 5) 。サーバは、： TSP TEARDOWNコマンドを受信すると、セッションを終了するとともに、クライアントに向けてセッションを終了したことを通知する（ステップ 6) 。クライアントは、 videolの再生終了後、続けて video2の再生を行う。ステップ 7からステップ 12までは、 videolと同様のシーケンスにより video2の伝送が行われる。

しかしながら、この従来のパケット受信方法においては、次のような問題がある。

すなわち、 RTPプロトコルを用いて音声データや動画デ一夕のようなリアルタイムデ一夕を伝送した際にメディアデータの終了を表す R TCP BYE のパケヅトにビヅト誤りが生じると、図 4のシーケンス図に示すようにクライアントの下位レイヤによって破棄されることになる。 RTCP BYEが破棄されると、クライアントはデ一夕の終わりが判らないので、データの送信が終了していても次のメディアの再生を開始することができない。なお、伝送中のビット誤りは、例えば無線回線を使用した場合に起こり得る。

また、バ一スト誤りによるメディアの一時中断時には、セッションを終了してしまうことがある。発明の開示

本発明の目的は、伝送誤りが原因でメディア終了通知バケツトである R T C P B Y Eが受信できない場合でも、次のメディアの再生を開始することができ、さらにバースト誤りによるメディアが一時的に中断してもセッションを終了してしまうことのないパケット受信装置及びパケット受信方法を提供することである。

この目的は、 R T Pパケットの受信手段である R T P受信手段より下位に位置する I Pレイヤや U D Pレイヤにおいてパケヅト損失を監視することにより達成される。図面の簡単な説明

図 1は、 S M I Lを用いたコンテンヅ配信を説明するための図；

図 2は、 S M I Lで記述された内容を説明するための図；

図 3は、メディアを連続再生する場合のシーケンス図；

図 4は、従来のメディア連続再生時の問題を説明するためのシーケンス図図 5は、本発明の実施の形態に係るコンテンヅ受信再生装置の構成を示すブロック図；

図 6は、本発明の実施の形態に係るコンテンヅ受信再生装置のメディア連続再生時の動作を説明するためのシーケンス図；

図 Ίは、本発明の実施の形態に係るコンテンヅ受信再生装置のメディァ連続再生時の動作を説明するためのシーケンス図；

図 8は、本発明の実施の形態に係るバケツト受信装置の構成を示すブロック図である。発明を実施するための最良の形態

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

図 5は、本発明の実施の形態に係るコンテンツ受信再生装置の構成を示すプロック図である。この図において、本実施の形態のコンテンヅ受信再生装置は、アンテナ 101と、送受信部 102と、 I Pパケヅト送受信部 103と、 T CP送受信部 104と、 110?受信部105と、 R TP受信部 106と、コンテンヅ制御部 107と、バケツト損失監視部 110と、終了時刻判定部 111 とを備えている。コンテンヅ制御部 107は、再生表示部 108と制御コマンド送受信部 109とを備えている。

送受信部 102は、受信した IPパケットに対して無線処理（すなわち、ダゥンコンバート、 A/D変換等）と復調処理を行う。そして、復調したパケヅト信号を I Pパケット送受信部 103に入力する。また、送受信部 102は、 IPパケット送受信部 103から入力されたパケット信号に対して変調処理と無線処理を行う。そして、無線処理した IPパケットをアンテナ 101から送信する。 IPパケット送受信部 103は IPパケットの送受信を行う一方、受信した I Pパケットの誤りを検査して誤りがあれば、その IPパケットの IP ヘッダをバケツト損失監視部 110に入力し、更にそのパケヅトを破棄する。これに対して、受信した I Pパケットに誤りがなければ、その IPパケットの I Pへッダを削除した後、 T C Pセグメントの場合には T C P送受信部 104 に入力し、 UDPセグメントの場合には UDP受信部 105に入力する。

TCP送受信部 104は、 IPパケット送受信部 103から入力された TC Pセグメントをコンテンヅ制御部 107の制御コマンド送受信部 109に入力する。また、コンテンヅ制御部 107の制御コマンド送受信部 109から入力された制御コマンドを T C Pセグメントとして I Pパケヅト送受信部 103に入力する。 110?受信部105は、 IPパケット送受信部 103から入力された UDPセグメントの誤りを検査する。 UDPセグメントに誤りがあれば、その U D Pセグメントのへヅダをパケヅト損失監視部 110に入力した後、セグメントそのものを破棄する。これに対して、 UDPセグメントに誤りがなければ、 UDPセグメントを RTPパケヅトに変換して RTP受信部 106に入力する。 1 丁卩受信部106は、入力された; RTPパケットをコンテンヅ制御部 107の再生表示部 108に入力する。また、 R TP受信部 106は、 HTP パケットの受信状況を終了時刻判定部 111に報告する。

コンテンヅ制御部 107の制御コマンド送受信部 109は、 TCP/I Pパケヅトを用いてサーバ（図示略）からの制御コマンドを受信する。また、 TC ΡΖΙΡパケットを用いてサーバ（図示略）に向けて制御コマンドを送信する。また、コンテンヅの記述に応じて再生表示部 108にメディアの再生開始や停止を指示する。再生表示部 108は、制御コマンド送受信部 109の指示に従って R TP受信部 106より入力された R TPパケットに含まれるメディアデ一夕を再生し表示する。

終了時刻判定部 111は、 RTP受信部 106がメディアの終了を表す BY Eパケットを受信したことを認識すると、メディア終了と判断してその BYE パケットを制御コマンド送受信部 109に入力する。また、 RTP受信部 10 6が BYEパケットを受信しなくても、パケヅト損失監視部 110からのパケット損失情報と RTP受信部 106からの RTPバケツト受信状況情報をもとに、サーバ（図示略）からのメディアデ一夕の送信終了を判断し、制御コマンド送受信部 109にメディアの停止を指示する。すなわち、バケツト損失が生じてなくて、： R TPパケットを受信しない状態が一定時間継続した場合、サーバからのメディアデ一夕の送信が終了したと判定して、制御コマンド送受信部 109にメディアの停止を指示する。この場合、終了時刻判定部 111は、 R TP受信部 106が R TPパケヅトを受信していなくても、パケヅト損失情報より下位レイヤのパケヅト損失が生じていれば、メディアデ一夕の送信が終了したとは判断しない。すなわち、 I Pレイヤ又は UDPレイヤにおけるパケット損失が発生していれば、 RTPパケットを一定時間受信していなくても、メディアデ一夕の送信が終了としたとは判断しない。なお、 1 丁？受信部106 が RTPバケツトを受信していなくても、下位レイヤのパケヅト損失が生じている場合とは、再生表示部 108において再生が中断する場合が続いた場合である。' ここで、 B Y Eパケットが誤りのために破棄されて、クライアントにメディァの終了時刻が通知されない場合の動作について説明する。

図 6は、メディアの連続再生において、 B Y Eパケットに伝送誤りが発生した場合の動作を示すシーケンス図である。なお、この図において、ステップ 1 からステップ 3までは図 3のシーケンス図と同様であるので、ステップ 1からステップ 3までの説明を省略する。

図 6において、伝送誤りによって B Y Eパケットに誤りが発生すると、クライアント側ではその B Y Eパケットを破棄する。なお、この時点で既にサーバからメディアデ一夕の送信が終了しているので、メディアデ一夕が継続して送信されることはない。しかし、クライアントはメディアデータの送信が終了したかどうかは判らない。そのため、クライアントは一定時間メディアデータを受信できる状態を維持する。そして、その間にメディアデータを受信できなければメディアデ一夕の送信が終了したと判断してサーバに向けてセヅション切断を要求する（ステップ 5 ) 。

次に、無線回線上で頻繁に起こることが知られているバーストエラ一が発生した場合の動作について説明する。なお、バーストエラーとは、伝送誤りがある一定期間集中して起こるような誤りパターンのことを言う。

図 7はメディアの連続再生において、バースト誤りがメディアパケヅトに発生した場合の動作を示すシーケンス図である。この図では図 6と同様にステツプ 3において、サーバから複数のパケットによってメディアデータがクライアントに向けて送信される。

図 7において、サーバからクライアントに向けてメディアデ一夕が送信されている間にバーストエラーが発生すると、連続するパケットに誤りが生じる。この誤りが I Pレイヤと UD Pレイヤにおいて検出されると、メディアデ一夕の全てが破棄される。 H T P受信部 1 0 6はバーストエラーが発生している間は全くメディアデータを受信することができない。バーストエラーが発生している間は I Pレイヤと UD Pレイヤからパケヅト損失情報が出力されるので、終了時刻判定部 1 1 1はメディアデータの受信が継続していると判断する。言い換えればメディアデ一夕の受信が終了したと判断しない。したがって、メディアデ一夕を受信できる状態がそのまま維持される。そして、バーストエラ一が終了した時点でメディアデ一夕の受信が再開される。

このように、本実施の形態によれば、再生時間が指定されていないコンテンヅを再生する場合に、伝送誤り等によってメディアデ一夕の終了を通知する B Y Eバケツトの損失が生じても、メディアデ一夕の受信不能状態が所定時間継続し且つその間にパケヅトの誤りを検出しなければ、メディアデ一夕の送信が終了したと判定するので、迅速に次のメディアデータの受信を再開することが可能となる。

また、伝送誤り等によるパケットの誤りを検出すると、メディアデ—夕の受信待ち状態を維持するので、バースト誤り等によってメディアデータの受信が一時的に中断した場合に誤ってセッションを中断して再生を停止し、後続のデ一夕を再生できなくなる事態を回避することが可能となる。

なお、本実施の形態では、コンテンヅを受信して再生するコンテンヅ受信再生装置について述べたが、コンテンヅ制御部 1 0 7を取り除いてコンテンツの受信のみを行うパケット受信装置としてもよい。図 8にそのパケット受信装置の構成を示す。

また、本実施の形態では、コンテンツの受信再生をハ一ドウエアで実現した場合について説明したが、これに限るものではなく、このコンテンヅ受信再生をソフトウェアで行うことも可能である。例えば、コンテンヅ受信再生を行うプログラムをコンピュータで読み取り可能な R AM (Random Access Memory) 等記録媒体に格納し、そのプログラムに従ってコンピュータを動作させるようにしても良い。このパケット受信プログラムは、例えばサーバから送信されたパケットを受信するパケット受信手順と、パケット受信手順にて受信されたパケットの伝送誤りを検出する誤りパケット検出手順と、誤りパケット検出手順にて検出された誤りパケットを破棄するパケット破棄手順と、パケット受信手順にて伝送誤り無く受信されたパケットより音声データや動画デ一夕であるメディアデ一夕を受信するメディァ受信手順と、メディァ受信手順がメディアデ —夕の受信開始後、メディアデ一夕の受信不能状態が所定時間継続した場合で且つその間に誤りパケット検出手順にてパケットの誤りが検出されなければ、メディアデ一夕の送信が終了したことを判定し、メディアデ一夕の受信不能状態が所定時間継続した場合でもその間に誤りパケット検出手順にてバケツトの誤りが検出されれば、サーバからのメディアデ一夕の送信が終了していないと判定するデータ終了判定手順とを具備する。このソフトウェアで制御する場合でも上述した実施の形態と同様の作用および効果を呈する。すなわち、伝送誤り等によってメディアデータの終了を通知するパケッ卜の損失が生じても、メディアデ一夕の受信不能状態が所定時間継続した場合で且つその間にパケヅトの誤りが検出されなければ、メディアデータの送信が終了したと判定する。これにより、迅速に次のメディアデ一夕の受信を再開することが可能となる。また、伝送誤り等によるパケットの損失がある場合にはメディアデ—夕の受信待ち状態を維持するので、バースト誤り等によってメディアデータの受信が一時的に中断した場合に誤ってセッションを中断してしまう事態を低減させることが可能となる。

上記プログラムを記録する記録媒体としては、 R AMなどの半導体記憶手段の他、磁気記憶手段、光記憶手段又は光磁気記憶手段であっても構わない。また、本実施の形態では、コンテンツ記述言語として S M I Lを用いたが、 H T M Lを用いても良い。また、コンテンツを記述せずに単にメディアを繰り返し再生する場合でもよい。例えば、バケツト受信装置がサーバに制御信号 R T S P P L AYを連続して送信する場合である。

また、本実施の形態では、コンテンヅに含まれる複数のメディアを連続再生する場合について説明したが、 1つのメディアをライブ中継するようなコンテンヅを再生する場合でも適用できる。ライブ中継の場合は終了時刻が明示されないことが多いので、本発明に用いることによってライブ中継コンテンツであつても正しく再生を終了させることが可能となる。以上説明したように、本発明によれば、再生時間が指定されていないコンテンヅを再生する場合で且つ B Y Eパケットが正しく受信されなくても終了時間を適切に判定することができる。さらに、パケット損失による再生の中断が発生した場合であってもバケツト損失を監視して終了時刻判定を行うので、誤つてメディアデ一夕の終了と判断して再生を停止してしまい、後続のデ一夕の再生が不能になる事態を回避することも可能となる。本明細書は、 2001年 5月 29曰出願の特原貝 2001— 161398に基づくものである。この内容をここに含めておく。本発明は、ネットワーク上の映像や音声などの実時間メディアを酉己信する画像配信システムに用いて好適である。

Claims

請求の範囲

1 . サーバから送信されたパケットを受信するパケット受信手段と、前記パケット受信手段にて受信されたパケットの伝送誤りを検出する誤りバケツト検出手段と、前記誤りパケット検出手段にて検出された誤りバケツトを破棄するパケット破棄手段と、前記パケット受信手段にて伝送誤り無く受信されたパケットより音声データや動画データであるメディアデ一夕を受信するメディァ受信手段と、前記メディア受信手段が前記メディアデ一夕の受信開始後、前記メディアデ一夕の受信不能状態が所定時間継続した場合で、且つその間に前記誤りパケット検出手段にてバケツトの誤りが検出されなければ、メディアデータの送信が終了したことを判定するデータ終了判定手段と、を具備することを特徴とするパケット受信装置。

2 . 前記データ終了判定手段は、前記メディアデータの受信不能状態が所定時間継続した場合でも、その間に前記誤りパケット検出手段にてパケットの誤りが検出されれば、前記サーバからのメディアデ一夕の送信が終了していないと判定することを特徴とする請求項 1記載のパケット受信装置。

3 . 前記パケット受信手段は、 I Pパケットを受信する I Pパケット受信手段と、 UD Pパケットを受信する UD Pパケット受信手段とを具備し、前記メディァ受信手段は、前記 U D Pパケヅト受信手段より得られる R T Pパケヅトにてメディァ終了信号を受信することを特徴とする請求項 1記載のパケヅト受信

4 . 請求項 1記載のパケット受信装置と、前記パケット受信装置のメディア受信手段にてメディア終了信号が受信されていない状態で、前記パケット受信装置のデータ終了判定手段からリアルタイムデータの終了が通知された場合に、サーバに対してセッション終了コマンドを送信する制御コマンド送信手段と、を具備することを特徴とするコンテンヅ受信再生装置。

5 . コンテンツ記述言語に応じて前記メディァ受信手段にて受信されたメディアデ一夕の再生及び表示を行う再生表示手段を具備することを特徴とする請求項 4記載のコンテンッ受信再生装置。

6 . 請求項 1記載のパケット受信装置を具備することを特徴とする通信端末。

7 . サーバより送られてくる音声データや動画データであるメディアデ一夕の受信開始後、前記メディアデ一夕の受信不能状態が所定時間継続した場合で且つその間に前記メディアデ一夕を受信する R T P受信手段よりも下位に位置する UD Pレイヤ、 I Pレイヤにおいてパケット損失を検出できなければ、前記サーバからのメディアデ一夕の送信が全て終了したことを判定してセッシヨンを終了し、次のメディアデータ再生処理を実行し、前記メディアデータの受信不能状態が所定時間継続してもその間に前記 U D Pレイヤ、 I Pレイヤにおいてバケツト損失を検出できれば、前記サーバからのメディアデータの送信が終了していないと判定することを特徴とするパケット受信方法。

8 . サーバから送信されたパケットを受信するパケット受信手順と、前記パケット受信手順にて受信されたバケツトの伝送誤りを検出する誤りパケット検出手順と、前記誤りパケット検出手順にて検出された誤りパケットを破棄するパケヅト破棄手順と、前記パケット受信手順にて伝送誤り無く受信されたパケットより音声デ一夕や動画データであるメディアデータを受信するメディァ受信手順と、前記メディァ受信手順が前記メディアデ一夕の受信開始後、前記メディアデ一夕の受信不能状態が所定時間継続した場合で且つその間に前記誤りパケット検出手順にてバケツトの誤りが検出されなければ、メディアデ一夕の送信が終了したことを判定し、前記メディアデ一夕の受信不能状態が所定時間継続した場合でも、その間に前記パケット検出手順にてパケットの誤りが検出されれば、前記サーバからのメディアデ一夕の送信が終了していないと判定するデ一夕終了判定手順と、を具備することを特徴とするコンテンツ受信再生プログラム。