JP5344541B2 - データ送信装置、送信方法及びプログラム - Google Patents

Description

本発明は、データ受信装置に対して送信するデータの誤り訂正符号化処理を、送信後のデータ品質に応じて制御可能な技術に関するものである。

近年、インターネットの環境は、ＡＤＳＬ（Asynchronous Digital Subscriber Line）やＦＴＴＨ（Fiber To The Home）等の普及によりブロードバンド化が進んでいる。さらに、パーソナルコンピュータ（ＰＣ）を始めとする様々なコンピューティングデバイスの処理能力も格段に向上している。

このような通信環境及びデータ処理環境の性能向上を背景として、動画像や音声といったマルチメディアデータを、ネットワークを介してリアルタイムに配信するストリーミング技術が実用化されている。このようなストリーミング技術が実用化されたことにより、ユーザはライブメディア又は記録済みメディアのブロードバンド放送を視聴したり、記録済みメディアをオンデマンド（on demand）で視聴したりすることができる。

音声や動画のリアルタイム配信やテレビ電話等、通信の遅延や停止が許されないサービスにとって、通信速度や遅延時間、ジッタ量、パケット損失率などを保証するＱｏＳ技術が重要な技術となっている。

例えば、ＦＥＣ（Forward Error Collection）等の通信レベルの誤り訂正技術により、ネットワークにおけるエラーを訂正することができる。また、ＭＰＥＧ−４ Ｖｉｄｅｏでは、エラーが発生してもエラー隠蔽により目立たなくすることも可能である。

また例えば、ＦＥＣによるエラー制御又は再送要求処理に基づくエラー制御をネットワークにおけるパケット損失、エラー発生状況に応じて動的に変更してパケット転送を実行する。そして、送信側においてＦＥＣのエラー訂正強度を上げたり、又はＦＥＣを施さず再送要求処理のみの対応とする等の方法が提案されている（例えば、特許文献１参照）。

特許第０３７５７８５７号公報

しかしながら、従来のＦＥＣによるエラー制御では、エラー訂正のために冗長データを送信すると、ネットワークのスループットが低下するという問題がある。また、特許文献１に開示されるデータ通信方法では、エラー隠蔽とＦＥＣとの連携は考慮されておらず、ＦＥＣで訂正できずに残った最終的なエラーを動画像復号器のエラー隠蔽で対処する等、個別に制御がなされていた。そのため、通信帯域の効率的な利用と映像品質の維持を両立できなかった。

そこで、本発明の目的は、データの品質を維持しつつ、通信帯域を効率的に利用することにある。

本発明のデータ送信装置は、動画パケットを受信装置に送信すると共に、前記受信装置が受信に失敗した動画パケットを前記受信装置が復元するために用いる復元用パケットを前記受信装置に送信するデータ送信装置であって、前記受信装置が受信に失敗した動画パケットに対応する領域を他の動画パケットを用いて表示するエラー隠蔽機能に関するエラー隠蔽情報を前記受信装置から受信する受信手段と、前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報を前記受信手段により受信した場合、前記受信した前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報に基づいて、動画パケットと前記復元用パケットの比率を決定する決定手段と、前記決定手段により決定された前記比率で前記復元用パケットを生成する生成手段と、前記復元用パケットを前記動画パケットに追加して前記受信装置に対して送信する送信手段とを有することを特徴とする。

本発明によれば、データの品質を維持しつつ、通信帯域を効率的に利用することが可能となる。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係るデータ送信装置の機能構成を示すブロック図である。
図１に示すように、本実施形態に係るデータ送信装置１００は、動画像符号化部１０２、パケット生成部１０３、送受信データバッファ１０４、誤り訂正符号化部１０５、エラー訂正強度制御部１０６及び通信制御部１０７を備える。さらに、データ送信装置１００は、エラー隠蔽情報受信部１０８及び通信インタフェース１０９を備えている。なお、送受信データバッファ１０４には、図示しない記憶手段によって、送受信するデータが記憶される。

図１において、１１０は各種ネットワークに代表される伝送路であり、本実施形態においては、動画像データのパケットを送信するネットワークである。送受信する動画像データは送受信データバッファ１０４において一時的に記憶され、動画像データを送信するための通信経路やプロトコルは、通信制御部１０７において制御される。

動画像符号化部１０２は、ビデオカメラやＷｅｂカメラ等の映像入力装置１０１から入力された動画像データをＭＰＥＧ−４方式により圧縮符号化する。動画像符号化部１０２において圧縮符号化された動画像データは、フレーム単位でパケット生成部１０３へ入力される。

パケット生成部１０３へ入力された動画像データの各フレームはパケット化され、送受信データバッファ１０４へ記憶される。本実施形態では、動画像データの符号化方式としてＭＰＥＧ−４ Ｖｉｄｅｏを用いるため、当該データのＲＴＰペイロードフォーマットを規定しているＲＦＣ３５５０に従ってＲＴＰパケット化するものとする。送受信データバッファ１０４に記憶された動画像データのパケットは、通信制御部１０７により所定の宛先（データ受信装置）へ向けて送信される。

図２は、本実施形態のデータ送信装置１００におけるＦＥＣパケットを生成する処理手順の一例を示すフローチャートである。

まず、エラー隠蔽情報受信部１０８は、エラー隠蔽情報を受信したか否かを判断する（ステップＳ２０１）。この判断の結果、エラー隠蔽情報を受信していない場合には、所定のＦＥＣ冗長度によりＦＥＣパケットを生成するべくステップＳ２０４へと処理を移行する。一方、エラー隠蔽情報を受信した場合、エラー隠蔽情報受信部１０８は送受信データバッファ１０４からエラー隠蔽情報を読み出して、エラー訂正強度制御部１０６へ入力する。なお、エラー隠蔽情報を受信する処理は、本発明の受信手段の一処理例である。

エラー訂正強度制御部１０６では、入力されたエラー隠蔽情報から、ＦＥＣ冗長度を判定し（ステップＳ２０２）、その結果を誤り訂正符号化部１０５へ通知する。なお、エラー隠蔽情報とは、後述するデータ受信装置におけるエラー隠蔽機能の有無、エラー隠蔽処理のレベル及びエラー隠蔽処理を実施した後の映像品質に関するパラメータを含む情報である。ステップＳ２０２は、本発明の決定手段の一処理例である。

ＦＥＣ冗長度の判定では、通知されたエラー隠蔽情報によってデータ受信装置側にエラー隠蔽機能があることが示されている場合、データ受信装置側での主たるエラー処理機能をエラー隠蔽機能と位置付ける。そして、ＦＥＣ冗長度としてデータ送信装置側にエラー隠蔽機能がない場合の値以下を設定する。つまり、ＦＥＣ冗長度の判定では、通知されたエラー隠蔽情報に含まれるエラー隠蔽処理機能のレベルと、エラー隠蔽処理機能を適用した結果の映像品質レベルとに応じて、誤り訂正符号化処理の符号化率、即ちＦＥＣ冗長度の算出及び設定がなされる。本実施形態においては、エラー隠蔽機能に含まれるエラー隠蔽処理機能の有無、エラー隠蔽処理機能の各レベル及びエラー隠蔽処理機能を適用した結果の映像品質レベルに夫々ＦＥＣ冗長度を対応付けて登録したテーブルをデータ送信装置内に備えている。エラー訂正強度制御部１０６は、入力されたエラー隠蔽情報についてこのテーブルを参照することにより、ＦＥＣ冗長度を決定する。

基本的に、エラー隠蔽処理機能のレベル及びエラー隠蔽処理機能を適用した結果の映像品質レベルが高ければ、冗長度を下げる方向へ、逆に低ければ、冗長度を上げる方向へ変化させる。但し、エラー隠蔽処理機能のレベルとエラー隠蔽処理機能を適用した結果の映像品質レベルとの両方が通知された場合は、後者の情報が支配的となるように冗長度を設定している。

ＦＥＣ冗長度を通知された誤り訂正符号化部１０５は、通知されたＦＥＣ冗長度に従って、送受信データバッファ１０４に一時的に記憶されている複数のＲＴＰパケットを読み込む（ステップＳ２０３）。続いて、誤り訂正符号化部１０５は、ＲＴＰパケットからＦＥＣパケットを生成する（ステップＳ２０４）。ＦＥＣパケットの生成は、複数のＲＴＰパケットとそれらから生成するＦＥＣパケットの比率をＦＥＣ冗長度に従って変えることで制御される。ＦＥＣ冗長度を下げる場合には、より多数のＲＴＰパケットからＦＥＣパケットを生成し、逆にＦＥＣ冗長度を上げる場合には、少数のＲＴＰパケットからＦＥＣパケットを生成する。なお、ステップＳ２０３、Ｓ２０４は、本発明の符号化手段の一処理例である。

ＦＥＣに対するＲＴＰペイロードフォーマットは、ＲＦＣ２７３３において規定されており、詳細はこれを参照されたい。また、ＦＥＣの種類としては、ターボ符号や畳み込み符号、ブロック符号等の方式があるが、本実施形態では何れの種類であってもよい。このようにして、誤り訂正符号化部１０５において生成されたＦＥＣパケットは送受信データバッファ１０４へ記憶され、通信制御部１０７により所定のデータ受信装置へ向けて送信される。本処理は、本発明の送信手段の一処理例である。

図３は、本実施形態のデータ受信装置の機能構成を示すブロック図である。図３に示すように、データ受信装置３００は、通信インタフェース３０２、送受信データバッファ３０３、誤り訂正処理部３０４、通信制御部３０５及びエラー隠蔽情報生成部３０６を備える。また、データ受信装置３００は、エラー隠蔽処理部３０７、動画像復号化部３０８、映像品質判定部３０９及び出力機器３１０を備えている。

図４は、本実施形態のデータ受信装置３００におけるパケットを受信する処理手順の一例を示すフローチャートである。

図３の伝送路３０１を介して伝送された動画像データは、通信インタフェース３０２を介してパケット単位でデータ受信装置３００に受信される。まず、データ受信装置３００は、パケットを受信したか否かを通信制御部３０５において判断する（ステップＳ４０１）。ステップＳ４０１の判断の結果、パケットを受信していない場合には、受信するまで待機する。一方、パケットを受信した場合には、受信したパケットは送受信データバッファ３０３に一時的に記憶される（ステップＳ４０２）。

続いて、誤り訂正処理部３０４は、パケットロスが発生したか否かを判断する（ステップＳ４０３）。ここでの判断は、送受信データバッファ３０３に一時的に記憶されたＲＴＰパケットのヘッダ部分に記録されているシーケンス番号から判断することが可能である。シーケンス番号が連続した値であればパケットのロスはないと判断でき、連続した値でない場合はパケットのロスが発生したと判断することが可能である。なお、ここではパケットのロスをエラーと判断するが、パケットの重複に関してはエラーとみなさず、重複したパケットの一方を破棄する等、適切に処理するものとする。

ステップＳ４０３において、パケットロスが発生したと判断された場合、誤り訂正処理部３０４は、ロスしたＲＴＰパケットを誤り訂正処理により訂正する（ステップＳ４０４）。ここでは、ロスしたＲＴＰパケットに関連するＦＥＣパケット及び当該ＦＥＣパケットの生成に使われたＲＴＰパケットを送受信データバッファ３０３から読み出し、誤り訂正処理部３０４において、誤り訂正処理を実施する。こうして訂正したＲＴＰパケットは、送受信データバッファ３０３に再度記憶される。

一方、ステップＳ４０３において、パケットロスが発生していないと判断された場合には、誤り訂正処理部３０４は、送受信データバッファ３０３に一時的に記憶されたデータから、不要になったＦＥＣパケットを読み出して廃棄する（ステップＳ４０５）。

続いて、誤り訂正処理部３０４は、送受信データバッファ３０３に一時的に記憶されたＲＴＰパケット、即ちステップＳ４０２で受信したＲＴＰパケット及びステップＳ４０４で訂正したＲＴＰパケットとから、動画像フレームを構成する（ステップＳ４０６）。そして、誤り訂正処理部３０４は、動画像フレームを動画像復号化部３０８へ入力する。本実施形態では、動画像データの符号化方式としてＭＰＥＧ−４ Ｖｉｄｅｏを用いるため、動画像データのＲＴＰペイロードフォーマットを規定しているＲＦＣ３５５０に従って、ペイロード化されたＲＴＰパケットから動画像フレームを再構成する。

再構成された動画像フレームは、所定の単位（一般的にはフレームの単位）で動画像復号化部３０８へ入力され、所定の復号化方法に従って復号化処理が実施される（ステップＳ４０７）。

続いて、エラー隠蔽処理部３０７は、ステップＳ４０７において復号できなかった部分を補うエラー隠蔽処理を行う（ステップＳ４０８）。

誤りが多く発生する移動体通信網等の環境下では、ステップＳ４０４における誤り訂正処理で訂正不能なパケットロスが発生する場合がある。この場合には、ＦＥＣパケットは送受信データバッファ３０３から廃棄されるとともに、エラー隠蔽処理部３０７によりエラー隠蔽処理が行われる。

一方、ステップＳ４０７において、正常に復号化処理を完了した動画像データに関しては、エラー隠蔽処理部３０７を通過して、出力機器３１０へ入力される。また、エラー隠蔽処理の方式としては、前後のフレームから探索した類似画像に置換する方式や、同一フレームから探索した類似画像に置換する方式等が可能である。

復号化処理を完了した動画像データ又はエラー隠蔽処理を完了した動画像データは、出力機器３１０の仕様に基づいた単位（一般的にはフレーム単位）で出力機器３１０へ入力される（ステップＳ４０９）。出力機器３１０としては、ディスプレイ、蓄積装置、任意のネットワークへの送信装置等を想定している。

図５は、本実施形態のデータ受信装置３００におけるエラー隠蔽情報を送信する処理手順の一例を示すフローチャートである。

まず、データ受信装置３００は、エラー隠蔽情報生成部３０６においてエラー隠蔽機能を有するか否かを判断する（ステップＳ５０１）。ここでの判断は、エラー隠蔽処理部３０７を有するか否か、或いは、動画像復号化部３０８がエラー隠蔽機能を有するか否かから判断することが可能である。ステップＳ５０１の判断の結果、エラー隠蔽機能を有しない場合には、エラー隠蔽情報をデータ送信装置１００へ送信せずに、そのまま処理を終了する。一方、ステップＳ５０１の結果、エラー隠蔽機能を有すると判断された場合には、エラー隠蔽情報生成部３０６は、エラー隠蔽処理部３０７からエラー隠蔽処理機能のレベルを取得する（ステップＳ５０２）。

続いて、エラー隠蔽情報生成部３０６は、動画像復号化部３０８において復号された映像の映像品質、或いは、エラー隠蔽処理部３０７においてエラー隠蔽処理された映像の映像品質を映像品質判定部３０９から取得する（ステップＳ５０３）。

さらに、エラー隠蔽情報生成部３０６は、ステップＳ５０２において取得したエラー隠蔽処理機能のレベル及びステップＳ５０３において取得した映像品質から、エラー隠蔽情報を生成する（ステップＳ５０４）。このようにして生成したエラー隠蔽情報は、送受信データバッファ３０３へ記憶され、通信制御部３０５により所定の宛先であるデータ送信装置１００へ向けて送信される（ステップＳ５０５）。

なお、本実施形態におけるエラー隠蔽情報は、任意のタイミングで送信することが可能であり、一定の時間間隔で送信したり、通信路の帯域幅に対する所定の範囲内で送信することができる。

ここで、エラー隠蔽情報の一例を図６及び図７を用いて説明する。図６は、本実施形態のデータ受信装置３００により生成されるエラー隠蔽情報の構造を示す図である。

図６に示すように、本実施形態におけるエラー隠蔽情報は、例えばＲＴＣＰのＡＰＰパケットを用いて送受信される。ＲＴＣＰのＡＰＰパケットは、アプリケーションで機能拡張を定義できるよう用意されており、ＲＦＣ３５５０で規定されているアプリケーション定義のＲＴＣＰパケットである。

図６において、Ｖ６０１はプロトコルバージョンを示す２ビットであり、現行のＲＴＰバージョンである２が記録される。

Ｐ６０２は、パディングビットを表す１ビットであり、パケットの最後にパディングが追加された場合に１が記録される。

サブタイプ６０３は５ビットの値であり、本実施形態では０を記録する。ＰＴ６０４はパケットタイプを表す８ビットであり、本実施形態ではアプリケーション定義データが含まれることを示す２０４を記録する。

パケット長６０５は本ＲＴＣＰのＡＰＰパケットのバイト単位の長さを表す１６ビットである。

ＳＳＲＣ又はＣＳＲＣ６０６は、このＡＰＰパケット生成者を識別するための３２ビットの識別子である。

アプリケーション定義パケット名６０７は、本ＡＰＰパケットの集合を定義する人により選択される名前であり、４バイトのＡＳＣＩＩ文字列として解釈される。本実施形態では、例えばeciのような文字列をエラー隠蔽情報と定義し、データ送信装置１００とデータ受信装置３００間で共有するものとする。なお、データ送信装置１００は、認識できない名前を持つＡＰＰパケットは廃棄処理する。

アプリケーション定義データ６０８は、３２ビットの倍数の長さの可変長データであり、アプリケーションに依存するデータが記録される。本実施形態では、このアプリケーション定義データ領域にエラー隠蔽情報を記録する。

図７は、図６のエラー隠蔽情報のアプリケーション定義データ６０８の構造を示す図である。Ｅ７０１は、エラー隠蔽情報の有無を示す１ビットのフラグであり、データ受信装置３００がエラー隠蔽機能を装備している場合に１を記録し、エラー隠蔽機能を装備しない場合には０を記録する。

Ｔ７０２は、時間的エラー隠蔽機能の有無を示す１ビットのフラグであり、データ受信装置３００が時間的エラー隠蔽機能を装備している場合に１を記録し、時間的エラー隠蔽機能を装備していない場合に０を記録する。

時間的エラー隠蔽レベル７０３は、時間的エラー隠蔽機能のレベルを表す６ビットである。

Ｓ７０４は、空間的エラー隠蔽機能の有無を示す１ビットのフラグであり、データ受信装置３００が空間的エラー隠蔽機能を装備している場合に１を記録し、空間的エラー隠蔽機能を装備していない場合に０を記録する。

空間的エラー隠蔽レベル７０５は、空間的エラー隠蔽機能のレベルを表す６ビットである。

Ｑ７０６は、エラー隠蔽処理後の映像品質レベルの情報の有無を示す１ビットのフラグであり、エラー隠蔽情報としてエラー隠蔽処理後の映像品質レベルを含む場合に１を記録し、エラー隠蔽処理後の映像品質レベルを含まない場合には０を記録する。

Ｑ７０５に続く映像品質レベル７０７は、データ受信装置３００のエラー隠蔽処理部３０７におけるエラー隠蔽処理後の映像品質レベルを表す８ビットである。

ＲＦＵ（Reserved For Future Use）７０８は、将来の拡張用に８ビット空けられる。なお、時間的エラー隠蔽レベル７０３、空間的エラー隠蔽レベル７０５及びエラー隠蔽処理後の映像品質レベル７０７は、データ送信装置１００とデータ受信装置３００間で予め規定されるものとする。

図８は、本実施形態のデータ送信装置１００及びデータ受信装置３００を含むシステム全体の構成例を示す図である。

データ送信装置１００と第１のデータ受信装置３００及び第２のデータ受信装置８０１とは、インターネット８００を介して相互に接続されている。また、第１のデータ受信装置３００はエラー隠蔽機能を有しており、第２のデータ受信装置８０１はエラー隠蔽機能を持たないものとする。

データ送信装置１００は、第２のデータ受信装置８０１からエラー隠蔽情報を受信しない。この場合、データ送信装置１００は第２のデータ受信装置８０１に対し、ＲＴＰパケット８０２〜８０５を送信するとともに、所定の冗長度で符号化されたＦＥＣパケット８０６を追加で送信する。本実施形態では、ＦＥＣパケット８０６は４つのＲＴＰパケット８０２〜８０５を用いて生成されるものとするが、冗長度はデータ受信装置のエラー隠蔽処理機能のレベルやエラー隠蔽処理後の映像品質レベルに応じて適宜変更される。

ネットワーク上でＲＴＰパケット８０４がロスしても、第２のデータ受信装置８０１は、正常に受信したＲＴＰパケット８０２、８０３、８０５とＦＥＣパケット８０６とから、ＲＴＰパケット８０４を回復することが可能である。従って、結果として正常に映像を復号、再生することが可能である。

一方、第１のデータ受信装置３００は、データ送信装置１００へエラー隠蔽情報を送信する。データ送信装置１００は、第１のデータ受信装置３００からエラー隠蔽情報を受信する。その結果、データ送信装置１００は、ネットワーク上でＲＴＰパケット８０４がロスしても、第１のデータ受信装置３００のエラー隠蔽機能によりエラー隠蔽が可能である（許容される映像品質レベル以上である）と判断する。そして、データ送信装置１００は、冗長なＦＥＣパケット８０６を送信せず、ＲＴＰパケット８０２〜８０５のみを送信する。

第１のデータ受信装置３００は、ネットワーク上でロスしたＲＴＰパケット８０４を受信できないものの、ＲＴＰパケット８０２、８０３、８０５を受信、復号し、エラー隠蔽処理を施すことにより映像を再生することが可能である。

以上のように、データ送信装置１００は、データ受信装置のエラー隠蔽機能の有無、データ受信装置のエラー隠蔽処理機能のレベル及びエラー隠蔽処理後の映像品質に応じて、動画像ストリームのＦＥＣ強度を適切に制御してデータを送信することが可能である。従って、本実施形態によれば、映像品質を維持しながら、通信帯域を効率的に利用することができる。

なお、上述した実施形態では、データ送信装置１００が動画像データの符号化処理を行う機能を有していたが、動画像符号化部１０２とデータ送信装置１００とが別々の装置であっても良い。

また、上述した実施形態では、動画像データの符号化方式としてＭＰＥＧ−４方式を用い、符号化動画像データ通信のネットワークプロトコルとしてＩＰを用いた。しかし、動画像データの符号化方式としてはＭＰＥＧ−４方式に限らず、例えばＭＰＥＧ−２やＨ．２６４等、予測符号化方式による符号化を行う類似の符号化方式を用いることができる。ネットワークプロトコルについても、ＩＰに限らず他のネットワークプロトコルを用いることが可能である。

また、上述した実施形態では、エラー隠蔽処理部３０７と動画像復号化部３０８とが別々の装置で構成されていたが、動画像復号化部３０８がエラー隠蔽処理機能を有する構成であっても良い。

また、上述した実施形態は、システム或いは装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるコンピュータプログラム自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、上述した実施形態は、システム或いは装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述した実施形態の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるコンピュータプログラム自体も本発明の範疇に含まれる。つまり、上述した機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

この場合、上述した機能処理をコンピュータで実現するためのコンピュータプログラムは、記録媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリ等がある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）をサーバに記憶しておく。プログラムデータファイルとしては、実行形式のものであっても、ソースコードであってもよい。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムデータファイルをダウンロードすることによって供給する。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルをクライアントコンピュータに提供するサーバ装置も本発明に含む。

また、本発明のコンピュータプログラムを暗号化して格納した記録媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、コンピュータにより実施形態の機能を実現するためのコンピュータプログラムが、実施形態の機能を、すでにコンピュータ上で稼働するＯＳの機能を利用して実現しても良い。さらに、本発明を構成するコンピュータプログラムの少なくとも一部が、コンピュータに装着される拡張ボード等のファームウェアとして提供され、拡張ボード等が備えるＣＰＵを利用して上述した実施形態の機能を実現してもよい。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の実施形態に係るデータ送信装置の機能構成を示すブロック図である。 データ送信装置におけるＦＥＣパケットを生成する処理手順の一例を示すフローチャートである。 データ受信装置の機能構成を示すブロック図である。 データ受信装置におけるパケットを受信する処理手順の一例を示すフローチャートである。 データ受信装置におけるエラー隠蔽情報を送信する処理手順の一例を示すフローチャートである。 データ受信装置により生成されるエラー隠蔽情報の構造を示す図である。 エラー隠蔽情報のアプリケーション定義データの構造を示す図である。 データ送信装置及びデータ受信装置を含むシステム全体の構成例を示す図である。

符号の説明

１００ データ送信装置
１０１ 映像入力装置
１０２ 動画像符号化部
１０３ パケット生成部
１０４ 送受信バッファ
１０５ 誤り訂正符号化部
１０６ エラー訂正強度制御部
１０７ 通信制御部
１０８ エラー隠蔽情報受信部
１０９ 通信インタフェース
１１０ 伝送路
３００ データ受信装置（第１のデータ送信装置）
３０１ 伝送路
３０２ 通信インタフェース
３０３ 送受信データバッファ
３０４ 誤り訂正処理部
３０５ 通信制御部
３０６ エラー隠蔽情報生成部
３０７ エラー隠蔽処理部
３０８ 動画像復号化部
３０９ 映像品質判定部
３１０ 出力機器
８０１ 第２のデータ受信装置
８０２〜８０５ ＲＴＰパケット
８０６ ＦＥＣパケット

Claims (9)

1. 動画パケットを受信装置に送信すると共に、前記受信装置が受信に失敗した動画パケットを前記受信装置が復元するために用いる復元用パケットを前記受信装置に送信するデータ送信装置であって、
   前記受信装置が受信に失敗した動画パケットに対応する領域を他の動画パケットを用いて表示するエラー隠蔽機能に関するエラー隠蔽情報を前記受信装置から受信する受信手段と、
   前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報を前記受信手段により受信した場合、前記受信した前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報に基づいて、動画パケットと前記復元用パケットの比率を決定する決定手段と、
   前記決定手段により決定された前記比率で前記復元用パケットを生成する生成手段と、
   前記復元用パケットを前記動画パケットに追加して前記受信装置に対して送信する送信手段とを有することを特徴とするデータ送信装置。
2. 前記決定手段は、前記エラー隠蔽情報に応じて、前記復元用パケットを送信しないことを決定することを特徴とする請求項１に記載のデータ送信装置。
3. 前記決定手段は、前記受信装置が前記エラー隠蔽機能を有することを示すエラー隠蔽情報を受信した場合、前記受信装置が前記エラー隠蔽機能を有しない場合よりも、前記動画パケットに対する復元用パケットの比率が低くなるように、前記比率を決定することを特徴とする請求項１又は２に記載のデータ送信装置。
4. 前記決定手段は、前記受信装置が受信に失敗した動画パケットに対応する領域を、他の動画パケットであって、当該領域の動画フレームとは別の動画フレームの動画パケットを用いて表示する時間的エラー隠蔽機能を有することを示すエラー隠蔽情報を受信した場合、前記受信装置が、前記時間的エラー隠蔽機能を有しない場合よりも、前記動画パケットに対する復元用パケットの比率が低くなるように、前記比率を決定することを特徴とする請求項１乃至３の何れか１項に記載のデータ送信装置。
5. 前記決定手段は、前記受信装置が受信に失敗した動画パケットに対応する領域を、他の動画パケットであって、当該領域の動画フレームの動画パケットを用いて表示する空間的エラー隠蔽機能を有することを示すエラー隠蔽情報を受信した場合、前記受信装置が、前記空間的エラー隠蔽機能を有しない場合よりも、前記動画パケットに対する復元用パケットの比率が低くなるように、前記比率を決定することを特徴とする請求項１乃至４の何れか１項に記載のデータ送信装置。
6. 前記決定手段は、前記受信装置による前記エラー隠蔽機能の実行後の映像品質レベルを示すエラー隠蔽情報を前記受信手段により受信した場合、前記受信装置による前記エラー隠蔽機能の実行後の映像品質レベルが第１のレベルであると前記受信装置で判定された場合、前記第１のレベルよりも低い第２のレベルであると判定された場合よりも、前記動画パケットに対する復元用パケットの比率が低くなるように、前記比率を決定することを特徴とする請求項１乃至５の何れか１項に記載のデータ送信装置。
7. 前記決定手段は、前記受信装置から受信した第１のエラー隠蔽情報に応じて決定した比率を、前記第１のエラー隠蔽情報の後に前記受信装置から受信した第２のエラー隠蔽情報に応じて変更することを特徴とする請求項１乃至６の何れか１項に記載のデータ送信装置。
8. 動画パケットを受信装置に送信すると共に、前記受信装置が受信に失敗した動画パケットを前記受信装置が復元するために用いる復元用パケットを前記受信装置に送信するデータ送信装置が行う送信方法であって、
   前記受信装置が受信に失敗した動画パケットに対応する領域を他の動画パケットを用いて表示するエラー隠蔽機能に関するエラー隠蔽情報を前記受信装置から受信する受信工程と、
   前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報を前記受信工程において受信した場合、前記受信した前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報に基づいて、動画パケットと前記復元用パケットの比率を決定する決定工程と、
   前記決定工程により決定された前記比率で前記復元用パケットを生成する生成工程と、
   前記復元用パケットを前記動画パケットに追加して前記受信装置に対して送信する送信工程とを有することを特徴とする送信方法。
9. 動画パケットを受信装置に送信すると共に、前記受信装置が受信に失敗した動画パケットを前記受信装置が復元するために用いる復元用パケットを前記受信装置に送信するコンピュータに、
   前記受信装置が受信に失敗した動画パケットに対応する領域を他の動画パケットを用いて表示するエラー隠蔽機能に関するエラー隠蔽情報を前記受信装置から受信する受信手順と、
   前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報を前記受信手順により受信した場合、前記受信した前記受信装置のエラー隠蔽機能のレベルを示すエラー隠蔽情報に基づいて、動画パケットと前記復元用パケットの比率を決定する決定手順と、
   前記決定手順により決定された前記比率で前記復元用パケットを生成する生成手順と、
   前記復元用パケットを前記動画パケットに追加して前記受信装置に対して送信する送信手順とを実行させるためのプログラム。

Images