JP4383309B2

JP4383309B2 - データ通信装置及びそれを用いたデータ通信システム

Info

Publication number: JP4383309B2
Application number: JP2004294871A
Authority: JP
Inventors: 秀則林
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-10-07
Filing date: 2004-10-07
Publication date: 2009-12-16
Anticipated expiration: 2024-10-07
Also published as: JP2006109227A

Description

本発明は、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して音声データや映像データの送受信を行うためのデータ通信装置及びそれを用いたデータ通信システムに関するものである。

近年、ＬＡＮやインターネット等のネットワークを介して音声データや映像データを相手側の装置に送信する一方、相手側の装置から受信した映像データや音声データを再生することにより相互にリアルタイム通信を行うデータ通信装置が実用化されている。

この種のデータ通信装置では、音声データや映像データが複数のパケットに分割され、ネットワークを介して伝送されるが、帯域保証がなされていない経路で伝送される場合には、データが消失したりデータ伝送時間のずれ等が生じたりして音声と映像の再生タイミングが乱れることがある。

このような問題を解消するために、受信側で再生される音声と映像との同期ずれを解消するための技術が存在する。例えば、一定期間毎に受信されるデータ量の計測を行って得られたネットワークの帯域情報と受信データを格納するバッファ情報とに基づき、送信側装置がメディアストリームデータの符号化ビット量、サンプリング周波数、フレームレート等を動的に変更し、メディアストリームデータを送信することで、受信側装置におけるメディアストリームデータに含まれる音声や映像、または音声と映像の再生までの遅延時間を一定にし、音声や映像が途切れることなく連続して再生することを可能とした方法が知られている（特許文献１参照）。

また、画像データ及び音声データからなる多重化データを通信網から受信して画像データと音声データとに分離する分離部と、画像データと音声データにタイムスタンプを付加するタイムスタンプ生成部と、付加されたタイムスタンプに基づき遅延差の吸収を行う遅延差吸収部とを備え、画像データ及び音声データの遅延差を吸収して通信網に送出することを可能としたデータ蓄積装置が知られている（特許文献２参照）。
特開２００４−２１４７５５号公報特開２００３−２９９０１７号公報

しかし、上記従来の技術では以下のような問題が生じる。

上記特許文献１に記載の技術では、通信する装置のメモリサイズや処理能力に応じて音声や映像を連続再生することが可能となるが、あくまで装置のメモリサイズや処理能力に制限があることを前提とした技術であり、リアルタイム性が要求される通信において十分な通信帯域を確保できないような場合に適用することは困難であった。

また、上記特許文献２に記載の技術では、音声及び画像の遅延差を吸収して通信網に送出することが可能となるが、音声と画像との遅延差をなくすための処理を行うにあたり、音声データ及び画像データからなる多重化データとして取扱うことが前提となるという不都合があった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、簡易な
構成によりネットワーク帯域の状態を的確に判断し、音声等の通信帯域を確保するとともに映像データの遅延を抑制することができるデータ通信装置及びそれを用いたデータ通信システムを提供することを目的とする。

このような課題を解決するために、本発明によるデータ通信システムは、請求項１に示すとおり、パケット化された映像データ及び音声データを通信回線を介して相互に送受信する第１の通信装置及び第２の通信装置を有するデータ通信システムであって、前記第１の通信装置は、映像データ及び音声データを複数の映像パケット及び音声パケットとして前記第２の通信装置に対して順次送信するパケット送信部と、前記第２の通信装置から送られてくる映像データ及び音声データを映像パケット及び音声パケットとして順次受信するパケット受信部と、前記パケット受信部により前記第２の通信装置から受信した映像パケットのヘッダから、前記パケット送信部により送信した映像データの前記第２の通信装置における１フレーム毎の受信間隔の情報を取得するフレーム受信間隔取得部と、そのフレーム受信間隔取得部により取得された前記映像データの１フレーム毎の受信間隔がフレームレートの逆数であるフレーム間時間の２倍以上の場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を減少させるよう制御し、前記受信間隔が前記フレーム間時間以下となりその状態が一定時間以上継続した場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を増大させるよう制御する制御部とを備え、前記第２の通信装置は、前記第１の通信装置に対して映像データ及び音声データを複数の映像パケット及び音声パケットとして順次送信するパケット送信部と、前記第１の通信装置から映像パケット及び音声パケットとして送信される映像データ及び音声データを受信するパケット受信部と、前記パケット受信部により前記第１の通信装置から音声パケットを受信すると符号化音声データの復号化を優先して行い、音声パケットを受信していないときに映像パケットを受信してフレーム単位で符号化映像データが合成される時間間隔を計測することにより１フレーム毎の受信間隔を計測するタイマ部と、そのタイマ部により計測された映像データの１フレーム毎の受信間隔の情報を、前記パケット送信部により前記第１の通信装置に送信される映像パケットのヘッダの情報として設定するフレーム受信間隔設定部とを備えた構成とする。

これによると、第２の通信装置における映像データの１フレーム毎の受信間隔の情報と、第２の通信装置に送信した映像データのフレームレートの情報とに基づいてネットワーク帯域の状態を的確に判断し、ネットワーク帯域の状態に応じて第２の通信装置に送信する映像のデータ量を適正に制御することで、音声データ用の通信帯域を確保できるとともに映像データの遅延を抑制することができる。

また、第２の通信装置より受信する映像パケットによって、第２の通信装置から映像データの１フレーム毎の受信間隔の情報を容易に取得することができる。

また、第２の通信装置における映像データの１フレーム毎の受信間隔が、第２の通信装置に送信した映像データのフレーム間時間の２倍となったときに、ネットワークの輻輳発生の恐れがあると判断して第２の通信装置に送信する映像のデータ量を減少させることで、簡易かつ適切に音声データ用の通信帯域を確保できるとともに映像データの遅延を抑制することができる。

また、第２の通信装置における映像データの１フレーム毎の受信間隔が、第２の通信装置に送信した映像データのフレーム間時間以下となる状態が一定時間以上継続したときに、ネットワーク帯域に余裕があると判断して第２の通信装置に送信する映像のデータ量を増加させることで、より高画質な映像データの通信が可能となる。

このように本発明によれば、ネットワークを介して音声データや映像データの送受信を行うに際し、簡易な構成によりネットワーク帯域の状態を的確に判断し、音声等の通信帯域を確保するとともに映像の遅延を低減することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るデータ通信装置の概略構成を示すブロック図である。このデータ通信装置１は、ＬＡＮやインターネット等のネットワークを介して音声データや映像データを相手側装置に送信する一方、受信した音声データや映像データをリアルタイムで再生することが可能であり、オーディオエンコーダ２、ビデオエンコーダ３、パケット送信部４、パケット受信部５、受信パケットフレーム合成部６、オーディオデコーダ７、ビデオデコーダ８、フレーム受信間隔計測タイマ９、フレーム受信間隔設定部１０、フレーム受信間隔取得部１１、積分カウンタ１２、ネットワークインタフェース１３、マイク１４、ディスプレイ１５、カメラ１６、スピーカ１７、及び制御部１８を備える。ここで、本発明に好適な伝送プロトコルとして、ＲＴＰ（Real-time Transport Protocol）を用いることができる。以下、本実施の形態においては、音声パケット及び映像パケットは、ＲＴＰパケットとして取扱うものとする。

オーディオエンコーダ２は、マイク１４からの音声データの圧縮や暗号化等の処理を行い、符号化音声データを生成する。また、ビデオエンコーダ３は、カメラ１６からのビデオフレーム（映像データ）の圧縮や暗号化等の処理を行い、フレーム単位で符号化映像データを生成する。

パケット送信部４は、オーディオエンコーダ２及びビデオエンコーダ３によってそれぞれ生成された符号化音声データ及び符号化映像データをパケット化し、生成した音声パケット及び映像パケットをネットワークを介して相手側装置に対して順次送信する。

パケット受信部５は、相手側装置から送られてくる音声パケット及び映像パケットを受信し、それらのパケットから符号化音声データ及び符号化映像データをそれぞれ取り出す。また、受信パケットフレーム合成部６は、パケット受信部５により映像パケットから取り出された複数の符号化映像データをフレーム単位で合成する。

オーディオデコーダ７は、相手側装置より受信した符号化音声データを復号化し、スピーカ１５から出力するための音声データを生成する。また、ビデオデコーダ８は、相手側装置より受信した符号化映像データを復号化し、ディスプレイ１５に表示するための映像データを生成する。

フレーム受信間隔計測タイマ９は、パケット受信部５により受信される映像パケットについて、１フレーム毎の受信間隔を計測する。本実施の形態では、１フレーム毎の受信間隔として、受信パケットフレーム合成部６によりフレーム単位で符号化映像データが合成される時間間隔を計測する。

フレーム受信間隔設定部１０は、相手側装置にネットワーク帯域の状態を認識させるべく、タイマ９により計測された映像データの１フレーム毎の受信間隔の情報を、パケット送信部４により送信される映像パケットのヘッダに付加する。

フレーム受信間隔取得部１１は、相手側装置から受信した映像パケットのヘッダに相手側装置における１フレーム毎の受信間隔の情報が含まれている場合に、その１フレーム毎の受信間隔の情報を取得する。

ネットワークインタフェース１３は、データ通信装置１をＬＡＮやインターネット等のネットワークに接続するためのインタフェースである。

制御部１８は、上記各部を統括的に制御する。また、制御部１８は、相手側装置との通信において、フレーム受信間隔取得部１１により取得された相手側装置における映像データの１フレーム毎の受信間隔の情報と、相手側装置に送信する映像データのフレームレートの情報とに基づき、相手側装置に送信する映像データのデータ量（例えば、フレームレート及びビットレートの少なくとも一方）を制御する。

図２は、図１に示したデータ通信装置を用いたデータ通信システムにおける映像データの流れの一例を示す模式図である。このデータ通信システム２０は、図１に示したデータ通信装置１と同一の２つの装置（第１の通信装置１ａ及び第２の通信装置１ｂ）がネットワーク２１を介して相互に通信可能なように接続された構成を有する。説明の便宜上、ここでは主として第１の通信装置１ａを送信側の装置とし、第２の通信装置１ｂを受信側の装置として音声データ及び映像データの流れを示す。また、これらの通信装置１ａ、１ｂについては必要な構成要素のみを示してある。

第１の通信装置１ａのカメラ１６ａで撮影された映像は、複数のビデオフレームで構成される映像データとしてビデオエンコーダ３ａに送られ、そこで、フレーム単位で符号化され複数のビデオパケットを含む符号化映像データが生成される。その符号化映像データは、パケット送信部４ａに送られて複数の映像パケット（ＲＴＰパケット）に分割され、ネットワーク２１を介して第２の通信装置１ｂに対して順次送信される。なお、ここでの説明は省略するが、ＲＴＰパケットは、さらにＵＤＰ（User Datagram Protocol）パケット化やＩＰ（Internet Protocol）パケット化等の処理を行ってからネットワーク２１に送出されるのが一般的である。

第１の通信装置１ａから送られたそれらの映像パケットは、第２の通信装置１ｂのパケット受信部５ｂで受信され、そこで、そのパケット受信部５ｂにより映像パケットから符号化映像データが取り出され、それらの符号化映像データは受信パケットフレーム合成部６ｂによりフレーム単位で合成される。さらに、そのフレーム単位の符号化映像データは、ビデオデコーダ８ｂにより復号化され、そこで生成されたビデオフレームに基づきディスプレイ１４ｂに映像が表示される。

その一方で、第２の通信装置１ｂにおいて、受信パケットフレーム合成部６ｂによってフレーム単位で符号化映像データが合成される時間間隔が、フレーム受信間隔計測タイマ９ｂにより計測され、その測定結果は、フレーム受信間隔情報としてフレーム受信間隔設定部１０ｂに送られる。その受信間隔情報は、フレーム受信間隔設定部１０ｂにより、図３に示すように、第２の通信装置１ｂから送信される映像パケットの拡張ヘッダに付加される。そこで、フレーム受信間隔情報が付加された映像パケットは、パケット送信部４ｂによりネットワーク２１を介して第１の通信装置１ａに対して送信される。

第２の通信装置１ｂから送られた映像パケットは、第１の通信装置１ａのパケット受信部５ａで受信され、そこで、その映像パケットの拡張ヘッダに含まれる第２の通信装置１ｂにおけるフレーム受信間隔情報がフレーム受信間隔取得部１１ａにより取得される。

第１の通信装置１ａの制御部１８ａは、フレーム受信間隔取得部１１ａから得られたフレーム受信間隔情報と、ビデオエンコーダ３ａから得られたフレームレートの情報とに基づき、第２の通信装置に送信する映像データのデータ量の変更指令をビデオエンコーダ３ａに対して送る。

より詳細には、制御部１８ａは、第２の通信装置１ｂにおける映像データの１フレーム毎の受信間隔Ｔ_R（sec）が、ビデオエンコーダ３ａから得られたフレームレート（frame/sec）の逆数であるフレーム間時間Ｔ_F（sec）よりも十分大きな値となった場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を減少させるようにビデオエンコーダ３ａを制御する。ここで、「十分大きな値」としては、映像データの１フレーム毎の受信間隔Ｔ_Rが、フレーム間時間Ｔ_Fの２倍以上となることが好ましく、例えば、Ｔ_Fが３３msec（フレームレート３０frame/sec）のときに、Ｔ_Rが６６msec以上となった場合が挙げられる。その一方で、制御部１８ａは、第２の通信装置１ｂにおける映像データの１フレーム毎の受信間隔Ｔ_R（sec）が、ビデオエンコーダ３ａから得られたフレームレートの逆数であるフレーム間時間Ｔ_F（sec）以下の値となり、その状態が一定時間以上継続した場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を増大させるようにビデオエンコーダ３ａを制御する。

図４は、図１に示したデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図である。ここで、（ａ）及び（ｂ）は、図１のデータ通信装置１と同一の２つの装置（データ通信装置Ａ、データ通信装置Ｂ）が、データ通信システムにおいてネットワークを介して相互に通信する動作を示している。なお、ここでは説明の便宜上、データ通信装置Ａが、通信相手であるデータ通信装置Ｂから映像データの１フレーム毎の受信間隔の情報を取得し、データ通信装置Ｂに対して送信する映像データのデータ量を変更する動作を主として示す。

まず、データ通信装置Ａでは、映像及び音声の送信を行うために、ビデオエンコーダ３及びオーディオエンコーダ２がそれぞれ起動され、映像データ及び音声データの符号化が行われる（ＳＴ１、ＳＴ２）。続いて、データ通信装置Ｂに送信する映像データのデータ量を変更する指標として用いられる積分カウンタ１２の値が初期化される（ＳＴ３）。一方、データ通信装置Ｂでは、データ通信装置Ａから受信する符号化データの復号化を行う準備として、ビデオデコーダ８及びオーディオデコーダ７がそれぞれ起動される（ＳＴ３１、ＳＴ３２）。

次に、データ通信装置Ａでは、ビデオエンコーダ３及びオーディオエンコーダ２において符号化された映像及び音声の符号化データが、パケット送信部４によりパケット化され、それぞれ映像パケット及び音声パケットとしてデータ通信装置Ｂに対して順次送信される（ＳＴ４、ＳＴ５）。

一方、データ通信装置Ｂでは、音声パケットを受信したか否かが判定され（ＳＴ３３）、音声パケットを受信すると、オーディオデコーダ７により符号化音声データが復号化される（ＳＴ３４）。ステップＳＴ３４において、音声パケットを受信していないと判定された場合には、さらに、映像パケットを受信したか否かが判定され（ＳＴ３５）、映像パケットを受信すると、受信パケットのフレーム化が実行される（ＳＴ３６）。一方、映像パケットを受信していない場合には、再びステップＳＴ３３に戻って音声パケットを受信したか否かが判定される。そこで、データ通信装置Ｂでは、受信した映像パケットのフレーム化が完了したか否かが判定され（ＳＴ３７）、フレーム化が完了していない場合には、再びステップＳＴ３３に戻ってフレーム化が完了するまで映像パケットの受信を繰り返し実行する。

ステップＳＴ３７において、映像パケットのフレーム化が完了すると、フレームの受信間隔を計測中であるか否かが判定され（ＳＴ３８）、計測が開始されていない場合には、タイマ９にフレーム受信間隔の計測を開始させる（ＳＴ３９）。一方、ステップＳＴ３８において、既にフレームの受信間隔の計測が開始されている場合には、その計測を停止し（ＳＴ４０）、そこでの計測結果が、次にデータ通信装置Ａに対して送信される映像パケットのヘッダの情報としてフレーム受信間隔設定部１０により設定される（ＳＴ４１）。そこで、次のフレームの受信間隔を計測するために、タイマ９が再び計測を開始する（ＳＴ４２）。次に、フレーム化された符号化映像データが復号化され（ＳＴ４３）、さらに、通信が終了したか否かが判定され（ＳＴ４４）、通信が終了していない場合には、再びステップＳＴ３３に戻って上記と同様の動作を繰り返し実行する。最終的に、ステップ４４において、通信が終了していると判断されるとデータ通信装置Ｂの動作は完了する。

次に、データ通信装置Ａでは、データ通信装置Ｂから受信した映像パケットのヘッダにフレームの受信間隔の情報（１フレーム毎の受信間隔Ｔ_R（sec））が付加されているか否かが判定され（ＳＴ６）、フレームの受信間隔の情報が付加されている場合には、データ通信装置Ｂに送信される映像データのフレーム間時間Ｔ_F（sec）よりも十分大きいか否かが判定される（ＳＴ７）。そこで、Ｔ_RがＴ_Fよりも十分大きいと判定された場合には、制御部１８は、ビデオエンコーダ３において映像の符号化のデータ量を低減するように制御する（ＳＴ８）。一方、ステップＳＴ７において、Ｔ_RがＴ_Fよりも十分大きいとはいえない場合には、さらに、Ｔ_RがＴ_F以下であるか否かが判定される（ＳＴ９）。そこで、Ｔ_RがＴ_F以下であると判定された場合には、積分カウンタ１２の値がカウントアップされ（ＳＴ１０）、Ｔ_RがＴ_F以下でない場合には、積分カウンタ１２の値がゼロに戻される（ＳＴ１１）。次に、積分カウンタ１２の値が予め設定した閾値Ｎ以上であるか否かが判定され（ＳＴ１２）、積分カウンタ１２の値が閾値Ｎ以上となった場合には、ネットワーク帯域に十分な余裕があると判断して、制御部１８は、ビデオエンコーダ３において映像の符号化のデータ量を増大させるように制御する（ＳＴ１３）。一方、積分カウンタ１２の値が閾値Ｎ未満である場合には、続いて、通信が終了したか否かが判定され（ＳＴ１４）、通信が終了していない場合には、再びステップＳＴ４に戻って上記と同様の動作を繰り返し実行する。同様に、ステップＳＴ６において、映像パケットのヘッダにフレームの受信間隔の情報が付加されていない場合にも、通信が終了したか否かが判定され（ＳＴ１４）、通信が終了していない場合には、再びステップＳＴ４に戻って上記と同様の動作を繰り返し実行する。最終的に、ステップ１４において、通信が終了していると判断されるとデータ通信装置Ａの動作は完了する。

（第２の実施の形態）
図５は、本発明の第２の実施の形態に係るデータ通信装置の概略構成を示すブロック図である。このデータ通信装置１０１は、図１に示したデータ通信装置１と概ね同様の構成を有し、オーディオエンコーダ２、ビデオエンコーダ３、パケット送信部４、パケット受信部５、受信パケットフレーム合成部６、オーディオデコーダ７、ビデオデコーダ８、同期時刻情報設定部１０２、同期時刻情報設定用タイマ１０３、同期時刻情報検出部１０４、ネットワークインタフェース１３、マイク１４、ディスプレイ１５、カメラ１６、スピーカ１７、及び制御部１８を備える。ここで、図１に示したデータ通信装置１と同様の構成要素については同一の符号が付されており、これらの構成要素については、以下で特に言及しない限り同様の機能を果たすものとする。

同期時刻情報設定部１０２は、パケット送信部４により音声パケット及び映像パケットが相手側装置に対して送信される際に、音声パケットまたは映像パケットの一方のパケットにおけるデータ内タイムスタンプ（データ内同期時刻情報）を、音声データ及び映像データ間で同期をとるためのデータ間タイムスタンプ（データ間同期時刻情報）として他方のパケットの拡張ヘッダに記録する。さらに、同期時刻情報設定部１０２は、拡張ヘッダのデータ間タイムスタンプが有効であるか否かを識別するための有効フラグ（識別子）をパケットの拡張ヘッダに記録する。ここで、データ内タイムスタンプとしては、通常のＲＴＰパケットのヘッダに付加されるタイムスタンプを用いることができる。

同期時刻情報設定用タイマ１０３は、同期時刻情報設定部１０２が音声パケット及び映像パケットの一方のパケットにおけるデータ内タイムスタンプを、他方のパケットの拡張ヘッダにデータ間タイムスタンプとして記録するタイミングを計測する。

同期時刻情報検出部１０４は、相手側装置からパケット受信部５が受信した音声パケットまたは映像パケットに付加されたデータ間タイムスタンプを検出する。このとき、同期時刻情報検出部１０４は、パケットに付された有効フラグによってデータ間タイムスタンプの有効または無効を判断することができる。

制御部１８は、同期時刻情報検出部１０４により音声パケットまたは映像パケットに付された有効なデータ間タイムスタンプが検出されたときに、オーディオデコーダ７またはビデオデコーダ８により音声または映像の一方のパケットにより再構成されたデータの復号化を実行させる一方、他方のパケットにより再構成されたデータの復号化については、他方のパケットのヘッダに記録されたデータ内タイムスタンプがデータ間タイムスタンプと同一またはより遅い時刻を示している場合にのみ実行させる。

一般に、音声データに比べて映像データのデータ量が大きくなるため、ネットワーク等の通信回線での伝送遅延差等により、相手側装置における映像データと音声データの受信タイミングは、音声パケットの受信タイミングに対して映像パケットの受信タイミングの方が遅れる傾向にある。そこで、以下では、本発明によるデータ間タイムスタンプが音声パケットに付されるケースを典型例として説明する。なお、データ間タイムスタンプが映像パケットに付される場合については、音声のケースと同様にして実行可能である。

図６は、図５に示したデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの流れの一例を示す模式図である。このデータ通信システム１２０は、図５に示したデータ通信装置１と同一の２つの装置（第３の通信装置１０１ａ及び第４の通信装置１０１ｂ）がネットワーク２１を介して相互に通信可能なように接続された構成を有する。説明の便宜上、ここでは第３の通信装置１０１ａを送信側の装置とし、第４の通信装置１０１ｂを受信側の装置として音声データ及び映像データの流れを示す。また、これらの通信装置１０１ａ、１０１ｂについては必要な構成要素のみを示してある。

第３の通信装置１０１ａのマイク１４ａに入力された音声は、音声データとしてオーディオエンコーダ２ａに送られて符号化され、その符号化された音声データがパケット送信部４ａに送られる。一方、第３の通信装置１０１ａのカメラ１６ａで撮影された映像は、映像データとしてビデオエンコーダ３ａに送られて符号化され、その符号化された映像データがパケット送信部４ａに送られる。ここで、タイマ１０３ａは、同期時刻情報設定部１０２ａに対し、所定の周期（例えば、１秒周期）で映像パケットのデータ内タイムスタンプＴＳ_Rを音声パケットにデータ間タイムスタンプＴＳ_Lとして記録するタイミングを示す信号を送る。

これにより、同期時刻情報設定部１０２ａは、パケット送信部４ａにより映像パケットが第４の通信装置１０１ｂに対して送信される際に、図７に示すように、映像パケットのヘッダに記録されたデータ内タイムスタンプＴＳ_Rを音声パケットの拡張ヘッダにデータ間タイムスタンプＴＳ_Lとして記録する。さらに、同期時刻情報設定部１０２ａは、拡張ヘッダのデータ間タイムスタンプＴＳ_Lが有効であることを示す有効フラグを拡張ヘッダに記録する。

第３の通信装置１０１ａのパケット送信部４ａにより送信された音声パケット及び映像パケットは、第４の通信装置１０１ｂのパケット受信部５ｂにより受信される。そこで、同期時刻情報検出部１０４ｂは、音声パケットの拡張ヘッダに記録された有効フラグを確認し、データ間タイムスタンプＴＳ_Lが有効である場合には、拡張ヘッダに記録されたデータ間タイムスタンプＴＳ_Lを検出して順次保存する。さらに、制御部１８ｂは、保存された最新のデータ間タイムスタンプＴＳ_Lとパケット受信部５ｂで受信された映像パケットのデータ内タイムスタンプＴＳ_Rとを比較し、ＴＳ_RがＴＳ_Lと同一または遅い時刻を示している場合にのみ、ビデオエンコーダ８ｂにパケット受信部５ｂから送られる符号化映像データを復号化させる。従って、パケット受信部５ｂからの符号化音声データがオーディオデコーダ７ｂで復号化されてスピーカ１７ｂから音声が出力される一方、符号化映像データは、その音声の出力に同期する映像のみがビデオエンコーダ８ｂにおいて復号化され、ディスプレイ１５ｂに表示されることになる。

図８は、図５に示したデータ通信装置においてデータ間タイムスタンプを設定するタイミングを示すタイムチャートである。ここでは、パケット送信部４において音声パケット（音声１〜音声６）及び映像パケット（映像１〜映像４）が順次生成（送信）される様子が模式的に示されており、タイマ１０３により同期時刻情報検出部１０４に対して同期時刻情報を設定するタイミングが示されると（図中、破線参照）、同期時刻情報検出部１０４は、次に生成される映像パケット（映像３）のデータ内タイムスタンプＴＳ_L（映像タイムスタンプ情報）を、次に生成される音声パケット（音声４）の拡張ヘッダに記録する。同時に、拡張ヘッダのデータ間タイムスタンプＴＳ_Lが有効であることを示す有効フラグを拡張ヘッダに記録する。

図９は、図５に示したデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図である。ここで、（ａ）及び（ｂ）は、図５のデータ通信装置１と同一の２つの装置（データ通信装置Ｃ、データ通信装置Ｄ）が、データ通信システムにおいてネットワークを介して相互に通信する動作を示している。なお、ここでは説明の便宜上、データ通信装置Ｃが、音声データ及び映像データ間で同期をとるためのデータ間タイムスタンプを記録した音声パケットをデータ通信装置Ｄに対して送信し、そのデータ間タイムスタンプに基づきデータ通信装置Ｄが、映像パケットを選択的に復号化して音声と映像との同期ずれを解消する動作を主として示す。

まず、データ通信装置Ｃでは、映像及び音声の送信を行うために、ビデオエンコーダ３及びオーディオエンコーダ２がそれぞれ起動され、映像データ及び音声データの符号化が行われる（ＳＴ１０１、ＳＴ１０２）。一方、データ通信装置Ｄでは、データ通信装置Ｃから受信する符号化データの復号化を行う準備として、ビデオデコーダ８及びオーディオデコーダ７がそれぞれ起動される（ＳＴ１３１、ＳＴ１３２）。

次に、データ通信装置Ｃでは、同期時刻情報の設定タイミングを指示するために、予め所定の周期が設定されたタイマ１０３が起動される（ＳＴ１０３）。そこで、タイマ１０３がタイムアウトしたか否かが判定され（ＳＴ１０４）、タイムアウトになると、同期時刻情報設定部１０２は、パケット送信部４により次に送信される映像パケットのヘッダのデータ内タイムスタンプＴＳ_Rを、次に送信される音声パケットの拡張ヘッダにデータ間タイムスタンプＴＳ_Lとして記録し、さらに、データ間タイムスタンプＴＳ_Lが有効であることを示す有効フラグを付加する（ＳＴ１０５）。一方、ステップＳＴ１０４において、タイムアウトになっていない場合には、次に送信される音声パケットの拡張ヘッダには、データ間タイムスタンプＴＳ_Lは記録されることはなく、データ間タイムスタンプＴＳ_Lが無効であることを示す有効フラグが付加される。その後、それらの映像パケット及び音声パケットは、パケット送信部４によりデータ通信装置Ｄに対して順次送信される（ＳＴ１０６、ＳＴ１０７）。上記ステップＳＴ１０４〜ＳＴ１０７は、最終的に通信が終了したと判定されるまで（ＳＴ１０８：Ｙｅｓ）、繰り返し実行される。

一方、データ通信装置Ｄでは、データ通信装置Ｃのパケット送信部４により送信された音声パケットを受信したか否かが判定され（ＳＴ１３３）、音声パケットを受信すると、さらに、その音声パケットの拡張ヘッダにおける有効フラグを確認することにより、音声パケット上に有効なデータ間タイムスタンプＴＳ_Lが存在するか否かが判定される（ＳＴ１３４）。そこで、データ間タイムスタンプが存在する場合には、そのデータ間タイムスタンプ情報が保存される（ＳＴ１３５）。ここで保存されるデータ間タイムスタンプ情報は、有効なデータ間タイムスタンプＴＳ_Lを含む音声パケットを受信するたびに更新される。ステップＳＴ１３３において受信された音声パケットは、符号化音声データとしてオーディオデコーダ７に送られ復号化される（ＳＴ１３６）。一方、ステップＳＴ１３３において音声パケットを受信していない場合には、映像パケットの受信ステップに進む。

次に、データ通信装置Ｄでは、データ通信装置Ｃのパケット送信部４により送信された映像パケットを受信したか否かが判定され（ＳＴ１３７）、映像パケットを受信していない場合には、再びステップＳＴ１３３に戻り、音声パケットの受信動作を行う。一方、映像パケットを受信すると、先に音声パケットから取り出されたデータ間タイムスタンプＴＳ_Lが保存されているか否かが判定され（ＳＴ１３８）、データ間タイムスタンプＴＳ_Lが保存されている場合には、受信した映像パケットのデータ内タイムスタンプＴＳ_Rの値が保存されているデータ間タイムスタンプＴＳ_Lの値以上であるか否か（ＴＳ_RがＴＳ_Lと同一またはより遅い時刻を示しているか否か）が判定される（ＳＴ１３９）。

そこで、ＴＳ_RがＴＳ_L未満である場合には、その映像パケットは復号化されずに、再びステップＳＴ１３３に戻り、音声パケットの受信動作を行う。一方、ＴＳ_RがＴＳ_L以上である場合には、フレーム合成部６により映像パケットのフレーム化が実行され（ＳＴ１４０）、続いて、その映像パケットの受信により映像パケットのフレーム化が完了したか否かが判定される（ＳＴ１４１）。そこで、映像パケットのフレーム化が完了すると、フレーム単位の符号化映像データがビデオデコーダ８により復号化される（ＳＴ１４２）。上記ステップＳＴ１３３〜ＳＴ１４２は、最終的に通信が終了したと判定されるまで（ＳＴ１４３：Ｙｅｓ）、繰り返し実行される。

本発明を実施例に基づいて詳細に説明したが、これらの実施例はあくまでも例示であって本発明は実施例によって限定されるものではない。例えば、本発明によるデータ通信装置は、第１の実施の態様及び第２の実施の態様として示したデータ通信装置双方の構成要素及びそれらの機能を備えたものとして実現することも可能である。

本発明にかかるデータ通信装置及びそれを用いたデータ通信システムは、ネットワークを介して音声データや映像データの送受信を行うに際し、簡易な構成によりネットワーク帯域の状態を的確に判断し、音声等の通信帯域を確保するとともに映像の遅延を低減することができ、ネットワークを介して音声データや映像データの送受信を行うためのデータ通信装置及びそれを用いたデータ通信システムとして有用である。

本発明の第１の実施の形態に係るデータ通信装置の概略構成を示すブロック図図１のデータ通信装置を用いたデータ通信システムにおける映像データの流れを示す模式図図２に示したデータ通信システムにおいて送受信される映像パケットの構成を示す図図１のデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図本発明の第２の実施の形態に係るデータ通信装置の概略構成を示すブロック図図５のデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの流れを示す模式図図６に示したデータ通信システムにおいて送受信される音声パケット及び映像パケットの構成を示す図図５のデータ通信装置においてデータ間タイムスタンプを設定するタイミングを示すタイムチャート図５のデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図

符号の説明

４パケット送信部
５パケット受信部
９フレーム受信間隔計測用タイマ
１１フレーム受信間隔取得部
１８制御部
１０２同期時刻情報設定部
１０３同期時刻設定用タイマ
１０４同期時刻情報検出部

Claims

パケット化された映像データ及び音声データを通信回線を介して相互に送受信する第１の通信装置及び第２の通信装置を有するデータ通信システムであって、
前記第１の通信装置は、映像データ及び音声データを複数の映像パケット及び音声パケットとして前記第２の通信装置に対して順次送信するパケット送信部と、前記第２の通信装置から送られてくる映像データ及び音声データを映像パケット及び音声パケットとして順次受信するパケット受信部と、前記パケット受信部により前記第２の通信装置から受信した映像パケットのヘッダから、前記パケット送信部により送信した映像データの前記第２の通信装置における１フレーム毎の受信間隔の情報を取得するフレーム受信間隔取得部と、そのフレーム受信間隔取得部により取得された前記映像データの１フレーム毎の受信間隔がフレームレートの逆数であるフレーム間時間の２倍以上の場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を減少させるよう制御し、前記受信間隔が前記フレーム間時間以下となりその状態が一定時間以上継続した場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を増大させるよう制御する制御部とを備え、
前記第２の通信装置は、前記第１の通信装置に対して映像データ及び音声データを複数の映像パケット及び音声パケットとして順次送信するパケット送信部と、前記第１の通信装置から映像パケット及び音声パケットとして送信される映像データ及び音声データを受信するパケット受信部と、前記パケット受信部により前記第１の通信装置から音声パケットを受信すると符号化音声データの復号化を優先して行い、音声パケットを受信していないときに映像パケットを受信してフレーム単位で符号化映像データが合成される時間間隔を計測することにより１フレーム毎の受信間隔を計測するタイマ部と、そのタイマ部により計測された映像データの１フレーム毎の受信間隔の情報を、前記パケット送信部により前記第１の通信装置に送信される映像パケットのヘッダの情報として設定するフレーム受信間隔設定部とを備えたことを特徴とするデータ通信システム。