JPH0263346A - パケット通信装置における遅延ゆらぎ吸収方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、パケット転送において各パケットの伝達遅延
時間が異なるため受信パケットの時間間隔が発生時間間
隔と異なるので、受信側でその遅延時間の差を吸収して
送信側と同じ時間間隔でパケットを再生するためのパケ
ット通信装置における遅延ゆらぎ吸収方式に関するもの
である。

〔従来の技術〕

従来のこの種の装置の機能ブロック図を第４図に示す。

同図において、送信時には、パケット組立手段３１で映
像信号をパケット長に分割し、発生時刻情報を含むヘッ
ダを付加してパケットに組み立てる。網インタフエース
部３２から送信権獲得信号を受けたときにパケット送出
手段３３が網インタフエース部３２を介してパケットを
送出する。受信時には、パケット受信手段３４が網イン
タフエース部３２を介して受は取ったパケットを遅延時
間測定手段３５に送る。遅延時間測定手段３５で−はヘ
ッダに含まれる発生時刻情報を解読し、パケット受信時
刻と発生時刻との差を伝達遅延時間信号として受信パケ
ット受信手段３６に伝える。

受信パケット格納手段３６は、パケット毎の伝達遅延時
間差を吸収するために受信パケットの再生時刻と送信側
での発生時刻との時間差Ｔｍａｘを予め設定する。受信
パケットの発生時刻と受信時刻から求めた伝達遅延時間
Ｔｔ（Ｔｔ−受信時刻−発生時刻）とＴｍａ　ｘとの差
Ｔ（Ｔ＝ＴｍａＸ−Ｔｔ）だけ受信バッファに受信パケ
ットを格納した後再生する。

送信パケット、受信パケットおよび受信パケット再生の
時間関係について第５図を用いて説明する。第５図にお
いては説明の都合上１フレーム分の画像情報が１パケツ
トで送られると仮定する。

パケット通信では一般にトラヒックの状態によって送信
権（例ニドークンリング方式におけるト−クン）を獲得
するまでの時間が異なるため、パケットが送出されてか
ら受信されるまでの遅延時間がパケット毎に異なる。そ
こで第５図においても送出された４パケツトが、各々Ｔ
ｔｌ〜Ｔｔ４（伝達遅延時間）経過後受信されたとする
。受信側では受信パケットをバッファに格納し、第１パ
ケツトを受信時刻からＴＩ　（＝Ｔｍａｘ−Ｔｔ　ｌ）
経過後再生し、第２．３パケツトも同様にＴ２、Ｔ３経
過後再生する。このように受信側では各パケットをその
発生時刻からＴｍａ　ｘ遅延させた後に再生する。

同図に示されるように第１〜３パケツトの伝達遅延時間
Ｔｔｌ〜Ｔｔ３はＴｍａｘよりも小さいため再生可能だ
が、第４パケツトは伝達遅延時間Ｔｔ４がＴｍａｘより
も大きく、再生時刻に受信していないので再生できない
。このとき画質の劣化を引き起こす。

これまでの説明では１フレーム分の画像情報が１パケツ
トで送られると仮定したが、実際は１フレーム分の画像
情報が複数パケットに対応する。

この場合には、１フレームに対応する全パケットを再生
時刻迄に受信する必要がある。

一方、品質向上をねらいとした映像の可変レート符号化
が近年研究されており、この符号化方式にはフレーム当
りの発生情報量が変化するという特徴がある。フレーム
当りの発生情報量が多い場合は当該フレームに対応する
全パケットのパケット分解および復号化に要する時間が
長いが、フレーム当りの発生パケット数が少ない場合は
パケット分解および復号化に要する時間が短い。従って
、フレーム当りの発生パケット数が少ない場合のパケッ
トを受信してから再生するまでの時間は、フレーム当り
の発生パケット数が多い場合のパケットを受信してから
再生するまでの時間よりも短くてよい。すなわち、フレ
ーム当りの発生パケット数が少ない場合には、その分だ
け受信パケットの受信バッファ内遅延時間を長くするこ
とができる。

これにより遅延時間の大きなパケットも受信・再生可能
となる。

第６図を用いて可変レート符号化映像のパケット通信に
従来方式を適用した場合について説明する。

従来方式では第５図を用いて説明したように、送信パケ
ットの送出時刻からＴｍａ　ｘ経過後受信パケットを再
生する。ここで、第ｎフレームに対応する映像パケット
が４パケツト送出され、受信パケットの再生（すなわち
、パケット分解および復号化）にＴｄｅｃ１時間要す時
間型る。次に第ｎ＋１フレームの映像パケットとして３
パケツト送出されたとする。受信側では同様にＴｍａｘ
経過後再生を開始し、Ｔｄ　ｅ　ｃ　２時間要する。Ｔ
ｄｅｃｌは４バゲツトの分解・符号に要する時間であり
、Ｔｄｅｃ２は３パケツトの分解・符号に要する時間で
あるため、Ｔｄｅｃ２はＴｄｅｃｌよりも短い。

しかし、第ｎ＋１フレームの映像パケットノ分解・復号
化が第ｎフレームの映像パケットより早く終了しても、
第ｎ＋１フレームの表示開始時刻はテレビ受像機の構成
上竿めることができない。

従って、第６図に示すように復号化終了後も時間経って
から第ｎ＋１フレームを表示する。ＴｍａＸはフレーム
当りのパケット数が最大の場合に対応できるよう設定す
るため、フレーム当りのパケット数が最小の場合にはＬ
が大きくなることが予想される。

映像パケットの分解・復号化終了から表示までにＬ時間
待つ必要があるということは、第６図の下半分に示した
ように、Ｔｍａｘをｔだけ増加させＴｍａｘ＋ｔとして
もよいことを意味する。もしＴｍａｘをＴｍａｘ＋ｔと
した場合には、遅延時間の大きなパケットが再生可能と
なる。すなわち、第７図に示すように伝達遅延時間Ｔｔ
がＴｍａＸよりも短い第１パケツトは関係ないが、伝達
遅延時間ＴｔがＴｍａｘよりも長（Ｔｍａｘ＋Ｌよりも
短い第２パケツトの場合、ＴｍａｘをＴｍａ　Ｘ＋ｔと
すると再生可能だが、Ｔｍａｘのままでは再生できない
。

〔発明が解決しようとする課題〕

しかしながら、従来方式ではＴｍａｘを常に一定として
いたため、フレーム当りの発生パケット数が少ない場合
に、受信バッファ内遅延時間を長くすれば再生可能なパ
ケットを再生できず画質の劣化を引き起こしていた。

本発明の目的は、可変レート符号化映像信号を対象とし
、１フレーム当たりの発生パケット数が少ない場合に、
受信バッファ内遅延時間を長（することにより、できる
限り多くのパケットを再生し受信側での画質劣化を防止
することを可能にするパケット通信装置における遅延ゆ
らぎ吸収方式を提供することにある。

〔課題を解決するための手段〕

上記目的達成のため本発明では、人力映像信号の１フレ
ーム分当たりの発生パケット数を測定する発生パケット
数測定手段と、該発生パケット数測定手段によりｆｆ１
１１定した発生パケット数を示す信号パケットを作成す
る信号パケット作成手段と、発生時刻をそのヘッダに付
加して入力映像信号をパケットに組み立てるパケット組
立手段と、前記信号パケット作成手段にて作成した信号
パケットおよび前記パケット組立手段で組み立てた映像
パケットを、前者のパケットを後者のパケットに先行し
た形で送出するパケット送出手段と、信号パケットおよ
び映像パケットを受信するパケット受信手段と、受信し
た信号パケットよりフレーム当たりの発生パケット数を
得る信号パケット解読手段と、受信した映像パケットの
発生時刻とパケット受信時刻から伝達遅延時間を求める
遅延時間測定手段と、該遅延時間測定手段にて測定した
伝達遅延時間および前記信号パケット解読手段より得た
発生パケット数に基づき、ゆらぎ吸収遅延時間を決定す
るゆらぎ吸収遅延時間決定手段と、受信映像パケットを
格納した後、前記ゆらぎ吸収遅延時間決定手段にて決定
されたゆらぎ吸収遅延時間に基づいて該受信映像パケッ
トを遅延させだ後、映像信号に再生して出力する受信パ
ケット格納手段と、によりパケット通信装置における遅
延ゆらぎ吸収方式を構成した。

〔作用〕

本発明では、パケット通信装置において、送信側では１
フレーム当りの発生パケット数を示す信号パケットを当
該フレームの映像パケットの前に送出し、また映像パケ
ットに発生時刻を付加して送出して、受信側では当該信
号パケットに示される発生パケット数および映像パケッ
トに含まれる発生時刻とパケット受信時刻から算出した
伝達遅延時間にもとづきゆらぎ吸収遅延時間を決定し、
このゆらぎ吸収遅延時間にもとづき受信した映像パケッ
トを遅延させた後映像信号に再生する。

［実施例］ 第１図は本発明の一実施例を示すブロック図である。同
図において、■はフレーム開始・終了検出部、２はパケ
ット組立手段、３は映像パケット格納部、４は発生パケ
ット数測定手段、５は信号パケット作成手段、６は切替
部Ａ、７は制御部、８はパケット送出手段、９は網イン
タフエース部、１０はパケット受信手段、１１は切替部
Ｂ、１２は信号パケット解読手段、１３はゆらぎ吸収遅
延時間決定手段、１４は遅延時間測定手段、１５は受信
パケット格納手段、１００は映像信号、１０１は映像パ
ケット、１０２は発生パケット数信号、１０３はフレー
ム開始・終了信号、１０４は信号パケット作成終了信号
、１０５は信号パケット、１０６は切替制御信号Ａ、１
０７は送信権獲得信号、１０日は切替制御信号Ｂ、１０
９はパケット数信号、１１０は伝達遅延時間信号、１１
１はゆらぎ吸収遅延時間信号、１１２はバケ７）種別信
号である。

まず、パケット送出処理の流れを説明する。フレーム開
始・終了検出部１では映像信号１００に含まれるフレー
ムの初めと終わりを示すパターンを検出し、フレーム開
始・終了信号１０３として映像パケット格納部３および
発生バケ・ソト数測定手段４に伝える。パケット組立手
段２は映像信号１００をパケットの情報フィールド長に
分割し、発生時刻および転送先アドレス等のパケット転
送に必要な情報をヘッダに付加して映像パケット１０１
を作成する。映像パケット格納部３は、フレーム開始・
終了検出部１よりフレームの初めを示すフレーム開始・
終了信号１０３を受は取ってから当該フレームの終わり
を示すフレーム開始・終了信号１０３を受は取るまでの
間にパケット組立手段ｌより受は取った映像パケットを
格納する。

■フレーム分の映像情報がパケットの情報フィールド長
の整数倍でない場合は、当該フレームの最終パケットの
情報フィールドに空がある状態でパケットを作成する。

発生パケット数測定手段４は、フレーム開始・終了信号
１０３でその初めと終わりが示される１フレーム内の映
像信号１００のフレーム当りのサンフ゛ル数をカランｌ
−して、パケットの情報フィールド長で除算し切り上げ
た結果（整数値）を発生パケット数信号１０２として信
号パケット作成手段５および制御部７に伝える。

信号パケット作成手段５は発生パケット数信号１０２に
もとづき信号パケットを作成し、作成し終わると信号パ
ケット作成終了信号１０４により制御部７に信号パケッ
ト作成終了を知らせる。

制御部７は信号パケット作成手段５より信号パケット作
成終了信号１０４を受は取ると、切替制御信号Ａ１０６
を用いて切替部へ６に信号パケット作成手段５から信号
パケットを１個受は取るよう指示するとともに、次に映
像パケット格納部３から映像パケットを発生パケット数
信号１０２で示されるパケット数だけ受は取るよう指示
する。

切替部Ａ６は、制御部７からの切替制御信号Ａ１０６に
もとづき信号パケット１０５、映像パケット１０１を受
は取りその順にパケット送出手段段８に送る。

網インタフエース部９は送信権を獲得すると、送信権獲
得信号１０７によりパケット送出手段８に送出権獲得を
指示する。パケット送出手段８は切替部へ６より受は取
った信号パケット、映像パケットを網インタフエース部
９を介して送出する。

次にバケット受信処理の流れを説明する。パケット受信
手段１０は網インタフエース部９を介してパケットを受
信すると、ヘッダを解析して信号パケットか映像パケッ
トかを判別し切替制御信号８１０８として切替部Ｂｌｌ
に伝えまたパケット種別信号１１２を用いて遅延時間測
定手段１４に伝えるとともに、当該パケットを切替部Ｂ
ｌｌに送る。切替部Ｂｌｌは切替制御信号Ｂ１０８が信
号パケットを示しているときは、パケット受信手段１０
より受は取ったパケットを信号パケット解読手段１２に
送り、切替制御信号Ｂ１０８が映像パケットを示してい
るときはパケットを遅延時間測定手段１４に送る。信号
パケット解読手段１２では切替部Ｂｌｌより受は取った
信号バケツ１−からフレーム当りの発生パケット数を知
り、パケット数信号１０９としてゆらぎ吸収遅延時間決
定手段１３に伝える。遅延時間測定手段１４はパケット
種別信号１１２から１フレームの映像情報に対応する映
像パケットの中で１番目のパケット（すなわち、信号パ
ケットの直後の映像パケット）の到着を検出し、その映
像パケットのヘッダから発生時刻情報を読みとり、受信
時刻との差を伝達遅延時開信号１１０としてゆらぎ吸収
遅延時間決定手段１３に伝える。

ゆらぎ吸収遅延時間決定手段１３では遅延時間測定手段
１４より伝達遅延時間信号１１０にて伝えられた伝達遅
延時間と信号パケット解読手段１２よりパケット数信号
１０９、を用いて伝えられたフレーム当りのパケット数
にもとづき、ゆらぎ吸収遅延時間を決定する。ゆらぎ吸
収遅延時間決定手段１３は、ゆらぎ吸収遅延時間信号１
１１を用いて受信パケット格納手段１５にゆらぎ吸収遅
延時間を伝える。受信パケット格納手段１５は映像パケ
ットを格納°するとともに、ゆらぎ吸収遅延時間だけ遅
延させて映像パケットを取り出す。

ここで第２図、第３図を用いてゆらぎ吸収遅延時間の決
定アルゴリズムを示す。

第２図は表示フレーム（送信側）、送信パケット、受信
パケット、再生フレーム（受信側）の時間関係を示して
いる。すなわち、第ｎフレームが送信側で表示されると
ＴＩ（符号化時間士パケット組立時間）時間経過後最初
のパケットが送出される。先頭のパケットがＴｔ（伝達
遅延時間）時間後受信側に届き、ゆらぎ吸収遅延時間Ｔ
後に復号化が開始されＴ２（バケ７）分解時間＋復号化
時間）時間後に第ｎフレームが再生される。

送信側より遅れて受信側で映像を表示すると、テレビ会
議等において不自然さを生じる。このため送信側と受信
側の時間のずれにはマンマシンインタフェース上決まる
許容値があり、この許容値をＴｍａｘとすると以下の式
が成立する。

Ｔｍａｘ＝ＴＩ＋Ｔｔ＋Ｔ２＋Ｔ　　−”−・・■Ｔ２
はフレーム当りの発生パケット数により異なり、以下の
式で求められる。

Ｔ２＝ｍＸＴＯ・・・・・・■ ｍ：フレーム当りの発生バケッ１−Ｒ ＴＯ：　（パケット分解時間＋復号化時間）／パケット 上記■、■式より下式が得られる。

Ｔ＝Ｔｍａｘ−ＴＩ−Ｔｔ−ｍｘＴ。

・・・・・・■ ＴＩ、Ｔｍａｘは一定値なので、パケットのヘッダに古
き込まれた発生時刻とバケ７）の受信時刻よりＴＬをも
とめ信号パケットよりｍを得ると、ゆらぎ吸収遅延時間
Ｔを求めることができる。

上記０式よりフレーム当りの発生パケット数が少ない場
合に、ゆらぎ吸収遅延時間Ｔが長くなる。

ゆらぎ吸収遅延時間Ｔが長いほど遅延時間の大きなパケ
ットを再生することが可能になるので、画質の劣化を抑
えるこ七ができる。

伝達遅延時間Ｔｔが大きいときは、上記０式で求めたゆ
らぎ吸収遅延時間内に届くパケットが当該フレームの発
生パケット数よりも少ない場合がある。１フレームの発
生パケット数よりも少ないパケットを復号化すると画質
劣化を引き起こすため、品質上許容されるパケット廃棄
率が画質劣化の度合から定まる。このときには許容パケ
ット数（許容パケット数＝（１−許容パケット廃棄率）
×発生パケット数）よりも多いパケットを受信している
ならば再生を開始し、許容パケット数よりも少ない場合
はＴを３３．ｍｓ（フレーム間隔）大きくして再度パケ
ットが到着するのを待ち、この間直前に表示したフレー
ムを再度表示する。

この場合には送信側と受信側の遅延時間差が１フレーム
分（３３ｍｓ）増加するものの、バケ。

トが所定時間内に届かないことによる品質劣化を避ける
ことが可能である。

上記０式において’ｒｔ、ｍの値によってばＴが負の値
になることがあるが、このときにもＴを３３ｍ５長くす
る（送信側と受信側の遅延時間差を１フレーム分増加さ
せる）ことにより対処する。

なお、′Ｆを３３ｍ５増加させると、その時点から通信
が終了するまで送信側と受信側の遅延時間差が（Ｔｍａ
ｘ＋３３ｍ５）となり、テレビ会議等において、不自然
さをもたらす。この不自然さを避けるため、上記０式に
おいてＴが負の値になる場合および上記０式で求めたゆ
らぎ吸収遅延時間内に届くパケットが当該フレームの許
容パケット数よりも少ない場合に、Ｔを３３ｍ５を増加
させるかわりに送信側に映像パケット送出を一度リセッ
トするよう指示し、送信側と受信側の遅延時間差をＴｍ
ａｘ以内にするようにして映像パケソトの送受を再開す
ることも可能である。第３図に受信処理のフローチャー
トを示したので参照されたい。

（発明の効果］ 以上説明したように、本発明はパケットの伝達遅延時間
およびフレーム毎の発生パケット数に応じて、遅延ゆら
ぎを吸収するための受信バッファ内遅延時間を可変的に
制御でいる。従って、可変レート符号化映像においてｌ
フレームの発生パケット数が少ない場合に、受信バッフ
ァ内遅延時間を長くすることによりできる限り多くのパ
ケットを再生し受信側での画質劣化を防ぐことができる
という利点がある。

また、フレーム当りの発生パケット数を送信側から受信
側に知らせるため、受信側では発生パケット数と受信パ
ケット数を比較して許容時間内に届かなかったパケット
の割合を知ることができ、再生した場合の画質の劣化を
推測して再生するか否かを判断することができる。同様
に許容時間内に届かなかったパケットの割合から映像パ
ケット送受信をリセットするかどうかの判断も可能であ
る。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
第１．図における各部信号のタイミング関係を示すタイ
ミングチャート、第３図は本発明にかかる受信処理を示
すフローチャート、第４図はパケット通信装置における
従来の遅延ゆらぎ吸収方式を示すブロック図、第５図乃
至第７図はそれぞれ第４図における各部信号の採り得る
タイミング関係を示すタイミングチャート、である。 符号の説明 １・・・フレーム開始・終了検出部、２・・・パケット
組立手段、３・・・映像パケット格納部、４・・・発生
パケット数測定手段、５・・・信号パケット作成手段、
６・・・切替部Ａ、７・・・制御部、８・・・パケット
送出手段、９・・・網インタフエース部、１０・・・パ
ケット受信手段、１１・・・切替部Ｂ、１２・・・信号
パケット解読手段、１３・・・ゆらぎ吸収遅延時間決定
手段、１４・・・遅延時間測定手段、１５・・・受信パ
ケット格納手段

Claims (1)

1. 【特許請求の範囲】 １）入力映像信号の１フレーム分当たりの発生パケット
   数を測定する発生パケット数測定手段と、該発生パケッ
   ト数測定手段により測定した発生パケット数を示す信号
   パケットを作成する信号パケット作成手段と、発生時刻
   をそのヘッダに付加して入力映像信号をパケットに組み
   立てるパケット組立手段と、前記信号パケット作成手段
   にて作成した信号パケットおよび前記パケット組立手段
   で組み立てた映像パケットを、前者のパケットを後者の
   パケットに先行した形で送出するパケット送出手段と、 信号パケットおよび映像パケットを受信するパケット受
   信手段と、受信した信号パケットよりフレーム当たりの
   発生パケット数を得る信号パケット解読手段と、受信し
   た映像パケットの発生時刻とパケット受信時刻から伝達
   遅延時間を求める遅延時間測定手段と、該遅延時間測定
   手段にて測定した伝達遅延時間および前記信号パケット
   解読手段より得た発生パケット数に基づき、ゆらぎ吸収
   遅延時間を決定するゆらぎ吸収遅延時間決定手段と、受
   信映像パケットを格納した後、前記ゆらぎ吸収遅延時間
   決定手段にて決定されたゆらぎ吸収遅延時間に基づいて
   該受信映像パケットを遅延させた後、映像信号に再生し
   て出力する受信パケット格納手段と、を有して成ること
   を特徴とするパケット通信装置における遅延ゆらぎ吸収
   方式。