JP3075246B2 - 音声パケット送受信方法および装置 - Google Patents
音声パケット送受信方法および装置Info
- Publication number
- JP3075246B2 JP3075246B2 JP1285098A JP1285098A JP3075246B2 JP 3075246 B2 JP3075246 B2 JP 3075246B2 JP 1285098 A JP1285098 A JP 1285098A JP 1285098 A JP1285098 A JP 1285098A JP 3075246 B2 JP3075246 B2 JP 3075246B2
- Authority
- JP
- Japan
- Prior art keywords
- buffer
- voice
- packet
- audio
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、音声アナログ信号
を符号化圧縮して、有音区間のパケットを送信し、受信
側ではネットワークの遅延ゆらぎをバッファにより吸収
する音声パケット送受信方法および装置に関する。
を符号化圧縮して、有音区間のパケットを送信し、受信
側ではネットワークの遅延ゆらぎをバッファにより吸収
する音声パケット送受信方法および装置に関する。
【０００２】
【従来の技術】従来、この種の音声パケット送受信装置
は、たとえば特開平４−１８８９２９号公報に示されて
いるように、音声パケット通信において、音声パケット
の遅延ゆらぎを吸収して再生を行い、パケット廃棄率を
低減することを目的とする音声パケット制御装置が適用
されている。
は、たとえば特開平４−１８８９２９号公報に示されて
いるように、音声パケット通信において、音声パケット
の遅延ゆらぎを吸収して再生を行い、パケット廃棄率を
低減することを目的とする音声パケット制御装置が適用
されている。
【０００３】図８はこの音声パケット制御装置が適用さ
れた音声パケット送受信装置の構成を示し、図９は図８
の音声パケット送受信装置を含む音声パケット通信シス
テムの構成を示し、図１０は図８のパケット分解制御部
２００の構成を示し、図１１は図８の音声パケット送受
信装置で使用される音声パケットのフォーマットを示し
ている。
れた音声パケット送受信装置の構成を示し、図９は図８
の音声パケット送受信装置を含む音声パケット通信シス
テムの構成を示し、図１０は図８のパケット分解制御部
２００の構成を示し、図１１は図８の音声パケット送受
信装置で使用される音声パケットのフォーマットを示し
ている。
【０００４】図９の音声パケット通信システムは音声パ
ケット送受信装置２とパケット中継ノード３と中継回線
Ａ１〜Ａ３から構成されている。音声パケット送受信装
置２は音声アナログ信号を符号化圧縮した後パケット化
する送信機能と、音声パケットを復号化伸長した後音声
アナログ信号を出力する受信機能を持つ。パケット中継
ノード３は、中継回線Ａ１〜Ａ３の各接続点に設置され
パケットの中継を行なう。
ケット送受信装置２とパケット中継ノード３と中継回線
Ａ１〜Ａ３から構成されている。音声パケット送受信装
置２は音声アナログ信号を符号化圧縮した後パケット化
する送信機能と、音声パケットを復号化伸長した後音声
アナログ信号を出力する受信機能を持つ。パケット中継
ノード３は、中継回線Ａ１〜Ａ３の各接続点に設置され
パケットの中継を行なう。
【０００５】音声パケット送受信装置２は図８に示す構
成をもっている。Ａ／Ｄ変換部６０１は、音声アナログ
信号をディジタル信号に変換する。符号化圧縮部６００
は、音声ディジタル信号の符号化・圧縮を行なう。有音
／無音検出部５００は、音声ディジタル信号から有音／
無音を判定する。パケット組立制御部４００は、音声デ
ィジタル信号をパケットに組み立て、通信制御部７００
は、音声パケットをネットワーク１に送信しおよび音声
パケットをネットワーク１から受信する。パケット分解
制御部２００は、受信した音声パケットを分解しゆらぎ
吸収バッファにより遅延ゆらぎを吸収する。復号化伸長
部３００では、パケット分解制御部２００で分解された
音声データの復号伸長が行われ、Ｄ／Ａ変換部３０１に
おいて音声データをアナログ信号に変換して出力する。
成をもっている。Ａ／Ｄ変換部６０１は、音声アナログ
信号をディジタル信号に変換する。符号化圧縮部６００
は、音声ディジタル信号の符号化・圧縮を行なう。有音
／無音検出部５００は、音声ディジタル信号から有音／
無音を判定する。パケット組立制御部４００は、音声デ
ィジタル信号をパケットに組み立て、通信制御部７００
は、音声パケットをネットワーク１に送信しおよび音声
パケットをネットワーク１から受信する。パケット分解
制御部２００は、受信した音声パケットを分解しゆらぎ
吸収バッファにより遅延ゆらぎを吸収する。復号化伸長
部３００では、パケット分解制御部２００で分解された
音声データの復号伸長が行われ、Ｄ／Ａ変換部３０１に
おいて音声データをアナログ信号に変換して出力する。
【０００６】パケット分解制御部２００は図１０に示す
内部構成をもっている。ヘッダ分離部２０２は、音声パ
ケットからヘッダ部分を分離する。ゆらぎ吸収バッファ
２０５は、ヘッダ分離部２０２により分離された音声デ
ータを蓄積するバッファである。輻輳状態検出部２１２
では、ヘッダ情報から輻輳状態の検出を行ない、付加固
定遅延制御部２１１では、輻輳状態に応じたゆらぎ吸収
のための付加固定遅延を決定する。パケット再生制御部
２１０は、ゆらぎ吸収バッファ２０５に蓄積された音声
データを制御する。
内部構成をもっている。ヘッダ分離部２０２は、音声パ
ケットからヘッダ部分を分離する。ゆらぎ吸収バッファ
２０５は、ヘッダ分離部２０２により分離された音声デ
ータを蓄積するバッファである。輻輳状態検出部２１２
では、ヘッダ情報から輻輳状態の検出を行ない、付加固
定遅延制御部２１１では、輻輳状態に応じたゆらぎ吸収
のための付加固定遅延を決定する。パケット再生制御部
２１０は、ゆらぎ吸収バッファ２０５に蓄積された音声
データを制御する。
【０００７】次に動作について説明する。音声アナログ
信号は、Ａ／Ｄ変換部６０１でディジタル信号に変換さ
れ、符号化圧縮部６００において符号化圧縮される。ま
た、Ａ／Ｄ変換部６０１の出力は、有音／無音検出部５
００により有音／無音が判定され、パケット組立制御部
４００にその情報が渡される。パケット組立制御部４０
０では、符号化圧縮された音声データは有音／無音情報
を基に有音部のみ音声パケットに構成され、通信制御部
７００に渡されネットワーク１に送出される。ここで、
音声パケットのヘッダには、図１１に示すようにレイヤ
３ヘッダ３０内に輻輳表示ビット３１が設けられてい
る。ネットワーク１に送出された音声パケットは、図９
のパケット中継ノード３が受信して宛先ごとに振り分け
るが、輻輳が発生した場合、パケット中継ノード３で遅
延許容範囲内ではキューイングを行ない、許容範囲を超
えるパケットは廃棄する。ここで、キューイングされた
音声パケットの輻輳表示ビット３１には、輻輳表示＝１
がセットされる。
信号は、Ａ／Ｄ変換部６０１でディジタル信号に変換さ
れ、符号化圧縮部６００において符号化圧縮される。ま
た、Ａ／Ｄ変換部６０１の出力は、有音／無音検出部５
００により有音／無音が判定され、パケット組立制御部
４００にその情報が渡される。パケット組立制御部４０
０では、符号化圧縮された音声データは有音／無音情報
を基に有音部のみ音声パケットに構成され、通信制御部
７００に渡されネットワーク１に送出される。ここで、
音声パケットのヘッダには、図１１に示すようにレイヤ
３ヘッダ３０内に輻輳表示ビット３１が設けられてい
る。ネットワーク１に送出された音声パケットは、図９
のパケット中継ノード３が受信して宛先ごとに振り分け
るが、輻輳が発生した場合、パケット中継ノード３で遅
延許容範囲内ではキューイングを行ない、許容範囲を超
えるパケットは廃棄する。ここで、キューイングされた
音声パケットの輻輳表示ビット３１には、輻輳表示＝１
がセットされる。
【０００８】通信制御部７００で受信した音声パケット
は、パケット分解制御部２００に渡され、図１０におけ
るヘッダ分離部２０２においてヘッダが分離され音声デ
ータがゆらぎ吸収バッファ２０５に蓄積される。
は、パケット分解制御部２００に渡され、図１０におけ
るヘッダ分離部２０２においてヘッダが分離され音声デ
ータがゆらぎ吸収バッファ２０５に蓄積される。
【０００９】また、分離されたヘッダ情報を基に輻輳状
態検出部２１２は受信した音声パケットの輻輳表示ビッ
ト３１がオンになっているパケットをある一定量受信し
た場合に輻輳状態であると判断し、付加固定遅延制御部
２１１に通知する。付加固定遅延制御部２１１では、こ
の情報を基に付加固定遅延を決定し、パケット再生制御
部２１０に通知する。パケット再生制御部２１０では、
有音区間の先頭パケットに決定された付加固定遅延分の
時間だけゆらぎ吸収バッファ２０５に蓄積させた後に送
出する。
態検出部２１２は受信した音声パケットの輻輳表示ビッ
ト３１がオンになっているパケットをある一定量受信し
た場合に輻輳状態であると判断し、付加固定遅延制御部
２１１に通知する。付加固定遅延制御部２１１では、こ
の情報を基に付加固定遅延を決定し、パケット再生制御
部２１０に通知する。パケット再生制御部２１０では、
有音区間の先頭パケットに決定された付加固定遅延分の
時間だけゆらぎ吸収バッファ２０５に蓄積させた後に送
出する。
【００１０】
【発明が解決しようとする課題】上述した従来の音声パ
ケット送受信装置は、既存の網に適用しようとする場
合、網の中継ノードに輻輳を検出して音声パケットのレ
イヤ３ヘッダの輻輳表示ビットを操作する処理を追加し
なければ、そのままでは適用できないという欠点があ
る。
ケット送受信装置は、既存の網に適用しようとする場
合、網の中継ノードに輻輳を検出して音声パケットのレ
イヤ３ヘッダの輻輳表示ビットを操作する処理を追加し
なければ、そのままでは適用できないという欠点があ
る。
【００１１】本発明の目的は、ネットワークの中継ノー
ドの処理内容を変更することなく、遅延ゆらぎを吸収し
て音声再生を行いパケット廃棄率を低減した音声パケッ
ト送受信方法および装置を提供することである。
ドの処理内容を変更することなく、遅延ゆらぎを吸収し
て音声再生を行いパケット廃棄率を低減した音声パケッ
ト送受信方法および装置を提供することである。
【００１２】
【課題を解決するための手段】本発明の音声パケット送
受信方法は、ネットワークを経由して会話型の音声通信
を行うための音声アナログ入力信号を符号化圧縮する段
階と、前記符号化圧縮された信号の有音／無音状態を検
出し前記有音区間のみ音声データをパケット化する段階
と、前記音声パケットを送受信する段階と、受信した音
声パケットをヘッダ部と音声データ部に分解し、バッフ
ァにより前記音声データの遅延ゆらぎを吸収する段階
と、前記バッファより送出された音声データに対して復
号化処理を行い音声アナログ信号を出力する段階とを有
する音声パケット送受信方法において、前記音声パケッ
トをヘッダ部と音声データ部に分解し、バッファにより
前記音声データの遅延ゆらぎを吸収する段階は、有音区
間の先頭の音声パケットを受信すると、閾値が設定され
たバッファに音声データを規定された量だけ蓄積して前
記バッファから送出する段階と、前記バッファ内の蓄積
量が閾値を超えてから一定時間経過しても前記閾値を超
えている場合にのみ音声データを古いものから廃棄する
段階を有する。
受信方法は、ネットワークを経由して会話型の音声通信
を行うための音声アナログ入力信号を符号化圧縮する段
階と、前記符号化圧縮された信号の有音／無音状態を検
出し前記有音区間のみ音声データをパケット化する段階
と、前記音声パケットを送受信する段階と、受信した音
声パケットをヘッダ部と音声データ部に分解し、バッフ
ァにより前記音声データの遅延ゆらぎを吸収する段階
と、前記バッファより送出された音声データに対して復
号化処理を行い音声アナログ信号を出力する段階とを有
する音声パケット送受信方法において、前記音声パケッ
トをヘッダ部と音声データ部に分解し、バッファにより
前記音声データの遅延ゆらぎを吸収する段階は、有音区
間の先頭の音声パケットを受信すると、閾値が設定され
たバッファに音声データを規定された量だけ蓄積して前
記バッファから送出する段階と、前記バッファ内の蓄積
量が閾値を超えてから一定時間経過しても前記閾値を超
えている場合にのみ音声データを古いものから廃棄する
段階を有する。
【００１３】このような構成とすることによって、中継
ノードの処理内容を変更する必要がなくなり、また、音
声データの廃棄率を減少することができる。
ノードの処理内容を変更する必要がなくなり、また、音
声データの廃棄率を減少することができる。
【００１４】前記音声パケットをヘッダ部と音声データ
部に分解し、バッファにより前記音声データの遅延ゆら
ぎを吸収する段階は、前記バッファのアンダフロー発生
回数および該バッファ内の音声データ廃棄回数を監視し
て記憶する段階と、前記アンダフロー発生回数および音
声データ廃棄回数に基づいて次の有音区間の前記バッフ
ァの初期蓄積量を決定する段階とをさらに有するもので
あってもよい。
部に分解し、バッファにより前記音声データの遅延ゆら
ぎを吸収する段階は、前記バッファのアンダフロー発生
回数および該バッファ内の音声データ廃棄回数を監視し
て記憶する段階と、前記アンダフロー発生回数および音
声データ廃棄回数に基づいて次の有音区間の前記バッフ
ァの初期蓄積量を決定する段階とをさらに有するもので
あってもよい。
【００１５】前記次の有音区間のバッファの初期蓄積量
を決定する段階は、単位時間当たりの前記アンダフロー
発生回数が設定された閾値を超えたとき、次の有音区間
の初期蓄積量を増加させ、アンダーフロー発生と音声デ
ータ廃棄がなかったとき、前記初期蓄積量を減少させる
ものを含む。
を決定する段階は、単位時間当たりの前記アンダフロー
発生回数が設定された閾値を超えたとき、次の有音区間
の初期蓄積量を増加させ、アンダーフロー発生と音声デ
ータ廃棄がなかったとき、前記初期蓄積量を減少させる
ものを含む。
【００１６】本発明の音声パケット送受信装置は、ネッ
トワークを経由して会話型の音声通信を行うための音声
アナログ入力信号をディジタル信号に変換するＡ／Ｄ変
換部と、前記ディジタル信号を符号化圧縮する符号化圧
縮部と、前記ディジタル信号が有音区間であるか無音区
間であるかを検出する有音／無音検出部と、前記符号化
圧縮された信号の有音区間のみの音声データを音声パケ
ットにパケット化するパケット組立制御部と、音声パケ
ットをネットワークに送信および前記ネットワークより
受信する通信制御部と、受信した音声パケットをヘッダ
部と音声データ部に分解し、バッファにより前記音声デ
ータの遅延ゆらぎを吸収するパケット分解制御部と、前
記パケット分解制御部の出力音声データを復号化伸長す
る復号化伸長部と、前記復号化伸長部の出力ディジタル
信号を音声アナログ信号に変換して出力するＤ／Ａ変換
部とを備える音声パケット送受信装置において、前記パ
ケット分解制御部は、入力した音声パケットをヘッダ部
と音声データ部に分解するヘッダ分離部と、音声データ
を蓄積するとともに、蓄積データ量の閾値が設定される
ゆらぎ吸収バッファと、タイマーと、前記ゆらぎ吸収バ
ッファ内の蓄積データ量が前記設定されている閾値を超
えているかどうかを監視し、前記タイマーと連携して前
記閾値を超えてからの経過時間を計測するバッファ監視
部と、前記バッファ監視部により計測された経過時間が
設定された一定時間を超えた場合、前記ゆらぎ吸収バッ
ファ内の音声データを古いものから廃棄するバッファ制
御部とを有する。
トワークを経由して会話型の音声通信を行うための音声
アナログ入力信号をディジタル信号に変換するＡ／Ｄ変
換部と、前記ディジタル信号を符号化圧縮する符号化圧
縮部と、前記ディジタル信号が有音区間であるか無音区
間であるかを検出する有音／無音検出部と、前記符号化
圧縮された信号の有音区間のみの音声データを音声パケ
ットにパケット化するパケット組立制御部と、音声パケ
ットをネットワークに送信および前記ネットワークより
受信する通信制御部と、受信した音声パケットをヘッダ
部と音声データ部に分解し、バッファにより前記音声デ
ータの遅延ゆらぎを吸収するパケット分解制御部と、前
記パケット分解制御部の出力音声データを復号化伸長す
る復号化伸長部と、前記復号化伸長部の出力ディジタル
信号を音声アナログ信号に変換して出力するＤ／Ａ変換
部とを備える音声パケット送受信装置において、前記パ
ケット分解制御部は、入力した音声パケットをヘッダ部
と音声データ部に分解するヘッダ分離部と、音声データ
を蓄積するとともに、蓄積データ量の閾値が設定される
ゆらぎ吸収バッファと、タイマーと、前記ゆらぎ吸収バ
ッファ内の蓄積データ量が前記設定されている閾値を超
えているかどうかを監視し、前記タイマーと連携して前
記閾値を超えてからの経過時間を計測するバッファ監視
部と、前記バッファ監視部により計測された経過時間が
設定された一定時間を超えた場合、前記ゆらぎ吸収バッ
ファ内の音声データを古いものから廃棄するバッファ制
御部とを有する。
【００１７】前記パケット分解制御部は、前記バッファ
制御部により廃棄された前記ゆらぎ吸収バッファ内での
音声データの廃棄回数と前記ゆらぎ吸収バッファのアン
ダフロー発生回数を記憶保持し、前記音声データの廃棄
回数と前記アンダフロー発生回数に基いて前記ゆらぎ吸
収バッファの次の有音区間の初期蓄積量を決定する情報
記憶部をさらに有するものを含む。
制御部により廃棄された前記ゆらぎ吸収バッファ内での
音声データの廃棄回数と前記ゆらぎ吸収バッファのアン
ダフロー発生回数を記憶保持し、前記音声データの廃棄
回数と前記アンダフロー発生回数に基いて前記ゆらぎ吸
収バッファの次の有音区間の初期蓄積量を決定する情報
記憶部をさらに有するものを含む。
【００１８】前記情報記憶部は、前記次の有音区間のバ
ッファの初期蓄積量を決定する際、単位時間当たりのア
ンダーフロー発生回数が設定された閾値を超えたとき、
次の有音区間の初期蓄積量を増加させ、アンダーフロー
発生と音声データ廃棄がなかったとき、前記初期蓄積量
を減少させるものであってよい。
ッファの初期蓄積量を決定する際、単位時間当たりのア
ンダーフロー発生回数が設定された閾値を超えたとき、
次の有音区間の初期蓄積量を増加させ、アンダーフロー
発生と音声データ廃棄がなかったとき、前記初期蓄積量
を減少させるものであってよい。
【００１９】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００２０】図１は本発明の音声パケット送受信方法の
第１実施形態のフローチャート、図２は図１の音声パケ
ット送受信方法で使用される音声パケットのフォーマッ
ト図である。
第１実施形態のフローチャート、図２は図１の音声パケ
ット送受信方法で使用される音声パケットのフォーマッ
ト図である。
【００２１】本実施形態の音声パケット送受信方法は、
図１のフローチャートに示すように、まず、ネットワー
クを経由して会話型の音声通信を行うための音声アナロ
グ入力信号をＡ／Ｄ変換して符号化圧縮する（ステップ
Ｓ１）。
図１のフローチャートに示すように、まず、ネットワー
クを経由して会話型の音声通信を行うための音声アナロ
グ入力信号をＡ／Ｄ変換して符号化圧縮する（ステップ
Ｓ１）。
【００２２】次に、符号化圧縮された信号の有音／無音
状態を検出し、有音区間のみ音声データをパケット化す
る（ステップＳ２）。ここで、音声パケットは図２のフ
ォーマットに示すように、ヘッダ部１０と音声データ部
１１をもっている。
状態を検出し、有音区間のみ音声データをパケット化す
る（ステップＳ２）。ここで、音声パケットは図２のフ
ォーマットに示すように、ヘッダ部１０と音声データ部
１１をもっている。
【００２３】続いて音声パケットをネットワークを介し
て送信し、受信する（ステップＳ３）。
て送信し、受信する（ステップＳ３）。
【００２４】続いて、受信した音声パケットをヘッダ部
１０と音声データ部１１に分離する（ステップＳ４）。
１０と音声データ部１１に分離する（ステップＳ４）。
【００２５】続いて、有音区間の先頭の音声パケットを
受信すると、閾値が設定されたバッファに音声データを
規定された量だけ蓄積してバッファから送出する（ステ
ップＳ５）。
受信すると、閾値が設定されたバッファに音声データを
規定された量だけ蓄積してバッファから送出する（ステ
ップＳ５）。
【００２６】続いて、バッファ内の音声データの蓄積量
が閾値を超えてから一定時間経過しても閾値を超えてい
る場合にのみ音声データを廃棄する（ステップＳ６）。
が閾値を超えてから一定時間経過しても閾値を超えてい
る場合にのみ音声データを廃棄する（ステップＳ６）。
【００２７】続いて、バッファより送出された音声デー
タに対して復号化、Ｄ／Ａ変換を行い音声アナログ信号
を出力する（ステップＳ７）。
タに対して復号化、Ｄ／Ａ変換を行い音声アナログ信号
を出力する（ステップＳ７）。
【００２８】本実施形態の音声パケット送受信方法で
は、規定された量だけバッファに音声データが蓄積され
て、バッファから送出されるので、中継ノードの処理内
容を変更することなく音声パケットの遅延ゆらぎを吸収
できる。
は、規定された量だけバッファに音声データが蓄積され
て、バッファから送出されるので、中継ノードの処理内
容を変更することなく音声パケットの遅延ゆらぎを吸収
できる。
【００２９】また、バッファに蓄積されている音声デー
タが閾値を超えても、設定されている一定時間経過しな
ければ廃棄されないので、音声データの廃棄を減少する
ことができる。
タが閾値を超えても、設定されている一定時間経過しな
ければ廃棄されないので、音声データの廃棄を減少する
ことができる。
【００３０】図３は本発明の音声パケット送受信方法の
第２実施形態のフローチャートである。
第２実施形態のフローチャートである。
【００３１】本実施形態の音声パケット送受信方法は、
図３のフローチャートに示すように、ステップＳ１１か
らステップＳ１６までは図１のステップＳ１からステッ
プＳ６までと全く同様である。
図３のフローチャートに示すように、ステップＳ１１か
らステップＳ１６までは図１のステップＳ１からステッ
プＳ６までと全く同様である。
【００３２】ステップＳ１６に続いて、バッファのアン
ダフロー発生回数とステップＳ１６における音声データ
廃棄回数を監視して記憶する（ステップＳ１７）。
ダフロー発生回数とステップＳ１６における音声データ
廃棄回数を監視して記憶する（ステップＳ１７）。
【００３３】次に、バッファのアンダフロー発生回数と
バッファ内の音声データ廃棄回数に基いて次の有音区間
のバッファの初期蓄積量を決定する（ステップＳ１
８）。ここで、たとえば、単位時間当たりのアンダフロ
ー発生回数が閾値を超えるならば、次の有音区間の初期
蓄積量を増加させ、アンダーフロー発生と音声データの
廃棄がなかったならば、初期蓄積量を減少させるという
決定方法がある。
バッファ内の音声データ廃棄回数に基いて次の有音区間
のバッファの初期蓄積量を決定する（ステップＳ１
８）。ここで、たとえば、単位時間当たりのアンダフロ
ー発生回数が閾値を超えるならば、次の有音区間の初期
蓄積量を増加させ、アンダーフロー発生と音声データの
廃棄がなかったならば、初期蓄積量を減少させるという
決定方法がある。
【００３４】続いて、バッファより送出された音声デー
タに復号化、Ｄ／Ａ変換を行い音声アナログ信号を出力
する（ステップＳ１９）。
タに復号化、Ｄ／Ａ変換を行い音声アナログ信号を出力
する（ステップＳ１９）。
【００３５】本実施形態の音声パケット送受信方法は、
バッファでのパケット廃棄やアンダフロー発生回数の情
報により次の有音区間の初期蓄積量を決定しているの
で、第１実施形態以上に音声データの廃棄回数を減少さ
せる効果がある。
バッファでのパケット廃棄やアンダフロー発生回数の情
報により次の有音区間の初期蓄積量を決定しているの
で、第１実施形態以上に音声データの廃棄回数を減少さ
せる効果がある。
【００３６】図４は図１の音声パケット送受信方法が適
用された音声パケット送受信装置の一実施例のブロック
図、図５は図４のパケット分解制御部２５０のブロック
図である。
用された音声パケット送受信装置の一実施例のブロック
図、図５は図４のパケット分解制御部２５０のブロック
図である。
【００３７】この音声パケット送受信装置は図４の２１
に示すように、図８の音声パケット送受信装置のパケッ
ト分解制御部２００に代ってパケット分解制御部２５０
が設けられた構成となっている。
に示すように、図８の音声パケット送受信装置のパケッ
ト分解制御部２００に代ってパケット分解制御部２５０
が設けられた構成となっている。
【００３８】パケット分解制御部２５０は、図５に示す
ようにヘッダ分離部２０２とバッファ制御部２０３とバ
ッファ監視部２０４とゆらぎ吸収バッファ２０５とタイ
マー２０６とから構成されている。ヘッダ分離部２０２
は、音声パケットを図２に示すヘッダ部１０とデータ部
１１に分離する。ゆらぎ吸収バッファ２０５は、音声デ
ータを初期蓄積量２０８だけ蓄積した後、音声データを
送出する。バッファ監視部２０４は、タイマー２０６と
連携して、ゆらぎ吸収バッファ２０５内の蓄積データ量
が閾値２０７を超えているかどうかを監視し、タイマー
２０６と連携して閾値２０７を超えてからの経過時間を
計測する。バッファ制御部２０３では、計測された経過
時間がある一定時間を超えた場合、ゆらぎ吸収バッファ
２０５内の音声データを古いものから廃棄する。以上の
構成によりパケット分解制御部２５０は、受信した音声
パケットのヘッダと音声データを分離し、遅延ゆらぎを
吸収して、音声データを復号化伸長部３００に渡す。そ
の他の構成要素の処理は図８の場合と同様である。
ようにヘッダ分離部２０２とバッファ制御部２０３とバ
ッファ監視部２０４とゆらぎ吸収バッファ２０５とタイ
マー２０６とから構成されている。ヘッダ分離部２０２
は、音声パケットを図２に示すヘッダ部１０とデータ部
１１に分離する。ゆらぎ吸収バッファ２０５は、音声デ
ータを初期蓄積量２０８だけ蓄積した後、音声データを
送出する。バッファ監視部２０４は、タイマー２０６と
連携して、ゆらぎ吸収バッファ２０５内の蓄積データ量
が閾値２０７を超えているかどうかを監視し、タイマー
２０６と連携して閾値２０７を超えてからの経過時間を
計測する。バッファ制御部２０３では、計測された経過
時間がある一定時間を超えた場合、ゆらぎ吸収バッファ
２０５内の音声データを古いものから廃棄する。以上の
構成によりパケット分解制御部２５０は、受信した音声
パケットのヘッダと音声データを分離し、遅延ゆらぎを
吸収して、音声データを復号化伸長部３００に渡す。そ
の他の構成要素の処理は図８の場合と同様である。
【００３９】次に、この音声パケット送受信装置の動作
を説明する。この装置はあらかじめ通信相手方との交渉
により定められた音声データの処理に必要なパラメータ
（たとえばサンプリングレート・サンプリングサイズ・
ステレオ、モノラルの選択・圧縮方式）を用いてＡ／Ｄ
変換部６０１は、音声アナログ信号を受け取るとディジ
タル信号に変換して、符号化圧縮部６００は、符号化お
よび圧縮を行う。有音／無音検出部５００では、Ａ／Ｄ
変換部６０１より出力された音声データの有音／無音を
判定してパケット組立制御部４００に通知する。パケッ
ト組立制御部４００では、有音／無音の情報を基に有音
区間のみ図２に示すフォーマットによって、音声パケッ
トを構成して通信制御部７００を介してネットワーク１
に送信する。
を説明する。この装置はあらかじめ通信相手方との交渉
により定められた音声データの処理に必要なパラメータ
（たとえばサンプリングレート・サンプリングサイズ・
ステレオ、モノラルの選択・圧縮方式）を用いてＡ／Ｄ
変換部６０１は、音声アナログ信号を受け取るとディジ
タル信号に変換して、符号化圧縮部６００は、符号化お
よび圧縮を行う。有音／無音検出部５００では、Ａ／Ｄ
変換部６０１より出力された音声データの有音／無音を
判定してパケット組立制御部４００に通知する。パケッ
ト組立制御部４００では、有音／無音の情報を基に有音
区間のみ図２に示すフォーマットによって、音声パケッ
トを構成して通信制御部７００を介してネットワーク１
に送信する。
【００４０】ネットワーク１から到着した音声パケット
は、通信制御部７００を介してパケット分解制御部２０
０に渡される。図５を参照すると、音声パケットは、ヘ
ッダ分離部２０２においてヘッダ１０と音声データ１１
に分離され、音声データ１１はゆらぎ吸収バッファ２０
５に蓄積される。ゆらぎ吸収バッファ２０５に初期蓄積
量２０８だけ蓄積されると音声データの送出が始まる。
音声データは、図４における復号化伸長部３００および
Ｄ／Ａ変換部３０１で復号化処理が行われる。
は、通信制御部７００を介してパケット分解制御部２０
０に渡される。図５を参照すると、音声パケットは、ヘ
ッダ分離部２０２においてヘッダ１０と音声データ１１
に分離され、音声データ１１はゆらぎ吸収バッファ２０
５に蓄積される。ゆらぎ吸収バッファ２０５に初期蓄積
量２０８だけ蓄積されると音声データの送出が始まる。
音声データは、図４における復号化伸長部３００および
Ｄ／Ａ変換部３０１で復号化処理が行われる。
【００４１】図５におけるバッファ監視部２０４は、ゆ
らぎ吸収バッファ２０５内に設定された閾値２０７を蓄
積量が超えているかどうかを監視している。また、タイ
マー２０６により、ゆらぎ吸収バッファ２０５内の蓄積
量が閾値２０７を超えてからの経過時間を計測して、一
定時間経過後にまだ蓄積量が閾値２０７を超えているな
らば、ゆらぎ吸収バッファ２０５内の音声データは初期
蓄積量２０８になるまで古い音声データから廃棄され
る。
らぎ吸収バッファ２０５内に設定された閾値２０７を蓄
積量が超えているかどうかを監視している。また、タイ
マー２０６により、ゆらぎ吸収バッファ２０５内の蓄積
量が閾値２０７を超えてからの経過時間を計測して、一
定時間経過後にまだ蓄積量が閾値２０７を超えているな
らば、ゆらぎ吸収バッファ２０５内の音声データは初期
蓄積量２０８になるまで古い音声データから廃棄され
る。
【００４２】本実施例の音声パケット送受信装置では、
音声パケットの遅延ゆらぎが吸収されるとともに、バッ
ファに蓄積されている音声データが閾値を超えたとき、
古いデータから廃棄されるが、設定された一定時間経過
しなければ廃棄されないので、データ廃棄数を減少させ
る効果がある。
音声パケットの遅延ゆらぎが吸収されるとともに、バッ
ファに蓄積されている音声データが閾値を超えたとき、
古いデータから廃棄されるが、設定された一定時間経過
しなければ廃棄されないので、データ廃棄数を減少させ
る効果がある。
【００４３】図６は図３の音声パケット送受信方法が適
用された音声パケット送受信装置の一実施例のブロック
図、図７は図６のパケット分解制御部２６０のブロック
図である。
用された音声パケット送受信装置の一実施例のブロック
図、図７は図６のパケット分解制御部２６０のブロック
図である。
【００４４】この音声パケット送受信装置は、図６の２
２に示すように、図４のパケット分解制御部２５０に代
ってパケット分解制御部２６０が用いられている以外
は、図４の音声パケット送受信装置と同様の構成となっ
ている。
２に示すように、図４のパケット分解制御部２５０に代
ってパケット分解制御部２６０が用いられている以外
は、図４の音声パケット送受信装置と同様の構成となっ
ている。
【００４５】パケット分解制御部２６０は図７に示すよ
うに、図５のパケット分解制御部２５０に情報記憶部２
０１が追加されて構成されている。情報記憶部２０１に
は、バッファ制御部２０３により廃棄されたゆらぎ吸収
バッファ２０５内での音声データの廃棄回数とバッファ
のアンダフローの発生回数の情報が記憶保持される。こ
の音声データの廃棄回数とアンダフロー発生回数の情報
は次の有音区間の音声データの初期蓄積量を決定するこ
とに用いられる。たとえば、単位時間当たりのアンダフ
ローの発生回数が閾値を超えるならば、次の有音区間の
初期蓄積量を増加させ、アンダーフロー発生と音声デー
タ廃棄がなかったならば次の有音区間の初期蓄積量を減
少させる。
うに、図５のパケット分解制御部２５０に情報記憶部２
０１が追加されて構成されている。情報記憶部２０１に
は、バッファ制御部２０３により廃棄されたゆらぎ吸収
バッファ２０５内での音声データの廃棄回数とバッファ
のアンダフローの発生回数の情報が記憶保持される。こ
の音声データの廃棄回数とアンダフロー発生回数の情報
は次の有音区間の音声データの初期蓄積量を決定するこ
とに用いられる。たとえば、単位時間当たりのアンダフ
ローの発生回数が閾値を超えるならば、次の有音区間の
初期蓄積量を増加させ、アンダーフロー発生と音声デー
タ廃棄がなかったならば次の有音区間の初期蓄積量を減
少させる。
【００４６】本実施例の音声パケット送受信装置は、ア
ンダフローの発生回数と音声データの廃棄回数を記憶し
てこれに基いて次の有音区間のバッファの初期蓄積量を
決定するので、一層音声パケットのネットワークによる
遅延ゆらぎを吸収でき、音声データの廃棄を減少する効
果がある。
ンダフローの発生回数と音声データの廃棄回数を記憶し
てこれに基いて次の有音区間のバッファの初期蓄積量を
決定するので、一層音声パケットのネットワークによる
遅延ゆらぎを吸収でき、音声データの廃棄を減少する効
果がある。
【００４７】
【発明の効果】以上説明したように本発明は、ゆらぎ吸
収バッファの内部に閾値を設定し、バッファ内の蓄積量
が閾値を超えてある一定時間経過したのちにパケットを
廃棄することにより、ネットワークにおけるパケット廃
棄を考慮することで、音声パケット送受信装置における
音声パケット廃棄率を低減する効果があり、さらに、ゆ
らぎ吸収バッファにおける音声データ廃棄やアンダフロ
ーの情報を基にして次の有音区間の初期蓄積量を決める
ことにより、中継ノードの処理内容を変更することなく
音声データの廃棄率を低減し、良好な音声通信が可能と
なるという効果がある。
収バッファの内部に閾値を設定し、バッファ内の蓄積量
が閾値を超えてある一定時間経過したのちにパケットを
廃棄することにより、ネットワークにおけるパケット廃
棄を考慮することで、音声パケット送受信装置における
音声パケット廃棄率を低減する効果があり、さらに、ゆ
らぎ吸収バッファにおける音声データ廃棄やアンダフロ
ーの情報を基にして次の有音区間の初期蓄積量を決める
ことにより、中継ノードの処理内容を変更することなく
音声データの廃棄率を低減し、良好な音声通信が可能と
なるという効果がある。
【図１】本発明の音声パケット送受信方法の第１実施形
態のフローチャートである。
態のフローチャートである。
【図２】図１の音声パケット送受信方法で使用される音
声パケットのフォーマット図である。
声パケットのフォーマット図である。
【図３】本発明の音声パケット送受信方法の第２実施形
態のフローチャートである。
態のフローチャートである。
【図４】図１の音声パケット送受信方法が適用された音
声パケット送受信装置の一実施例のブロック図である。
声パケット送受信装置の一実施例のブロック図である。
【図５】図４のパケット分解制御部２５０のブロック図
である。
である。
【図６】図３の音声パケット送受信方法が適用された音
声パケット送受信装置の一実施例のブロック図である。
声パケット送受信装置の一実施例のブロック図である。
【図７】図６のパケット分解制御部２６０のブロック図
である。
である。
【図８】音声パケット送受信装置の従来例のブロック図
である。
である。
【図９】図８の音声パケット送受信装置を含む音声パケ
ット通信システムのブロック図である。
ット通信システムのブロック図である。
【図１０】図８のパケット分解制御部２００のブロック
図である。
図である。
【図１１】図８の音声パケット送受信装置で使用される
音声パケットのフォーマット図である。
音声パケットのフォーマット図である。
１ ネットワーク ２１、２２、２３ 音声パケット送受信装置 １００、１０１ パラメータ交渉部 ２０１ 情報記憶部 ２０２ ヘッダ分離部 ２０３ バッファ制御部 ２０４ バッファ監視部 ２０５ ゆらぎ吸収バッファ ２０６ タイマー ２０７ 閾値 ２０８ 初期蓄積量 ２０９ 符号化情報監視部 ２５０、２６０、２７０ パケット分解制御部 ３００ 復号化伸長部 ３０１ Ｄ／Ａ変換部 ４００、４５０ パケット組立制御部 ５００ 有音／無音検出部 ６００ 符号化圧縮部 ６０１ Ａ／Ｄ変換部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04L 12/56 H04L 12/28 H04Q 11/04
Claims (6)
- 【請求項１】 ネットワークを経由して会話型の音声通
信を行うための音声アナログ入力信号を符号化圧縮する
段階と、前記符号化圧縮された信号の有音／無音状態を
検出し前記有音区間のみ音声データをパケット化する段
階と、前記音声パケットを送受信する段階と、受信した
音声パケットをヘッダ部と音声データ部に分解し、バッ
ファにより前記音声データの遅延ゆらぎを吸収する段階
と、前記バッファより送出された音声データに対して復
号化処理を行い音声アナログ信号を出力する段階とを有
する音声パケット送受信方法において、 前記音声パケットをヘッダ部と音声データ部に分解し、
バッファにより前記音声データの遅延ゆらぎを吸収する
段階は、 有音区間の先頭の音声パケットを受信すると、閾値が設
定されたバッファに音声データを規定された量だけ蓄積
して前記バッファから送出する段階と、 前記バッファ内の蓄積量が閾値を超えてから一定時間経
過しても前記閾値を超えている場合にのみ音声データを
古いものから廃棄する段階を有することを特徴とする音
声パケット送受信方法。 - 【請求項２】 前記音声パケットをヘッダ部と音声デー
タ部に分解し、バッファにより前記音声データの遅延ゆ
らぎを吸収する段階は、 前記バッファのアンダフロー発生回数および該バッファ
内の音声データ廃棄回数を監視して記憶する段階と、 前記アンダフロー発生回数および音声データ廃棄回数に
基づいて次の有音区間の前記バッファの初期蓄積量を決
定する段階とをさらに有する請求項１記載の音声パケッ
ト送受信方法。 - 【請求項３】 前記次の有音区間のバッファの初期蓄積
量を決定する段階は、単位時間当たりの前記アンダフロ
ー発生回数が設定された閾値を超えたとき、次の有音区
間の初期蓄積量を増加させ、アンダーフロー発生と音声
データ廃棄がなかったとき、前記初期蓄積量を減少させ
る請求項２記載の音声パケット送受信方法。 - 【請求項４】 ネットワークを経由して会話型の音声通
信を行うための音声アナログ入力信号をディジタル信号
に変換するＡ／Ｄ変換部と、前記ディジタル信号を符号
化圧縮する符号化圧縮部と、前記ディジタル信号が有音
区間であるか無音区間であるかを検出する有音／無音検
出部と、前記符号化圧縮された信号の有音区間のみの音
声データを音声パケットにパケット化するパケット組立
制御部と、音声パケットをネットワークに送信および前
記ネットワークより受信する通信制御部と、受信した音
声パケットをヘッダ部と音声データ部に分解し、バッフ
ァにより前記音声データの遅延ゆらぎを吸収するパケッ
ト分解制御部と、前記パケット分解制御部の出力音声デ
ータを復号化伸長する復号化伸長部と、前記復号化伸長
部の出力ディジタル信号を音声アナログ信号に変換して
出力するＤ／Ａ変換部とを備える音声パケット送受信装
置において、 前記パケット分解制御部は、 入力した音声パケットをヘッダ部と音声データ部に分解
するヘッダ分離部と、 音声データを蓄積するとともに、蓄積データ量の閾値が
設定されるゆらぎ吸収バッファと、 タイマーと、 前記ゆらぎ吸収バッファ内の蓄積データ量が前記設定さ
れている閾値を超えているかどうかを監視し、前記タイ
マーと連携して前記閾値を超えてからの経過時間を計測
するバッファ監視部と、 前記バッファ監視部により計測された経過時間が設定さ
れた一定時間を超えた場合、前記ゆらぎ吸収バッファ内
の音声データを古いものから廃棄するバッファ制御部と
を有することを特徴とする音声パケット送受信装置。 - 【請求項５】 前記パケット分解制御部は、前記バッフ
ァ制御部により廃棄された前記ゆらぎ吸収バッファ内で
の音声データの廃棄回数と前記ゆらぎ吸収バッファのア
ンダフロー発生回数を記憶保持し、前記音声データの廃
棄回数と前記アンダフロー発生回数に基いて前記ゆらぎ
吸収バッファの次の有音区間の初期蓄積量を決定する情
報記憶部をさらに有する請求項４記載の音声パケット送
受信装置。 - 【請求項６】 前記情報記憶部は、前記次の有音区間の
バッファの初期蓄積量を決定する際、単位時間当たりの
アンダーフロー発生回数が設定された閾値を超えたと
き、次の有音区間の初期蓄積量を増加させ、アンダーフ
ロー発生と音声データ廃棄がなかったとき、前記初期蓄
積量を減少させる請求項５記載の音声パケット送受信装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1285098A JP3075246B2 (ja) | 1998-01-26 | 1998-01-26 | 音声パケット送受信方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1285098A JP3075246B2 (ja) | 1998-01-26 | 1998-01-26 | 音声パケット送受信方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11215182A JPH11215182A (ja) | 1999-08-06 |
| JP3075246B2 true JP3075246B2 (ja) | 2000-08-14 |
Family
ID=11816883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1285098A Expired - Fee Related JP3075246B2 (ja) | 1998-01-26 | 1998-01-26 | 音声パケット送受信方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3075246B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8630282B2 (en) | 2002-03-22 | 2014-01-14 | Nec Infrontia Corporation | Voice transmitting and receiving system |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3506960B2 (ja) * | 1999-08-03 | 2004-03-15 | シャープ株式会社 | パケット処理装置及びパケット処理プログラムを記録した記憶媒体 |
| JP3891755B2 (ja) | 2000-03-27 | 2007-03-14 | 沖電気工業株式会社 | パケット受信装置 |
| JP2002271389A (ja) * | 2001-03-07 | 2002-09-20 | Hitachi Telecom Technol Ltd | パケット処理装置およびパケット処理方法 |
| JP4730797B2 (ja) * | 2001-04-27 | 2011-07-20 | ティーオーエー株式会社 | 受信装置及び受信再生方法 |
| CN101873266B (zh) * | 2004-08-30 | 2015-11-25 | 高通股份有限公司 | 用于语音ip传输的自适应去抖动缓冲器 |
| US7657160B2 (en) * | 2004-09-14 | 2010-02-02 | Marvell World Trade Ltd. | Unified control and memory for a combined DVD/HDD system |
| CN1791055B (zh) | 2004-12-14 | 2010-04-07 | 腾讯科技（深圳）有限公司 | 一种减小数据包播放延时的方法 |
| JP4180061B2 (ja) | 2005-02-25 | 2008-11-12 | 富士通株式会社 | 出力方法、出力装置及びコンピュータプログラム |
| JP4614909B2 (ja) * | 2006-05-08 | 2011-01-19 | 三菱電機株式会社 | パケットバッファ装置 |
| KR100847168B1 (ko) | 2006-12-01 | 2008-07-17 | 엘지노텔 주식회사 | Ｕｄｐ/ｒｔｐ를 사용하는 망에서의 지터 처리를 위한 패킷 순서 재배열 장치 및 방법 |
| JP6163741B2 (ja) * | 2012-11-30 | 2017-07-19 | ヤマハ株式会社 | ネットワーク受信用バッファのバッファサイズ決定方法及び装置並びにネットワークセッションシステム |
-
1998
- 1998-01-26 JP JP1285098A patent/JP3075246B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8630282B2 (en) | 2002-03-22 | 2014-01-14 | Nec Infrontia Corporation | Voice transmitting and receiving system |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11215182A (ja) | 1999-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002077233A (ja) | リアルタイム情報受信装置 | |
| JP3075246B2 (ja) | 音声パケット送受信方法および装置 | |
| CN1926824B (zh) | 声音分组再现方法、声音分组再现装置 | |
| JP3891755B2 (ja) | パケット受信装置 | |
| US6725191B2 (en) | Method and apparatus for transmitting voice over internet | |
| JP5668687B2 (ja) | 音声品質解析装置、音声品質解析方法およびプログラム | |
| US8787490B2 (en) | Transmitting data in a communication system | |
| JP2002164918A (ja) | 音声パケット通信の品質評価システム | |
| JP3211771B2 (ja) | 音声送受信装置 | |
| JPH11177623A (ja) | データ送出装置、データ受信装置及びデータ伝送装置 | |
| US6167374A (en) | Signal processing method and system utilizing logical speech boundaries | |
| KR101516113B1 (ko) | 음성 복호 장치 | |
| JP2004214755A (ja) | 動的符号化レート変更方法及びその装置 | |
| JP4454255B2 (ja) | 音声／ｆａｘ通信システム、音声／ｆａｘ受信装置および揺らぎ吸収バッファ量制御方法 | |
| JP2001160826A (ja) | 遅延ゆらぎ吸収装置、遅延ゆらぎ吸収方法 | |
| US7796584B2 (en) | Method for connection between communication networks of different types and gateway apparatus | |
| JP2006135657A (ja) | データ受信装置及びデータ受信方法 | |
| JPH03133233A (ja) | 音声パケット化装置 | |
| JP2008278323A (ja) | ネットワークカメラ | |
| JP3121094B2 (ja) | 音声符号化器 | |
| JP3053443B2 (ja) | 音声パケット制御方式 | |
| JP3374815B2 (ja) | 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法 | |
| JP2004229115A (ja) | 音声パケットデータ受信装置における受信バッファの制御方法および音声パケットデータ受信装置 | |
| JP2004080625A (ja) | パケット型音声通信端末 | |
| JPH04324727A (ja) | ステレオ符号化伝送方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080609 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |