JPH0870285A - 音声復号装置 - Google Patents

音声復号装置

Info

Publication number
JPH0870285A
JPH0870285A JP7173884A JP17388495A JPH0870285A JP H0870285 A JPH0870285 A JP H0870285A JP 7173884 A JP7173884 A JP 7173884A JP 17388495 A JP17388495 A JP 17388495A JP H0870285 A JPH0870285 A JP H0870285A
Authority
JP
Japan
Prior art keywords
section
prediction coefficient
silent
voice
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7173884A
Other languages
English (en)
Other versions
JP3593183B2 (ja
Inventor
Ichiro Matsumoto
一郎 松本
Osamu Watanabe
治 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Kokusai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Electric Co Ltd filed Critical Kokusai Electric Co Ltd
Priority to JP17388495A priority Critical patent/JP3593183B2/ja
Publication of JPH0870285A publication Critical patent/JPH0870285A/ja
Application granted granted Critical
Publication of JP3593183B2 publication Critical patent/JP3593183B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 【目的】適応差分PCM符号化方式通信の受信側音声復
号装置において、送信側で無音区間に誤って有音検出フ
ラグが出力されたとき、受信側の無音区間の擬似背景雑
音が不自然な音質になるのを改善する。 【構成】受信復調信号aから分離した音声検出フラグb
を入力して、有音/無音の変化点でリセット信号dと有
音/無音の区別を示す信号eを出力する制御器5と、符
号化信号cを復号するADPCM復号器4から予測係数
gを抽出しフレーム毎に平均値を算出して記憶,更新す
るとともに無音区間から有音区間に変わったとき直前の
記憶値hを出力する予測係数保持器7との間に補助制御
器6を設ける。補助制御器6は、入力フラグeが無音区
間から有音区間に変わっても約5フレーム間は無音区間
を示すフラグfを継続出力して、無音区間に復号器4で
発生復号する擬似背景雑音の音質が乱れないようにす
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は音声復号装置に関するも
ので、特に符号化方式に適応差分PCM(ADPCM)
方式を適応した受信信号を復号する音声復号装置に関す
るものである。
【0002】
【従来の技術】音声による通信が行われている場合、ど
ちらか一方が発声している時間率は約35%であるとい
われている。近年、個人主体の通信であるパーソナルコ
ミュニケーションがその範囲を拡大してきている。そこ
では携帯に便利な端末を利用した音声通信が主体であ
る。このような携帯端末に要求される事項として、第一
に、コードレス化が挙げられる。第二に、携帯に便利な
ように電池が使用され長時間にわたる使用に耐える必要
があるため回路消費電力の低減化が要求されている。
【0003】回路消費電力の従来以上の低減方法とし
て、音声の発声時間率に着目し、発声している時のみ送
信回路を動作させ、その他の送信時間は回路を休止状態
にする方法がある。このような技術を実現するためには
送信側に音声検出機能を設けて不連続送信装置を付加す
れば良い。その場合に問題となるのは受信側である。す
なわち、受信側では再生音声が断続するために非常に不
愉快な音声になる。この原因は音声を伝送しているとき
は音声に背景雑音が重畳されているが、音声が伝送され
ないときは背景雑音も伝送されず、背景雑音が音声信号
の持続の時のみ変調されて伝送されるためであることが
知られている。
【0004】このような問題点を解決する方法として、
受信側で、音声信号が伝送されてこない間は送信側の背
景雑音に類似した擬似雑音を発声させる方法が知られて
いる。図3は、上記の一例を説明する従来の音声復号装
置のブロック図である。図3において、1はアンテナ、
2は受信復調器であり、送信側符号化器の音声検出器で
検出された音声の有り無しを示す音声検出フラグとAD
PCM符号化データとが多重され変調された変調波を受
信復調する。3は受信復調された信号aをADPCM符
号化データcと音声検出フラグbとに分離する多重分離
器である。5は制御器であり、多重分離器3からの音声
検出フラグbを受け、制御信号(リセットパルス)d
と、有音/無音を示す制御信号eを出力する。
【0005】4はADPCM復号器であり、制御器5か
らの制御信号dによって予測係数が“0”にリセットさ
れ、有音区間は多重分離器3からのADPCM符号化デ
ータcを復号し、無音区間は、擬似背景雑音用に内部発
生させたランダムADPCM符号化データを、予測係数
保持器7から入力される予測係数によって復号する。7
は予測係数保持器であり、ADPCM復号器4の内部変
数である予測係数を抽出し、フレーム毎に平均値を計算
して記憶更新するとともに、制御器5からの制御信号e
により無音区間はその直前の予測係数を保持しながらA
DPCM復号器4に与える。8はスピーカである。
【0006】図4は送信側の源音と音声復号装置の各部
の信号波形を示すタイムチャートである。図の最上段は
送信側の源音の波形であり、音声と背景雑音が重畳され
ている。2段目は送信側から送られ多重分離器3で分離
した音声検出フラグbであり、有音区間は“1”、無音
区間は“0”である。この例では、無音区間中に誤って
短時間有音を示している。3段目は制御器5から出力さ
れるリセット信号dを示す。4段目のxは、源音(音声
+背景雑音)に対する予測係数のうち2次の予測係数a
l(t)の時間変化を示す波形である。次の段のjは、
ADPCM復号器4の予測係数al(t)の時間変化を
示す波形であり、有音区間はxと同じであるが、無音区
間は予測係数保持器7から入力され擬似背景雑音を復号
する予測係数の時間変化を示す。
【0007】図3と図4を用いて従来の装置の動作を説
明する。音声検出フラグとADPCM符号化データが多
重化された変調波をアンテナ1で受け、受信復調器2で
受信復調して多重分離器3に復調信号aを送る。ここで
いう音声検出フラグとは送信側符号化器の入力音声の音
声が有る部分(有音区間)と無い部分(無音区間)を音
声検出器で検出した結果を示す信号である。多重分離器
3では、音声検出フラグbとADPCM符号化データc
に分離する。この場合ADPCM符号化データcは5ms
ecを1フレームとしている。5msec毎に音声検出フラグ
bが制御器5に送られる。
【0008】制御器5では、音声検出フラグbを受け
て、有音区間から無音区間に移行するときと、無音区間
から有音区間に移行するときにADPCM復号器4に対
して制御信号(リセットパルス)dを出力する。この制
御信号dは、ADPCM復号器4内の予測係数等の決め
られた変数を初期化するためのもので、ここでは音声検
出による送信停止時及び、送信開始時の送信側符号化器
の内部の状態と、受信側復号器の内部の状態を同じにす
るために各移行時にリセットをかける。このリセットが
ないと、音声検出による送信断後、符号化器と復号器と
の内部状態が異なり、復号器で復号した再生音声の音質
を劣化させてしまう。制御信号dによりADPCM復号
器4にリセットがかかる。また、ADPCM復号器4は
無音区間では変調信号が途絶えてしまうため、自ら擬似
背景雑音を生成するためにADPCM符号化データcが
取り得る範囲のランダムなデータを内部生成してそのデ
ータを予測係数保持器7から入力される予測係数によっ
て復号する。
【0009】予測係数保持器7は、送信断時のADPC
M復号器4で生成した擬似背景雑音に実際の雑音のスペ
クトラム情報を付加するために、ADPCM復号器4内
の予測係数を抽出してフレーム毎に平均値を計算して更
新保持し、制御信号eにより無音区間を検知したとき有
音区間の最後のフレームの予測係数の平均値を保持して
擬似背景雑音に与える。この効果でランダムなデータを
用いて復号しても実際の符号化器側の音声に重畳されて
いる背景雑音と似た音色を持つ擬似背景雑音が生成され
る。
【0010】
【発明が解決しようとする課題】前述のように、図4の
xは、源音(音声+背景雑音)に対する予測係数のう
ち、例えば2次の予測係数a1(t)の時間変化を示
す。音声検出フラグが音声検出器の判定誤りや、伝送路
上でのフェージング等の影響により誤り、図4の音声検
出フラグbのように無声区間中のB区間が有声区間とし
て処理された場合、図4のjのA区間の最後でリセット
がかかる。このリセットにより“0”になった予測係数
はB区間で背景雑音に対する値に立ち上がっていく。こ
こでB区間が極めて短い区間(例えば5フレーム)のの
ち再び無音区間になると、次のC区間(無音区間)で、
予測係数が立ち上がる前の値を保持して擬似背景雑音を
作るため、区間Cでは実際の背景雑音とは異なった音色
の雑音になっしまい、受話者が違和感を感じてしまう。
すなわち図4の区間Aと区間Cの擬似背景雑音が異なっ
た音質になってしまい耳障りであるという欠点がある。
【0011】本発明の目的は、ADPCM音声符号化方
式における従来技術の問題点である受信側の再生音声信
号に挿入される擬似背景雑音の不自然さを解消した音声
復号装置を提供することにある。
【0012】
【課題を解決するための手段】本発明の音声復号装置
は、適応差分PCM符号化された符号化音声信号と音声
の有音区間と無音区間のいずれかを示す音声検出フラグ
とが多重変調され有声区間のみ送信された信号を受信し
て復調する受信復調器と、該受信復調器からの復調信号
を前記符号化音声信号と前記音声検出フラグとに分離す
る多重分離器と、該多重分離器からの前記音声検出フラ
グをそのまま出力するとともに音声検出フラグが有音区
間から無音区間,無音区間から有音区間に変わる毎にリ
セット信号を出力する制御器と、有音区間中は前記リセ
ット信号によりリセットされた0から立ち上がる予測係
数によって前記多重分離器からの符号化音声信号を復号
して再生音声信号を出力し、無音区間中はその無音区間
の直前の有音区間の背景雑音の予測係数によって内部で
発生させたランダム符号を復号して擬似背景雑音を出力
する適応差分PCM復号器と、前記制御器からの音声検
出フラグが入力され、有音区間中は前記適応差分PCM
復号器から前記予測係数を取り込んでフレーム毎に平均
値を算出して更新記憶し、無音区間中は予測係数平均値
の更新を中止し記憶された無音区間に入る直前の予測係
数平均値を前記背景雑音の予測係数として前記適応差分
PCM復号器に与える予測係数保持器とを備えた音声復
号装置において、受信した音声検出フラグが、音声が無
いとき誤って短時間、有音区間を示す誤りフラグであっ
たときの擬似背景雑音の音質の変化を軽減するために、
前記制御器と前記予測係数保持器との間に、前記制御器
からの音声検出フラグが有音区間継続中および無音区間
継続中はそのまま出力するとともに、無音区間から有音
区間に変わったとき、前記適応差分PCM復号器におい
て0にリセットされた予測係数の値が立ち上がって、当
該有音区間に変わる直前の無音区間の予測係数の値にほ
ぼ等しくなるまでの時間、無音区間を示す音声検出フラ
グを前記予測係数保持器に与えて予測係数の記憶更新を
中止したままにしておく補助制御器を設けたことを特徴
とするものである。
【0013】
【実施例】図1は本発明の音声復号装置の構成例図であ
る。図1において、アンテナ1、受信復調器2、多重分
離器3、ADPCM復号器4、制御器5、予測係数保持
器7、スピーカ8は従来と同じである。6は、制御器5
からの制御信号を受けて予測係数保持器7の動作を制御
する補助制御器である。7は、ADPCM復号器4の内
部変数である予測係数gを抽出してフレーム毎に平均値
を計算し、制御器5、及び補助制御器6からの制御信号
fにより平均値の記憶と更新を行い、その値hをADP
CM復号器4に与える予測係数保持器である。
【0014】次に、図1の本発明の実施例の動作につい
て説明する。補助制御器6及び予測係数保持器7の動作
以外は従来技術と同じであるため、図4を参照して従来
技術と異なるところを説明する。制御器5から音声検出
フラグによる有音,無音のいずれかを示す制御信号eを
受けた補助制御器6は、有音区間から有音区間に切り変
わったとき、リセットされた予測係数が立ち上がるまで
の間、予測係数保持器7の更新を中止させたままにして
おく保持器更新信号f、即ち無音区間を示す音声検出フ
ラグを予測係数保持器7に出力する。予測係数保持器7
は保持器更新信号fに従って更新/中止の動作を行う。
【0015】図2は本発明の要部をなす補助制御器6の
詳細ブロック図である。図において、61は制御信号e
を受けて有音区間カウンタ62の更新及びリセットをす
るカウンタ制御器である。62は有音区間をカウントす
る有音区間カウンタである。63は、有音カウンタのカ
ウント値と決められた定数の値を比較して結果を保持器
更新制御器64に出力する比較器である。64は比較器
63の比較結果を受けて保持器更新信号fを出力する保
持器更新制御器である。
【0016】次に、補助制御器6の動作について説明す
る。補助制御器6は、制御器5から入力される制御信号
e(音声検出フラグ)が無音区間から有音区間に変わっ
たときの短時間を除き、有音区間中および無音区間中を
示している間はその音声検出フラグeに対応した保持器
更新信号fを出力する。さらに、無音区間から有音区間
に変わったとき、その有音区間に変わった時点からフレ
ーム数のカウントを開始し、短時間、例えば5フレーム
区間内は引き続き無音区間を示す信号を保持器更新信号
fとして出力する。従って、保持器更新信号fを受ける
予測係数保持器7では、有音区間に変わった時点から5
フレーム以内の間は予測係数の記憶更新が中止されたま
まになる。
【0017】この引き続き無音区間を示す保持器更新信
号fを出力する時間としては、適応差分PCM復号器4
において0にリセットされた予測係数の値が立ち上がっ
て、当該有音区間に変わる直前の無音区間における背景
雑音の予測係数の値にほぼ等しくなるまでの時間が設定
される。背景雑音を符号化および復号するときの予測係
数の分布,レベルが背景雑音の音色によって異なり、一
般的には背景雑音の予測係数の値はさほど大きくないの
で、この設定時間は5フレーム(25msec)程度でよい
が、背景雑音の音色によってその予測係数の値が大きい
場合は10フレーム(50msec)にすると効果が良好で
ある。しかし、これより長い時間を設定するときには有
音区間の話頭切れの影響を考慮する必要がある。
【0018】以下、図2の詳細回路について説明する。
制御信号eを受けたカウンタ制御器61は、フレーム単
位の制御信号eが有音区間を示している間はカウンタ更
新信号kを出力して有音区間カウンタ62を順次1づつ
更新させ、無音区間を示している間はカウンタリセット
信号mを出力して有音区間カウンタ62を“0”にリセ
ットする。そして有音区間カウンタ62はその都度比較
器63にカウンタ値を出力する。比較器63には、適応
差分PCM復号器4において0にリセットされた予測係
数の値が立ち上がって、当該有音区間に変わる直前の無
音区間の背景雑音の予測係数の値にほぼ等しくなるまで
の時間を示す数値が比較定数として設定される。例え
ば、5フレーム(25msec)の場合は5が設定される。
従って、比較器63は、入力されるカウンタ値が0〜5
の範囲内かまたは5を超えたかを判定し、その比較結果
を保持器更新制御器64に出力する。
【0019】保持器更新制御器64は、上記比較結果に
従って、結果が5を超えたときは有音区間を示す保持器
更新信号fを出力して予測係数保持器7の予測係数の更
新記憶を行わせ、0〜5の範囲内のときは無音区間を示
す保持器更新信号fを出力して予測係数保持器7の予測
係数の更新を中止させる。すなわち、予測係数保持器7
は、無音区間中および無音区間から有音区間に変わって
も5フレーム(25msec)は予測係数の保持を続ける。
即ち、図4の(f)のような保持器更新信号fが出力さ
れるので従来のjの区間Bの間は更新が中止されたまま
となり、hのように無音区間AとCの予測係数の値が連
続して同じ値になり、背景雑音は変化しないので耳障り
な雑音が解消される。
【0020】
【発明の効果】以上詳細に説明したように、誤った有音
区間を示す音声検出フラグを受信しても、リセットによ
る予測係数の立ち上がり時間を考慮した時間、保持して
いる予測係数を擬似背景雑音に与えることにより聴感上
の不具合を解消することができる。
【図面の簡単な説明】
【図1】本発明の音声復号器の構成例図である。
【図2】本発明の要部をなす補助制御器の構成例図であ
る。
【図3】従来の音声復号器の構成例図である。
【図4】各信号の時間変化を示すタイムチャートであ
る。
【符号の説明】
1 アンテナ 2 受信復調器 3 多重分離器 4 ADPCM復号器 5 制御器 6 補助制御器 7 予測係数保持器 8 スピーカ a 復調信号 b 音声検出フラグ c ADPCM符号化信号 d 制御信号 e 制御信号 f 保持器更新制御信号 g 予測係数 h 保持されていた予測係数 i 予測係数 k カウンタ計算信号 m カウンタリセット信号 61 カウンタ制御器 62 有音区間カウンタ 63 比較器 64 保持器更新制御器

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 適応差分PCM符号化された符号化音声
    信号と音声の有音区間と無音区間のいずれかを示す音声
    検出フラグとが多重変調され有声区間のみ送信された信
    号を受信して復調する受信復調器と、該受信復調器から
    の復調信号を前記符号化音声信号と前記音声検出フラグ
    とに分離する多重分離器と、該多重分離器からの前記音
    声検出フラグをそのまま出力するとともに音声検出フラ
    グが有音区間から無音区間,無音区間から有音区間に変
    わる毎にリセット信号を出力する制御器と、有音区間中
    は前記リセット信号によりリセットされた0から立ち上
    がる予測係数によって前記多重分離器からの符号化音声
    信号を復号して再生音声信号を出力し、無音区間中はそ
    の無音区間の直前の有音区間の背景雑音の予測係数によ
    って内部で発生させたランダム符号を復号して擬似背景
    雑音を出力する適応差分PCM復号器と、前記制御器か
    らの音声検出フラグが入力され、有音区間中は前記適応
    差分PCM復号器から前記予測係数を取り込んでフレー
    ム毎に平均値を算出して更新記憶し、無音区間中は予測
    係数平均値の更新を中止し記憶された無音区間に入る直
    前の予測係数平均値を前記背景雑音の予測係数として前
    記適応差分PCM復号器に与える予測係数保持器とを備
    えた音声復号装置において、 受信した音声検出フラグが、音声が無いとき誤って短時
    間、有音区間を示す誤りフラグであったときの擬似背景
    雑音の音質の変化を軽減するために、 前記制御器と前記予測係数保持器との間に、前記制御器
    からの音声検出フラグが有音区間継続中および無音区間
    継続中はそのまま出力するとともに、無音区間から有音
    区間に変わったとき、前記適応差分PCM復号器におい
    て0にリセットされた予測係数の値が立ち上がって、当
    該有音区間に変わる直前の無音区間の予測係数の値にほ
    ぼ等しくなるまでの時間、無音区間を示す音声検出フラ
    グを前記予測係数保持器に与えて予測係数の記憶更新を
    中止したままにしておく補助制御器を設けたことを特徴
    とする音声復号装置。
JP17388495A 1994-06-20 1995-06-19 音声復号装置 Expired - Fee Related JP3593183B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17388495A JP3593183B2 (ja) 1994-06-20 1995-06-19 音声復号装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP6-159694 1994-06-20
JP15969494 1994-06-20
JP17388495A JP3593183B2 (ja) 1994-06-20 1995-06-19 音声復号装置

Publications (2)

Publication Number Publication Date
JPH0870285A true JPH0870285A (ja) 1996-03-12
JP3593183B2 JP3593183B2 (ja) 2004-11-24

Family

ID=26486411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17388495A Expired - Fee Related JP3593183B2 (ja) 1994-06-20 1995-06-19 音声復号装置

Country Status (1)

Country Link
JP (1) JP3593183B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000046789A1 (en) * 1999-02-05 2000-08-10 Fujitsu Limited Sound presence detector and sound presence/absence detecting method
JP2014504094A (ja) * 2010-12-14 2014-02-13 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ エンコーダおよび予測的に符号化する方法、デコーダおよび復号化する方法、予測的に符号化および復号化するシステムおよび方法、および予測的に符号化された情報信号

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000046789A1 (en) * 1999-02-05 2000-08-10 Fujitsu Limited Sound presence detector and sound presence/absence detecting method
JP2014504094A (ja) * 2010-12-14 2014-02-13 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ エンコーダおよび予測的に符号化する方法、デコーダおよび復号化する方法、予測的に符号化および復号化するシステムおよび方法、および予測的に符号化された情報信号

Also Published As

Publication number Publication date
JP3593183B2 (ja) 2004-11-24

Similar Documents

Publication Publication Date Title
US5812965A (en) Process and device for creating comfort noise in a digital speech transmission system
US5867815A (en) Method and device for controlling the levels of voiced speech, unvoiced speech, and noise for transmission and reproduction
CA2428888C (en) Method and system for comfort noise generation in speech communication
JPH0583208A (ja) 音声符号化通信方式及びその装置
JP2004527006A (ja) 分散型音声認識システムにおける音声アクティブな状態を送信するためのシステム及び方法
JPH09152894A (ja) 有音無音判別器
JPS62274941A (ja) 音声符号化方式
US6424942B1 (en) Methods and arrangements in a telecommunications system
JPH07129195A (ja) 音声復号化装置
KR100378648B1 (ko) 주변 잡음 레벨 추정 장치, 통신 장치, 데이타 터미날장치 및 주변 잡음 레벨 추정 방법
WO2000034944A1 (en) Sound decoding device and sound decoding method
JP2001506764A (ja) 遠隔通信システムにおける方法および配置
US5555546A (en) Apparatus for decoding a DPCM encoded signal
JPH0870285A (ja) 音声復号装置
US6502071B1 (en) Comfort noise generation in a radio receiver, using stored, previously-decoded noise after deactivating decoder during no-speech periods
US6240383B1 (en) Celp speech coding and decoding system for creating comfort noise dependent on the spectral envelope of the speech signal
JP4437052B2 (ja) 音声復号化装置および音声復号化方法
JP2541484B2 (ja) 音声符号化装置
JP3225256B2 (ja) 擬似背景雑音生成方法
JP3055608B2 (ja) 音声符号化方法および装置
JP3079894B2 (ja) 音声復号化装置
JPH10326100A (ja) 音声録音方法及び音声再生方法及び音声録音再生装置
JP3580906B2 (ja) 音声復号装置
JP3113455B2 (ja) 音声復号装置
JP3179687B2 (ja) 音声復号装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees