JP3632384B2 - 聴覚補助装置 - Google Patents

聴覚補助装置 Download PDF

Info

Publication number
JP3632384B2
JP3632384B2 JP20283197A JP20283197A JP3632384B2 JP 3632384 B2 JP3632384 B2 JP 3632384B2 JP 20283197 A JP20283197 A JP 20283197A JP 20283197 A JP20283197 A JP 20283197A JP 3632384 B2 JP3632384 B2 JP 3632384B2
Authority
JP
Japan
Prior art keywords
sentence
signal
sound
detects
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20283197A
Other languages
English (en)
Other versions
JPH1146398A (ja
Inventor
克文 近藤
幸司 谷高
好典 林
浩 大脇
晃 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP20283197A priority Critical patent/JP3632384B2/ja
Publication of JPH1146398A publication Critical patent/JPH1146398A/ja
Application granted granted Critical
Publication of JP3632384B2 publication Critical patent/JP3632384B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、装用者の低下した聴覚機能を補償する聴覚補助装置に関する。
【0002】
【従来の技術】
従来より、老齢化等により聴覚機能の低下した者は、低下した聴覚機能を補償する機能補助装置として補聴器を使用している。
【0003】
【発明が解決しようとする課題】
ところで、高齢者の場合には、最小可聴信号レベルの上昇,高音域の聴取機能などの伝音系機能の低下のほか音声識別機能(語音を識別する機能)などの聴覚中枢系の機能も低下している場合が多い。そして、音声識別機能の低下した高齢者等に対しては、音声信号の周波数帯域の一部または全部を増幅するだけでは、装用者の低下した聴覚機能を補償することができない。
【0004】
例えば、他人との対話における音声であれば語音を識別してその意味内容を理解できても、ラジオや駅のアナウンス等の音声であるとその意味内容を理解することができなくなるという人が多い。これは、他人との対話では話者の口元を見て、言葉(音声)が発せられることを事前に察知して、無意識の内に発せられる言葉を聞き取ろうと準備(集中)しているのであるが、ラジオや駅のアナウンス等の場合には、音声が発せられることを事前に察知することができないため、聞き取るべき音声に対して集中することができないからである。すなわち、装用者が音声の発せられることを事前に察知することができないラジオや駅のアナウンス等の場合には、装用者の低下した聴覚機能を補償できないという問題があった。
【0005】
この発明の目的は、装用者に音声信号を聞かせることを事前に知らしめ、これから聞かせる音声信号に対して集中させることにより、装用者の低下した聴覚機能を常に補償することができる聴覚補助装置を提供することにある。
【0006】
【課題を解決するための手段】
請求項1の発明は、外部から入力される外来音を集音するマイクと、入力された信号を空気振動に変換して出力するレシーバと、前記マイクで集音した外来音を順次記憶させるメモリと、前記メモリに記憶した外来音から、継続的に入力される音声の文頭を検出する文頭検出処理、前記文頭を検出したときにこれを報知する報知処理を行うとともに、前記メモリに記憶した外来音を、前記文頭検出処理および報知処理に要する時間遅延させて順次前記レシーバに出力する制御部と、を備えたことを特徴とする。
請求項2の発明は、前記制御部が、文頭検出処理において、継続的に入力される音声の文頭を検出したのち該音声の文末を検出し、文末を検出したのち次の文頭を検出することを特徴とする。
請求項3の発明は、前記制御部が行う報知処理は、報知音の発音、バイブレータによる振動、表示部への画像の表示のいずれかであることを特徴とする。
【0007】
この構成では、マイクロホンで集音された外来音は順次メモリに記憶される。また、制御部は順次メモリに記憶された外来音に対して継続的に入力された音声の文頭の検出を行い、文頭を検出したときにこれを報知させる。さらに、メモリに記憶された外来音は所定時間遅れで空気振動に変換されてレシーバから出力される。
【0008】
このように、マイクロホンで集音された外来音が所定の時間遅れでレシーバから出力されるようにしたことで、制御部による文頭検出の報知後に検出した文頭およびこの文頭に継続する音声を装用者に聞かせることができる。すなわち、装用者にこれから音声を聞かせることを事前に知らしめた後、音声を聞かせることができる。したがって、装用者は常に集中して音声(特に文頭部分)を聞くことができる。これにより、装用者の低下した聴覚機能を常に補償することができる。
【0009】
なお、人は会話やアナウンス等の全体を聞き取れなくても、その一部(特に、文頭)を聞き取ればその意味内容を理解することができる。ここで、本願発明の構成では、装用者は文頭の音声に対して最も集中することになる。したがって、装用者は少なくとも文頭部分の音声の語音を識別することができるので、全体の意味内容も十分理解することができるようになる。
【0010】
【発明の実施の形態】
図1は、この発明の実施形態である聴覚補助装置の構成を示すブロック図である。1は、この実施形態の聴覚補助装置(以下、補聴器と言う。)本体である。2は、外来音を集音するマイクロホンである。3は、マイクロホン1で集音された音声信号を所定の増幅率で増幅する前置増幅器である。4は、前置増幅器3で増幅された音声信号の高域成分をカットするアンチエリアシングフィルタである。5は、アンチエリアシングフィルタ4で高域成分のカットされた音声信号をディジタル信号に変換するA/D変換器である。6は、入力された音声信号を処理する信号処理部である。この信号処理部6がこの発明で言う制御部に相当する。7は、入力された音声信号を一時的に記憶させるメモリである。8は、メモリ7に記憶させた音声信号等のディジタル信号をアナログ信号に変換するD/A変換器である。9は、D/A変換器8におけるアナログ変換時の不連続ノイズを除去するスムージングフィルタである。10は装用者が可聴できるレベルに信号を増幅させる増幅器である。11は、レシーバであり、増幅器10で増幅されたアナログ信号を空気振動に変換して装用者の外耳道に放出する。
【0011】
以下、この実施形態の補聴器1の動作について説明する。この実施形態の補聴器1では、マイクロホン2が集音した外来音を電気信号に変換して前置増幅器3に入力する。なお、外来音とは、会話やアナウンス等の人声である音声信号や、ノイズ等からなる可聴周波数信号である。前置増幅器3は、入力された電気信号(外来音)を設定されている増幅率で増幅し、これをアンチエリアシングフィルタ4に入力する。アンチエリアシングフィルタ4は、A/D変換器5におけるA/D変換のサンプリング周波数の1/2以上の周波数をカットするローパスフィルタであり、A/D変換にともなう歪みの発生を防止するために設けている。そして、信号処理部6は、A/D変換器5でディジタル信号に変換された音声信号をメモリ7に順次記憶させていく。
【0012】
また、信号処理部6は上記した処理に加えて、メモリ7に記憶させた音声信号を所定時間(設定されている時間)経過後に順次取り出し、これをD/A変換器8に入力する。D/A変換器8では、このディジタル信号をアナログ信号に変換してスムージングフィルタ9に入力する。スムージングフィルタ9では、D/A変換器8におけるD/A変換で生じた不連続ノイズを除去する。そして、D/A変換時における不連続ノイズの除去された音声信号が増幅器10で装用者の可聴できるレベルまで増幅される。そして、レシーバ11がこの増幅された音声信号(電気信号)を空気振動に変換して装用者の外耳道に放出する。
【0013】
このように、この実施形態の補聴器1では、図2に示すようにマイクロホン2で集音した外来音(音声信号)を所定時間遅らせて装用者の外耳道に放出するようにしている。すなわち、装用者は所定時間遅れで音声信号を聞くことになる。なお、音声信号を遅らせる時間は予め設定されている。また、この遅延時間を図示していない入力部において装用者が任意に設定できる構成としてもよい。
【0014】
さらに、信号処理部6は以下の処理を実行する。図3はここで説明する制御部の処理を示すフローチャートである。補聴器1では、上記したようにマイクロホン1で集音した外来音である音声信号が順次メモリ7に記憶されていく。信号処理部6は、メモリ7に記憶されている音声信号を記憶させた順番に処理し、継続的に入力されている一連の音声信号の先頭(この発明で言う文頭)を検出する文頭検出処理を実行する(n1)。n1における文頭検出処理の詳細については後述する。なお、上記n1の処理中にも、マイクロホン2で集音した音声信号はメモリ7に順次記憶され、また、レシーバ11からメモリ7に記憶された音声信号が所定時間遅れで放出されている。n1の処理は、メモリ7に記憶された音声信号から文頭を検出したことによって終了する。
【0015】
信号処理部6はn1で文頭を検出すると、合図信号(例えば、ピーピーという音声信号)をレシーバ11から一定時間出力させる(n2)。例えば、信号処理部6にSIN波の数値テーブルを設けておき、一定時間継続してこの数値テーブルから順次読みだした値を合図信号としてD/A変換器8に入力させればよい。このようにすれば、周波数f0の純音を一定時間継続して装用者に聞かせることができる。
【0016】
このように、この実施形態の補聴器1は、レシーバ11からマイクロホン2で集音した音声信号を所定時間遅らせて出力するだけではなく、マイクロホン2で集音した音声信号から文頭の検出を行い、文頭を検出したときに合図信号出力する。この合図信号によってレシーバ11から音声信号が放出されることを装用者に知らしめることができる。したがって、装用者はこれから聞かされる音声信号に対して集中することができるようになる。これにより、装用者の低下した聴覚機能を常に補償できる。なお、マイクロホン2で集音した音声信号がレシーバ11から出力されるまでの遅延時間は、音声信号の文頭部分が合図信号の出力後にレシーバ11から放出されるように設定している。
【0017】
信号処理部6は、n2で合図信号を出力すると、n1で文頭を検出した文章と他の文章との間である文間を検出する文間検出処理を実行する(n3)。文間とは、図4に示すように入力された2つの入力音声の間である。n3における文間検出処理も、文間が検出されるまで継続して行われる。文間検出処理の詳細については後述する。信号処理部6は、文間を検出するとn1に戻って上記した処理を繰り返す。
【0018】
このように、本実施形態の補聴器1は、図4に示すようにマイクロホン2で集音された入力音声が、レシーバ11から所定時間(図に示す遅延時間)遅れて放出される。また、レシーバ11から音声信号の出力が開始される直前には、合図信号が出力される。そして、この合図信号によって、装用者にマイクロホン2で集音した音声信号をレシーバ11から放出することを事前に知らしめることができる。したがって、装用者はラジオや駅のアナウンス等であっても集中してレシーバ11から放出される音声を聞くことができるようになり、その音声を聞き取って意味内容を理解することができる。また、マイクロホン2で集音された音声信号を単に所定時間だけ遅らせてレシーバ11から出力しているだけであるため、了解度の低下していない自然で明瞭な音声信号をレシーバ11から出力させることができる。すなわち、マイクロホン2で集音した音声信号の明瞭度を低下させることなく装用者に聞かせることができる。
【0019】
次に、n1における文頭検出処理について説明する。図5は、文頭検出処理を示すフローチャートである。信号処理部6はマイクロホン2から入力されメモリ7に記憶されているN個のデータ(フレームデータ)を波形データとして取り込む(n11)。なお、ここでは、メモリ7に記憶した順に取り込む。信号処理部はn11で波形データを取り込むと、この波形データの平均パワーPを算出する(n12)。平均パワーPは、N個の各データを2乗した値の総和のN分の1である。そして、n12で算出した平均パワーPと、予め設定されている音声パワー閾値Pthとの大小を比較する(n13)。ここで、
平均パワーP≦音声閾値Pth の場合、この区間は無音区間または子音等の無声音の区間である(母音等の有声音の区間である可能性がない。)としてn11に戻りつぎの波形データを取り込んで、上記した処理を繰り返す。一方、
平均パワーP>音声閾値Pth の場合、この区間は母音等の有声音の区間である可能性がある。そこで、この区間の波形データのピッチ周期を求め(n14)、このピッチ周期からこの区間が母音等の有声音の区間であるかどうかを判定する(n15)。なお、ピッチ周期は、波形データを適当な窓幅で切り出して求めた自己相関関数から求めることができる。また、有声音の区間であるかどうかを判定する方法としては、ここで求めたピッチ周期が特定の範囲内にあるかどうかから判定すればよい(母音等の有声音と子音等の無声音とを比較すると、有声音のほうが周波数が低い(ピッチ周期が長い。)。)。したがって、n14で求めたピッチ周期が予め設定した閾値よりも短いと子音等の無声音の区間であると判定させ、この閾値よりも長いと有声音の区間であると判定させればよい。
【0020】
n15において有声音の区間でないと判定すると、n11に戻りつぎの波形データを取り込んで、上記した処理を繰り返す。一方、n15で有声音の区間であると判定すると、この有声音の区間に連続しているメモリ7に記憶されている過去の音声信号の内で最初に平均パワーPが後述する無音閾値Pth2 を越えたタイミングtaを文頭する(n16)(図6参照)。なお、図6中に示すタイミングtbが平均パワーPが音声閾値Pthを越えたタイミングである。信号処理部6は、上記したように文頭を検出するとこの処理を終了し、n2に進んでレシーバ11から合図信号を出力する。
【0021】
次に、n3の文間検出処理について説明する。図7は、文間検出処理を示すフローチャートである。信号処理部7は、図示していない時間計測カウンタをリセットする(n21)。なお、この時間計測カウンタは、信号処理部6に設けられている。そして、メモリ7に記憶されているN個のデータ(フレームデータ)を波形データとして取り込む(n22)。この波形データの取り込みも、上記した文頭検出処理の場合と同様であり、メモリ7に記憶した順に取り込む。そして、n22で取り込んだ波形データの平均パワーPを算出する(n23)。n23で算出した平均パワーPと、予め設定されている無音閾値Pth2 との大小を比較する(n24)。なお、図6に示すようにPth>Pth2 の関係にある。ここで、
平均パワーP≦無音閾値Pth2 であると、この区間は無音区間である可能性があるとして、時間計測カウンタのカウント値Lを1カウントアップする(n25)。そして、時間計測カウンタのカウント値Lが予め設定されている閾値Lthよりも大きいかどうかを判定する(n26)。ここで、
L<Lth であれば、この区間が図4に示す無声区間である可能性もあるので、n22に戻って上記した処理を繰り返す。一方、
L=Lth であれば、この区間は無音区間であると判定する。ここで、継続的に入力されていた音声信号の後に無音区間があるということは、n1で文頭が検出された文章の入力が完了していると言える。なお、この無音区間が図4に示した文間である。信号処理部6は、この文間検出処理で文間を検出すると、n1に戻って上記した文頭検出処理を開始する。
【0022】
このように、マイクロホン2で集音された音声信号は、所定時間遅延させられて出力される。また、マイクロホン2に集音された音声信号の文章毎に文頭を検出し、文頭を検出する毎に合図信号を出力するようにしているため、装用者にこれから音声信号(文章)を聞かせることを知らしめることができる。これにより、装用者はこれから聞かされる音声信号に対して集中することができる。したがって、装用者の低下した聴覚機能を常に補償することができる。
【0023】
次に、この発明の別の実施形態について説明する。図8は、この実施形態にかかる補聴器の構成を示すブロック図である。なお、図において、上記した実施形態と同様の部分については同じ符号を付した。この実施形態と上記した実施形態とで、構成上の異なる点は、表示部21と前記表示部21の表示を制御する表示制御部22とを備えている点である。
【0024】
また、動作上異なる点は、信号処理部6が上記した実施形態における合図信号に代えて、表示制御部22に対して表示データを入力する点および、表示制御部22が入力された表示データに基づく画面を表示部21に表示させる点である。すなわち、上記した実施形態では、レシーバ11から合図信号を出力することにより、装用者にこれから音声信号を聞かせることを知らしめるようにしていたが、この実施形態では表示部21に画像を表示することにより、これから音声信号を聞かせることを知らしめるようにしている。この方式でも、装用者にこれから音声信号を聞かせることを知らしめることができるため、上記した実施形態の補聴器1と同様の効果を得ることができる。
【0025】
さらに、この発明の別の実施形態について説明する。図9は、この実施形態の補聴器の構成を示すブロック図である。なお、図において、上記した2つの実施形態と同様の部分については同じ符号を付した。この実施形態と上記した2つの実施形態とで、構成上の異なる点は、バイブレータ25と、このバイブレータ25の振動を制御するドライバ26とを備えている点である(表示部21および表示制御部22は備えていない)。
【0026】
また、動作上異なる点は、信号処理部6が上記した実施形態における合図信号に代えて、ドライバ26に対してバイブレータ25を振動させるデータを入力する点である。すなわち、この実施形態では、これから音声信号を聞かせることをバイブレータ25を振動させることにより装用者に知らしめるようにしている。この方式でも、装用者にこれから音声信号を聞かせることを知らしめることができるため、上記した2つの実施形態の補聴器1と同様の効果を得ることができる。
【0027】
なお、上記した実施形態では、マイクロホン2で集音した音声信号を単に増幅してレシーバ11から放出する補聴器1で説明を行ったが、マイクロホン2で集音した音声信号を単に増幅するだけでなく、マイクロホン2で集音した音声信号に対して時間的に伸長する公知の話速変換処理を行う補聴器であっても本願発明を適用できる。
【0028】
【発明の効果】
以上のように、この発明によれば、マイクロホンで集音された外来音が所定の時間遅れでレシーバから出力されるようにしたことで、制御部による文頭検出の報知後に検出した文頭およびこの文頭に継続する音声を装用者に聞かせることができる。すなわち、装用者にこれから音声を聞かせることを事前に知らしめた後、音声を聞かせることができる。したがって、装用者は常に集中して音声(特に文頭部分)を聞くことができる。これにより、装用者の低下した聴覚機能を常に補償することができる。
【図面の簡単な説明】
【図1】この発明の実施形態である聴覚補助装置の構成を示す図である。
【図2】マイクロホンで集音された音声信号とレシーバから出力される音声信号の関係を示す図である。
【図3】この実施形態の信号処理部の処理を示すフローチャートである。
【図4】マイクロホンで集音された音声信号とレシーバから出力される信号のタイミングを示す図である。
【図5】文頭検出処理を示すフローチャートである。
【図6】マイクロホンで集音された音声信号と音声パワーとの関係を示す図である。
【図7】文末検出処理を示すフローチャートである。
【図8】この発明の他の実施形態である聴覚補助装置の構成を示す図である。
【図9】この発明の他の実施形態である聴覚補助装置の構成を示す図である。
【符号の説明】
1−聴覚補助装置(補聴器)
2−マイク
6−信号処理部
7−メモリ
11−レシーバ
21−表示部
22−表示制御部
25−バイブレータ
26−ドライバ

Claims (3)

  1. 外部から入力される外来音を集音するマイクと、
    入力された信号を空気振動に変換して出力するレシーバと、
    前記マイクで集音した外来音を順次記憶させるメモリと、
    前記メモリに記憶した外来音から、継続的に入力される音声の文頭を検出する文頭検出処理、前記文頭を検出したときにこれを報知する報知処理を行うとともに、前記メモリに記憶した外来音を、前記文頭検出処理および報知処理に要する時間遅延させて順次前記レシーバに出力する制御部と、
    を備えたことを特徴とする聴覚補助装置。
  2. 前記制御部は、文頭検出処理において、継続的に入力される音声の文頭を検出したのち該音声の文末を検出し、文末を検出したのち次の文頭を検出する請求項1に記載の聴覚補助装置。
  3. 前記制御部が行う報知処理は、報知音の発音、バイブレータによる振動、表示部への画像の表示のいずれかである請求項1または請求項2に記載の聴覚補助装置。
JP20283197A 1997-07-29 1997-07-29 聴覚補助装置 Expired - Fee Related JP3632384B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20283197A JP3632384B2 (ja) 1997-07-29 1997-07-29 聴覚補助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20283197A JP3632384B2 (ja) 1997-07-29 1997-07-29 聴覚補助装置

Publications (2)

Publication Number Publication Date
JPH1146398A JPH1146398A (ja) 1999-02-16
JP3632384B2 true JP3632384B2 (ja) 2005-03-23

Family

ID=16463922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20283197A Expired - Fee Related JP3632384B2 (ja) 1997-07-29 1997-07-29 聴覚補助装置

Country Status (1)

Country Link
JP (1) JP3632384B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001300024A (ja) * 2000-04-27 2001-10-30 Takeya Co Ltd 遊技機

Also Published As

Publication number Publication date
JPH1146398A (ja) 1999-02-16

Similar Documents

Publication Publication Date Title
CN107112026A (zh) 用于智能语音识别和处理的系统、方法和装置
US10176824B2 (en) Method and system for consonant-vowel ratio modification for improving speech perception
JP5115818B2 (ja) 音声信号強調装置
WO2008007616A1 (en) Non-audible murmur input alarm device, method, and program
CN1879150B (zh) 用于音频信号处理的系统和方法
JPH0968997A (ja) 音声処理方法及び装置
JP4134844B2 (ja) 聴覚補助装置
JP4876245B2 (ja) 子音加工装置、音声情報伝達装置及び子音加工方法
JP3961616B2 (ja) 話速変換方法および話速変換機能付補聴器
JPH08179792A (ja) 音声処理装置
JP4127155B2 (ja) 聴覚補助装置
JP3284968B2 (ja) 話速変換機能を有する補聴器
JP2008102551A (ja) 音声信号の処理装置およびその処理方法
JP3420831B2 (ja) 骨伝導音声のノイズ除去装置
JPH1146398A (ja) 聴覚補助装置
CN102222507B (zh) 一种适用于汉语语言的听力损失补偿方法及设备
JP5124768B2 (ja) 放送装置
JPH10248100A (ja) 話速変換装置
JP2870421B2 (ja) 話速変換機能を有する補聴器
JP2959468B2 (ja) 話速変換方法および話速変換機能付補聴器
JP3257379B2 (ja) 話速変換機能付補聴器
JPH08298698A (ja) 環境音分析装置
JP3292098B2 (ja) 聴覚補助装置
JP2006333396A (ja) 音声信号拡声装置
JP4005166B2 (ja) 音声信号の処理回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100107

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110107

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120107

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130107

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees