JPH10171489A - 音声認識方法 - Google Patents

音声認識方法

Info

Publication number
JPH10171489A
JPH10171489A JP8330595A JP33059596A JPH10171489A JP H10171489 A JPH10171489 A JP H10171489A JP 8330595 A JP8330595 A JP 8330595A JP 33059596 A JP33059596 A JP 33059596A JP H10171489 A JPH10171489 A JP H10171489A
Authority
JP
Japan
Prior art keywords
likelihood
state
transition
speech recognition
recognition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8330595A
Other languages
English (en)
Other versions
JP3698511B2 (ja
Inventor
Masaaki Date
正晃 伊達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP33059596A priority Critical patent/JP3698511B2/ja
Publication of JPH10171489A publication Critical patent/JPH10171489A/ja
Application granted granted Critical
Publication of JP3698511B2 publication Critical patent/JP3698511B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 認識処理量の増加を抑えて効率的に棄却判定
を行う。 【解決手段】 入力音声データD10 を認識して処理する
音声認識方法である。遷移のしやすさを表す状態遷移制
約情報D15 を作成する参照テーブル15と、認識結果候
補D12 と共に認識ゆう度D13 及び局所ゆう度D14 を算出
する認識処理部13と、入力音声データの棄却判定に用
いる参照ゆう度D16 を算出する参照ゆう度算出部14と
を備え、参照ゆう度算出部14で上記局所ゆう度D14 及
び状態遷移制約情報D15 を用いて参照ゆう度D16 を算出
し、リジェクト判定部16で、上記参照ゆう度D16 と上
記認識ゆう度D13 との比較により、入力音声データの棄
却判定を行う。他の発明は、不要語処理部24で不要語
仮説累積ゆう度D25 を算出し、これを用いて入力音声デ
ータ中の不要語または未知語の部分を検出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は音声認識装置に用い
る音声認識方法に関するものである。
【0002】
【従来の技術】
文献名(1):波辺 隆夫、塚田 聡 “音節認識を用
いたゆう度補正による未知発話のリジェクション” 電
子情報通信学会論文誌 D-II Vol.J75-D-II No.12 1992
年12月 PP.2002-2009 文献名(2):大河内 正明“Hidden Markov Model に
基づいた音声認識”日本音響学会誌42巻12号 (198
6) 音声認識装置では、高い認識精度とリアルタイム処理を
実現するため、装置が受理できる単語や文法規則等をあ
らかじめ規定することによって、認識対象を制約して認
識処理を行う。しかし、利用者が実際に装置を使用する
場合には、認識対象外の発話、言い誤り、言い直し等は
避けられない。そこで、ある発話に対する認識結果の信
頼性が低い場合には、発話を棄却するリジェクト機能が
必要になる。
【0003】リジェクト機能を付加するための方法とし
て、従来、上記文献(1)に開示される方法がある。こ
の方法では、音声を表現するモデル(一般に、音響モデ
ルと呼ばれる)として、音素や音節などのサブワード単
位のHMM(Hidden MarkovModel :隠れマルコフモデ
ル)を用いることを前提としている。HMMを用いた音
声認識方法の詳細については、上記文献(2)に開示さ
れている。サブワードモデルを連結することによって、
認識対象として規定された単語や文などの発話内容の仮
説に対するモデルを構成し、各仮説に対するモデルが入
力音声データを生成する確率(ゆう度)を計算する。こ
の計算により、最大ゆう度を与えるモデルに対応する仮
説を認識結果とする。
【0004】この認識手法にリジェクト機能を付加する
ためには、以上のような認識対象を制約して行うゆう度
計算(認識処理)の他に、入力音声を任意の音素列ある
いは音節列として認識するためのゆう度計算を行う。そ
れぞれのゆう度計算の結果得られた最大ゆう度の差を求
め、しきい値判定により入力発話のリジェクト判定を行
う。
【0005】
【発明が解決しようとする課題】しかしながら、以上述
べた従来方法では、以下に述べる問題がある。
【0006】(a) トライフォンモデル等のコンテキ
スト依存音素モデルは、音素コンテキストに依存した異
音を表現でき、比較的高い認識精度が得られるため、音
響モデルとしてよく用いられる。しかし、音響モデルと
して、このトライフォンモデル等のコンテキスト依存音
素(あるいは音節)モデルを用いる場合、リジェクト機
能を付加すると、処理量が大幅に増加する。このため、
リジェクト機能を付加することが困難であった。また、
自然な発話に対する音声認識装置の頑健性を向上させる
には、入力発話中の不要語や未知語に対処する必要があ
るが、音声認識に対する処理量と精度において十分な性
能を得ることは困難であった。
【0007】(b) 音響モデルとして、音素や音節な
どのサブワード単位のモデルを用いない場合(例えば、
単語や文節などの単位を用いる場合)、前述した従来の
方法は適用できない。
【0008】(c) 入力発話の一部に不要語や未知語
を含む場合、認識のための処理量の増加を抑えた状態
で、不要語や未知語部分を検出し、それ以外の発話部分
を精度よく認識することは困難である。上記(a)と同
ように、音響モデルとしてコンテキスト依存音素(ある
いは音飾)モデルを用いる場合は、特に処理量が大幅に
増加する。
【0009】
【課題を解決するための手段】上記課題を解決するため
に、本発明に係る音声認識方法は、入力された音声デー
タを認識して処理する音声認識方法において、音響モデ
ルを構成するHMMの任意の状態間の遷移のしやすさを
表す状態遷移制約情報を作成する参照テーブル作成手段
と、入力音声データに対する認識結果候補と共に認識ゆ
う度及び局所ゆう度を算出する認識処理手段と、入力音
声データの棄却判定に用いる参照ゆう度を算出する参照
ゆう度算出手段とを備え、上記認識処理手段で算出した
局所ゆう度及び上記参照デーブル作成手段で作成した状
態遷移制約情報を用いて参照ゆう度算出手段により参照
ゆう度を算出し、この参照ゆう度と上記認識処理手段で
算出した認識ゆう度との比較により、入力音声データの
棄却判定を行うことを特徴とする。
【0010】以上のように、局所ゆう度と状態遷移制約
情報を用いて参照ゆう度を算出することで、参照ゆう度
の算出に要する演算が加算と大小比較だけになり、棄却
判定機能の付加による処理量の増加を小さくすることが
できる。また、参照ゆう度と認識ゆう度との比較によ
り、入力音声データの棄却判定を行うため、認識のため
の処理量をほとんど増加させることなく、効率的に棄却
判定を行うことが可能になる。
【0011】また、他の発明に係る音声認識方法は、入
力された音声データを認識して処理する音声認識方法に
おいて、音響モデルを構成するHMMの任意の状態間の
遷移のしやすさを表す状態遷移制約情報を作成する参照
テーブル作成手段と、入力音声データに対する認識結果
と共に局所ゆう度及び部分仮説累積ゆう度を算出する認
識処理手段と、入力音声データ中の不要語または未知語
を処理するために用いる不要語仮説累積ゆう度を算出す
る不要語処理手段とを備え、上記認識処理手段で算出し
た局所ゆう度及び部分仮説累積ゆう度と、上記参照デー
ブル作成手段で作成した状態遷移制約情報とを用いて、
不要語処理手段により不要語仮説累積ゆう度を算出し、
この不要語仮説累積ゆう度を用いて入力音声データ中の
不要語または未知語の部分を検出し、それ以外の部分の
認識を行うことを特徴とする。
【0012】これにより、不要語仮説ゆう度の算出に要
する演算は加算と大小比較だけになり、不要語処理の付
加による処理量の増加を最小限に抑えることができる。
【0013】
【発明の実施の形態】次に本発明の実施形態を添付図面
に基づいて説明する。
【0014】[第1の実施形態] [構成及び機能]本実施形態に係る音声認識方法に用い
る音声認識装置の基本構成を図1に示す。
【0015】図1中の10は音声分析部である。この音
声分析部10は、入力音声データD10 を音響特徴パラメ
ータ時系列D11 に変換する。具体的には、LPC(Line
ar Predictive Coding)分析等の分析手法を用いて、入
力音声データD10 を数ms〜数十ms程度の短時間周期
(以後「フレーム」と呼ぶ)毎の音響特徴パラメータに
変換する。ここで音響特徴パラメータとは、音声データ
のスペクトル包格情報を表現するパラメータで、例え
ば、ケプストラム(対数スペクトルを逆フーリ工変換し
た量)やその時間変化量などである。フレーム単位に得
られる音響特徴パラメータを音響特徴パラメータ時系列
D11 とする。音声分析部10で変換された音響特徴パラ
メータ時系列D11 は、認識処理部13に入力される。な
お、上記入力音声データD10 は、マイクロフォンなどか
ら入力された音声(アナログ信号)をディジタル信号に
変換した信号である。
【0016】11は音響モデルである。この音響モデル
11は、音声を表現するモデル(HMM)の集合であ
る。モデルの言語的な単位としては、音声の任意の構成
要素(音素、音節、単語、文節など)を採用することが
可能である。また、音素や音節などのサブワードを単位
として採用した場合、コンテキスト独立/依存のどちら
のモデルでも使用することができる。つまり、リジェク
ト機能を付加するために使用する音響モデルが制限され
ることはない。本実施形態では、例としてトライフォン
モデルを使用する場合について説明する。トライフォン
モデルはコンテキスト依存音素モデルで、各々の音素に
対して前後の音素コンテキスト別に異なるモデルを用意
するものである。
【0017】12は言語モデルである。この言語モデル
12は、音声認識装置が受理可能な単語や文法規則(構
文)等を規定して、認識対象を制約するモデルである。
例えば図2に示すように、有限状態オートマトンを用い
て受理可能な単語系列を構文ネットワークの形で記述し
たものである。
【0018】13は認識処理部である。この認識処理部
13では、音声が音声認識装置に入力される以前に、即
ち認識処理を開始する以前に、音響モデル11及び言語
モデル12を用いて受理可能な発話内容の仮説を表現す
るHMMネットワークを構成しておく。このHMMネッ
トワークとは、単語の音素表記や文法規則等の制約に従
ってトライフォンモデルを連結して作成する、文字通り
HMMのネットワークである。これは、例えば図2に示
したような構文ネットワークにおいて、単語の部分をト
ライフォンモデルの連結によって作成した単語モデル
(HMM)に置き換えたものである。このようなネット
ワークを構成することによって、認識処理を効率化する
ことができる。各発話内容の仮説に対応するモデルは、
HMMネットワークの一部として表現される。音声認識
装置に発話が入力されると、HMMネットワークを用い
て各仮説に対応するモデルが音響特徴パラメータ時系列
D11を生成する確率(ゆう度)を計算する。HMMネッ
トワーク中で最大ゆう度を与える仮説を探索し、認識結
果候補D12 とする。また、このときの最大ゆう度を対数
化した最大対数ゆう度を、認識ゆう度D13 とする。ここ
で、各仮説に対するゆう度計算は、音響特徴パラメータ
時系列D11 のフレームに同期して並列に行う。各フレー
ムではHMMの各状態に対する出力確率分布計算(当該
フレームの音響特徴パラメータを出力する確率の計算)
を行い、これを対数化して局所ゆう度D14 とする。認識
ゆう度D13 は局所ゆう度D14 とHMMの状態遷移確率を
用いて、前述した従来技術文献(2)に開示されるVite
rbi アルゴリズム等の手段により算出する。
【0019】この認識処理部13で算出された認識結果
候補D12 と認識ゆう度D13 はリジェクト判定部16に出
力される。局所ゆう度D14 は参照ゆう度算出部14に出
力される。
【0020】参照ゆう度算出部14では、認識処理部1
3で算出される局所ゆう度D14 と、参照テーブル15に
格納されている状態遷移制約情報D15 を用いて参照ゆう
度D16 を算出する。
【0021】参照テーブル15は、参照ゆう度算出部1
4で用いる状態遷移制約情報D15 を格納しているテーブ
ルである。状態遷移制約情報D15 は、あらかじめ音響モ
デル11を用いて作成しておく。その作成方法は後述す
る。
【0022】リジェクト判定部16では、認識ゆう度D1
3 と参照ゆう度D16 を用いて認識結果候補D12 に対して
リジェクト判定を行い、認識結果D17 を出力する。
【0023】[音声認識方法]次に、上記構成の音声認
識装置を用いた音声認識方法を説明する。
【0024】[第1段階]まず、音響モデル11を構成
するすべてのトライフォンモデルを用いて、HMMの状
態に対するクラスタリングを行う。クラスタリングによ
り生成される各クラスタを、以後「状態クラスタ」と呼
ぶ。クラスタリングにおける距離尺度は各状態を表現す
るパラメータを用いて定義する。例えば、各状態の出力
確率分布が多次元正規分布で表されている場合、多次元
正規分布の平均ベクトル(あるいは分散べクトル)を用
いて以下のように定義する。
【0025】2つの平均ベクトル(あるいは、さらに分
散ベクトルを付加したベクトル) x=[a1 , a2 , …, an ] y=[b1 , b2 , …, bn ] に対して、距離尺度Dは D=(a1 −b1 2 +(a2 −b2 2 +…+(an
−bn 2 となる。
【0026】クラスタリング方法としては、LBGアル
ゴリズム等の一般的なクラスタリングアルゴリズムを用
いる。ここでは、より簡易な方法を以下に示す。
【0027】M個のサンプル集合X={x1 , x2 ,
…, xM }をクラスタリングする場合を考える。しきい
値Th が与えられているものとする。なお、しきい値T
h の値は実験的に決定される数値である。
【0028】まず、任意に1個のサンプル、例えばx1
を取り、これをクラスタ中心z1 (=x1 )とする。次
にxk (k=2, 3, …, M)を取り、z1 とxk との
距離D1kを計算する。この計算により、D1k≦Th であ
れば、そのxk はz1 を中心とするクラスタに属すると
判定する。また、D1k>Th であれば、そのxk を新た
なクラスタ中心Z2 とする。同ようにして、残りのサン
プルxk についてz1, z2 との距離D1k, D2kを計算
する。そして、この距離D1k, D2kのいずれかがTh
り小さければそのxk はそのクラスタに属するものと
し、そうでなければそのxk を新たなクラスタ中心z3
とする。
【0029】以上の操作を、全てのサンプル{x1 , x
2 , …, xM }に対して行い、クラスタリングを終了す
る。
【0030】[第2段階]状態クラスタ間の遷移確率
を、以下のようにして算出する。
【0031】まず、状態クラスタ間の遷移確率を定義す
る。それぞれの状態クラスタに属する各状態は、トライ
フォンモデル上では他の状態に接続されている。例え
ば、図3に示すように、状態S1 は状態S2 に、状態S
2 は状態S3 にそれぞれ接続されている。また、トライ
フォンモデルの終端状態S3 は、次に続き得るトライフ
ォンモデルの始端状態S4 , S5 , S6 にそれぞれ接続
されている。一般に、あるトライフォンモデルに対して
次に続き得るトライフォンモデルは複数存在するので、
トライフォンモデルの終端状態は複数の状態に接続され
ている。さらに、状態の接続関係には、向き(図3で示
す矢印)があり、この向きは一方の状態から他方の状態
への遷移方向を表している。このときの遷移の起こりや
すさとして、状態遷移確率が付与されている。また、各
状態には自己ループ遷移を表す接続も存在する。このよ
うなトライフォンモデル上での状態の遷移接続を、状態
クラスタに属する各状態に対して適用する。これによ
り、任意の状態クラスタ間に、構成要素の状態が作る遷
移接続の束ができる。図4はこの様子を示した例であ
る。図4において、状態クラスタ1に属する状態S
1 は、状態クラスタ2に属する状態S2 に接続されてお
り、トラフォンモデルにおいて状態S1 から状態S2
の遷移接続(状態遷移確率a12)が存在することを意味
する。図4では状態クラスタ1に属する状態から、他の
状態クラスタに属する状態への遷移接続を示した。な
お、一部においては、状態クラスタ1の内部における遷
移接続も示した。状態クラスタ間で同一の遷移方向を持
つ遷移接続を1つの束としたものが“遷移接続の束”で
ある。この遷移接続の束を用いて、状態クラスタ間の遷
移確率を次の(1)〜(3)式により定義する。
【0032】
【数1】 i,j(=1, 2, …, N):状態クラスタ番号 u,v(=1, 2, …, M):状態番号 Pij:状態クラスタiから状態クラスタjへの遷移確率 N:状態クラスタの総数 M:状態の総数 auv:状態Su から状態Sv への状態遷移確率 auu:状態Su の自己ループ遷移確率 ri :ともに状態クラスタiに属する異なる状態間にお
ける遷移接続の個数(自己ループ遷移接続は対象外) zi :状態クラスタiから他の状態クラスタへの“遷移
接続の束”の個数 qu :ある状態クラスタに属する状態Su から他の状態
クラスタに層する状態への遷移接続の個数 上式において、fij(i≠j)は、状態クラスタiから
状態クラスタjへの遷移接続の束に対する状態遷移確率
の総和を表している。ただし、遷移接続が存在しない状
態クラスタ間においては、fij=0である。また、fii
は、状態クラスタiの内部における遷移接続に対する状
態遷移確率の総和を、状態クラスタiから他の状態クラ
スタへの“遷移接続の束”の個数で割った値を表してい
る。
【0033】以上、説明した式を用いて状態クラスタ間
の遷移確率Pijを算出する。算出した状態クラスタ間の
遷移確率Pijは、対数化して重み係数(定数)Wを乗じ
る。なお、重み係数Wは後述する参照ゆう度算出部14
での動作において説明する。
【0034】以上のようにして得られたW・log P
ijに、トライフォンモデルの各状態がどの状態クラスタ
に属するかを示すヘッダ情報を付加して、状態遷移制約
情報D15とする。
【0035】<上記以外の定義方法>なお、状態クラス
タ間の遷移確率は、上述した定義方法以外に、以下に示
す定義方法によっても可能である。いずれの方法におい
ても、状態クラスタ間の遷移接続に基づいて定義してい
る点が共通している。
【0036】(a) 状態クラスタiから状態クラスタ
jへの遷移接続の束(遷移接続の束を構成する遷移接続
の個数は、1個でも構わない)が存在するか否かによっ
てfijを定義する。
【0037】これは上記(1)〜(3)式において、f
ij及びfiiを次のように定義し直すことによって得られ
る。
【0038】1) 状態クラスタiから状態クラスタjへ
の遷移接続の束が存在するならば、fij=1とする。
【0039】2) 状態クラスタiから状態クラスタjへ
の遷移接続の束が存在しないならば、fij=0とする。
【0040】3)fii=1とする。
【0041】(b) 状態クラスタiから状態クラスタ
jへの遷移接続の束を構成する遷移接続の個数によりf
ijを定義する。
【0042】これは上記(1)〜(3)式において、a
uv及びauuを auv=auu=1 と定義し直すことによって得られる。
【0043】[参照ゆう度算出部14の動作]参照ゆう
度算出部14では、次の(4),(5)式を用いて参照
ゆう度D16 を算出する。
【0044】
【数2】 ここで、 t=1のとき、cuv=1 t≠1のとき、cuv=Pij ただし、u∈i, v∈j また cuv=0のとき、log cuv=INH とする。
【0045】 t:フレーム番号 LG :参照ゆう度D16 Lg :対数ゆう度 T:フレーム総数 W:状態遷移制約情報に対する重み係数 u:フレーム番号(t−1)において、(5)式の右辺
の最大値を与える状態番号 v:任意の状態番号 Pij:状態クラスタiから状態クラスタjへの遷移確率 i, j:任意の状態クラスタ番号 Vt:認識処理部13において、フレーム番号tに出力
確率分布計算を行う状態全体の集合 b(xt ):状態vにおける音響特徴パラメータxt
出力確率(密度) Xt :フレーム番号tにおける音響特徴パラメータ INH:状態クラスタ間の遷移確率を対数化した値の下
限値(定数) (5)式において、log bv (xt )は、認識処理部1
3より局所ゆう度D14として与えられ、W・log cuv
参照テーブル15より状態遷移制約情報D15 として与え
られる。したがって、参照ゆう度算出部14で行う演算
は、加算と大小比較のみである。なお、(5)式におい
て、状態遷移制約情報に対する重み係数Wは、log cuv
とlog bv (xt )のLg (t)に寄与する割合を調節
するためのパラメータ(定数)であり、定数INHは状
態クラスタ間の遷移確率を対数化した値の下限値を設定
するためのパラメータ(定数)である。ともにその値は
実験的に決定する。
【0046】なお、参照ゆう度LG は、任意の発話内容
を表現するモデルに対する累積対数ゆう度を表す。ま
た、Lg (t)は、任意の発話内容を表現するモデルに
対する各フレームにおける局所的な対数ゆう度を表す。
【0047】(5)式において、フレーム番号(t−
1)における(5)式の右辺の最大値を与える状態番号
をuとする。log cUVは状態番号uが何であるかによっ
て、次フレーム番号tにおける(5)式の右辺の最大値
を与える状態番号の候補を制約する。状態番号uの状態
から状態番号vの状態への遷移の起こりやすさを制約と
して用いている。このような状態遷移制約によって、ト
ライフォンモデルが有する音声の時間構造を考慮した参
照ゆう度D16の算出を可能にしている。
【0048】[リジェクト判定部16の動作]リジェク
ト判定部16では、次の(6)式により入力音声データ
D10 のリジェクト判定を行う。(6)式において、リジ
ェクト判定のしきい値θは実験的に決定される。しきい
値θの値によって、入力が認識対象である場合の認識率
と、認識対象外である場合のリジェクト率が変化する。
一般に、両者はトレードオフの関係にあるので、所望の
性能に合わせてしきい値θの値を決定する。
【0049】 LM =(LG −LR )/T ……(6) LR :認識ゆう度D13 LG :参照ゆう度D16 T:フレーム総数 この式により得られた値LM としきい値θとの大きさを
比較してリジェクト判定を行う。なお、θはリジェクト
判定のしきい値である。
【0050】LM >θならば、入力をリジェクトするよ
うに判定し、認識結果D17 として、入力がリジェクトさ
れたことを示す情報を出力する。
【0051】LM ≦θならば、入力をリジェクトせず
に、認識結果D17 として、認識結果候補D12 を出力す
る。
【0052】[効果]以上のように、入力発話のリジェ
クト判定に用いる参照ゆう度D16 を、認識ゆう度D13 の
算出過程で得られる局所ゆう度D14 と、あらかじめ作成
した状態遷移制約情報D15 に基づいて算出する。これに
より、参照ゆう度D16 の算出に要する演算は加算と大小
比較だけになり、リジェクト機能の付加による処理量の
増加をきわめて小さくすることができる。また、上記の
参照ゆう度D16 は、音響モデル11が有する音声の時間
構造を考慮しつつ、種々の音響的事象に対処可能な定式
化を行って算出しているため、音素あるいは音節認識を
用いる従来の方法と同等のリジェクト精度を得ることが
できる。この結果、認識対象外の発話(認識対象語以外
の語、あるいは文法外の発話)や、せき、くしゃみなど
の非言語音、あるいはベルなどの環境音が装置に入力さ
れた場合に、認識のための処理量をほとんど増加させる
ことなく、効率的にリジェクト判定を行うことが可能に
なる。
【0053】換言すると、次のようになる。
【0054】(a)音響モデルとして、音素や音節など
のサブワードに対するコンテキスト依存モデルを用いて
も、リジェクト機能の付加による処理量の増加はほとん
どなく、処理機能を高い状態に維持することができる。
【0055】(b)音響モデルとして、いかなる言語的
単位(音素、音節、単語、文節など)のモデルを用いて
も、リジェクト機能を付加することが可能である。
【0056】(c)音素あるいは音節認識を用いる方法
(従来法)と同等のリジェクト精度を得ることができ
る。
【0057】[第2の実施形態]上記第1の実施形態で
は、認識対象語以外の語や文法外の入力発話を、全体と
して棄却する方法について説明したが、本実施形態で
は、入力発話のうち不要な部分だけを部分的に棄却する
方法について説明する。即ち、本実施形態では、入力発
話の一部に「あのー」、「えーと」等に代表される間投
詞や、「○○かな」、「○○とか」等の不要な語、ある
いは「(じょ)情報」といったような言いよどみなどを
含む場合に対処する方法について説明する。以後、間投
詞、不要な語、言いよどみ等を不要語と呼ぶ。
【0058】本実施形態に係る音声認識装置の基本構成
を図5に示す。図5において入力音声データD20 は、マ
イクロフォンなどから入力された音声(アナログ信号)
をディジタル信号に変換した信号である。入力音声デー
タD20 は、音声分析部20で音響特徴パラメータ時系列
D21 に変換され、認識処理部23に入力される。
【0059】認識処理部23では音響モデル21、言語
モデル22及び不要語処理部24を用いて認識処理を行
い、入力音声データD20 に対する認識結果D26 を出力す
る。
【0060】また、不要語処理部24では、認識処理部
23で算出される局所ゆう度D22 と部分仮説累積ゆう度
D23 、さらに参照テーブル25に格納されている状態遷
移制約情報D24 を用いて、不要語仮説累積ゆう度D25 を
算出する。不要語仮説累積ゆう度D25 は認識離処理部2
3に出力され、認識結果D26 の算出に用いられる。
【0061】以下、本実施形態に係る音声認識方法に特
有の機能を中心に説明し、第1実施形態と同様の部分に
ついては、その説明を省略する。
【0062】[言語モデル22]言語モデル22は、第
1実施形態同様に、音声認識装置が受理可能な単語や文
法規則(構文)等を規定して、認識対象を制約するモデ
ルである。例えば、図6に示すように有限状態オートマ
トンを用いて、受理可能な単語系列を構文ネットワーク
の形で記述したものである。ただし、本実施形態の言語
モデル22では、入力発話中の不要語に対処するため、
構文ネットワークの各ノードに、自己遷移として、不要
語を表現するアークを付加している。このようにするこ
とによって、任意の単語間において、不要語を受理する
ことが可能になる。
【0063】[認識処理部23]認識処理部23の機能
は、上記第1の実施形態の認識処理部13とほぼ同様で
ある。ただし、本実施形態の認識処理部23では、不要
語の部分についてはHMMによる明示的な不要語モデル
を用意せず、後述する不要語処理部24を介して各ノー
ドに自己遷移させるようになっている。つまり、不要語
処理部24を不要語モデルとして用いる。このようなネ
ットワークを構成することによって、認識処理及び不要
語処理を効率的に行う。各々の発話内容の仮説に対応す
るモデルは、仮説の任意の単語間において、不要語を受
理可能な形で、HMMネットワークの一部として表現さ
れる。音声認識装置に発話が入力されると、HMMネッ
トワークを用いて、各仮説に対応するモデルが音響特徴
パラメータ時系列D21 を生成する確率(ゆう度)を計算
する。各HMMネットワーク中で最大ゆう度を与える仮
説を探索し、認識結果D26 とする。
【0064】入力発話の一部に不要語が含まれる場合の
認識結果D26 は次のようになる。
【0065】[図6の言語モデルを用いた場合] 入力発話:「それじゃあー 東京の(こ)交通情報」 認識結果D26 :「#束京#交通情報」(#は不要語を表
す記号) 認識結果D26 に対応する最大ゆう度を対数化した最大対
数ゆう度を、以後、「認識ゆう度」と呼ぶ。ここで、各
仮説に対するゆう度計算は、音響特徴パラメータ時系列
D21 のフレームに同期して並列に行う。各フレームでは
HMMの各状態に対する出力確率分布計算(当該フレー
ムの音響特徴パラメータを出力する確率の計算)を行
い、これを対数化して局所ゆう度D22 とする。
【0066】認識ゆう度は、局所ゆう度D22 とHMMの
状態遷移確率を用いて、前述した従来技術文献(2)に
開示されているViterbi アルゴリズム等の手段により算
出する。ただし、不要語の部分は、不要語処理部24に
よりゆう度計算を行う。
【0067】不要語処理部24におけるゆう度計算方法
は後述する。認識ゆう度を算出する上での不要語処理部
24の扱いは、他の単語モデルと同様である。音響特徴
パラメータ時系列D21 のフレーム番号1から任意のフレ
ーム番号までの“発話内容の部分仮説”に対する累積対
数ゆう度を、部分仮説累積ゆう度D23 とする。部分仮説
累積ゆう度D23 は、その部分仮説の終端フレーム番号を
付加して不要語処理部24に出力される。
【0068】[不要語処理部24]不要語処理部24で
は、次の(7)〜(9)式を用いて不要語仮説累積ゆう
度D25 を算出する。以下では、不要語を表す発話内容の
部分仮説を「不要語仮説」と、この不要語仮説に対する
対数ゆう度を「不要語仮説ゆう度」と呼ぶ。不要語仮説
ゆう度の算出における始端フレーム番号及び終端フレー
ム番号をそれぞれt0 、t1 とし、このときの不要語仮
説ゆう度をLG (t1 )で表す。不要語仮説累積ゆう度
D25 は、フレーム番号(t0 −1)における部分仮説累
積ゆう度D23と、不要語仮説ゆう度LG (t1 )との和
として定義する。したがって、不要語仮説累積ゆう度D2
5 はフレーム番号1からフレーム番号t1 (不要語仮説
ゆう度の算出における終端フレーム番号)までの発話内
容の部分仮説に対する累積対数ゆう度を表している。
【0069】次に、不要語仮説ゆう度LG (t1 )につ
いて説明する。(8)式は任意の始端フレーム番号t0
に対して、異なる(Tdel +1)個の終端フレーム番号
1(=t0 +Tmin , t0 +Tmin +1, ……, t0
+Tmin +Tdel )における不要語仮説ゆう度LG (t
1 )を算出することを表している。
【0070】なお、(8)式においてLg (t1 )は、
各フレームにおける不要語仮説に対する局所的な対数ゆ
う度を表す。また、補正定数Rは、不要語仮説ゆう度の
変域を調節するためのパラメータ(定数)で、その値は
実験的に決定される。不要語仮説ゆう度LG (t1
は、[Lg (t)+R]を、始端フレーム番号t0 から
終端フレーム番号t1 まで、累積加算したものとして定
義する。不要語仮説ゆう度LG (t1 )の算出に用いる
値で、(最小フレーム数−1)Tmin と、最大フレーム
数及び最小フレーム数の差Tdel の値は、実験的に決定
する。
【0071】また、Lg (t)を定義する(9)式にお
いて、log bv (xt )は、認識処理部23より局所ゆ
う度D22 として与えられ、W・log cuvは、参照テーブ
ル25より状態遷移制約情報D24 として与えられる。こ
こで、状態遷移制約情報に対する重み係数Wは、log c
uvとlog bv (xt )のLg (t)に寄与する割合を調
節するためのパラメータ(定数)であり、定数INHは
状態クラスタ間の遷移確率を対数化した値の下限値を設
定するためのパラメータ(定数)である。ともにその値
は実験的に決定する。
【0072】これにより、不要語処理部24で行う演算
は、加算と大小比較のみとなる。
【0073】次に、(9)式におけるlog cuvの働きに
ついて説明する。
【0074】フレーム番号(t−1)において、(9)
式の右辺に最大値を与える状番号をuとする。log cuv
は状態番号uが何であるかによって、次フレーム番号t
において(9)式の右辺の最大値を与える状態番号の候
補を制約する。状態番号uの状態から状態番号vの状態
への遷移の起こりやすさを制約として用いている。この
ような状態遷移制約によって、トライフォンモデルが有
する音声の時間構造を考慮した不要語仮説ゆう度の算出
を可能にしている。不要語処理部24で算出されたフレ
ーム番号t1 における不要語仮説累積ゆう度D25 は、認
識処理部23に出力される。認識処理部23では、不要
語仮説に後続する発話内容の部分仮説に対するゆう度計
算を、不要語仮説累積ゆう度D25 を初期値とし、フレー
ム番号(t1 +1)を始端フレーム番号として行う。こ
のようにすることによって、認識処理部23における認
識ゆう度の計算は、単語仮説(単語を表す発話内容の部
分仮説)に対するゆう度と不要語仮説に対するゆう度を
同様に扱って行うことができる。
【0075】
【数3】 ここで、 t=1のとき、cuv=1 t≠1のとき、cuv=Pij ただし、u∈i, v∈j また、 t0 =1のとき、LF (t0 −1)=0 cuv=0のとき、log cuv=INH とする。
【0076】 t:フレーム番号 LB (t1 ):フレーム番号t1 における不要語仮説累
積ゆう度D25 LF (t0 −1):フレーム番号(t0 −1)における
部分仮説累積ゆう度D23 LG (t1 ):フレーム番号t1 における不要語仮説ゆ
う度 t0 :不要語仮説ゆう度の算出における始端フレーム番
号 t1 :不要語仮説ゆう度の算出における終端フレーム番
号 Tmin :不要語仮説ゆう度の算出に用いる(最小フレー
ム数−1) Tdel :不要語仮説ゆう度の算出に用いる最大フレーム
数と最小フレーム数の差 R:補正定数 T:フレーム総数 W:状態遷移制約情報に対する重み係数 u:フレーム番号(t-1) において、(9) 式の右辺に最大
値を与える状態番号 v:任意の状態番号 i, j:任意の状態クラスタ番号 Vt :認識処理部23において、フレーム番号tに出力
確率分布計算を行う状態全体の集合 bv (xt ):状態vにおける音響特徴パラメータxt
の出力確率(密度) xt :フレーム番号tにおける音響特徴パラメータ INH:状態クラスタ間の遷移確率を対数化した値の下
限値(定数) [効果]本実施形態では、入力発話の一部に不要語を含
む揚合に対処するため、不要語仮説ゆう度を、認識ゆう
度算出過程で得られる局所ゆう度D22 と、あらかじめ作
成した状態遷移制約情報D24 に基づいて算出する。これ
により、不要語仮説ゆう度の算出に要する演算は加算と
大小比較だけになり、不要語処理の付加による処理量の
増加を非常に小さくすることができる。この不要語処理
の付加による処理量の増加は、HMMによる明示的な不
要語モデル(一般に、garbage モデルと呼ばれ、種々の
不要語を1種類のHMMでモデル化するもの)を用いる
方法よりも小さく抑えることができる。
【0077】また、不要語仮説ゆう度は、音響モデル2
1が有する音声の時間構造を考慮しつつ、種々の音響的
事象に対処可能な定式化を行って算出しているため、高
い不要語検出精度を得ることができる。これにより、入
力発話の一部に不要語を含む場合に、認識のための処理
の増加を低く抑えて効率的に不要語を検出し、不要語以
外の部分の認識率を向上させることが可能になる。しか
も、不要語が入力発話の先頭、末尾、任意の単語間にお
いて複数含まれている場合にも、高い精度で不要語を検
出することができる。
【0078】換言すると、以下のようになる。
【0079】(a) 音響モデルとして、音素や音節な
どのサブワードに対するコンテキスト依存モデルを用い
ても、不要語処理の付加による処理量の増加は非常に小
さく、処理機能を高い状態に維持することができる。
【0080】(b) 音響モデルとして、いかなる言語
的単位(音素、音節、単語、文節など)のモデルを用い
ても、処理機能の低下を招くことなく、不要語処理を付
加することができる。
【0081】(c) garbage モデルを用いる場合に比
べて、不要語を表現するモデルの音響的分解能が高い。
したがって、種々の不要語の音響的バリエーションに対
処することが可能である。
【0082】(d) garbage モデルを用いていないの
で、不要語を含む多量の音声データを用いてあらかじめ
不要語モデルのパラメータ推定(学習)をする必要がな
い。このため、学習用の音声データとして用意しにくい
言いよどみ等にも対処することができるようになる。
【0083】[変形例] (1) 第2の実施形態では、入力発話の一部に不要語
が含まれる場合に対処する方法について説明したが、本
発明の音声認識方法は不要語に限らず、入力発話の一部
に未知語(認識対象語以外の語)が含まれる場合に対処
する方法としても使用可能である。その場合、図5にお
ける言語モデル22を、例えば図7に示すように記述す
る。このようにすることによって、入力発話全体を棄却
するのではなく、入力発話中の未知語部分を効果的に検
出し、未知語以外の部分の認識率を向上させることがで
きる。
【0084】例えば、図7に示した言語モデルを用いて
「ニューヨーク観光情報」と発声した場合を考える。
“ニューヨーク”が未知語である場合、本発明により
「@観光情報」(@は未知語を表す記号)という認識結
果を出力することが可能になる。
【0085】
【発明の効果】以上、詳述したように、本発明の音声認
識方法によれば、次のように効果を奏することができ
る。
【0086】(1) 局所ゆう度と状態遷移制約情報を
用いて参照ゆう度を算出することで、参照ゆう度の算出
に要する演算を低減することができ、棄却判定機能の付
加による処理量の増加を小さくすることができる。
【0087】(2) 参照ゆう度と認識ゆう度との比較
により、入力音声データの棄却判定を行うため、認識の
ための処理量をほとんど増加させることなく、効率的に
棄却判定を行うことが可能になる。
【0088】(3) 不要語仮説ゆう度の算出に要する
演算を低減することができ、不要語処理の付加による処
理量の増加を最小限に抑えることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る音声認識装置の
基本構成を示すブロック図である。
【図2】第1の実施形態の言語モデル(構文ネットワー
ク)例を示す模式図である。
【図3】トライフォンモデルにおける状態の遷移接続の
例を示す模式図である。
【図4】状態クラスタ間における遷移接続の例を示す模
式図である。
【図5】本発明の第2の実施形態に係る音声認識装置の
基本構成を示すブロック図である。
【図6】第2の実施形態の言語モデル(構文ネットワー
ク)例を示す模式図である。
【図7】本発明の変形例に係る言語モデル(構文ネット
ワーク)例を示す模式図である。
【符号の説明】
10, 20:音声分析部、11, 21:音響モデル、1
2, 22:言語モデル、13, 23:認識処理部、1
4:参照ゆう度算出部、15, 25:参照デーブル、1
6:リジェクト判定部、24:不要語処理部、D10,D20
:入力音声データ、D11,D21 :音響特徴パラメータ時
系列、D12 :認識結果候補、D13 :認識ゆう度、D14,D2
2 :局所ゆう度、D15,D24 :状態遷移制約情報、D16 :
参照ゆう度、D17,D26 :認識結果、D23 :部分仮説累積
ゆう度、D25 :不要語仮説累積ゆう度。

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 入力された音声データを認識して処理す
    る音声認識方法において、 音響モデルを構成するHMMの任意の状態間の遷移のし
    やすさを表す状態遷移制約情報を作成する参照テーブル
    作成手段と、入力音声データに対する認識結果候補と共
    に認識ゆう度及び局所ゆう度を算出する認識処理手段
    と、入力音声データの棄却判定に用いる参照ゆう度を算
    出する参照ゆう度算出手段とを備え、 上記認識処理手段で算出した局所ゆう度及び上記参照デ
    ーブル作成手段で作成した状態遷移制約情報を用いて参
    照ゆう度算出手段により参照ゆう度を算出し、この参照
    ゆう度と上記認識処理手段で算出した認識ゆう度との比
    較により、入力音声データの棄却判定を行うことを特徴
    とする音声認識方法。
  2. 【請求項2】 請求項1に記載の音声認識方法におい
    て、 上記参照ゆう度算出手段で、入力音声データの各フレー
    ム毎に、上記局所ゆう度と上記状態遷移制約情報との加
    重和を最大化するHMMの状態とその最大値を算出し、
    このときの最大値を局所参照ゆう度として、各局所参照
    ゆう度を全フレームについて累積加算することによっ
    て、上記参照ゆう度を算出することを特徴とする音声認
    識方法。
  3. 【請求項3】 入力された音声データを認識して処理す
    る音声認識方法において、 音響モデルを構成するHMMの任意の状態間の遷移のし
    やすさを表す状態遷移制約情報を作成する参照テーブル
    作成手段と、入力音声データに対する認識結果と共に局
    所ゆう度及び部分仮説累積ゆう度を算出する認識処理手
    段と、入力音声データ中の不要語または未知語を処理す
    るために用いる不要語仮説累積ゆう度を算出する不要語
    処理手段とを備え、 上記認識処理手段で算出した局所ゆう度及び部分仮説累
    積ゆう度と、上記参照デーブル作成手段で作成した状態
    遷移制約情報とを用いて、不要語処理手段により不要語
    仮説累積ゆう度を算出し、この不要語仮説累積ゆう度を
    用いて入力音声データ中の不要語または未知語の部分を
    検出し、それ以外の部分の認識を行うことを特徴とする
    音声認識方法。
  4. 【請求項4】 請求項3に記載の音声認識方法におい
    て、 上記不要語処理手段で、 入力音声データの各フレーム毎に、上記局所ゆう度と上
    記状態遷移制約情報との加重和を最大化するHMMの状
    態とその最大値を算出して、このときの最大値を局所参
    照ゆう度とし、 上記部分仮説累積ゆう度に対するフレーム番号の次フレ
    ーム番号を始端フレーム番号とし、この始端フレーム番
    号にあらかじめ設定した複数個の異なる固定フレーム数
    を加算して当該個数の終端フレーム番号を得て、 上記局所参照ゆう度に補正定数を加算した値を、始端フ
    レーム番号から終端フレーム番号まで累積加算すること
    によって、複数個の異なる不要語仮説ゆう度を算出し、 この不要語仮説ゆう度に上記部分仮説累積ゆう度を加算
    することによって、上記部分仮説累積ゆう度のフレーム
    番号に対して、上記複数個の異なるフレーム番号におけ
    る不要語仮説累積ゆう度を算出することを特徴とする音
    声認識方法。
  5. 【請求項5】 請求項3に記載の音声認識方法におい
    て、 上記認識処理手段で行う、不要語仮説に後続する発話内
    容の部分仮説に対するゆう度計算を、上記不要語仮説累
    積ゆう度を初期値とし、その不要語仮説累積ゆう度に対
    するフレーム番号の次フレーム番号を始端フレーム番号
    として行うことを特徴とする音声認裁方法。
  6. 【請求項6】 請求項1または3に記載の音声認識方法
    において、 上記参照デーブル作成手段で、音響モデルを構成するH
    MMの状態に対するクラスタリングを行い、生成された
    状態クラスタにおける各状態間の遷移接続に基づいて状
    態クラスタ間の遷移確率を算出し、HMMの各状態がど
    の状態クラスタに属するかを示すヘッダ情報を付加して
    状態遷移制約情報とすることを特徴とする音声認識方
    法。
  7. 【請求項7】 請求項6に記載の音声認識方法におい
    て、 上記状態クラスタ間の遷移確率を、任意の状態クラスタ
    に属する状態から他の状態クラスタに属する状態への遷
    移接続に対する状態遷移確率に基づいて定義することを
    特徴とする音声認識方法。
  8. 【請求項8】 請求項6に記載の音声認識方法におい
    て、 任意の状態クラスタiに属する状態から他の状態クラス
    タjに属する状態への遷移接続に対する状態遷移確率の
    総和fij(i ≠j)と、 上記任意の状態クラスタiの内部における遷移接続に対
    する状態遷移確率の総和を、当該任意の状態クラスタi
    から他のすべての状態クラスタへの遷移接続の束の数で
    割った値fiiを用いて、 他のすべての状態クラスタjについてのfij(i=jの
    場合を含む)の総和に対する、あるfij(i=jの場合
    を含む)の割合により、状態クラスタiから他の状態ク
    ラスタjへの遷移確率Pijを定義することを特徴とする
    音声認識方法。
  9. 【請求項9】 請求項6に記載の音声認識方法におい
    て、 上記状態クラスタ間の遷移確率を、任意の状態クラスタ
    iに属する状態から他の状態クラスタjに属する状態へ
    の遷移接続の個数に基づいて、定義することを特徴とす
    る音声認識方法。
  10. 【請求項10】 請求項6に記載の音声認識方法におい
    て、 上記状態クラスタ間の遷移確率を、上記任意の状態クラ
    スタiに属する状態から他の状態クラスタjに属する状
    態への遷移接続の有無に基づいて、定義することを特徴
    とする音声認識方法。
JP33059596A 1996-12-11 1996-12-11 音声認識方法 Expired - Fee Related JP3698511B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33059596A JP3698511B2 (ja) 1996-12-11 1996-12-11 音声認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33059596A JP3698511B2 (ja) 1996-12-11 1996-12-11 音声認識方法

Publications (2)

Publication Number Publication Date
JPH10171489A true JPH10171489A (ja) 1998-06-26
JP3698511B2 JP3698511B2 (ja) 2005-09-21

Family

ID=18234419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33059596A Expired - Fee Related JP3698511B2 (ja) 1996-12-11 1996-12-11 音声認識方法

Country Status (1)

Country Link
JP (1) JP3698511B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10553205B2 (en) 2017-03-09 2020-02-04 Kabushiki Kaisha Toshiba Speech recognition device, speech recognition method, and computer program product

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10553205B2 (en) 2017-03-09 2020-02-04 Kabushiki Kaisha Toshiba Speech recognition device, speech recognition method, and computer program product

Also Published As

Publication number Publication date
JP3698511B2 (ja) 2005-09-21

Similar Documents

Publication Publication Date Title
JP4301102B2 (ja) 音声処理装置および音声処理方法、プログラム、並びに記録媒体
US6125345A (en) Method and apparatus for discriminative utterance verification using multiple confidence measures
Chen et al. Advances in speech transcription at IBM under the DARPA EARS program
US8019602B2 (en) Automatic speech recognition learning using user corrections
EP2048655B1 (en) Context sensitive multi-stage speech recognition
EP1355295A2 (en) Speech recognition apparatus, speech recognition method, and computer-readable recording medium in which speech recognition program is recorded
JPH08278794A (ja) 音声認識装置および音声認識方法並びに音声翻訳装置
KR101014086B1 (ko) 음성 처리 장치 및 방법, 및 기록 매체
US6148284A (en) Method and apparatus for automatic speech recognition using Markov processes on curves
JP2000099087A (ja) 言語音声モデルを適応させる方法及び音声認識システム
JP2006215564A (ja) 自動音声認識システムにおける単語精度予測方法、及び装置
JP3535292B2 (ja) 音声認識システム
JP5161174B2 (ja) 経路探索装置、音声認識装置、これらの方法及びプログラム
JP2000075886A (ja) 統計的言語モデル生成装置及び音声認識装置
JP4048473B2 (ja) 音声処理装置および音声処理方法、並びにプログラムおよび記録媒体
JP3698511B2 (ja) 音声認識方法
JP3644797B2 (ja) 音声認識方法及び音声認識装置
JP2003345383A (ja) 音声認識装置、音声認識方法および音声認識プログラム
Huang et al. The use of tree-trellis search for large-vocabulary Mandarin polysyllabic word speech recognition
JPH09160586A (ja) ヒドン・マルコフ・モデルの学習方法
JPH0962290A (ja) 音声認識装置
JP2003345384A (ja) 音声認識装置、音声認識方法および音声認識プログラム
JPH0822296A (ja) パターン認識方法
JPH08211893A (ja) 音声認識装置
CN121902805A (zh) 用于改进语音识别的经独立于语言的词典训练的字素到音素转换器和文本到语音引擎

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050705

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090715

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100715

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110715

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees