JPH09265300A - 音声処理装置および音声処理方法 - Google Patents
音声処理装置および音声処理方法Info
- Publication number
- JPH09265300A JPH09265300A JP8075715A JP7571596A JPH09265300A JP H09265300 A JPH09265300 A JP H09265300A JP 8075715 A JP8075715 A JP 8075715A JP 7571596 A JP7571596 A JP 7571596A JP H09265300 A JPH09265300 A JP H09265300A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- noise
- unit
- data
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
する対策を容易に施すことができるようにする。 【解決手段】 コードブック記憶部31には、複数の異
なる雑音環境における雑音を含む学習用の音声それぞれ
に基づいて作成されたコードブックC1,C2,・・・が
記憶されており、選択部34では、コードブック記憶部
31に記憶されているコードブックの中から、装置が利
用される場所における雑音に対応するものが選択され、
ベクトル量子化部33に供給される。一方、特徴ベクト
ル抽出部32では、ユーザの発話に対応する、雑音を含
む音声信号から、特徴ベクトルが抽出され、ベクトル量
子化部33に供給される。ベクトル量子化部33では、
選択部34によって選択されたコードブックを用いて、
特徴ベクトル抽出部32からの特徴ベクトルがベクトル
量子化される。
Description
び音声処理方法に関する。特に、入力音声に含まれる雑
音に対する対策を施すための、複数種類の雑音対策デー
タのうちのいずれかを選択し、その雑音対策データを用
いて、入力音声を、例えば音声認識処理や符号化処理な
どすることにより、装置の耐雑音性能を向上させること
ができるようにした音声処理装置および音声処理方法に
関する。
どの、音声入力を利用した実用的な音声処理装置では、
雑音環境中で入力される音声(入力音声)を対象とし
て、音声認識処理や、符号化処理などの音声処理が行わ
れるため、入力音声に含まれる雑音に対する対策は重要
である。
あらかじめ雑音環境での音声のデータを集めて、音声処
理装置を、雑音環境化での音声に適応させるようにする
方法がある。このような方法を利用して、雑音環境下で
の性能の改善を図るものとしては、例えば、保坂他「周
囲雑音下におけるCELP符号化の品質改善」(日本音
響学会講演論文集、1-5-17, pp.265-266, 1994年10,11
月)などに記載されているような、CELP(Code Exc
ided Linear Prediction)方式による音声符号化におい
て、ベクトル量子化処理を行う際に用いるコードブック
の作成に雑音を付加した音声を用いるものなどがある。
の、いわば静的な対策に対して、音声処理を行う時点の
周囲雑音環境を推定して、それに動的に適応しようとい
うものがあり、例えばスペクトルサブトラクション法な
どが挙げられる。これは、周囲雑音を取り込む専用のマ
イクからの入力や、ユーザが発話を行ってない無音声区
間におけるマイクからの入力に基づいて、周囲の雑音環
境を推定して、この推定された雑音を、入力音声から差
し引くことによって、入力音声に含まれる周囲雑音の影
響を低減しようというものである。スペクトルサブスト
ラクション法については、例えば「Steven F. Boll, "S
uppression of Acoustic Noise in Speech Using Spect
ral Subtraction" IEEE Transaction of Acoustics, Sp
eech andSignal Processing, ASSP-27, pp.113-120, 19
79」などに、その詳細が開示されている。
置が、持ち運びが可能な、例えば携帯型の場合には、様
々な雑音環境で利用されることが予想され、従って、こ
の場合、音声処理装置では、様々な雑音環境下で入力さ
れた音声を処理する必要がある。
において音声のデータを集めて、音声処理装置を、その
雑音環境下における音声に適応させる方法では、装置が
利用される場所の雑音環境が、装置を適応させた雑音環
境に一致(または類似)している場合には、雑音に対処
することができるが、適応させた雑音環境と一致してい
ない場合には、雑音に対処することが困難であった。
どの動的に周囲の雑音環境に適応する方法によれば、環
境雑音が推定されるので、装置が利用される場所、即
ち、雑音環境が変化しても、その環境における雑音に対
処することができる。しかしながら、スペクトルサブト
ラクション法を用いる場合において、ユーザの音声を入
力するためのマイクとは別に、周囲雑音を取り込むため
のマイクを用いるときには、即ち、マイクを2つ用いる
ときには、装置が大型化、高コスト化することになる。
また、ユーザの音声を入力するためのマイクを、環境雑
音の推定にも兼用した場合には、音声区間と無音声区間
とを正確に区別する必要が生じる。そして、この区別を
正確に行うことは困難であった。
たものであり、場所に応じた環境雑音に対する対策を、
容易に行うことができるようにするものである。
理装置は、入力音声に含まれる雑音に対する対策を施す
ための、複数種類の雑音対策データを記憶している記憶
手段と、記憶手段に記憶されている雑音対策データのう
ちのいずれかを選択する選択手段と、選択手段により選
択された雑音対策データを用いて、入力音声を処理する
処理手段とを備えることを特徴とする。
音声に含まれる雑音に対する対策を施すための、複数種
類の雑音対策データを記憶している記憶手段から、いず
れかの雑音対策データを選択するステップと、その選択
された雑音対策データを用いて、入力音声を処理するス
テップとを備えることを特徴とする。
記憶手段は、入力音声に含まれる雑音に対する対策を施
すための、複数種類の雑音対策データを記憶している。
選択手段は、記憶手段に記憶されている雑音対策データ
のうちのいずれかを選択し、処理手段は、選択手段によ
り選択された雑音対策データを用いて、入力音声を処理
するようになされている。
は、入力音声に含まれる雑音に対する対策を施すため
の、複数種類の雑音対策データを記憶している記憶手段
から、いずれかの雑音対策データを選択し、その選択さ
れた雑音対策データを用いて、入力音声を処理するよう
になされている。
るが、その前に、特許請求の範囲に記載の発明の各手段
と以下の実施例との対応関係を明らかにするために、各
手段の後の括弧内に、対応する実施例(但し、一例)を
付加して、本発明の特徴を記述すると、次のようにな
る。
入力音声に、所定の処理を施す音声処理装置であって、
入力音声に含まれる雑音に対する対策を施すための、複
数種類の雑音対策データを記憶している記憶手段(例え
ば、図4に示すコードブック記憶部31や、図5に示す
標準パターン記憶部41、図6に示す確率モデル記憶部
51、図7に示すネットワークモデル記憶部61など)
と、記憶手段に記憶されている雑音対策データのうちの
いずれかを選択する選択手段(例えば、図4に示す選択
部34や、図5に示す選択部44、図6に示す選択部5
4、図7に示す選択部64など)と、選択手段により選
択された雑音対策データを用いて、入力音声を処理する
処理手段(例えば、図4に示すベクトル量子化部33
や、図5に示すDPマッチング部42、図6に示す出力
確率計算部52、図7に示す出力値計算部62など)と
を備えることを特徴とする。
入力するときに操作される操作手段(例えば、図1や図
2に示すファンクションキー7など)をさらに備え、選
択手段が、操作手段によって入力された場所に対応し
て、雑音対策データを選択することを特徴とする。
声に基づいて、場所を認識する場所認識手段(例えば、
図9に示すプログラムの処理ステップS13や、図11
に示すプログラムの処理ステップS25など)をさらに
備え、選択手段が、場所認識手段により認識された場所
に対応して、雑音対策データを選択することを特徴とす
る。
音声に、所定の処理を施す音声処理方法であって、入力
音声に含まれる雑音に対する対策を施すための、複数種
類の雑音対策データを記憶している記憶手段(例えば、
図4に示すコードブック記憶部31や、図5に示す標準
パターン記憶部41、図6に示す確率モデル記憶部5
1、図7に示すネットワークモデル記憶部61など)か
ら、いずれかの雑音対策データを選択するステップと、
その選択された雑音対策データを用いて、入力音声を処
理するステップとを備えることを特徴とする。
ものに限定することを意味するものではない。
一実施例の構成を示している。なお、この音声処理装置
は、例えば、日本語で入力された音声を、英語に翻訳し
て出力する音声翻訳装置を構成している。また、この音
声翻訳装置は、例えば、持ち運びに便利なように携帯型
とされている。
ーカ1、LCD(液晶ディスプレイ)2、マイク3、電
源スイッチ4、確定キー5、カーソルキー6、およびフ
ァンクションキー7が設けられている。
音)で出力するようになされている。即ち、スピーカ1
からは、例えば、マイク3に入力された音声の音声認識
結果や、それを英語に翻訳したものなどが、合成音で出
力されるようになされている。なお、スピーカ1から
は、例えばユーザに対し、注意を促すためのビープ音な
ども出力されるようになされている。
うになされている。即ち、LCD2には、例えばマイク
3に入力された音声の音声認識結果や、それを英語に翻
訳したものなどが表示されるようになされている。
である音声(音声波形)を、電気信号(電気的な波)で
ある音声信号に変換するようになされている。電源スイ
ッチ4は、装置の電源をオン、オフする場合に操作され
る。確認キー5は、例えば、スピーカ1やLCD2から
出力された音声認識結果や、その翻訳結果が正しい場合
に操作される。さらに、確認キー5は、例えば、LCD
2に表示された複数の項目のうちのいずれかを、カーソ
ルキー6を操作することにより選択した場合に、その選
択を確定するときなどにも操作される。
b、左キー6c、および右キー6dから構成されてい
る。上キー6a、下キー6b、左キー6c、または右キ
ー6dは、LCD2に表示されるカーソル(図示せず)
を上、下、左、または右にそれぞれ移動させる場合や、
LCD2の表示画面を下、上、右、または左にそれぞれ
スクロールさせる場合などに操作される。ファンクショ
ンキー7については、後述する。
的構成例を示している。制御部11は、電源スイッチ
4、確定キー5、カーソルキー6、およびファンクショ
ンキー7の操作に対応して、LCD2、音声認識部1
2、機械翻訳部13、および音声合成部14を制御する
ようになされている。さらに、制御部11は、音声認識
部12、機械翻訳部13、および音声合成部14とデー
タのやりとりをしながら、種々の処理を行うようにもな
されている。
音声信号が供給されるようになされており、その音声信
号を音響分析することで、マイク3に入力された音声
を、例えば連続音声認識などし、その音声認識の結果得
られる、例えば単語(または単語列)を、テキストデー
タなどの形で出力するようになされている。機械翻訳部
13は、音声認識部12からが出力する、音声認識結果
としての単語列(日本語の単語列(文章))を、英語に
機械翻訳し、その結果得られる翻訳文を、LCD2およ
び音声合成部14に出力するようになされている。音声
合成部14は、そこに入力される入力文に対応する合成
音を生成し、スピーカ1に供給するようになされてい
る。
いては、電源スイッチ4が操作されると、制御部11に
おいて、装置の電源がオンにされる。そして、マイク3
に日本語の音声が入力されると、その音声は、マイク3
により電気信号としての音声信号とされ、音声認識部1
2に供給される。音声認識部12では、マイク3に入力
された音声が音声認識され、その音声認識結果が、制御
部11および機械翻訳部13に出力される。
識結果を受信すると、それを、LCD2に供給して表示
させる。これにより、LCD2には、マイク3に入力さ
れた日本語の音声認識結果が表示される。同時に、制御
部11は、音声認識部12からの音声認識結果を、音声
合成部14にも出力する。音声合成部14では、制御部
11からの音声認識結果に対応する合成音が生成され、
スピーカ1に供給される。これにより、スピーカ1から
は、マイク3に入力された日本語の音声認識結果が、合
成音で出力される。
たはLCD2の表示を見て、その音声認識結果が正しけ
れば、確定キー5を操作する。制御部11は、確定キー
5が操作されると、音声認識部12が出力する音声認識
結果を翻訳するように、機械翻訳部13を制御する。こ
れに対応して、機械翻訳部13では、音声認識部12か
らの音声認識結果が英語に翻訳され、その翻訳文が、L
CD2および音声合成部14に出力される。これによ
り、LCD2には、マイク3に入力された日本語の音声
を英語に翻訳した翻訳文が表示される。
から翻訳文を受信すると、その翻訳文に対応する合成音
を生成し、スピーカ1に供給する。これにより、スピー
カ1からは、マイク3に入力された日本語の音声を英語
に翻訳した翻訳文が、合成音で出力される。
を操作することによってではなく、例えば、マイク3に
所定の音声を入力することによって行うようにすること
も可能である。
成例を示している。音声入力部20は、例えばアンプな
どで構成され、マイク3より供給される音声信号を、適
正なレベルに増幅して、AD変換器21に出力するよう
になされている。AD変換器21は、音声入力部20か
らのアナログの音声信号を、所定のサンプリングクロッ
クにしたがってサンプリングし、さらに量子化すること
で、ディジタルの音声信号に変換するようになされてい
る。このディジタル信号とされた音声信号は、AD変換
部21から分析部22に供給されるようになされてい
る。
信号を、音響分析することで、例えば所定の帯域ごとの
音声のパワーや、線形予測係数(LPC)、ケプストラ
ム係数などの、マイク3に入力された音声の特徴ベクト
ルを抽出するようになされている。即ち、分析部22
は、例えば複数のバンドパスフィルタでなるフィルタバ
ンクにより、音声信号を所定の帯域ごとにフィルタリン
グし、そのフィルタリング結果を、整流、平滑化するこ
とで、所定の音声の帯域ごとのパワーを求めるようにな
されている。あるいは、分析部22は、音声信号に対
し、例えば線形予測分析処理を施すことで、線形予測係
数を求め、また、その線形予測係数からケプストラム係
数(LPCケプストラム)を求めるようになされてい
る。
した後、その特徴ベクトルを、そのまま、あるいは、ベ
クトル量子化することによりスカラ量であるコードにし
て、認識部23に出力するようになされている。即ち、
分析部22において、ベクトル量子化が行われる場合に
は、あらかじめ収集した学習用の音声に基づいて作成さ
れた所定数のセントロイドを有するコードブックから、
特徴ベクトルとの距離が最も近いセントロイドが検出さ
れ、そのセントロイドに割り当てられたコードが出力さ
れる。
の微小区間であるフレーム単位で音響分析されるように
なされており、従って、音声の特徴ベクトルは、フレー
ム単位で得られるようになされている。
それをベクトル量子化して得られるコードを、両方含め
て、特徴量という。
基づき、例えばDP(Dynamic Proguramming)マッチン
グ法や、HMM(Hidden Markov Model)法、ニューラ
ルネットワークを用いる方法(以下、適宜、ニューラル
ネットワーク法という)などの所定の音声認識アルゴリ
ズムにしたがって、マイク3に入力された音声を、単語
辞書記憶部24に記憶された単語を対象として、文法規
則記憶部25に記憶された文法規則を参照しながら、音
声認識するようになされている。
量を入力パターンとし、この入力パターンと、テンプレ
ートと呼ばれる標準パターンとを、時間軸伸縮を行いな
がらマッチングすることによって音声認識を行うもので
あり、例えば、入力パターンとの距離を最も短くする標
準パターンに対応する文字(文字列)が音声認識結果と
される。
デル(HMM)によって音声認識を行うものであり、例
えば、音声の特徴量の系列が観測される確率が最も高い
確率モデルに対応する単語(文字列)が音声認識結果と
される。
模倣するネットワークモデルによって音声認識を行うも
のであり、ネットワークモデルに対して音声の特徴量を
与えたときに、そこから出力されるデータに基づいて、
音声認識結果が決定される。
いて音声認識の対象とする単語が登録された単語辞書が
記憶されている。文法規則記憶部25には、単語辞書記
憶部24に記憶された単語の並びを制限するための文法
規則が記憶されている。
は、マイク3から出力されたアナログの音声信号は、音
声入力部20、さらにはAD変換部21を介すること
で、ディジタルの音声信号とされ、分析部22に供給さ
れる。分析部22では、AD変換部21からの音声信号
が音響分析され、これにより、音声の特徴量が抽出され
て、認識部23に供給される。認識部23では、分析部
22からの特徴量に基づき、マイク3に入力された音声
が、単語辞書記憶部24に記憶された単語を対象とし
て、文法規則記憶部25に記憶された文法規則により単
語の並びを制限しながら音声認識され、その音声認識結
果が出力される。
声認識部12においては、マイク3に入力される音声
(入力音声)に含まれる、種々の環境雑音に対する対策
が、例えば、以下のような方法で施されるようになされ
ている。
てベクトル量子化が行われる場合に、そのベクトル量子
化に用いるコードブックを、複数の異なる雑音環境にお
ける雑音を含む学習用の音声それぞれに基づいて作成す
ることにより、複数の雑音環境ごとに用意し、ベクトル
量子化の際には、装置が利用される場所の環境雑音に対
応するコードブックを選択して用いるようにする。
において発話されたものの他、例えば、防音室などで発
話された、雑音が含まれない音声に、各雑音環境におけ
る雑音を重畳したものなどを用いることが可能である。
Pマッチング法にしたがって音声認識が行われる場合
に、その音声認識に用いる標準パターンのセットを、複
数の異なる雑音環境における雑音を含む学習用の音声そ
れぞれに基づいて作成することにより、複数の雑音環境
ごとに用意し、音声認識の際には、装置が利用される場
所の環境雑音に対応する標準パターンのセットを選択し
て用いるようにする。
MM法にしたがって音声認識が行われる場合に、その音
声認識に用いる確率モデル(HMM)のセットを、複数
の異なる雑音環境における雑音を含む学習用の音声それ
ぞれに基づいて作成することにより、複数の雑音環境ご
とに用意し、音声認識の際には、装置が利用される場所
の環境雑音に対応する確率モデルのセットを選択して用
いるようにする。
Recognition of Noisy Speech by using the Compositi
on of Hidden Markov Models" (日本音響学会講演論文
集、1-7-10, pp.65-66, 1992年10月)などに開示されて
いるように、無雑音環境で収録した音声を用いて学習を
行うことにより得られた確率モデルと、様々な環境雑音
を用いて学習を行うことにより得られた確率モデルとか
ら、各雑音環境に対応した確率モデルを合成するように
することも可能である。
ューラルネットワーク法にしたがって音声認識が行われ
る場合に、その音声認識に用いるネットワークモデルの
セットを、複数の異なる雑音環境における雑音を含む学
習用の音声それぞれに基づいて作成することにより、複
数の雑音環境ごとに用意し、音声認識の際には、装置が
利用される場所の環境雑音に対応するネットワークモデ
ルのセットを選択して用いるようにする。
処する場合の、図3の分析部22の構成例を示してい
る。コードブック記憶部31には、複数の異なる雑音環
境における雑音を含む学習用の音声それぞれに基づいて
作成されたコードブックC1,C2,・・・が記憶されて
いる。なお、コードブック記憶部31には、雑音を含ま
ない音声から作成されたコードブックも含めるようにす
ることが可能である。
供給された音声信号から、特徴ベクトルを抽出し、ベク
トル量子化部33に供給するようになされている。ベク
トル量子化部33は、コードブック記憶部31から、後
述する選択部34を介して供給されるコードブックを用
い、特徴ベクトル抽出部32より供給される特徴ベクト
ルをベクトル量子化し、その結果得られるコードを出力
するようになされている。選択部34には、制御部11
(図2)から制御信号が供給されるようになされてお
り、選択部34は、その制御信号にしたがって、コード
ブック記憶部31に記憶されている、いずれかのコード
ブックを選択し、ベクトル量子化部33に供給するよう
になされている。
選択部34において、制御部11からの制御信号にした
がって、コードブック記憶部31に記憶されているコー
ドブックのうちのいずれか1つが選択され、ベクトル量
子化部33に供給される。一方、特徴ベクトル抽出部3
2では、マイク3より供給された音声信号から、特徴ベ
クトルが抽出され、ベクトル量子化部33に供給され
る。ベクトル量子化部33では、選択部34によって選
択されたコードブックを用いて、特徴ベクトル抽出部3
2からの特徴ベクトルがベクトル量子化され、その結果
得られるコードが出力される。
音に対処する場合の、図3の認識部23の構成例を示し
ている。標準パターン記憶部41には、複数の異なる雑
音環境における雑音を含む学習用の音声それぞれに基づ
いて作成された標準パターンのセットP1,P2,・・・
が記憶されている。なお、標準パターン記憶部41に
は、雑音を含まない音声から作成された標準パターンの
セットも含めるようにすることが可能である。
供給される、例えば特徴ベクトルの系列を、入力パター
ンとし、この入力パターンと、標準パターン記憶部41
から、後述する選択部44を介して供給される標準パタ
ーンそれぞれとの距離を、時間軸正規化を行いながら計
算し、判定部43に出力するようになされている。判定
部43は、DPマッチング部42より供給される距離の
中の最も短いものを検出し、その距離が得られた標準パ
ターンに対応する単語を、音声認識結果として出力する
ようになされている。
選択部44において、制御部11からの制御信号にした
がって、標準パターン記憶部41に記憶されている標準
パターンのセットのうちのいずれか1つが選択され、D
Pマッチング部42に供給される。そして、DPマッチ
ング部42では、分析部22より供給される特徴ベクト
ルの系列が、入力パターンとされ、この入力パターン
と、選択部44から供給される標準パターンそれぞれと
の距離が計算されて、判定部43に出力される。判定部
43では、DPマッチング部42より供給される距離の
うち、値の最も小さいものが検出され、その距離が得ら
れた標準パターンに対応する単語が出力される。
音に対処する場合の、図3の認識部23の構成例を示し
ている。確率モデル記憶部51には、複数の異なる雑音
環境における雑音を含む学習用の音声それぞれに基づい
て作成された確率モデルのセットM1,M2,・・・が記
憶されている。なお、確率モデル記憶部51には、雑音
を含まない音声から作成された確率モデルのセットも含
めるようにすることが可能である。
4を介して供給される確率モデルそれぞれにおいて、分
析部22より供給される、例えばコードの系列が観測さ
れる確率(以下、適宜、出力確率という)を計算し、判
定部53に出力するようになされている。判定部53
は、出力確率計算部52より供給される出力確率のう
ち、最も確率の高いものを検出し、その出力確率が得ら
れた確率モデルに対応する単語を、音声認識結果として
出力するようになされている。
選択部54において、制御部11からの制御信号にした
がって、確率モデル記憶部51に記憶されている確率モ
デルのセットのうちのいずれか1つが選択され、出力確
率計算部52に供給される。そして、出力確率計算部5
2では、分析部22より供給されるコードの系列が、選
択部54から供給される確率モデルから観測(出力)さ
れる出力確率が計算され、判定部53に出力される。判
定部53では、出力確率計算部52より供給される出力
確率のうち最も値の大きいものが検出され、その出力確
率が得られた確率モデルに対応する単語が出力される。
音に対処する場合の、図3の認識部23の構成例を示し
ている。ネットワークモデル記憶部61には、複数の異
なる雑音環境における雑音を含む学習用の音声それぞれ
に基づいて作成されたネットワークモデルのセット
N1,N2,・・・が記憶されている。なお、ネットワー
クモデル記憶部61には、雑音を含まない音声から作成
されたネットワークモデルのセットも含めるようにする
ことが可能である。
を介して供給される各ネットワークモデルに対し、分析
部22より供給される、例えばコードの系列を与え、こ
れにより各ネットワークモデルから得られる出力値を、
判定部63に出力するようになされている。判定部63
は、出力値計算部62より供給される出力値に基づい
て、音声認識結果としての単語を決定するようになされ
ている。
選択部64において、制御部11からの制御信号にした
がって、ネットワークモデル記憶部61に記憶されてい
るネットワークモデルのセットのうちのいずれか1つが
選択され、出力値計算部62に供給される。そして、出
力値計算部62では、分析部22より供給されるコード
の系列が、選択部64から供給されるネットワークモデ
ルに対して、入力値として与えられ、その結果得られる
出力値が、判定部63に出力される。判定部63では、
出力値計算部62より供給される出力値に基づいて、音
声認識結果が決定される。
認識部12において有効な雑音対策が施されるようにす
るためには、装置が利用される環境雑音に適合するコー
ドブックや、標準パターンのセット、確率モデルのセッ
ト、ネットワークモデルのセット(このように雑音に対
処するためのデータ(雑音に対する対策を施すためのデ
ータ)を、以下、適宜、雑音対策データという)を、選
択部34や、44,54,64に選択させるようにする
必要がある(装置が利用される環境雑音(あるいはそれ
に類似する雑音)を含む音声を用いて作成された雑音対
策データ)を選択させるようにする必要がある)。
場所を、例えば以下のようにして認識し、その認識した
場所における環境雑音に適合する雑音対策データを選択
するための制御信号を、選択部34や、44,54,6
4に供給するようになされている。なお、複数の雑音対
策データそれぞれには、それに対応する場所(雑音環
境)が対応付けられており、選択部34,44,54,
64では、制御部11からの制御信号に対応する場所と
対応付けられている雑音対策データが選択されるように
なされている。
ンキー7は、例えば「飛行機」や、「列車」、「レスト
ラン」、「空港」、「ホテル」などの種々の場所を表す
キーで構成されており、そのようなキーのうち、装置を
利用する場所に対応するものが、ユーザにより操作され
ると、そのキー操作に対応する操作信号が、ファンクシ
ョンキー7から制御部11に出力される。制御部11で
は、この操作信号に基づいて、装置が利用される場所が
認識される。
ファンクションキー7が上述したように構成される場合
の、図2の音声翻訳装置の動作について説明する。この
場合、まず最初に、ステップS1において、ファンクシ
ョンキー7が操作されたかどうかが、制御部11によっ
て判定される。ステップS1において、ファンクション
キー7が操作されていないと判定された場合、ステップ
S1に戻る。
ョンキー7が操作されたと判定された場合、ステップS
2に進み、制御部11は、その操作に対応した雑音対策
データを選択させるための制御信号を、音声認識部12
に出力する。即ち、制御部11では、ファンクションキ
ー7からの操作信号に基づいて、装置が利用される場所
が認識され、その場所における雑音に適合する雑音対策
データを選択するための制御信号が出力される。その
後、ステップS3に進み、音声翻訳装置では、上述した
ような、日本語の入力音声を英語に翻訳する音声翻訳処
理が行われる。
の文例に対応する対訳が表示されるようになされている
翻訳装置の中には、どのような場面(例えば、「泊ま
る」や、「食べる」など)で用いられる文例の対訳を得
たいのかを、ユーザに選択させるようになされているも
のがあり(例えば、富士ゼロックス社製の電子翻訳機
「流暢」など)、このようにした場合、ユーザに提示す
る文例数が少なくなり、ユーザによる文例の選択の容易
化を図ることができる。
キー7からの操作信号に基づいて認識した、装置が利用
される場所を、機械翻訳部13に報知させるようにし、
また、機械翻訳部13には、その場所を考慮した翻訳を
行わせるようにすることができる。この場合、有効な雑
音対策により、音声認識部12における音声の認識率を
向上させることができる他、機械翻訳部13における翻
訳の精度も向上させることができる。
ー7の操作に対応して、装置が利用される場所を認識す
るようにしたが、その他、装置が利用される場所は、例
えば、マイク3に入力される音声に基づいて認識するよ
うにすることも可能である。
ユーザにより、例えば、食べ物の名称などが発話される
ことが予想される。そこで、このような食べ物の名称を
表す単語をキーワードとしておき、キーワードと、その
キーワードが発話されることが予想される場所とを、あ
らかじめ対応付けておくことで、マイク3に入力された
音声から、場所を認識(推定)することが可能となる。
話されることが予想される場所とを、あらかじめ対応付
けて記憶させたデータベースを、キーワードデータベー
スとし、このキーワードデータベースが、制御部11に
内蔵されているとした場合の音声翻訳装置の動作につい
て、図9のフローチャートを参照して説明する。
と、ステップS11において、音声認識部12により、
その音声が音声認識される。この音声認識結果は、制御
部11に供給され、制御部11は、音声認識部12から
音声認識結果を受信すると、ステップS12において、
キーワードデータベースを参照して、音声認識結果に含
まれる単語から、キーワードを検出する。そして、ステ
ップS13に進み、制御部11は、再度、キーワードデ
ータベースを参照することで、検出したキーワードと対
応付けられている場所を検出し、その場所を、装置が利
用されている場所として認識(推定)する。さらに、制
御部11は、ステップS14において、認識された場所
における雑音に適合する雑音対策データを選択するため
の制御信号を出力する。その後、ステップS15に進
み、音声翻訳装置では、上述したような、日本語の入力
音声を英語に翻訳する音声翻訳処理が行われる。
7を操作する必要がないので、装置が利用される場所に
応じての、雑音対策データの選択を、ユーザに意識させ
ずに、容易に行うことが可能となる。さらに、この場
合、ファンクションキー7を設ける必要がなくなるの
で、装置の小型化を図ることが可能となる。
に連続音声認識が行われるので、その音声認識結果から
は、複数のキーワードが検出され、それぞれに対応付け
られた場所が異なることがあるが、このような場合に
は、例えば、多数決などによって、装置が利用されてい
る場所を決定するようにすることが可能である。
ではなく、孤立単語音声認識を行わせるようにすること
が可能であり、この場合、音声認識部12から出力され
る音声認識結果は単語あるから、その単語がキーワード
となっているときには、そのキーワードと対応付けられ
ている場所を、そのまま、装置が利用されている場所と
認識するようにすれば良い。
に、キーワードとなっている単語が1つしか含まれない
場合には、装置が利用される場所の認識が困難なことが
ある。即ち、例えば単語「チェックイン」などは、ホテ
ルのフロントにおいて発話される場合もあるし、空港の
カウンタにおいて発話される場合もある。従って、単語
「チェックイン」がキーワードとされている場合におい
て、音声認識部12の音声認識結果に含まれるキーワー
ドが、「チェックイン」だけのときには、装置が利用さ
れている場所が、ホテルまたは空港のうちのいずれであ
るのか判断するのが困難である。
ている場所の特定が可能となるまで、ユーザの発話か
ら、単語を検出させる(複数の単語を検出させる)よう
にすることができる。
におけるチェックインであれば、カテゴリ「部屋の種
類」や、「料金」、「宿泊日数」などを表す単語を含む
音声が発話されることが予想される。また、例えば、空
港(飛行機)におけるチェックインであれば、カテゴリ
「搭乗ゲート」や「出発時刻」などを表す単語を含む音
声が発話されることが予想される。
とが予想される単語のカテゴリの集合(上述したよう
に、ホテルであれば、「部屋の種類」、「料金」、およ
び「宿泊日数」などの集合、また、空港であれば、「搭
乗ゲート」および「出発時刻」などの集合)(以下、適
宜、対話テンプレートという)を、その場所と対応付け
ておき、いずれかの対話テンプレートにおけるすべての
カテゴリに属する単語が、ユーザの発話から検出された
場合に、その対話テンプレートに対応付けられた場所
を、装置が利用されている場所として認識(推定)する
ようにする。
所とが対応付けられたものをテンプレートデータベース
とし、このテンプレートデータベースが、制御部11に
内蔵されているとした場合の音声翻訳装置の動作につい
て、図11のフローチャートを参照して説明する。
と、ステップS21において、音声認識部12により、
その音声が音声認識される。この音声認識結果は、制御
部11に供給され、制御部11は、音声認識部12から
音声認識結果を受信すると、ステップS22において、
その音声認識結果を単語単位にし、さらに、ステップS
23において、その単語を、内蔵する単語記憶部(図示
せず)に記憶させる。
おいて、テンプレートデータベースに記憶されている各
対話テンプレートにおけるカテゴリ(以下、適宜、テン
プレートカテゴリという)と、単語記憶部に記憶された
単語とを比較し、いずれかの対話テンプレートにおける
テンプレートカテゴリに属する単語すべてが、単語記憶
部に記憶されたかどうかを判定する。ステップS24に
おいて、いずれかの対話テンプレートにおけるテンプレ
ートカテゴリに属する単語すべてが、単語記憶部に記憶
されていないと判定された場合、ステップS21に戻
り、ユーザからの音声の入力を待って、再び、ステップ
S21からの処理を繰り返す。
の対話テンプレートにおけるテンプレートカテゴリに属
する単語すべてが、単語記憶部に記憶されたと判定され
た場合、即ち、いずれかの対話テンプレートにおけるす
べてのカテゴリに属する単語が、ユーザの発話から検出
された場合、ステップS25に進み、制御部11におい
て、その対話テンプレートと対応付けられた場所が、装
置が利用されている場所として認識(推定)される。そ
して、制御部11は、ステップS26において、認識さ
れた場所における雑音に適合する雑音対策データを選択
するための制御信号を出力する。その後、ステップS2
7に進み、音声翻訳装置では、上述したような、日本語
の入力音声を英語に翻訳する音声翻訳処理が行われる。
ト」に対応付けられた対話テンプレートにおけるカテゴ
リが、「部屋の種類」、「料金」、および「宿泊日数」
であれば、ユーザの発話から、部屋の種類(例えば、
「スイートルーム」など)、料金(例えば、「○○円」
など)、および宿泊日数(例えば、「××日」など)を
表す単語が検出された場合、装置が利用されている場所
が、ホテルのフロントであると認識されることになる。
確に認識することが可能となる。
対話テンプレートにおけるテンプレートカテゴリに属す
る単語すべてが、単語記憶部に記憶された場合に、その
対話テンプレートに対応付けられた場所を、装置が利用
されている場所として認識するようにしたが、その他、
例えば、いずれかの対話テンプレートにおけるテンプレ
ートカテゴリに属する単語のうちの所定数以上が、単語
記憶部に記憶された場合に、その対話テンプレートに対
応付けられた場所を、装置が利用されている場所として
認識するようにすることも可能である。
された順番は考慮するようにしなかったが、この順番
を、何らかの形で考慮するようにすることなども可能で
ある。
タル携帯電話機の一実施例の構成を示している。この携
帯電話機は、マイク71、スピーカ72、音声信号処理
回路73、時分割多重回路74、変復調回路75、無線
回路76、アンテナ77から構成されている。
た場合、その音声は、マイク71において電気信号であ
る音声信号とされ、音声信号処理回路73に供給され
る。音声信号処理回路73では、マイク71からの音声
信号がA/D変換され、さらに、そのデータ量を低減さ
せるために、例えば、VSELP(Vector Sum Excited
Linear Prediction)方式などで音声符号化が行われ、
その結果得られる符号化データが、時分割多重回路74
に出力される。時分割多重回路74は、同一搬送波周波
数で複数のチャンネルを使用することができるようにす
るため、ディジタルデータを短い期間のデータ(スロッ
ト)に区切り、変復調回路75との間で、このスロット
を他のスロットと衝突しないように時間をずらして送受
信するようになされており、従って、音声信号処理回路
73からの符号化データは、時分割多重回路74を介す
ることで、スロット単位で、変復調回路75に供給され
る。
からの符号化データが、例えば、QPSK(Quadrature
Phase Shift Keying)変調方式などで変調される。そ
の結果得られる変調信号は、変復調回路75から無線回
路76に供給される。無線回路76では、変復調回路7
5からの変調信号が増幅され、アンテナ77より放射さ
れる。
アンテナ77で受信され、その受信信号は、無線回路7
6を介することにより増幅され、変復調回路75に供給
される。変復調回路75は、無線回路76からの信号
を、例えばQPSK復調し、その結果得られる復調信号
を、時分割多重回路74に出力する。この復調信号は、
スロット単位となっているので、時分割多重回路74
は、そのスロット単位の復調信号を、元の状態に戻し、
音声信号処理回路73に出力する。音声信号処理回路7
3では、時分割多重回路74からの信号が復号化され、
さらに、その結果得られるディジタルの音声信号がD/
A変換されることによりアナログの音声信号とされ、ス
ピーカ72に供給される。これにより、スピーカ72か
らは、相手方の音声が出力される。
上述したように、音声信号処理回路73において、音声
のデータ量を圧縮するために、音声符号化処理が行われ
る。ここでは、VSELP方式による音声符号化が行わ
れるものとしたが、このVSELP方式では、ベクトル
量子化が行われる。従って、音声信号処理回路73にお
いて、上述した第1の方法にしたがって、例えば、自動
車や、電車、オフィスなどの、携帯電話を利用する場所
に応じて、ベクトル量子化に用いるコードブックを作成
し、これを選択するようにすることで、有効な雑音対策
を施すことが可能となる。
ジタル携帯電話機に適用した場合について説明したが、
本発明は、この他にも、音声入力が可能なあらゆる装置
に適用可能である。
用可能であるが、携帯されることにより、様々な環境雑
音下で利用される携帯型の装置に、特に有用である。
2において、DPマッチング法、HMM法、またはニュ
ーラルネットワーク法にしたがって音声認識を行うよう
にしたが、音声認識部12において用いる音声認識アル
ゴリズムは、これらに限定されるものではない。
音声を英語に翻訳するようにしたが、翻訳の対象とする
言語は、日本語や英語に限定されるものではない。
求項12に記載の音声処理方法によれば、入力音声に含
まれる雑音に対する対策を施すための、複数種類の雑音
対策データを記憶している記憶手段から、いずれかの雑
音対策データが選択され、その選択された雑音対策デー
タを用いて、入力音声が処理される。従って、場所に応
じた環境雑音に対する有効な対策を施すことが可能とな
り、その結果、装置の耐雑音性能を向上させることが可
能となる。
成を示す斜視図である。
ック図である。
図である。
ある。
ある。
図である。
ブロック図である。
ローチャートである。
ローチャートである。
フローチャートである。
実施例の構成を示すブロック図である。
源スイッチ, 5 確認キー, 6 カーソルキー,
7 ファンクションキー, 11 制御部,12 音声
認識部, 13 機械翻訳部, 14 音声合成部,
20 音声入力部, 21 AD変換部, 22 分析
部, 23 認識部, 24 単語辞書記憶部, 25
文法規則記憶部, 31 コードブック記憶部, 3
2 特徴ベクトル抽出部, 33 ベクトル量子化部,
34 選択部, 41 標準パターン記憶部, 42
DPマッチング部, 43 判定部, 44 選択
部, 51 確率モデル記憶部, 52 出力確率計算
部, 53 判定部, 54 選択部, 61 ネット
ワークモデル記憶部, 62 出力値計算部, 63
判定部, 64 選択部, 71 マイク, 72 ス
ピーカ, 73 音声信号処理回路, 74 時分割多
重回路, 75 変復調回路, 76 無線回路, 7
7 アンテナ
Claims (12)
- 【請求項1】 入力音声に、所定の処理を施す音声処理
装置であって、 前記入力音声に含まれる雑音に対する対策を施すため
の、複数種類の雑音対策データを記憶している記憶手段
と、 前記記憶手段に記憶されている前記雑音対策データのう
ちのいずれかを選択する選択手段と、 前記選択手段により選択された前記雑音対策データを用
いて、前記入力音声を処理する処理手段とを備えること
を特徴とする音声処理装置。 - 【請求項2】 前記選択手段は、装置が利用される場所
に対応して、前記雑音対策データを選択することを特徴
とする請求項1に記載の音声処理装置。 - 【請求項3】 前記場所を入力するときに操作される操
作手段をさらに備え、 前記選択手段は、前記操作手段によって入力された前記
場所に対応して、前記雑音対策データを選択することを
特徴とする請求項2に記載の音声処理装置。 - 【請求項4】 前記入力音声に基づいて、前記場所を認
識する場所認識手段をさらに備え、 前記選択手段は、前記場所認識手段により認識された前
記場所に対応して、前記雑音対策データを選択すること
を特徴とする請求項2に記載の音声処理装置。 - 【請求項5】 前記場所認識手段は、前記入力音声に含
まれる単語に基づいて、前記場所を認識することを特徴
とする請求項4に記載の音声処理装置。 - 【請求項6】 前記場所認識手段は、前記入力音声に含
まれる複数の単語に基づいて、前記場所を認識すること
を特徴とする請求項4に記載の音声処理装置。 - 【請求項7】 前記複数種類の雑音対策データは、複数
の異なる雑音環境における雑音を含む学習用の音声それ
ぞれに基づいて作成された、複数のコードブックであ
り、 前記処理手段は、前記コードブックを用いて、前記入力
音声をベクトル量子化することを特徴とする請求項1に
記載の音声処理装置。 - 【請求項8】 前記複数種類の雑音対策データは、複数
の異なる雑音環境における雑音を含む学習用の音声それ
ぞれに基づいて作成された、前記入力音声を音声認識す
るための複数の認識用のデータのセットであり、 前記処理手段は、前記認識用のデータのセットを用い
て、前記入力音声を音声認識することを特徴とする請求
項1に記載の音声処理装置。 - 【請求項9】 前記複数種類の雑音対策データは、複数
の異なる雑音環境における雑音を含む音声それぞれに基
づいて作成された、複数の標準パターンのセットであ
り、 前記処理手段は、前記標準パターンのセットを用いて、
前記入力音声を、DP(Dynamic Programming)法によ
り音声認識することを特徴とする請求項8に記載の音声
処理装置。 - 【請求項10】 前記複数種類の雑音対策データは、複
数の異なる雑音環境における雑音を含む学習用の音声そ
れぞれに基づいて作成された、複数の確率モデルのセッ
トであり、 前記処理手段は、前記確率モデルのセットを用いて、前
記入力音声を、HMM(Hidden Markov Model)法によ
り音声認識することを特徴とする請求項8に記載の音声
処理装置。 - 【請求項11】 前記複数種類の雑音対策データは、複
数の異なる雑音環境における雑音を含む学習用の音声そ
れぞれに基づいて作成された、複数のネットワークモデ
ルのセットであり、 前記処理手段は、前記ネットワークモデルのセットを用
いて、前記入力音声を、ニューラルネットワークを用い
る方法により音声認識することを特徴とする請求項8に
記載の音声処理装置。 - 【請求項12】 入力音声に、所定の処理を施す音声処
理方法であって、 前記入力音声に含まれる雑音に対する対策を施すため
の、複数種類の雑音対策データを記憶している記憶手段
から、いずれかの前記雑音対策データを選択するステッ
プと、 その選択された前記雑音対策データを用いて、前記入力
音声を処理するステップとを備えることを特徴とする音
声処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07571596A JP3531342B2 (ja) | 1996-03-29 | 1996-03-29 | 音声処理装置および音声処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07571596A JP3531342B2 (ja) | 1996-03-29 | 1996-03-29 | 音声処理装置および音声処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09265300A true JPH09265300A (ja) | 1997-10-07 |
| JP3531342B2 JP3531342B2 (ja) | 2004-05-31 |
Family
ID=13584231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07571596A Expired - Fee Related JP3531342B2 (ja) | 1996-03-29 | 1996-03-29 | 音声処理装置および音声処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3531342B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316385A (ja) * | 2002-04-24 | 2003-11-07 | Hitachi Ltd | 音声対話システム及び音声対話方法 |
| JP2004212641A (ja) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | 音声入力システム及び音声入力システムを備えた端末装置 |
| WO2009059513A1 (en) * | 2007-11-05 | 2009-05-14 | Huawei Technologies Co., Ltd. | A coding method, an encoder and a computer readable medium |
| US9009048B2 (en) | 2006-08-03 | 2015-04-14 | Samsung Electronics Co., Ltd. | Method, medium, and system detecting speech using energy levels of speech frames |
| JP2016519805A (ja) * | 2013-03-14 | 2016-07-07 | ロウルズ リミテッド ライアビリティ カンパニー | 複数のデバイス上でコンテンツを提供すること |
| US9842584B1 (en) | 2013-03-14 | 2017-12-12 | Amazon Technologies, Inc. | Providing content on multiple devices |
| JP2021131485A (ja) * | 2020-02-20 | 2021-09-09 | 富士通株式会社 | 認識方法、認識プログラム及び認識装置 |
| CN116343780A (zh) * | 2023-03-07 | 2023-06-27 | 南方电网人工智能科技有限公司 | 一种基于多类环境下的语音识别方法、装置及介质 |
-
1996
- 1996-03-29 JP JP07571596A patent/JP3531342B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316385A (ja) * | 2002-04-24 | 2003-11-07 | Hitachi Ltd | 音声対話システム及び音声対話方法 |
| JP2004212641A (ja) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | 音声入力システム及び音声入力システムを備えた端末装置 |
| US9009048B2 (en) | 2006-08-03 | 2015-04-14 | Samsung Electronics Co., Ltd. | Method, medium, and system detecting speech using energy levels of speech frames |
| WO2009059513A1 (en) * | 2007-11-05 | 2009-05-14 | Huawei Technologies Co., Ltd. | A coding method, an encoder and a computer readable medium |
| US8600739B2 (en) | 2007-11-05 | 2013-12-03 | Huawei Technologies Co., Ltd. | Coding method, encoder, and computer readable medium that uses one of multiple codebooks based on a type of input signal |
| US9842584B1 (en) | 2013-03-14 | 2017-12-12 | Amazon Technologies, Inc. | Providing content on multiple devices |
| JP2016519805A (ja) * | 2013-03-14 | 2016-07-07 | ロウルズ リミテッド ライアビリティ カンパニー | 複数のデバイス上でコンテンツを提供すること |
| US10121465B1 (en) | 2013-03-14 | 2018-11-06 | Amazon Technologies, Inc. | Providing content on multiple devices |
| US10133546B2 (en) | 2013-03-14 | 2018-11-20 | Amazon Technologies, Inc. | Providing content on multiple devices |
| US10832653B1 (en) | 2013-03-14 | 2020-11-10 | Amazon Technologies, Inc. | Providing content on multiple devices |
| US12008990B1 (en) | 2013-03-14 | 2024-06-11 | Amazon Technologies, Inc. | Providing content on multiple devices |
| JP2021131485A (ja) * | 2020-02-20 | 2021-09-09 | 富士通株式会社 | 認識方法、認識プログラム及び認識装置 |
| CN116343780A (zh) * | 2023-03-07 | 2023-06-27 | 南方电网人工智能科技有限公司 | 一种基于多类环境下的语音识别方法、装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3531342B2 (ja) | 2004-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1301922B1 (en) | System and method for voice recognition with a plurality of voice recognition engines | |
| KR100316077B1 (ko) | 분산형음성인식시스템 | |
| CN101944359B (zh) | 一种面向特定人群的语音识别方法 | |
| Juang et al. | Automatic speech recognition–a brief history of the technology development | |
| US8510103B2 (en) | System and method for voice recognition | |
| US6594628B1 (en) | Distributed voice recognition system | |
| CN112349289B (zh) | 一种语音识别方法、装置、设备以及存储介质 | |
| JP2007500367A (ja) | 音声認識方法およびコミュニケーション機器 | |
| US6182036B1 (en) | Method of extracting features in a voice recognition system | |
| US5943647A (en) | Speech recognition based on HMMs | |
| JP3531342B2 (ja) | 音声処理装置および音声処理方法 | |
| JP2003036097A (ja) | 情報検出装置及び方法、並びに情報検索装置及び方法 | |
| Bhatt et al. | Effects of the dynamic and energy based feature extraction on hindi speech recognition | |
| JP2000194392A (ja) | 騒音適応型音声認識装置及び騒音適応型音声認識プログラムを記録した記録媒体 | |
| JP4230142B2 (ja) | 悪環境下でのキーパッド/音声を用いたハイブリッドな東洋文字認識技術 | |
| US20070129946A1 (en) | High quality speech reconstruction for a dialog method and system | |
| Kotnik et al. | Efficient noise robust feature extraction algorithms for distributed speech recognition (DSR) systems | |
| JP2011039468A (ja) | 電子辞書で音声認識を用いた単語探索装置及びその方法 | |
| Lee | The conversational computer: an apple perspective. | |
| Burileanu | Spoken language interfaces for embedded applications | |
| Milner | Speech feature extraction and reconstruction | |
| Gupta et al. | Development of Robust Speech Systems | |
| Ibrahim et al. | A COMPARATIVE SURVEY OF DTW AND HMM USING HAUSA ISOLATED DIGITS RECOGNITION IN HUMAN COMPUTER INTERACTION SYSTEM | |
| JP2003323191A (ja) | 音声対応インターネットホームページのアクセスシステム | |
| GB2401469A (en) | Pattern recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040223 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080312 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |