JPH09502814A - 音声活動検出装置 - Google Patents

音声活動検出装置

Info

Publication number
JPH09502814A
JPH09502814A JP7509055A JP50905595A JPH09502814A JP H09502814 A JPH09502814 A JP H09502814A JP 7509055 A JP7509055 A JP 7509055A JP 50905595 A JP50905595 A JP 50905595A JP H09502814 A JPH09502814 A JP H09502814A
Authority
JP
Japan
Prior art keywords
detection device
voice activity
input signal
gain
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7509055A
Other languages
English (en)
Other versions
JP3224132B2 (ja
Inventor
バレット、ポール・アレキサンダー
Original Assignee
ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=27235491&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH09502814(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from GB939324967A external-priority patent/GB9324967D0/en
Priority claimed from GB9412451A external-priority patent/GB9412451D0/en
Application filed by ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー filed Critical ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー
Publication of JPH09502814A publication Critical patent/JPH09502814A/ja
Application granted granted Critical
Publication of JP3224132B2 publication Critical patent/JP3224132B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q1/00Details of selecting apparatus or arrangements
    • H04Q1/18Electrical details
    • H04Q1/30Signalling arrangements; Manipulation of signalling currents
    • H04Q1/44Signalling arrangements; Manipulation of signalling currents using alternate current
    • H04Q1/444Signalling arrangements; Manipulation of signalling currents using alternate current with voice-band signalling frequencies
    • H04Q1/46Signalling arrangements; Manipulation of signalling currents using alternate current with voice-band signalling frequencies comprising means for distinguishing between a signalling current of predetermined frequency and a complex current containing that frequency, e.g. speech current
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L2025/783Detection of presence or absence of voice signals based on threshold decision
    • G10L2025/786Adaptive threshold
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/08Current supply arrangements for telephone systems with current supply sources at the substations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Telephone Function (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • Control Of Amplification And Gain Control (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Measuring Fluid Pressure (AREA)
  • Burglar Alarm Systems (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Radio Relay Systems (AREA)

Abstract

(57)【要約】 記憶されたノイズ推定値(113)と入力信号とのスペクトル比較(114,115)により、ノイズから音声が区別される。(バッファ(113)中の)ノイズ推定値の更新は、音声が存在しない期間中に、補助検出装置(200)の制御のもと許容される。強い高調波成分(例えば、シグナリングトーン)を有する信号が存在する場合の動作を改良するために、LPC予測利得は、入力(x(i))と、入力の周波数スペクトルに対して補足的な応答を有するフィルタ(115)によりフィルタ処理された後の入力から得られた残差(y(i))とから計算される。そして、利得がしきい値を越えた場合、バッファ更新が抑制される。

Description

【発明の詳細な説明】 音声活動検出装置 音声活動検出装置は、音声期間またはノイズのみを含む期間の検出のために、 信号が供給される装置である。本発明はこれに限定されないが、このような検出 装置に対する特に興味ある1つの適用は、沈黙期間中に送信機をオフにすること により電力消費および干渉を減少させるために、音声が存在するか否かの情報が 活用される移動無線電話システムにある。この場合、(移動体搭載装置からの) ノイズレベルも高いことが多い。無線システムにおける他の可能性ある用途は、 無線スペクトルの利用効率を改善することである。 図1は、われわれの国際特許出願WO89/08910に記載されているような、音声活 動検出装置を示している。 ノイズのある音声信号が入力1で受信される。記憶装置2は、ノイズの周波数 スペクトルの推定値またはモデルを規定するデータを含んでいる。これと現在の 信号のスペクトルとの比較3がなされ、しきい値と比較4される類似性の尺度が 得られる。ノイズ成分の変化を追跡するために、音声がない時のみ、入力信号か らノイズモデルが更新される。また、しきい値も、適応することができる(アダ プタ6)。 誤判定を引き起こす漸進的で不正確な適応の危険性がなく、ノイズのみの期間 中だけ適応が確実に生じるようにするために、適応は補助検出装置7の制御のも と実行される。検出装置7は、無音声検出装置8と有音声検出装置9とを具備す る。 検出装置7は、いずれかの検出装置が音声を認識した時に、音声が存在すると考 え、更新と主検出装置のしきい値適応とを抑制する。典型的には、無音声検出装 置8が、信号に対して1組のLPC係数を得て、連続するフレーム期間の間、これ らの係数の自己相関関数を比較する一方、有音声検出装置9がLPC残差の自己相 関の変動量を検査する。 この構成は、音声期間とノイズだけが受信される期間とを区別するのに非常に 優れている。しかしながら、補助検出装置により、シグナリングトーンが単なる ノイズであるとされることがよくあり(すなわち、補助検出装置がシグナリング トーンを音声として認識しない)、そのため、シグナリングトーンがノイズであ るかのように主検出装置がシグナリングトーンに適応し、シグナリングトーンの 送信が妨げられるか、あるいは少なくとも早まって終了されてしまう問題が生じ る。 この問題は、それぞれ特定のシグナリングトーンの周波数に同調されたトーン 検出装置を設けることにより解消することができる。しかしながら、世界中の異 なるシグナリングトーンの多様性はかなりのものであるから、「接続」トーンが 発生された国に関わらず、例えば国際通話をしている移動電話ユーザが確実に「 接続」トーンを聞けるようにするために、非常に多数の個々の検出装置が必要と なる。 本発明にしたがうと、入力信号中の音声の存在を検出する音声活動検出装置が 提供される。 音声活動検出装置は、 (a)入力信号のノイズ成分の推定値を記憶する手段と、 (b)出力判定信号を生成するために、入力信号と記憶された推定値とのスペ クトル類似度を識別する手段と、 (c)記憶された推定値を更新する手段と、 (d)補助検出装置により入力信号に音声が存在しないことが示された時のみ 更新が生じるように、更新手段を制御する補助検出装置とを具備し、入力信号に 対する予測利得パラメータを計算可能な手段と、予測利得がしきい値を越えた時 に更新を抑制するように構成された修正手段とにより特徴付けられている。 本発明のいくつかの実施例を、例として、添付した図面を参照して説明する。 図2は、本発明の1つの観点にしたがった音声活動検出装置を有する音声符号 装置のブロック図である。 図3および図4は、種々の入力信号からの予測利得値のグラフを示したもので ある。 図5、図6および図7は、本発明のさらに別の実施例のブロック図である。 図2において、通常の音声符号装置100は音声入力101を有し、音声信号は、8K Hzでサンプルされ、アナログ−デジタルコンバータ102によりデジタル形態に変 換される。ウインドウ装置103は、音声サンプルを(例えば、)160サンプルのフ レーム(すなわち、20ミリ秒フレーム)に分割し、それを、ハミングウインド ウと、またはフレームの最初と最後におけるサンプルの寄与を減少させる他の関 数と乗算する。相関装置104は、デジタル音声サンプルを受信し、各フレーム に対する自己相関係数Riを生成する。LPC解析装置105は、例えば、レビンソン −ダービンまたはシュラーアルゴリズムのような既知の方法を使用して、入力音 声信号の周波数スペクトルに対応している周波数応答を有するフィルタ(合成フ ィルタとして呼ばれることがある)の係数aiを計算する。 デジタル入力信号は、この係数により制御される逆フィルタ(すなわち解析フ ィルタ)106も通過し、残差信号が生成される。残差信号は、その前の値からLPC 残差を予測するための最適遅延とその予測に対する対応利得値とを計算する長期 予測器解析装置107によりさらに解析される残差が生成される。解析装置106は、 第2の残差(すなわち、現在のLPC残差と得られたパラメータにより遅延されス ケール化された時のLPC残差との間の差)も形成する。励起装置108は、単にLPC 残差を量子化することにより、または他の通常の方法により、復号装置へ送信す る励起パラメータを導出する。 LPC係数ai、長期予測器遅延d、利得g、および励起パラメータeは、復号装 置へ送信される。 われわれの以前の特許出願にしたがった主音声活動検出装置は、現在の係数の 重み付けされた合計Ri’を生成する平均化装置110によって、自己相関係数Ri とバッファ111に記憶されている前のフレームからのものとを平均化する。さら に別の自己相関装置112は、バッファ113に送られるLPC係数aiの自己相関係数Bi を形成する。(以下に説明される)補助検出装置によりノイズのみが含まれて いるとされる期間中だけバッファの内容が更新されるので、バッファ113 の内容Bi’は、入力信号のノイズスペクトルの推定値を表している。乗算/加 算装置114は、入力信号と以下の式により規定されるノイズモデルとの間のスペ クトル類似性の尺度Mを形成する。 ここで、ゼロの添字はゼロ次元自己相関係数を意味し、nは音声フレーム中の サンプル数である。 尺度Mは、比較装置115においてしきい値レベルと比較され、出力116に、音声 が存在しないことを示している信号が生成される。しきい値は、現在のノイズパ ワーレベルにしたがって、適応的に調整してもよい(117)。 音声認識の失敗は、音声情報でバッファを更新し、さらなる認識の失敗の結果 、すなわち「ロック」状態となるので、バッファ記憶装置113中のノイズ推定値 の更新は、直前に説明した検出装置の出力116により制御されない。したがって 、更新は、補助検出装置200により制御される。ノイズと無音声とを区別するた めに、これは、入力の(平均化されていない)自己相関係数RiとLPC係数の(バ ッファされていない)自己相関係数Biの積の合計を形成する(201)。減算装置 202は、バッファ203で遅延された前の音声フレームに対する対応する合計とこの 合計とを比較する。入力信号の連続するフレーム間のスペクトル類似度を表して いるこの差は、判定信号を生成するために、しきい値処理される。 有音声を認識するために、長期予測器遅延dがピッチ解析装置205により測定 される。この出力は、オアゲート206でしきい値段204の出力と結合される。すな わち、もし装置204または205のいずれかが(または両方が)、音声の存在を示し ている出力を生成するならば、補助検出装置200により、音声が存在していると される。導入部で論じたように、システムにシグナリングトーンが通るならば、 これらはノイズでなく音声として認識されなければならない。そして直前に説明 した補助検出装置は、これを達成するに際して、かなり非効率である。補助検出 装置はいくつかのトーンを認識するが、他のもの(一般的に、比較的純粋なスペ クトル成分をともなうもの)は認識されない。一旦補助検出装置200が失敗する と、バッファ113のノイズ推定値がシグナリングトーンで「慣らされる」ので、 主検出装置も失敗する。 したがって、シグナリングトーンを検出するために、さらに別の補助検出装置 が設けられる。人工的に生成されたシグナリングトーンがわずかな(変調されて いるかもしれない)周波数成分を含むことを観測するのに、これが使用されるの が好ましい。LPC予測器の性能は、このような信号に対して非常に高く、これは 、(多重トーン信号を含む)トーンベースの信号と背景または環境的なノイズ信 号との弁別をするために使用される。 LPC予測利得Gpは、音声フレームの出力信号パワーに対する入力信号パワー の割合として以下のように定義される。 ここで、xiはフィルタ入力であり、yiは逆フィルタの出力である。 (ここで、mはフィルタ係数の個数であり、典型的に8または10である) 信号x(i)およびy(i)は、コンバータ102およびフィルタ106のそれぞれ の出力において、LPC符号装置100から利用可能である。これらの値は2乗され( 301,302)、予測利得は、上記等式にしたがってGpを計算する計算装置303によ り得られる。その出力は、比較装置304により、固定しきい値Tと比較される。 すなわち、利得がしきい値(典型的に、T=63または18dB)を越えた場合、トー ンが認識されたとされる。トーン認識に対するいくつかの可能性ある応答がある 。すなわち、 (a)オアゲート303により主検出装置出力を無効にする。 (b)オアゲート206への第3入力により、補助検出装置を無効にする。 (c)(示したような)これらの両方 もちろん、商を計算する代わりに、Σx2項を、しきい値で乗算したΣy2項と比 較することができる。図3は、背景の 環境的なノイズ、音声、シグナリングトーン中の背景ノイズ、およびシグナリン グトーンそのものから得られた、dB表示の予測利得ヒストグラムを示している 。一方、図4は、異なるUKシグナリングトーン、すなわち、 「加入者接続(Subscriber Engaged)」トーン ダイヤルトーン リングトーン 「番号取得不可(Number Unobtainable)」トーン 「装置接続(Equipment engaged)」トーン に対する時間対予測利得のグラフを示している。実際には、加入者接続トーン、 ダイヤルトーン、および番号取得不可トーンは、別の検出装置により認識が成功 するが、実際は(例えば、キーパッドからの)多重周波数トーンである。リング トーンおよび「装置接続」トーンは、ピッチ解析装置205により認識される。 別の検出装置300は、あるタイプのトーンに対する検出装置として考えられる 。すなわちこれは、(図2の実施例で)残差yiが小さい状態を検出するように 見ることができるので、長期予測器107(したがって、ピッチ解析装置205)の動 作は強くない。 有音声を検出する代わりの方法は、ピッチ検出装置205を、301,302,303および 304に類似する装置で置換して、長期予測器解析装置107に基づく予測利得を形成 (およびしきい値処理)することである。 図2の装置に対するさらに2つの変形例を図5を参照して 説明する。第1に、図2に示されている実施例において、計算された予測利得が 音声符号装置100のLPC解析装置のものであり、これは、8次あるいは10次の予 測器を典型的に使用する。しかしながら、解析装置のこの部分のベースが、情報 トーンが環境ノイズより高い予測利得となること、解析装置の次元が高くなると 、ノイズ環境をモデル化する予測器の能力も高くなることに着目すると、利得計 算を4次解析に限定することにより、1つまたは2つのトーンからなる情報信号 が高い予測利得を与え、一方、環境ノイズに対する予測利得は減少させることが できることが分かる。 原則として、これは、補助検出装置に供給するために、4次解析装置と、8次 装置105,106に並んだフィルタとを設けることにより達成することができる。し かしながら、(パーコール係数として呼ばれることがある)反射係数から予測利 得を計算する方がより簡単である。図5において、これらは、装置400により自 己相関係数Riから既知の方法で計算される(しかしながら、音声符号装置の設 計に依存して、LPC解析装置105で、中間点からこれらを取り出すことも可能であ る)。予測利得の尺度は、第1の4つの反射係数Rciから、以下のように予測 誤差Peを計算することにより得ることができる。 これは、401で実行される。高い予測誤差は低い予測利得に 対応し、その逆も成り立つので、Peがしきい値Pthより少ないならば、シグナ リングトーンは存在するとされる。この比較403は、図2の比較304に取って代わ る。 第2に、移動無線環境におけるノイズは、低い周波数で非常に強い共振を含ん でいる。そして、「トーン」がしきい値周波数より下であるか否かを決定する別 のテストがなされる。しきい値の選択は妥協できる範囲を有するが、ほとんどの シグナリングトーンが400Hzより上にあるので、385Hzが提案される。 この別のテストは、LPCフィルタの極の周波数を決定することにより動作する 。解析の複雑さを減少するために、低い次元のフィルタが好ましい。再度説明す ると、別のLPC解析を実行できるが、反射係数からLPC係数を計算することにより 、図5と同じように進める方が容易である。装置400からの第1の2つの反射係 数のみが使用されると仮定すると、LPC係数aiは装置404により通常の方法で計 算される。解析フィルタ応答が次の式となるように規定される。 H(z)=1/{a0+a1-1+a2-2} そして、z平面上の極の位置は、以下の2次方程式に対する解により与えられ る。 a02+a1z+a2=0 a0=1 すなわち、 z=(−a1/2)±j√((4a2−a1 2)/4) もし、2乗根中の項が負の場合、極は実軸上にあり、信号はトーンではない。 2乗根中の項が正で、極位置の実部が負 (すなわち、a1<0)である場合、極はz平面の左半分にある。これは必然的 に、周波数がサンプルレートの25%以上であること、すなわち、8KHzのサンプリ ング周波数fsに対して2000Hz以上であることを意味する。この場合、周波数計 算は必要なく、「>385」信号はすぐに生成される。極周波数は以下の式で与え られる。 f=arctan{−(√(4a2−a1 2))/a1} ×(fs/2π) f<385Hzの条件は、(2乗根を避けて)以下のように書くことができる。 (4a2−a1 2)/a <tan {2π×385/fs} すなわち、fs=8kHzで、 (4a2−a1 2)/a1 2<0.0973 この計算は、装置405で実行される。 その出力は、アンドゲート406で比較装置403の出力と結合されるので、「トー ン」判定は、予測利得が高くかつ極周波数が385Hzより大きい場合のみ生成され る。 必要な場合、2000Hzより上の極周波数(または他の何らかの上限)も止めるこ とができるので、予期されるシグナリングトーン範囲より上の高い周波数は、ト ーンとして認識されない。 2次方程式を解く際に追加の計算が受け入れられるのであれば、第3および第 4の反射係数も使用することができる。この場合、2つの関連する周波数ととも に、極の2つの複素 共役対が潜在的に識別され、両方の周波数がしきい値より下である場合、トーン は存在していないとされることが予想される。 図2および5の実施例が、(自己相関ベースLPC解析と共通である)自己相関 計算103の前に、ハミングウインドウを使用することは既に説明した。音声符号 装置でこのようなウインドウ処理の実行が望まれない場合には、可能性ある代わ りのものは、図5の場合で、ウインドウ処理103を省略し、反射係数計算400の代 わりに自己相関値を共分散値へ変換することにより置換することであり、装置40 1,404は反射係数ではなく共分散値を使用するように修正される。代わりに、( 図5に関連した変更の部分のみを示している)図6に示されているように、最初 の処理は、反射係数計算装置400'および修正自己相関係数装置104'に供給される 出力を、共分散解析109が生成することである。LPC解析装置105は、以前のよう に、自己相関装置104'に、また示されているように、直接的に共分散解析装置10 9に接続される。 上記説明した「トーン検出」の実施例はよい結果を生じる。しかしながら、あ る領域で使用されている機械的に生成されたトーンは、低い予測利得となる高い 高調波成分を有する傾向があるので、これらの実施例は、機械的に生成されたト ーンの検出を失敗することがある。より高い高調波を単にフィルタ処理で取除く ことは、フィルタの挿入がすべての信号の自己相関を、したがって、他の信号に 対するより高い予測利得も増加させる傾向があるので、解決方法とはならない。 予 測器が、入力信号の特性よりもフィルタ極をモデル化する傾向があることが分っ た。しかしながら、予測利得解析が、高調波フィルタのパスバンドに対応してい る周波数範囲内のみの信号の予測能力を評価することに制限できるならば、フィ ルタ処理を使用してよい結果を得ることができることを発見した。これは、予測 利得解析前にフィルタバンド幅の2倍の周波数で信号をサブサンプリングするこ とにより達成することができる。 したがって、他の点で図5に類似する図7の実施例は、フィルタ450を使用す る。これは、600Hz(3dB点)までのパスバンドを有し、1200Hzで20dBのストップ バンド減衰を有する、単位円上にゼロ点を有するローパスイクワイアリップルFI Rフィルタである。ストップバンド減衰が余り大き過ぎないことが好ましいと考 えられる。フィルタ出力は、サブサンプリング装置451において、1200Hzでサブ サンプルされる。 このフィルタ処理が適用されると、トーン検出に対して、音声符号装置100と 成分を共有する機会は、もちろん、非常に減らされる。したがって、前に説明し たように、フィルタ450には、直接的にアナログ−デジタルコンバータ102からデ ジタル入力信号が供給され、フィルタ450は、反射係数解析装置400''に、または 共分散あるいは自己相関解析に供給する。自己相関の選択は、上記に説明したよ うに、ウインドウ処理が必要となる。 他の実施例は、予測利得解析の周波数範囲を過度に制限することなく、「高調 波」問題を軽減する。これはフィルタを 使用して、それぞれがトーンの基本および第3高調波の両方を含むことができな いくらい十分に狭い、2以上の周波数バンドに信号を分割することにより達成さ れる。各チャンネルは、サブサンプルされ、別々の予測利得解析を受ける。 したがって図8では、信号は、フィルタ450a,450bで周波数バンド400-1200Hz および1200-2000Hzに分割され、1.6kHzでサブサンプルされる(451a,451b)。反 射係数計算400''a,b、予測誤差解析401a,b、およびしきい値処理403a,bは、2つ のバンドに対して個別に実行される。比較装置403a,403bからの2つの出力は、 オアゲート206の別々の入力に導かれるので、いずれかのチャンネルでの高い予 測利得は、トーンの存在を示していると考えられる。図7の他の装置100-303は 、変更されていないので、図8では示されていない。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 9412451.8 (32)優先日 1994年6月21日 (33)優先権主張国 イギリス(GB) (81)指定国 EP(AT,BE,CH,DE, DK,ES,FR,GB,GR,IE,IT,LU,M C,NL,PT,SE),AU,BG,BR,CA,C N,CZ,FI,HU,JP,KR,NO,NZ,PL ,RO,RU,SK,US

Claims (1)

  1. 【特許請求の範囲】 1.入力信号中の音声の存在を検出する音声活動検出装置において、 (a)入力信号のノイズ成分の推定値を記憶する手段と、 (b)出力判定信号を生成するために、前記入力信号と前記記憶された推定値 とのスペクトル類似度を認識する手段と、 (c)前記記憶された推定値を更新する手段と、 (d)補助検出装置により入力信号に音声が存在しないことが示された時のみ 更新が生じるように、前記更新手段を制御する補助検出装置とを具備し、 前記入力信号に対する予測利得パラメータを計算可能な手段と、前記予測利得 パラメータがしきい値を越えた時に更新を抑制する修正手段を具備することを特 徴とする音声活動検出装置。 2.前記補助検出装置は、LPC残差信号から得られた信号に応答する有音検出装 置を含む請求項1記載の音声活動検出装置。 3.前記予測利得パラメータが、6次以下のLPC予測の予測利得を表している請 求項1または2記載の音声活動検出装置。 4.前記予測利得パラメータが、4次以下のLPC予測の予測利得を表している請 求項3記載の音声活動検出装置。 5.前記入力信号の1以上の主周波数成分を検出する手段と、前記主周波数成分 を予め定められたしきい値と比較し、前記主周波数成分が前記しきい値を越えた 時のみ更新を抑制する手段とをさらに具備している請求項1ないし4のいずれか 1 項記載の音声活動検出装置。 6.前記利得計算手段は、前記入力信号の前記周波数範囲の上側部分を取除くた めにフィルタが前置され、前記利得計算は、前記フィルタのパスバンド内の周波 数成分に対してのみ実行される請求項1ないし5のいずれか1項記載の音声活動 検出装置。 7.それぞれのパスバンドと前記それぞれのパスバンドに対する利得パラメータ を計算するそれぞれの利得計算手段とを有する2つのフィルタを具備し、 前記修正手段が、いずれかのパスバンド内の予測利得がしきい値を越えた時に 、更新を抑制するように構成されている請求項6記載の音声活動検出装置。 8.フィルタされた信号をサブサンプリングする手段を含む請求項6または7記 載の音声活動検出装置。
JP50905595A 1993-09-14 1994-09-14 音声活動検出装置 Expired - Lifetime JP3224132B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP93307211 1993-09-14
GB939324967A GB9324967D0 (en) 1993-12-06 1993-12-06 Voice activity detector
GB9324967.0 1993-12-06
GB9412451A GB9412451D0 (en) 1994-06-21 1994-06-21 Voice activity detector
GB93307211.8 1994-06-21
GB9412451.8 1994-06-21

Publications (2)

Publication Number Publication Date
JPH09502814A true JPH09502814A (ja) 1997-03-18
JP3224132B2 JP3224132B2 (ja) 2001-10-29

Family

ID=27235491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50905595A Expired - Lifetime JP3224132B2 (ja) 1993-09-14 1994-09-14 音声活動検出装置

Country Status (22)

Country Link
US (2) US5749067A (ja)
EP (1) EP0719439B1 (ja)
JP (1) JP3224132B2 (ja)
KR (1) KR100363309B1 (ja)
CN (1) CN1064772C (ja)
AT (1) ATE182420T1 (ja)
BR (1) BR9407535A (ja)
CA (1) CA2169745C (ja)
CZ (1) CZ286743B6 (ja)
DE (1) DE69419615T2 (ja)
DK (1) DK0719439T3 (ja)
ES (1) ES2136204T3 (ja)
FI (1) FI118195B (ja)
GR (1) GR3031515T3 (ja)
HU (1) HU219994B (ja)
IN (1) IN184794B (ja)
MY (1) MY111134A (ja)
NO (1) NO307979B1 (ja)
NZ (1) NZ273045A (ja)
SG (1) SG48935A1 (ja)
SK (1) SK281796B6 (ja)
WO (1) WO1995008170A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533109A (ja) * 2000-04-28 2003-11-05 フランス テレコム エス アー マルチセンサアンテナ用受信システム
JP2004341339A (ja) * 2003-05-16 2004-12-02 Mitsubishi Electric Corp 雑音抑圧装置
JP2010170124A (ja) * 2008-12-30 2010-08-05 Huawei Technologies Co Ltd 信号圧縮方法及び装置
JP2022032721A (ja) * 2020-08-13 2022-02-25 沖電気工業株式会社 音声検出装置、音声検出プログラム、及び音声検出方法

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IN184794B (ja) * 1993-09-14 2000-09-30 British Telecomm
JP3522012B2 (ja) * 1995-08-23 2004-04-26 沖電気工業株式会社 コード励振線形予測符号化装置
FI100840B (fi) 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
WO1998001847A1 (en) * 1996-07-03 1998-01-15 British Telecommunications Public Limited Company Voice activity detector
US6708146B1 (en) * 1997-01-03 2004-03-16 Telecommunications Research Laboratories Voiceband signal classifier
JPH10247098A (ja) * 1997-03-04 1998-09-14 Mitsubishi Electric Corp 可変レート音声符号化方法、可変レート音声復号化方法
US6531982B1 (en) 1997-09-30 2003-03-11 Sirf Technology, Inc. Field unit for use in a GPS system
US5970446A (en) * 1997-11-25 1999-10-19 At&T Corp Selective noise/channel/coding models and recognizers for automatic speech recognition
US6385548B2 (en) * 1997-12-12 2002-05-07 Motorola, Inc. Apparatus and method for detecting and characterizing signals in a communication system
US6327471B1 (en) 1998-02-19 2001-12-04 Conexant Systems, Inc. Method and an apparatus for positioning system assisted cellular radiotelephone handoff and dropoff
US5991718A (en) * 1998-02-27 1999-11-23 At&T Corp. System and method for noise threshold adaptation for voice activity detection in nonstationary noise environments
US6182035B1 (en) 1998-03-26 2001-01-30 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for detecting voice activity
US6348744B1 (en) 1998-04-14 2002-02-19 Conexant Systems, Inc. Integrated power management module
EP0980064A1 (de) * 1998-06-26 2000-02-16 Ascom AG Verfahren zur Durchführung einer maschinengestützten Beurteilung der Uebertragungsqualität von Audiosignalen
US6453289B1 (en) 1998-07-24 2002-09-17 Hughes Electronics Corporation Method of noise reduction for speech codecs
US7711038B1 (en) 1998-09-01 2010-05-04 Sirf Technology, Inc. System and method for despreading in a spread spectrum matched filter
US7545854B1 (en) * 1998-09-01 2009-06-09 Sirf Technology, Inc. Doppler corrected spread spectrum matched filter
US6693953B2 (en) 1998-09-30 2004-02-17 Skyworks Solutions, Inc. Adaptive wireless communication receiver
US6606349B1 (en) 1999-02-04 2003-08-12 Sirf Technology, Inc. Spread spectrum receiver performance improvement
US6448925B1 (en) 1999-02-04 2002-09-10 Conexant Systems, Inc. Jamming detection and blanking for GPS receivers
US6556967B1 (en) 1999-03-12 2003-04-29 The United States Of America As Represented By The National Security Agency Voice activity detector
US6304216B1 (en) 1999-03-30 2001-10-16 Conexant Systems, Inc. Signal detector employing correlation analysis of non-uniform and disjoint sample segments
US6577271B1 (en) 1999-03-30 2003-06-10 Sirf Technology, Inc Signal detector employing coherent integration
US6618701B2 (en) * 1999-04-19 2003-09-09 Motorola, Inc. Method and system for noise suppression using external voice activity detection
US6381568B1 (en) 1999-05-05 2002-04-30 The United States Of America As Represented By The National Security Agency Method of transmitting speech using discontinuous transmission and comfort noise
US6351486B1 (en) 1999-05-25 2002-02-26 Conexant Systems, Inc. Accelerated selection of a base station in a wireless communication system
JP3929686B2 (ja) * 2000-08-14 2007-06-13 松下電器産業株式会社 音声スイッチング装置およびその方法
US6931055B1 (en) 2000-04-18 2005-08-16 Sirf Technology, Inc. Signal detector employing a doppler phase correction system
US6952440B1 (en) 2000-04-18 2005-10-04 Sirf Technology, Inc. Signal detector employing a Doppler phase correction system
US6714158B1 (en) * 2000-04-18 2004-03-30 Sirf Technology, Inc. Method and system for data detection in a global positioning system satellite receiver
US6788655B1 (en) 2000-04-18 2004-09-07 Sirf Technology, Inc. Personal communications device with ratio counter
US7885314B1 (en) 2000-05-02 2011-02-08 Kenneth Scott Walley Cancellation system and method for a wireless positioning system
US6778136B2 (en) * 2001-12-13 2004-08-17 Sirf Technology, Inc. Fast acquisition of GPS signal
JP4201470B2 (ja) * 2000-09-12 2008-12-24 パイオニア株式会社 音声認識システム
JP4201471B2 (ja) * 2000-09-12 2008-12-24 パイオニア株式会社 音声認識システム
US7472059B2 (en) * 2000-12-08 2008-12-30 Qualcomm Incorporated Method and apparatus for robust speech classification
US7437286B2 (en) * 2000-12-27 2008-10-14 Intel Corporation Voice barge-in in telephony speech recognition
US6707869B1 (en) * 2000-12-28 2004-03-16 Nortel Networks Limited Signal-processing apparatus with a filter of flexible window design
DE10121532A1 (de) * 2001-05-03 2002-11-07 Siemens Ag Verfahren und Vorrichtung zur automatischen Differenzierung und/oder Detektion akustischer Signale
JP3859462B2 (ja) * 2001-05-18 2006-12-20 株式会社東芝 予測パラメータ分析装置および予測パラメータ分析方法
KR100399057B1 (ko) * 2001-08-07 2003-09-26 한국전자통신연구원 이동통신 시스템의 음성 활성도 측정 장치 및 그 방법
US20030110029A1 (en) * 2001-12-07 2003-06-12 Masoud Ahmadi Noise detection and cancellation in communications systems
DK1485691T3 (da) * 2002-03-08 2007-01-22 Koninkl Kpn Nv Fremgangsmåde og system til måling af et systems transmissionskvalitet
US7246059B2 (en) * 2002-07-26 2007-07-17 Motorola, Inc. Method for fast dynamic estimation of background noise
US7454331B2 (en) * 2002-08-30 2008-11-18 Dolby Laboratories Licensing Corporation Controlling loudness of speech in signals that contain speech and other types of audio material
US20040064314A1 (en) * 2002-09-27 2004-04-01 Aubert Nicolas De Saint Methods and apparatus for speech end-point detection
US7146316B2 (en) * 2002-10-17 2006-12-05 Clarity Technologies, Inc. Noise reduction in subbanded speech signals
US7272552B1 (en) * 2002-12-27 2007-09-18 At&T Corp. Voice activity detection and silence suppression in a packet network
US7230955B1 (en) * 2002-12-27 2007-06-12 At & T Corp. System and method for improved use of voice activity detection
SG185134A1 (en) * 2003-05-28 2012-11-29 Dolby Lab Licensing Corp Method, apparatus and computer program for calculating and adjusting the perceived loudness of an audio signal
WO2005007707A1 (ja) 2003-07-16 2005-01-27 Daikin Industries, Ltd. 含フッ素重合体の製造方法、含フッ素重合体水性分散液、2−アシルオキシカルボン酸誘導体及び界面活性剤
SG119199A1 (en) * 2003-09-30 2006-02-28 Stmicroelectronics Asia Pacfic Voice activity detector
JP4497911B2 (ja) * 2003-12-16 2010-07-07 キヤノン株式会社 信号検出装置および方法、ならびにプログラム
US20050209762A1 (en) * 2004-03-18 2005-09-22 Ford Global Technologies, Llc Method and apparatus for controlling a vehicle using an object detection system and brake-steer
FI20045315L (fi) * 2004-08-30 2006-03-01 Nokia Corp Ääniaktiivisuuden havaitseminen äänisignaalissa
US8199933B2 (en) 2004-10-26 2012-06-12 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
KR101261212B1 (ko) 2004-10-26 2013-05-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 처리 방법 및 장치
JP4729927B2 (ja) * 2005-01-11 2011-07-20 ソニー株式会社 音声検出装置、自動撮像装置、および音声検出方法
AU2006237133B2 (en) * 2005-04-18 2012-01-19 Basf Se Preparation containing at least one conazole fungicide a further fungicide and a stabilising copolymer
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
DE102006032967B4 (de) * 2005-07-28 2012-04-19 S. Siedle & Söhne Telefon- und Telegrafenwerke OHG Hausanlage und Verfahren zum Betreiben einer Hausanlage
GB2430129B (en) * 2005-09-08 2007-10-31 Motorola Inc Voice activity detector and method of operation therein
RU2312405C2 (ru) * 2005-09-13 2007-12-10 Михаил Николаевич Гусев Способ осуществления машинной оценки качества звуковых сигналов
US8219392B2 (en) * 2005-12-05 2012-07-10 Qualcomm Incorporated Systems, methods, and apparatus for detection of tonal components employing a coding operation with monotone function
US8417185B2 (en) * 2005-12-16 2013-04-09 Vocollect, Inc. Wireless headset and method for robust voice data communication
US7885419B2 (en) 2006-02-06 2011-02-08 Vocollect, Inc. Headset terminal with speech functionality
US7773767B2 (en) 2006-02-06 2010-08-10 Vocollect, Inc. Headset terminal with rear stability strap
WO2007091956A2 (en) 2006-02-10 2007-08-16 Telefonaktiebolaget Lm Ericsson (Publ) A voice detector and a method for suppressing sub-bands in a voice detector
US8920343B2 (en) 2006-03-23 2014-12-30 Michael Edward Sabatino Apparatus for acquiring and processing of physiological auditory signals
TWI517562B (zh) 2006-04-04 2016-01-11 杜比實驗室特許公司 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式
WO2007120452A1 (en) * 2006-04-04 2007-10-25 Dolby Laboratories Licensing Corporation Audio signal loudness measurement and modification in the mdct domain
EP2011234B1 (en) 2006-04-27 2010-12-29 Dolby Laboratories Licensing Corporation Audio gain control using specific-loudness-based auditory event detection
CN101149921B (zh) * 2006-09-21 2011-08-10 展讯通信(上海)有限公司 一种静音检测方法和装置
RU2413357C2 (ru) 2006-10-20 2011-02-27 Долби Лэборетериз Лайсенсинг Корпорейшн Обработка динамических свойств аудио с использованием перенастройки
US8521314B2 (en) * 2006-11-01 2013-08-27 Dolby Laboratories Licensing Corporation Hierarchical control path with constraints for audio dynamics processing
US20080147389A1 (en) * 2006-12-15 2008-06-19 Motorola, Inc. Method and Apparatus for Robust Speech Activity Detection
CN101681619B (zh) * 2007-05-22 2012-07-04 Lm爱立信电话有限公司 改进的话音活动性检测器
ATE535906T1 (de) * 2007-07-13 2011-12-15 Dolby Lab Licensing Corp Tonverarbeitung mittels auditorischer szenenanalyse und spektraler asymmetrie
US20090043577A1 (en) * 2007-08-10 2009-02-12 Ditech Networks, Inc. Signal presence detection using bi-directional communication data
US8190440B2 (en) * 2008-02-29 2012-05-29 Broadcom Corporation Sub-band codec with native voice activity detection
EP2107553B1 (en) * 2008-03-31 2011-05-18 Harman Becker Automotive Systems GmbH Method for determining barge-in
US8611556B2 (en) * 2008-04-25 2013-12-17 Nokia Corporation Calibrating multiple microphones
US8275136B2 (en) * 2008-04-25 2012-09-25 Nokia Corporation Electronic device speech enhancement
US8244528B2 (en) 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
CN101572090B (zh) * 2008-04-30 2013-03-20 向为 一种自适应多速率窄带编码方法及编码器
USD605629S1 (en) 2008-09-29 2009-12-08 Vocollect, Inc. Headset
KR101547344B1 (ko) 2008-10-31 2015-08-27 삼성전자 주식회사 음성복원장치 및 그 방법
TWI384423B (zh) * 2008-11-26 2013-02-01 Ind Tech Res Inst 以聲音事件為基礎之緊急通報方法與系統以及行為軌跡建立方法
US8160287B2 (en) 2009-05-22 2012-04-17 Vocollect, Inc. Headset with adjustable headband
CN104485118A (zh) 2009-10-19 2015-04-01 瑞典爱立信有限公司 用于语音活动检测的检测器和方法
US8438659B2 (en) 2009-11-05 2013-05-07 Vocollect, Inc. Portable computing device and headset interface
FR2956539B1 (fr) * 2010-02-16 2012-03-16 Dominique Retali Procede de detection du fonctionnement d'un dispositif de transmission sans fil de signaux de voix.
US20120143604A1 (en) * 2010-12-07 2012-06-07 Rita Singh Method for Restoring Spectral Components in Denoised Speech Signals
CN102883244B (zh) * 2011-07-25 2015-09-02 开曼群岛威睿电通股份有限公司 声震防护的装置及方法
US9363603B1 (en) 2013-02-26 2016-06-07 Xfrm Incorporated Surround audio dialog balance assessment
CN111261197B (zh) * 2020-01-13 2022-11-25 中航华东光电(上海)有限公司 一种复杂噪声场景下的实时语音段落追踪方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4358738A (en) * 1976-06-07 1982-11-09 Kahn Leonard R Signal presence determination method for use in a contaminated medium
JPS53105303A (en) * 1977-02-25 1978-09-13 Hitachi Ltd Preprocessing system for audio recognition
JPS5850360B2 (ja) * 1978-05-12 1983-11-10 株式会社日立製作所 音声認識装置における前処理方法
JPS59115625A (ja) * 1982-12-22 1984-07-04 Nec Corp 音声検出器
US4731846A (en) * 1983-04-13 1988-03-15 Texas Instruments Incorporated Voice messaging system with pitch tracking based on adaptively filtered LPC residual signal
DE3370423D1 (en) * 1983-06-07 1987-04-23 Ibm Process for activity detection in a voice transmission system
US4700392A (en) * 1983-08-26 1987-10-13 Nec Corporation Speech signal detector having adaptive threshold values
US4696039A (en) * 1983-10-13 1987-09-22 Texas Instruments Incorporated Speech analysis/synthesis system with silence suppression
JPH0748695B2 (ja) * 1986-05-23 1995-05-24 株式会社日立製作所 音声符号化方式
JP3321156B2 (ja) * 1988-03-11 2002-09-03 ブリテツシユ・テレコミユニケイシヨンズ・パブリツク・リミテツド・カンパニー 音声の動作特性検出
US5276765A (en) * 1988-03-11 1994-01-04 British Telecommunications Public Limited Company Voice activity detection
JP2573352B2 (ja) * 1989-04-10 1997-01-22 富士通株式会社 音声検出装置
US5680508A (en) * 1991-05-03 1997-10-21 Itt Corporation Enhancement of speech coding in background noise for low-rate speech coder
IN184794B (ja) * 1993-09-14 2000-09-30 British Telecomm
US5659622A (en) * 1995-11-13 1997-08-19 Motorola, Inc. Method and apparatus for suppressing noise in a communication system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533109A (ja) * 2000-04-28 2003-11-05 フランス テレコム エス アー マルチセンサアンテナ用受信システム
JP2004341339A (ja) * 2003-05-16 2004-12-02 Mitsubishi Electric Corp 雑音抑圧装置
JP2010170124A (ja) * 2008-12-30 2010-08-05 Huawei Technologies Co Ltd 信号圧縮方法及び装置
US8396716B2 (en) 2008-12-30 2013-03-12 Huawei Technologies Co., Ltd. Signal compression method and apparatus
US8560329B2 (en) 2008-12-30 2013-10-15 Huawei Technologies Co., Ltd. Signal compression method and apparatus
JP2022032721A (ja) * 2020-08-13 2022-02-25 沖電気工業株式会社 音声検出装置、音声検出プログラム、及び音声検出方法

Also Published As

Publication number Publication date
EP0719439A1 (en) 1996-07-03
DE69419615D1 (de) 1999-08-26
FI961158A0 (fi) 1996-03-13
HU9600641D0 (en) 1996-05-28
KR100363309B1 (ko) 2003-02-17
JP3224132B2 (ja) 2001-10-29
DK0719439T3 (da) 2000-02-07
AU7619894A (en) 1995-04-03
CZ67896A3 (en) 1996-07-17
NO307979B1 (no) 2000-06-26
CN1064772C (zh) 2001-04-18
HUT73986A (en) 1996-10-28
HK1014392A1 (en) 1999-09-24
MY111134A (en) 1999-08-30
SK281796B6 (sk) 2001-08-06
HU219994B (hu) 2001-10-28
FI118195B (fi) 2007-08-15
SK31896A3 (en) 1997-03-05
BR9407535A (pt) 1997-08-26
AU673776B2 (en) 1996-11-21
CA2169745C (en) 2000-05-16
NZ273045A (en) 1996-11-26
GR3031515T3 (en) 2000-01-31
IN184794B (ja) 2000-09-30
DE69419615T2 (de) 2000-05-25
EP0719439B1 (en) 1999-07-21
FI961158L (fi) 1996-03-13
CN1130952A (zh) 1996-09-11
WO1995008170A1 (en) 1995-03-23
CZ286743B6 (en) 2000-06-14
SG48935A1 (en) 1998-05-18
ES2136204T3 (es) 1999-11-16
ATE182420T1 (de) 1999-08-15
US6061647A (en) 2000-05-09
US5749067A (en) 1998-05-05
NO961032D0 (no) 1996-03-13
CA2169745A1 (en) 1995-03-23
NO961032L (no) 1996-03-13
KR960705303A (ko) 1996-10-09

Similar Documents

Publication Publication Date Title
JPH09502814A (ja) 音声活動検出装置
JP3423906B2 (ja) 音声の動作特性検出装置および検出方法
US6023674A (en) Non-parametric voice activity detection
US5781883A (en) Method for real-time reduction of voice telecommunications noise not measurable at its source
JP3963850B2 (ja) 音声区間検出装置
US5970441A (en) Detection of periodicity information from an audio signal
EP2242049B1 (en) Noise suppression device
JP4764118B2 (ja) 帯域制限オーディオ信号の帯域拡大システム、方法及び媒体
US6453289B1 (en) Method of noise reduction for speech codecs
EP2346032B1 (en) Noise suppressor and voice decoder
US5579432A (en) Discriminating between stationary and non-stationary signals
US6757651B2 (en) Speech detection system and method
US6965860B1 (en) Speech processing apparatus and method measuring signal to noise ratio and scaling speech and noise
Vahatalo et al. Voice activity detection for GSM adaptive multi-rate codec
Ozer et al. A geometric algorithm for voice activity detection in nonstationary Gaussian noise
AU673776C (en) Voice activity detector
HK1014392B (en) Voice activity detector

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080824

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080824

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090824

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090824

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term