JPH0673080B2 - 連続音声認識方式 - Google Patents

連続音声認識方式

Info

Publication number
JPH0673080B2
JPH0673080B2 JP62298282A JP29828287A JPH0673080B2 JP H0673080 B2 JPH0673080 B2 JP H0673080B2 JP 62298282 A JP62298282 A JP 62298282A JP 29828287 A JP29828287 A JP 29828287A JP H0673080 B2 JPH0673080 B2 JP H0673080B2
Authority
JP
Japan
Prior art keywords
word
pattern
time
input
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP62298282A
Other languages
English (en)
Other versions
JPH01138597A (ja
Inventor
博昭 迫江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP62298282A priority Critical patent/JPH0673080B2/ja
Priority to EP88119665A priority patent/EP0318858B1/en
Priority to DE3851872T priority patent/DE3851872T2/de
Publication of JPH01138597A publication Critical patent/JPH01138597A/ja
Priority to US08/291,509 priority patent/US5410635A/en
Publication of JPH0673080B2 publication Critical patent/JPH0673080B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明はデータ入力、制御指令入力等を音声によって行
なう音声認識方式に関し、特には複数個の単語を連続し
て発生した音声を認識する連続音声認識方式に関する。
(従来の技術) 連続音声認識によると、区切って入力する離散単語認識
に比して、より自然で高速な入力ができることから、そ
の技術は昭和50年代に盛んに研究された。現在最も進ん
だ技術とされているのは、特願昭56−208791号明細書に
よって提案され、迫江と亘理によって「音声研究会資料
S81−65(昭和56年12月発行)に“クロック同期伝播DP
法による連続音声認識の検討”と題して発表された論
文」(以下文献(1)と呼ぶ)によって公開されたクロ
ックワイズDP法と呼ぶ方法であると言える。この方法で
は各単語(n)毎に特徴の時系列として表現される標準
パターンを用意する。
B(n)=b1(n)b2(n)…bj(n)…bJ(n)(n)
…(1) この特徴とは例えばバンドパスフィルタ群の時刻jにお
ける出力レベルが構成するベクトルの類である。入力パ
ターンも同様に特徴の時系列として表現される。
A=a1a2…ai…aI …(2) この入力パターンには一般的には複数個の単語が連とし
て含まれる。
クロックワイズDP法では入力パーンAを最適に近似する
標準パターン列を合成するという考え方で連続音声の認
識を行なう。具体的には単語名n、入力パターン時間軸
i、標準パターン時間軸jの3軸が張る空間(n;i,j)
を考える。この空間の中で(n;1,1)点(nは任意)か
ら出発して(n;I,J(n))(nは任意)で終る軌跡
(n(i);j(i))で入力ターン特徴aiと標準パター
ン特徴bj(j=j(i))との距離d(n;i,j)の総和
が最小になるものを定めることにより認識を行なう。す
なわち なる最適経路問題の解となるn(i)の系列として認識
結果を得る。
この方法によると、入力パターンを事前に単語単位に区
分するという困難な処理を回避することができるので比
較的高精度の認識処理が実現された。
(発明が解決しようとする問題点) しかし、このクロックワイズDP法では標準パターンが単
なる特徴の時系列として与えられているため、音声パタ
ーンの変動に充分対処できないという欠点があった。微
細な変動ならば平均的な特徴を計算して用いるなどの便
法で対応できるが、母音の無声化、個人差といった大幅
な変動に対しては無力であった。
本発明は母音の無声化傾向や個人差等の変動も学習し
て、連続音声を高精度で認識できる連続音声認識システ
ムの実現を目的としたものである。
(作用) 本発明による連続音声認識方式は、各単語nに対して少
なくとも入力層、中間層、及び出力層の3層よりなり、
入力層と中間層が時間軸jを有する時系列的構造を有す
るニューラルネットワークB(n)を用いて連続音声を
認識するに際して、時間軸iを有する特徴の時系列とし
て与えられる入力パターンに対して、i、j、nの張る
空間中において、軌跡(n(i),j(i))を、個々の
ニューラルネットワーク中ではj(i)が準連続で、ニ
ューラルネットワークの終端でのみn(i)が変化し得
るとの条件で、ニューラルネットワーク出力和が最大に
なるように最適化し、この軌跡が経由するダイナミック
ニューラルネットワークに対応する単語名n(i)の連
として認識結果を得ることを特徴とする。
なお、ニューラルネットワークの一般的説明は「日経エ
レクトロニクス誌、no.427(昭和62年8月10日発行の代
115頁−代121頁)」(以下文献(2))に記されてい
る。
第1図は本発明の原理を説明するための図であり、第2
図は部分拡大図である。第1図の縦方向には時間軸jを
有するニューラルネットワークB(n)が各単語分配置
されている。横方向には時間軸iを有する(2)式の入
力パターンAが配置されている。各ニューラルネットワ
ークB(n)は第2図の如く入力層、中間層、及び出力
ユニットよりなる。入力層には、入力の特徴aiを受け入
れるべくフレーム構造となっている。いま特徴aiが ai=(ali…aki…aki) …(4) なるK次元ベクトルであるとする。入力層の1個のフレ
ームには(n;j,k)なるK個の入力ユニットが存在す
る。このフレームは時刻jによって指定され、全体とし
てJ(n)フレームの時系列となっている。中間層の時
刻jに対応するフレーム構造となっている。1フレーム
は1=1,2,…Lによって指定される中間層ユニット(n;
j,1)よりなっている。第jフレームの中間層ユニット
の個々には、時刻j以前の複数フレームの入力層ユニッ
トと結合されている。図では入力層の第jフレームと第
j−1フレームの2フレーム分が接続されるものとして
ある。以後の説明でも、例として、2フレーム分の接続
として扱う。また図では入力層の1フレームと中間層の
1フレーム間の接続を1本の線で略記しているが<実際
には両フレームの全ユニット間での接続が存在する。入
力層ユニットは入力の特徴aiを中間層ユニットに伝達す
る。以上のような入力層、中間層の構造を時系列的構成
と呼ぶ。
入力層の第jフレームの第k番目のユニットから中間層
の第jフレームの第1番目のユニットへ至る結合には係
数β(n;j,k,1,0)が荷重され、同じく入力層の第j−
1フレームから中間層の第jフレームの第1番目のユニ
ットへ至る結合には係数β(n;j,k,1,1)が荷重され
る。
入力層の第jフレームに入力パターンの特徴aiが、第j
−1フレームにai-1が対応づけられた場合の中間層第j
フレームの第1ユニットへの荷重入力和は あるいは ここに はβ(n;j,k,1,0)を要素とするK次元ベクトルであ
り、 はβ(n;j,k,1,1)を要素とするK次元ベクトルであ
る。中間層ユニット(n;j,1)の出力はnet(n;j,1)例
えばSigmoid関数 y(n;j,1)=f(net(n;j,1))=1/(1+exp(−ne
t(n;j,1))) …(6) を適用したものとなる。この出力値の第jフレーム分を
1個のベクトル と記す。
これらの中間層の第jフレームの出力値は係数 によって荷重づけられた上で加算され出力ユニット
(n)の入力となる。
振返って(5′)、(6)を用いて整理すると となる。ここに、 は なるn次元ベクトルである。
いま、(9)式の右辺を とおく。これまで検討したajがB(n)の第jフレーム
に対応づけられ、ai-1が第j−1フレームに対応づけら
れた場合の、出力への貢献はr(n;i,j)となり、(n;
i,j)の組み合わせで定まることが明らかになった。ニ
ューラルネットワークB(n)の出力層は、このr(n;
i,j)の総和を出力とする。すなわち 以上、入力層と中間層を時系列構成として、その性質を
解析した結果、r(n;i,j)は、クロックワイズDP法の
距離d(n;i,j)と同様に、(n;i,j)の3パラメタの指
定で定まり、かつ出力への貢献は加法的であることが明
らかなになった。このことは次のような連続音声認識ア
ルゴリズムが可能となることを意味する。すなわち、第
1図に示した(n;i,j)空間においてi=1で始まり、
i=Iで終わる規跡(n(i);j(i))を定め、この
軌跡上のr(n;i,j)の総和を最大とすることによって
最適な単語系列 を定め、認識結果とする。
(実施例) 第3図は本発明の1実施形態を示すブロック図である。
係数記憶部10には中間層係数 及び出力層 を所要のn、j、1に対して記憶する。入力パターンバ
ッファ20には(4)式の特徴aiの時系列として表現され
る入力パターンA((2)式)を保持する。
係数処理部30は後述のDP処理部40から(n;i,j)の組み
を受け(10)式のr(n;i,j)を計算する。
ワークエリア50には次のようなテーブルが用意されてい
る。
g(n;i,j) m(n;i,j) T(i) M(i) N(i) DP処理部40は、このワークエリアを用いて、次のような
動的計画法(DP)演算によって最適経路問題を計算す
る。まず上記のテーブルT(i)にi=0なる仮想の番
地を設定して T(O)=0 なる初期条件設定を行なう。以後入力パターン時刻iを
正順に変化させつつ、各iにおいて次の如き動的計画法
演算を行なう。
n=1,2,…Nに対して〜を実行する。
g(n;i−1,−1)=∞ g(n;i−1,0)=T(i−1),m(n;i−1,0)=i−1 j=1,2,…J(n)に対してを実行する。
[1}m(n;i,j)=m(n;i−1,j) [2}m(n;i,j)=m(n;i−1,j−1) [3}m(n;i,j)=m(n;i−1,j−2) ([X]はその直前の最大化式すなわち(12)式の右辺
のmax[ ]の処理においてx番目のものが最大であっ
たときの処理を意味する。) T(i)=max[g(n;i,J(n)] [n]N(i)=n M(i)=g(n;i,J(n)) このうちの右辺の計算においては(n;i,j)なる信号
が係数処理部30に送られる。そこでは入力パターンバッ
ファ20により入力特徴aiが、係数 と が係数記憶部10より入力され(10)式に送られr(n;i,
j)が計算され、DP法処理に送られる。これを用いて(1
2)式の計算が行なわれる。
上記の〜の処理がi=1,2…Iまで実行されるとDP
処理が終了する。これによって作成されたN(i)、M
(i)のテーブルを参照して、判定部60で次のような判
定処理が実行される。
i=I i=m i>0ならば以下を繰り返す。
このにおいて求まる を逆順に並べ直したものが認識結果となる。
以上本発明の原理を実施例を用いて説明したがこれらは
本発明の範囲を限定するものでない。例えば中間層の第
iフレームには、入力層の第iと第i−1の2フレーム
が接続されるとしたが、必要に応じて3個以上のフレー
ムが接続されてよい。
本発明の重要な拡張として特願昭56−199098に記載され
るが如き、有限従来の技術オートマトンによる構文制御
機能の組み込みがある。以上の説明と構文制御つきアル
ゴリズムの関係は、J度特願昭56−208791と特願昭56−
199098との関係に対応する。よって説明は省略するが、
構文制御機能を有する方式も本願の権利範囲に含まれる
ものである。また、以上の説明で用いた単語という概念
は音節、母音−子音−母音連鎖等も含むものとする。
(実施) 以上の如き連続音声認識方式によると、単なる標準パタ
ーンを用いて従来方式に比して、係数α、βに複雑なパ
ターン変形を抽象化して表現しておくことができるの
で、従来方式に比して格段に高精度の認識が期待され
る。
【図面の簡単な説明】
第1図、第2図は本発明の原理説明図、第3図は本発明
の一実施例をである。 10…係数記憶部、20…入力パターンバッファ 30…係数処理部、40…DP処理部 50…ワークエリア、60…判定部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】各単語nに対して、少なくとも入力層、中
    間層、及び出力層の3層よりなり、入力層と中間層が時
    間軸jを有する時系列的構造をとるニューラルネットワ
    ークB(n)を用いて連続音声を認識するに際して、時
    間軸iを有する特徴の時系列として与えられる入力パタ
    ーンに対して、i、j、nの張る空間中において、軌跡
    (n(i),j(i))を、個々のニューラルネットワー
    ク中ではj(i)が準連続で、ニューラルネットワーク
    の終端でのみn(i)が変化し得るとの条件で、ニュー
    ラルネットワーク出力の総和が最大となるように最適化
    し、この軌跡が経由するダイナミックニューラルネット
    ワークに対応する単語名n(i)の連として認識結果を
    得ることを特徴とする連続音声認識方式。
  2. 【請求項2】上記軌跡の最適化を動的計画法によって実
    行することを特徴とする特許請求の範囲第1項記載の連
    続音声認識方式。
  3. 【請求項3】上記ニューラルネットワークの終端でのn
    (i)の変化が有限状態オートマトンによって制限され
    ることを特徴とする特許請求の範囲第1項もしくは第2
    項記載の連続音声認識方式。
JP62298282A 1987-11-25 1987-11-25 連続音声認識方式 Expired - Fee Related JPH0673080B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP62298282A JPH0673080B2 (ja) 1987-11-25 1987-11-25 連続音声認識方式
EP88119665A EP0318858B1 (en) 1987-11-25 1988-11-25 Connected word recognition system including neural networks arranged along a signal time axis
DE3851872T DE3851872T2 (de) 1987-11-25 1988-11-25 Wortkettenerkennungssysteme mit längs einer Signalzeitachse angeordneten neuralen Netzen.
US08/291,509 US5410635A (en) 1987-11-25 1994-08-18 Connected word recognition system including neural networks arranged along a signal time axis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP62298282A JPH0673080B2 (ja) 1987-11-25 1987-11-25 連続音声認識方式

Publications (2)

Publication Number Publication Date
JPH01138597A JPH01138597A (ja) 1989-05-31
JPH0673080B2 true JPH0673080B2 (ja) 1994-09-14

Family

ID=17857614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP62298282A Expired - Fee Related JPH0673080B2 (ja) 1987-11-25 1987-11-25 連続音声認識方式

Country Status (4)

Country Link
US (1) US5410635A (ja)
EP (1) EP0318858B1 (ja)
JP (1) JPH0673080B2 (ja)
DE (1) DE3851872T2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03143057A (ja) * 1989-10-28 1991-06-18 Sekisui Chem Co Ltd 音声ダイヤル電話装置
JPH03144176A (ja) * 1989-10-28 1991-06-19 Sekisui Chem Co Ltd 音声制御給湯装置
US5809461A (en) * 1992-03-30 1998-09-15 Seiko Epson Corporation Speech recognition apparatus using neural network and learning method therefor
JP3168779B2 (ja) * 1992-08-06 2001-05-21 セイコーエプソン株式会社 音声認識装置及び方法
US5745649A (en) * 1994-07-07 1998-04-28 Nynex Science & Technology Corporation Automated speech recognition using a plurality of different multilayer perception structures to model a plurality of distinct phoneme categories
EP0702354A1 (en) * 1994-09-14 1996-03-20 Matsushita Electric Industrial Co., Ltd. Apparatus for modifying the time scale modification of speech
US5687347A (en) * 1994-09-19 1997-11-11 Matsushita Electric Industrial Co., Ltd. Data providing device, file server device, and data transfer control method
JP3254994B2 (ja) * 1995-03-01 2002-02-12 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US6151592A (en) * 1995-06-07 2000-11-21 Seiko Epson Corporation Recognition apparatus using neural network, and learning method therefor
US5839103A (en) * 1995-06-07 1998-11-17 Rutgers, The State University Of New Jersey Speaker verification system using decision fusion logic
JP3697748B2 (ja) * 1995-08-21 2005-09-21 セイコーエプソン株式会社 端末、音声認識装置
US6947890B1 (en) * 1999-05-28 2005-09-20 Tetsuro Kitazoe Acoustic speech recognition method and system using stereo vision neural networks with competition and cooperation
JP4661074B2 (ja) * 2004-04-07 2011-03-30 ソニー株式会社 情報処理システム、情報処理方法、並びにロボット装置
EP3373208A1 (en) * 2017-03-08 2018-09-12 Nxp B.V. Method and system for facilitating reliable pattern detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3287649A (en) * 1963-09-09 1966-11-22 Research Corp Audio signal pattern perception device
US4592086A (en) * 1981-12-09 1986-05-27 Nippon Electric Co., Ltd. Continuous speech recognition system
JPS58100195A (ja) * 1981-12-10 1983-06-14 日本電気株式会社 連続音声認識装置
DE3215868A1 (de) * 1982-04-29 1983-11-03 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren und anordnung zum erkennen der woerter in einer zusammenhaengenden wortkette
US4591980A (en) * 1984-02-16 1986-05-27 Xerox Corporation Adaptive self-repairing processor array
US4773024A (en) * 1986-06-03 1988-09-20 Synaptics, Inc. Brain emulation circuit with reduced confusion
US4805225A (en) * 1986-11-06 1989-02-14 The Research Foundation Of The State University Of New York Pattern recognition method and apparatus
US4807168A (en) * 1987-06-10 1989-02-21 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Hybrid analog-digital associative neural network

Also Published As

Publication number Publication date
DE3851872D1 (de) 1994-11-24
US5410635A (en) 1995-04-25
EP0318858A2 (en) 1989-06-07
EP0318858B1 (en) 1994-10-19
JPH01138597A (ja) 1989-05-31
EP0318858A3 (en) 1991-01-09
DE3851872T2 (de) 1995-06-08

Similar Documents

Publication Publication Date Title
EP0342630B1 (en) Speech recognition with speaker adaptation by learning
US10002605B2 (en) Method and system for achieving emotional text to speech utilizing emotion tags expressed as a set of emotion vectors
US5515475A (en) Speech recognition method using a two-pass search
US6735588B2 (en) Information search method and apparatus using Inverse Hidden Markov Model
US4555796A (en) DP Matching system for recognizing a string of words connected according to a regular grammar
US7054814B2 (en) Method and apparatus of selecting segments for speech synthesis by way of speech segment recognition
JP5060006B2 (ja) 音声認識システムの自動的再学習
JPH01138597A (ja) 連続音声認識方式
JP2841404B2 (ja) 連続音声認識装置
JP3014177B2 (ja) 話者適応音声認識装置
JPH029359B2 (ja)
JPS61219099A (ja) 音声認識装置
JP7691852B2 (ja) 要約映像生成装置およびそのプログラム
JP3315565B2 (ja) 音声認識装置
JPH0887294A (ja) 音声認識装置
JP2886474B2 (ja) 規則音声合成装置
JPH0214000A (ja) 音声認識装置
JP3052520B2 (ja) パターン分類装置
JPH01241667A (ja) 学習機構を有するダイナミック・ニユーラル・ネットワーク
JPS61148497A (ja) 標準パタン作成装置
JPH0713598A (ja) 特定タスク音声データベース生成装置
JP3818154B2 (ja) 音声認識方法
JP3094473B2 (ja) 動的計画法照合装置
JPH09222898A (ja) 規則音声合成装置
JPH0561847A (ja) ニユーラルネツトワーク学習装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees