JPH0731472B2 - 音声語学練習機 - Google Patents

音声語学練習機

Info

Publication number
JPH0731472B2
JPH0731472B2 JP18001183A JP18001183A JPH0731472B2 JP H0731472 B2 JPH0731472 B2 JP H0731472B2 JP 18001183 A JP18001183 A JP 18001183A JP 18001183 A JP18001183 A JP 18001183A JP H0731472 B2 JPH0731472 B2 JP H0731472B2
Authority
JP
Japan
Prior art keywords
word
content
speech recognition
voice
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP18001183A
Other languages
English (en)
Other versions
JPS6070475A (ja
Inventor
泰雄 佐藤
教幸 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP18001183A priority Critical patent/JPH0731472B2/ja
Publication of JPS6070475A publication Critical patent/JPS6070475A/ja
Publication of JPH0731472B2 publication Critical patent/JPH0731472B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

【発明の詳細な説明】 (A)発明の技術分野 本発明は音声語学練習機,特に連続単語音声認識を利用
し,外国語の会話練習,文法練習等を効果的にできるよ
うにした音声語学練習機に関するものである。
(B)従来技術と問題点 語学教育,特に外国語の習得には,単に読む,書く,聞
くというだけでなく,実際に発声して話すことが重要で
ある。従来,音声語学練習機としては,例えばテープレ
コーダを利用したものが用いられているが,従来の音声
語学練習機によれば,単にテープ教材等から再生された
音声をそのまま繰り返すとか,再生された音声による文
章の一部を,他の言葉で言い換えて,学習者が発声して
みるというものであつた。しかし,学習者が発声した音
声の正否は,学習者自身が判断しなければならないの
で,例えば学習者が誤つて発声した場合であつても,学
習者がそれに気が付かないことが少なくなかつた。ま
た,学習者の誤りに対して,適当な指針を与えることが
できないものであつた。
(C)発明の目的と構成 本発明は上記問題点の解決を図り,語学は文章全体を発
声することによつて効果的に修得できることを考慮する
とともに,学習者の発声に対して,誤りがあるかどうか
を自動的に判断し,誤りがある場合には,それを指摘し
て,適当な指針を与える手段を提供し,特に外国語等の
会話や文法の学習を効果的に行い得るようにすることを
目的としている。そのため,近年,急速に進歩しつつあ
る音声認識処理,特に連続単語音声認識の技術を応用す
ることに着目し,語学教育効果を向上させることをめざ
している。すなわち,本発明の音声語学練習機は,少な
くとも質問内容および解答内容に関する情報を含む教程
の内容を記憶する教程記憶手段と,該教程記憶手段が記
憶する教程内で使用する単語を指定する指示手段と,使
用者が発声した上記指示手段によつて指定した単語の音
声を登録する登録手段と,教程内容に従つて音声合成ま
たは文字・図形の表示により質問内容を呈示する出力手
段と,該出力手段によつて呈示した質問内容に対して連
続的に発声された音声単語列を入力し,事前に登録され
かつ現時点において入力を許された登録単語の音声特徴
パラメータをもとに連続単語音声認識を行う音声認識手
段と,連続単語音声認識による認識結果について,上記
教程記憶手段を参照し正解であるか誤答であるかの情報
または誤り箇所に関する情報を出力する指針出力手段と
を備えたことを特徴としている。以下図面を参照しつつ
実施例に従つて説明する。
(D)発明の実施例 第1図は本発明の一実施例ブロツク図,第2図および第
3図はそれぞれ本発明の一実施例処理態様説明図,第4
図は有限状態オートマトンの状態遷移図の例,第5図は
第1図図示構文情報記憶部の記憶形式の例を示す。
図中,1は主制御部,2はマイクロホン,3はパラメータ抽出
部,4はパラメータ登録部,5は単語辞書部,6は連続単語音
声認識部,7は構文情報記憶部,8は出力部,9は音声合成
部,10は表示制御部,11は増幅器,12はスピーカ,13はデイ
スプレイ,14は教程記憶部,15は単語指示部を表わす。
主制御部1は,プロセツサによつて,予め与えられた命
令を実行処理し,以下に説明する各種処理部をドライブ
するものである。音声入力はマイクロホン2から行われ
る。パラメータ抽出部3は,マイクロホン2から入力さ
れた音声信号を,音響分析し,入力音声の特徴を表わす
入力特徴パラメータ時系列を抽出するものである。例え
ば,帯域フイルタ群等によつて周波数分析し,第1ホル
マント周波数に相当するモーメントM1や,第2ホルマン
ト周波数に相当するモーメントM2や,さらには,低域電
力や高域電力を抽出し,これらの特徴量に関するサンプ
ル点を決定して,特徴量の時系列情報を得る。
パラメータ登録部4は,後に行う音声認識のために,予
め指定した学習に用いる単語についての,学習者の発声
から抽出した特徴パラメータを,単語辞書部5に,その
単語の項目名とともに登録するものである。連続単語音
声認識部6は,パラメータ抽出部3によつて分析され抽
出された学習者の応答の特徴パラメータについて,単語
辞書部5に格納された単語単位の特徴パラメータと,い
わゆる2段DPマツチングまたはレベル・ビルデイング
(LB)法等により照合し,連続単語音声の認識を行うも
のである。この連続単語音声の認識にあたつて,必要に
応じて構文情報記憶部7の記憶情報が用いられる。構文
情報記憶部7には,許される単語の続き具合等の構文情
報が教程の内容に従つて予め用意され,この構文情報を
認識時に用いることにより,認識速度および認識率の向
上が図られている。
出力部8は,ガイド内容,質問内容,解答内容等を学習
者に呈示するものであつて,例えば音声合成部9と表示
制御部10とからなる。音声合成部9によつて合成された
音声は,増幅器11で増幅されて,スピーカ12から出力さ
れる。表示制御部10は,CRTや液晶等によるデイスプレイ
13への表示を制御するものである。
ガイド内容,質問内容,解答内容等を含む教程の内容
は,主制御部1の制御により,教程記憶部14から読み出
される。教程記憶部14の記憶内容は,例えばカセツト・
テープ,フレキシブル・デイスク等により交換可能とさ
れる。単語指示部15は,教程記憶部14の内容から,教程
で使用する単語を抽出し,出力部8を経由して,指示す
るものである。
次に,第1図図示実施例の処理態様について説明する。
第2図は,構文情報を用いない学習方式の例を示してい
る。
まず,学習の開始時に処理20によつて,教程で使用する
単語を指示し,学習者の発声を促す。学習者が指示され
た単語を発声したならば,その音声から特徴パラメータ
を抽出し,処理21によつて,単語登録を行う。次に,処
理22によつて出題内容を表示する。この出題に対して,
学習者が音声で応答したならば,その音声を処理23によ
り入力し,一連の特徴パラメータを抽出する。この特徴
パラメータと,上記処理21によつて登録した単語辞書中
の特徴パラメータとを,処理24により,例えば2段DPマ
ツチングを用いて,連続単語音声認識を行う。2段DPマ
ツチングにおいては,周知の如く,照合処理を単語単位
での処理と全体としての処理とに分解し,それぞれをダ
イナミツク・プログラミングによつて効率よく実行する
ようにされる。
認識結果が得られたならば,処理25により,その認識結
果を表示する。そして処理26により,正解であるか誤答
であるかの情報や誤り箇所の指摘等を例えば音声合成に
よつて音声で通知する。次に処理27により,出題がまだ
残つているかどうかを判定し,出題がすべて終了した場
合,または学習者からの停止指示があつた場合に処理を
終了する。まだ出題が残つていて,学習者が継続を望む
場合には,処理22へ制御を戻し,同様に次の出題を繰り
返す。
第3図は構文情報を連続単語音声認識に用いる実施例の
処理態様を示している。第3図図示処理30ないし処理33
は,第2図図示処理20ないし処理23の処理と同様であ
る。ただし,処理32の出題においては,文中の単語の置
き換え問題が出題されている。一般にこのような問題の
場合,前後の単語の続き関係は,予め定まつている。す
なわち,ある構文に従つた単語の配列のみが許されてお
り,任意の単語がバラバラに用いられることはない。処
理34における音声認識においては,このような構文情報
が利用される。具体的には,例えば次のような情報が用
いられる。
例えば「I go to church.」の文型が与えられていると
き,この主語を他の代名詞に置き換える形における許さ
れる状態遷移は,第4図のようになる。なお,このよう
な状態遷移図は,有限状態オートマトンにおいて知られ
ている。この情報を,例えば構文情報の状態遷移テーブ
ルとして,第5図図示の如く記憶する。内容は以下の通
りである。開始状態(0)においては,「I」,「Yo
u」,「They」,「He」,「She」の入力が許される。そ
して,「I」,「You」または「They」のいずれかが入
力されると,状態(0)は状態(1)へ遷移する。一
方,「He」または「She」が入力されると,状態(2)
へ遷移する。状態(1)においては,「go」の入力が許
され,状態(2)においては,「goes」の入力が許され
る。以下同様であり,状態(6)が最終状態となる。
第5図に示したような構文情報を利用した連続発声文章
の認識は,例えば昭和55年10月,日本音響学会講演論文
集「1−1−23オートマトン制御2段DP法による連続音
声認識システム」等において知られている。例えば以下
のとおりである。
入力パターンA,標準パターンBnを, とする。ここで,入力パターンAの部分パターンA(l,
m), を抽出し,入力パターンAの部分パターンと,標準パタ
ーンBnとの距離を求める。
D(l,m,n)=D(A(l,m),Bn) オートマトンの構文情報は, α=〈K,Σ,Δ,P0,F〉 によつて定まる。ここで,Kは状態の集合,Σは単語セツ
トであつて,「I,You,……,to,church」の集合,Δは第
5図図示の如き状態遷移テーブルであつて,p,qを状態と
するとき, q=δ(p,n)(ただし,nは単語番号) と表わされるもの,P0は初期状態(=0),Fは最終状態
(=6)である。
2段DPの2段目の処理において,初期条件を, T(0,0)=0 T(m,q)=∞(m≠0,q≠0のとき) とし,次の漸化式を解く。
ただし,q=δ(p,n)とし,同時にl,p,nの最適値 をそれぞれ, として保存する。判定処理として, 最終状態 (ただし, は,〔 〕内の最小を与える変数qを算出することを意
味する。) とし, ならば, として,上記式以下を繰り返す。以上の処理によつて
認識結果となる単語列が逆順に求まることになる。
第3図図示処理34により,学習者の音声を認識したなら
ば,認識結果を処理35により,表示する。そして,処理
36により,例えば音声合成によつて指針を与える。そし
て,判定処理37によつて,出題が終了するまで,処理32
ないし処理36を同様に繰り返す。構文情報を利用するこ
とにより,より精度の高い認識を迅速に行うことができ
る。もちろん,上記オートマトン制御2段DPマツチング
は,一実施例であり,他の連続単語音声認識方式を用い
てもよい。
(E)発明の効果 以上説明した如く本発明によれば,連続単語音声認識技
術の応用により,文章全体の学習者の発声を入力し,そ
の正否を自動判定して,外国語等の会話練習,文法練習
を効果的に行わしめることができるようになる。特に,
予め学習者に単語発声を指示することにより,学習者に
教程に関連する単語を意識させることができるととも
に,特定話者および特定単語の認識が可能であり,認識
率,認識速度において良好な結果が得られる。
【図面の簡単な説明】
第1図は本発明の一実施例ブロツク図,第2図および第
3図はそれぞれ本発明の一実施例処理態様説明図,第4
図は有限状態オートマトンの状態遷移図の例,第5図は
第1図図示構文情報記憶部の記憶形式の例を示す。 図中,1は主制御部,2はマイクロホン,3はパラメータ抽出
部,4はパラメータ登録部,5は単語辞書部,6は連続単語音
声認識部,7は構文情報記憶部,8は出力部,9は音声合成
部,10は表示制御部,11は増幅器,12はスピーカ,13はデイ
スプレイ,14は教程記憶部,15は単語指示部を表わす。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】少なくとも質問内容および解答内容に関す
    る情報を含む教程の内容を記憶する教程記憶手段と, 該教程記憶手段が記憶する教程内で使用する単語を指定
    する指示手段と, 使用者が発声した上記指示手段によつて指定した単語の
    音声を登録する登録手段と, 教程内容に従つて音声合成または文字・図形の表示によ
    り質問内容を呈示する出力手段と, 該出力手段によつて呈示した質問内容に対して連続的に
    発声された音声単語列を入力し,事前に登録されかつ現
    時点において入力を許された登録単語の音声特徴パラメ
    ータをもとに連続単語音声認識を行う音声認識手段と, 連続単語音声認識による認識結果について,上記教程記
    憶手段を参照し正解であるか誤答であるかの情報または
    誤り箇所に関する情報を出力する指針出力手段と を備えたことを特徴とする音声語学練習機。
  2. 【請求項2】上記音声認識手段は予め教程内容で定めら
    れた構文情報を利用して連続単語音声認識を行うことを
    特徴とする特許請求の範囲第(1)項記載の音声語学練
    習機。
JP18001183A 1983-09-28 1983-09-28 音声語学練習機 Expired - Lifetime JPH0731472B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18001183A JPH0731472B2 (ja) 1983-09-28 1983-09-28 音声語学練習機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18001183A JPH0731472B2 (ja) 1983-09-28 1983-09-28 音声語学練習機

Publications (2)

Publication Number Publication Date
JPS6070475A JPS6070475A (ja) 1985-04-22
JPH0731472B2 true JPH0731472B2 (ja) 1995-04-10

Family

ID=16075890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18001183A Expired - Lifetime JPH0731472B2 (ja) 1983-09-28 1983-09-28 音声語学練習機

Country Status (1)

Country Link
JP (1) JPH0731472B2 (ja)

Also Published As

Publication number Publication date
JPS6070475A (ja) 1985-04-22

Similar Documents

Publication Publication Date Title
CA2239691C (en) Method and apparatus for combined information from speech signals for adaptive interaction in teaching and testing
Ehsani et al. Speech technology in computer-aided language learning: Strengths and limitations of a new CALL paradigm
US6424935B1 (en) Two-way speech recognition and dialect system
US6134529A (en) Speech recognition apparatus and method for learning
KR100312060B1 (ko) 음독이 미숙한 자용 및 표시기가 없는 장치용 음성 인식등록 방법 및 장치
US6397185B1 (en) Language independent suprasegmental pronunciation tutoring system and methods
CN101739870B (zh) 交互式语言学习系统及交互式语言学习方法
US8221126B2 (en) System and method for performing programmatic language learning tests and evaluations
CN112232083A (zh) 人机对话口语测评系统
JP2001159865A (ja) 対話型語学指導のための方法および装置
WO2004063902B1 (en) Speech training method with color instruction
Evanini et al. Overview of automated speech scoring
LaRocca et al. On the Path to 2X Learning
Hiller et al. An Automated System for Computer‐Aided Pronunciation Learning
WO1999013446A1 (en) Interactive system for teaching speech pronunciation and reading
JPH06348297A (ja) 発音練習装置
Stativă et al. Assessment of Pronunciation in Language Learning Applications
JPH0731472B2 (ja) 音声語学練習機
Kantor et al. Reading companion: The technical and social design of an automated reading tutor
JP2007148170A (ja) 外国語学習支援システム
JP7659710B1 (ja) 音声類似度算定エンジン、及びこれを用いた学習支援プログラム、学習支援システム及び学習支援方法
Tsubota et al. Practical use of autonomous English pronunciation learning system for Japanese students
JPH05165494A (ja) 音声認識装置
JPH0562357B2 (ja)
Kirschning et al. Verification of correct pronunciation of Mexican Spanish using speech technology