JPH0223878B2 - - Google Patents
Info
- Publication number
- JPH0223878B2 JPH0223878B2 JP58072420A JP7242083A JPH0223878B2 JP H0223878 B2 JPH0223878 B2 JP H0223878B2 JP 58072420 A JP58072420 A JP 58072420A JP 7242083 A JP7242083 A JP 7242083A JP H0223878 B2 JPH0223878 B2 JP H0223878B2
- Authority
- JP
- Japan
- Prior art keywords
- phoneme
- line
- plane
- oral cavity
- energy curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【発明の詳細な説明】
この発明は、人間の音声を検出するための音声
検出方法に関する。
検出方法に関する。
コンピユータの発展に伴い、音声入力装置が提
案されている。この音声入力装置は予め音声波の
特徴を音声記憶部に記憶させ、新らたに入力され
た音声波の特徴を音声記憶部の記憶値と比較して
入力した音声を認識するものである。
案されている。この音声入力装置は予め音声波の
特徴を音声記憶部に記憶させ、新らたに入力され
た音声波の特徴を音声記憶部の記憶値と比較して
入力した音声を認識するものである。
しかしながら、従来の音声認識は鼻腔・口腔出
力が重ね合わされた音声波でもつて音素を識別認
識するものであるため、認識率・認識時間の点で
十分に満足のいけるものではない。
力が重ね合わされた音声波でもつて音素を識別認
識するものであるため、認識率・認識時間の点で
十分に満足のいけるものではない。
ところで、有声音発声時、声帯振動波は口蓋帆
によつて鼻腔に向うものと口腔に向うものに分割
され、鼻腔、口腔の形状相違などに基づく伝達特
性により修飾を受けて鼻孔と唇から出力される。
この時、鼻腔形状は変化しないが、口蓋帆は動
き、口腔形状は歯、舌などの動きにより変化し、
唇は開閉する。したがつて、声帯から発生し口腔
と鼻腔に分割された声帯振動波は、鼻孔と唇まで
の通路形状の違いによつて種々の修飾を受けるた
め、両者の鼻孔、唇からの出力波形は明瞭に異な
るものとなる。
によつて鼻腔に向うものと口腔に向うものに分割
され、鼻腔、口腔の形状相違などに基づく伝達特
性により修飾を受けて鼻孔と唇から出力される。
この時、鼻腔形状は変化しないが、口蓋帆は動
き、口腔形状は歯、舌などの動きにより変化し、
唇は開閉する。したがつて、声帯から発生し口腔
と鼻腔に分割された声帯振動波は、鼻孔と唇まで
の通路形状の違いによつて種々の修飾を受けるた
め、両者の鼻孔、唇からの出力波形は明瞭に異な
るものとなる。
また、無声音発声時においても、鼻腔出力が極
めて小さく、口腔出力のみが存在し、両者の出力
波形は明瞭に異なる。
めて小さく、口腔出力のみが存在し、両者の出力
波形は明瞭に異なる。
この発明は、口腔と鼻腔から出る音声波が明瞭
に異なる波形を示すことに着目して成したもので
あり、音素の認識を極めて容易にすることを目的
とする。
に異なる波形を示すことに着目して成したもので
あり、音素の認識を極めて容易にすることを目的
とする。
この目的達成のため、この発明の音声波検出方
法にあつては、鼻腔からの音声出力を検出すると
同時に口腔からの音声出力を検出し、 鼻腔出力エネルギー曲線と口腔出力エネルギー
曲線の立上り時間差を第１の特徴量とし、口腔出
力エネルギー曲線の立上り時における正規化鼻腔
出力エネルギー曲線と正規化口腔出力エネルギー
曲線の傾斜の比を第２の特徴量とする判別用Ｄ−
Ｓ平面と、 咽頭腔通過エネルギー曲線の立上り時における
咽頭腔通過エネルギーに対する鼻腔出力エネルギ
ーの比を第１の特徴量とし、発声中における前記
比の時間変化曲線の最大傾斜の値を第２の特徴量
とする判別用Ｏ−Δ平面と、 口腔出力音声信号における無音区間の差分零交
叉数を除去した雑音除去差分零交叉数を第１の特
徴量とし、この雑音除去差分零交叉数と鼻腔出力
エネルギー曲線の立上り時間差を第２の特徴量と
する判別用Ｎ−Ｄ平面と、 を作成し、発せられた音声波のこれらの判別用各
平面上における分布に基づき、 （step1） Ｏ−Δ平面上で（／Ｎ／）を分離し、 （step2） Ｎ−Ｄ平面上で（／サ行の音韻／）、
（／破擦音／）、（／摩擦音／）、（／ザ行の音
韻／）、（／マ行の音韻／、／ナ行の音韻／、／
ガ行の音韻／、／ダ行の音韻／、／バ行の音
韻／）の各音韻及び音韻群を分離し、 （step3） Ｏ−Δ平面上で（／ヤ行の音
韻／、／ラ行の音韻／、／ワ行の音韻／）の音
韻群を分離し、 （step4） Ｄ−Ｓ平面上で（／カ行の音
韻／、／タ行の破裂音韻／、／パ行の音韻／）
の音韻群を分離し、 （step5） Ｎ−Ｄ平面上で（／ア行の音韻／）
と（／ハ行の音韻／） の音韻の識別を行なう、 上記各stepからなる一連の手順により上記各音
韻群又は音韻を分類するようにしたのである。
法にあつては、鼻腔からの音声出力を検出すると
同時に口腔からの音声出力を検出し、 鼻腔出力エネルギー曲線と口腔出力エネルギー
曲線の立上り時間差を第１の特徴量とし、口腔出
力エネルギー曲線の立上り時における正規化鼻腔
出力エネルギー曲線と正規化口腔出力エネルギー
曲線の傾斜の比を第２の特徴量とする判別用Ｄ−
Ｓ平面と、 咽頭腔通過エネルギー曲線の立上り時における
咽頭腔通過エネルギーに対する鼻腔出力エネルギ
ーの比を第１の特徴量とし、発声中における前記
比の時間変化曲線の最大傾斜の値を第２の特徴量
とする判別用Ｏ−Δ平面と、 口腔出力音声信号における無音区間の差分零交
叉数を除去した雑音除去差分零交叉数を第１の特
徴量とし、この雑音除去差分零交叉数と鼻腔出力
エネルギー曲線の立上り時間差を第２の特徴量と
する判別用Ｎ−Ｄ平面と、 を作成し、発せられた音声波のこれらの判別用各
平面上における分布に基づき、 （step1） Ｏ−Δ平面上で（／Ｎ／）を分離し、 （step2） Ｎ−Ｄ平面上で（／サ行の音韻／）、
（／破擦音／）、（／摩擦音／）、（／ザ行の音
韻／）、（／マ行の音韻／、／ナ行の音韻／、／
ガ行の音韻／、／ダ行の音韻／、／バ行の音
韻／）の各音韻及び音韻群を分離し、 （step3） Ｏ−Δ平面上で（／ヤ行の音
韻／、／ラ行の音韻／、／ワ行の音韻／）の音
韻群を分離し、 （step4） Ｄ−Ｓ平面上で（／カ行の音
韻／、／タ行の破裂音韻／、／パ行の音韻／）
の音韻群を分離し、 （step5） Ｎ−Ｄ平面上で（／ア行の音韻／）
と（／ハ行の音韻／） の音韻の識別を行なう、 上記各stepからなる一連の手順により上記各音
韻群又は音韻を分類するようにしたのである。
このように構成されるこの発明に係る音声波検
出方法にあつては、まず、不特定多数人の発声音
に基づく予備実験によつて、前記Ｄ−Ｓ平面、Ｏ
−Δ平面、Ｎ−Ｄ平面を決定し、ある不特定人の
発声音を前記各平面に基づいて各音韻群又は音韻
に分類して、その音声を認識する。
出方法にあつては、まず、不特定多数人の発声音
に基づく予備実験によつて、前記Ｄ−Ｓ平面、Ｏ
−Δ平面、Ｎ−Ｄ平面を決定し、ある不特定人の
発声音を前記各平面に基づいて各音韻群又は音韻
に分類して、その音声を認識する。
したがつて、この発明によると、以上のように
構成し、鼻腔・口腔両出力の明瞭に異なる２つの
波形に基づいてその音声を認識するようにしたの
で、音声の認識が極めて正確かつ容易となり、コ
ンピユータ処理する際には、認識率・認識時間及
び記憶容量が著しく向上する。
構成し、鼻腔・口腔両出力の明瞭に異なる２つの
波形に基づいてその音声を認識するようにしたの
で、音声の認識が極めて正確かつ容易となり、コ
ンピユータ処理する際には、認識率・認識時間及
び記憶容量が著しく向上する。
以下、この発明の実施例を添付図面に基づいて
説明する。
説明する。
第１図に示すように、人の頭部１に固定される
ヘツドアーム２からは先端にマイク３ｍ，３ｎを
支持するアーム４が位置調整可能の顔の前面に延
びている。マイク３ｎは音声の鼻腔出力を検出す
るために鼻孔に向かい、マイク３ｍは音声の口腔
出力を検出するために口に向つている。なお、上
記マイク３ｎ，３ｍのいずれか一方は位置調整可
能に設けることが望ましい。また、マイク３ｍと
３ｎ間には鼻腔出力と口腔出力とを分離する遮断
板５を設けて、両出力が混合することなく各マイ
ク３ｎ，３ｍに入力することが望ましい。
ヘツドアーム２からは先端にマイク３ｍ，３ｎを
支持するアーム４が位置調整可能の顔の前面に延
びている。マイク３ｎは音声の鼻腔出力を検出す
るために鼻孔に向かい、マイク３ｍは音声の口腔
出力を検出するために口に向つている。なお、上
記マイク３ｎ，３ｍのいずれか一方は位置調整可
能に設けることが望ましい。また、マイク３ｍと
３ｎ間には鼻腔出力と口腔出力とを分離する遮断
板５を設けて、両出力が混合することなく各マイ
ク３ｎ，３ｍに入力することが望ましい。
上記各マイク３ｍ，３ｎからの信号は、第２図
に示すようにマルチプレクサ等の切換器６を介し
てAD変換器７に入力され、デイジタル信号に変
換されてコンピユータ８に入力される。コンピユ
ータ８において両マイク３ｍ，３ｎの出力に基づ
き、発せられた音声の認識処理を行なう。
に示すようにマルチプレクサ等の切換器６を介し
てAD変換器７に入力され、デイジタル信号に変
換されてコンピユータ８に入力される。コンピユ
ータ８において両マイク３ｍ，３ｎの出力に基づ
き、発せられた音声の認識処理を行なう。
この認識処理は種々の手段を取り得るが例えば
以下のようにして行なう。
以下のようにして行なう。
この手段は、マイク３ｍ，３ｎによつて検出し
て得られた音声出力のエネルギー曲線NEｍ，NE
ｎに基づき、下記のＤ、Ｓ、（En／Eo）p′、Δ
（En／Eo）、CR、DTなるパラメータを算出し、
各パラメータにより、Ｄ−Ｓ平面、（En／Eo）p−
Δ（En／Eo）平面（０−Δ平面）、CR−DT平面
（Ｎ−Ｄ平面）を得て、この各平面に基づき発声
音を識別するものである。
て得られた音声出力のエネルギー曲線NEｍ，NE
ｎに基づき、下記のＤ、Ｓ、（En／Eo）p′、Δ
（En／Eo）、CR、DTなるパラメータを算出し、
各パラメータにより、Ｄ−Ｓ平面、（En／Eo）p−
Δ（En／Eo）平面（０−Δ平面）、CR−DT平面
（Ｎ−Ｄ平面）を得て、この各平面に基づき発声
音を識別するものである。
Ｄ：NEｎとNEｍの立上り時間差
Ｓ：NEｎとNEｍの立上り時の傾斜比
En：鼻腔の通過エネルギー
Eo：咽頭腔の通過エネルギー
（En／Eo）p：En／Eo曲線の開始点の値
Δ（En／Eo）：En／Eo曲線の最大傾斜値
CR：雑音除去差分零交叉数
DT：雑音除去差分零交叉数とNEｎの立上り時間
差 つぎに、上記各平面の作成及びそれに基づく音
韻識別を述べる。
差 つぎに、上記各平面の作成及びそれに基づく音
韻識別を述べる。
(i) Ｄ−Ｓ平面
第３図ａ〜ｌは、音声(ア)／ａ／、(カ)／ka／、
（サ）／sa／、（タ）／ta／、（ナ）／na／、
(ハ)／ha／、（マ）／ma／、（ヤ）／ya／、
（ラ）／ta／、（ワ）／wa／、（パ）／pa／、
（ン）／Ｎ／をマイク３ｍ，３ｎで検出して得
られたエネルギー曲線NEｍ、NEｎであり、観
規した音声波エネルギーを各々最大値で正規化
したエネルギーの時間変化曲線である。
（サ）／sa／、（タ）／ta／、（ナ）／na／、
(ハ)／ha／、（マ）／ma／、（ヤ）／ya／、
（ラ）／ta／、（ワ）／wa／、（パ）／pa／、
（ン）／Ｎ／をマイク３ｍ，３ｎで検出して得
られたエネルギー曲線NEｍ、NEｎであり、観
規した音声波エネルギーを各々最大値で正規化
したエネルギーの時間変化曲線である。
このエネルギー曲線において、／ａ／、／
ha／ではNEｎとNEｍが同時に立上り、発声中
のNEｎとNEｍは同じ変化をしている。／
ka／、／ta／、／pa／ではNEｍの立上り時に
破裂気流によるピークが現われ、NEｍはNEｎ
より早く立上つている。／sa／では／ｓ／の区
間でNEｍに小さな値（矢印）が現われてい
る。／na／、／ma／ではNEｎがNEｍより早
く立上り、NEｍが増加を始めると同時にNEｎ
が減少を始める。／ya／、／ra／、／wa／で
はNEｎとNEｍがほぼ同時に立上るが立上り時
の傾斜はNEｎがNEｍより大きい。／Ｎ／では
口腔出力が極めて小さく、NEｍには室内騒音
のエネルギー曲線が現われている。
ha／ではNEｎとNEｍが同時に立上り、発声中
のNEｎとNEｍは同じ変化をしている。／
ka／、／ta／、／pa／ではNEｍの立上り時に
破裂気流によるピークが現われ、NEｍはNEｎ
より早く立上つている。／sa／では／ｓ／の区
間でNEｍに小さな値（矢印）が現われてい
る。／na／、／ma／ではNEｎがNEｍより早
く立上り、NEｍが増加を始めると同時にNEｎ
が減少を始める。／ya／、／ra／、／wa／で
はNEｎとNEｍがほぼ同時に立上るが立上り時
の傾斜はNEｎがNEｍより大きい。／Ｎ／では
口腔出力が極めて小さく、NEｍには室内騒音
のエネルギー曲線が現われている。
以上の各音韻のエネルギー曲線の特徴を表わ
すパラメータとして次式(1)、(2)で定義する遅延
時間Ｄと傾斜比Ｓを算出する。
すパラメータとして次式(1)、(2)で定義する遅延
時間Ｄと傾斜比Ｓを算出する。
Ｄ＝top−tnp ………(1)
Ｓ＝NEｎ（tn3）−NEｎ（tnp）／NEｍ（tn3）−NE
ｍ（tnp）………(2) 但し、top、tnpはNEｎ、NEｍが各々最大値の
５％点を初めて越えた時刻、tn3はtnpから任意
の時間例えば、19.2ｍsec後の時刻である。式
(1)はNEｎとNEｍの立上り時間差を、式(2)はNE
ｍの立上り時におけるNEｎとNEｍの傾斜の比
を表わす。
ｍ（tnp）………(2) 但し、top、tnpはNEｎ、NEｍが各々最大値の
５％点を初めて越えた時刻、tn3はtnpから任意
の時間例えば、19.2ｍsec後の時刻である。式
(1)はNEｎとNEｍの立上り時間差を、式(2)はNE
ｍの立上り時におけるNEｎとNEｍの傾斜の比
を表わす。
第４図は第３図における／sa／と／Ｎ／を除
く10種の単音節の２つのパラメータを算出して
Ｄ−Ｓ平面上に発声音の頭文字で例えば／ta／
はＴでプロツトしたもので、音声試料は10名の
男性が孤立発声したものである。なお、／sa／
では／ｓ／の区間でNEｍ値のばらつきが大き
くtnpの検出が不安定となり、また、／Ｎ／で
は口腔出力が極めて小さいためtnpが決定でき
ないという理由で除外した。図面においては、
Ｓ＞3.0の場合、Ｓ＝3.0の位置にプロツトして
いる。
く10種の単音節の２つのパラメータを算出して
Ｄ−Ｓ平面上に発声音の頭文字で例えば／ta／
はＴでプロツトしたもので、音声試料は10名の
男性が孤立発声したものである。なお、／sa／
では／ｓ／の区間でNEｍ値のばらつきが大き
くtnpの検出が不安定となり、また、／Ｎ／で
は口腔出力が極めて小さいためtnpが決定でき
ないという理由で除外した。図面においては、
Ｓ＞3.0の場合、Ｓ＝3.0の位置にプロツトして
いる。
この図によれば／ａ／、／ha／の遅延時間
Ｄは小さく、傾斜比Ｓは1.0を中心に分布す
る。／ka／、／tm／、／pa／ではＤ＞０でＳ
は小さい。。又、／na／、／ma／ではＤ＜０、
Ｓ＜０である。／ya／、／ra／、／wa／では
Ｄが小さく、Ｓが他の音韻群より大きい。この
音韻ではNEｍがNEｎの立上りよりややおくれ
る（Ｄ＜０）音声試料があるが、それらは、
NEｎとNEｍの概形は第３図とほぼ同じ形状で
あつたが、NEｎ曲線の最初のピークが早く、
そのピークの頂上付近でNEｎの傾きを計算す
ることとなるため、傾斜比Ｓがやや小さくなつ
たと考える（第４図矢印）。
Ｄは小さく、傾斜比Ｓは1.0を中心に分布す
る。／ka／、／tm／、／pa／ではＤ＞０でＳ
は小さい。。又、／na／、／ma／ではＤ＜０、
Ｓ＜０である。／ya／、／ra／、／wa／では
Ｄが小さく、Ｓが他の音韻群より大きい。この
音韻ではNEｍがNEｎの立上りよりややおくれ
る（Ｄ＜０）音声試料があるが、それらは、
NEｎとNEｍの概形は第３図とほぼ同じ形状で
あつたが、NEｎ曲線の最初のピークが早く、
そのピークの頂上付近でNEｎの傾きを計算す
ることとなるため、傾斜比Ｓがやや小さくなつ
たと考える（第４図矢印）。
以上により、Ｄ、Ｓを求めることにより各音
韻を数種のグループに分類し得ることが理解で
きる。
韻を数種のグループに分類し得ることが理解で
きる。
(ii) Ｏ−Δ平面
第１図に示すように、咽頭腔９の通過エネル
ギーをEp（ｔ）、鼻腔１０と口腔１１の出力エネ
ルギーを各々Eo（ｔ）、En（ｔ）又、マイク３
ｎ，３ｍが観測するエネルギーをEo（in）（ｔ）、
En（in）（ｔ）とした時、まず、観測値Eo（in）
（ｔ）、En（in）（ｔ）からEo（ｔ）／Ep（ｔ）の
時間変化曲線を推定する。
ギーをEp（ｔ）、鼻腔１０と口腔１１の出力エネ
ルギーを各々Eo（ｔ）、En（ｔ）又、マイク３
ｎ，３ｍが観測するエネルギーをEo（in）（ｔ）、
En（in）（ｔ）とした時、まず、観測値Eo（in）
（ｔ）、En（in）（ｔ）からEo（ｔ）／Ep（ｔ）の
時間変化曲線を推定する。
エネルギーは声道内で無損失であると仮定す
ると式(3)が成り立つ。
ると式(3)が成り立つ。
Ep（ｔ）＝Eo（ｔ）＋En（ｔ） ………(3)
又、Co、Cnを放射エネルギーのうち各マイ
クに入る比率とすれば、 Eo（in）（ｔ）＝CoEo（ｔ） En（in）（ｔ）＝CnEn（ｔ） ………(4) となり、式(3)と式(4)より CoEp（ｔ）＝Eo（in）（ｔ） ＋（Co／Cn）En（in）（ｔ） ………(5) が得られる。
クに入る比率とすれば、 Eo（in）（ｔ）＝CoEo（ｔ） En（in）（ｔ）＝CnEn（ｔ） ………(4) となり、式(3)と式(4)より CoEp（ｔ）＝Eo（in）（ｔ） ＋（Co／Cn）En（in）（ｔ） ………(5) が得られる。
ここで、Co／Cnの算出が問題になるが、例え
ば円筒の一端開口部に１個のマイクを配置し、他
端開口部で口及び鼻を覆つてEpを検出するととも
に第１図に示す手段によりEn、Eoを検出し、Ep
＝En＋EoとなるCo、Cnを算出すればよい。Cn、
Coはマイク３ｍ，３ｎの位置で変化するため、
固定して行ないEp、En、Eoは複数回の平均値で
比較するとよい。
ば円筒の一端開口部に１個のマイクを配置し、他
端開口部で口及び鼻を覆つてEpを検出するととも
に第１図に示す手段によりEn、Eoを検出し、Ep
＝En＋EoとなるCo、Cnを算出すればよい。Cn、
Coはマイク３ｍ，３ｎの位置で変化するため、
固定して行ないEp、En、Eoは複数回の平均値で
比較するとよい。
このようにして得たCo／Cnに基づき次式(6)を
得る。
得る。
Eo／Ep＝Eo（ｔ）／Ep（ｔ）
＝Eo（in）（ｔ）／Eo（in）（ｔ）＋（Co／Cn）En（in
）（ｔ） ………(6) 第５図に上述の発声音／ａ／…における上式
(6)のEo／Epの時間変化曲線を示す。
）（ｔ） ………(6) 第５図に上述の発声音／ａ／…における上式
(6)のEo／Epの時間変化曲線を示す。
このEo／Epの曲線の特徴を表わすパラメー
タとして次式を定義する。
タとして次式を定義する。
（Eo／Ep）p＝Eo（to）／Ep（to） ………(7)
Δ（Eo／Ep）＝Max〔Eo（ｔ）／Ep（ｔ）
−Eo（ｔ）′／Ep（ｔ）′〕 ………(8)
ただし、Maxはかぎかつこ内の最大値を意
味する。また、tpはEpが最大値の15％点を初め
て越えた時時刻、t′はtpから任意の時刻ｔから
ある時間例えば、19.2ｍsec後の時刻である。
式(7)はEo／Ep曲線の左端の値を、また、式(8)
は曲線の最大傾斜を表わしている。第６図は第
５図に示した10名の男性が孤立発声した12種の
単音節の上記２つのパラメータをＯ−Δ平面に
発声音の頭文字でプロツトしたものである。
（第６図では図を見やすくするため５個の音声
試料のみプロツトした音韻があるが、他の５個
も同様の分布をしている。） この図によれば12種の単音節が（／ａ／、／
ka／、／sa／、／ta／、／ha／、／pa／）、
（／na／、／ma／）、（／ya／、／ra／、／
wa／）、（／Ｎ／）の４群に分類できる。
味する。また、tpはEpが最大値の15％点を初め
て越えた時時刻、t′はtpから任意の時刻ｔから
ある時間例えば、19.2ｍsec後の時刻である。
式(7)はEo／Ep曲線の左端の値を、また、式(8)
は曲線の最大傾斜を表わしている。第６図は第
５図に示した10名の男性が孤立発声した12種の
単音節の上記２つのパラメータをＯ−Δ平面に
発声音の頭文字でプロツトしたものである。
（第６図では図を見やすくするため５個の音声
試料のみプロツトした音韻があるが、他の５個
も同様の分布をしている。） この図によれば12種の単音節が（／ａ／、／
ka／、／sa／、／ta／、／ha／、／pa／）、
（／na／、／ma／）、（／ya／、／ra／、／
wa／）、（／Ｎ／）の４群に分類できる。
なお、この平面図上では／∫a／、／
za／、／ga／、／da／、／ba／を扱わない
が、／∫a／の分布は／sa／と同じであり、／
za／、／ga／、／da／、／ba／の分布は／
na／に類似しているが分布は広く分類しにく
いからである。
za／、／ga／、／da／、／ba／を扱わない
が、／∫a／の分布は／sa／と同じであり、／
za／、／ga／、／da／、／ba／の分布は／
na／に類似しているが分布は広く分類しにく
いからである。
(iii) Ｎ−Ｄ平面
この平面は／ｓ／、／ｚ／などの摩擦音、／
t∫i／、／tsu／などの破擦音を識別するもので
あり、まず、その１つのパラメータである雑音
除去差分零交叉数（Noise rejected
differential zero crossing rate）について述
べる。
t∫i／、／tsu／などの破擦音を識別するもので
あり、まず、その１つのパラメータである雑音
除去差分零交叉数（Noise rejected
differential zero crossing rate）について述
べる。
第７図に示す例えば／su／の口腔出力音声波
形において、ある点における口腔出力音声信号
を｛xi｝とするとき、雑音除去差分零交叉数を
CRを次式(9)で定義する。
形において、ある点における口腔出力音声信号
を｛xi｝とするとき、雑音除去差分零交叉数を
CRを次式(9)で定義する。
｛（xi＋１−xi）（xi−xi−１）｝＜０、かつ｛｜
xi＋１｜しきい値または｜xi｜＞しきい値また
は｜xi−１｜＞しきい値｝ならばサンプル点ｉ
において雑音除去差分零交叉が１回あつたと
し、この零交叉をある区間内で合計したもの。
xi＋１｜しきい値または｜xi｜＞しきい値また
は｜xi−１｜＞しきい値｝ならばサンプル点ｉ
において雑音除去差分零交叉が１回あつたと
し、この零交叉をある区間内で合計したもの。
(9)
第８図ａ乃至ｆに／ｕ／、／su／、／
zu／、／tsu／、／hu／、／nu／の発声音のCR
と時間の関係を示す。
zu／、／tsu／、／hu／、／nu／の発声音のCR
と時間の関係を示す。
つぎに、もう１つのパラメータとして、次式(10)
で示すCRとNEｎの立上り時間差DT（Delay
time）を定義する。
で示すCRとNEｎの立上り時間差DT（Delay
time）を定義する。
Delay time＝top−zp
但し、Dalay time＜０のとき
Deley time＝top−tnp (10)
ここで、NEn、NEmの立上り時刻を各々top、
tnp、雑音除去差分零交叉数の立上りを、その交
叉数が９回を初めて越えた時刻zpとする。第８図
ａ乃至ｆに鼻腔、口腔出力エネルギーの正規化時
間変化曲線NEｎ、NEｍを示す。
tnp、雑音除去差分零交叉数の立上りを、その交
叉数が９回を初めて越えた時刻zpとする。第８図
ａ乃至ｆに鼻腔、口腔出力エネルギーの正規化時
間変化曲線NEｎ、NEｍを示す。
第９図は、雑音除去差分零交叉数〔N.R.−D.
Z.C.R.〕（CR）を縦軸に雑音除去差分零交叉数
CRとNEｎの立上り時間差（Delay time）を横軸
にとつた平面（Ｎ−Ｄ平面）に後続母音別に各単
音節を発声音の頭文字でプロツトしたものであ
る。
Z.C.R.〕（CR）を縦軸に雑音除去差分零交叉数
CRとNEｎの立上り時間差（Delay time）を横軸
にとつた平面（Ｎ−Ｄ平面）に後続母音別に各単
音節を発声音の頭文字でプロツトしたものであ
る。
この図によると、単音節／ｓ／、／∫／、／
ｚ／、／ｈ／、（／ｎ／、／ｍ／、／ｇ／、／
ｄ／、／ｂ／）及び母音に分類できることが確認
できる。
ｚ／、／ｈ／、（／ｎ／、／ｍ／、／ｇ／、／
ｄ／、／ｂ／）及び母音に分類できることが確認
できる。
なお、この図において、／ka／、／ta／、／
pa／、／ya／、／ra／、／wa／、／Ｎ／を扱つ
ていないが、／ka／、／ta／、／pa／の分布
は／ａ／、／ha／の間にあり、／ya／、／
ra／、／wa／の分布は／ａ／と同じで、分類上
不都合であり、また、／Ｎ／は口腔出力が存在し
ないためＮ−Ｄ平面上にプロツトすることができ
ないからである。
pa／、／ya／、／ra／、／wa／、／Ｎ／を扱つ
ていないが、／ka／、／ta／、／pa／の分布
は／ａ／、／ha／の間にあり、／ya／、／
ra／、／wa／の分布は／ａ／と同じで、分類上
不都合であり、また、／Ｎ／は口腔出力が存在し
ないためＮ−Ｄ平面上にプロツトすることができ
ないからである。
以上で各平面図の作成方法を述べたが、つぎに
これらの平面を使用して音韻認識したアルゴリズ
ムの一例を示す。
これらの平面を使用して音韻認識したアルゴリズ
ムの一例を示す。
このアルゴリズムの一例は、音韻／ａ／、／
ka／、／sa／、／ta／、／na／、／ha／、／
ma／、／ya／、／ra／、wa／、／pa／、／
∫a／、／za／、／ga／、／da／、／ba／、／
Ｎ／を識別するものであり、第１０図に示す識別
フローチヤートによつて行なう。
ka／、／sa／、／ta／、／na／、／ha／、／
ma／、／ya／、／ra／、wa／、／pa／、／
∫a／、／za／、／ga／、／da／、／ba／、／
Ｎ／を識別するものであり、第１０図に示す識別
フローチヤートによつて行なう。
step1ではＯ−Δ平面上で／Ｎ／を分離識別す
る。これはＯ−Δ平面上での／Ｎ／の分布が非常
に顕著であり、最初に他の音韻から分離しておく
ことが適切であることによる。
る。これはＯ−Δ平面上での／Ｎ／の分布が非常
に顕著であり、最初に他の音韻から分離しておく
ことが適切であることによる。
step2ではＮ−Ｄ平面上で／sa／、／∫a／、／
za／、（／ma／、／na／、／ga／、／da／、／
ba／）の４群を分離識別する。
za／、（／ma／、／na／、／ga／、／da／、／
ba／）の４群を分離識別する。
step3では再びＯ−Δ平面上で（／ya／、／
ra／、／wa／）の１群を分離識別する。
ra／、／wa／）の１群を分離識別する。
step4ではＤ−Ｓ平面上で（／ａ／、／ha／）
と（／ka／、／ta／、／pa／）の分離を行なう。
と（／ka／、／ta／、／pa／）の分離を行なう。
step5では再びＮ−Ｄ平面上で／ａ／と／ha／
の識別を行なう。
の識別を行なう。
以上の５段階の処理によつて17種の音韻を９群
に分類する。このように５段階の構成をとる理由
は各平面上で他の音韻群から顕著に分離している
音韻を先に分離識別する方法を採用していること
による。
に分類する。このように５段階の構成をとる理由
は各平面上で他の音韻群から顕著に分離している
音韻を先に分離識別する方法を採用していること
による。
以上は、母音及び後続母音が／ａ／のもの、す
なわちア母音列（ア、カ、サ、タ…）の音韻識別
であつたが、母音／ａ／を母音／ｅ／又は／ｏ／
に置き換え、後続母音／ａ／を後続母音／ｅ／又
は／ｏ／に置き換えれば、同様にして、エ母音
列、オ母音列の音韻群又は音韻を分類することが
できる。また、母音／ａ／を母音／ｉ／又は／
ｕ／に置き換え、後続母音／ａ／を後続母音／
ｉ／又は／ｕ／に置き換え、破擦音／t∫i／及
び／tsu／の音韻をstep2で分離すれば、同様にし
て、イ母音列、ウ母音列の各音韻群又は音韻を分
類することができる。この破擦音が分類できるこ
とは第９図から確認できる（図中、Ｔが破擦音で
あり、同図ｂ／t∫i／、同図ｃが／tsu／）。
なわちア母音列（ア、カ、サ、タ…）の音韻識別
であつたが、母音／ａ／を母音／ｅ／又は／ｏ／
に置き換え、後続母音／ａ／を後続母音／ｅ／又
は／ｏ／に置き換えれば、同様にして、エ母音
列、オ母音列の音韻群又は音韻を分類することが
できる。また、母音／ａ／を母音／ｉ／又は／
ｕ／に置き換え、後続母音／ａ／を後続母音／
ｉ／又は／ｕ／に置き換え、破擦音／t∫i／及
び／tsu／の音韻をstep2で分離すれば、同様にし
て、イ母音列、ウ母音列の各音韻群又は音韻を分
類することができる。この破擦音が分類できるこ
とは第９図から確認できる（図中、Ｔが破擦音で
あり、同図ｂ／t∫i／、同図ｃが／tsu／）。
この様にして多群に分類された各音韻群の中に
おいて、従来から行なわれている周知な認識手
法、例えばスペクトルの重心周波数・ピーク周波
数・谷周波数およびそれらの時間変化に基づく認
識手法により各音韻を識別し、最終的な判定を下
す。
おいて、従来から行なわれている周知な認識手
法、例えばスペクトルの重心周波数・ピーク周波
数・谷周波数およびそれらの時間変化に基づく認
識手法により各音韻を識別し、最終的な判定を下
す。
前記実施例は、鼻腔出力と口腔出力を分離する
遮蔽板を設けたものであつたが、遮蔽板を設けな
い場合には例えば第１１図に示すように、エネル
ギー曲線NEｍ、NEｎにおいて、最大値の35％点
と15％点とを直線で結び、この直線と時間軸との
交点をtop、（tnp）とするなどの補正をしてＤ−Ｓ
平面、Ｏ−Δ平面、Ｎ−Ｄ平面を作成すればよ
い。
遮蔽板を設けたものであつたが、遮蔽板を設けな
い場合には例えば第１１図に示すように、エネル
ギー曲線NEｍ、NEｎにおいて、最大値の35％点
と15％点とを直線で結び、この直線と時間軸との
交点をtop、（tnp）とするなどの補正をしてＤ−Ｓ
平面、Ｏ−Δ平面、Ｎ−Ｄ平面を作成すればよ
い。
なお、上記音声の認識において、口の動きを検
出するカメラ等を用いた検出器を設け、この検出
器とこの発明の検出方法との組合わせで検出すれ
ば、より正確に識別できる。
出するカメラ等を用いた検出器を設け、この検出
器とこの発明の検出方法との組合わせで検出すれ
ば、より正確に識別できる。
第１図はこの発明の一例を示す説明図、第２図
はこの発明を利用する制御ブロツク図、第３図ａ
〜ｌは時間とエネルギー分布を示すグラフ、第４
図はＤ−Ｓ平面を示すグラフ、第５図ａ〜ｌは
Eo／Epの時間変化曲線を示すグラフ、第６図は
Ｏ−Δ平面を示すグラフ、第７図は／su／の口腔
出力音声波形図、第８図ａ乃至ｆは鼻腔、口腔出
力エネルギーの正規化時間変化曲線及び口腔出力
の雑音除去差分零交叉数の時間変化曲線のグラ
フ、第９図ａ〜ｅはＮ−Ｄ平面を示すグラフ、第
１０図は音声認識の一例を示すフローチヤート、
第１１図は補正例を示すグラフである。 ３ｍ，３ｎ……マイク、４……支持アーム。
はこの発明を利用する制御ブロツク図、第３図ａ
〜ｌは時間とエネルギー分布を示すグラフ、第４
図はＤ−Ｓ平面を示すグラフ、第５図ａ〜ｌは
Eo／Epの時間変化曲線を示すグラフ、第６図は
Ｏ−Δ平面を示すグラフ、第７図は／su／の口腔
出力音声波形図、第８図ａ乃至ｆは鼻腔、口腔出
力エネルギーの正規化時間変化曲線及び口腔出力
の雑音除去差分零交叉数の時間変化曲線のグラ
フ、第９図ａ〜ｅはＮ−Ｄ平面を示すグラフ、第
１０図は音声認識の一例を示すフローチヤート、
第１１図は補正例を示すグラフである。 ３ｍ，３ｎ……マイク、４……支持アーム。
Claims (1)
- 【特許請求の範囲】 １ 鼻腔からの音声出力を検出すると同時に口腔
からの音声出力を検出し、 鼻腔出力エネルギー曲線と口腔出力エネルギー
曲線の立上り時間差を第１の特徴量とし、口腔出
力エネルギー曲線の立上り時における正規化鼻腔
出力エネルギー曲線と正規化口腔出力エネルギー
曲線の傾斜の比を第２の特徴量とする判別用Ｄ−
Ｓ平面と、 咽頭腔通過エネルギー曲線の立上り時における
咽頭腔通過エネルギーに対する鼻腔出力エネルギ
ーの比を第１の特徴量とし、発声中における前記
比の時間変化曲線の最大傾斜の値を第２の特徴量
とする判別用Ｏ−Δ平面と、 口腔出力音声信号における無音区間の差分零交
叉数を除去した雑音除去差分零交叉数を第１の特
徴量とし、この雑音除去差分零交叉数と鼻腔出力
エネルギー曲線の立上り時間差を第２の特徴量と
する判別用Ｎ−Ｄ平面と、 を作成し、発せられた音声波のこれらの判別用各
平面上における分布に基づき、 （step1） Ｏ−Δ平面上で（／Ｎ／）を分離し、 （step2） Ｎ−Ｄ平面上で（／サ行の音韻／）、
（／破擦音／）、（／摩擦音／）、（／ザ行の音
韻／）、（／マ行の音韻／、／ナ行の音韻／、／
ガ行の音韻／、／ダ行の音韻／、／バ行の音
韻／）の各音韻及び音韻群を分離し、 （step3） Ｏ−Δ平面上で（／ヤ行の音
韻／、／ラ行の音韻／、／ワ行の音韻／）の音
韻群を分離し、 （step4） Ｄ−Ｓ平面上で（／カ行の音
韻／、／タ行の破裂音韻／、／パ行の音韻／）
の音韻群を分離し、 （step5） Ｎ−Ｄ平面上で（／ア行の音韻／）
と（／ハ行の音韻／） の音韻の識別を行なう、 上記各Stepからなる一連の手順により上記各
音韻群又は音韻を分類することを特徴とする音声
波検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7242083A JPS59197100A (ja) | 1983-04-23 | 1983-04-23 | 音声波検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7242083A JPS59197100A (ja) | 1983-04-23 | 1983-04-23 | 音声波検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS59197100A JPS59197100A (ja) | 1984-11-08 |
| JPH0223878B2 true JPH0223878B2 (ja) | 1990-05-25 |
Family
ID=13488770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7242083A Granted JPS59197100A (ja) | 1983-04-23 | 1983-04-23 | 音声波検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS59197100A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE45831T1 (de) * | 1983-05-18 | 1989-09-15 | Speech Systems Inc | Spracherkennungssystem. |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5011505A (ja) * | 1973-05-09 | 1975-02-06 |
-
1983
- 1983-04-23 JP JP7242083A patent/JPS59197100A/ja active Granted
Also Published As
| Publication number | Publication date |
|---|---|
| JPS59197100A (ja) | 1984-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nirgianaki | Acoustic characteristics of Greek fricatives | |
| US20050171774A1 (en) | Features and techniques for speaker authentication | |
| Truong et al. | Automatic pronunciation error detection: an acoustic-phonetic approach | |
| Nandwana et al. | A new front-end for classification of non-speech sounds: a study on human whistle | |
| JPH0223878B2 (ja) | ||
| Demolin et al. | Whispery voiced nasal stops in rwanda. | |
| Denzer-King | The acoustics of uvulars in Tlingit | |
| JP2006154212A (ja) | 音声評価方法および評価装置 | |
| Frid et al. | Acoustic-phonetic analysis of fricatives for classification using SVM based algorithm | |
| Pickett | Sound patterns of speech: An introductory sketch | |
| Jayan et al. | Automated detection of transition segments for intensity and time-scale modification for speech intelligibility enhancement | |
| Jijomon et al. | An offline signal processing technique for accurate localisation of stop release bursts in vowel-consonant-vowel utterances | |
| Maddela et al. | Phonetic–Acoustic Characteristics of Telugu Lateral Approximants | |
| Sun | Analysis and interpretation of glide characteristics in pursuit of an algorithm for recognition | |
| Signorello et al. | Aerodynamic Features of French Fricatives. | |
| Tran et al. | Predicting F0 and voicing from NAM-captured whispered speech | |
| Ali et al. | Formants based analysis for speech recognition | |
| JPS60166995A (ja) | 音声波検出方法 | |
| JPH036519B2 (ja) | ||
| JPH036520B2 (ja) | ||
| JP2006284907A (ja) | 音素セグメンテーション方法及び装置 | |
| JP4595124B2 (ja) | 音声信号と非音声信号の判別装置及び方法 | |
| de Haya | Spectral study with automatic formant extraction to improve non-native pronunciation of English vowels | |
| Nakazato et al. | Speech Signal Processing Using Consonant-Vowel Location Detection | |
| JP2557497B2 (ja) | 男女声の識別方法 |