JP2000276191A - 音声認識方法 - Google Patents
音声認識方法Info
- Publication number
- JP2000276191A JP2000276191A JP11077381A JP7738199A JP2000276191A JP 2000276191 A JP2000276191 A JP 2000276191A JP 11077381 A JP11077381 A JP 11077381A JP 7738199 A JP7738199 A JP 7738199A JP 2000276191 A JP2000276191 A JP 2000276191A
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- sound
- voice
- voice recognition
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 29
- 230000005236 sound signal Effects 0.000 claims description 16
- 230000010352 nasal breathing Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
Abstract
(57)【要約】
【課題】 接語型マイクが検出してしまう話者の呼吸音
や鼻息音を除去して正しく音声を認識する。 【解決手段】 話者の口に近接した位置に主マイク１０
１と、前記話者の口と耳との間の位置に副マイク１０２
とをそれぞれ設け、前記主マイク１０１から得られた音
響信号と副マイク１０２から得られた音響信号との音響
パワーの相違を利用して前記主マイク１０１から得られ
た音響信号から話者の呼吸音または鼻息音を弁別して音
声認識を行う工程（２０１〜２０３）を有する。
や鼻息音を除去して正しく音声を認識する。 【解決手段】 話者の口に近接した位置に主マイク１０
１と、前記話者の口と耳との間の位置に副マイク１０２
とをそれぞれ設け、前記主マイク１０１から得られた音
響信号と副マイク１０２から得られた音響信号との音響
パワーの相違を利用して前記主マイク１０１から得られ
た音響信号から話者の呼吸音または鼻息音を弁別して音
声認識を行う工程（２０１〜２０３）を有する。
Description
【０００１】
【発明の属する技術分野】本発明は音声認識用マイクロ
フォンならびにそのマイクロフォンを用いた音声認識方
法に関する。
フォンならびにそのマイクロフォンを用いた音声認識方
法に関する。
【０００２】
【従来の技術】従来の音声の認識においては、音声信号
を感度よく収録するために、接話型マイクを使用するこ
とがあった。この接話型マイクは、口とマイクを接近さ
せることができるために、比較的周囲の雑音の影響を受
けることなく音声だけの信号が得られる利点があった。
を感度よく収録するために、接話型マイクを使用するこ
とがあった。この接話型マイクは、口とマイクを接近さ
せることができるために、比較的周囲の雑音の影響を受
けることなく音声だけの信号が得られる利点があった。
【０００３】
【発明が解決しようとする課題】しかしながら、接話型
マイクは話者がマイクロフォンを吹いてしまうと、これ
は大音量の音声信号となりエラーの原因となる。また、
呼吸音や鼻息なども音声信号として検出してしまい、誤
認識の原因となっていた。これらの課題を解決する為に
特開平１０−６９２９３号公報の「音声認識装置および
方法、情報記憶媒体」に示されるようなマイク波形の絶
対値から呼吸音や鼻息音を判定する方法があった。しか
し波形のレベルは発話者の声の大きさに依存するため、
音の大きな話者や小さな話者などの違いや、口とマイク
の位置関係によって左右されるため、呼吸音や鼻息音の
正確な判定ができない場合があった。
マイクは話者がマイクロフォンを吹いてしまうと、これ
は大音量の音声信号となりエラーの原因となる。また、
呼吸音や鼻息なども音声信号として検出してしまい、誤
認識の原因となっていた。これらの課題を解決する為に
特開平１０−６９２９３号公報の「音声認識装置および
方法、情報記憶媒体」に示されるようなマイク波形の絶
対値から呼吸音や鼻息音を判定する方法があった。しか
し波形のレベルは発話者の声の大きさに依存するため、
音の大きな話者や小さな話者などの違いや、口とマイク
の位置関係によって左右されるため、呼吸音や鼻息音の
正確な判定ができない場合があった。
【０００４】
【課題を解決するための手段】本発明に係る音声認識方
法は、話者の口に近接した位置に主マイクと、前記話者
の口と耳との間の位置に副マイクとをそれぞれ設け、前
記主マイクから得られた音響信号と副マイクから得られ
た音響信号との音響パワーの相違を利用して前記主マイ
クから得られた音響信号から話者の呼吸音または鼻息音
を弁別して音声認識を行う工程を有するものである。そ
の結果、主マイクが検出してしまう話者の吸呼音や鼻息
音を除去して正しく音声を認識することができる。
法は、話者の口に近接した位置に主マイクと、前記話者
の口と耳との間の位置に副マイクとをそれぞれ設け、前
記主マイクから得られた音響信号と副マイクから得られ
た音響信号との音響パワーの相違を利用して前記主マイ
クから得られた音響信号から話者の呼吸音または鼻息音
を弁別して音声認識を行う工程を有するものである。そ
の結果、主マイクが検出してしまう話者の吸呼音や鼻息
音を除去して正しく音声を認識することができる。
【０００５】
【発明の実施の形態】実施形態１ 実施形態１では、ヘッドセットマイクの主マイクのほか
に、その耳受けと主マイクの間のムーブに副マイクを取
りつけ、２本のマイク信号の音響パワーの違いを利用し
て、呼吸音や鼻息音などを安定かつ正確に峻別する。図
１は本発明の実施形態１〜３に係るヘッドセットマイク
の構成図であり、図２は図１のヘッドセットマイクを使
用した本実施形態１に係る音声認識処理装置の構成図で
ある。
に、その耳受けと主マイクの間のムーブに副マイクを取
りつけ、２本のマイク信号の音響パワーの違いを利用し
て、呼吸音や鼻息音などを安定かつ正確に峻別する。図
１は本発明の実施形態１〜３に係るヘッドセットマイク
の構成図であり、図２は図１のヘッドセットマイクを使
用した本実施形態１に係る音声認識処理装置の構成図で
ある。
【０００６】図１において、１０１は主マイク、１０２
は副マイク、１０３は主マイク信号出力端子、１０４は
副マイク信号出力端子、１０５，１０６は耳当て、１０
７はムーブであり、主マイク１０１の位置を調整できる
ように耳当て１０５に摺動自在に結合されている。なお
１０１〜１０７をすべて含んだ構成をヘッドセットマイ
クという。図１においては、通常のヘッドセットマイク
における音声を感度よく収集する主マイク１０１に加え
て、耳当て１０５と主マイク１０１を結ぶムーブ１０７
上でかつ耳当て１０５に近い部分に副マイク１０２を設
置する。また主マイク１０１と副マイク１０２の信号は
それぞれ主マイク信号出力端子１０３と副マイク信号出
力端子１０４から取り出す。１０６は耳当て１０５の反
対側の耳当てである。
は副マイク、１０３は主マイク信号出力端子、１０４は
副マイク信号出力端子、１０５，１０６は耳当て、１０
７はムーブであり、主マイク１０１の位置を調整できる
ように耳当て１０５に摺動自在に結合されている。なお
１０１〜１０７をすべて含んだ構成をヘッドセットマイ
クという。図１においては、通常のヘッドセットマイク
における音声を感度よく収集する主マイク１０１に加え
て、耳当て１０５と主マイク１０１を結ぶムーブ１０７
上でかつ耳当て１０５に近い部分に副マイク１０２を設
置する。また主マイク１０１と副マイク１０２の信号は
それぞれ主マイク信号出力端子１０３と副マイク信号出
力端子１０４から取り出す。１０６は耳当て１０５の反
対側の耳当てである。
【０００７】図２において、２０１は音声判定音や、２
０２は音声認識部、２０３は総合判定部、２０４は副マ
イク信号、２０５は主マイク信号である。図２の音声認
識処理装置は、副マイク信号２０４と主マイク信号２０
５から呼吸音や鼻息音の判定するための判定信号Ｚｆを
算出する音声判定部２０１と、主マイク信号２０５から
音声認識を行い、認識候補Ｃを求める音声認識部２０２
と、判定信号Ｚｆと認識候補Ｃから音声認識結果Ｒを出
力する総合判定部２０３からなる。
０２は音声認識部、２０３は総合判定部、２０４は副マ
イク信号、２０５は主マイク信号である。図２の音声認
識処理装置は、副マイク信号２０４と主マイク信号２０
５から呼吸音や鼻息音の判定するための判定信号Ｚｆを
算出する音声判定部２０１と、主マイク信号２０５から
音声認識を行い、認識候補Ｃを求める音声認識部２０２
と、判定信号Ｚｆと認識候補Ｃから音声認識結果Ｒを出
力する総合判定部２０３からなる。
【０００８】図１、２により実施形態１の動作を説明す
る。図１の主マイク１０１は口と近接しているために、
微少な音声の変化も捉える高感度な音声情報を収集でき
る。その一方で微少な呼吸音や鼻息なども確実に拾って
しまう。逆に副マイク１０２はそれほどの高感度ではな
いものの、呼吸や鼻息の流れからは離れているために呼
吸音や鼻息にはほとんど感知しない。この２つのマイク
の特性を生かすために、図２の音声判定部２０１では、
主マイク信号２０５の短時間音響パワーＭｆと副マイク
信号２０４の短時間音響パワーＳｆを計算する。
る。図１の主マイク１０１は口と近接しているために、
微少な音声の変化も捉える高感度な音声情報を収集でき
る。その一方で微少な呼吸音や鼻息なども確実に拾って
しまう。逆に副マイク１０２はそれほどの高感度ではな
いものの、呼吸や鼻息の流れからは離れているために呼
吸音や鼻息にはほとんど感知しない。この２つのマイク
の特性を生かすために、図２の音声判定部２０１では、
主マイク信号２０５の短時間音響パワーＭｆと副マイク
信号２０４の短時間音響パワーＳｆを計算する。
【０００９】音声判定部２０１では、まず入力される主
マイク信号２０５と副マイク信号２０４をそれぞれＡ／
Ｄ変換してデジタルの電気信号に変換する。このデジタ
ル信号に変換後の主マイク信号をＭｔ、副マイク信号を
Ｓｔとすると、フレームと呼ばれる時間間隔Ｔ毎に、ま
ず下記式（１）、（２）により、主マイク信号２０５と
副マイク信号２０４の短時間音響パワーＭｆとＳｆを計
算し、次に下記式（３）によりＭｆとＳｆの比を判定信
号Ｚｆとして求める。なお、式（１）〜（３）における
ｆはフレーム番号である。
マイク信号２０５と副マイク信号２０４をそれぞれＡ／
Ｄ変換してデジタルの電気信号に変換する。このデジタ
ル信号に変換後の主マイク信号をＭｔ、副マイク信号を
Ｓｔとすると、フレームと呼ばれる時間間隔Ｔ毎に、ま
ず下記式（１）、（２）により、主マイク信号２０５と
副マイク信号２０４の短時間音響パワーＭｆとＳｆを計
算し、次に下記式（３）によりＭｆとＳｆの比を判定信
号Ｚｆとして求める。なお、式（１）〜（３）における
ｆはフレーム番号である。
【００１０】
【数１】
【００１１】判定信号Ｚｆは、通常の音声ではある一定
値Ｖ以下になるが、呼吸音や鼻息では、主マイクの短時
間音響パワーＭｆは大きいが、副マイクの短時間音響パ
ワーＳｆは非常に小さいままであるためＺｆはＶを大幅
に超える値をとる。ただし、破裂音（日本語では例えば
「パ行音」等）などでは、破裂時点で、主マイク１０１
に息がかかることがあるために、瞬間的にＺｆが大きく
なることがある。しかし、長時間にわたってＺｆが大き
くなることは通常の音声ではありえない。
値Ｖ以下になるが、呼吸音や鼻息では、主マイクの短時
間音響パワーＭｆは大きいが、副マイクの短時間音響パ
ワーＳｆは非常に小さいままであるためＺｆはＶを大幅
に超える値をとる。ただし、破裂音（日本語では例えば
「パ行音」等）などでは、破裂時点で、主マイク１０１
に息がかかることがあるために、瞬間的にＺｆが大きく
なることがある。しかし、長時間にわたってＺｆが大き
くなることは通常の音声ではありえない。
【００１２】音声認識部２０２の動作を説明する。先ず
音声認識部２０２は、主マイク信号２０５を音響特徴分
析し、フレーム周期ｆ毎にｉ次元の音響特徴パラメータ
Ｘｆｉを算出する。この音響特徴パラメータＸｆｉとし
ては、フーリエ解析や自己相関関数から算出されるＬＰ
Ｃケプストラムが用いられるのが一般的である。ＬＰＣ
ケプストラムの算出方法については、例えば“古井貞
煕、「ディジタル音声処理」、１９８５年９月、東海大
学出版会（以下、文献［１］と称す）、ＰＰ４４〜４
８”に示されている。次に音声認識部２０２は、Ｘｆｉ
の時間変化から音声が発せられている区間情報ｆｓ，ｆ
ｅを見出す。ｆｓは音声の始端時刻を示すフレーム番号
であり、ｆｅは認識候補の音声の終了時刻を示すフレー
ム番号である。この音声が発せられている区間を決定す
ることは、ほとんどの音声認識システムでは必須であ
り、その手法は同業者ならば周知の事項である。具体的
には、前記文献［１］のＰＰ１５３〜１５４、などに記
載されている手法がある。
音声認識部２０２は、主マイク信号２０５を音響特徴分
析し、フレーム周期ｆ毎にｉ次元の音響特徴パラメータ
Ｘｆｉを算出する。この音響特徴パラメータＸｆｉとし
ては、フーリエ解析や自己相関関数から算出されるＬＰ
Ｃケプストラムが用いられるのが一般的である。ＬＰＣ
ケプストラムの算出方法については、例えば“古井貞
煕、「ディジタル音声処理」、１９８５年９月、東海大
学出版会（以下、文献［１］と称す）、ＰＰ４４〜４
８”に示されている。次に音声認識部２０２は、Ｘｆｉ
の時間変化から音声が発せられている区間情報ｆｓ，ｆ
ｅを見出す。ｆｓは音声の始端時刻を示すフレーム番号
であり、ｆｅは認識候補の音声の終了時刻を示すフレー
ム番号である。この音声が発せられている区間を決定す
ることは、ほとんどの音声認識システムでは必須であ
り、その手法は同業者ならば周知の事項である。具体的
には、前記文献［１］のＰＰ１５３〜１５４、などに記
載されている手法がある。
【００１３】次に音声認識部２０２は、音声認識部２０
２内部に記憶されている音声の音響特徴パラメータのＡ
ｆｉ（ｗ）と主マイク信号２０５からの音響特徴パラメ
ータＸｆｉを照合し、その類似性を検証する。ここで、
ｗは音声の特徴パタンＡｆｉ（ｗ）の内容を示す番号
（例えばｗ＝１は「東京」、ｗ＝２は「大阪」など予め
取り決めておく）である。この類似性の検証方法も、ほ
とんどの音声認識システムでは必須であり、その手法は
同業者ならば周知の事項である。例えば前記文献［１］
のＰＰ１６７〜１６９、などに記載されている。最後に
認識候補ｗ１を決定する。認識候補ｗ１は、もっとも類
似している音声の音響特徴パラメータがＡｆｉ（ｗ１）
とした場合、その内容を示す番号ｗ１とする。
２内部に記憶されている音声の音響特徴パラメータのＡ
ｆｉ（ｗ）と主マイク信号２０５からの音響特徴パラメ
ータＸｆｉを照合し、その類似性を検証する。ここで、
ｗは音声の特徴パタンＡｆｉ（ｗ）の内容を示す番号
（例えばｗ＝１は「東京」、ｗ＝２は「大阪」など予め
取り決めておく）である。この類似性の検証方法も、ほ
とんどの音声認識システムでは必須であり、その手法は
同業者ならば周知の事項である。例えば前記文献［１］
のＰＰ１６７〜１６９、などに記載されている。最後に
認識候補ｗ１を決定する。認識候補ｗ１は、もっとも類
似している音声の音響特徴パラメータがＡｆｉ（ｗ１）
とした場合、その内容を示す番号ｗ１とする。
【００１４】総合判定部２０３の動作を説明する。先ず
総合判定部２０３は、音声認識部２０２で決定された音
声始端フレームｆｓから音声終端フレームｆｅまでの区
間に対して、音声判定部２０１で算出された判定信号Ｚ
ｆの平均値ＺＺを次式（４）により計算する。
総合判定部２０３は、音声認識部２０２で決定された音
声始端フレームｆｓから音声終端フレームｆｅまでの区
間に対して、音声判定部２０１で算出された判定信号Ｚ
ｆの平均値ＺＺを次式（４）により計算する。
【００１５】
【数２】
【００１６】このＺＺが定められた値Ｖより大きい場
合、この区間の主マイク信号２０５は呼吸音や鼻息によ
るものと判断され、最終的な認識結果Ｒは認識候補ｗ１
でなく、エラーが発生したと見なす。逆に、ＺＺがＶよ
り小さい場合、この区間の主マイク信号２０５は音声で
あるため、最終的な認識結果Ｒは認識候補ｗ１とする。
合、この区間の主マイク信号２０５は呼吸音や鼻息によ
るものと判断され、最終的な認識結果Ｒは認識候補ｗ１
でなく、エラーが発生したと見なす。逆に、ＺＺがＶよ
り小さい場合、この区間の主マイク信号２０５は音声で
あるため、最終的な認識結果Ｒは認識候補ｗ１とする。
【００１７】以上説明したように、本実施形態１によれ
ば、ヘッドセットマイクに主マイク１０１と副マイク１
０２の２つのマイクを設け、一方の主マイク１０１は口
と近接しているために、微少な音声の変化も捉える高感
度な音声情報を収集でき、他方の副マイク１０２はそれ
ほどの高感度ではないものの、呼吸や鼻息の流れからは
離れているために呼吸音や鼻息にはほとんど感知しない
よう構成される。そしてこの２つのマイク信号を組み合
わせて音声認識を行うことで、周囲の雑音の影響を受け
ることなく音声認識が行え、かつ呼吸音や鼻息による誤
認識をなくすことができる音声認識方式が実現できる。
ば、ヘッドセットマイクに主マイク１０１と副マイク１
０２の２つのマイクを設け、一方の主マイク１０１は口
と近接しているために、微少な音声の変化も捉える高感
度な音声情報を収集でき、他方の副マイク１０２はそれ
ほどの高感度ではないものの、呼吸や鼻息の流れからは
離れているために呼吸音や鼻息にはほとんど感知しない
よう構成される。そしてこの２つのマイク信号を組み合
わせて音声認識を行うことで、周囲の雑音の影響を受け
ることなく音声認識が行え、かつ呼吸音や鼻息による誤
認識をなくすことができる音声認識方式が実現できる。
【００１８】実施形態２ 実施形態２では、ヘッドセットマイクの主マイクのほか
に、その耳受けと主マイクの間のムーブに副マイクを取
りつけ、２本のマイク信号の音響パワーの違いを利用し
て、呼吸音や鼻息音などを安定かつ正確に峻別するとと
もに、雑音除去と音声特徴強調も行う。 図３は図１の
ヘッドセットマイクを用いた本実施形態２に係る音声認
識処理装置の構成図であり、図の３０１は音声判定部、
３０２は音声認識部、３０３は総合判定部、３０４は副
マイク信号、３０５は主マイク信号、３０６は雑音除去
部である。
に、その耳受けと主マイクの間のムーブに副マイクを取
りつけ、２本のマイク信号の音響パワーの違いを利用し
て、呼吸音や鼻息音などを安定かつ正確に峻別するとと
もに、雑音除去と音声特徴強調も行う。 図３は図１の
ヘッドセットマイクを用いた本実施形態２に係る音声認
識処理装置の構成図であり、図の３０１は音声判定部、
３０２は音声認識部、３０３は総合判定部、３０４は副
マイク信号、３０５は主マイク信号、３０６は雑音除去
部である。
【００１９】図３の音声認識処理装置は、副マイク信号
３０４と主マイク信号３０５から呼吸音や鼻息音の判定
するための判定信号Ｚｆを算出する音声判定部３０１
と、副マイク信号３０４と主マイク信号３０５とから雑
音除去を行い、音声信号を取り出す雑音除去部３０６
と、この雑音除去後の音声信号を入力し、音声始端フレ
ームｆｓと音声終端フレームｆｅならびに認識候補ｗ１
を求める音声認識部３０２と、音声認識部３０２の出力
する認識候補と前記判別信号Ｚｆから音声認識結果Ｒを
出力する総合判定部３０３からなる。
３０４と主マイク信号３０５から呼吸音や鼻息音の判定
するための判定信号Ｚｆを算出する音声判定部３０１
と、副マイク信号３０４と主マイク信号３０５とから雑
音除去を行い、音声信号を取り出す雑音除去部３０６
と、この雑音除去後の音声信号を入力し、音声始端フレ
ームｆｓと音声終端フレームｆｅならびに認識候補ｗ１
を求める音声認識部３０２と、音声認識部３０２の出力
する認識候補と前記判別信号Ｚｆから音声認識結果Ｒを
出力する総合判定部３０３からなる。
【００２０】図３により実施形態２の動作を説明する。
図３の音声判定部３０１では、実施形態１の音声判定部
２０１と同様に主マイク信号３０５の短時間音響パワー
Ｍｆと副マイク信号３０４の短時間音響パワーＳｆなら
びにその比である判定信号Ｚｆを計算する。雑音除去部
３０６は主マイク信号３０５と副マイク信号３０４の性
質の違いから、背景ノイズ分をキャンセルする処理を行
い、主マイク信号３０５に混入した推定雑音成分を取り
除いた音声信号成分を取り出す。
図３の音声判定部３０１では、実施形態１の音声判定部
２０１と同様に主マイク信号３０５の短時間音響パワー
Ｍｆと副マイク信号３０４の短時間音響パワーＳｆなら
びにその比である判定信号Ｚｆを計算する。雑音除去部
３０６は主マイク信号３０５と副マイク信号３０４の性
質の違いから、背景ノイズ分をキャンセルする処理を行
い、主マイク信号３０５に混入した推定雑音成分を取り
除いた音声信号成分を取り出す。
【００２１】この雑音除去処理は一般にアクティブ・ノ
イズ・キャンセラ（ＡＮＣ）と呼ばれ、入力された雑音
信号（本実施形態２では副マイク信号３０４）と同振
幅、逆位相の逆位相のキャンセル信号を生成し、雑音信
号が混入した音声信号（本実施形態２では主マイク信号
３０５）にキャンセル信号を加えることで、雑音信号を
消しさる技術である。音声認識にこのＡＮＣを適用した
効果については、例えば“日本音響学会講演論文集、平
成５年１０月、中山 昭ほか、３−８−１０「適応ノイ
ズキャンセラを用いた騒音下音声認識」、ＰＰ−１４３
〜１４４”に示されている。
イズ・キャンセラ（ＡＮＣ）と呼ばれ、入力された雑音
信号（本実施形態２では副マイク信号３０４）と同振
幅、逆位相の逆位相のキャンセル信号を生成し、雑音信
号が混入した音声信号（本実施形態２では主マイク信号
３０５）にキャンセル信号を加えることで、雑音信号を
消しさる技術である。音声認識にこのＡＮＣを適用した
効果については、例えば“日本音響学会講演論文集、平
成５年１０月、中山 昭ほか、３−８−１０「適応ノイ
ズキャンセラを用いた騒音下音声認識」、ＰＰ−１４３
〜１４４”に示されている。
【００２２】音声認識部３０２は、雑音除去部３０６で
生成された音声信号成分から実施形態１の音声認識部２
０２と同様な音声認識処理を行い、音声始端フレームｆ
ｓと音声終端フレームｆｅならびに認識候補ｗ１を求め
る。総合判定部３０３は、判定信号Ｚｆと音声始端フレ
ームｆｓと音声終端フレームｆｅならびに認識候補ｗ１
から最終的な認識結果Ｒを出力する。ここでの判定ロジ
ックは実施形態１と同様に行えば良い。
生成された音声信号成分から実施形態１の音声認識部２
０２と同様な音声認識処理を行い、音声始端フレームｆ
ｓと音声終端フレームｆｅならびに認識候補ｗ１を求め
る。総合判定部３０３は、判定信号Ｚｆと音声始端フレ
ームｆｓと音声終端フレームｆｅならびに認識候補ｗ１
から最終的な認識結果Ｒを出力する。ここでの判定ロジ
ックは実施形態１と同様に行えば良い。
【００２３】以上説明したように、本実施形態２によれ
ば、ヘッドセットマイクには、口に近接した主マイク１
０１と口から少し離れた副マイク１０２の２つのマイク
を設け、主マイク信号３０５と副マイク信号３０４の両
マイク信号から呼吸音や鼻息の判定を行うと同時に、主
マイク信号３０５と副マイク信号３０４から背景雑音成
分を除去した音声成分を抽出し、この音声成分に対し
て、音声認識を行うことで、周囲の雑音の高度に除去し
た音声認識が行え、かつ呼吸音や鼻息による誤認識をな
くすことができる音声認識方式が実現できる。
ば、ヘッドセットマイクには、口に近接した主マイク１
０１と口から少し離れた副マイク１０２の２つのマイク
を設け、主マイク信号３０５と副マイク信号３０４の両
マイク信号から呼吸音や鼻息の判定を行うと同時に、主
マイク信号３０５と副マイク信号３０４から背景雑音成
分を除去した音声成分を抽出し、この音声成分に対し
て、音声認識を行うことで、周囲の雑音の高度に除去し
た音声認識が行え、かつ呼吸音や鼻息による誤認識をな
くすことができる音声認識方式が実現できる。
【００２４】実施形態３ 実施形態３では、ヘッドセットマイクの主マイクのほか
に、その耳受けと主マイクの間のムーブに副マイクを取
りつけ、２本のマイク信号の音響パワーの違いを利用し
て、呼吸音や鼻息音などを安定かつ正確に峻別する判定
信号を音声認識類似度計算に反映させることで、音声の
一部分に呼吸音や鼻息がかかった場合でも正しく音声認
識を行うことができるようになる。図４は図１のヘッド
セットマイクを用いた本実施形態３に係る音声認識装置
の構成図であり、図の４０１は音声判定部、４０２は音
声認識部、４０３は総合判定部、４０４は副マイク信
号、４０５は主マイク信号である。
に、その耳受けと主マイクの間のムーブに副マイクを取
りつけ、２本のマイク信号の音響パワーの違いを利用し
て、呼吸音や鼻息音などを安定かつ正確に峻別する判定
信号を音声認識類似度計算に反映させることで、音声の
一部分に呼吸音や鼻息がかかった場合でも正しく音声認
識を行うことができるようになる。図４は図１のヘッド
セットマイクを用いた本実施形態３に係る音声認識装置
の構成図であり、図の４０１は音声判定部、４０２は音
声認識部、４０３は総合判定部、４０４は副マイク信
号、４０５は主マイク信号である。
【００２５】図４の音声認識処理装置は、副マイク信号
４０４と主マイク信号４０５から呼吸音や鼻息音の判定
するための判定信号Ｚｆを算出する音声判定部４０１
と、主マイク信号４０５と判定信号Ｚｆを入力し、音声
始端フレームｆｓと音声終端フレームｆｅならびに認識
候補ｗ１を求める音声認識部４０２と、音声認識部４０
２の出力する認識候補と前記判別信号Ｚｆから音声認識
結果Ｒを出力する総合判定部４０３からなる。
４０４と主マイク信号４０５から呼吸音や鼻息音の判定
するための判定信号Ｚｆを算出する音声判定部４０１
と、主マイク信号４０５と判定信号Ｚｆを入力し、音声
始端フレームｆｓと音声終端フレームｆｅならびに認識
候補ｗ１を求める音声認識部４０２と、音声認識部４０
２の出力する認識候補と前記判別信号Ｚｆから音声認識
結果Ｒを出力する総合判定部４０３からなる。
【００２６】図４により実施形態３の動作を説明する。
図４の音声判定部４０１では、実施形態１の音声判定部
２０１と同様に主マイク信号４０５の短時間音響パワー
Ｍｆと副マイク信号４０４の短時間音響パワーＳｆなら
びにその比である判定信号Ｚｆを計算する。音声認識部
４０２は、主マイク信号４０５と判定信号Ｚｆから実施
形態１の音声認識部２０２と同様な音声認識処理を行
う。ただし、判定信号Ｚｆが予め定められたＶより大き
いフレームでは、その部分の主マイク信号が呼吸音や鼻
息である可能性が高いため、そのフレームでの認識処理
は認識候補ｗ１の判定に与える影響を軽減する。
図４の音声判定部４０１では、実施形態１の音声判定部
２０１と同様に主マイク信号４０５の短時間音響パワー
Ｍｆと副マイク信号４０４の短時間音響パワーＳｆなら
びにその比である判定信号Ｚｆを計算する。音声認識部
４０２は、主マイク信号４０５と判定信号Ｚｆから実施
形態１の音声認識部２０２と同様な音声認識処理を行
う。ただし、判定信号Ｚｆが予め定められたＶより大き
いフレームでは、その部分の主マイク信号が呼吸音や鼻
息である可能性が高いため、そのフレームでの認識処理
は認識候補ｗ１の判定に与える影響を軽減する。
【００２７】次に音声認識部４０２は、音声認識部４０
２内部に記憶されている音声の音響特徴パラメータＡｆ
ｉ（ｗ）と主マイク信号４０５からの音響特徴パラメー
タＸｆｉを照合し、その類似性を検証する。一般的な類
似性の検証方法では、音響特徴パラメータＸｆｉと音声
の音響特徴パラメータＡｆｉ（ｗ）とフレーム毎の局所
類似度Ｘｆを計算し、その局所類似度Ｘｆをフレーム毎
に算出して順次累積させ、この累積類似度が最大となる
ｗ１を見出す。
２内部に記憶されている音声の音響特徴パラメータＡｆ
ｉ（ｗ）と主マイク信号４０５からの音響特徴パラメー
タＸｆｉを照合し、その類似性を検証する。一般的な類
似性の検証方法では、音響特徴パラメータＸｆｉと音声
の音響特徴パラメータＡｆｉ（ｗ）とフレーム毎の局所
類似度Ｘｆを計算し、その局所類似度Ｘｆをフレーム毎
に算出して順次累積させ、この累積類似度が最大となる
ｗ１を見出す。
【００２８】しかし、本実施形態３では、この局所類似
度Ｘｆに対して判定信号Ｚｆに応じて重みを掛ける。重
みのかけ方としては、例えば、予め定められたＶより大
きいフレームｆではＸｆの値に０．３を乗じた値とする
ことで、そのフレームｆの累積類似度に与える影響を軽
減できる。この処理により、呼吸音や鼻息がかかったと
想定されるフレームの影響を考慮した累積類似度が算出
でき、認識候補ｗ１の判定精度が著しく向上する。総合
判定部４０３は、判定信号Ｚｆと音声始端フレームｆｓ
と音声終端フレームｆｅならびに認識候補ｗ１から最終
的な認識結果Ｒを出力する。ここでの判定ロジックは実
施形態１と同様に行えば良い。
度Ｘｆに対して判定信号Ｚｆに応じて重みを掛ける。重
みのかけ方としては、例えば、予め定められたＶより大
きいフレームｆではＸｆの値に０．３を乗じた値とする
ことで、そのフレームｆの累積類似度に与える影響を軽
減できる。この処理により、呼吸音や鼻息がかかったと
想定されるフレームの影響を考慮した累積類似度が算出
でき、認識候補ｗ１の判定精度が著しく向上する。総合
判定部４０３は、判定信号Ｚｆと音声始端フレームｆｓ
と音声終端フレームｆｅならびに認識候補ｗ１から最終
的な認識結果Ｒを出力する。ここでの判定ロジックは実
施形態１と同様に行えば良い。
【００２９】以上説明したように、本実施形態３によれ
ば、ヘッドセットマイクには、口に近接した主マイク１
０１と口から少し離れた副マイク１０２の２つのマイク
を設け、主マイク信号４０５と副マイク信号４０４の両
マイク信号から呼吸音や鼻息の判定を行うと同時に、主
マイク信号４０５と副マイク信号４０４から求まる判定
信号Ｚｆを認識処理の類似度計算に反映させることで、
音声の一部分に呼吸音や鼻息がかかった場合でも正しく
音声認識を行うことができるようになる。
ば、ヘッドセットマイクには、口に近接した主マイク１
０１と口から少し離れた副マイク１０２の２つのマイク
を設け、主マイク信号４０５と副マイク信号４０４の両
マイク信号から呼吸音や鼻息の判定を行うと同時に、主
マイク信号４０５と副マイク信号４０４から求まる判定
信号Ｚｆを認識処理の類似度計算に反映させることで、
音声の一部分に呼吸音や鼻息がかかった場合でも正しく
音声認識を行うことができるようになる。
【００３０】上記本発明に係る音声認識方法は、あらゆ
る音声認識装置や音声通話装置に適用して利用すること
ができる。なお、上記各実施形態では、副マイクは、ヘ
ッドセットマイクの耳受けと主マイクとの間のムーブに
取り付ける例を説明したが、本発明はこれに限定される
ものではなく、例えばイヤホーンマイク（イヤホーンと
一体化された小型マイク）を副マイクとして用いるよう
にしてもよい。
る音声認識装置や音声通話装置に適用して利用すること
ができる。なお、上記各実施形態では、副マイクは、ヘ
ッドセットマイクの耳受けと主マイクとの間のムーブに
取り付ける例を説明したが、本発明はこれに限定される
ものではなく、例えばイヤホーンマイク（イヤホーンと
一体化された小型マイク）を副マイクとして用いるよう
にしてもよい。
【００３１】
【発明の効果】以上のように本発明によれば、話者の口
に近接した位置に主マイクと、前記話者の口と耳との間
の位置に副マイクとをそれぞれ設け、前記主マイクから
得られた音響信号と副マイクから得られた音響信号との
音響パワーの相違を利用して前記主マイクから得られた
音響信号から話者の呼吸音または鼻息音を弁別して音声
認識を行う工程を有するようにしたので、主マイクが検
出してしまう話者の呼吸音や鼻息音を除去して正しく音
声を認識することができる。
に近接した位置に主マイクと、前記話者の口と耳との間
の位置に副マイクとをそれぞれ設け、前記主マイクから
得られた音響信号と副マイクから得られた音響信号との
音響パワーの相違を利用して前記主マイクから得られた
音響信号から話者の呼吸音または鼻息音を弁別して音声
認識を行う工程を有するようにしたので、主マイクが検
出してしまう話者の呼吸音や鼻息音を除去して正しく音
声を認識することができる。
【図１】本発明の実施形態１〜３に係るヘッドセットマ
イクの構成図である。
イクの構成図である。
【図２】本発明の実施形態１に係る音声認識装置の構成
図である。
図である。
【図３】本発明の実施形態２に係る音声認識装置の構成
図である。
図である。
【図４】本発明の実施形態３に係る音声認識装置の構成
図である。
図である。
１０１ 主マイク １０２ 副マイク １０３ 主マイク出力端子 １０４ 副マイク出力端子 １０５，１０６ 耳当て １０７ ムーブ ２０１，３０１，４０１ 音声判定部 ２０２，３０２，４０２ 音声認識部 ２０３，３０３，４０３ 総合判定部 ２０４，３０４，４０４ 副マイク信号 ２０５，３０５，４０５ 主マイク信号 ３０６ 雑音除去部
Claims (6)
- 【請求項１】 話者の口に近接した位置に主マイクと、
前記話者の口と耳との間の位置に副マイクとをそれぞれ
設け、 前記主マイクから得られた音響信号と副マイクから得ら
れた音響信号との音響パワーの相違を利用して前記主マ
イクから得られた音響信号から話者の呼吸音または鼻息
音を弁別して音声認識を行う工程を有することを特徴と
する音声認識方法。 - 【請求項２】 前記音声認識を行う工程は、 前記主マイクと副マイクから得られた２つの音響信号の
短時間音響パワーの比を呼吸音または鼻息音の判定信号
として算出する判定信号算出工程と、 前記主マイクから得られた音響信号の音響特徴分析、音
声発生区間の決定並びに音響特徴パラメータとの照合及
び類似性の検証を行い、最も類似している音声の音響特
徴パラメータを音声認識候補として得る音声認識候補取
得工程と、 前記音声認識候補取得工程が決定した各音声発生区間毎
に、前記判定信号算出工程の算出した判定信号の平均値
を求め、該平均値が所定の値を越えたか否かによって、
該当音声発生区間の音声認識候補を呼吸音または鼻息音
として識別するか、または音声として識別する音声識別
工程とを有することを特徴とする請求項１記載の音声認
識方法。 - 【請求項３】 前記音声認識を行う工程は、 前記主マイクと副マイクから得られた２つの音響信号の
短時間音響パワーの比を呼吸音または鼻息音の判定信号
として算出する判定信号算出工程と、 前記主マイクより得られた音響信号から前記副マイクよ
り得られた音響信号を減算して混入雑音を除去する雑音
除去工程と、 前記雑音除去工程によって主マイクより得られた音響信
号から混入雑音の除去された音響信号の音響特徴分析、
音声発生区間の決定並びに音響特徴パラメータとの照合
及び類似性の検証を行い、最も類似している音声の音響
特徴パラメータを音声認識候補として得る音声認識候補
取得工程と、 前記音声認識候補取得工程が決定した各音声発生区間毎
に、前記判定信号算出工程の算出した判定信号の平均値
を求め、該平均値が所定の値を越えたか否かによって、
該当音声発生区間の音声認識候補を呼吸音または鼻息音
として識別するか、または音声として識別する音声識別
工程とを有することを特徴とする請求項１記載の音声認
識方法。 - 【請求項４】 前記音声認識を行う工程は、 前記主マイクと副マイクから得られた２つの音響信号の
短時間音響パワーの比を呼吸音または鼻息音の判定信号
として算出する判定信号算出工程と、 前記主マイクから得られた音響信号の音響特徴分析、音
声発生区間の決定及び音響パラメータとの照合を行い、
次に前記判定信号算出工程の算出した判定信号を重み係
数とした類似度計算により前記音響パラメータとの類似
性の検証を行い、最も類似している音声の音響特徴パラ
メータを音声認識候補として得る音声認識候補取得工程
と、 前記音声認識候補取得工程が決定した各音声発生区間毎
に、前記判定信号算出工程の算出した判定信号の平均値
を求め、該平均値が所定の値を越えたか否かによって、
該当音声発生区間の音声認識候補を呼吸音または鼻息音
として識別するか、または音声として識別する音声識別
工程とを有することを特徴とする請求項１記載の音声認
識方法。 - 【請求項５】 前記副マイクは、ヘッドセットマイクの
耳受けと前記主マイクとの間のムーブに取り付けられた
ことを特徴とする請求項１から４までのいずれかの請求
項に記載の音声認識方法。 - 【請求項６】 前記副マイクは、イヤホーンマイクを用
いることを特徴とする請求項１から４までのいずれかの
請求項に記載の音声認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07738199A JP3649032B2 (ja) | 1999-03-23 | 1999-03-23 | 音声認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07738199A JP3649032B2 (ja) | 1999-03-23 | 1999-03-23 | 音声認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000276191A true JP2000276191A (ja) | 2000-10-06 |
| JP3649032B2 JP3649032B2 (ja) | 2005-05-18 |
Family
ID=13632325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07738199A Expired - Fee Related JP3649032B2 (ja) | 1999-03-23 | 1999-03-23 | 音声認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3649032B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005303574A (ja) * | 2004-04-09 | 2005-10-27 | Toshiba Corp | 音声認識ヘッドセット |
| CN102368793A (zh) * | 2011-10-12 | 2012-03-07 | 惠州Tcl移动通信有限公司 | 手机及其通话信号处理方法 |
| JP2014063018A (ja) * | 2012-09-21 | 2014-04-10 | Systec:Kk | 極微小音声入力装置 |
| JP2016042162A (ja) * | 2014-08-19 | 2016-03-31 | 大学共同利用機関法人情報・システム研究機構 | 生体検知装置、生体検知方法及びプログラム |
| WO2018038381A1 (ko) * | 2016-08-26 | 2018-03-01 | 삼성전자 주식회사 | 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법 |
| CN109087648A (zh) * | 2018-08-21 | 2018-12-25 | 平安科技（深圳）有限公司 | 柜台语音监控方法、装置、计算机设备及存储介质 |
| JP7100746B1 (ja) | 2021-06-21 | 2022-07-13 | アルインコ株式会社 | 無線中継装置及び無線通信システム |
-
1999
- 1999-03-23 JP JP07738199A patent/JP3649032B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005303574A (ja) * | 2004-04-09 | 2005-10-27 | Toshiba Corp | 音声認識ヘッドセット |
| CN102368793A (zh) * | 2011-10-12 | 2012-03-07 | 惠州Tcl移动通信有限公司 | 手机及其通话信号处理方法 |
| CN102368793B (zh) * | 2011-10-12 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 手机及其通话信号处理方法 |
| JP2014063018A (ja) * | 2012-09-21 | 2014-04-10 | Systec:Kk | 極微小音声入力装置 |
| JP2016042162A (ja) * | 2014-08-19 | 2016-03-31 | 大学共同利用機関法人情報・システム研究機構 | 生体検知装置、生体検知方法及びプログラム |
| KR20180023617A (ko) * | 2016-08-26 | 2018-03-07 | 삼성전자주식회사 | 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법 |
| WO2018038381A1 (ko) * | 2016-08-26 | 2018-03-01 | 삼성전자 주식회사 | 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법 |
| US11170767B2 (en) | 2016-08-26 | 2021-11-09 | Samsung Electronics Co., Ltd. | Portable device for controlling external device, and audio signal processing method therefor |
| KR102814684B1 (ko) * | 2016-08-26 | 2025-05-29 | 삼성전자주식회사 | 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법 |
| CN109087648A (zh) * | 2018-08-21 | 2018-12-25 | 平安科技（深圳）有限公司 | 柜台语音监控方法、装置、计算机设备及存储介质 |
| CN109087648B (zh) * | 2018-08-21 | 2023-10-20 | 平安科技（深圳）有限公司 | 柜台语音监控方法、装置、计算机设备及存储介质 |
| JP7100746B1 (ja) | 2021-06-21 | 2022-07-13 | アルインコ株式会社 | 無線中継装置及び無線通信システム |
| JP2023001751A (ja) * | 2021-06-21 | 2023-01-06 | アルインコ株式会社 | 無線中継装置及び無線通信システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3649032B2 (ja) | 2005-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9959886B2 (en) | Spectral comb voice activity detection | |
| CN103262577B (zh) | 助听器和增强语音重现的方法 | |
| KR100636317B1 (ko) | 분산 음성 인식 시스템 및 그 방법 | |
| CN109195042B (zh) | 低功耗的高效降噪耳机及降噪系统 | |
| KR101340520B1 (ko) | 잡음을 제거하는 장치 및 방법 | |
| US9384759B2 (en) | Voice activity detection and pitch estimation | |
| JP4940414B2 (ja) | 音声処理方法、音声処理プログラム、音声処理装置 | |
| JP2008299221A (ja) | 発話検知装置 | |
| US20220180886A1 (en) | Methods for clear call under noisy conditions | |
| JP3649032B2 (ja) | 音声認識方法 | |
| CN113707156A (zh) | 一种用于车载的语音识别方法及系统 | |
| CN116935900A (zh) | 语音检测方法 | |
| Liu et al. | Leakage model and teeth clack removal for air-and bone-conductive integrated microphones | |
| JP2005338454A (ja) | 音声対話装置 | |
| JP2007288242A (ja) | オペレータ評価方法、装置、オペレータ評価プログラム、記録媒体 | |
| Maganti et al. | A perceptual masking approach for noise robust speech recognition | |
| KR100574883B1 (ko) | 비음성 제거에 의한 음성 추출 방법 | |
| JP3520430B2 (ja) | 左右音像方向抽出方法 | |
| JP4752028B2 (ja) | 音声中の非発話音声の判別処理方法 | |
| JP2010164992A (ja) | 音声対話装置 | |
| JP2882792B2 (ja) | 標準パターン作成方式 | |
| Pfau et al. | Hidden markov model based speech activity detection for the ICSI meeting project | |
| JP2007264132A (ja) | 音声検出装置及びその方法 | |
| JP4391031B2 (ja) | 音声認識装置 | |
| JP2012252060A (ja) | 話者判別装置、話者判別プログラム及び話者判別方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050207 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |