JP2005010652A

JP2005010652A - 音声検出装置

Info

Publication number: JP2005010652A
Application number: JP2003176969A
Authority: JP
Inventors: Hiroyuki Manabe; 宏幸真鍋; Akira Hiraiwa; 明平岩; Koki Hayashi; 宏樹林; Takeshi Ninchoji; 毅忍頂寺; Toshiaki Sugimura; 利明杉村
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2003-06-20
Filing date: 2003-06-20
Publication date: 2005-01-13
Anticipated expiration: 2023-06-20
Also published as: EP1489597A2; JP4447857B2; US7418385B2; CN1272766C; US20050027529A1; DE602004011292T2; EP1489597A3; EP1489597A8; EP1489597B1; CN1573927A; DE602004011292D1

Abstract

【課題】学習用データを用いずに音声認識を行うことができる音声検出装置を提供すること。
【解決手段】この音声検出装置１０は、発声動作時に発生する筋電信号を複数の部位から取得する筋電信号取得部１０１と、当該取得された筋電信号の所定値に対する変動値をパラメータとして、部位に対応したチャネルごとに算出するパラメータ算出部１０２と、当該算出したパラメータの変動に基づいて発声動作時の母音の発声動作タイミングを特定する母音発声認識部１０３と、当該特定した発声動作タイミングの前後における各チャネルごとのパラメータの変動状態に基づいて、発声動作に対応する母音を特定する母音特定部１０４と、を備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、音声検出装置に関するものである。
【０００２】
【従来の技術】
音声検出装置では、発話における音声を音響信号として取り扱い、その音響信号を周波数分析することによって、音声情報を認識し処理する音声認識技術が採用されてきた。この音声認識技術の一例としてスペクトル包絡等が利用されている。しかし、この音声認識技術を用いて良好な音声検出結果をもたらすためには発話時にある程度の音量が必要であって、発話による音響信号が入力されない限り音声情報を検出することは不可能であった。このことから音声入力時に話者の声が周囲の人々の迷惑となるため、静けさが要求されるオフィスや図書館や各種の公共機関内などでは、このような音声検出装置を使用することは実質的に困難であった。また周囲の雑音の大きい場所では、クロストークの問題が発生し、音声検出機能が低下するという課題もあった。
【０００３】
更に近年急速に普及した携帯電話においては、電車内での利用自粛が求められている。これは携帯電話の利用の際におけるペースメーカ等の医療用電子機器への電磁波的影響だけでなく、発話することが騒音となって周囲の人々の迷惑になるというマナー的影響も指摘されている。これらの音響信号を利用する際の課題に対して、音響信号以外から音声情報を獲得する研究も従来から行われていた。音響情報以外の情報から音声情報を獲得することができれば、音声を発することなく発話することが可能となるためである。
【０００４】
この研究の一例として、口唇の視覚情報による音声認識手法が提案されている（下記特許文献１及び特許文献２参照。）。特許文献１及び特許文献２に記載の音声認識手法は、ビデオカメラ等により撮像された画像を用いた画像処理によって口唇の動きを特定している。
【０００５】
この研究の別の一例として、口の周囲の筋肉の動きに伴って発生する筋電信号を処理し、発声した母音の種類を認識する音声認識手法が提案されている（下記非特許文献１参照。）。非特許文献１に記載の音声認識手法は、筋電信号をバンドパスフィルタに通した後、閾値の交差回数をカウントして５母音（ａ、ｉ、ｕ、ｅ、ｏ）を弁別するものである。
【０００６】
この研究の別の一例として、口の周囲の筋肉の筋電信号をニューラルネットワークを用いて処理し、発話者の母音だけでなく子音も含めて検出する音声認識手法が提案されている（下記特許文献３参照。）。
【０００７】
この研究の別の一例として、顔面の３箇所の筋電信号の二乗平均平方根を用いて５母音（ａ、ｉ、ｕ、ｅ、ｏ）を認識する音声認識手法が提案されている（下記非特許文献２参照。）。この認識にはニューラルネットワークが用いられており、高い精度で認識が行えることが示されている。
【０００８】
【特許文献１】
特開昭５２−１１２２０５号公報
【特許文献２】
特開平６−４３８９７号公報
【特許文献３】
特開平７−１８１８８８号公報
【非特許文献１】
ＮｏｂｏｒｕＳｕｇｉｅｅｔａｌ．，“ＡＳｐｅｅｃｈＥｍｐｌｏｙｉｎｇａＳｐｅｅｃｈＳｙｎｔｈｅｓｉｚｅｒＶｏｗｅｌＤｉｓｃｒｉｍｉｎａｔｉｏｎｆｒｏｍＰｅｒｉｏｒａｌＭｕｓｃｌｅｓＡｃｔｉｖｉｔｉｅｓａｎｄＶｏｗｅｌＰｒｏｄｕｃｔｉｏｎ，”ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｓｏｎＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．３２，Ｎｏ．７
【非特許文献２】
真鍋、平岩、杉村、「筋電信号を用いた無発声音声認識」、インタラクション２００２論文集、２００２年、ｐ．１８１−１８２
【０００９】
【発明が解決しようとする課題】
上述のように筋電信号に基づいて音声認識を行う技術では、通常の音声信号を用いた音声認識と同様に認識エンジンを学習するための学習用データが必要となり、認識の精度を上げようとするとその学習用データが膨大なものとなる。
【００１０】
そこで本発明では、学習用データを用いずに音声認識を行うことができる音声検出装置を提供することを課題とする。
【００１１】
【課題を解決するための手段】
本発明者らは、上述の課題を解決することができる音声検出装置の検討を様々な角度から行った。本発明者らは、母音の識別と子音の識別とを切り分けて処理することに着目した。すなわち、筋電信号を用いた音声認識では周囲の雑音の影響を受けないという利点があるため、通常の音声信号を用いた音声認識の補助手段として筋電信号を用いた音声認識を用いることができる。そこで、本発明においては、母音の識別を可能とすることに着目し、その観点からの音声認識を実現することとした。本発明のこれらの知見に基づいてなされたものである。
【００１２】
本発明の音声検出装置は、発声動作時に発生する筋電信号を複数の部位から取得する筋電信号取得手段と、当該取得された筋電信号の所定値に対する変動値をパラメータとして、部位に対応したチャネルごとに算出するパラメータ算出手段と、当該算出したパラメータの変動に基づいて発声動作時の母音の発声動作タイミングを特定する母音発声認識手段と、当該特定した発声動作タイミングの前後における各チャネルごとのパラメータの変動状態に基づいて、発声動作に対応する母音を特定する母音特定手段と、を備える。
【００１３】
本発明の音声検出装置によれば、パラメータの変動に基づいて特定される発声動作タイミングの前後のパラメータの変動状態に基づいて、その発声動作に対応する母音を特定するので、例えば、パラメータが増えたか減ったかといった情報に基づいて母音を特定できる。従って、パラメータの変動の傾向が把握できれば母音を特定できるので、母音についての音声認識が可能となる。
【００１４】
また本発明の音声検出装置では、発声動作タイミングの前後の母音の組合せと、パラメータの変動状態とが、各チャネルごとに関連付けられて格納されている筋電情報格納手段を更に備え、母音特定手段は、パラメータの変動状態に基づいて、筋電情報格納手段に格納されている母音の組合せを特定し、発声動作に対応する母音を特定することも好ましい。母音特定手段が、筋電情報格納手段に格納されているパラメータの変動状態を参照し、取得したパラメータの変動状態に適合した母音を特定するので、母音についての音声認識が可能となる。
【００１５】
また本発明の音声検出装置では、パラメータは、第一の時間窓に対応する第一パラメータと、当該第一の時間窓よりも短い時間に設定されている第二の時間窓に対応する第二パラメータとを含み、母音発声認識手段は、第二パラメータに基づいて発声動作タイミングを特定し、母音特定手段は、第一パラメータに基づいて母音を特定することも好ましい。短い時間に設定されている第二の時間窓に対応する第二パラメータに基づいて発声動作タイミングを特定するので、より的確に発声動作タイミングの特定が可能となる。
【００１６】
本発明の音声検出装置は、発声動作時に発生する筋電信号を複数の部位から取得する筋電信号取得手段と、当該検出された筋電信号の所定値に対する変動値をパラメータとして、部位に対応したチャネルごとに算出するパラメータ算出手段と、パラメータが所定時間変動しないかどうかを監視する変動監視手段と、当該監視結果及びパラメータに基づいて、発声動作に対応する母音を特定する母音特定手段と、を備える。
【００１７】
本発明の音声検出装置によれば、パラメータが変動したか否かに基づいて、発声動作に対応する母音を特定するので、例えば、パラメータが増えたか減ったかを判断して母音を特定できる。従って、パラメータの変動の傾向を把握して母音を特定できるので、母音についての音声認識が可能となる。
【００１８】
また本発明の音声検出装置では、発声動作タイミングの前後の母音の組合せと、パラメータの変動状態とが、各チャネルごとに関連付けられて格納されている筋電情報格納手段を更に備え、母音特定手段は、パラメータが所定時間変動しなかった場合に、その所定時間分のパラメータを採用し、当該採用したパラメータの変動状態に基づいて、筋電情報格納手段に格納されている母音の組合せを特定し、発声動作に対応する母音を特定することも好ましい。母音特定手段が、筋電情報格納手段に格納されているパラメータの変動状態を参照し、取得したパラメータの変動状態に適合した母音を特定するので、母音についての音声認識が可能となる。
【００１９】
【発明の実施の形態】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２０】
本発明の実施形態である音声検出装置１０について図１を用いて説明する。図１は音声検出装置１０のブロック図である。本実施形態の音声認識装置１０は、無声、すなわち、音を出さずに発声動作をする話者の発話内容を認識する音声認識装置である。音声認識装置１０は物理的には、筋電信号を取得するための電極や中央処理装置やメモリといった部分を備えて構成される。音声認識装置１０は機能的な構成要素として、筋電信号取得部１０１（筋電信号取得手段）と、パラメータ算出部１０２（パラメータ算出手段）と、母音発声認識部１０３（母音発声認識手段）と、母音特定部１０４（母音特定手段）と、母音情報出力部１０５と、閾値情報格納部２００と、筋電情報格納部２０１（筋電情報格納手段）と、を備える。引き続いて各構成要素について説明する。
【００２１】
筋電信号取得部１０１は、発声動作時に発生する筋電信号を複数の部位から取得する部分である。筋電信号取得部１０１はこの取得した筋電信号をパラメータ算出部１０２に出力する。筋電信号取得部１０１の構成を図２に示す。図２によれば、筋電信号取得部１０１は、筋電信号測定用電極１０１ａ〜１０１ｆと、増幅器１０１ｇ〜１０１ｉとで構成される。図２の例に拠れば、筋電信号測定用電極１０１ａ、１０１ｂは、大頬骨筋に相当する筋肉から発生する筋電信号を取得し、増幅器１０１ｇに出力する。増幅器１０１ｇは、その筋電信号を増幅してパラメータ算出部１０２に出力する。また、筋電信号測定用電極１０１ｃ、１０１ｄは、口輪筋に相当する筋肉から発生する筋電信号を取得して増幅器１０１ｈに出力する。増幅器１０１ｈは、その筋電信号を増幅してパラメータ算出部１０２に出力する。また、筋電信号測定用電極１０１ｅ、１０１ｆは、顎二腹筋に相当する筋肉から発声する筋電信号を取得して増幅器１０１ｉに出力する。増幅器１０１ｉは、その筋電信号を増幅してパラメータ算出部１０２に出力する。
【００２２】
パラメータ算出部１０２は、筋電信号取得部１０１が出力する筋電信号の、所定値に対する変動値をパラメータとして各部位に対応したチャネルごとに算出する部分である。つまり、パラメータ算出部１０２は、筋電信号取得部１０１の各増幅器１０１ｇ〜１０１ｉから出力される筋電信号それぞれについてパラメータを算出する。図３は、パラメータ算出部１０２のパラメータ算出方法を説明するための図である。筋電信号取得部１０１が出力する筋電信号は、図３の上段に示すように時系列の電位の振幅で表すことができる。パラメータ算出部１０２は、図３の下段に示すように、筋電信号取得部１０１が出力する筋電信号を、所定時間に設定されている時間窓３０〜３２（第一の時間窓）で順に切り出す。ここで、これらの時間窓３０〜３２に設定されている所定時間の長さは同一であり、時間窓３０〜３２の開示時刻は順にずらして設定されている。時間窓３０〜３２の開示時刻のずれは任意に設定されるものであるが、例えば、所定時間の半分の時間だけずれるように設定される。
【００２３】
また、各時間窓３０〜３２は、図４に示すように子時間窓（第二の時間窓）を含んで構成される。この子時間窓に設定されている所定時間の長さも任意に設定されるものである。本実施形態では、子時間窓には１０〜５０ｍｓが設定され、時間窓には１００ｍｓ〜５００ｍｓが設定されている。時間窓から算出されるパラメータ（第一パラメータ）と子時間窓から算出されるパラメータ（第二パラメータ）の利用態様については後述する。
【００２４】
パラメータ算出部１０２は、各々の時間窓及び子時間窓に対して、パラメータとして、筋電信号の二乗平均平方根（ＲＭＳ）を計算する。ここで、二乗平均平方根は次の（１）式で定義される。ここで、ｅ（ｔ）は筋電信号の電位である。このパラメータとして算出される二乗平均平方根は筋肉の活動量に関する情報として取り扱うことができる。
【００２５】
【数１】

【００２６】
尚、筋肉の活動量と関係のあるパラメータとしては、他に（２）式で定義される筋電信号の整流化平均値（ＡＲＶ）がある。
【００２７】
【数２】

【００２８】
ただし、（２）式においては、（３）式である。
【００２９】
【数３】

【００３０】
更に、筋肉の活動量と関係のあるパラメータとしては、他に（４）式で定義される筋電信号の積分平均値（ＩＥＭＧ）がある。
【００３１】
【数４】

【００３２】
これらの、二乗平均平方根（ＲＭＳ）、整流化平均値（ＡＲＶ）、積分平均値（ＩＥＭＧ）のどれをパラメータとして用いてもよく、これらを組み合わせて用いてもよい。また、周波数スペクトルといった他のパラメータを用いてもよい。本実施形態においては、二乗平均平方根を用いることとする。
【００３３】
パラメータ算出部１０２が算出したパラメータの例を図５に示す。図５は、案性状態から「／ａ／」を発声し、続いて「／ｉ／」を発声した場合の二乗平均平方根の値（ＲＭＳ値）を時系列に示したものである。尚、データ５０は所定時間を５０ｍｓに設定した子時間窓におけるパラメータ（第二パラメータ）を示し、データ５１は所定時間を２００ｍｓに設定した時間窓におけるパラメータ（第一パラメータ）を示している。尚、図５に示した例では、時間窓の周期を１００ｍｓ、子時間窓の周期を２５ｍｓとしているので、パラメータが変化する周期もそれにあわせてそれぞれ１００ｍｓと２５ｍｓとなっている。図５に示すデータの処理方法については後述する。パラメータ算出部１０２は、このように算出したパラメータを母音発声認識部１０３に出力する。
【００３４】
母音発声認識部１０３は、パラメータ算出部１０２が出力するパラメータの変動に基づいて発声動作時の母音の発声動作タイミングを特定する部分である。母音発声認識部１０３の動作について図５に示すデータを例に説明する。図５において、子時間窓のデータ５０に着目すると、２．３〜２．４秒の部分と２．６秒付近の部分でＲＭＳ値に著しい変化が起きていることがわかる。母音発声認識部１０３は、この変化のタイミングを母音の発声動作タイミングとして特定し、パラメータ算出部１０２から受け取ったパラメータと共に母音特定部１０４に出力する。
【００３５】
引き続いて、母音発声認識部１０３がパラメータの変化を検出する方法について詳細に説明する。図６は、母音発声認識部１０３がパラメータの変化を検出する方法を示したフローチャートである。母音発声認識部１０３は、パラメータの時間変化量を算出する（ステップＳ０１）。時刻ｔ_ｎにおける時間変化量Ｐ’（ｎ）は、算出したパラメータをｐ（ｔ_ｎ）と表した場合には（５）式で定義される。
【００３６】
【数５】

【００３７】
尚、時間変化量Ｐ’（ｎ）としては、（６）式で定義されるように、一定時刻前までのパラメータに重みをかけたものの和と、直近のパラメータとの差の絶対値を採用してもよい。
【００３８】
【数６】

【００３９】
また、時間変化量Ｐ’（ｎ）としては、（７）式で定義されるように、一定時刻前までのパラメータに重みをかけたものの和と、直近のパラメータとの差の絶対値をパラメータの値で割った値を採用してもよい。この場合には、パラメータの値がどの程度変化したかを割合で表現している。
【００４０】
【数７】

【００４１】
時間変化量Ｐ’（ｎ）としては、直近に算出されたパラメータが過去に算出されたパラメータからどの程度変化しているのかを特定できればよく、式（５）〜式（７）のように絶対値を用いる代わりに差の値そのものを用いてもよい。
【００４２】
母音発声認識部１０３は、直近に発声された母音成分を特定する（ステップＳ０２）。本実施形態の場合には、直前に発声された母音成分は既に認識済みであって、母音発声認識部１０３はこの認識済みの母音成分を直近に発声されたものとして特定する。直前に発声された母音成分の認識手法としては、既知の音声認識手法を用いることができる。また、例えば、ユーザに必ず最初に「あ」を発声してもらうこととして、発生された母音成分を認識してもよい。母音発声認識部１０３は、この特定した母音成分に基づいて、閾値情報格納部２００に格納されている情報を参照し、対応する閾値を取得する（ステップＳ０３）。閾値情報格納部２００には、図７に示すように「直近母音成分」と「閾値」とが関連付けられて格納されている。「閾値」は各チャネルごとに格納されていて、例えば、「直近母音成分」が「／ａ／」であれば、「閾値」は「チャネル１」が０．５、「チャネル２」が０．２、「チャネル３」が０．２である。この「閾値」の役割は後述する「変化特性」と同様のものであって、「閾値」は短い時間窓（子時間窓）に対応し、「変化特性」は長い時間窓に対応するものである。
【００４３】
母音発声認識部１０３は、ステップＳ０１で算出したパラメータの時間変化量が、ステップＳ０２で取得した閾値を超えているかどうかを各チャネルごとに判断する（ステップＳ０４）。母音発声認識部１０３は、各チャネルにおいて時間変化量が閾値を超えていればその時刻を母音が変化したタイミングとして記録する（ステップＳ０５）。時間変化量が閾値を超えていなければステップＳ０１の処理に戻る。尚、時間変化量が閾値を超えていることを判断する場合には、全てのチャネルにおいて時間変化量が閾値を超えていることを条件としても、過半数のチャネルにおいて時間変化量が閾値を超えていることを条件としても、一つのチャネルにおいて時間変化量が閾値を超えていることを条件としてもよい。
【００４４】
図１に戻って、母音発生認識部１０３は、パラメータ算出部１０２から出力されたパラメータと共に、母音が変化したタイミングを母音特定部１０４に出力する。母音特定部１０４は、母音発声認識部１０３から出力される母音が変化したタイミングの前後における各チャネルごとのパラメータの変動状態に基づいて、発声動作に対応する母音を特定する部分である。母音特定部１０４が母音を特定する方法について図８を用いて説明する。図８は、母音特定部１０４が母音を特定する方法を示したフローチャートである。
【００４５】
母音特定部１０４は、母音が変化したタイミングの前後におけるパラメータの変化特性を検出する（ステップＳ１１）。この変化特性とは、母音変化のタイミングの前後でパラメータが、大きく増えたか、増えたか、等しいか、減ったかで区分される。より具体的には、前の状態のレベルから２００％以上増加した場合には大きく増えたと判断し、前の状態のレベルから５０％以上２００％未満増加した場合には増えたと判断し、前の状態のレベルからの変化量が±５０％未満の場合には等しいと判断し、前の状態のレベルから５０％以上減った場合には減ったと判断する。図５の例で説明すると、既に説明したように母音の変化のタイミングは、２．３〜２．４秒の部分と２．６秒付近の部分である。この部分で、子時間窓よりも長い時間に設定されている時間窓のデータ５１を見ると、その増減の状態が把握できる。母音特定部１０４は各チャネルについてこの変化特性を検出する。
【００４６】
母音特定部１０４は、直近に発声された母音成分を特定する（ステップＳ１２）。母音特定部１０４は、この特定した母音成分に基づいて、筋電情報格納部２０１に格納されている情報と、各チャネルの変化特性とを比較して母音成分を認識する（ステップＳ１３）。筋電情報格納部２０１に格納されている情報の例を、図９（ａ）〜図９（ｃ）に示す。図９（ａ）は、口輪筋における直前の母音成分と変化特性の対応を示し、図９（ｂ）は、大頬骨筋における直前の母音成分と変化特性の対応を示し、図９（ｃ）は、顎二腹筋における直前の母音成分と変化特性の対応を示している。例えば、直前の母音成分が「／ａ／」であって、各チャネルの変化特性が、口輪筋においては「等しい」、大頬骨筋においては「増えている」、顎二腹筋においては「減っている」というものである場合には、図９（ａ）〜図９（ｃ）に示す情報に基づいて、発声した母音が「／ｉ／」であると認識する。尚、図９（ａ）〜図９（ｃ）において「等」は「等しい」ことを、「減」は「減っている」ことを、「増」は「増えている」ことを、「大増」は「大きく増えている」ことを、それぞれ示している。
【００４７】
母音特定部１０４は認識した母音を母音情報出力部１０５に出力する。母音情報出力部１０５は出力対象に合わせて母音を特定する情報を出力する部分である。この出力対象としては、認識アルゴリズムやスピーカーやディスプレイといったものが挙げられる。
【００４８】
上述の実施形態においては、長い時間を設定した時間窓と、短い時間を設定した子時間窓との違いに着目している。すなわち、長い時間を設定した時間窓では長い時間における筋電信号の傾向が把握でき、逆に短い時間を設定した子時間窓では短い時間における筋電信号の傾向が把握できる。従って、子時間窓では発声動作のタイミングを把握するのに適しており、時間窓ではそのタイミングの前後における傾向を把握するのに適している。
【００４９】
本実施形態においては、二種類の時間窓を用いたが、一種類の時間窓を用いて母音を認識することも可能である。例えば、上記の短い時間を設定した子時間窓のみを用いる場合には、上記の長い時間を設定した時間窓の部分を、複数の子時間窓の平均値を用いることで代用可能である。
【００５０】
更に、音声検出装置１０の一部を変更した音声検出装置９０を用いることも可能である。音声検出装置９０の構成を図１０に示し、音声検出装置９０の動作を示したフローチャートを図１２に示す。音声検出装置９０は物理的には、筋電信号を取得するための電極や中央処理装置やメモリといった部分を備えて構成される。音声認識装置９０は機能的な構成要素として、筋電信号取得部１０１（筋電信号取得手段）と、パラメータ算出部１０２（パラメータ算出手段）と、変動監視部９０３（変動監視手段）と、母音特定部９０４（母音特定手段）と、母音情報出力部１０５と、筋電情報格納部９１０（筋電情報格納手段）と、を備える。引き続いて各構成要素について説明するが、筋電信号取得部１０１と、パラメータ算出部１０２と、母音情報出力部１０５とは音声検出装置１０と同様であるので説明を省略する。
【００５１】
変動監視部９０３は、パラメータ算出部１０２が出力するパラメータが所定時間変動しないかどうかを監視する部分である。変動監視部９０３は、パラメータの変化特性を検出する（ステップＳ２１）。この変化特性は、パラメータが変動したかどうかを示すものである。変動監視部９０３は、パラメータが変動したかどうかを判断する（ステップＳ２２）。変動監視部９０３は、パラメータの値が直前のパラメータと比較して５０〜１５０％の範囲内に収まっている場合には変動していないと判断し、その範囲を超えた場合には変動したと判断する。パラメータが変動していれば、変動監視部９０３はカウンタをリセットする（ステップＳ２３）。パラメータが変動しなければ、変動監視部９０３はカウンタをインクリメントする（ステップＳ２４）。変動監視部９０３は、カウンタの値が所定の閾値を越えたかどうかを判断する（ステップＳ２５）。このカウンタの値が所定の閾値を越えると、変動監視部９０３は、パラメータ算出部１０２が出力するパラメータを母音特定部９０４に出力する。このステップＳ２４からステップＳ２５においては、変動監視部９０３が変動を監視する時間窓は非常に短い時間窓に設定されており、本実施形態の場合には２０〜５０ｍｓに設定されている。このように、所定の時間を超えた情報が入らないと母音特定部９０４にはパラメータが出力されないので、突発的なノイズの混入を防止できる。
【００５２】
母音特定部９０４は、変動監視部９０３の監視結果とパラメータとに基づいて、発声動作に対応する母音を特定する部分である。母音特定部９０４は、直近の母音成分を特定する（ステップＳ２６）。本実施形態の場合には、直前に発声された母音成分は既に認識済みであって、母音発声認識部１０３はこの認識済みの母音成分を直近に発声されたものとして特定する。直前に発声された母音成分の認識手法としては、既知の音声認識手法を用いることができる。また、例えば、ユーザに必ず最初に「あ」を発声してもらうこととして、発生された母音成分を認識してもよい。母音特定部９０４は、この特定した直近の母音成分と、筋電情報格納部９１０に格納されている情報とに基づいて母音成分を特定する（ステップＳ２７）。図１１（ａ）〜図１１（ｃ）に筋電情報格納部９１０に格納される情報の例を示す。図１１（ａ）は、口輪筋における直前の母音成分と変化特性の対応を示し、図１１（ｂ）は、大頬骨筋における直前の母音成分と変化特性の対応を示し、図１１（ｃ）は、顎二腹筋における直前の母音成分と変化特性の対応を示している。例えば、直前の母音成分が「／ａ／」であって、各チャネルの変化特性が、口輪筋においては「等しい」、大頬骨筋においては「増えている」、顎二腹筋においては「減っている」というものである場合には、図１１（ａ）〜図１１（ｃ）に示す情報に基づいて、発声した母音が「／ｉ／」であると認識する。図９（ａ）〜図９（ｃ）で説明した内容と異なっている部分は、直前の母音成分と認識結果が同じ場合を許容するために、該当部分を「等しい」としたことである。尚、「大きく増えている」とは前の状態のレベルから２００％以上増加した場合であり、「増えている」とは前の状態のレベルから５０％以上２００％未満増加した場合であり、「等しい」とは前の状態のレベルからの変化量が±５０％未満の場合であり、「減っている」とは前の状態のレベルから５０％以上減った場合であるものとしている。
【００５３】
【発明の効果】
本発明によれば、パラメータの変動に基づいて特定される発声動作タイミングの前後のパラメータの変動状態に基づいて、その発声動作に対応する母音を特定するので、例えば、パラメータが増えたか減ったかといった情報に基づいて母音を特定できる。従って、パラメータの変動の傾向が把握できれば母音を特定できるので、母音についての音声認識が可能となる。従って本発明の目的とする、学習用データを用いずに音声認識を行うことができる音声検出装置を提供することができた。
【図面の簡単な説明】
【図１】本発明の実施形態である音声検出装置の構成を示す図である。
【図２】図１の筋電信号取得部の構成を示す図である。
【図３】図１のパラメータ算出部の動作を説明するための図である。
【図４】図１のパラメータ算出部の動作を説明するための図である。
【図５】図１のパラメータ算出部が算出したパラメータの一例を説明するための図である。
【図６】図１の母音発生認識部の動作を説明するための図である。
【図７】図１の閾値情報格納部に格納されている情報の一例を示す図である。
【図８】図１の母音特定部の動作を説明するための図である。
【図９】図１の筋電情報格納部に格納されている情報の一例を示す図である。
【図１０】本発明の実施形態である音声検出装置の変形例の構成を示す図である。
【図１１】図１０の筋電情報格納部に格納されている情報の一例を示す図である。
【図１２】図１０の音声検出装置の動作を説明するための図である。
【符号の説明】
１０…音声検出装置、１０１…筋電信号取得部、１０２…パラメータ算出部、１０３…母音発生認識部、１０４…母音特定部、１０５…母音情報出力部、２００…閾値情報格納部、２０１…筋電情報格納部。

Claims

発声動作時に発生する筋電信号を複数の部位から取得する筋電信号取得手段と、
当該取得された筋電信号の所定値に対する変動値をパラメータとして、前記部位に対応したチャネルごとに算出するパラメータ算出手段と、
当該算出したパラメータの変動に基づいて前記発声動作時の母音の発声動作タイミングを特定する母音発声認識手段と、
当該特定した発声動作タイミングの前後における前記各チャネルごとのパラメータの変動状態に基づいて、前記発声動作に対応する母音を特定する母音特定手段と、
を備える音声検出装置。
発声動作タイミングの前後の母音の組合せと、前記パラメータの変動状態とが、前記各チャネルごとに関連付けられて格納されている筋電情報格納手段を更に備え、
前記母音特定手段は、前記パラメータの変動状態に基づいて、前記筋電情報格納手段に格納されている母音の組合せを特定し、前記発声動作に対応する母音を特定する、請求項１に記載の音声検出装置。
前記パラメータは、第一の時間窓に対応する第一パラメータと、当該第一の時間窓よりも短い時間に設定されている第二の時間窓に対応する第二パラメータとを含み、
前記母音発声認識手段は、前記第二パラメータに基づいて発声動作タイミングを特定し、
前記母音特定手段は、前記第一パラメータに基づいて前記母音を特定する、請求項１又は２に記載の音声認識装置。
発声動作時に発生する筋電信号を複数の部位から取得する筋電信号取得手段と、
当該検出された筋電信号の所定値に対する変動値をパラメータとして、前記部位に対応したチャネルごとに算出するパラメータ算出手段と、
前記パラメータが所定時間変動しないかどうかを監視する変動監視手段と、
当該監視結果及び前記パラメータに基づいて、前記発声動作に対応する母音を特定する母音特定手段と、
を備える音声検出装置。
発声動作タイミングの前後の母音の組合せと、前記パラメータの変動状態とが、前記各チャネルごとに関連付けられて格納されている筋電情報格納手段を更に備え、
前記母音特定手段は、前記パラメータが所定時間変動しなかった場合に、その所定時間分のパラメータを採用し、当該採用したパラメータの変動状態に基づいて、前記筋電情報格納手段に格納されている母音の組合せを特定し、前記発声動作に対応する母音を特定する、請求項４に記載の音声検出装置。