JPH04181297A

JPH04181297A - 音声認識装置

Info

Publication number: JPH04181297A
Application number: JP2310472A
Authority: JP
Inventors: Hiroyuki Kiyamazawa; 木山沢　弘之
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1990-11-16
Filing date: 1990-11-16
Publication date: 1992-06-29

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、音声認識装置に関する６［従来の技術］従来１発声者が発話した音声をマイクロフォンから入力
して、その音声信号から音声区間を検出して音声認識を
行う、音声認識装置においては。

第２図に示すように、マイクロフォンから入力された信
号の、比較的レベルが低い部分を検出するか、あるいは
２発話直前の周囲の雑音を取り込んで、その信号レベル
と比較することによって、音声区間を検出していた。

［発明が解決しようとする課題及び目的］しかし、従来
の方法では２周囲の騒音による影響を受は易く、騒音レ
ベルの大きいところでは使用できなかった１本発明は、
かかる問題点に鑑みて成されたもので、その目的とする
ところは９周囲の雑音のレベルによらず、容易に音声区
間の検出を可能し、なおかつ、多様な発話に対する。音
声認識装置の適応範囲を広げることである。

［課題を解決する手段］本発明の音声認識装置は２発声者が発話した音声をマイ
クロフォンから入力して、その音声信号から音声区間を
検出して音声認識を行う、音声認識装置において２発声
者の唇付近の動画像を撮影する撮像手段と、前記撮像手
段の出力をデジタル化して、デジタルデータを出力する
。データ変換手段と、前記データ変換手段の出力を記憶
し、直前のデータと比較をして、その結果を出力する。

画像記憶部と、前記記憶部の出力を監視し、前記比較の
結果、差異がある程度以下になった状態が一定時間続い
たら信号を出力する。音声区間検出部と９発声者が発話
する際に生じる。鼻からの呼気の気流を検出し、信号を
出力する。気流検出手段と、前記気流検出手段の出力を
、基準値と比較し、比較結果を出力する。気流検出部と
、前記音声区間検出部と前記気流検出部の出力を受けて
。

前記マイクロフォンから入力された音声データに。

音声区間を示すデータを刊加して出力する。音声区間切
り出し部と、前記音声区間切り出し部の出力を、音声と
して認識し、認識結果を出力する。

認識部を有することを特徴とする。

［作用］本発明の音声認識装置の作用について説明すると、第１
図の機能ブロック図に示すように、１の撮像手段である
カメラで２発声者の唇付近を撮影し、その信号を２のデ
ータ変換部へ送る。ここで。

発声者の唇付近の画像がサンプリングされてデジタルデ
ータになり、３の画像記憶部に送られる、ここで、デジ
タル化した画像を記憶すると同時に。

直前の画像データとの違いを計り、結果を４の音声区間
検出部へ送る。４の音声区間検出部では。

３の出力を監視し、直前のデータとの差異がある程度以
下になった状態が一定時間続くまで、信号を６の音声区
間切り出し部に送る。一方、５の気流検出手段である圧
力センサは９発声者が発話する際に、鼻からの呼気の圧
力を検出し、６の気流検出部へ送る。６の気流検出部で
は、５の圧力センサの出力を、基準値と比較し、基準値
より大きい間、信号を８の音声区間切り出し部へ送る。

８の音声区間切り出し部では、４の音声区間検出部と６
の気流検出部の出力を受けて、７のマイクロフォンから
入力された音声を２区間毎に分けて。

９の認識部へ渡す、９の認識部では、８の音声区間切り
出し部の出力を認識して、認識結果を出力する。

［実施例１以下に２本発明の音声認識装置の詳細を図示した実施例
に基づいて説明する。

第３図は９本発明の実施例を示す構成図である。

図中符号３１は、カメラであり、ここでは、　ＣＣＤカ
メラを使用している。３２は、３１のカメラの出力をデ
ジタル化するデータ変換手段である。　Ａ／Ｄ変換器１
である。３３の破線で囲まれた部分は２画像記憶部であ
り、３３１のフレームバッファ制御［Ｒ：、３３２のフ
レームバッファ１と、３３３のフレームバッファ２と、
３３４，３３５の排他的論理和（以下、　ＸＯＲと云う
、）ゲートと、３３６のオアゲートで構成されている。

３４は、音声区間検出部であり、３４１のカウンタと、
３４２のコンパレータ１で構成されている。３５は圧力
センサである６　３６の点線で囲まれた部分は、気流検
出部であり、３６１の増幅器と、その出力と。

３６３の可変抵抗器によって決定される基準値とを比較
する３６２のコンパレータ２から構成されている。３７
は、マイクロフォンである。３８は。

音声区間切り出し部で、３８１のＡ／Ｄ変換器２と。

３８２のバッファ制御回路と、３８３のバッファ１と、
３８４のバッファ２と、３８６のオアゲートで構成され
ている。３９は、音声を認識して結果を表示する。認識
部である。

次に、このように構成した装置の動作を、第３図に示し
た構成図に基づいて説明する。

３１のカメラは９発声者の唇に焦点を合わせ。

また１口元以外は、撮影しないように調整されている。

３１のカメラで撮影された映像は、３２のＡ／Ｄ変換器
１で、デジタルデータに変換されて。

３３の画像記憶部に送られる。　　このデータは。

３３２のフレームバッファ１か、３３３のフレームバッ
ファ２に記憶される。３３の画像記憶部について説明す
る０本装置が動作を開始した後の。

最初の画像データは、３３２のフレームバッファ１に記
憶される。その次の画像データは、３３３のフレームバ
ッファ２に記憶される。このとき。

３３２のフレームバッファｌは読みだし状態になり、８
売みだされたデータは、３３４のＸＯＲゲートに送られ
る。フレームバッファのデータの読みだしは、３２のＡ
／Ｄ変換器１の出力に同期して行われる。また、３２の
Ａ／Ｄ変換器１の出力も３３４のＸＯＲゲートに入力さ
れているため、３３４のＸＯＲゲートで、現在の画像デ
ータと、その直前の画像データとのＸＯＲがとられる６
そして、３３６のオアゲートを通って、３４の音声区間
検出部に送られる。以後の画像データに対しては、フレ
ームバッファｌとフレームバッファ２の役割を、交互に
切り替えて行う６以上のように、現在の画像と。

その直前の画像とのＸＯＲをとると２画像に変化がない
部分、即ち、動きがない部分はＯで表され。

動きがある部分は１で表される。従って、■の個数をカ
ウントすることによって１画像に動きがあるかどうかを
判別することができる０以上のようにして、ＸＱＲがと
られたデータは、３４の音声区間検出部に送られる。こ
こでは、３４１のカウンタで、入力されたデータの１の
個数を数え、数えた結果を３４２のコンパレータ１に送
って、予め設定された値（以下、スレショルドレベルと
云う）と比較する。その結果ｌの個数が、スレショルド
レベルを下回るまで、信号を出力する。なお。

このスレショルドレベルは、カメラ、あるいは。

Ａ／Ｄ変換器ｌのノイズレベルに依存する。３５の圧力
センサは１発声者の鼻からの呼気のみが十分に当たる位
置に取り付けられている。この圧力センサの出力は、３
６の気流検出部に入力される。

その後、３６１の増幅器で増幅され、３６２のコンパレ
ータ２で、３６３の可変抵抗器によって設定された基準
値と比較される。比較した結果、圧力センサの出力が、
基準値より大きければ、信号が出力される。３８の音声
区間切り出し部では。

３７のマイクロフォンで集音した音声を、３８１の、Ａ
／Ｄ変換器２でデジタルデータに変換し。

３８３のバッファ１．あるいは、３８４のバッファ２に
記憶する。３８２のバッファ制御回路は。

３４の音声区間検出部の信号、または、３６の気流検出
部の信号を受けると、バッファ１．あるいは、バッファ
２に記憶されている音声データを１つの音声区間のデー
タとして、３８６のオアゲートを経て、３９の認識部へ
出力する０通常、３４の音声区間検出部の信号と、３６
の気流検出部の信号は、は−ぼ同時に、３８の音声区間
切り出し部に入力されるが２例えば、相づちのように、
鼻音のみで構成された音声が人力された場合２発声者の
唇はほとんど動かない、従って、３４の音声区間検出部
からの信号はないが、３６の気流検出部は、鼻音を発声
したことによる気流を検出することができ、信号を出力
できる。ゆえに２発声された音声が鼻音だけであっても
音声区間を検出できる。また２本装置が動作を開始した
直後の、３４の音声区間検出部、あるいは、３６の気流
検出部の信号は、音声入力開始の信号ともなる２本装置
が動作を開始し、３４２のコンパレータｌ、あるいは、
３６２のコンパレータ２の最初の信号が入力されると、
その信号が人力された時点からの音声が、最初の音声と
なり、バッファｌに記憶される、３８２のバッファ制御
回路が、３４２のコンパレータ１．あるいは、３６２の
コンパレータ２の次の信号を受は取ると、バッファｌに
記憶された音声データを読みだし、３９の認識部へ送る
。

同時に、３８４のバッファ２を書き込み状態に設定し２
次に、３４２のコンパレータｌ、あるいは。

３６２のコンパレータ２から信号が入力されるまで、３
８４のバッファ２に音声データを書き込む。

これらの動作を、３４２のコンパレータ１の出力がある
度に、切り替える。

尚２本発明に於て、カメラは、唇の動きのみを撮影する
ようにする必要がある６そのため２本実施例では、第４
図に示すように、マイクロフォン装置の４３の集音ユニ
ットが取り付けられている４２のアーム部分に４４の小
型ＣＣＤカメラを取り付けているが、集音ユニットと一
体化することもできるし９発話者の頭部と一体になって
動く部分であれば、どこでも取り付けることができる。

また、４５の圧力センサは２発声者の鼻からの呼気のみ
を検出するために、第４図の４２のアームから、さらに
アームを延ばし２発話者の鼻の真下に取り付けているが
、４２のアームと分離することもできるし９発話者の鼻
からの呼気のみを検出することができる部分なら、どこ
にでも取り付けることができる。

［発明の効果１以上説明したように２本発明によれば２周囲の騒音レベ
ルに全く影響されることなく、正確に。

音声区間を検出し、さらに、音声認識装置が扱える音声
の範囲をより拡大することができ、その効果は顕著であ
る。

【図面の簡単な説明】

第１図は２本発明の音声認識装置の構成を示す機能ブロ
ック図。第２図は、従来例を示す機能ブロック図、第３図は２本
発明の実施例を示す構成図。第４図は２本発明の、カメラと圧力センサとマイクロフ
ォンの取り付けの一例を示す概念図。１　・・・撮像手段２　・・・データ変換部３　・・・画像記憶部４・・・音声区間検出部５・・・気流検出手段６・・・気流検出部７・・・マイクロフォン８・・・音声区間切り出し部９・・・認識部２１・・・マイクロフォン２２・・・音声レベル検出部２３・・・音声区間切り出し部２４・・・認識部３１・・・カメラ３２・・・Ａ／Ｄ変換器１３３・・・画像記憶部３３１・・・フレームバッファ制御回路３３２・・・フ
レームバッファ１３３３・・・フレームバッファ２３３４、３３５・・−ＸＯＲゲート３３６、３６６・・・オアゲート３４・・・音声区間検出部３４１・・・カウンタ３４２・・・コンパレータ１３５・・・圧力センサ３６・・・気流検出部３６１・・・増幅器３６２・・・コンパレータ２３６３・・・可変抵抗器３７・・・マイクロフォン３８・・・音声区間切り出し部３８１・・・Ａ／Ｄ変換器２３８２・・・バッファ制御回路３８３・・・バッファ１３８４・・・バッファ２３９・・・認識部４１・・・発話者の口４２・・・マイクロフォン装置のアーム４３・・・集音
ユニット４４・・・ＣＣＤカメラ４５・・・圧力センサ以　　上出願人　セイコーエプソン株式会社代理人　弁理士　鈴木喜三部　他１名第１図

Claims

【特許請求の範囲】ａ）発声者が発話した音声をマイクロフォンから入力し
て、その音声信号から音声区間を検出して音声認識を行
う、音声認識装置において、ｂ）発声者の唇付近の動画
像を撮影する撮像手段と、ｃ）前記撮像手段の出力をデジタル化して、デジタルデ
ータを出力する、データ変換手段と、ｄ）前記データ変
換手段の出力を記憶し、直前のデータと比較をして、そ
の結果を出力する、画像記憶部と、ｅ）前記記憶部の出力を監視し、前記比較の結果、差異
がある程度以下になった状態が一定時間続いたら信号を
出力する、音声区間検出部と、ｆ）発声者が発話する際
に生じる、鼻からの呼気の気流を検出し、信号を出力す
る、気流検出手段と、ｇ）前記気流検出手段の出力を、基準値と比較し、比較
結果を出力する、気流検出部と、ｈ）前記音声区間検出部と前記気流検出部の出力を受け
て、前記マイクロフォンから入力された音声データに、
音声区間を示すデータを付加して出力する、音声区間切
り出し部と、ｉ）前記音声区間切り出し部の出力を、音声として認識
し、認識結果を出力する、認識部を有することを特徴と
する、音声認識装置。