JPH04180096A

JPH04180096A - 音声認識装置

Info

Publication number: JPH04180096A
Application number: JP2309301A
Authority: JP
Inventors: Hiroyuki Kiyamazawa; 木山沢　弘之
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1990-11-15
Filing date: 1990-11-15
Publication date: 1992-06-26

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、音声認識装置に関する。

［従来の技術］従来２発声者が発話した音声をマイクロフォンから人力
して、その音声信号から音声区間を検出して音声認識を
行う、音声認識装置においては。

第２図に示すように、マイクロフォンから入力された信
号の、比較的レベルが低い部分を検出するか、あるいは
２発話直前の周囲の雑音を取り込んで、その信号レベル
と比較することによって、音声区間を検出していた。

［発明が解決しようとする課題及び目的］しかし、従来
の方法では２周囲の騒音による影響を受は易く、騒音レ
ベルの大きいところでは使用できなかった６本発明は、
かかる問題点に鑑みて成されたもので、その目的とする
ところは１周囲の雑音のレベルによらず、容易に音声区
間の検出を可能にすることである。

［課題を解決するための手段］本発明の音声認識装置は２発声者が発話した音声をマイ
クロフォンから入力して、その音声信号から音声区間を
検出して音声認識を行う、音声認識装置において１発声
者の唇付近の動画像を撮影する撮像手段と、前記撮像手
段の出力をデジタル化して、デジタルデータを出力する
。データ変換手段と、前記データ変換手段の出力を記憶
し、直前のデータと比較をして、その結果を出力する。

画像記憶部と、前記記憶部の出力を監視し、前記比較の
結果、差異がある程度以下になった状態が一定時間続い
たら信号を出力する。音声区間検圧部と、前記音声区間
検出部の出力を受けて、前記マイクロフォンから入力さ
れた音声データに、音声区間を示すデータを付加して出
力する。音声区間切り出し部と、前記音声区間切り出し
部の出力を、音声として認識し、認識結果を出力する。

認識部を有することを特徴とする。

［作用］本発明の音声認識装置の作用について説明すると、第１
図の機能ブロック図に示すように、ｌの撮像手段である
カメラで２発声者の唇付近を撮影し、その信号を２のデ
ータ変換部へ送る。ここで。

発声者の唇付近の画像がサンプリングされてデジタルデ
ータになり、３の画像記憶部に送られる。

ここで、デジタル化した画像を記憶すると同時に。

直前の画像データとの違いを計り、結果を４の音声区間
検出部へ送る。４の音声区間検出部では。

３の出力を監視し、直前のデータとの差異がある程度以
下になった状態が一定時間続いたら、信号を６の音声区
間切り出し部に送る。６の音声区間切り出し部では、４
の音声区間検出部の出力を受けて、５のマイクロフォン
がら入力された音声を。

区間毎に分けて、７の認識部へ渡す、７の認識部では、
６の音声区間切り出し部の出力を認識して。

認識結果を出力する。

［実施例コ以下に９本発明の音声認識装置の詳細を図示した実施例
に基づいて説明する。

第３図は２本発明の実施例を示す構成図である。

図中符号３１は、カメラであり、ここでは、　ＣＯＤカ
メラを使用している。３２は、３１のカメラの出力をデ
ジタル化するデータ変換手段である。　Ａ／Ｄ変換器１
である。３３の破線で囲まれた部分は２画像記憶部であ
り、３３１のフレームバッファ制御回路と、３３２のフ
レームバッファ１と、３３３のフレームバッファ２と、
３３４，３３５の排他的論理和（以下、　ＸＯＲと云う
、）ゲートと、３３６のオアゲートで構成されている。

３４は、音声区間検出部であり、３４１のカウンタと、
３４２のコンパレータで構成されている。３５は、マイ
クロフォンである。３６は、音声区間切り出し部で。

３６１のＡ／Ｄ変換器２と、３６２のバッファ制御回路
と、３６３のバッファ１と、３６４のバッファ２と、３
６６のオアゲートで構成されている。３７は、音声を認
識して結果を表示する。認識部である。

次に、このように構成した装置の動作を、第３図に示し
た構成図に基づいて説明する。

３１のカメラは２発話者の唇に焦点を合わせ。

また２口元以外は、撮影しないように調整されている。

３１のカメラで撮影された映像は、３２のＡ／Ｄ変換器
１で、デジタルデータに変換されて。

３３の画像記憶部に送られる。　　このデータは。

３３２のフレームバッファｌか、３３３のフレームバッ
ファ２に記憶される。３３の画像記憶部について説明す
る０本装置が動作を開始した後の。

を初の画像データは、３３２のフレームバッファ１に記
憶される。その次の画像データは、３３３のフレームバ
ッファ２に記憶される。このとき。

３３２のフレームバッファ１は読みだし状態になり、読
みだされたデータは、３３４のＸＯＲゲートに送られる
。フレームバッファのデータの読みだしは、３２のＡ／
Ｄ変換器１の出力に同期して行われる。また、３２のＡ
／Ｄ変換器１の出力も３３４のＸＯＲゲートに入力され
ているため、３３４のＸＯＲゲートで、現在の画像デー
タと、その直前の画像データとのＸＯＲがとられる。そ
して、３３６のオアゲートを通って、３４の音声区間検
出部に送られる。以後の画像データに対しては、フレー
ムバッファｌとフレームバッファ２の役割ヲ、交互に切
り替えて行う３以上のように、現在の画像と。

その直前の画像とのＸＯＲをとると２画像に変化がない
部分、即ち、動きがない部分は０で表され。

動きがある部分は１で表される。従って、１の個数をカ
ウントすることによって２画像に動きがあるかどうかを
判別することができる０以上のようにして、ＸＯＲがと
られたデータは、３４の音声区間検出部に送られる。こ
こでは、３４１のカウンタで１人力されたデータの１の
個数を数え、数えた結果を３４２のコンパレータに送っ
て、予め設定された値（以下、スレショルドレベルと云
う）と比較する。その結果１の個数が、スレショルドレ
ベルを下回ったら、パルスを出力する。また。

このことによって９本装置が動作開始後、最初のパルス
は、音声入力開始の信号となる。なお、このスレショル
ドレベルは、カメラ、あるいは、Ａ１０変換器ｌのノイ
ズレベルに依存する。３６の音声区間切り出し部では、
３５のマイクロフォンで集音した音声を、３６１のＡ／
Ｄ変換器２でデジタルデータに変換し、３６３のバッフ
ァ１．または。

３６４のバッファ２に記憶する。３６２のバッファ制御
回路は、３４の音声区間構出部の出力を受けると、バッ
ファ１．あるいは、バッファ２に記憶されている音声デ
ータを１つの音声区間のデータとして、３６６のオアゲ
ートを経て、３７の認識部へ出力する０本装置が動作を
開始し、３４２のコンパレータが出力する最初のパルス
カ入力すれると、その時点からの音声が最初の音声とな
り。

バッファ１に記憶される。３６２のバッファ制御回路が
、３４２のコンパレータの次の出力パルスを受は取ると
、バッファ１に記憶された音声データを読みだし、３７
の認識部へ送る。　同時に。

３６４のバッファ２を書き込み状態に設定し１次に、３
４２のコンパレータから、パルスが入力されるまで、３
６４のバッファ２に音声データを書き込む、これらの動
作を、３４２のコンパレータの出力がある度に、切り替
える。

尚２本発明に於て、カメラは、唇の動きのみを撮影する
ようにする必要がある。そのため２本実施例では、第４
図に示すように、マイクロフォン装置の４１の集音ユニ
ットが取り付けられている４２のアーム部分に４４の小
型ＣＣＤカメラを取り付けているが、集音ユニットと一
体化することもできるし１発話者の頭部と一体になって
動く部分であれば、どこでも取り付けることができる。

［発明の効果］以上説明したように９本発明によれば２周囲の騒音レベ
ルに全く影響されることなく、正確に。

音声区間を検出することができ、その効果は顕著である
。

【図面の簡単な説明】

第１図は２本発明の音声認識装置の構成を示す機能ブロ
ック図。第２図は、従来例を示す機能ブロック図。第３図は２本発明の実施例を示す構成図。第４図は２本発明の、カメラとマイクロフォンの取り付
けの１例を示す概念図。１　・・・撮像手段２・・・データ変換部３・・・画像記憶部４・・・音声区間検出部５・・・マイクロフォン６・・・音声区間切り出し部７・・・認識部２１・・・マイクロフォン２２・・・音声レベル検出部２３・・・音声区間切り出し部２４・・・認識部３１・・・カメラ３２・・・Ａ／Ｄ変換器１３３・・・画像記憶部３３１・・・フレームバッファ制御回路３３２・・・フ
レームバッファ１３３３・・・フレームバッファ２３３４　、３３５・・・ＸＯＲゲート３３６、３６６・・・オアゲート３４・・・音声区間検出部３４１・・・カウンタ３４２・・・コンパレータ３５・・・マイクロフォン３６・・・音声区間切り出し部３６１・・・Ａ／Ｄ変換器２３６２・・・バッファ制御回路３６３・・・バッファ１３６４・・・バッファ２３７・・・認識部４１・・・発話者の口４２・・・マイクロフォン装置のアーム４３・・・集音
ユニット４４・・・ＣＣＤカメラ以　　上出願人　セイコーエプソン株式会社代理人　弁理士　鈴木喜三部　他１名第４図

Claims

【特許請求の範囲】ａ）発声者が発話した音声をマイクロフォンから入力し
て、その音声信号から音声区間を検出して音声認識を行
う、音声認識装置において、ｂ）発声者の唇付近の動画
像を撮影する撮像手段と、ｃ）前記撮像手段の出力をデジタル化して、デジタルデ
ータを出力する、データ変換手段と、ｄ）前記データ変
換手段の出力を記憶し、直前のデータと比較をして、そ
の結果を出力する、画像記憶部と、ｅ）前記記憶部の出力を監視し、前記比較の結果、差異
がある程度以下になった状態が一定時間続いたら信号を
出力する、音声区間検出部と、ｆ）前記音声区間検出部
の出力を受けて、前記マイクロフォンから入力された音
声データに、音声区間を示すデータを付加して出力する
、音声区間切り出し部と、ｇ）前記音声区間切り出し部の出力を、音声として認識
し、認識結果を出力する、認識部を有することを特徴と
する、音声認識装置。