JPH1185190A5

JPH1185190A5 -

Info

Publication number: JPH1185190A5
Application number: JP1997256201A
Authority: JP
Filing date: 1997-09-05
Publication date: 2004-12-16
Anticipated expiration: 2017-09-05

Description

【００１１】
【課題を解決するための手段】
そこで、本発明の音声認識装置では、口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力される映像標準データの各単音節に対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別する音声認識手段とを設けている。

【００１５】
【発明の実施の形態】
本発明の請求項１に記載の発明は、口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力される映像標準データの各単音節に対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別する音声認識手段とを設けた音声認識装置であり、識別対象の単音節が、口唇の形状や動きを基に識別した方が高精度に識別できる種類の単音節である場合には、映像による識別の寄与率を大きくし、また、識別対象の単音節が、音声を基に識別した方が高精度に識別できる単音節である場合には、音声による識別の寄与率を大きくすることにより、騒音環境下でも信頼性の高い音声認識が可能となる。

【００２０】
請求項４に記載の発明は、音声標準データ正答率保持手段が、正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、音声認識手段が、各単音節に対する総合的な類似度を求める際に、音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた正答率のデータを読み出すようにしたものであり、音声信号を用いた識別の信頼性が、入力音声信号の信号対雑音比により変動する点を改善できる。

【００２１】
請求項５に記載の発明は、話者の音声データが入力する音声入力手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力された類似度と音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、類似度が最も大きい単音節を識別する音声認識手段とを備えた音声認識装置であり、音声信号を用いた識別の信頼性が向上し、騒音環境下でも信頼性の高い音声認識が可能となる。

【００２２】
請求項６に記載の発明は、前記音声標準データ正答率保持手段が、前記正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、前記音声認識手段が、各単音節に対する総合的な類似度を求める際に、前記音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた前記正答率のデータを読み出すようにしたものであり、音声信号を用いた識別の信頼性が、入力音声信号の信号対雑音比により変動する点を改善できる。

【００２４】
請求項７に記載の発明は、口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、単音節を発声する口唇の映像標準データが複数個含まれるグループと入力映像データとの間の類似度を算出し、グループとそれに対する類似度とを出力する映像処理手段と、単音節を発声する音声の音声標準データが複数個含まれるグループと入力音声データとの間の類似度を算出し、グループとそれに対する類似度とを出力する音声処理手段と、映像処理手段及び音声処理手段から出力された類似度を用いて、総合的な類似度が最も大きいグループを識別する音声認識手段と、前記映像処理手段から出力されるグループに対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置であり、認識対象の音声が属しているグループを高精度に特定することができ、音声識別処理を効率化することができる。

【００２５】
請求項８に記載の発明は、請求項７の音声認識装置において、映像処理手段から出力されるグループに対する正答率及び音声処理手段から出力されるグループに対する正答率が、それぞれ高くなるように、各グループに含まれる複数の映像標準データ及び音声標準データの単音節を設定するようにしたものであり、こうすることにより、グループを細分化して、認識対象の音声を狭い範囲に絞り込むことができる。

【００２６】
請求項９に記載の発明は、請求項７の音声認識装置において、映像処理手段及び音声処理手段が、入力映像データまたは入力音声データとグループに含まれるすべての映像標準データまたは音声標準データとの間の類似度を算出し、その中の最大の類似度をグループに対する類似度とするようにしたものであり、こうしてグループに対する類似度を求めることができる。

【００２７】
請求項１０に記載の発明は、請求項７の音声認識装置において、映像処理手段及び音声処理手段が、入力映像データまたは入力音声データの特徴量とグループに含まれるすべての映像標準データまたは音声標準データに共通する特徴量との間の類似度を、グループに対する類似度として算出するようにしたものであり、こうしたやり方で、グループに対する類似度を求めることもできる。
請求項１１に記載の発明は、話者の音声データが入力する音声入力手段と、単音節を発声する音声の音声標準データが複数個含まれるグループと前記入力音声データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力される類似度と、音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置であり、認識対象の音声が属しているグループを高精度に特定することができ、音声識別処理を効率化することができる。
請求項１２に記載の発明は、請求項１１の音声認識装置において、前記音声処理手段が、入力音声データの特徴量と前記グループに含まれるすべての音声標準データに共通する特徴量との間の類似度を、前記グループに対する類似度として算出するようにしたものであり、こうしたやり方で、グループに対する類似度を求めることもできる。

【００２８】
請求項１３に記載の発明は、口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、映像データと各単音節を発声する口唇の映像標準データとの間の類似度を映像標準データの各単音節ごとに求めるとともに、その単音節が映像データに基づいて識別される場合の信頼度を表す映像正答率を、この類似度に乗算し、また、音声データと各単音節を発声する音声の音声標準データとの間の類似度を音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、この類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別するようにしたものであり、この方法では、映像または音声による識別手法の内、識別対象の単音節を高精度に識別できる手法に対して、より多くの重みを付けて音声を識別することができる。

【００２９】
請求項１４に記載の発明は、話者の音声データを用いて話者の音声を識別する音声認識方法において、前記音声データと各単音節を発声する音声の音声標準データとの間の類似度を前記音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、前記総合的な類似度が最も大きい単音節を識別するようにしたものであり、音声信号を用いた識別の信頼性が向上し、騒音環境下でも信頼性の高い音声認識が可能となる。

【００３５】
請求項１５に記載の発明は、口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、映像データと、単音節を発声する口唇の映像標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが映像データに基づいて識別される場合の信頼度を表す映像正答率を、この類似度に乗算し、また、音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、この類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別するようにしたものであり、認識対象の単音節が属しているグループを特定して、その単音節を絞り込むことにより、音声認識処理を効率化することができる。

【００３６】
請求項１６に記載の発明は、話者の音声データを用いて話者の音声を識別する音声認識方法において、前記音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、前記総合的な類似度が最も大きいグループを識別するようにしたものであり、音声信号を用いた識別の信頼性が向上し、騒音環境下でも信頼性の高い音声認識が可能となる。

Claims

口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力される映像標準データの各単音節に対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別する音声認識手段とを備える音声認識装置。
前記映像入力手段に各種の単音節に関する前記映像データを入力し、各入力映像データに対応して前記映像処理手段から出力される類似度が最大の映像標準データの単音節を候補単音節として集計し、前記映像処理手段から出力された同一の候補単音節の総数の内で、入力映像データの単音節と一致する候補単音節の数の割合を、映像標準データのその単音節に対する正答率として設定することを特徴とする請求項１に記載の音声認識装置。
前記音声入力手段に各種の単音節の音声データを入力し、各入力音声データに対応して前記音声処理手段から出力される類似度が最大の音声標準データの単音節を候補単音節として集計し、前記音声処理手段から出力された同一の候補単音節の総数の内で、入力音声データの単音節と一致する候補単音節の数の割合を、音声標準データのその単音節に対する正答率として設定することを特徴とする請求項１に記載の音声認識装置。
前記音声標準データ正答率保持手段が、前記正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、前記音声認識手段が、各単音節に対する総合的な類似度を求める際に、前記音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた前記正答率のデータを読み出すことを特徴とする請求項１に記載の音声認識装置。
話者の音声データが入力する音声入力手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力された類似度と音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、類似度が最も大きい単音節を識別する音声認識手段とを備える音声認識装置。
前記音声標準データ正答率保持手段が、前記正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、前記音声認識手段が、各単音節に対する総合的な類似度を求める際に、前記音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた前記正答率のデータを読み出すことを特徴とする請求項５に記載の音声認識装置。
口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、単音節を発声する口唇の映像標準データが複数個含まれるグループと入力映像データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する映像処理手段と、前記単音節を発声する音声の音声標準データが複数個含まれるグループと入力音声データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力されるグループに対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置。
前記映像処理手段から出力されるグループに対する正答率及び前記音声処理手段から出力されるグループに対する正答率が、それぞれ高くなるように、前記グループに含まれる複数の映像標準データ及び音声標準データの単音節を設定することを特徴とする請求項７に記載の音声認識装置。
前記映像処理手段及び音声処理手段が、入力映像データまたは入力音声データと前記グループに含まれるすべての映像標準データまたは音声標準データとの間の類似度を算出し、その中の最大の類似度を前記グループに対する類似度とすることを特徴とする請求項７に記載の音声認識装置。
前記映像処理手段及び音声処理手段が、入力映像データまたは入力音声データの特徴量と前記グループに含まれるすべての映像標準データまたは音声標準データに共通する特徴量との間の類似度を、前記グループに対する類似度として算出することを特徴とする請求項７に記載の音声認識装置。
話者の音声データが入力する音声入力手段と、単音節を発声する音声の音声標準データが複数個含まれるグループと前記入力音声データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力される類似度と、音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置。
前記音声処理手段が、入力音声データの特徴量と前記グループに含まれるすべての音声標準データに共通する特徴量との間の類似度を、前記グループに対する類似度として算出することを特徴とする請求項１１に記載の音声認識装置。
口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、
前記映像データと各単音節を発声する口唇の映像標準データとの間の類似度を前記映像標準データの各単音節ごとに求めるとともに、その単音節が映像データに基づいて識別される場合の信頼度を表す映像正答率を、前記類似度に乗算し、また、前記音声データと各単音節を発声する音声の音声標準データとの間の類似度を前記音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、前記総合的な類似度が最も大きい単音節を識別することを特徴とする音声認識方法。
話者の音声データを用いて話者の音声を識別する音声認識方法において、
前記音声データと各単音節を発声する音声の音声標準データとの間の類似度を前記音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、前記総合的な類似度が最も大きい単音節を識別することを特徴とする音声認識方法。
口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、
前記映像データと、単音節を発声する口唇の映像標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが映像データに基づいて識別される場合の信頼度を表す映像正答率を、前記類似度に乗算し、また、前記音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、前記総合的な類似度が最も大きいグループを識別することを特徴とする音声認識方法。
話者の音声データを用いて話者の音声を識別する音声認識方法において、
前記音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、前記総合的な類似度が最も大きいグループを識別することを特徴とする音声認識方法。