JPH10243494A - 顔方向認識方法及び装置 - Google Patents
顔方向認識方法及び装置Info
- Publication number
- JPH10243494A JPH10243494A JP9047866A JP4786697A JPH10243494A JP H10243494 A JPH10243494 A JP H10243494A JP 9047866 A JP9047866 A JP 9047866A JP 4786697 A JP4786697 A JP 4786697A JP H10243494 A JPH10243494 A JP H10243494A
- Authority
- JP
- Japan
- Prior art keywords
- microphones
- pair
- speaker
- difference
- face direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 対話音声理解装置で話者の顔の向きを少ない
演算量で簡単に判断する。 【解決手段】 話者２００の顔に対し、その前面の上
下、左右にマイクロホン２０２，２０３，２０４，２０
５を配し、一対のマイクロホン２０２，２０３の出力の
周波数スペクトルをそれぞれ分析し（３０１，３０
２）、その１０〜２０kHz 帯のパワー比を求め（２１
２）、そのパワー比に応じて顔が上向きか、下向きかの
判別をする（２１３）。
演算量で簡単に判断する。 【解決手段】 話者２００の顔に対し、その前面の上
下、左右にマイクロホン２０２，２０３，２０４，２０
５を配し、一対のマイクロホン２０２，２０３の出力の
周波数スペクトルをそれぞれ分析し（３０１，３０
２）、その１０〜２０kHz 帯のパワー比を求め（２１
２）、そのパワー比に応じて顔が上向きか、下向きかの
判別をする（２１３）。
Description
【０００１】
【発明の属する技術分野】この発明は、対話音声理解装
置などにおいてユーザ（利用者）の装置や任意の対象へ
の注目を効率よく識別する方法及び装置に関する。
置などにおいてユーザ（利用者）の装置や任意の対象へ
の注目を効率よく識別する方法及び装置に関する。
【０００２】
【従来の技術】人間同士のコミュニケーションにおいて
呼び掛けや合図、対象への注視における音声は、働きか
けられる相手や対象に向けて発せられる。このことから
音声理解システムにおいて、ある発話者がシステムへ向
けられたものか否かを識別して、不要発話の棄却や音声
理解における焦点の移動を制御することができる。この
点から発話がシステムに向けられているか否かを識別す
る方法として顔面画像を用いた話者の注視方向の認識が
提案されている。
呼び掛けや合図、対象への注視における音声は、働きか
けられる相手や対象に向けて発せられる。このことから
音声理解システムにおいて、ある発話者がシステムへ向
けられたものか否かを識別して、不要発話の棄却や音声
理解における焦点の移動を制御することができる。この
点から発話がシステムに向けられているか否かを識別す
る方法として顔面画像を用いた話者の注視方向の認識が
提案されている。
【０００３】従来の顔方向認識方法として画像を用いた
パタン照合を例にとって説明する。画像によって顔方向
を認識するには、多方向を向いた顔面の画像を参照パタ
ンとして予め登録し、入力画像との照合を行って顔方向
を認識する方法がある[1] 。画像情報のパタン照合の一
例を図４に示す。多方向を向いた顔面の全体乃至一部の
画像は、顔方向が既知の参照パタン群１０１として予め
登録されている。ここで、顔方向が未知の評価パタン１
１０が与えられたとき、個々の参照パタン１０２−１０
６のうち、最も類似するものを判定して、その照合パタ
ンの顔方向を入力パタンの顔方向として認識する。
パタン照合を例にとって説明する。画像によって顔方向
を認識するには、多方向を向いた顔面の画像を参照パタ
ンとして予め登録し、入力画像との照合を行って顔方向
を認識する方法がある[1] 。画像情報のパタン照合の一
例を図４に示す。多方向を向いた顔面の全体乃至一部の
画像は、顔方向が既知の参照パタン群１０１として予め
登録されている。ここで、顔方向が未知の評価パタン１
１０が与えられたとき、個々の参照パタン１０２−１０
６のうち、最も類似するものを判定して、その照合パタ
ンの顔方向を入力パタンの顔方向として認識する。
【０００４】画像パタンの照合を行うには、まず、画像
を小区画に分割し、区画内の画像の色や明るさの分布か
ら、その区画ごとに特徴量を算出する。ついで画像を構
成するすべての各区画の特徴量を求める。この手続を参
照パタンと評価パタンの双方で行い、各々の特徴量の分
布の距離から類似性を算出する。図４から分かるよう
に、この方法では予め多数の参照パタンを登録し、パタ
ンごとに特徴量を計算し、類似性の判定をしなければな
らない。また、画像を小区画に分割し、それぞれの特徴
量を求めるためには、多くの計算を必要とする。
を小区画に分割し、区画内の画像の色や明るさの分布か
ら、その区画ごとに特徴量を算出する。ついで画像を構
成するすべての各区画の特徴量を求める。この手続を参
照パタンと評価パタンの双方で行い、各々の特徴量の分
布の距離から類似性を算出する。図４から分かるよう
に、この方法では予め多数の参照パタンを登録し、パタ
ンごとに特徴量を計算し、類似性の判定をしなければな
らない。また、画像を小区画に分割し、それぞれの特徴
量を求めるためには、多くの計算を必要とする。
【０００５】
【発明が解決しようとする課題】従来の顔方向認識方法
では、画像情報のパタン照合を行うため、計算コストが
高くなる問題があった。この発明の目的は、顔方向認識
のためのパタン照合をより効率よく計算することができ
る方法及びその装置を提供することにある。
では、画像情報のパタン照合を行うため、計算コストが
高くなる問題があった。この発明の目的は、顔方向認識
のためのパタン照合をより効率よく計算することができ
る方法及びその装置を提供することにある。
【０００６】
【課題を解決するための手段】この発明によれば、一対
のマイクロホンを用い、一対のマイクロホンを発声者と
対向する鉛直面に投影した時、互いにずれて位置するよ
うに配置し、これらマイクロホンの出力パワーの差を検
出し、その差により、上記鉛直面上の投影マイクロホン
位置を結ぶ直線上における何れの位置に発声者の顔が向
いているかを判別する。このマイクロホン出力の特定の
周波数帯域について、パワー差を検出する。一対のマイ
クロホンとして、左右方向と、上下方向の各一対を設け
ることにより、左右方向の何れか、上下方向の何れかに
顔が向いているかを検出する。
のマイクロホンを用い、一対のマイクロホンを発声者と
対向する鉛直面に投影した時、互いにずれて位置するよ
うに配置し、これらマイクロホンの出力パワーの差を検
出し、その差により、上記鉛直面上の投影マイクロホン
位置を結ぶ直線上における何れの位置に発声者の顔が向
いているかを判別する。このマイクロホン出力の特定の
周波数帯域について、パワー差を検出する。一対のマイ
クロホンとして、左右方向と、上下方向の各一対を設け
ることにより、左右方向の何れか、上下方向の何れかに
顔が向いているかを検出する。
【０００７】
【発明の実施の形態】図１にこの発明による顔方向認識
装置の実施例を示す。同図Ａに示すように発声者２００
の前面において、発声者２００の顔面２０１の鉛直方向
における方向を判別するために鉛直方向に並んで配置さ
れたマイクロホン２０２，２０３と、顔面２０１の水平
面における方向を判別するために水平方向に並んで配置
されたマイクロホン２０４，２０５とが設けられる。こ
の例では、マイクロホン２０２，２０３，２０４，２０
５は、発声者の前面と対向するほぼ鉛直な一つの面２０
６内に位置し、かつマイクロホン２０２と２０３との中
点と、マイクロホン２０４と２０５との中点とが一致
し、この中点２０７を通り、鉛直面２０６と垂直な線２
０８が、顔面２０１が鉛直面２０６と対向した状態の顔
面２０１の口唇部２０９を通るようにされている。つま
り、発声者２００の頭部正中を通る鉛直面（図１Ａの直
線２０８を通る鉛直面）上にマイクロホン２０２，２０
３を配し、その頭部正中・鉛直面の左右にマイクロホン
２０４，２０５を配する。また、各マイクロホン２０２
〜２０５は単一指向性で、その指向方向を口唇部２０９
に向け、対をなすマイクロホン２０２と２０３，２０４
と２０５はそれぞれ互いに同一特性のものである。
装置の実施例を示す。同図Ａに示すように発声者２００
の前面において、発声者２００の顔面２０１の鉛直方向
における方向を判別するために鉛直方向に並んで配置さ
れたマイクロホン２０２，２０３と、顔面２０１の水平
面における方向を判別するために水平方向に並んで配置
されたマイクロホン２０４，２０５とが設けられる。こ
の例では、マイクロホン２０２，２０３，２０４，２０
５は、発声者の前面と対向するほぼ鉛直な一つの面２０
６内に位置し、かつマイクロホン２０２と２０３との中
点と、マイクロホン２０４と２０５との中点とが一致
し、この中点２０７を通り、鉛直面２０６と垂直な線２
０８が、顔面２０１が鉛直面２０６と対向した状態の顔
面２０１の口唇部２０９を通るようにされている。つま
り、発声者２００の頭部正中を通る鉛直面（図１Ａの直
線２０８を通る鉛直面）上にマイクロホン２０２，２０
３を配し、その頭部正中・鉛直面の左右にマイクロホン
２０４，２０５を配する。また、各マイクロホン２０２
〜２０５は単一指向性で、その指向方向を口唇部２０９
に向け、対をなすマイクロホン２０２と２０３，２０４
と２０５はそれぞれ互いに同一特性のものである。
【０００８】一方の一対のマイクロホン２０２，２０３
からの音声は、図１Ｂに示すように特徴量分析器２１
０，２１１に入力される。特徴量分析器２１０，２１１
は、発声器官及び頭部の形状の影響で口唇部２０９から
マイクロホン２０２，２０３への方向の違いによる音声
の音響的変化を検出する。差分抽出器２１２は、特徴量
分析器２１０，２１１で検出された二つの特徴量の差を
算出する。判別分析器２１３は差分抽出器２１２の出力
から顔面２０１の鉛直面における方向（上下方向）を判
別する。
からの音声は、図１Ｂに示すように特徴量分析器２１
０，２１１に入力される。特徴量分析器２１０，２１１
は、発声器官及び頭部の形状の影響で口唇部２０９から
マイクロホン２０２，２０３への方向の違いによる音声
の音響的変化を検出する。差分抽出器２１２は、特徴量
分析器２１０，２１１で検出された二つの特徴量の差を
算出する。判別分析器２１３は差分抽出器２１２の出力
から顔面２０１の鉛直面における方向（上下方向）を判
別する。
【０００９】図に示していないが他方の一対のマイクロ
ホン２０４，２０５の捕捉音声もそれぞれ特徴量が検出
され、これら特徴量の差から顔面２０１の水平面におけ
る方向（左右方向）が判別される。図１Ｃにこの発明の
装置としての具体的実装例を示す。特徴量分析器２１
０，２１１としてそれぞれ音声パワーを抽出し、これら
音声パワーの差により顔面方向を判定する。つまり頭部
周囲の音圧は、水平面及び頭部正中・鉛直面の分布とも
顔正面に比べ後背部で数〜十数dB減衰する。よって前記
音声パワーの差により顔面方向を判定できる。
ホン２０４，２０５の捕捉音声もそれぞれ特徴量が検出
され、これら特徴量の差から顔面２０１の水平面におけ
る方向（左右方向）が判別される。図１Ｃにこの発明の
装置としての具体的実装例を示す。特徴量分析器２１
０，２１１としてそれぞれ音声パワーを抽出し、これら
音声パワーの差により顔面方向を判定する。つまり頭部
周囲の音圧は、水平面及び頭部正中・鉛直面の分布とも
顔正面に比べ後背部で数〜十数dB減衰する。よって前記
音声パワーの差により顔面方向を判定できる。
【００１０】この場合、音声パワーを比較するマイクロ
ホン同士の周波数特性が異なると、スペクトル包絡の変
化によってパワーに差が生じる。これを除くため、パワ
ーを比較する周波数領域を制限し、スペクトル包絡の変
化によるパワーの変動を抑える。特徴量分析器２１０，
２１１として周波数スペクトル分析器３０１，３０２を
用いる。これは、一定期間ごとに音声信号の強さを周波
数別に抽出するものである。一対の周波数分析器３０
１，３０２の出力は、差分抽出器２１２で入力の差分を
求めるかわりに、伝達関数を伝達関数算出器３０３で算
出する。伝達関数は、周波数スペクトル分析器３０１，
３０２の各分析周波数スペクトルをＰx(ｆ），Ｐy
（ｆ）とするときに次の式で求められる。
ホン同士の周波数特性が異なると、スペクトル包絡の変
化によってパワーに差が生じる。これを除くため、パワ
ーを比較する周波数領域を制限し、スペクトル包絡の変
化によるパワーの変動を抑える。特徴量分析器２１０，
２１１として周波数スペクトル分析器３０１，３０２を
用いる。これは、一定期間ごとに音声信号の強さを周波
数別に抽出するものである。一対の周波数分析器３０
１，３０２の出力は、差分抽出器２１２で入力の差分を
求めるかわりに、伝達関数を伝達関数算出器３０３で算
出する。伝達関数は、周波数スペクトル分析器３０１，
３０２の各分析周波数スペクトルをＰx(ｆ），Ｐy
（ｆ）とするときに次の式で求められる。
【００１１】Ｔxy（ｆ）＝Ｐxy（ｆ）／Ｐxx（ｆ） ただし、Ｐxx（ｆ）は周波数スペクトルをＰx （ｆ）の
自乗、Ｐxy（ｆ）は周波数スペクトルＰx （ｆ），Ｐy
（ｆ）の積である。差分抽出器の出力は、つまり伝達関
数算出器３０３の出力は判別分析器３０４で顔方向に変
換され、出力される。前記伝達関数は、一方のマイクロ
ホン、例えば２０２の出力を伝送路の入力とし、他方の
マイクロホン２０３の出力を伝送路の出力とする伝達関
数である。
自乗、Ｐxy（ｆ）は周波数スペクトルＰx （ｆ），Ｐy
（ｆ）の積である。差分抽出器の出力は、つまり伝達関
数算出器３０３の出力は判別分析器３０４で顔方向に変
換され、出力される。前記伝達関数は、一方のマイクロ
ホン、例えば２０２の出力を伝送路の入力とし、他方の
マイクロホン２０３の出力を伝送路の出力とする伝達関
数である。
【００１２】次に実験例を述べる。図２に示すように防
音室内で、机４０１に向かって座った発声者２００の顔
方向の検出にこの発明を適用した場合である。発声者２
００の頭部正中・鉛直面４０２上において、発声者２０
０の胸に全指向性のコレクトレットコンデンサマイクロ
ホン４０３を取付け、鉛直面４０２から左右に等距離は
なれて机４０１上に単一指向性のダイナミックマイクロ
ホン２０４，２０５を配置し、指向方向を発声者２００
の顔面に向けた。発声者２００の顔面を定めた方向に向
け、予め用意した文章を朗読させた。発声者２００とし
て男性１名、女性１名について、正面方向４０４，左マ
イク方向４０５，右マイク方向４０６，左右マイク対称
面で下方向４０７の４方向につき、各マイクロホン２０
４，２０５，４０３の出力を標本化周波数４８kHz でデ
ィジタルデータとして取込み、それぞれを周波数スペク
トル分析して、対となるマイクロホンのパワースペクト
ラム比を求めた。
音室内で、机４０１に向かって座った発声者２００の顔
方向の検出にこの発明を適用した場合である。発声者２
００の頭部正中・鉛直面４０２上において、発声者２０
０の胸に全指向性のコレクトレットコンデンサマイクロ
ホン４０３を取付け、鉛直面４０２から左右に等距離は
なれて机４０１上に単一指向性のダイナミックマイクロ
ホン２０４，２０５を配置し、指向方向を発声者２００
の顔面に向けた。発声者２００の顔面を定めた方向に向
け、予め用意した文章を朗読させた。発声者２００とし
て男性１名、女性１名について、正面方向４０４，左マ
イク方向４０５，右マイク方向４０６，左右マイク対称
面で下方向４０７の４方向につき、各マイクロホン２０
４，２０５，４０３の出力を標本化周波数４８kHz でデ
ィジタルデータとして取込み、それぞれを周波数スペク
トル分析して、対となるマイクロホンのパワースペクト
ラム比を求めた。
【００１３】正面方向４０４を向いて発声したときの、
左、右マイクロホン２０４，２０５の電力スペクトラム
比は図３Ａに示すように、２０kHz までほぼ平坦なもの
となっている。発声者２００が左方を向いたときの左、
右マイクロホン２０４，２０５のパワースペクトラム比
は図３Ｂに示すように、２０kHz 以上での減衰の他に１
３kHz，１７kHz 付近に減衰が生じている。この減衰は
発声者が正面を向いて同一の発声をしたときには生じて
ない。従って、マイクロホン２０４，２０５の出力音声
パワーの比の大きさにより、発声者２００が正面を向い
ているか、左を向いているかを判別することができる。
この場合、図３Ａ，Ｂの特に変化がある帯域、この例で
は１０kHz 〜２０kHz の成分だけを取り出せば、顔面の
向きによる音声パワー比の大きさの違いが一層大きくな
り、向きを正しく判別することができる。図に示してい
ないが、正面を向いているときと、右を向いているとき
とをマイクロホン２０４，２０５の出力音声パワー比の
大きさで判別することができる。
左、右マイクロホン２０４，２０５の電力スペクトラム
比は図３Ａに示すように、２０kHz までほぼ平坦なもの
となっている。発声者２００が左方を向いたときの左、
右マイクロホン２０４，２０５のパワースペクトラム比
は図３Ｂに示すように、２０kHz 以上での減衰の他に１
３kHz，１７kHz 付近に減衰が生じている。この減衰は
発声者が正面を向いて同一の発声をしたときには生じて
ない。従って、マイクロホン２０４，２０５の出力音声
パワーの比の大きさにより、発声者２００が正面を向い
ているか、左を向いているかを判別することができる。
この場合、図３Ａ，Ｂの特に変化がある帯域、この例で
は１０kHz 〜２０kHz の成分だけを取り出せば、顔面の
向きによる音声パワー比の大きさの違いが一層大きくな
り、向きを正しく判別することができる。図に示してい
ないが、正面を向いているときと、右を向いているとき
とをマイクロホン２０４，２０５の出力音声パワー比の
大きさで判別することができる。
【００１４】発声者２００が正面を向いたときの、中央
マイクロホン４０３のパワースペクトルに対する左側マ
イクロホン２０４のパワースペクトルの比は図３Ｃに示
すようになった。この場合は、マイクロホン２０４，４
０３の周波数特性が異なるため、１５kHz 以上の高域で
大きな連続した落ち込みが生じている。発声者２００が
下方を向いたときの、マイクロホン４０３のパワースペ
クトルに対するマイクロホン２０４のパワースペクトル
の比は図３Ｄに示すように左右マイクロホンの出力の比
較と同様に１３kHz 付近で落ち込みが生じ、つまり図３
Ｃに対し、周波数特性が平坦な部分でのパワースペクト
ル比にわずかな差が生じている。よって、この差の検出
により正面を向いているか、下方を向いているかの判別
をすることができる。この場合、マイクロホン２０４と
４０３の周波数特性の違いに基づく影響を避けるため、
この例では１０〜１５kHz 帯の成分のみを取り出して、
パワースペクトルの比の大きさを検出すればより誤りな
く、判別することができる。
マイクロホン４０３のパワースペクトルに対する左側マ
イクロホン２０４のパワースペクトルの比は図３Ｃに示
すようになった。この場合は、マイクロホン２０４，４
０３の周波数特性が異なるため、１５kHz 以上の高域で
大きな連続した落ち込みが生じている。発声者２００が
下方を向いたときの、マイクロホン４０３のパワースペ
クトルに対するマイクロホン２０４のパワースペクトル
の比は図３Ｄに示すように左右マイクロホンの出力の比
較と同様に１３kHz 付近で落ち込みが生じ、つまり図３
Ｃに対し、周波数特性が平坦な部分でのパワースペクト
ル比にわずかな差が生じている。よって、この差の検出
により正面を向いているか、下方を向いているかの判別
をすることができる。この場合、マイクロホン２０４と
４０３の周波数特性の違いに基づく影響を避けるため、
この例では１０〜１５kHz 帯の成分のみを取り出して、
パワースペクトルの比の大きさを検出すればより誤りな
く、判別することができる。
【００１５】以上の説明から理解されるように、マイク
ロホンとしては水平面内での左右に配列された少なくと
も２つのマイクロホンと、鉛直面内で上下方向に配列さ
れた少なくとも２つのマイクロホンとを設ければよく、
この際、水平面内での配列マイクロホンの１つと、鉛直
面内での配列マイクロホンの１つとを共用することがで
きる。
ロホンとしては水平面内での左右に配列された少なくと
も２つのマイクロホンと、鉛直面内で上下方向に配列さ
れた少なくとも２つのマイクロホンとを設ければよく、
この際、水平面内での配列マイクロホンの１つと、鉛直
面内での配列マイクロホンの１つとを共用することがで
きる。
【００１６】このように２対のマイクロホンを用いるこ
とにより、顔の向きが左右方向か上下方向かの判別を行
うことができ、従って右上、右下などの斜め方向も判別
できる。このように４方の方向の検出のみならず、一対
のマイクロホンを用いることにより、このマイクロホン
を、発声者と対向する鉛直面に投影した位置を結ぶ直線
上のどの位置に顔が向いているかを検出できる。つま
り、この発明は例えば左右方向の何れに向いているかの
検出のみに対しても適用できる。
とにより、顔の向きが左右方向か上下方向かの判別を行
うことができ、従って右上、右下などの斜め方向も判別
できる。このように４方の方向の検出のみならず、一対
のマイクロホンを用いることにより、このマイクロホン
を、発声者と対向する鉛直面に投影した位置を結ぶ直線
上のどの位置に顔が向いているかを検出できる。つま
り、この発明は例えば左右方向の何れに向いているかの
検出のみに対しても適用できる。
【００１７】使用するマイクロホンの向きは、雑音の影
響を避け、また信号音の受音レベルを大とする点から、
発声者の顔に向けた方がよいが必ずしもそのようにしな
くてもよい。また使用するマイクロホンは対をなすも
の、つまり音声パワー比乃至差をとるものは同一周波数
特性のものが好ましいが、これも必ずしも同一でなくて
もよい。
響を避け、また信号音の受音レベルを大とする点から、
発声者の顔に向けた方がよいが必ずしもそのようにしな
くてもよい。また使用するマイクロホンは対をなすも
の、つまり音声パワー比乃至差をとるものは同一周波数
特性のものが好ましいが、これも必ずしも同一でなくて
もよい。
【００１８】更に帯域制限をする場合に、上述では周波
数スペクトル分析を行った後、所要の成分を取り出した
が、マイクロホン出力を所要帯域を通過帯域とするフィ
ルタを通し、その出力の音声パワーを求めてもよい。ま
た顔面の正面、左向き、右向き、下向き、つまり正面に
対し、左、右、上、下の何れの方向に向いているかを判
別したが、同一の向きでも上記正面から大きく方向がず
れているほど、正面に向いた時との出力比に対する差が
大きくなるから、予めある角度範囲ごとに出力比の大き
さを記憶しておき、測定した電力比がどの範囲にあるか
に応じて、正面に対する向きの大きさも判別することが
できる。
数スペクトル分析を行った後、所要の成分を取り出した
が、マイクロホン出力を所要帯域を通過帯域とするフィ
ルタを通し、その出力の音声パワーを求めてもよい。ま
た顔面の正面、左向き、右向き、下向き、つまり正面に
対し、左、右、上、下の何れの方向に向いているかを判
別したが、同一の向きでも上記正面から大きく方向がず
れているほど、正面に向いた時との出力比に対する差が
大きくなるから、予めある角度範囲ごとに出力比の大き
さを記憶しておき、測定した電力比がどの範囲にあるか
に応じて、正面に対する向きの大きさも判別することが
できる。
【００１９】
【発明の効果】従来の顔方向認識方法では、画像パタン
認識を行うために多量の計算と参照パタンを用意する必
要があった。ところが、この発明を用いれば、音声信号
から特徴量を抽出し、判別分析を行うことで、認識に必
要な参照パタンや計算量そのものを削減でき、認識処理
を効率よく行うことができる。
認識を行うために多量の計算と参照パタンを用意する必
要があった。ところが、この発明を用いれば、音声信号
から特徴量を抽出し、判別分析を行うことで、認識に必
要な参照パタンや計算量そのものを削減でき、認識処理
を効率よく行うことができる。
【図１】Ａはこの発明の一実施例における対象顔面２０
１とマイクロホンの配置関係の例を示す図、Ｂは一対の
マイクロホンの出力の処理装置の例を示すブロック図、
Ｃはその具体的実装例を示すブロック図である。
１とマイクロホンの配置関係の例を示す図、Ｂは一対の
マイクロホンの出力の処理装置の例を示すブロック図、
Ｃはその具体的実装例を示すブロック図である。
【図２】この発明の実験例における発声者とマイクロホ
ンの配置、顔の向きの関係を示す斜視図。
ンの配置、顔の向きの関係を示す斜視図。
【図３】この発明の実験結果におけるパワースペクトラ
ム比の各種例を示す図。
ム比の各種例を示す図。
【図４】従来の顔方向認識方法を示す概念図。 参考文献 [1] James L. Flanagan. Speech Analysis Synthesis a
nd Perception. Splinger-Verlag, 1972.
nd Perception. Splinger-Verlag, 1972.
Claims (7)
- 【請求項１】 発声者の顔方向を認識する方法におい
て、 上記発声者の音声を捕捉する一対のマイクロホンを用
い、これらマイクロホンを、上記発声者と対向する鉛直
面に投影した位置が互いにずれるように配置し、 上記一対のマイクロホンの出力の音声パワーの差を求
め、 上記求めた音声パワー差により、上記鉛直面の上記投影
した一対のマイクロホン位置を結ぶ直線上の何れの位置
方向に上記発声者の顔が向いているかを判定することを
特徴とする顔方向認識方法。 - 【請求項２】 上記鉛直面の上記投影した一対のマイク
ロホン位置を結ぶ直線はほぼ水平線であり、 上記発声者の音声を捕捉する他の一対のマイクロホンを
用い、これら他の一対のマイクロホンを、上記発声者と
対向する鉛直面に投影した位置を結ぶ直線がほぼ鉛直線
であるように配置し、 上記他の一対のマイクロホンの出力の音声パワーの差を
求め、 上記求めた音声パワー差により、上記ほぼ鉛直線上の何
れの位置方向に上記発声者の顔が向いているかを判定す
ることを特徴とする請求項１記載の顔方向認識方法。 - 【請求項３】 上記一対のマイクロホンの一方と、上記
他の一対のマイクロホンの一方とは互いに共通のもので
あることを特徴とする請求項２記載の顔方向認識方法。 - 【請求項４】 上記音声パワーの差による顔方向の判定
は、特定の周波数における減衰に着目して行うことを特
徴とする請求項１乃至３の何れかに記載の顔方向認識方
法。 - 【請求項５】 上記音声パワーの差は、一対のマイクロ
ホンの一方の出力の周波数スペクトルＰｘ（ｆ）と他方
の出力の周波数スペクトルＰｙ（ｆ）の積を、Ｐｘ
（ｆ）の自乗で割算した値であることを特徴とする請求
項１乃至４の何れかに記載の顔方向認識方法。 - 【請求項６】 発声者の顔方向を認識する装置であっ
て、 上記発声者の音声を捕捉する一対のマイクロホンと、 上記一対のマイクロホンの出力から上記顔方向の違いに
よる音声の音響的変化を特徴量として検出する一対の特
徴量分析手段と、 これら一対の特徴量分析手段により検出された特徴量の
差分を求める差分抽出手段と、 上記差分抽出手段の抽出した差分に基づき、上記顔方向
を判別する判別分析手段とを具備する顔方向認識装置。 - 【請求項７】 上記一対の特徴量の検出を予め決められ
た周波数帯域に制限する手段を有することを特徴とする
請求項６記載の顔方向認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9047866A JPH10243494A (ja) | 1997-03-03 | 1997-03-03 | 顔方向認識方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9047866A JPH10243494A (ja) | 1997-03-03 | 1997-03-03 | 顔方向認識方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10243494A true JPH10243494A (ja) | 1998-09-11 |
Family
ID=12787307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9047866A Pending JPH10243494A (ja) | 1997-03-03 | 1997-03-03 | 顔方向認識方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10243494A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010103617A (ja) * | 2008-10-21 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| JP2010124447A (ja) * | 2008-10-21 | 2010-06-03 | Nippon Telegr & Teleph Corp <Ntt> | 発話正面・横向き推定装置、方法及びプログラム |
| JP2010206393A (ja) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| JP2010206449A (ja) * | 2009-03-03 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| JP2010206392A (ja) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| US7995768B2 (en) | 2005-01-27 | 2011-08-09 | Yamaha Corporation | Sound reinforcement system |
| JP2017021812A (ja) * | 2011-06-10 | 2017-01-26 | アマゾン・テクノロジーズ、インコーポレイテッド | ビデオにおける改良型の顔面認識 |
| US10531189B2 (en) | 2018-05-11 | 2020-01-07 | Fujitsu Limited | Method for utterance direction determination, apparatus for utterance direction determination, non-transitory computer-readable storage medium for storing program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6473272A (en) * | 1987-09-16 | 1989-03-17 | Toshiba Corp | Sound source locator |
| JPS6455793U (ja) * | 1987-10-02 | 1989-04-06 | ||
| JPH05288598A (ja) * | 1992-04-10 | 1993-11-02 | Ono Sokki Co Ltd | 三次元音響強度計測装置 |
-
1997
- 1997-03-03 JP JP9047866A patent/JPH10243494A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6473272A (en) * | 1987-09-16 | 1989-03-17 | Toshiba Corp | Sound source locator |
| JPS6455793U (ja) * | 1987-10-02 | 1989-04-06 | ||
| JPH05288598A (ja) * | 1992-04-10 | 1993-11-02 | Ono Sokki Co Ltd | 三次元音響強度計測装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7995768B2 (en) | 2005-01-27 | 2011-08-09 | Yamaha Corporation | Sound reinforcement system |
| JP2010103617A (ja) * | 2008-10-21 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| JP2010124447A (ja) * | 2008-10-21 | 2010-06-03 | Nippon Telegr & Teleph Corp <Ntt> | 発話正面・横向き推定装置、方法及びプログラム |
| JP2010206393A (ja) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| JP2010206392A (ja) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| JP2010206449A (ja) * | 2009-03-03 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 発話向き推定装置、方法及びプログラム |
| JP2017021812A (ja) * | 2011-06-10 | 2017-01-26 | アマゾン・テクノロジーズ、インコーポレイテッド | ビデオにおける改良型の顔面認識 |
| US10531189B2 (en) | 2018-05-11 | 2020-01-07 | Fujitsu Limited | Method for utterance direction determination, apparatus for utterance direction determination, non-transitory computer-readable storage medium for storing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9595259B2 (en) | Sound source-separating device and sound source-separating method | |
| CN108305615B (zh) | 一种对象识别方法及其设备、存储介质、终端 | |
| US8107321B2 (en) | Joint position-pitch estimation of acoustic sources for their tracking and separation | |
| JP4516527B2 (ja) | 音声認識装置 | |
| JP6467736B2 (ja) | 音源位置推定装置、音源位置推定方法および音源位置推定プログラム | |
| Tesch et al. | Multi-channel speech separation using spatially selective deep non-linear filters | |
| US20130272548A1 (en) | Object recognition using multi-modal matching scheme | |
| WO2025035975A1 (zh) | 语音增强网络的训练方法、语音增强方法及电子设备 | |
| EP2881948A1 (en) | Spectral comb voice activity detection | |
| CN102388416A (zh) | 信号处理装置及信号处理方法 | |
| Bub et al. | Knowing who to listen to in speech recognition: Visually guided beamforming | |
| JP2008236077A (ja) | 目的音抽出装置，目的音抽出プログラム | |
| JP4816711B2 (ja) | 通話音声処理装置および通話音声処理方法 | |
| CN109997186B (zh) | 一种用于分类声环境的设备和方法 | |
| JPH10243494A (ja) | 顔方向認識方法及び装置 | |
| CN121054020A (zh) | 一种音频数据处理方法、装置及电子设备 | |
| US20150039314A1 (en) | Speech recognition method and apparatus based on sound mapping | |
| WO2020250828A1 (ja) | 発話区間検出装置、発話区間検出方法、および発話区間検出プログラム | |
| Nakadai et al. | Exploiting auditory fovea in humanoid-human interaction | |
| US20050004792A1 (en) | Speech characteristic extraction method speech charateristic extraction device speech recognition method and speech recognition device | |
| KR101863098B1 (ko) | 음성 인식 장치 및 방법 | |
| Venkatesan et al. | Analysis of monaural and binaural statistical properties for the estimation of distance of a target speaker | |
| CN112530452A (zh) | 一种后置滤波补偿方法、装置和系统 | |
| JPH04324499A (ja) | 音声認識装置 | |
| Okuno et al. | Separating three simultaneous speeches with two microphones by integrating auditory and visual processing. |