JP7010136B2 - 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置 - Google Patents

発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置 Download PDF

Info

Publication number
JP7010136B2
JP7010136B2 JP2018091943A JP2018091943A JP7010136B2 JP 7010136 B2 JP7010136 B2 JP 7010136B2 JP 2018091943 A JP2018091943 A JP 2018091943A JP 2018091943 A JP2018091943 A JP 2018091943A JP 7010136 B2 JP7010136 B2 JP 7010136B2
Authority
JP
Japan
Prior art keywords
phase difference
vocalization
frequency
degree
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018091943A
Other languages
English (en)
Other versions
JP2019197179A (ja
Inventor
智佳子 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018091943A priority Critical patent/JP7010136B2/ja
Priority to US16/367,417 priority patent/US10531189B2/en
Publication of JP2019197179A publication Critical patent/JP2019197179A/ja
Application granted granted Critical
Publication of JP7010136B2 publication Critical patent/JP7010136B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic or infrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、発声方向判定プログラム、発声方向判定方法及び発声方向判定装置に関する。
スマートスピーカ等の音声操作装置の普及によって、発声する前に、特別な操作を行うことなく、例えば、ボタンなどを押下することなく、アプリの起動、及び情報検索等を音声で行う機会が増加している。スマートスピーカ等に対しては、音声入力の開始を示すためにボタンなどを押下することなく、発声を行うことが一般的であるため、意図しない発声によって、音声操作装置がユーザの意図しない動作を行う場合がある。
音声操作装置がユーザの意図しない動作を行わないように、例えば、ユーザがマイクロフォン（以下、マイクという。）に向かって発声しているか否か判定する技術が存在する。当該技術では、例えば、ユーザを撮影した画像データが使用されるが、この場合、画像データを撮影するためにカメラを設置する必要があるため、コストが増大し、システムが複雑化する。また、画像データの撮影には抵抗を感じるユーザも多い。
特開平１０－２４３４９４号公報 特開２０１６－１８１７８９号公報 特許５３８７４５９号公報
画像データを使用せず、音声データに基づいて、ユーザがマイクに向かって発声しているか否かを判断する技術が存在する。当該技術では、一対のマイクの出力の周波数スペクトルを分析し、１０～２０［ｋＨｚ］帯の音声信号のパワー比に基づいて、ユーザがマイクに向かって発声しているか否か判定する。
当該技術では、ユーザが２つのマイクの中間位置に存在することを前提としている。したがって、ユーザが移動すると、ユーザの向きを適切に判定することができない。音声の遅延量に基づいてユーザの位置を推定することはできるが、ユーザの移動に伴う補正係数の算出は、ある程度の範囲の位置及び角度を網羅しなければならず、負荷が大きい。
本発明は、１つの側面として、ユーザとマイクとの位置関係が変化する場合でも、マイクで取得される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを判定することを可能とすることを目的とする。
１つの実施形態では、１フレーム毎に、第１周波数信号と第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、所定周波数毎の位相差が発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する。第１周波数信号は、第１音声入力部に入力された第１音声信号に対応し、第２周波数信号は、第２音声入力部に入力された第２音声信号に対応する。複数フレーム分の第１位相差外れ度合から複数フレームの統計値である第２位相差外れ度合を算出し、第２位相差外れ度合が第１閾値以下である場合、ユーザが第１音声入力部及び第２音声入力部に向かって発声していると判定する。
本発明は、１つの側面として、ユーザとマイクとの位置関係が変化する場合でも、マイクで取得される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを判定することを可能とする。
第１～第４実施形態に係る発声方向判定装置の要部機能の一例を示すブロック図である。 発声方向領域の決定を説明するための位相差と周波数との関係を例示する概念図である。 発声方向領域の決定を説明するための位相差と周波数との関係を例示する概念図である。 発声方向領域の決定を説明するための位相差と周波数との関係を例示する概念図である。 位相差外れ度合の算出を説明するための位相差と周波数との関係を例示する概念図である。 位相差外れ度合及び位相差外れ度合時間平均値と時間との関係を例示する概念図である。 マイクに対するユーザの顔の向きを例示する概念図である。 マイクに対するユーザの顔の向きを例示する概念図である。 マイクに対するユーザの顔の向きを例示する概念図である。 位相差と周波数との関係を例示する概念図である。 位相差と周波数との関係を例示する概念図である。 位相差と周波数との関係を例示する概念図である。 位相差外れ度合時間平均値と閾値との関係を例示する概念図である。 第１～第４実施形態に係る発声方向判定装置のハードウェアの構成の一例を示すブロック図である。 発声方向判定装置を含む環境を示す概念図である。 第１実施形態に係る発声方向判定処理の流れの一例を示すフローチャートである。 第１及び第２実施形態に係る位相差外れ度合算出処理の流れの一例を示すフローチャートである。 マイクに対するユーザの位置及び顔の向きを例示する概念図である。 マイクに対するユーザの位置及び顔の向きを例示する概念図である。 閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。 閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。 位相差外れ度合時間平均値と閾値との関係を例示する概念図である。 閾値と発声方向との関係を例示する概念図である。 閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。 閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。 閾値の設定を説明するための位相差外れ度合時間平均値と時間との関係を例示する概念図である。 閾値の設定を説明するための位相差外れ度合時間平均値と時間との関係を例示する概念図である。 第２実施形態に係る発声方向判定処理の流れの一例を示すフローチャートである。 第３実施形態に係る位相差外れ度合算出処理の流れの一例を示すフローチャートである。 第４実施形態に係る位相差外れ度合算出処理の流れの一例を示すフローチャートである。 本実施形態の検証結果を例示する表である。 本実施形態の検証を説明するための概念図である。 本実施形態の検証を説明するための概念図である。
［第１実施形態］
以下、図面を参照して第１実施形態の一例を詳細に説明する。
図１に示す発声方向判定装置１０は、音声入力部２１Ａ及び２１Ｂ、時間周波数変換部２２、発声方向領域決定部２４、位相差外れ算出部２５、位相差外れ時間平均値算出部２６、及び発声方向判定部２７を含む。音声入力部２１Ａ及び２１Ｂは、音声を検出し、検出した音声を音声信号に変換する。以下、音声入力部が２個である場合について説明するが、本実施形態はこれに限定されず、音声入力部が３個以上含まれていてもよい。
時間周波数変換部２２は、音声信号に対して時間周波数変換を行う。時間周波数変換部２２は、例えば、ＦＦＴ（Fast Fourier Transformation）を使用して、時間に応じて振幅が変化する音声信号ＩＮＴＡ及びＩＮＴＢを周波数に応じて振幅が変化する周波数信号ＩＮＦＡ及びＩＮＦＢに変換する。発声方向領域決定部２４は、ユーザが発声している方向であると推定される方向を含む領域である発声方向領域を決定する。
発声方向領域決定部２４は、まず、発声方向を推定する。図２は、周波数信号ＩＮＦＡ及びＩＮＦＢの周波数ビン毎の位相差と周波数との関係を例示する。図２の縦軸は、位相差[ｒａｄ]を表わし、横軸は周波数ビン番号を表す。周波数ビン番号の最大値はＦＦＴサイズ／２である。ＦＦＴサイズは、時間周波数変換にＦＦＴが使用されている場合の１フレームあたりのポイント数である。
発声方向は、例えば、図２に例示するように、周波数ビン番号０及び位相差０［ｒａｄ］の点（０，０）から周波数ビン番号ＦＦＴサイズ／２及び位相差ｐ[ｒａｄ]の点(ＦＦＴサイズ／２，ｐ)までの直線で表される。位相差ｐ［ｒａｄ］は、周波数ビン番号ＦＦＴサイズ／２における発声方向位相差の値である。
発声方向位相差ｐ［ｒａｄ］は、例えば、周波数ビン毎に、位相差×サンプリング周波数／（２×周波数ビン）を算出して加算し、ＦＦＴサイズ／２で除算することで算出される。図２の例では、サンプリング周波数＝２２，０５０［Ｈｚ］であり、発声方向位相差ｐ＝１．８６［ｒａｄ］である。
発声方向領域決定部２４は、図３Ａに例示するように、直線７１Ａ及び７１Ｂで囲まれた領域を発声方向領域として決定する。直線７１Ａは、周波数ビン番号０及び位相差０［ｒａｄ］の点（０，０）から周波数ビン番号ＦＦＴサイズ／２及び位相差ｐ＋αの点（ＦＦＴサイズ／２,ｐ＋α）までの直線である。直線７１Ｂは、周波数ビン番号０及び位相差０［ｒａｄ］の点（０，０）から周波数ビン番号ＦＦＴサイズ／２及び位相差ｐ－αの点（ＦＦＴサイズ／２,ｐ－α）までの直線である。αは、例えば、１．０［ｒａｄ］であってよい。
図３Ａは、発声方向位相差ｐが０［ｒａｄ］である例であり、図３Ｂは、発声方向位相差ｐが１．８６［ｒａｄ］である例である。なお、例えば、予め分割された位相差の領域を複数用意し、位相差を用いて各領域に音源が存在する率を算出し、領域を選別することで、発声方向及び発声方向領域を同時に決定するようにしてもよい。
位相差外れ算出部２５は、第１位相差外れ算出部の一例であり、フレーム毎の位相差外れ度合を算出する。位相差外れ度合は第１位相差外れ度合の一例である。１フレームの長さは、例えば、約１０［ｍｓ］であってよい。フレーム毎の位相差外れ度合Ｄｆｎは、例えば、以下の（１）式で算出される。なお、以下で、フレーム番号を限定しない場合、位相差外れ度合をＤで表す。

Figure 0007010136000001
ＦＲは、最大周波数ビン番号であり、時間周波数変換がＦＦＴで行われる場合、ＦＦＴサイズ／２である。個別位相差外れ度合Δｄｆｒは、図４Ａに例示するように、周波数ビン番号ｆｒで、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域８１Ｒから外れている度合、即ち、発声方向領域８１Ｒの端部と位相差との縦軸方向の距離である。なお、図４Ａはｐ＝０、α＝１の例であり、発声方向領域８１Ｒは点（０，０）、点（ＦＦＴサイズ／２,１）、点（ＦＦＴサイズ／２,－１）で囲まれた領域である。
なお、以下で、周波数ビン番号を限定しない場合、個別位相差外れ度合をΔｄで表す。周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域８１Ｒ内に存在する場合、Δｄを０とする。
位相差外れ算出部２５は、個別位相差外れ度合Δｄｆｒを周波数ビンｆｒ毎に算出し、１フレーム内の個別位相差外れ度合Δｄの平均値である位相差外れ度合Ｄｆｎをフレーム毎に算出する。ｆｎはフレーム番号を表す。なお、位相差外れ度合Ｄｆｎは、単に、１フレーム内の個別位相差外れ度合Δｄを合計した値でもよい。
位相差外れ時間平均値算出部２６は、第２位相差外れ算出部の一例であり、位相差外れ度合Ｄの所定数フレーム毎の平均値である位相差外れ度合時間平均値ＡＤｆｎを算出する。位相差外れ度合時間平均値ＡＤｆｎは、第２位相差外れ度合の一例であり、以下の（２）式で算出される。ｆｃは、所定数フレームの個数であり、例えば、１０であってよい。ＡＤｆｎは、フレーム番号ｆｎから過去ｆｃフレーム分の位相差外れ度合Ｄの平均値である。なお、以下で、フレーム番号を限定しない場合、位相差外れ度合時間平均値をＡＤで表す。
Figure 0007010136000002
図４Ｂは、位相差外れ度合Ｄと時間との関係及び位相差外れ度合時間平均値ＡＤと時間との関係を例示する。図４Ｂの縦軸は、位相差外れ度合Ｄまたは位相差外れ度合時間平均値ＡＤを表し、横軸は時間、即ち、フレーム番号ｆｎを表す。図４Ｂにおいて、位相差外れ度合Ｄは棒８２Ｄで表され、位相差外れ度合時間平均値ＡＤは線８２ＡＤで表される。
発声方向判定部２７は、ユーザが音声入力部２１Ａ及び２１Ｂに向かって発声しているか否か、を判定する。即ち、発声方向判定部２７は、発声しているユーザの顔、詳細には、ユーザの口がマイクロフォン（以下、マイクという。）５５Ａ及び５５Ｂに向けられているか、発声しているユーザの顔がマイク５５Ａ及び５５Ｂに向けられていないか、を判定する。マイク５５Ａ及び５５Ｂは、音声入力部２１Ａ及び２１Ｂの一例である。以下、マイク５５Ａ及び５５Ｂを区別しない場合、マイク５５という。図５Ａは、ユーザの顔がマイク５５に向けられている例であり、図５Ｂ及び図５Ｃは、ユーザの顔がマイク５５に向けられていない例である。
図５Ａに例示するように、マイク５５Ａ及びマイク５５Ｂは、発声方向判定装置１０に所定の間隔を空けて配置される。ユーザの顔がマイク５５に向かっている、とは、詳細には、ユーザの顔がマイク５５Ａ及び５５Ｂの中間位置を中心とする所定範囲の領域に向けられている、ことを示す。
発声方向判定部２７は、位相差外れ度合時間平均値ＡＤが所定閾値以下である場合、ユーザがマイク５５に向かって発声していると判定する。所定閾値は、第１閾値の一例であり、例えば、０．６［ｒａｄ］であってよいが、本実施形態はこれに限定されない。
図６Ａは、図５Ａに例示するように、ユーザがマイク５５に向かって発声している場合の周波数信号ＩＮＦＡ及びＩＮＦＢの周波数ビン毎の位相差と周波数との関係を例示する。但し、図６Ａでは、特徴を顕著に表すために、複数フレームの周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を重畳している。また、図６Ａ、図６Ｂ、及び図６Ｃの発声方向領域８３は、図４Ａの発声方向領域８１Ｒと同様の例である。
図６Ｂは、図５Ｂに例示するように、ユーザがマイク５５に向かわず、マイク５５の左側に向かって発声している場合の位相差と周波数との関係を例示する。図６Ｃは、図５Ｃに例示するように、ユーザがマイク５５に向かわず、ユーザの右手方向に向かって発声している場合の周波数信号ＩＮＦＡ及びＩＮＦＢの周波数ビン毎の位相差と周波数との関係を例示する。
図６Ａと比較して、図６Ｂ及び図６Ｃでは、発声方向領域８３から外れている、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が多い。即ち、図５Ｂ及び図５Ｃに例示するように、ユーザがマイク５５に向かわずに発声している場合、図５Ａに例示するように、ユーザがマイク５５に向かって発声している場合よりも、位相差外れ度合時間平均値ＡＤは大きい。
図７に、図６Ａ、図６Ｂ及び図６Ｃに各々対応する位相差外れ度合時間平均値８４Ｃ、８４Ｌ及び８４Ｒ、を例示する。図７に例示されるように、図６Ａに対応する位相差外れ度合時間平均値８４Ｃと、図６Ｂ及び図６Ｃに対応する位相差外れ度合時間平均値８４Ｌ及び８４Ｒと、は全体的に大きさが異なる。即ち、位相差外れ度合時間平均値が所定閾値８４Ｔ以下であるか否か判定することで、ユーザの顔の向きを判定することができる。
マイクに対するユーザの位置が変化しない場合、ユーザがマイクに向かって発声すると反射音が直接音より少なく、ユーザがマイクに向かわず発声すると反射音が直接音より多い。即ち、ユーザがマイクに向かわず発声すると、マイクに検出される反射音が多くなるため、比較的大きい個別位相差外れ度合が多く出現し、位相差外れ度合時間平均値が大きくなる。したがって、位相差外れ度合時間平均値が所定閾値以下である場合、ユーザがマイクに向かって発声していると判定することができる。
発声方向判定装置１０は、一例として、図８Ａに示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４は、バス５９を介して相互に接続されている。
一次記憶部５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、発声方向判定プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、音声信号及び発声方向判定プログラムを実行している間に生成される中間データなどを記憶する。
ＣＰＵ５１は、プログラム格納領域５３Ａから発声方向判定プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、発声方向判定プログラムを実行することで、図１の時間周波数変換部２２、発声方向領域決定部２４、位相差外れ算出部２５、位相差外れ時間平均値算出部２６、及び発声方向判定部２７として動作する。
なお、発声方向判定プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、発声方向判定プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。
外部インターフェイス５４には外部装置が接続され、外部インターフェイス５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。外部インターフェイス５４には、マイク５５Ａ及び５５Ｂ、及びスピーカ５６が接続されている。マイク５５Ａ及び５５Ｂ、及びスピーカ５６は、外部装置であることに限定されず、発声方向判定装置１０に内蔵されていてもよい。
マイク５５Ａ及び５５Ｂは、音声入力部２１Ａ及び２１Ｂの一例であり、ユーザが発話した音声を検出し、音声信号に変換する。スピーカ５６は、例えば、発声方向判定装置１０が出力する発声方向判定結果を音声で報知する。
発声方向判定装置１０は、例えば、スマートスピーカなどの音声操作装置に内蔵されていてもよいし、図８Ｂに例示するように、音声操作装置６１に近接して配置されていてもよい。図８Ｂは、音声操作装置６１の上面に発声方向判定装置１０を配置した例であるが、例えば、音声操作装置６１の前面に発声方向判定装置１０を配置してもよい。音声操作装置６１に近接して配置されている場合、発声方向判定装置１０と音声操作装置６１とは有線または無線で接続される。
次に、発声方向判定処理の作用の概要について説明する。図９は、発声方向判定処理の流れを例示する。ＣＰＵ５１は、ステップ１０１で、マイク５５Ａ及びマイク５５Ｂで検出された音声に対応する音声信号ＩＮＴＡ及びＩＮＴＢを各々１フレーム分読み込む。
ＣＰＵ５１は、ステップ１０２で、読み込まれた音声信号ＩＮＴＡ及びＩＮＴＢを、周波数信号ＩＮＦＡ及びＩＮＦＢに各々時間周波数変換する。ここでは、時間周波数変換が、ＦＦＴで行われる例について説明する。ＣＰＵ５１は、ステップ１０３で、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を算出する。
ＣＰＵ５１は、ステップ１０４で、発声方向領域を決定する。ＣＰＵ５１は、ステップ１０５で、後述するように、位相差外れ度合平均値を算出する。ＣＰＵ５１は、ステップ１０６で、ステップ１０１で読み込んだフレームの数が所定フレーム数Ｍを超えたか否か判定する。ステップ１０６の判定が否定された場合、即ち、ステップ１０１で読み込んだフレームの数が所定フレーム数Ｍを超えていない場合、ＣＰＵ５１は、ステップ１０１に戻る。
ステップ１０６の判定が肯定された場合、即ち、ステップ１０１で読み込んだフレームの数が所定フレーム数Ｍを超えている場合、ＣＰＵ５１は、ステップ１０７で、位相差外れ度合時間平均値を算出する。ＣＰＵ５１は、ステップ１０８で、位相差外れ度合時間平均値が所定閾値以下であるか否か判定する。
ステップ１０８の判定が肯定された場合、即ち、位相差外れ度合時間平均値が所定閾値以下である場合、ＣＰＵ５１は、ステップ１０９で、ユーザの顔がマイクに向けられていると判定し、例えば、発声方向判定フラグに「１」をセットする。ステップ１０８の判定が否定された場合、即ち、位相差外れ度合時間平均値が所定閾値を超えている場合、ＣＰＵ５１は、ステップ１１０で、ユーザの顔がマイクに向けられていないと判定し、例えば、発声方向判定フラグに「０」をセットする。発声方向判定フラグは、図８Ａの二次記憶部５３のデータ格納領域５３Ｂに含まれていてもよい
ＣＰＵ５１は、ステップ１１１で、例えば、所定のボタンが押下されるなど、ユーザによって発声方向判定処理の終了指示が行われたか否か判定する。ステップ１１１の判定が否定された場合、ＣＰＵ５１はステップ１０１に戻る。
ステップ１１１の判定が肯定された場合、ＣＰＵ５１は、発声方向判定フラグの値に基づいて、判定結果を示す信号を出力して発声方向判定処理を終了する。判定結果を示す信号は、例えば、スマートスピーカなどの音声操作装置６１に入力される。音声操作装置６１は、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザの発声にしたがって作動し、判定結果が、ユーザの顔がマイクに向けられていないことを示す場合、ユーザの発声を無視する。
即ち、ユーザがマイクに顔を向けて発声していると判定された場合に音声を受け付け、ユーザがマイクに顔を向けていないと判定された場合に音声を受け付けないことが可能となるため、ユーザが意図しない誤認識、誤動作を低減することが可能となる。
判定結果を示す信号は、例えば、テレビ会議システムに入力されてもよい。テレビ会議システムは、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザの発言を他の出席者に送信し、判定結果が、ユーザの顔がマイクに向けられていないことを示す場合、ユーザの発声を無視する。
判定結果を示す信号は、例えば、音声認識装置に入力されてもよい。音声認識装置は、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザの発声の音声認識を行い、判定結果が、ユーザの顔がマイクに向けられていないことを示す場合、ユーザの発声を無視する。
判定結果を示す信号は、例えば、安全確認システムに入力されてもよい。安全確認システムは、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザが安全であると判定する。安全確認システムは、例えば、判定結果が、所定時間の間、ユーザの顔がマイクに向けられていないことを示す場合、ユーザに対して、マイクに向かって発声するように、スピーカ５６、または、文字または画像を出力する画像出力装置を介して報知してもよい。
図１０は、図９のステップ１０５の位相差外れ度合算出処理の流れを例示する。ＣＰＵ５１は、ステップ２０１で、個別位相差外れ度合合計値を記憶するΔｄ合計及び周波数ビン数をカウントする変数ｉに０をセットする。ＣＰＵ５１は、ステップ２０２で、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域から外れている度合である個別位相差外れ度合Δｄを周波数ビン番号ｉ毎に算出する。周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域内に存在する場合、Δｄ＝０とする。
ＣＰＵ５１は、ステップ２０３で、Δｄ合計の値にΔｄの値を加算し、変数ｉの値に１を加算する。ＣＰＵ５１は、ステップ２０４で、変数ｉの値が最大周波数ビン番号、即ち、ＦＦＴサイズ／２未満であるか否か判定する。ステップ２０４の判定が肯定された場合、即ち、変数ｉの値がＦＦＴサイズ／２未満である場合、ＣＰＵ５１は、ステップ２０２に戻る。ステップ２０４の判定が否定された場合、即ち、変数ｉの値がＦＦＴサイズ／２以上である場合、ＣＰＵ５１は、ステップ２０５で、Δｄ合計の値を変数ｉの値で除算し、位相差外れ度合平均値を算出する。
なお、ステップ１０８では、Ｍフレーム分の位相差外れ度合から算出される位相差外れ度合時間平均値に基づいて、ユーザがマイクに向かって発声しているか否か判定している。しかしながら、ステップ１０８の判定を複数回繰り返し、位相差外れ度合時間平均値が所定閾値以下であると判定された回数が所定数を超える場合に、ユーザがマイクに向かって発声していると判定してもよい。また、ステップ１０８の判定を複数回繰り返し、位相差外れ度合時間平均値が所定閾値以下であると判定された回数が所定の割合を超える場合に、ユーザがマイクに向かって発声していると判定してもよい。また、Ｍフレーム分の位相差外れ度合から算出される位相差外れ度合時間平均値に代えて、例えば、Ｍフレーム分の位相差外れ度合から算出される個別位相差外れ度合中央値などの個別位相差外れ度合の統計値を使用してもよい。
本実施形態では、１フレーム毎に、第１周波数信号と第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、所定周波数毎の位相差が発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する。第１周波数信号は、第１音声入力部に入力された第１音声信号に対応し、第２周波数信号は、第２音声入力部に入力された第２音声信号に対応する。複数フレーム分の第１位相差外れ度合から複数フレームの統計値である第２位相差外れ度合を算出し、第２位相差外れ度合が第１閾値以下である場合、ユーザが第１音声入力部及び第２音声入力部に向かって発声していると判定する。
これにより、ユーザとマイクとの位置関係が変化した場合でも、マイクで検出される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを判定することができる。
［第２実施形態］
次に、第２実施形態の一例を説明する。第１実施形態と同様の構成及び作用については、説明を省略する。第２実施形態では、推定される発声方向に基づいて、閾値を設定する点で、第１実施形態と異なる。
図１１Ａに例示するように、ユーザがマイク５５の正面からユーザの右手方向にずれて位置し、マイク５５に顔を向けて発声する場合の位相差と周波数との関係を、図１２Ａに例示する。図１１Ｂに例示するように、ユーザがマイク５５の正面からユーザの右手方向にずれて位置し、さらに、顔を右側に向けて、即ち、マイク５５に向かわないで発声する場合の位相差と周波数との関係を、図１２Ｂに例示する。
ユーザがマイク５５の正面に位置する場合の図６Ａ及び図６Ｃと比較して、図１２Ａ及び図１２Ｂでは、発声方向領域から外れている周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が多く、個別位相差外れ度合も大きい。
図１３に、位相差外れ度合時間平均値と時間との関係を表すグラフを例示する。線８５Ｒは、図１１Ｂに例示するように、ユーザの顔がマイク５５に向けられていない場合の位相差外れ度合時間平均値を表す。また、線８５Ｃは、図１１Ａに例示するように、ユーザの顔がマイク５５に向けられている場合の位相差外れ度合時間平均値を表す。
線８５Ｒは、図７の線８４Ｒよりも全体的に大きい値を表し、線８５Ｃは、図７の線８４Ｃよりも全体的に大きい値を表す。したがって、図７の閾値８４Ｔより大きい閾値を使用することで、線８５Ｒと線８５Ｃとを適切に区別する、即ち、ユーザの顔の向きを判定する、ことが可能となる。
図１４に、閾値とユーザの位置との関係を表すグラフを例示する。図１４の縦軸は閾値［ｒａｄ］を表し、横軸はユーザの位置である発声方向を表す。ユーザがマイク５５の正面に位置する場合、発声方向は０で表される。発声方向は、ユーザがマイク５５の正面からユーザの右手方向または左手方向に向かって遠ざかる程大きい値で表される。即ち、閾値は、ユーザの位置がマイクの正面から右手方向または左手方向に向かって遠ざかる程、大きい値に設定される。
例えば、閾値は（３）式で算出される。
閾値＝調整値×ｐ＋基本閾値 …（３）
基本閾値は、図１４において、ユーザがマイク５５の正面に位置する場合、即ち、発声方向が０の場合の閾値であり、調整値は、図１４の閾値を表す線の傾きである。
例えば、調整値が０．２５、基本閾値が０．６［ｒａｄ］であり、図１５Ａに例示するように、発声方向位相差ｐ＝０．０である場合、即ち、ユーザがマイク５５の正面に位置する場合、閾値は０．６（＝０．２５×０．０＋０．６）［ｒａｄ］である。即ち、図１６Ａに例示するように、閾値８６Ｔは０．６に設定され、線８６Ｒ及び線８６Ｌと、線８６Ｃで例示するユーザが顔をマイクに向けている場合の位相差外れ度合時間平均値と、を区別する。線８６Ｒは、ユーザが顔を右に向けている場合の位相差外れ度合時間平均値を例示し、線８６Ｌは、ユーザが顔を左に向けている場合の位相差外れ度合時間平均値を例示する。
例えば、調整値が０．２５、基本閾値が０．６［ｒａｄ］であり、図１５Ｂに例示するように、発声方向位相差ｐ＝１．６である場合、即ち、ユーザがマイク５５の正面からユーザの右手方向にずれて位置する場合、閾値は１．０（＝０．２５×１．６＋０．６）である。図１６Ｂに例示するように、閾値６４Ｔは、閾値１．０に設定され、線６４Ｒで例示するユーザが顔を右に向けている場合の位相差外れ度合時間平均値と、線６４Ｃで例示するユーザが顔をマイクに向けている場合の位相差外れ度合時間平均値と、を区別する。
図１７は、第２実施形態の発声方向判定処理の流れを例示する。ステップ１２１～ステップ１２７は、図９のステップ１０１～１０７と同様であるため、説明を省略する。ＣＰＵ５１は、ステップ１２８で、例えば、（３）式を使用して、閾値を設定する。ステップ１２９は、ステップ１２８で設定した閾値を使用して、位相差外れ度合時間平均値が閾値を超えるか否か判定する。ステップ１３０～ステップ１３３は、図９のステップ１０９～ステップ１１２と同様であるため、説明を省略する。
第２実施形態では、周波数ビン毎の位相差に基づいて、ユーザがマイクの正面に位置する場合の発声方向位相差と、ユーザがマイクの正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、閾値を設定する。
これにより、ユーザがマイクの正面からずれて位置することによる、位相差外れ度合時間平均値の増大を吸収することができる。したがって、ユーザとマイクとの位置関係が変化した場合でも、マイクで取得された音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを適切に判定することができる。
［第３実施形態］
次に、第３実施形態の一例を説明する。第１実施形態及び第２実施形態と同様の構成及び作用については、説明を省略する。第３実施形態では、所定周波数以上の周波数信号の位相差を使用して位相差外れ度合を算出する点で、第１実施形態及び第２実施形態と異なる。
第３実施形態では、低域周波数帯と高域周波数帯とを区別する閾値Ｆｔｈを設定する。閾値Ｆｔｈは、第２閾値の一例であり、一定の値、例えば、１００［ｋＨｚ］であってよい。しかしながら、例えば、ユーザが発声している間、仮閾値ＰＦｔｈを自動的に変動させ、位相差外れ度合時間平均値を算出し、位相差外れ度合時間平均値が所定時間の間０．５［ｒａｄ］以下になる仮閾値ＰＦｔｈを閾値Ｆｔｈとして設定してもよい。
図１８は、図９のステップ１０５または図１７のステップ１２５の位相差外れ度合算出処理の流れを例示する。ＣＰＵ５１は、ステップ２１１で、個別位相差外れ度合Δｄの合計を算出するためのΔｄ合計、周波数ビン数をカウントする変数ｉ、及び高域周波数の周波数ビン数をカウントする変数ｊに０をセットする。ＣＰＵ５１は、ステップ２１２で、変数ｉの値に対応する周波数ビンに対応する周波数が所定周波数Ｆｔｈ以上であるか否か判定する。
ステップ２１２の判定が否定された場合、即ち、変数ｉの値に対応する周波数ビンに対応する周波数が所定周波数Ｆｔｈ未満である場合、ＣＰＵ５１は、ステップ２１５に進む。ステップ２１２の判定が肯定された場合、即ち、変数ｉの値に対応する周波数ビンの周波数が所定周波数Ｆｔｈ以上である場合、ＣＰＵ５１は、個別位相差外れ度合Δｄを算出する。個別位相差外れ度合Δｄは、周波数ビン番号ｉの周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域から外れている度合である。
ＣＰＵ５１は、ステップ２１４で、Δｄ合計の値にΔｄを加算し、変数ｊの値に１を加算する。ＣＰＵ５１は、ステップ２１５で、変数ｉの値に１を加算する。ＣＰＵ５１は、ステップ２１６で、変数ｉの値が最大周波数ビン番号、即ち、ＦＦＴサイズ／２未満であるか否か判定する。ステップ２１６の判定が肯定された場合、ＣＰＵ５１は、ステップ２１２に戻る。ステップ２１６の判定が否定された場合、ＣＰＵ５１は、ステップ２１７で、Δｄ合計の値を変数ｊの値で除算した値を位相差外れ度合として算出する。
第３実施形態は、第１実施形態または第２実施形態と組み合わされてもよい。
ユーザとマイクとの位置関係が変化しない場合、ユーザがマイクに向かって発声すると反射音が直接音より少なく、ユーザがマイクに向かわず発声すると反射音が直接音より多い。この特徴は、中高域の周波数帯において顕著である。また、低域周波数帯の周波数信号は、理論値と実測値との差が大きい場合がある。
したがって、第３実施形態では、低域周波数帯の周波数信号を使用せず、所定周波数以上の高域周波数帯の周波数信号の位相差を使用して、位相差外れ度合を算出することで、より精度の高い位相差外れ度合時間平均値を算出することができる。これにより、ユーザとマイクとの位置関係が変化した場合でも、マイクで取得される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かをより適切に判定することができる。
［第４実施形態］
次に、第４実施形態の一例を説明する。第１～第３実施形態と同様の構成及び作用については、説明を省略する。第４実施形態では、周波数信号の振幅が所定の振幅閾値を超える周波数信号の位相差を使用して位相差外れ度合を算出する点で、第１～第３実施形態と異なる。
第４実施形態では、例えば、マイク５５Ａで検出された音声信号ＩＮＴＡに対応する周波数信号ＩＮＦＡの振幅が振幅閾値Ｖｔｈを超える場合、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を使用して、位相差外れ度合を算出する。しかしながら、マイク５５Ｂで検出された音声信号ＩＮＴＢに対応する周波数信号ＩＮＦＢの振幅が振幅閾値Ｖｔｈを超える場合に、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を使用して、位相差外れ度合を算出するようにしてもよい。また、周波数信号ＩＮＦＡ及びＩＮＦＢの振幅が両方とも振幅閾値Ｖｔｈを超える場合に、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を使用して、位相差外れ度合を算出するようにしてもよい。振幅閾値Ｖｔｈは、第３閾値の一例であり、例えば、定常雑音レベルであってよい。定常雑音レベルは、既存の方法で算出することができる。
図１９は、図９のステップ１０５または図１７のステップ１２５の位相差外れ度合算出処理の流れを例示する。ＣＰＵ５１は、ステップ２１１で、個別位相差外れ度合Δｄの合計を算出するためのΔｄ合計、周波数ビン数をカウントする変数ｉ及び振幅閾値Ｖｔｈを超える周波数信号の周波数ビン数をカウントする変数ｋに０をセットする。
ＣＰＵ５１は、ステップ２２２で、例えば、マイク５５Ａで検出された音声信号に対応する周波数信号の振幅が振幅閾値Ｖｔｈを超えているか否か判定する。ステップ２２２の判定が否定された場合、ＣＰＵ５１は、ステップ２２５に進む。ステップ２２２の判定が肯定された場合、ＣＰＵ５１は、発声方向領域から周波数ビン番号ｉの周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が外れている度合である個別位相差外れ度合Δｄを算出する。
ＣＰＵ５１は、ステップ２２４で、Δｄ合計の値にΔｄを加算し、変数ｋの値に１を加算する。ＣＰＵ５１は、ステップ２２５で、変数ｉの値に１を加算する。ＣＰＵ５１は、ステップ２２６で、変数ｉの値が最大周波数ビン番号、即ち、ＦＦＴサイズ／２未満であるか否か判定する。ステップ２２６の判定が肯定された場合、即ち、変数ｉの値が最大周波数ビン番号未満である場合、ＣＰＵ５１は、ステップ２２２に戻る。ステップ２２６の判定が否定された場合、変数ｉの値が最大周波数ビン番号以上である場合、ＣＰＵ５１は、ステップ２２７で、Δｄ合計の値をｋの値で除算した値を位相差外れ度合として算出する。
なお、本実施形態では、周波数信号の振幅が振幅閾値を超える周波数信号の位相差を使用して、位相差外れ度合を算出する例について説明したが、本実施形態はこれに限定されない。例えば、音声信号の振幅が所定閾値を超える場合に、音声信号に対応する周波数信号の位相差を使用して、位相差外れ度合を算出するようにしてもよい。また、周波数信号または音声信号の振幅に代えて、パワーが所定閾値を超える周波数信号の位相差を使用して、位相差外れ度合を算出してもよい。
第４実施形態は、第１実施形態、第２実施形態、第１実施形態と第３実施形態との組み合わせ、または、第２実施形態と第３実施形態との組み合わせに適用されてもよい。
第４実施形態では、周波数信号の振幅が所定の振幅閾値を超える場合、位相差外れ度合を算出することで、雑音ではない可能性が高い周波数信号に基づいて、より精度の高い位相差外れ度合時間平均値を算出することができる。これにより、ユーザとマイクとの位置関係が変化した場合でも、マイクで取得された音声信号に基づいて、ユーザがマイクに向かって発声しているか否かをより適切に判定することができる。
図９、１０、１７～１９のフローチャートは一例であり、処理の順序は適宜変更可能である。
［検証例］
本実施形態による発声方向判定の判定結果を図２０に例示する。この検証では、ユーザがマイクから５０ｃｍ離れた位置から４０秒間発声し、サンプリング周波数は２２［ｋＨｚ］である。
図２１Ａに例示するユーザ９１Ａ及び図２１Ｂに例示するユーザ９１Ｃは、マイク５５の正面、即ち、マイク５５Ａ及び５５Ｂの中間位置から発声方向判定装置１０の正面に向かって延びる直線上に存在する。ユーザ９１Ｂ及び９１Ｄは、マイク５５の正面からずれた位置、即ち、マイク５５Ａ及び５５Ｂの中間位置から発声方向判定装置１０の正面に向かって延びる直線と、マイク５５Ａ及び５５Ｂの中心を交点として、６０°の角度で交差する直線上に存在する。
ユーザ９１Ａのように、ユーザがマイク５５の正面に位置し、マイク５５に顔を向けている場合、ユーザの顔の向きが適切に判定される割合は９５％である。ユーザ９１Ｂのように、マイク５５の正面からユーザの右手方向にずれて位置し、ユーザがマイク５５に顔を向けている場合、ユーザの顔の向きが適切に判定される割合は９３％である。
ユーザ９１Ｃのように、マイク５５の正面に位置し、ユーザの左手方向に顔を向けている場合、即ち、ユーザがマイク５５に顔を向けていない場合、ユーザの顔の向きが適切に判定される割合は９２％である。ユーザ９１Ｄのように、マイク５５の正面からユーザの右手方向にずれて位置し、ユーザの右手方向に顔を向けている場合、即ち、ユーザがマイク５５に顔を向けていない場合、ユーザの顔の向きが適切に判定される割合は、９１％である。
即ち、本実施形態によれば、何れの場合でも、９０％以上の割合で、ユーザの位置及び顔の向きが適切に判定される。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
発声方向判定処理をコンピュータに実行させるためのプログラム。
（付記２）
前記第１周波数信号は、前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで取得され、
前記第２周波数信号は、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで取得される、
付記１のプログラム。
（付記３）
前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
付記１または付記２のプログラム。
（付記４）
第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１～付記３の何れかのプログラム。
（付記５）
前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１～付記４の何れかのプログラム。
（付記６）
コンピュータが、
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
発声方向判定方法。
（付記７）
前記第１周波数信号は、前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで取得され、
前記第２周波数信号は、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで取得される、
付記６の発声方向判定方法。
（付記８）
前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
付記６または付記７の発声方向判定方法。
（付記９）
第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記６～付記８の何れかの発声方向判定方法。
（付記１０）
前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記６～付記９の何れかの発声方向判定方法。
（付記１１）
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する第１位相差外れ算出部と、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出する第２位相差外れ算出部と、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する発声方向判定部と、
を含む、発声方向判定装置。
（付記１２）
前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで前記第１周波数信号を取得し、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで前記第２周波数信号を取得する、時間周波数変換部、
をさらに含む、付記１１の発声方向判定装置。
（付記１３）
前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
付記１１または付記１２の発声方向判定装置。
（付記１４）
前記第１位相差外れ算出部は、第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１１～付記１３の何れかの発声方向判定装置。
（付記１５）
前記第１位相差外れ算出部は、前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１１～付記１４の何れかの発声方向判定装置。
１０ 発声方向判定装置
２１Ａ、２１Ｂ 音声入力部
２２ 時間周波数変換部
２４ 発声方向領域決定部
２５ 位相差外れ算出部
２６ 位相差外れ時間平均値算出部
２７ 発声方向判定部
５１ ＣＰＵ
５２ 一次記憶部
５３ 二次記憶部
５５Ａ、５５Ｂ マイク

Claims (7)

  1. １フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
    前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
    前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
    発声方向判定処理をコンピュータに実行させるためのプログラム。
  2. 前記第１周波数信号は、前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで取得され、
    前記第２周波数信号は、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで取得される、
    請求項１に記載のプログラム。
  3. 前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
    請求項１または請求項２に記載のプログラム。
  4. 第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
    請求項１～請求項３の何れか１項に記載のプログラム。
  5. 前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
    請求項１～請求項４の何れか１項に記載のプログラム。
  6. コンピュータが、
    １フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
    前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
    前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
    発声方向判定方法。
  7. １フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する第１位相差外れ算出部と、
    前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出する第２位相差外れ算出部と、
    前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する発声方向判定部と、
    を含む、発声方向判定装置。
JP2018091943A 2018-05-11 2018-05-11 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置 Expired - Fee Related JP7010136B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018091943A JP7010136B2 (ja) 2018-05-11 2018-05-11 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置
US16/367,417 US10531189B2 (en) 2018-05-11 2019-03-28 Method for utterance direction determination, apparatus for utterance direction determination, non-transitory computer-readable storage medium for storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018091943A JP7010136B2 (ja) 2018-05-11 2018-05-11 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置

Publications (2)

Publication Number Publication Date
JP2019197179A JP2019197179A (ja) 2019-11-14
JP7010136B2 true JP7010136B2 (ja) 2022-01-26

Family

ID=68463458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018091943A Expired - Fee Related JP7010136B2 (ja) 2018-05-11 2018-05-11 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置

Country Status (2)

Country Link
US (1) US10531189B2 (ja)
JP (1) JP7010136B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12100419B2 (en) * 2020-10-27 2024-09-24 Arris Enterprises Llc Method and system for improving estimation of sound source localization by using indoor position data from wireless system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124447A (ja) 2008-10-21 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 発話正面・横向き推定装置、方法及びプログラム
US20120179458A1 (en) 2011-01-07 2012-07-12 Oh Kwang-Cheol Apparatus and method for estimating noise by noise region discrimination
JP2016181789A (ja) 2015-03-24 2016-10-13 富士通株式会社 雑音抑圧装置、雑音抑圧方法、及び、プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243494A (ja) 1997-03-03 1998-09-11 Nippon Telegr & Teleph Corp <Ntt> 顔方向認識方法及び装置
JP4752153B2 (ja) * 2001-08-14 2011-08-17 ソニー株式会社 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム
US20060125854A1 (en) * 2004-05-27 2006-06-15 Silverbrook Research Pty Ltd Printhead module having two shift registers
JP4982807B2 (ja) 2008-03-06 2012-07-25 独立行政法人産業技術総合研究所 操作方法およびそのための操作装置、プログラム
JP5338259B2 (ja) * 2008-10-31 2013-11-13 富士通株式会社 信号処理装置、信号処理方法、および信号処理プログラム
JP5452158B2 (ja) 2009-10-07 2014-03-26 株式会社日立製作所 音響監視システム、及び音声集音システム
JP5493850B2 (ja) * 2009-12-28 2014-05-14 富士通株式会社 信号処理装置、マイクロホン・アレイ装置、信号処理方法、および信号処理プログラム
JP5387459B2 (ja) 2010-03-11 2014-01-15 富士通株式会社 雑音推定装置、雑音低減システム、雑音推定方法、及びプログラム
JP5810903B2 (ja) * 2011-12-27 2015-11-11 富士通株式会社 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
JP6003510B2 (ja) * 2012-10-11 2016-10-05 富士ゼロックス株式会社 音声解析装置、音声解析システムおよびプログラム
JP6107151B2 (ja) * 2013-01-15 2017-04-05 富士通株式会社 雑音抑圧装置、方法、及びプログラム
JP2014153663A (ja) 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
JP6677136B2 (ja) * 2016-09-16 2020-04-08 富士通株式会社 音声信号処理プログラム、音声信号処理方法及び音声信号処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124447A (ja) 2008-10-21 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 発話正面・横向き推定装置、方法及びプログラム
US20120179458A1 (en) 2011-01-07 2012-07-12 Oh Kwang-Cheol Apparatus and method for estimating noise by noise region discrimination
JP2016181789A (ja) 2015-03-24 2016-10-13 富士通株式会社 雑音抑圧装置、雑音抑圧方法、及び、プログラム

Also Published As

Publication number Publication date
US10531189B2 (en) 2020-01-07
US20190349674A1 (en) 2019-11-14
JP2019197179A (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
JP5519689B2 (ja) 音響処理装置、音響処理方法及び補聴器
JP6464449B2 (ja) 音源分離装置、及び音源分離方法
JP5564873B2 (ja) 収音処理装置、収音処理方法、及びプログラム
JP6450139B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP2022544138A (ja) 選択的受聴を補助するためのシステムおよび方法
JP5593244B2 (ja) 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP6065028B2 (ja) 収音装置、プログラム及び方法
US20200227039A1 (en) Electronic device and voice command identification method thereof
EP1998320B1 (en) System and method for evaluating performance of microphone for long-distance speech recognition in robot
US20210158828A1 (en) Audio processing device, image processing device, microphone array system, and audio processing method
CN104918177A (zh) 信号处理装置、信号处理方法和程序
US9460714B2 (en) Speech processing apparatus and method
JP7151724B2 (ja) 制御処理装置および制御処理方法、並びにプログラム
JP2021162685A (ja) 発話区間検知装置、音声認識装置、発話区間検知システム、発話区間検知方法及び発話区間検知プログラム
JP7409407B2 (ja) チャネル選択装置、チャネル選択方法、およびプログラム
JP7010136B2 (ja) 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置
US11895479B2 (en) Steering of binauralization of audio
US11107476B2 (en) Speaker estimation method and speaker estimation device
JP6526602B2 (ja) 音声認識装置、その方法、及びプログラム
JP6729186B2 (ja) 音声処理プログラム、音声処理方法及び音声処理装置
JP6677136B2 (ja) 音声信号処理プログラム、音声信号処理方法及び音声信号処理装置
JP6361360B2 (ja) 残響判定装置及びプログラム
JP7226107B2 (ja) 話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置
JP2005338571A (ja) 音声認識装置および音声認識方法
JP6169526B2 (ja) 特定音声抑圧装置、特定音声抑圧方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7010136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees