JP7724305B2 - 情報処理装置、情報処理方法、プログラムおよび記録媒体 - Google Patents

情報処理装置、情報処理方法、プログラムおよび記録媒体

Info

Publication number
JP7724305B2
JP7724305B2 JP2023556447A JP2023556447A JP7724305B2 JP 7724305 B2 JP7724305 B2 JP 7724305B2 JP 2023556447 A JP2023556447 A JP 2023556447A JP 2023556447 A JP2023556447 A JP 2023556447A JP 7724305 B2 JP7724305 B2 JP 7724305B2
Authority
JP
Japan
Prior art keywords
filter
sound collection
unit
collection environment
filter characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023556447A
Other languages
English (en)
Other versions
JPWO2023074654A1 (ja
JPWO2023074654A5 (ja
Inventor
洋人 河内
壮志 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2023074654A1 publication Critical patent/JPWO2023074654A1/ja
Publication of JPWO2023074654A5 publication Critical patent/JPWO2023074654A5/ja
Application granted granted Critical
Publication of JP7724305B2 publication Critical patent/JP7724305B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、情報処理装置、情報処理方法、プログラムおよび記録媒体に関する。
近年、ユーザがウェイクワード(ウェイクアップワードあるいはホットワードともいう)を発話することにより音声アシスタントを起動させ、ユーザの発話により、操作指示、情報検索等を行う機器、例えば、スマートフォンやスマートスピーカ等が普及している。
一般に、この種の機器は、騒音や雑音(ノイズ)が含まれている環境下で動作させると、ユーザが発話した言葉を正しく検出できないことがある。
ここで、この種の機器を車輌に搭載した場合には、走行状態(走行速度、エンジン回転数等)や車両状態(エアコン作動状況、窓開閉状況等)により、騒音や雑音等の大きさが大きく変化するため、収音した音声からノイズを除去し、ユーザの発話した言葉を検出しやすくする技術が開示されている(例えば、特許文献1参照)。
特開2009-210647号公報
上述した先行技術では、ユーザの発話音声、騒音や雑音等(ノイズ)が含まれた音声を収音し、その収音した音声に基づいてノイズを除去するためのフィルタ特性を決定している。
しかしながら、上述した先行技術では、機器の電源がオンされた直後では、フィルタ特性を決定するための音声が収音されていないため、ノイズを除去するための適切なフィルタ特性を決定することができず、ユーザが発話した言葉を正しく検出できないという課題が一例として挙げられる。
本発明は、上述の一例として挙げられた課題に鑑みてなされたものであり、機器の電源がオンされた直後でも、ノイズを除去するための最適なフィルタ特性を決定し、ノイズを除去する情報処理装置、情報処理方法、プログラムおよび記録媒体を提供することを主な目的とする。
上記課題を解決するために、請求項1に記載の発明は、収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出するフィルタ特性算出部と、前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去するフィルタ部と、センサ情報に基づいて前記音声の収音環境を検出する収音環境検出部と、起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定するフィルタ制御部と、を備え、前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定することを特徴とする情報処理装置である。
また、請求項に記載の発明は、フィルタ特性算出部と、フィルタ部と、収音環境検出部と、フィルタ制御部とを備えた情報処理装置における情報処理方法であって、前記フィルタ特性算出部が、収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出する第1の工程と、前記フィルタ部が、前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去する第2の工程と、前記収音環境検出部が、センサ情報に基づいて前記音声の収音環境を検出する第3の工程と、前記フィルタ制御部が、起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定する第4の工程と、を備え、前記第4の工程において、前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定することを特徴とする情報処理方法である。
また、請求項に記載の発明は、フィルタ特性算出部と、フィルタ部と、収音環境検出部と、フィルタ制御部とを備えた情報処理装置における情報処理方法をコンピュータに実行させるためのプログラムであって、前記フィルタ特性算出部が、収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出する第1の工程と、前記フィルタ部が、前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去する第2の工程と、前記収音環境検出部が、センサ情報に基づいて前記音声の収音環境を検出する第3の工程と、前記フィルタ制御部が、起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定する第4の工程と、を備え、前記第4の工程において、前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定する情報処理方法をコンピュータに実行させるためのプログラムである。
また、請求項に記載の発明は、フィルタ特性算出部と、フィルタ部と、収音環境検出部と、フィルタ制御部とを備えた情報処理装置における情報処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータによって読み取り可能な非一過性の記録媒体であって、前記フィルタ特性算出部が、収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出する第1の工程と、前記フィルタ部が、前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去する第2の工程と、前記収音環境検出部が、センサ情報に基づいて前記音声の収音環境を検出する第3の工程と、前記フィルタ制御部が、起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定する第4の工程と、を備え、前記第4の工程において、前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定する情報処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体である。
本発明の実施例に係る情報処理装置の構成を示す図である。 本発明の実施例に係る情報処理装置のフィルタ制御部が生成および参照するフィルタテーブルを例示した図である。 本発明の実施例に係る情報処理装置のフィルタ制御部の処理フローを示す図である。 本発明の実施例に係る情報処理装置のフィルタ制御部がフィルタテーブルを参照するときの処理を例示する図である。 本発明の実施例に係る情報処理装置のフィルタ制御部がフィルタテーブルに収音環境とフィルタ特性とを追加するときの処理を例示した図である。 本発明のその他の実施例に係る情報処理装置のセンサ部が取得するセンサ情報を例示した図である。
本実施形態に係る情報処理装置は、収音した音声に基づいて音声から雑音を除去するためのフィルタ特性を算出するフィルタ特性算出部と、フィルタ特性算出部によって算出されたフィルタ特性に基づいて、収音した音声から雑音を除去するフィルタ部と、センサ情報に基づいて音声の収音環境を検出する収音環境検出部と、起動時に収音環境を取得し、該起動時の収音環境と、フィルタ特性算出部が算出したフィルタ特性と収音環境とを紐づけたフィルタテーブルとに基づいて、フィルタ部にフィルタ特性を設定するフィルタ制御部とを備えている。
フィルタ特性算出部は、収音した音声に基づいて、音声から雑音を除去するためのフィルタ特性を算出する。
フィルタ部は、フィルタ特性算出部において算出されたフィルタ特性に基づいて、収音した音声から雑音を除去する。
収音環境検出部は、カメラ画像、車両センサ等のセンサ情報に基づいて、音声を収音している収音環境を検出する。
フィルタ制御部は、情報処理装置の起動時に収音環境を取得し、その起動時の収音環境と、フィルタ特性算出部が算出したフィルタ特性と収音環境とを紐づけたフィルタテーブルと、に基づいて、フィルタ部に設定するフィルタ特性を決定し、そのフィルタ特性をフィルタ部に設定する。
フィルタ制御部は、情報処理装置の起動時の収音環境が、フィルタテーブルにある場合には、起動時の収音環境に紐づいたフィルタ特性をフィルタ部に設定し、フィルタテーブルにない場合には、最後にフィルタ部に設定したフィルタ特性をフィルタ部に設定する。
情報処理装置の起動時には、フィルタ特性を決定するための音声が収音されていないため、雑音を除去するための適切なフィルタ特性を決定することができない。
そのため、フィルタ制御部は、起動時の収音環境とフィルタテーブルとに基づいて、フィルタ部に設定するフィルタ特性を決定する。
これにより、フィルタ特性を決定するための音声が収音されていない起動時であっても、起動時の収音環境に基づいたフィルタ特性を設定することができるため、適切に音声から雑音を除去することができる。
また、フィルタ制御部は、情報処理装置の起動時を除く期間では、フィルタ特性算出部により算出されたフィルタ特性を、フィルタ部に設定する。
すなわち、情報処理装置の起動時以外では、収音部により収音された音声に基づいて、フィルタ特性算出部が算出したフィルタ特性を、フィルタ部に設定する。
これにより、情報処理装置の起動時を除く期間では、ユーザが発話する空間の音声に基づいて、フィルタ特性が算出されるため、最適なフィルタ特性を設定することができる。
また、フィルタテーブルに起動時の収音環境がない場合でも、最後にフィルタ部に設定されたフィルタ特性が設定されるため、ユーザが発話する空間にとって、より良いフィルタ特性を設定することができる。
上述した、最後にフィルタ部に設定したフィルタ特性とは、情報処理装置が、電源オフ等により動作が停止されたときに、フィルタ部に設定されているフィルタ特性のことであり、次に情報処理装置が起動され、フィルタテーブルに起動時の収音環境がないときには、当該フィルタ特性がフィルタ部に設定される。
つまり、情報処理装置の起動時であっても、ユーザが発話する空間の音に基づいて算出された実績のあるフィルタ特性が設定されるため、その空間にとって、より適切なフィルタ特性を設定することができる。
また、フィルタ制御部は、フィルタ特性算出部においてフィルタ特性を算出したときの収音環境を取得し、その収音環境がフィルタテーブルにない場合には、その収音環境とフィルタ特性算出部において算出したフィルタ特性とを紐づけて、フィルタテーブルに追加する。
これにより、情報処理装置を動作させるだけで、収音環境毎に最適なフィルタ特性をフィルタテーブルに蓄積することができるため、フィルタ制御部は、フィルタテーブルを参照することにより、起動時に最適なフィルタ特性をフィルタ部に設定することができる。
<実施例>
図1から図5を用いて、本実施例に係る情報処理装置1について説明する。
<情報処理装置1の構成>
図1を用いて、本実施例に係る情報処理装置1の構成について説明する。
情報処理装置1は、収音部10と、フィルタ部20と、フィルタ特性算出部30と、センサ部40と、収音環境検出部50と、フィルタ制御部60と、を少なくとも含んで構成されている。
収音部10は、例えば、マイクロフォンで構成され、車室内の音声を収音し、収音した音声をフィルタ部20およびフィルタ特性算出部30に送信する。
収音部10が収音した音声には、ユーザの発話音声と、マイクロフォン周辺で発生している雑音、騒音等が含まれている。
具体的には、車室内に設置されたマイクロフォンにより収音されている音声には、走行時のエンジン音、風切り音、ロードノイズ、エアコンの作動音、スピーカから出力されている音楽等が含まれている。
なお、マイクロフォンは、上述した車室内の音声を収音できればよいため、車両に設置されている、例えば、ハンズフリー通話用のマイクロフォンを用いて構成してもよい。
フィルタ部20は、後述するフィルタ制御部60から受信したフィルタ特性に基づいて、収音部10において収音した音声から雑音を除去する。
なお、雑音が除去された音声は、図示しない音声認識エンジンに入力され、ユーザの発話した言葉が検出される。
フィルタ特性算出部30は、収音部10において収音された音声に基づいて、その音声から雑音を除去するためのフィルタ特性を算出する。
具体的には、フィルタ特性算出部30は、収音部10において収音した音声を、例えば20秒間毎の音声データに分割し、分割された音声データ毎に雑音を除去するためのフィルタ特性を算出する。
なお、フィルタ特性算出部30において算出されたフィルタ特性は、後述するフィルタ制御部60に送信される。
センサ部40は、少なくとも、車両内を撮像するカメラ、車両の状態を検出するセンサにより構成され、取得したセンサ情報を、後述する収音環境検出部50に送信する。
ここで、センサ部40からセンサ情報として送信する画像は、車両内の画像が取得できればよいため、所謂、車両に設置されているドライブレコーダが撮像している画像を収音環境検出部50に送信するようにしてもよい。
また、車両の状態を検出するセンサ情報としては、車速パルス、加速度センサ、GPS信号、車両のECU(Electronic Control Unit)に接続されている各種センサ情報等を例示することができる。
収音環境検出部50は、センサ部40からのセンサ情報に基づいて、収音環境を検出する。
具体的には、収音環境検出部50は、車両内を撮像した画像を分析し、例えば、乗員の乗車位置、乗員の性別、車両の窓の開閉状態等を収音環境として検出する。
また、収音環境検出部50は、車両の状態を示すセンサ情報に基づいて、車両の走行速度、エンジン回転数、エアコン作動状況等を収音環境として検出する。
なお、収音環境検出部50は、検出した収音環境を、フィルタ制御部60に送信する。
また、収音環境検出部50は、フィルタ特性算出部30がフィルタ特性を算出したときの収音環境を検出し、検出した収音環境をフィルタ制御部60に送信する。
例えば、収音環境検出部50は、フィルタ特性算出部30において、フィルタ特性を算出している期間中の収音環境の平均値(エンジン回転数、走行速度等の平均値)を算出して、当該収音環境をフィルタ制御部60に送信する。
フィルタ制御部60は、起動時に収音環境を取得し、起動時の収音環境と、フィルタ特性算出部30が算出したフィルタ特性とフィルタ特性を算出したときの収音環境とを紐づけたフィルタテーブルと、に基づいて、フィルタ部20にフィルタ特性を設定する。
つまり、情報処理装置1の起動時には、フィルタ特性を決定するための音声がまだ収音されていないため、フィルタ特性算出部30において、フィルタ特性を算出することができない。
そのため、フィルタ制御部60は、起動時に取得した収音環境と、図2に示すようなフィルタテーブルとに基づいて、フィルタ部20に設定するフィルタ特性を決定する。
フィルタテーブルには、フィルタ特性算出部30においてフィルタ特性が算出されたときの収音環境と、算出されたフィルタ特性とが紐づけられて、格納されている。
具体的には、センサ部40のカメラ画像および車両センサ情報から検出された収音環境(乗車位置、性別、窓開閉状態、走行速度、エンジン回転数、エアコン作動状況)と、フィルタ特性算出部30において算出されたフィルタ特性とが紐づけられて、フィルタテーブルに格納されている。
より具体的には、図2に示すように、収音環境K1~K5と、フィルタ特性F1~F5とが、それぞれ紐づけられて、フィルタテーブルに格納されている。
フィルタ制御部60は、起動時に取得した収音環境と同じ収音環境がフィルタテーブルにある場合には、その収音環境に紐づいたフィルタ特性をフィルタテーブルから取得し、フィルタ部20にそのフィルタ特性を設定する。
一方で、起動時に取得した収音環境と同じ収音環境がフィルタテーブルにない場合には、フィルタ部20に最後に設定したフィルタ特性をフィルタ部20に設定する。
上述した、フィルタ部20に最後に設定したフィルタ特性とは、情報処理装置1が、電源オフ等により動作が停止されたときに、フィルタ部20に設定されていたフィルタ特性のことであり、次に情報処理装置1が起動され、起動時に取得した収音環境がフィルタテーブルにないときには、当該フィルタ特性をフィルタ部20に設定する。
なお、フィルタ制御部60は、フィルタ部20に最後に設定したフィルタ特性の値を、図示しないメモリに格納する。
また、フィルタ制御部60は、起動時を除く期間では、フィルタ特性算出部30において算出されたフィルタ特性をフィルタ部20に設定する。
フィルタ制御部60は、フィルタ特性算出部30においてフィルタ特性が算出されたときの収音環境を収音環境検出部50から取得し、その収音環境がフィルタテーブルにない場合には、その収音環境とフィルタ特性とを紐づけて、フィルタテーブルに追加する。
なお、フィルタ制御部60の処理の詳細は、以下に説明する。
<フィルタ制御部60の処理>
図3から図5を用いて、フィルタ制御部60の処理の詳細について説明する。
図3に示すように、車両のACC電源(アクセサリ電源)がオン状態であるか否かを判定する(ステップS100)。
車両のACC電源がオン状態にないと判定した場合(ステップS100の「NO」)には、処理をステップS100に戻し、待機状態に移行する。
一方で、車両のACC電源がオン状態にあると判定した場合(ステップS100の「YES」)には、処理をステップS110に移行させる。
車両のACC電源がオン状態にあると判定した場合(ステップS100の「YES」)には、収音環境検出部50から収音環境を取得する(ステップS110)。
つまり、フィルタ制御部60は、ACC電源がオンされた(情報処理装置1がオンされた)直後に、現在の収音環境を収音環境検出部50から取得する。
フィルタ制御部60は、ステップS110で取得した収音環境が、フィルタテーブルにあるか否かを判定する(ステップS120)。
取得した収音環境がフィルタテーブルにあると判定した場合(ステップS120の「YES」)には、処理をステップS130に移行させる。
一方で、取得した収音環境がフィルタテーブルにないと判定した場合(ステップS120の「NO」)には、処理をステップS140に移行させる。
ここで、収音環境検出部50から取得した収音環境と同じ収音環境がフィルタテーブルにあるか否かを判定する方法について説明する。
収音環境検出部50から取得した収音環境を示す情報の中には、走行速度やエンジン回転数等のように、走行中に大きく値が変化する収音環境がある。
そのため、収音環境検出部50から受信した収音環境と同じ収音環境がフィルタテーブルにあるか否かを判定するときには、同じであるかを判定するための類似度を算出する。
図4を用いて、起動時直後に取得した収音環境KAの値と、フィルタテーブルにある収音環境K1~K3と、を比較した場合を例示して、類似度について説明する。
フィルタ制御部60は、収音環境検出部50から取得した起動時の収音環境の走行速度の値がKA1であった場合には、フィルタテーブルにある走行速度の値(K11、K21、K31)との差の絶対値を算出し、その値を類似度としている。
そして、フィルタ制御部60は、算出した類似度が所定値より小さい場合(例えば、類似度<10Km/hの場合)には、2つの走行速度の値は同じであると判定する。
また、エンジン回転数においても、同様に算出した類似度が所定値より小さい場合(例えば、類似度<200rpmの場合)には、2つのエンジン回転数の数値は同じであると判定する。
上述した類似度の判定において、走行速度およびエンジン回転数の双方とも同じであると判定され、さらに、その他の収音環境(乗車位置、性別、窓開閉状態、エアコン作動状況)が同じであると判定された場合に、フィルタ制御部60は、同じ収音環境であると判定する(収音環境検出部50から取得した収音環境KAと収音環境K3とは、同じ収音環境であると判定する)。
なお、上述した類似度の判定を行ったときに、複数の収音環境と同じであると判定された場合には、例えば、類似度の値が一番小さい値となる収音環境を、同じ収音環境として判定する。
起動時に取得した収音環境(ステップS110において取得した収音環境)が、フィルタテーブルにあると判定した場合(ステップS120の「YES」)には、その収音環境に紐づいたフィルタ特性をフィルタテーブルから取得し、そのフィルタ特性をフィルタ部20に設定する(ステップS130)。
一方で、起動時に取得した収音環境(ステップS110において取得した収音環境)がフィルタテーブルにないと判定した場合(ステップS120の「NO」)には、図示しないメモリに格納されている、最後にフィルタ部20に設定したフィルタ特性を、フィルタ部20に設定する(ステップS140)。
フィルタ制御部60は、フィルタ特性算出部30において算出されたフィルタ特性を取得し、取得したフィルタ特性をフィルタ部20に設定する(ステップS150)。
つまり、起動時から所定時間経過すれば、フィルタ特性算出部30がフィルタ特性を算出することができるため、フィルタ制御部60は、起動時を除く期間では、フィルタ特性算出部30において算出されたフィルタ特性を、フィルタ部20に設定する。
フィルタ制御部60は、ステップS150においてフィルタ部20に設定したフィルタ特性を算出した時の収音環境を、収音環境検出部50から取得する(ステップS160)。
フィルタ制御部60は、フィルタ部20に設定したフィルタ特性を、図示しないメモリに保存する(ステップS170)。
つまり、ステップS170では、最後にフィルタ部20に設定したフィルタ特性の値をメモリに格納する処理が実行される。
フィルタ制御部60は、ステップS160において取得しく収音環境と同じ収音環境が、フィルタテーブルにあるか否かを判定する(ステップS180)。
同じ収音環境がフィルタテーブルにあると判定した場合(ステップS180の「YES」)には、処理をステップS200に移行させる。
一方で、同じ収音環境がフィルタテーブルにないと判定した場合(ステップS180の「NO」)には、ステップS150においてフィルタ部20に設定したフィルタ特性と、ステップS160で取得した収音環境とを紐づけて、フィルタテーブルに追加する(ステップS190)。
つまり、フィルタ制御部60は、フィルタ特性算出部30においてフィルタ特性が算出されたときの収音環境を収音環境検出部50から取得し、その収音環境とフィルタ特性とを紐づけて、フィルタテーブルに追加する。
具体的には、収音環境検出部50から取得した収音環境である、例えば、乗員の乗車位置、各乗員の性別、車両窓の開閉状態、走行速度、エンジン回転数、エアコン作動状況等の各情報と、フィルタテーブルにある収音環境とを比較し、同じ収音環境がフィルタテーブルにあるか否かを判定し、フィルタテーブルに同じ収音環境がない場合には、その収音環境とフィルタ特性とを紐づけてフィルタテーブルに追加する。
より具体的には、例えば、図5に示すように、フィルタテーブルに登録されている収音環境K1~K5の中に、収音環境検出部50から取得した収音環境と同じ収音環境があるか否かを判定し、同じ収音環境がない場合には、新たな収音環境K6として、その収音環境と、その収音環境に紐づいたフィルタ特性F6とをフィルタテーブルに追加する。
なお、同じ収音環境がフィルタテーブルにあるか否かの判定方法は、上述したステップS120における判定方法と同じである。
フィルタ制御部60は、車両のACC電源(アクセサリ電源)がオン状態であるか否かを判定する(ステップS200)。
車両のACC電源がオン状態にあると判定した場合(ステップS200の「YES」)には、処理をステップS150に移行させ、処理を継続させる。
一方で、車両のACC電源がオン状態にないと判定した場合(ステップS200の「NO」)には、処理を終了させる。
本実施例に係る情報処理装置1は、収音した音声に基づいて、その音声から雑音を除去するためのフィルタ特性を算出するフィルタ特性算出部30と、フィルタ特性算出部30によって算出されたフィルタ特性に基づいて、収音した音声から雑音を除去するフィルタ部20と、センサ部40に基づいて音声の収音環境を検出する収音環境検出部50と、起動時に収音環境を取得し、該起動時の収音環境と、フィルタ特性算出部30が算出したフィルタ特性と収音環境とを紐づけたフィルタテーブルと、に基づいて、フィルタ部20にフィルタ特性を設定するフィルタ制御部60と、を備えている。
フィルタ部20は、フィルタ特性算出部30において算出されたフィルタ特性に基づいて収音した音声から雑音を除去する。
フィルタ特性算出部30は、収音部10において収音された音声に基づいて、その音声から雑音を除去するためのフィルタ特性を算出する。
収音環境検出部50は、カメラ画像、車両センサ等のセンサ部40の情報に基づいて、音声を収音している収音環境を検出する。
フィルタ制御部60は、情報処理装置1の起動時に収音環境を取得し、その起動時の収音環境とフィルタテーブルと、に基づいて、フィルタ部20に設定するフィルタ特性を決定し、そのフィルタ特性をフィルタ部20に設定する。
フィルタ制御部60は、情報処理装置1の起動時の収音環境が、フィルタテーブルにある場合には、起動時の収音環境に紐づいたフィルタ特性をフィルタ部20に設定し、フィルタテーブルにない場合には、最後にフィルタ部20に設定したフィルタ特性をフィルタ部20に設定する。
起動時直後には、フィルタ特性を決定するための音声が収音されていないため、適切なフィルタ特性を決定することができない。
そのため、フィルタ制御部60は、起動時の収音環境とフィルタテーブルとに基づいて、フィルタ部20に設定するフィルタ特性を決定する。
これにより、フィルタ特性を決定するための音声が収音されていない起動時であっても、起動時の収音環境に基づいたフィルタ特性を設定することができるため、適切に音声から雑音を除去することができる。
また、フィルタテーブルに起動時の収音環境がない場合でも、最後にフィルタ部20に設定したフィルタ特性を設定する。
つまり、ユーザが発話する空間の音に基づいて算出された実績のあるフィルタ特性が設定されるため、その空間にとって、より適切なフィルタ特性を設定することができる。
さらに、フィルタ制御部60は、フィルタ特性算出部30においてフィルタ特性を算出したときの収音環境を取得し、その収音環境がフィルタテーブルにない場合には、その収音環境とフィルタ特性算出部30において算出したフィルタ特性とを紐づけて、フィルタテーブルに追加する。
フィルタ特性算出部30において算出されるフィルタ特性は、収音環境によってフィルタ特性の値は大きく変化する。
例えば、収音した音声に含まれるエンジン音は、エンジン回転数によって、音の大きさや周波数が変化する。
また、収音した音声に含まれるロードノイズは、走行速度によって、音の大きさや周波数が変化する。
また、収音した音声に含まれる発話音声は、発話する性別によって、音の大きさや周波数が変化する。
そのため、フィルタ特性を算出した時の収音環境と、算出されたフィルタ特性とを紐づけて、フィルタテーブルに蓄積することにより、その車両、乗員にとって、最適なフィルタ特性を蓄積することができる。
すなわち、情報処理装置1を動作させるだけで、その空間に最適な収音環境毎のフィルタ特性をフィルタテーブルに蓄積することができるため、フィルタ制御部60は、フィルタテーブルを参照することにより、最適なフィルタ特性を設定することができる。
また、フィルタ制御部60は、情報処理装置1の起動時を除く期間では、フィルタ特性算出部30で算出されたフィルタ特性をフィルタ部20に設定する。
すなわち、情報処理装置1の起動時以外では、フィルタ特性算出部30が、収音部10により収音した音声に基づいて算出したフィルタ特性をフィルタ部20に設定する。
これにより、情報処理装置1の起動時以外は、ユーザが発話する空間の音声に基づいてフィルタ特性が算出されるため、最適なフィルタ特性を設定することができる。
また、センサ部40のセンサ情報は、少なくとも車両内を撮像した画像と車両の走行状態を示す情報とを含んでいる。
すなわち、収音した音声に含まれる雑音を除去するフィルタ特性に影響を与える要因である、乗車位置、性別、窓開閉状態、走行速度、エンジン回転数等の情報に紐づけてフィルタテーブルを作成し、該フィルタテーブルと、起動時の収音環境により、フィルタ部20に設定するフィルタ値を決定する。
これにより、ユーザの発話する空間にとって最適なフィルタ特性を、起動時の収音環境により決定することができるため、起動時であっても、収音した音声から雑音を除去することができる。
また、収音部10の収音した音声には、雑音とユーザの発話音声とが含まれ、フィルタ部20において雑音が除去された音声は、音声認識エンジンに送信される。
すなわち、フィルタ制御部60の制御により、情報処理装置1が起動直後であっても、最適なフィルタ特性がフィルタ部20に設定されるため、収音部10において収音した音声から雑音を除去することができる。
これにより、音声認識エンジンにおける、発話音声の認識率を向上させることができる。
<その他の実施例>
上述した収音環境検出部50では、乗員の乗車位置、各乗員の性別、車両窓の開閉状態、走行速度、エンジン回転数、エアコン作動状況等を収音環境として検出していたが、図6に示すような情報をさらに検出するようにしてもよい。
具体的には、カメラで車両内外を撮像した画像から、現在の天候状態や周辺車両の走行状態を収音環境として検出するようにしてもよい。
降雨時は晴天時に比べ、走行騒音が増える可能性があるため、現在の天候を収音環境の条件として追加することにより、より適切なフィルタ特性を設定することができる。
また、車両周辺にトラックやバイク等が走行している場合には、走行騒音が増える可能性があるため、自車両周辺の走行車両の状態を収音環境として検出することにより、より適切なフィルタ特性を設定することができる。
また、自車両のGPS(Global Positioning System)情報から、現在車両が走行している位置を収音環境として検出してもよい。
例えば、高速道路、住宅街、市街地等の走行位置特有に発生する雑音があるため、走行位置を把握することにより、より適切なフィルタ特性を設定することができる。
また、上述した収音環境検出部50では、車両内を撮像する画像に基づいて、発話者の位置等を検出していたが、マイクアレイを用いて収音した音声から、乗員の乗車位置を収音環境として検出するようにしてもよい。
これにより、車両内を撮像するカメラが設置できない場合でも、乗員の乗車位置を把握することができる。
また、上述した情報処理装置1では、フィルタ制御部60においてフィルタテーブルを生成したが、収音環境検出部50から受信した収音環境を、インターネット回線を介してサーバに送信し、サーバにおいてフィルタテーブルを作成するようにしてもよい。
これにより、フィルタ制御部60におけるフィルタテーブル作成処理の負荷をなくすことができるため、消費電力を低減することができる。
また、フィルタテーブルを格納および作成するためのメモリの容量を小さくすること、もしくは、削除することができるため、情報処理装置1のコストダウンを図ることができる。
また、サーバにフィルタテーブルを保管することにより、フィルタテーブルを他のユーザと共有することができる。
具体的には、例えば、サーバにおいて、同じ車種毎のフィルタテーブルのデータ集計および分析を行い、車種毎に共有できるフィルタテーブルを生成する。
これにより、共有のフィルタテーブルを参照して、フィルタ特性を設定することができるため、情報処理装置1Aを初めて使用する、起動直後であっても、最適なフィルタ特性を設定することができる。
上述した情報処理装置1では、起動時に取得した収音環境がフィルタテーブルにない場合には、最後にフィルタ部20に設定したフィルタ特性をフィルタ部20に設定していたが、起動時に取得した収音環境に一番近い収音環境に紐づいたフィルタ特性をフィルタ部20に設定するようにしてもよい。
具体的には、例えば、上述した類似度が所定値以上であった場合でも、類似度が一番小さい値を示す収音環境を、同じ収音環境と判定し、その収音環境に紐づいたフィルタ特性をフィルタ部20に設定する。
これにより、起動時に取得した収音環境に一番近い収音環境に紐づいたフィルタ特性をフィルタ部20に設定できるため、ユーザが発話する空間にとって、最適なフィルタ特性を設定することができる。
以上、この発明の実施例につき、図面を参照して詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1;情報処理装置
10;収音部
20;フィルタ部
30;フィルタ特性算出部
40;センサ部
50;収音環境取得部
60;フィルタ制御部

Claims (8)

  1. 収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出するフィルタ特性算出部と、
    前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去するフィルタ部と、
    センサ情報に基づいて前記音声の収音環境を検出する収音環境検出部と、
    起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定するフィルタ制御部と、
    を備え、
    前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定することを特徴とする情報処理装置。
    を備える情報処理装置。
  2. 前記フィルタ制御部は、前記起動時の収音環境が、前記フィルタテーブルにある場合には、該起動時の収音環境に紐づいた前記フィルタ特性を前記フィルタ部に設定し、前記フィルタテーブルにない場合には、最後に前記フィルタ部に設定した前記フィルタ特性を前記フィルタ部に設定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記フィルタ制御部は、前記フィルタ特性算出部においてフィルタ特性を算出したときの前記収音環境を取得し、該収音環境が前記フィルタテーブルにない場合には、該収音環境と前記フィルタ特性算出部において算出した前記フィルタ特性とを紐づけて、前記フィルタテーブルに追加することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記センサ情報は、少なくとも車両内を撮像した画像と車両の走行状態を示す情報とを含んでいることを特徴とする請求項に記載の情報処理装置。
  5. 前記収音した音声には、前記雑音とユーザの発話音声とが含まれ、前記フィルタ部において前記雑音が除去された音声を、音声認識エンジンに送信することを特徴とする請求項に記載の情報処理装置。
  6. フィルタ特性算出部と、フィルタ部と、収音環境検出部と、フィルタ制御部とを備えた情報処理装置における情報処理方法であって、
    前記フィルタ特性算出部が、収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出する第1の工程と、
    前記フィルタ部が、前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去する第2の工程と、
    前記収音環境検出部が、センサ情報に基づいて前記音声の収音環境を検出する第3の工程と、
    前記フィルタ制御部が、起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定する第4の工程と、
    を備え、
    前記第4の工程において、前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定することを特徴とする情報処理方法。
  7. フィルタ特性算出部と、フィルタ部と、収音環境検出部と、フィルタ制御部とを備えた情報処理装置における情報処理方法をコンピュータに実行させるためのプログラムであって、
    前記フィルタ特性算出部が、収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出する第1の工程と、
    前記フィルタ部が、前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去する第2の工程と、
    前記収音環境検出部が、センサ情報に基づいて前記音声の収音環境を検出する第3の工程と、
    前記フィルタ制御部が、起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定する第4の工程と、
    を備え、
    前記第4の工程において、前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定する情報処理方法をコンピュータに実行させるためのプログラム。
  8. フィルタ特性算出部と、フィルタ部と、収音環境検出部と、フィルタ制御部とを備えた情報処理装置における情報処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータによって読み取り可能な非一過性の記録媒体であって、
    前記フィルタ特性算出部が、収音した音声に基づいて前記音声から雑音を除去するためのフィルタ特性を算出する第1の工程と、
    前記フィルタ部が、前記フィルタ特性算出部によって算出された前記フィルタ特性に基づいて、収音した音声から雑音を除去する第2の工程と、
    前記収音環境検出部が、センサ情報に基づいて前記音声の収音環境を検出する第3の工程と、
    前記フィルタ制御部が、起動時を除く期間では、前記フィルタ特性算出部で算出された前記フィルタ特性を前記フィルタ部に設定する第4の工程と、
    を備え、
    前記第4の工程において、前記フィルタ制御部は、起動時のみにおいて、前記収音環境を取得し、該起動時の収音環境と、あらかじめ前記フィルタ特性算出部が算出した前記フィルタ特性と前記収音環境とを紐づけて格納しているフィルタテーブルと、に基づいて、前記フィルタ部に前記フィルタ特性を設定する情報処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
JP2023556447A 2021-10-27 2022-10-25 情報処理装置、情報処理方法、プログラムおよび記録媒体 Active JP7724305B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021175852 2021-10-27
JP2021175852 2021-10-27
PCT/JP2022/039616 WO2023074654A1 (ja) 2021-10-27 2022-10-25 情報処理装置、情報処理方法、プログラムおよび記録媒体

Publications (3)

Publication Number Publication Date
JPWO2023074654A1 JPWO2023074654A1 (ja) 2023-05-04
JPWO2023074654A5 JPWO2023074654A5 (ja) 2024-05-20
JP7724305B2 true JP7724305B2 (ja) 2025-08-15

Family

ID=86157804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023556447A Active JP7724305B2 (ja) 2021-10-27 2022-10-25 情報処理装置、情報処理方法、プログラムおよび記録媒体

Country Status (2)

Country Link
JP (1) JP7724305B2 (ja)
WO (1) WO2023074654A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002358A1 (ja) 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017138416A (ja) 2016-02-02 2017-08-10 キヤノン株式会社 音声処理装置および音声処理方法
JP2018191145A (ja) 2017-05-08 2018-11-29 オリンパス株式会社 収音装置、収音方法、収音プログラム及びディクテーション方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039267A (ja) * 2004-07-28 2006-02-09 Nissan Motor Co Ltd 音声入力装置
JP4561222B2 (ja) * 2004-07-30 2010-10-13 日産自動車株式会社 音声入力装置
JP2016042132A (ja) * 2014-08-18 2016-03-31 ソニー株式会社 音声処理装置、音声処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002358A1 (ja) 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017138416A (ja) 2016-02-02 2017-08-10 キヤノン株式会社 音声処理装置および音声処理方法
JP2018191145A (ja) 2017-05-08 2018-11-29 オリンパス株式会社 収音装置、収音方法、収音プログラム及びディクテーション方法

Also Published As

Publication number Publication date
WO2023074654A1 (ja) 2023-05-04
JPWO2023074654A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
US20100204987A1 (en) In-vehicle speech recognition device
JP6627361B2 (ja) 運転情報記録装置、運転情報再生装置、制御装置、運転情報記録方法、及び運転情報記録プログラム
CN112397065A (zh) 语音交互方法、装置、计算机可读存储介质及电子设备
WO2017081960A1 (ja) 音声認識制御システム
JP2001106123A (ja) 移動体情報記録装置
JP2007019595A (ja) 車載オーディオ処理装置
CN114084144B (zh) 用于结合驾驶环境确定驾驶员情绪的方法和系统
US10933860B2 (en) Method and device for operating a hybrid vehicle comprising an electric energy store, an electric motor and an internal combustion engine
US10654468B2 (en) Method and device for operating a hybrid vehicle comprising an electric energy store, and electric motor and an internal combustion engine
JP2012025270A (ja) 車両用の音量制御装置および音量制御装置用のプログラム
EP1575163A3 (en) Automobile audio system and signal processing method therefor
CN114724564A (zh) 语音处理方法、装置和系统
JP2019092077A (ja) 記録制御装置、記録制御方法およびプログラム
CN106931989A (zh) 一种智能调节导航音量的方法及其导航装置
CN108564945B (zh) 车载语音控制方法与装置,以及电子设备与存储介质
JP7724305B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP2013086754A (ja) 音響装置
CN110525450B (zh) 一种调节车载语音灵敏度的方法及系统
CN115083404A (zh) 一种车载语音降噪方法、装置、电子设备及存储介质
JP7240116B2 (ja) 乗物の音声システム及び音声出力方法
JPH11352987A (ja) 音声認識装置
EP1531605A1 (en) Method and system for noise reduction of a sound signal
JP2000321080A (ja) 雑音抑圧装置,音声認識装置及び車両用ナビゲーション装置
WO2023074655A1 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP7225952B2 (ja) 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250804

R150 Certificate of patent or registration of utility model

Ref document number: 7724305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150