JP7680611B2 - アクティブノイズ低減デバイスのための計算アーキテクチャ - Google Patents

Description

（優先権の主張）
本出願は、２０２０年２月１２日に出願された米国特許出願第１６／７８８，３６５号に対する優先権を主張し、この特許出願は、その全体が参照により本明細書に組み込まれる。

（発明の分野）
本開示は、概して、個人用アクティブノイズ低減（ＡＮＲ）デバイスに関する。より具体的には、本開示は、異なるＡＮＲ処理機能を効率的に処理するための計算アーキテクチャに関する。

ユーザの耳を不要な環境音から隔離する目的で、ユーザの耳の周りに装着される個人用ＡＮＲデバイスのヘッドホン及び他の物理的構成が一般的になっている。ＡＮＲヘッドホンは、ノイズ防止信号のアクティブな生成によって不要な環境ノイズに対抗する。これらのＡＮＲヘッドホンは、ユーザの耳を環境ノイズから物理的に隔離するだけのパッシブノイズ低減（ＰＮＲ）ヘッドセットとは対照的である。ユーザにとって特に関心が高いのは、音声リスニング機能を組み込むことによって、不要な環境ノイズを侵入させずに、ユーザが電子的に提供された音声（例えば、録音された音声又は別のデバイスから受信された音声の再生）を聴くことを可能にするＡＮＲヘッドホンである。

ＡＮＲデバイスがより普及するにつれて、性能を高め、より堅牢な特徴を追加する需要が、より複雑な計算要件の必要性を高める。例えば、最先端の信号処理を提供することに加えて、ＡＮＲデバイスには、強化された特徴、例えば、複数のＩ／Ｏポート（例えば、ブルートゥース、ＵＳＢなど）、高品質の電話サービス、ノイズレベル制御管理、イベント処理、ユーザ体験コマンド処理などを提供するタスクが課せられる。計算要件の増加と共に、より複雑なハードウェアがＡＮＲデバイスに追加されるため、コスト及び電力消費の両方が増加する。

下記で言及される全ての例及び特徴は、任意の技術的に可能な方式で組み合わせることができる。

ＡＮＲデバイスの異なるＡＮＲ処理機能を効率的に処理するための計算アーキテクチャを説明するシステム及び方法が開示される。

いくつかの実装形態では、記載される計算アーキテクチャは少なくとも３つの別個のプロセッサを含み、各プロセッサが個々のプロセッサに適した計算機能のセットを実行するように構成されている。このような場合、アーキテクチャは、タスクの要件（例えば、優先度、速度、メモリリソース）と整合するプロセッサによって、様々なタイプの要求される機能を処理することを可能にする。異なるプロセッサの間で機能を分割することにより、計算効率が得られ、消費電力が低減される。

一態様は、個人用アクティブノイズ低減（ＡＮＲ）デバイスであって、ソース音声ストリーム及び制御信号を受信するように構成された通信インターフェースと、ドライバと、マイクロホンシステムと、ＡＮＲ計算アーキテクチャと、を含む、ＡＮＲデバイスを提供する。

特定の実装形態では、ＡＮＲ計算アーキテクチャは、マイクロホンシステムからソース音声ストリーム及び信号を受信するように構成された第１のＤＳＰプロセッサであって、第１のＤＳＰプロセッサに導入された動作パラメータのセットに従って、ソース音声ストリーム上でＡＮＲを実行し、処理された音声ストリームをドライバに出力する、第１のＤＳＰプロセッサと、ソース音声ストリーム、マイクロホンシステムからの信号、及び処理された音声ストリームのうちの少なくとも１つの分析に応答して状態データを生成し、第１のＤＳＰプロセッサ上で動作パラメータのセットを変更する第２のＤＳＰプロセッサと、第１のＤＳＰプロセッサ及び第２のＤＳＰプロセッサに動作可能に結合された汎用プロセッサであって、通信インターフェースと制御信号を通信し、第２のＤＳＰプロセッサからの状態データを処理し、第１のＤＳＰプロセッサ上の動作パラメータセットを変更するように構成されている、汎用プロセッサと、を含む。

実装形態は、以下の特徴のうちの１つ、又はそれらの任意の組み合わせを含み得る。

特定の態様では、動作パラメータは、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される。

他の態様では、第２のＤＳＰプロセッサによって生成された状態データは、処理された音声ストリームで検出されたエラー状況を含む。

更なる態様では、第２のＤＳＰプロセッサによって生成された状態データは、処理された音声ストリームで検出された周波数領域過負荷状況を含む。

いくつかの実装形態では、第２のＤＳＰによって生成された状態データは、マイクロホンシステム及び処理された音声ストリームから検出された音圧レベル（ＳＰＬ）情報を含む。

更なる実装形態では、通信インターフェースは、ブルートゥースシステムを含む。

特定の場合では、汎用プロセッサは、電力を節約するためのスリープモードを含み、スリープモードは、第１のＤＳＰプロセッサ、第２のＤＳＰプロセッサ、及び通信インターフェースのうちの少なくとも１つによって起動されるように構成されている。

特定の態様では、汎用プロセッサは、第２のＤＳＰプロセッサから受信した状態データに機械学習を適用するように更に構成されている。

特定の実装形態では、汎用プロセッサは、時間ベースの信号に機械学習を適用するように更に構成されている。場合によっては、時間ベースの信号は、マイクロホンシステムから、及び／又はブルートゥースシステムを介して受信した生の音声データのブロックを含む。

他の態様では、動作パラメータは、フィルタ係数を含み、汎用プロセッサは、第１のＤＳＰプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている。

場合によっては、汎用プロセッサは、状態データを評価して、個人用ＡＮＲの損傷状態を特定するように更に構成されている。

本概要の項に記載される特徴を含む、本開示に記載される特徴の２つ以上は、特に本明細書に記載されない実装形態を形成するために組み合わされ得る。

１つ以上の実装形態の詳細が、添付図面及び以下の説明において述べられる。他の特徴、目的、及び利点は、本説明及び図面から、並びに特許請求の範囲から明らかになるであろう。

様々な実装形態による階層計算アーキテクチャを有するＡＮＲデバイスのブロック図である。 様々な実装形態による計算アーキテクチャの詳細図を示す。 様々な実装による例示的な個人用ＡＮＲウェアラブルを示す。

様々な実装形態の図面は必ずしも縮尺どおりではないことに留意されたい。図面は、本開示の典型的な態様のみを示すことを意図するものであり、したがって、実装の範囲を限定するものと見なされるべきではない。図面において、同様の番号付けは、図面間の同様の要素を表す。

本開示の様々な実装形態は、それぞれが個々のプロセッサに適した一組の計算機能を実行するように構成された少なくとも３つの別個のプロセッサを含む、アクティブノイズ低減（ＡＮＲ）デバイスのための計算アーキテクチャを記載する。したがって、アーキテクチャは、要求される各機能が、タスクの要件（例えば、優先度、速度、メモリリソース）と整合するプロセッサによって処理されることを可能にする。異なるプロセッサの間で機能を分割することにより、計算効率が得られ、電力消費が低減され得る。

本開示は、ＡＮＲを採用するヘッドホンなどのデバイスのアーキテクチャを提供するが、ＡＮＲの網羅的な説明は、簡潔化のために省略される。必要に応じて、例示的なＡＮＲシステムは、例えば、２０１２年１０月２日にＪｏｈｏ ｅｔ ａｌ．に対して発行された「Ｂｉｎａｕｒａｌ Ｆｅｅｄｆｏｒｗａｒｄ－ｂａｓｅｄ ＡＮＲ」と題された米国特許第８，２８０，０６６号、及び２０１２年５月２２日にＣａｒｒｅｒａｓ ｅｔ ａｌ．に対して発行された「ＡＮＲ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｏｐｏｌｏｇｙ」と題された米国特許第８，１８４，８２２号に記載されており、これらの両特許の内容は、参照により本明細書に組み込まれる。

本明細書に開示される解決策は、多種多様な個人用ＡＮＲデバイス、すなわち、ユーザの少なくとも一方の耳の近くでユーザによって少なくとも部分的に装着されて、少なくとも一方の耳に対するＡＮＲ機能を提供するように構造化されたデバイスに適用可能であることが意図される。個人用ＡＮＲデバイスの様々な特定の実装形態は、ヘッドホン、双方向通信ヘッドセット、イヤホン、イヤバッド、音声眼鏡、無線ヘッドセット（「イヤセット」としても知られる）、及びイヤプロテクタを含むことができるが、特定の実装形態の提示は、実施例の使用による理解を容易にすることを意図しており、本開示の範囲又は請求範囲の範囲を限定するものとして解釈されるべきではないことに留意されたい。

更に、本明細書に開示される解決策は、双方向音声通信、一方向音声通信（すなわち、別のデバイスによって電子的に提供される音声の音響出力）、又は通信なしを提供する個人用ＡＮＲデバイスに適用可能である。更に、本明細書に開示されることは、他のデバイスに無線で接続される、電気的及び／又は光学的に導電性のケーブルを介して他のデバイスに接続される、又はいずれの他のデバイスにも接続されていない個人用ＡＮＲデバイスに適用可能である。これらの教示は、１つ又は２つのイヤピース付きヘッドホン、オーバーヘッドヘッドホン、ビハインドネックヘッドホン、通信マイクロホン（例えば、ブームマイクロホン）付きヘッドセット、無線ヘッドセット（すなわち、ヘッドセット）、音声眼鏡、単独イヤホン若しくは一対のイヤホンだけでなく、帽子、ヘルメット、衣服、又は１つ又は２つのイヤピースを組み込んで音声通信及び／又は耳保護を可能にする任意の物理的構造を含むが、それらに限定されない、ユーザの片耳又は両耳のいずれかの近くに着用されるように構成された物理的構造を有する個人用ＡＮＲデバイスに適用可能である。

個人用ＡＮＲデバイス以外では、本明細書に開示及び請求されることは、電話ボックスや自動車のキャビンなどを含むがそれらに限定されない、人物が座る又は立つことができる比較的小さな空間におけるＡＮＲの提供にも適用可能であることを意味する。

図１は、個人用ＡＮＲデバイス１０のブロック図であり、個人用ＡＮＲデバイスは、一実施例では、ユーザによって着用されて、ユーザの少なくとも一方の耳の近くでアクティブノイズ低減（ＡＮＲ）を提供するように構成され得る。個人用ＡＮＲデバイス１０は、ユーザの片耳のみにＡＮＲを提供するために単一のイヤピースを組み込んだ構成、ユーザの両耳にＡＮＲを提供するための一対のイヤピースを組み込んだ他の構成、ユーザの周囲の環境にＡＮＲを提供するために１つ以上のスタンドアロンスピーカを組み込んだ他の構成など、いくつかの物理的構成のうちの任意の構成を有し得る。しかしながら、説明を簡単にするために、単一のデバイス１０のみが図１に関連して図示及び説明されることに留意されたい。更に詳細に説明されるように、個人用ＡＮＲデバイス１０は、通過音声を更に提供できることに加えて、フィードバックベースのＡＮＲ及びフィードフォワードベースのＡＮＲのいずれか又は両方を提供し得る機能を組み込む。

図１の例示的な実施形態では、ＡＮＲデバイス１０は、スマートホン、ウェアラブルスマートデバイス、ラップトップ、タブレット、サーバなどの音声ゲートウェイデバイス（又は単にゲートウェイデバイス）３０との通信を提供する無線通信インターフェース、この場合、ブルートゥースシステム１２を含む。ブルートゥースシステム１２は、例えば、ブルートゥースシステムオンチップ（ＳｏＣ）、ブルートゥース低エネルギー（ＢＬＥ）モジュールとして、又は任意の他の方法で実装され得る。ＡＮＲデバイス１０は、ブルートゥースシステム１２を使用して、無線通信を提供するように示されているが、その代わりに任意のタイプの無線技術（例えば、Ｗｉ－Ｆｉダイレクト、携帯電話など）で使用することができることに留意されたい。ＡＮＲデバイス１０との通信はまた、ブルートゥースシステム１２とインターフェースする第１のユニバーサルシリアルバス（ＵＳＢ）ポート１６、及び／又は汎用（ＧＰ）プロセッサ２４とインターフェースする第２のＵＳＢポート１８を介して行われ得る。ＧＰプロセッサ２４は、ＡＮＲデバイス１０に実装された少なくとも３つのプロセッサのうちの１つであり、他のプロセッサは、第１のデジタル信号処理（ＤＳＰ）プロセッサ２０及び第２のＤＳＰプロセッサ２２であり、その２つは、ＤＳＰシステム１４を形成する。

典型的な用途では、ソース音声ストリーム３２は、ゲートウェイデバイス３０からブルートゥースシステム１２を介して受信され、ＤＳＰシステム１４に送られ、そこで第１のＤＳＰプロセッサ２０が、ＡＮＲを実行し、処理された音声ストリーム３４を生成し、次いで、音響ドライバ２６（すなわち、スピーカ）を介して配信される。マイクロホンシステム２８は、ＤＳＰシステム１４に提供される環境ノイズ音を捕捉し、例えば、ＡＮＲのためのノイズ防止音を生成する参照信号を提供する。例えば、捕捉された音を使用して、ノイズ防止信号が、周囲環境内の望ましくないノイズ音と音響的に相互作用するように計算された振幅及び時間シフトで、音響ドライバ２６によって計算され出力される。マイクロホンシステム２８はまた、電話アプリケーションなどで、出力音声ストリーム３６を介してブルートゥースシステム１２に、次いでゲートウェイデバイス３０に通信することができるユーザの声を捕捉するために使用され得る。マイクロホンシステム２８内の個々のマイクロホンの数及び位置は、ＡＮＲデバイス１０の特定の要件に依存することが理解される。更に、上述したように、ゲートウェイデバイス３０と通信するためにブルートゥースシステム１２を使用するのではなく、任意のタイプの通信インターフェース、例えば、ＵＳＢポート１６、１８、又は他の通信ポート及びプロトコル（図示せず）を実装することができる。

音声ストリームに加えて、制御信号４０はまた、ゲートウェイデバイス３０とＧＰプロセッサ２４との間で通信され得る。制御信号４０は、例えば、（例えば、制御可能なノイズキャンセル（ＣＮＣ）レベルを更新するための）ゲートウェイデバイス３０からのデータパケット、（例えば、一対のイヤバッド間の調整を提供するための）ゲートウェイデバイス３０に通信されるＡＮＲデバイス生成データパケット、（例えば、次の曲にスキップ、電話に出る、ＣＮＣレベルを設定するなどのための）ユーザ生成制御信号を含むことができる。更に、本明細書で更に詳細に説明されるように、ＧＰプロセッサ２４は、ゲートウェイデバイス３０及び／又はクラウドプラットフォーム３１などのリモートサービスに報告され得るフィードバック４２（例えば、製品使用特性、故障検出など）を生成することができる。フィードバック４２は、例えば、ＡＮＲデバイス１０がどのように使用されるかに関する詳細を提供する、エラー状況を報告するなどによって、ユーザ体験を強化するために使用され得る。

ＡＮＲデバイス１０は、概して、簡潔化のために省略されている、例えば、電源、ＧＵＩ及び／又はＬＥＤインジケータなどの視覚的入力／出力、触覚入力／出力、電力及び制御スイッチ、追加のメモリ、容量入力、センサなどを含む追加の構成要素を含む。

前述のように、ＡＮＲデバイス１０の計算アーキテクチャは、ＡＮＲデバイス１０に関連付けられた機能を実施するためのモジュール式の階層動作プラットフォームを提供する少なくとも３つの別個のプロセッサを利用する。このアーキテクチャを使用して、各プロセッサの処理能力は、システムの効率を高めるために特定のタスクと整合される。一般に、第１のＤＳＰプロセッサ２０は、音声ストリーム３２にアクティブノイズ低減を提供するように設計されたコアＡＮＲアルゴリズム５０のセットを提供する。第２のＤＳＰプロセッサ２２は、ＡＮＲ動作を分析し、動作特性、故障などの状態データを提供し、ＡＮＲデバイス１０内の任意の利用可能な信号に応答してＡＮＲアルゴリズム５０内のパラメータを自動的に調節するように設計された信号分析（ＳＡ）アルゴリズム５２のセットを提供し、ＧＰプロセッサ２４は、ユーザコントロールの管理、Ｉ／Ｏ処理の提供、ＤＳＰシステム１４によって生成されたイベントの処理などの高レベル機能５４のセットを提供する。

図２は、プロセッサ階層及び特性をより詳細に示す。この例示的な実施形態では、第１のＤＳＰプロセッサ２０及び第２のＤＳＰプロセッサ２２の両方が、ＧＰプロセッサ２４、マイクロホンシステム２８、音声ストリームなどにアクセスするように共通バス２１を共有する。本明細書に記載されるように、第１のＤＳＰプロセッサ２０は、例えば、フィードバックループ処理、補償処理、フィードフォワードループ処理、及び音声等化を含む、入力された音声ストリーム３２（図１）を処理するコアＡＮＲアルゴリズム５０のセットを含む。コアＡＮＲアルゴリズム５０は、例えば、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、信号ルーティングオプションなどを指示する動作ＡＮＲパラメータを含むことができる。コアＡＮＲアルゴリズム５０は、一般に、ストリーム処理優先であり、高レベルのプロセッサ性能を必要とするが、複雑さが比較的低いプロセスとして特徴付けられ得る。特に、コアＡＮＲアルゴリズム５０によって実行される機能は、最小限の量の処理オプション及び記憶要件で非常に迅速に動作することが意図されている。これらのタイプのストリーム処理機能の場合、例えば、１～１０マイクロ秒程度の非常に短い待ち時間しか必要としない。更に、第１のＤＳＰプロセッサ２０は、コアＡＮＲ機能を提供するため、ＡＮＲデバイス１０が動作中である限り、第１のＤＳＰプロセッサ２０は、連続的に電力供給されなければならない。したがって、第１のＤＳＰプロセッサ２０は、可能な限り少ない電力を使用して、ＡＮＲアルゴリズム５０の計算を実行するように調整される。

第２のＤＳＰプロセッサ２２は、ＡＮＲ処理を直接提供しないが、代わりに信号を分析し、例えば、ＡＮＲデバイス１０内の信号を特徴付ける状態データを生成する信号分析アルゴリズム５２のセットを含み、ＡＮＲ処理は第１のＤＳＰプロセッサ２０によって実行される。状態データは、例えば、故障情報、不安定性検出、性能特性、エラー状況、周波数領域過負荷状況、音圧レベル（ＳＰＬ）情報などを含み得る。信号分析アルゴリズム５２は、閾値及び規則を用い得る異なるタイプの分析を実行する。例えば、一連の周波数特性が予想範囲から逸脱する場合、故障をトリガして、対応する「イベント」をＧＰプロセッサ２４に出力し、次いで、是正措置を講じることができる。

信号を分析するように適合された任意のプロセスは、第２のＤＳＰプロセッサ２２に配備することができる。非限定的な例示的な信号分析アルゴリズム５２は、例えば、２０１９年３月２６日に発行された「Ｒｅａｌ－ｔｉｍｅ ｄｅｔｅｃｔｉｏｎ ｏｆ ｆｅｅｄｂａｃｋ ｉｎｓｔａｂｉｌｉｔｙ」と題された（例えば、不安定性検出を説明する）米国特許第１０，２４４，３０６号、「Ｐａｒａｌｌｅｌ Ｃｏｍｐｅｎｓａｔｉｏｎ ｉｎ Ａｃｔｉｖｅ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ Ｄｅｖｉｃｅｓ」と題された米国特許出願公開第２０１８／０２８６３７４号、「Ａｃｔｉｖｅ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ Ｄｅｖｉｃｅｓ」と題された米国特許出願公開第２０１８／０２８６３７３号「Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ ｉｎ Ａｃｔｉｖｅ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ（ＡＮＲ）Ｓｉｇｎａｌ Ｆｌｏｗ Ｐａｔｈ」と題された（例えば、過負荷状況を説明する）米国特許出願公開第２０１８／０２８６３７５号、「Ｃｏｍｐｒｅｓｓｉｖｅ Ｈｅａｒ－ｔｈｒｏｕｇｈ ｉｎ Ｐｅｒｓｏｎａｌ Ａｃｏｕｓｔｉｃ Ｄｅｖｉｃｅｓ」と題された（例えば、耳での最大音量を生成するＡＮＲの制御を説明する）米国特許出願公開第２０１９／０１３０９２８号に記載されており、その全体が参照により本明細書に組み込まれる。

本明細書に記載されるように、第２のＤＳＰプロセッサ２２はまた、第１のＤＳＰプロセッサ２０の動作（すなわち、ＡＮＲ）パラメータを直接変更することができる。例えば、特定の場合では、信号分析アルゴリズム５２は、ＡＮＲパラメータ（すなわち、コアＡＮＲアルゴリズム５０内）を自動的に調節して、アルゴリズム５０、５２から、ＧＰプロセッサ２４から、マイクロホン２８のいずれかから、入力音声ストリーム３２から、及び／又は制御信号４０から捕捉した内部信号に基づいて、所望の体験を達成するように導入される。例えば、特定の実装形態では、ＡＮＲパラメータは、マイクロホン（複数可）２８によって受信される外部音圧レベル（ＳＰＬ）特性などのアルゴリズム５２によって監視される外部信号を使用して調節される。

第２のＤＳＰプロセッサ２２は、コアＡＮＲサービスを直接実施しないため、比較的少ない量の性能が必要であるが、比較的大きい量の計算の複雑さが提供される。例えば、特定の場合において、第２のＤＳＰプロセッサ２２によって実行されるタスクは、例えば、約１００マイクロ秒～１０ミリ秒のより長い待ち時間を許容し得る。第１のＤＳＰプロセッサ２０と同様に、デバイス１０の動作中、第２のＤＳＰプロセッサにも連続的に電力が供給される。特定の実装形態では、第２のＤＳＰプロセッサ２２は、ストリーム及びブロック処理の両方を実行するように構成され、有効に分析タスクを実行するための中程度の量のデータストレージ及びプログラミング性を含む。

ＧＰプロセッサ２４は、第１のＤＳＰプロセッサ２０によって実行されるＡＮＲ処理から更に１レベル取り除かれた高レベル機能５４のセットを含む。ＧＰプロセッサ２４によって実施される特定の機能５４は、ＡＮＲデバイス１０の要件に依存し得る。例示的な機能のセットを図２に示す。特定の例示的な実装形態では、通信アルゴリズム５６は、Ｉ／Ｏ及びコマンド処理機能を処理する。場合によっては、通信アルゴリズム５６は、異なる通信プロトコル（例えば、ＵＳＢ対ブルートゥース）を共通のプロトコルに変換するための統一メッセージングインターフェースを含む。統一メッセージングインターフェースは、コマンドを解釈するためのコマンドを単一の位置（すなわち、ＧＰプロセッサ２４）に記憶及び実装することを可能にし、したがって、全てのコマンドを処理のためにＧＰプロセッサ２４にルーティングすることを可能にする。

ＧＰプロセッサ２４には、一般に、より多くかつより複雑な計算を扱うタスクが課せられる。いくつかの実装形態では、ＧＰプロセッサ２４は、製品が頭部にどのようにフィットするかに基づいて、個々のユーザに対してカスタマイズされた「ワンタイム」フィルタ係数を計算する。特定の実装形態では、ユーザ体験アルゴリズム６４は、例えば、制御信号４０及びフィードバック４２に基づいてユーザのフィット性を分析し、通信アルゴリズム５６は、フィッティングアルゴリズムに応答してデバイス１０のフィット性を調節するようにユーザに通知する。

様々な実装形態では、ＧＰプロセッサ２４は、ＤＳＰシステム１４から受信したイベントに応答して、又はゲートウェイデバイス３０から受信した制御信号４０に応答して、第１のＤＳＰプロセッサ２０の動作パラメータを更新するＡＮＲ制御アルゴリズム５８を更に含む（図１）。場合によっては、制御アルゴリズム５８は、ＣＮＣ（制御可能なノイズキャンセル）特徴などを実装する。

前述のように、ＧＰプロセッサ２４は、例えば、米国特許第１０，２４４，３０６号（参照により本明細書に予め組み込まれる）に記載されている技術を使用して検出される不安定性又はいくつかの他の問題を示す「イベント」を、第２のＤＳＰプロセッサ２２から受信し得る。１つ以上の受信されたイベントに基づいて不安定性を軽減するために即座の変更が必要とされる場合、第２のＤＳＰプロセッサ２２は、典型的には、第１のＤＳＰプロセッサ２０内のＡＮＲパラメータを変更する役割を担う。即座の変更が必要であるかどうかに関係なく、ＧＰプロセッサ２４は、イベントがローカルメモリで生成されたイベントを記録し、ブルートゥースシステム１２を介してイベント（複数可）を報告することができる（図１）。

一連のイベントを収集した後、ＧＰプロセッサ２４は、そのアルゴリズムのうちの１つ以上を利用して、状況を特定する、及び／又は状況に対処することができる。例えば、複数の不安定性イベントが検出される場合、システム健全性アルゴリズム６２は、より重度の問題が存在するかどうか（例えば、ＡＮＲデバイス１０の動作不良）を判定するために導入される。動作不良が特定される場合、システム健全性アルゴリズム６２は、動作不良を特徴付けるように構成され、動作不良の性質に基づいて、システム健全性アルゴリズム６２は、ＤＳＰプロセッサ２０でＡＮＲパラメータ変更を直接開始する。他の場合には、システム健全性アルゴリズム６２は、イベントデータを分析する、ゲートウェイデバイス３０へ分析を報告する、機械学習を適用して動作不良の原因を判定するなどの他の動作を行う。記載されるように、ＡＮＲデバイス１０の損傷状況は、ＡＮＲデバイス１０が動作不良であることをデバイスユーザ（又は別のユーザ）に通知するために、ゲートウェイデバイス３０に報告される。

一例として、例えば、米国特許第１０，２４４，３０６号（参照により本明細書に予め組み込まれる）に記載されている技術を使用して、不安定性イベントが検出される場合、ＧＰプロセッサ２４は、イベントを記録する。検出された不安定性イベントの数が所定の閾値を超える場合、ＧＰプロセッサ２４は、デバイス１０が動作不良であるらしいという通知を（例えば、デバイスユーザ又は別のユーザに）提供するように構成されている。同様に、ユーザの頭部に製品がどのようにフィットするかに基づいて、個々のユーザに対してカスタマイズされたフィルタ係数を計算するときに測定されたデータが異常（例えば、フィードバック対フィードフォワードマイクロホン信号の予期せぬ差によって特徴付けられる不良なフィット性）を示す場合、ＧＰプロセッサ２４は、例えば、フィット性のために、ユーザにデバイスを調節するように指示するフィードバックを提供する。

他の場合、調整アルゴリズム６０は、一対のイヤホン（例えば、イヤバッド、オーバーイヤ音声デバイスなど）間の性能を調整するように導入される。例えば、第１のイヤホンが（例えば、検出された障害に起因して）低ＡＮＲ性能レベルで動作していることを検出したことに応答して、調整アルゴリズム６０は、第２のイヤホンに第１のイヤホンのＡＮＲ性能レベルを一致させて、性能の不一致を回避し、より良好なユーザ体験を確保する。

様々な実施形態では、ユーザ体験アルゴリズム６４は、音量、等化などのユーザ制御を提供し、電話、音楽聴取などの異なる動作モードを実装するために導入される。ユーザ体験アルゴリズム６４は、センサデータを分析して、ＡＮＲデバイス１０を自動的に制御する（例えば、飛行機に乗っているときに特別な設定を提供する）、遠隔で分析することができるフィードバックを収集し提供する、などのために実装することができる。他の場合には、アルゴリズム６４は、ＡＮＲデバイス１０が十分にフィットしていない（例えば、ユーザの外耳道との適切な封止が検出されない）という状態データに応答し、（例えば、デバイスユーザ又は別のユーザに）警告を出力する。

追加の実装形態では、ＧＰプロセッサ２４は、機械学習モデル又はイベント分類器を実装するように構成されている。いくつかの実施例では、ＧＰプロセッサ２４は、第２のＤＳＰプロセッサ２２から受信された状態データに機械学習を適用するように構成されている。より具体的な実施例では、ＧＰプロセッサ２４は、第２のＤＳＰプロセッサ２２から受信した状態データに、及び生の音声データのブロックなどの時間ベースの信号に機械学習を適用するように構成されている。場合によっては、時間ベースの信号（生又は未処理の音声データを含むことができる）は、（例えば、音声ストリーム３２として）マイクロホンシステム２８及び／又はブルートゥースシステム１２を介して受信される。信号処理を伴う例示的な機械学習技術は、２０１９年５月２９日に出願された「Ａｕｔｏｍａｔｉｃ Ａｃｔｉｖｅ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ（ＡＮＲ）Ｃｏｎｔｒｏｌ」と題された米国特許出願第１６／４２５，５５０号、及び２０１９年１１月２１日に出願された「Ａｃｔｉｖｅ Ｔｒａｎｓｉｔ Ｖｅｈｉｃｌｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」と題された米国特許出願第１６／６９０，６７５号に記載されており、その全文を参照により本明細書に組み込む。

更なる実装形態では、ＧＰプロセッサ２４上の様々な機能５４をインスタンス化するために、軽量オペレーティングシステム（ＯＳ）及び／又は機能ライブラリ６６を実装することができ、これにより、アルゴリズム及びルーチンを容易にアクセス、追加、及び除去することができ、ソフトウェアの更新を実行することができ、ストレージへのアクセスを提供し、より高いレベルのスクリプト及び／又はプログラミング言語などの使用を提供する。

ＧＰプロセッサ２４は、任意の時間制約型信号処理サービスを実行しないため、ＧＰプロセッサ２４は、比較的低い性能で実装することができるが、広範な機能を提供するために比較的多量の計算複雑性を必要とする。待ち時間は、機能を実行するとき、例えば、約１００ミリ秒～１０秒と比較的高くなる可能性がある。更に、その機能性は常に必要であるとは限らないため、ＧＰプロセッサ２４は、必要でない場合（例えば、イベントが検出されない場合、又は分析を必要とする場合）低電力モード又はスリープモードに置かれるように構成される。スリープモードは、第１のＤＳＰプロセッサ２０、第２のＤＳＰプロセッサ２２、及び／又は通信インターフェースのうちの１つから受信された制御信号のうちの少なくとも１つによって起動されるように構成される。一般に、ＧＰプロセッサ２４は、任意のストリーム処理を処理する必要はなく、標準的なメモリ構成を使用してブロックとしてデータを処理する。データストレージは、例えば、必要に応じて、内部ストレージ及び／又はフラッシュドライブを使用して実装することができる。

図３は、図１のＡＮＲデバイス１０を含む例示的なウェアラブル音声デバイス７０の概略図である。この実施例では、ウェアラブル音声デバイス７０は、２つのイヤホン（例えば、「イヤバッド」とも呼ばれるインイヤヘッドホン）７２、７４を含む音声ヘッドセットである。イヤホン７２、７４は、「真の」無線構成（すなわち、イヤホン７２、７４間のテザリングなし）で示されているが、追加の実装形態では、音声ヘッドセット７０は、テザリングされた無線構成（それによって、イヤホン７２、７４は、無線接続で電話線を介して再生デバイス接続される）、又は有線構成（それによって、イヤホン７２、７４のうちの少なくとも１つは、再生デバイスへの有線接続を有する）を含む。図示される各イヤホン７２、７４は、１つ以上のプラスチック又は複合材料で形成されたケーシングを含むことができる本体７６を含む。本体７６は、ユーザの外耳道入口に挿入するためのノズル７８と、ユーザの耳内の静止位置にノズル７８を保持するための支持部材８０と、を含むことができる。各イヤホン７２、７４は、本明細書に記載の様々な機能の一部又は全部を実施するためのＡＮＲデバイス１０を含む。他のウェアラブルデバイス形態は、同様に、アラウンドイヤ型ヘッドホン、音声眼鏡、オープンイヤ音声デバイスなどのアナログデバイス１０を用いて実装することができる。

ＡＮＲデバイス１０の機能の１つ以上は、ハードウェア及び／又はソフトウェアとして実装されてもよく、各種構成要素は、任意の従来の手段（例えば、有線及び／又は無線接続）によって構成要素を接続する通信経路を含んでもよいと理解される。例えば、１つ以上の非揮発性デバイス（例えば、フラッシュメモリデバイス（複数可）などの集中型又は分散型デバイス）は、ＡＮＲデバイス１０内の１つ以上のシステム（例えば、ブルートゥースシステム１２、ＤＳＰシステム１４、ＧＰ２４など）のプログラム、アルゴリズム、及び／又はパラメータを記憶及び／又は実行することができる。また、本明細書に記載される機能性又はその部分、及びその様々な修正（以下「機能」）は、少なくとも部分的にコンピュータプログラム製品（例えば、１つ以上のデータ処理装置（例えば、プログラム可能プロセッサ、コンピュータ、複数のコンピュータ、及び／又はプログラム可能論理構成要素など）の動作による実行のための、又はその動作を制御するための、１つ以上の非一時的機械可読媒体などの情報担体において有形に具現化されたコンピュータプログラム）を介して実装され得る。

コンピュータプログラムは、コンパイラ型言語又はインタープリタ型言語を含む任意の形態のプログラム言語で書くことができ、それは、スタンドアローンプログラムとして、又はコンピューティング環境での使用に好適なモジュール、構成要素、サブルーチン、若しくは他のユニットとして含む任意の形態で配備され得る。コンピュータプログラムは、１つのコンピュータ上で、若しくは１つのサイトにおける複数のコンピュータ上で実行されるように配備されるか、又は複数のサイトにわたって配信されて、ネットワークによって相互接続され得る。

機能の全部又は一部を実行することに関連付けられたアクションは、機能を実施するために１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実施され得る。機能の全部又は一部は、特殊目的論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）及び／又はＡＳＩＣ（特定用途向け集積回路）として実装され得る。コンピュータプログラムの実行に好適なプロセッサとしてはまた、例として、一般的及び特殊目的マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、又はそれらの両方から命令及びデータを受信し得る。コンピュータの構成要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための１つ以上のメモリデバイスを含む。

更に、本明細書に記載の機能の全て又は一部を実装することに関連付けられたアクションは、１つ以上のネットワーク化されたコンピューティングデバイスによって実行され得る。ネットワーク化コンピューティングデバイスは、ネットワーク、例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、インターネット接続デバイス、及び／又はネットワークなどの１つ以上の有線及び／又は無線ネットワーク、及び／又はクラウドベースのコンピューティング（例えば、クラウドベースのサーバ）を介して接続することができる。

様々な実装形態では、「連結された」と記載される電子構成要素は、これらの電子構成要素が互いにデータを通信することができるように、従来の有線及び／又は無線手段を介してリンクすることができる。更に、所与の構成要素内の下位構成要素は、従来の経路を介してリンクされていると考えることができるが、必ずしも図示されない。

複数の実装形態を説明してきた。それにもかかわらず、本明細書に記載される本発明の概念の範囲から逸脱することなく追加の改変を行うことができ、したがって、他の実装形態も以下の特許請求の範囲の範疇にあることが理解される。

１０ ＡＮＲデバイス
１２ ブルートゥースシステム
１４ ＤＳＰシステム
１６ ＵＳＢポート
１８ ＵＳＢポート
２０ 第１のＤＳＰプロセッサ
２１ 共通バス
２２ 第２のＤＳＰプロセッサ
２４ 汎用（ＧＰ）プロセッサ
２６ 音響ドライバ
２８ マイクロホン
３０ ゲートウェイデバイス
３１ クラウドプラットフォーム
３２ 音声ストリーム
３４ 処理された音声ストリーム
３６ 出力音声ストリーム
４０ 制御信号
４２ フィードバック
５０ ＡＮＲアルゴリズム
５２ ＳＡアルゴリズム
５４ 機能
５６ 通信アルゴリズム
５８ ＡＮＲ制御アルゴリズム
６０ 調整アルゴリズム
６２ システム健全性アルゴリズム
６４ ユーザ体験アルゴリズム
６６ 軽量ＯＳ及びライブラリ
７０ ウェアラブル音声デバイス
７２ イヤホン
７４ イヤホン
７６ 本体
７８ ノズル
８０ 支持部材

Claims (20)

1. 個人用アクティブノイズ低減（ＡＮＲ）デバイスであって、
   ソース音声ストリーム及び制御信号を受信するように構成された通信インターフェースと、
   ドライバと、
   マイクロホンシステムと、
   ＡＮＲ計算アーキテクチャであって、
   前記マイクロホンシステムから前記ソース音声ストリーム及び信号を受信するように構成された第１のＤＳＰプロセッサであって、前記第１のＤＳＰプロセッサに導入された動作パラメータのセットに従って、前記ソース音声ストリーム上でＡＮＲを実行し、処理された音声ストリームを前記ドライバ及び第２のＤＳＰプロセッサに出力する、第１のＤＳＰプロセッサと、
   前記処理された音声ストリームの分析に応答して、状態データを生成し、前記第１のＤＳＰプロセッサ上の前記動作パラメータのセットを変更するように構成された、前記第２のＤＳＰプロセッサと、
   を備える、ＡＮＲ計算アーキテクチャと、
   前記第１のＤＳＰプロセッサ及び前記第２のＤＳＰプロセッサに動作可能に結合された汎用プロセッサであって、前記通信インターフェースと制御信号を通信し、前記第２のＤＳＰプロセッサからの状態データを処理し、前記第１のＤＳＰプロセッサ上の前記動作パラメータのセットを変更するように構成された、汎用プロセッサと、
   を備え、
   前記第１のＤＳＰプロセッサと前記第２のＤＳＰプロセッサは共通バスを共有し、
   前記第２のＤＳＰプロセッサは、前記第１のＤＳＰプロセッサと比較して、比較的長い待ち時間を提供するが、比較的大きい量の計算の複雑さを提供するように構成される、
   個人用ＡＮＲデバイス。
2. 前記動作パラメータが、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される、請求項１に記載の個人用ＡＮＲデバイス。
3. 前記第２のＤＳＰプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出されたエラー状況を含む、請求項１に記載の個人用ＡＮＲデバイス。
4. 前記第２のＤＳＰプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出された周波数領域過負荷状況を含む、請求項１に記載の個人用ＡＮＲデバイス。
5. 前記第２のＤＳＰプロセッサによって生成された前記状態データが、前記マイクロホンシステム及び処理された音声ストリームから検出された音圧レベル（ＳＰＬ）情報を含む、請求項１に記載の個人用ＡＮＲデバイス。
6. 前記汎用プロセッサが、電力を節約するためのスリープモードを含み、前記スリープモードが、前記第１のＤＳＰプロセッサ、第２のＤＳＰプロセッサ、及び前記通信インターフェースのうちの少なくとも１つによって起動されるように構成されている、請求項１に記載の個人用ＡＮＲデバイス。
7. 前記汎用プロセッサが、前記第２のＤＳＰプロセッサから受信された前記状態データに機械学習を適用するように更に構成されている、請求項１に記載の個人用ＡＮＲデバイス。
8. 前記汎用プロセッサが、時間ベースの信号に機械学習を適用するように更に構成されている、請求項７に記載の個人用ＡＮＲデバイス。
9. 前記動作パラメータが、フィルタ係数を含み、前記汎用プロセッサが、前記第１のＤＳＰプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている、請求項１に記載の個人用ＡＮＲデバイス。
10. 前記汎用プロセッサが、前記状態データを評価して、前記個人用ＡＮＲの損傷状態を特定するように更に構成されている、請求項１に記載の個人用ＡＮＲデバイス。
11. アクティブノイズ低減（ＡＮＲ）計算アーキテクチャであって、
    ソース音声ストリームを受信し、第１のＤＳＰプロセッサに導入された動作パラメータのセットに従って、前記ソース音声ストリーム上でＡＮＲを実行し、処理された音声ストリームを第２のＤＳＰプロセッサに出力する、ように構成された第１のＤＳＰプロセッサと、
    前記処理された音声ストリームの分析に応答して、状態データを生成し、前記第１のＤＳＰプロセッサ内の前記動作パラメータのセットを変更するように構成された、前記第２のＤＳＰプロセッサと、
    前記第１のＤＳＰプロセッサ及び前記第２のＤＳＰプロセッサに動作可能に結合された汎用プロセッサであって、通信インターフェースと制御信号を通信し、前記第２のＤＳＰプロセッサからの状態データを処理し、前記第１のＤＳＰプロセッサ内の前記動作パラメータのセットを変更するように構成された、汎用プロセッサと、
    を備え、
    前記第１のＤＳＰプロセッサと前記第２のＤＳＰプロセッサは共通バスを共有し、
    前記第２のＤＳＰプロセッサは、前記第１のＤＳＰプロセッサと比較して、比較的長い待ち時間を提供するが、比較的大きい量の計算の複雑さを提供するように構成される、
    ＡＮＲ計算アーキテクチャ。
12. 前記動作パラメータが、フィルタ係数、圧縮器設定、信号ミキサ、ゲイン条件、及び信号ルーティングオプションからなる群から選択される、請求項１１に記載のＡＮＲ計算アーキテクチャ。
13. 前記第２のＤＳＰプロセッサによって生成された前記状態データが、マイクロホン入力及び処理された音声ストリームで検出されたエラー状況を含む、請求項１１に記載のＡＮＲ計算アーキテクチャ。
14. 前記第２のＤＳＰプロセッサによって生成された前記状態データが、前記処理された音声ストリームで検出された周波数領域過負荷状況を含む、請求項１１に記載のＡＮＲ計算アーキテクチャ。
15. 前記第２のＤＳＰプロセッサによって生成された前記状態データが、前記処理された音声ストリームから検出された音圧レベル（ＳＰＬ）情報を含む、請求項１１に記載のＡＮＲ計算アーキテクチャ。
16. 前記汎用プロセッサが、電力を節約するためのスリープモードを含み、前記スリープモードが、前記第１のＤＳＰプロセッサ、第２のＤＳＰプロセッサ、及び前記通信インターフェースのうちの少なくとも１つによって起動されるように構成されている、請求項１１に記載のＡＮＲ計算アーキテクチャ。
17. 前記汎用プロセッサが、前記第２のＤＳＰプロセッサから受信された前記状態データに機械学習を適用するように更に構成されている、請求項１１に記載のＡＮＲ計算アーキテクチャ。
18. 前記汎用プロセッサが、時間ベースの信号に機械学習を適用するように更に構成されている、請求項１７に記載のＡＮＲ計算アーキテクチャ。
19. 前記汎用プロセッサが、前記第１のＤＳＰプロセッサに更新されたフィルタ係数を計算及びインストールするように更に構成されている、請求項１１に記載のＡＮＲ計算アーキテクチャ。
20. 前記汎用プロセッサが、状態データを評価して、損傷状態を特定し、前記通信インターフェースを介して前記損傷状態を外部デバイスに通信するように更に構成されている、請求項１１に記載のＡＮＲ計算アーキテクチャ。