JP7735537B2

JP7735537B2 - ユーザ生成コンテンツにおける環境ノイズの検出

Info

Publication number: JP7735537B2
Application number: JP2024508330A
Authority: JP
Inventors: ヤーン，ズーユイ; シュワーン，ジーウエイ; ルゥ，リエ
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2021-08-26
Filing date: 2022-08-23
Publication date: 2025-09-08
Anticipated expiration: 2042-08-23
Also published as: US20240355348A1; WO2023028018A1; JP2024532759A; EP4392971A1

Description

本出願は、２０２１年８月２６日に出願されたＰＣＴ国際出願第ＰＣＴ／ＣＮ２０２１／１１４７４６号、２０２１年９月１５日に出願された米国仮出願第６３／２４４，４９５号、および２０２１年１１月３日に出願された欧州特許出願第２１２０６２０５．３号からの優先権の利益を主張するものであり、それら各々は、その全体が参照により本明細書に組み込まれる。

［技術分野］
本開示は、オーディオ処理に関し、特に、ノイズリダクションに関する。

本明細書で別段に示されない限り、このセクションで説明される手法は、本出願の特許請求の範囲に対する先行技術ではなく、このセクションに含めることによって先行技術であると認められるものではない。

オーディオ、ビデオ、および組み合わされたオーディオ／ビデオを含むマルチメディアコンテンツは、エンターテインメントの分野において常に重要であった。コンテンツの中でも、映画およびテレビ番組に代表される専門家生成コンテンツ（ＰＧＣ）は、以前はマルチメディアコンテンツの主要な形態であった。しかしながら、近年、ユーザ生成コンテンツ（ＵＧＣ）が急激に増加している。これは、キャプチャデバイス、ネットワークプラットフォーム、および再生側技法の急速な発展の恩恵を受けている。キャプチャデバイスの面では、スマートフォンおよびタブレットに代表されるポータブルデバイスが一般的になってきている。ユーザは、搭載されているカメラおよびマイクロフォンを用いて、個別にＵＧＣをキャプチャし、作成することができる。加えて、一般的なビデオウェブサイトおよび新たな（arising）モバイルアプリケーションなどの様々なプラットフォームが、ＵＧＣの普及を大いに加速させている。

視覚的および聴覚的経験を向上させる目的で、コンテンツ再生のための多数の技法が開発されてきた。音質を高めるために再生中にＤｏｌｂｙ（商標）Audio Processingなどのオーディオ処理技法が適用され得る。オーディオ処理システムは、主にＰＧＣに焦点を当ててきたが、ＵＧＣの人気の高まりにより、ＵＧＣにもオーディオ処理を適用する機会が提供される。

米国特許第９，０６４，４９７号米国特許第９，１０７，０１０号米国特許第９，９８４，７０１号米国特許第８，６８２，２５０号米国特許第８，２３８，４９７号米国特許第６，８５９，７７３号米国特許第７，１７１，２４６号米国特許第７，６８４，９８２号米国特許第９，６３３，６７１号米国特許第９，７６９，５６４号米国特許第７，４６４，０２９号米国特許第９，７１１，１３０号米国特許第８，３２５，９３９号米国特許第９，６０９，４１６号米国特許第９，９３４，７９１号米国特許出願公開第２０１６／０１５５４３４号米国特許出願公開第２０２０／０１２５３１６号米国特許出願公開第２０２０／００２０３１２号

Fatemeh Saki, Abhishek Sehgal, Issa Panahi and Nasser Kehtarnavaz, "Smartphone-Based Real-Time Classification of Noise Signals using Subband Features and Random Forest Classifier", in 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), DOI 10.1109/ICASSP.2016.7472068. Vanishree Gopalakrishna, Nasser Kehtarnavaz, Taher S. Mirzahasanloo and Philipos C. Loizou, "Real-Time Automatic Tuning of Noise Suppression Algorithms for Cochlear Implant Applications", in IEEE Transactions on Biomedical Engineering (Volume: 59, Issue: 6, June 2012), DOI 10.1109/TBME.2012.2191968. Fatemeh Saki and Nasser Kehtarnavaz, "Background noise classification using random forest tree classifier for cochlear implant applications", in 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), DOI 10.1109/ICASSP.2014.6854270. Fatemeh Saki, Taher Mirzahasanloo and Nasser Kehtarnavaz, "A multi-band environment-adaptive approach to noise suppression for cochlear implants", in Annu Int Conf IEEE Eng Med Biol Soc 2014, DOI 10.1109/EMBC.2014.6943934. Peipei Shen, Zhou Changjun and Xiong Chen, "Automatic Speech Emotion Recognition using Support Vector Machine", in Proceedings of 2011 International Conference on Electronic & Mechanical Engineering and Information Technology, DOI 10.1109/EMEIT.2011.6023178. Humaid Alshamsi, Veton Kepuska, Hazza Alshamsi and Hongying Meng, "Automated Speech Emotion Recognition on Smart Phones", in 2018 9th IEEE Annual Ubiquitous Computing, Electronics & Mobile Communication Conference (UEMCON), DOI 10.1109/UEMCON.2018.8796594.

既存のオーディオ処理システムに関する１つの問題は、ＰＧＣに使用される技法がＵＧＣに使用される技法とは異なり得ることである。高音質のＰＧＣとは対照的に、多くのＵＧＣは低音質である。これは、非専門的な録音デバイス、複雑な環境、およびより少ない編集手順にものであり得る。品質の問題は、低い音声明瞭度、強い残響などを含むが、これらに限定されない。最も一般的な問題の１つは、ＵＧＣに含まれる環境ノイズ（以下、ＵＧＣノイズと呼ぶ）である。ＵＧＣノイズは、実際のシーンで携帯電話を使用することによって容易にキャプチャすることができる。一般に、ＵＧＣノイズは背景ノイズであり、したがって、無意味または不要である。したがって、ＵＧＣノイズは、特にほぼ定常的なノイズに対して、いかなる音量調整技法によってもブーストされないようにすべきである。というのも、この種のノイズをブーストすると、リスナーに明らかに知覚され、ユーザエクスペリエンスに悪影響を及ぼすからである。一方、コンテンツにＵＧＣノイズが存在することをオーディオ処理システムが知っている場合、適切なノイズリダクション方法をＵＧＣノイズに適用して、音質を高めることができる。

しかしながら、ＰＧＣも、ほぼ定常的なノイズ状コンテンツ（以下、ＰＧＣノイズと呼ぶ）を含む。ＰＧＣノイズは、一般に、映画における隣接する台詞区間間の背景音区間などのノイズ区間を含む場合がある。このＰＧＣノイズは、通常、専門的な記録デバイスを用いて台詞から独立してキャプチャされ、コンテンツ作成段階においてオーディオミキサによって慎重に処理される。ＵＧＣノイズとは対照的に、ＰＧＣノイズは、コンテンツの一部であり、通常、アーチストおよびコンテンツ作成者の観点から望まれる。そのような場合、ノイズリダクション方法は適用されるべきではなく、音量調整（volume leveling）のような技法は、ＰＧＣノイズを安全にブーストすることができる。

その結果、ＵＧＣノイズおよびＰＧＣノイズは、異なる方法で処理されるべきである。ＰＧＣノイズと区別しながらＵＧＣ定常ノイズを検出する方法が強く望まれている。そのような方法はさらに、オーディオコンテンツ再生のための後処理技法を操作するために使用することができる。実施形態は、２段階ノイズ分類システムを対象とする。

一実施形態によれば、オーディオ処理のコンピュータ実装方法は、オーディオ信号を受信するステップと、第１の機械学習モデルを使用してオーディオ信号の第１の信頼度スコアを計算するステップとを含む。本方法は、第１の信頼度スコアが非ノイズの存在を示すとき、第１のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成するステップをさらに含む。本方法は、第１の信頼度スコアがノイズの存在を示すとき、第２の機械学習モデルを使用してオーディオ信号の第２の信頼度スコアを計算するステップをさらに含む。本方法は、第２の信頼度スコアがユーザ生成コンテンツ（ＵＧＣ）ノイズの存在を示すとき、第２のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成するステップをさらに含む。本方法は、第２の信頼度スコアが専門家生成コンテンツ（ＰＧＣ）ノイズの存在を示すとき、第１のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成するステップをさらに含む。

第１の信頼度スコアを計算するステップは、オーディオ信号から第１の複数の特徴を抽出するステップと、第１の機械学習モデルを使用して第１の複数の特徴を分類するステップと、第１の複数の特徴を分類した結果に基づいてノイズ信頼度スコアを計算するステップと、ノイズ信頼度スコアに基づいて重みを計算するステップとを含み得る。

第２の信頼度スコアを計算するステップは、オーディオ信号から第２の複数の特徴を抽出するステップであって、第２の複数の特徴は、第１の複数の特徴が抽出されるよりも長い時間期間にわたって抽出される、ステップと、第２の複数の特徴に基づいて第２の複数の統計を計算するステップであって、第２の複数の統計は、重みにしたがって重み付けされる、ステップと、第２の機械学習モデルを使用して第２の複数の特徴と第２の複数の統計とを分類するステップと、第２の複数の特徴と第２の複数の統計とを分類した結果に基づいて第２の信頼度スコアを計算するステップとを含み得る。

別の実施形態によれば、装置は、ラウドスピーカとプロセッサとを含む。プロセッサは、本明細書で説明される方法のうちの１つまたは複数を実装するように装置を制御するように構成される。本装置は、本明細書で説明される方法のうちの１つまたは複数の方法の詳細と同様の詳細を追加的に含み得る。

別の実施形態によれば、非一時的コンピュータ可読媒体は、プロセッサによって実行されると、本明細書で説明される方法のうちの１つまたは複数を含む処理を実行するように装置を制御するコンピュータプログラムを記憶する。

以下の詳細な説明および添付の図面は、様々な実装形態の性質および利点のさらなる理解を提供する。

ノイズ分類システム１００のブロック図である。ノイズ検出器１０２（図１参照）の詳細を示すブロック図である。ノイズ弁別器（noise discriminator）１０４（図１参照）の詳細を示すブロック図である。一実施形態による、本明細書で説明される特徴およびプロセスを実装するためのモバイルデバイスアーキテクチャ４００である。オーディオ処理の方法５００のフローチャートである。

本明細書では、オーディオ処理に関する技法について説明する。以下の説明では、説明を目的として、本開示の完全な理解を提供するために、多数の例および具体的な詳細が記載されている。しかしながら、特許請求の範囲によって定義される本開示が、これらの例における特徴の一部または全部を単独で、または以下で説明する他の特徴と組み合わせて含んでもよく、本明細書で説明される特徴および概念の変更形態および均等物をさらに含んでもよいことは、当業者には明らかであろう。

以下の説明では、様々な方法、プロセスおよび手順が詳述される。特定のステップが特定の順序で説明され得るが、そのような順序は、主に便宜および明確性のためである。特定のステップは、２回以上繰り返されてもよく、別の順序で説明されている場合であっても、他のステップの前または後に行われてもよく、他のステップと並行して行われてもよい。第２のステップは、第１のステップを完了してから第２のステップを開始しなければならない場合にのみ、第１のステップに続くことが必要とされる。このような状況は、文脈から明らかでない場合に特に指摘される。

本明細書では、「および」、「または」および「および／または」という用語が使用される。そのような用語は、包括的な意味を有するものとして読まれるべきである。例えば、「ＡおよびＢ」は、少なくとも、「ＡおよびＢの両方」、「少なくともＡおよびＢの両方」を意味し得る。別の例として、「ＡまたはＢ」は、少なくとも、「少なくともＡ」、「少なくともＢ」、「ＡおよびＢの両方」、「少なくともＡおよびＢの両方」を意味し得る。別の例として、「Ａおよび／またはＢ」は、少なくとも、「ＡおよびＢ」、「ＡまたはＢ」を意味し得る。排他的論理和が意図されるとき、例えば、「ＡまたはＢのいずれか」、「ＡおよびＢのうち多くとも１つ」といったように具体的に記される。

本明細書は、ブロック、要素、構成要素、回路などの構造に関連付けられた様々な処理機能を説明する。一般に、これらの構造は、１つまたは複数のコンピュータプログラムによって制御されるプロセッサによって実装され得る。

図１は、ノイズ分類システム１００のブロック図である。一般に、ノイズ分類システム１００は、オーディオ信号を受信し、ノイズ分類を実行し、ノイズ分類にしたがって、処理されたオーディオ信号を生成する。ノイズ分類システム１００の構成要素は、プロセッサによって実行される１つまたは複数のコンピュータプログラムとして実装されてもよい。ノイズ分類システム１００は、ノイズ検出器１０２と、ノイズ弁別器１０４と、ＰＧＣオーディオプロセッサ１０６と、ＵＧＣプロセッサ１０８とを含む。

ノイズ検出器１０２は、オーディオ信号１２０を受信し、ノイズ検出を実行する。ノイズ検出が、オーディオ信号１２０に、例えば、ＵＧＣノイズ、ＰＧＣノイズなどのノイズが含まれることを示すとき、ノイズ検出器１０２は、さらなる処理のために、オーディオ信号１２０をノイズ弁別器１０４に提供する。ノイズ検出が、オーディオ信号１２０に、例えば、音楽、スピーチなどの非ノイズが含まれることを示すとき、ノイズ検出器１０２は、さらなる処理のために、オーディオ信号１２０をＰＧＣオーディオプロセッサ１０６に提供する。ノイズ検出器１０２のさらなる詳細は、図２を参照して提供される。

ノイズ弁別器１０４は、例えば、ノイズ検出器１０２からオーディオ信号１２０を受信し、ノイズ弁別を実行する。ノイズ弁別器１０４に提供されるオーディオ信号１２０は、ノイズ検出器１０２によって事前に「ノイズ」に分類されていることを想起されたい。ノイズ弁別１０４が、オーディオ信号１２０にＰＧＣノイズが含まれていることを示すとき、ノイズ弁別器１０４は、さらなる処理のために、オーディオ信号１２０をＰＧＣオーディオプロセッサ１０６に提供する。ノイズ弁別が、オーディオ信号１２０にＵＧＣノイズが含まれていることを示すとき、ノイズ弁別器１０４は、さらなる処理のために、オーディオ信号１２０をＵＧＣオーディオプロセッサ１０８に提供する。ノイズ弁別器１０４のさらなる詳細は、図３に提供される。

ＰＧＣオーディオプロセッサ１０６は、非ノイズを示すオーディオ信号１２０をノイズ検出器１０２から、またはＰＧＣノイズを示すオーディオ信号１２０をノイズ弁別器１０４から受信し、第１のオーディオ処理プロセスにしたがってオーディオ処理を実行し、処理されたオーディオ信号１３０ａを生成する。第１のオーディオ処理プロセスは、一般に、台詞強調、音量調整など、非ノイズオーディオに対して使用するのに適切であるオーディオ処理設定に対応する。例えば、リスナーが、例えばノイズ分類システム１００を実装した自身の携帯電話で、処理されたオーディオ信号を出力するときに音量調整を実行することを望むとき、第１のオーディオ処理設定を使用することで、音量調整が適用された出力オーディオが得られる。第１のオーディオ処理設定はまた、リスナーの経験をコンテンツ作成者が意図したオーディオ経験に適合させる可能性が高いので、ＰＧＣノイズが検出されたときに使用するのに適切である。例えば、音量調整がリスナーによって所望される場合、音量調整をＰＧＣに適用することが適切であろう。

ＵＧＣオーディオプロセッサ１０８は、ＵＧＣノイズを示すオーディオ信号１２０をノイズ弁別器１０４から受信し、第２のオーディオ処理プロセスにしたがってオーディオ処理を実行し、処理されたオーディオ信号１３０ｂを生成する。第２のオーディオ処理プロセスは、一般に、ＵＧＣノイズ、例えば、定常ノイズに使用するのに適切であるオーディオ処理設定に対応する。例えば、リスナーが、例えば、ノイズ分類システム１００を実装した自身の携帯電話で、処理されたオーディオ信号を出力するときにノイズリダクションを実行することを望むとき、第２のオーディオ処理設定を使用することで、ノイズリダクションが適用された出力オーディオが得られる。ＵＧＣは多くの場合定常ノイズを有するので、このコンテンツに対してノイズリダクションを実行することで、リスナーエクスペリエンスの向上につながる。

以下の例を考える。音量調整およびノイズリダクションの両方がオーディオ出力に適用されることをユーザが望み、コンテンツが交通ノイズ、例えば、あるタイプの定常ノイズを含むと仮定する。リスナーが自身の携帯電話でハリウッド映画を見ている場合、コンテンツ作成者の芸術的意図を保つためには交通ノイズを過度に低減しないことが適切であるので、音量調整を実行することは適切であり、ノイズリダクションを実行することは適切ではない。この状況では、ノイズ分類システム１００は、ＰＧＣノイズを検出し、第１のオーディオ処理設定を適用し、オーディオ出力を適切に出力する。リスナーが屋外で歩道を歩きながら撮影したビデオを見ている場合、音量調整を実行するときに交通ノイズをブーストするのではなく交通ノイズを低減することでリスナーエクスペリエンスが向上するので、音量調整とノイズリダクションの両方を実行することが適切である。この状況では、ノイズ分類システム１００は、ＵＧＣノイズを検出し、第２のオーディオ処理設定を適用し、オーディオ出力を適切に出力する。

一般に、ノイズ分類システム１００は、オーディオ信号１２０の部分を処理することによってリアルタイムで動作する。各部分は、クリップまたはオーディオクリップと呼ばれ、ノイズ分類システム１００は、クリップごとにプロセスを実行し得る。各オーディオクリップは、定義された数の連続するオーディオフレームを含む。４８ｋＨｚのサンプリングレートを有するオーディオを例にとると、オーディオフレームの典型的な持続時間は、１０２４サンプル、約２１．３４ミリ秒とすることができ、オーディオクリップは、重複していない４８フレーム、約１．０２４秒を含むことができる。隣接するオーディオフレームは、重複したサンプルを含み得る。隣接するオーディオクリップも同様に、重複したフレームを含み得る。所与の入力オーディオクリップについて、ノイズ検出器１０２は、それがノイズ弁別器１０４に送られるべきノイズクリップであるかどうか、またはそれがノイズ弁別器１０４に送られるべきではない他のタイプ、例えば、スピーチ、音楽などに属するかどうかを決定する。

ノイズ分類システム１００は、２段階ノイズ分類システムと呼ばれることがある。ノイズ検出器１０２は、第１段階とも呼ばれ、定義された数の定常ノイズ状フレームにしたがって所与のオーディオクリップを分類するように動作する。定常ノイズ状コンテンツは、ＵＧＣノイズとも呼ばれる、ＵＧＣ内のキャプチャされた環境ノイズ、またはＰＧＣノイズとも呼ばれる、ＰＧＣの一部であるノイズ状コンテンツのいずれかとすることができることに留意されたい。ノイズ弁別器１０４は、第２段階とも呼ばれ、ノイズ検出器１０２によって決定されたほぼ定常的なノイズクリップに対してトリガされる。ノイズ弁別器１０４は、ＵＧＣノイズ対ＰＧＣノイズの観点からノイズタイプを区別するように動作する。クリップがＵＧＣノイズであると決定された場合、ＵＧＣ処理経路をトリガすることとなり、ＵＧＣオーディオプロセッサ１０８を経由する。それ以外の場合、ＰＧＣコンテンツ処理のために調整された元の処理経路に残ることとなり、ＰＧＣオーディオプロセッサ１０６を経由する。

実際のコンテンツの場合、所与のオーディオクリップは、いくつかのノイズフレームおよび他のタイプのフレーム、例えば、スピーチ、音楽、一時的なサウンドイベントなどを含む可能性がある。言い換えると、純粋な定常ノイズクリップは一般的ではない。この問題に対処するために、ノイズ分類システム１００は、所与のオーディオクリップのノイズ部分に焦点を当てるための注意のような機構を実装する。具体的には、各フレームについて、ノイズ検出器１０２は、図２にさらに詳述されるように、定常ノイズの可能性を示すためにフレーム重みを計算する。ノイズ検出器１０２は、分類と呼ばれるデータ駆動方法に基づいてフレーム重みを計算する。ノイズ検出器１０２は、フレーム重みを使用して、ほぼ定常的なノイズの可能性を示すクリップ信頼度を計算する。追加的に、オーディオクリップが、ノイズ検出器１０２によって決定されるようなほぼ定常的なノイズクリップである場合、フレーム重みはさらに、図３にさらに詳述されるように、ノイズ弁別器１０４において特徴計算を操作（steering）するために使用される。

図２は、ノイズ検出器１０２（図１参照）の詳細を示すブロック図である。一般に、ノイズ検出器１０２は、オーディオ信号を受信し、ノイズ分類を実行し、ノイズ分類にしたがって信頼度スコアを生成する。ノイズ検出器１０２の構成要素は、プロセッサによって実行される１つまたは複数のコンピュータプログラムとして実装され得る。ノイズ検出器１０２は、特徴抽出器２０２と、分類器２０４と、モデル２０６と、決定器２０８と、オプションで二乗平均平方根（ＲＭＳ）計算器２１０とを含む。

特徴抽出器２０２は、オーディオ信号１２０を受信し、オーディオ信号１２０から特徴２２０を抽出し、特徴２２０を分類器２０４に提供する。上述したように、オーディオ信号１２０は、入力オーディオ信号のオーディオクリップ、例えば、４８フレーム（重複していなくてもよい）に対応し、特徴抽出器２０２は、「ショートクリップ」と呼ばれるオーディオクリップの部分、例えば、４８フレーム未満に対して動作する。現在のフレームだけを使用するのではなくショートクリップを使用することで、ノイズ信頼度スコアを計算する際の一般化能力が向上し得る。ここで、「一般化（generalization）」とは、ノイズ検出器１０２が、以前には見られなかった新しいデータに適応する能力を指す。ショートクリップは、クリップの現在のフレームと、いくつかの履歴フレームとを含み得る。例えば、ショートクリップは、５つの連続するフレーム、例えば、現在のフレームと４つの前のフレームとを含み得る。現在のショートクリップは、前のショートクリップと重複することがある。例えば、重複は、１フレームのホップサイズを有し得る。言い換えると、ショートクリップは、ステップごとに１フレーム移動する。一例として、４８フレームを有する所与のクリップの場合、あるショートクリップはフレーム１～５、別のショートクリップはフレーム２～６、別のショートクリップはフレーム３～７、以下同様であり、別のショートクリップはフレーム４４～４８である。各フレームは、一般にショートクリップに対応するそのコンテキスト、例えば、そのフレーム自体と４つの前のフレームとによって表され、特徴は、このコンテキストから抽出され、分類はまた、このコンテキストに基づいて実行される。このように、ノイズ検出器１０２は、ショートクリップごとに動作する。

特徴２２０は、ショートクリップのオーディオ特徴に対応する。これらのオーディオ特徴は、時間的特徴、スペクトル特徴、時間周波数特徴などのうちの１つまたは複数を含む。時間的特徴は、自動補正係数（ＡＣＣ）、線形予測コーディング係数（ＬＰＣＣ）、ゼロ交差率（ＺＣＲ）などのうちの１つまたは複数を含み得る。スペクトル特徴は、スペクトル重心、スペクトルロールオフ、スペクトルエネルギー分布、スペクトル平坦性、スペクトルエントロピー、メル周波数ケプストラム係数（ＭＦＣＣ）などのうちの１つまたは複数を含み得る。時間周波数特徴は、スペクトルフラックス、クロマなどのうちの１つまたは複数を含み得る。特徴２２０はまた、上記で説明した他の特徴の統計を含み得る。これらの統計は、平均、標準偏差、および高次統計、例えば、歪度、尖度などを含んでいてもよい。例えば、特徴２２０は、スペクトルエネルギー分布の平均および標準偏差を含み得る。

分類器２０４は、特徴２２０を受信し、モデル２０６を使用して特徴２２０の分類を実行し、ノイズ信頼度スコア２２２を生成する。所与のクリップ中の各フレームについて、分類器２０４は、ショートクリップに対応する、そのフレーム（例えば、現在のフレーム）および４つの前のフレームのコンテキストに基づいて、各フレームに対するノイズ信頼度スコア２２２を計算し得る。ノイズ信頼度スコア２２２は、０から１までの範囲であり得、スコアが高いほど、ノイズフレームの可能性が高いことを意味し、その逆も同様である。

分類器２０４は、機械学習システムに対応し得、モデル２０６は、機械学習モデルに対応し得る。モデル２０６は、データ駆動方法によって取得されていてもよく、モデル２０６は、ポジティブトレーニングデータ、例えば、ＵＧＣノイズおよびＰＧＣノイズの両方を含む「ノイズ」データと、ネガティブトレーニングデータ、例えば、音楽、スピーチなどの「非ノイズ」データとを含むトレーニングデータのセットを使用してオフラインでトレーニングされていてもよい。言い換えると、トレーニングデータは、様々なカテゴリ、例えば、ＵＧＣノイズ、ＰＧＣノイズ、非ノイズにタグ付けされており、モデル２０６は、モデル２０６がトレーニングプロセス中にトレーニングデータにさらされた結果として得られる。その結果、「ＰＧＣ」の１つの定義は、「専門家生成コンテンツであるとしてトレーニングプロセスにおいてタグ付けされたデータ」であり、「ＰＧＣノイズ」の１つの定義は、「専門家生成コンテンツであるとしてトレーニングプロセスにおいてタグ付けされ、ノイズを有するデータ」であり、「ＵＧＣ」の１つの定義は、「専門家生成コンテンツ以外であるとしてトレーニングプロセスにおいてタグ付けされたデータ」であり、「ＵＧＣノイズ」の１つの定義は、「専門家生成コンテンツ以外であるとしてトレーニングプロセスにおいてタグ付けされ、ノイズを有するデータ」である。許容可能な結果を提供するトレーニングデータの量は、５０時間のトレーニングデータである。この量は必要に応じて変えることができ、量を減らすとモデルの精度が低下する可能性があり、量を増やすとモデルの精度が向上する可能性がある。一般に、特徴抽出器２０２によって抽出された特徴２２０は、モデル２０６をトレーニングするときに使用される特徴、例えば、各ショートクリップから抽出された特徴に対応する。

分類器２０４は、適応ブースティング（AdaBoost）システム、ディープニューラルネットワーク（ＤＮＮ）システムなどを含む様々な機械学習システムを実装し得る。一般に、AdaBoostシステムは、「弱学習器（weak learner）」とも呼ばれる他の学習アルゴリズムの出力を加重和へと組み合わせものであり、後続の弱学習器が前の分類器によって誤分類されたインスタンスに有利になるように微調整されるという意味で「適応型」である。一般に、ＤＮＮシステムは、入力層と出力層との間に複数の層を有するニューラルネットワークである。AdaBoost分類器の場合、分類器２０４は、シグモイド関数を適用することによって、出力ノイズ信頼度を区間［０，１］に変換し得る。シグモイド関数σ（ｚ）は、式（１）にしたがって定義され得る：

式（１）において、出力ノイズ信頼度σ（ｚ）は、弱学習器の出力の組合せである、入力ｚに対する逆指数関数の演算により、区間［０，１］に変換される。出力ノイズ信頼度は、入力が減少するにつれて０に近づき、入力が０のときは０．５であり、入力が増加するにつれて１に近づく。その結果、出力ノイズ信頼度は、ｚが増加するについて増加する。

ＤＮＮが使用される場合、分類器２０４は、出力層の活性化関数としてシグモイド関数を使用し得る。いずれにせよ、分類器２０４は、取得したノイズ信頼度スコアをノイズ信頼度スコア２２２として決定器２０８に送る。

決定器２０８は、ノイズ信頼度スコア２２２を受信し、ノイズ信頼度スコア２２２に基づいて重み２２４を生成する。決定器２０８はまた、ノイズ信頼度スコア２２２に基づいて、クリップ信頼度ｗ_ｃを計算する。クリップ信頼度が定義されたしきい値よりも大きい場合、クリップはノイズに分類され、ノイズ弁別器１０４に送られる。言い換えると、所与のクリップ中の各フレームに対するノイズ信頼度スコア２２２は、所与のクリップを分類するために使用されるクリップ信頼度ｗ_ｃを計算するために使用される。クリップ信頼度ｗ_ｃに関するさらなる詳細は、式（４）および式（８）を参照して以下に提供される。

決定器２０８は、ノイズ信頼度スコア２２２を使用して、式（２）にしたがって、フレーム重みとも呼ばれる重み２２４を計算する：

式（２）において、ｉは、現在のフレーム番号であり、ｗ_ｆ（ｉ）は、現在のフレームの重み２２４であり、ｎ（ｉ）は、現在のフレームのノイズ信頼度スコア２２２であり、σ’（・）は、式（３）にしたがって定義される修正シグモイド関数である：

式（３）において、Ｃはスケールファクタであり、θはしきい値である。一般に、Ｃは正の値である。Ｃの典型的な値は、１６、例えば、例えば、１０～２０の範囲であり、θの典型的な値は、０．５、例えば、０．４５～０．５５の範囲である。したがって、重み２２４は、ノイズ信頼度スコア２２２がしきい値を超えると増加し、重み２２４は、ノイズ信頼度スコア２２２がしきい値を下回ると減少する。スケールファクタＣは、重み２２４とノイズ信頼度スコア２２２との間のバランスを調整するために調整され得、スケールファクタを減らすと重み２２４の寄与が減少し、スケールファクタを増やすと重み２２４の寄与が増加する。しきい値θは、ノイズ検出の感度を調整するために調整され得、しきい値を上げると重み２２４が減少し、しきい値を下げると重み２２４が増加する。

決定器２０８は、以下でより詳細に説明するように、クリップ信頼度を計算するためだけでなく、図３を参照してより詳細に説明されるように、クリップがノイズ弁別器１０４に送られるか否かを決定するためにも、重み２２４を使用する。クリップ信頼度計算は、クリップ中のノイズフレームの数を使用する。クリップ中のノイズフレームの数を測定するために、決定器２０８は、式（４）を使用してノイズネス重み（noiseness weight）ｗ_ｎｏｉを計算する：

式（４）において、ｃ（ｉ）は、第ｉのフレームに適用される一定係数である。係数ｃ（ｉ）は、すべてのフレームに対して同じであってもよいし、フレームによって異なっていてもよいことに留意されたい。係数が同じである場合、重みｗ_ｎｏｉは、クリップ全体の中のノイズ状フレームの割合を近似する。代替的に、低レイテンシが望まれる他のシナリオでは、係数を経時的に増加させていくこともできる。要するに、現在のフレームに最大の係数が割り当てられ、前のフレームにより小さい係数が割り当てられる。この方法は、フレームワークが現在のフレームに迅速に対応するのを助ける。

言い換えると、ノイズネス重みｗ_ｎｏｉは、（１）クリップ中のすべてのフレームにわたって合計された各フレームの一定係数およびフレーム重みならびに（２）クリップ中のすべてのフレームにわたって合計された各フレームの一定係数という２つの構成要素間の比である。実際には、ノイズネス重みは、フレーム重みの重み付けされた組合せである。

したがって、クリップ信頼度ｗ_ｃは、ノイズネス重みｗ_ｎｏｉに対応する。クリップ信頼度は、０以上１以下の範囲である。

クリップ信頼度ｗ_ｃが定義されたしきい値を超えた場合、クリップおよび重み２２４が、さらなる処理のためにノイズ弁別器１０４に送られる。しきい値の典型的な値は０．５である。クリップ信頼度ｗ_ｃが定義されたしきい値を超えない場合、クリップは、ＰＧＣオーディオプロセッサ１０６によって処理される。

ＲＭＳ計算器２１０はオプションである。存在する場合、ＲＭＳ計算器２１０は、オーディオＲＭＳを特定の範囲に制限するように動作する。その動機は、特定のＲＭＳ／ラウドネス範囲内のノイズが、後処理技法、例えばラウドネス調整方法によって引き起こされるアーチファクトを悪化させるが、他の範囲では、アーチファクトが知覚的に顕著ではないということである。単純な手法は、事前定義されたしきい値で硬判定（hard decisions）を使用することである。すなわち、ＲＭＳがしきい値を超えるノイズクリップは処理されない。しかしながら、特にＲＭＳが頻繁にしきい値付近で変動するクリップの場合、これでは不安定性を引き起こす可能性がある。

不安定性の問題を克服するために、ＲＭＳ計算器２１０は、各フレームに対する平均ＲＭＳ利得２２６を計算する。ＲＭＳ利得は、ノイズ信頼度スコアを重み付けするために使用される（以下で説明するクリップ信頼度ｗ_ｃの修正された計算を参照されたい）ので、特徴抽出器２０２によって実行される特徴抽出との一貫性を保つために、ショートクリップレベルで動作することが有益である。具体的には、第ｉのフレームのＲＭＳをｐ（ｎ）とすると、第ｉのフレームについてのショートクリップレベルＲＭＳは、式（５）によって計算される：

式（５）において、Ｌは、フレーム単位でのショートクリップ長であり、例えば、５フレームである。

ＲＭＳ計算器２１０が存在する場合、決定器２０８は、平均ＲＭＳ利得２２６も受信する。決定器２０８は、式（６）を使用してＲＭＳベースの重みｗ_ｒｍｓを計算する：

式（６）において、
は、第ｉのフレームについてのショートクリップＲＭＳ利得であり、ｇは、式（７）にしたがって区間［０，１］へのマッピングを定義する関数である：

式（７）において、Ｐ_Ｌは、ＲＭＳ区間の下限であり、Ｐ_Ｕは、ＲＭＳ区間の上限であり、ａ_Ｌは、ゼロより大きい数であり、ａ_Ｕは、ゼロ未満の数である。

言い換えると、式（６）は、ＲＭＳベースの重みｗ_ｒｍｓが、（１）クリップ中のすべてのフレームにわたって合計された各フレームの平均ＲＭＳ利得およびフレーム重みならびに（２）クリップ中のすべてのフレームにわたって合計された各フレームの重みという２つの構成要素間の比に適用される関数ｇに対応することを記述する。式（７）は、式（６）の比がＲＭＳ区間の下限以下であるとき、ＲＭＳ区間の下限を比に適用してＲＭＳベースの重みを生成し、式（６）の比がＲＭＳ区間の上限よりも大きいとき、ＲＭＳ区間の上限を比に適用してＲＭＳベースの重みを生成し、それ以外の場合、ＲＭＳベースの重みは１に設定されるように、関数ｇが適用されることを記述する。

決定器２０８は、式（８）にしたがってクリップ信頼度ｗ_ｃを算出する：

式（８）において、ｗ_ｎｏｉは、式（４）によるノイズネス重みであり、ｗ_ｒｍｓは、式（６）によるＲＭＳベースの重みである。言い換えると、クリップ信頼度は、ノイズネス重みとＲＭＳベースの重みとの組合せである。

図３は、ノイズ弁別器１０４（図１参照）の詳細を示すブロック図である。一般に、ノイズ弁別器１０４は、例えば、ノイズ検出器１０２によってノイズに分類されたオーディオ信号を受信し、ノイズ弁別を実行し、ノイズ弁別にしたがって信頼度スコアを生成する。ノイズ弁別器１０４の構成要素は、プロセッサによって実行される１つまたは複数のコンピュータプログラムとして実装され得る。ノイズ弁別器１０４は、特徴抽出器３０２と、分類器３０４と、モデル３０６と、決定器３０８とを含む。

特徴抽出器３０２は、オーディオ信号１２０と重み２２４（図２参照）とを受信し、重み２２４に基づいてオーディオ信号１２０から特徴３２０を抽出する。上述したように、オーディオ信号１２０は、入力オーディオ信号のオーディオクリップ、例えば、４８フレーム（重複していなくてもよい）に対応し、特徴抽出器３０２は、オーディオクリップに対して動作する。ノイズ検出器１０２がショートクリップに対して動作するのであることを想起されたく、ノイズ弁別器１０４は、ノイズ検出器１０２よりも長い期間に対して動作する。より具体的には、所与のクリップについて、特徴抽出器３０２は、フレーム特徴とも呼ばれる、クリップ中の各フレームについての様々な特徴を抽出し、特徴抽出器３０２は、フレーム特徴の統計を計算する。特徴抽出器３０２は、統計を計算するときに重み付け係数として重み２２４を使用する。したがって、特徴３２０は、各フレームに基づいて抽出されるフレーム特徴と、クリップに基づいて計算される統計との両方に対応する。このように、ノイズ弁別器１０４は、クリップごとに動作する。

特徴抽出器３０２によって抽出されたフレーム特徴は、時間的特徴、スペクトル特徴、時間周波数特徴などのうちの１つまたは複数を含み得る。時間的特徴は、自動補正係数（ＡＣＣ）、線形予測コーディング係数（ＬＰＣＣ）、ゼロ交差率（ＺＣＲ）などのうちの１つまたは複数を含み得る。スペクトル特徴は、スペクトル重心、スペクトルロールオフ、スペクトルエネルギー分布、スペクトル平坦性、スペクトルエントロピー、メル周波数ケプストラム係数（ＭＦＣＣ）などのうちの１つまたは複数を含み得る。時間周波数特徴は、スペクトルフラックス、クロマなどのうちの１つまたは複数を含み得る。特徴抽出器３０２によって抽出されたフレーム特徴は、特徴抽出器２０２によって抽出された特徴２２０（図２参照）と同じタイプの特徴であってもよい。

特徴抽出器３０２は、加重平均、加重標準偏差などを含む、様々な加重統計を計算し得る。特徴抽出器３０２は、式（９）を使用して、加重平均μを計算し得る：

式（９）において、ｖ（ｉ）は、フレームインデックスｉとも呼ばれる、フレームｉ中で抽出されたフレーム特徴ｖに対応し、ｗ_ｆは、フレーム重みに対応し（式（２）および重み２２４参照）、Ｍは、クリップ中のフレームの総数、例えば、４８フレームに対応する。言い換えると、加重平均は、所与のクリップについて、（１）重み付きフレーム特徴の合計と（２）重みの合計との間の比に対応する。

特徴抽出器３０２は、式（１０）を使用して、加重標準偏差σを計算し得る：

式（１０）の変数は、式（９）に関して上述した通りである。言い換えると、加重標準偏差は、所与のクリップについて、（１）フレーム特徴の二乗の加重和と（２）重みの和との間の比の平方根に対応する。

分類器３０４は、特徴３２０を受信し、モデル３０６を使用して特徴３２０の分類を実行し、ノイズ信頼度スコア３２２を生成する。ノイズ信頼度スコア３２２は、ＰＧＣノイズの可能性対ＵＧＣノイズの可能性を示す。例えば、分類器３０４は、シグモイド関数を実装して、ノイズ信頼度スコア３２２を区間［０，１］に変換し得、０に近いスコアは、一方のタイプ、例えば、ＵＧＣノイズの可能性が高いことを示し、１に近いスコアは、他方のタイプ、例えば、ＰＧＣノイズの可能性が高いことを示す。

分類器３０４は、機械学習システムに対応し得、モデル３０６は、機械学習モデルに対応し得る。モデル３０６は、データ駆動方法によって取得されていてもよく、ＰＧＣノイズトレーニングデータおよびＵＧＣノイズトレーニングデータを含むトレーニングデータのセットを使用してオフラインでトレーニングされていてもよい。言い換えると、トレーニングデータは、様々なカテゴリ、例えば、ＵＧＣノイズ、ＰＧＣノイズなどにタグ付けされており、モデル３０６は、モデル３０６がトレーニングプロセス中にトレーニングデータにさらされた結果として得られる。ＰＧＣノイズトレーニングデータを「ポジティブ」トレーニングデータとして、およびＵＧＣノイズトレーニングデータを「ネガティブ」トレーニングデータとして見ると、ノイズ信頼度スコア３２２は、特徴３２０がＰＧＣに対応するとき、より大きく、例えば、０．５より大きく、特徴３２０がＵＧＣに対応するとき、より小さく、例えば、０．５より小さい。許容可能な結果を提供するトレーニングデータの量は、５０時間のトレーニングデータである。この量は必要に応じて変えることができ、量を減らすとモデルの精度が低下する可能性があり、量を増やすとモデルの精度が向上する可能性がある。一般に、特徴抽出器３０２によって抽出された特徴３２０は、モデル３０６をトレーニングするときに使用される特徴、例えば、所与のクリップ中の各フレームから抽出された特徴と、それから計算された統計とに対応する。

分類器３０４は、適応ブースティング（AdaBoost）システム、ディープニューラルネットワーク（ＤＮＮ）システムなどを含む様々な機械学習システムを実装し得る。AdaBoost分類器の場合、分類器３０４は、シグモイド関数（式（１）参照）を適用することによって、ノイズ信頼度スコアを区間［０，１］に変換し得る。ＤＮＮが使用される場合、分類器３０４は、出力層の活性化関数としてシグモイド関数を使用し得る。

決定器３０８は、ノイズ信頼度スコア３２２を受信し、ノイズ信頼度スコア３２２としきい値とに基づいて分類結果３２４を生成する。ノイズ信頼度スコア３２２がしきい値よりも大きいとき、例えば「ポジティブ」トレーニングデータがＰＧＣトレーニングデータに対応するとき、クリップはＰＧＣに分類され、ノイズ弁別器１０４は、音量調整などの所望のＰＧＣオーディオ処理技法にしたがってクリップを処理するようにＰＧＣオーディオプロセッサ１０６を制御する。ノイズ信頼度スコア３２２がしきい値未満であるとき、例えば、「ネガティブ」トレーニングデータがＵＧＣトレーニングデータに対応するとき、クリップはＵＧＣに分類され、ノイズ弁別器１０４は、定常ノイズリダクションなどの所望のＵＧＣオーディオ処理技法にしたがってクリップを処理するようにＵＧＣオーディオプロセッサ１０８を制御する。

図４は、一実施形態による、本明細書で説明される特徴およびプロセスを実装するためのモバイルデバイスアーキテクチャ４００である。アーキテクチャ４００は、限定はしないが、デスクトップコンピュータ、家庭用オーディオ／ビジュアル（ＡＶ）機器、ラジオ放送機器、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルデバイスなどのモバイルデバイスを含む、任意の電子デバイスにおいて実装され得る。図示の例示的な実施形態では、アーキテクチャ４００は、ラップトップコンピュータ用であり、プロセッサ（複数可）４０１と、周辺機器インターフェース４０２と、オーディオサブシステム４０３と、ラウドスピーカ４０４と、マイクロフォン４０５と、加速度計、ジャイロ、気圧計、磁力計、カメラなどのセンサ４０６と、ＧＮＳＳ受信機などのロケーションプロセッサ４０７と、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラーなどのワイヤレス通信サブシステム４０８と、タッチコントローラ４１０および他の入力コントローラ４１１、タッチ面４１２および他の入力／制御デバイス４１３を含むＩ／Ｏサブシステム（複数可）４０９とを含む。開示された実施形態を実装するために、より多いまたはより少ない構成要素を有する他のアーキテクチャも使用することができる。

メモリインターフェース４１４は、プロセッサ４０１、周辺機器インターフェース４０２、およびフラッシュ、ＲＡＭ、ＲＯＭなどのメモリ４１５に結合される。メモリ４１５は、限定はしないが、オペレーティングシステム命令４１６、通信命令４１７、ＧＵＩ命令４１８、センサ処理命令４１９、電話命令４２０、電子メッセージング命令４２１、ウェブブラウジング命令４２２、オーディオ処理命令４２３、ＧＮＳＳ／ナビゲーション命令４２４、およびアプリケーション／データ４２５を含む、コンピュータプログラム命令およびデータを記憶する。オーディオ処理命令４２３は、本明細書で説明されるオーディオ処理を実行するための命令を含む。

一実施形態によれば、アーキテクチャ４００は、携帯電話に対応し得る。ユーザは、携帯電話を使用してＰＧＣを出力し得、その場合、ノイズ分類システム１００（図１参照）は、ＰＧＣに適したオーディオ処理、例えば、ＰＧＣオーディオプロセッサ１０６を使用してオーディオ出力を生成するように携帯電話を制御する。ユーザは、携帯電話を使用してＵＧＣをキャプチャおよび出力し得、その場合、ノイズ分類システムは、ＵＧＣに適したオーディオ処理、例えば、ＵＧＣオーディオプロセッサ１０８を使用して音声出力を生成するように携帯電話を制御する。

図５は、オーディオ処理の方法５００のフローチャートである。方法５００は、例えば、１つまたは複数のコンピュータプログラムを実行することによって、ノイズ分類システム１００（図１参照）などの機能を実装するために、図４のアーキテクチャ４００の構成要素を有するラップトップコンピュータ、携帯電話などのデバイスによって実行され得る。

５０２において、オーディオ信号が受信される。例えば、ノイズ分類システム１００（図１参照）がオーディオ信号１２０を受信し得る。オーディオ信号１２０はオーディオサンプルを含み得、オーディオサンプルはオーディオフレームとして配置され得、オーディオフレームはオーディオクリップへと配置され得、オーディオ信号１２０はクリップごとにリアルタイムで処理され得る。

５０４において、オーディオ信号の第１の信頼度スコアが、第１の機械学習モデルを使用して計算される。例えば、ノイズ検出器１０２（図２参照）は、モデル２０６を使用して所与のクリップのクリップ信頼度を計算し得る。ノイズ検出器１０２は、ショートクリップと呼ばれる、クリップの一部分に対して動作する特徴抽出器２０２を含み得る。

５０６において、第１の信頼度スコアが非ノイズの存在を示すとき、第１のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号が生成される。例えば、ノイズ検出器１０２（図１参照）がノイズの不在を示すとき、ＰＧＣオーディオプロセッサ１０６は、クリップに対してＰＧＣオーディオ処理を実行して、処理されたオーディオ信号を生成し得る。

５０８において、第１の信頼度スコアがノイズの存在を示すとき、オーディオ信号の第２の信頼度スコアが、第２の機械学習モデルを使用して計算される。例えば、ノイズ弁別器１０４（図３参照）は、特徴３２０に適用されるモデル３０６を使用してノイズ信頼度スコア３２２を計算し得る。第２の信頼度スコアは、クリップに基づいて、例えば、クリップ中の各フレームから特徴を抽出することによって計算され得る。第１の信頼度スコアはショートクリップに基づいて計算されることを想起されたい（５０４参照）。

５１０において、第２の信頼度スコアがＵＧＣノイズの存在を示すとき、第２のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成する。例えば、ノイズ弁別器１０４（図１参照）がＵＧＣノイズの存在を示すとき、ＵＧＣオーディオプロセッサ１０８は、クリップに対してＵＧＣオーディオ処理を実行して、処理されたオーディオ信号を生成し得る。

５１２において、第２の信頼度スコアがＰＧＣノイズの存在を示すとき、第１のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成する。例えば、ノイズ弁別器１０４（図１参照）がＰＧＣノイズの存在を示すとき、ＰＧＣオーディオプロセッサ１０６は、クリップに対してＰＧＣオーディオ処理を実行して、処理されたオーディオ信号を生成し得る。

次いで、処理されたオーディオ信号は、デバイスのメモリ、例えば、固体メモリに記憶され、例えば、クラウドストレージのために別のデバイスに送信され、例えば、ラウドスピーカを使用して、音として出力され得る。

方法５００は、本明細書で説明されるノイズ分類システム１００などの他の機能に対応する追加のステップを含んでもよい。例えば、第１の信頼度スコアを計算することは、重みを計算することを含み得、重みは、第２の信頼度スコアを計算する際に使用される。別の例として、第１の信頼度スコアを計算することは、オーディオ信号の平均ＲＭＳを計算することと、第１の信頼度スコアを計算するときに計算された平均ＲＭＳを使用することとを含み得る。別の例として、第２の信頼度スコアを計算するステップは、第２の複数の統計を計算するときに重みを使用することを含み得る。

実施の詳細

一実施形態は、ハードウェア、コンピュータ可読媒体上に記憶された実行可能モジュール、または両方の組合せ、例えば、プログラマブル論理アレイにおいて実装され得る。別段の指定がない限り、実施形態によって実行されるステップは、任意の特定のコンピュータまたは他の装置に本質的に関連する必要はないが、特定の実施形態では関連する場合がある。特に、本明細書の教示にしたがって書かれたプログラムとともに様々な汎用機が使用されることもあれば、必要な方法ステップを実行するために、より特化された装置、例えば、集積回路を構築する方が便利なこともある。したがって、実施形態は、少なくとも１つのプロセッサと、揮発性および不揮発性メモリおよび／または記憶要素を含む少なくとも１つのデータ記憶システムと、少なくとも１つの入力デバイスまたはポートと、少なくとも１つの出力デバイスまたはポートとをそれぞれ備える、１つまたは複数のプログラマブルコンピュータシステム上で実行する１つまたは複数のコンピュータプログラムにおいて実装され得る。入力データにプログラムコードを適用して、本明細書で説明された機能を実行し、出力情報を生成する。出力情報は、既知の方法で、１つまたは複数の出力デバイスに適用される。

そのような各コンピュータプログラムは、好ましくは、記憶媒体またはデバイスがコンピュータシステムによって読み取られて、本明細書に説明されるプロシージャを行うとき、コンピュータを構成して動作させるために、汎用または専用プログラマブルコンピュータによって読み取り可能な記憶媒体またはデバイス、例えば、固体メモリもしくは媒体、または磁気もしくは光学媒体上に記憶されるか、またはそれにダウンロードされる。本発明のシステムはまた、コンピュータプログラムを用いて構成されたコンピュータ可読記憶媒体として実装されると考えられてもよく、そのように構成された記憶媒体は、本明細書に記載された機能を実行するために、コンピュータシステムを特定の予め定義された方法で動作させる。ソフトウェア自体および無形のまたは一時的な信号は、それらが特許性のない主題である限り、除外される。

本明細書で説明されるシステムの態様は、デジタルまたはデジタル化オーディオファイルを処理するための適切なコンピュータベースのサウンド処理ネットワーク環境において実装され得る。適応オーディオシステムの部分は、コンピュータ間で伝送されるデータをバッファおよびルーティングする役割を果たす１つまたは複数のルータ（図示せず）を含む、任意の所望の数の個々の機械を含む１つまたは複数のネットワークを含み得る。そのようなネットワークは、様々な異なるネットワークプロトコル上に構築され得、インターネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、またはそれらの任意の組合せであってもよい。

構成要素、ブロック、プロセス、または他の機能構成要素のうちの１つまたは複数は、システムのプロセッサベースのコンピューティングデバイスの実行を制御するコンピュータプログラムを通して実装され得る。また、本明細書で開示される様々な機能は、ハードウェア、ファームウェア、ならびに／あるいは様々な機械可読媒体またはコンピュータ可読媒体において具現化されるデータおよび／または命令として、それらの挙動、レジスタ転送、論理構成要素、および／または他の特性の観点から、任意の数の組合せを使用して説明され得ることに留意されたい。そのようなフォーマットされたデータおよび／または命令が具現化され得るコンピュータ可読媒体には、限定はしないが、光記憶媒体、磁気記憶媒体、または半導記憶媒体など、様々な形態の物理媒体、非一時的媒体、不揮発性媒体が含まれる。

上記の説明は、本開示の態様がどのように実装され得るかの例とともに、本開示の様々な実施形態を示す。上記の例および実施形態がすべての（only）実施形態であるとみなされるべきではなく、以下の特許請求の範囲によって定義される本開示の柔軟性および利点を例示するために提示される。上記の開示および以下の特許請求の範囲に基づいて、他の配置、実施形態、実装形態および均等物が当業者には明らかになり、特許請求の範囲によって定義される本開示の趣旨および範囲から逸脱することなく採用され得る。

本発明の様々な態様は、以下の列挙する例示的な実施形態（ＥＥＥ）から認識され得る。
[ＥＥＥ１］
オーディオ処理のコンピュータ実装方法であって、
オーディオ信号を受信するステップと、
第１の機械学習モデルを使用してオーディオ信号の第１の信頼度スコアを計算するステップと、
第１の信頼度スコアが非ノイズの存在を示すとき、
第１のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成するステップと、
第１の信頼度スコアがノイズの存在を示すとき、
第２の機械学習モデルを使用してオーディオ信号の第２の信頼度スコアを計算するステップと、
第２の信頼度スコアが第１のタイプのノイズの存在を示すとき、
第２のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成するステップと、
第２の信頼度スコアが第２のタイプのノイズの存在を示すとき、
第１のオーディオ処理プロセスにしたがってオーディオ信号を処理することによって、処理されたオーディオ信号を生成するステップと
を含む方法。
[ＥＥＥ２］
ラウドスピーカによって、処理されたオーディオ信号を音として出力するステップ
をさらに含む、ＥＥＥ１に記載のコンピュータ実装方法。
[ＥＥＥ３］
オーディオ信号は複数のサンプルを含み、複数のサンプルは複数のフレームに配置され、
第１の信頼度スコアは、ショートクリップごとにリアルタイムで計算され、
第２の信頼度スコアは、クリップごとにリアルタイムで計算され、
所与のショートクリップおよび所与のクリップはそれぞれ、オーディオ信号のいくつかのフレームを含み、所与のショートクリップは、所与のクリップよりも少ないフレームを含む、
ＥＥＥ１または２に記載のコンピュータ実装方法。
[ＥＥＥ４］
第１のオーディオ処理プロセスは、ノイズリダクション以外のオーディオ処理を含み、
第２のオーディオ処理プロセスは、ノイズリダクションを含む、
ＥＥＥ１から３のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ５］
第１のタイプのノイズは、ユーザ生成コンテンツ（ＵＧＣ）ノイズに対応し、第２のタイプのノイズは、専門家生成コンテンツ（ＰＧＣ）ノイズに対応し、ＰＧＣは、専門家によって作成されたオーディオコンテンツであり、ＵＧＣは、専門家以外によって作成されたオーディオコンテンツである、ＥＥＥ１から４のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ６］
第１の機械学習モデルは、ポジティブトレーニングデータおよびネガティブトレーニングデータを使用してオフラインでトレーニングされており、
ポジティブトレーニングデータは、第１のタイプのノイズに対応するトレーニングデータおよび第２のタイプのノイズに対応するトレーニングデータを含み、
ネガティブトレーニングデータは、非ノイズトレーニングデータを含む、
ＥＥＥ１から５のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ７］
第１の信頼度スコアを計算するステップは、
オーディオ信号から第１の複数の特徴を抽出するステップと、
第１の複数の特徴を第１の機械学習モデルに入力することによってオーディオ信号を分類するステップと、
オーディオ信号を分類した結果に基づいてノイズ信頼度スコアを計算するステップと
を含む、ＥＥＥ１から６のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ８］
第１の複数の特徴は、現在のフレームと複数の履歴フレームとを含むショートクリップから抽出され、現在のフレームのノイズ信頼度スコアは、ショートクリップの第１の複数の特徴を第１の機械学習モデルに入力することで得られる、ＥＥＥ７に記載のコンピュータ実装方法。
[ＥＥＥ９］
クリップ中の複数のフレームに対するノイズ信頼度スコアを計算するステップと、
クリップに対するノイズ信頼度スコアを、複数のフレームに対するノイズ信頼度スコアの重み付けされた組合せとして計算するステップと
をさらに含む、ＥＥＥ７から８のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ１０］
ノイズ信頼度スコアを計算するステップは、
複数の弱学習器の複数の出力を加重和へと組み合わせるステップと、
逆指数関数を使用して、加重和をノイズ信頼度スコアに変換するステップと
を含む、ＥＥＥ７から９のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ１１］
第１の信頼度スコアを計算するステップは、
オーディオ信号の平均二乗平均平方根利得（average root mean square gain）を計算するステップ
をさらに含み、
ノイズ信頼度スコアを計算するステップは、オーディオ信号を分類した結果とオーディオ信号の平均二乗平均平方根利得とに基づいてノイズ信頼度スコアを計算するステップを含む、
ＥＥＥ７から１０のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ１２］
ノイズ信頼度スコアおよび平均二乗平均平方根利得は、オーディオ信号の現在のフレームに関連付けられ、平均二乗平均平方根利得を計算するステップは、
平均二乗平均平方根利得を、現在のフレームを含むショートクリップの複数のフレームの二乗平均平方根レベルの平均として計算するステップと、
第１の係数と第２の係数との比に基づいて二乗平均平方根ベースの重みを計算するステップであって、第１の係数は、平均二乗平均平方根利得と現在のフレームのフレーム重みとの積であり、第２の係数は、現在のフレームのフレーム重みである、ステップと
を含み、
方法は、
クリップ中の複数のフレームに対する複数のノイズ信頼度スコアを計算するステップと、
クリップに対するノイズネス重みを、複数のノイズ信頼度スコアの重み付けされた組合せとして計算するステップと、
二乗平均平方根ベースの重みとノイズネス重みとを乗算することによってクリップ信頼度スコアを計算するステップと
をさらに含む、ＥＥＥ１１に記載のコンピュータ実装方法。
[ＥＥＥ１３］
第１の複数の特徴は、複数の時間的特徴、複数のスペクトル特徴、複数の時間周波数特徴、および第１の複数の統計のうちの１つまたは複数を含み、および／または、
第１の複数の統計は、平均および標準偏差のうちの１つまたは複数を含み、平均は、第１の複数の特徴のうちの１つまたは複数に基づいて計算され、標準偏差は、第１の複数の特徴のうちの１つまたは複数に基づいて計算される、
ＥＥＥ７から１２のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ１４］
ノイズ信頼度スコアに基づいて重みを計算するステップをさらに含み、第２の信頼度スコアを計算するステップは、
オーディオ信号から第２の複数の特徴を抽出するステップであって、第２の複数の特徴は、第１の複数の特徴が抽出されるよりも長い時間期間にわたって抽出される、ステップと、
第２の複数の特徴に基づいて第２の複数の統計を計算するステップであって、第２の複数の統計は、重みにしたがって重み付けされる、ステップと、
第２の複数の特徴および第２の複数の統計を第２の機械学習モデルに入力することによってオーディオ信号を分類するステップと、
オーディオ信号を分類した結果に基づいて第２の信頼度スコアを計算するステップと
を含む、ＥＥＥ７から１３のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ１５］
第１の複数の特徴は、オーディオ信号のショートクリップの第１の複数のフレームから抽出され、第２の複数の特徴は、オーディオ信号のクリップの第２の複数のフレームから抽出される、ＥＥＥ１４に記載のコンピュータ実装方法。
[ＥＥＥ１６］
重みは現在のフレームのフレーム重みであり、フレーム重みを計算するステップは、
現在のフレームのノイズ信頼度スコアに修正シグモイド関数を適用することによってフレーム重みを計算するステップであって、フレーム重みは、ノイズ信頼度スコアがしきい値を超えると増加し、フレーム重みは、ノイズ信頼度スコアがしきい値を下回ると減少する、ステップ
を含む、ＥＥＥ１４または１５に記載のコンピュータ実装方法。
[ＥＥＥ１７］
オーディオ信号はクリップを含み、クリップは複数のフレームを含み、第２の複数の特徴は複数のフレーム特徴と複数の統計とを含み、複数のフレーム特徴はフレームごとに抽出され、複数の統計は複数のフレーム特徴に基づいてクリップごとに計算される、ＥＥＥ１４から１６のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ１８］
第２の機械学習モデルは、ポジティブトレーニングデータおよびネガティブトレーニングデータを使用してオフラインでトレーニングされており、
ポジティブトレーニングデータは、第２のタイプのノイズに対応するトレーニングデータを含み、
ネガティブトレーニングデータは、第１のタイプのノイズに対応するトレーニングデータを含む、
ＥＥＥ１から１７のいずれか１つに記載のコンピュータ実装方法。
[ＥＥＥ１９］
プロセッサによって実行されると、ＥＥＥ１から１８のいずれか１つに記載の方法を含む処理を実行するように装置を制御するコンピュータプログラムを記憶した非一時的コンピュータ可読媒体。
[ＥＥＥ２０］
オーディオ処理のための装置であって、
装置はプロセッサを含み、プロセッサは、ＥＥＥ１から１８のいずれか１つに記載の方法を含む処理を実行するように装置を制御するように構成される、
装置。

Claims

オーディオ処理のコンピュータ実装方法であって、
オーディオ信号を受信するステップと、
オーディオ信号を非ノイズまたはノイズに分類するようにトレーニングされた第１の機械学習モデルを使用して前記オーディオ信号の第１の信頼度スコアを計算するステップと、
前記第１の信頼度スコアが非ノイズの存在を示すとき、
第１のオーディオ処理プロセスにしたがって前記オーディオ信号を処理することによって、処理されたオーディオ信号を生成するステップと、
前記第１の信頼度スコアがノイズの存在を示すとき、
第１のタイプのノイズと第２のタイプのノイズとを区別するようにトレーニングされた第２の機械学習モデルを使用して前記オーディオ信号の第２の信頼度スコアを計算するステップと、
前記第２の信頼度スコアが前記第１のタイプのノイズの存在を示すとき、
第２のオーディオ処理プロセスにしたがって前記オーディオ信号を処理することによって、前記処理されたオーディオ信号を生成するステップと、
前記第２の信頼度スコアが前記第２のタイプのノイズの存在を示すとき、
前記第１のオーディオ処理プロセスにしたがって前記オーディオ信号を処理することによって、前記処理されたオーディオ信号を生成するステップと
を含み、
前記第１のタイプの前記ノイズは、ユーザ生成コンテンツ（ＵＧＣ）ノイズに対応し、前記第２のタイプの前記ノイズは、専門家生成コンテンツ（ＰＧＣ）ノイズに対応し、ＰＧＣは、専門家によって作成されたオーディオコンテンツであり、ＵＧＣは、専門家以外によって作成されたオーディオコンテンツである、
コンピュータ実装方法。
ラウドスピーカによって、前記処理されたオーディオ信号を音として出力するステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。
前記オーディオ信号は複数のサンプルを含み、前記複数のサンプルは複数のフレームに配置され、
前記第１の信頼度スコアは、ショートクリップごとにリアルタイムで計算され、
前記第２の信頼度スコアは、クリップごとにリアルタイムで計算され、
所与のショートクリップおよび所与のクリップはそれぞれ、前記オーディオ信号のいくつかのフレームを含み、前記所与のショートクリップは、前記所与のクリップよりも少ないフレームを含む、
請求項１に記載のコンピュータ実装方法。
前記第１のオーディオ処理プロセスは、ノイズリダクション以外のオーディオ処理を含み、
前記第２のオーディオ処理プロセスは、ノイズリダクションを含む、
請求項１に記載のコンピュータ実装方法。
前記第１の機械学習モデルは、ポジティブトレーニングデータおよびネガティブトレーニングデータを使用してオフラインでトレーニングされており、
前記ポジティブトレーニングデータは、前記第１のタイプの前記ノイズに対応するトレーニングデータおよび前記第２のタイプの前記ノイズに対応するトレーニングデータを含み、
前記ネガティブトレーニングデータは、非ノイズトレーニングデータを含む、
請求項１に記載のコンピュータ実装方法。
前記第１の信頼度スコアを計算するステップは、
前記オーディオ信号から第１の複数の特徴を抽出するステップと、
前記第１の複数の特徴を前記第１の機械学習モデルに入力することによって前記オーディオ信号を分類するステップと、
前記オーディオ信号を分類した結果に基づいてノイズ信頼度スコアを計算するステップと
を含む、請求項１に記載のコンピュータ実装方法。
第１の複数の特徴は、現在のフレームと複数の履歴フレームとを含むショートクリップから抽出され、前記現在のフレームの前記ノイズ信頼度スコアは、前記ショートクリップの前記第１の複数の特徴を前記第１の機械学習モデルに入力することで得られる、請求項６に記載のコンピュータ実装方法。
クリップ中の複数のフレームに対するノイズ信頼度スコアを計算するステップと、
前記クリップに対するノイズ信頼度スコアを、前記複数のフレームに対する前記ノイズ信頼度スコアの重み付けされた組合せとして計算するステップと
をさらに含む、請求項６に記載のコンピュータ実装方法。
前記ノイズ信頼度スコアを計算するステップは、
複数の弱学習器の複数の出力を加重和へと組み合わせるステップと、
逆指数関数を使用して、前記加重和を前記ノイズ信頼度スコアに変換するステップと
を含む、請求項６に記載のコンピュータ実装方法。
前記第１の信頼度スコアを計算するステップは、
前記オーディオ信号の平均二乗平均平方根利得を計算するステップ
をさらに含み、
前記ノイズ信頼度スコアを計算するステップは、前記オーディオ信号を分類した前記結果と前記オーディオ信号の前記平均二乗平均平方根利得とに基づいて前記ノイズ信頼度スコアを計算するステップを含む、
請求項６に記載のコンピュータ実装方法。
前記ノイズ信頼度スコアおよび前記平均二乗平均平方根利得は、前記オーディオ信号の現在のフレームに関連付けられ、前記平均二乗平均平方根利得を計算するステップは、
前記平均二乗平均平方根利得を、前記現在のフレームを含むショートクリップの複数のフレームの二乗平均平方根レベルの平均として計算するステップと、
第１の係数と第２の係数との比に基づいて二乗平均平方根ベースの重みを計算するステップであって、前記第１の係数は、前記平均二乗平均平方根利得と前記現在のフレームのフレーム重みとの積であり、前記第２の係数は、前記現在のフレームの前記フレーム重みである、ステップと
を含み、
前記方法は、
クリップ中の複数のフレームに対する複数のノイズ信頼度スコアを計算するステップと、
前記クリップに対するノイズネス重みを、前記複数のノイズ信頼度スコアの重み付けされた組合せとして計算するステップと、
前記二乗平均平方根ベースの重みと前記ノイズネス重みとを乗算することによってクリップ信頼度スコアを計算するステップと
をさらに含む、請求項１０に記載のコンピュータ実装方法。
前記第１の複数の特徴は、複数の時間的特徴、複数のスペクトル特徴、複数の時間周波数特徴、および第１の複数の統計のうちの１つまたは複数を含み、および／または、
前記第１の複数の統計は、平均および標準偏差のうちの１つまたは複数を含み、前記平均は、前記第１の複数の特徴のうちの１つまたは複数に基づいて計算され、前記標準偏差は、前記第１の複数の特徴のうちの１つまたは複数に基づいて計算される、
請求項６に記載のコンピュータ実装方法。
前記ノイズ信頼度スコアに基づいて重みを計算するステップをさらに含み、前記第２の信頼度スコアを計算するステップは、
前記オーディオ信号から第２の複数の特徴を抽出するステップであって、前記第２の複数の特徴は、前記第１の複数の特徴が抽出されるよりも長い時間期間にわたって抽出される、ステップと、
前記第２の複数の特徴に基づいて第２の複数の統計を計算するステップであって、前記第２の複数の統計は、前記重みにしたがって重み付けされる、ステップと、
前記第２の複数の特徴および前記第２の複数の統計を前記第２の機械学習モデルに入力することによって前記オーディオ信号を分類するステップと、
前記オーディオ信号を分類した結果に基づいて前記第２の信頼度スコアを計算するステップと
を含む、請求項６に記載のコンピュータ実装方法。
前記第１の複数の特徴は、前記オーディオ信号のショートクリップの第１の複数のフレームから抽出され、前記第２の複数の特徴は、前記オーディオ信号のクリップの第２の複数のフレームから抽出される、請求項１３に記載のコンピュータ実装方法。
前記重みは現在のフレームのフレーム重みであり、前記フレーム重みを計算するステップは、
前記現在のフレームの前記ノイズ信頼度スコアに修正シグモイド関数を適用することによって前記フレーム重みを計算するステップであって、前記フレーム重みは、前記ノイズ信頼度スコアがしきい値を超えると増加し、前記フレーム重みは、前記ノイズ信頼度スコアが前記しきい値を下回ると減少する、ステップ
を含む、請求項１３に記載のコンピュータ実装方法。
前記オーディオ信号はクリップを含み、前記クリップは複数のフレームを含み、前記第２の複数の特徴は複数のフレーム特徴と複数の統計とを含み、前記複数のフレーム特徴はフレームごとに抽出され、前記複数の統計は前記複数のフレーム特徴に基づいてクリップごとに計算される、請求項１３に記載のコンピュータ実装方法。
前記第２の機械学習モデルは、ポジティブトレーニングデータおよびネガティブトレーニングデータを使用してオフラインでトレーニングされており、
前記ポジティブトレーニングデータは、前記第２のタイプの前記ノイズに対応するトレーニングデータを含み、
前記ネガティブトレーニングデータは、前記第１のタイプの前記ノイズに対応するトレーニングデータを含む、
請求項１に記載のコンピュータ実装方法。
プロセッサによって実行されると、請求項１から１７のいずれか一項に記載の方法を含む処理を実行するように装置を制御するコンピュータプログラムを記憶した非一時的コンピュータ可読媒体。
オーディオ処理のための装置であって、
前記装置はプロセッサを含み、前記プロセッサは、請求項１から１７のいずれか一項に記載の方法を含む処理を実行するように前記装置を制御するように構成される、
装置。