JP7337169B2 - オーディオクリップのマッチング方法及びその装置、コンピュータプログラム並びに電子機器 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年０５月２４日に提出された、出願番号が２０１９１０４４１３６６．５であり、発明名称が「オーディオクリップのマッチング方法及びその装置、コンピュータ可読媒体並びに電子機器」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、コンピュータ及び通信技術分野に関し、特にオーディオクリップのマッチング方法及びその装置、コンピュータプログラム並びに電子機器に関する。

鼻歌による音楽検索又は鼻歌評点シーンのようなオーディオクリップのマッチングシーンにおいて、一般的には、鼻歌メロディのオーディオ特徴シーケンスと検索されるべきオーディオの特徴シーケンスとの差異程度を比較することで、２つのオーディオクリップの類似度を評価する。しかしながら、オーディオクリックマッチングの正確性を如何に向上させることは、解決されるべき技術的課題である。

本願の実施例は、オーディオクリップマッチングの正確性を向上させることができるオーディオクリップのマッチング方法、装置、コンピュータプログラム及び電子機器を提供する。

本願の他の態様及び利点は、以下の記述によって明瞭となり、又は、一部が本願の実践によって得られる。

本願の実施例の一態様によれば、オーディオクリップのマッチング方法を提供する。該方法は、
第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得するステップと、
前記第１特徴シーケンスと前記第２特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、前記第１位置点は、前記第１特徴シーケンスに位置し、前記第２位置点は、前記第２特徴シーケンスに位置する、ステップと、
前記距離行列における開始位置からターゲット位置までの第１累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を決定するステップと、
前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定するステップと、
前記最小距離に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するステップと、を含む。

本願の実施例のもう１つの態様によれば、オーディオクリップのマッチング方法を提供する。前記方法は、
サーバが第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得するステップと、
前記サーバが前記第１特徴シーケンスと前記第２特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、前記第１位置点は、前記第１特徴シーケンスに位置し、前記第２位置点は、前記第２特徴シーケンスに位置する、ステップと、
前記サーバが前記距離行列における開始位置からターゲット位置までの第１累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を決定するステップと、
前記サーバが前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定するステップと、
前記サーバが前記最小距離に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するステップと、を含む。

本願の実施例のもう１つの態様によれば、オーディオクリップのマッチング装置を提供する。該装置は、
第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得するように構成される取得ユニットと、
前記取得ユニットから、前記第１特徴シーケンス及び前記第２特徴シーケンスを取得し、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の距離行列を構築するように構成される構築ユニットであって、前記距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、前記第１位置点は、前記第１特徴シーケンスに位置し、前記第２位置点は、前記第２特徴シーケンスに位置する、構築ユニットと、
前記構築ユニットから前記距離行列を取得し、前記距離行列における開始位置からターゲット位置までの第１累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を決定し、前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定し、前記最小距離に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するように構成される処理ユニットと、を備える。

選択可能な実施例において、前記処理ユニットは、
前記開始位置から第１候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第１候補位置は、前記開始位置と前記ターゲット位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記開始位置から前記第１候補位置までの累積距離及び前記第１候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第１候補累積距離を決定し、前記第１候補累積距離のうちの最小値を前記第１累積距離として決定するように構成される。

選択可能な実施例において、前記決定サブユニットは更に、前記累積距離と前記第１候補位置で表される前記距離値に対して加算を行い、前記第１候補位置に対応する距離合計値を得るように構成され、前記累積距離は、前記開始位置から前記第１候補位置までの距離であり、
決定サブユニットは更に、前記距離合計値を前記第１候補位置に対応する前記第１候補累積距離として決定するように構成される。

選択可能な実施例において、前記決定サブユニットは更に、前記第１候補位置で表される距離値及び前記第１候補位置に対応する重み値に基づいて、各前記第１候補位置で表される距離値に対して重み付け演算を行い、前記第１候補位置に対応する重み付け距離値を得るように構成され、
決定サブユニットは更に、前記開始位置から前記第１候補位置までの累積距離と前記第１候補位置に対応する前記重み付け距離値に対して加算を行い、前記第１候補位置に対応する距離合計値を得て、前記距離合計値を前記第１候補位置に対応する前記第１候補累積距離として決定するように構成される。

選択可能な実施例において、前記決定サブユニットは更に、前記第１候補位置と前記距離行列の対角線との間の距離を決定するステップであって、前記対角線は、前記開始位置と前記終了位置を連結した直線である、ステップと、各前記第１候補位置と前記対角線との間の距離に基づいて、各前記第１候補位置に対応する重み値を決定するステップと、を実行するように構成される。

選択可能な実施例において、前記第１候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第１候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものである。

選択可能な実施例において、前記処理ユニットは、
前記終了位置から第２候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第２候補位置は、前記ターゲット位置と前記終了位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記終了位置から前記第２候補位置までの累積距離及び前記第２候補位置で表される距離値に基づいて、前記終了位置から前記ターゲット位置までの第２候補累積距離を決定し、前記第２候補累積距離のうちの最小値を前記第２累積距離として決定するように構成される。

選択可能な実施例において、前記第２候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第２候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものである。

選択可能な実施例において、前記処理ユニットは、
前記ターゲット位置で表される距離値、前記第１累積距離及び前記第２累積距離に基づいて、前記ターゲット位置に対応する最小累積距離を決定し、前記ターゲット位置に対応する最小累積距離から最小値を選択し、前記最小値を前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離として決定するように構成される決定サブユニットを備える。

選択可能な実施例において、前記決定サブユニットは更に、前記ターゲット位置で表される距離値、前記第１累積距離及び前記第２累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るように構成され、
又は、
前記決定サブユニットは更に、前記ターゲット位置で表される距離値と前記ターゲット位置に対応する重み値に対して重み付け演算を行い、前記ターゲット位置に対応する重み付け距離値を得て、前記重み付け距離値、前記第１累積距離及び前記第２累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るように構成される。

選択可能な実施例において、前記第１オーディオクリップは、ｎ個の前記第１特徴シーケンスに対応し、前記第２オーディオクリップは、ｎ個の前記第２特徴シーケンスに対応し、ｎは、正整数であり、
前記取得ユニットは更に、ｎ個の前記第１特徴シーケンスとｎ個の前記第２特徴シーケンスとの間のｎ個の最小距離を取得するように構成され、
処理ユニットは更に、ｎ個の前記最小距離に対して重み付け加算を行い、前記第１オーディオクリップと前記第２オーディオクリップとの重み付け距離値を得て、前記重み付け距離値に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するように構成される。

選択可能な実施例において、前記技術的解決手段によれば、前記複数の特徴は、オーディオクリップの音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値を含む。

本願の実施例のもう１つの態様によれば、コンピュータ可読媒体を提供する。前記コンピュータ可読媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、上記実施例に記載のオーディオクリップのマッチング方法を実施させる。

本願の実施例のもう１つの態様によれば、電子機器を提供する。前記電子機器は、１つ以上のプロセッサと、１つ以上のプログラムを記憶するように構成される記憶装置と、を備え、前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行される時、前記１つ以上のプロセッサに上記実施例に記載のオーディオクリップのマッチング方法を実施させる。

本願の実施例のもう１つの態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータで実行される時、コンピュータに、本願の実施例で提供されるオーディオクリップのマッチング方法を実行させる。

本願の実施例で提供される技術的解決手段の有益な効果は少なくとも以下を含む。

距離行列における開始位置から距離行列におけるターゲット位置までの第１累積距離を算出し、距離行列における終了位置から該ターゲット位置までの第２累積距離を算出し、該第１累積距離及び第２累積距離に基づいて、第１特徴シーケンスと第２特徴シーケンスとの間の最小距離を得る。これにより、２つの特徴シーケンス間の最小距離を算出する場合、２つの方向（つまり、距離行列の開始位置からターゲット位置まで、距離行列の終了位置からターゲット位置まで）から、総合的に演算を行い、更に、２つ方向での、特徴シーケンスのマッチング関係を両立させることができる。従って、算出された２つの特徴シーケンス間の最小距離がより正確であることを確保することができ、オーディオクリップマッチングの正確性の向上に寄与する。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の一例示的な実施例によるシステムアーキテクチャを示す概略図である。 本願の一例示的な実施例によるオーディオクリップのマッチング方法を示すフローチャートである。 本願の一例示的な実施例による距離行列を示す概略図である。 本願の一例示的な実施例による第１累積距離の算出を示すフローチャートである。 本願の一例示的な実施例による距離行列の開始位置から累積距離を算出するという算出方向を示す概略図である。 本願の一例示的な実施例による第２累積距離の算出を示すフローチャートである。 本願の一例示的な実施例による距離行列の終了位置から累積距離を算出するという算出方向を示す概略図である。 本願の一例示的な実施例による第１特徴シーケンスと第２特徴シーケンスとの間の最小距離の算出を示すフローチャートである。 本願の一例示的な実施例による第１オーディオクリップと第２オーディオクリップとの間のマッチング度の決定を示すフローチャートである。 本願の一例示的な実施例による鼻歌評点方法を示すフローチャートである。 本願の一例示的な実施例による算出されたグローバル最適経路を示す概略図である。 本願の一例示的な実施例によるオーディオクリップのマッチング装置を示すブロック図である。 本願の一例示的な実施例による電子機器のコンピュータシステムの構造を示す概略図である。

本願の実施例における技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明する。勿論、以下の図面は本願の一部の実施例に過ぎず、当業者は創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。

本願の目的、技術的解決手段及び利点をより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。

図１は、本願の実施例の技術的解決手段を適用できる例示的なシステムアーキテクチャを示す概略図である。

図１に示すように、システムアーキテクチャは、端末機器（例えば、図１に示すスマートフォン１０１、タブレット１０２及びポータブルコンピュータ１０３のうちの１つ以上であってもよく、勿論、デスクトップコンピュータなどであってもよい）、ネットワーク１０４及びサーバ１０５を備えてもよい。ネットワーク１０４は、端末機器とサーバ１０５との間で通信リンクを提供する媒体である。ネットワーク１０４は、例えば、有線通信リンク、無線通信リンクなどの種々の接続タイプを含んでもよい。

図１における端末機器、ネットワーク及びサーバの数は、例示的なものだけである。実現の需要に応じて、任意の数の端末機器、ネットワーク及びサーバを有してもよい。例えば、サーバ１０５は、複数のサーバからなるサーバクラスタなどであってもよい。

本願の一実施例において、ユーザは、端末機器を利用してサーバ１０５に第１オーディオクリップ（例えば、ユーザがアカペラで歌ったオーディオクリップであってもよい）をアップロードすることができる。サーバ１０５は、端末機器からアップロードされた第１オーディオクリップを取得した後、第１オーディオクリップに対応する第１特徴シーケンスを抽出し、第１オーディオクリップとマッチングされるべき第２オーディオクリップ（例えば、サーバ１０５に事前記憶されたオーディオクリップ）を取得し、第２オーディオクリップに対応する第２特徴シーケンスを抽出する。続いて、第１特徴シーケンスと第２特徴シーケンスとの間の距離行列を構築し、該距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、ここで、第１位置点は、第１特徴シーケンスに位置し、第２位置点は、第２特徴シーケンスに位置する。

本願の一実施例において、距離行列を構築した後、サーバ１０５は、該距離行列における開始位置から距離行列におけるターゲット位置までの第１累積距離を算出し、距離行列における終了位置からターゲット位置までの第２累積距離を算出し、続いて、第１累積距離及び第２累積距離に基づいて、第１特徴シーケンスと第２特徴シーケンスとの間の最小距離を算出し、該最小距離に基づいて、第１オーディオクリップと第２オーディオクリップとの間のマッチング度を決定することができる。上記から分かるように、本願の実施例の技術的解決手段は、２つの方向（つまり、距離行列の開始位置からターゲット位置まで、距離行列の終了位置からターゲット位置まで）から、オーディオクリップの特徴シーケンス間の最小距離を総合的に算出し、更に、２つ方向での、特徴シーケンスのマッチング関係を両立させることができる。従って、算出された２つの特徴シーケンス間の最小距離がより正確であることを確保することができ、オーディオクリップマッチングの正確性の向上に寄与する。

以下、本願の実施例の技術的解決手段の実現細部を詳しく説明する。

図２は、本願の一例示的な実施例によるオーディオクリップのマッチング方法を示すフローチャートである。該オーディオクリップのマッチング方法は、コンピューティング処理能力を持つ機器により実行されてもよい。例えば、図１に示すサーバ１０５により実行されてもよい。図２に示すように、該オーディオクリップのマッチング方法は少なくとも以下を含む。

ステップＳ２１０において、サーバが第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得する。

本願の一実施例において、第１オーディオクリップ及び第２オーディオクリップは、マッチング度を決定するために比較される２つのオーディオクリップである。例えば、第１オーディオクリップは、ユーザにより入力されたオーディオクリップ（例えば、アカペラで歌ったオーディオクリップ、ユーザにより録音されたオーディオクリップなど）であり、第２オーディオクリップは、データベースに記憶されたオーディオクリップである。

本願の一実施例において、第１特徴シーケンス及び第２特徴シーケンスは、同一のオーディオ特徴に対するシーケンスである。オーディオ特徴は、音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも１つを含む。

本願の一実施例において、第１オーディオクリップ及び第２オーディオクリップの特徴シーケンスを抽出する場合、自己相関関数メカニズム、Ｙｉｎメカニズム、ＰＹｉｎメカニズムのうちの少なくとも１つを含む。

ステップＳ２２０において、サーバが第１特徴シーケンスと第２特徴シーケンスとの間の距離行列を構築し、距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、第１位置点は、第１特徴シーケンスに位置し、第２位置点は、第２特徴シーケンスに位置する。

幾つかの実施例において、距離行列の寸法は、第１特徴シーケンス及び第２特徴シーケンスの長さに関わる。例示的に、第１特徴シーケンスの長さがｍであり、第２特徴シーケンスの長さがｎであると、距離行列の大きさは、ｍ×ｎである。例示的に、図３に示すように、第１特徴シーケンスが３０１であり、第２特徴シーケンスが３０２であるとすれば、大きさがｍ×ｎである距離行列３０３を構築し、距離行列における各位置は、第１特徴シーケンス３０１における１つの点と第２特徴シーケンス３０２における１つの点との間の距離を表す。例えば、距離行列における（ｉ，ｊ）は、第１特徴シーケンス３０１におけるｉ番目の点と第２特徴シーケンス３０２におけるｊ番目の点との間の距離を表し、該距離は、ユークリッド距離を含む。

ステップＳ２３０において、サーバが距離行列における開始位置からターゲット位置までの第１累積距離、及び距離行列における終了位置からターゲット位置までの第２累積距離を決定する。

本願の一実施例において、距離行列における開始位置は、距離行列における、第１特徴シーケンスにおける１番目の特徴点と第２特徴シーケンスにおける１番目の特徴点に対応する位置である。距離行列における終了位置は、距離行列における、第１特徴シーケンスにおける最後の特徴点と第２特徴シーケンスにおける最後の特徴点に対応する位置である。ターゲット位置は、距離行列における開始位置及び終了位置以外のいずれか１つの位置を含む。

本願の一実施例において、図４に示すように、開始位置とターゲット位置との第１累積距離の算出プロセスは、下記ステップＳ４１０からステップＳ４３０を含む。

ステップＳ４１０において、サーバが開始位置から第１候補位置までの累積距離を決定し、第１候補位置は、開始位置とターゲット位置との間に位置する。

本願の一実施例において、距離行列の開始位置から、累積距離を算出する場合、行列における３つの方向から、位置ごとに距離累積演算を行う。つまり、図５に示す、上、右及び右上対角という３つの方向である。

つまり、第１候補位置とターゲット位置とは、関連関係がある。該関連関係は、第１候補位置がターゲット位置の周辺の所定の距離範囲内にあることを表すためのものである。例えば、ターゲット位置の座標が（ｉ，ｊ）であると、複数の第１候補位置の座標は、（ｉ－１，ｊ－１）、（ｉ－１，ｊ－ｘ）、（ｉ－ｘ，ｊ－１）を含み、ここで、ｘは、ｉ又はｊ未満の自然数であり、例えば、ｘは、０、２、３等である。

本願の一実施例において、上記実施例におけるｘは、１より大きくてもよい。この場合、累積距離を算出する場合、（ｘ－１）個の位置を隔てて累積を行い、更に、累積距離の算出プロセスを加速することで、算出速度の向上に寄与する。しかしながら、算出結果の正確性を保証するために、ｘ値は、大きすぎる値ではないことが好ましいため、実際の需要に応じて設定し、例えば、２とする。

本願の一実施例において、開始位置と第１候補位置との累積距離の算出プロセスは、開始位置とターゲット位置との累積距離の算出プロセスと類似する。

ステップＳ４２０において、サーバが開始位置から第１候補位置までの累積距離及び第１候補位置で表される距離値に基づいて、開始位置からターゲット位置までの第１候補累積距離を決定する。

本願の一実施例において、開始位置からターゲット位置までの複数の第１候補累積距離の算出プロセスは、開始位置から第１候補位置までの累積距離と第１候補位置で表される距離値に対して加算を行い、第１候補位置に対応する距離合計値を得て、距離合計値を第１候補位置に対応する第１候補累積距離として決定するステップを含む。

例えば、１つの第１候補位置は、（ｉ－１，ｊ－１）であり、該第１候補位置で表される距離値は、ｄ（ｉ－１，ｊ－１）であると、該第１候補位置に対応する距離合計値は、Ｄ_forward（ｉ－１，ｊ－１）＋ｄ（ｉ－１，ｊ－１）で表されてもよく、ここで、Ｄ_forward（ｉ－１，ｊ－１）は、距離行列における開始位置から該第１候補位置までの累積距離を表す。

本願の一実施例において、開始位置からターゲット位置までの第１候補累積距離を算出する場合、まず、第１候補位置で表される距離値及び第１候補位置に対応する重み値に基づいて、各第１候補位置で表される距離値に対して重み付け演算を行い、第１候補位置に対応する重み付け距離値を得る。開始位置から第１候補位置までの累積距離と第１候補位置に対応する重み付け距離値に対して加算を行い、第１候補位置に対応する距離合計値を得て、距離合計値を第１候補位置に対応する第１候補累積距離として決定する。例えば、１つの第１候補位置は、（ｉ－１，ｊ－１）であり、該第１候補位置で表される距離値は、ｄ（ｉ－１，ｊ－１）であり、該第１候補位置に対応する重み値は、ｗであると、該第１候補位置に対応する距離合計値は、Ｄ_forward（ｉ－１，ｊ－１）＋ｄ（ｉ－１，ｊ－１）×ｗで表されてもよく、ここで、Ｄ_forward（ｉ－１，ｊ－１）は、距離行列における開始位置から該第１候補位置までの累積距離を表す。

幾つかの実施例において、上記第１候補位置に対応する重み値は、第１候補位置と距離行列の対角線との間の距離に基づいて決定されたものである。つまり、第１候補位置と距離行列の対角線との間の距離を決定し、各第１候補位置と対角線との間の距離に基づいて、各第１候補位置に対応する重み値を決定する。ここで、対角線は、開始位置と終了位置を連結した直線である。つまり、上記実施例において、各第１候補位置に対応する重み値を考慮した。その理由は、各第１候補位置と距離行列の対角線との間の距離が異なる可能性があり、各第１候補位置から最後に選択された位置が距離行列の対角線から遠く外れることを避けるために、各第１候補位置と距離行列の対角線との間の距離に基づいて、各第１候補位置に対応する重みを設定することである。例えば、１つの位置が対角線に近いほど、該位置に対応する重みは、１に近くなる。１つの位置が対角線に遠いほど、該位置に対応する重みは、大きくなる。

ステップＳ４３０において、サーバが第１候補累積距離のうちの最小値を第１累積距離として決定する。

図４に示す実施例の技術的解決手段によれば、距離行列の開始位置から距離行列におけるターゲット位置までの第１累積距離を算出することができる。

以下、図６を参照しながら、本願の実施例における距離行列における終了位置からターゲット位置までの第１累積距離の算出を説明する。具体的には、下記ステップＳ６１０からステップＳ６３０を含む。

ステップＳ６１０において、サーバが終了位置から第２候補位置までの累積距離を決定し、第２候補位置は、ターゲット位置と終了位置との間に位置する。

本願の一実施例において、距離行列の終了位置から、累積距離を算出する場合、行列における３つの方向から、位置ごとに距離累積演算を行う。つまり、図７に示す、下、左及び左下対角という３つの方向である。つまり、第２候補位置とターゲット位置とは、関連関係がある。該関連関係は、第２候補位置がターゲット位置の周辺の所定の範囲内にあることを表すためのものである。ターゲット位置の座標が（ｉ，ｊ）であると、複数の第２候補位置の座標は、（ｉ＋１，ｊ＋１）、（ｉ＋１，ｊ＋ｙ）、（ｉ＋ｙ，ｊ＋１），を含み、ここで、ｙは、自然数であり、例えば、ｙは、０，２、３等である。

本願の一実施例において、上記実施例におけるｙは、１より大きくてもよい。この場合、累積距離を算出する場合、（ｙ－１）個の位置を隔てて累積を行い、更に、累積距離の算出プロセスを加速することで、算出速度の向上に寄与する。しかしながら、算出結果の正確性を保証するために、ｙの値は、大きすぎる値ではないことが好ましいため、実際の需要に応じて設定し、例えば、２とする。

本願の一実施例において、終了位置と第２候補位置との累積距離の算出プロセスは、終了位置とターゲット位置との累積距離の算出プロセスと類似する。

ステップＳ６２０において、サーバが終了位置から第２候補位置までの累積距離及び第２候補位置で表される距離値に基づいて、終了位置からターゲット位置までの第２候補累積距離を決定する。

本願の一実施例において、終了位置からターゲット位置までの第２候補累積距離の算出プロセスは、終了位置から第２候補位置までの累積距離と第２候補位置で表される距離値に対して加算を行い、各第２候補位置に対応する距離合計値を得て、距離合計値を第２候補位置に対応する第２候補累積距離として決定するステップを含む。例えば、１つの第２候補位置は、（ｉ＋１，ｊ＋１）であり、該第２候補位置で表される距離値は、ｄ（ｉ＋１，ｊ＋１）であると、該第２候補位置に対応する距離合計値は、Ｄ_backward（ｉ＋１，ｊ＋１）＋ｄ（ｉ＋１，ｊ＋１）で表されてもよく、ここで、Ｄ_backward（ｉ＋１，ｊ＋１）は、距離行列における終了位置から該第２候補位置までの累積距離を表す。

本願の一実施例において、終了位置からターゲット位置までの複数の第２候補累積距離を算出するプロセスは、第２候補位置で表される距離値及び第２候補位置に対応する重み値に基づいて、第２候補位置で表される距離値に対して重み付け演算を行い、第２候補位置に対応する重み付け距離値を得るステップと、終了位置から第２候補位置までの累積距離と第２候補位置に対応する重み付け距離値に対して加算を行い、各第２候補位置に対応する距離合計値を得て、距離合計値を第２候補位置に対応する第２候補累積距離として決定するステップと、を含む。例えば、１つの第２候補位置は、（ｉ＋１，ｊ＋１）であり、該第２候補位置で表される距離値は、ｄ（ｉ＋１，ｊ＋１）であり、該第２候補位置に対応する重み値は、ｗであると、該第２候補位置に対応する距離合計値は、Ｄ_backward（ｉ＋１，ｊ＋１）＋ｄ（ｉ＋１，ｊ＋１）×ｗで表されてもよく、ここで、Ｄ_backward（ｉ＋１，ｊ＋１）は、距離行列における終了位置から該第２候補位置までの累積距離を表す。

幾つかの実施例において、上記第２候補位置に対応する重み値は、第２候補位置と距離行列の対角線との間の距離に基づいて決定されたものである。つまり、第２候補位置と距離行列の対角線との間の距離を決定し、各第２候補位置と対角線との間の距離に基づいて、各第２候補位置に対応する重み値を決定する。ここで、対角線は、開始位置と終了位置を連結した直線である。つまり、上記実施例において、各第２候補位置に対応する重み値を考慮した。その理由は、各第２候補位置と距離行列の対角線との間の距離が異なる可能性があり、各第２候補位置から最後に選択された位置が距離行列の対角線から遠く外れることを避けるために、各第２候補位置と距離行列の対角線との間の距離に基づいて、各第２候補位置に対応する重みを設定することである。例えば、１つの位置が対角線に近いほど、該位置に対応する重みは、１に近くなる。１つの位置が対角線に遠いほど、該位置に対応する重みは、大きくなる。

ステップＳ６３０において、サーバが第２候補累積距離のうちの最小値を第２累積距離として決定する。

図６に示す実施例の技術的解決手段によれば、距離行列の終了位置から距離行列におけるターゲット位置までの第２累積距離を算出することができる。

ステップＳ２４０において、サーバが第１累積距離及び第２累積距離に基づいて、第１特徴シーケンスと第２特徴シーケンスとの間の最小距離を算出する。

本願の一実施例において、図８に示すように、ステップＳ２４０における第１累積距離及び第２累積距離に基づいて第１特徴シーケンスと第２特徴シーケンスとの間の最小距離を算出するプロセスは、下記ステップＳ８１０からステップＳ８２０を含む。

ステップＳ８１０において、サーバが第１累積距離、第２累積距離及びターゲット位置で表される距離値に基づいて、ターゲット位置に対応する最小累積距離を決定する。
本願の一実施例において、ターゲット位置で表される距離値、第１累積距離及び第２累積距離に対して加算を行い、ターゲット位置に対応する最小累積距離を得る。例えば、ターゲット位置は、（ｉ，ｊ）であり、ターゲット位置で表される距離値は、ｄ（ｉ，ｊ）であり、第１累積距離は、Ｄ_forward（ｉ，ｊ）であり、第２累積距離は、Ｄ_backward（ｉ，ｊ）であると、ターゲット位置に対応する最小累積距離は、Ｄ_total（ｉ，ｊ）＝Ｄ_forward（ｉ，ｊ）＋Ｄ_backward（ｉ，ｊ）＋ｄ（ｉ，ｊ）である。

本願の一実施例において、ターゲット位置で表される距離値及びターゲット位置に対応する重み値に基づいて重み付け演算を行い、ターゲット位置に対応する重み付け距離値を得る。続いて、ターゲット位置に対応する重み付け距離値、第１累積距離及び第２累積距離に対して加算を行い、ターゲット位置に対応する最小累積距離を得る。例えば、ターゲット位置は、（ｉ，ｊ）であり、ターゲット位置で表される距離値は、ｄ（ｉ，ｊ）であり、ターゲット位置に対応する重み値は、ｗであり、第１累積距離は、Ｄ_forward（ｉ，ｊ）であり、第２累積距離は、Ｄ_backward（ｉ，ｊ）であると、ターゲット位置に対応する最小累積距離は、Ｄ_total（ｉ，ｊ）＝Ｄ_forward（ｉ，ｊ）＋Ｄ_backward（ｉ，ｊ）＋ｄ（ｉ，ｊ）×ｗである。ここで、ターゲット位置に対応する重み値は、ターゲット位置と距離行列の対角線との間の距離に基づいて決定されてもよい。

引き続き図８を参照すると、ステップＳ８２０において、サーバがターゲット位置に対応する最小累積距離から、最小値を選択して第１特徴シーケンスと第２特徴シーケンスとの間の最小距離とする。

本願の一実施例において、第１特徴シーケンスと第２特徴シーケンスとの間の最小距離は、

である。

ステップＳ２５０において、サーバが最小距離に基づいて第１オーディオクリップと第２オーディオクリップとの間のマッチング度を決定する。

本願の一実施例において、図９に示すように、ステップＳ２４０における第１特徴シーケンスと第２特徴シーケンスとの間の最小距離に基づいて、第１オーディオクリップと第２オーディオクリップとの間のマッチング度を決定するプロセスは、下記ステップＳ９１０からステップＳ９３０を含む。

ステップＳ９１０において、サーバがｎ個の第１特徴シーケンスとｎ個の第２特徴シーケンスとの間のｎ個の最小距離を取得し、ｎは正整数である。

幾つかの実施例において、第１オーディオクリップは、ｎ個の第１特徴シーケンスに対応し、第２オーディオクリップは、ｎ個の第２特徴シーケンスに対応する。ここで、ｉ番目の第１特徴シーケンスとｉ番目の第２特徴シーケンスは、同一の特徴に対応する。また、最小距離を算出する場合、ｉ番目の第１特徴シーケンスとｉ番目の第２特徴シーケンスとの間の最小距離を算出する。ｉは、正整数であり、且つｉ≦ｎである。オーディオクリップの特徴は、オーディオクリップの音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも１つを含む。つまり、各特徴に対して、第１オーディオクリップの第１特徴シーケンス及び第２オーディオクリップの第２特徴シーケンスをそれぞれ取得し、これらに基づいて、２つの特徴シーケンス間の最小距離を算出し、更に、複数の特徴にそれぞれ対応する第１特徴シーケンスと第２特徴シーケンスとの間の最小距離を得る。

ステップＳ９２０において、サーバがｎ個の最小距離値に対して重み付け加算を行い、第１オーディオクリップと第２オーディオクリップとの重み付け距離値を得る。

本願の一実施例において、特徴に対応する重みは、特徴の重要度に応じて設定される。例えば、１つの特徴が比較的重要であると、該特徴に対応する重みを大きい値に設定する。１つの特徴が相対的重要ではないと、該特徴に対応する重みを小さい値に設定する。更に、重要な特徴が重み付け距離値に及ぼす影響を強調し、重要ではない特徴が重み付け距離値に及ぼす影響を弱くする。

ステップＳ９３０において、サーバが重み付け距離値に基づいて、第１オーディオクリップと第２オーディオクリップとの間のマッチング度を決定する。

本願の一実施例において、第１オーディオクリップと第２オーディオクリップとの重み付け距離値を算出した後、該重み付け距離値を参照値（例えば、第１特徴シーケンスの長さ又は第２特徴シーケンスの長さ）で除算することで、マッチングスコアを得て、更に、マッチングスコアに基づいて，第１オーディオクリップと第２オーディオクリップとの間のマッチング度を決定する。例えば、マッチングスコアが大きいと、第１オーディオクリップと第２オーディオクリップとの間のマッチング度が高いと判定する。逆に、マッチングスコアが小さいと、第１オーディオクリップと第２オーディオクリップとの間のマッチング度が低いと判定する。

本願の一実施例において、１つの特徴に対応する第１特徴シーケンスと第２特徴シーケンスとの間の最小距離を直接的に第１オーディオクリップと第２オーディオクリップとの間の距離とし、更に、第１オーディオクリップと第２オーディオクリップとの間のマッチング度を決定する。

本願の上記実施例の技術的解決手段は、２つの方向（つまり、距離行列の開始位置からターゲット位置まで、距離行列の終了位置からターゲット位置まで）から、オーディオクリップの特徴シーケンス間の最小距離を総合的に算出するため、２つ方向での、特徴シーケンスのマッチング関係を両立させることができ、更に、算出された２つの特徴シーケンス間の最小距離がより正確であることを確保することができ、オーディオクリップマッチングの正確性の向上に寄与する。

例示的に、鼻歌評点シーンを例として、本願の実施例の技術的解決手段を詳しく説明する。

図１０に示すように、本願の実施例による鼻歌評点方法は、下記ステップを含む。

ステップＳ１００１において、サーバは、ユーザがアカペラで歌ったオーディオクリップを収集する。

本願の一実施例において、ユーザは、指定の歌をアカペラで歌う。端末は、ユーザのオーディオクリップを収集し、オーディオクリップの開始及び終了時刻を記録し、更にオーディオ時間長を得る。任意選択的に、端末が収集したオーディオクリップのオーディオ時間長が所定の時間長未満であると、該オーディオクリップを濾過して除去し、評点に失敗した情報を返信する。

ステップＳ１００２において、サーバがオーディオクリップの音高シーケンスを抽出する。

本願の一実施例において、自己相関関数アルゴリズム、Ｙｉｎアルゴリズム又はＰＹｉｎアルゴリズムを使用して、指定したサンプリング率で、オーディオクリップの音高シーケンスを抽出する。

ステップＳ１００３において、サーバがターゲットミュージカルインストルメントデジタルインタフェース（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：ＭＩＤＩ）の音高シーケンスを抽出する。

本願の一実施例において、鼻歌評点底層は、音楽ＭＩＤＩライブラリに依存し、これは、評点基準のソースである。ここで、ユーザがアカペラで歌ったオーディオクリップに、開始時間スタンプ及び終了時間スタンプがあり、ＭＩＤＩライブラリにおける１つの音符シーケンスに対応することができる。続いて、ＭＩＤＩ音符と音高の換算式により、音高シーケンスを得る。任意選択的に、ターゲット歌クリップＭＩＤＩの音高シーケンスは、ＭＩＤＩライブラリに事前生成された。

ステップＳ１００３とＳ１００１及びステップＳ１００２とは、絶対な優先順位がないことに留意されたい。

ステップＳ１００４において、サーバが本願の実施例のオーディオ情報マッチングアルゴリズムを使用して２つの音高シーケンス間の最小距離を算出する。

ステップＳ１００５において、サーバが最小距離の結果を換算式により標準スコアに変換する。

本願の一実施例において、ステップＳ１００４における最小距離は、累積により得られたものであるため、音高シーケンスは長いほど、算出された最小距離の値は大きくなる。該影響を解消するために、ステップＳ１００４で算出された最小距離をユーザオーディオクリップの音高シーケンス長さで除算することで、標準スコアを得て、更に該標準スコアをユーザにフィードバックする。

上記ステップＳ１００４において、２つの音高シーケンスがそれぞれシーケンスｐ及びシーケンスｑであり、シーケンスｐの長さは、ｍであり、シーケンスｑの長さは、ｎであり、つまり、ｐ＝（ｐ_１，ｐ_２，…，ｐ_ｉ，…，ｐ_ｍ）、ｑ＝（ｑ_１，ｑ_２，…，ｑ_ｊ，…，ｑ_ｎ）であると仮定する。従って、本願の実施例のオーディオ情報マッチングアルゴリズムで２つの音高シーケンス間の最小距離を算出する技術的解決手段は、以下のように、主に下記ステップを含む。

ステップ（１）において、シーケンスｐ及びシーケンスｑの距離行列及び重み行列を算出する。

本願の一実施例において、距離行列における位置（ｉ，ｊ）は、ｐ_ｉとｑ_ｊとの間の距離ｄ（ｉ，ｊ）を表し、該距離がユークリッド距離であると、ｄ（ｉ，ｊ）＝（ｐ_ｉ－ｑ_ｊ）^２である。

本願の一実施例において、重み行列は、距離行列における要素位置（ｉ，ｊ）と距離行列の対角線（即ち、点（１，１）と点（ｍ，ｎ）で形成された直線）との間の距離を考慮したものである。シーケンスｐとシーケンスｑが近いほど、最後に算出された、距離行列の開始位置（即ち、点（１，１））から終了位置（即ち、点（ｍ，ｎ））までの最適な経路は、対角線に近くなる。従って、対角線から離れる要素位置に対して、ペナルティ重みを設定する。つまり、要素位置は、対角線に近いほど、対応する重みは、１に近くなり、要素位置は、対角線に遠いほど、対応する重みは大きくなる。

本願の一実施例において、距離行列における位置（ｉ，ｊ）と距離行列の対角線との間の距離ｔ（ｉ，ｊ）は、

に近似してもよい。

本願の一実施例において、重み行列における位置（ｉ，ｊ）の演算式は、ｔ（ｉ，ｊ）のスムージング補正であり、つまり、距離行列における位置（ｉ，ｊ）に対応する重みｗ（ｉ，ｊ）は、下記式１で算出されてもよい。

ここで、上記式１における数値は、例だけである。

ステップ（２）において、上記ステップ（１）で算出された距離行列及び重み行列に基づいて、フォワード累積距離行列、フォワードソースノード行列、バックワード累積距離行列及びバックワードソースノード行列を算出する。

本願の一実施例において、距離行列の開始位置及び終了位置からそれぞれ中間位置へバックトラッキングして最小距離を見出す。つまり、本願の実施例において、改良した動的タイムワーピング（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ：ＤＴＷ）アルゴリズムを提供する。該アルゴリズムによれば、双方向演算を行い、シーケンスのヘッダ部のマッチング及び尾部のマッチングを同時に考慮することができ、マッチングをより完備にすることができる。

本願の一実施例において、距離行列の開始位置からフォワード演算を行う過程において、距離累積プロセスを加速し、距離行列における要素位置が対角線からずれた程度（即ち、要素位置に対応する重み）を考慮するために、位置（ｉ，ｊ）の累積距離は、（ｉ－１，ｊ－１）、（ｉ－１，ｊ－２）及び（ｉ－２，ｊ－１）とい３つの位置から始まる。また、下記式２に示すフォワード局所判定関数Ｄ_forward（ｉ，ｊ）を定義することで、距離行列の開始位置から距離行列における位置（ｉ，ｊ）までの累積距離を表し、これにより、フォワード累積距離行列を得る。

式２に対して調整を行い、下記式３を得る。

上記実施例において、距離行列の開始位置からフォワード演算を行うことは、距離行列の左下隅（１，１）から始まり、各行において、左から右への演算を行い、フォワード累積距離Ｄ_forward（ｉ，ｊ）を算出すると同時に、Ｄ_forward（ｉ，ｊ）のソースノードの下付き文字である（ｉ－１，ｊ－１）、（ｉ－１，ｊ－２）及び（ｉ－２，ｊ－１）のうちの１つをフォワードソースノード行列における（ｉ，ｊ）位置に記憶する。

本願の一実施例において、距離行列の終了位置からバックワード演算を行うプロセスは、前記実施例におけるフォワード演算と類似するが、その演算方向は、距離行列の終了位置から始まることである。つまり、距離行列の右上隅（ｍ，ｎ）位置から始まり、（ｉ，ｊ）位置の累積距離は、（ｉ＋１，ｊ＋１）、（ｉ＋１，ｊ＋２）及び（ｉ＋２，ｊ＋１）という３つの位置から始まる。また、下記式４に示すバックワード局所判定関数Ｄ_backward（ｉ，ｊ）を定義することで、距離行列の終了位置から距離行列における位置（ｉ，ｊ）までの累積距離を表し、これにより、バックワード累積距離行列を得る。

式４に対して調整を行い、下記式５を得る。

ここで、ｗは、重み値を表し、ｄは、距離値を表す。

上記実施例において、距離行列の終了位置からバックワード演算を行うことは、距離行列の右上隅（ｍ，ｎ）から始まり、各行において、右から左への演算を行い、バックワード累積距離Ｄ_backward（ｉ，ｊ）を算出すると同時に、Ｄ_backward（ｉ，ｊ）のソースノードの下付き文字である（ｉ＋１，ｊ＋１）、（ｉ＋１，ｊ＋２）及び（ｉ＋２，ｊ＋１）のうちの１つをバックワードソースノード行列における（ｉ，ｊ）位置に記憶する。

ステップ（３）において、フォワード累積距離行列及びバックワード累積距離行列から、最小距離及び最短経路を取得する。

本願の一実施例において、距離行列におけるいずれか１つの位置（ｉ，ｊ）に対して、左下隅及び左上隅から、（ｉ，ｊ）に接続する最短経路を見出すことができる。ここで、最小距離の演算式は、下記式６に示すとおりである。

上記式６によれば、下記式７で最小距離min_distを算出する。

最小距離に対応する位置で、フォワードソースノード行列及びバックワードソースノード行列を検索し、１つ上のノードの下付き文字を取得し、順にトラバースすることで、フォワード（（１，１）から（ｉ，ｊ）まで）及びバックワード（（ｍ，ｎ）から（ｉ，ｊ）まで）という２本の経路を得る。これらを合わせることで、Ｄ_total（ｉ，ｊ）の最小値を得る。つまり、最小距離に対応するグローバル最適経路を得る。具体的には、図１１示すように、２つの音高シーケンスはそれぞれ１１０１及び１１０２であり、本願の上記実施例の技術的解決手段により最終的に得られたグローバル最適経路は、１１０３である。

本願の実施例の技術的解決手段は、音高シーケンスのヘッダ部優先マッチング及び尾部優先マッチングを同時に考慮したため、マッチングは、より完備である。それと同時に、累積距離を算出する場合、位置と距離行列の対角線とのオフセット量を考慮したため、最後に得られた最適経路が距離行列の対角線から大幅にずれることを避ける。従って、シーケンスマッチングに、より高いロバスト性を持たせる。

以下、本願の装置の実施例を説明する。該装置は、本願の上記実施例におけるオーディオクリップのマッチング方法を実行するように構成される。本願の装置の実施例に開示されていない細部について、本願の上記オーディオクリップのマッチング方法の実施例を参照する。

図１２は、本願の一実施例によるオーディオクリップのマッチング装置を示すブロック図である。

図１２に示すように、本願の一実施例によるオーディオクリップのマッチング装置１２００は、取得ユニット１２０２と、構築ユニット１２０４と、処理ユニット１２０６と、を備える。

取得ユニット１２０２は、第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得するように構成され、
構築ユニット１２０４は、前記取得ユニット１２０２から、前記第１特徴シーケンス及び前記第２特徴シーケンスを取得し、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の距離行列を構築するように構成され、前記距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、前記第１位置点は、前記第１特徴シーケンスに位置し、前記第２位置点は、前記第２特徴シーケンスに位置し、
処理ユニット１２０６は、前記構築ユニット１２０４から前記距離行列を取得し、前記距離行列における開始位置からターゲット位置までの第１累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を決定し、前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定し、前記最小距離に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するように構成される。

選択可能な実施例において、前記処理ユニット１２０６は、
前記開始位置から第１候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第１候補位置は、前記開始位置と前記ターゲット位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記開始位置から前記第１候補位置までの累積距離及び前記第１候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第１候補累積距離を決定し、前記第１候補累積距離のうちの最小値を前記第１累積距離として決定するように構成される。

選択可能な実施例において、前記決定サブユニットは更に、前記累積距離と前記第１候補位置で表される前記距離値に対して加算を行い、前記第１候補位置に対応する距離合計値を得るように構成され、前記累積距離は、前記開始位置から前記第１候補位置までの距離であり、
決定サブユニットは更に、前記距離合計値を前記第１候補位置に対応する前記第１候補累積距離として決定するように構成される。

選択可能な実施例において、前記決定サブユニットは更に、前記第１候補位置で表される距離値及び前記第１候補位置に対応する重み値に基づいて、各前記第１候補位置で表される距離値に対して重み付け演算を行い、前記第１候補位置に対応する重み付け距離値を得るように構成され、
決定サブユニットは更に、前記開始位置から前記第１候補位置までの累積距離と前記第１候補位置に対応する前記重み付け距離値に対して加算を行い、前記第１候補位置に対応する距離合計値を得て、前記距離合計値を前記第１候補位置に対応する前記第１候補累積距離として決定するように構成される。

選択可能な実施例において、前記決定サブユニットは更に、前記第１候補位置と前記距離行列の対角線との間の距離を決定するステップであって、前記対角線は、前記開始位置と前記終了位置を連結した直線である、ステップと、各前記第１候補位置と前記対角線との間の距離に基づいて、各前記第１候補位置に対応する重み値を決定するステップと、を実行するように構成される。

選択可能な実施例において、前記第１候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第１候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものである。

選択可能な実施例において、前記処理ユニット１２０６は、
前記終了位置から第２候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第２候補位置は、前記ターゲット位置と前記終了位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記終了位置から前記第２候補位置までの累積距離及び前記第２候補位置で表される距離値に基づいて、前記終了位置から前記ターゲット位置までの第２候補累積距離を決定し、前記第２候補累積距離のうちの最小値を前記第２累積距離として決定するように構成される。

選択可能な実施例において、前記第２候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第２候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものである。

選択可能な実施例において、前記処理ユニット１２０６は、
前記ターゲット位置で表される距離値、前記第１累積距離及び前記第２累積距離に基づいて、前記ターゲット位置に対応する最小累積距離を決定し、前記ターゲット位置に対応する最小累積距離から最小値を選択し、前記最小値を前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離として決定するように構成される決定サブユニットを備える。

選択可能な実施例において、前記決定サブユニットは更に、前記ターゲット位置で表される距離値、前記第１累積距離及び前記第２累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るように構成され、
又は、
前記決定サブユニットは更に、前記ターゲット位置で表される距離値と前記ターゲット位置に対応する重み値に対して重み付け演算を行い、前記ターゲット位置に対応する重み付け距離値を得て、前記重み付け距離値、前記第１累積距離及び前記第２累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るように構成される。

選択可能な実施例において、前記第１オーディオクリップは、ｎ個の前記第１特徴シーケンスに対応し、前記第２オーディオクリップは、ｎ個の前記第２特徴シーケンスに対応し、ｎは、正整数であり、
前記取得ユニット１２０２は更に、ｎ個の前記第１特徴シーケンスとｎ個の前記第２特徴シーケンスとの間のｎ個の最小距離を取得するように構成され、
処理ユニット１２０６は更に、ｎ個の前記最小距離に対して重み付け加算を行い、前記第１オーディオクリップと前記第２オーディオクリップとの重み付け距離値を得て、前記重み付け距離値に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するように構成される。

選択可能な実施例において、前記技術的解決手段によれば、前記複数の特徴は、オーディオクリップの音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値を含む。

上記取得ユニット１２０２は、コンピュータ機器におけるメモリにより実現してもよく、コンピュータ機器におけるプロセッサにより実現してもよく、メモリ及びプロセッサにより共同で実現してもよく、上記構築ユニット１２０４及び処理ユニット１２０６は、コンピュータ機器におけるプロセッサにより実現することに留意されたい。

図１３は、本願の実施例の電子機器のコンピュータシステムの構造を示す概略図である。

図１３に示す電子機器のコンピュータシステム１３００は一例だけであり、本願の実施例の機能及び使用範囲に対して如何なる限定を行わないことに留意されたい。

図１３に示すように、コンピュータシステムは、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）１３０１を備える。これは、読み出し専用（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）１３０２に記憶されたプログラム又は記憶部分１３０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）１３０３にロードされたプログラムに基づいて、種々の適当な動作及び処理を実行することができる。例えば、上記実施例に記載の方法を実行する。ＲＡＭ １３０３に、システムの操作に必要な種々のプログラム及びデータが更に記憶されている。ＣＰＵ １３０１、ＲＯＭ １３０２及びＲＡＭ １３０３は、バス１３０４を介して相互接続される。入力／出力（Ｉｎｐｕｔ ／Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース１３０５もバス１３０４に接続される。

キーボード、マウスなどを含む入力部分１３０６、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ：ＣＲＴ）、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）など及びスピーカーなどの出力部分１３０７、ハードディスクなどを含む記憶部分１３０８、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ローカルエリアネットワーク）カード、モデルなどのネットワークインタフェースカードを含む通信部分１３０９は、Ｉ／Ｏインタフェース１３０５に接続される。通信部分１３０９は、インターネットのようなネットワークを経由して通信処理を実行する。ドライバ１３１０も必要に応じてＩ／Ｏインタフェース１３０５に接続される。磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどのようなリムーバブル媒体１３１１は、必要に応じてドライバ１３１０に取り付けられる。これにより、これから読み出したコンピュータプログラムを必要に応じて記憶部分１３０８にインストールする。

特に、本願の実施例によれば、フローチャートを参照しながら記述された上記プロセスは、コンピュータソフトウェアプログラムとして実現してもよい。例えば、本願の実施例は、コンピュータプログラム製品を含み、該コンピュータプログラム製品は、コンピュータ可読媒体で搬送されるコンピュータプログラムを含み、該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信部分１３０９によりネットワークからダウンロードされてインストールされてもよく、及び／又は、リムーバブル媒体１３１１からインストールされてもよい。該コンピュータプログラムは、中央処理ユニット（ＣＰＵ）１３０１により実行される時、本願のシステムにおいて限定される種々の機能を実行する。

本願の実施例に示すコンピュータ可読媒体は、コンピュータ可読信号媒体、コンピュータ可読記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、電気、磁気、光、電気、赤外線又は半導体のシステム、装置又はデバイス、或いは任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ以上のリード線を有する電気接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、フラッシュメモリ、光ファイバー、コンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記任意の適切な組み合わせを含んでもよいが、これらに限定されない。本願において、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する如何なる有形媒体であってもよい。該プログラムは、命令実行システム、装置又はデバイスにより用いられてもよく、又はそれと結合して使用されてもよい。本願において、コンピュータ可読信号媒体はベースバンドにおいて伝播するデータ又は搬送波の一部として伝播するデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードを載せる。このように伝播するデータ信号は複数種の形式を採用することができ、電磁信号、光信号又は上の任意の適切な組み合せを含むが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の如何なるコンピュータ可読媒体であってもよい。該コンピュータ可読媒体は、命令実行システム、装置又はデバイスにより使用されるか又はそれと結合して使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、如何なる適当な媒体で伝送されてもよい。これは、無線、有線など、又は上記任意の適当な組み合わせを含むが、これらに限定されない。

図面におけるフローチャート及びブロック図は、本願の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各ブロックは、モジュール、プログラムセグメント、コードの一部分を表すことができ、前記ジュール、プログラムセグメント、コードの一部分は一つまたは複数の規定の論理機能を実現するのに用いる実行可能なコマンドを含む。いくつかの代替的な実現においては、ブロック中に示される機能が図面に示される以外の順序で起こってもよいことに留意すべきである。例えば、２つのつながって示されているブロックは、実際に、基本的に並行して実行されても良く、逆の順で実行されることもあり、係わる機能によって決まる。ブロック図又はフローチャートにおける各ブロック、及びブロック図又はフローチャートにおけるブロックの組み合わせは、規定の機能又は操作を実行するハードウェアベースの専用システムにより実現してもよく、又は、専用ハードウェアとコンピュータ命令の組み合わせにより実現してもよい。

本願の実施例に係わるユニットは、ソフトウェアの形式で実現してもよく、ハードウェアの方式で実現してもよく、記述されたユニットは、プロセッサに配置されてもよい。ここで、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではない。

もう１つの態様によれば、本願は、コンピュータ可読媒体を更に提供する。該コンピュータ可読媒体は、上記実施例に記載の電子機器に備えられてもよく、該電子機器に配置されず、単独で存在してもよい。上記コンピュータ可読媒体で１つ以上のプログラムが搬送されており、上記１つ以上のプログラムが１つの該電子機器により実行される時、該電子機器に、上記実施例に記載の方法を実施させる。

上記詳細な説明に、動作を実行するための機器の複数のモジュール又はユニットを言及したが、このような分割は、強制的なものではない。実際に、本願の実施形態によれば、上述した複数又はより多くのモジュール又はユニットの特徴及び機能は、１つのモジュール又はユニットにおいて具現化されてもよい。逆に、上述した１つのモジュール又はユニットの特徴及び機能を複数のモジュール又はユニットに分割することで具現化されてもよい。

上記実施形態に関する説明によれば、ここで説明される例示的な実施形態は、ソフトウェアにより実現してもよく、ソフトウェアと必要なハードウェアとの組み合わせにより実現してもよいことが、当業者であれば理解しやすい。従って、本願の実施形態による技術的解決手段は、ソフトウェア製品の形式で具現化されてもよい。該ソフトウェア製品は、不揮発性記憶媒体（ＣＤ－ＲＯＭ、ＵＳＢメモリ、リムーバブルハードディスク等であってもよい）又はネットワークに記憶されてもよく、一台のコンピューティング機器（パソコン、サーバ、タッチ端末、又はネットワーク機器などであってもよい）に本願の実施形態による方法を実行させるための複数の命令を含む。

当業者は明細書を検討し、ここで開示した実施形態を実践した後、本願のその他の実施方案を容易に思いつくことができる。本願は、本願のいかなる変形、用途、又は適応的な変化を含むことを目的としており、これらのいかなる変形、用途、又は適応的な変化は、本願の一般原理に基づいて、且つ本願において公開されていない本技術分野においての公知常識又は慣用技術手段を含む。
本願は、上記で説明した、また図面において示した精確な構造に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本願の範囲は、添付の特許請求の範囲によってのみ限定される。

１２００ オーディオクリップのマッチング装置
１２０２ 取得ユニット
１２０４ 構築ユニット
１２０６ 処理ユニット

Claims (14)

1. コンピュータ機器が実行するオーディオクリップのマッチング方法であって、
   第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得するステップであって、前記第１オーディオクリップは、複数の第１特徴シーケンスに対応し、前記第２オーディオクリップは、複数の第２特徴シーケンスに対応するステップと、
   前記第１特徴シーケンスと前記第２特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、前記第１位置点は、前記第１特徴シーケンスに位置し、前記第２位置点は、前記第２特徴シーケンスに位置する、ステップと、
   前記距離行列における開始位置からターゲット位置までの第１累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を決定するステップであって、前記ターゲット位置は、前記第１特徴シーケンスに位置するある位置点と前記第２特徴シーケンスに位置するある位置点とから構成され、前記開始位置及び前記終了位置からそれぞれ前記ターゲット位置までの最短経路を決定するステップを含む、ステップと、
   前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定するステップであって、前記第１特徴シーケンスと前記第２特徴シーケンスとは、同一の特徴に対応する、ステップと、
   複数の前記最小距離に対して重み付け加算を行い、前記第１オーディオクリップと前記第２オーディオクリップとの重み付け距離値を得るステップと、
   前記重み付け距離値に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するステップと、を含み、
   前記複数の第１特徴シーケンス及び前記複数の第２特徴シーケンスのそれぞれは、音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも２つに対応する、方法。
2. 前記距離行列における開始位置からターゲット位置までの第１累積距離を決定するステップは、
   前記開始位置から第１候補位置までの累積距離を決定するステップであって、前記第１候補位置は、前記開始位置と前記ターゲット位置との間に位置する、ステップと、
   前記開始位置から前記第１候補位置までの累積距離及び前記第１候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第１候補累積距離を決定するステップと、
   前記第１候補累積距離のうちの最小値を前記第１累積距離として決定するステップと、を含むことを特徴とする
   請求項１に記載の方法。
3. 前記開始位置から前記第１候補位置までの累積距離及び前記第１候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第１候補累積距離を決定するステップは、
   前記累積距離と前記第１候補位置で表される前記距離値に対して加算を行い、前記第１候補位置に対応する距離合計値を得るステップであって、前記累積距離は、前記開始位置から前記第１候補位置までの距離である、ステップと、
   前記距離合計値を前記第１候補位置に対応する前記第１候補累積距離として決定するステップと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記開始位置から前記第１候補位置までの累積距離及び前記第１候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第１候補累積距離を決定するステップは、
   前記第１候補位置で表される距離値及び前記第１候補位置に対応する重み値に基づいて、各前記第１候補位置で表される距離値に対して重み付け演算を行い、前記第１候補位置に対応する重み付け距離値を得るステップと、
   前記累積距離と前記第１候補位置に対応する前記重み付け距離値に対して加算を行い、前記第１候補位置に対応する距離合計値を得るステップであって、前記累積距離は、前記開始位置から前記第１候補位置までの距離である、ステップと、
   前記距離合計値を前記第１候補位置に対応する前記第１候補累積距離として決定するステップと、を含むことを特徴とする
   請求項２に記載の方法。
5. 前記距離合計値を前記第１候補位置に対応する前記第１候補累積距離として決定する前に、前記方法は、
   前記第１候補位置と前記距離行列の対角線との間の距離を決定するステップであって、前記対角線は、前記開始位置と前記終了位置を連結した直線である、ステップと、
   各前記第１候補位置と前記対角線との間の距離に基づいて、各前記第１候補位置に対応する重み値を決定するステップと、更に含むことを特徴とする
   請求項４に記載の方法。
6. 前記第１候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第１候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものであることを特徴とする
   請求項２に記載の方法。
7. 前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を算出するステップは、
   前記終了位置から第２候補位置までの累積距離を決定するステップであって、前記第２候補位置は、前記ターゲット位置と前記終了位置との間に位置する、ステップと、
   前記終了位置から前記第２候補位置までの累積距離及び前記第２候補位置で表される距離値に基づいて、前記終了位置から前記ターゲット位置までの第２候補累積距離を決定するステップと、
   前記第２候補累積距離のうちの最小値を前記第２累積距離として決定するステップと、を含むことを特徴とする
   請求項１に記載の方法。
8. 前記第２候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第２候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものであることを特徴とする
   請求項７に記載の方法。
9. 前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定するステップは、
   前記ターゲット位置で表される距離値、前記第１累積距離及び前記第２累積距離に基づいて、前記ターゲット位置に対応する最小累積距離を決定するステップと、
   前記ターゲット位置に対応する最小累積距離から最小値を選択し、前記最小値を前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離として決定するステップと、を含むことを特徴とする
   請求項１から８のうちいずれか一項に記載の方法。
10. 前記第１累積距離、前記第２累積距離及び前記ターゲット位置で表される距離値に基づいて、前記ターゲット位置に対応する最小累積距離を決定するステップは、
    前記ターゲット位置で表される距離値、前記第１累積距離及び前記第２累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るステップ、
    又は、
    前記ターゲット位置で表される距離値と前記ターゲット位置に対応する重み値に対して重み付け演算を行い、前記ターゲット位置に対応する重み付け距離値を得て、前記重み付け距離値、前記第１累積距離及び前記第２累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るステップを含むことを特徴とする
    請求項９に記載の方法。
11. オーディオクリップのマッチング方法であって、
    サーバが第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得するステップであって、前記第１オーディオクリップは、複数の第１特徴シーケンスに対応し、前記第２オーディオクリップは、複数の第２特徴シーケンスに対応するステップと、
    前記サーバが前記第１特徴シーケンスと前記第２特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、前記第１位置点は、前記第１特徴シーケンスに位置し、前記第２位置点は、前記第２特徴シーケンスに位置する、ステップと、
    前記サーバが前記距離行列における開始位置からターゲット位置までの第１累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を決定するステップであって、前記ターゲット位置は、前記第１特徴シーケンスに位置するある位置点と前記第２特徴シーケンスに位置するある位置点とから構成され、前記開始位置及び前記終了位置からそれぞれ前記ターゲット位置までの最短経路を決定するステップを含む、ステップと、
    前記サーバが前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定するステップであって、前記第１特徴シーケンスと前記第２特徴シーケンスとは、同一の特徴に対応する、ステップと、
    前記サーバが複数の前記最小距離に対して重み付け加算を行い、前記第１オーディオクリップと前記第２オーディオクリップとの重み付け距離値を得るステップと、
    前記サーバが前記重み付け距離値に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定するステップと、を含み、
    前記複数の第１特徴シーケンス及び前記複数の第２特徴シーケンスのそれぞれは、音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも２つに対応する、
    方法。
12. オーディオクリップのマッチング装置であって、
    第１オーディオクリップに対応する第１特徴シーケンス及び第２オーディオクリップに対応する第２特徴シーケンスを取得し、前記第１オーディオクリップは、複数の第１特徴シーケンスに対応し、前記第２オーディオクリップは、複数の第２特徴シーケンスに対応するように構成される取得ユニットと、
    前記取得ユニットから、前記第１特徴シーケンス及び前記第２特徴シーケンスを取得し、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の距離行列を構築するように構成される構築ユニットであって、前記距離行列における要素は、第１位置点と第２位置点との間の距離を表すためのものであり、前記第１位置点は、前記第１特徴シーケンスに位置し、前記第２位置点は、前記第２特徴シーケンスに位置する、構築ユニットと、
    前記構築ユニットから前記距離行列を取得し、前記距離行列における開始位置からターゲット位置までの第１累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第２累積距離を決定し、前記ターゲット位置は、前記第１特徴シーケンスに位置するある位置点と前記第２特徴シーケンスに位置するある位置点とから構成され、前記開始位置及び前記終了位置からそれぞれ前記ターゲット位置までの最短経路を決定し、前記第１累積距離及び前記第２累積距離に基づいて、前記第１特徴シーケンスと前記第２特徴シーケンスとの間の最小距離を決定し、複数の前記最小距離に対して重み付け加算を行い、前記第１オーディオクリップと前記第２オーディオクリップとの重み付け距離値を取得し、前記重み付け距離値に基づいて、前記第１オーディオクリップと前記第２オーディオクリップとの間のマッチング度を決定し、前記第１特徴シーケンスと前記第２特徴シーケンスとは、同一の特徴に対応し、前記複数の第１特徴シーケンス及び前記複数の第２特徴シーケンスのそれぞれは、音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも２つに対応するように構成される処理ユニットと、を備える、装置。
13. コンピュータプログラムであって、
    プロセッサにより実行される時、前記プロセッサに請求項１から１１のうちいずれか一項に記載のオーディオクリップのマッチング方法を実施させる、コンピュータプログラム。
14. 電子機器であって、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶するように構成される記憶装置と、を備え、前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行される時、前記１つ以上のプロセッサに請求項１から１１のうちいずれか一項に記載のオーディオクリップのマッチング方法を実施させる、電子機器。

Images