JP2009205247A - 音楽連動型広告配信方法、装置およびシステム - Google Patents

Abstract

【課題】ユーザが音楽再生機などで音楽を再生する際に、再生中の音楽の特徴に応じた広告を自動的に選択し、ユーザに提供できる音楽連動型広告配信方法、装置およびシステムを提供する。
【解決手段】広告DB１１に広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）と配信対象広告との関連度を予め定めておく。再生楽曲分類モジュール４は、再生中の楽曲（以下、再生楽曲）の音響的特徴量と、前記楽曲カテゴリの特徴量との関連度を算出し、楽曲別配信対象広告候補群抽出モジュール５は、該関連度が高い楽曲カテゴリに対応する配信対象広告を配信対象広告と決定する。広告提示モジュール６は、該配信対象広告の情報を再生楽曲情報と共にユーザに提供する。前記広告DB１１、モジュール４，５はネットワークに接続された広告配信サーバに設けてもよい。
【選択図】図１

Description

本発明は音楽連動型広告配信方法、装置およびシステムに関し、特にコンテンツと適合する広告を付与して、ユーザに配信できる音楽連動型広告配信方法、装置およびシステムに関する。

コンテンツをユーザに無料または安価で配信・提供するための方法として、広告主から広告料を徴収し、コンテンツ配信に必要なコストをまかなうビジネス形態が定着している。このような広告モデルを採用している代表的なサービスとしては、テレビやラジオの放送があげられる。たとえば、テレビの放送（民間放送局）では、放送する映像コンテンツの合間に広告を挟んでおり、この広告料によってユーザに無料でテレビ番組を放送することが可能になっている。また、広告主にとっても、多くのユーザに対して自らの商品等をアピールすることができるため、有益なビジネスモデルであるといえる。

最近のＭＰ３などのオーディオ符号化方式の普及に伴い、音楽コンテンツ配信サービスが盛んになってきており、上述のテレビ・ラジオ放送と同様、広告を付与する形でコンテンツを配信する例も存在している。たとえば、J-WAVE社が提供している「Brandnew J」というネット音楽放送サービスでは、インターネット上で音楽番組をストリーミング放送しており、曲の合間などに広告主からの音声広告を挿入している。映像のネット放送においても、たとえばUSEN社が提供している「Gyao」のように、映像コンテンツに広告を付与してネットで放送している実例がある（特許文献１、２参照）。

上記のような放送型コンテンツ配信の場合、放送を視聴している全てのユーザに対し、同じ内容の広告が配信されるため、個別のユーザの興味にあった広告情報を提供することができないという欠点がある。この欠点を解決するための先行例の１つとして、ユーザが購入する個別のコンテンツに対し、広告データを付与する方式があげられる。たとえば、特許文献３では、音楽配信サービスにおいて、提供する楽曲に広告用音声を埋め込んだコンテンツを生成するシステムが提案されている。また、特許文献４においては、音楽配信サービスにおいて、ユーザが指定した楽曲に対応する広告の情報を、広告の再生時刻情報とともに楽曲に付与してユーザに提供するシステムが提案されている。さらに、特許文献５では、ポッドキャストのようなオーディオコンテンツへの広告付与を、広告主とコンテンツ提供者の双方が満足できるように、個別コンテンツに対する広告の付与を、コンテンツ提供者が承認してから広告を付与したコンテンツを作成するシステムが提案されている。

上記の先行例では、コンテンツとそれに付与される広告があらかじめ固定されているのに対し、コンテンツに付与する広告関連情報を動的に変化させることができる手法も提案されている。たとえば、特許文献６では、広告配信が無線装置によって行われる前提で、配信装置との距離に応じて、コンテンツ再生時に付与する広告を決定するシステムが提案されている。また、特許文献７では、ユーザが再生する楽曲に対し、ハイパーリンク情報を含めたHTML形式の文書をサーバから受信するシステムが提案されている。このシステムにより、たとえば第３者が楽曲に付与する情報を作成することが可能になる。

一方、Web上での広告提供方法としては、検索連動広告や、コンテンツ連動広告が代表的なものとしてあげられ、Google社などがサービスを提供している。検索連動広告とは、Googleなどの検索エンジンに、ユーザが入力した検索キーワードに関連する広告を提示する方法である。また、コンテンツ連動広告とは、ユーザが閲覧しているWebページに出現するキーワードに関連する広告を提示する方法である。
特開2007-96723「広告付きコンテンツ配信システム」 特開2004-140584「コンテンツ配信・再生システム、広告コンテンツ挿入方法及びクライアント端末」 特開2002-116767「音楽データ配信装置」 特開2002-73050「音楽配信サーバ、音楽再生端末、及び配信サーバ処理プログラムを記憶した記憶媒体、端末処理プログラムを記憶した記憶媒体」 特開2002-0334266「広告用装置、広告用システム、広告用方法、広告用プログラム、及びその媒体」 特開2004-54693「情報処理装置および方法、情報処理システム、記憶媒体、並びにプログラム」 特開2007-164078「楽曲再生装置および楽曲情報配信サーバ」

上記の先行例のうち、特許文献１，２に示されているような、放送コンテンツへの広告付与については、前述の通り、全ての視聴者に同一の広告が配信されるため、必ずしも個別のユーザの興味にあった広告が配信されないという課題がある。また、放送コンテンツに付与する広告の内容は、広告主（スポンサー）の意向が大きく反映されているため、放送されるコンテンツと適合しない広告が付与される可能性もあり、そのために視聴者の興味がそがれてしまう状況も想定される。

特許文献３〜５で提案されているような、個別コンテンツに対して広告を付与する方式では、上述の課題のうち、コンテンツと広告との適合性の問題はある程度解決できている。しかし、これらの先行例では、いったん生成した広告付きコンテンツは固定されてしまうため、たとえば過去にユーザが購入したコンテンツに対し、新たな広告を付与することは難しい。

これに対し、特許文献６、７で提案されている方式によれば、ユーザが再生しているコンテンツに対し、新たな広告を付与することは可能である。しかし、特許文献６のシステムでは、再生しているコンテンツとは無関係に広告が付与されるため、広告とコンテンツの適合性は保証されていない。また、特許文献７のシステムでは、広告を付与する対象となるコンテンツの情報が広告配信サーバ上に格納されている必要がある。そのため、たとえば個々のユーザが自ら用意・作成したコンテンツ（例：CDからリッピングした音楽ファイル）に対し、広告を付与することはできない。

また、Google社などによって提供されている検索連動型広告やコンテンツ連動広告では、広告を付与する対象コンテンツがテキスト情報に限られている。そのため、音楽や映像などのマルチメディアコンテンツに対しては、たとえばコンテンツを説明するメタ情報などが存在しない場合、コンテンツに適合する広告を付与することはできない。

本発明の目的は、前記した従来技術の課題を解消し、ユーザが音楽再生機などで音楽を再生する際に、再生中の音楽の特徴に応じた広告を自動的に選択し、ユーザに提供できる音楽連動型広告配信方法、装置およびシステムを提供することにある。

前記した目的を達成するために、本発明は、広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）と配信対象広告との関連度を予め定めておき、再生中の楽曲（以下、再生楽曲）の音響的特徴量と、前記楽曲カテゴリの特徴量との関連度を算出し、該関連度が高い楽曲カテゴリに対応する配信対象広告を配信対象広告と決定し、該配信対象広告の情報を再生楽曲情報と共にユーザに提供する音楽連動型広告配信方法を提供する点に第１の特徴がある。

また、本発明は、楽曲DB中に収納されている楽曲の特徴を抽出する手段と、前記楽曲DB中に収納されている楽曲を再生する手段と、広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、再生中の楽曲（以下、再生楽曲）の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、該広告配信対象カテゴリを基に配信対象広告を決定する手段と、該配信対象広告の情報を広告DBから抽出する手段と、該配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とを具備した音楽連動型広告配信装置を提供する点に第２の特徴がある。

また、本発明は、楽曲DB中に収納されている楽曲の特徴を抽出する手段と、前記楽曲DB中に収納されている楽曲を再生する手段と、配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とをクライアント端末に設け、広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、再生楽曲の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、該広告配信対象カテゴリを基に配信対象広告を決定する手段と、該配信対象広告の情報を広告DBから抽出する手段とを広告配信サーバに設け、前記クライアント端末と広告配信サーバとはネットワークで接続されている音楽連動型広告配信システムを提供する点に第３の特徴がある。

また、本発明は、楽曲DB中に収納されている楽曲の特徴を抽出する手段を音楽配信サーバに設け、ユーザによって指定された該楽曲DB中の楽曲と該楽曲の特徴をダウンロードする手段と、該ダウンロードされた楽曲と該楽曲の特徴を格納する手段と、該ダウンロードされた楽曲を再生する手段と、配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とをクライアント端末に設け、広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、再生楽曲の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、該広告配信対象カテゴリを基に配信対象広告を決定する手段と、該配信対象広告の情報を広告DBから抽出する手段とを広告配信サーバに設け、前記音楽配信サーバ、クライアント端末および広告配信サーバは、ネットワークで接続されている音楽連動型広告配信システムを提供する点に第４の特徴がある。

さらに、本発明は、楽曲DB中に収納されている楽曲の特徴を抽出する手段をPCに設け、該PCから転送された楽曲と該楽曲の特徴を格納する手段と、該転送された楽曲を再生する手段と、配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とを携帯型音楽再生機に設け、広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、再生楽曲の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、該広告配信対象カテゴリを基に配信対象広告を決定する手段と、該配信対象広告の情報を広告DBから抽出する手段とを広告配信サーバに設け、前記携帯型音楽再生機と広告配信サーバとはネットワークで接続されている音楽連動型広告配信システムを提供する点に第５の特徴がある。

本発明の音楽連動型広告配信方法および装置によれば、従来の放送型の広告配信（全てのユーザに同一の広告を配信する形式）と異なり、個々のユーザが再生している音楽に合わせた広告を提示することが可能になり、ユーザに対する広告効果の向上が期待できる。

また、本発明の音楽連動型広告配信システムによれば、前記の効果に加えて、ネットワークに接続されたクライアント端末のユーザに広告を配信することができるようになり、ユーザの居場所に依らず、広告を配信できるようになる。

また、従来技術の項で紹介した先行例のうち、特許文献３〜５で提案されている、コンテンツ（音楽を含む）とともに配信する広告が固定されている形式に対し、本発明では、再生楽曲に対して複数の配信対象広告群を動的に対応づけているため、再生楽曲に適合した新しい広告を随時表示させることが可能になり、継続的な広告効果が期待できる。

動的に広告を付与することが可能な先行例のうち、特許文献６では再生している楽曲と配信する広告間の関係については考慮されていないのに対し、本発明では楽曲の特徴と相関のある広告を提示しているため、より高い広告効果が期待される。また、同特許文献では広告の配信場所が無線装置近傍に限定されるのに対し、本発明はユーザの居場所に依らず、広告を配信することができる。

さらに、特許文献７では、楽曲に対し、動的に（たとえば広告を含めた）情報を付与できるものの、配信対象広告とコンテンツ（楽曲）との関連付けを定義したデータが必要になるため、広告を付与できる楽曲が限定されてしまう。これに対し、本発明によれば、再生楽曲から抽出した音響的な特徴に基づいて配信広告が決定されるため、任意の楽曲、たとえばユーザが自ら製作した楽曲も含めて広告を付与することが可能となり、広告の効果を高めることができる。

さらに、従来の検索連動型広告ならびにコンテンツ連動広告と異なり、本発明では広告を連動させるテキスト情報が不要である。そのため、あらゆる楽曲に対し、効果的な広告を一緒に提示することができるという利点がある。

以下に、図面を参照して本発明を詳細に説明する。まず、本発明の装置構成を図１を参照して詳細に説明する。図１は、本発明の動画コンテンツ類似度算出手法を実装した動画コンテンツ検索装置の基本構成図を示す。

図１に示されているように、本装置は、ユーザが再生する楽曲とその関連情報とを格納する楽曲DB１０、ユーザに配信する広告情報を格納する広告DB１１、広告を配信する楽曲のカテゴリ（詳細後述）の特徴を学習するためのカテゴリ学習DB１２、配信対象カテゴリの特徴情報を格納するカテゴリ特徴DB１３、楽曲特徴DB１４、および６個のモジュール、すなわち楽曲特徴抽出モジュール１、カテゴリ特徴抽出モジュール２、楽曲再生モジュール３、再生楽曲分類モジュール４、楽曲別配信対象広告候補群抽出モジュール５、広告提示モジュール６のモジュールから構成される。各モジュールの処理内容は以下の通りである。

楽曲特徴抽出モジュール１では、楽曲DB１０に格納されている楽曲から、配信対象広告のカテゴリとの相関を算出するための特徴（音響的特徴）を抽出する処理を行う。特徴抽出処理の詳細は後述する。

カテゴリ特徴抽出モジュール２では、ユーザに配信する広告に対応付けるカテゴリの特徴を、カテゴリ学習DB１２に格納されている情報を元に学習する処理を行う。ここで、「カテゴリ」とは、配信対象広告を連動させる楽曲の特徴を示すものとする。具体的には、楽曲のジャンル情報や、「明るい」「癒される」などの楽曲の雰囲気を表す情報が、本発明でのカテゴリの例である。なお、以下では、該「カテゴリ」を、カテゴリを表す情報（カテゴリ情報）という場合がある。広告主は、広告DB１１に配信対象広告を送付する際に、当該広告を提示してほしい楽曲のカテゴリ情報も併せて提供することを前提にしている。本モジュール２の詳細な処理内容は後述する。

楽曲再生モジュール３では、ユーザが音楽再生機（または、携帯型音楽再生機）７などで指定した楽曲を再生するとともに、再生中の楽曲の情報を再生楽曲分類モジュール４に送信する処理を行う。

再生楽曲分類モジュール４では、楽曲再生モジュール３から得た再生中の楽曲の情報を基に、該再生中の楽曲の特徴情報を楽曲特徴DB１４から得る。そして、該再生中の楽曲の特徴情報とカテゴリ特徴抽出モジュール２によって出力された各カテゴリの特徴情報との間の相関値を算出して、該再生中の楽曲を前記のカテゴリに分類する処理を行う。具体的な処理内容は後述する。

楽曲別配信広告候補群抽出モジュール５では、各楽曲に合わせて提示する広告候補を決定する処理を行う。本モジュール５の詳細な処理内容は後述する。

広告提示モジュール６では、ユーザの音楽再生機７の画面上などに、再生中の楽曲の情報と併せて、同楽曲との相関が高い広告の情報を提供する処理を行う。

ここで、本発明を搭載した音楽再生機７の画面イメージを図２に示す。

図２に示されているように、本発明では、ユーザが再生している楽曲の情報を表示する再生楽曲情報表示部２１と、再生中の楽曲に関連する広告情報を表示する関連広告情報表示部２２から構成される。再生楽曲情報表示部２１には、現在再生中の楽曲に関する情報が表示される。具体的には、楽曲のタイトル・演奏アーティストの情報や、再生の進行状況などが含まれる。関連広告情報表示部２２には、再生されている楽曲に対応する広告情報を表示する。楽曲と関連する広告の決定方法は、以下に詳説する。

次に、本発明における処理の具体的な内容について説明する。前述の通り、本発明では、ユーザが再生している楽曲とあらかじめ設定されたカテゴリとの相関値（類似度）を算出して再生中の楽曲のカテゴリを求め、その結果に基づいてユーザ（音楽再生機）に提示する配信対象広告を決定する。本発明を実現するために必要な処理は大きく分けて以下の５つである。
１．カテゴリ特徴抽出処理（カテゴリ特徴抽出モジュール２の処理）
２．楽曲特徴抽出処理（楽曲特徴抽出モジュール１の処理）
３．楽曲分類処理（再生楽曲分類モジュール４の処理）
４．楽曲別配信対象候補群抽出処理（楽曲別配信広告候補群抽出モジュール５の処理）
５．広告提示処理（広告提示モジュール６の処理）

具体的には、あらかじめ再生対象の楽曲に対し、上記１〜４の処理を行った後、楽曲再生時に５の処理を行うのが、本発明の大まかな処理フローである。以下、各処理について詳しく説明する。

カテゴリ特徴抽出モジュール２によるカテゴリ特徴抽出処理では、カテゴリ学習DB１２中に予め用意された各カテゴリ情報に該当するサンプル楽曲群によって構成されるカテゴリ学習データに基づいて、各楽曲カテゴリの特徴を抽出する処理を行う。具体的には、カテゴリ情報として楽曲のジャンル情報を利用する場合は、個々のカテゴリ情報に該当する楽曲群（例：ポップス、ロック、演歌、・・・）によって、カテゴリ学習データが構成される。また、「明るい」、「癒し」などのカテゴリ情報を採用する場合でも、各カテゴリ情報に該当する楽曲群を用意すればよい。例えば、カテゴリ情報として「明るい」を利用する場合は、個々のカテゴリ情報（例：明るい、やや明るい、普通、・・・）に該当する楽曲カテゴリ（例：明るい楽曲、やや明るい楽曲、普通に明るい楽曲、・・・）によって、カテゴリ学習データが構成される。

音楽を自動的に分類するための手法は、いくつか存在するが、ここでは１つの実施例として、下記の参考文献[1]にて提案されているツリーベクトル量子化(TreeQ)に基づく手法について説明する。

[1] J. Foote: “Content-based retrieval of music and audio”, Proceedings of SPIE, Vol 3229, pp 138-147, 1997.

TreeQでは、本発明でのカテゴリ学習DBのように、カテゴリ情報が付与されている楽曲群を元に、各カテゴリ間を識別する特徴を自動的に抽出する。具体的には、各楽曲からMFCC（メル周波数ケプストラム係数）を抽出し、異なるカテゴリの楽曲を識別するための特徴を表す決定木（ベクトル量子化ツリー）を構築する処理を行う。その後、各カテゴリを表すベクトルを得るために、学習データに含まれる楽曲のうち、当該カテゴリに属する楽曲から抽出されたMFCCをベクトル量子化ツリーに入力し、ツリーの各leafに積み重ねられるフレーム数を表すヒストグラムを生成する。この処理を、学習データに含まれる全てのカテゴリについて行う。この結果、学習データに含まれるカテゴリ数をm件とすると、各カテゴリC₁, …, C_mを表すm個のベクトルが得られることとなる。

楽曲特徴抽出モジュール１による楽曲特徴抽出処理では、ユーザが再生する全ての楽曲から特徴を抽出する処理を行う。本処理の結果得られた特徴量は、前述のカテゴリ特徴抽出処理の結果得られたカテゴリ特徴量との類似度算出に利用されるため、特徴抽出の処理自体は、カテゴリ特徴抽出モジュールと同一の方法を適用する。たとえば、TreeQ手法を利用する場合は、カテゴリ特徴抽出処理において得られたベクトル量子化ツリーに対し、各楽曲から抽出された MFCCを入力し、楽曲のベクトルを得る。

再生楽曲分類モジュール４による楽曲分類処理では、前述のカテゴリ特徴抽出処理および楽曲特徴抽出処理からそれぞれ得られたカテゴリベクトルsと再生楽曲の楽曲ベクトルC_ｉとの類似度に基づき、再生楽曲を分類する処理を行う。具体的には、楽曲のベクトルC_ｉと、各カテゴリのベクトルsとのコサイン類似度などを、例えば下記の（１）式で算出する。

Sim(s，C_ｉ）＝s・C_ｉ／|s||C_ｉ| ・・・（１）

ただし、右辺のs・C_ｉは両ベクトルの内積、|s|はベクトルsのユークリッド長をそれぞれ示す。

分類の方法としては、上記類似度が最大となるカテゴリに楽曲を分類する方法があげられる。また、各カテゴリ（合計m個）との類似度が各要素に格納されているm次元のベクトルとして、分類結果を表す方法も適用できることとする。

楽曲別配信広告候補群抽出モジュール５による楽曲別配信広告候補群抽出処理では、上記楽曲分類処理の結果に基づき、再生楽曲ごとに表示する広告の候補群を決定する処理を行う。

ここで、本処理で利用する、広告DB１１内の登録データの例を示す。広告主が広告DB１１に登録する配信対象広告については、広告そのものの情報と併せて、広告主が配信を希望するカテゴリ情報も登録されているものとする。

図３および図４に、広告DB１１に登録された広告情報の例をそれぞれ示す。この図３、図４には、ID、広告の内容、広告配信対象カテゴリを表す情報（カテゴリ情報）に対応する楽曲のカテゴリ（楽曲カテゴリ）の例が示されている。なお、これらの図では、説明を簡略化するために「内容」をテキスト文で示してあるが、広告の内容は、たとえばバナー画像などの形式で格納することもできる。

図３では、登録されている個々の広告に対応付けられている楽曲カテゴリが１つのみに限定されている例が示されている。この例では、広告主が広告を広告DBに登録する際に、広告を配信する楽曲カテゴリを１つ指定する方式を前提としている。

一方、図４の例では、広告配信用カテゴリが０から１の間の実数値で示されている。この例の場合、広告主は広告を広告DB１１に登録する際に、各楽曲カテゴリへの重み付けを実数として指定する方式を前提としている。なお、本発明の必須要件ではないものの、図４では、各広告に対する楽曲カテゴリの重みの総和が１になるように調整されている。この調整は、たとえば全ての楽曲カテゴリに対し、広告主が不当に高い重みを割り当てることを防ぐ意味合いを持つ。

再生楽曲に対する配信広告の候補群は、広告DB１１に登録されている各広告の楽曲カテゴリと、楽曲の分類結果を照合することにより、広告DB１１から抽出する。たとえば、楽曲分類処理において、類似度最大のカテゴリに楽曲が分類されている場合、楽曲が分類されたカテゴリと広告DB１１内の各広告の楽曲カテゴリを照合する。広告DB１１のデータが図３のような形式の場合、楽曲カテゴリとマッチする広告を配信広告候補群として抽出する。また、図４のような形式の場合は、たとえば楽曲カテゴリに対する重みが最も大きい広告の抽出や、当該カテゴリへの重みが閾値を越える広告を抽出するなどの方法が適用できる。また、楽曲の分類結果をm次元ベクトル形式で算出している場合、図４の方式の場合は、各広告とカテゴリとの関係もm次元ベクトルで表現可能であることから、前述の（１）式で示されるコサイン類似度などにより、配信広告候補群を抽出できる。たとえば、類似度上位の広告を抽出する、閾値を越える広告を抽出する方法などを採用することができる。

広告提示モジュール６による広告提示処理ではユーザが再生している楽曲ごとに抽出された配信対象広告候補群に含まれる広告の内容を、ユーザの音楽再生機の画面上に表示する処理を行う。具体的には、再生している楽曲に対する配信対象広告群に含まれる広告の情報を、当該楽曲再生中に順次表示する（図２参照）。表示する広告の順番については、候補群からのランダム選択、広告出稿時の支払い金額順などの方法が適用できる。また、広告表示時間についても、一定間隔（例：１５秒ずつ）で表示する、出稿金額に応じて表示時間を決定する、音楽再生機のオプションとして指定するなどの方法が適用可能である。

上記の処理のうち、カテゴリ特徴抽出処理〜楽曲別配信対象広告候補群抽出処理までの処理フローを図５に示す。図５において、ステップＳ１では前記カテゴリ特徴抽出処理が行われ、抽出されたカテゴリ特徴は前記カテゴリ特徴DB１３に格納される。ステップＳ２では前記楽曲特徴抽出処理が行われ、抽出された楽曲特徴は楽曲特徴DB１４に格納される。次に、ステップＳ３では再生される楽曲の分類処理が、楽曲特徴DB１４から得た該再生される楽曲の特徴とカテゴリ特徴DB１３のカテゴリ特徴との類似度を求めることによりなされる。ステップＳ４では前記楽曲別配信対象広告候補群抽出処理が前記広告DB１１を参照して行われる。ステップＳ５では、全ての楽曲について前記ステップＳ２〜Ｓ４の処理がなされたか否かの判断が行われ、この判断が否定の時にはステップＳ２に戻って再度ステップＳ２〜Ｓ４の処理が繰り返される。その後、ステップＳ５の判断が肯定になると前記の処理は終了する。

次に、楽曲再生時の前記広告提示処理のフローを図６に示す。図６において、ステップＳ１１では、選択された楽曲Ｓiの再生を開始する。ステップＳ１２では、該楽曲Ｓiに対する配信対象広告候補群Ａiに注目する。ここに、該配信対象広告候補群Ａiの内容は広告｛ａ1，ａ2，・・・，ａk｝とする。ステップＳ１３では、該配信対象広告候補群Ａiの中から広告ａnを選択して表示する。この選択は、前記したように、ランダム選択、広告出稿時の支払い金額順などの方法が適用できる。次にステップＳ１５に進んで、別広告を表示するか否かの判断がなされ、次いでステップＳ１６に進んで楽曲Ｓiの再生が終了したか否かの判断がなされる。この判断が否定の時にはステップＳ１５に戻って再度別広告を表示するか否かの判断がなされる。別広告を表示する場合にはステップＳ１３に戻り他の広告を表示する。これらの処理が続行されると、一つの楽曲Ｓi中で、１または複数の広告が表示されることになる。

前記ステップＳ１６の判断が肯定になると、ステップＳ１７に進み、次の楽曲Ｓjが再生されるかどうかの判断がなされる。この判断が肯定の場合には、楽曲ＳjがＳiに更新されて前記ステップＳ１１に戻り、前記したステップＳ１１〜Ｓ１６の処理が繰り返される。この処理によって、楽曲Ｓjの再生中に、他の１または複数の広告を表示することができる。以上の処理中に、ステップＳ１７の判断が否定になると、前記広告提示処理は終了する。

次に、本発明の第２実施形態を説明する。この実施形態は、再生楽曲をあらかじめ複数の区間に細分化してから、細分化区間ごとに特徴を抽出して配信対象広告候補群を抽出するものである。この方法を適用することにより、たとえば同じ楽曲内で雰囲気が大きく変動する場合に、その特徴に合わせた広告情報を提示することができるようになる。

なお、楽曲の細分化処理については、たとえば携帯電話向けの楽曲データなど、あらかじめ楽曲データ内にサビ区間情報が埋め込まれている場合は、その情報を利用して細分化処理を行うことができる。また、下記参考文献[2]などにおいて提案されている楽曲自動細分化処理も適用可能である。

[2] J. Foote: Automatic audio segmentation using a measure of audio novelty, Proc of ICME 2000, pp. 452-455, 2000.

図７に、楽曲細分化処理を適用した本発明の処理のうち、楽曲（区間）別配信対象広告候補群抽出処理までの処理フローを示す。この処理フローは、図５の処理フローに対応するものである。

図７において、ステップＳ２１では、前記ステップＳ１と同様のカテゴリ特徴抽出処理が行われる。ステップＳ２２では、ある楽曲の細分化処理が行われる。ステップＳ２３では、該楽曲の区間の特徴抽出処理が行われる。ステップＳ２４では、該楽曲の区間の分類処理が行われる。次に、ステップＳ２５では、該楽曲の区間別配信対象広告候補群抽出処理が行われる。続いて、ステップＳ２６では、全ての細分化区間の処理が終了したか否かの判断がなされ、否定の時にはステップＳ２３に戻って、次の区間の特徴抽出処理がなされる。以上の処理が繰り返し行われ、ステップＳ２６の判断が肯定になると、ステップＳ２７に進み、全ての楽曲の処理が終了したか否かの判断がなされる。この判断が否定の時にはステップＳ２２に戻って、次の楽曲の細分化処理がなされ、以下前記したのと同じ処理が繰り返される。その結果、ステップＳ２７の判断が肯定になると、前記の一連の処理は終了する。

以上の処理により、全ての楽曲の細分化区間に対して、配信対象広告候補群が抽出されたことになる。

次に、楽曲細分化処理を適用した場合の楽曲再生時の広告提示処理フローを図 ８に示す。この処理フローは、図６の処理フローに対応するものである。

ステップＳ３１では、再生しようとする楽曲Ｓiについての前記ステップＳ２２でなされた細分化の区間が読み出される。該区間を、｛Ｓ_ｉ，１，Ｓ_ｉ，２，・・・，Ｓ_ｉ，ｔ｝とする。ステップＳ３２では、該楽曲Ｓiの再生を開始する。ステップＳ３３では、区間Ｓ_ｉ，ｘに対する配信対象広告候補群Ａ_ｉ，ｘに注目する。ここに、Ａ_ｉ，ｘ＝｛ａ1，ａ2，・・・，ａk｝とする。ステップＳ４では、該配信対象広告候補群Ａ_ｉ，ｘから広告ａnを選択する。この選択には、ランダム選択、広告出稿時の支払い金額順などの方法が適用できる。ステップＳ３５では、該広告ａnを表示する。ステップＳ３６では、該楽曲Ｓiの再生が終了したか否かの判断がなされる。この判断が否定の時にはステップＳ３７に進んで区間Ｓ_ｉ，ｘの再生が終了したか否かの判断がなされる。この判断が否定の時にはステップＳ３５に戻って広告ａnの表示が続行される。一方、この判断が肯定の時には、ステップＳ３８に進んで、次の区間Ｓ_{ｉ，ｘ＋１}に移行する。そして、ステップＳ３３に戻って、該区間Ｓ_{ｉ，ｘ＋１}に対する配信対象広告候補群Ａ_{ｉ，ｘ＋１}に注目する。以下、前記と同様の動作が行われる。

ステップＳ３６の判断が肯定になると、ステップＳ３９に進み、次の楽曲Ｓjを再生するか否かの判断がなされる。この判断が肯定になると、ステップＳ４０に進んで、次の楽曲Ｓjが選択され、ステップＳ３１の処理に戻る。以下、前記と同様の処理が行われ、ステップＳ３９の判断が否定になると、前記の一連の処理は終了する。

以上の処理により、楽曲の再生中に、その区間々々に応じた広告が選択されて表示されるようになることは明らかである。

次に、本発明を実装したシステムの一例を説明する。図９は、図１に示される基本構成モジュールを、ユーザが音楽を再生するとともに広告情報を閲覧するためのクライアントと、広告主が提供する広告情報を配信するためのサーバに分けた場合の構成図を示す。

図９では、クライアント２０側に楽曲特徴抽出モジュール１、楽曲再生モジュール３、および広告提示モジュール６が配置され、広告配信サーバ３０側にカテゴリ特徴抽出モジュール２、再生楽曲分類モジュール４、および楽曲別配信対象広告候補群抽出モジュール５が配置されている。この構成では、たとえばユーザが購入した音楽CDをPC上でリッピングして、自ら再生用の音楽ファイルを蓄積する形式が前提となっている。クライアント２０からは、現在ユーザが再生中の楽曲の情報（特徴抽出結果を含む）が、ネットワーク経由で広告配信サーバ３０に送信され、サーバ３０側で再生楽曲との関連が高い広告群を抽出する。抽出された広告情報は、ネットワーク経由でクライアント２０に送付され、クライアント２０側において、再生されている楽曲とともに広告情報が提示される。

また、近年の音楽配信サービスの普及により、ユーザがインターネット上の音楽配信サイト（音楽配信サーバ）から音楽コンテンツを購入し、直接再生用のクライアント端末にダウンロードすることも可能になっている。この場合、楽曲からの特徴抽出処理は、ユーザのクライアント端末で行う必要はなく、音楽配信サーバ上で実行する構成案も考えられる。この構成案の場合、ユーザは楽曲購入・ダウンロードにともない、当該楽曲の特徴情報も併せてダウンロードし、クライアント内の楽曲特徴DBに格納する形式となる。

さらに、携帯型音楽再生機の普及により、近年は大量の音楽を持ち歩きながら好きな楽曲を聴くスタイルが定着しつつある。こうした音楽再生機の中には、携帯電話など、通信機能を有するデバイスも増えてきている。しかし、PCと比較すると、携帯型音楽再生機に搭載されている CPUの処理能力は低いため、本発明における楽曲特徴抽出処理などが円滑に動作しない可能性がある。また、個々の再生楽曲に対する配信対象広告群に含まれる全ての広告情報を携帯型音楽再生機に格納する場合、携帯型音楽再生機のデータ容量を圧迫するほか、新しい広告情報を表示することができないという問題もある。

そこで、通信機能を有した携帯型音楽再生機において本発明を実装することを前提としたシステム構成の一例を図１０に示す。

図１０に示すシステム構成では、ユーザが利用するPC（パーソナルコンピュータ）４０と、携帯型音楽再生機５０と、広告DBが格納されている広告サーバ６０に、各モジュールが分散されている構成になっている。処理負荷が高い楽曲特徴抽出モジュール１をユーザのPC４０上に実装し、特徴抽出結果を楽曲データとともに携帯型音楽再生機５０に転送する。ユーザが携帯型音楽再生機５０上で再生する楽曲を選択すると、その楽曲の特徴量がネットワークを通じて広告サーバ６０に転送され、再生楽曲分類処理および当該楽曲に対する配信対象広告候補群抽出処理が実行される。その結果得られた配信対象広告候補群に含まれる広告情報は、ネットワークを経由して携帯型音楽再生機５０に転送され、ユーザが再生する楽曲とともに携帯型音楽再生機５０上に表示される。このようなシステム構成をとることにより、処理能力が貧弱な携帯型音楽再生機５０においても、本発明の実装が可能になる。

本発明の広告連動音楽再生装置の一実施形態の構成を示すブロック図である。 本発明の画面イメージの一例を示す図である。 広告DBに登録された広告情報の一例を示す図である。 広告DBに登録された広告情報の他の例を示す図である。 本発明の広告連動音楽再生方法の一実施形態を示すフローチャートである。 楽曲再生時の広告提供処理の一例を示すフローチャートである。 本発明の広告連動音楽再生方法の他の実施形態を示すフローチャートである。 楽曲再生時の広告提供処理の他の例を示すフローチャートである。 本発明の広告連動音楽再生システムの一実施形態の構成を示すブロック図である。 本発明の広告連動音楽再生システムの他の実施形態の構成を示すブロック図である。

符号の説明

１・・・楽曲特徴抽出モジュール、２・・・カテゴリ特徴抽出モジュール、３・・・楽曲再生モジュール、４・・・再生楽曲分類モジュール、５・・・楽曲別配信対象広告候補群抽出モジュール、６・・・広告提示モジュール、７・・・音楽再生機、１０・・・楽曲DB、１１・・・広告DB、１２・・・カテゴリ学習DB、１３・・・カテゴリ特徴DB。

Claims (13)

1. 広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）と配信対象広告との関連度を予め定めておき、
   再生中の楽曲（以下、再生楽曲）の音響的特徴量と、前記楽曲カテゴリの特徴量との関連度を算出し、
   該関連度が高い楽曲カテゴリに対応する配信対象広告を配信対象広告と決定し、
   該配信対象広告の情報を再生楽曲情報と共にユーザに提供する音楽連動型広告配信方法。
2. 請求項１に記載の音楽連動型広告配信方法において、
   前記再生楽曲の音響的特徴量と楽曲カテゴリの特徴量との関連度が、前記再生楽曲から抽出された音響的特徴量と楽曲カテゴリの特徴量との類似度である音楽連動型広告配信方法。
3. 請求項１または２に記載の音楽連動型広告配信方法において、
   前記楽曲カテゴリの特徴量は、各カテゴリに該当するサンプル楽曲群によって構成される学習データに対する学習処理によって抽出可能である音楽連動型広告配信方法。
4. 請求項１ないし３のいずれかに記載の音楽連動型広告配信方法において、
   前記再生楽曲を細分化し、各細分化区間の音響的特徴量と前記楽曲カテゴリの特徴量との関連度を算出し、
   楽曲再生時には、再生されている区間との関連が高い楽曲カテゴリに対応する広告の情報を楽曲情報とともにユーザに提供する音楽連動型広告配信方法。
5. 請求項１ないし４のいずれかに記載の音楽連動型広告配信方法において、
   前記広告配信対象カテゴリを表す情報が、楽曲のジャンル情報、楽曲の雰囲気を表す情報などである音楽連動型広告配信方法。
6. 楽曲DB中に収納されている楽曲の特徴を抽出する手段と、
   前記楽曲DB中に収納されている楽曲を再生する手段と、
   広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、
   再生中の楽曲（以下、再生楽曲）の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、
   該広告配信対象カテゴリを基に配信対象広告を決定する手段と、
   該配信対象広告の情報を広告DBから抽出する手段と、
   該配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とを具備した音楽連動型広告配信装置。
7. 請求項６に記載の音楽連動型広告配信装置において、
   前記楽曲カテゴリの特徴を抽出する手段は、前記広告配信対象カテゴリに該当するサンプル楽曲群によって構成される学習データに対する学習処理によって前記特徴を抽出する音楽連動型広告配信装置。
8. 楽曲DB中に収納されている楽曲の特徴を抽出する手段と、前記楽曲DB中に収納されている楽曲を再生する手段と、配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とをクライアント端末に設け、
   広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、再生楽曲の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、該広告配信対象カテゴリを基に配信対象広告を決定する手段と、該配信対象広告の情報を広告DBから抽出する手段とを広告配信サーバに設け、
   前記クライアント端末と広告配信サーバとはネットワークで接続されている音楽連動型広告配信システム。
9. 請求項８に記載の音楽連動型広告配信システムにおいて、
   前記楽曲からの特徴抽出処理を、楽曲を再生するクライアント端末において実行し、
   該クライアント端末で再生されている楽曲の特徴量が含まれた楽曲情報をネットワーク経由で広告配信サーバに送付し、
   該広告配信サーバで再生楽曲情報との関連度が高い広告情報を抽出してクライアント端末に送付し、
   該クライアント端末の音楽再生アプリケーション上で再生されている楽曲の関連広告情報をユーザに提供する音楽連動型広告配信システム。
10. 楽曲DB中に収納されている楽曲の特徴を抽出する手段を音楽配信サーバに設け、
    ユーザによって指定された該楽曲DB中の楽曲と該楽曲の特徴をダウンロードする手段と、該ダウンロードされた楽曲と該楽曲の特徴を格納する手段と、該ダウンロードされた楽曲を再生する手段と、配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とをクライアント端末に設け、
    広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、再生楽曲の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、該広告配信対象カテゴリを基に配信対象広告を決定する手段と、該配信対象広告の情報を広告DBから抽出する手段とを広告配信サーバに設け、
    前記音楽配信サーバ、クライアント端末および広告配信サーバは、ネットワークで接続されている音楽連動型広告配信システム。
11. 請求項１０に記載の音楽連動型広告配信システムにおいて、
    前記音楽配信サーバにおいて楽曲からの特徴抽出処理を実行し、ユーザが同サーバから楽曲を入手する際に当該楽曲の特徴量情報も併せてクライアント端末にダウンロードし、
    該クライアント端末の音楽再生アプリケーションで再生されている楽曲の特徴量が含まれた楽曲情報をネットワーク経由で広告配信サーバに送付し、広告配信サーバで再生楽曲情報との関連度が高い広告情報を抽出し、クライアント端末に送付し、クライアント端末の音楽再生アプリケーション上で再生されている楽曲の関連広告情報をユーザに提供する音楽連動型広告配信システム。
12. 楽曲DB中に収納されている楽曲の特徴を抽出する手段をPCに設け、
    該PCから転送された楽曲と該楽曲の特徴を格納する手段と、該転送された楽曲を再生する手段と、配信対象広告の情報を再生楽曲情報と共にユーザに提供する手段とを携帯型音楽再生機に設け、
    広告配信対象カテゴリを表す情報に対応する楽曲のカテゴリ（以下、楽曲カテゴリ）の特徴を抽出する手段と、再生楽曲の音響的特徴と前記楽曲カテゴリの特徴との関連度を基に再生楽曲の広告配信対象カテゴリを求める手段と、該広告配信対象カテゴリを基に配信対象広告を決定する手段と、該配信対象広告の情報を広告DBから抽出する手段とを広告配信サーバに設け、
    前記携帯型音楽再生機と広告配信サーバとはネットワークで接続されている音楽連動型広告配信システム。
13. 請求項１２に記載の音楽連動型広告配信システムにおいて、
    前記PCから楽曲からの特徴抽出処理結果を楽曲情報とともに携帯型音楽再生機に転送し、
    該携帯型音楽再生機で再生されている楽曲の特徴量を含めた楽曲情報をネットワーク経由で広告配信サーバに送付し、
    該広告配信サーバで再生楽曲情報との関連度が高い広告情報を抽出して携帯型音楽再生機に送付し、
    該携帯型音楽再生機で再生されている楽曲との関連が高い広告情報をユーザに提供する音楽連動型広告配信システム。

Images