JP2003177784A - 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響再生システム、音響配信システム、情報提供装置、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム - Google Patents

音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響再生システム、音響配信システム、情報提供装置、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム

Info

Publication number
JP2003177784A
JP2003177784A JP2001380139A JP2001380139A JP2003177784A JP 2003177784 A JP2003177784 A JP 2003177784A JP 2001380139 A JP2001380139 A JP 2001380139A JP 2001380139 A JP2001380139 A JP 2001380139A JP 2003177784 A JP2003177784 A JP 2003177784A
Authority
JP
Japan
Prior art keywords
acoustic
sound
music
signal
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001380139A
Other languages
English (en)
Other versions
JP2003177784A5 (ja
JP3886372B2 (ja
Inventor
Junichi Tagawa
潤一 田川
Hiroaki Yamane
裕明 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001380139A priority Critical patent/JP3886372B2/ja
Priority to EP02027499A priority patent/EP1320101A3/en
Priority to US10/316,185 priority patent/US6965546B2/en
Publication of JP2003177784A publication Critical patent/JP2003177784A/ja
Publication of JP2003177784A5 publication Critical patent/JP2003177784A5/ja
Application granted granted Critical
Publication of JP3886372B2 publication Critical patent/JP3886372B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/60—Solid state media
    • G11B2220/61—Solid state media wherein solid state memory is used for storing A/V content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

(57)【要約】 【課題】 楽曲の音響的な境界を表す音響変節点からの
再生や編集を速やかに行うための方法及び装置を提供す
る。 【解決手段】 特徴量抽出手段１２は楽曲の音響信号か
らその音響的特徴量を抽出する。ピーク検出手段１４は
評価関数算出手段１３で算出された評価関数が極大値を
示すピーク時刻及びそのピーク値を検出する。選択手段
１５はピーク時刻及びピーク値から、音響変節点を示す
時刻情報を選択する。こうすると、利用者は事前に楽曲
を聴取する必要がなく、音響変節点を自動で抽出するこ
とができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、楽曲のオーディオ
信号（音響信号）からその音楽の「サビ」の部分等の音
響的な変節点を抽出する技術に関わり、特にこの音響変
節点抽出方法を用いた音響変節点抽出装置、音響再生装
置、音響再生システム、音響配信システム、情報提供装
置、音響編集装置、及びこれらの音響変節点抽出方法及
び音響再生方法のプログラムを記録した記録媒体に関す
るものである。
【０００２】
【従来の技術】従来の楽曲の聴取形態として、先ずＣＤ
プレーヤでの利用者の楽曲聴取形態について例に挙げて
説明する。利用者がオーディオＣＤに記録された楽曲を
聴取する場合は、ＣＤの最初から順番に楽曲を再生する
か、もしくは自分の聴取希望の楽曲番号を指定して再生
・聴取するのが一般的である。楽曲の途中、例えば当該
楽曲の歌の出だしや、歌の２番、サビ（ブリッジ）の部
分から聴きたい場合は、ＣＤの早送りや巻き戻し機能を
用いて、利用者が再生開始点を目的の場所まで移動して
から聴取する必要がある。
【０００３】次に、ＥＭＤ（電子音楽配信）用の試聴シ
ステムを例に挙げて説明する。ＥＭＤ用の試聴システム
では、販売する楽曲のサンプルとして、その楽曲の一部
（20〜30秒程度）を利用者が試聴できるようにしている
ものが多い。そのような試聴用のサンプルは、販売促進
という目的上、楽曲の特徴を最も端的に表現している音
楽的部位を切り出している場合が多く、具体的には曲の
歌い出しの部分や、サビの部分などの楽曲の一部を利用
していることが多い。
【０００４】
【発明が解決しようとする課題】しかしながら、前述し
たＣＤプレーヤの例の場合は、利用者がＣＤに収録され
ている特定の楽曲のサビの部分のみを聴きたいときは、
先ず当該楽曲の再生を開始し、更に早送りや巻き戻し等
の操作により楽曲を聞きながら、又はＣＤプレーヤに表
示されるカウンタを見ることにより、利用者がサビの部
分まで再生開始点を移動するという操作をしていた。こ
のような方法は利用者に操作上の負担をかけるものであ
った。更に、１枚又は複数のＣＤの音楽的内容を短時間
に把握するための聴取を行う場合は（いわゆるダイジェ
スト再生）、利用者が前記のような移動操作を繰り返し
行わなければならず、操作上の負担は更に増加してしま
う。
【０００５】ＥＭＤ用の試聴システムの場合は、試聴用
のサンプルの切り出しは、コンテンツ製作者や試聴シス
テム製作者が当該楽曲全体を試聴し、その楽曲の音楽的
特徴を端的に表現していると思われる部分を手作業で見
つけ出している。このような作業は製作者にとって作業
負担が大きくなり、そのための作成費用（コンテンツ編
集作業）も大きな割合を占めていた。
【０００６】以上の課題は、次のような事情に起因する
ものである。即ち、一般的に流通しているオーディオＣ
Ｄ等に記録されているオーディオコンテンツでは、楽曲
の再生時間、開始時刻、終了時刻等の少数の外部的情報
でしか定義されておらず、歌の出だしの時刻、サビの開
始時刻等、当該コンテンツの音楽的な特徴に根ざした音
響変節点に関する情報（音響変節点の時刻情報）が含ま
れていない。
【０００７】本発明は、このような従来の問題点に鑑み
てなされたものであって、オーディオＣＤ等に記録され
ている楽曲のオーディオ信号から、音楽的特徴を表現す
る音響変節点を抽出し、その音響変節点を利用して利用
者の負担なく効率よく楽曲コンテンツの再生、編集及び
作成を行う技術を実現することを目的とする。
【０００８】
【課題を解決するための手段】本願の請求項１の発明
は、楽曲の音響信号を入力する音響信号入力手段と、前
記音響信号入力手段より与えられた音響信号から、予め
定めた音響的特徴量を抽出する特徴量抽出手段と、前記
特徴量抽出手段によって抽出された音響的特徴量から、
音響変節点の尤度を示す評価関数を算出する評価関数算
出手段と、前記評価関数算出手段によって算出された評
価関数の値が極大値を示すピーク時刻及びピーク値を検
出するピーク検出手段と、前記ピーク検出手段によって
検出されたピーク時刻及びピーク値から、所定値以上の
尤度値を持つ音響変節点を選択する選択手段と、を具備
することを特徴とするものである。
【０００９】本願の請求項２の発明は、請求項１の音響
変節点抽出装置において、前記特徴量算出手段は、音響
信号の２乗平均平方を算出する２乗平均平方算出手段、
音響信号の発音非周期性を算出する発音非周期性算出手
段、音響信号の平均発音数を算出する平均発音数算出手
段、の何れかを具備することを特徴とするものである。
【００１０】本願の請求項３の発明は、請求項１の音響
変節点抽出装置において、前記評価関数算出手段は、音
響信号の２乗平均平方、発音非周期性、平均発音数の
内、少なくとも２つの値を乗算した値を評価関数として
出力するものであることを特徴とするものである。
【００１１】本願の請求項４の発明は、請求項２の音響
変節点抽出装置において、前記発音非周期性算出手段
は、音響信号の立ち上がり成分を検出する立ち上がり成
分検出手段と、前記立ち上がり成分検出手段で得られた
立ち上がり成分の自己相関関数を算出する自己相関算出
手段と、前記自己相関算出手段で算出された自己相関関
数の周波数分析を行う周波数分析手段と、前記周波数分
析手段の出力から直流成分を抽出する直流成分抽出手段
と、前記周波数分析手段の出力から最大値をもつ周波数
成分を抽出する最大値抽出手段と、前記直流成分抽出手
段の出力を前記最大値抽出手段の出力で除算する除算手
段と、を具備することを特徴とするものである。
【００１２】本願の請求項５の発明は、請求項３の音響
変節点抽出装置において、前記平均発音数算出手段は、
音響信号の各周波数帯域における立ち上がり成分を検出
する立ち上がり成分検出手段と、前記立ち上がり成分検
出手段で検出された立ち上がり成分の出力が閾値以下の
場合は０を出力し、前記閾値を超える場合は１を出力す
る２値化手段と、前記２値化手段の出力を周波数方向に
積算する積算手段と、前記積算手段の出力の時間平均を
算出する平均値算出手段と、を具備することを特徴とす
るものである。
【００１３】本願の請求項６の発明は、請求項１の音響
変節点抽出装置において、前記選択手段は、前記ピーク
検出手段で検出されたピーク値を、その値が大きい順に
所定個数分選択し、選択されたピーク値の時刻を前記音
響変節点の時刻情報として出力することを特徴とするも
のである。
【００１４】本願の請求項７の発明は、請求項１の音響
変節点抽出装置において、前記選択手段は、前記ピーク
検出手段で検出されたピーク値を、その値が大きい順に
所定個数分選択し、選択されたピーク値の時刻を前記音
響変節点の時刻情報として出力すると共に、前記音響変
節点のピーク値を音響変節点の尤度情報として出力する
ことを特徴とするものである。
【００１５】本願の請求項８の発明は、請求項１の音響
変節点抽出装置において、前記選択手段は、音響変節点
の時間間隔が予め定めた時間間隔以上となるように、前
記ピーク検出手段により検出されたピーク値から音響変
節点を選択することを特徴とするものである。
【００１６】本願の請求項９の発明は、楽曲の音響信号
を格納する音響信号格納手段と、前記音響信号格納手段
に格納された音響信号から、音響的な境界を示す音響変
節点を抽出する音響変節点抽出手段と、前記音響変節点
抽出手段によって抽出された音響変節点を含む楽曲の属
性情報を記憶する楽曲属性記憶手段と、前記音響信号格
納手段に格納された音響信号を、任意の位置から再生す
る音響再生手段と、前記楽曲記憶手段に記録された楽曲
の属性情報を参照して、前記音響再生手段の再生を制御
する再生制御手段と、を具備することを特徴とするもの
である。
【００１７】本願の請求項１０の発明は、請求項９の音
響再生装置において、前記再生制御手段は、利用者が音
響変節点からの再生を指示するための操作手段を有し、
前記操作手段の指示により任意の音響変節点からの再生
を行うことを特徴とするものである。
【００１８】本願の請求項１１の発明は、請求項９の音
響再生装置において、前記音響変節点抽出手段は、各音
響変節点の時刻情報と尤度情報とを出力し、前記再生制
御手段は、前記尤度情報に基づいて音響変節点からの再
生を制御することを特徴とするものである。
【００１９】本願の請求項１２の発明は、請求項９の音
響再生装置において、前記再生制御手段は、楽曲の音響
信号を音響変節点の時刻順に再生するように前記音響再
生手段を制御することを特徴とするものである。
【００２０】本願の請求項１３の発明は、楽曲に関する
属性情報を提供する情報提供装置と、音響信号を再生す
る音響再生装置と、前記情報提供装置と前記音響再生装
置とを含む装置間の情報を相互に伝達する通信網と、を
有する音響再生システムであって、前記情報提供装置
は、楽曲の音響信号を格納する第１の音響信号格納手段
と、前記第１の音響信号格納手段に格納された音響信号
から音響的な境界を示す音響変節点を抽出する音響変節
点抽出手段と、前記音響変節点抽出手段によって抽出さ
れた音響変節点を含む楽曲の属性情報を記憶する楽曲属
性記憶手段と、を具備し、前記音響再生装置は、楽曲の
音響信号を格納する第２の音響信号格納手段と、楽曲の
属性情報を前記通信網を介して前記情報提供装置から取
得する属性取得手段と、前記第２の音響信号格納手段に
格納された音響信号を再生する音響再生手段と、前記属
性取得手段により取得された楽曲の属性を参照して前記
音響再生手段の再生を制御する再生制御手段と、を具備
することを特徴とするものである。
【００２１】本願の請求項１４の発明は、請求項１３の
音響再生システムにおいて、前記属性取得手段は、前記
第２の音響信号格納手段に格納された楽曲に応じて、複
数の前記情報提供装置から楽曲の属性情報を取得するこ
とを特徴とするものである。
【００２２】本願の請求項１５の発明は、楽曲の音響信
号及び楽曲に関する属性情報を提供する情報提供装置
と、音響信号を再生する音響再生装置と、前記情報提供
装置と前記音響再生装置とを含む装置間の情報を相互に
伝達する通信網と、を有する音響配信システムであっ
て、前記情報提供装置は、楽曲の音響信号を格納し、前
記通信網を介して前記音響再生装置に対して音響信号を
提供する第１の音響信号格納手段と、前記第１の音響信
号格納手段の音響信号から音響的な境界である音響変節
点を抽出する音響変節点抽出手段と、前記音響変節点抽
出手段によって抽出された音響変節点を含む楽曲の属性
情報を記憶する楽曲属性記憶手段と、を具備し、前記音
響再生装置は、楽曲の音響信号を格納する第２の音響信
号格納手段と、楽曲の属性情報を前記通信網を介して前
記情報提供装置から取得する属性取得手段と、楽曲の音
響信号を前記通信網を介して前記情報提供装置から取得
して格納する楽曲取得手段と、前記第２の音響信号格納
手段又は前記楽曲取得手段に格納された音響信号を再生
する音響再生手段と、前記属性取得手段により取得され
た楽曲の属性を参照して、前記音響再生手段の再生を制
御する再生制御手段と、を具備することを特徴とするも
のである。
【００２３】本願の請求項１６の発明は、請求項１５の
音響配信システムにおいて、前記音響再生装置は、前記
複数の情報提供装置の何れかから楽曲の音響信号及び属
性情報のリストを取得し、前記楽曲取得手段は、取得し
た前記リストの中から利用者の指示に従って楽曲の音響
信号を前記複数の情報提供装置の何れかから取得し、前
記属性取得手段は、前記第２の音響信号格納手段に格納
された楽曲、又は前記楽曲取得手段により取得された楽
曲に基づいて、前記複数の情報提供装置の何れかから楽
曲の属性情報を取得することを特徴とするものである。
【００２４】本願の請求項１７の発明は、楽曲の音響信
号を格納する音響信号格納手段と、前記音響信号格納手
段の音響信号から音響的な境界である音響変節点を抽出
する音響変節点抽出手段と、前記音響変節点抽出手段に
よって抽出された音響変節点を含む楽曲の属性情報を記
憶する楽曲属性記憶手段と、を具備し、利用者からの提
供依頼に応じて楽曲の属性情報を提供することを特徴と
するものである。
【００２５】本願の請求項１８の発明は、楽曲の音響信
号を格納する音響信号格納手段と、前記音響信号格納手
段の音響信号から音響的な境界である音響変節点を抽出
する音響変節点抽出手段と、前記音響変節点抽出手段に
よって抽出された音響変節点に基づいて、楽曲の編集を
行うための信号区間を算出する区間算出手段と、前記区
間算出手段によって算出された信号区間に基づいて、前
記音響信号格納手段に格納されている当該楽曲の音響信
号を編集する音響信号編集手段と、を具備することを特
徴とするものである。
【００２６】本願の請求項１９の発明は、請求項１８の
音響信号編集装置において、前記区間算出手段は、前記
音響変節点抽出手段で抽出された楽曲の音響変節点を時
刻順に参照し、各音響変節点間を信号区間として出力す
ることを特徴とするものである。
【００２７】本願の請求項２０の発明は、請求項１８の
音響信号編集装置において、前記区間算出手段は、前記
音響変節点抽出手段で抽出された当該楽曲の音響変節点
を区間の開始時刻とし、区間の開始時刻から予め定めた
一定の時間後を終了時刻として信号区間を算出すること
を特徴とするものである。
【００２８】本願の請求項２１の発明は、請求項１８〜
２０の何れか１項の音響信号編集装置において、前記音
響変節点抽出手段は、音響変節点の時刻情報を出力する
と共に、前記音響変節点の尤度情報を算出して出力し、
前記区間算出手段は、算出された音響変節点の尤度情報
に基づいて信号区間を算出することを特徴とするもので
ある。
【００２９】本願の請求項２２の発明は、楽曲の音響信
号を入力する音響信号入力ステップと、前記音響信号入
力ステップで与えられた音響信号から、予め定めた音響
的特徴量を抽出する特徴量抽出ステップと、前記特徴量
抽出ステップによって抽出された音響的特徴量から、音
響変節点の尤度を示す評価関数を算出する評価関数算出
ステップと、前記評価関数算出ステップで算出された評
価関数が極大値を示すピーク時刻及びピーク値を検出す
るピーク検出ステップと、ピーク検出ステップによって
検出されたピーク時刻及びピーク値から、所定値以上の
尤度値を持つ音響変節点を選択する選択ステップと、を
具備することを特徴とするものである。
【００３０】本願の請求項２３の発明は、請求項２２の
音響変節点抽出方法において、前記特徴量算出ステップ
は、音響信号の２乗平均平方を算出する２乗平均平方算
出ステップ、音響信号の発音非周期性を算出する発音非
周期性算出ステップ、音響信号の平均発音数を算出する
平均発音数算出ステップ、の何れかを具備することを特
徴とするものである。
【００３１】本願の請求項２４の発明は、請求項２２の
音響変節点抽出方法において、前記評価関数算出ステッ
プは、音響信号の２乗平均平方、発音非周期性、平均発
音数の内、少なくとも２つの値を乗算した値を評価関数
として出力することを特徴とするものである。
【００３２】本願の請求項２５の発明は、請求項２３の
音響変節点抽出方法において、前記発音非周期性検出ス
テップは、音響信号の立ち上がり成分を検出する立ち上
がり成分検出ステップと、前記立ち上がり成分検出ステ
ップで得られた立ち上がり成分の自己相関関数を算出す
る自己相関算出ステップと、前記自己相関算出ステップ
で算出された自己相関関数の周波数分析を行う周波数分
析ステップと、前記周波数分析ステップの出力から直流
成分を抽出する直流成分抽出ステップと、前記周波数分
析ステップの出力から最大値をもつ周波数成分を抽出す
る最大値抽出ステップと、前記直流成分抽出ステップの
出力を前記最大値抽出ステップの出力で除算する除算ス
テップと、を具備することを特徴とするものである。
【００３３】本願の請求項２６の発明は、請求項２３の
音響変節点抽出方法において、前記平均発音数算出ステ
ップは、音響信号の各周波数帯域における立ち上がり成
分を検出する立ち上がり成分検出ステップと、前記立ち
上がり成分検出ステップで検出された立ち上がり成分の
出力が閾値以下の場合は０を、前記閾値を超える場合は
１を出力する２値化ステップと、前記２値化ステップの
出力を周波数方向に積算する積算ステップと、前記積算
ステップの出力の時間平均を算出する平均値算出ステッ
プと、を具備することを特徴とするものである。
【００３４】本願の請求項２７の発明は、請求項２２の
音響変節点抽出方法において、前記選択ステップは、前
記ピーク検出ステップで検出されたピークを、そのピー
ク値の大きい順に所定個数分選択し、選択されたピーク
の時刻を音響変節点の時刻情報として出力することを特
徴とするものである。
【００３５】本願の請求項２８の発明は、請求項２２の
音響変節点抽出方法において、前記選択ステップは、前
記ピーク検出ステップで検出されたピークを、そのピー
ク値の大きい順に所定個数分選択し、選択されたピーク
の時刻を音響変節点の時刻情報として出力すると共に、
前記音響変節点のピーク値を尤度情報として出力するこ
とを特徴とするものである。
【００３６】本願の請求項２９の発明は、請求項２２の
音響変節点抽出方法において、前記選択ステップは、音
響変節点の時間間隔が予め定めた時間間隔以上となるよ
うに、前記ピーク検出ステップにより検出されたピーク
から音響変節点を選択することを特徴とするものであ
る。
【００３７】本願の請求項３０の発明は、楽曲の音響信
号を格納する音響信号格納ステップと、音響信号格納ス
テップの音響信号から、音響的な境界である音響変節点
を抽出する音響変節点抽出ステップと、前記音響変節点
抽出ステップによって抽出された音響変節点を含む楽曲
の属性情報を記憶する楽曲属性記憶ステップと、前記音
響信号格納ステップに格納された音響信号を、任意の位
置から再生する音響再生ステップと、前記楽曲記憶ステ
ップに記録された楽曲の属性情報を参照して、前記音響
再生ステップの再生を制御する再生制御ステップと、を
具備することを特徴とするものである。
【００３８】本願の請求項３１の発明は、請求項３０の
音響再生方法において、前記音響変節点抽出ステップ
は、各音響変節点の時刻情報と尤度情報とを出力し、前
記再生制御ステップは、前記尤度情報に基づいて変節点
からの再生を制御することを特徴とするものである。
【００３９】本願の請求項３２の発明は、請求項３０の
音響再生方法において、前記再生制御ステップは、楽曲
の音響信号を音響変節点の時刻順に再生するように前記
音響再生ステップを制御することを特徴とするものであ
る。
【００４０】本願の請求項３３の発明は、楽曲の音響信
号を格納する音響信号格納ステップと、前記音響信号格
納ステップの音響信号から音響的な境界である音響変節
点を抽出する音響変節点抽出ステップと、前記音響変節
点抽出ステップによって抽出された音響変節点に基づい
て、楽曲の編集を行う信号区間を算出する区間算出ステ
ップと、前記区間算出ステップによって算出された信号
区間に基づいて、前記音響信号格納ステップに格納され
ている当該楽曲の音響信号を編集する音響信号編集ステ
ップと、を具備することを特徴とするものである。
【００４１】本願の請求項３４の発明は、請求項３３の
音響信号編集方法において、前記区間算出ステップは、
前記音響変節点抽出ステップで抽出された楽曲の音響変
節点を時刻順に参照し、各音響変節点間を信号区間とし
て出力することを特徴とするものである。
【００４２】本願の請求項３５の発明は、請求項３３の
音響信号編集方法において、前記区間算出ステップは、
前記音響変節点抽出ステップで抽出された当該楽曲の音
響変節点を区間の開始時刻とし、区間の開始時刻から予
め定めた一定の時間後を終了時刻として信号区間を算出
することを特徴とするものである。
【００４３】本願の請求項３６の発明は、請求項３３〜
３５の何れか１項の音響信号編集方法において、前記音
響変節点抽出ステップは、音響変節点の時刻情報を出力
すると共に、前記音響変節点の尤度情報を算出して出力
し、前記区間算出ステップは、算出された音響変節点の
尤度情報に基づいて信号区間を算出することを特徴とす
るものである。
【００４４】本願の請求項３７の発明は、請求項２２〜
２９の何れか１項記載の音響変節点抽出処理をコンピュ
ータに機能させるためのプログラムとして記録した音響
変節点抽出方法プログラム記録媒体である。
【００４５】本願の請求項３８の発明は、請求項３０〜
３２の何れか１項記載の音響再生処理をコンピュータに
機能させるためのプログラムとして記録した音響再生方
法プログラム記録媒体である。
【００４６】本願の請求項３９の発明は、請求項３３〜
３６の何れか１記載の音響信号編集処理をコンピュータ
に機能させるためのプログラムとして記録した音響信号
編集方法プログラム記録媒体である。
【００４７】本願の請求項４０の発明は、請求項２２〜
２９の何れか１記載の音響変節点抽出処理をコンピュー
タに機能させるための音響変節点抽出方法プログラムで
ある。
【００４８】本願の請求項４１の発明は、請求項３０〜
３２の何れか１記載の音響再生処理をコンピュータに機
能させるための音響再生方法プログラムである。
【００４９】本願の請求項４２の発明は、請求項３３〜
３６の何れか１記載の音響信号編集処理をコンピュータ
に機能させるための音響信号編集方法プログラムであ
る。
【００５０】
【発明の実施の形態】（実施の形態１）先ず本発明の音
響変節点抽出技術の実施の形態１として、音響変節点抽
出装置について説明する。図１は本発明の実施の形態１
における音響変節点抽出装置１０の全体構成を示すブロ
ック図である。この音響変節点抽出装置１０は、入力さ
れた音響信号から、音響変節点を抽出して出力する装置
であり、音響信号入力手段１１、特徴量抽出手段１２、
評価関数算出手段１３、ピーク検出手段１４、選択手段
１５を含んで構成される。
【００５１】本実施の形態の説明に用いる音響変節点と
は、楽曲の音響信号の変節点を示すもので、例えばイン
トロ部分からメインボーカルに入る部分、演奏楽器の種
類が変化する部分、リズムが変化する部分、転調される
部分、音圧が急に上昇する部分、メインメロディーから
エンディングに入る部分などをいう。音響変節点の情報
として、これらの音響変節点の種類をコード化した種別
情報、音響変節点の発生時刻を示す時刻情報、音響変節
点らしさを定量化した尤度情報等がある。これらの情報
は人間の聴感覚（ビデオクリップのような映像が伴う場
合は視聴感覚）と大脳で判断されるものであるが、本発
明では物理的に判定できるものをその対象とする。時刻
情報は、各曲の始まりからの経過時間を示し、通常ａｂ
分、ｃｄ秒で表現される。譜面データが判明している場
合は、小節番号などても特定できる。
【００５２】音響信号入力手段１１は、オーディオＣＤ
等に記録されているオーディオコンテンツ等、音響変節
点を抽出する対象となる楽曲の音響信号を入力する。特
徴量抽出手段１２は、音響信号入力手段１１で取得した
音響信号を短時間のフレーム周期毎に分析し、１つ又は
複数種類の音響変節点に関連のある予め定められた音響
的特徴量を抽出して出力する。
【００５３】評価関数算出手段１３は、特徴量抽出手段
１２で抽出された特徴量から、音響変節点らしさの度合
い、即ち音響変節点の尤度を表す評価関数を算出して出
力する。ピーク検出手段１４は、評価関数算出手段１３
で算出された評価関数がピーク（極大値）を示す１つ又
は複数の部分を検出し、その時刻及びその値（ピーク
値）を出力する。選択手段１５は、ピーク検出手段１４
が出力したピーク部分の中から、音響変節点と考えられ
る１つ又は複数の部分の時刻情報とその属性情報を出力
する。
【００５４】ここで特徴量抽出手段１２の動作について
詳細に説明する。特徴量抽出手段１２で抽出する音響的
特徴量としては、（ａ）；信号の２乗平均平方根（ＲＭ
Ｓ）、（ｂ）；発音非周期性、（ｃ）；平均発音数など
が用いられる。そこで夫々の特徴量について説明する。
【００５５】（ａ）；２乗平均平方 ２乗平均平方は、当該処理フレームにおける音響信号の
振幅の大きさを表す特徴量である。ｉ番目の処理ブロッ
クにおける信号の２乗平均平方ＲＭＳi は次の（１）式
より導出される。
【数１】 ここで、ｘ（ｎ）はブロック内時刻ｎにおける信号の振
幅値を表し、Ｍは１ブロックのサンプル数を示す。ＲＭ
Ｓが大きいほど当該ブロック内の信号の平均振幅が大き
く、ＲＭＳは当該楽曲の音の大きさの変化を表す特徴量
となる。
【００５６】（ｂ）；発音非周期性 発音非周期性（ビート非周期性ともいう）は、当該楽曲
を構成する楽音の発音非周期性を表す特徴量である。楽
曲の発音が規則的（周期的）になされている場合は発音
非周期性が小さくなり、逆に楽曲発音パターンが変化す
る場合は発音非周期性が大きくなる。
【００５７】図２は、発音非周期性を算出する発音非周
期性算出手段２０の構成図である。この発音非周期性算
出手段２０は、入力された音響信号から発音非周期性を
算出して出力するものであり、立ち上がり成分検出手段
２１、自己相関算出手段２２、周波数分析手段２３、直
流成分抽出手段２４、最大値抽出手段２５、除算手段２
６を含んで構成される。
【００５８】立ち上がり成分検出手段２１は、入力され
た音響信号から、楽曲中で発音されている楽音の立ち上
がり成分を検出する。立ち上がり成分は、まず信号を短
時間フレームに分けてフレーム毎に周波数分析し、前後
フレーム及び隣接する周波数間の信号のパワー差から、
急激にパワーが変化している信号部分を抽出することに
より検出できる。立ち上がり成分の検出方法について
は、例えば文献（後藤・村岡：" 音楽音響信号に対する
ビートトラッキングシステム" ，情報処理学会研究報
告，Vol.94, No.71, pp.49-56, 1994 ）に詳細が記載さ
れている。
【００５９】自己相関算出手段２２は、立ち上がり成分
検出手段２１で検出した立ち上がり成分信号の自己相関
関数を算出して出力する。周波数分析手段２３は、自己
相関算出手段２２によって求められた立ち上がり成分の
自己相関関数をフーリエ変換等により周波数分析を行
い、周波数帯域毎のパワーを出力する。
【００６０】直流成分抽出手段２４は周波数分析手段２
３の出力信号から、直流成分のみを抽出してそのパワー
を出力する。最大値抽出手段２５は周波数分析手段２３
の出力信号のうち最も大きな値を示す帯域のパワーを出
力する。除算手段２６は直流成分抽出手段２４の出力を
最大値抽出手段２５の出力で除算する、即ち周波数分析
手段２３で求まった信号のうち、直流成分のパワーを最
大値を示す帯域のパワーで除算して出力する。
【００６１】立ち上がり成分の自己相関関数は、楽曲中
で発音されている楽音の周期性を表し、楽音が周期的に
発音されていれば、その周期において自己相関関数の当
該周期部分の値が大きくなる。立ち上がり成分の自己相
関関数を周波数分析すると、周期的に発音されていな楽
音のパワーは直流成分に現れ、逆にその楽曲のリズムを
形成するような主要楽音の周期成分が最大値として現れ
る。そこでそれらを除算することにより、分析対象とな
っている楽曲部分において、楽音が周期的に発音されて
いるか否かを表す特徴量を抽出することができる。
【００６２】例えば、ポピュラー音楽においては、一定
のリズムパターンが繰り返し演奏される部分は一定の周
期で楽音が発音されているため、発音非周期性が小さく
なる。逆にリズムが急激に変化するいわゆるフィルイン
部では楽音が周期的に発音される頻度が低下するため、
発音非周期性が大きくなる。
【００６３】（ｃ）；平均発音数 平均発音数は、当該楽曲を構成する楽音の単位時間あた
りの発音頻度を表す特徴量である。図３は、平均発音数
を算出する平均発音数算出手段の構成図である。この平
均発音数算出手段３０は、入力された音響信号から平均
発音数を算出して出力するもので、立ち上がり成分検出
手段３１、２値化手段３２、積算手段３３、平均値算出
手段３４を含んで構成される。
【００６４】立ち上がり検出手段３１は、入力された音
響信号から、楽曲中で発音されている楽曲の立ち上がり
成分を検出する。検出方法は図２の立ち上がり成分２１
と同様であり、帯域毎に立ち上がり成分を出力する。２
値化手段３２は、入力信号の振幅の絶対値を調べ、振幅
が閾値以下の場合、例えば０の場合は０を出力し、それ
以外の値の場合（閾値を超える場合）は１を出力するこ
とにより、入力信号の２値化を行う。積算手段３３は、
入力された信号をフレーム時刻毎に周波数方向にその値
を積算して出力する。平均値算出手段３４は、入力され
た積算値の時間平均を算出して出力する。
【００６５】このように立ち上がり成分を２値化処理す
ることにより、フレーム時刻毎の各帯域での音の立ち上
がりの有無を検出することができる。このため、その音
の立ち上がりの有無をフレーム時刻毎に集計して平均処
理をすることにより、分析対象区間における楽音の発音
頻度の指標とすることができる。
【００６６】図１において、評価関数算出手段１３で算
出する評価関数は、音響変節点らしさの度合いを示すよ
うに設定される。例えば、特徴量抽出手段１２におい
て、ｉ番目の処理ブロックにおける２乗平均平方をＲＭ
Ｓi とし、発音非周期性をＮＺ i とし、平均発音数をＡ
Ｒi とすると、評価関数ＣＰi は次の（２）式によって
定義できる。
【数２】
【００６７】２乗平均平方ＲＭＳは楽音の大きさを、発
音非周期性ＮＺは楽音の発音リズムの変化度合いを、平
均発音数ＡＲは楽音の発音頻度、即ち「賑々しさ」を表
現している。このため、それらを乗算した（２）式の評
価関数は、当該処理ブロックが「音が大きく、リズムの
変化が大きく、賑やかな」ほど音響変節点らしいという
意味合いを持つことになる。例えばポピュラー音楽の場
合は、楽曲がイントロ→Ａメロ→サビ→Ｂメロ→エンデ
ィングというように、幾つかの楽節から構成されること
が一般的である。各楽節の間には楽節の変化を明確に表
現するために、フィルインと呼ばれる前後とはリズムパ
ターンの異なる短時間の演奏パターンが挿入されること
が多い。また楽節間ではリズムパターンが大きく変化す
るなどのリズムの変化を伴うことが多い。またこの部分
は楽曲の中の大きなアクセントとして演奏されることが
多いので、楽曲を構成する演奏音（楽器音）の増加、音
量の増加が見られることが多いことが音楽的経験則より
導かれる。そこでこのような楽節間の変化を検出するた
めに、（２）式が定義された。
【００６８】尚、評価関数算出手段１３で算出する評価
関数は、（２）式のように３つの変数を乗算した乗算値
を用いたが、何れか２つの乗算値、又は何れか１つの変
数のみでもよい。
【００６９】図４は、ある楽曲における特徴量（２乗平
均平方、発音非周期性、平均発音数）及び評価関数の算
出例である。図４において、変節点１、２，３はそれぞ
れ楽曲のサビの部分の開始点の時刻を表している。図中
のＣＰ１、ＣＰ２、ＣＰ３は、評価関数ＣＰが極大値を
示している部分である。この図より、変節点において評
価関数が極大値を示していることが分かる。
【００７０】図１のピーク検出手段１４は、音響変節点
の候補として、評価関数からそのピーク（極大値）示す
部分を検出する。図４の評価関数ＣＰの場合では、ＣＰ
１、ＣＰ２，ＣＰ３を含むピークを示す部分の時刻及び
その大きさを出力する。そして選択手段１５は、ピーク
検出手段１４で検出されたピークから、予め定めた手順
に従って音響変節点と思われる部分を選択する。この場
合の音響変節点の情報として、前述したように種別情
報、時刻情報、尤度情報等のうち、後の処理に必要な情
報が選択される。選択の手順としては、例えば、値の大
きいピークから順に音響変節点として尤度の高いものを
出力する方法がある。図４の例では、ＣＰ１、ＣＰ２、
ＣＰ３の順に音響変節点としてその時刻情報を出力し、
また夫々の属性情報としてそのピーク値を音響変節点尤
度として付加する。
【００７１】また、選択手段１５において、評価関数の
ピークを選択する際に閾値を定めておき、閾値以下の大
きさのピークは音響変節点の候補から除外することによ
り、音響変節点の検出誤りを抑えることができる。ま
た、音響変節点は、Ａメロとサビとの間など「一定の時
間長をもつ楽節の境界を示す」という音楽的経験則か
ら、時間的制約条件に基づいて設定される場合がある。
【００７２】図５は評価関数から抽出したピークを模式
的に示した説明図である。図５において、Ｐ１〜Ｐ５は
評価関数からピーク検出手段１４により抽出された音響
変節点の候補を示している。音響変節点の最小時間間隔
ＣＰmin を予め定めておくと、ＣＰmin より時間間隔が
短いピーク間隔は音楽的経験則から妥当でないと考えら
れ、即ち、ピークのどちらかが音響変節点として適切で
ないと考えられる。このため、ピークの大きさが小さい
方が誤検出である可能性が高くなる。そこで、図５の例
では、ピークＰ３とＰ５の間隔がＣＰmin より小さいの
で、ピークＰ５を音響変節点候補から除外する。このよ
うな処理により、音響変節点の検出誤りを抑えることが
できる。
【００７３】（実施の形態２）次に本発明の音響変節点
抽出技術の実施の形態２として、音響再生装置について
説明する。図６は本発明の実施の形態２における音響再
生装置６０の構成図である。この音響再生装置６０は、
音響信号格納手段６１、音響変節点抽出手段６２、楽曲
属性記憶手段６３、音響再生手段６４、再生制御手段６
５を含んで構成される。
【００７４】音響再生装置６０は、以下の手順で音響信
号格納手段６１に記録されている音響信号を再生する。
先ず音響変節点抽出手段６２は、音響信号格納手段６１
に格納されている音響信号から各楽曲の音響変節点を抽
出し、抽出した音響変節点情報を楽曲属性記憶手段６３
の当該レコードに格納する。次に、利用者から再生指示
があった場合は、再生制御手段６５は楽曲属性記憶手段
６３を参照しながら楽曲の再生開始位置を音響再生手段
６４に指定する。そして楽曲再生手段６４は音響信号格
納手段６１の当該楽曲を指定された部分から再生する。
【００７５】ここで音響再生装置６０の各部の構成及び
動作の詳細を更に説明する。音響信号格納手段６１は、
再生可能な形態で音響信号を記録している装置であり、
例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディ
ア、及びそのメディアに記録されている音響信号への参
照手段を含んでいる。
【００７６】音響変節点抽出手段６２は、音響信号格納
手段６１に記録されている音響信号を入力とし、記録さ
れている楽曲の音響変節点を抽出する。この音響変節点
抽出手段６２は実施の形態１で説明した音響変節点抽出
装置と同一の構成を有し、各楽曲の音響変節点を示す時
刻情報及びその属性情報を出力する点で、その動作も同
一である。
【００７７】楽曲属性記憶手段６３は、音響変節点抽出
手段６２によって抽出された音響変節点に関する情報
や、楽曲に伴って提供される演奏時間長などの楽曲属性
情報などを記録する。図７に楽曲属性記憶手段に格納さ
れる楽曲１曲分の属性情報の例を示す。この楽曲属性情
報は、例として音響信号格納手段６１がＣＤに記録され
ている音響信号を対象にしている。図７において、曲番
号は当該楽曲を一意に同定可能な符号及び番号である。
曲時間長は当該楽曲の演奏時間長である。音響変節点数
は当該楽曲に含まれる音響変節点の数である。変節点時
刻１及び２は、１及び２番目の音響変節点を示す時刻で
ある。変節点尤度１及び２は、１及び２番目の音響変節
点の尤度である。図７のような楽曲属性情報は、音響信
号格納手段６１に記録されている楽曲毎に保持され、再
生制御手段６５から随時参照可能なように格納されてい
る。
【００７８】再生制御手段６５は、利用者からの指示に
より音響格納手段６１に格納されている任意の楽曲に対
して、利用者の選択した再生形態となるように音響再生
手段６４を制御する。音響再生手段６４は、再生制御手
段６５の制御に従って音響信号格納手段６１に格納され
ている任意の楽曲を再生し、利用者が聴取可能な音響信
号として出力する。
【００７９】楽曲の再生形態としては、楽曲の先頭から
の再生、先頭から任意の時刻まで早送りしてからの再
生、再生開始時刻を指定しての再生など、通常のＣＤで
可能な再生形態に加えて、音響変節点からの再生が選択
可能となる。
【００８０】利用者の再生指示方法及びその場合の動作
を図６〜図８を使って説明する。図８は音響再生装置６
０の再生操作部８０を表している。この再生操作部８０
には、再生ボタン８１、停止ボタン８２、一時停止ボタ
ン８３、早送りボタン８４、巻き戻しボタン８５、スキ
ップボタン８６、頭だしボタン８７、変節点スキップボ
タン８８、変節点頭だしボタン８９、楽曲指定ボタン８
１０が設けられている。ＣＤの最初から順に楽曲を再生
する場合は、利用者が再生ボタン８１を押すと、図６の
再生制御手段６５は楽曲属性記憶手段６３に記録されて
いる当該ＣＤの属性情報にアクセスし、曲番号に対応し
た楽曲の順番に従って音響信号格納手段６１に格納され
ている楽曲の音響信号にアクセスする。音響再生手段６
４はこのようなアクセス制御によって夫々の楽曲を再生
する。
【００８１】変節点スキップボタン８８が押されると、
再生制御手段６５は楽曲属性記憶手段６３に記録され、
再生対象となっている楽曲の属性情報を参照し、再生を
開始する変節点時刻情報を取得する。そして再生制御手
段６５は、その時刻を再生開始時刻として音響再生手段
６４に指示することにより、変節点からの再生を開始す
る。再生中に再び変節点スキップボタン８８が押される
と、同様の手順で再生制御手段６５は次の変節点時刻を
取得し、その時刻から再生を開始するように音響再生手
段６４を制御する。
【００８２】利用者が音響変節点からの再生を選択する
と、楽曲の音楽的な区切り、即ちサビの開始部分やＡメ
ロの開始部分などから再生を開始することができ、当該
楽曲の音楽的特徴を示す部分から即座に再生開始が可能
となる。また、音響変節点からの再生を選択した場合
は、変節点の選択方法として、変節点尤度の高い（図７
においては番号が小さい）時刻から優先的に再生する方
法や、変節点時刻の早い順に優先的に再生する方法など
がある。いずれにしても利用者の選択やシステムの設定
により再生時の変節点の選択方法を予め定めるものとす
る。
【００８３】なお、以上の実施の形態２では、例として
音響信号格納手段６１はＣＤに格納されている信号を参
照するものとして説明したが、ＤＶＤ、ＨＤＤ、不揮発
メモリ等他の媒体に記録されている信号でも同様に適用
できる。
【００８４】（実施の形態３）次に本発明の音響変節点
抽出技術の実施の形態３として、音響再生システムにつ
いて説明する。図９は実施の形態３における音響再生シ
ステム９００の構成を表すブロック図である。この音響
再生システム９００は、情報提供装置９０１、通信網９
１、音響再生装置９０２、情報提供装置９０３を含んで
構成される。情報提供装置９０１又は９０３は、音響再
生装置９０２に楽曲属性情報を提供することを主目的と
した装置であり、第１の音響信号格納手段９２、音響変
節点抽出手段９３、楽曲属性記憶手段９４を有してい
る。音響再生装置９０２は、ＣＤ等に記録された音響信
号を利用者による操作により再生するための装置であ
り、第２の音響信号格納手段９５、属性取得手段９６、
音響再生手段９７、再生制御手段９８を有している。
【００８５】音響再生装置９０２は、インターネット等
に代表される通信網９１を経由して情報提供装置９０１
又は情報提供装置９０３に接続される。音響再生装置９
０２は、音響信号格納手段９５に格納された音響信号を
再生する際、必要に応じて情報提供装置９０１から情報
を取得することにより、音響変節点を利用した再生がで
きる。
【００８６】次に音響再生システム９００の各部構成及
び動作の詳細について更に説明する。情報提供装置９０
１の音響信号格納手段９２は、再生可能な形態で音響信
号を記録するものであり、例えばＣＤ、ＤＶＤ、ＨＤ
Ｄ、不揮発メモリ等のメディア、及びそのメディアに記
録されている音響信号への参照手段を含んでいる。
【００８７】音響変節点抽出手段９３は、音響信号格納
手段９２に記録されている音響信号を入力とし、記録さ
れている楽曲の音響変節点を抽出する。音響変節点抽出
手段９３は実施の形態１で説明した音響変節点抽出装置
とその構成と動作が同一であり、各楽曲の音響変節点を
示す時刻情報及びその属性情報を出力する。
【００８８】楽曲属性記憶手段９４は、音響変節点抽出
手段９３によって抽出された音響変節点に関する情報
や、楽曲に伴って提供される演奏時間長などの楽曲属性
情報を記録する。楽曲属性情報は実施の形態２で説明し
た内容と同様である。
【００８９】音響再生装置９０２において、音響信号格
納手段９５は再生可能な形態で音響信号を記録している
メモリであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メ
モリ等のメディア、及びそのメディアに記録されている
音響信号への参照手段を含んでいる。音響信号格納手段
９５に格納されている楽曲には、図７に記載されている
ように、各楽曲を一意に表すことが可能な曲番号が予め
付与されており、属性取得手段９６から参照が可能とな
っている。
【００９０】属性取得手段９６は、音響信号格納手段９
５に格納されている楽曲の一部又は全部の楽曲属性情報
を、情報提供装置９０１の楽曲属性記憶手段９４を参照
して取得する。楽曲属性記憶手段９４から、音響信号格
納手段９５に記録された楽曲の属性情報を取得する際
に、前述の各楽曲に付与された曲番号をキーとして参照
することにより、その曲番号に該当する楽曲属性情報を
取得することができる。
【００９１】再生制御手段９８は、利用者からの指示に
より音響格納手段９５に格納されている任意の楽曲に対
して、利用者の選択した再生形態となるように音響再生
手段９７を制御する。音響再生手段９７は、再生制御手
段９８の制御に従って音響信号格納手段９５に格納され
ている任意の楽曲を再生し、利用者が聴取可能な音響信
号として出力する。再生形態は実施の形態２で説明した
音響再生装置６０と同様であり、再生制御に際して楽曲
属性情報が必要な場合には、属性取得手段９６により取
得した各楽曲の楽曲属性情報を利用する。
【００９２】また、音響再生装置９０２は、情報提供装
置９０１以外の情報提供装置９０３を参照することがで
きる。情報提供装置９０３は、情報提供装置９０１と同
様に、楽曲の属性情報を提供する装置である。
【００９３】属性取得手段９６は、先ず音響信号格納手
段９５に格納された楽曲の属性情報を取得するために情
報提供装置９０１を参照するが、もし当該楽曲の属性情
報が情報提供装置９０１から取得できなかった場合は、
他の情報提供装置９０３を参照して当該楽曲の属性情報
の取得を試みる。このように属性情報を複数の情報提供
装置から取得可能なように構成することにより、属性情
報取得の確度を向上することができる。
【００９４】尚、複数の情報提供装置への参照先の指定
方法は、予め属性取得手段９６において優先度を設定し
ておき、その優先度の順番で参照する方法や、利用者が
随意に参照先を選択できるようにする方法などがある。
【００９５】尚、情報提供装置９０１は、音響変節点抽
出手段９３で音響信号から音響変節点を抽出している
が、他の情報提供装置９０３は必ずしも音響変節点抽出
手段を具備する必要はなく、音響変節点抽出手段の部分
を他の手段、例えば手作業による変節点の抽出で代行し
てもよい。
【００９６】（実施の形態４）次に本発明の音響変節点
抽出技術の実施の形態４として、音響配信システムにつ
いて説明する。図１０は本発明の実施の形態４における
音響配信システム１０００の構成図である。この音響配
信システム１０００は、実施の形態３で説明した音響再
生システム９００に対して、楽曲取得手段９９を付加し
た構成となっている。このため、ここでは実施の形態３
との相違点についてのみ説明する。
【００９７】図１０の情報提供装置９０１は、楽曲属性
情報に加えて、第１の音響格納手段９２に格納された楽
曲の音響信号データを音響再生装置９０２に対して提供
することができる。そして音響再生装置９０２は、第２
の音響信号格納手段９５に格納された音響信号に加え
て、情報提供装置９０３から提供された楽曲の音響信号
を楽曲取得手段９９を介して再生することができる。音
響信号格納手段９５に記録された音響信号の再生方法は
実施の形態３と同様である。以下、情報提供装置９０３
より提供された楽曲の音響信号を再生する方法について
説明する。
【００９８】情報提供装置９０３は、音響信号格納手段
９２に格納されている楽曲の一部又は全部のリストを予
め音響再生装置９０２に提供しておく。利用者により前
記のリストに記載の楽曲が再生楽曲として選択される
と、属性取得手段９６は当該楽曲の属性情報を楽曲属性
記憶手段９４より通信網９１を介して取得すると共に、
楽曲取得手段９９は当該楽曲の音響信号を音響信号格納
手段９２より取得し格納する。利用者から再生指示が与
えられると、再生制御手段９８は指示された再生方法に
則り、楽曲を再生するように音響再生手段９７を制御す
る。この際、音響再生手段９７は楽曲取得手段９９に格
納された当該楽曲の音響信号データを再生する。
【００９９】（実施の形態５）次に本発明の音響変節点
抽出技術の実施の形態５として、音響信号編集装置につ
いて説明する。図１１は本発明の実施の形態５における
音響信号編集装置１１００の構成図である。この音響信
号編集装置１１００は、音響信号格納手段１１０１、音
響変節点抽出手段１１０２、区間区間算出手段１１０
３、音響信号編集手段１１０４を含んで構成される。
【０１００】この音響信号編集装置１１００は、特定の
目的、例えばＥＭＤ（電子音楽配信）システムのための
試聴用の音響信号を作成する場合のように、楽曲の音響
信号から適切な時間長の音響信号部分を切り出すための
編集装置である。以下、各部の構成及び動作の詳細を説
明する。
【０１０１】音響信号格納手段１１０１は、再生可能な
形態で音響信号を記録するものであり、例えばＣＤ、Ｄ
ＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメ
ディアに記録されている音響信号への参照手段を含んで
いる。
【０１０２】音響変節点抽出手段１１０２は、音響信号
格納手段１１０１に記録されている音響信号を入力と
し、記録されている楽曲の音響変節点を抽出する。音響
変節点抽出手段１１０２は実施の形態１で説明した音響
変節点抽出装置と構成及び動作が同一であり、各楽曲の
音響変節点を示す時刻情報及びその属性情報を出力す
る。
【０１０３】区間算出手段１１０３は、音響変節点抽出
手段１１０２により抽出された音響変節点に関する情報
に基づき、音響信号の切り出しに適した信号区間の開始
点及び終了点時刻を算出して出力する。
【０１０４】切り出し区間の開始点及び終了点時刻の設
定方法は、例えば次のような方法がある。音響変節点抽
出手段１１０２により抽出された音響変節点を時刻順に
整列し、各変節点の間の区間を切り出し区間とする。即
ちこの場合の開始点は各変節点、終了点は開始点の次の
変節点となる。音響変節点抽出手段１１０２により抽出
された各音響変節点を切り出し区間の開始点とし、開始
点から一定の時刻後（例えば３０秒など）を終了点とす
ることもできる。
【０１０５】音響信号編集手段１１０４は、音響信号格
納手段１１０１に格納されている当該楽曲の音響信号に
対して、区間算出手段１１０３により算出された区間情
報に基づき、マーキングしたり又は音響信号の切り出し
を行う。
【０１０６】マーキングは音響信号上に切り出し区間を
明示的に示す印を付与するものであり、当該編集装置の
利用者（音響信号の編集者）に対して対話的な信号編集
方法を提供するものである。ここでの音響信号の切り出
しは、当該時間区間の音響信号部分のみを抽出するもの
とする。
【０１０７】音響変節点抽出手段１１０２は、実施の形
態１で説明したように、楽曲の音響的な変化点、即ち楽
曲の楽節境界と思われる時刻を抽出するため、その変節
点を開始点として信号を切り出す。このような構成によ
り、音響信号の編集者は楽曲の音楽的な特徴に則った信
号の切り出し、例えばサビの部分の切り出しなどを容易
に行うことができる。
【０１０８】尚、区間算出手段１１０３により複数の区
間が算出された場合、そのどの部分を切り出すかの選択
は、例えば次のような方法がある。即ち音響信号編集手
段１１０４で全ての切り出し区間をマーキングして編集
者に提示し、編集者の随意により切り出し区間を選択す
る方法と、音響変節点を抽出する際に求めた属性情報の
うち、音響変節点尤度を参照し、音響変節点尤度の尤も
高い変節点が開始点である区間を切り出し区間として選
択する方法とがある。
【０１０９】尚、実施の形態１で説明した音響変節点抽
出処理を、コンピュータに機能させるためのプログラム
として記録媒体に記憶させることができる。この場合の
プログラムを音響変節点抽出方法プログラムと呼び、こ
のプログラムを記録した記録媒体を音響変節点抽出方法
プログラム記録媒体と呼ぶ。
【０１１０】また実施の形態２で説明した音響再生処理
を、コンピュータに機能させるためのプログラムとして
記録媒体に記憶させることができる。この場合のプログ
ラムを音響再生方法プログラムと呼び、このプログラム
を記録した記録媒体を音響再生方法プログラム記録媒体
と呼ぶ。
【０１１１】また実施の形態５で説明した音響信号編集
処理を、コンピュータに機能させるためのプログラムと
して記録媒体に記憶させることができる。この場合のプ
ログラムを音響信号編集方法プログラムと呼び、このプ
ログラムを記録した記録媒体を音響信号編集方法プログ
ラム記録媒体と呼ぶ。
【０１１２】
【発明の効果】以上のように、本発明の音響変節点抽出
装置によれば、楽曲の音響信号からその音響的特徴量を
抽出し、その特徴量の変化に着目することにより、楽曲
の音響的な境界を表す音響変節点を自動的に抽出でき
る。このため、音響変節点を抽出するために事前に楽曲
を聴取する必要がなく、利用者に負担をかけることなく
音響変節点を抽出することができる。
【０１１３】本発明の音響再生装置によれば、楽曲の音
響信号からその音響変節点を自動的に抽出し、楽曲の再
生時にその音響変節点情報を参照して再生を制御するこ
とができる。このため、いわゆる楽曲の音楽的な特徴を
表す楽節の境界部分などから、即座に音響信号を再生す
ることが可能になり、利用者に対して操作上の負担をか
けることなく楽曲の特徴的な部分を再生提示することが
できる。
【０１１４】本発明の音響再生システムによれば、通信
網を介して接続された情報提供装置から、音響変節点を
含む楽曲の属性情報を取得し、その属性情報を参照して
再生を制御することにより、音響再生装置において音響
変節点抽出に関する信号処理を行うことなく、音響変節
点を活用した再生を行うことができる。また、複数の情
報提供装置を参照し、再生対象の楽曲の属性情報を取得
することにより、再生対象の楽曲の音響変節点を含む属
性情報をより確実に取得することができる。
【０１１５】本発明の音響配信システムによれば、通信
網を介して接続された情報提供装置から、楽曲の音響信
号とその音響変節点を含む属性情報を取得することによ
り、音響再生装置本体に格納されていない楽曲の音響信
号を再生することができ、且つその楽曲に対して音響変
節点を活用した再生を行うことができる。
【０１１６】本発明の音響編集装置によれば、楽曲の音
響信号から音響変節点を算出し、その音響変節点に基づ
いて楽曲の特徴的な部分を編集するための区間情報を自
動的に算出することができる。このため、編集者は音響
変節点を抽出するために事前に楽曲を聴取する必要がな
く、したがって編集者に負担をかけることなく楽曲の特
徴的な部分の切り出し等の編集作業を行うことができ
る。
【図面の簡単な説明】
【図１】本発明の実施の形態１における音響変節点抽出
装置の構成図である。
【図２】実施の形態１の音響変節点抽出装置に用いられ
る発音非周期性算出手段の構成図である。
【図３】実施の形態１の音響変節点抽出装置に用いられ
る平均発音数算出手段の構成図である。
【図４】実施の形態１による音響変節点抽出装置の特徴
量抽出手段において、評価関数及び特徴量の測定例を示
す特性図である。
【図５】評価関数から抽出したピークを模式的に表す説
明図である。
【図６】本発明の実施の形態２における音響再生装置の
構成図である。
【図７】実施の形態２における音響再生装置において、
楽曲１曲分の属性情報の例を表す説明図である。
【図８】実施の形態２における音響再生装置において、
再生操作部の概念図である。
【図９】本発明の実施の形態３における音響再生システ
ムの構成図である。
【図１０】本発明の実施の形態４における音響再生シス
テムの構成図である。
【図１１】本発明の実施の形態５における音響信号編集
装置の構成図である。
【符号の説明】
１０ 音響変節点抽出装置 １１ 音響信号入力手段 １２ 特徴量抽出手段 １３ 評価関数算出手段 １４ ピーク検出手段 １５ 選択手段 ２０ 発音非周期性算出手段 ２１，３１ 立ち上がり成分検出手段 ２２ 自己相関算出手段 ２３ 周波数分析手段 ２４ 直流成分抽出手段 ２５ 最大値抽出手段 ２６ 除算手段 ３０ 平均発音数算出手段 ３２ ２値化手段 ３３ 積算手段 ３４ 平均値算出手段 ６０ 音響再生装置 ６１，９２，９５，１１０１ 音響信号格納手段 ６２，９３，１１０２ 音響変節点抽出手段 ６３，９４ 楽曲属性記憶手段 ６４，９７ 音響再生手段 ６５，９８ 再生制御手段 ８０ 再生操作部 ８１ 再生ボタン ８２ 停止ボタン ８３ 一時停止ボタン ８４ 早送りボタン ８５ 巻き戻しボタン ８６ スキップボタン ８７ 頭だしボタン ８８ 変節点スキップボタン ８９ 変節点頭だしボタン ８１０ 楽曲指定ボタン ９００，１０００ 音響再生システム ９０１，９０３ 情報提供装置 ９１ 通信網 ９６ 属性取得手段 ９９ 楽曲取得手段 １１００ 音響信号編集装置 １１０３ 区間算出手段 １１０４ 音響信号編集手段
───────────────────────────────────────────────────── フロントページの続き (54)【発明の名称】 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響再生システム、音響配信シ ステム、情報提供装置、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生 方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラ ム、音響再生方法プログラム、音響信号編集方法プログラム

Claims (42)

    【特許請求の範囲】
  1. 【請求項１】 楽曲の音響信号を入力する音響信号入力
    手段と、 前記音響信号入力手段より与えられた音響信号から、予
    め定めた音響的特徴量を抽出する特徴量抽出手段と、 前記特徴量抽出手段によって抽出された音響的特徴量か
    ら、音響変節点の尤度を示す評価関数を算出する評価関
    数算出手段と、 前記評価関数算出手段によって算出された評価関数の値
    が極大値を示すピーク時刻及びピーク値を検出するピー
    ク検出手段と、 前記ピーク検出手段によって検出されたピーク時刻及び
    ピーク値から、所定値以上の尤度値を持つ音響変節点を
    選択する選択手段と、を具備することを特徴とする音響
    変節点抽出装置。
  2. 【請求項２】 前記特徴量算出手段は、 音響信号の２乗平均平方を算出する２乗平均平方算出手
    段、 音響信号の発音非周期性を算出する発音非周期性算出手
    段、 音響信号の平均発音数を算出する平均発音数算出手段、
    の何れかを具備することを特徴とする請求項１記載の音
    響変節点抽出装置。
  3. 【請求項３】 前記評価関数算出手段は、 音響信号の２乗平均平方、発音非周期性、平均発音数の
    内、少なくとも２つの値を乗算した値を評価関数として
    出力するものであることを特徴とする請求項１記載の音
    響変節点抽出装置。
  4. 【請求項４】 前記発音非周期性算出手段は、 音響信号の立ち上がり成分を検出する立ち上がり成分検
    出手段と、 前記立ち上がり成分検出手段で得られた立ち上がり成分
    の自己相関関数を算出する自己相関算出手段と、 前記自己相関算出手段で算出された自己相関関数の周波
    数分析を行う周波数分析手段と、 前記周波数分析手段の出力から直流成分を抽出する直流
    成分抽出手段と、 前記周波数分析手段の出力から最大値をもつ周波数成分
    を抽出する最大値抽出手段と、 前記直流成分抽出手段の出力を前記最大値抽出手段の出
    力で除算する除算手段と、を具備することを特徴とする
    請求項２記載の音響変節点抽出装置。
  5. 【請求項５】 前記平均発音数算出手段は、 音響信号の各周波数帯域における立ち上がり成分を検出
    する立ち上がり成分検出手段と、 前記立ち上がり成分検出手段で検出された立ち上がり成
    分の出力が閾値以下の場合は０を出力し、前記閾値を超
    える場合は１を出力する２値化手段と、 前記２値化手段の出力を周波数方向に積算する積算手段
    と、 前記積算手段の出力の時間平均を算出する平均値算出手
    段と、を具備することを特徴とする請求項３記載の音響
    変節点抽出装置。
  6. 【請求項６】 前記選択手段は、 前記ピーク検出手段で検出されたピーク値を、その値が
    大きい順に所定個数分選択し、選択されたピーク値の時
    刻を前記音響変節点の時刻情報として出力することを特
    徴とする請求項１記載の音響変節点抽出装置。
  7. 【請求項７】 前記選択手段は、 前記ピーク検出手段で検出されたピーク値を、その値が
    大きい順に所定個数分選択し、選択されたピーク値の時
    刻を前記音響変節点の時刻情報として出力すると共に、
    前記音響変節点のピーク値を音響変節点の尤度情報とし
    て出力することを特徴とする請求項１記載の音響変節点
    抽出装置。
  8. 【請求項８】 前記選択手段は、 音響変節点の時間間隔が予め定めた時間間隔以上となる
    ように、前記ピーク検出手段により検出されたピーク値
    から音響変節点を選択することを特徴とする請求項１記
    載の音響変節点抽出装置。
  9. 【請求項９】 楽曲の音響信号を格納する音響信号格納
    手段と、 前記音響信号格納手段に格納された音響信号から、音響
    的な境界を示す音響変節点を抽出する音響変節点抽出手
    段と、 前記音響変節点抽出手段によって抽出された音響変節点
    を含む楽曲の属性情報を記憶する楽曲属性記憶手段と、 前記音響信号格納手段に格納された音響信号を、任意の
    位置から再生する音響再生手段と、 前記楽曲記憶手段に記録された楽曲の属性情報を参照し
    て、前記音響再生手段の再生を制御する再生制御手段
    と、を具備することを特徴とする音響再生装置。
  10. 【請求項１０】 前記再生制御手段は、 利用者が音響変節点からの再生を指示するための操作手
    段を有し、 前記操作手段の指示により任意の音響変節点からの再生
    を行うことを特徴とする請求項９記載の音響再生装置。
  11. 【請求項１１】 前記音響変節点抽出手段は、各音響変
    節点の時刻情報と尤度情報とを出力し、 前記再生制御手段は、前記尤度情報に基づいて音響変節
    点からの再生を制御することを特徴とする請求項９記載
    の音響再生装置。
  12. 【請求項１２】 前記再生制御手段は、楽曲の音響信号
    を音響変節点の時刻順に再生するように前記音響再生手
    段を制御することを特徴とする請求項９記載の音響再生
    装置。
  13. 【請求項１３】 楽曲に関する属性情報を提供する情報
    提供装置と、 音響信号を再生する音響再生装置と、 前記情報提供装置と前記音響再生装置とを含む装置間の
    情報を相互に伝達する通信網と、を有する音響再生シス
    テムであって、 前記情報提供装置は、 楽曲の音響信号を格納する第１の音響信号格納手段と、 前記第１の音響信号格納手段に格納された音響信号から
    音響的な境界を示す音響変節点を抽出する音響変節点抽
    出手段と、 前記音響変節点抽出手段によって抽出された音響変節点
    を含む楽曲の属性情報を記憶する楽曲属性記憶手段と、
    を具備し、 前記音響再生装置は、 楽曲の音響信号を格納する第２の音響信号格納手段と、 楽曲の属性情報を前記通信網を介して前記情報提供装置
    から取得する属性取得手段と、 前記第２の音響信号格納手段に格納された音響信号を再
    生する音響再生手段と、 前記属性取得手段により取得された楽曲の属性を参照し
    て前記音響再生手段の再生を制御する再生制御手段と、
    を具備することを特徴とする音響再生システム。
  14. 【請求項１４】 前記属性取得手段は、 前記第２の音響信号格納手段に格納された楽曲に応じ
    て、複数の前記情報提供装置から楽曲の属性情報を取得
    することを特徴とする請求項１３記載の音響再生システ
    ム。
  15. 【請求項１５】 楽曲の音響信号及び楽曲に関する属性
    情報を提供する情報提供装置と、 音響信号を再生する音響再生装置と、 前記情報提供装置と前記音響再生装置とを含む装置間の
    情報を相互に伝達する通信網と、を有する音響配信シス
    テムであって、 前記情報提供装置は、 楽曲の音響信号を格納し、前記通信網を介して前記音響
    再生装置に対して音響信号を提供する第１の音響信号格
    納手段と、 前記第１の音響信号格納手段の音響信号から音響的な境
    界である音響変節点を抽出する音響変節点抽出手段と、 前記音響変節点抽出手段によって抽出された音響変節点
    を含む楽曲の属性情報を記憶する楽曲属性記憶手段と、
    を具備し、 前記音響再生装置は、 楽曲の音響信号を格納する第２の音響信号格納手段と、 楽曲の属性情報を前記通信網を介して前記情報提供装置
    から取得する属性取得手段と、 楽曲の音響信号を前記通信網を介して前記情報提供装置
    から取得して格納する楽曲取得手段と、 前記第２の音響信号格納手段又は前記楽曲取得手段に格
    納された音響信号を再生する音響再生手段と、 前記属性取得手段により取得された楽曲の属性を参照し
    て、前記音響再生手段の再生を制御する再生制御手段
    と、を具備することを特徴とする音響配信システム。
  16. 【請求項１６】 前記音響再生装置は、 前記複数の情報提供装置の何れかから楽曲の音響信号及
    び属性情報のリストを取得し、 前記楽曲取得手段は、取得した前記リストの中から利用
    者の指示に従って楽曲の音響信号を前記複数の情報提供
    装置の何れかから取得し、 前記属性取得手段は、前記第２の音響信号格納手段に格
    納された楽曲、又は前記楽曲取得手段により取得された
    楽曲に基づいて、前記複数の情報提供装置の何れかから
    楽曲の属性情報を取得することを特徴とする請求項１５
    記載の音響配信システム。
  17. 【請求項１７】 楽曲の音響信号を格納する音響信号格
    納手段と、 前記音響信号格納手段の音響信号から音響的な境界であ
    る音響変節点を抽出する音響変節点抽出手段と、 前記音響変節点抽出手段によって抽出された音響変節点
    を含む楽曲の属性情報を記憶する楽曲属性記憶手段と、
    を具備し、 利用者からの提供依頼に応じて楽曲の属性情報を提供す
    ることを特徴とする情報提供装置。
  18. 【請求項１８】 楽曲の音響信号を格納する音響信号格
    納手段と、 前記音響信号格納手段の音響信号から音響的な境界であ
    る音響変節点を抽出する音響変節点抽出手段と、 前記音響変節点抽出手段によって抽出された音響変節点
    に基づいて、楽曲の編集を行うための信号区間を算出す
    る区間算出手段と、 前記区間算出手段によって算出された信号区間に基づい
    て、前記音響信号格納手段に格納されている当該楽曲の
    音響信号を編集する音響信号編集手段と、を具備するこ
    とを特徴とする音響信号編集装置。
  19. 【請求項１９】 前記区間算出手段は、 前記音響変節点抽出手段で抽出された楽曲の音響変節点
    を時刻順に参照し、各音響変節点間を信号区間として出
    力することを特徴とする請求項１８記載の音響信号編集
    装置。
  20. 【請求項２０】 前記区間算出手段は、 前記音響変節点抽出手段で抽出された当該楽曲の音響変
    節点を区間の開始時刻とし、区間の開始時刻から予め定
    めた一定の時間後を終了時刻として信号区間を算出する
    ことを特徴とする請求項１８記載の音響信号編集装置。
  21. 【請求項２１】 前記音響変節点抽出手段は、音響変節
    点の時刻情報を出力すると共に、前記音響変節点の尤度
    情報を算出して出力し、 前記区間算出手段は、算出された音響変節点の尤度情報
    に基づいて信号区間を算出することを特徴とする請求項
    １８〜２０の何れか１項記載の音響信号編集装置。
  22. 【請求項２２】 楽曲の音響信号を入力する音響信号入
    力ステップと、 前記音響信号入力ステップで与えられた音響信号から、
    予め定めた音響的特徴量を抽出する特徴量抽出ステップ
    と、 前記特徴量抽出ステップによって抽出された音響的特徴
    量から、音響変節点の尤度を示す評価関数を算出する評
    価関数算出ステップと、 前記評価関数算出ステップで算出された評価関数が極大
    値を示すピーク時刻及びピーク値を検出するピーク検出
    ステップと、 ピーク検出ステップによって検出されたピーク時刻及び
    ピーク値から、所定値以上の尤度値を持つ音響変節点を
    選択する選択ステップと、を具備することを特徴とする
    音響変節点抽出方法。
  23. 【請求項２３】 前記特徴量算出ステップは、 音響信号の２乗平均平方を算出する２乗平均平方算出ス
    テップ、 音響信号の発音非周期性を算出する発音非周期性算出ス
    テップ、 音響信号の平均発音数を算出する平均発音数算出ステッ
    プ、の何れかを具備することを特徴とする請求項２２記
    載の音響変節点抽出方法。
  24. 【請求項２４】 前記評価関数算出ステップは、 音響信号の２乗平均平方、発音非周期性、平均発音数の
    内、少なくとも２つの値を乗算した値を評価関数として
    出力することを特徴とする請求項２２記載の音響変節点
    抽出方法。
  25. 【請求項２５】 前記発音非周期性検出ステップは、 音響信号の立ち上がり成分を検出する立ち上がり成分検
    出ステップと、 前記立ち上がり成分検出ステップで得られた立ち上がり
    成分の自己相関関数を算出する自己相関算出ステップ
    と、 前記自己相関算出ステップで算出された自己相関関数の
    周波数分析を行う周波数分析ステップと、 前記周波数分析ステップの出力から直流成分を抽出する
    直流成分抽出ステップと、 前記周波数分析ステップの出力から最大値をもつ周波数
    成分を抽出する最大値抽出ステップと、 前記直流成分抽出ステップの出力を前記最大値抽出ステ
    ップの出力で除算する除算ステップと、を具備すること
    を特徴とする請求項２３記載の音響変節点抽出方法。
  26. 【請求項２６】 前記平均発音数算出ステップは、 音響信号の各周波数帯域における立ち上がり成分を検出
    する立ち上がり成分検出ステップと、 前記立ち上がり成分検出ステップで検出された立ち上が
    り成分の出力が閾値以下の場合は０を、前記閾値を超え
    る場合は１を出力する２値化ステップと、 前記２値化ステップの出力を周波数方向に積算する積算
    ステップと、 前記積算ステップの出力の時間平均を算出する平均値算
    出ステップと、を具備することを特徴とする請求項２３
    記載の音響変節点抽出方法。
  27. 【請求項２７】 前記選択ステップは、 前記ピーク検出ステップで検出されたピークを、そのピ
    ーク値の大きい順に所定個数分選択し、選択されたピー
    クの時刻を音響変節点の時刻情報として出力することを
    特徴とする請求項２２記載の音響変節点抽出方法。
  28. 【請求項２８】 前記選択ステップは、 前記ピーク検出ステップで検出されたピークを、そのピ
    ーク値の大きい順に所定個数分選択し、選択されたピー
    クの時刻を音響変節点の時刻情報として出力すると共
    に、前記音響変節点のピーク値を尤度情報として出力す
    ることを特徴とする請求項２２記載の音響変節点抽出方
    法。
  29. 【請求項２９】 前記選択ステップは、 音響変節点の時間間隔が予め定めた時間間隔以上となる
    ように、前記ピーク検出ステップにより検出されたピー
    クから音響変節点を選択することを特徴とする請求項２
    ２記載の音響変節点抽出方法。
  30. 【請求項３０】 楽曲の音響信号を格納する音響信号格
    納ステップと、 音響信号格納ステップの音響信号から、音響的な境界で
    ある音響変節点を抽出する音響変節点抽出ステップと、 前記音響変節点抽出ステップによって抽出された音響変
    節点を含む楽曲の属性情報を記憶する楽曲属性記憶ステ
    ップと、 前記音響信号格納ステップに格納された音響信号を、任
    意の位置から再生する音響再生ステップと、 前記楽曲記憶ステップに記録された楽曲の属性情報を参
    照して、前記音響再生ステップの再生を制御する再生制
    御ステップと、を具備することを特徴とする音響再生方
    法。
  31. 【請求項３１】 前記音響変節点抽出ステップは、各音
    響変節点の時刻情報と尤度情報とを出力し、 前記再生制御ステップは、前記尤度情報に基づいて変節
    点からの再生を制御することを特徴とする請求項３０記
    載の音響再生方法。
  32. 【請求項３２】 前記再生制御ステップは、楽曲の音響
    信号を音響変節点の時刻順に再生するように前記音響再
    生ステップを制御することを特徴とする請求項３０記載
    の音響再生方法。
  33. 【請求項３３】 楽曲の音響信号を格納する音響信号格
    納ステップと、 前記音響信号格納ステップの音響信号から音響的な境界
    である音響変節点を抽出する音響変節点抽出ステップ
    と、 前記音響変節点抽出ステップによって抽出された音響変
    節点に基づいて、楽曲の編集を行う信号区間を算出する
    区間算出ステップと、 前記区間算出ステップによって算出された信号区間に基
    づいて、前記音響信号格納ステップに格納されている当
    該楽曲の音響信号を編集する音響信号編集ステップと、
    を具備することを特徴とする音響信号編集方法。
  34. 【請求項３４】 前記区間算出ステップは、 前記音響変節点抽出ステップで抽出された楽曲の音響変
    節点を時刻順に参照し、各音響変節点間を信号区間とし
    て出力することを特徴とする請求項３３記載の音響信号
    編集方法。
  35. 【請求項３５】 前記区間算出ステップは、 前記音響変節点抽出ステップで抽出された当該楽曲の音
    響変節点を区間の開始時刻とし、区間の開始時刻から予
    め定めた一定の時間後を終了時刻として信号区間を算出
    することを特徴とする請求項３３記載の音響信号編集方
    法。
  36. 【請求項３６】 前記音響変節点抽出ステップは、音響
    変節点の時刻情報を出力すると共に、前記音響変節点の
    尤度情報を算出して出力し、 前記区間算出ステップは、算出された音響変節点の尤度
    情報に基づいて信号区間を算出することを特徴とする請
    求項３３〜３５の何れか１項記載の音響信号編集方法。
  37. 【請求項３７】 請求項２２〜２９の何れか１項記載の
    音響変節点抽出処理をコンピュータに機能させるための
    プログラムとして記録した音響変節点抽出方法プログラ
    ム記録媒体。
  38. 【請求項３８】 請求項３０〜３２の何れか１項記載の
    音響再生処理をコンピュータに機能させるためのプログ
    ラムとして記録した音響再生方法プログラム記録媒体。
  39. 【請求項３９】 請求項３３〜３６の何れか１記載の音
    響信号編集処理をコンピュータに機能させるためのプロ
    グラムとして記録した音響信号編集方法プログラム記録
    媒体。
  40. 【請求項４０】 請求項２２〜２９の何れか１記載の音
    響変節点抽出処理をコンピュータに機能させるための音
    響変節点抽出方法プログラム。
  41. 【請求項４１】 請求項３０〜３２の何れか１記載の音
    響再生処理をコンピュータに機能させるための音響再生
    方法プログラム。
  42. 【請求項４２】 請求項３３〜３６の何れか１記載の音
    響信号編集処理をコンピュータに機能させるための音響
    信号編集方法プログラム。
JP2001380139A 2001-12-13 2001-12-13 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム Expired - Lifetime JP3886372B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001380139A JP3886372B2 (ja) 2001-12-13 2001-12-13 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム
EP02027499A EP1320101A3 (en) 2001-12-13 2002-12-10 Sound critical points retrieving apparatus and method, sound reproducing apparatus and sound signal editing apparatus using sound critical points retrieving method
US10/316,185 US6965546B2 (en) 2001-12-13 2002-12-11 Sound critical points retrieving apparatus and method, sound reproducing apparatus and sound signal editing apparatus using sound critical points retrieving method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001380139A JP3886372B2 (ja) 2001-12-13 2001-12-13 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006287391A Division JP4336362B2 (ja) 2006-10-23 2006-10-23 音響再生装置及びその方法、音響再生プログラム及びその記録媒体

Publications (3)

Publication Number Publication Date
JP2003177784A true JP2003177784A (ja) 2003-06-27
JP2003177784A5 JP2003177784A5 (ja) 2005-07-07
JP3886372B2 JP3886372B2 (ja) 2007-02-28

Family

ID=19187093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001380139A Expired - Lifetime JP3886372B2 (ja) 2001-12-13 2001-12-13 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム

Country Status (3)

Country Link
US (1) US6965546B2 (ja)
EP (1) EP1320101A3 (ja)
JP (1) JP3886372B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221715A (ja) * 2005-02-09 2006-08-24 Pioneer Electronic Corp 情報処理装置、情報処理方法、情報処理プログラム、および、情報処理プログラムを記録した記録媒体
JP2008070868A (ja) * 2006-08-14 2008-03-27 Sanyo Electric Co Ltd 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム
KR100869643B1 (ko) 2005-04-29 2008-11-21 에스케이 텔레콤주식회사 음악구조를 이용한 엠피쓰리 형식의 가요 음향에 대한 요약장치, 방법 및 이를 구현하기 위한 프로그램이 저장된기록매체
JP2009036862A (ja) * 2007-07-31 2009-02-19 Univ Chuo 音響処理のための情報処理装置、音響処理方法、プログラム、および音響検索システム
JP2011095509A (ja) * 2009-10-29 2011-05-12 Jvc Kenwood Holdings Inc 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム
US8022287B2 (en) 2004-12-14 2011-09-20 Sony Corporation Music composition data reconstruction device, music composition data reconstruction method, music content reproduction device, and music content reproduction method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1577877B1 (en) * 2002-10-24 2012-05-02 National Institute of Advanced Industrial Science and Technology Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data
JP2006127574A (ja) 2004-10-26 2006-05-18 Sony Corp コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体
JP4243862B2 (ja) 2004-10-26 2009-03-25 ソニー株式会社 コンテンツ利用装置およびコンテンツ利用方法
JP4595555B2 (ja) 2005-01-20 2010-12-08 ソニー株式会社 コンテンツ再生装置およびコンテンツ再生方法
JP4741267B2 (ja) 2005-03-28 2011-08-03 ソニー株式会社 コンテンツ推薦システム、通信端末およびコンテンツ推薦方法
JP2007011928A (ja) 2005-07-04 2007-01-18 Sony Corp コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JP5133508B2 (ja) 2005-07-21 2013-01-30 ソニー株式会社 コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JPWO2007029489A1 (ja) * 2005-09-07 2009-03-19 パイオニア株式会社 コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
WO2007036844A2 (en) * 2005-09-30 2007-04-05 Koninklijke Philips Electronics N.V. Method and apparatus for automatic structure analysis of audio
US7826911B1 (en) * 2005-11-30 2010-11-02 Google Inc. Automatic selection of representative media clips
US7668610B1 (en) 2005-11-30 2010-02-23 Google Inc. Deconstructing electronic media stream into human recognizable portions
JP4811046B2 (ja) 2006-02-17 2011-11-09 ソニー株式会社 コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法
US8621355B2 (en) * 2011-02-02 2013-12-31 Apple Inc. Automatic synchronization of media clips
CN105788603B (zh) * 2016-02-25 2019-04-16 深圳创维数字技术有限公司 一种基于经验模态分解的音频识别方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6124085A (ja) * 1984-07-12 1986-02-01 Fujitsu Ten Ltd デイジタル・オ−デイオ・デイスク再生装置
US5634020A (en) * 1992-12-31 1997-05-27 Avid Technology, Inc. Apparatus and method for displaying audio data as a discrete waveform
JPH06259940A (ja) * 1993-03-09 1994-09-16 Sony Corp ディスク記録再生装置
DE19608957A1 (de) * 1996-03-08 1997-09-11 Ralf Pretz CD-Abspielgerät
JP3017715B2 (ja) * 1997-10-31 2000-03-13 松下電器産業株式会社 音声再生装置
US6163510A (en) * 1998-06-30 2000-12-19 International Business Machines Corporation Multimedia search and indexing system and method of operation using audio cues with signal thresholds
US6185527B1 (en) * 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
JP3687467B2 (ja) * 2000-02-25 2005-08-24 ティアック株式会社 記録媒体再生装置
JP2001283569A (ja) 2000-03-30 2001-10-12 Seiko Epson Corp さびサーチ装置
KR100708076B1 (ko) * 2000-04-27 2007-04-16 삼성전자주식회사 오디오 하이라이트 파트 기록/재생 방법과 장치 및 이를위한 부가 정보가 저장되는 기록 매체
JP2002341888A (ja) * 2001-05-18 2002-11-29 Pioneer Electronic Corp ビート密度検出装置と情報再生装置
US7161887B2 (en) * 2001-11-13 2007-01-09 Digeo, Inc. Method and apparatus for extracting digital data from a medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8022287B2 (en) 2004-12-14 2011-09-20 Sony Corporation Music composition data reconstruction device, music composition data reconstruction method, music content reproduction device, and music content reproduction method
JP2006221715A (ja) * 2005-02-09 2006-08-24 Pioneer Electronic Corp 情報処理装置、情報処理方法、情報処理プログラム、および、情報処理プログラムを記録した記録媒体
KR100869643B1 (ko) 2005-04-29 2008-11-21 에스케이 텔레콤주식회사 음악구조를 이용한 엠피쓰리 형식의 가요 음향에 대한 요약장치, 방법 및 이를 구현하기 위한 프로그램이 저장된기록매체
JP2008070868A (ja) * 2006-08-14 2008-03-27 Sanyo Electric Co Ltd 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム
JP2009036862A (ja) * 2007-07-31 2009-02-19 Univ Chuo 音響処理のための情報処理装置、音響処理方法、プログラム、および音響検索システム
JP2011095509A (ja) * 2009-10-29 2011-05-12 Jvc Kenwood Holdings Inc 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム

Also Published As

Publication number Publication date
EP1320101A2 (en) 2003-06-18
US6965546B2 (en) 2005-11-15
US20030123339A1 (en) 2003-07-03
EP1320101A3 (en) 2005-07-20
JP3886372B2 (ja) 2007-02-28

Similar Documents

Publication Publication Date Title
JP2003177784A (ja) 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響再生システム、音響配信システム、情報提供装置、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム
US7386357B2 (en) System and method for generating an audio thumbnail of an audio track
KR101363534B1 (ko) 비트 추출 장치 및 비트 추출 방법
KR101292698B1 (ko) 메타데이터 부여 방법 및 장치
EP1657721A2 (en) Music content reproduction apparatus, method thereof and recording apparatus
JP2005518594A (ja) オーディオ・コンテンツの識別を使用して製品を販売するシステム
JP2002014691A (ja) ソース音声信号内の新規点の識別方法
KR20040077784A (ko) 검색된 음악 부분과 결합하기 위한 음악 검색 시스템
US20090069917A1 (en) Audio player and audio fast-forward playback method capable of high-speed fast-forward playback and allowing recognition of music pieces
JP2004159192A (ja) 映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体
JP2006202127A (ja) 推奨情報提示装置及び推奨情報提示方法等
JP2008139426A (ja) 評価用データのデータ構造、カラオケ装置及び記録媒体
JP4330174B2 (ja) 情報選択方法及び情報選択装置等
JP2001283569A (ja) さびサーチ装置
JP4336362B2 (ja) 音響再生装置及びその方法、音響再生プログラム及びその記録媒体
US8069177B2 (en) Information selecting method, information selecting device and so on
JP4537490B2 (ja) オーディオ再生装置およびオーディオ早送り再生方法
JP6699137B2 (ja) データ管理装置、コンテンツ再生装置、コンテンツ再生方法、及びプログラム
US20070051228A1 (en) Method and Apparatus for Playing in Synchronism with a DVD an Automated Musical Instrument
JP6168649B2 (ja) コード検出装置及びプログラム
JP2007233078A (ja) 評価装置、制御方法及びプログラム
JP4048917B2 (ja) 音声データと演奏データの同期再生を行うための装置および方法
WO2025011233A1 (zh) 数据处理方法、装置、电子设备和存储介质
Kosonen et al. Rhythm metadata enabled intra-track navigation and content modification in a music player
JP2023091483A (ja) 格納装置、再生装置、格納方法、再生方法、データ構造、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3886372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091201

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131201

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term