JPH01219889A - ピッチ抽出方法及び抽出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ 本発明はピッチ抽出方法及び抽出装置に関し、特に、音
響信号を楽譜データに変換する自動採譜装置に適用して
好適なものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号は、基本
波形の繰返し波形となっている。このような音響信号を
楽譜データに変換する自動採譜装置においては、音響信
号における音程及び音長等の各種の情報を正確に定める
ため、まず、音響信号における基本波形の繰返し周波数
（以下、ピッチ周波数と呼び、これに対応した周期をピ
ッチ周期と呼び、これらを合わせた概念をピッチと呼ぶ
ことにする）を分析周期毎に抽出しなければならない。

かかる抽出方法としては、音声合成及び音声認識分野に
おいて発達した周波数分析、自己相関分析等があるが、
周囲雑音に対して影響を受けることなくピッチを抽出で
き、しかも、処理の簡単な自己相関分析が従来採用され
ていた。

［発明が解決しようとする課題］ ところで、従来の自動採譜装置においては、音響信号を
デジタル信号に変換した後、自己相関関数を求めている
。そのため、サンプリング周期毎にしか自己相関関数を
得ることはできない。

従って、ピッチもこのサンプリング周期によって定まる
分解能でしか抽出できない。抽出されたピッチの分解能
が低いと、後述する処理において決定される音程や音長
等の精度が低いものとなる。

そこで、サンプリング周波数を高くすることが考えられ
るが、その分自己相関関数等の演算すべきデータ量も増
大し、自動採譜装置の構成が大型、高価になると共に、
リアルタイムの処理を実現できなくなる恐れがある。

本発明は、以上の点を考慮してなされたもので、サンプ
リング周波数を高めることなく、音響信号のピッチを高
精度に抽出することのできるピッチ抽出方法及び抽出装
置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号をデジタル信号に変換するアナログ
／デジタル変換手段と、所定の処理手順を記憶している
記憶手段と、記憶手段に記憶されている処理手順を実行
する制御手段とを備え、当該制御手段は、デジタル信号
に変換された音響信号を取込み、音響信号の自己相関関
数を算出し、算出された自己相関関数の極大値が最大と
なる０以外のずれ量を求め、その得られたずれ量を与え
るサンプリング点を含め前後数点のサンプリング点の自
己相関関数の値を通る所定関数に従う近似曲線を算出し
、算出された近似曲線における極大値を与えるずれ量を
得、このずれ量に基づいてピッチ周波数を得るようにし
た。

また、第２の本発明においては、入力された音響信号を
デジタル信号に変換するアナログ／デジタル変換手段と
、デジタル信号に変換された上記音響信号の自己相関関
数を算出する自己相関関数算出手段と、算出された自己
相関関数の極大値が最大となる０以外のずれ量を検出す
るずれ量検出手段と、検出されたずれ量を与えるサンプ
リング点を含め前後数点のサンプリング点の自己相関関
数の値を通る所定関数に従う近似曲線を算出し、算出さ
れた近似曲線における極大値を与えるずれ藍を求めるず
れ量補正手段と、当該ずれ量補正手段からのずれ量に基
づいてピッチ周波数を得るピッチ周波数検出手段とでピ
ッチ抽出装置を構成した。

［作用］ 第１及び第２の本発明共に、自己相関関数を用いて音響
信号のピッチ周波数を抽出しようとするものである。こ
こで、自己相関関数を、デジタル信号に変換された音響
信号から得ているので、単に得られたピッチ周波数に対
応したずれ量はサンプリング周期の整数倍となり、これ
以上の精度は得られない。

そこで、第１の本発明においては、このようにして得ら
れたずれ量のサンプリング点を中心とした前後数点のサ
ンプリング点の自己相関関数値を通る所定関数に従う自
己相関関数の近似曲線を求め、この近似曲線の極大値情
報からより正確なずれ量を得てピッチ周波数を抽出する
ようにした。

また、第２の本発明においては、自己相関関数算出手段
によって、アナログ／デジタル変換手段を介してデジタ
ル信号に変換された音響信号の自己相関関数を算出し、
この算出された自己相関関数からずれ星検出手段によっ
て極大値が最大となる０以外のずれ量を検出し、ずれ量
補正手段によって検出されたずれ量を与えるサンプリン
グ点を含め前後数点のサンプリング点の自己相関関数の
値を通る所定関数に従う近似曲線を算出し、算出された
近似曲線における極大値を与えるずれ量を求め、ピッチ
周波数検出手段によってこのずれ量補正手段からのずれ
量に基づいてピッチ周波数を得るようにした。

し実施例〕 以下、本発明を自動採譜装置に適用した一実施例につい
て図面を参照しながら詳述する。

且肱採困芸ヱ まず、本発明が適用される自動採譜装置について説明す
る。

第３図において、中央処理ユニット（ＣＰＵ）１は、当
該自動採譜装置の全体を制御するものであり、バス２を
介して接続されている主記憶装置３に格納されている第
４図に示す採譜処理プログラムを実行するものである。

バス２には、ＣＰＵ１及び主記憶装置３に加えて、入力
装置としてのキーボード４、出力装置としての表示装置
５、ワーキングメモリとして用いられる補助記憶装置６
及びアナログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵ１は、キーボード４によって処理が指令されたと
き、当該採譜処理を開始し、主記憶装置３に格納されて
いるプログラムを実行してアナログ／デジタル変換器７
によってデジタル信号に変換された音響信号を一旦補助
記憶装置６に格納し、その後、これら音響信号を上述の
プログラムを実行して楽譜データに変換して表示装置５
に出力するようになされている。

次に、ＣＰＵＩが実行する音響信号を取り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また音響信号を
２乗和処理してパワー情報を抽出し、その後、ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰ１
．５Ｐ２）。その後、ＣＰＵＩは、ピッチ情報について
は、絶対音程軸周りの分布状況を検出して絶対音程軸に
対する音響信号が有する音程軸のずれ量を算出し、得ら
れたピッチ情報をそのずれ量に応じてシフトさせるチュ
ーニング処理を実行する（ステップ５Ｐ３）。

次いで、ＣＰＵＩは、得られたピッチ情報が同−音を指
示するものと考えられるピッチ情報の連続期間を得て、
音響信号を１音ごとの区間（セグメント）に切り分ける
処理（以下、セグメンテーションと呼ぶ）を実行し、ま
た、得られたパワー情報の変化に基づいてセグメンテー
ションを実行する（ステップＳＰ４．５Ｐ５）。これら
得られた両者のセグメント情報に基づいて、ＣＰＵ１は
、４分音符や８分音符等の時間長に相当する基準長を算
出してこの基準長に基づいてより詳細にセグメンテーシ
ョンを実行する（ステップ５Ｐ６）。

ＣＰＵ１は、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一が否かに基づいて再度セグメンテーショ
ンを実行する（ステップＳＰ７．５Ｐ８）。

その後、ＣＰＵ１は、ピッチ情報を集計して得た音程の
出現頻度と、調に応じて定まる所定の重み付は係数との
積和を求めてこの積和の最大情報に基づいて入力音響信
号の楽曲の調を決定し、決定された調における音階上の
所定の音程についてその音程をピッチ情報について見直
して音程を確認、修正する（ステップＳＰ９．５ＰＩＯ
＞。次いで、ＣＰＵ１は、最終的に決定−された音程か
ら連続するセグメントについて同一なものがあるか否か
、また連続するセグメント間でパワーの変化があるか否
かに基づいてセグメンテーションの見直しを実行し、最
終的なセグメンテーションを行なう（ステップ５Ｐ１１
）。

このようにして音程及び音長が決定されると、ＣＰＵ１
は、楽曲は１拍目から始まる、フレーズの最後の音は次
の小節にまたがらない、小節ごとに切れ目がある等の観
点から小節を抽出し、この小節情報及びセグメンテーシ
ョシ情報から拍子を決定し、この決定された拍子情報及
び小節の長さからテンポを決定する（ステップ５Ｐ１２
．５Ｐ１３）。

そして、ＣＰＵＩは、いままで、決定された音程、音長
くセグメント）、調、拍子及びテンポの情報を整理して
最終的に楽譜データを作成する（ステップ５Ｐ１４）。

塁工工慧皿ム弛止 次に、このような処理を実行して採譜を行なう自動採譜
装置におけるピッチ情報の抽出（ステップＳＰＩ参照）
についてさらに詳述する。

かかるピッチ情報の抽出処理の詳細フローチャートを第
１図に示す。ＣＰＵＩは、まず、着目サンプリング点Ｓ
を含めてそれ以降にある分析窓内のＮ個の音響信号ｙ（
Ｌ）（ｔ＝ｏ、・・・、Ｎ−１；ｔはサンプリング点Ｓ
を０としたサンプリング番号〉から、当該音響信号と着
目サンプリング点Ｓに対してτ個分だけ当該音響信号を
ずらした音響信号との次式 ％式％（１） １　：　ｕ＝ｏ、・・・、Ｎ−１−τ）を演算する（ス
テップ５Ｐ２０＞。なお、第２図にこのようにして得ら
れた自己相関関数曲線を示す。

次いで、ＣＰＵＩは、このＮ個の自己相関関数φ（τ）
の値から０以外のずれ量でこの間数φ（τ）の最大の極
大を与えるずれＪｌｚ、すなわち、サンプリング番号の
尺度で表された音響信号のピッチ周期を検出し、このず
れ量２を含め、その前後の計３個のずれｆｉＬ　ｚ　−
１、ｚ、ｚ＋１についての自己相関関数φ（ｚ−１＞、
φ（２）、φ（２＋１）を取出す（ステップＳＰ２１　
＞。

この取出しが終了すると、ＣＰＵＩは、これら自己相関
関数φ（ｚ−１＞、φ（２）、φ（ｚ＋１）を次式 ％式％（２） に示すように正規化する補正を行なう（ステップ５Ｐ２
２＞。

このようにしたのは、分析窓を設けているので、（１）
式によって自己相関関数を演算すると、ずれ量τが大き
くなるに従って積和演算で加算する加算個数（Ｎ−τ個
）が少なくなり、ずれ量τを大きくした場合に自己相関
関数の各極大が等しくなるべきものがその影響で第２図
に示すように時間経過と共に徐々に低下するためであり
、この影響を取り除くようにかかる正規化補正処理を実
行している。

次いで、ＣＰＵＩは、次式 ％式％ を演算して補正されたサンプリング番号の尺度で表され
た音響信号のピッチ周期ｚＯを得る（ステップ５ｐ２３
＞。

ここで、（５）式は、−旦得られたサンプリング番号の
尺度で表された音響信号のピッチ周期と考えられるずれ
量Ｚ、及びその前後のずれ量ｚ−１及びｚ＋１の自己相
関関数値を通る放物線ＣＵＲ（第２図参照）を考え、そ
の放物線ＣＵＲ上の極大値を与えるサンプリング番号の
尺度で表されたずれ量ｚＯを演算するものである。すな
わち、自己相関関数φ（τ）の最初の極大値近傍の曲線
を放物線で近似してその放物線の情報から極大値を与え
るずれ量を抽出している。

このようにしたのは、自己相関関数φ（τ）は、サンプ
リング点毎に得ているので、極大値が最大となるピッチ
周期（ｚ）を求めてもサンプリング点での位置でしか求
めることができず、サンプリング点間に極大があっても
従来はこれを検出することができず、その分だけ誤差を
含んだものとなり、ピッチ情報を正確に抽出できないと
いう不都合があり、この不都合を避けるためである。

なお、自己相関関数φ（τ）は余弦関数で表すことがで
き、余弦関数はマクロ−リン展開すれば偶関数で表すこ
とができるので、４次以上の項を無視すれば放物線関数
で表すことができ、このように放物線によって近似して
極大点を与えるずれ量を算出しても実際のずれ量とほと
んど誤差なく算出することができる。　　− ＣＰＵＩは、次に、サンプリング番号の尺度で表された
音響信号のピッチ周期２０から次式％式％（６） に従ってピッチ周波数ｆｐを演算して次の処理に移行す
る（ステップ５Ｐ２４＞。なお、ｆＳはサンプリング周
波数である。

従って、上述の実施例によれば、サンプリング点間に自
己相関関数の極大点があってもその極大点を見出だすこ
とができ、サンプリング周波数を高、ぬることな〈従来
に比して一段と正確にピッチ周波数を抽出することがで
き、以降のセグメンテーションや音程同定処理や調決定
処理等を正確に実行させることができる。

皿Ω実施彊 なお、上述の実施例においては、ピッチ周期を補正する
に先立って分析窓による影響を取り除く正規化補正処理
を実行しているが、かかる処理を省略してピッチ周期を
補正するようにしても良い。

また、上述の実施例においては、放物線近似を適用して
ピッチ周期を補正するものを示したが、他の関数によっ
て補正するようにしても良い。例えば、−旦得られたピ
ッチ周期に対応したずれ量の前後５点の自己相関関数を
用いて４次の偶関数によって補正するようにしても良い
。

さらに、上述の実施例においては、本発明を自動採譜装
置に適用したものを示したが、音響信号からピッチ情報
を抽出する処理を必要とする各種装置に適用することが
できる。

さらにまた、上述の実施例においては、第４図に示す全
ての処理をＣＰＵＩが主記憶装置３に格納されているプ
ログラムに従って実行するものを示したが、その一部ま
たは全部の処理をハードウェア構成で実行するようにし
ても良い。例えば、第３図との対応部分に同一符号を付
した第５図に示すように、音響信号入力装置８からの音
響信号を増幅回路１０を介して増幅した後、さらに前置
フィルタ１１を介してアナログ／デジタル変換器１２に
与えてデジタル信号に変換し、このデジタル信号に変換
された音響信号を信号処理プロセッサ１３が自己相関分
析してピッチ情報を抽出し、また２乗和処理してパワー
情報を抽出してＣＰＵ１によるソフトウェア処理系に与
えるようにしても良い。このようなハードウェア構成（
１０〜１３）に用いられる信号処理プロセッサ１３とし
ては、音声帯域の信号をリアルタイム処理し得ると共に
、ホストのＣＰＵＩとのインタフェース信号が用意され
ているプロセッサ（例えば、日本電気株式会社製μＰ　
Ｄ　７７２０）を適用し得る。

［発明の効果コ 以上のように、本発明によれば、サンプリング周波数を
高めることなく、自己相関関数を利用してピッチ情報を
従来に比して一段と精度良く抽出できるピッチ抽出方法
及び抽出装置を得ることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかるピッチ抽出処理を示
すフローチャート、第２図はピッチ抽出処理に利用する
自己相関関数曲線を示す路線図、第３図は本発明を適用
する自動採譜装置の構成を示すブロック図、第４図はそ
の自動採譜装置の処理手順を示すフローチャート、第５
図は自動採譜装置の他の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号をデジタル信号に変換するア
   ナログ／デジタル変換手段と、所定の処理手順を記憶し
   ている記憶手段と、上記記憶手段に記憶されている処理
   手順を実行する制御手段とを備え、 当該制御手段は、デジタル信号に変換された音響信号を
   取込み、上記音響信号の自己相関関数を算出し、算出さ
   れた自己相関関数の極大値が最大となる０以外のずれ量
   を求め、その得られたずれ量を与えるサンプリング点を
   含め前後数点のサンプリング点の自己相関関数の値を通
   る所定関数に従う近似曲線を算出し、算出された近似曲
   線における極大値を与えるずれ量を得、このずれ量に基
   づいてピッチ周波数を得るようにしたことを特徴とする
   ピッチ抽出方法。
2. （２）入力された音響信号をデジタル信号に変換するア
   ナログ／デジタル変換手段と、 デジタル信号に変換された上記音響信号の自己相関関数
   を算出する自己相関関数算出手段と、算出された自己相
   関関数の極大値が最大となる０以外のずれ量を検出する
   ずれ量検出手段と、検出されたずれ量を与えるサンプリ
   ング点を含め前後数点のサンプリング点の自己相関関数
   の値を通る所定関数に従う近似曲線を算出し、算出され
   た近似曲線における極大値を与えるずれ量を求めるずれ
   量補正手段と、 当該ずれ量補正手段からのずれ量に基づいてピッチ周波
   数を得るピッチ周波数検出手段とを備えたことを特徴と
   するピッチ抽出装置。