JPH01219888A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に、音響信号の所定区間の音程として絶対音程軸
上の音程に同定する音程同定処理に関するものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し周波数情報（以下、ピ
ッチ情報と呼ぶ）及びパワー情報を分析周期毎に抽出し
、その後、抽出されたピッチ情報及び又はパワー情報か
ら音響信号を同一音程とみなせる区間（セグメント）に
区分しくかかる処理をセグメンテーションと呼ぶ）、次
いで、セグメン■・のピッチ情報から各セグメントの音
響信号の音程として絶対音程軸にそった音程を同定し、
ピッチ情報の音程軸周りの分布情報に基づいて音響信号
の調を決定し、さらに、セグメントに基づいて音響信号
の拍子及びテンポを決定するという順序で各情報を得て
いた。

［発明が解決しようとする課題］ ところで、音響信号のあるセグメントを絶対音程軸上の
音程として同定しようとしても、音響信号、特に人によ
って発声された音響信号は音程が安定しておらず、同一
音程を意図している場合であっても音程の揺らぎが多い
。そのため、音程同定処理を非常に難しいものとしてい
た。

音程は、音長と共に楽譜データの基本的な要素であるの
で、正確に同定することが必要であり、正確に同定する
ことができない場合には、楽譜データの精度を低いもの
とする。

本発明は、以上の点を考慮してなされたもので、音程を
正確に同定することのできる新規な音程同定方法を提案
し、最終的な楽譜データの精度を一段と向上させること
のできる自動採譜方法及び装置を提供しようとするもの
である。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号波形の繰返し周期であり、音高を表
すピッチ情報及び音響信号のパワー情報を抽出する処理
と、ピッチ情報及び又はパワー情報に基づいて音響信号
を同一音程とみなせる区間に区分するセグメンテーショ
ン処理と、この区分された区間について音響信号の絶対
音程軸上の音程を決定する音程同定処理とを少なくとも
含み、音響信号を楽譜データに変換する自動採譜方法に
おいて、音程同定処理が、区分された各区間についてそ
のパワー情報のピーク点を抽出する処理と、抽出された
ピーク点のピッチ情報が最も近い絶対音程軸上の音程に
その区間の音程を決定する処理とからなるようにした。

また、第２の本発明においては、入力された音響信号波
形の繰返し周期であり、音高を表すピ・ノチ情報及び音
響信号のパワー情報を抽出すると・ンチ・パワー抽出手
段と、ピッチ情報及び又はパワー情報に基づいて音響信
号を同一音程とみなせる区間に区分するセグメンテーシ
ョン手段と、この区分された区間について音響信号の絶
対音程軸上の音程を決定する音程同定手段とを一部に備
えて音響信号を楽譜データに変換する自動採譜装置にお
いて、音程同定手段を、セグメンテーション手段によっ
て区分された各区間についてパワー情報のピーク点を抽
出するピーク点抽出部と、抽出されたピーク点のピッチ
情報が最も近い絶対音程軸上の音程にその区間の音程を
決定する音程決定部とで構成した。

［作用］ 第１の本発明においては、各区間の音程を絶対音程軸上
の音程に同定するにつき、音響信号が揺らぐとしても音
響信号の発生源が意図する音程は音量（パワー情報）が
最大のときには正確であることに着目し、各区間のパワ
ー情報のピーク点を抽出してそのピーク点のピッチ情報
が最も近い絶対音程軸上の音程に同定するようにした。

また、第２の本発明は、同様にパワー情報のピーク点に
おけるピッチ情報、が音響信号の意図する音程に近いこ
とに基づいて、セグメンテーションされた各区間のパワ
ー情報のピーク点をピーク点抽出部によって抽出し、音
程決定部によってその抽出されたピーク点のピッチ情報
が最も近い絶対音程軸上の音程にその区間の音程を同定
するようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

且丑五譜方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニット（ＣＰＵ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵＩ及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵＩが実行する音響信号を収り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰＩ
、ＳＰ２＞。その後、ＣＰＵＩは、ピッチ情報について
は、その分布状況に基づいて絶対音程軸に対する音響信
号が有する音程軸のずれ量を算出し、得られたピッチ情
報をそのずれ量に応じてシフトさせるチューニング処理
を実行する（ステップ５Ｐ３）。すなわち、音響信号を
発生した歌唱者または楽器が有する音程軸と絶対音程軸
との差が小さくなるようにピッチ情報を修正する。

次いで、ＣＰＵＩは、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分けるセグメ
ンテーションを実行し、また、得られたパワー情報の変
化に基づいてセグメンテーションを実行する（ステップ
ＳＰ４．５２５）。これら得られた両者のセグメント情
報に基づいて、ＣＰＵＩは、４分音符や８分音符等の時
間長に相半する基準長を算出してこの基準長に基づいて
再度セグメンテーションを実行する（ステップ５Ｐ６）
。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断できる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一が否かに基づいて再度セグメンテーショ
ンを実行する（ステップＳＰ７．５Ｐ８）。

その後、ＣＰＵＩは、チューニング後のピッチ情報を集
計して得た音程の出現頻度と、調に応じて定まる所定の
重み付は係数との積和を求めてこの積和の最大情報に基
づいて、例えば、ハ長調やイ短調というように入力音響
信号の楽曲の調を決定し、決定された調における音階上
の所定の音程についてその音程をピッチ情報について見
直して音程を確認、修正する（ステップＳＰ９．５ＰＩ
Ｏ）。次いで、ＣＰＵＩは、最終的に決定された音程か
ら連続するセグメントについて同一なものがあるか否か
、また連続するセグメント間でパワーの変化があるが否
かに基づいてセグメンテーションの見直しを実行し、最
終的なセグメンテーションを行なう（ステップ５ＰＩＩ
）。

このようにして音程及びセグメントが決定されると、Ｃ
Ｐ［Ｊｌは、楽曲は１拍目から始まる、フレーズの最後
の音は次の小節にまたがらない、小節ごとに切れ目があ
る等の観点から小節を抽出し、この小節情報及びセグメ
ンテニション情報から拍子を決定し、この決定された拍
子情報及び小節の長さからテンポを決定する（ステップ
５Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４）。

ｌ丘皿定処」 次に、このような自動採譜方式における音程同定処理（
ステップＳＰ７参照）につぃそ、第１図のフローチャー
トを用いて詳述する。

ＣＰＵＩは、まずセグメンテーションによって得られた
セグメントのうち最初のセグメントを収り出し、次いで
、そのセグメントのパワー情報の変化からパワー情報の
最初の極大値（立上りピーク）を与えるサンプリング点
を取り出すくステップ５Ｐ２０．２１）。

その後、ＣＰＵＩはその立上りピークを与えるサンプリ
ング点のピッチ情報が最も近い絶対音程軸上の音程を当
該セグメントの音程として同定する（ステップ５Ｐ２２
＞。なお、音響信号の各セグメントの音程は、絶対音程
軸上の半音ずつ異なるいずれかの音程に同定される。Ｃ
ＰＵＩは、かかる処理がなされて音程が同定されたセグ
メントが最後のセグメントが否かを判別する（ステップ
５Ｐ２３）。その結果、処理が終了していると、当該処
理プログラムを終了し、処理が終了していないと、次の
セグメントを処理対象として上述のステップ２１に戻る
（ステップ５Ｐ２４）。

このようなステップ５Ｐ２１〜２４でなる処理ループを
繰り返すことにより、全てのセグメントについてそのセ
グメント内のパワー情報の立上りピーク点のピッチ情報
による音程同定が実行される。

ここで、音程同定処理にパワー情報の立上りピークを利
用するようにしたのは、音響信号が揺らぎを有するとは
いえ、歌唱者等は新たな音に音程を移すとき、音量を増
大させ、そのピークのときにその音程がくるように音量
を調節するようにすると考えられるためであり、事実、
パワー情報の立上りピーク点と音程とは相関が非常に高
いことが確認されている。

第２図は、かかる処理による音程同定の一例を示すもの
であり、第１の点線曲線ＰＩＴは音響信号のピッチ情報
を、また第２の点線曲線ＰＯＷはパワー情報を示し、縦
方向の実線ＶＲはセグメントのきれ目を示している。こ
の例による各セグメントの立上りピーク点のピッチ情報
は横方向の実線ＨＲで示しており、また、同定された音
程は横方向の点線ＨＰで示している。この第２図より明
らかなように、パワー情報の立上りピーク点に対するピ
ッチ情報は絶対音程軸上の音程に対する偏差が少なく、
良好に音程を同定できることが分かる。

従って、上述の実施例によれば、各セグメントのパワー
情報の立上りピーク点のピッチ情報を抽出し、このピッ
チ情報が最も近い絶対音程軸上の音程にそのセグメント
の音程を同定したので、音程を高精度に決定することが
できる。なお、音程同定に先立ち、音響信号をチューニ
ング処理しているので、パワー情報の立上りピーク点に
対するピッチ情報は絶対音程軸上の音程に近い値をとり
、同定が非常にし易くなっている。

また、パワー情報の立上りピーク点を利用しているので
、セグメント内のピッチ情報を統計処理して音程同定す
る場合に比べてセグメントが短くてサンプリング数が少
なくても良好に音程を同定でき、音程同定がセグメント
の長さの影響を受けることが少ない。

應Ω叉施測 なお、音程同定処理に用いるピッチ情報は、周波数単位
のＨｚで表わされているものであっても良く、また、音
楽分野で良く用いられているセント単位で表わされてい
るものであっても良い。

また、上述の実施例においては、パワー情報の立上りピ
ーク点に対するピッチ情報に基づいて同定処理するもの
を示したが、このセグメントのパワー情報の最大値を与
えるサンプリング点のピッチ情報に基づいて音程同定を
実行するようにしても良い。

さらに、上述の実施例に５いては、第４図に示す全ての
処理をＣＰＵＩが主記憶装置３に格納されているプログ
ラムに従って実行するものを示したが、その一部または
全部の処理をハードウェア構成で実行するようにしても
良い。例えば、第３図と、の対応部分に同一符号を付し
た第５図に示すように、音響信号入力装置８がらの音響
信号を増幅回路１０を介して増幅した後、さらに前置フ
ィルタ１１を介してアナログ／デジタル変換器１２に与
えてデジタル信号に変換し、このデジタル信号に変換さ
れた音響信号を信号処理プロセッサ１３が自己相関分析
してピッチ情報を抽出し、また２東和処理してパワー情
報を抽出してＣＰＵＩによるソフトウェア処理系に与え
るようにしても良い。このようなハードウェア構成（１
０〜１３）に用いられる信号処理プロセッサ１３として
は、音声帯域の信号をリアルタイム処理し得ると共に、
ホストのＣＰＵＩとのインタフェース信号が用意されて
いるプロセッサ（例えば、日本電気株式会社製μＰ　Ｄ
　７７２０）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、各セグメントの音程を
、セグメントのパワー情報のピーク値を与えるサンプリ
ング点のピッチ情報に基づいて同定するようにしたので
、良好に音程を決定でき、楽譜データの精度を一段と高
めることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかる音程同定処理を示す
フローチャ＝１・、第２図はかかる音程同定処理による
一例を示す路線図、第３図は本発明を適用する自動採譜
方式の構成を示すブロック図、第４図はその自動採譜処
理手順を示すフローチャート、第５図は自動採譜方式の
他の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出する処理と、上記ピッチ情報及び又は上記パワー情報
   に基づいて上記音響信号を同一音程とみなせる区間に区
   分するセグメンテーション処理と、この区分された区間
   について上記音響信号の絶対音程軸上の音程を決定する
   音程同定処理とを少なくとも含み、上記音響信号を楽譜
   データに変換する自動採譜方法において、 上記音程同定処理が、 区分された上記各区間についてそのパワー情報のピーク
   点を抽出する処理と、抽出されたピーク点のピッチ情報
   が最も近い絶対音程軸上の音程にその区間の音程を決定
   する処理とからなることを特徴とする自動採譜方法。
2. （２）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出するピッチ・パワー抽出手段と、上記ピッチ情報及び
   又は上記パワー情報に基づいて上記音響信号を同一音程
   とみなせる区間に区分するセグメンテーション手段と、
   この区分された区間について上記音響信号の絶対音程軸
   上の音程を決定する音程同定手段とを一部に備えて上記
   音響信号を楽譜データに変換する自動採譜装置において
   、上記音程同定手段を、 上記セグメンテーション手段によって区分された上記各
   区間についてパワー情報のピーク点を抽出するピーク点
   抽出部と、抽出されたピーク点のピッチ情報が最も近い
   絶対音程軸上の音程にその区間の音程を決定する音程決
   定部とで構成したことを特徴とする自動採譜装置。