JPH01219630A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽譜データを作成する自動採譜方法及び装置に関
し、特に、音響信号の所定区間の音程として絶対音程軸
上の音程に同定する音程同定処理に関するものである。

し従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号を楽譜デ
ータに変換する自動採譜方式においては、音響信号から
楽譜としての基本的な情報である音長、音程、調、拍子
及びテンポを検出することを有する。

ところで、音響信号は基本波形の繰返し波形を連続的に
含む信号であるだけであり、上述した各情報を直ちに得
ることはできない。

そこで、従来の自動採譜方式においては、まず、音響信
号の音高を表す基本波形の繰返し情報（以下、ピッチ情
報と呼ぶ）及びパワー情報を分析周期毎に抽出し、その
後、抽出されたピッチ情報及び又はパワー情報から音響
信号を同一音程とみなせる区間（セグメント）に区分し
くかかる処理をセグメンテーションと呼ぶ）、次いで、
セグメントのピッチ情報から各セグメントの音響信号の
音程として絶対音程軸にそっな音程を同定し、ピッチ情
報の音程軸周りの分布情報に基づいて音響信号の調を決
定し、さらに、セグメントに基づいて音響信号の拍子及
びテンポを決定するという順序で各情報を得ていた。

［発明が解決しようとする課題］ ところで、音響信号のあるセグメントを絶対音程軸上の
音程として同定しようとしても、音響信号、特に人によ
って発声された音響信号は音程が安定しておらず、同一
音程を意図している場合であっても音程の揺らぎが多い
。そのため、音程同定処理を非常に難しいものとしてい
た。

音程は、音長と共に楽譜データの基本的な要素であるの
で、正確に同定することが必要であり、正確に同定する
ことができない場合には、楽譜データの精度を低いもの
とする。

本発明は、以上の点を考慮してなされたもので、音程を
正確に同定することのできる新規な音程同定方法を提案
し、最終的な楽譜データの精度を一段と向上させること
のできる自動採譜方法及び装置を提供しようとするもの
である。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号波形の繰返し周期であり、音高を表
すピッチ情報及び音響信号のパワー情報を抽出する処理
と、ピッチ情報及び又はパワー情報に基づいて音響信号
を同一音程とみなせる区間に区分するセグメンテーショ
ン処理と、この区分された区間について音響信号の絶対
音程軸上の音程を決定する音程同定処理とを少なくとも
含み、音響信号を楽譜データに変換する自動採譜方法に
おいて、音程同定処理が、区分された各区間についてそ
のピッチ情報の中央値を抽出する処理と、抽出された中
央値が最も近い絶対音程軸上の音程に各区間の音程を決
定する処理とからなるようにした。

また、第２の本発明においては、入力された音響信号波
形の繰返し周期であり、音高を表すピッチ情報及び音響
信号のパワー情報を抽出するピッチ・パワー抽出手段と
、ピッチ情報及び又はパワー情報に基づいて音響信号を
同一音程とみなせる区間に区分するセグメンテーション
手段と、この区分された区間について音響信号の絶対音
程軸上の音程を決定する音程同定手段とを一部に備えて
音響信号を楽譜データに変換する自動採譜装置において
、音程同定手段を、セグメンテーション手段によって区
分された各区間についてピッチ情報の中央値を抽出する
中央値抽出部と、抽出された中央値が最も近い絶対音程
軸上の音程にその区間の音程を決定する音程決定部とで
構成した。

［作用］ 第１の本発明においては、各区間の音程を絶対音程軸上
の音程に同定するにつき、音響信号が揺らぐとしても音
響信号の発生源が意図する音程を中心として揺らぐので
、その意図する音程はピッチ情報の中央値と非常に良く
対応する点に着目し、各区間の中央値を抽出してその中
央値が近い絶対音程軸上の音程に同定するようにした。

また、第２の本発明は、同様にピッチ情報の中央値が音
響信号の意図する音程に近いことに基づいて、セグメン
テーションされた各区間のピッチ情報の中央値を中央値
抽出部によって抽出し、音程決定部によってその抽出さ
れた中央値が近い絶対音程軸上の音程にその区間の音程
を同定するようにした。

し実施例］ 以°下、本発明の一実施例を図面を参照しながら詳述す
る。

且鬼尿譜方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニット（ｃｐｕ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵ１及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開女匈し、主記憶装置３に
格納されているプログラムを実行してアナログ／デジタ
ル変換器７によってデジタル信号に変換された音響信号
を一旦補助記憶装置６に格納し、その後、これら音響信
号を上述のプロダラムを実行して楽譜データに変換して
必要に応じて表示装置５に出力するようになされている
。

次に、ＣＰＵＩが実行する音響信号を取り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
して分析周期毎にパワー情報を抽出し、その後ノイズ除
去や平滑化処理等の後処理を実行する（ステップＳＰＩ
、ＳＰ２＞。その後、ＣＰＵＩは、ピッチ情報について
は、その分布状況に基づいて絶対音程軸に対する音響信
号の音程軸のずれ量を算出し、得られたピッチ情報をそ
のずれ量に応じてシフトさせるチューニング処理を実行
する（ステップ５Ｐ３）。すなわち、音響信号を発生し
た歌唱者または楽器が有する音程軸と絶対音程軸との差
が小さくなるようにピッチ情報を修正する。

次いで、ｃｐｕｔは、得られたピッチ情報が同一音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分けるセグメ
ンテーションを実行し、また、得られたパワー情報の変
化に基づいてセグメンテーションを実行する（ステップ
ＳＰ４．５Ｐ５）。これら得られた両者のセグメント情
報に基づいて、ＣＰＵＩは、４分音符や８分音符等の時
間長に相当する基準長を算出してこの基準長に基づいて
再度セグメンテーションを実行する（ステップ５Ｐ６）
。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づきそのピッチ情報が最も
近いと判断でざる絶対音程軸上の音程にそのセグメント
の音程を同定し、さらに、同定された連続するセグメン
トの音程が同一か否かに基づいて再度セグメンテーショ
ンを実行する（ステップＳＰ７．５Ｐ８）。

その後、ＣＰＵＩは、チューニング後のピッチ情報を集
計して得た各セグメントについての音程の出現頻度と、
調に応じて定まる所定の重み付は係数との積和を求めて
この積和の最大情報に基づいて、例えば、ハ長調やイ短
調というように入力音響信号の楽曲の調を決定し、決定
された調における音階上の所定の音程についてその音程
をピッチ情報に基づいて見直して音程を確認、修正する
（ステップＳＰ９．５ＰＩＯ＞。次いで、ＣＰＵ１は、
最終的に決定された音程から連続するセグメントについ
て同一なものがあるが否が、また連続するセグメント間
でパワーの変化があるか否かに基づいてセグメンテーシ
ョンの見直しを実行し、最終的なセグメンテーションを
行なう（ステップ５Ｐ１１）。

このようにして音程及びセグメントが決定されると、Ｃ
ＰＵＩは、楽曲は１拍目から始まる、フレーズの最後の
音は次の小節にまたがらない、小節ごとに切れ目がある
等の観点から小節を抽出し、この小節情報及びセグメン
テーション情報から拍子を決定し、この決定された拍子
情報及び小節の長さからテンポを決定する（ステップ５
Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５Ｐ１４）。

豫丘皿定処ユ 次に、このような自動採譜方式における音程同定処理（
ステップＳＰ７参照）について、第１図のフローチャー
トを用いて詳述する。

ＣＰＵＩは、まずセグメンテーションによって得られた
セグメントのうち最初のセグメントを取り出し、次いで
、そのセグメント内にある全てのピッチ情報の中央値を
抽出する（ステップ５Ｐ２０．２１）。ここで、中央値
とは、当該セグメントのピッチ情報を大きさの順に並べ
たとき、そのデータ数が奇数の場合には、その中央のピ
ッチ情報の値であり、データ数が偶数の場合には中央の
２個のピッチ情報の平均値である。

その後、ＣＰＵＩは抽出された中央値が最も近い絶対音
程軸上の音程を当該セグメントの音程として同定する（
ステップ５Ｐ２２＞。なお、音響信号の各セグメントの
音程は、絶対音程軸上の半音ずつ異なるいずれかの音程
に同定される。ＣＰＵ１は、かかる処理がなされて音程
が同定されたセグメントが最後のセグメントか否かを判
別する（ステップ５Ｐ２３＞。その結果、処理が終了し
ていると、当該処理プログラムを終了し、処理が終了し
ていないと、次のセグメントを処理対象として上述のス
テップ２１に戻る（ステップ５Ｐ２４）。

このようなステップ５Ｐ２１〜２４でなる処理ループを
繰り返すことにより、全てのセグメントについてそのセ
グメント内のピッチ情報の中央値情報による音程同定が
実行される。

ここで、音程同定処理に中央値を利用するようにしたの
は、音響信号が揺らぎを有するとはいえ、歌唱者等が意
図する音程を中心として揺らぐと考えられ、中央値がそ
の意図する音程に対応すると考えられるためである。

第２図は、かかる処理による音程同定の一例を示すもの
であり、点線曲線ＰＩＴは音響信号のピッチ情報を示し
、縦方向の実線ＶＲはセグメントのきれ目を示している
。この例による各セグメントの中央値は横方向の実線Ｈ
Ｒで示しており、また、同定された音程は横方向の点線
ＨＰで示している。この第２図より明らかなように中央
値は絶対音程軸上の音程に対する偏差が少なく、良好に
同定できることが分かる。また、セグメントのきれ目前
後のピッチ情報が不安定な状態（例えば曲線部分Ｃ１及
びＣ２＞の影響を受けることなく音程を同定できる。

従って、上述の実施例によれば、各セグメントのピッチ
情報の中央値を抽出し、中央値が最も近い絶対音程軸上
の音程にそのセグメントの音程を同定したので、音程を
高精度に決定することができる。なお、音程同定に先立
ち、音響信号をチューニング処理しているので、かかる
方法によれば中央値は絶対音程軸上の音程い近い値をと
り、同定が非常にし易くなっている。

應ム実施」 なお、音程同定処理に用いるピッチ情報は、周波数単位
のＨｚで表わされているものであっても良く、また、音
楽分野で良く用いられているセント単位で表わされてい
るものであっても良い。

また、上述の実施例においては、第４図に示す全ての処
理をＣＰＵＩが主記憶装置３に格納されているプログラ
ムに従って実行するものを示したが、その一部または全
部の処理をハードウェア構成で実行するようにしても良
い。例えば、第３図との対応部分に同一符号を付した第
５図に示すように、音響信号入力装置８からの音響信号
を増幅回路１０を介して増幅した後、さらに前置フィル
タ１１を介してアナログ／デジタル変換器１２に与えて
デジタル信号に変換し、このデジタル信号に変換された
音響信号を信号処理プロセッサ１３が自己相関分析して
ピッチ情報を抽出し、また２乗和処理してパワー情報を
抽出してＣＰＵＩによるソフトウェア処理系に与えるよ
うにしても良い。

このようなハードウェア構成（１０〜１３）に用いられ
る信号処理プロセッサ１３としては、音声帯域の信号を
リアルタイム処理し得ると共に、ホストのＣＰＵＩとの
インタフェース信号が用意されているプロセッサ（例え
ば、日本電気株式会社製μＰ　Ｄ　７７２０）を適用し
得る。

し発明の効果］ 以上のように、本発明によれば、各セグメントの音程を
、セグメントのピッチ情報の中央値に基づいて同定する
ようにしたので、良好に音程を決定でき、楽譜データの
精度を一段と高めることができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかる音程同定処理を示す
フローチャート、第２図はかかる音程同定処理による一
例を示す路線図、第３図は本発明を適用する自動採譜方
式の構成を示すブロック図、第４図はその自動採譜処理
手順を示すフローチャート、第５図は自動採譜方式の他
の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。 第１図 一時間 第２図 第３図

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出する処理と、上記ピッチ情報及び又は上記パワー情報
   に基づいて上記音響信号を同一音程とみなせる区間に区
   分するセグメンテーション処理と、この区分された区間
   について上記音響信号の絶対音程軸上の音程を決定する
   音程同定処理とを少なくとも含み、上記音響信号を楽譜
   データに変換する自動採譜方法において、 上記音程同定処理が、 区分された上記各区間についてそのピッチ情報の中央値
   を抽出する処理と、抽出された中央値が最も近い絶対音
   程軸上の音程にその区間の音程を決定する処理とからな
   ることを特徴とする自動採譜方法。
2. （２）入力された音響信号波形の繰返し周期であり、音
   高を表すピッチ情報及び上記音響信号のパワー情報を抽
   出するピッチ・パワー抽出手段と、上記ピッチ情報及び
   又は上記パワー情報に基づいて上記音響信号を同一音程
   とみなせる区間に区分するセグメンテーション手段と、
   この区分された区間について上記音響信号の絶対音程軸
   上の音程を決定する音程同定手段とを一部に備えて上記
   音響信号を楽譜データに変換する自動採譜装置において
   、上記音程同定手段を、 上記セグメンテーション手段によって区分された上記各
   区間についてピッチ情報の中央値を抽出する中央値抽出
   部と、抽出された中央値が最も近い絶対音程軸上の音程
   にその区間の音程を決定する音程決定部とで構成したこ
   とを特徴とする自動採譜装置。