JPH01219622A - 自動採譜方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 し産業上の利用分野］ 本発明は、歌唱音声やハミング音声や楽器音等の音響信
号から楽器データを作成する自動採譜方法及び装置に関
し、特に音響信号の音程軸と絶対音程軸とを一致させる
チューニング処理に関するものである。

［従来の技術］ 歌唱音声やハミング音声や楽器音等の音響信号は、基本
波形の繰返し波形となっている。このような音響信号を
楽譜データに変換する自動採譜装置においては、まず、
音響信号における基本波形の繰返し周波数（以下、ピッ
チ周波数と呼び、これに対応した周期をピッチ周期と呼
び、これらを合せた概念をピッチと呼ぶ）を分析周期毎
に抽出し、その後、このピッチ周波数に基づいて、同一
音程と考えられる区間（セグメント）やそのセグメント
における音程等を定めていた。

［発明が解決しようとする課題］ ところで、音響信号、特に人によって発声される歌唱音
声やハミング音声の音程は、絶対的な音程に対してずれ
がある。そのため、音響信号から得られたピッチ情報に
基づいて絶対的な音程軸にその音程を同定しようとして
もそのずれによって適切に同定し得ないことも生じる。

このずれが大きければ大きい程、音程軸に同定した音程
が不正確になり、最終的に作成された楽譜データの精度
は低いものとなっていた。

本発明は、以上の点を考慮してなされたもので、音響信
号の音程軸と絶対音程軸とのずれを検出してピッチ情報
をそのずれ量に応じて修正して以降の処理においてより
良好に楽譜データを作成させることができるようにした
自動採譜方法及び装置を提供しようとするものである。

［課題を解決するための手段］ かかる課題を解決するため、第１の本発明においては、
入力された音響信号をデジタル信号に変換するアナログ
／デジタル変換手段と、所定の処理手順を記憶している
記憶手段と、記憶手段に記憶されている処理手順を実行
する制御手段とを備え、デジタル信号に変換された音響
信号からそのピッチ情報及びパワー情報を抽出し、抽出
されたピッチ情報及び又はパワー情報から音響信号を同
一音程とみなせる区間に区分し、ピッチ情報から各区間
の音響信号の絶対音程軸にそった音程を決定し、ピッチ
情報に基づいて音響信号の調を決定し、区間情報に基づ
いて音響信号の拍子及びテンポを決定１し、音響信号を
楽譜データに変換する自動採譜方法において、抽出され
たピッチ情報を集計して絶対音程軸周りのピッチ情報の
分布を検出し、検出されたピッチ分布情報に基づいて音
響信号の音程軸と絶対音程軸とのずれを検出し、検出さ
れたずれに応じて抽出されたピッチ情報を絶対音程軸と
の差が最小となるように移動修正するようにした。

また、第２の本発明においては、入力された音響信号を
デジタル信号に変換するアナログ／デジタル変換手段と
、デジタル信号に変換された音響信号からそのピッチ情
報及びパワー情報を抽出するピッチ・パワー抽出手段と
、抽出されたピッチ情報及び又はパワー情報から音響信
号を同一音程とみなせる区間に区分するセグメンテーシ
ョン手段と、ピッチ情報から各区間の音響信号の絶対音
程軸にそった音程を決定する音程同定手段と、ピッチ情
報に基づいて音響信号の調を決定する調決定手段と、区
間情報に基づいて音響信号の拍子及びテンポを決定する
拍子・テンポ決定手段とを備え、音響信号を楽譜データ
に変換する自動採譜装置において、抽出されたピッチ情
報を集計して絶対音程軸周りのピッチ情報の分布を検出
するピッチ分布検出手段と、検出されたピッチ分布情報
に基づいて音響信号の音程軸と絶対音程軸とのずれを検
出する音程ずれ検出手段と、検出されたずれに応じて抽
出されたピッチ情報を絶対音程軸との差が最小となるよ
うに移動修正するピッチ情報修正手段とを備えた。

［作用］ 第１の本発明においては、音響信号の音程軸と絶対音程
軸との差を修正して区間の決定及び音程の決定等の処理
に進むべく、まず、音響信号から得られたピッチ情報の
絶対音程軸周りの分布を検出して音響信号が有する音程
軸情報を捕らえ易く処理し、この分布を統計的は処理し
て絶対音程軸に対する音響信号の音程軸のずれを検出し
、この検出されたずれに応じて抽出されたピッチ情報を
絶対音程軸との差が最小となるように移動修正する処理
を設けて最終的に得られる楽譜データの精度を向上させ
るようにした。

また、第２の本発明においては、ピッチ・パワー抽出手
段によって抽出されたピッチ情報をピッチ分布検出手段
によって集計して絶対音程軸周りのピッチ情報の分布を
検出し、検出されたピッチ分布情報に基づいて音程ずれ
検出手段によって音響信号の音程軸と絶対音程軸とのず
れを検出し、検出されたずれに応じてピッチ情報修正手
段によって抽出されたピッチ情報を絶対音程軸との差が
最小となるように移動修正して音響信号の音程軸と絶対
音程軸とを合せ込んで最終的に得られる楽譜データの精
度を向上させるようにした。

［実施例］ 以下、本発明の一実施例を図面を参照しながら詳述する
。

且肱採困方式 まず、本発明が適用される自動採譜方式について説明す
る。

第３図において、中央処理ユニット（ＣＰＵ）１は、当
該装置の全体を制御するものであり、バス２を介して接
続されている主記憶装置３に格納されている第４図に示
す採譜処理プログラムを実行するものである。バス２に
は、ＣＰＵＩ及び主記憶装置３に加えて、入力装置とし
てのキーボード４、出力装置としての表示装置５、ワー
キングメモリとして用いられる補助記憶装置６及びアナ
ログ／デジタル変換器７が接続されている。

アナログ／デジタル変換器７には、例えば、マイクロフ
ォンでなる音響信号入力装置８が接続されている。この
音響信号入力装置８は、ユーザによって発声された歌唱
やハミングや、楽器から発生された楽音等の音響信号を
捕捉して電気信号に変換するものであり、その電気信号
をアナログ／デジタル変換器７に出力するものである。

ＣＰＵＩは、キーボード入力装置４によって処理が指令
されたとき、当該採譜処理を開始し、主記憶装置３に格
納されているプログラムを実行してアナログ／デジタル
変換器７によってデジタル信号に変換された音響信号を
一旦補助記憶装置６に格納し、その後、これら音響信号
を上述のプログラムを実行して楽譜データに変換して必
要に応じて表示装置５に出力するようになされている。

次に、ＣＰＵＩが実行する音響信号を取り込んだ後の採
譜処理を第４図の機能レベルで示すフローチャートに従
って詳述する。

まず、ＣＰＵＩは、音響信号を自己相関分析して分析周
期毎に音響信号のピッチ情報を抽出し、また２乗和処理
してパワー情報を抽出し、その後ノイズ除去や平滑化処
理等の後処理を実行する（ステップＳＰＩ、５Ｐ２）。

その後、ＣＰＵＩは、ピッチ情報については、絶対音程
軸に対する音響信号のずれ量を算出し、得られたピッチ
情報をそのずれ量に応じてシフトさせるチューニング処
理を実行する（ステップ５Ｐ３）。すなわち、音響信号
を発生した歌唱者または楽器の音程軸と絶対音程軸との
差が小さくなるようにピッチ情報を修正する。

次いで、ＣＰＵＩは、得られたピッチ情報が同−音程を
指示するものと考えられるピッチ情報の連続期間を得て
、音響信号を１音ごとのセグメントに切り分ける処理（
以下、セグメンテーションと呼ぶ）を実行し、また、得
られたパワー情報の変化に基づいてセグメンテーション
を実行する（ステップＳＰ４．５Ｐ５）。これら得られ
た両者のセグメント情報に基づいて、ＣＰＵＩは、４分
音符や８分音符等の時間長に相当する基準長を算出して
この基準長に基づいてより詳細にセグメンテーションを
実行する（ステップ５Ｐ６）。

ＣＰＵＩは、このようにしてセグメンテーションされた
セグメントのピッチ情報に基づき、そのピッチ情報が最
も近いと判断できる絶対音程軸上の音程にそのセグメン
トの音程を同定し、さらに、同定された連続するセグメ
ントの音程が同一か否かに基づいて再度セグメンテーシ
ョンを実行する（ステ・ンプＳＰ？、５Ｐ８）　＝ その後、ＣＰＵＩは、ピッチ情報を集計して得た音程の
出現頻度と、調に応じて定まる所定の重み付は係数との
積和を求めてこの積和の最大情報に基づいて、例えば、
ハ長調やイ短調というように入力音響信号の楽曲の調を
決定し、決定された調における音階上の所定の音程につ
いてその音程をピッチ情報について見直して音程を確認
、修正する（ステップＳＰ９．５Ｐ１０）。次いで、Ｃ
ＰＵＩは、最終的に決定された音程から連続するセグメ
ントについて同一なものがあるか否か、また連続するセ
グメント間でパワーの変化があるか否かに基づいてセグ
メンテーション必見直しを実行し、最終的なセグメンテ
ーションを行なう（ステップ５Ｐ１１）。

このようにして音程及び音長（セグメント）が決定され
ると、ＣＰｔＪｌは、楽曲は１拍目から始まる、フレー
ズの最後の音は次の小節にまたがらない、小節ごとに切
れ目がある等の観点から小節を抽出し、この小節情報及
びセグメンテーション情報から拍子を決定し、この決定
された拍子情報及び小節の長さからテンポを決定する（
ステップ５Ｐ１２．５Ｐ１３）。

そして、ＣＰＵＩは決定された音程、音長、調、拍子及
びテンポの情報を整理して最終的に楽譜データを作成す
る（ステップ５ＰＬ４）。

土主二三之グ 次に、このような処理を実行して採譜を行なう自動採譜
方式におけるチューニング処理（ステップＳＰ３参熊）
について、第１図の詳細フローチャートを用いて詳述す
る。

ＣＰＵＩは、まず、周波数の単位であるＨｚで表わされ
ている入力ピッチ情報を、音階の単位であるセント（基
準音程に対するある音程の周波数比を、２を底とする対
数で表現し、１２００を乗算したもの）で表わされたピ
ッチデータに変換する（ステップ５Ｐ２０）。なお、１
００セントの差が半音の音程差に相当する。

その後、ＣＰＵＩは、セント値の下２桁が同一なピッチ
データ毎に集計して第２図に示すようなヒストグラムを
作成する（ステップ５Ｐ２１）。

すなわち、セント値が０．１００．２００、・・・のデ
ータを同一なものとして集計し、セント値が１．１０１
．２０１、・・・のデータを同一なものとじて集計し、
セント値が２．１０２．２０２、・・・のデータを同一
なものとして集計し、かかる集計をセント値が９９．１
９９．２９９、・・・のグループのデータについてまで
行なう。かくして、第２図に示すような１セントずつ異
なる全幅が１００セントのピッチ情報についてのヒスト
グラムが得られる。

なお、同一なものとし゛ζ集計する１００セントする異
なるピッチ情報は半音の整数倍だけ異なるものであり、
また、音響信号は半音及び全音を音程差の基準としてい
るので、得られたヒストグラムは−様な分布を呈するの
ではなく、音響信号を発声した歌唱者や音響信号を発生
した楽器が有する音程軸に対応したセント値近傍に頻度
のピークを持つものとなる。

次いで、ＣＰＵＩは、パラメータｉ、ｊをＯクリアし、
パラメータＭＩＮを十分に大きい値Ａにセットする（ス
テップ５Ｐ２２＞。その後、ＣＰＵ１は、得られたヒス
トグラム情報を用いてｉセントを中心とした統計上の分
散ＶＡＲを演算する（ステップ５Ｐ２３＞。その後、演
算された分散ＶＡＲがパラメータＭＩＮより大きいか否
かを判別し、小さい場合にはパラメータＭＩＮをその分
散値ＶＡＲに更新し、パラメータｊを値ｉに更新してス
テップ５Ｐ２６に進み、他方、大きい場合には更新動作
することなく直ちにステップ５Ｐ２６に進む（ステップ
５Ｐ２４〜５ｐ２６＞。その後、ＣＰｔＪｌはパラメー
タｉが値９９か否かを判断し、異なる場合にはパラメー
タｉをインクリメントして上述のステップ５Ｐ２３に戻
る（ステップ５Ｐ２７＞。

このようにして、得られたピッチ情報の集計情報から分
散が最も小さくなるセント情報（ｊ）が得られる。ここ
で、このセント情報周りの分散が最も小さいので、音響
信号の中心とする半音毎のセント群（ｊ、１００＋ｊ、
２００＋ｊ、・・・）と判断することができる。す６わ
ち、歌唱者または楽器の音程軸を表わしていると捕らえ
ることができる。

そこで、ＣＰＵＩは、このセント情報骨だけずらして音
響信号の音程軸を絶対音程軸に合せ込む。

まず、ＣＰＵＩは、パラメータｊが５０セントより小さ
いか否かを判断して、すなわち、高音及び低音のどちら
の絶対音程軸に近いかを判断し、高音側に近い場合には
、すべてのピッチ情報を得られたセントｊ分だけ高音側
にずらして修正し、低音側に近い場合には、すべてのピ
ッチ情報を得られたセントｊ分だけ低音側にずらして修
正する（ステップ５Ｐ２８〜３０）。

かくして、音響信号の音程軸がほぼ絶対音程軸に合せ込
まれ、このようにしたピッチ情報が以降の処理に用いら
れる。

従って、上述の実施例によれば、求められたピッチ情報
をセグメンテーションや音程同定処理等にそのまま適用
するのではなく、半音毎のピッチ情報を同軸上に集計し
、その集計情報から分散をパラメータとして絶対音程軸
とのずれ分を検出し、そのずれ分だけ音響信号の音程軸
を修正して以降の処理に利用するようにしたので、音響
信号源がいかなるものであろうと楽譜データとしてより
正確なものを得ることができる。

なお、上述の実施例においては、自己相関分析によって
得られたピッチ情報をチューニング処理するものを示し
たが、ピッチ情報の抽出方法はこれに限られないことは
勿論である。　　２また、上述の実施例においては、音
響信号の音程軸を分散を用いて得るものを示したが、他
の統計的手法を用いて検出するようにしても良い。

さらに、上述の実施例においては、チューニング処理で
統計処理するピッチ情報がセント単位のものを示したが
、単位系はこれに限られないことはいうまでもない。

さらにまた、上述の実施例においては、第４図に示す全
ての処理をＣＰＵＩが主記憶装置３に格納されているプ
ログラムに従って実行するものを示したが、その一部ま
たは全部の処理をハードウェア構成で実行するようにし
ても良い。例えば、第３図との対応部分に同一符号を付
した第５図に示すように、音響信号入力装置８からの音
響信号を増幅回路１０を介して増幅した後、さらに前置
フィルタ１１を介してアナログ／デジタル変換器１２に
与えてデジタル信号に変換し、このデジタル信号に変換
された音響信号を信号処理プロセッサ１３が自己相関分
析してピッチ情報を抽出し、また２乗和処理してパワー
情報を抽出してＣＰＵ１によるソフトウェア処理系に与
えるようにしても良い。このようなハードウェア構成（
１０〜１３）に用いられる信号処理プロセッサ１３とし
ては、音声帯域の信号をリアルタイム処理し得ると共に
、ホストのＣＰＵＩとのインタフェース信号が用意され
ているプロセッサ（例えば、日本電気株式会社製μＰ　
Ｄ　７７２０）を適用し得る。

［発明の効果］ 以上のように、本発明によれば、ピッチ情報を、音響信
号の音程軸と絶対音程軸とのずれ分だけ修正して以降の
処理に供するようにしたので、音響信号源がいかなるも
のであろうと楽譜データとしてより正確なものを得るこ
とができる。

【図面の簡単な説明】

第１図は本発明の一実施例にかかるチューニング処理を
示すフローチャート、第２図はピッチ情報の分布状況を
示すヒストグラム、第３図は本発明を適用する自動採譜
方式の構成を示すブロック図、第４図はその自動採譜方
式の処理手順を示すフローチャート、第５図は自動採譜
方式の他の構成を示すブロック図である。 １・・・ＣＰＵ、３・・・主記憶装置、６・・・補助記
憶装置、７・・・アナログ／デジタル変換器、８・・・
音響信号入力装置。

Claims (2)

【特許請求の範囲】
1. （１）入力された音響信号をデジタル信号に変換するア
   ナログ／デジタル変換手段と、所定の処理手順を記憶し
   ている記憶手段と、上記記憶手段に記憶されている処理
   手順を実行する制御手段とを備え、デジタル信号に変換
   された上記音響信号からそのピッチ情報及びパワー情報
   を抽出し、抽出されたピッチ情報及び又はパワー情報か
   ら上記音響信号を同一音程とみなせる区間に区分し、上
   記ピッチ情報から上記各区間の上記音響信号の絶対音程
   軸にそった音程を決定し、上記ピッチ情報に基づいて上
   記音響信号の調を決定し、上記区間情報に基づいて上記
   音響信号の拍子及びテンポを決定し、上記音響信号を楽
   譜データに変換する自動採譜方法において、 抽出された上記ピッチ情報を集計して絶対音程軸周りの
   ピッチ情報の分布を検出し、検出されたピッチ分布情報
   に基づいて上記音響信号の音程軸と絶対音程軸とのずれ
   を検出し、検出されたずれに応じて抽出された上記ピッ
   チ情報を絶対音程軸との差が最小となるように移動修正
   することを特徴とする自動採譜方法。
2. （２）入力された音響信号をデジタル信号に変換するア
   ナログ／デジタル変換手段と、デジタル信号に変換され
   た上記音響信号からそのピッチ情報及びパワー情報を抽
   出するピッチ・パワー抽出手段と、抽出されたピッチ情
   報及び又はパワー情報から上記音響信号を同一音程とみ
   なせる区間に区分するセグメンテーション手段と、上記
   ピッチ情報から上記各区間の上記音響信号の絶対音程軸
   にそった音程を決定する音程同定手段と、上記ピッチ情
   報に基づいて上記音響信号の調を決定する調決定手段と
   、上記区間情報に基づいて上記音響信号の拍子及びテン
   ポを決定する拍子・テンポ決定手段とを備え、上記音響
   信号を楽譜データに変換する自動採譜装置において、 抽出された上記ピッチ情報を集計して絶対音程軸周りの
   ピッチ情報の分布を検出するピッチ分布検出手段と、検
   出されたピッチ分布情報に基づいて上記音響信号の音程
   軸と絶対音程軸とのずれを検出する音程ずれ検出手段と
   、検出されたずれに応じて抽出された上記ピッチ情報を
   絶対音程軸との差が最小となるように移動修正するピッ
   チ情報修正手段とを備えた自動採譜装置。