JPS6072087A - 楽譜認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 この発明は楽譜の認識に必要なヒストグラムの作成、ピ
ークの切り出し、マツチング等の処理？それぞれＩＪｊ
用のプロセンサを用いることによって高速に並列して行
なうことが可能な楽譜認識装置に関する。

楽譜の認識は、ルーコード分の濃度データを光学的に読
取り、横セ１１方向の濃度分布（Ｘヒストグラム）をめ
た後に縦軸方向の濃度分布（Ｙヒストグラム）に変換し
、縦軸方向の濃度分布の最大値に対する所定率をスレン
ショルドとして定め、このスレンショルトで横軸方向の
ｅ　度分布ヲカント（ゲタＩ）Ｊ　’Ｊ　）することに
より楽譜の−Ｊｉ線の濃度影響を除去すると共に、五線
の幅の所定率によりカントされた横軸方向の濃度分布か
らピークイ）装置を検出しくピーク切出し）、ピーク位
置の面積とピーク位置の左右所定幅の面積との比率から
黒丸のγＹ符（四分音符、残分音符等）及び小節線を識
別する（１次元マツチング）ようにし、楽譜記号（＃、
し、−等）及び白丸のｉ’ｌ？、Ｔ　（全音符、三方８
名１）の認識には、例えば対象記号等に対して１°°及
び“−１°″のデータで成る辞書ｒ゛と、“１゛°及び
“０°′のデータで成る辞書ｆ°とを用意しておき、認
識対象領域からマンチングの対象記時を“・ｌ　”及び
Ｏ″のデータ名で抽出すると共に、ｆＸ、３＝ｂ又はｆ
’Ｘｇ＝ｃをめ、認識対象菌１歳の°゛じ領域をβとし
、た場合、Ｓｆｇ＝　ｂ＃又はＳｒｇ＝ｃＱ７なる式で
類似度をめる（２次元マツチング）ようにしたものであ
る。

第１図はこのような一連の処理を示すフロー壬ヤードで
あり、従来ルーコートに対して一連の処理を終１′シて
から次のレコー１の処理を行なっており楽譜の認識に多
くの１１ν間を要していた。そこで、行処理をそれぞれ
専用のプロセンサを用いることによって、１ｒ列処理す
れば高速の楽譜認識が１１目赴となる。よって、この発
明の目的は楽譜の認識に必要な各処理をそれぞれ専用の
プロセンサで高速に並列処理する楽譜認識装置を提供す
ることにある。

以下にこの発明を説明する。

第２図はこの発明の実施例の概略構成を示す図であり、
楽譜のルコードごとの濃度データを読み取る光学スキャ
ナ１と、濃度データの横軸方向の濃度分！１をめるＸヒ
ストグラム作成専用プロセッサ２と、縦軸方向の濃度分
布をめるＹヒストグラ１、作成ｒ／、ｆ用プロセッサ３
と、Ｘヒスドグラド作成ｔｔ／用プロセッサ２又はＹヒ
スＩ・グラム作成専用プロセンサ３によって作成された
濃度分布から一定値を差し引いて新しい濃度分布とする
ゲタリノリ専用プロセンサ４と、濃度分４１のピーク位
置を検出干るピーク切出し専用プロセンサ５と、ピーク
ジノ出し「」♂用プロセッサによって切り出されたピー
ク位置・１・ｊ近の濃度分布から黒丸のγを符（四分１
′？符、残分音符等）及び小節線を認識する１次元マツ
チング専用プロセッサ６と、楽譜記号（＃。

ｂ雰、）及び白丸の音符（全音省、三方音符）を認識す
る２次元マンチング専用プロセンサ７と、光学スキャナ
ｌと専用プロセッサ全体を制御するメインプロセンサ８
とによって構成され、−律の処理を同時平行し、て行な
うことによって高速な楽譜１認識か可能なように１〜だ
ものである。

このような構成において、先ずメインプロセッサ８の指
示によって光学スキャナ１は第３図（Ａ）に示すように
楽、、ｆｆ　９の最初のレコードつまりレコ−１・ｌの
濃ｌＷデータを読み珈るとこれをＸヒストグラ１、作成
専用プロセンサ２に送り、次のレコ−Ｉ・つまりレコ−
１・２の濃度データの読み取りを始める。

×ヒスＩ・グラム？′１″成専用プロセンサ２はレコー
ドＪ、　＋７）濃度データから第２図（Ｂ）に示すよう
に横＋１１１＋方向Ｘの濃度分布曲線（Ｘヒストグラム
）１０をめる。この場合、第３図（八）にボすようなざ
将のある場所間、　Ｎ２では、Ｈ符の打針の濃度データ
がその＋１１＋に沿って累積されることになるので、同
図（Ｂ）に；ｉｉｅ　−ｆ　！ｔｎ　＜濃度データのピ
ークイｉｉ　Ｐ　Ｉ　、　Ｐ　２　、　Ｐ　３として出
力されることになる。ＸヒスＩ・グラム作成専用プロセ
ンサ２はこのようにしてレコードｌのＸヒストグラムｌ
Ｏをめると、これをＹヒストグラム作成専用プログセッ
サ２及びゲタ切り専用プロセンサ４に送り、既に光学ス
キャナ１で読み取られているレコード２のＸヒストグラ
ムを作成し始める。

Ｙヒストグラム作成専用プロセッサ３はレコード１のＸ
ヒストグラム１０を第３図（Ｃ）に示すように縦軸方向
Ｙの濃度分布曲線（Ｙヒストグラム）ＩＩに変換する。

すなわち、第３図（Ｂ）のＸヒストグラム１０の（１ス
（をそれぞれ横軸方向に累積し、その累積動作を順次−
■三方（又はド方）に移動して行くことにより、同図（
Ｃ）に示すようにＸヒストグラム１０に対するＸヒスト
グラム１１か得られる。次にＹヒストクラム作成専用プ
ロセッサ３はこのＹヒストグラム、、１１の最大４ｆｊ
　Ｘ　ｍａのたとえば８０χをスレンショルトｘｏとし
、これに対応する墨Ｙ０をめてこれをゲタ切り専用プロ
セ５．す４に送った後。

既にＸヒストグラム作成専用プロセ、す２で作成されて
いるレコード２のＸヒストグラムのＹヒスｉ・グラムを
作成し始める。

ゲタ切り専用プロセッサ４はＸヒストグラム作成専用プ
ロセンサ２の作成したレコード１のＸヒストグラムｌＯ
からＹヒストグラム作成専用プロセ、す３のめた量Ｙ０
を第３図（Ｄ）に示すようにカフ・トする。このことに
よっ−（、五線の濃度データ分か除去された音符（休符
を含む）や小節線で５９の音楽情報のみの濃度分布曲線
１２が第３１図（Ｅ）のようにめられる。これは、楽譜
９の濃度分布を第３１Δ（Ａ）、（Ｂ）のようにして縦
方向の累積値でめた場合、！ｊ°線は常に楽譜９の走査
範囲にあり、その１１線の濃度データが常に累積されて
楽譜９の濃度分４ｊとして表われることを考慮したもの
てあり、そのｈ−線の濃度データ分だけを全体から除去
することにより、五線上に記載されている音′ｌ、７や
小ｒｒＪ１線等の音楽情報のみの濃度データを抽出する
ようにしたものである。クータリノリ専用ブロセ・ンサ
４はこのようにしてレコードｌの音楽情報のみの濃度分
布曲線１２を作成すると、これをピーク切出し専用プロ
セッサ５．１次元マツチング専用プロセッサ６及び２次
元専用プロセンサ７に送った後、レコード２に対する同
様の処理を開始する。

ピーク切出し専用プロセッサ５は、−レコード１の楽譜
情報のみの濃度分布曲線１２を、五線の幅のたとえば８
０％の高さｘＩでその大小を比較することにより、第４
図に示すように濃度分布曲線１２のピークＰＣ，及びＰ
Ｏ２を検出する。このことによって￥ｒ符の打針又は小
節線が検出されたことになり、ピーク切出し専用プロセ
、す５は、これらのピークの位置を１次元マンチング専
ＩＴ、Ｉプロセッサ６に送った後、レコード２に対する
同様の処理を開始する。

■次元マツチング専用プロセンサ６は、ゲタ切り＋Ｊ、
ｊ川プロ用ッサ４の作成したレコー１゛ｌの音楽情報の
みの濃度分布曲線１２のうちピークジノ出し専　・用プ
ロセッサ５で検出されたピークを持つ部分について、そ
の部分の濃度パターンから黒丸の音符及び小＃線を認識
する６まず、■次元マ・ンチング専用プロセッサ６はピ
ークＰＣ１及びＰＯ２についてその中心から左右に対し
て所定＠Ｄ＋の範囲内にある分布曲線の面積Ｓ２を第５
図（Ａ）、（Ｂ）のようにしてそれぞれめる。さらに、
範囲Ｄｌからそれぞれ左右外側に距＃ｄだけ離れた位４
から、距Ｍ　０７の範囲内にある分布曲線の面積Ｓ１及
びＳｊをそれぞれめる。このようにして、ピークｐｃ、
　、　ＰＯ２に対する濃度分布曲線の中央部Ｄ１の面積
Ｓ２　と、中心から所定圧１１１（ｔＤ　４　ＤＩ）の
範囲り、にある濃度分布曲線の面積Ｓ、、Ｓ：Ｉ　とを
メル。ソシテ、面積Ｓ２トＩＩ’ｉ口Ｊ’ｊ（Ｓｔ　＋
ｓ３．）との大小を比較し。

ｓ、　＋　ＳＡ＞　ｓ、　ノ２０％　−・−・−（１）
の場合には当該ピーク位置にド丁符があると認識し、 Ｓ、＋３３　≦８２の２０ｚ・・・・・・・・・（２）
の場合には当該ピーク位置が小節線であると認識する。

これは小節線の近傍には符頭他の音楽情報が存在するこ
とがなく、音符の近傍には特定ゆ特恵等の音楽情報が存
在することに基づくものである。なお、第５図（Ａ）は
５Ｉ＝Ｓ３＝Ｏで上記（２）式を満足するので小節線の
場合を示し、同ｒＡ（Ｂ）は上記（１）式を満足するの
で音符があると認識される。以Ｈのようにして音符と小
節線とを識別すると、１次元マツチング専用プロセンサ
６は第６図（Ａ）に示すように音符の符頭Ｈ及び打針Ｆ
を含み領域に長形状の読出用ウィンドＷを設定し、この
ウィンドＷ内の横軸方向の濃度分布を同図（Ｂ）に示す
ようにめると共に、同図（Ｇ）に示すような縦軸方向の
濃度分布をめる。ここにおいて、種々の音符（四分音符
、へ分音符、付点四分音♀″Ｊ等）の横軸方向の濃度分
布曲線及び縦軸方向の谷濃度分４月１１１はｔめ１次元
マンチング専用プロセ、す６のメモリ内の辞書に登録さ
れており、この辞書のデータと第６図（Ａ）　、　（（
１：）のようにしてめられた音符の各濃度データとを比
較し、第６図（Ａ）、（Ｂ）の濃度データがどの音符に
最も類似しているかをｒｌ＋断する。なお、三方音符の
場合には、打針部分がピーク９ノ出し専用ブロセ・ンサ
５によつて検出されこの１次元マツチング専用プロセン
サ６の処理の対象となるが符頭部分が濃度データとして
は鮮明にｆｌ）られないので認識不可とし、次の２次元
マツチング専用プロセンサ７で処理する。

このようにして、１次元→ッチング専用プロセッサ６は
レコードｌの黒丸の音符及び小節線を認識した後、レコ
ード２に対する同様の処理を開始する。

２次元マツチング専用プロセンサ７は　ゲタ切り専用プ
ロセンサ４の作成したレコード１の音楽情報のみの濃度
分布曲線１２のうち、ピーク切出しＩ１７川プロセンサ
５で検出されない部分、つまり＃、ｂ等の楽譜記号及び
全音符と、１次元マツチング専用プロセンサ６では認識
できない７４分音符とを認識する。

まず＃、シ等の楽譜記号及び全音符の場合には２軟元マ
ンチング専用プロセ、す７は第７図に示ずようなＩｊ−
ｔＪａ等を消去した画像エリア１３からマ・ンチングを
行なうための対象物（この例では＃）をジノ出すための
ジノ出し範囲１４を定め、切出し範囲１４で定められた
切出し画像をマツチングを行なうエリア１５に移動する
。なお、このマツチングエリア１５は切出し画像よりも
少し大きくなっている。そして、別に２次元マンチング
専用プロセ、す７のメモリ内に予め用意しておいたマツ
チング川の辞書を、マツチングエリア１５内で動かして
両者のマツチングを行なうようにしている。

ここにおいて、７ｔＩｊＢ図（Ａ）に示す画像（＃）を
、辞書に登録されている同図（Ｂ）に示すような記号（
−）とマ・ンチングを行なう場合、その形状の異なる部
分はｐ及びＱにおいて顕著である。そして、画像に関し
ては第９図（Ａ）に示すように画像部分を“１″とし、
その他の領域を“０°°とすると共に、辞書には第９図
（Ｂ）に示すような画像部分をｌ”として周囲を全て０
゛°とするデータと、同図（Ｃ）に示すように画像部分
を“１′′として周囲を全て“−１″とするデータとを
用意しておき、第８図（Ａ）の２部分と同図（Ｂ）のＱ
部分とを論理演算により比較するようにしている。すな
わち、第９図（Ａ）に示すｐ、、ｐ、と同図（８）に示
すＱ＋　＋’　Ｑ３及び同図（Ｃ）に示すＱ２．Ｑ４と
の画素データ毎の論理積をめ、後述する類似度からその
積ｆ〆ｉを減算するようにして類似程度を判断するよう
にしている。つまり、第９図（Ａ）と（Ｂ）どの場合に
は、　Ｐ１×ＱＩ＋Ｐ２×Ｑ３＝０であるから類似度に
影響はない。これに対して、第９図（Ａ）ト（Ｃ）との
場合には、Ｐ、ＸＱ２＋Ｐ、　Ｘ　Ｑ４＝−６であるか
ら類似度から「６」を減算し、その減算値を類似度とす
る。したがって、前記の場合には画像が辞書より大きく
ても類似度（−は変化かなく、形状の違いが評価されな
い。これに対し、後者の’ｔ）合には画像が大きいと七
の分だけ類（μ度から差苦に基つ〈値が減算されるので
、辞書との違いが強調され−Ｃ評価されることになる。

ここで、第９図（Ａ）の画像をｇとし、第９図（Ｂ）に
示すような゛′ｌパ及び０°゛のデータの記ｔａで成る
辞書をｆとし、同図（Ｃ）に示すような１”及び−１“
°のデータで成る辞書をｒ′とした場合、　ｆＸｇによ
る＃のマツチング方式では、＃と＃で高い類似度を得、
＃と鵡では形状の差が現われる。これにより＃との区別
ができる。これに対し、ｆ’Ｘｇのマッシング方式では
、＃と＃において画像ｇのずれに敏感となり、類似度は
低く、＃と−の類似度と同じになり、＃と鵡の区別かし
にくい。また、ｌ：Ｉのマツチングにおいて、　ｆＸｇ
のマツチングでは−と＃で−は＃に毛なってしまい、類
似度が高くなり、−と−の類似度と同りになり、＃と−
の区別ができない。これに大して、ｆ’Ｘｇのマツチン
グ方式においては、−と＃で形状の違いが強調されて類
似度が小さくなるので、＃との区別ができるのである。

次に、類１９度の９１算方法を説明する。第１０図に示
すように対象画像ｇの黒の部分を“じとし、白の部分を
“０゛°とし、黒（“１゛）の総、−１を！とすると、
記号＃については ｆＸｇ　＝　ｂ　・・・・・・・・・　（３）の辞書を
用い、類似度Ｓ４ｇを Ｓ、ｇ、＝ｂ／、ｆ　Ｘ　１００　（％〕　・・・叫・
・　（４）でめる。そして、記号＃以外の記号、たとえ
ばす、−等の楽譜記号に関しては ｆ“Ｘｇ＝ｃ　・・・・・・・・・　（５）を用い、そ
の類似度Ｓｒｇを Ｓ　ｒ　ｇ＝　ｃ／　（！　Ｘ　ｌ　００　（％〕・・
・・旧・・（６）なるλ１算でめるようにしている。な
お、上記画像と辞書とのマツチングは構成画素毎に行な
うようにしているので、結局上記（３）及び（５）式は
画素データをＧ（ｉ、ｊ’ｌ及びＦ（ｉ、ｊ）とすると
、次の式のようになる。

ｆＸｇ　−ΣΣＦ（ｉ、ｊ）拳Ｇ（ｉ、ｊ）　・・・・
・・　（７）Ｊ ｆ’Ｘｇ−Σ′ｊ、Ｆ’（ｉ、ｊ）・Ｇ（ｉ、ｊ）　・
旧・・（８）Ｊ 一方、三方子ｆ符の認識は次のようにして行なう。すな
わち、」−述した１次元マツチング専用プロセンサ６に
おいて符頭が不鮮明で認識下ｎ丁の場合には、二″分音
符の可能性があるので２次元マツチング専用プロセッサ
７は第１１図に示すように打針の左右のエリア２１及び
２２に切出しエリアを設ける。そして、左右のエリア２
１及び２２毎に白丸の辞書データを」二から下に向って
動かすことにより、前述した類似度を計算する。この場
合、辞書データは０，０の２つで行なうようにする。上
述の類似度の計算から三方音符等の判定を行なうが、０
は五線間でマツチングが正しいか否かを判断し、Ｏは五
線上でマツチングが正しいか否かを判断する。このよう
にして、２次元マツチング専用プロセンサ７はレコード
ｌの楽譜記号及び白丸の音符を認識した後、レコード２
に対する同様の処理を開始する。

以」−のような各専用プロセッサの処理のタイミングを
メインプロセンサ８は制御しており、全体のフローチャ
ートは第１２図に示すように各専用プロセンサは同時平
行して処理を行なうことになる。ただし、各専用プロセ
ッサはそれぞれｌ処理前の専用プロセッサの結果を用い
るから、ｉ１３図のタイムチャートに示すように例えば
レコードＨについて注目すればＸヒストグラム作成専用
プロセッサ２の処理を示す同図（Ａ）から２次元マツチ
ング専用プロセンサ７の処理を示す同図（Ｆ）迄の一連
の処理はシーケンシャルに行なわれる。そして、十〜で
のレコードに対してに一連の処理力完了すると、メイン
プロセッサ８はその結果を集計して楽譜認識を完ｒする
。

以にのようにこの発明によれば楽譜の認識に必要な各処
理をそれぞれ専用のプロセッサで並列処理するから高速
で能率の良い楽譜の認識が可能となる。

なお、上記実施例では各専用プロセッサの処理分担をそ
れぞれＸヒストグラム作成、ＹヒスＩ・グラト作成、ゲ
タνＪす、ピーク切出し、１次元マツチング及び２次元
マツチングとしたが必ずしもこれに限定されるものでは
なく、各専用プロセンサの処理屯を等量化するような処
理分担であれば、さらに一層高能率かつ高速な楽譜の認
識を行なうことができる。

【図面の簡単な説明】

第１図は一般的な楽譜認識方法のフローチャー１・、第
２図はこの発明の実施例の概略構成を示す図、第３図（
Ａ）は楽譜のルーコードの例、同図（Ｂ）はＸヒストグ
ラム作成を説明するだめの図、同図（Ｃ）はＸヒストグ
ラム作成を説明するための図、同図（Ｄ）　、　（Ｅ）
はゲタ！、７Ｊりを説明するための図、第４図はピーク
切出しを説明するだめの図、第５，６図は１次元マツチ
ングを説明するだめの図、第７〜第１１ドは２次元マツ
チングを説明するだめの図、第１２図はこの発明の実施
例の処理のフローチャート、第１３図は実施例の各処理
のタイミングを示すタイムチャー１・である。 ■・・・光学スキャナ、２・・・Ｘヒストグラム専用プ
ロセッサ、３・・・Ｙヒストグラム専用プロセッサ。 ４・・・ケタ切り専用プロセ、す、５・・・ピークレノ
出し１１１用プロセンサ、６・・・１次元で、チング「
γ用プロセンサ、７・・・２次元マツチング専用プロセ
ンサ、８・・・メインプロセンサ、９・・・楽譜、１０
・・・Ｘヒストグラム、１１・・・Ｙヒストグラム。 藝　ｌ　図 佑　２　図

Claims (1)

【特許請求の範囲】
1. 楽ａ！ｔのルコーＩ・ごとの濃度データを読み取る光学
   スキャナと、　＋ｉｉｊ記濃度データの横軸方向の第１
   の濃度分布をめるＸヒストクラム専用プロセンサと、縦
   軸方向の第２の６度分布をめるＹヒストグラムｉ、ｌ、
   ｊ用プロセ・ンサと、　ｊｉｉｉ記第１の濃度分１１ｊ
   から−Ｗｉ　（ｆｉを差し引いて第３の濃度分布をめる
   ゲタレノリ［１７用プロセツサと、＋ｔＦｊ記第３の濃
   度分／）Ｊのピーク位置を検出するピーク切出し専用プ
   ロセンサと、このピーク切出し専用プロセッサによって
   νＪり出された前記第３の濃度分布のピーク（、ｌ、置
   （＝１近から黒丸の隙符及び小節線を認識する１次元マ
   ンシングｉ、ｌ、ｆ用プロセッサと、楽譜記号及び白丸
   のざ符を認識する２次元マンシノグ専用プロセンサと、
   １１１ｊ記光学スキヤナ及び谷専用プロセッサ全体のタ
   イミングを制御するメインプロセンサとによって構成さ
   れ、楽譜の認識に必要な処理を前記各専用プロセッサで
   分担し、並列処理することを特徴とする楽譜認識装置。