JPH0997058A - 楽譜認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡単に画像の取り込み状態を判別することが
可能な楽譜認識装置を提供すること。 【解決手段】 楽譜認識装置において、楽譜画像データ
を五線と垂直方向に走査し、連続する白および黒画素の
長さを求めて、長さの頻度分布データを作成する手段
と、作成された画素長頻度分布データから五線の線幅お
よび間幅を求める手段と、線幅および間幅データから楽
譜画像データの解像度および濃度を算出する手段とを備
える。従って、簡単な処理で、予め画像の読み込み状態
が判別でき、例えば解像度や濃度が範囲外である場合
に、該情報を表示し、例えば利用者に画像データの再取
り込みを行わせることにより、効率良く楽譜認識を行う
事ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は楽譜認識装置に関
し、特に入力された楽譜画像データの解像度や濃度を検
出することが可能な楽譜認識装置に関するものである。

【０００２】

【従来の技術】従来の楽譜認識装置においては、例えば
スキャナによって読み込んだ楽譜画像データについて、
まず五線を認識し、これに基づいて音符や各種記号を認
識して、ＭＩＤＩファイルデータ等の演奏データを生成
するものがあった。

【０００３】

【発明が解決しようとする課題】楽譜をスキャナ等で読
み込み、認識する楽譜認識装置において、取り込む画像
の解像度や、白黒画像を取り込む際の２値化のしきい
値、原稿の傾き等は、認識率に重大な影響を及ぼす場合
が多い。しかし、これらの条件を全て良い状態に保って
画像の取り込みを行うのは難しく、様々な条件で画像デ
ータが取り込まれることになる。ところが、従来の楽譜
認識装置の演奏データ生成処理においては、これらの条
件を一切考慮せずに認識処理を行っていた。その結果、
時間のかかる楽譜認識処理を行った後に、認識率が非常
に悪いので、再度楽譜データを読み込ませる処理からや
り直さざるを得ないという事態が発生するという問題点
があった。本発明の目的は、前記のような従来技術の問
題点を解決し、時間のかかる楽譜認識処理を行う前に、
簡単に画像の取り込み状態を判別することが可能な楽譜
認識装置を提供することにある。

【０００４】

【課題を解決するための手段】本発明は、入力された楽
譜画像データから各種記号を認識して、演奏情報に変換
する楽譜認識装置において、楽譜画像データを五線と垂
直方向に走査し、連続する白および黒画素の長さを求め
て、長さ毎の頻度分布データを作成する頻度分布データ
作成手段と、作成された画素長頻度分布データから五線
の線幅および間幅を求める幅検出手段と、線幅および間
幅データから、入力された楽譜画像データの解像度およ
び濃度の少なくとも一方を算出する画質検出手段とを備
えたことを特徴とする。

【０００５】本発明はこのような構成により、簡単な処
理で、予め画像の状態が判別できるので、例えば、楽譜
画像データの解像度や濃度が、認識に必要な所定の範囲
から外れている場合に、該情報を表示するなどして、利
用者に画像データの再取り込みを行わせることにより、
時間のかかる楽譜認識処理を行った後で、画質のせいで
認識率が落ちていたことが判別するといった無駄を防止
でき、結果として処理時間が短縮され、認識率も向上
し、効率良く楽譜認識を行う事ができる。

【０００６】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。図１は本発明の楽譜認識装
置の一実施例の構成を示すブロック図である。この装置
は、パソコン等の一般的な計算機システムにスキャナや
ＭＩＤＩインターフェース回路を付加したものである。
ＣＰＵ１は、ＲＯＭ２あるいはＲＡＭ３に格納されるプ
ログラムに基づき、楽譜認識装置全体の制御を行う中央
処理装置である。また、予め設定された所定の周期でＣ
ＰＵ１に割り込みをかけるタイマ回路を内蔵している。
ＲＡＭ３はプログラムエリアの他、画像データバッフ
ァ、ワークエリア等として使用される。ハードディスク
装置ＨＤＤ４およびフロッピディスク装置ＦＤＤ５は、
プログラムおよび画像データ、演奏データ等を格納す
る。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインタ
ーフェース回路７から出力される映像情報を表示し、キ
ーボード８から入力された情報は、キーボードインター
フェース回路９を経てＣＰＵ１に取り込まれる。プリン
タ１０は、ＣＰＵ１の制御に基づき、プリンタインター
フェース回路１１から出力される印字情報を印字する。

【０００７】スキャナ１２は、（印刷された）楽譜を光
学的に走査して、２値あるいはグレイスケールの画像デ
ータに変換するものであり、フラットベッド型、ハンデ
ィ型、フィーダー型等任意のタイプのものを使用でき
る。スキャナ１２によって読み取られた画像情報は、ス
キャナインターフェース回路１３を介して、ＲＡＭ３あ
るいはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェ
ース回路１４は、音源モジュール等の外部のＭＩＤＩ機
器との間でＭＩＤＩデータの送受信を行う回路である。
バス１５は楽譜認識装置内の各回路を接続している。な
お、この他にマウス等のポインティングデバイス、ＲＳ
２３２Ｃ等のシリアルインターフェース回路等を備えて
いてもよい。

【０００８】図３は、ＣＰＵ１のメイン処理を示すフロ
ーチャートである。ステップＳ１においては、スキャナ
１２によって楽譜のイメージをＲＡＭ３に取り込む。画
像は２値の画像として取り込む。ステップＳ２において
は、かすれやドットノイズなどを軽減するために、図形
融合などの画質平滑化処理を行う。具体的には、例えば
各黒画素について、上下左右の４点（４連結）あるいは
更に斜め方向も含めた周囲の８点（８連結）を黒画素に
する膨張処理を行い、その後、各黒画素の内、上下左右
の４点あるいは周囲の８点が黒であるもののみを黒画素
として残す収縮処理を行うことにより、例えば黒領域中
に１画素だけ白が存在するような場合には全て黒画素に
修正され、また収縮処理を行った後に膨張処理を行うこ
とにより、１画素だけ黒であるような点が白に修正され
る。

【０００９】ステップＳ３においては、解像度と濃度の
情報を得ると共に、後段における五線検出の基準データ
を得るために、後述する画質チェック処理を行う。楽譜
の認識処理においては、解像度および濃度が所定の範囲
から外れると認識率が低下してしまうので、ステップＳ
３においては、これらの値が、所定の範囲内に入ってい
るか否かがチェックされる。ステップＳ４においては、
ステップＳ３におけるチェック結果が画質ＯＫであるか
否か（後述する変数gasituがOKであるか否か）が判定さ
れ、結果がＯＫでない場合にはステップＳ１に戻って、
解像度や濃度を変えて再取り込みを行う。

【００１０】ステップＳ５においては、五線認識を行
う。五線認識処理は、大きく五線走査開始位置検出処理
と、五線シフト量の検出処理に分かれる。五線走査開始
位置検出処理の概略を述べると、ｘ軸方向のある位置
で、黒画素と白画素の幅を順に求め、求められた線幅と
間幅が五線状に並んでいる位置を、ある程度の誤差を考
慮して検出する。そして、加線（五線からはみ出した音
符を記載するために付加した横線）の影響を除くため
に、五線状の並びの両側に間幅より大きな白画素幅があ
るという条件を加える。この条件に合う白黒画素の並び
があるｘ位置の各黒ランの中点を五線走査開始位置とす
る。

【００１１】つぎに、五線シフト量の検出処理の概略を
述べると、求められたｘ位置の五線走査開始位置（５点
の黒画素位置）から、１ドットずつ位置を左右に変えて
いき、５点の内、黒画素が所定の個数（例えば３あるい
は４個）以下になった場合に、ｙ座標を黒画素の割合が
高くなる方向へシフトする。そして開始位置からのシフ
ト量を五線のシフト量とする。五線走査開始位置から左
右に、黒画素個数が０になる位置まで走査することによ
り五線の検出を行う。

【００１２】ステップＳ６においては、段落認識処理を
行う。この処理は、大きく、段落認識処理と、大かっこ
認識処理に分かれる。段落認識処理においては、画像全
体で五線を検出し、五線同士で左端がほぼ同じ場所にあ
る五線の組を探し、五線の端同士が、黒画素で結ばれて
いるかどうかを検査し段落を認識する。ステップＳ７に
おいては、段落の認識結果を表示して、段落認識結果が
正しいか否かを利用者にチェックさせることにより、Ｏ
Ｋか否かが判定され、結果がＯＫでない場合にはステッ
プＳ８に移行して、段落認識結果の修正が行われる。

【００１３】なお、五線認識が失敗した場合には、その
後の処理が行えないので、倍率や濃度を変更して再度画
像を取り込む必要がある。従って、ステップＳ７におい
ては、まず五線の認識結果を表示し、正しいか否かを利
用者に判定させ、もし正しくない場合には、Ｓ１に戻っ
てイメージの再取り込みを行い、また五線が正しく認識
されている場合には、段落認識結果を表示し、チェック
させるようにしてもよい。

【００１４】ステップＳ９においては、処理矩形の決定
処理が行われる。求められた五線を含むある程度広い矩
形を採り、これを認識処理矩形とする。矩形の大きさ
は、その五線に関係する音楽記号が存在する最大領域以
上で、かつ五線傾き補正により、必要な記号が消えない
様な大きさにする。これ以降の認識はこの矩形内で行
う。

【００１５】ステップＳ１０においては、五線傾き補正
処理を行う。概略を述べると、先に求めた五線シフト量
に基づいて矩形画像の列ごとに画素列を上下にシフトす
る。この後、矩形の上下端に接した図形ラベル（独立し
た黒画素領域）は上下のパートの構成要素として削除す
る。最後に、上下端の空白部分を検出して、矩形を縮小
する。

【００１６】ステップＳ１１〜Ｓ１５においては、各種
記号の認識処理が行われる。ステップＳ１１において
は、五線に対して定位置にある記号として、音部記号と
拍子記号を認識する。該処理においては、まず、求めら
れた五線を含む矩形領域で縦に黒画素のヒストグラムを
取っていき、黒画素量があるしきい値以上の帯域を、記
号が存在する可能性のある場所としてマッチングの対象
とする。マッチングは、五線間の数箇所について横方向
のペリフェラル特徴によって行う。ペリフェラル特徴と
は、マッチング対象となる記号のみを含む矩形領域の左
右端から五線間の数箇所の白画素領域を内方向に走査
し、黒画素領域に達するまでの距離を１次（最初）ある
いは数次（２回目以降）まで求めたものである。認識さ
れた記号は画像データから削除する。

【００１７】ステップＳ１２においては音符認識を行
う。まず、矩形領域を横に走査して、所定の長さ以下の
黒ランを検出し、分離する。分離された画像データは、
横が細い部分であるので、ここから符尾や小節線の候補
になる縦線を検出する。次に、縦に所定の長さ以下の黒
ランを検出し分離する。分離された画像データは細い横
線を構成する部分なので、ここから加線やクレッシェン
ドなどの候補になる横線を検出する。最後に、元の画像
データから検出された縦横の細ランを消せば、画像中の
太い部分（以下太ラベル）が抽出できる。楽譜の場合、
４部音符より短い音符の符頭（以下黒玉符頭）や連鉤
（複数の音符をつなぐ帯）が分離できる。

【００１８】黒玉符頭は、太ラベルの境界線についての
座標チェーンデータを求め、この座標データから公知の
方法により楕円式を計算し、この形や太ラベルとのマッ
チング度をとって認識する。２部音符、全音符の符頭
（以下白抜き符頭）は、画像の穴の座標チェーンから楕
円式を計算する。

【００１９】最後に、先に求めた符尾候補と結合して音
符を検出する。連鉤は、これまでに求められた旗を考え
ない音符の符尾の周辺に存在する太ラベルを検出し、こ
れの形状から連鉤の本数を計算する。また、この連鉤に
連結している他の音符も検出する。連結する他の音符が
無い場合には単独の旗を持つ音符と考える。連鉤の本数
により、音符の情報を変更する。この後、分離した横線
を使って音の高さ（加線）やクレッシェンド、横線と縦
線を使ってくり返しかっこ等を認識する。残った縦線か
ら小節線を認識する。そして、認識された記号は画像か
ら削除する。

【００２０】ステップＳ１３においては、定型記号認識
が行われる。この処理においては、まず、公知の輪郭線
荷重方向指数を取り、辞書の各記号データについてラベ
ルのサイズと荷重方向指数のマッチング度を計算して、
各マッチング度を正規化し、統合した結果が最も高い記
号を出力する。認識された記号は画像から削除する。

【００２１】ステップＳ１４においては、文字列認識を
行う。速度記号などの文字列を認識するために、定型記
号認識で認識されたアルファベットその他の記号を使
い、その記号を囲む矩形が文字列状に並んでいるものを
抽出し、これと文字列辞書のマッチングをとることで、
文字列状の記号を、それぞれの構成文字が多少間違って
いても認識できるようにする。

【００２２】ステップＳ１５においては、スラー、タイ
認識を行う。この処理においては、残ったラベルのう
ち、検出された音符の周りのラベルに関して、これを細
線化し、これを多円弧近似する。そして、以前に消され
た記号により線が切れている場合があるので、求められ
た多円弧同士の連結を行う。最後に、求められた円弧の
形や元画像の図の太さ、音符との関係などからスラー、
タイを認識する。これが認識で最後のルーチンなので、
認識された記号は画像から削除しなくても良いが、認識
したスラー、タイを削除し、この後で再度定型記号認識
を行うようにすれば、スラー、タイと接触した記号を認
識することができるようになる。

【００２３】ステップＳ１６においては、例えば認識結
果に基づき、楽譜画像データを合成して表示し、正しい
か否かを利用者にチェックさせることにより、ＯＫか否
かが判定され、結果がＯＫでない場合にはステップＳ１
７に移行して、マウス、キーボード等を用いて、手動に
より認識結果の修正が行われる。ステップＳ１８におい
ては、演奏データ作成処理が行われる。該処理において
は、認識した各種の記号や音符情報に基づき、例えば公
知の演奏データ形式であるＭＩＤＩファイルデータを生
成する。

【００２４】図２（ａ）は、図３のステップＳ３の画質
チェック処理における楽譜画像データの走査例を示す説
明図である。なお、楽譜の音符や各種記号は図示してい
ないが存在する。画質チェック処理においては、解像度
と濃度の情報を得ると共に、後段における五線検出の基
準データを得るために、まず五線の線幅と五線の各線間
の間幅を検出する必要がある。そのために、画像上の横
（ｘ）方向の数箇所（図２においては５箇所）におい
て、画像を縦（ｙ）方向に走査し、黒ラン（連続する黒
画素の長さ）と白ランの長さを全て求めて、画素の種類
ごとに頻度分布（ヒストグラム）データを作成する。

【００２５】図２（ｂ）、（ｃ）はそれぞれ黒ラン長お
よび白ラン長のヒストグラム例を示す説明図である。そ
れぞれのヒストグラムにおいて横軸はラン長（画素数）
であり、縦軸はランの個数である。楽譜上で最も多い記
号は五線であるので、作成された黒ラン長ヒストグラム
と、白ラン長ヒストグラムのピークを検出することで、
五線の線幅、間幅が推定できる。例えば図２の例におい
ては、黒ラン長のピークは４であり、また白ラン長のピ
ークは３０である。従って、五線の線幅は４画素長であ
り、間幅は３０画素長であることが推定できる。そし
て、画像データの解像度は、例えば間幅、間幅＋線幅、
あるいは五線幅等から推定可能であり、また、濃度は線
幅と間幅の比から推定することができる。

【００２６】図４は、ステップＳ３の画質チェック処理
の詳細を示すフローチャートである。ステップＳ２０に
おいては、図２（ａ）に示すように、画像上の数カ所に
おいて、五線と直角方向に画像データを走査し、白画素
および黒画素のラン長データを求める。ステップＳ２１
においては、図２（ｂ）、（ｃ）に示すように、白およ
び黒画素のラン長ヒストグラムを作成する。ステップＳ
２２においては、黒ラン長のピークから五線の線幅thic
k を、また白ラン長のピークから五線の間幅blank を求
める。ピーク値としては、ヒストグラム中の最大値を示
すラン長を採用してもよいし、個数があるレベル以上の
ラン長の加重平均を取ってもよい。

【００２７】ステップＳ２３においては、五線幅height
を求める。五線の幅は、height=(thick ×4) + (blank
×4)となる。解像度はこのheightから判別する。ステッ
プＳ２４においては、２値化しきい値（濃度）を求め
る。２値化しきい値は、例えば、(thick × k) / heig
ht などから判別する。なおk は適当な定数である。ス
テップＳ２５においては、求めた五線幅が、楽譜認識処
理に必要な解像度範囲に対応する所定の長さ範囲内であ
るか否かが判定され、結果が否定の場合にはステップＳ
２８に移行するが、肯定の場合にはステップＳ２６に移
行する。ステップＳ２６においては、ステップＳ２４で
求めた濃度値が所定の範囲内か否かが判定され、結果が
否定の場合にはステップＳ２８に移行するが、肯定の場
合にはステップＳ２７に移行する。ステップＳ２７にお
いては、変数gasituに定数OKを代入し、またステップＳ
２８においては、変数gasituに定数NGを代入する。この
変数gasituはステップＳ４の判定において参照される。
以上のような処理によって、五線という楽譜特有の画像
から解像度および濃度を検出し、画質をチェックするこ
とができる。また、この処理によって検出された五線の
線幅および間幅は後段の五線検出時の基準データとして
利用される。

【００２８】以上、実施例を説明したが、次のような変
形例も考えられる。実施例においては、画質チェック結
果がＯＫか否かのみが判定される例を開示したが、例え
ば解像度は、低すぎる、良い、高すぎる、濃度は、薄
い、良い、濃いの３段階で判別するようにしても良い
し、更に段階を多くしてもよい。また、解像度、２値化
しきい値の２つを統合して取り込みの適切さを判別す
る、即ち解像度が適切であれば、ＯＫと判定する濃度範
囲をある程度広くし、解像度が適切でない場合には狭く
する等の方法が考えられる。

【００２９】判定結果を表示するようにしてもよい。Ｎ
Ｇである場合には、解像度が低すぎる（画像が小さすぎ
る）というようなＮＧの原因となる事項を表示すれば、
再読み込み時の参考になる。更に、現在よりもどの程度
解像度（倍率）を上げればよいか、あるいは濃度をどの
程度変更すればよいかを表示するようにしてもよい。判
定結果を使用して、再読み込み時にスキャナを制御して
もよい。例えば五線幅が適切な値の半分しかなかった場
合には、スキャナの解像度あるいは倍率を倍に上げるよ
うにスキャナを制御し、再読み込みを実行する。濃度に
関して制御してもよい。判定結果に基づき、その後の処
理を実行するか否かを決定する替わりに、チェック結果
を表示して、使用者の判断を待つようにしてもよい。

【００３０】五線全体がある程度以上傾いていると、ス
テップＳ９において矩形を切り出すことが困難となり、
ステップＳ１０の傾き補正では補正できなくなる。従っ
て、画質チェック処理において、ステップＳ５における
五線認識を行い、任意の五線の内の一つを検出し、その
縦方向のシフト量（ずれ）を計算して、シフト量の最大
幅から、原稿の傾きを判別するようにしてもよい。この
場合には、シフト量の最大幅をmaxgap、検出された五線
の横方向の長さをstafflength とすると、(maxgap ×
k)/height、(maxgap × k)/stafflength 、あるいは(ma
xgap × k)/(stafflength × height)（k は適当な定
数）などの値を求めて、この値が所定値以上である場合
にはＮＧとしてもよい。この場合、Ｓ５の五線認識とは
異なり、求める五線は１本で良いので、処理コストも低
く、かつ検出結果は後段で利用可能である。

【００３１】五線の傾きを検出する他の方法として、横
軸方向の黒画素数のヒストグラムから傾きをある程度は
推定可能である。傾きが全く無い場合には、ヒストグラ
ムには五線の位置に５本のピークが現れるが、傾きが大
きくなるに連れてピーク値が低くなる。また、五線間の
空白部分は傾きが大きくなるに連れて縮小し、消滅す
る。従って、ヒストグラムにおけるピーク値や空白部の
長さによって傾きを判定してもよい。

【００３２】

【発明の効果】以上述べたように、本発明は、楽譜認識
装置において、連続する白および黒画素の長さを求め
て、頻度分布データを作成し、該頻度分布データから五
線の線幅および間幅を求め、線幅および間幅データから
入力された楽譜画像データの解像度あるいは濃度を算出
するので、簡単な処理で、予め画像の状態が判別でき
る。従って、楽譜画像データの解像度や濃度が、認識に
必要な所定の範囲から外れている場合に、該情報を表示
するなどして、利用者に画像データの再取り込みを行わ
せることにより、時間のかかる楽譜認識処理を行った後
で、画質のせいで認識率が落ちていたことが判別すると
いった無駄を防止でき、結果として処理時間が短縮さ
れ、認識率も向上し、効率良く楽譜認識を行う事ができ
るという効果がある。

【図面の簡単な説明】

【図１】本発明の楽譜認識装置の実施例の構成を示すブ
ロック図である。

【図２】画質チェック処理における楽譜画像データの走
査例およびヒストグラムを示す説明図である。

【図３】ＣＰＵ１のメイン処理を示すフローチャートで
ある。

【図４】Ｓ３の画質チェック処理の詳細を示すフローチ
ャートである。

【符号の説明】

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…ハードディ
スク装置、５…フロッピディスク装置、６…ＣＲＴディ
スプレイ装置、７…ＣＲＴインターフェース回路、８…
キーボード、９…キーボードインターフェース回路、１
０…プリンタ、１１…プリンタインターフェース回路、
１２…スキャナ、１３…スキャナインターフェース回
路、１４…ＭＩＤＩインターフェース回路、１５…バス

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大場 厚始 静岡県浜松市寺島町200番地 株式会社河 合楽器製作所内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力された楽譜画像データから各種記号
   を認識して、演奏情報に変換する楽譜認識装置におい
   て、 楽譜画像データを五線と垂直方向に走査し、連続する白
   および黒画素の長さを求めて、長さ毎の頻度分布データ
   を作成する頻度分布データ作成手段と、 作成された画素長頻度分布データから五線の線幅および
   間幅を求める幅検出手段と、 線幅および間幅データから、入力された楽譜画像データ
   の解像度および濃度の少なくとも一方を算出する画質検
   出手段とを備えたことを特徴とする楽譜認識装置。
2. 【請求項２】 更に、画質出力手段から出力される画質
   情報を表示する表示手段を備えたことを特徴とする請求
   項１の楽譜認識装置。
3. 【請求項３】 更に、画質出力手段から出力される画質
   情報に基づき、スキャナから適切な画質で画像データが
   入力されるように、スキャナを制御する制御手段を備え
   たことを特徴とする請求項１または２の楽譜認識装置。