JPH1145088A - 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JPH1145088A JPH1145088A JP9197970A JP19797097A JPH1145088A JP H1145088 A JPH1145088 A JP H1145088A JP 9197970 A JP9197970 A JP 9197970A JP 19797097 A JP19797097 A JP 19797097A JP H1145088 A JPH1145088 A JP H1145088A
- Authority
- JP
- Japan
- Prior art keywords
- staff
- section
- feature
- sections
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/451—Scanner input, e.g. scanning a paper document such as a musical score for automated conversion into a musical file format
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Character Discrimination (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Character Input (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 高い認識率を得る楽譜認識方法及び楽譜認識
プログラムを記録したコンピュータ読取り可能な記録媒
体。 【解決手段】 記号別設定のＬ0〜Ｌ4の五線位置Ｌ(5)
で囲まれる４つの五線区間で、五線開始位置ｘｓから終
了位置ｘｅまでの横軸へのプロジェクションを求め、該
値が任意のしきい値ｔｈｒ１を超える区間ｘ１〜ｘ２の
幅が任意の別のしきい値ｔｈｒ２以上であれば、ｘ１、
ｘ２、Ｌ0、Ｌ4で囲まれる矩形をその記号の特徴抽出の
ラベルとし、該ラベルにの五線イメージに重ならない４
つの五線区間を横方向のペリフェラル特徴を得る抽出区
間とし、該区間で左右端からのペリフェラル特徴を夫々
３次まで求め、該区間を、縦方向で一部が重なり合う数
区間の分割メッシュ内でのペリフェラル特徴の次数毎の
平均値を求め特徴量とし、これを左右両端、各メッシュ
別に求めて該ラベルの特徴とし、辞書の特徴とのパター
ンマッチングにより記号を認識する。
プログラムを記録したコンピュータ読取り可能な記録媒
体。 【解決手段】 記号別設定のＬ0〜Ｌ4の五線位置Ｌ(5)
で囲まれる４つの五線区間で、五線開始位置ｘｓから終
了位置ｘｅまでの横軸へのプロジェクションを求め、該
値が任意のしきい値ｔｈｒ１を超える区間ｘ１〜ｘ２の
幅が任意の別のしきい値ｔｈｒ２以上であれば、ｘ１、
ｘ２、Ｌ0、Ｌ4で囲まれる矩形をその記号の特徴抽出の
ラベルとし、該ラベルにの五線イメージに重ならない４
つの五線区間を横方向のペリフェラル特徴を得る抽出区
間とし、該区間で左右端からのペリフェラル特徴を夫々
３次まで求め、該区間を、縦方向で一部が重なり合う数
区間の分割メッシュ内でのペリフェラル特徴の次数毎の
平均値を求め特徴量とし、これを左右両端、各メッシュ
別に求めて該ラベルの特徴とし、辞書の特徴とのパター
ンマッチングにより記号を認識する。
Description
【０００１】
【発明の属する技術分野】本発明は、五線を消去せず
に、高い認識率を得ることのできる楽譜認識方法及び楽
譜認識プログラムを記録したコンピュータ読み取り可能
な記録媒体に関する。
に、高い認識率を得ることのできる楽譜認識方法及び楽
譜認識プログラムを記録したコンピュータ読み取り可能
な記録媒体に関する。
【０００２】
【従来の技術】パソコン及びスキャナ等を使用して楽譜
上の音符・休符・その他の記号を認識する場合、楽譜イ
メージを２値化して読み取り、更に五線及び段落を認識
した上で、各段落毎に、五線消去を行なった後、任意の
矩形形状をした読み取り用のラベルを各記号毎に設定し
て、該ラベルデータと予め辞書に用意されていたラベル
データとをパターンマッチングして、認識が行われてい
た。
上の音符・休符・その他の記号を認識する場合、楽譜イ
メージを２値化して読み取り、更に五線及び段落を認識
した上で、各段落毎に、五線消去を行なった後、任意の
矩形形状をした読み取り用のラベルを各記号毎に設定し
て、該ラベルデータと予め辞書に用意されていたラベル
データとをパターンマッチングして、認識が行われてい
た。
【０００３】
【発明が解決しようとする課題】しかし上記の認識方法
では、五線消去によって、五線上の記号の五線と接する
部分までイメージから除去されてしまうため、その記号
をラベリングする際、画素の連続性が損なわれ、このよ
うな分割によって、ラベリングができなくなる。その結
果、認識されるべき記号が１つのまとまった記号として
正確に認識されないといった問題がある。この問題を解
決するために、分割された五線上のイメージを保持する
手法が用いられていた。ところがこの方法も完全な方法
ではないため、五線消去によるラベリング失敗は避けら
れず、認識率の低下の原因となっている。また五線消去
時にノイズが残った場合、本来別のラベルになるべき複
数の記号が、ノイズで画素連結され（ラベル連結）、１
つのラベルとして抽出されてしまうことになり、認識に
悪影響を与えることになる。
では、五線消去によって、五線上の記号の五線と接する
部分までイメージから除去されてしまうため、その記号
をラベリングする際、画素の連続性が損なわれ、このよ
うな分割によって、ラベリングができなくなる。その結
果、認識されるべき記号が１つのまとまった記号として
正確に認識されないといった問題がある。この問題を解
決するために、分割された五線上のイメージを保持する
手法が用いられていた。ところがこの方法も完全な方法
ではないため、五線消去によるラベリング失敗は避けら
れず、認識率の低下の原因となっている。また五線消去
時にノイズが残った場合、本来別のラベルになるべき複
数の記号が、ノイズで画素連結され（ラベル連結）、１
つのラベルとして抽出されてしまうことになり、認識に
悪影響を与えることになる。
【０００４】本発明は従来技術の上記問題に鑑み創案さ
れたもので、五線を消去せずに、高い認識率を得ること
のできる楽譜認識方法及び楽譜認識プログラムを記録し
たコンピュータ読み取り可能な記録媒体を提供せんとす
るものである。
れたもので、五線を消去せずに、高い認識率を得ること
のできる楽譜認識方法及び楽譜認識プログラムを記録し
たコンピュータ読み取り可能な記録媒体を提供せんとす
るものである。
【０００５】
【課題を解決するための手段】本発明者等は、上記の問
題を分析した結果、音部記号、拍子記号、省略記号、五
線内にある臨時記号や休符等の、五線上での縦位置が固
定されている記号、又は五線をグリッドとして縦位置が
固定される記号で、その特徴付けが可能な範囲が五線内
にあるものを、認識対象として絞れば、五線の消去をせ
ずとも、対象イメージを充分に特徴付けできる部分を正
確にラベル抽出し、得られたラベルから変形、擦れ、滲
みに影響を受け難い特徴を抽出して、正確な認識ができ
ると考え、以下に示す本発明を創案するに至った。
題を分析した結果、音部記号、拍子記号、省略記号、五
線内にある臨時記号や休符等の、五線上での縦位置が固
定されている記号、又は五線をグリッドとして縦位置が
固定される記号で、その特徴付けが可能な範囲が五線内
にあるものを、認識対象として絞れば、五線の消去をせ
ずとも、対象イメージを充分に特徴付けできる部分を正
確にラベル抽出し、得られたラベルから変形、擦れ、滲
みに影響を受け難い特徴を抽出して、正確な認識ができ
ると考え、以下に示す本発明を創案するに至った。
【０００６】即ち、本発明の構成（請求項２に係るコン
ピュータ読み取り可能な記録媒体の構成についても同
じ）は、楽譜のイメージを読み取って、その音楽記号を
認識し、演奏や楽譜表示のためのデータを作成する楽譜
認識方法において、後述する図３に示すように、記号別
に設定される五線位置を基にした任意の縦区間ｙ１〜ｙ
２で、五線開始位置ｘｓから五線終了位置ｘｅまでの横
軸へのプロジェクション（投影量）を求め、該プロジェ
クション値が任意のしきい値ｔｈ１を超える区間ｘ１〜
ｘ２の幅が任意の別のしきい値ｔｈ２以上であれば、ｘ
１、ｘ２、ｙ１、ｙ２で囲まれる矩形をその記号の特徴
を抽出するラベルとし（ラベル抽出機能）、該ラベルに
おける、前記縦区間ｙ１〜ｙ２で五線イメージに重なら
ない区間を、後述する図４に示すように、横方向のペリ
フェラル特徴を得る抽出区間として設定し、各抽出区間
で左右端からのペリフェラル特徴を複数次求め、更に各
抽出区間を、後述する図５に示すように、縦方向で一部
が重なり合うように設定された数区間のメッシュに分割
し、これらのメッシュ内でのペリフェラル特徴の次数毎
の平均値を求めて各メッシュ区間の特徴量とし、これを
左右両端、各メッシュ別に求めたものをこのラベルの特
徴とし（特徴量抽出機能）、辞書に記憶された前記特徴
とのパターンマッチングにより、楽譜イメージで五線上
に固定の位置を持つ或いは五線をグリッドに持つ記号を
認識する（パターンマッチング機能）ことを基本的特徴
としている。
ピュータ読み取り可能な記録媒体の構成についても同
じ）は、楽譜のイメージを読み取って、その音楽記号を
認識し、演奏や楽譜表示のためのデータを作成する楽譜
認識方法において、後述する図３に示すように、記号別
に設定される五線位置を基にした任意の縦区間ｙ１〜ｙ
２で、五線開始位置ｘｓから五線終了位置ｘｅまでの横
軸へのプロジェクション（投影量）を求め、該プロジェ
クション値が任意のしきい値ｔｈ１を超える区間ｘ１〜
ｘ２の幅が任意の別のしきい値ｔｈ２以上であれば、ｘ
１、ｘ２、ｙ１、ｙ２で囲まれる矩形をその記号の特徴
を抽出するラベルとし（ラベル抽出機能）、該ラベルに
おける、前記縦区間ｙ１〜ｙ２で五線イメージに重なら
ない区間を、後述する図４に示すように、横方向のペリ
フェラル特徴を得る抽出区間として設定し、各抽出区間
で左右端からのペリフェラル特徴を複数次求め、更に各
抽出区間を、後述する図５に示すように、縦方向で一部
が重なり合うように設定された数区間のメッシュに分割
し、これらのメッシュ内でのペリフェラル特徴の次数毎
の平均値を求めて各メッシュ区間の特徴量とし、これを
左右両端、各メッシュ別に求めたものをこのラベルの特
徴とし（特徴量抽出機能）、辞書に記憶された前記特徴
とのパターンマッチングにより、楽譜イメージで五線上
に固定の位置を持つ或いは五線をグリッドに持つ記号を
認識する（パターンマッチング機能）ことを基本的特徴
としている。
【０００７】また請求項２の構成は、上記請求項１の構
成を、ラベル抽出機能と、特徴量抽出機能と、パターン
マッチング機能とを有する構成として、これらの機能を
実行させるための楽譜認識プログラムを記録させたコン
ピュータ読み取り可能な記録媒体として提供するもので
ある。
成を、ラベル抽出機能と、特徴量抽出機能と、パターン
マッチング機能とを有する構成として、これらの機能を
実行させるための楽譜認識プログラムを記録させたコン
ピュータ読み取り可能な記録媒体として提供するもので
ある。
【０００８】
【作用】対象とする記号の十分特徴付けできる範囲を、
縦の範囲は、五線が作る４区間のうちの任意の区間に設
定し（後記図３、４参照）、横の範囲は、前記縦区間内
で横軸へのプロジェクションを利用して求めることで、
五線を消去することなくラベル抽出ができる。この時、
へ音記号等の一部の記号で分割が予想されるが、これは
隣接しているため、後処理で結合することが可能であ
る。上記のようにして求められたラベルは、縦方向位置
は五線位置そのものであり、ラベル抽出時の誤差はない
が、横方向位置はプロジェクション切り出しによるもの
なので、ある程度の誤差が考えられる。しかしパターン
マッチングに利用する特徴として、本構成では上記のよ
うな左右端からのペリフェラル特徴を利用しているた
め、横方向位置の誤差を参照パターンとの相対的な誤差
に転換できることになる。又ペリフェラル特徴を求める
区間を五線の影響を受けない区間に設定し、更に区間を
互いに一部重なり合うメッシュに分割し、メッシュ内で
の平均を特徴量とすることで、イメージ変形・かすみ・
滲み・位置ずれに影響を受け難い特徴量とすることが可
能になる。実イメージで画素が連続していない記号（ハ
音記号、省略記号、調号等）を認識する場合、通常の認
識手法では、画素が連続するラベル単位で認識した後
に、個々のラベル位置関係を調べ、認識結果を確定しな
ければならないが、上記構成におけるラベル抽出手法
（機能）は、上記記号を１つのラベルとして抽出できる
ので、認識処理の簡易化、認識精度の向上が図られる。
縦の範囲は、五線が作る４区間のうちの任意の区間に設
定し（後記図３、４参照）、横の範囲は、前記縦区間内
で横軸へのプロジェクションを利用して求めることで、
五線を消去することなくラベル抽出ができる。この時、
へ音記号等の一部の記号で分割が予想されるが、これは
隣接しているため、後処理で結合することが可能であ
る。上記のようにして求められたラベルは、縦方向位置
は五線位置そのものであり、ラベル抽出時の誤差はない
が、横方向位置はプロジェクション切り出しによるもの
なので、ある程度の誤差が考えられる。しかしパターン
マッチングに利用する特徴として、本構成では上記のよ
うな左右端からのペリフェラル特徴を利用しているた
め、横方向位置の誤差を参照パターンとの相対的な誤差
に転換できることになる。又ペリフェラル特徴を求める
区間を五線の影響を受けない区間に設定し、更に区間を
互いに一部重なり合うメッシュに分割し、メッシュ内で
の平均を特徴量とすることで、イメージ変形・かすみ・
滲み・位置ずれに影響を受け難い特徴量とすることが可
能になる。実イメージで画素が連続していない記号（ハ
音記号、省略記号、調号等）を認識する場合、通常の認
識手法では、画素が連続するラベル単位で認識した後
に、個々のラベル位置関係を調べ、認識結果を確定しな
ければならないが、上記構成におけるラベル抽出手法
（機能）は、上記記号を１つのラベルとして抽出できる
ので、認識処理の簡易化、認識精度の向上が図られる。
【０００９】
【発明の実施の形態】以下本発明の一実施形態を添付図
面に基づき説明する。図１は本発明に係る楽譜認識プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
を後述するフレキシブルディスクドライブＦＤＤ５等の
外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み
込ませて稼動する楽譜認識装置の実施例構成を示すブロ
ック図である。この装置は、パソコンなどの電子計算機
の構成に、スキャナやＭＩＤＩインターフェース回路を
付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡ
Ｍ３に格納されるプログラムに基づき、楽譜認識装置全
体の制御を行う中央演算処理装置である。また予め設定
された所定の周期でＣＰＵ１に割り込みをかけるタイマ
回路を内蔵している。ＲＡＭ３はプログラムエリアの
他、画像データバッファ、ワークエリア等として使用さ
れる。ハードディスク装置ＨＤＤ４及びフレキシブルデ
ィスクドライブＦＤＤ５は、プログラム及び画像デー
タ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制
御に基づき、ＣＲＴインターフェース回路７から出力さ
れる映像情報を表示し、キーボード８から入力された情
報は、キーボードインターフェース回路９を経てＣＰＵ
１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に
基づき、プリンタインターフェース回路１１から出力さ
れる印字情報を印字する。
面に基づき説明する。図１は本発明に係る楽譜認識プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
を後述するフレキシブルディスクドライブＦＤＤ５等の
外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み
込ませて稼動する楽譜認識装置の実施例構成を示すブロ
ック図である。この装置は、パソコンなどの電子計算機
の構成に、スキャナやＭＩＤＩインターフェース回路を
付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡ
Ｍ３に格納されるプログラムに基づき、楽譜認識装置全
体の制御を行う中央演算処理装置である。また予め設定
された所定の周期でＣＰＵ１に割り込みをかけるタイマ
回路を内蔵している。ＲＡＭ３はプログラムエリアの
他、画像データバッファ、ワークエリア等として使用さ
れる。ハードディスク装置ＨＤＤ４及びフレキシブルデ
ィスクドライブＦＤＤ５は、プログラム及び画像デー
タ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制
御に基づき、ＣＲＴインターフェース回路７から出力さ
れる映像情報を表示し、キーボード８から入力された情
報は、キーボードインターフェース回路９を経てＣＰＵ
１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に
基づき、プリンタインターフェース回路１１から出力さ
れる印字情報を印字する。
【００１０】スキャナ１２は、例えば（印刷された）楽
譜を光学的に走査して、２値或いはグレースケールの画
像データに変換するものであり、フラットベッド型、ハ
ンディ型、フィーダ型等任意のタイプのスキャナを使用
できる。スキャナ１２によって読み取られた画像情報
は、スキャナインターフェース回路１３を介して、ＲＡ
Ｍ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインター
フェース回路１４は、音源モジュール等の外部のＭＩＤ
Ｉ機器との間でＭＩＤＩデータの送受信を行う回路であ
る。バス１５は、本楽譜認識装置内の各回路を接続し、
各種データ、プログラム、アドレス等をやり取りさせて
いる。なお、この他にマウスなどのポインティングデバ
イスやＲＳ２３２Ｃ等のシリアルインターフェース回路
等を備えていても良い。
譜を光学的に走査して、２値或いはグレースケールの画
像データに変換するものであり、フラットベッド型、ハ
ンディ型、フィーダ型等任意のタイプのスキャナを使用
できる。スキャナ１２によって読み取られた画像情報
は、スキャナインターフェース回路１３を介して、ＲＡ
Ｍ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインター
フェース回路１４は、音源モジュール等の外部のＭＩＤ
Ｉ機器との間でＭＩＤＩデータの送受信を行う回路であ
る。バス１５は、本楽譜認識装置内の各回路を接続し、
各種データ、プログラム、アドレス等をやり取りさせて
いる。なお、この他にマウスなどのポインティングデバ
イスやＲＳ２３２Ｃ等のシリアルインターフェース回路
等を備えていても良い。
【００１１】本構成では、予めパターンマッチングに用
いる参照パターンを、下記表１に示すように、特徴を抽
出する五線区間毎に用意する。これらの参照パターン
は、後述するように、五線区間数によって、特徴ベクト
ルデータの次数が異なる。
いる参照パターンを、下記表１に示すように、特徴を抽
出する五線区間毎に用意する。これらの参照パターン
は、後述するように、五線区間数によって、特徴ベクト
ルデータの次数が異なる。
【００１２】
【表１】
【００１３】図２はＣＰＵ１のメイン処理を示すフロー
チャートである。ステップＳ１においては、スキャナ１
２によって楽譜のイメージをＲＡＭ３に取り込む。画像
は２値の画像データとして取り込む。ステップＳ２にお
いては、このようにして２値化されて取り込まれた楽譜
イメージで五線を検出する。ステップＳ３において、夫
々の五線で水平線に対するずらし量に基づいた傾き補正
を行う。この時点で五線位置（例えば第５線をＬ0、第
４線をＬ1、…第５線をＬ4）をＬ(5)に、五線幅（五線
の各線そのものの幅）をＬthに保存する。
チャートである。ステップＳ１においては、スキャナ１
２によって楽譜のイメージをＲＡＭ３に取り込む。画像
は２値の画像データとして取り込む。ステップＳ２にお
いては、このようにして２値化されて取り込まれた楽譜
イメージで五線を検出する。ステップＳ３において、夫
々の五線で水平線に対するずらし量に基づいた傾き補正
を行う。この時点で五線位置（例えば第５線をＬ0、第
４線をＬ1、…第５線をＬ4）をＬ(5)に、五線幅（五線
の各線そのものの幅）をＬthに保存する。
【００１４】記号認識の順序は、なるべく認識精度の高
い抽出区間から始め（抽出区間の広い順）、認識に成功
したラベル内の元イメージは順次消していく。このよう
な認識を行う前提としてラベル抽出を行わなければなら
ないが、本構成では、以下のようにして実施される。ス
テップＳ４において、図３及び図４に示すＬ0〜Ｌ4の五
線位置Ｌ(5)で囲まれる４つの五線区間（請求項１及び
２における縦区間ｙ１〜ｙ２に相当する）における、夫
々の横軸へのプロジェクション（投影量）を五線開始位
置ｘｓから五線終了位置ｘｅまで求め、Ｐ(4)(x)に保存
する。
い抽出区間から始め（抽出区間の広い順）、認識に成功
したラベル内の元イメージは順次消していく。このよう
な認識を行う前提としてラベル抽出を行わなければなら
ないが、本構成では、以下のようにして実施される。ス
テップＳ４において、図３及び図４に示すＬ0〜Ｌ4の五
線位置Ｌ(5)で囲まれる４つの五線区間（請求項１及び
２における縦区間ｙ１〜ｙ２に相当する）における、夫
々の横軸へのプロジェクション（投影量）を五線開始位
置ｘｓから五線終了位置ｘｅまで求め、Ｐ(4)(x)に保存
する。
【００１５】Ｌ0〜Ｌ4で囲まれる上記五線区間内の記号
（音部記号、省略記号、一部の拍子記号）を認識する場
合、ステップＳ５において、五線区間４つ全てのプロジ
ェクションデータを加算したものをＰ’(ｘ)とし、プロ
ジェクション切り出ししきい値ｔｈｒ１、切り出し対象
幅しきい値ｔｈｒ２を五線幅より設定する（ｔｈｒ２＝
Ｌth）。
（音部記号、省略記号、一部の拍子記号）を認識する場
合、ステップＳ５において、五線区間４つ全てのプロジ
ェクションデータを加算したものをＰ’(ｘ)とし、プロ
ジェクション切り出ししきい値ｔｈｒ１、切り出し対象
幅しきい値ｔｈｒ２を五線幅より設定する（ｔｈｒ２＝
Ｌth）。
【００１６】ステップＳ６において、ｘ＝０からプロジ
ェクションをスキャンし、ステップＳ７において、Ｐ’
(ｘ)＞ｔｈｒ１となるｘをｘ１とすると共に、Ｐ’(ｘ)
＜ｔｈｒ１となるｘをｘ２とし、ｘ２−ｘ１＞ｔｈｒ２
であれば、ｘ１、ｘ２、Ｌ0、Ｌ4で囲まれる矩形をラベ
ル矩形とする（図３では、網線で囲まれた部分が切り出
されたラベルを示している）。以上の処理を五線終了位
置まで行い、ラベリングを終了する。この時、へ音記号
が正確に抽出できないことがあるので、隣り合うラベル
の位置が近ければ、ラベル結合を行う（このプロジェク
ション範囲での記号認識が終了した後、リジェクトとな
ったラベルに限定して結合し、再度、結合ラベルで認識
を行っても良い）。
ェクションをスキャンし、ステップＳ７において、Ｐ’
(ｘ)＞ｔｈｒ１となるｘをｘ１とすると共に、Ｐ’(ｘ)
＜ｔｈｒ１となるｘをｘ２とし、ｘ２−ｘ１＞ｔｈｒ２
であれば、ｘ１、ｘ２、Ｌ0、Ｌ4で囲まれる矩形をラベ
ル矩形とする（図３では、網線で囲まれた部分が切り出
されたラベルを示している）。以上の処理を五線終了位
置まで行い、ラベリングを終了する。この時、へ音記号
が正確に抽出できないことがあるので、隣り合うラベル
の位置が近ければ、ラベル結合を行う（このプロジェク
ション範囲での記号認識が終了した後、リジェクトとな
ったラベルに限定して結合し、再度、結合ラベルで認識
を行っても良い）。
【００１７】ステップＳ８において、図４に示すよう
に、前記ラベル矩形からラベルイメージを抽出し、元イ
メージで五線位置Ｌ(5)に相当する位置を、ラベルイメ
ージ上での座標値でＬ’(5)とする。
に、前記ラベル矩形からラベルイメージを抽出し、元イ
メージで五線位置Ｌ(5)に相当する位置を、ラベルイメ
ージ上での座標値でＬ’(5)とする。
【００１８】ステップＳ９において、図４に示すよう
に、Ｌ’(5)が作る４区間夫々に、ペリフェラル特徴を
求める範囲を、［Ｌ’(n)＋Ｌth／２］から［Ｌ’(n+1)
−Ｌth／２］に設定する。ここでＬth／２のオフセット
は、特徴を求める区間を、五線の影響を受けない区間に
置くためのものである。
に、Ｌ’(5)が作る４区間夫々に、ペリフェラル特徴を
求める範囲を、［Ｌ’(n)＋Ｌth／２］から［Ｌ’(n+1)
−Ｌth／２］に設定する。ここでＬth／２のオフセット
は、特徴を求める区間を、五線の影響を受けない区間に
置くためのものである。
【００１９】ステップＳ１０において、前記各区間で、
左右端からのペリフェラル特徴を３次まで求める。各ペ
リフェラルデータは、図４に示すように、左右端から反
対の端まで横走査し、白画素から黒画素に変化する点で
の走査線の長さを３次まで求め（１次ペリフェラル、２
次ペリフェラル、３次ペリフェラル）、これを全区間で
求めたものを保存しておく。
左右端からのペリフェラル特徴を３次まで求める。各ペ
リフェラルデータは、図４に示すように、左右端から反
対の端まで横走査し、白画素から黒画素に変化する点で
の走査線の長さを３次まで求め（１次ペリフェラル、２
次ペリフェラル、３次ペリフェラル）、これを全区間で
求めたものを保存しておく。
【００２０】次にステップＳ１１において、図５に示す
ように、各区間に４つのメッシュ区間を設定する。この
メッシュ区間は隣り合うメッシュ区間と、メッシュ幅の
半分が重なるように設定し、左右端で１６ずつ、計３２
メッシュ区間が設定される。
ように、各区間に４つのメッシュ区間を設定する。この
メッシュ区間は隣り合うメッシュ区間と、メッシュ幅の
半分が重なるように設定し、左右端で１６ずつ、計３２
メッシュ区間が設定される。
【００２１】各メッシュでの特徴量を格納するバッファ
をＶ(d)(n)：（ｄ：ペリフェラル次数、ｎ：メッシュ）
とし、ステップＳ１２において、前記メッシュ区間での
ペリフェラルデータを各次毎に平均化し、そうして得た
値をこのバッファに保存する。
をＶ(d)(n)：（ｄ：ペリフェラル次数、ｎ：メッシュ）
とし、ステップＳ１２において、前記メッシュ区間での
ペリフェラルデータを各次毎に平均化し、そうして得た
値をこのバッファに保存する。
【００２２】ステップＳ１３において、このようにして
得られる３×３２＝９６次の特徴量を、予め同様の処理
で用意されている、前記参照パターン［Ｌ0〜Ｌ4で囲ま
れた五線区間を特徴区間とする記号用の参照パターン］
とパターンマッチングする。該マッチングにおける比較
法は、プロジェクション切り出しの横方向の誤差を考慮
して、特徴量の変化分に重みを付けた比較法にする。
得られる３×３２＝９６次の特徴量を、予め同様の処理
で用意されている、前記参照パターン［Ｌ0〜Ｌ4で囲ま
れた五線区間を特徴区間とする記号用の参照パターン］
とパターンマッチングする。該マッチングにおける比較
法は、プロジェクション切り出しの横方向の誤差を考慮
して、特徴量の変化分に重みを付けた比較法にする。
【００２３】他の五線区間での認識手法も上と同様に行
う。この場合、抽出される特徴量の次数は、(五線区間
数)×２(左右から)×４(各区間のメッシュ数)×３(ペリ
フェラル次数)となる。
う。この場合、抽出される特徴量の次数は、(五線区間
数)×２(左右から)×４(各区間のメッシュ数)×３(ペリ
フェラル次数)となる。
【００２４】本構成におけるラベル抽出手法では、抽出
ラベルの横方向位置を正確なものにするために、記号別
に設定されている五線区間の任意の区間（例えば図４に
示されるようにト音記号であれば、Ｌ0〜Ｌ4の区間）に
範囲を絞ったプロジェクションが利用できる。更に特徴
抽出位置やメッシュ区間（但し五線位置そのものはメッ
シュ区間に入れない）も五線位置を基準としたものなの
で、得られる特徴分布は五線位置に対して正確で、縦の
配置が五線によって決まる記号に対して一貫性のある特
徴を求めることができる。以上のようにして、表１に示
されるような楽譜イメージで五線上に固定の位置を持つ
或いは五線をグリッドに持つ記号を認識することができ
るようになる。
ラベルの横方向位置を正確なものにするために、記号別
に設定されている五線区間の任意の区間（例えば図４に
示されるようにト音記号であれば、Ｌ0〜Ｌ4の区間）に
範囲を絞ったプロジェクションが利用できる。更に特徴
抽出位置やメッシュ区間（但し五線位置そのものはメッ
シュ区間に入れない）も五線位置を基準としたものなの
で、得られる特徴分布は五線位置に対して正確で、縦の
配置が五線によって決まる記号に対して一貫性のある特
徴を求めることができる。以上のようにして、表１に示
されるような楽譜イメージで五線上に固定の位置を持つ
或いは五線をグリッドに持つ記号を認識することができ
るようになる。
【００２５】（他の実施形態１）前記実施形態のプロジ
ェクションによるラベル切り出しにおいて切り出された
範囲でのプロジェクションデータと同様な処理で用意さ
れた参照用のプロジェクションデータとのパターンマッ
チングを、前記ペリフェラル特徴を用いたパターンマッ
チングのプリマッチング処理とすることができる。この
プリマッチング処理での整合度が低いものは、その後の
ステップＳ８以下を回避することで、認識処理の高速化
が図られ、プリマッチングでの整合度が基準値を満たす
場合は、ステップＳ１３において、その整合度を含めた
パターンマッチングを行うことで、認識精度の向上が図
られる。
ェクションによるラベル切り出しにおいて切り出された
範囲でのプロジェクションデータと同様な処理で用意さ
れた参照用のプロジェクションデータとのパターンマッ
チングを、前記ペリフェラル特徴を用いたパターンマッ
チングのプリマッチング処理とすることができる。この
プリマッチング処理での整合度が低いものは、その後の
ステップＳ８以下を回避することで、認識処理の高速化
が図られ、プリマッチングでの整合度が基準値を満たす
場合は、ステップＳ１３において、その整合度を含めた
パターンマッチングを行うことで、認識精度の向上が図
られる。
【００２６】（他の実施形態２）前記実施形態で、パタ
ーンマッチングに用いる特徴として横方向のペリフェラ
ルデータを使用したが、認識精度の向上を考えて、縦方
向のペリフェラルデータを前記特徴に追加する。縦方向
のペリフェラルデータは、抽出区間の上辺、下辺（夫々
任意の五線位置に等しい）からの３次までの走査データ
を使用し、プロジェクションによるラベル切り出しで
は、ラベル矩形の横方向誤差があるために、ラベル矩形
の横方向位置を基準に特徴抽出位置を設定すると、うま
く認識できないことが多いと思われる。そこで切り出さ
れた矩形範囲内でのプロジェクションデータの正のピー
クを得る横方向位置をｘｐｍ、負のピークを得る横方向
位置をｘｐｆとし、夫々の位置を中心とする区間でのペ
リフェラルデータを利用することで、ラベル矩形の横方
向誤差に影響を受けない記号特徴を抽出することができ
る。
ーンマッチングに用いる特徴として横方向のペリフェラ
ルデータを使用したが、認識精度の向上を考えて、縦方
向のペリフェラルデータを前記特徴に追加する。縦方向
のペリフェラルデータは、抽出区間の上辺、下辺（夫々
任意の五線位置に等しい）からの３次までの走査データ
を使用し、プロジェクションによるラベル切り出しで
は、ラベル矩形の横方向誤差があるために、ラベル矩形
の横方向位置を基準に特徴抽出位置を設定すると、うま
く認識できないことが多いと思われる。そこで切り出さ
れた矩形範囲内でのプロジェクションデータの正のピー
クを得る横方向位置をｘｐｍ、負のピークを得る横方向
位置をｘｐｆとし、夫々の位置を中心とする区間でのペ
リフェラルデータを利用することで、ラベル矩形の横方
向誤差に影響を受けない記号特徴を抽出することができ
る。
【００２７】（他の実施形態３）またこれまでの認識方
法では、♭等の個々の臨時記号を認識した後、夫々の位
置関係で調号を認識しているが、この位置関係が正確に
認識することができないために、調号の認識は難しいと
されてきた。本発明の構成では、図３に示されるよう
に、調号が一塊りで抽出できる（図中３つの♭臨時記号
で示される例）ので、同手法で、このような調号等の認
識が可能となる。
法では、♭等の個々の臨時記号を認識した後、夫々の位
置関係で調号を認識しているが、この位置関係が正確に
認識することができないために、調号の認識は難しいと
されてきた。本発明の構成では、図３に示されるよう
に、調号が一塊りで抽出できる（図中３つの♭臨時記号
で示される例）ので、同手法で、このような調号等の認
識が可能となる。
【００２８】（他の実施形態４）更に罫線上に固定的に
配置されたテキストに対し、五線位置の代わりに、罫線
位置を用いることで、上記本発明の構成によって、テキ
ストの認識が可能となる。
配置されたテキストに対し、五線位置の代わりに、罫線
位置を用いることで、上記本発明の構成によって、テキ
ストの認識が可能となる。
【００２９】
【発明の効果】以上詳述した本発明の構成によれば、縦
の範囲につき、五線が作る４区間のうちの任意の区間に
設定し、横の範囲について、前記縦区間内で横軸へのプ
ロジェクションを利用して求めているため、五線を消去
することなくラベル抽出ができるようになる。このよう
にして求められたラベルは、縦方向位置は五線位置その
ものであり、ラベル抽出時の誤差はなく、他方ある程度
の誤差が考えられる横方向位置でのプロジェクション切
り出しによるラベル抽出でも、左右端からのペリフェラ
ル特徴を利用して、パターンマッチングを行っているた
め、横方向位置の誤差を参照パターンとの相対的な誤差
に転換できるようになる。またペリフェラル特徴を求め
る区間を五線の影響を受けない区間に設定し、更に区間
を互いに一部重なり合うメッシュに分割し、メッシュ内
での平均を特徴量とすることで、イメージ変形・かすみ
・滲み・位置ずれに影響を受け難い特徴量とすることが
可能になる。
の範囲につき、五線が作る４区間のうちの任意の区間に
設定し、横の範囲について、前記縦区間内で横軸へのプ
ロジェクションを利用して求めているため、五線を消去
することなくラベル抽出ができるようになる。このよう
にして求められたラベルは、縦方向位置は五線位置その
ものであり、ラベル抽出時の誤差はなく、他方ある程度
の誤差が考えられる横方向位置でのプロジェクション切
り出しによるラベル抽出でも、左右端からのペリフェラ
ル特徴を利用して、パターンマッチングを行っているた
め、横方向位置の誤差を参照パターンとの相対的な誤差
に転換できるようになる。またペリフェラル特徴を求め
る区間を五線の影響を受けない区間に設定し、更に区間
を互いに一部重なり合うメッシュに分割し、メッシュ内
での平均を特徴量とすることで、イメージ変形・かすみ
・滲み・位置ずれに影響を受け難い特徴量とすることが
可能になる。
【図１】本発明に係る楽譜認識プログラムを記緑したコ
ンピュータ読み取り可能な記録媒体を外部記憶装置で読
み込ませて稼動する楽譜認識装置の実施例構成を示すブ
ロック図である。
ンピュータ読み取り可能な記録媒体を外部記憶装置で読
み込ませて稼動する楽譜認識装置の実施例構成を示すブ
ロック図である。
【図２】ＣＰＵのメイン処理を示すフローチャートであ
る。
る。
【図３】横軸へのプロジェクションを利用したラベリン
グの方法を示す説明図である。
グの方法を示す説明図である。
【図４】ラベルデータ上のペリフェラル特徴抽出区間と
ペリフェラルデータ抽出方法を示す説明図である。
ペリフェラルデータ抽出方法を示す説明図である。
【図５】ラベルデータ上のペリフェラル特徴抽出区間に
更にメッシュ区間を設定した状態を示す説明図である。
更にメッシュ区間を設定した状態を示す説明図である。
１ ＣＰＵ ２ ＲＯＭ ３ ＲＡＭ ４ ハードディスク装置 ５ フレキシブルディスクドライブ ６ ＣＲＴ ７ ＣＲＴインターフェース回路 ８ キーボード ９ キーボードインターフェース回路 １０ プリンタ １１ プリンタインターフェース回路 １２ スキャナ １３ スキャナインターフェース回路 １４ ＭＩＤＩインターフェース回路 １５ バス
Claims (2)
- 【請求項１】 楽譜のイメージを読み取って、その音楽
記号を認識し、演奏や楽譜表示のためのデータを作成す
る楽譜認識方法において、記号別に設定される五線位置
を基にした任意の縦区間ｙ１〜ｙ２で、五線開始位置ｘ
ｓから五線終了位置ｘｅまでの横軸へのプロジェクショ
ンを求め、該プロジェクション値が任意のしきい値ｔｈ
１を超える区間ｘ１〜ｘ２の幅が任意の別のしきい値ｔ
ｈ２以上であれば、ｘ１、ｘ２、ｙ１、ｙ２で囲まれる
矩形をその記号の特徴を抽出するラベルとし、該ラベル
における、前記縦区間ｙ１〜ｙ２で五線イメージに重な
らない区間を横方向のペリフェラル特徴を得る抽出区間
として設定し、各抽出区間で左右端からのペリフェラル
特徴を複数次求め、更に各抽出区間を、縦方向で一部が
重なり合うように設定された数区間のメッシュに分割
し、これらのメッシュ内でのペリフェラル特徴の次数毎
の平均値を求めて各メッシュ区間の特徴量とし、これを
左右両端、各メッシュ別に求めたものをこのラベルの特
徴とし、辞書に記憶された前記特徴とのパターンマッチ
ングにより、楽譜イメージで五線上に固定の位置を持つ
或いは五線をグリッドに持つ記号を認識することを特徴
とする楽譜認識方法。 - 【請求項２】 楽譜のイメージを読み取って、その音楽
記号を認識し、演奏や楽譜表示のためのデータを作成す
る楽譜認識プログラムを記録したコンピュータ読み取り
可能な記録媒体において、記号別に設定される五線位置
を基にした任意の縦区間ｙ１〜ｙ２で、五線開始位置ｘ
ｓから五線終了位置ｘｅまでの横軸へのプロジェクショ
ンを求め、該プロジェクション値が任意のしきい値ｔｈ
１を超える区間ｘ１〜ｘ２の幅が任意の別のしきい値ｔ
ｈ２以上であれば、ｘ１、ｘ２、ｙ１、ｙ２で囲まれる
矩形をその記号の特徴を抽出するラベルとするラベル抽
出機能と、該ラベルにおける、前記縦区間ｙ１〜ｙ２で
五線イメージに重ならない区間を横方向のペリフェラル
特徴を得る抽出区間として設定し、各抽出区間で左右端
からのペリフェラル特徴を複数次求め、更に各抽出区間
を、縦方向で一部が重なり合うように設定された数区間
のメッシュに分割し、これらのメッシュ内でのペリフェ
ラル特徴の次数毎の平均値を求めて各メッシュ区間の特
徴量とし、これを左右両端、各メッシュ別に求めたもの
をこのラベルの特徴とする特徴量抽出機能と、辞書に記
憶された前記特徴とのパターンマッチングにより、五線
上に固定の位置を持つ或いは五線をグリッドに持つ記号
を認識するパターンマッチング機能とを有する楽譜認識
プログラムを記録したコンピュータ読み取り可能な記録
媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19797097A JP3558834B2 (ja) | 1997-07-09 | 1997-07-09 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| DE19881155T DE19881155B4 (de) | 1997-07-09 | 1998-06-24 | Verfahren zur Erkennung von Musikpartituren und computerlesbares Aufnahmemedium zur Speicherung eines Programmes zur Erkennung von Musikpartituren |
| PCT/JP1998/002807 WO1999003090A1 (en) | 1997-07-09 | 1998-06-24 | Method of recognizing music score and computer-readable recording medium stored with music score recognizing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19797097A JP3558834B2 (ja) | 1997-07-09 | 1997-07-09 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1145088A true JPH1145088A (ja) | 1999-02-16 |
| JP3558834B2 JP3558834B2 (ja) | 2004-08-25 |
Family
ID=16383362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19797097A Expired - Fee Related JP3558834B2 (ja) | 1997-07-09 | 1997-07-09 | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP3558834B2 (ja) |
| DE (1) | DE19881155B4 (ja) |
| WO (1) | WO1999003090A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009086973A (ja) * | 2007-09-28 | 2009-04-23 | Kawai Musical Instr Mfg Co Ltd | 楽譜認識装置、楽譜認識方法、及びコンピュータプログラム |
| WO2014189084A1 (ja) * | 2013-05-21 | 2014-11-27 | ヤマハ株式会社 | 演奏記録装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01304497A (ja) * | 1988-06-02 | 1989-12-08 | Casio Comput Co Ltd | 楽譜認識方法及び装置 |
| US5042079A (en) * | 1988-08-12 | 1991-08-20 | Casio Computer Co., Ltd. | Method of recording/reproducing data of mesh pattern, and apparatus therefor |
| JP2650605B2 (ja) * | 1992-08-03 | 1997-09-03 | ヤマハ株式会社 | 楽譜認識装置 |
| JPH06150001A (ja) * | 1992-11-09 | 1994-05-31 | Meidensha Corp | 音符記号の分離抽出方法 |
| JP3445039B2 (ja) * | 1995-09-29 | 2003-09-08 | 株式会社河合楽器製作所 | 楽譜認識装置 |
-
1997
- 1997-07-09 JP JP19797097A patent/JP3558834B2/ja not_active Expired - Fee Related
-
1998
- 1998-06-24 WO PCT/JP1998/002807 patent/WO1999003090A1/ja not_active Ceased
- 1998-06-24 DE DE19881155T patent/DE19881155B4/de not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009086973A (ja) * | 2007-09-28 | 2009-04-23 | Kawai Musical Instr Mfg Co Ltd | 楽譜認識装置、楽譜認識方法、及びコンピュータプログラム |
| WO2014189084A1 (ja) * | 2013-05-21 | 2014-11-27 | ヤマハ株式会社 | 演奏記録装置 |
| US9576564B2 (en) | 2013-05-21 | 2017-02-21 | Yamaha Corporation | Performance recording apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3558834B2 (ja) | 2004-08-25 |
| DE19881155B4 (de) | 2007-04-19 |
| WO1999003090A1 (en) | 1999-01-21 |
| DE19881155T1 (de) | 1999-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100514357C (zh) | 填涂信息卡的信息识别方法 | |
| CN110705534A (zh) | 一种适用于电子助视器的错题本生成方法 | |
| JP5154886B2 (ja) | 楽譜認識装置及びコンピュータプログラム | |
| US7965293B2 (en) | Image processing device, image processing method, and image processing program for reconstructing data | |
| JP4594952B2 (ja) | 文字認識装置及び文字認識方法 | |
| JP2012138009A (ja) | 楽譜認識装置、及びコンピュータプログラム | |
| US6046394A (en) | Music score recognizing method and computer-readable recording medium storing music score recognizing program | |
| JP3558834B2 (ja) | 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN1429450A (zh) | 印页识别和数字化图像处理的方法和系统 | |
| JP3608674B2 (ja) | 楽譜認識装置 | |
| JP3445039B2 (ja) | 楽譜認識装置 | |
| JP3613356B2 (ja) | 楽譜認識装置 | |
| CN114529918A (zh) | 一种试卷倒置识别方法、装置及介质 | |
| JP3709991B2 (ja) | 楽譜認識装置 | |
| JP2003242439A (ja) | 楽譜認識装置 | |
| JP3411736B2 (ja) | 楽譜認識装置 | |
| JPH11161738A (ja) | 楽譜認識方法及びその装置並びに楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3812835B2 (ja) | 楽譜認識装置 | |
| JP3354458B2 (ja) | 認識処理装置、コンピュータ読取り可能な記録媒体及び認識処理方法 | |
| JP3045086B2 (ja) | 光学式文字読取方法および装置 | |
| JP2976990B2 (ja) | 文字認識装置 | |
| JPH11250179A (ja) | 文字認識装置および文字認識方法 | |
| JPH1091719A (ja) | 文字認識状態の管理方法 | |
| JPH11265424A (ja) | 文字認識方法、装置および記録媒体 | |
| JP2001052111A (ja) | 文書入力方法、文書入力プログラムを記録した記録媒体及び文書入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040519 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080528 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |