JPH08153164A - 手書き文字認識方法及び装置 - Google Patents

手書き文字認識方法及び装置

Info

Publication number
JPH08153164A
JPH08153164A JP7083664A JP8366495A JPH08153164A JP H08153164 A JPH08153164 A JP H08153164A JP 7083664 A JP7083664 A JP 7083664A JP 8366495 A JP8366495 A JP 8366495A JP H08153164 A JPH08153164 A JP H08153164A
Authority
JP
Japan
Prior art keywords
character
candidate
weighting
cluster
ink data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7083664A
Other languages
English (en)
Other versions
JP3675511B2 (ja
Inventor
Yoshifumi Sakai
良文 坂井
Yoshitaka Ikeda
佳隆 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP08366495A priority Critical patent/JP3675511B2/ja
Publication of JPH08153164A publication Critical patent/JPH08153164A/ja
Priority to US08/800,374 priority patent/US5812697A/en
Application granted granted Critical
Publication of JP3675511B2 publication Critical patent/JP3675511B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【目的】入力枠を設けない手書き文字認識において、利
用者の書き癖による文字切り出し位置の誤り(「動」と
「重力」、「d」と「cl」など)をなくし、認識率の
向上を図る。 【構成】重み付けクラスタとその対象文字とを格納する
重み付け辞書を設ける。入力したインクデータから所定
の文字切り出し位置候補探索範囲W内で文字切り出し位
置候補を探索し(ステップ102)、切り出し位置候補ごと
に文字認識を行なって候補文字を獲得し(ステップ10
3)、特徴空間内での距離値(誤差量)に応じて候補文字
をソートする(ステップ106)。このとき、重み付けクラ
スタに近いインクデータがあるときには(ステップ10
4)、対応する候補文字の距離値に対し重み付けを行ない
(ステップ105)、その候補文字が文字認識の結果の文字
となり難くして、利用者の書き癖に応じた文字切り出し
が行なわれるようにする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はオンライン手書き文字認
識に関し、特に、入力枠を指定されずに連続して入力さ
れた複数文字分の手書き文字データから1字分の手書き
文字データを順次切り出す手書き文字認識方法及び装置
に関する。
【0002】
【従来の技術】これまでのオンライン手書き文字認識シ
ステムでは、入力装置上に予め設定された該四角形の領
域(入力枠)に対し利用者が1文字ずつ手書き文字を入
力するようになっていたが、近年、入力枠を設けること
なく利用者が自由に入力した手書き文字を認識できる技
術が開発されてきた。1字ごとの入力枠を設けない場
合、時間的に間を置かずに入力された複数文字分の手書
き文字データから、1字分ずつの手書き文字データの切
り出しを行なわなければならない。
【0003】現在、この切り出し方法としては、漢字を
含む日本語文字やブロック体で入力されたアルファベッ
トに対するものとして、例えば、2次元平面内のデータ
として入力された手書き文字データをこの平面内で各種
の方向に射影し、文字間に存在するスペース(空白領
域)を探索して文字の切れ目とする射影法がある。しか
しながらこの射影法では、文字内に本来あるべき空白領
域と文字間の空白領域との識別が正しく行なわれず、誤
った位置で文字切り出しが行なわれることがある。例え
ば、カタカナ2文字の「ノリ」と漢字の「川」、カタカ
ナ2文字の「ノレ」とカタカナ1文字の「ル」、数字2
文字の「13」とブロック体アルファベットの「B」、
あるいは「重力」と「動」などの区別を行なうことが非
常に難しい。また、アルファベットの文字列の場合、複
数の文字にまたがって1ストロークの運筆がなされるこ
と、すなわち続け字(カーシブ;cursive)で入力される
ことが多い。続け字で入力された複数文字分の手書き文
字データから1文字分ずつのデータを切り出す方法とし
ては、例えば、運筆時のペン先の移動方向を逐次検出
し、移動方向がある特定の方向から別の特定の方向に変
化したところを切り出し位置とする方法がある。この方
法でも、例えば「d」と「cl」などの区別を行なうこ
とは難しい。
【0004】いずれの切り出し方法を採用したとして
も、切り出し位置を一度誤ると、その誤っている位置を
基準に次の文字切り出しが行なわれるので、切り出し位
置の誤りが伝播することになり、切り出し位置の誤りは
広範囲に影響を及ぼすことになる。
【0005】正しい位置での切り出しを行なうために、
文字の縦横比などを利用することが試みられている。こ
の方法は、例えば横書きの場合、文字高に比べて極端に
短い位置での切り出しを行なわないことにより、誤った
位置での切り出しを防止しようとするものである。しか
しながら、手書き文字での縦横比は利用者によってかな
りばらつきがあり、また、文字によっても縦横比が異な
るので、縦横比を利用する方法でも切り出し位置の誤り
を減らすことは難しい。例えば、「動」と「証」とで
は、あるいは「i」と「W」とでは、文字の縦横比が異
なるので、同一の基準を用いて文字切り出しを行なった
場合に、いずれの文字も正しく切り出されるとは限らな
い。また、異なる利用者の手書き文字データのいずれに
対しても正確に文字切り出しが行なえるような、利用者
に共通した切り出し基準を見つけることも困難である。
【0006】以下の説明において、「文字」とは、文字
コードと1対1に対応するものを指し、具体的にはこの
ように文字コードによって一意に指定されるものの名前
のことを意味し、「インクデータ」とは、利用者がペン
などの入力デバイスによって入力した軌跡データを指
し、「手書き文字入力」とは、文字認識の対象となるイ
ンクデータを入力する作業を指し、「手書き文字」と
は、手書き文字認識処理を施すことを意図して利用者が
入力したインクデータのことを指し、「文字切り出し」
とは、手書き文字のインクデータ群の中から、1文字に
相当するインクデータを抽出することを指す。
【0007】また、「距離」とは、認識誤差量とも呼ば
れ、候補文字の形状的な特徴を表わすデータ(特徴量)
やインクデータがある場合に、これらのデータのうちの
任意の2つのものについて、両者の差異を定量的に表わ
す尺度のことである。例えば、データが特徴空間内の特
徴ベクトルとして表わされる場合には、2つの特徴ベク
トル間の差ベクトルのノルムとして距離を定義すること
ができる。距離が小さいほど、2つのデータがよく一致
していることになる。切り出されたインクデータをもと
に認識辞書を探索してそのインクデータに対応する候補
文字を見つけ出した場合には、その候補文字に対応する
特徴データとインクデータとの距離が小さいほど、探索
された候補文字が利用者の意図した文字である可能性が
高いということになる。
【0008】「クラスタ」とは、候補文字などについ
て、その形状的な特徴を表わすデータの代表となるべき
もののことを指す。インクデータから特徴ベクトルを生
成して文字認識処理が行なわれる場合には、クラスタは
候補文字の特徴ベクトル(代表点)に相当する。
【0009】
【発明が解決しようとする課題】上述したように、入力
枠を用いない手書き文字認識システムでは、連続して入
力する手書き文字データから1文字分の手書き文字デー
タを正確に切り出すことが難しく、このため、誤った切
り出し位置で切り出された手書き文字データに基づいて
文字認識を行なうこととなり、認識率の向上を望めない
という問題点がある。
【0010】本発明の目的は、正確な文字切り出しを行
なうことによってオンライン手書き文字認識の認識率の
向上を図ることにある。
【0011】
【課題を解決するための手段】本発明の手書き文字認識
方法は、利用者の入力したインクデータから文字切り出
しを行なって手書き文字認識を行なう手書き文字認識方
法において、文字とその文字に対するクラスタを格納し
た認識辞書と、重み付けクラスタとその重み付けクラス
タに対する対象文字を格納した重み付け辞書とを使用
し、未切り出しのインクデータに対し、前記未切り出し
のインクデータの先頭から手書き文字の入力方向に沿っ
て所定の長さの候補位置探索範囲を設定し、文字切り出
しの位置の候補となる切り出し候補位置を前記候補位置
探索範囲内のインクデータから探索し、前記認識辞書と
比較・照合して、前記切り出し位置候補ごとに、当該切
り出し位置候補に対応する候補文字と、対応するクラス
タからの当該候補文字の距離値とを求め、前記重み付け
辞書を探索し、前記切り出し候補位置ごとのインクデー
タの中に重み付けクラスタに近いものがあり、かつ、当
該重み付けクラスタの対象文字が探索された候補文字の
いずれかと一致する場合には、一致した候補文字の距離
値に重み付けを行ない、そののち、距離値の大小に応じ
て前記各候補文字の順位付けを行なう。
【0012】さらに本発明の手書き文字認識方法では、
重み付け辞書の学習を行なうために、前記順位付けの
後、前記順位付けの結果が最上位である候補文字以外の
文字が指定された場合に、前記各切り出し候補位置ごと
のインクデータの中に、前記指定された文字のクラスタ
に対する距離よりも、前記指定された文字とは異なる切
り出し候補位置に対応し前記指定された文字とは別の文
字のクラスタに対する距離の方が小さいものが存在する
かどうかを調べ、存在する場合には、前記候補位置探索
範囲内で最遠の切り出し候補位置を重み付けクラスタと
し、前記指定された文字よりも前記順位付けの結果が上
位である文字を前記対象文字として前記重み付け辞書に
登録するようにしてもよい。
【0013】本発明の手書き文字認識装置は、利用者の
入力したインクデータから文字切り出しを行なって手書
き文字認識を行なう手書き文字認識装置において、イン
クデータを入力する入力手段と、インクデータを格納す
るインクデータ格納手段と、文字とその文字に対するク
ラスタを格納した認識辞書と、重み付けクラスタとその
重み付けクラスタに対する対象文字を格納した重み付け
辞書と、前記インクデータ格納手段中の未切り出しのイ
ンクデータに対し、前記未切り出しのインクデータの先
頭から手書き文字の入力方向に沿って所定の長さの候補
位置探索範囲を設定し、文字切り出しの位置の候補とな
る切り出し候補位置を前記候補位置探索範囲内のインク
データから探索し、前記認識辞書と比較・照合して、前
記切り出し位置候補ごとに、当該切り出し位置候補に対
応する候補文字と、対応するクラスタからの当該候補文
字の距離値とを求め、前記重み付け辞書を探索し、前記
切り出し候補位置ごとのインクデータの中に重み付けク
ラスタに近いものがあり、かつ、当該重み付けクラスタ
の対象文字が探索された候補文字のいずれかと一致する
場合には、一致した候補文字の距離値に重み付けを行な
い、そののち、距離値の大小に応じて前記各候補文字の
順位付けを行なう文字認識手段と、を有する。
【0014】さらに本発明の手書き文字認識装置では、
重み付け辞書の学習のために、前記入力手段が、前記順
位付けの結果を表示し、かつ利用者からの指示を受け付
けることが可能な入力表示手段であり、さらに、前記順
位付けの後、前記順位付けの結果が最上位である候補文
字以外の文字が指定された場合に、前記各切り出し候補
位置ごとのインクデータの中に、前記指定された文字の
クラスタに対する距離よりも、前記指定された文字とは
異なる切り出し候補位置に対応し前記指定された文字と
は別の文字のクラスタに対する距離の方が小さいものが
存在するかどうかを調べ、存在する場合には、前記候補
位置探索範囲内で最遠の切り出し候補位置を重み付けク
ラスタとし、前記指定された文字よりも前記順位付けの
結果が上位である文字を前記対象文字として前記重み付
け辞書に登録する辞書更新手段を設けるようにしてもよ
い。
【0015】
【作用】本発明では、ユーザの書き癖などによる切り出
し位置の誤りを防ぐために、重み付けクラスタを重み付
け辞書に設定してあり、入力したインクデータがこの重
み付けクラスタに近い場合にはこの重み付けクラスタの
対象文字が文字認識され難くなるように構成されてい
る。したがって、利用者の書き癖などによって切り出し
位置の誤りが生じる場合、誤切り出しに対応するインク
データとその誤って認識されて出力された文字とを重み
付けクラスタとその対象文字として重み付け辞書に登録
することにより、以後はそのような誤切り出しが生じ難
くなり、利用者の意図した文字切り出しが行なわれるよ
うになる。
【0016】
【実施例】次に、本発明の実施例について、図面を参照
して説明する。図1は本発明の一実施例の手書き文字認
識装置の構成を示すブロック図である。この手書き文字
認識装置は、オンライン手書き文字認識を実行するもの
であって、利用者によるインクデータが入力するととも
に必要な情報を表示するための入力・表示パネル11
と、入力・表示パネル11に対して入力されたインクデ
ータを受け付け、手書き文字データなのか指示なのかを
識別する入力処理部13と、手書き文字のインクデータ
を格納するインクデータ格納部14と、文字認識に使用
される認識辞書21と、重み付けクラスタを格納する重
み付け辞書22と、認識辞書21及び重み付け辞書22
を参照してインクデータ格納部14内のインクデータに
対する文字切り出し処理及び文字認識処理を実行する文
字認識エンジン部15と、文字認識エンジン部15によ
る文字認識結果を格納する認識結果格納部16と、文字
認識結果に応じて入力・表示パネル11に対して表示を
行なう出力処理部17と、利用者からの指示に基づいて
認識辞書21及び重み付け辞書22の更新を行なう辞書
更新部18とによって構成されている。入力・表示パネ
ル11は、表示部とインクデータ20の入力部とが一体
になったいわゆる表示一体型入力パネルであり、例え
ば、液晶フラットディスプレイ上に透明型タブレットを
積層した構成のものを使用できる。利用者は、ペン12
でこの入力・表示パネルの入力・表示画面をなぞること
によって、所望のインクデータ20を入力できる。
【0017】本実施例では、文字切り出し処理によって
切り出されたインクデータから、その形状の特徴を表わ
す特徴ベクトルを求め、認識辞書21中の各文字(候補
文字)の特徴ベクトル(クラスタ)とインクデータから
求めた特徴ベクトルとを比較し、両者の距離に応じてそ
のインクデータに対する候補文字を定めることにより、
文字認識が行なわれるものとする。認識辞書21には、
文字とその文字のクラスタとが格納されている。ある1
つの文字に対して複数のクラスタが対応することが可能
であり、また、認識辞書21に対し利用者の指定した文
字のクラスタを追加登録することが可能なようになって
いる。もちろん本発明は、文字認識の方法やアルゴリズ
ムによらずに適用できるものであり、特徴ベクトルによ
らない文字認識方法、例えばパターンマッチング法など
にも本発明を適用することが可能である。
【0018】文字認識エンジン部15は、インクデータ
格納部14に格納された未切り出しのインクデータにつ
いて、その先頭部分(基点O)から手書き文字に入力方
向に向かって所定の範囲(切り出し候補位置探索範囲
W)の領域内にある切り出し候補位置を探索し、各切り
出し候補位置でインクデータを切り出したとして認識辞
書21と比較し、切り出し候補位置ごとにその切り出し
候補位置に対応する候補文字を求め、さらに重み付け辞
書22を参照して重み付けを行ない、文字認識を行なう
ものである。切り出し候補位置とは、文字切り出しが行
なわれるべき位置の候補のことであって、通常の文字切
り出し方法によって検出される位置のことである。
【0019】切り出し候補位置を探索する方法として
は、「従来の技術」の欄で述べた射影法などを用いるこ
とができる。図2は、日本語文字列に対応するインクデ
ータから射影法によって見出された切り出し候補位置の
実例を示している。この図2では、切り出し候補位置と
して、A及びBの2箇所が探索されている。文字認識の
際には、未切り出しのインクデータの先頭部分(基点
O)から各切り出し候補位置までのインクデータ(図2
に示した例では、基点Oから切り出し候補位置Aまでの
インクデータと、基点Oから切り出し候補位置Bまでの
インクデータ)を対象として、認識辞書21を参照して
これら各インクデータに対する候補文字が探索され、同
時にこれらの候補文字に対する距離値がそれぞれ算出さ
れる。ここで距離値は、切り出し候補位置ごとのインク
データから求められた特徴ベクトルと、そのインクデー
タに対応する候補文字についてのクラスタとの距離のこ
とである。そして、文字認識エンジン部15は、後述す
る重み付け処理を行なった後に、距離値でソートし、距
離値の小さい順に候補文字を認識結果格納部16に出力
するようになっている。
【0020】ここで重み付け処理について説明する。日
本語文字列に対応するインクデータに対する重み付け辞
書22の構成例が図3に示されている。重み付け辞書2
2には、重み付けクラスタとその重み付けクラスタによ
る重み付けの対象となる文字とが組になって格納されて
いる。重み付けクラスタは、利用者の入力したインクデ
ータに基づく特徴ベクトルとして、後述する辞書更新部
22により登録されたものである。図3に示した例で
は、「動」の字に似た重み付けクラスタに対し、「重」
の字が重み付け対象文字とされている。本実施例では、
各切り出し候補位置に対応するインクデータが重み付け
クラスタとして登録された形状に似ている場合には、そ
の重み付けクラスタに対応する重み付け対象文字が候補
文字として挙げられている場合に、その候補文字の距離
値に重み付けがなされるようになっている。重み付けの
方法としては、一定値を重み付け対象文字である候補文
字の距離値に加算する方法、切り出し候補位置に対応す
るインクデータの特徴ベクトルと重み付けクラスタとの
距離に応じて変化する値を候補文字の距離値に加算する
方法などがある。重み付けクラスタとの「近さ」に比例
した重み付けを行なうことが望ましい。結局、あるイン
クデータが重み付けクラスタとして登録されている場合
には、その重み付けクラスタに類似したインクデータが
入力した場合に、その重み付けクラスタの対象文字が文
字認識結果として現われ難くなる。利用者の書き癖によ
って、切り出し位置の誤りが生じる場合、誤切り出しに
対応するインクデータとその誤って認識されて出力され
た文字とを重み付けクラスタとその対象文字として重み
付け辞書22に登録することにより、以後はその誤切り
出しが生じ難くなる。
【0021】以上、漢字を含む日本語文字列に対応する
インクデータについて切り出し候補位置や重み付け辞書
を説明したが、本発明は、日本語文字列のインクデータ
のみを処理対象とするものではなく、他の文字種、例え
ばアルファベットやアラビア文字のインクデータにも適
用し得るものである。ここで、日本語文字列に対応する
インクデータ以外の例として、アルファベットからなる
英語文字列に対応するインクデータの場合を説明する。
【0022】図4(a),(b)は、それぞれ図2及び図3に
対応するものであって、1字ずつ分離して入力されたア
ルファベット文字列すなわちブロック体でのインクデー
タに対する切り出し候補位置と重み付け辞書を説明して
いる。アルファベットのブロック体の場合には、日本語
文字の場合と同様の切り出し方法を適用できるから、本
実施例の手書き文字認識装置と用いて、日本語文字とブ
ロック体のアルファベットが混在したインクデータから
文字の切り出しを行ない文字認識を実行することが十分
に可能である。図4(a)では、インクデータ20aに対
する切り出し候補位置として、切り出し候補位置探索範
囲Wの中から、P及びQの2箇所が探索されている。基
点Oから切り出し候補位置Pまでのインクデータに対す
る候補文字は例えば"1"であり、基点Oから切り出し候
補位置Qまでのインクデータに対する候補文字は例え
ば"B"である。図4(b)に示す重み付け辞書22の構成
例では、図4(a)のインクデータ20aのうち基点Oか
ら切り出し候補位置Qまでのインクデータによく似た重
み付けクラスタ(図示上の方の欄)に対し、数字の
「1」が重み付け対象文字とされ、また、数字の「1
3」によく似た重み付けクラスタ(図示下の方の欄)に
対し、大文字の「B」が重み付け対象文字とされてい
る。
【0023】次に、続け字で入力されたアルファベット
のインクデータを対象とする場合について説明する。こ
の場合、文字切り出しの方法として射影法は必ずしも適
切なものではないので、手書き文字入力時のペン先の移
動方向を逐次検出し、移動方向に特定の変化があった場
合にそこを切り出し候補位置とする方法を採用してい
る。図5(a),(b)はこの方法による切り出し候補位置の
検出を説明する図であり、これらの図において、矢印の
ついた線は運筆方向を示している。ここでは、移動方向
が左上から右下に向う方向から折れ曲がって左下から右
上に向う方向になったとき[図5(a)]や、移動方向が
左から右に向う方向から折れ曲がって右上から左下に向
う方向になったとき[図5(b)]に、その折れ曲がった
場所(図示×印)を切り出し候補位置とする。
【0024】さて、図6(a),(b)は、それぞれ図2及び
図3に対応するものであって、続け字で入力されたアル
ファベット文字列のインクデータに対する切り出し候補
位置と重み付け辞書を説明している。図6(a)では、イ
ンクデータ20bに対する切り出し候補位置として、切
り出し候補位置探索範囲Wの中から、R及びSの2箇所
が探索されている。基点Oから切り出し候補位置Rまで
のインクデータに対する候補文字は例えば"c"であり、
基点Oから切り出し候補位置Sまでのインクデータに対
する候補文字は例えば"d"である。図6(b)に示す重み
付け辞書22の構成例では、図6(a)のインクデータ2
0bのうち基点Oから切り出し候補位置Sまでのインク
データによく似た重み付けクラスタ(図示上の方の欄)
に対し、数字の「d」が重み付け対象文字とされ、ま
た、筆記体の「d」によく似た重み付けクラスタ(図示
下の方の欄)に対し、「c」が重み付け対象文字とされ
ている。
【0025】アルファベットの手書き文字データから文
字切り出しを行なう場合には、そのインクデータが1字
ずつ離して入力されるのか、続け字で入力されるのかに
応じて、切り出し候補位置の検索のためのアルゴリズム
が異なるのが普通である。そのため、1字ずつ離して入
力された場合のための重み付け辞書と、続け字の場合の
ための重み付け辞書とを別々に設け、さらに、分離して
いるのか続け字なのかに応じてそれに適した処理を実行
するようにすることが望ましい。なお、アルファベット
の文字列に対応するインクデータにおいて、1字ずつ分
離して入力がなされているか続け字で入力がなされてい
るかは、インクデータ中の各ストロークの広がり方や一
連のインクデータ中の空白領域の有無などで識別できる
から、手書き文字入力の後にこれらのいずれかを判断し
て、1字ごとに分離している場合の処理と続け字の場合
の処理のいずれかを選択することが可能である。
【0026】辞書更新部18は、利用者から学習の指示
があった場合に、認識辞書21あるいは重み付け辞書2
2の更新を行なう。誤切り出しが生じたので利用者が学
習を行なわせようとする場合、上述したように、誤切り
出しとなったインクデータを重み付けクラスタとして重
み付け辞書22に登録するのが原則であるが、この場
合、文字切り出しの基点から最遠の切り出し候補位置ま
でのインクデータを登録する。また、場合によっては、
認識辞書21中に妥当なクラスタが存在しなかったため
に誤切り出しとなることがあるが、そのような場合に
は、指定されたインクデータをクラスタとして認識辞書
21に登録する。さらに、辞書更新部18は、重み付け
クラスタを新規登録した場合にその新規登録の重み付け
クラスタの近傍に既存の重み付けクラスタが存在する場
合には、その既存の重み付けクラスタを重み付け辞書2
2から消去する。辞書更新部18での具体的に処理につ
いては、図8のフローチャートを用いて後述する。
【0027】次に、この手書き文字認識装置の動作を説
明する。最初に、文字認識処理の流れを図7のフローチ
ャートを用いて説明する。
【0028】まず、利用者が時間的に間を置かずに入力
した一連のインクデータを取得する(ステップ10
1)。取得されたインクデータは文字認識エンジン部1
5に送られる。切り出し候補位置探索範囲Wの中で切り
出し候補位置を探索し(ステップ102)、切り出し候
補位置ごとにインクデータを取り出し、これらの特徴ベ
クトルを求め、認識辞書21と比較して、切り出し候補
位置ごとの候補文字を獲得する(ステップ103)。こ
のとき、インクデータごとに、対応する候補文字のクラ
スタとそのインクデータの特徴ベクトルとの距離値を算
出しておく。候補文字の数は、切り出し候補位置ごとに
1個でもよいし複数個でもよい。
【0029】そして、重み付け辞書22内を探索し、取
り出されたインクデータの中で重み付けクラスタに近い
(類似している)ものがあるかを検索する(ステップ1
04)。この検索は、取り出された各切り出し候補位置
ごとのインクデータに対応する特徴ベクトルと重み付け
クラスタとの特徴空間内での距離が所定のしきい値r以
下であるかどうかで行なわれる。重み付けクラスタに近
いものが存在しない場合は、ステップ106に移行し、
存在する場合には、重み付け辞書22においてその重み
付けクラスタの対象文字として登録されている文字を読
み出し、その文字がすでに求められている候補文字のい
ずれかと一致する場合には、その一致する候補文字につ
いての距離値に重み付けを行なう(ステップ105)。
【0030】ステップ106では、各候補文字をその距
離値に応じてソートし、距離値の小さい順に並べる。距
離値の定義によっては、インクデータ中のストローク数
に距離値が依存する場合もあるが、そのような場合に
は、正規化処理を行なって、異なるストローク数のイン
クデータを比較できるようにする。このソート結果は、
文字認識エンジン部15から認識結果格納部16に送ら
れ、出力処理部17によって、ソート結果に応じた候補
文字の表示が入力・表示パネル11で行なわれる(ステ
ップ107)。候補文字の表示は、最も確からしい候補
文字、すなわち、重み付け処理を実行した後の距離値が
最も小さな文字のみをまず表示し、利用者の指示によっ
て次順位の文字を表示するようにしてもよいし、ソート
順に応じていくつかの候補文字を並べて表示してもよ
い。その後、利用者に指示によって候補文字を確定する
(ステップ108)。このとき、第1順位の候補文字が
利用者の意図した文字でない場合には、利用者は、次順
位以下の候補文字を検索し、自分の意図した文字を指定
して候補文字の確定を行なうものとする。そして、確定
した候補文字に対応する切り出し候補位置までのインク
データを切り出し処理済みのものとし、切り出しの開始
位置(基点O)を次に進め、全てのインクデータが切り
出し済みかどうかを判断する(ステップ109)。未切
り出しのインクデータが残っている場合にはステップ1
02に戻って上記の処理を繰り返し、残っていない場合
には処理を終了する。
【0031】この手書き文字認識装置では、切り出し候
補位置ごとに候補文字が求められるので、例えば、
「動」と「重」、ブロック体での「B」と数字の
「1」、続け字での「d」と「c」などのように、切り
出し位置の異なる候補文字が併存することになる。そし
て、候補文字を利用者に提示している段階では文字切り
出しの位置は確定しておらず、候補文字の確定ととも
に、その候補文字に対応する切り出し候補位置で切り出
し位置が確定し、文字切り出しが最終的に行なわれたこ
とになる。
【0032】以下、実例を挙げて説明する。図2に示し
たインクデータ20は、利用者が日本語文字列の「動
的」を意図して手書き文字入力したものであるが、
「動」の字の偏(へん)と旁(つくり)の部分が離れ気
味である。このインクデータ20に対する切り出し候補
位置ごとの候補文字とその候補文字に対する距離値が表
1に示されている。表1に示されるように、重み付け処
理を行なわない距離値で候補文字の順位付けを行なう
と、「重」の方が距離値が近いため、第1順位の候補文
字は「重」となり、誤った文字切り出しが行なわれるこ
とになる。
【0033】
【表1】 ところで、重み付け辞書22に、図3のような重み付け
クラスタ(図2のインクデータ20中の「動」の字に非
常に類似している)が、「重」の文字を対象文字として
登録されていたとする。すると、切り出し候補位置Bで
のインクデータがこの重み付けクラスタに近いことにな
るので、候補文字「重」に重み付けが行なわれることに
なる。この重み付け処理の結果、候補文字「動」に対す
る距離値はそのままであるのに対し、候補文字「重」に
対する距離値が増加し、「動」の方の距離値が小さくな
って、最終的に、第1順位の候補文字が「動」となる。
すなわち、利用者の書き癖に応じて正確な文字切り出し
が行なわれたことになる。なお、利用者が「重力」を意
図した場合、そのときのインクデータは、「動」を意図
したときのインクデータとは異なっていると考えられ、
その場合は上述の重み付けクラスタとはインクデータが
異なるであろうから、「重」に対する重み付けは十分に
行なわれず、「重」、「力」と正しく切り出しを行なう
ことができる。
【0034】別のケースとして、「重力」と入力したつ
もりが「重」と「力」が離れていないために「動」と誤
切り出しされるような場合には、誤切り出しされたイン
クデータについて、切り出しの基点から最も遠い切り出
し候補位置までを重み付けクラスタとし、対象文字を
「動」として重み付け辞書に登録することにより、以後
は正しく「重力」と認識されるようになる。
【0035】続いて、アルファベットの文字列の場合の
例を説明する。図4(a)に示したインクデータ20a
は、利用者がブロック体で「BAG」を意図して手書き
文字入力したものであるが、「B」の字の左側の縦棒部
分と右側の部分とが離れており、「B」でなく数字の
「13」とも読めるものである。このインクデータ20
aに対する切り出し候補位置ごとの候補文字とその候補
文字に対する距離値が表2に示されている。表2に示さ
れるように、重み付け処理を行なわない距離値で候補文
字の順位付けを行なった場合には、第1順位の候補文字
は数字の「1」となり、誤った文字切り出しが行なわれ
たことになる。
【0036】
【表2】 ところで、重み付け辞書22に図4(b)に示すように重
み付けクラスタが登録されていたとすると、切り出し候
補位置Qでのインクデータが重み付け辞書22のうちの
図示上の方の重み付けクラスタと近いことになるので、
候補文字「1」に重み付けが行なわれる。その結果、最
終的に、第1順位の候補文字が「B」となり、利用者の
書き癖に応じて正確な文字切り出しが行なわれたことに
なる。
【0037】同様に、図6(a)に示すインクデータ20
bは、利用者が続け字で「clip」を意図して手書き
文字入力したものであるが、「c」と「l」の字がつま
り気味であって、この部分が「d」に類似している。こ
のインクデータ20bに対する切り出し候補位置ごとの
候補文字とその候補文字に対する距離値が表3に示され
ている。表3に示されるように、重み付け処理を行なわ
ない距離値で候補文字の順位付けを行なった場合には、
第1順位の候補文字は「d」となり、誤った文字切り出
しが行なわれたことになる。
【0038】
【表3】 ところで、重み付け辞書22に図6(b)に示すように重
み付けクラスタが登録されていたとすると、切り出し候
補位置Sでのインクデータが重み付け辞書22のうちの
図示上の方の重み付けクラスタと近いことになるので、
候補文字「d」に重み付けが行なわれる。その結果、最
終的に、第1順位の候補文字が「c」となり、利用者の
書き癖に応じて正確な文字切り出しが行なわれたことに
なる。
【0039】次に、学習処理について図8を用いて説明
する。
【0040】学習処理は、誤切り出しが行なわれた場合
に利用者が入力・表示パネル11の所定箇所をダブルク
リックすることなどによって、開始する。このとき、誤
切り出しが行なわれたインクデータがそのまま保存され
ているとする。以下、このインクデータのことを入力デ
ータという。
【0041】次順位以下の候補文字で上述の確定が行な
われたなどのことにより、入力データに対する正しい文
字(以下、指定文字という)が利用者によって指定され
ると、まず、その入力データに対応する特徴ベクトルと
その指定文字の既存のクラスタとの距離が第1のしきい
値以下であるかどうかが判断される(ステップ11
1)。第1のしきい値以下の場合はステップ113に移
行する。第1のしきい値を越える場合は、認識辞書21
におけるその指定文字のクラスタがその利用者にとって
適切なものではない場合なので、その特徴ベクトルをそ
の指定文字のクラスタとして認識辞書21に追加登録す
る(ステップ112)。
【0042】ステップ113では、認識辞書21内が検
索され、入力データの特徴ベクトルに対して、指定文字
のクラスタよりも近くに別の文字のクラスタがあるかど
うかが判断される。「近い」とは、距離値が小さいとい
うことである。また、ここでいう別の文字とは、指定文
字とは切り出し位置が異なる文字のことである。そのよ
うなクラスタが存在しない場合には、誤切り出しによる
誤認識ではない場合なので、学習処理を終了する。な
お、切り出し位置が同じクラスタがより近くに存在する
場合は、誤切り出しではなく、単なる誤認識の問題であ
る。ここで入力データの特徴ベクトルとクラスタとを比
較しているが、認識辞書がインクデータのストローク数
別に編成されていて、異なるストローク数間での比較が
直接行なえないような場合には、データをストロークご
との特徴空間で比較して距離値を求め、その距離値を適
宜正規化して、異なるストローク数間での比較を行なえ
ばよい。
【0043】ステップ113で指定文字より近いクラス
タがある場合には、その別の文字のクラスタと入力デー
タの特徴ベクトルとの距離が第2のしきい値以下である
かを判断する(ステップ114)。第2のしきい値を越
える場合は、重み付けクラスタの設定が適切でない場合
なので処理を終了し、第2のしきい値以下の場合には、
切り出し候補位置探索範囲Wの範囲内で最も遠くにある
切り出し候補位置から切り出されたインクデータに対応
する特徴ベクトルを重み付けクラスタとし、指定文字よ
り順位が上位であった候補文字を重み付けの対象文字と
して、重み付け辞書22に登録する(ステップ11
5)。そして、重み付け辞書22を検索し、新規登録の
重み付けクラスタの近くに既存の重み付けクラスタが存
在するかどうかを調べ(ステップ116)、存在しない
場合には処理を終了し、存在する場合には、矛盾した重
み付けクラスタの存在と重み付け辞書22の必要以上の
肥大化とを防ぐために、その既存の重み付けクラスタを
重み付け辞書22から消去して(ステップ117)、処
理を終了する。ステップ115において、切り出し候補
位置探索範囲Wの範囲内で最遠の切り出し候補位置に基
づき重み付けクラスタを設定しているが、仮に、最遠で
ない切り出し候補位置から重み付けクラスタを設定した
とすると、後続のストロークを考慮しないで重み付け処
理が行なわれることになり、上述した例で言えば、「重
さ」と入力しても「動」と認識されてしまうおそれがあ
る。
【0044】次に、学習処理について、日本語文字列の
場合を例に挙げて、さらに詳しく説明する。図2に示す
ようなインクデータ20が入力した場合、特徴空間30
内において、切り出し候補位置Aまでのデータ及び切り
出し候補位置Bまでのデータに対応する特徴ベクトル
が、図6(a)に示されるように、それぞれ、図示×印の
点34A及び点34Bのように配置したとする。また、
認識辞書21における文字「動」のクラスタと文字
「重」のクラスタとが、それぞれ図示□印の点31及び
点32のように配置されているものとする。点34Aに
最も近いクラスタは「重」のクラスタであり、点34B
に最も近いクラスタは「動」のクラスタであるから、こ
れら「重」と「動」とがそれぞれ候補文字として選択さ
れる。点31と点34Bとの距離D1が点32と点34
Aとの距離D2より長いので、重み付け処理を行なわな
い限り、距離D2に対応する方、すなわち候補文字
「重」に方が高い順位となる。図2は「動的」を入力し
たものであるから、誤切り出しとなる。
【0045】そこで、図6(b)に示すように、切り出し
候補位置探索範囲W内で遠い方の切り出し候補位置Bに
対応するインクデータを重み付けクラスタ33として設
定する。この場合の重み付け対象文字は「重」である。
このように重み付けクラスタ33を重み付け辞書22に
登録したのち、図2に示すのとほぼ同様のインクデータ
が入力したものとすると、図2に示したのとほぼ同様
に、切り出し候補位置が検出される。ここでもこの切り
出し候補位置をA及びBとすると、それらの切り出し候
補位置でのインクデータは、特徴空間30内で、それぞ
れ、点35A及び点35Bに配置する。この場合も点3
5Aに最も近いクラスタは「重」クラスタであり、点3
5Bに最も近いクラスタは「動」のクラスタであるか
ら、これら「重」と「動」とがそれぞれ候補文字として
選択される。そして、点31と点35Bの距離D3が、
点32と点35Aの距離D4よりも長いため、重み付け
処理を行なわなければ、「重」が切り出されることにな
る。しかし、点35Bは、重み付けクラスタ33から所
定のしきい値rの範囲内にあるため、候補文字「重」に
対して重み付けがなされ、「重」に対する距離D4に重
み付け量δが加算される。その結果、D3<D4+δと
なって、「動」が切り出され、正しい文字切り出しが行
なわれることになる。
【0046】以上、日本語文字列のインクデータに対す
る重み付け辞書の場合を例に挙げて学習処理を説明した
が、ここで述べた学習処理が、他の文字種、例えば続け
字のアルファベットのインクデータに対応した重み付け
辞書の学習処理にそのまま適用できるものであることは
言うまでもない。文字種に応じた重み付け辞書を別々に
設けて文字種によって重み付け辞書を切り換える場合に
は、それらの文字種ごとに重み付け辞書の学習処理を実
行すればよい。
【0047】
【発明の効果】以上説明したように本発明は、重み付け
クラスタとその対象文字とが登録される重み付け辞書を
設け、入力したインクデータがこの重み付けクラスタに
近い場合にはこの重み付けクラスタの対象文字が文字認
識され難くなるように構成されている。したがって、利
用者の書き癖などによって切り出し位置の誤りが生じる
ときに、誤切り出しに対応するインクデータとその誤っ
て認識されて出力された文字とを重み付けクラスタとそ
の対象文字として重み付け辞書に登録することにより、
以後はそのような誤切り出しが生じ難くなり、利用者の
意図した文字切り出しが行なわれるようになるという効
果がある。
【図面の簡単な説明】
【図1】本発明の一実施例の手書き文字認識装置の構成
を示すブロック図である。
【図2】日本語文字列に対応するインクデータでの切り
出し候補位置を説明する図である。
【図3】日本語文字列に対応するインクデータに対する
重み付け辞書を説明する図である。
【図4】(a),(b)は、それぞれ、1字ずつ分離して入力
されたアルファベット文字列のインクデータに対する切
り出し候補位置を説明する図と重み付け辞書を説明する
図である。
【図5】(a),(b)は、続け字のインクデータに対する切
り出し候補位置の検出方法を説明する図である。
【図6】(a),(b)は、それぞれ、続け字で入力されたア
ルファベット文字列のインクデータに対する切り出し候
補位置を説明する図と重み付け辞書を説明する図であ
る。
【図7】文字認識処理の流れを示すフローチャートであ
る。
【図8】学習処理の流れを示すフローチャートである。
【図9】(a)〜(c)は、それぞれ、学習と文字認識との関
係を説明する図である。
【符号の説明】
11 入力・表示パネル 12 ペン 13 入力処理部 14 インクデータ格納部 15 文字認識エンジン部 16 認識結果格納部 17 出力処理部 18 辞書更新部 21 認識辞書 22 重み付け辞書 30 特徴空間 33 重み付けクラスタ 101〜109,111〜117 ステップ

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 利用者の入力したインクデータから文字
    切り出しを行なって手書き文字認識を行なう手書き文字
    認識方法において、 文字とその文字に対するクラスタを格納した認識辞書
    と、重み付けクラスタとその重み付けクラスタに対する
    対象文字を格納した重み付け辞書とを使用し、 未切り出しのインクデータに対し、前記未切り出しのイ
    ンクデータの先頭から手書き文字の入力方向に沿って所
    定の長さの候補位置探索範囲を設定し、 文字切り出しの位置の候補となる切り出し候補位置を前
    記候補位置探索範囲内のインクデータから探索し、 前記認識辞書と比較・照合して、前記切り出し位置候補
    ごとに、当該切り出し位置候補に対応する候補文字と、
    対応するクラスタからの当該候補文字の距離値とを求
    め、 前記重み付け辞書を探索し、前記切り出し候補位置ごと
    のインクデータの中に重み付けクラスタに近いものがあ
    り、かつ、当該重み付けクラスタの対象文字が探索され
    た候補文字のいずれかと一致する場合には、一致した候
    補文字の距離値に重み付けを行ない、 そののち、距離値の大小に応じて前記各候補文字の順位
    付けを行なうことを特徴とする手書き文字認識方法。
  2. 【請求項2】 前記順位付けの結果に基づいて候補文字
    の確定と文字切り出しが行なわれる請求項1に記載の手
    書き文字認識方法。
  3. 【請求項3】 前記順位付けの後、前記順位付けの結果
    が最上位である候補文字以外の文字が指定された場合
    に、 前記各切り出し候補位置ごとのインクデータの中に、前
    記指定された文字のクラスタに対する距離よりも、前記
    指定された文字とは異なる切り出し候補位置に対応し前
    記指定された文字とは別の文字のクラスタに対する距離
    の方が小さいものが存在するかどうかを調べ、 存在する場合には、前記候補位置探索範囲内で最遠の切
    り出し候補位置を重み付けクラスタとし、前記指定され
    た文字よりも前記順位付けの結果が上位である文字を前
    記対象文字として前記重み付け辞書に登録する、請求項
    1ないし2に記載の手書き文字認識方法。
  4. 【請求項4】 前記重み付け辞書への登録が行なわれた
    後、新規登録の重み付けクラスタに対して距離が近い既
    存の重み付けクラスタの存在を調べ、存在する場合には
    当該既存の重み付けクラスタを消去する請求項3に記載
    の手書き文字認識方法。
  5. 【請求項5】 利用者の入力したインクデータから文字
    切り出しを行なって手書き文字認識を行なう手書き文字
    認識装置において、 インクデータを入力する入力手段と、 インクデータを格納するインクデータ格納手段と、 文字とその文字に対するクラスタを格納した認識辞書
    と、 重み付けクラスタとその重み付けクラスタに対する対象
    文字を格納した重み付け辞書と、 前記インクデータ格納手段中の未切り出しのインクデー
    タに対し、前記未切り出しのインクデータの先頭から手
    書き文字の入力方向に沿って所定の長さの候補位置探索
    範囲を設定し、文字切り出しの位置の候補となる切り出
    し候補位置を前記候補位置探索範囲内のインクデータか
    ら探索し、前記認識辞書と比較・照合して、前記切り出
    し位置候補ごとに、当該切り出し位置候補に対応する候
    補文字と、対応するクラスタからの当該候補文字の距離
    値とを求め、前記重み付け辞書を探索し、前記切り出し
    候補位置ごとのインクデータの中に重み付けクラスタに
    近いものがあり、かつ、当該重み付けクラスタの対象文
    字が探索された候補文字のいずれかと一致する場合に
    は、一致した候補文字の距離値に重み付けを行ない、そ
    ののち、距離値の大小に応じて前記各候補文字の順位付
    けを行なう文字認識手段と、を有することを特徴とする
    手書き文字認識装置。
  6. 【請求項6】 前記入力手段が、前記順位付けの結果を
    表示し、かつ利用者からの指示を受け付けることが可能
    な入力表示手段であり、 前記順位付けの後、前記順位付けの結果が最上位である
    候補文字以外の文字が指定された場合に、前記各切り出
    し候補位置ごとのインクデータの中に、前記指定された
    文字のクラスタに対する距離よりも、前記指定された文
    字とは異なる切り出し候補位置に対応し前記指定された
    文字とは別の文字のクラスタに対する距離の方が小さい
    ものが存在するかどうかを調べ、存在する場合には、前
    記候補位置探索範囲内で最遠の切り出し候補位置を重み
    付けクラスタとし、前記指定された文字よりも前記順位
    付けの結果が上位である文字を前記対象文字として前記
    重み付け辞書に登録する辞書更新手段をさらに有する、
    請求項5に記載の手書き文字認識装置。
JP08366495A 1994-06-10 1995-04-10 手書き文字認識方法及び装置 Expired - Fee Related JP3675511B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP08366495A JP3675511B2 (ja) 1994-09-29 1995-04-10 手書き文字認識方法及び装置
US08/800,374 US5812697A (en) 1994-06-10 1997-02-14 Method and apparatus for recognizing hand-written characters using a weighting dictionary

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP23465294 1994-09-29
JP6-234652 1994-09-29
JP08366495A JP3675511B2 (ja) 1994-09-29 1995-04-10 手書き文字認識方法及び装置

Publications (2)

Publication Number Publication Date
JPH08153164A true JPH08153164A (ja) 1996-06-11
JP3675511B2 JP3675511B2 (ja) 2005-07-27

Family

ID=26424698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08366495A Expired - Fee Related JP3675511B2 (ja) 1994-06-10 1995-04-10 手書き文字認識方法及び装置

Country Status (1)

Country Link
JP (1) JP3675511B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217348A (ja) * 2007-03-02 2008-09-18 Canon Inc 文字認識装置、文字認識方法、コンピュータプログラム
JP4787275B2 (ja) * 2005-02-28 2011-10-05 ザイ デクマ アクチボラゲット セグメント化ベースの認識
JP5735126B2 (ja) * 2013-04-26 2015-06-17 株式会社東芝 システムおよび筆跡検索方法
JP2017162148A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 情報処理装置、プログラム、情報処理方法
JP2021093225A (ja) * 2021-03-19 2021-06-17 キヤノン株式会社 情報処理装置、プログラム、情報処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787275B2 (ja) * 2005-02-28 2011-10-05 ザイ デクマ アクチボラゲット セグメント化ベースの認識
JP2008217348A (ja) * 2007-03-02 2008-09-18 Canon Inc 文字認識装置、文字認識方法、コンピュータプログラム
JP5735126B2 (ja) * 2013-04-26 2015-06-17 株式会社東芝 システムおよび筆跡検索方法
JP2017162148A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 情報処理装置、プログラム、情報処理方法
JP2021093225A (ja) * 2021-03-19 2021-06-17 キヤノン株式会社 情報処理装置、プログラム、情報処理方法

Also Published As

Publication number Publication date
JP3675511B2 (ja) 2005-07-27

Similar Documents

Publication Publication Date Title
US6795579B2 (en) Method and apparatus for recognizing handwritten chinese characters
JP4787275B2 (ja) セグメント化ベースの認識
US7756335B2 (en) Handwriting recognition using a graph of segmentation candidates and dictionary search
JP3675511B2 (ja) 手書き文字認識方法及び装置
JPH07146918A (ja) 手書き文字認識装置
WO2000036530A1 (en) Searching method, searching device, and recorded medium
US7133556B1 (en) Character recognition device and method for detecting erroneously read characters, and computer readable medium to implement character recognition
JP7095450B2 (ja) 情報処理装置、文字認識方法、および文字認識プログラム
JPH08263587A (ja) 文書入力方法および文書入力装置
JPH096920A (ja) 手書き文字認識方法及びその装置
JP3720876B2 (ja) 手書き文字認識学習方法及び手書き文字認識装置
SE528063C2 (sv) Metod och anordning för segmenteringsbaserad igenkänning
JPS6111891A (ja) 手書き文字図形認識装置
JPH11120294A (ja) 文字認識装置および媒体
JPH08190603A (ja) 文字認識装置及びその候補文字表示方法
JP3164962B2 (ja) 文字認識辞書作成方法および装置
JP2004005761A (ja) キーワード抽出・検索装置
JPH05189621A (ja) オンライン手書き文字認識装置
JP2994992B2 (ja) 手書き文字オンライン認識装置とその字体登録・学習方法
JP2004030695A (ja) キーワード抽出・検索装置
JPH0756666B2 (ja) 情報認識方法
JPH09231310A (ja) 情報処理装置
JPH06195519A (ja) 文字認識装置および文字認識方法
JPH0850634A (ja) 手書き文字認識方法および装置
JP2000057256A (ja) 文字認識装置及び文字認識方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050426

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350