JP3674301B2 - 搬送媒体の画像処理方法 - Google Patents

搬送媒体の画像処理方法 Download PDF

Info

Publication number
JP3674301B2
JP3674301B2 JP08689398A JP8689398A JP3674301B2 JP 3674301 B2 JP3674301 B2 JP 3674301B2 JP 08689398 A JP08689398 A JP 08689398A JP 8689398 A JP8689398 A JP 8689398A JP 3674301 B2 JP3674301 B2 JP 3674301B2
Authority
JP
Japan
Prior art keywords
medium
image
banknote
angle
rectangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08689398A
Other languages
English (en)
Other versions
JPH11283070A (ja
Inventor
哲雄 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Retail Systems Co Ltd
Original Assignee
Fuji Electric Retail Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Retail Systems Co Ltd filed Critical Fuji Electric Retail Systems Co Ltd
Priority to JP08689398A priority Critical patent/JP3674301B2/ja
Publication of JPH11283070A publication Critical patent/JPH11283070A/ja
Application granted granted Critical
Publication of JP3674301B2 publication Critical patent/JP3674301B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は搬送媒体の画像処理方法に関し、特に矩形媒体を搬送しながらスキャンすることによって得られた画像から搬送中に傾いた状態で撮像された矩形媒体の画像を傾きを正して取り出す搬送媒体の画像処理方法に関する。
【0002】
【従来の技術】
たとえば紙幣を鑑別するような装置では、紙幣を搬送しながら搬送路の途中に配置されたイメージセンサにより紙幣の画像を読み取り、読み取った画像を処理することによって、金種判定および真贋判定を行っている。すなわち、読み取った画像に対して紙幣の所定位置に配置された金種ごとに異なる印刷模様や透かしなどの特徴的な模様部分を抽出し、それを基準となる紙幣が持つ特徴的な模様部分と比較することによって紙幣の鑑別を行っている。したがって、金種などの判定を正確に行うには、紙幣の撮像画像から抽出すべき特徴的な模様部分の座標位置が正確に分かっていなければならない。
【0003】
ところで、紙幣の撮像は紙幣を搬送しながら行うが、その搬送路の幅は、鑑別対象の紙幣の中で最も寸法の大きな紙幣に合わせて設定されているため、寸法の小さい紙幣では、搬送幅に余裕のある分だけ、搬送途中で搬送方向に対して曲がりやすく、斜行状態で搬送されることになる。このような斜行状態で撮像された紙幣画像は、特徴量の抽出を正確に行うことができない。そこで、通常は、実際に紙幣鑑別を行う前に、撮像された画像から紙幣の斜行状態を検出し、紙幣の画像を真っ直ぐな状態にする斜行補正が行われる。
【0004】
たとえば特開平8−212417号公報に記載の技術では、まず、紙幣全体を撮像し、その撮像した紙幣のイメージデータから紙幣の輪郭、すなわち紙幣の短手および長手の4辺の情報を求め、これにより、紙幣の斜行角度を求めている。その後、斜行した画像をその画像の角を原点として斜行量分だけ回転させる処理をして、真っ直ぐな状態の画像にしている。
【0005】
次に、斜行補正された画像をもとに、鑑別処理を行い、その鑑別結果に従って紙幣搬送路の切り替えが行われる。すなわち、鑑別処理によって正しい紙幣と判定された場合は、その紙幣を収納するための収納庫へ向かう搬送路への搬送路切り替えが行われ、正しい紙幣ではない、あるいは鑑別不能と判定された場合は、そのような紙幣を返却するための搬送路への搬送路切り替えが行われる。
【0006】
以上のように、紙幣鑑別の場合、撮像した画像をまず前処理によって斜行補正を行い、その斜行補正された紙幣画像に対して鑑別処理をし、鑑別結果に基づいて搬送路切り替えを行っている。したがって、この鑑別処理は搬送路切り替えを行うまでに完了していなければならない。
【0007】
【発明が解決しようとする課題】
ところで、偽札技術が高級になってくると、鑑別論理のアルゴリズムも複雑になってきており、それにつれて鑑別処理も複雑になってきている。たとえば紙幣を撮像する際に紙幣を照明するものとして発光波長の異なる2種類の光源を使用し、スキャンラインごとに光源を切り替えて撮像することにより2種類の紙幣画像を取得し、各画像に対してそれぞれ鑑別処理を行い、より鑑別精度を向上させることが試みられている。このような場合、鑑別処理の時間は、通常の鑑別処理のほぼ2倍になる。この場合にも、もちろん、搬送路切り替えを行う前に鑑別処理が終わっていなければならない。このように、鑑別精度を向上させるためには、今後、益々処理時間が長くなる傾向にあるが、紙幣の搬送速度と搬送路切り替えを行うまでの搬送路の長さとを維持しつつ、鑑別処理の時間だけを長くすることは困難であるという問題があった。
【0008】
本発明はこのような点に鑑みてなされたものであり、鑑別前処理の時間を短くして、その分、鑑別処理に費やすことができる時間を長くし、複雑な鑑別処理を採用することが可能な搬送媒体の画像処理方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明では上記問題を解決するために、矩形媒体を搬送しながら撮像して得られた画像の傾斜状態を補正するする搬送媒体の画像処理方法において、媒体検出センサが搬送されてきた前記矩形媒体の搬送方向先端を検出後、搬送速度および撮像素子までの距離によって定められた所定時間後に前記矩形媒体のスキャンラインごとの撮像を開始し、前記媒体検出センサが前記矩形媒体の搬送方向後端を検出後、撮像が前記矩形媒体の搬送方向後縁より手前の角度算出不定領域に到達するまでの不定領域到達時間を算出し、前記不定領域到達時間経過後に、その時点まで撮像した画像データに対して傾斜画像の角度補正をしながら、残りの前記角度算出不定領域について撮像および傾斜画像の角度補正を行う、ことを特徴とする搬送媒体の画像処理方法が提供される。
【0010】
このような搬送媒体の画像処理方法によれば、媒体検出センサによる矩形媒体の先端の検出後、矩形媒体の先端から順次撮像していき、媒体検出センサによる矩形媒体後端の検出時に、搬送速度と媒体通過時間とから矩形媒体の長さを算出し、その矩形媒体の長さからあらかじめ定められた矩形媒体の角度算出不定領域に撮像が到達するまでの時間を算出する。その時間が経過して、撮像が矩形媒体の角度算出不定領域に到達した段階で、それまでに得られた画像データに対し、媒体画像の傾斜角度を求め、媒体画像をその傾斜角度で角度補正する。これと並行して、矩形媒体の残りの角度算出不定領域を撮像し、先に求めた傾斜角度で角度補正をする。これにより、矩形媒体の撮像が終了した時点で媒体画像のほとんどの部分で角度補正まで終えていることになる。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を、紙幣鑑別のための画像読み取り装置に適用した場合を例に図面を参照して詳細に説明する。
【0012】
図1は紙幣鑑別装置の画像読み取り装置の概略構成を示す平面図である。この図1において、搬送路1上には、紙幣2を搬送するための複数のローラ3a,3b,3cが配置されている。紙幣2は、図の左側から搬送されてくるとすると、搬送路1の上流側には突入センサ4が配置され、下流側には撮像センサ5が配置されている。
【0013】
突入センサ4は、たとえば発光素子と受光素子とからなるフォトカプラによって構成され、発光素子と受光素子との間に搬送されてきた紙幣2が挿入されて受光素子が受けていた発光素子からの光が遮断されることによって、紙幣2の突入が検出され、紙幣2がこの突入センサ4を通過して再び受光素子が発光素子から放射された光を受光することによって紙幣2の突出が検出される。
【0014】
撮像センサ5は、たとえばCCD(charge coupled device )ラインセンサとたとえば複数の発光ダイオード(LED)を一列に並べたLEDアレイの光源とによって構成されている。撮像センサ5は、搬送方向に対して直角な方向にスキャンするよう配置され、紙幣2を搬送しながら光源を点灯制御することによって、紙幣2の画像を順次読み取ることになる。また、光源およびCCDラインセンサは紙幣2を挟むようにしてその両側(上下)に配置されている。このCCDラインセンサは、紙幣2を透過しないで直接入射された光源からの光を飽和した大きな画素値を有する透光画素として検出し、紙幣2を透過して入射された光を画素値の小さな非透光画素として検出する。したがって、あるスキャンライン上での全画素値が飽和した値を示せば、そのCCDラインセンサ上に紙幣2が来ていないか通り過ぎたと判断でき、1画素でも非透光画素の値を示せば、CCDラインセンサ上に紙幣2があると判断できる。
【0015】
図2は紙幣の画像読み取りを説明する図である。紙幣は、撮像センサ5 を通過するときに、搬送方向に対して真っ直ぐな状態ではなく、ほとんどは斜行状態にあり、得られる紙幣画像10も斜行している。また、流通紙幣の場合は、特に四角の部分が傷み易く、折れ曲がっていたり破損していたりすることが多い。そこで、紙幣のたとえば四角から20mmの範囲の領域11a,11b,11c,11dは、鑑別処理には必要であるが、特に角度算出のための画像データとしては信頼性のある領域ではないとし、角度算出不定領域としている。したがって、斜行角度を算出する画像データは、領域11a,11b,11c,11dを含むスキャン領域を除いた中央の領域12から取得する。
【0016】
ここで、紙幣画像10の斜行補正を行って紙幣画像データの切り出しを行うまでの鑑別前処理について簡単に説明する。紙幣2が上流から搬送されて来て、紙幣2の先端(図2の紙幣画像10の上縁)が突入センサ4に差しかかると、突入センサ4は「突入」を検出し、紙幣2の先端が撮像センサ5に差しかかる手前で「撮像」が開始される。紙幣2は搬送されながらその先端から順次スキャンされ、画素データの取得と同時にシェーディング補正が行われる。このシェーディング補正については後述する。紙幣2の後端が突入センサ4から抜けて「突出」が検出されると、ここで紙幣の長手長が計算され、残り20mmの角度算出不定領域までの時間が算出される。引き続き、撮像センサ5によるスキャンが行われ、残り20mmに達した時点で、それまでに取得したスキャンデータから領域12のスキャンデータを対象に、紙幣2の幅および斜行角度が算出される。すなわち、各スキャンライン上でスキャン方向に透光画素から非透光画素に最初に変わる開始座標と最後に非透光画素から透光画素に変わる終了座標とを取得して前記開始座標と終了座標との差から各スキャンライン上の紙幣の幅を取得し、その幅の最頻値を求める。この最頻値は、紙幣2の長手辺の欠損部分を除いた、紙幣の幅を最も代表していると見ることができる値である。次いで、その最頻値を有するスキャンラインの中から、たとえば上位の数本と下位の数本とを組み合わせ、それらの組みのスキャンラインの距離と、それらスキャンラインのたとえば非透光画素の開始座標とから角度を求め、複数組の角度の平均を斜行角度とする。ここで、斜行角度が求まったので、紙幣2の先頭から残り20mmまでに取得したスキャンデータに対して斜行補正、すなわちアフィン変換を行う。この、幅/角度算出と並行して、残り20mmの撮像は続けられ、斜行角度が求まった段階で残り20mmのスキャンデータについてもアフィン変換が行われる。アフィン変換は撮像処理よりも高速で行われるため、紙幣2の後端が撮像センサ5を抜けて、撮像センサ5がすべて透光画素を検出したとき、すなわち1ライン飽和を検出したときに、鑑別前処理のほとんどの処理が既に終了していることになり、その後、紙幣画像10の切り出しが行われて、鑑別前処理が終了することになる。
【0017】
図3はシェーディング補正を説明する図であって、(A)は光源の構成例を示し、(B)は光源の長手方向における明度の変化を示し、(C)はシェーディング補正後の撮像センサ出力特性を示している。搬送されている紙幣を照明する光源としては、(A)に示したようなLEDアレイ20が用いられている。このLEDアレイ20は複数のLED21a,21b,・・・,21nを一列に並べた構成を有している。このようなLEDアレイ20から放射される光は、(B)に示したように、各LED21a,21b,・・・,21nの光軸上では最も明度が高く、光軸から離れるに従って低くなる。したがって、CCDラインセンサの各画素は場所による明度のばらつきによって異なる値を出力することになる。そこで、あらかじめ均一な透過を行う基準となる媒体を用いて、CCDラインセンサの画素ごとに明度差に対応する画素値を係数としてそれぞれ求めておき、CCDラインセンサの各画素出力に対してそれぞれ対応する係数をかけるようにする。この処理をシェーディング補正といい、(C)に示したように、無地の媒体ならば、画素値は均一になる。このシェーディング補正はCCDラインセンサからの画素値出力後、直ちに行われる。
【0018】
図4は鑑別前処理の動作の流れを示すタイムチャートである。まず、時刻t0にて、搬送されて来た紙幣の先端が突入センサ4によって検出されると、突入割込み処理が開始され、突入センサ4と撮像センサとの距離と搬送速度とからあらかじめ決められた時間後の時刻t1にて、撮像センサ5による撮像が開始される。さらに、あらかじめ定められた時間後の時刻t2にて、鑑別前処理が開始される。このとき、既に撮像された画素データについては、ここでシェーディング補正を行う。シェーディング補正は演算負荷があまり大きくないのですぐに終了し、それ以降については撮像とほぼ同時に行われる。
【0019】
突入センサ4が時刻t3にて紙幣の突出を検出すると、突出割込み処理が開始される。突出割込み処理では、まず、紙幣の長手長が計算され、長手長から角度算出不定領域、すなわち紙幣の残り20mmの位置までスキャンが進むのにかかる時間が算出される。このとき、紙幣は搬送されているので、撮像は中断することなく継続される。スキャンが残り20mmの位置に達した時刻t4では、紙幣の幅および斜行角度の算出が行われる。すなわち、残り20mmの位置までに取得したスキャンデータをもとに、各スキャンライン上での非透光画素値の分布から紙幣の幅を算出し、紙幣の幅の最頻値を求め、最頻値を有するスキャンラインからできるだけ離れたスキャンラインの組みを選んで、その組みのスキャンラインの距離と各スキャンライン上での非透光画素の開始座標とから斜行角度が算出される。実際には、複数組みのスキャンラインでそれぞれ角度を求め、それらの角度の平均から斜行角度を求めるようにしている。
【0020】
斜行角度が求まると、すぐに、残り20mmの位置までに取得したスキャンデータに対して、斜行補正をアフィン変換にて行う。アフィン変換は演算負荷が大きいが、それでも紙幣が撮像センサ5を抜けるまでには余裕をもって終了する。この間、残り20mmの撮像では、撮像、シェーディング補正を行いながらアフィン変換を行う。そして、時刻t5にて、撮像センサ5を紙幣が通過することによって撮像センサ5上に紙幣がないことを示す1ライン飽和を撮像センサ5が検出すると、この時点で紙幣画像データのほとんどがアフィン変換まで終えているので、実質的には、1ライン飽和の検出と同時に紙幣画像データの斜行補正が終了することになる。具体的には、搬送速度が500mm/秒、紙幣の最大長手長が172mm、突入センサと撮像センサとの距離が35.8mmであるとすると、突出検出から撮像完了の1ライン飽和まで85.6ミリ秒の時間がある。これに対し、突出検出から幅/角度算出とその時点までの斜行補正に16.2ミリ秒、残り20mmのシェーディング補正と斜行補正に21.8ミリ秒程度の時間で済むことから、突出検出から撮像完了までに十分に処理することができる。その後、紙幣画像データの切り出しを行って処理を鑑別処理に移すことにより、この鑑別前処理は完了する。
【0021】
【発明の効果】
以上説明したように、本発明では、紙幣の突出検出後、媒体の末端側の角度算出不定領域まで撮像後、幅/角度を算出してそれまで撮像した画像データを斜行補正し、幅/角度の算出以降は、残りの角度算出不定領域について、撮像しながら斜行補正するように構成した。これにより、媒体の末端まで撮像した時点ですべての画像データは実質的に斜行補正まで済んでいることになり、従来、撮像後に必要であった、以上の前処理に必要な時間をほとんどなくすことができ、それ以降の処理に十分な時間を割り当てることができる。
【図面の簡単な説明】
【図1】紙幣鑑別装置の画像読み取り装置の概略構成を示す平面図である。
【図2】紙幣の画像読み取りを説明する図である。
【図3】シェーディング補正を説明する図であって、(A)は光源の構成例を示し、(B)は光源の長手方向における明度の変化を示し、(C)はシェーディング補正後の撮像センサ出力特性を示している。
【図4】鑑別前処理の動作の流れを示すタイムチャートである。
【符号の説明】
1 搬送路
2 紙幣
3a,3b,3c ローラ
4 突入センサ
5 撮像センサ

Claims (4)

  1. 矩形媒体を搬送しながら撮像して得られた画像の傾斜状態を補正するする搬送媒体の画像処理方法において、
    媒体検出センサが搬送されてきた前記矩形媒体の搬送方向先端を検出後、搬送速度および撮像素子までの距離によって定められた所定時間後に前記矩形媒体のスキャンラインごとの撮像を開始し、
    前記媒体検出センサが前記矩形媒体の搬送方向後端を検出後、撮像が前記矩形媒体の搬送方向後縁より手前の角度算出不定領域に到達するまでの不定領域到達時間を算出し、
    前記不定領域到達時間経過後に、その時点まで撮像した画像データに対して傾斜画像の角度補正をしながら、残りの前記角度算出不定領域について撮像および傾斜画像の角度補正を行う、
    ことを特徴とする搬送媒体の画像処理方法。
  2. 前記撮像素子による前記矩形媒体のスキャンラインごとの撮像時に、各検出画素に対してシェーディング補正を行うことを特徴とする請求項1記載の搬送媒体の画像処理方法。
  3. 前記角度算出不定領域までの傾斜画像の角度補正は、前記スキャンライン上でスキャン方向に背景画素から媒体画素に最初に変わる開始座標と最後に媒体画素から背景画素に変わる終了座標とを取得して前記開始座標と終了座標との差から各スキャンライン上の媒体の幅を取得し、前記角度算出不定領域に到達するまでに得られた各スキャンラインの前記媒体の幅の最頻値を求め、前記幅の最頻値を有するスキャンラインに対し、離れた位置にある少なくとも1対のスキャンラインからそれらの距離と前記開始座標または終了座標とを用いて傾斜角度を算出し、前記角度算出不定領域までに得られた画像に対して前記傾斜角度でアフィン変換することを特徴とする請求項1記載の搬送媒体の画像処理方法。
  4. 前記角度算出不定領域は、全画像の角度補正処理後の媒体判別の処理にて前記矩形媒体の四角の折れまたは欠けを許容する範囲であることを特徴とする請求項1記載の搬送媒体の画像処理方法。
JP08689398A 1998-03-31 1998-03-31 搬送媒体の画像処理方法 Expired - Fee Related JP3674301B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08689398A JP3674301B2 (ja) 1998-03-31 1998-03-31 搬送媒体の画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08689398A JP3674301B2 (ja) 1998-03-31 1998-03-31 搬送媒体の画像処理方法

Publications (2)

Publication Number Publication Date
JPH11283070A JPH11283070A (ja) 1999-10-15
JP3674301B2 true JP3674301B2 (ja) 2005-07-20

Family

ID=13899526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08689398A Expired - Fee Related JP3674301B2 (ja) 1998-03-31 1998-03-31 搬送媒体の画像処理方法

Country Status (1)

Country Link
JP (1) JP3674301B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010266284A (ja) * 2009-05-13 2010-11-25 Micronics Japan Co Ltd 非点灯検査装置
JP5830737B2 (ja) * 2011-06-17 2015-12-09 名古屋市 路面画像処理システム及び路面画像処理方法

Also Published As

Publication number Publication date
JPH11283070A (ja) 1999-10-15

Similar Documents

Publication Publication Date Title
US6466340B1 (en) Image reading apparatus
US9237256B2 (en) Document reading apparatus and image processing method
JP3819645B2 (ja) 紙葉類識別装置及び方法
US20130287264A1 (en) Defect categorisation
EP0869659B1 (en) Correction method of document inclination angle
JP2004326547A (ja) 紙葉類識別装置および方法
JP2004265036A (ja) 紙葉類識別装置および方法
JP2002109599A (ja) 紙葉類鑑別装置
JP2007323501A (ja) 紙葉類識別装置
JP3777775B2 (ja) 傾斜画像処理方法
JPH11283070A (ja) 搬送媒体の画像処理方法
JP3711737B2 (ja) 撮像媒体の傾斜角度検出方法
JP2006202075A (ja) 紙幣識別装置および紙幣識別方法
JPH09212707A (ja) 紙葉類鑑別装置
JP5743819B2 (ja) 紙葉類処理装置、及び紙葉類処理方法
JP3353613B2 (ja) 紙葉類鑑別装置
JP6905393B2 (ja) 画像読取装置
JP3651177B2 (ja) 紙葉類鑑別装置
JP3614122B2 (ja) シートスルー原稿読み取り方式における読み取り面ゴミ検出装置
JP5249353B2 (ja) 紙葉類識別装置および紙葉類識別方法
JP4534819B2 (ja) 媒体鑑別装置
JP3544779B2 (ja) 紙葉類の画像データ抽出方法及び装置
JP2532631B2 (ja) 紙葉類の形状判別方法
US20190228607A1 (en) Sheet recognition device and sheet recognition method
JP4354443B2 (ja) 画像読取装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050418

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees