JPH1049677A - 自動シーリング装置におけるパッケージ認識方法 - Google Patents

自動シーリング装置におけるパッケージ認識方法

Info

Publication number
JPH1049677A
JPH1049677A JP8208189A JP20818996A JPH1049677A JP H1049677 A JPH1049677 A JP H1049677A JP 8208189 A JP8208189 A JP 8208189A JP 20818996 A JP20818996 A JP 20818996A JP H1049677 A JPH1049677 A JP H1049677A
Authority
JP
Japan
Prior art keywords
package
lid
recognition
seal ring
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8208189A
Other languages
English (en)
Other versions
JP3511437B2 (ja
Inventor
Tadahiro Iwatsuki
忠宏 岩月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Avionics Co Ltd
Original Assignee
Nippon Avionics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Avionics Co Ltd filed Critical Nippon Avionics Co Ltd
Priority to JP20818996A priority Critical patent/JP3511437B2/ja
Publication of JPH1049677A publication Critical patent/JPH1049677A/ja
Application granted granted Critical
Publication of JP3511437B2 publication Critical patent/JP3511437B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【課題】 画像認識の際に適切な良品、不良品判定を行
う。 【解決手段】 カメラで撮像した多角形状のパッケージ
の濃淡画像からパッケージの輪郭データを抽出する(ス
テップ101、102)。輪郭データから角部を含むパ
ッケージの各辺の長さと各辺における直線部分の長さと
を求めて、辺の長さに対する直線部分の割合を辺ごとに
算出する(ステップ104)。算出した直線部分の割合
を判定基準値と比較して、パッケージが良品かどうかを
判定する(ステップ105)。こうして、判定基準値に
適当な値を設定することにより、パッケージの品種や撮
像条件等に応じた適切な判定を行うことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、IC、トランジス
タ、水晶振動子等の回路素子の容器(パッケージ)に蓋
(リッド)を自動的に溶接する自動シーリング装置に関
し、特にパッケージとリッドの位置を合わせるために画
像認識を利用したパッケージ認識方法に関するものであ
る。
【0002】
【従来の技術】IC、トランジスタ、水晶振動子等の回
路素子の封止作業は、パッケージにこれらの回路素子を
収納して、配線や試験調整作業を行った後の最終製造工
程として行われる。封止方法としては、樹脂封止、気密
封止などがある。気密封止法は、金属又はセラミックス
のパッケージの中に素子を収納固定し、乾燥した不活性
ガス雰囲気中で蓋(リッド)をかぶせて素子を完全に密
封する方法である。この気密封止法によれば、水分など
の不純物の侵入がなく、また素子と封止材料は直接接触
しないので、熱応力の影響も少なく樹脂封止に比べて高
い封止信頼性を得ることができる。
【0003】この気密封止法のひとつであるマイクロパ
ラレルシーム接合法を用いて、パッケージにリッドを自
動的に溶接する自動シーリング装置がある。図8は従来
の自動シーリング装置によるシーリング作業を説明する
ための図である。図8(a)に示すように、パッケージ
30の封止部分(素子が収納されている部分)の周囲に
は、予め金メッキされたコバール材からなるシールリン
グ31がろう接されている。そして、図示しない画像認
識装置によって画像を取り込んでシールリング31の位
置を算出し、金属板(通常はニッケルメッキされたコバ
ール材)からなるリッド32とシールリング31の位置
決めを行う(図8(b))。
【0004】続いて、リッド32の対向するエッジ部に
一対のローラー電極33を当て、適当な加圧力を与え
る。この状態で電極間に電流を流すと、接触部分(電極
33とリッド32)がジュール熱により発熱し、その熱
がリッド32とシールリング31の接触部分に伝わるこ
とにより、リッド32とシールリング31のメッキ層同
士が溶融接合する。さらに、電流を流しながら、リッド
32のエッジに沿ってローラー電極33を転がすことに
より、リッド32の対向する辺を同時にシーム接合する
ことができる。通常、パッケージは矩形なので、図8
(c)のようにX辺を接合した後に、図8(d)のよう
にY辺の接合を同様に行う。こうして、パッケージにリ
ッドを溶接することができる。
【0005】ところで、このような自動シーリング装置
では、シールリング31の画像を取り込んで位置を算出
する画像認識を用いて、シールリング31とリッド32
の位置決めを行っている。このとき、パッケージを搬送
するトレーにパッケージが載っていない場合やパッケー
ジが不良な場合は、溶接を実施してはならない。しか
し、パッケージを不良品と判定するのは、外乱(装置自
体の振動や外部からの光の影響)等によって認識不良が
発生した場合、あるいは抽出したシールリングの輪郭が
不連続な場合(シールリングを横切る傷等によって輪郭
が途切れる場合)である。シールリングに傷や汚れがあ
ると、抽出した輪郭にうねりが生じるが、輪郭が不連続
とならない限り、パッケージを不良品と判断することは
なかった。
【0006】また、上記トレーにはパッケージの外形と
同様な形状の窪みが設けられており、この窪みにパッケ
ージが収められるようになっているので、これをパッケ
ージと誤認識してしまい、良品と判定してしまうことが
あった。また、認識対象とするのは、通常シールリング
の外側の輪郭であるが、上述した外乱やパッケージの形
状等により、画像認識が安定しない場合があり、このよ
うな場合には、シールリングの内側を認識対象とするよ
うにソフトウェアを改造していた。
【0007】
【発明が解決しようとする課題】以上のように従来の自
動シーリング装置では、パッケージの良品、不良品判定
を行うための設定可能なしきい値が存在しないため、パ
ッケージの品種や撮像条件等に合わせて適切な判定が行
われるようにしきい値を調整することができず、不適切
な判定や誤認識が発生してしまうという問題点があっ
た。また、パッケージの外側の輪郭を認識対象とするか
内側の輪郭を認識対象とするかを切り換えるためには、
ソフトウェアの専門家が改造しなければならず、いった
ん設定してしまうと、パッケージの全品種がどちらかの
計測になってしまうという問題点があった。本発明は、
上記課題を解決するためになされたもので、画像認識の
際に適切な良品、不良品判定を行うことができるパッケ
ージ認識方法を提供することを第1の目的とする。ま
た、認識対象となるパッケージの輪郭を容易に切り換え
ることができるパッケージ認識方法を提供することを第
2の目的とする。
【0008】
【課題を解決するための手段】本発明は、請求項1に記
載のように、パッケージをカメラで撮像して、撮像した
パッケージの濃淡画像からパッケージの輪郭データを抽
出し、この輪郭データからパッケージの各辺の長さを求
め、輪郭データから各辺における直線部分を抽出して、
求めた辺の長さに対する直線部分の割合を辺ごとに算出
し、算出した直線部分の割合を判定基準値と比較して、
パッケージが良品かどうかを判定するようにしたもので
ある。このようにパッケージの輪郭データにおける直線
部分の割合を辺ごとに算出して、これを判定基準値と比
較することにより、パッケージが良品かどうかを判定す
ることができる。
【0009】また、請求項2に記載のように、リッドの
大きさを示すリッドサイズと認識対象となるパッケージ
の輪郭を選択するための認識サイズをあらかじめ設定
し、パッケージをカメラで撮像し、撮像したパッケージ
の濃淡画像からパッケージの輪郭データを抽出する際
に、設定されたリッドサイズと認識サイズを比較して、
この比較結果に基づきパッケージの外側の輪郭データを
抽出するか内側の輪郭データを抽出するかを決定するよ
うにしたものである。このようにリッドサイズと認識サ
イズを設定することで、パッケージの外側の輪郭を認識
対象とするか内側の輪郭を認識対象とするかを切り換え
ることができる。
【0010】
【発明の実施の形態】
実施の形態の1.図1は本発明の第1の実施の形態を示
すパッケージ認識方法を説明するためのフローチャート
図、図2はこのパッケージ認識方法で用いる自動シーリ
ング装置のブロック図である。図2において、搬送機構
部4は、パッケージを載せたトレーを治具テーブル3に
搬送すると共に、リッドをパッケージの真上に搬送す
る。接合ヘッド移動機構5は、図示しない接合ヘッドを
パッケージ上に下降させ、溶接電源6は、接合ヘッドの
ローラー電極に電流を供給する。そして、シーケンサ7
は、治具テーブル3、搬送機構4、接合ヘッド移動機構
5、溶接電源6を制御し、ホストコンピュータ8は、自
動シーリング装置全体を制御する。
【0011】次に、このような自動シーリング装置にお
けるパッケージ認識方法について図1を参照して説明す
る。まず、搬送機構4は、パッケージを載せたトレーを
治具テーブル3に搬送し、カメラ1は、治具テーブル3
上のパッケージを上から撮像する(図1ステップ10
1)。画像認識装置2は、カメラ1によって撮像された
濃淡画像をディジタル化した後に2値化する。そして、
予め設定されたシールリングの外形サイズを示すシール
リングサイズにより、不適当な大きさのデータを削除し
て、シールリングの輪郭を抽出する(ステップ10
2)。
【0012】続いて、画像認識装置2は、抽出したシー
ルリングの輪郭データより、シールリングの水平面内の
傾きと重心を算出する(ステップ103)。図3はシー
ルリングの傾きの算出方法を説明するための図であり、
図中の白丸が抽出された輪郭データ(ドット)である。
シールリングのθ方向の傾きは、以下のようにして求め
る。
【0013】まず、輪郭データ間をつなぐ各線分の傾き
の頻度を図4のようにとる。頻度が大きい4つの領域
は、図3に示すシールリングの辺A〜Dにそれぞれ相当
するものであるから、図4において頻度が大きい各領域
の傾きの平均値をそれぞれ求めることで、各辺の位置の
おおよその見当をつける。
【0014】次いで、このおおよその辺を中心とする一
定の範囲α内に存在するデータから最小2乗法によって
シールリングの各辺A〜Dを確定する。これで、シール
リングのXY平面内の傾きが得られる。また、シールリ
ングの重心Oは、この確定した各辺A〜Dから得られ
る。こうして、シールリングの位置を決定することがで
きる。
【0015】次に、画像認識装置2は、輪郭データにお
ける直線部分の割合を確定した辺A〜Dごとに求める
(ステップ104)。図5はこの直線部分の割合の算出
方法を説明するための図である。なお、図5(b)では
シールリングの1辺Aのみを拡大している。まず、画像
認識装置2は、曲線状の角部を含む全長を辺A〜Dごと
に求め、これらをそれぞれLA、LB、LC、LDとす
る(図5(a))。
【0016】続いて、図5(b)のように、辺Aを中心
として幅方向に一定の範囲βを設定する。角部を含む辺
Aにおける直線部分とは、この範囲β内に所定の長さ
(例えば、3ドット)以上連続して存在するデータによ
って構成される部分である。したがって、図5(b)の
Eの部分は直線部分に含まれない。こうして、この直線
部分の長さJAが得られる。そして、辺Aの全長LAに
対する直線部分の長さJAの割合(JA/LA)を算出
する。以上のような算出が辺A〜Dごとに行われる。
【0017】次いで、画像認識装置2は、あらかじめキ
ーボード9から入力された判定基準値と算出した直線部
分の割合とを比較して、パッケージが良品かどうかを判
定する(ステップ105)。このとき、直線部分の割合
が判定基準値より小さい場合は不良品と判定する。そし
て、この不良品は搬送機構4によって自動的に取り出さ
れる(ステップ106)。
【0018】また、直線部分の割合が判定基準値以上で
良品と判定されると、決定されたシールリング位置に基
づくシーケンサ7の制御により、治具テーブル3がX、
Y方向に移動すると共にθ方向に回転して、シールリン
グとリッドの位置を合わせる(ステップ107)。そし
て、接合ヘッド移動機構5がパッケージの上に接合ヘッ
ドを下降させ、溶接電源6が接合ヘッドのローラー電極
に電流を供給することにより、パッケージにリッドが溶
接される(ステップ108)。
【0019】以上のように本実施の形態では、算出した
直線部分の割合を判定基準値と比較して、パッケージが
良品かどうかを判定するので、調整可能な判定基準値に
適当な値(上記割合に関する所望の値)を設定しておく
ことにより、パッケージの品種や撮像条件等に応じた適
切な判定を行うことができる。また、シールリングの傷
や汚れによって生じた輪郭のうねりは直線部分から除外
され、これにより直線部分の割合が判定基準値を下回る
ので、輪郭に連続性があっても、シールリングの傷や汚
れを不良として検出することができる。
【0020】また、図6に示すように、パッケージを載
せるトレー22の窪み23は、シールリング21と同様
の形状をしているが、パッケージを取り出すための逃げ
24によって、上記直線部分の割合がパッケージよりも
低くなる。したがって、上記判定基準値を適切に設定す
ることによって、トレーの窪み23をパッケージと誤認
識することがなくなる。
【0021】実施の形態の2.本実施の形態において
も、自動シーリング装置の構成は図2と同じであり、パ
ッケージ認識方法も図1とほぼ同様である。実施の形態
の1では、シールリングの外側の輪郭あるいは内側の輪
郭だけを常に抽出していたが、本実施の形態では、外側
の輪郭又は内側の輪郭のどちらを抽出するかを自動的に
切り換える。
【0022】この切り換えのために、自動シーリング装
置を使用する作業者は、キーボード9を操作してリッド
の縦、横(X、Y)の大きさを示すリッドサイズ、及び
認識サイズを入力する。作業者は、シールリングの外側
の輪郭を用いた画像認識で問題ない場合、シールリング
の外側の輪郭の縦、横の大きさを認識サイズとして設定
する。
【0023】また、シールリングの外側の輪郭を用いた
ときにパッケージの認識が安定しない場合には、シール
リングの内側の輪郭の縦、横の大きさを認識サイズとし
て設定する。これにより、図1のステップ102におい
て、画像認識装置2は、入力されたリッドサイズと認識
サイズを比較し、認識サイズがリッドサイズ以上の場
合、シールリングの外側の輪郭を抽出し、認識サイズが
リッドサイズより小さい場合、シールリングの内側の輪
郭を抽出する。
【0024】溶接性の関係から、リッドは、シールリン
グの外形サイズより小さく、かつ内形サイズより大き
い。よって、リッドサイズと認識サイズを上記のように
設定することにより、シールリングの内側と外側のどち
らを認識対象とするかを自動的に切り換えることができ
る。なお、ステップ102において、シールリングの輪
郭の識別は以下のようにして行われる。図7はシールリ
ングの輪郭を識別する方法を説明するための図である。
なお、画像データはドットの集まりであるが、ここでは
線として表示する。
【0025】パッケージを撮像すると、シールリング2
5の部分は輝度レベルが高く、その内側及び周囲は輝度
レベルが低い。これにより、図7に示す2値画像データ
において、矢印の方向に走査すると、画像データのレベ
ルは「暗」→「明」→「暗」と変化する。したがって、
画像データが「暗」→「明」に変化したときがシールリ
ングの内側の輪郭であり、続いて「明」→「暗」に変化
したときがシールリングの外側の輪郭である。こうし
て、画像認識装置2は、シールリングの外側の輪郭ある
いは内側の輪郭を選択することができる。なお、ステッ
プ103以後の動作は実施の形態の1と同様である。
【0026】
【発明の効果】本発明によれば、パッケージの輪郭デー
タにおける直線部分の割合を算出し、これを判定基準値
と比較してパッケージが良品かどうかを判定するので、
判定基準値に適当な値を設定することにより、パッケー
ジの品種や撮像条件などに応じた適切な判定を行うこと
ができ、トレーをパッケージと誤認識することがなくな
る。また、シールリングの傷や汚れによって生じた輪郭
のうねりは直線部分から除かれるので、輪郭に連続性が
あっても、これらを不良品として検出することができ
る。
【0027】また、リッドサイズと認識サイズを設定す
ることにより、パッケージの外側の輪郭を認識対象とす
るか内側の輪郭を認識対象とするかを容易に切り換える
ことができるので、パッケージの品種や撮像条件等に応
じた切り換えを行うことができ、認識対象がパッケージ
の外側あるいは内側の輪郭に固定されることがなくな
る。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態を示すパッケージ
認識方法を説明するためのフローチャート図である。
【図2】 本発明のパッケージ認識方法で用いる自動シ
ーリング装置のブロック図である。
【図3】 シールリングの傾きの算出方法を説明するた
めの図である。
【図4】 シールリングの傾きの頻度分布を示す図であ
る。
【図5】 シールリングの直線部分の割合の算出方法を
説明するための図である。
【図6】 トレーに収納されたパッケージの様子を示す
平面図である。
【図7】 シールリングの輪郭を識別する方法を説明す
るための図である。
【図8】 従来の自動シーリング装置によるシーリング
作業を説明するための図である。
【符号の説明】
1…カメラ、2…画像認識装置、3…治具テーブル、4
…搬送機構、5…接合ヘッド移動機構、6…溶接電源、
7…シーケンサ、8…ホストコンピュータ、9…キーボ
ード。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 回路素子を収納した多角形状のパッケー
    ジとその蓋となるリッドの位置を合わせるために、画像
    認識を利用する自動シーリング装置におけるパッケージ
    認識方法において、 前記パッケージをカメラで撮像して、撮像したパッケー
    ジの濃淡画像からパッケージの輪郭データを抽出し、 この輪郭データからパッケージの各辺の長さを求め、 前記輪郭データから各辺における直線部分を抽出して、
    求めた辺の長さに対する直線部分の割合を辺ごとに算出
    し、 算出した直線部分の割合を判定基準値と比較して、パッ
    ケージが良品かどうかを判定することを特徴とする自動
    シーリング装置におけるパッケージ認識方法。
  2. 【請求項2】 回路素子を収納した多角形状のパッケー
    ジとその蓋となるリッドの位置を合わせるために、画像
    認識を利用する自動シーリング装置におけるパッケージ
    認識方法において、 前記リッドの大きさを示すリッドサイズと認識対象とな
    るパッケージの輪郭を選択するための認識サイズをあら
    かじめ設定し、 前記パッケージをカメラで撮像し、撮像したパッケージ
    の濃淡画像からパッケージの輪郭データを抽出する際
    に、設定されたリッドサイズと認識サイズを比較して、
    この比較結果に基づきパッケージの外側の輪郭データを
    抽出するか内側の輪郭データを抽出するかを決定するこ
    とを特徴とする自動シーリング装置におけるパッケージ
    認識方法。
JP20818996A 1996-08-07 1996-08-07 自動シーリング装置におけるパッケージ認識方法 Expired - Lifetime JP3511437B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20818996A JP3511437B2 (ja) 1996-08-07 1996-08-07 自動シーリング装置におけるパッケージ認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20818996A JP3511437B2 (ja) 1996-08-07 1996-08-07 自動シーリング装置におけるパッケージ認識方法

Publications (2)

Publication Number Publication Date
JPH1049677A true JPH1049677A (ja) 1998-02-20
JP3511437B2 JP3511437B2 (ja) 2004-03-29

Family

ID=16552146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20818996A Expired - Lifetime JP3511437B2 (ja) 1996-08-07 1996-08-07 自動シーリング装置におけるパッケージ認識方法

Country Status (1)

Country Link
JP (1) JP3511437B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003097926A (ja) * 2001-09-27 2003-04-03 Nec Corp Ic外観検査方法
JP2003139519A (ja) * 2001-11-05 2003-05-14 Nec Corp 電子部品検査装置およびプログラム
JP2004509346A (ja) * 2000-09-22 2004-03-25 ベルス・メステヒニーク・ゲーエムベーハー 座標測定装置によって測定対象物の幾何学的形状を測定する方法。
US6717087B1 (en) 1999-07-08 2004-04-06 Bayer Bitterfeld Gmbh Monitoring device for the sealing web width

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6717087B1 (en) 1999-07-08 2004-04-06 Bayer Bitterfeld Gmbh Monitoring device for the sealing web width
JP2004509346A (ja) * 2000-09-22 2004-03-25 ベルス・メステヒニーク・ゲーエムベーハー 座標測定装置によって測定対象物の幾何学的形状を測定する方法。
JP2003097926A (ja) * 2001-09-27 2003-04-03 Nec Corp Ic外観検査方法
JP2003139519A (ja) * 2001-11-05 2003-05-14 Nec Corp 電子部品検査装置およびプログラム

Also Published As

Publication number Publication date
JP3511437B2 (ja) 2004-03-29

Similar Documents

Publication Publication Date Title
JP3051279B2 (ja) バンプ外観検査方法およびバンプ外観検査装置
US6748104B1 (en) Methods and apparatus for machine vision inspection using single and multiple templates or patterns
JPH07190739A (ja) 半導体チップの外観検査方法および装置
KR19990045650A (ko) 반도체칩의 본딩방법 및 그 장치
JP3511437B2 (ja) 自動シーリング装置におけるパッケージ認識方法
JPH10242219A (ja) バンプ検査方法
US6925201B2 (en) Inspection apparatus and method for electrode plate-connected structure for secondary cell
JP2002243655A (ja) 電子部品の外観検査方法および外観検査装置
JPH1196981A (ja) 電池の外観検査法および検査装置
JP2000090275A (ja) 自動シーリング装置におけるパッケージ認識方法
JP2000315896A (ja) 表面実装部品装着機
JPH11311506A (ja) 電子部品位置検出方法およびその装置
JPH07260445A (ja) リードフレームの自動検査方法及び装置
JPS6337479A (ja) パタ−ン認識装置
US20090174767A1 (en) Photographic device and method of photographic inspected portion of subject
JPH0735390Y2 (ja) ボンディング装置
JP2821426B2 (ja) 検査装置
JP2867687B2 (ja) 半田の外観検査方法
JP2830282B2 (ja) 半田フィレットの外観検査方法
JP3414821B2 (ja) 半導体製品のボンディング検査方法およびその装置
JP2003065968A (ja) 破れ検査方法およびその装置
JPH05335390A (ja) ボンディングワイヤ検査装置
JP3480187B2 (ja) 電子部品の位置ずれ検査方法
JP2007242944A (ja) はんだ濡れ性評価装置およびはんだ濡れ性評価方法
JP3801248B2 (ja) 部品実装装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031225

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100116

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 10

EXPY Cancellation because of completion of term