JPH09201348A - 虹彩認識システム - Google Patents

虹彩認識システム

Info

Publication number
JPH09201348A
JPH09201348A JP8014231A JP1423196A JPH09201348A JP H09201348 A JPH09201348 A JP H09201348A JP 8014231 A JP8014231 A JP 8014231A JP 1423196 A JP1423196 A JP 1423196A JP H09201348 A JPH09201348 A JP H09201348A
Authority
JP
Japan
Prior art keywords
iris
customer
person
recognition system
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8014231A
Other languages
English (en)
Other versions
JP3625941B2 (ja
Inventor
Mitsuji Matsushita
満次 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP01423196A priority Critical patent/JP3625941B2/ja
Publication of JPH09201348A publication Critical patent/JPH09201348A/ja
Application granted granted Critical
Publication of JP3625941B2 publication Critical patent/JP3625941B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

(57)【要約】 【課題】 虹彩データを取得する際に照明が被認識者の
瞳に映り込んだり、窓から入り込んだ光によってカメラ
の感度が飽和することを防止する。 【解決手段】 顧客33がいる場所の光の量を可変とす
る照明32に対し、光量の調節制御を行う照明制御手段
31を設けた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、金融機器である自
動取引装置などに使用され、利用者が本人であるか否か
を認識する虹彩認識システムに関する。
【0002】
【従来の技術】従来、金融機器である自動取引装置など
に使用され、利用者が本人であるか否かを認識する虹彩
認識システムには、例えば特公平5−084166号に
開示されてあるような、カメラにより被識別者の虹彩を
とらえ、その画像データから被識別者を認識するものが
ある。このような虹彩認識システムには、一般に高感度
のカメラが使用される。虹彩認識システムは、まずこの
カメラにより写された被認識者の頭部を識別してから目
の位置を把握し、次にその虹彩をズームアップして画像
データを取得する。その虹彩の画像データ、つまりアイ
リス(虹彩)パターンは、あらかじめ登録されてある顧
客のアイリスパターンと照合され、一致するかどうかで
顧客本人であるか否かが認識される。
【0003】
【発明が解決しようとする課題】従来の虹彩認識システ
ムにあっては、虹彩認識システムを搭載した自動取引装
置などの装置を設置した室内の照明が、被認識者の瞳に
映り込むと、カメラが照明の映り込みとともに虹彩を撮
影してしまうので、正確なアイリスパターンを得ること
ができず、取得したアイリスパターンがあらかじめ登録
されてある顧客のアイリスパターンと大きく異なってし
まい、顧客本人であっても、本人ではないと誤認識され
てしまうという問題点があった。
【0004】また、従来の虹彩認識システムにあって
は、虹彩認識システムを搭載した自動取引装置などの装
置を設置した室内に、窓やドアから光が入り込み、カメ
ラがその窓やドアの方向を向いている場合、カメラの感
度が飽和して被識別者の映像が正確にとらえられないと
いう問題点があった。
【0005】
【課題を解決するための手段】上記課題を解決するため
に、本発明の虹彩認識システムにおいては、被識別者が
いる場所の光の量を可変とする光量調節手段に対し、光
量の調節制御を行う光量制御手段を設けた。
【0006】上記のように構成された虹彩認識システム
により認識される被認識者のいる室内に、虹彩の撮影の
妨げとなる光がある、またはその量が多い場合、光量調
節手段が光を消す、またはその量を少なくする。
【0007】
【発明の実施の形態】本発明の第一の実施の形態につい
て図面を参照しながら説明する。なお、各図面に共通な
要素には同一の符号を付す。図1は本発明の虹彩認識シ
ステムを示す説明図、図2は本発明の自動取引装置を示
す斜視図、図3は本発明の自動取引装置の制御ブロック
図、図4はATMの顧客誘導画面の表示例を示す説明
図、図5は照明のオンオフ制御を示すタイムチャートで
ある。本実施の形態においては、虹彩認識システムが使
用される自動取引装置を例に挙げて説明する。図3にお
いて、ATM(自動取引装置)1は、カード処理部2を
有している。カード処理部2は、金融機関が発行したI
D(顧客認識)カード3に記憶された、金融機関ごとの
コードや顧客の口座番号、氏名などの顧客情報を読み出
す。
【0008】このカード処理部2の前面側に接続された
カード挿入返却口2aからIDカード3の挿入、返却が
行われる。通帳処理部4は、通帳挿入返却口4aから挿
入される通帳5に印字処理などを行う。また、通帳処理
部4は、通帳5の表紙に設けられた磁気ストライプ内の
記憶情報の読取り、更新、印字頁行の検出、改頁などを
行う。貨幣処理部8は、紙幣入出金部9と硬貨入出金部
10とで構成される。紙幣入出金部9は、顧客により入
金される紙幣を真偽鑑別、計数し、搬送して図示しない
金種別保管金庫に収納し、また顧客に支払う紙幣を金種
別保管金庫から繰り出す。
【0009】硬貨入出金部10は、顧客により入金され
る硬貨を真偽鑑別、計数し、搬送して図示しない金種別
保管金庫に収納し、また顧客に支払う硬貨を金種別保管
金庫から繰り出す。この貨幣処理部8には、顧客が紙幣
を投入する、また顧客に紙幣を支払う接客口9aが結合
される。また、顧客が硬貨を投入する、また顧客に硬貨
を支払う接客口10aが結合される。なお、接客口9
a、10aは、図示しない駆動手段によってそれぞれシ
ャッタ9b、10bが動作して紙幣および硬貨の挿脱を
規制している。
【0010】接客部11は、顧客が操作入力を行った
り、また顧客に対して誘導表示を行うタッチパネルであ
り、図4に示す顧客誘導画面表示例のように、取引科目
である“ご入金”や“お引出し”、または“お振込み”
などを表示しており、その表示部に軽く触れることで取
引が選択されるようになっている。音声案内部12は、
音声による操作案内を行うものであり、装置正面のスピ
ーカ・マイクロホン12aとで構成されている。映像撮
影部13は、顧客33の目33aのアイリス(虹彩)の
画像データを採取するカメラ13aと、所定の角度範囲
だけカメラの視野を移動させる図示せぬ機構とで構成さ
れる。画像処理部14は、映像撮影部13による撮像の
処理を行う。
【0011】記憶部15は、各種の制御を行うプログラ
ムが記憶されたRAM(ランダムアクセスメモリ)やR
OM(リードオンリメモリ)、フロッピディスクなどで
構成される。I/F(インタフェース)部16は、AT
M1と上位装置であるホストコンピュータ22との接続
口である。接近探知機17は、顧客がATM1に近付い
たことを超音波を用いて検知するもので、顧客などの被
検出物までの距離や位置を割り出すことができる。
【0012】主制御部18は、上述した各部を制御し、
この主制御部18には、照明制御部31が接続されてい
る。照明制御部31は、ATM1が設置されている室内
の照明32に接続されており、この照明32のオンオフ
を制御する。電源部19は、上述した各部に電力を供給
する。係員呼出ボタン20は、これを顧客が押すことに
より係員を呼び出して対話できるようになっている。I
/F部16は、通信回線21によりホストコンピュータ
22に接続されている。ホストコンピュータ22は、顧
客ごとの口座番号や預金残高情報および後述する虹彩の
画像データなどを記憶している顧客情報ファイルを格納
した記憶装置23を有している。また、ATM1の最上
部には、顧客33の瞳孔の大きさを調節する散乱光源4
5が設けられている。
【0013】上述したような第一の実施の形態における
虹彩認識システムによる虹彩認識動作について説明す
る。図1において、取引に先だって顧客33がATM1
の前に近付くと、接近検出機17により顧客33がAT
M1の所定の距離内に入ったことが通知される。これに
より主制御部18は、接客部11に図4に示すような顧
客誘導画面を表示し、取引選択入力を促す。主制御部1
8は、同時に画像処理部14を介して映像撮影部13に
撮影指示を出す。映像撮影部13は、周囲の動画データ
を採取し、数フレーム前の動画データと比較し、この動
画データの変化を伴う部分を検知する。このような部分
を検知して、その部分の形状と予め記憶されている人体
の形状とを比較して人体の形状に近いか否かを識別し、
人体の形状に近いと識別したときに『人体』と判定し、
顧客33を取引対象と仮定する。
【0014】画像処理部13は、次に顧客33の『顔』
を抽出し、続いて『目』の位置を特定すると、主制御部
18に虹彩データが取得可能であることを伝える。主制
御部18は、この通知を受けてカメラ13aをズームア
ップして虹彩を撮影する。ここで、虹彩は、瞳孔の大き
さによって変化するので、散乱光源45により瞳孔の大
きさを調節する。制御部18は、瞳孔が小さい場合には
散乱光源45を暗くして瞳孔を開かせ、瞳孔が大きい場
合は散乱光源45を明るくして瞳孔を絞る。このように
して読み取った虹彩データは、画像処理されて画像デー
タとしてホストコンピュータ22に送信されるととも
に、ATM1の記憶部15内にも一時記憶される。
【0015】ここで、虹彩データについて簡単に説明す
る。人間の眼球の表面層のパターン、特に虹彩は、水晶
体を中心に放射状の黒い筋や外周の輪郭などのパターン
で形成され、このパターンは幼年期に形成されるもので
あり、個人ごとに、また同一人であっても右目と左目と
では異なっている。つまり、このアイリスパターンを使
用することにより、個人を識別するのに特に優れたデー
タを得ることができる。このアイリスパターンを所定の
線に沿って光学的な走査を行い、その走査によって抽出
された明暗をデジタル符号化したものを虹彩データと称
する。
【0016】ここで、ATM1が設置されている室内の
照明32は、顧客33の瞳に映り込んでいる。このよう
な状態で虹彩データを読み取ると、顧客33の正確なア
イリスパターンを得ることができない。図5において、
主制御部18は、t1で画像処理部13から虹彩データ
取得可能の通知を受けると、照明制御部31を介して照
明32をオフする。画像処理部13は、t1からt2の
間で虹彩の光学的な走査を行い、虹彩データを取得す
る。画像処理部13がt2で虹彩データの取得を終了す
ると、主制御部18は、照明制御部31を介して照明3
2を再びオンする。このt1からt2の時間的間隔は、
約0.05秒ほどなので、顧客33の目33aには、照
明が消されたことは感じられない。
【0017】金融機関の発行したIDカード3がカード
挿入返却口2aから挿入されたことにより、ホストコン
ピュータ22にID番号が通知される。ホストコンピュ
ータ22は、記憶装置23の顧客情報ファイルから対応
する虹彩の画像データを得る。次に、ATM1からホス
トコンピュータ22に送信された虹彩データと顧客情報
ファイルから得た画像データとの照合が行われる。照合
の結果、本人と確認されたならば、ATM1は、一致し
た虹彩データから顧客33の氏名、口座番号などを接客
部11に表示し、顧客33により取引口座の選択および
確認を促す。顧客は、接客部11のタッチパネル11a
やスピーカ・マイクロホンの指示に従いながら、順に自
動取引を行う。
【0018】このように、被識別者がいる場所を照らす
照明を、被識別者の虹彩をとらえるときにオフする照明
制御手段を設けたことにより、虹彩データを取得する際
に照明が被認識者の瞳に映り込むことが防止されるの
で、正確なアイリスパターンを得ることができる。なお
本発明は、照明の瞳への映り込みを防止する形態であれ
ば、上述した形態のように照明のオン/オフを制御する
場合に限定されない。すなわち、例えば照明の近傍に液
晶シャッタを設け、このシャッタを制御して照明の瞳へ
の映り込みを防止するなどしても構わない。
【0019】次に、本発明の第二の実施の形態について
説明する。図6は本発明の虹彩認識システムを示す説明
図である。図6において、ATM41の主制御部18に
は、シャッタ制御部42が接続されている。また、AT
M41が設置されている部屋の窓43の内側には、開閉
可能なシャッタ44が窓43を覆うように設けられてい
る。このシャッタ44が開いているときは、太陽光など
の外からの光が室内に差し込み、シャッタ44が閉じて
いるときは、外からの光は遮られる。シャッタ制御部4
2は、このシャッタ44に接続されており、シャッタ4
4の開閉を制御する。第二の実施の形態の虹彩認識シス
テム、およびATMにおけるその他の構成要素について
は、第一の実施の形態と同様であるので説明は省略す
る。
【0020】上述したような第二の実施の形態における
虹彩認識システムによる虹彩認識動作について説明す
る。主制御部18が、画像処理部14を介して映像撮影
部13に撮影指示を出すと、映像撮影部13は、周囲の
動画データを採取する。次に、数フレーム前の動画デー
タと比較し、この動画データの変化を伴う部分を検知す
る。このような部分を検知して、その部分の形状と予め
記憶されている人体の形状とを比較して人体の形状に近
いか否かを識別し、人体の形状に近いと識別したときに
『人体』と判定し、顧客33を取引対象と仮定する。
【0021】画像処理部13は、次に顧客33の『顔』
を抽出する。ここで、夏の西日などにより室内の光の量
が多い場合や、窓44が大きく入射光が多い場合には、
逆光によって被識別者の顔の映像の輝度が低くなり、正
常な切り出し作業が困難となる。画像処理部14は、顧
客33の頭部33bの輝度を測定し、輝度が所定の値よ
り低いと判断したら、主制御部18に室内の光の量が多
いことを通知する。制御部18は、この通知を受けてシ
ャッタ制御部42にシャッタ44を閉めるように指示す
る。シャッタ制御部42は、画像処理部14が測定した
顧客33の頭部33bの輝度が所定の明るさになるまで
所定量ずつシャッタ44を閉じる。
【0022】画像処理部14は、このようにして顔の明
るさが得られると、続いて『目』の位置を特定する。ま
た、主制御部18に虹彩データが取得可能であることを
伝え、カメラ13aをズームアップして虹彩を撮影す
る。ここで、虹彩は、瞳孔の大きさによって変化するの
で、散乱光源45により瞳孔の大きさを調節する。制御
部18は、瞳孔が小さい場合には散乱光源45を暗くし
て瞳孔を開かせ、それでも瞳孔が所定の大きさまで開か
ない場合は、シャッタ制御部42を介してシャッタ44
をさらに閉じ、室内の光量を減らして瞳孔を開かせる。
【0023】逆に瞳孔が大きい場合は、散乱光源45を
明るくして瞳孔を絞り、それでも瞳孔が所定の大きさま
で絞らない場合は、シャッタ制御部42を介してシャッ
タ44をさらに開き、室内の光量を増やして瞳孔を絞
る。このようにして読み取った虹彩データは、画像処理
されて画像データとしてホストコンピュータ22に送信
されるとともに、ATM41の記憶部15内にも一時記
憶される。このように、被識別者のいる場所の窓に設け
られた開閉可能なシャッタを開閉して窓の外来光の量を
調節するシャッタ制御手段を設けたことにより、窓から
入り込んだ光によってカメラの感度が飽和することを防
止し、被識別者の映像を正確にとらえることが可能とな
る。
【0024】
【発明の効果】本発明は、以上説明したように構成され
ているので、以下に記載されるような効果を奏する。
【0025】すなわち、被識別者がいる場所の光の量を
可変とする光量調節手段に対し、光量の調節制御を行う
光量制御手段を設けたことにより、虹彩データを取得す
る際に照明が被認識者の瞳に映り込んだり、窓から入り
込んだ光によってカメラの感度が飽和することが防止さ
れるので、正確なアイリスパターンが得られるととも
に、被識別者の映像を正確にとらえることが可能とな
る。
【図面の簡単な説明】
【図1】本発明の光彩認識システムを示す説明図であ
る。
【図2】本発明の自動取引装置を示す斜視図である。
【図3】本発明の自動取引装置の制御ブロック図であ
る。
【図4】ATMの顧客誘導画面の表示例を示す説明図で
ある。
【図5】照明のオンオフ制御を示すタイムチャートであ
る。
【図6】本発明の光彩認識システムを示す説明図であ
る。
【符号の説明】
13a カメラ 31 照明制御部 32 照明 33 顧客 42 シャッタ制御部 43 窓 44 シャッタ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 カメラにより被識別者の虹彩をとらえ、
    その画像データから被識別者を認識する虹彩認識システ
    ムにおいて、 被識別者がいる場所の光の量を可変とする光量調節手段
    に対し、光量の調節制御を行う光量制御手段を設けたこ
    とを特徴とする虹彩認識システム。
  2. 【請求項2】 上記光量調節手段は、被識別者のいる場
    所を照らす照明であり、 上記光量制御手段は、被識別者の虹彩をとらえるときに
    照明をオフする照明制御手段である請求項1記載の虹彩
    認識システム。
  3. 【請求項3】 上記光量調節手段は、被識別者のいる場
    所の窓に設けられた開閉可能なシャッタであり、 上記光量制御手段は、シャッタを開閉して窓の外来光の
    量を調節するシャッタ制御手段である請求項1記載の虹
    彩認識システム。
JP01423196A 1996-01-30 1996-01-30 虹彩認識システム Expired - Fee Related JP3625941B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01423196A JP3625941B2 (ja) 1996-01-30 1996-01-30 虹彩認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01423196A JP3625941B2 (ja) 1996-01-30 1996-01-30 虹彩認識システム

Publications (2)

Publication Number Publication Date
JPH09201348A true JPH09201348A (ja) 1997-08-05
JP3625941B2 JP3625941B2 (ja) 2005-03-02

Family

ID=11855306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01423196A Expired - Fee Related JP3625941B2 (ja) 1996-01-30 1996-01-30 虹彩認識システム

Country Status (1)

Country Link
JP (1) JP3625941B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1153752A2 (en) 2000-04-14 2001-11-14 Canon Kabushiki Kaisha Semiconductor device, ink tank provided with such device and method of manufacturing such device
JP2006155078A (ja) * 2004-11-26 2006-06-15 Glory Ltd 顔認証装置、顔認証方法および顔認証プログラム。
US7176973B2 (en) 2000-07-10 2007-02-13 Matsushita Electric Industrial Co., Ltd. Iris camera module
KR100776690B1 (ko) * 2004-01-09 2007-11-16 혼다 기켄 고교 가부시키가이샤 얼굴화상 취득방법 및 그 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0584166B2 (ja) * 1985-02-20 1993-12-01 Leonard Flom
JPH08504979A (ja) * 1991-07-15 1996-05-28 ドーグマン、ジョン・ジー 虹彩解析に基づく生体測定学的人物識別システム
JPH10505180A (ja) * 1994-09-02 1998-05-19 デイヴィッド サーノフ リサーチ センター,インコーポレイテッド 自動化された非侵入的な虹彩認識システムおよびその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0584166B2 (ja) * 1985-02-20 1993-12-01 Leonard Flom
JPH08504979A (ja) * 1991-07-15 1996-05-28 ドーグマン、ジョン・ジー 虹彩解析に基づく生体測定学的人物識別システム
JPH10505180A (ja) * 1994-09-02 1998-05-19 デイヴィッド サーノフ リサーチ センター,インコーポレイテッド 自動化された非侵入的な虹彩認識システムおよびその方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1153752A2 (en) 2000-04-14 2001-11-14 Canon Kabushiki Kaisha Semiconductor device, ink tank provided with such device and method of manufacturing such device
US6719394B2 (en) 2000-04-14 2004-04-13 Canon Kabushiki Kaisha Semiconductor device, ink tank provided with such semiconductor device, ink jet cartridge, ink jet recording apparatus, method for manufacturing such semiconductor device, and communication system, method for controlling pressure, memory element, security system of ink jet recording apparatus
US7176973B2 (en) 2000-07-10 2007-02-13 Matsushita Electric Industrial Co., Ltd. Iris camera module
KR100776690B1 (ko) * 2004-01-09 2007-11-16 혼다 기켄 고교 가부시키가이샤 얼굴화상 취득방법 및 그 시스템
US7539556B2 (en) 2004-01-09 2009-05-26 Honda Motor Co., Ltd. Face image acquisition method and face image acquisition system
JP2006155078A (ja) * 2004-11-26 2006-06-15 Glory Ltd 顔認証装置、顔認証方法および顔認証プログラム。

Also Published As

Publication number Publication date
JP3625941B2 (ja) 2005-03-02

Similar Documents

Publication Publication Date Title
JPH09212644A (ja) 虹彩認識装置および虹彩認識方法
US6731778B1 (en) Photographing apparatus and monitoring system using same
EP1041522B1 (en) Self service terminal
JP7351333B2 (ja) 画像処理装置、画像処理方法、画像処理システム
JP3554095B2 (ja) 自動取引システムおよび自動取引装置
TWI392338B (zh) 攝影裝置以及監視系統
JP2009116636A (ja) 自動取引装置の取引監視方法
JP2008003874A (ja) 自動取引装置
JP3625941B2 (ja) 虹彩認識システム
JP3751368B2 (ja) 虹彩認識システムおよび虹彩認識装置
JP2003168147A (ja) 自動取引装置および自動取引システム
JPH09198545A (ja) 自動取引装置
JP5340008B2 (ja) 現金自動取引システム、現金自動取引方法、および現金自動取引装置
JP7495545B2 (ja) 紙幣処理装置
KR101268851B1 (ko) 자동화기기
JP3580634B2 (ja) 自動取引装置
JPH09147233A (ja) 自動取引システム
JP3439592B2 (ja) 識別方法及び識別装置
JPH1055470A (ja) 自動取引装置
JPH11175818A (ja) 自動取引装置
KR19990064414A (ko) 안면인식을 이용한 은행거래 처리장치의 부정거래 방지방법
JP7242921B1 (ja) ベゼル
JP7650127B2 (ja) 紙葉類投入者の顔面を撮影するカメラ装置を備える紙葉類取扱装置
CN120452106A (zh) 一种自助缴存机
KR19990021985U (ko) 내장카메라를이용한안면인식에의한부정거래방지은행거래처리장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121210

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees