JP2000292853A - 顔画像撮影方法および顔画像撮影装置 - Google Patents

顔画像撮影方法および顔画像撮影装置

Info

Publication number
JP2000292853A
JP2000292853A JP11260705A JP26070599A JP2000292853A JP 2000292853 A JP2000292853 A JP 2000292853A JP 11260705 A JP11260705 A JP 11260705A JP 26070599 A JP26070599 A JP 26070599A JP 2000292853 A JP2000292853 A JP 2000292853A
Authority
JP
Japan
Prior art keywords
pupil
face image
photographing
normally opened
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11260705A
Other languages
English (en)
Other versions
JP4316063B2 (ja
Inventor
Yoshinori Misumi
佳範 三角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP26070599A priority Critical patent/JP4316063B2/ja
Priority to EP03020356A priority patent/EP1380884B1/en
Priority to DE60013717T priority patent/DE60013717T2/de
Priority to EP03020355A priority patent/EP1376216B1/en
Priority to DE60045044T priority patent/DE60045044D1/de
Priority to EP00114322A priority patent/EP1085366B1/en
Priority to DE60045263T priority patent/DE60045263D1/de
Priority to US09/612,239 priority patent/US6483993B1/en
Priority to KR10-2000-0040112A priority patent/KR100522514B1/ko
Priority to CN00128692A priority patent/CN1288174A/zh
Publication of JP2000292853A publication Critical patent/JP2000292853A/ja
Priority to KR10-2002-0051122A priority patent/KR100408365B1/ko
Priority to KR10-2002-0051123A priority patent/KR100408366B1/ko
Priority to US10/254,943 priority patent/US6813439B2/en
Priority to US10/254,867 priority patent/US6636694B1/en
Priority to US10/712,002 priority patent/US6829432B2/en
Application granted granted Critical
Publication of JP4316063B2 publication Critical patent/JP4316063B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Image Input (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】目つぶりなどの出力写真として適さない画像を
自動的に排除し、常に最良の画像を出力し得る顔画像撮
影方法および顔画像撮影装置を提供する。 【解決手段】身分証明書や各種免許証などに貼付する証
明用写真を作成することを目的に、被撮影者の顔画像を
撮影する顔画像撮影装置において、被撮影者を撮影した
際、入力した顔画像から瞳の状態を認識して、瞳が正常
に開いた状態か否かを判定し、瞳が正常に開いていない
場合は、自動的に再度撮影を行なう。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、たとえば、身分証
明書や各種免許証などに貼付する証明用写真を作成する
ことを目的に、被撮影者の顔画像を撮影する顔画像撮影
方法および顔画像撮影装置に関する。
【０００２】
【従来の技術】一般に、この種の顔画像撮影装置にあっ
ては、被撮影者を撮影した際、瞳（目）が開いた状態か
どうかを人間系にて判定し、目つぶりなどの出力写真と
して適さない画像であった場合には、撮り直しなどの処
置を行なっていた。
【０００３】
【発明が解決しようとする課題】ところが、撮影サイク
ルが数秒程度と早い揚合、上記人間系の判定では、撮影
時の撮影装置の操作者（撮影者）の負荷が大きく、さら
に判定を誤まる確立も高くなる。
【０００４】特に、判定を誤まって撮影して、印刷出力
した後、誤まった判定を行なった場合、既にその場には
いない被撮影者を呼び戻し、再度撮影しなければならな
い。また、印刷出力するに伴なう出力媒体（用紙など）
の費用が無駄に浪費されるという問題がある。
【０００５】そこで、本発明は、目つぶりなどの出力写
真として適さない画像を自動的に排除し、常に最良の画
像を出力し得る顔画像撮影方法および顔画像撮影装置を
提供することを目的とする。
【０００６】
【課題を解決するための手段】本発明の顔画像撮影方法
は、被撮影者の顔画像を撮影するステップと、この撮影
した顔画像から瞳の位置を検出するステップと、この検
出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に
開いているか否かを判定するステップと、この判定によ
り瞳が正常に開いていないと判定された場合、前記顔画
像の撮影、前記瞳の位置検出、および、前記瞳が正常に
開いているか否かの判定を再度行なうステップとを有す
る。
【０００７】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていないと判定された場合、前記撮影手段による顔
画像の撮影、前記瞳位置検出手段による瞳の位置検出、
および、前記判定手段による瞳が正常に開いているか否
かの判定を再度行なわせるリトライ制御手段とを具備し
ている。
【０００８】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を撮影画像として出力するステップと、前記判定により
瞳が正常に開いていないと判定された場合、前記顔画像
の撮影、前記瞳の位置検出、および、前記瞳が正常に開
いているか否かの判定を再度行なうステップとを有す
る。
【０００９】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を撮影画像として出力する画像出力手段
と、前記判定手段により瞳が正常に開いていないと判定
された場合、前記撮影手段による顔画像の撮影、前記瞳
位置検出手段による瞳の位置検出、および、前記判定手
段による瞳が正常に開いているか否かの判定を再度行な
わせるリトライ制御手段とを具備している。
【００１０】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を印刷出力するステップと、前記判定により瞳が正常に
開いていないと判定された場合、前記顔画像の撮影、前
記瞳の位置検出、および、前記瞳が正常に開いているか
否かの判定を再度行なうステップとを有する。
【００１１】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を印刷出力する印刷出力手段と、前記判定
手段により瞳が正常に開いていないと判定された場合、
前記撮影手段による顔画像の撮影、前記瞳位置検出手段
による瞳の位置検出、および、前記判定手段による瞳が
正常に開いているか否かの判定を再度行なわせるリトラ
イ制御手段とを具備している。
【００１２】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を印刷出力するステップと、前記判定により瞳が正常に
開いていないと判定された場合、前記顔画像の撮影、前
記瞳の位置検出、および、前記瞳が正常に開いているか
否かの判定を再度行なわせるリトライ制御を行なうステ
ップと、このリトライ制御によるリトライ処理の回数を
計数し、その計数値があらかじめ設定される規定値に達
したか否かを判定するステップと、この判定により前記
リトライ処理の回数が規定値に達したことが判定される
と、エラー処理を行なうステップとを有する。
【００１３】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する第１の判定手段と、この第１の判定手段によ
り瞳が正常に開いていると判定された場合、前記撮影手
段により撮影された顔画像を印刷出力する印刷出力手段
と、前記第１の判定手段により瞳が正常に開いていない
と判定された場合、前記撮影手段による顔画像の撮影、
前記瞳位置検出手段による瞳の位置検出、および、前記
判定手段による瞳が正常に開いているか否かの判定を再
度行なわせるリトライ制御手段と、このリトライ制御手
段による前記リトライ処理の回数を計数し、その計数値
があらかじめ設定される規定値に達したか否かを判定す
る第２の判定手段と、この第２の判定手段が前記リトラ
イ処理の回数が規定値に達したことを判定すると、エラ
ー処理を行なうエラー処理手段とを具備している。
【００１４】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を画像保存手段に対して出力するステップと、前記判定
により瞳が正常に開いていないと判定された場合、前記
顔画像の撮影、前記瞳の位置検出、および、前記瞳が正
常に開いているか否かの判定を再度行なうステップとを
有する。
【００１５】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を保存する画像保存手段と、前記判定手段
により瞳が正常に開いていないと判定された場合、前記
撮影手段による顔画像の撮影、前記瞳位置検出手段によ
る瞳の位置検出、および、前記判定手段による瞳が正常
に開いているか否かの判定を再度行なわせるリトライ制
御手段とを具備している。
【００１６】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を外部の画像保存手段に対して保存出力するステップ
と、前記判定により瞳が正常に開いていないと判定され
た場合、前記顔画像の撮影、前記瞳の位置検出、およ
び、前記瞳が正常に開いているか否かの判定を再度行な
うステップとを有する。
【００１７】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を外部の画像保存手段に対して保存出力す
る画像出力手段と、前記判定手段により瞳が正常に開い
ていないと判定された場合、前記撮影手段による顔画像
の撮影、前記瞳位置検出手段による瞳の位置検出、およ
び、前記判定手段による瞳が正常に開いているか否かの
判定を再度行なわせるリトライ制御手段とを具備してい
る。
【００１８】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を保存するステップと、前記判定により瞳が正常に開い
ていないと判定された場合、前記顔画像の撮影、前記瞳
の位置検出、および、前記瞳が正常に開いているか否か
の判定を再度行なわせるリトライ制御を行なうステップ
と、このリトライ制御によるリトライ処理の回数を計数
し、その計数値があらかじめ設定される規定値に達した
か否かを判定するステップと、この判定により前記リト
ライ処理の回数が規定値に達したことを判定すると、エ
ラー処理を行なうステップとを有する。
【００１９】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する第１の判定手段と、この第１の判定手段によ
り瞳が正常に開いていると判定された場合、前記撮影手
段により撮影された顔画像を保存する画像保存手段と、
前記第１の判定手段により瞳が正常に開いていないと判
定された場合、前記撮影手段による顔画像の撮影、前記
瞳位置検出手段による瞳の位置検出、および、前記判定
手段による瞳が正常に開いているか否かの判定を再度行
なわせるリトライ制御手段と、このリトライ制御手段に
よる前記リトライ処理の回数を計数し、その計数値があ
らかじめ設定される規定値に達したか否かを判定する第
２の判定手段と、この第２の判定手段が前記リトライ処
理の回数が規定値に達したことを判定すると、エラー処
理を行なうエラー処理手段とを具備している。
【００２０】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を外部の画像保存手段に対して保存出力するステップ
と、前記判定により瞳が正常に開いていないと判定され
た場合、前記顔画像の撮影、前記瞳の位置検出、およ
び、前記瞳が正常に開いているか否かの判定を再度行な
わせるリトライ制御を行なうステップと、このリトライ
制御によるリトライ処理の回数を計数し、その計数値が
あらかじめ設定される規定値に達したか否かを判定する
ステップと、この判定により前記リトライ処理の回数が
規定値に達したことを判定すると、エラー処理を行なう
ステップとを有する。
【００２１】さらに、本発明の顔画像撮影装置は、被撮
影者の顔画像を撮影する撮影手段と、この撮影手段によ
り撮影された顔画像から瞳の位置を検出する瞳位置検出
手段と、この瞳位置検出手段により検出された瞳の位置
に基づき瞳の状態を認識し、瞳が正常に開いているか否
かを判定する第１の判定手段と、この第１の判定手段に
より瞳が正常に開いていると判定された場合、前記撮影
手段により撮影された顔画像を外部の画像保存手段に対
して保存出力する画像出力手段と、前記第１の判定手段
により瞳が正常に開いていないと判定された場合、前記
撮影手段による顔画像の撮影、前記瞳位置検出手段によ
る瞳の位置検出、および、前記判定手段による瞳が正常
に開いているか否かの判定を再度行なわせるリトライ制
御手段と、このリトライ制御手段による前記リトライ処
理の回数を計数し、その計数値があらかじめ設定される
規定値に達したか否かを判定する第２の判定手段と、こ
の第２の判定手段が前記リトライ処理の回数が規定値に
達したことを判定すると、エラー処理を行なうエラー処
理手段とを具備している。
【００２２】本発明によれば、被撮影者を撮影した際、
入力した顔画像の瞳の状態を認識して、瞳が正常に開い
た状態か否かを判定し、瞳が正常に開いていない場合は
再度撮影を行なうことにより、正常に瞳を開いているか
どうかを人間系の判定を伴うことなく、自動的に被撮影
者の瞳の状態を認識して、再撮影を行なうことができ
る。したがって、目つぶりなどの出力写真として適さな
い画像を自動的に排除し、常に最良の画像を出力し得
る。
【００２３】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。
【００２４】図１は、本実施の形態に係る顔画像撮影装
置の外観構成を概略的に示すものである。この顔画像撮
影装置は、被撮影者５を照明する照明器１、被撮影者５
の少なくとも顔画像を撮影する撮影手段としてのＣＣＤ
形のビデオカメラ２、撮影状態や撮影者（操作者）８の
操作情報などを表示する表示器（モニタディスプレイ）
３、撮影者８による操作指示により、カメラ２からの入
カ画像を加工したり、表示器３や内蔵する記憶部などに
対して出力を行なう制御台（制御部）４、被撮影者５が
撮影の際に着座する椅子６、および、撮影の際に被撮影
者５の背景となる背景板７から構成されている。
【００２５】図２は、図１に示した顔画像撮影装置の全
体的な構成を示すブロック図である。すなわち、カメラ
２からのアナログ信号（入力画像）をリアルタイムにデ
ジタル信号に変換し、ビデオメモリやメインメモリなど
に転送するビデオキャプチャ部９、ビデオキャプチャ部
９の画像データ、および、その他の描画処理を行ない、
表示器３への表示制御を行なうビデオアクセラレート部
１０、画像データおよびその他への各種の演算処理や各
種制御などを行なうＣＰＵ（セントラル・プロセッシン
グ・ユニット）、画像データや演算結果などを一時保存
するメインメモリ、各種周辺機器とのインターフェイス
を備えたＣＰＵ部１１、各種周辺機器を接続する外部バ
ス（たとえば、ＳＣＳＩなど）を制御する外部バス制御
部１２、各種ＯＳやアプリケーション、制御用データ、
画像データなどを保存するハードディスクなどの大容量
記憶媒体１３、制御台４の出力データなどを保存する可
搬性のある記憶媒体（たとえば、光磁気ディスクなど）
１４、記憶媒体１４に対してデータの読み書きを行なう
リーダライタ部１５、操作者（撮影者）８が操作する入
力装置としてのキーボード１６やマウス１７、撮影した
顔画像などを印刷出力する印刷出力手段としての画像印
刷装置３１、および、同一ネットワーク３２上の他の各
種機器（画像印刷装置や画像ファイリング装置など）と
の間で相互通信を行なうためのネットワークアダプタ
（ＬＡＮカードなど）３３などによって構成されてい
る。
【００２６】図３は、カメラ２からの入力画像（顔画
像）１８と、その入力画像１８中の顔の輪郭位置１９か
らの相対位置である瞳（目）の概略位置領域２０を特定
し、この概略位置領域２０から両瞳の位置領域２１，２
２を抽出する様子を示したものである。
【００２７】以下、図４に示すフローチャートおよび図
３を参照して本装置の処理動作を説明する。なお、以下
に説明する処理は、主にＣＰＵ部１１内のＣＰＵの制御
によって実行される。
【００２８】まず、ステップＳ１にて、リトライ回数や
その他のデータの初期化を行ない、ステップＳ２に進
む。ステップＳ２では、ビデオキャプチャ部９を介して
カメラ２からの入力画像（顔画像）１８を取込み、ＣＰ
Ｕ部１１内のメインメモリに一時格納し、ステップＳ３
に進む。ステップＳ３では、メインメモリ内の入力画像
１８から、髪形まで含めた顔の輪郭位置１９を検出し、
ステップＳ４に進む。
【００２９】ステップＳ４では、検出した顔の輪郭位置
１９が、あらかじめ設定される規定の範囲内か否かをチ
ェックし、規定の範囲内でなかった場合、ステップＳ５
に進んでエラー処理を行ない、初期状態に戻る。規定の
範囲内であった場合、ステップＳ６に進む。ステップＳ
６では、顔の輪郭位置１９から、その相対位置である瞳
（目）の概略位置領域２０を算出し、この概略位置領域
２０から、瞳と同形状の丸い形状をした位置領域（２
１，２２）を抽出し、ステップＳ７に進む。
【００３０】ステップＳ７では、抽出した丸い形状をし
た位置領域の数が、あらかじめ設定される規定数（２
個）以上あるか否かをチェックし、規定数に満たない場
合は、瞳が正常に開いていないと判定し、ステップＳ８
に進む。ステップＳ８では、あらかじめ設定される規定
時間（約０．１秒程度）待機した後、ステップＳ９に進
む。
【００３１】ステップＳ９では、リトライ回数があらか
じめ設定される規定値以内か否かをチェックし、規定値
以内であればステップＳ１０に進む。ステップＳ１０で
は、リトライ回数をインクリメントし、ステップＳ２に
戻る。すなわち、リトライ回数が規定回数内であれば、
規定時間（約０．１秒程度）待ち、リトライとして再
度、顔画像を入力させるためにステップＳ２に戻る。
【００３２】ステップＳ９のチェックで、規定値以上で
あればステップＳ１１に進んでエラー処理を行ない、初
期状態に戻る。
【００３３】ステップＳ７のチェックで、規定数を満た
した場合は、瞳が正常に開いているものと判定し、ステ
ップＳ１２に進む。ステップＳ１２では、抽出したそれ
ぞれの位置領域２１，２２周辺の形状と、ＣＰＵ部１１
内のメインメモリにあらかじめ記憶されている瞳の標本
データとを比較し、類似度合いが最も高い抽出部位を左
右瞳分抽出し、ステップＳ１３に進む。
【００３４】ステップＳ１３では、ステップＳ１２で抽
出した最も類似している部位の類似度合いが、あらかじ
め設定される閾値以上か否かをチェックし、閾値以下で
あれば、ステップＳ９に進み、前述同様のリトライ処理
を行なう。上記チェックの結果、閾値以上であれば、正
常に開いている瞳位置と判定し、ステップＳ１４に進
む。
【００３５】この場合、瞳は２箇所あるため、標本デー
タは左右の瞳分用意されており、上記判定を左右瞳の両
標本データとの比較により行ない、左右両瞳の状態を認
識する。
【００３６】ステップＳ１４では、ステップＳ２で取込
んだ入力画像を出力用に変換し、被撮影者５のその他の
個人情報とともに、目的に応じ、ＣＰＵ部１１に接続さ
れた画像印刷装置３１、あるいは、ネットワークアダプ
タ３３からネットワーク３２上に接続された画像印刷装
置（図示しない）において、記録媒体（用紙、カードな
ど）に印刷出力したり、同ネットワーク３２上に接続さ
れた画像保存手段としての画像ファイリング装置（図示
しない）に対して保存出力したり、さらには、ＣＰＵ部
１１内のメインメモリあるいは大容量記憶媒体１３や可
搬性のある記憶媒体１４を画像保存手段として用いるこ
とにより、それに対して記憶（保存出力）する。これで
全ての処理が終了する。
【００３７】なお、顔画像を印刷出力するか保存出力す
るかは目的に応じて選択すればよく、顔画像の出力方法
は任意である。
【００３８】ところで、被撮影者５を撮影した際、瞬き
または目つぶりであった場合、ステップＳ６，Ｓ７の処
理にて判定し、リトライ処理を行ないつつ、瞳が開くの
を待つことを行なう。
【００３９】また、被撮影者が、瞳は開いているが、よ
そ見その他の正面をしっかり向いていないような、正常
に開いた瞳ではない場合、ステップＳ１２，Ｓ１３の処
理にて判定し、正常に開いた瞳になるのを待つ。また、
ステップＳ１２，Ｓ１３の処理は、ステップＳ６，Ｓ７
の処理にて誤判定したものに対しての補正処理としても
動作する。さらに、ステップＳ１２，Ｓ１３の処理は、
ステップＳ６，Ｓ７の処理では判定できない不正常な開
きすぎの瞳（びっくり目）に対しても作用し、リトライ
処理を行なう。
【００４０】
【発明の効果】以上詳述したように本発明によれば、目
つぶりなどの出力写真として適さない画像を自動的に排
除し、常に最良の画像を出力し得る顔画像撮影方法およ
び顔画像撮影装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る顔画像撮影装置の外
観構成を概略的に示す構成図。
【図２】図１に示した顔画像撮影装置の全体的な構成を
示すブロック図。
【図３】入力画像から両瞳の位置領域を抽出する様子を
説明するための図。
【図４】処理動作を説明するためのフローチャート。
【符号の説明】
１……照明器 ２……ビデオカメラ（撮像手段） ３……表示器（モニタディスプレイ） ４……制御台（制御部） ５……被撮影者 ８……撮影者（操作者） ９……ビデオキャプチャ部 １０……ビデオアクセラレート部 １１……ＣＰＵ部 １３……大容量記憶媒体（画像保存手段） １４……記憶媒体（画像保存手段） １５……リーダライタ部 １６……キーボード １７……マウス ３１……画像印刷装置（印刷出力手段） ３２……ネットワーク ３３……ネットワークアダプタ

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なうステ
    ップと、 を有することを特徴とする顔画像撮影方法。
  2. 【請求項２】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する判定手段と、 この判定手段により瞳が正常に開いていないと判定され
    た場合、前記撮影手段による顔画像の撮影、前記瞳位置
    検出手段による瞳の位置検出、および、前記判定手段に
    よる瞳が正常に開いているか否かの判定を再度行なわせ
    るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
  3. 【請求項３】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
    合、前記撮影された顔画像を撮影画像として出力するス
    テップと、 前記判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なうステ
    ップと、 を有することを特徴とする顔画像撮影方法。
  4. 【請求項４】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する判定手段と、 この判定手段により瞳が正常に開いていると判定された
    場合、前記撮影手段により撮影された顔画像を撮影画像
    として出力する画像出力手段と、 前記判定手段により瞳が正常に開いていないと判定され
    た場合、前記撮影手段による顔画像の撮影、前記瞳位置
    検出手段による瞳の位置検出、および、前記判定手段に
    よる瞳が正常に開いているか否かの判定を再度行なわせ
    るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
  5. 【請求項５】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
    合、前記撮影された顔画像を印刷出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なうステ
    ップと、 を有することを特徴とする顔画像撮影方法。
  6. 【請求項６】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する判定手段と、 この判定手段により瞳が正常に開いていると判定された
    場合、前記撮影手段により撮影された顔画像を印刷出力
    する印刷出力手段と、 前記判定手段により瞳が正常に開いていないと判定され
    た場合、前記撮影手段による顔画像の撮影、前記瞳位置
    検出手段による瞳の位置検出、および、前記判定手段に
    よる瞳が正常に開いているか否かの判定を再度行なわせ
    るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
  7. 【請求項７】 前記瞳位置検出手段は、前記撮影手段に
    より撮影された顔画像から顔の輪郭位置を検出し、この
    検出した顔の輪郭位置により、その輪郭位置からの相対
    位置である瞳の概略位置領域を算出し、この算出した瞳
    の概略位置領域から瞳の位置を抽出することを特徴とす
    る請求項２、４、６のいずれか１つに記載の顔画像撮影
    装置。
  8. 【請求項８】 前記判定手段は、前記瞳位置検出手段に
    よる瞳の位置の検出数があらかじめ設定される規定数以
    上あるか否かを判定し、規定数以上ある場合、それぞれ
    の検出位置周辺の形状とあらかじめ設定される瞳の標本
    データとを比較し、最も類似している位置の類似度合い
    があらかじめ設定される閾値以上であるか否かを判定
    し、閾値以上であれば瞳が正常に開いていると判定し、
    閾値以下であったり、前記判定で検出数が規定数以下で
    ある場合、瞳が正常に開いていないと判定することを特
    徴とする請求項２、４、６のいずれか１つに記載の顔画
    像撮影装置。
  9. 【請求項９】 前記リトライ制御手段は、前記判定手段
    により瞳が正常に開いていないと判定された場合、あら
    かじめ設定される規定時間待機した後、前記リトライ処
    理を行なうことを特徴とする請求項２、４、６のいずれ
    か１つに記載の顔画像撮影装置。
  10. 【請求項１０】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
    合、前記撮影された顔画像を印刷出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なわせる
    リトライ制御を行なうステップと、 このリトライ制御によるリトライ処理の回数を計数し、
    その計数値があらかじめ設定される規定値に達したか否
    かを判定するステップと、 この判定により前記リトライ処理の回数が規定値に達し
    たことが判定されると、エラー処理を行なうステップ
    と、 を有することを特徴とする顔画像撮影方法。
  11. 【請求項１１】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する第１の判定手段と、 この第１の判定手段により瞳が正常に開いていると判定
    された場合、前記撮影手段により撮影された顔画像を印
    刷出力する印刷出力手段と、 前記第１の判定手段により瞳が正常に開いていないと判
    定された場合、前記撮影手段による顔画像の撮影、前記
    瞳位置検出手段による瞳の位置検出、および、前記判定
    手段による瞳が正常に開いているか否かの判定を再度行
    なわせるリトライ制御手段と、 このリトライ制御手段による前記リトライ処理の回数を
    計数し、その計数値があらかじめ設定される規定値に達
    したか否かを判定する第２の判定手段と、 この第２の判定手段が前記リトライ処理の回数が規定値
    に達したことを判定すると、エラー処理を行なうエラー
    処理手段と、 を具備したことを特徴とする顔画像撮影装置。
  12. 【請求項１２】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
    合、前記撮影された顔画像を画像保存手段に対して出力
    するステップと、 前記判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なうステ
    ップと、 を有することを特徴とする顔画像撮影方法。
  13. 【請求項１３】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する判定手段と、 この判定手段により瞳が正常に開いていると判定された
    場合、前記撮影手段により撮影された顔画像を保存する
    画像保存手段と、 前記判定手段により瞳が正常に開いていないと判定され
    た場合、前記撮影手段による顔画像の撮影、前記瞳位置
    検出手段による瞳の位置検出、および、前記判定手段に
    よる瞳が正常に開いているか否かの判定を再度行なわせ
    るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
  14. 【請求項１４】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
    合、前記撮影された顔画像を外部の画像保存手段に対し
    て保存出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なうステ
    ップと、 を有することを特徴とする顔画像撮影方法。
  15. 【請求項１５】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する判定手段と、 この判定手段により瞳が正常に開いていると判定された
    場合、前記撮影手段により撮影された顔画像を外部の画
    像保存手段に対して保存出力する画像出力手段と、 前記判定手段により瞳が正常に開いていないと判定され
    た場合、前記撮影手段による顔画像の撮影、前記瞳位置
    検出手段による瞳の位置検出、および、前記判定手段に
    よる瞳が正常に開いているか否かの判定を再度行なわせ
    るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
  16. 【請求項１６】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
    合、前記撮影された顔画像を保存するステップと、 前記判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なわせる
    リトライ制御を行なうステップと、 このリトライ制御によるリトライ処理の回数を計数し、
    その計数値があらかじめ設定される規定値に達したか否
    かを判定するステップと、 この判定により前記リトライ処理の回数が規定値に達し
    たことを判定すると、エラー処理を行なうステップと、 を有することを特徴とする顔画像撮影方法。
  17. 【請求項１７】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する第１の判定手段と、 この第１の判定手段により瞳が正常に開いていると判定
    された場合、前記撮影手段により撮影された顔画像を保
    存する画像保存手段と、 前記第１の判定手段により瞳が正常に開いていないと判
    定された場合、前記撮影手段による顔画像の撮影、前記
    瞳位置検出手段による瞳の位置検出、および、前記判定
    手段による瞳が正常に開いているか否かの判定を再度行
    なわせるリトライ制御手段と、 このリトライ制御手段による前記リトライ処理の回数を
    計数し、その計数値があらかじめ設定される規定値に達
    したか否かを判定する第２の判定手段と、 この第２の判定手段が前記リトライ処理の回数が規定値
    に達したことを判定すると、エラー処理を行なうエラー
    処理手段と、 を具備したことを特徴とする顔画像撮影装置。
  18. 【請求項１８】 被撮影者の顔画像を撮影するステップ
    と、 この撮影した顔画像から瞳の位置を検出するステップ
    と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
    正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
    合、前記撮影された顔画像を外部の画像保存手段に対し
    て保存出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
    合、前記顔画像の撮影、前記瞳の位置検出、および、前
    記瞳が正常に開いているか否かの判定を再度行なわせる
    リトライ制御を行なうステップと、 このリトライ制御によるリトライ処理の回数を計数し、
    その計数値があらかじめ設定される規定値に達したか否
    かを判定するステップと、 この判定により前記リトライ処理の回数が規定値に達し
    たことを判定すると、エラー処理を行なうステップと、 を有することを特徴とする顔画像撮影方法。
  19. 【請求項１９】 被撮影者の顔画像を撮影する撮影手段
    と、 この撮影手段により撮影された顔画像から瞳の位置を検
    出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
    瞳の状態を認識し、瞳が正常に開いているか否かを判定
    する第１の判定手段と、 この第１の判定手段により瞳が正常に開いていると判定
    された場合、前記撮影手段により撮影された顔画像を外
    部の画像保存手段に対して保存出力する画像出力手段
    と、 前記第１の判定手段により瞳が正常に開いていないと判
    定された場合、前記撮影手段による顔画像の撮影、前記
    瞳位置検出手段による瞳の位置検出、および、前記判定
    手段による瞳が正常に開いているか否かの判定を再度行
    なわせるリトライ制御手段と、 このリトライ制御手段による前記リトライ処理の回数を
    計数し、その計数値があらかじめ設定される規定値に達
    したか否かを判定する第２の判定手段と、 この第２の判定手段が前記リトライ処理の回数が規定値
    に達したことを判定すると、エラー処理を行なうエラー
    処理手段と、 を具備したことを特徴とする顔画像撮影装置。
JP26070599A 1999-01-14 1999-09-14 顔画像撮影方法および顔画像撮影装置 Expired - Lifetime JP4316063B2 (ja)

Priority Applications (15)

Application Number Priority Date Filing Date Title
JP26070599A JP4316063B2 (ja) 1999-01-14 1999-09-14 顔画像撮影方法および顔画像撮影装置
EP03020356A EP1380884B1 (en) 1999-09-14 2000-07-04 Face image photographing apparatus and face image photographing method
DE60013717T DE60013717T2 (de) 1999-09-14 2000-07-04 Vorrichtung und Verfahren zur Portrait Photographie
EP03020355A EP1376216B1 (en) 1999-09-14 2000-07-04 Face image photographing apparatus and face image photographing method
DE60045044T DE60045044D1 (de) 1999-09-14 2000-07-04 Angesichtsphotographiervorrichtung und -verfahren
EP00114322A EP1085366B1 (en) 1999-09-14 2000-07-04 Face image photographing apparatus and face image photographing method
DE60045263T DE60045263D1 (de) 1999-09-14 2000-07-04 Vorrichtung und Verfahren zur Gesichtsphotographie
US09/612,239 US6483993B1 (en) 1999-09-14 2000-07-07 Face image photographing apparatus and face image photographing method
KR10-2000-0040112A KR100522514B1 (ko) 1999-09-14 2000-07-13 안면화상 촬영장치 및 안면화상 촬영방법
CN00128692A CN1288174A (zh) 1999-09-14 2000-07-13 面部影象摄影装置和面部影象摄影方法
KR10-2002-0051122A KR100408365B1 (ko) 1999-09-14 2002-08-28 안면화상 촬영장치 및 안면화상 촬영방법
KR10-2002-0051123A KR100408366B1 (ko) 1999-09-14 2002-08-28 안면화상 촬영장치 및 안면화상 촬영방법
US10/254,943 US6813439B2 (en) 1999-09-14 2002-09-26 Face image photographing apparatus and face image photographing method
US10/254,867 US6636694B1 (en) 1999-09-14 2002-09-26 Face image photographing apparatus and face image photographing method
US10/712,002 US6829432B2 (en) 1999-09-14 2003-11-14 Face image photographic apparatus and face image photographic method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP757999 1999-01-14
JP11-7579 1999-01-14
JP26070599A JP4316063B2 (ja) 1999-01-14 1999-09-14 顔画像撮影方法および顔画像撮影装置

Publications (2)

Publication Number Publication Date
JP2000292853A true JP2000292853A (ja) 2000-10-20
JP4316063B2 JP4316063B2 (ja) 2009-08-19

Family

ID=26341907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26070599A Expired - Lifetime JP4316063B2 (ja) 1999-01-14 1999-09-14 顔画像撮影方法および顔画像撮影装置

Country Status (1)

Country Link
JP (1) JP4316063B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196410A (ja) * 2000-12-27 2002-07-12 Toshiba Corp 顔画像撮影装置および顔画像撮影方法
EP1628465A1 (en) 2004-08-16 2006-02-22 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
JP2006163496A (ja) * 2004-12-02 2006-06-22 Fuji Photo Film Co Ltd 画像記録装置、画像記録方法及び画像記録プログラム
JP2008077189A (ja) * 2006-09-19 2008-04-03 Toyota Central R&D Labs Inc 居眠り運転防止装置及びプログラム
JP2011109696A (ja) * 2011-01-17 2011-06-02 Casio Computer Co Ltd 撮影画像記録装置および撮影画像記録制御方法
JP2017163228A (ja) * 2016-03-07 2017-09-14 パナソニックＩｐマネジメント株式会社 監視カメラ

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196410A (ja) * 2000-12-27 2002-07-12 Toshiba Corp 顔画像撮影装置および顔画像撮影方法
EP1628465A1 (en) 2004-08-16 2006-02-22 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US7430369B2 (en) 2004-08-16 2008-09-30 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
JP2006163496A (ja) * 2004-12-02 2006-06-22 Fuji Photo Film Co Ltd 画像記録装置、画像記録方法及び画像記録プログラム
JP2008077189A (ja) * 2006-09-19 2008-04-03 Toyota Central R&D Labs Inc 居眠り運転防止装置及びプログラム
JP2011109696A (ja) * 2011-01-17 2011-06-02 Casio Computer Co Ltd 撮影画像記録装置および撮影画像記録制御方法
JP2017163228A (ja) * 2016-03-07 2017-09-14 パナソニックＩｐマネジメント株式会社 監視カメラ

Also Published As

Publication number Publication date
JP4316063B2 (ja) 2009-08-19

Similar Documents

Publication Publication Date Title
US6483993B1 (en) Face image photographing apparatus and face image photographing method
KR101363017B1 (ko) 얼굴영상 촬영 및 분류 시스템과 방법
US20060147093A1 (en) ID card generating apparatus, ID card, facial recognition terminal apparatus, facial recognition apparatus and system
JP2005084980A (ja) 顔画像付きカード用データ生成装置および方法並びにプログラム
JP2001256496A (ja) 顔画像認識装置及び顔画像認識方法
JP2000292853A (ja) 顔画像撮影方法および顔画像撮影装置
JP4762324B2 (ja) 顔画像撮影装置および顔画像撮影方法
JP4091184B2 (ja) 撮影機と画像生成方法
JPH11283033A (ja) 画像識別のための特徴量の利用方法およびそのプログラムを格納した記録媒体
JP2005084979A (ja) 顔認証システムおよび方法並びにプログラム
JP2000292852A (ja) 顔画像撮影装置
JP2000030066A (ja) 顔画像照合方法及び顔画像照合装置
JP4606997B2 (ja) 印刷方法および印刷装置
JP2000206591A (ja) 顔画像撮影方法および顔画像撮影装置
JP2001215605A (ja) 顔画像撮影装置および顔画像撮影方法
JP2003141512A (ja) 顔画像撮影システム及び画像処理方法
JP4454841B2 (ja) 顔画像撮影装置および顔画像撮影方法
JP4709812B2 (ja) 画像生成方法と画像処理装置
JP3732881B2 (ja) 画像の特徴点検出方法およびその装置
JP4357951B2 (ja) 画像撮影システムおよび証明用媒体発行システム
JP3168546B2 (ja) 肖像処理装置および現金自動取引装置
JPH11265452A (ja) 物体認識装置および物体認識方法
JP2002218360A (ja) 証明用媒体発行装置および証明用媒体発行方法
JP4327317B2 (ja) 人物画像撮影方法および人物画像撮影装置
JP2008234377A (ja) 画像ソート装置および方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090520

R151 Written notification of patent or utility model registration

Ref document number: 4316063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140529

Year of fee payment: 5

EXPY Cancellation because of completion of term