JP2004209244A - 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置 - Google Patents

歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置 Download PDF

Info

Publication number
JP2004209244A
JP2004209244A JP2003430534A JP2003430534A JP2004209244A JP 2004209244 A JP2004209244 A JP 2004209244A JP 2003430534 A JP2003430534 A JP 2003430534A JP 2003430534 A JP2003430534 A JP 2003430534A JP 2004209244 A JP2004209244 A JP 2004209244A
Authority
JP
Japan
Prior art keywords
tooth
region
image
tooth image
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003430534A
Other languages
English (en)
Other versions
JP3753722B2 (ja
Inventor
Tae-Woo Kim
泰佑 金
Gil-Won Yoon
吉源 尹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2004209244A publication Critical patent/JP2004209244A/ja
Application granted granted Critical
Publication of JP3753722B2 publication Critical patent/JP3753722B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

【課題】 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置を提供する。
【解決手段】 各個人別に少なくとも一つ以上の歯牙の特徴要素を対応させたデータベースを構築する段階と、(b)身元を確認しようとする個人の歯牙映像から分割された口内領域で上下歯間ラインを抽出し、抽出された上下歯間ラインを基準として上下歯牙領域を抽出する段階と、(c)前記(b)段階で抽出された上下歯牙領域から少なくとも一つ以上の特徴要素を検出する段階と、(d)前記(c)段階で検出された特徴要素を利用して前記データベースを検索し、検索結果、類似度によって身元確認の成功または失敗の如何を判定する段階とよりなる歯牙映像を利用した身元確認方法である。
【選択図】 図1

Description

本発明は身元確認に係り、特に、歯牙映像から歯牙領域を抽出し、抽出された歯牙領域から抽出される特徴要素を利用して身元を確認するための方法及び装置に関する。
現在、保安地域のような特定地域への出入のために行なわれる身元確認は、身元を確認しようとする各個人の顔、指紋、紅彩、手の甲の静脈または音声を利用して行なわれている。しかし、顔認識のためには複雑なアルゴリズムを使用し、紅彩認識のためには高コストの装備を必要とする問題点がある。また、指紋認識は、指紋が消されているか、または汗や異質で指紋映像を獲得し難い場合が多く発生し、手の甲の静脈は状況によって形状の変わる可能性がある。したがって、人体であまり変形されなく映像獲得及び検索のために使われるソフトウェア及びハードウェアがさらに簡単で低コストの要素を利用した身元確認方法が要求されている。
本発明が解決しようとする技術的課題は、身元を確認しようとする個人の歯牙映像から歯牙領域を抽出するための方法を提供することである。
本発明が解決しようとする他の技術的課題は、人体であまり変形されなく、映像獲得及び検索が簡単な歯牙映像を利用した身元確認方法及び装置を提供することである。
前記課題を達成するために本発明による歯牙映像からの歯牙領域の抽出方法は、(a)身元を確認しようとする個人の歯牙映像から口内領域を分割する段階と、(b)前記(a)段階で分割された口内領域で上下歯間ラインを抽出する段階と、(c)前記(b)段階で抽出された上下歯間ラインを基準として上下歯牙領域を抽出する段階と、を含む。
前記他の課題を達成するために本発明による歯牙映像を利用した身元確認方法は、(a)各個人別に少なくとも一つ以上の歯牙の特徴要素を対応させたデータベースを構築する段階と、(b)身元を確認しようとする個人の歯牙映像から分割された口内領域で上下歯間ラインを抽出し、抽出された上下歯間ラインを基準として上下歯牙領域を抽出する段階と、(c)前記(a)段階で抽出された上下歯牙領域から少なくとも一つ以上の特徴要素を検出する段階と、(d)前記(c)段階で検出された特徴要素を利用して前記データベースを検索し、検索結果、類似度によって身元確認の成功または失敗の如何を判定する段階と、を含む。
前記他の課題を達成するために本発明による歯牙映像を利用した身元確認装置は、各個人別に少なくとも一つ以上の歯牙の特徴要素を対応させた歯牙映像データベースと、所定の撮像機器を利用して身元を確認しようとする個人の歯牙映像を獲得する歯牙映像獲得部と、前記歯牙映像獲得部から提供される歯牙映像に対して第1しきい値化を行って口内領域を分割し、分割された口内領域に対して水平プロジェクションを行って上下歯間を抽出し、抽出された上下歯間を基準として歯牙領域を抽出する歯牙抽出部と、前記歯牙抽出部から抽出された歯牙領域に対して垂直プロジェクションを行って個人別の歯牙を区別できる特徴要素を検出する特徴検出部と、前記特徴検出部から検出された歯牙の特徴要素のうち少なくとも一つ以上の特徴要素を利用して前記歯牙映像データベースを検索する検索部と、前記検索部から提供される検索結果、類似度によって身元確認の成功または失敗の如何を判定する身元確認部と、を含む。
本発明によれば、特定地域への出入、現金入出金機での入出金または移動通信機器を通じた電子決済のように保安を必要とする状況での各個人の身元確認を人体であまり変形されなく、特徴要素の抽出及び認識が簡単な歯牙映像を利用して行うことによって、身元確認が速かに行われるだけでなくその具現コストが安い利点がある。
また、本発明による身元確認方法及び装置は、単純には既存のパスワード入力を利用した身元確認技術と結合するか、またはさらに高度の身元確認を必要とする場合、顔、指紋、紅彩、手の甲の静脈または音声を利用した身元確認技術と容易に結合して使用されることができる。
以下、添付された図面を参照して本発明の望ましい一実施例について詳細に説明する。
図1は、本発明による歯牙映像を利用した身元確認装置の構成を示すブロック図であって、歯牙映像獲得部11、歯牙映像処理部13及び歯牙映像データベース15よりなる。
歯牙映像獲得部11は、通常デジタルカメラよりなり、専用の撮影機器、個人用コンピュータに付着されたカメラまたは移動通信端末機に付着されたカメラを例として挙げられる。歯牙映像獲得部11は、身元確認が必要な時点で身元を確認しようとする個人の前歯牙全体が見えるように撮影して歯牙映像を獲得し、獲得された歯牙映像を歯牙映像処理部13に供給する。この時、上下歯間抽出を容易にするために上歯牙と下の歯牙間に所定の間隔が存在するように撮影することが望ましい。
歯牙映像処理部13は、歯牙映像獲得部11から提供される歯牙映像でしきい値化、プロジェクション処理、領域成長を利用して歯牙領域を抽出した後に歯牙の特徴要素を検出し、検出された歯牙の特徴要素を利用して歯牙映像データベース15を検索する。この時、多様な方法を適用して身元を確認できるが、その一例としては適用された歯牙の各特徴要素別に類似度を算出し、歯牙の特徴要素別の類似度または歯牙の特徴要素別類似度の平均値が所定の基準値以上である歯牙映像が歯牙映像データベース15に存在すれば身元確認が成功したと、存在しなければ身元確認が失敗したと判断する。ここで、基準コストは、実験的にまたはシミュレーションを通じて最適の値に決定されうる。
歯牙映像データベース15は、すでに各個人別に歯牙映像を撮影した後、個人別識別子を含む個人情報、歯牙情報及び歯牙の特徴要素を相互対応させてデータベース化したものである。この時、歯牙の正面映像だけでなく、多様な角度で撮影した歯牙映像を保存できる。一方、歯牙の特徴要素は、歯牙の形状、色相、歯牙間の面積比、歯牙間の幅比または歯列を含む。
ここで、前記身元確認装置は、携帯電話やPDA(Personal Digital Assistant)のような個人用移動通信機器に具現され、紛失時または移動通信機器を利用した電子決済時のように保安を要求する場合に身元を確認するための用途として使用されうる。この場合、歯牙映像データベース15は、移動通信機器の所有者の歯牙映像に関する個人情報、歯牙情報及び歯牙の特徴を保存する。
図2は、図1において、歯牙映像処理部13の細部的な構成を示すブロック図であって、歯牙抽出部21、特徴検出部23、検索部25及び身元確認部27よりなる。
歯牙抽出部21は、歯牙映像獲得部11から提供される歯牙映像から歯牙領域を抽出するためのものであって、歯牙映像から口内領域を分割した後に上下歯間を抽出し、抽出された上下歯間を基準として歯牙領域を抽出する。
特徴検出部23は、歯牙抽出部21から抽出された歯牙領域に対して個人別歯牙を区別できる特徴要素を抽出する。抽出できる歯牙の特徴要素としては、歯牙の形状、色相、歯牙間の面積比、歯牙間の幅比または歯列を挙げられる。歯牙の形状及び歯列情報は、抽出された歯牙領域の映像パターンから獲得でき、上下歯牙の歯牙間の面積比及び歯牙間の幅比に関する情報は、歯牙領域に対して垂直プロジェクションを行って獲得できる。一方、歯牙の色相に関する情報は、歯牙領域の明暗度に対してヒストグラム処理を行って獲得できる。
検索部25は、特徴検出部23から検出された歯牙の特徴要素を利用して歯牙映像データベース15を検索する。この時、抽出された全ての特徴要素を使用するのではなく、プロジェクション映像で歯牙間の幅比のように検索にかかる処理時間が短い特徴要素に対して先に検索して類似度が基準値以上である候補歯牙映像を抽出した後、候補歯牙映像に対して残りの特徴要素を利用して検索を行う。同様に、基準コストは実験的にまたはシミュレーションを通じて最適の値に決定されうる。
身元確認部27は、検索部25から提供される検索結果から歯牙の特徴要素別類似度または適用された特徴要素の類似度の平均値が基準値以上である歯牙映像が存在すれば身元確認が成功したと判断し、存在しなければ身元確認が失敗したと判断して、これに当る信号を出力する。
図3は、図2において、歯牙抽出部21の動作を説明するためのフローチャートであって、口内領域分割段階(31)、上下歯間抽出段階(35)及び歯牙領域抽出段階(36)よりなる。図3の各段階での動作を図4Aないし図4Fと結び付けて説明する。
31段階は、歯牙映像で中央に当る口内領域を分割するための段階であって、しきい値化段階(32)、ラベリング段階(33)及び最大領域選択段階(34)よりなる。
32段階では、次の式(1)を利用して歯牙映像(図4A)に対するしきい値化を行う。
Figure 2004209244
g(x)は、口内領域を表すピクセル値であり、0または1の値を有しうる。Tは、しきい値として実験的に求められ、例えば、70を使用できる。一方、f(x)は、各ピクセルのR(Red)、G(Green)、B(Blue)のうち少なくとも一つ以上の値を使用するか、例えば、HSI(Hue Saturation Intensity)カラー座標計で照度に当るI(x)を使用できる。この時、RGBカラー値からI(x)を得るためには、次の式(2)に表現されたRGB/HSIカラー座標計変換式を利用する。ここでは、RGB及びHSIカラー座標計を例として挙げたが、CMY、YIQまたはHSVカラー座標計のような多様なカラー座標計を使用してもよい。
Figure 2004209244
歯牙映像獲得部11から提供される歯牙映像(図4A)に前記式(1)によるしきい値化を適用した結果、‘0’に設定された第1領域と‘1’に設定された第2領域とが定義される。
33段階では、‘0’に設定された第1領域と‘1’に設定された第2領域のうちさらに小さな領域に当る‘1’に設定された領域に対する輪郭線部位のラベリングを行い、図4Bのように各ピクセルに対するg(x)の値が‘1’に設定された領域41,43を分離する。
34段階では、ラベリングによって分離された領域41,43のうち図4Cのように最大領域41を選択することによって歯牙映像(図4A)から口内領域41を分割する。
35段階では、歯牙映像で上下歯間を抽出するために、34段階によって分割された口内領域41に対して水平プロジェクションを行って図4Dのようなグラフを得る。図4Dにおいて、X軸は、歯牙映像の上部から下部への垂直距離dを、Y軸は垂直距離dの各地点でのしきい値化したピクセル累積値P(d)を各々表す。水平プロジェクションを行った結果、ピクセル累積値P(d)が最大である地点、すなわち、kである地点を上下歯間に当る垂直距離として選択する。この時、水平プロジェクショングラフで上下歯間に当る地点のピクセル累積値が最大頂点となるように歯牙映像を左右に回転させて歯列を水平にすることが望ましい。35段階で得られた上下歯間に当る垂直距離kから図4Eのように上下歯間ライン45を設定する。
36段階では、35段階で抽出された上下歯間ライン45を基準として領域成長法を利用して図4Fのように上下歯牙領域47,49を抽出するか、または上下歯間ライン45を基準として上下一定領域をボックス状に設定した後でしきい値化を行って上下歯牙領域47,49を抽出する。ここで、領域成長法を適用する場合、シードポイントは、上下歯間ライン45の上側及び下側の所定位置にHSIカラー座標計で色相に当るH(x)を参照して設定し、シードポイントを中心にシードポイントと類似した色相を有する領域を拡張させる。この時、ピクセルの色相のうち黒色や赤色は、シードポイントから除外することが望ましい。
図5A及び図5Bは、図2において、特徴検出部23の動作を説明するための図面であって、一例として図5Aに示された上歯牙領域51に対して垂直プロジェクションを行って図5Bのようなグラフを生成する。図5Bにおいて、X軸は、歯牙映像の左側から右側への水平距離dを、Y軸は水平距離dの各地点でのしきい値化したピクセル累積値P(d)を各々表す。垂直プロジェクションを行った結果、ピクセル累積値P(d)が大きい頂点が4つ生成され、4つの頂点によって形成される部分が各々上歯牙領域51に存在する4つの歯牙t1〜t4に該当される。このような垂直プロジェクション処理によって歯牙の数、ai−1またはai+2のような歯牙の面積またはai−1/ai+2のような面積比、wまたはwi+1 のような歯牙の幅またはw/wi+1 のような幅比を算出できる。
次いで、図6A及び図6Bに示されたような相異なる個人の歯牙映像(対象♯1、対象♯2)を一例として挙げて身元を確認する過程を簡単に説明する。
図7A及び図7Bは、図6A及び図6Bに示された歯牙映像に対して各々しきい値化、ラベリング、最大領域選択、水平プロジェクション及び領域成長法を適用して抽出された上歯牙領域71,75と下歯牙領域73,77とを表す。
図8A及び図8Bは、図7A及び図7Bで抽出された上歯牙領域71,75に対して垂直プロジェクション処理結果を示すグラフであり、図9A及び図9Bは、図7A及び図7Bで抽出された下歯牙領域73,77に対して垂直プロジェクション処理結果を示すグラフである。図8A及び図8Bを参照すれば、図6Aに示された歯牙映像の上歯牙領域71に歯牙t1〜t4が存在し、図6Bに示された歯牙映像の上歯牙領域75に歯牙t5〜t10が存在することが分かる。一方、図9A及び図9Bを参照すれば、図6Aに示された歯牙映像の下歯牙領域73に歯牙b1〜b6が存在し、図6Bに示された歯牙映像の下歯牙領域77に歯牙b7〜b12が存在することが分かる。
ここでは垂直プロジェクションによって得られた歯牙の数、各歯牙の中心位置及び歯牙の幅を歯牙の特徴要素として身元を確認し、このような歯牙の特徴要素は、図8Aないし図9Bから次の表1のように算出できる。
Figure 2004209244
前記表1を説明すれば、個人別に歯牙の各特徴要素に大きい差があることが分かり、これを利用して身元を確認できる。
前記本発明の実施例は、コンピュータで読取れる記録媒体にコンピュータがリードできるコードとして具現できる。例えば、歯牙映像からの歯牙領域の抽出方法は、身元を確認しようとする個人の歯牙映像に対して所定のしきい値を利用してしきい値化を行い、しきい値化したピクセルに対してラベリングを行って生成された領域のうち最大領域を選択することによって前記歯牙映像から口内領域を分割する第1プログラム、前記分割された口内領域に対して水平プロジェクションを行い、水平プロジェクションを行った結果、累積ピクセル値が最大である地点を上下歯間ラインに設定する第2プログラム、及び前記抽出された上下歯間ラインを基準として上下歯牙領域を抽出する第3プログラムをコンピュータがリードできる記録媒体に記録させて具現できる。また、歯牙映像を利用した身元確認方法は、各個人別に少なくとも一つ以上の歯牙の特徴要素を対応させたデータベースを構築する第1プログラム、身元を確認しようとする個人の歯牙映像から分割された口内領域で上下歯間ラインを抽出し、抽出された上下歯間ラインを基準として上下歯牙領域を抽出する第2プログラム、前記抽出された上下歯牙領域から少なくとも一つ以上の特徴要素を検出する第3プログラム、及び前記検出された特徴要素を利用して前記データベースを検索し、検索結果、類似度によって身元確認の成功または失敗の如何を判定する第4プログラムをコンピュータがリードできる記録媒体に記録させて具現できる。
一方、コンピュータがリードできる記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータがリードできる記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置があり、またキャリヤーウェーブ(例えば、インターネットを通じた伝送)の形態で具現されるものも含む。また、コンピュータがリードできる記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータがリードできるコードが保存され、かつ実行されうる。そして本発明を具現するための機能的なプログラム、コード及びコードセグメントは、当業界のプログラマーによって容易に推論されうる。
以上、図面と明細書で最適の実施例が開示された。ここで、特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者なら、これから多様な変形及び均等な他の実施例が可能であることが分かる。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決まらなければならない。
本発明は金融、公安、港湾保安、国境地帯の入出国管理、電子投票の本人確認、保安、監視分野、身元偽造防止、犯罪者の検索及び照会、重要情報の接近制御に広く適用され、低コストに迅速な身元確認を可能にする。
本発明の望ましい実施例による歯牙映像を利用した身元確認装置の構成を示すブロック図である。 図1において、歯牙映像処理部の細部的な構成を示すブロック図である。 図2において、歯牙抽出部の動作を説明するためのフローチャートである。 図3において、各段階を行った結果を示す図面である。 図3において、各段階を行った結果を示す図面である。 図3において、各段階を行った結果を示す図面である。 図3において、各段階を行った結果を示す図面である。 図3において、各段階を行った結果を示す図面である。 図3において、各段階を行った結果を示す図面である。 図2において、特徴検出部の動作を説明するための図面である。 図2において、特徴検出部の動作を説明するための図面である。 本発明による歯牙領域分割及び特徴要素抽出に使われる歯牙映像の例である。 本発明による歯牙領域分割及び特徴要素抽出に使われる歯牙映像の例である。 図6に示された歯牙映像で抽出された上下歯牙領域の例である。 図6に示された歯牙映像で抽出された上下歯牙領域の例である。 図7で抽出された上歯牙領域に対する垂直プロジェクション処理結果を示すグラフである。 図7で抽出された上歯牙領域に対する垂直プロジェクション処理結果を示すグラフである。 図7で抽出された下歯牙領域に対する垂直プロジェクション処理結果を示すグラフである。 図7で抽出された下歯牙領域に対する垂直プロジェクション処理結果を示すグラフである。
符号の説明
11 歯牙映像獲得部
13 歯牙映像処理部
15 歯牙映像データベース
21 歯牙抽出部
23 特徴検出部
25 検索部
27 身元確認部

Claims (25)

  1. (a)身元を確認しようとする個人の歯牙映像から口内領域を分割する段階と、
    (b)前記(a)段階で分割された口内領域で上下歯間ラインを抽出する段階と、
    (c)前記(b)段階で抽出された上下歯間ラインを基準として上下歯牙領域を抽出する段階と、を含む歯牙映像からの歯牙領域の抽出方法。
  2. 前記(a)段階は、
    (a1)前記歯牙映像の各ピクセルに対して所定のしきい値を利用してしきい値化を行って第1領域及び第2領域を形成する段階と、
    (a2)前記(a1)段階によって形成される第1領域と第2領域のうちさらに小さな第2領域の輪郭線部位をラベリングする段階と、
    (a3)前記(a2)段階によって生成されるラベルされた領域のうち最大領域を選択して前記口内領域に決定する段階と、よりなることを特徴とする請求項1に記載の歯牙映像からの歯牙領域の抽出方法。
  3. 前記(a1)段階は、前記歯牙映像の各ピクセルのR、G、Bカラー値のうち少なくとも一つ以上のカラー値を利用してしきい値化を行うことを特徴とする請求項2に記載の歯牙映像からの歯牙領域の抽出方法。
  4. 前記(a1)段階は、前記歯牙映像の各ピクセルのR、G、Bカラー値をHSIカラー値に変換し、変換されたI値を利用してしきい値化を行うことを特徴とする請求項2に記載の歯牙映像からの歯牙領域の抽出方法。
  5. 前記(b)段階は、
    (b1)前記(a)段階で分割された口内領域に対して水平プロジェクションを行う段階と、
    (b2)前記水平プロジェクションを行った結果、累積ピクセル値が最大である地点を上下歯間ラインに設定する段階と、よりなることを特徴とする請求項1に記載の歯牙映像からの歯牙領域の抽出方法。
  6. 前記(c)段階は、前記(b)段階で抽出された上下歯間ラインを基準として上側及び下側の所定位置に設定されたシードポイントから前記シードポイントと類似した色相を有する領域に拡張させることによって上下歯牙領域を抽出することを特徴とする請求項1に記載の歯牙映像からの歯牙領域の抽出方法。
  7. 前記(c)段階は、
    (c1)前記(b)段階で抽出された上下歯間ラインを基準として上下一定領域をボックス状に設定する段階と、
    (c2)前記(c1)段階で設定された領域に対して所定のしきい値を利用したしきい値化を行って上下歯牙領域を抽出する段階と、よりなることを特徴とする請求項1に記載の歯牙映像からの歯牙領域の抽出方法。
  8. コンピュータに
    身元を確認しようとする個人の歯牙映像に対して所定のしきい値を利用してしきい値化を行い、しきい値化したピクセルに対してラベリングを行って生成された領域のうち最大領域を選択することによって前記歯牙映像から口内領域を分割する第1手順と、
    前記分割された口内領域に対して水平プロジェクションを行い、水平プロジェクションを行った結果、累積ピクセル値が最大である地点を上下歯間ラインに設定する第2手順と、
    前記抽出された上下歯間ラインを基準として上下歯牙領域を抽出する第3手順と、を実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
  9. (a)各個人別に少なくとも一つ以上の歯牙の特徴要素を対応させたデータベースを構築する段階と、
    (b)身元を確認しようとする個人の歯牙映像から分割された口内領域で上下歯間ラインを抽出し、抽出された上下歯間ラインを基準として上下歯牙領域を抽出する段階と、
    (c)前記(b)段階で抽出された上下歯牙領域から少なくとも一つ以上の特徴要素を検出する段階と、
    (d)前記(c)段階で検出された特徴要素を利用して前記データベースを検索し、検索結果、類似度によって身元確認の成功または失敗の如何を判定する段階と、を含む歯牙映像を利用した身元確認方法。
  10. 前記(b)段階で、前記歯牙映像から前記口内領域を分割するために、前記歯牙映像の各ピクセルに対して所定のしきい値を利用してしきい値化を行い、しきい値化したピクセルに対してラベリングを行い、ラベルされた領域のうち最大領域を前記口内領域として選択することを特徴とする請求項9に記載の歯牙映像を利用した身元確認方法。
  11. 前記(b)段階で、前記口内領域で前記上下歯間ラインを抽出するために、前記口内領域に対して水平プロジェクションを行い、水平プロジェクションを行った結果、累積ピクセル値が最大である地点を上下歯間ラインに設定することを特徴とする請求項10に記載の歯牙映像を利用した身元確認方法。
  12. 前記(b)段階で、前記歯牙領域を抽出するために、前記上下歯間ラインを基準として上側及び下側の所定位置に設定されたシードポイントから前記シードポイントと類似した色相を有する領域に拡張させることを特徴とする請求項11に記載の歯牙映像を利用した身元確認方法。
  13. 前記(b)段階で、前記歯牙領域を抽出するために、前記上下歯間ラインを基準として上下一定領域をボックス状に設定し、設定された領域に対してしきい値化を行うことを特徴とする請求項11に記載の歯牙映像を利用した身元確認方法。
  14. 前記歯牙映像の各ピクセルのR、G、Bカラー値のうち少なくとも一つ以上のカラー値を利用してしきい値化を行うことを特徴とする請求項10に記載の歯牙映像を利用した身元確認方法。
  15. 前記歯牙映像の各ピクセルのR、G、Bカラー値をHSIカラー値に変換し、変換されたI値を利用してしきい値化を行うことを特徴とする請求項10に記載の歯牙映像を利用した身元確認方法。
  16. 前記(c)段階は、
    (c1)前記(b)段階で抽出された上下歯牙領域に対して各々垂直プロジェクションを行う段階と、
    (c2)前記垂直プロジェクションを行った結果から前記上下歯牙領域に存在する歯牙の数、歯牙間面積比及び歯牙間幅比に関する情報を獲得する段階と、を含むことを特徴とする請求項9に記載の歯牙映像を利用した身元確認方法。
  17. 前記(c)段階は、抽出された歯牙領域の映像パターンから歯牙の形状及び歯列情報を獲得することを特徴とする請求項9に記載の歯牙映像を利用した身元確認方法。
  18. 前記(c)段階は、抽出された歯牙領域の明暗度に対してヒストグラム処理を行って歯牙の色相に関する情報を獲得することを特徴とする請求項9に記載の歯牙映像を利用した身元確認方法。
  19. 前記(d)段階は、
    (d1)前記(c)段階で検出された特徴要素のうち一つの特徴要素を利用して前記データベースを検索して候補歯牙映像を抽出する段階と、
    (d2)残りの特徴要素のうち少なくとも一つ以上の特徴要素を利用して前記候補歯牙映像を検索する段階と、よりなることを特徴とする請求項9に記載の歯牙映像を利用した身元確認方法。
  20. コンピュータに
    各個人別に少なくとも一つ以上の歯牙の特徴要素を対応させたデータベースを構築する第1手順と、
    身元を確認しようとする個人の歯牙映像から分割された口内領域で上下歯間ラインを抽出し、抽出された上下歯間ラインを基準として上下歯牙領域を抽出する第2手順と、
    前記抽出された上下歯牙領域から少なくとも一つ以上の特徴要素を検出する第3手順と、
    前記検出された特徴要素を利用して前記データベースを検索し、検索結果、類似度によって身元確認の成功または失敗の如何を判定する第4手順と、を実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
  21. 各個人別に少なくとも一つ以上の歯牙の特徴要素を対応させた歯牙映像データベースと、
    所定の撮像機器を利用して身元を確認しようとする個人の歯牙映像を獲得する歯牙映像獲得部と、
    前記歯牙映像獲得部から提供される歯牙映像に対して第1しきい値化を行って口内領域を分割し、分割された口内領域に対して水平プロジェクションを行って上下歯間を抽出し、抽出された上下歯間を基準として歯牙領域を抽出する歯牙抽出部と、
    前記歯牙抽出部から抽出された歯牙領域に対して垂直プロジェクションを行って個人別の歯牙を区別できる特徴要素を検出する特徴検出部と、
    前記特徴検出部から検出された歯牙の特徴要素のうち少なくとも一つ以上の特徴要素を利用して前記歯牙映像データベースを検索する検索部と、
    前記検索部から提供される検索結果、類似度によって身元確認の成功または失敗の如何を判定する身元確認部と、を含む歯牙映像を利用した身元確認装置。
  22. 前記歯牙抽出部は、前記歯牙領域を抽出するために、前記上下歯間ラインを基準として上側及び下側の所定位置に設定されたシードポイントから前記シードポイントと類似した色相を有する領域に拡張させることを特徴とする請求項21に記載の歯牙映像を利用した身元確認装置。
  23. 前記歯牙抽出部は、前記歯牙領域を抽出するために、前記歯間ラインを基準として上下一定領域をボックス状に設定し、設定された領域に対して第2しきい値化を行うことを特徴とする請求項21に記載の歯牙映像を利用した身元確認装置。
  24. 前記特徴抽出部は、抽出された歯牙領域に対する前記垂直プロジェクション処理と共に明暗度に対するヒストグラム処理を行うことを特徴とする請求項21に記載の歯牙映像を利用した身元確認装置。
  25. 前記検索部は、前記特徴検出部で検出された特徴要素のうち一つの特徴要素を利用して前記歯牙映像データベースを検索して候補歯牙映像を抽出し、残りの特徴要素のうち少なくとも一つ以上の特徴要素を利用して前記候補歯牙映像を検索することを特徴とする請求項21に記載の歯牙映像を利用した身元確認装置。

JP2003430534A 2002-12-28 2003-12-25 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置 Expired - Fee Related JP3753722B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0085916A KR100480781B1 (ko) 2002-12-28 2002-12-28 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치

Publications (2)

Publication Number Publication Date
JP2004209244A true JP2004209244A (ja) 2004-07-29
JP3753722B2 JP3753722B2 (ja) 2006-03-08

Family

ID=32464626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003430534A Expired - Fee Related JP3753722B2 (ja) 2002-12-28 2003-12-25 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置

Country Status (6)

Country Link
US (1) US20040151375A1 (ja)
EP (1) EP1434164B1 (ja)
JP (1) JP3753722B2 (ja)
KR (1) KR100480781B1 (ja)
CN (1) CN1301489C (ja)
DE (1) DE60327156D1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009050632A (ja) * 2007-08-29 2009-03-12 Dainippon Printing Co Ltd 歯形情報本人同定システム
JP2014013563A (ja) * 2012-06-06 2014-01-23 Tomoyuki Kameda 身元確認支援システム
KR101355454B1 (ko) 2012-07-18 2014-02-12 (주)에스덴티 프로그램이 기록된 판독 가능한 기록 매체 및 통합 치아 미백기
WO2015141760A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、情報処理方法、プログラム及び身元確認システム
JP2017018152A (ja) * 2015-07-07 2017-01-26 Juki株式会社 測色装置、測色方法及びプログラム
JP2020108598A (ja) * 2019-01-04 2020-07-16 株式会社DSi 識別システム
KR102255592B1 (ko) * 2019-11-19 2021-05-25 주식회사 레이 마진 라인의 정밀도 향상을 위한 치과용 ct 영상 처리 방법
JP2022076729A (ja) * 2020-11-10 2022-05-20 株式会社Nttドコモ 認証システム
KR20220108378A (ko) * 2021-01-27 2022-08-03 전주대학교 산학협력단 치아 기반 개인 식별 장치 및 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4077430B2 (ja) * 2003-07-31 2008-04-16 佳知 高石 骨密度評価装置および骨密度評価方法
CA2600938A1 (en) * 2004-03-24 2005-10-06 Andre Hoffmann Identification, verification, and recognition method and system
DE102004039937A1 (de) * 2004-08-18 2006-02-23 Hoffmann, André Verfahren und System zur Identifikation, Verifikation, Erkennung und Wiedererkennung
KR100795947B1 (ko) * 2006-06-14 2008-01-21 성균관대학교산학협력단 치열영상을 이용한 생체인식 시스템과 그 인식 방법 및이를 기록한 기록매체
US8866894B2 (en) * 2008-01-22 2014-10-21 Carestream Health, Inc. Method for real-time visualization of caries condition
WO2009096987A1 (en) * 2008-02-01 2009-08-06 Hewlett-Packard Development Company, L.P. Teeth locating and whitening in a digital image
KR100931396B1 (ko) * 2008-02-22 2009-12-11 조선대학교산학협력단 개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템
US8340420B2 (en) * 2009-10-05 2012-12-25 National Taiwan University Method for recognizing objects in images
KR101145672B1 (ko) 2011-09-20 2012-05-24 원광대학교산학협력단 미소 훈련을 위한 미소 분석 시스템
CN103778166A (zh) * 2012-10-26 2014-05-07 镇江睿泰信息科技有限公司 一种图像检索方法
CN102968473A (zh) * 2012-11-14 2013-03-13 广东欧珀移动通信有限公司 基于人脸图像的信息检索方法及系统
CN103886306B (zh) * 2014-04-08 2017-06-16 山东大学 一种牙齿X‑ray影像匹配方法
EP3018461A1 (en) * 2014-11-07 2016-05-11 3M Innovative Properties Company A method of making a dental restoration
CN104537346A (zh) * 2014-12-26 2015-04-22 苏州福丰科技有限公司 一种多方位人脸识别装置
US9773183B2 (en) * 2015-05-07 2017-09-26 The United States Of America As Represented By The Secretary Of The Air Force Morphological automatic Landolt C orientation detection
CN107106117B (zh) * 2015-06-11 2020-07-03 深圳先进技术研究院 牙齿和牙槽骨的分割与重构方法及装置
US10413182B2 (en) 2015-07-24 2019-09-17 Johnson & Johnson Vision Care, Inc. Biomedical devices for biometric based information communication
CN105160329B (zh) * 2015-09-18 2018-09-21 厦门美图之家科技有限公司 一种基于yuv颜色空间的牙齿识别方法、系统及拍摄终端
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置
US10198819B2 (en) * 2015-11-30 2019-02-05 Snap Inc. Image segmentation and modification of a video stream
CN105761252B (zh) * 2016-02-02 2017-03-29 北京正齐口腔医疗技术有限公司 图像分割的方法及装置
US9916511B2 (en) * 2016-03-29 2018-03-13 Tata Consultancy Services Limited Systems and methods for authentication based on human teeth pattern
JP6707991B2 (ja) * 2016-05-30 2020-06-10 富士通株式会社 歯軸推定プログラム、歯軸推定装置及びその方法、並びに歯形データ生成プログラム、歯形データ生成装置及びその方法
FR3063632B1 (fr) * 2017-03-12 2023-10-27 Simon Benoliel Dispositif de marquage et d’identification des protheses dentaires amovibles, par le biais d’un telephone mobile intelligent et d'un reseau internet.
EP3595574B1 (en) * 2017-03-17 2023-08-23 Nobel Biocare Services AG Automatic dental arch mapping system and method
KR101985378B1 (ko) 2017-05-02 2019-06-10 주식회사 레이 치아 촬영용 엑스레이 촬영기
TWI631532B (zh) 2017-08-16 2018-08-01 台達電子工業股份有限公司 檢測系統及其檢測方法
CN109394172B (zh) * 2017-08-16 2022-03-11 台达电子工业股份有限公司 检测系统及其检测方法
US11877827B2 (en) * 2018-03-28 2024-01-23 Koninklijke Philips N.V. Method and system to assess teeth shade in an uncontrolled environment
US10835349B2 (en) * 2018-07-20 2020-11-17 Align Technology, Inc. Parametric blurring of colors for teeth in generated images
CN109308454B (zh) * 2018-08-22 2021-06-04 浙江工业大学 一种基于牙印模型特征结构的身份识别方法
CN109360196B (zh) * 2018-09-30 2021-09-28 北京羽医甘蓝信息技术有限公司 基于深度学习处理口腔放射图像的方法及装置
CN109784304B (zh) * 2019-01-29 2021-07-06 北京字节跳动网络技术有限公司 用于标注牙齿图像的方法和装置
CN109965881B (zh) * 2019-04-29 2021-06-04 杭州雅智医疗技术有限公司 非接触式测量口腔开口度的应用方法及设备
CN113436734B (zh) * 2020-03-23 2024-03-05 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2476776A (en) * 1947-12-10 1949-07-19 Smathers Henry Method of and dental x-ray machine for producing x-ray pictures
US4031640A (en) * 1975-12-08 1977-06-28 Hanna Jr Charles B Identification system
US4630375A (en) * 1985-05-02 1986-12-23 Spolyar John L Apparatus for gauging and determining spatial coordinates for a source of radiation to be employed in obtaining a radiograph of a patient
JPH01195499A (ja) * 1988-01-30 1989-08-07 Toshiba Corp 音声入力装置
DE59008269D1 (de) * 1990-03-13 1995-02-23 Comdent Gmbh Verfahren zur ausmessung eines raumes, insbesondere eines mundinnenraums sowie vorrichtung zur durchführung eines solchen verfahrens.
US5680479A (en) * 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
DE69327661T2 (de) * 1992-11-09 2000-07-20 Ormco Corp., Glendora Verfahren und vorrichtung zum herstellen von individuell angepasstenorthodontischen einrichtungen
DE4428331A1 (de) * 1994-08-10 1996-02-15 Siemens Ag Strahlendiagnoseeinrichtung zur Erstellung von Panoramaschichtaufnahmen
EP0815531A4 (en) * 1995-03-20 1999-08-04 Lau Technologies Systems and methods for identifying images
US5796862A (en) * 1996-08-16 1998-08-18 Eastman Kodak Company Apparatus and method for identification of tissue regions in digital mammographic images
US6028960A (en) * 1996-09-20 2000-02-22 Lucent Technologies Inc. Face feature analysis for automatic lipreading and character animation
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
JP3436473B2 (ja) * 1997-06-20 2003-08-11 シャープ株式会社 画像処理装置
KR100295225B1 (ko) * 1997-07-31 2001-07-12 윤종용 컴퓨터에서 영상정보 검색장치 및 방법
DE19810792A1 (de) * 1998-03-12 1999-09-16 Zentrum Fuer Neuroinformatik G Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes
JP3919048B2 (ja) * 1998-09-02 2007-05-23 株式会社モリタ製作所 局所照射x線ct撮影装置
US6851949B1 (en) * 1999-11-30 2005-02-08 Orametrix, Inc. Method and apparatus for generating a desired three-dimensional digital model of an orthodontic structure
JP3040997B1 (ja) * 1999-03-29 2000-05-15 佳知 高石 上顎歯寸法決定装置
JP2000293696A (ja) * 1999-04-07 2000-10-20 Matsushita Electric Ind Co Ltd 画像認識装置
US7160110B2 (en) * 1999-11-30 2007-01-09 Orametrix, Inc. Three-dimensional occlusal and interproximal contact detection and display using virtual tooth models
US20020143276A1 (en) * 2000-06-28 2002-10-03 Ernst Maurice M. Working model of the intra oral cavity
US20020186818A1 (en) * 2000-08-29 2002-12-12 Osteonet, Inc. System and method for building and manipulating a centralized measurement value database
US20020110786A1 (en) * 2001-02-09 2002-08-15 Dillier Stephen L. Method and apparatus for generating a customized dental prosthetic
JP3926120B2 (ja) * 2001-02-16 2007-06-06 株式会社モリタ製作所 被写体のx線撮影位置設定手段、この手段を備えたx線撮影装置
US7239726B2 (en) * 2001-12-12 2007-07-03 Sony Corporation System and method for effectively extracting facial feature information

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009050632A (ja) * 2007-08-29 2009-03-12 Dainippon Printing Co Ltd 歯形情報本人同定システム
JP2014013563A (ja) * 2012-06-06 2014-01-23 Tomoyuki Kameda 身元確認支援システム
KR101355454B1 (ko) 2012-07-18 2014-02-12 (주)에스덴티 프로그램이 기록된 판독 가능한 기록 매체 및 통합 치아 미백기
WO2015141760A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、情報処理方法、プログラム及び身元確認システム
JPWO2015141760A1 (ja) * 2014-03-20 2017-04-13 日本電気株式会社 情報処理装置、情報処理方法、プログラム及び身元確認システム
JP2017018152A (ja) * 2015-07-07 2017-01-26 Juki株式会社 測色装置、測色方法及びプログラム
JP2020108598A (ja) * 2019-01-04 2020-07-16 株式会社DSi 識別システム
JP7276763B2 (ja) 2019-01-04 2023-05-18 株式会社DSi 識別システム
JP2023083563A (ja) * 2019-01-04 2023-06-15 株式会社DSi 識別システム
JP7692582B2 (ja) 2019-01-04 2025-06-16 株式会社DSi 識別システム
KR102255592B1 (ko) * 2019-11-19 2021-05-25 주식회사 레이 마진 라인의 정밀도 향상을 위한 치과용 ct 영상 처리 방법
JP2022076729A (ja) * 2020-11-10 2022-05-20 株式会社Nttドコモ 認証システム
JP7489901B2 (ja) 2020-11-10 2024-05-24 株式会社Nttドコモ 認証システム
KR20220108378A (ko) * 2021-01-27 2022-08-03 전주대학교 산학협력단 치아 기반 개인 식별 장치 및 방법
KR102443330B1 (ko) 2021-01-27 2022-09-14 전주대학교 산학협력단 치아 기반 개인 식별 장치 및 방법

Also Published As

Publication number Publication date
EP1434164A3 (en) 2005-08-17
JP3753722B2 (ja) 2006-03-08
KR100480781B1 (ko) 2005-04-06
EP1434164B1 (en) 2009-04-15
CN1516074A (zh) 2004-07-28
KR20040059313A (ko) 2004-07-05
EP1434164A2 (en) 2004-06-30
DE60327156D1 (de) 2009-05-28
CN1301489C (zh) 2007-02-21
US20040151375A1 (en) 2004-08-05

Similar Documents

Publication Publication Date Title
JP3753722B2 (ja) 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
JP4755202B2 (ja) 顔特徴の検出方法
JP4862447B2 (ja) 顔認識システム
JP4505362B2 (ja) 赤目検出装置および方法並びにプログラム
JP3271750B2 (ja) アイリス識別コード抽出方法及び装置、アイリス認識方法及び装置、データ暗号化装置
US8538095B2 (en) Method and apparatus for processing biometric images
US8254691B2 (en) Facial expression recognition apparatus and method, and image capturing apparatus
US7327860B2 (en) Conjunctival scans for personal identification
JP4406547B2 (ja) Idカード作成装置、idカード、顔認証端末装置、顔認証装置およびシステム
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
EP2148303A1 (en) Vein pattern management system, vein pattern registration device, vein pattern authentication device, vein pattern registration method, vein pattern authentication method, program, and vein data structure
US20050196044A1 (en) Method of extracting candidate human region within image, system for extracting candidate human region, program for extracting candidate human region, method of discerning top and bottom of human image, system for discerning top and bottom, and program for discerning top and bottom
KR100347058B1 (ko) 얼굴 촬영/인식방법
JP7269897B2 (ja) データ登録装置、生体認証装置、およびデータ登録プログラム
TWI731503B (zh) 活體臉部辨識系統與方法
CN101681498B (zh) 静脉图案管理系统、静脉图案注册设备、静脉图案认证设备、静脉图案注册方法、静脉图案认证方法和静脉数据配置
CN113239774A (zh) 一种视频人脸识别系统及方法
JP2005084979A (ja) 顔認証システムおよび方法並びにプログラム
WO2020232889A1 (zh) 支票取现方法、装置、设备及计算机可读存储介质
KR100973832B1 (ko) 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체
JP2006277146A (ja) 照合方法および照合装置
JP4789526B2 (ja) 画像処理装置、画像処理方法
KR100706000B1 (ko) 장문인증방법 및 그 장치
JP2005141678A (ja) 顔画像照合システム及びicカード

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050719

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees