JPH10232934A - 顔画像登録装置及びその方法 - Google Patents
顔画像登録装置及びその方法Info
- Publication number
- JPH10232934A JPH10232934A JP9033704A JP3370497A JPH10232934A JP H10232934 A JPH10232934 A JP H10232934A JP 9033704 A JP9033704 A JP 9033704A JP 3370497 A JP3370497 A JP 3370497A JP H10232934 A JPH10232934 A JP H10232934A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- dictionary
- face image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 使用者に負担かけず、かつ、不要な顔画像の
登録を排除できて辞書精度を上げることができる顔画像
登録装置を提供する。 【解決手段】 セキュリティ付き情報端末装置１０は、
画像入力部１１、顔領域抽出部１２、状況認識部１３、
認識部１４、辞書生成部１５、アクセス制御部１６、辞
書画像１７、所定動作検出部１８から構成され，所定動
作検出部１８において使用者の所定動作を検出した後、
画像入力部１１によって入力した画像から顔領域抽出部
１２が顔領域の画像を抽出して、辞書生成部１５で辞書
画像１７に登録する価値があるか否かを判断する。
登録を排除できて辞書精度を上げることができる顔画像
登録装置を提供する。 【解決手段】 セキュリティ付き情報端末装置１０は、
画像入力部１１、顔領域抽出部１２、状況認識部１３、
認識部１４、辞書生成部１５、アクセス制御部１６、辞
書画像１７、所定動作検出部１８から構成され，所定動
作検出部１８において使用者の所定動作を検出した後、
画像入力部１１によって入力した画像から顔領域抽出部
１２が顔領域の画像を抽出して、辞書生成部１５で辞書
画像１７に登録する価値があるか否かを判断する。
Description
【０００１】
【発明の属する技術分野】本発明は、入力された画像中
から顔領域を抽出して自動的に顔を辞書登録する顔画像
登録装置またはその方法に関する。
から顔領域を抽出して自動的に顔を辞書登録する顔画像
登録装置またはその方法に関する。
【０００２】
【従来の技術】顔画像認識技術は、ヒューマンインタフ
ェースあるいはセキュリティシステムの構築には不可欠
な要素技術である。顔画像認識は、顔領域抽出、顔特徴
点抽出、識別からなる。最近の技術動向に関しては、文
献［塩野充、真田英彦“個人認証技術の最近の研究動
向”，信学技報 OSF92-17.］が詳しい。従来の顔画像識
別法は、大きく分ける以下の２つに分類できる。
ェースあるいはセキュリティシステムの構築には不可欠
な要素技術である。顔画像認識は、顔領域抽出、顔特徴
点抽出、識別からなる。最近の技術動向に関しては、文
献［塩野充、真田英彦“個人認証技術の最近の研究動
向”，信学技報 OSF92-17.］が詳しい。従来の顔画像識
別法は、大きく分ける以下の２つに分類できる。
【０００３】１つは、目、鼻、口などの特徴点の位置、
形状、サイズをパラメータ化して特徴ベクトルを生成
し、予め登録されている対象人物の特徴ベクトルとの類
似度を計算する方法である。最も類似度が高い辞書ベク
トルを表す人物を当人と識別する。これらは構造解析的
な手法に分類される。
形状、サイズをパラメータ化して特徴ベクトルを生成
し、予め登録されている対象人物の特徴ベクトルとの類
似度を計算する方法である。最も類似度が高い辞書ベク
トルを表す人物を当人と識別する。これらは構造解析的
な手法に分類される。
【０００４】もう１つの方法は、瞳、鼻などの特徴点を
基準とした２次元affine変換などの幾何学変換により位
置、サイズを正規化された画像と予め登録されている辞
書正規化画像とのパターンの類似度に基いた方法であ
る。前者と同様に最も類似度が高い辞書画像を表す人物
を当人と識別する。これらは従来の文字認識で実用化さ
れている方法でパターン的な手法に分類できる。
基準とした２次元affine変換などの幾何学変換により位
置、サイズを正規化された画像と予め登録されている辞
書正規化画像とのパターンの類似度に基いた方法であ
る。前者と同様に最も類似度が高い辞書画像を表す人物
を当人と識別する。これらは従来の文字認識で実用化さ
れている方法でパターン的な手法に分類できる。
【０００５】上記の２つの手法のどちらの場合も、類似
度としては画像間の相関値や特徴空間中でのユークリッ
ド距離などの統計的な距離を用いる。この識別処理には
文字認識で実用化されている様々なパターン認識理論、
例えば部分空間法［エルッキ・オヤ著 小川秀光、佐藤
誠訳、“パターン認識と部分空間法”産業図書(198
6)］や複合類似度など方法が適用できる。識別法の構成
は［舟久保登“パターン認識”共立出版（1991）］［飯
島泰蔵“パターン認識理論”森北出版（1989）］などに
詳しい。
度としては画像間の相関値や特徴空間中でのユークリッ
ド距離などの統計的な距離を用いる。この識別処理には
文字認識で実用化されている様々なパターン認識理論、
例えば部分空間法［エルッキ・オヤ著 小川秀光、佐藤
誠訳、“パターン認識と部分空間法”産業図書(198
6)］や複合類似度など方法が適用できる。識別法の構成
は［舟久保登“パターン認識”共立出版（1991）］［飯
島泰蔵“パターン認識理論”森北出版（1989）］などに
詳しい。
【０００６】上記の顔認識の実際の適用に際しては、上
記の顔認識処理に加えて使用者の登録、つまり登録者の
顔辞書生成が不可欠になってくる。例えば、部分空間法
を用いた手書き漢字認識では、各文字毎に数百枚の学習
サンプル画像から辞書を生成していた。本発明で対象と
している顔のような３次元物体は、文字に比べて照明条
件、顔向き、表情変化などの形状や輝度の変動が大き
く、さらに大量の学習サンプル画像が必要となってくる
［村瀬洋，シェリー・ナイヤー，“２次元照合による３
次元物体認識”，信学論（D-II）J77-D-II, 11, pp. 21
79-2187, 1994.］。
記の顔認識処理に加えて使用者の登録、つまり登録者の
顔辞書生成が不可欠になってくる。例えば、部分空間法
を用いた手書き漢字認識では、各文字毎に数百枚の学習
サンプル画像から辞書を生成していた。本発明で対象と
している顔のような３次元物体は、文字に比べて照明条
件、顔向き、表情変化などの形状や輝度の変動が大き
く、さらに大量の学習サンプル画像が必要となってくる
［村瀬洋，シェリー・ナイヤー，“２次元照合による３
次元物体認識”，信学論（D-II）J77-D-II, 11, pp. 21
79-2187, 1994.］。
【０００７】従来の辞書生成は、文献［赤松茂，佐々木
努，深町映夫，末永康仁，“濃淡画像マッチングによる
ロバストな正面顔の識別法”，信学論（D-II）, J76-DI
I, 7, pp. 1363-1373, 1993.］、［小松良江，有木康
雄，“部分空間法を用いた向きによらない顔の切り出し
認識”，PRU95-191, pp. 7-14, 1996.］、［M. Turk,
A. P. Pentland: " Face recognition using eigenface
s " , Proc. CVPR 11, pp. 453-458, 1993.］、［Alex
Pentland,Baback Moghaddam, Thad Starner, " View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.］などに見られるよう
に、良好な照明条件下で所定、例えば、正面、左右１５
°、上下１５°刻の方向に登録者の顔を向けて撮影した
画像から人手により顔の切り出し及び画像の選択を行っ
ていた。
努，深町映夫，末永康仁，“濃淡画像マッチングによる
ロバストな正面顔の識別法”，信学論（D-II）, J76-DI
I, 7, pp. 1363-1373, 1993.］、［小松良江，有木康
雄，“部分空間法を用いた向きによらない顔の切り出し
認識”，PRU95-191, pp. 7-14, 1996.］、［M. Turk,
A. P. Pentland: " Face recognition using eigenface
s " , Proc. CVPR 11, pp. 453-458, 1993.］、［Alex
Pentland,Baback Moghaddam, Thad Starner, " View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.］などに見られるよう
に、良好な照明条件下で所定、例えば、正面、左右１５
°、上下１５°刻の方向に登録者の顔を向けて撮影した
画像から人手により顔の切り出し及び画像の選択を行っ
ていた。
【０００８】顔はその日の体調や表情変化、髪、髭の影
響などの生理的な変化が生じ易い。したがって高い認識
率を実現するためには、顔辞書は一定期間毎に更新する
必要がある。しかし頻繁な辞書更新は使用者の負担を高
めることになる。そこで顔認識を使い易くするために
は、使用者に如何に意識させないで負担を軽減して登録
するかが重要になってくる。
響などの生理的な変化が生じ易い。したがって高い認識
率を実現するためには、顔辞書は一定期間毎に更新する
必要がある。しかし頻繁な辞書更新は使用者の負担を高
めることになる。そこで顔認識を使い易くするために
は、使用者に如何に意識させないで負担を軽減して登録
するかが重要になってくる。
【０００９】例えば、情報端末における作業を一時中断
して立ち去る場合に、他人のアクセスを防止する機能を
考える。予め生成した辞書を用いることも考えられる
が、本人同定、他人排除率を上げるためには、できるだ
け直前に生成された辞書画像を用いる方が有効である。
しかし離席の度に辞書登録することは、使用者の負担を
高くするため、使用者が情報機器をアクセス中に意識さ
せないで辞書登録する。
して立ち去る場合に、他人のアクセスを防止する機能を
考える。予め生成した辞書を用いることも考えられる
が、本人同定、他人排除率を上げるためには、できるだ
け直前に生成された辞書画像を用いる方が有効である。
しかし離席の度に辞書登録することは、使用者の負担を
高くするため、使用者が情報機器をアクセス中に意識さ
せないで辞書登録する。
【００１０】ところが登録者に意識させないで収集した
学習サンプルは、通常は目を閉じた場合や、表情が大き
く変化している場合などの学習データとして有効でない
データを含んでいる。これらの誤り画像が含まれている
学習サンプルから辞書生成を行うと辞書の精度が低下し
てしまう。辞書精度を上げるためには、学習データ数を
増やす必要があり、人手による選択ではリアルタイム辞
書生成に対処できない。
学習サンプルは、通常は目を閉じた場合や、表情が大き
く変化している場合などの学習データとして有効でない
データを含んでいる。これらの誤り画像が含まれている
学習サンプルから辞書生成を行うと辞書の精度が低下し
てしまう。辞書精度を上げるためには、学習データ数を
増やす必要があり、人手による選択ではリアルタイム辞
書生成に対処できない。
【００１１】
【発明が解決しようとする課題】従来、顔辞書の生成
は、事前に良好な照明条件下で所定、例えば、正面、左
右１５°、上下１５°毎の方向に登録者の顔を向けさせ
て撮影した顔画像を用いて人手により行っていた。顔は
時間と共に変化する。したがって高い認識率を実現する
ためには顔辞書は一定期間毎に更新する必要がある。し
かし頻繁な辞書更新を行うことは、使用者の負担を高め
ることになる。
は、事前に良好な照明条件下で所定、例えば、正面、左
右１５°、上下１５°毎の方向に登録者の顔を向けさせ
て撮影した顔画像を用いて人手により行っていた。顔は
時間と共に変化する。したがって高い認識率を実現する
ためには顔辞書は一定期間毎に更新する必要がある。し
かし頻繁な辞書更新を行うことは、使用者の負担を高め
ることになる。
【００１２】辞書生成のための自動学習サンプル収集に
関しては、既に出願済みの方法［特願平８−６１４６３
号］を適用すれば実現できる。しかし、依然として被登
録者に意識させないで収集した学習データには辞書生成
に有効でないデータが多数含まれるという課題が残る。
辞書精度を上げるためには、学習データ数を増やす必要
があり、人手による選択ではリアルタイム辞書生成が実
現困難である。
関しては、既に出願済みの方法［特願平８−６１４６３
号］を適用すれば実現できる。しかし、依然として被登
録者に意識させないで収集した学習データには辞書生成
に有効でないデータが多数含まれるという課題が残る。
辞書精度を上げるためには、学習データ数を増やす必要
があり、人手による選択ではリアルタイム辞書生成が実
現困難である。
【００１３】そこで、本発明は、使用者に負担かけず、
かつ、不要な顔画像の登録を排除できて辞書精度を上げ
ることができる顔画像登録装置及びその方法を提供す
る。
かつ、不要な顔画像の登録を排除できて辞書精度を上げ
ることができる顔画像登録装置及びその方法を提供す
る。
【００１４】
【課題を解決するための手段】本発明は、人物の顔画像
を登録している辞書手段を有する顔画像登録装置におい
て、前記人物の画像を入力する画像入力手段と、前記画
像入力手段によって入力された画像中から前記人物の顔
領域の画像である入力顔画像を抽出する顔領域抽出手段
と、前記顔領域抽出手段によって抽出された入力顔画像
が、前記辞書手段に登録可能な顔画像であるか否かを判
断する判断手段と、前記判断手段によって登録可能と判
断された入力顔画像を前記顔画像として前記辞書手段に
登録させる登録手段からなることを特徴とする顔画像登
録装置である。
を登録している辞書手段を有する顔画像登録装置におい
て、前記人物の画像を入力する画像入力手段と、前記画
像入力手段によって入力された画像中から前記人物の顔
領域の画像である入力顔画像を抽出する顔領域抽出手段
と、前記顔領域抽出手段によって抽出された入力顔画像
が、前記辞書手段に登録可能な顔画像であるか否かを判
断する判断手段と、前記判断手段によって登録可能と判
断された入力顔画像を前記顔画像として前記辞書手段に
登録させる登録手段からなることを特徴とする顔画像登
録装置である。
【００１５】また、本発明は、人物の顔画像を登録する
ための顔画像登録方法において、前記人物の画像を入力
する画像入力ステップと、前記画像入力ステップにおい
て入力された画像中から前記人物の顔領域の画像である
入力顔画像を抽出する顔領域抽出ステップと、前記顔領
域抽出ステップにおいて抽出された入力顔画像が、前記
登録可能な顔画像か否かを判断する判断ステップと、前
記判断ステップにおいて登録可能と判断された入力顔画
像を前記顔画像として登録させる登録ステップからなる
ことを特徴とする顔画像登録方法である。
ための顔画像登録方法において、前記人物の画像を入力
する画像入力ステップと、前記画像入力ステップにおい
て入力された画像中から前記人物の顔領域の画像である
入力顔画像を抽出する顔領域抽出ステップと、前記顔領
域抽出ステップにおいて抽出された入力顔画像が、前記
登録可能な顔画像か否かを判断する判断ステップと、前
記判断ステップにおいて登録可能と判断された入力顔画
像を前記顔画像として登録させる登録ステップからなる
ことを特徴とする顔画像登録方法である。
【００１６】上記発明であると、例えば、抽出された顔
領域から求まる特徴量を予め設定された基準とを比較す
ることにより学習データとして有効かの判断を行う。特
徴量としては、瞳、鼻穴、口端などの顔特徴点の大き
さ、位置情報から求まる量あるいはこれらの点を基準に
して正規化を施した画像を用いる。これにより大きく表
情が変化した画像、目を閉じた画像、口を開けた画像な
どを学習画像から自動的に取り除くことが可能になる。
領域から求まる特徴量を予め設定された基準とを比較す
ることにより学習データとして有効かの判断を行う。特
徴量としては、瞳、鼻穴、口端などの顔特徴点の大き
さ、位置情報から求まる量あるいはこれらの点を基準に
して正規化を施した画像を用いる。これにより大きく表
情が変化した画像、目を閉じた画像、口を開けた画像な
どを学習画像から自動的に取り除くことが可能になる。
【００１７】さらにマウス操作、キーボード操作、ボタ
ン操作などの所定の操作を検出して、操作中に入力され
た画像のみを対象として辞書生成を行う。操作中のみを
対象とすることで無駄な学習データ収集の時間が減り効
率的である。また横を向いている場合などの辞書として
有効でない画像を収集する可能性も減る。本発明によれ
ば、入力された画像中から顔領域を抽出して自動的に辞
書登録する装置及び方法を実現できる。
ン操作などの所定の操作を検出して、操作中に入力され
た画像のみを対象として辞書生成を行う。操作中のみを
対象とすることで無駄な学習データ収集の時間が減り効
率的である。また横を向いている場合などの辞書として
有効でない画像を収集する可能性も減る。本発明によれ
ば、入力された画像中から顔領域を抽出して自動的に辞
書登録する装置及び方法を実現できる。
【００１８】
【発明の実施の形態】以下、本発明の一実施例を図１か
ら図７に基づいて説明する。
ら図７に基づいて説明する。
【００１９】パソコン等の情報端末装置において、作業
中を一時中断して端末を離れる際に他人のアクセスを防
止することは必要な機能である。そのため、本実施例で
は、離席時に他人のアクセスを防止する機能を搭載した
情報機器端末装置１０を例にとって説明する。
中を一時中断して端末を離れる際に他人のアクセスを防
止することは必要な機能である。そのため、本実施例で
は、離席時に他人のアクセスを防止する機能を搭載した
情報機器端末装置１０を例にとって説明する。
【００２０】図１は、本実施例に係るセキュリティ付き
情報端末装置１０の概略を示すブロック図である。
情報端末装置１０の概略を示すブロック図である。
【００２１】本装置１０は、画像入力部１１、顔領域抽
出部１２、状況認識部１３、認１１４、辞書生成部１
５、アクセス制御部１６、辞書画像１７、所定動作検出
部１８から構成されている。
出部１２、状況認識部１３、認１１４、辞書生成部１
５、アクセス制御部１６、辞書画像１７、所定動作検出
部１８から構成されている。
【００２２】（画像入力部１１）画像入力部１１は、認
識対象となる人物の画像を入力するためのものであり、
例えばＴＶカメラからなる。この画像入力部１１から入
力された画像０１はＡ／Ｄ変換器によりデジタル化され
て顔領域抽出部１２に送られる。例えば、ＴＶカメラは
情報端末装置１０のモニタの下部に設置される。あるい
はモニタの四角に設置しても良い。
識対象となる人物の画像を入力するためのものであり、
例えばＴＶカメラからなる。この画像入力部１１から入
力された画像０１はＡ／Ｄ変換器によりデジタル化され
て顔領域抽出部１２に送られる。例えば、ＴＶカメラは
情報端末装置１０のモニタの下部に設置される。あるい
はモニタの四角に設置しても良い。
【００２３】（顔領域抽出部１２）顔領域抽出部１２
は、画像入力部１１から送られてきた入力画像から顔領
域画像０２を常時抽出し続ける。本実施例では、予め登
録された標準顔画像（テンプレート）を全画面に渡って
移動させながら相関値を計算し最も高い相関値をもって
いる領域を顔領域とする。相関値の局所最大点を顔領域
候補とする。この顔領域候補における相関値が設定され
た閾値より低い場合は、顔が存在しないとする。具体的
には閾値として最大相関値を１００として３０に設定す
る。顔の向き変化に対応するために複合類似度などによ
り複数のテンプレートを用いるとさらに安定に顔領域を
抽出できる。この処理は先に述べたカラー情報に基づく
抽出法に置き換えて良い。
は、画像入力部１１から送られてきた入力画像から顔領
域画像０２を常時抽出し続ける。本実施例では、予め登
録された標準顔画像（テンプレート）を全画面に渡って
移動させながら相関値を計算し最も高い相関値をもって
いる領域を顔領域とする。相関値の局所最大点を顔領域
候補とする。この顔領域候補における相関値が設定され
た閾値より低い場合は、顔が存在しないとする。具体的
には閾値として最大相関値を１００として３０に設定す
る。顔の向き変化に対応するために複合類似度などによ
り複数のテンプレートを用いるとさらに安定に顔領域を
抽出できる。この処理は先に述べたカラー情報に基づく
抽出法に置き換えて良い。
【００２４】（状況認識部１３）状況認識部１３では、
顔領域抽出結果の時間的な変化から使用者の状態（作業
中、離席、着席）を識別して辞書生成モードと認識モー
ドの切替えを行う。
顔領域抽出結果の時間的な変化から使用者の状態（作業
中、離席、着席）を識別して辞書生成モードと認識モー
ドの切替えを行う。
【００２５】図２に示すように顔領域が検出され始めた
時点Ｔ０からＴ１までの期間に認識モードに設定する。
このモードでは後で述べる認識処理により本人同定処理
を行う。Ｔ１時点で本人と同定された場合はアクセス可
能になる。
時点Ｔ０からＴ１までの期間に認識モードに設定する。
このモードでは後で述べる認識処理により本人同定処理
を行う。Ｔ１時点で本人と同定された場合はアクセス可
能になる。
【００２６】Ｔ１時点以降は辞書生成モードに切替わり
所定動作検出部１８からの辞書生成信号が入力された時
に学習データの収集が行われる。一定期間顔領域を検出
できなくなったら離席したと判断して即座にスクリーン
ロックを起動する。あるいは使用者に光、音声などでそ
の主旨を伝えて使用者の反応を見てから、スクリーンロ
ックを起動しても良い。ここで時刻Ｔ１は対象機種やア
クセス動作の種類により変更可能である。
所定動作検出部１８からの辞書生成信号が入力された時
に学習データの収集が行われる。一定期間顔領域を検出
できなくなったら離席したと判断して即座にスクリーン
ロックを起動する。あるいは使用者に光、音声などでそ
の主旨を伝えて使用者の反応を見てから、スクリーンロ
ックを起動しても良い。ここで時刻Ｔ１は対象機種やア
クセス動作の種類により変更可能である。
【００２７】（認識部１４）認識部１４は、顔特徴点抽
出部１４ａ、正規化画像生成部１４ｂ、パターンマッチ
ング部１４ｃからなる。図３に認識部１４のブロック図
を示す。
出部１４ａ、正規化画像生成部１４ｂ、パターンマッチ
ング部１４ｃからなる。図３に認識部１４のブロック図
を示す。
【００２８】顔特徴点抽出部１４ａでは、抽出された顔
領域内から瞳、鼻、口橋などの特徴点を抽出する。既に
出願している形状情報とパターン情報を組み合わせた方
法［特願平８−６１４６３号］が適用可能である。
領域内から瞳、鼻、口橋などの特徴点を抽出する。既に
出願している形状情報とパターン情報を組み合わせた方
法［特願平８−６１４６３号］が適用可能である。
【００２９】この方法の基本的な考えは、位置精度の高
い形状情報により特徴点の候補を求め、それをパターン
照合で検証するというものである。本方法は形状情報に
より位置決めを行うので高い位置精度を期待できる。ま
た候補群からの正しい特徴点の選択に、マルチテンプレ
ートを用いたマッチングを適用しているために特徴点の
形状輝度の変動に対してロバストである。処理速度に関
しては、計算コストの少ない分離度フィルターで絞り込
んだ候補に対してのみパターン照合するので全体をパタ
ーン照合する方法に比べ計算量の大幅な削減が実現でき
る。
い形状情報により特徴点の候補を求め、それをパターン
照合で検証するというものである。本方法は形状情報に
より位置決めを行うので高い位置精度を期待できる。ま
た候補群からの正しい特徴点の選択に、マルチテンプレ
ートを用いたマッチングを適用しているために特徴点の
形状輝度の変動に対してロバストである。処理速度に関
しては、計算コストの少ない分離度フィルターで絞り込
んだ候補に対してのみパターン照合するので全体をパタ
ーン照合する方法に比べ計算量の大幅な削減が実現でき
る。
【００３０】この他にも、エッジ情報に基づく方法［A.
L.Yuille, " Feature extractionfrom faces using de
formable templates " , IJCV, vol. 8: 2, pp. 99-11
1, 1992.］［坂本静生，宮尾陽子，田島譲二，“顔画像
からの目の特徴点抽出”，信学論 D-II, Vol. J76-D-I
I, No. 8, pp. 1796-1804, August, 1993. ］や固有空
間法を適用したEigen feature 法［Alex Pentland,Baba
ck Moghaddam,Thad Starner, " View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.］、カラー情報に基づく方法［佐々木
努、赤松茂、末永康仁，“顔画像認識のための色情報を
用いた顔の位置合わせ方”，IE91-2, pp. 9-15, 1991.
］が適用可能である。
L.Yuille, " Feature extractionfrom faces using de
formable templates " , IJCV, vol. 8: 2, pp. 99-11
1, 1992.］［坂本静生，宮尾陽子，田島譲二，“顔画像
からの目の特徴点抽出”，信学論 D-II, Vol. J76-D-I
I, No. 8, pp. 1796-1804, August, 1993. ］や固有空
間法を適用したEigen feature 法［Alex Pentland,Baba
ck Moghaddam,Thad Starner, " View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.］、カラー情報に基づく方法［佐々木
努、赤松茂、末永康仁，“顔画像認識のための色情報を
用いた顔の位置合わせ方”，IE91-2, pp. 9-15, 1991.
］が適用可能である。
【００３１】正規化画像生成部１４ｂでは、特徴点を基
準にして正規化を施す。図４に瞳、鼻穴を基準にした正
規化処理の例を示す。ベクトルＥ１Ｅ２の向きを平行に
補正してさらにｃ１，ｃ２の上から１／３の点ＣＰを正
規化画像の中心座標、横幅はベクトルＥ１Ｅ２の２倍、
縦幅はベクトルｃ１ｃ２の２倍に設定する。
準にして正規化を施す。図４に瞳、鼻穴を基準にした正
規化処理の例を示す。ベクトルＥ１Ｅ２の向きを平行に
補正してさらにｃ１，ｃ２の上から１／３の点ＣＰを正
規化画像の中心座標、横幅はベクトルＥ１Ｅ２の２倍、
縦幅はベクトルｃ１ｃ２の２倍に設定する。
【００３２】パターンマッチング部１４ｃでは、正規化
画像と辞書画像に蓄えられている顔画像と比較してパタ
ーン類似度を求める。パターン類似度が基準値より高い
場合には、本人であると同定する。基準より小さい場合
には、他人とする。パターンマッチングの方法として
は、相関法、部分空間法、複合類似度法などが適用可能
である。
画像と辞書画像に蓄えられている顔画像と比較してパタ
ーン類似度を求める。パターン類似度が基準値より高い
場合には、本人であると同定する。基準より小さい場合
には、他人とする。パターンマッチングの方法として
は、相関法、部分空間法、複合類似度法などが適用可能
である。
【００３３】（所定動作検出部１８）所定動作検出部１
８は、使用者がキーボード、ボタンプッシュ、または、
マウスの操作などの所定の動作を行っているか否かを検
出する。検出結果に基づいて辞書生成部１５を制御す
る。
８は、使用者がキーボード、ボタンプッシュ、または、
マウスの操作などの所定の動作を行っているか否かを検
出する。検出結果に基づいて辞書生成部１５を制御す
る。
【００３４】具体的には、使用者がキーボード操作、ボ
タンプッシュ、マウスの操作などの所定の動作を行って
いることを検知すると、画像入力手段１１に使用者の顔
の正面画像が写っている可能性が高いため、辞書登録す
るのに好適であるために所定の動作を行っている間は辞
書生成信号を辞書生成部１６に送信する。
タンプッシュ、マウスの操作などの所定の動作を行って
いることを検知すると、画像入力手段１１に使用者の顔
の正面画像が写っている可能性が高いため、辞書登録す
るのに好適であるために所定の動作を行っている間は辞
書生成信号を辞書生成部１６に送信する。
【００３５】（辞書生成部１６）辞書生成部１６は、顔
特徴点抽出部１４ａ、フレーム評価部１６ａ、正規化画
像生成部１４ｂ、学習画像記憶部１６ｂ及び主成分分析
部１６ｃからなる。ここで顔特徴点抽出部１４ａと正規
化画像生成部１４ｂは、認識部１４と共通で使用する。
図５に辞書生成部１６のブロック図を示す。
特徴点抽出部１４ａ、フレーム評価部１６ａ、正規化画
像生成部１４ｂ、学習画像記憶部１６ｂ及び主成分分析
部１６ｃからなる。ここで顔特徴点抽出部１４ａと正規
化画像生成部１４ｂは、認識部１４と共通で使用する。
図５に辞書生成部１６のブロック図を示す。
【００３６】辞書生成は、所定動作検出部１８から辞書
生成信号が入力されると学習データの収集が行われる。
生成信号が入力されると学習データの収集が行われる。
【００３７】フレーム評価部１６ｂでは、抽出された顔
特徴点の情報から抽出された顔領域画像０２が辞書生成
に有効か否かを判断する。ここで３つの評価基準を適用
するが、個別あるいは組合せで適用してもよい。
特徴点の情報から抽出された顔領域画像０２が辞書生成
に有効か否かを判断する。ここで３つの評価基準を適用
するが、個別あるいは組合せで適用してもよい。
【００３８】(i) 予め各特徴点の位置関係を規定してお
き、この位置関係が崩れた場合には、学習データとして
有効でないと判断する。例えば、両瞳、鼻穴、口端の位
置関係などである。
き、この位置関係が崩れた場合には、学習データとして
有効でないと判断する。例えば、両瞳、鼻穴、口端の位
置関係などである。
【００３９】(ii)辞書画像１７に蓄えられた固有顔画像
とパターン類似度を評価にする。類似度が基準より小さ
い場合には有効でないと判断する。基準を高くする程、
学習データの均一性を高めることになる。しかし高過ぎ
ると顔向きなどの変化に対応できなくなる。
とパターン類似度を評価にする。類似度が基準より小さ
い場合には有効でないと判断する。基準を高くする程、
学習データの均一性を高めることになる。しかし高過ぎ
ると顔向きなどの変化に対応できなくなる。
【００４０】あるいは辞書画像１７に蓄えられた固有顔
画像の代わりに、事前に正しい特徴点で正規化された学
習画像から生成した辞書画像を用いても良い。
画像の代わりに、事前に正しい特徴点で正規化された学
習画像から生成した辞書画像を用いても良い。
【００４１】さらに顔向きまで考慮すると極端に横を向
いた顔などを除くことが可能である。この場合には、予
め方向１〜Ｎの顔向き毎に準備してある顔辞書パターン
との比較を行って、所定の顔向きの辞書に一致する場合
に辞書生成に有効であると判断する。
いた顔などを除くことが可能である。この場合には、予
め方向１〜Ｎの顔向き毎に準備してある顔辞書パターン
との比較を行って、所定の顔向きの辞書に一致する場合
に辞書生成に有効であると判断する。
【００４２】(iii) 各フレーム毎に抽出された特徴点の
関係を調べて目を閉じた学習データを検出する。新しく
抽出された特徴点の座標は、既にその前のフレーム１〜
４で抽出された特徴点の座標の線形結合で表現できる。
したがって全てのフレームで正しく特徴点が抽出されて
いれば、線形結合した際の誤差が小さくなる。逆に目を
閉じて眉と瞳を間違えた場合などには、誤差が大きくな
る。
関係を調べて目を閉じた学習データを検出する。新しく
抽出された特徴点の座標は、既にその前のフレーム１〜
４で抽出された特徴点の座標の線形結合で表現できる。
したがって全てのフレームで正しく特徴点が抽出されて
いれば、線形結合した際の誤差が小さくなる。逆に目を
閉じて眉と瞳を間違えた場合などには、誤差が大きくな
る。
【００４３】これについて詳細に図６を用いて説明す
る。
る。
【００４４】正射影モデルを仮定すると、３次元モデル
を持たずに、任意の方向から見た顔特徴点の２次元座標
を、式（１）（２）に示すように４枚の画像上で対応付
けられた特徴点の２次元座標の線形結合により表現でき
る［S. Ullman, R. Basri: "Recognition by Linear Co
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991. ］［向川康博、中村裕
一、大田友一、“２枚の顔写真を用いた任意方向の顔画
像の生成”、情処論、Vol. 37, No. 4, pp. 635-644, 1
996.］。この性質を利用して動画像列において既に抽出
されている４枚のフレームにおける正しい特徴点の２次
元座標値（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）から新しく検
出された特徴点の２次元座標値（Ｘ，Ｙ）を検証する。
を持たずに、任意の方向から見た顔特徴点の２次元座標
を、式（１）（２）に示すように４枚の画像上で対応付
けられた特徴点の２次元座標の線形結合により表現でき
る［S. Ullman, R. Basri: "Recognition by Linear Co
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991. ］［向川康博、中村裕
一、大田友一、“２枚の顔写真を用いた任意方向の顔画
像の生成”、情処論、Vol. 37, No. 4, pp. 635-644, 1
996.］。この性質を利用して動画像列において既に抽出
されている４枚のフレームにおける正しい特徴点の２次
元座標値（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）から新しく検
出された特徴点の２次元座標値（Ｘ，Ｙ）を検証する。
【００４５】４フレームの画像に対する特徴点の２次元
座標と新しい座標（Ｘ，Ｙ）から線形結合係数ａi ，ｂ
i ，（ｉ＝１，４）を最小自乗法により求める。今度は
逆に得られた結合係数から近似座標を（ｘ′，ｙ′）を
計算して（Ｘ，Ｙ）との誤差Ｒesを計算する。
座標と新しい座標（Ｘ，Ｙ）から線形結合係数ａi ，ｂ
i ，（ｉ＝１，４）を最小自乗法により求める。今度は
逆に得られた結合係数から近似座標を（ｘ′，ｙ′）を
計算して（Ｘ，Ｙ）との誤差Ｒesを計算する。
【００４６】
【数１】 誤差Ｒesは新しい特徴点の座標誤差を示している。誤差
が閾値より大きい場合は、抽出位置に誤りが生じている
ので、このデータは学習データとして有効でない。
が閾値より大きい場合は、抽出位置に誤りが生じている
ので、このデータは学習データとして有効でない。
【００４７】上記(i) 〜(iii) の評価基準以外にも顔領
域の平均輝度や輝度の分散が基準範囲に入っているか否
かで判断することも可能である。
域の平均輝度や輝度の分散が基準範囲に入っているか否
かで判断することも可能である。
【００４８】学習画像記憶部１６ｂは、上記有効である
と判断された学習データを蓄える。蓄えられた学習デー
タ数が規定の数に達したら主成分分析部１６ｃに学習画
像を送る。
と判断された学習データを蓄える。蓄えられた学習デー
タ数が規定の数に達したら主成分分析部１６ｃに学習画
像を送る。
【００４９】主成分分析部１６ｃでは、学習画像記憶部
１６ｂに蓄えられた画像データに対して主成分分析（Ｋ
Ｌ展開）適用して固有画像を求める。固有値が大きい方
から上位Ｎ個の固有画像を辞書画像１７に蓄える。
１６ｂに蓄えられた画像データに対して主成分分析（Ｋ
Ｌ展開）適用して固有画像を求める。固有値が大きい方
から上位Ｎ個の固有画像を辞書画像１７に蓄える。
【００５０】上記実施例では、動画像からリアルタイム
で辞書生成を行う例を説明したが、動画像から所定動作
検出部からの検出信号が来たフレームだけを一旦メモリ
に蓄えてから行うことも可能である。この場合は、辞書
生成に有効である可能性が高いフレームだけを対象にす
るために、処理の高速化と安定性が計れる。
で辞書生成を行う例を説明したが、動画像から所定動作
検出部からの検出信号が来たフレームだけを一旦メモリ
に蓄えてから行うことも可能である。この場合は、辞書
生成に有効である可能性が高いフレームだけを対象にす
るために、処理の高速化と安定性が計れる。
【００５１】また、上記実施例では、識別にパターン的
な手法である部分空間法を適用しているが、構造的な手
法に置き換えても良い。
な手法である部分空間法を適用しているが、構造的な手
法に置き換えても良い。
【００５２】（本装置１０の動作の説明）次に、本実施
例の動作を図７に沿って説明する。
例の動作を図７に沿って説明する。
【００５３】最初のアクセスは、パスワードなどを入力
する通常のログインを行う。あるいは、事前に登録した
使用者の辞書を用いて自動ログインを行うことも可能で
ある。
する通常のログインを行う。あるいは、事前に登録した
使用者の辞書を用いて自動ログインを行うことも可能で
ある。
【００５４】先ず画像入力部１１から入力された画像か
ら顔領域抽出部１２において顔領域が抽出されて状況認
識部１３に送られる。また所定動作検出部１８では、マ
ウス操作、キーボード操作、ボタン操作などの所定動作
検出信号を状況認識部に送る。状況認識部１３では、顔
領域の時間的な有無に基づいて認識モードと辞書生成モ
ードの切替えを行う。また所定動作検出信号に基づいて
学習データを収集するか否かを制御する。
ら顔領域抽出部１２において顔領域が抽出されて状況認
識部１３に送られる。また所定動作検出部１８では、マ
ウス操作、キーボード操作、ボタン操作などの所定動作
検出信号を状況認識部に送る。状況認識部１３では、顔
領域の時間的な有無に基づいて認識モードと辞書生成モ
ードの切替えを行う。また所定動作検出信号に基づいて
学習データを収集するか否かを制御する。
【００５５】先ず時刻Ｔ０からＴ１までは、認識モード
に設定され、前回の使用者本人であるかを同定する。
に設定され、前回の使用者本人であるかを同定する。
【００５６】(i) 認識モード 顔領域は、顔特徴点抽出部１４ａに送られて瞳、鼻穴、
口端が検出される。次にこれらの特徴点を基準に正規化
が施される。正規化画像は、パターンマッチング部１４
ｃで前回使用者の辞書画像との類似度が計算され、類似
度が基準値より高い場合に前回使用していた本人と同定
されてアクセス可能になる。基準値より小さい場合はア
クセスを禁止する。
口端が検出される。次にこれらの特徴点を基準に正規化
が施される。正規化画像は、パターンマッチング部１４
ｃで前回使用者の辞書画像との類似度が計算され、類似
度が基準値より高い場合に前回使用していた本人と同定
されてアクセス可能になる。基準値より小さい場合はア
クセスを禁止する。
【００５７】次に時刻Ｔ１からは、辞書生成モードに設
定される。
定される。
【００５８】(ii)辞書生成モード 所定動作検出部１８が所定動作を検出して所定動作検出
信号がＯＮになっている場合に学習データを収集して辞
書画像を生成する。連続して入力される画像から抽出さ
れた顔領域画像は顔特徴点抽出部１４ａに送られて瞳、
鼻穴、口端が検出される。抽出された特徴点情報はフレ
ーム評価部１６ａに送られて、例えば式（３）から誤差
が計算される。誤差が閾値より小さい場合には学習デー
タとして有効であると判断され学習画像記憶部１６ｂに
蓄えられる。学習画像記憶部１６ｂに規定枚数以上の学
習データが蓄えられたら学習データは主成分分析部１６
ｃに送られて辞書画像が生成される。
信号がＯＮになっている場合に学習データを収集して辞
書画像を生成する。連続して入力される画像から抽出さ
れた顔領域画像は顔特徴点抽出部１４ａに送られて瞳、
鼻穴、口端が検出される。抽出された特徴点情報はフレ
ーム評価部１６ａに送られて、例えば式（３）から誤差
が計算される。誤差が閾値より小さい場合には学習デー
タとして有効であると判断され学習画像記憶部１６ｂに
蓄えられる。学習画像記憶部１６ｂに規定枚数以上の学
習データが蓄えられたら学習データは主成分分析部１６
ｃに送られて辞書画像が生成される。
【００５９】使用者が離席すると即座にスクリーンロッ
クを起動する。再び使用者が着席すると最初の処理に戻
る。
クを起動する。再び使用者が着席すると最初の処理に戻
る。
【００６０】なお、上記説明では所定動作検出部１８が
所定動作を検出して所定動作検出信号がＯＮになってい
る場合に辞書画像を生成していたが、さらに、所定動作
検出信号がＯＦＦにあった後、一定期間（例えば、１分
間）の間は続けて辞書画像を生成してもよい。
所定動作を検出して所定動作検出信号がＯＮになってい
る場合に辞書画像を生成していたが、さらに、所定動作
検出信号がＯＦＦにあった後、一定期間（例えば、１分
間）の間は続けて辞書画像を生成してもよい。
【００６１】（変更例）次に、情報端末のセキュリティ
だけではなく、情報端末のサービスにおける実施例につ
いて説明する。
だけではなく、情報端末のサービスにおける実施例につ
いて説明する。
【００６２】例えば、顔を登録する場合に、顔領域から
得られる特徴量だけではなく、情報端末の操作履歴も同
時に記憶することを考える。顔の情報と同時に登録して
おくことによって、その人間の識別と同時に、端末を操
作していたときに、どのような情報を求めていたのかを
履歴から抽出できる。
得られる特徴量だけではなく、情報端末の操作履歴も同
時に記憶することを考える。顔の情報と同時に登録して
おくことによって、その人間の識別と同時に、端末を操
作していたときに、どのような情報を求めていたのかを
履歴から抽出できる。
【００６３】情報検索を例とすると、使用者は検索式等
を入力する作業を行う。個人識別のために必要な情報に
加え、その検索式、検索内容の履歴をデータベースに蓄
えておく。蓄えられたデータをもとに、使用者の興味あ
る内容を推定、抽出し、新たな情報検索を行って保持し
ておく。
を入力する作業を行う。個人識別のために必要な情報に
加え、その検索式、検索内容の履歴をデータベースに蓄
えておく。蓄えられたデータをもとに、使用者の興味あ
る内容を推定、抽出し、新たな情報検索を行って保持し
ておく。
【００６４】そして使用者が再び、情報端末へのログイ
ン、操作復帰を行った場合、端末に新たに検索した所望
と考えられる情報の提供を自動的に行うサービスが可能
となる。
ン、操作復帰を行った場合、端末に新たに検索した所望
と考えられる情報の提供を自動的に行うサービスが可能
となる。
【００６５】これらの履歴情報は顔の登録情報とリンク
して蓄えられることにより、いつこのような情報を検索
していたかというタイムスタンプの代わりになり、これ
に基づいて、いつの時点の顔の状態に近いのかを認識し
て、その当時の履歴情報に基づいた情報を提示しても良
い。
して蓄えられることにより、いつこのような情報を検索
していたかというタイムスタンプの代わりになり、これ
に基づいて、いつの時点の顔の状態に近いのかを認識し
て、その当時の履歴情報に基づいた情報を提示しても良
い。
【００６６】また、顔の登録の際の検証機構として、表
情検出、認識を用いれば、人間の感情状態に応じた情報
の操作履歴をとることも可能であり、平常時の辞書、笑
ったときの辞書、怒っているときの辞書などを生成する
こともできる。新たに顔認識を行う際に、表情情報に対
応した情報提供を行っても良い。
情検出、認識を用いれば、人間の感情状態に応じた情報
の操作履歴をとることも可能であり、平常時の辞書、笑
ったときの辞書、怒っているときの辞書などを生成する
こともできる。新たに顔認識を行う際に、表情情報に対
応した情報提供を行っても良い。
【００６７】これらは顔登録の更新と情報操作履歴の更
新を継続的に同時に行うことにより、より確かな情報提
供が可能になる。
新を継続的に同時に行うことにより、より確かな情報提
供が可能になる。
【００６８】これらの実施例は情報端末を例に説明した
が、例えばＴＶ、電話など家電製品に置き換えても良
い。
が、例えばＴＶ、電話など家電製品に置き換えても良
い。
【００６９】ＴＶの場合には、リモコンに超小型カメラ
を搭載する。所定の動作はリモコンのボタンを押してい
る動作と定義する。電話の場合には、受話器に超小型Ｃ
ＣＤが搭載して受話器を上げる動作を所定の動作と定義
する。
を搭載する。所定の動作はリモコンのボタンを押してい
る動作と定義する。電話の場合には、受話器に超小型Ｃ
ＣＤが搭載して受話器を上げる動作を所定の動作と定義
する。
【００７０】さらに、本実施例の装置１０を現金自動預
け払い機（以下、ＡＴＭという）に使用してもよい。
け払い機（以下、ＡＴＭという）に使用してもよい。
【００７１】すなわち、使用者の本人確認のためにこの
装置１０を使用することにより、他人による取り忘れ、
現金の横取りなどの不正使用を確実に防止できる。この
場合には、画像入力部１１を、ＡＴＭの操作パネルの近
傍に配置して使用者の顔が確実に写るようにする。ま
た、顔画像と同時に口座番号や更新登録時刻を登録して
おいてもよい。
装置１０を使用することにより、他人による取り忘れ、
現金の横取りなどの不正使用を確実に防止できる。この
場合には、画像入力部１１を、ＡＴＭの操作パネルの近
傍に配置して使用者の顔が確実に写るようにする。ま
た、顔画像と同時に口座番号や更新登録時刻を登録して
おいてもよい。
【００７２】
【発明の効果】以上、本発明によれば、入力された画像
中から新規顔画像を抽出して、これが辞書登録に値する
顔画像か否かを判断して、有効と判断した入力顔画像の
みを登録するために、不要な顔画像の登録を排除できて
辞書精度を上げることができる。
中から新規顔画像を抽出して、これが辞書登録に値する
顔画像か否かを判断して、有効と判断した入力顔画像の
みを登録するために、不要な顔画像の登録を排除できて
辞書精度を上げることができる。
【図１】本実施例の装置のブロック図である。
【図２】本人同定モード及び辞書生成モードの時間的な
変化を示す図である。
変化を示す図である。
【図３】認識部のブロック図である。
【図４】瞳、鼻穴を基準にした正規化処理の例を示す図
である。
である。
【図５】辞書生成部のブロック図である。
【図６】線形結合した際の誤差を使用した説明図であ
る。
る。
【図７】本実施例の動作を説明する図である。
１１ 画像入力部 １２ 顔領域抽出部 １３ 状況認識部 １４ 認識部 １５ 辞書生成部 １６ アクセス制御部 １７ 辞書画像 １８ 所定動作検出部
【手続補正書】
【提出日】平成９年２月２５日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 顔画像登録装置及びその方法
【特許請求の範囲】
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、入力された画像中
から顔領域を抽出して自動的に顔を辞書登録する顔画像
登録装置またはその方法に関する。
から顔領域を抽出して自動的に顔を辞書登録する顔画像
登録装置またはその方法に関する。
【０００２】
【従来の技術】顔画像認識技術は、ヒューマンインタフ
ェースあるいはセキュリティシステムの構築には不可欠
な要素技術である。顔画像認識は、顔領域抽出、顔特徴
点抽出、識別からなる。最近の技術動向に関しては、文
献［塩野充、真田英彦“個人認証技術の最近の研究動
向”，信学技報 OSF92-17.］が詳しい。従来の顔画像識
別法は、大きく分ける以下の２つに分類できる。
ェースあるいはセキュリティシステムの構築には不可欠
な要素技術である。顔画像認識は、顔領域抽出、顔特徴
点抽出、識別からなる。最近の技術動向に関しては、文
献［塩野充、真田英彦“個人認証技術の最近の研究動
向”，信学技報 OSF92-17.］が詳しい。従来の顔画像識
別法は、大きく分ける以下の２つに分類できる。
【０００３】１つは、目、鼻、口などの特徴点の位置、
形状、サイズをパラメータ化して特徴ベクトルを生成
し、予め登録されている対象人物の特徴ベクトルとの類
似度を計算する方法である。最も類似度が高い辞書ベク
トルを表す人物を当人と識別する。これらは構造解析的
な手法に分類される。
形状、サイズをパラメータ化して特徴ベクトルを生成
し、予め登録されている対象人物の特徴ベクトルとの類
似度を計算する方法である。最も類似度が高い辞書ベク
トルを表す人物を当人と識別する。これらは構造解析的
な手法に分類される。
【０００４】もう１つの方法は、瞳、鼻などの特徴点を
基準とした２次元affine変換などの幾何学変換により位
置、サイズを正規化された画像と予め登録されている辞
書正規化画像とのパターンの類似度に基いた方法であ
る。前者と同様に最も類似度が高い辞書画像を表す人物
を当人と識別する。これらは従来の文字認識で実用化さ
れている方法でパターン的な手法に分類できる。
基準とした２次元affine変換などの幾何学変換により位
置、サイズを正規化された画像と予め登録されている辞
書正規化画像とのパターンの類似度に基いた方法であ
る。前者と同様に最も類似度が高い辞書画像を表す人物
を当人と識別する。これらは従来の文字認識で実用化さ
れている方法でパターン的な手法に分類できる。
【０００５】上記の２つの手法のどちらの場合も、類似
度としては画像間の相関値や特徴空間中でのユークリッ
ド距離などの統計的な距離を用いる。この識別処理には
文字認識で実用化されている様々なパターン認識理論、
例えば部分空間法［エルッキ・オヤ著 小川秀光、佐藤
誠訳、“パターン認識と部分空間法”産業図書(198
6)］や複合類似度など方法が適用できる。識別法の構成
は［舟久保登“パターン認識”共立出版（1991）］［飯
島泰蔵“パターン認識理論”森北出版（1989）］などに
詳しい。
度としては画像間の相関値や特徴空間中でのユークリッ
ド距離などの統計的な距離を用いる。この識別処理には
文字認識で実用化されている様々なパターン認識理論、
例えば部分空間法［エルッキ・オヤ著 小川秀光、佐藤
誠訳、“パターン認識と部分空間法”産業図書(198
6)］や複合類似度など方法が適用できる。識別法の構成
は［舟久保登“パターン認識”共立出版（1991）］［飯
島泰蔵“パターン認識理論”森北出版（1989）］などに
詳しい。
【０００６】上記の顔認識の実際の適用に際しては、上
記の顔認識処理に加えて使用者の登録、つまり登録者の
顔辞書生成が不可欠になってくる。例えば、部分空間法
を用いた手書き漢字認識では、各文字毎に数百枚の学習
サンプル画像から辞書を生成していた。本発明で対象と
している顔のような３次元物体は、文字に比べて照明条
件、顔向き、表情変化などの形状や輝度の変動が大き
く、さらに大量の学習サンプル画像が必要となってくる
［村瀬洋，シェリー・ナイヤー，“２次元照合による３
次元物体認識”，信学論（D-II）J77-D-II, 11, pp. 21
79-2187, 1994.］。
記の顔認識処理に加えて使用者の登録、つまり登録者の
顔辞書生成が不可欠になってくる。例えば、部分空間法
を用いた手書き漢字認識では、各文字毎に数百枚の学習
サンプル画像から辞書を生成していた。本発明で対象と
している顔のような３次元物体は、文字に比べて照明条
件、顔向き、表情変化などの形状や輝度の変動が大き
く、さらに大量の学習サンプル画像が必要となってくる
［村瀬洋，シェリー・ナイヤー，“２次元照合による３
次元物体認識”，信学論（D-II）J77-D-II, 11, pp. 21
79-2187, 1994.］。
【０００７】従来の辞書生成は、文献［赤松茂，佐々木
努，深町映夫，末永康仁，“濃淡画像マッチングによる
ロバストな正面顔の識別法”，信学論（D-II）, J76-DI
I, 7, pp. 1363-1373, 1993.］、［小松良江，有木康
雄，“部分空間法を用いた向きによらない顔の切り出し
認識”，PRU95-191, pp. 7-14, 1996.］、［M. Turk,
A. P. Pentland: " Face recognition using eigenface
s " , Proc. CVPR 11, pp. 453-458, 1993.］、［Alex
Pentland,Baback Moghaddam, Thad Starner, " View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.］などに見られるよう
に、良好な照明条件下で所定、例えば、正面、左右１５
°、上下１５°刻の方向に登録者の顔を向けて撮影した
画像から人手により顔の切り出し及び画像の選択を行っ
ていた。
努，深町映夫，末永康仁，“濃淡画像マッチングによる
ロバストな正面顔の識別法”，信学論（D-II）, J76-DI
I, 7, pp. 1363-1373, 1993.］、［小松良江，有木康
雄，“部分空間法を用いた向きによらない顔の切り出し
認識”，PRU95-191, pp. 7-14, 1996.］、［M. Turk,
A. P. Pentland: " Face recognition using eigenface
s " , Proc. CVPR 11, pp. 453-458, 1993.］、［Alex
Pentland,Baback Moghaddam, Thad Starner, " View-ba
sed and modular eigenspaces for face recognition "
, CVPR '94, pp.84-91, 1994.］などに見られるよう
に、良好な照明条件下で所定、例えば、正面、左右１５
°、上下１５°刻の方向に登録者の顔を向けて撮影した
画像から人手により顔の切り出し及び画像の選択を行っ
ていた。
【０００８】顔はその日の体調や表情変化、髪、髭の影
響などの生理的な変化が生じ易い。したがって高い認識
率を実現するためには、顔辞書は一定期間毎に更新する
必要がある。しかし頻繁な辞書更新は使用者の負担を高
めることになる。そこで顔認識を使い易くするために
は、使用者に如何に意識させないで負担を軽減して登録
するかが重要になってくる。
響などの生理的な変化が生じ易い。したがって高い認識
率を実現するためには、顔辞書は一定期間毎に更新する
必要がある。しかし頻繁な辞書更新は使用者の負担を高
めることになる。そこで顔認識を使い易くするために
は、使用者に如何に意識させないで負担を軽減して登録
するかが重要になってくる。
【０００９】例えば、情報端末における作業を一時中断
して立ち去る場合に、他人のアクセスを防止する機能を
考える。予め生成した辞書を用いることも考えられる
が、本人同定、他人排除率を上げるためには、できるだ
け直前に生成された辞書画像を用いる方が有効である。
しかし離席の度に辞書登録することは、使用者の負担を
高くするため、使用者が情報機器をアクセス中に意識さ
せないで辞書登録する。
して立ち去る場合に、他人のアクセスを防止する機能を
考える。予め生成した辞書を用いることも考えられる
が、本人同定、他人排除率を上げるためには、できるだ
け直前に生成された辞書画像を用いる方が有効である。
しかし離席の度に辞書登録することは、使用者の負担を
高くするため、使用者が情報機器をアクセス中に意識さ
せないで辞書登録する。
【００１０】ところが登録者に意識させないで収集した
学習サンプルは、通常は目を閉じた場合や、表情が大き
く変化している場合などの学習データとして有効でない
データを含んでいる。これらの誤り画像が含まれている
学習サンプルから辞書生成を行うと辞書の精度が低下し
てしまう。辞書精度を上げるためには、学習データ数を
増やす必要があり、人手による選択ではリアルタイム辞
書生成に対処できない。
学習サンプルは、通常は目を閉じた場合や、表情が大き
く変化している場合などの学習データとして有効でない
データを含んでいる。これらの誤り画像が含まれている
学習サンプルから辞書生成を行うと辞書の精度が低下し
てしまう。辞書精度を上げるためには、学習データ数を
増やす必要があり、人手による選択ではリアルタイム辞
書生成に対処できない。
【００１１】
【発明が解決しようとする課題】従来、顔辞書の生成
は、事前に良好な照明条件下で所定、例えば、正面、左
右１５°、上下１５°毎の方向に登録者の顔を向けさせ
て撮影した顔画像を用いて人手により行っていた。顔は
時間と共に変化する。したがって高い認識率を実現する
ためには顔辞書は一定期間毎に更新する必要がある。し
かし頻繁な辞書更新を行うことは、使用者の負担を高め
ることになる。
は、事前に良好な照明条件下で所定、例えば、正面、左
右１５°、上下１５°毎の方向に登録者の顔を向けさせ
て撮影した顔画像を用いて人手により行っていた。顔は
時間と共に変化する。したがって高い認識率を実現する
ためには顔辞書は一定期間毎に更新する必要がある。し
かし頻繁な辞書更新を行うことは、使用者の負担を高め
ることになる。
【００１２】辞書生成のための自動学習サンプル収集に
関しては、既に出願済みの方法［特願平８−６１４６３
号］を適用すれば実現できる。しかし、依然として被登
録者に意識させないで収集した学習データには辞書生成
に有効でないデータが多数含まれるという課題が残る。
辞書精度を上げるためには、学習データ数を増やす必要
があり、人手による選択ではリアルタイム辞書生成が実
現困難である。
関しては、既に出願済みの方法［特願平８−６１４６３
号］を適用すれば実現できる。しかし、依然として被登
録者に意識させないで収集した学習データには辞書生成
に有効でないデータが多数含まれるという課題が残る。
辞書精度を上げるためには、学習データ数を増やす必要
があり、人手による選択ではリアルタイム辞書生成が実
現困難である。
【００１３】そこで、本発明は、使用者に負担かけず、
かつ、不要な顔画像の登録を排除できて辞書精度を上げ
ることができる顔画像登録装置及びその方法を提供す
る。
かつ、不要な顔画像の登録を排除できて辞書精度を上げ
ることができる顔画像登録装置及びその方法を提供す
る。
【００１４】
【課題を解決するための手段】本発明は、人物の顔画像
を登録している辞書手段を有する顔画像登録装置におい
て、前記人物の画像を入力する画像入力手段と、前記画
像入力手段によって入力された画像中から前記人物の顔
領域の画像である入力顔画像を抽出する顔領域抽出手段
と、前記顔領域抽出手段によって抽出された入力顔画像
が、前記辞書手段に登録可能な顔画像であるか否かを判
断する判断手段と、前記判断手段によって登録可能と判
断された入力顔画像を前記顔画像として前記辞書手段に
登録させる登録手段からなることを特徴とする顔画像登
録装置である。
を登録している辞書手段を有する顔画像登録装置におい
て、前記人物の画像を入力する画像入力手段と、前記画
像入力手段によって入力された画像中から前記人物の顔
領域の画像である入力顔画像を抽出する顔領域抽出手段
と、前記顔領域抽出手段によって抽出された入力顔画像
が、前記辞書手段に登録可能な顔画像であるか否かを判
断する判断手段と、前記判断手段によって登録可能と判
断された入力顔画像を前記顔画像として前記辞書手段に
登録させる登録手段からなることを特徴とする顔画像登
録装置である。
【００１５】また、本発明は、人物の顔画像を登録する
ための顔画像登録方法において、前記人物の画像を入力
する画像入力ステップと、前記画像入力ステップにおい
て入力された画像中から前記人物の顔領域の画像である
入力顔画像を抽出する顔領域抽出ステップと、前記顔領
域抽出ステップにおいて抽出された入力顔画像が、前記
登録可能な顔画像か否かを判断する判断ステップと、前
記判断ステップにおいて登録可能と判断された入力顔画
像を前記顔画像として登録させる登録ステップからなる
ことを特徴とする顔画像登録方法である。
ための顔画像登録方法において、前記人物の画像を入力
する画像入力ステップと、前記画像入力ステップにおい
て入力された画像中から前記人物の顔領域の画像である
入力顔画像を抽出する顔領域抽出ステップと、前記顔領
域抽出ステップにおいて抽出された入力顔画像が、前記
登録可能な顔画像か否かを判断する判断ステップと、前
記判断ステップにおいて登録可能と判断された入力顔画
像を前記顔画像として登録させる登録ステップからなる
ことを特徴とする顔画像登録方法である。
【００１６】上記発明であると、例えば、抽出された顔
領域から求まる特徴量を予め設定された基準とを比較す
ることにより学習データとして有効かの判断を行う。特
徴量としては、瞳、鼻穴、口端などの顔特徴点の大き
さ、位置情報から求まる量あるいはこれらの点を基準に
して正規化を施した画像を用いる。これにより大きく表
情が変化した画像、目を閉じた画像、口を開けた画像な
どを学習画像から自動的に取り除くことが可能になる。
領域から求まる特徴量を予め設定された基準とを比較す
ることにより学習データとして有効かの判断を行う。特
徴量としては、瞳、鼻穴、口端などの顔特徴点の大き
さ、位置情報から求まる量あるいはこれらの点を基準に
して正規化を施した画像を用いる。これにより大きく表
情が変化した画像、目を閉じた画像、口を開けた画像な
どを学習画像から自動的に取り除くことが可能になる。
【００１７】さらにマウス操作、キーボード操作、ボタ
ン操作などの所定の操作を検出して、操作中に入力され
た画像のみを対象として辞書生成を行う。操作中のみを
対象とすることで無駄な学習データ収集の時間が減り効
率的である。また横を向いている場合などの辞書として
有効でない画像を収集する可能性も減る。本発明によれ
ば、入力された画像中から顔領域を抽出して自動的に辞
書登録する装置及び方法を実現できる。
ン操作などの所定の操作を検出して、操作中に入力され
た画像のみを対象として辞書生成を行う。操作中のみを
対象とすることで無駄な学習データ収集の時間が減り効
率的である。また横を向いている場合などの辞書として
有効でない画像を収集する可能性も減る。本発明によれ
ば、入力された画像中から顔領域を抽出して自動的に辞
書登録する装置及び方法を実現できる。
【００１８】
【発明の実施の形態】以下、本発明の一実施例を図１か
ら図７に基づいて説明する。
ら図７に基づいて説明する。
【００１９】パソコン等の情報端末装置において、作業
中を一時中断して端末を離れる際に他人のアクセスを防
止することは必要な機能である。そのため、本実施例で
は、離席時に他人のアクセスを防止する機能を搭載した
情報機器端末装置１０を例にとって説明する。
中を一時中断して端末を離れる際に他人のアクセスを防
止することは必要な機能である。そのため、本実施例で
は、離席時に他人のアクセスを防止する機能を搭載した
情報機器端末装置１０を例にとって説明する。
【００２０】図１は、本実施例に係るセキュリティ付き
情報端末装置１０の概略を示すブロック図である。
情報端末装置１０の概略を示すブロック図である。
【００２１】本装置１０は、画像入力部１１、顔領域抽
出部１２、状況認識部１３、認１１４、辞書生成部１
５、アクセス制御部１６、辞書画像１７、所定動作検出
部１８から構成されている。
出部１２、状況認識部１３、認１１４、辞書生成部１
５、アクセス制御部１６、辞書画像１７、所定動作検出
部１８から構成されている。
【００２２】（画像入力部１１）画像入力部１１は、認
識対象となる人物の画像を入力するためのものであり、
例えばＴＶカメラからなる。この画像入力部１１から入
力された画像０１はＡ／Ｄ変換器によりデジタル化され
て顔領域抽出部１２に送られる。例えば、ＴＶカメラは
情報端末装置１０のモニタの下部に設置される。あるい
はモニタの四角に設置しても良い。
識対象となる人物の画像を入力するためのものであり、
例えばＴＶカメラからなる。この画像入力部１１から入
力された画像０１はＡ／Ｄ変換器によりデジタル化され
て顔領域抽出部１２に送られる。例えば、ＴＶカメラは
情報端末装置１０のモニタの下部に設置される。あるい
はモニタの四角に設置しても良い。
【００２３】（顔領域抽出部１２）顔領域抽出部１２
は、画像入力部１１から送られてきた入力画像から顔領
域画像０２を常時抽出し続ける。本実施例では、予め登
録された標準顔画像（テンプレート）を全画面に渡って
移動させながら相関値を計算し最も高い相関値をもって
いる領域を顔領域とする。相関値の局所最大点を顔領域
候補とする。この顔領域候補における相関値が設定され
た閾値より低い場合は、顔が存在しないとする。具体的
には閾値として最大相関値を１００として３０に設定す
る。顔の向き変化に対応するために複合類似度などによ
り複数のテンプレートを用いるとさらに安定に顔領域を
抽出できる。この処理は先に述べたカラー情報に基づく
抽出法に置き換えて良い。
は、画像入力部１１から送られてきた入力画像から顔領
域画像０２を常時抽出し続ける。本実施例では、予め登
録された標準顔画像（テンプレート）を全画面に渡って
移動させながら相関値を計算し最も高い相関値をもって
いる領域を顔領域とする。相関値の局所最大点を顔領域
候補とする。この顔領域候補における相関値が設定され
た閾値より低い場合は、顔が存在しないとする。具体的
には閾値として最大相関値を１００として３０に設定す
る。顔の向き変化に対応するために複合類似度などによ
り複数のテンプレートを用いるとさらに安定に顔領域を
抽出できる。この処理は先に述べたカラー情報に基づく
抽出法に置き換えて良い。
【００２４】（状況認識部１３）状況認識部１３では、
顔領域抽出結果の時間的な変化から使用者の状態（作業
中、離席、着席）を識別して辞書生成モードと認識モー
ドの切替えを行う。
顔領域抽出結果の時間的な変化から使用者の状態（作業
中、離席、着席）を識別して辞書生成モードと認識モー
ドの切替えを行う。
【００２５】図２に示すように顔領域が検出され始めた
時点Ｔ０からＴ１までの期間に認識モードに設定する。
このモードでは後で述べる認識処理により本人同定処理
を行う。Ｔ１時点で本人と同定された場合はアクセス可
能になる。
時点Ｔ０からＴ１までの期間に認識モードに設定する。
このモードでは後で述べる認識処理により本人同定処理
を行う。Ｔ１時点で本人と同定された場合はアクセス可
能になる。
【００２６】Ｔ１時点以降は辞書生成モードに切替わり
所定動作検出部１８からの辞書生成信号が入力された時
に学習データの収集が行われる。一定期間顔領域を検出
できなくなったら離席したと判断して即座にスクリーン
ロックを起動する。あるいは使用者に光、音声などでそ
の主旨を伝えて使用者の反応を見てから、スクリーンロ
ックを起動しても良い。ここで時刻Ｔ１は対象機種やア
クセス動作の種類により変更可能である。
所定動作検出部１８からの辞書生成信号が入力された時
に学習データの収集が行われる。一定期間顔領域を検出
できなくなったら離席したと判断して即座にスクリーン
ロックを起動する。あるいは使用者に光、音声などでそ
の主旨を伝えて使用者の反応を見てから、スクリーンロ
ックを起動しても良い。ここで時刻Ｔ１は対象機種やア
クセス動作の種類により変更可能である。
【００２７】（認識部１４）認識部１４は、顔特徴点抽
出部１４ａ、正規化画像生成部１４ｂ、パターンマッチ
ング部１４ｃからなる。図３に認識部１４のブロック図
を示す。
出部１４ａ、正規化画像生成部１４ｂ、パターンマッチ
ング部１４ｃからなる。図３に認識部１４のブロック図
を示す。
【００２８】顔特徴点抽出部１４ａでは、抽出された顔
領域内から瞳、鼻、口橋などの特徴点を抽出する。既に
出願している形状情報とパターン情報を組み合わせた方
法［特願平８−６１４６３号］が適用可能である。
領域内から瞳、鼻、口橋などの特徴点を抽出する。既に
出願している形状情報とパターン情報を組み合わせた方
法［特願平８−６１４６３号］が適用可能である。
【００２９】この方法の基本的な考えは、位置精度の高
い形状情報により特徴点の候補を求め、それをパターン
照合で検証するというものである。本方法は形状情報に
より位置決めを行うので高い位置精度を期待できる。ま
た候補群からの正しい特徴点の選択に、マルチテンプレ
ートを用いたマッチングを適用しているために特徴点の
形状輝度の変動に対してロバストである。処理速度に関
しては、計算コストの少ない分離度フィルターで絞り込
んだ候補に対してのみパターン照合するので全体をパタ
ーン照合する方法に比べ計算量の大幅な削減が実現でき
る。
い形状情報により特徴点の候補を求め、それをパターン
照合で検証するというものである。本方法は形状情報に
より位置決めを行うので高い位置精度を期待できる。ま
た候補群からの正しい特徴点の選択に、マルチテンプレ
ートを用いたマッチングを適用しているために特徴点の
形状輝度の変動に対してロバストである。処理速度に関
しては、計算コストの少ない分離度フィルターで絞り込
んだ候補に対してのみパターン照合するので全体をパタ
ーン照合する方法に比べ計算量の大幅な削減が実現でき
る。
【００３０】この他にも、エッジ情報に基づく方法［A.
L.Yuille, " Feature extractionfrom faces using de
formable templates " , IJCV, vol. 8: 2, pp. 99-11
1, 1992.］［坂本静生，宮尾陽子，田島譲二，“顔画像
からの目の特徴点抽出”，信学論 D-II, Vol. J76-D-I
I, No. 8, pp. 1796-1804, August, 1993. ］や固有空
間法を適用したEigen feature 法［Alex Pentland,Baba
ck Moghaddam,Thad Starner, " View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.］、カラー情報に基づく方法［佐々木
努、赤松茂、末永康仁，“顔画像認識のための色情報を
用いた顔の位置合わせ方”，IE91-2, pp. 9-15, 1991.
］が適用可能である。
L.Yuille, " Feature extractionfrom faces using de
formable templates " , IJCV, vol. 8: 2, pp. 99-11
1, 1992.］［坂本静生，宮尾陽子，田島譲二，“顔画像
からの目の特徴点抽出”，信学論 D-II, Vol. J76-D-I
I, No. 8, pp. 1796-1804, August, 1993. ］や固有空
間法を適用したEigen feature 法［Alex Pentland,Baba
ck Moghaddam,Thad Starner, " View-based and modula
r eigenspaces for face recognition ", CVPR '94, p
p. 84-91, 1994.］、カラー情報に基づく方法［佐々木
努、赤松茂、末永康仁，“顔画像認識のための色情報を
用いた顔の位置合わせ方”，IE91-2, pp. 9-15, 1991.
］が適用可能である。
【００３１】正規化画像生成部１４ｂでは、特徴点を基
準にして正規化を施す。図４に瞳、鼻穴を基準にした正
規化処理の例を示す。ベクトルＥ１Ｅ２の向きを平行に
補正してさらにｃ１，ｃ２の上から１／３の点ＣＰを正
規化画像の中心座標、横幅はベクトルＥ１Ｅ２の２倍、
縦幅はベクトルｃ１ｃ２の２倍に設定する。
準にして正規化を施す。図４に瞳、鼻穴を基準にした正
規化処理の例を示す。ベクトルＥ１Ｅ２の向きを平行に
補正してさらにｃ１，ｃ２の上から１／３の点ＣＰを正
規化画像の中心座標、横幅はベクトルＥ１Ｅ２の２倍、
縦幅はベクトルｃ１ｃ２の２倍に設定する。
【００３２】パターンマッチング部１４ｃでは、正規化
画像と辞書画像に蓄えられている顔画像と比較してパタ
ーン類似度を求める。パターン類似度が基準値より高い
場合には、本人であると同定する。基準より小さい場合
には、他人とする。パターンマッチングの方法として
は、相関法、部分空間法、複合類似度法などが適用可能
である。
画像と辞書画像に蓄えられている顔画像と比較してパタ
ーン類似度を求める。パターン類似度が基準値より高い
場合には、本人であると同定する。基準より小さい場合
には、他人とする。パターンマッチングの方法として
は、相関法、部分空間法、複合類似度法などが適用可能
である。
【００３３】（所定動作検出部１８）所定動作検出部１
８は、使用者がキーボード、ボタンプッシュ、または、
マウスの操作などの所定の動作を行っているか否かを検
出する。検出結果に基づいて辞書生成部１５を制御す
る。
８は、使用者がキーボード、ボタンプッシュ、または、
マウスの操作などの所定の動作を行っているか否かを検
出する。検出結果に基づいて辞書生成部１５を制御す
る。
【００３４】具体的には、使用者がキーボード操作、ボ
タンプッシュ、マウスの操作などの所定の動作を行って
いることを検知すると、画像入力手段１１に使用者の顔
の正面画像が写っている可能性が高いため、辞書登録す
るのに好適であるために所定の動作を行っている間は辞
書生成信号を辞書生成部１６に送信する。
タンプッシュ、マウスの操作などの所定の動作を行って
いることを検知すると、画像入力手段１１に使用者の顔
の正面画像が写っている可能性が高いため、辞書登録す
るのに好適であるために所定の動作を行っている間は辞
書生成信号を辞書生成部１６に送信する。
【００３５】（辞書生成部１６）辞書生成部１６は、顔
特徴点抽出部１４ａ、フレーム評価部１６ａ、正規化画
像生成部１４ｂ、学習画像記憶部１６ｂ及び主成分分析
部１６ｃからなる。ここで顔特徴点抽出部１４ａと正規
化画像生成部１４ｂは、認識部１４と共通で使用する。
図５に辞書生成部１６のブロック図を示す。
特徴点抽出部１４ａ、フレーム評価部１６ａ、正規化画
像生成部１４ｂ、学習画像記憶部１６ｂ及び主成分分析
部１６ｃからなる。ここで顔特徴点抽出部１４ａと正規
化画像生成部１４ｂは、認識部１４と共通で使用する。
図５に辞書生成部１６のブロック図を示す。
【００３６】辞書生成は、所定動作検出部１８から辞書
生成信号が入力されると学習データの収集が行われる。
生成信号が入力されると学習データの収集が行われる。
【００３７】フレーム評価部１６ｂでは、抽出された顔
特徴点の情報から抽出された顔領域画像０２が辞書生成
に有効か否かを判断する。ここで３つの評価基準を適用
するが、個別あるいは組合せで適用してもよい。
特徴点の情報から抽出された顔領域画像０２が辞書生成
に有効か否かを判断する。ここで３つの評価基準を適用
するが、個別あるいは組合せで適用してもよい。
【００３８】(i) 予め各特徴点の位置関係を規定してお
き、この位置関係が崩れた場合には、学習データとして
有効でないと判断する。例えば、両瞳、鼻穴、口端の位
置関係などである。
き、この位置関係が崩れた場合には、学習データとして
有効でないと判断する。例えば、両瞳、鼻穴、口端の位
置関係などである。
【００３９】(ii)辞書画像１７に蓄えられた固有顔画像
とパターン類似度を評価にする。類似度が基準より小さ
い場合には有効でないと判断する。基準を高くする程、
学習データの均一性を高めることになる。しかし高過ぎ
ると顔向きなどの変化に対応できなくなる。
とパターン類似度を評価にする。類似度が基準より小さ
い場合には有効でないと判断する。基準を高くする程、
学習データの均一性を高めることになる。しかし高過ぎ
ると顔向きなどの変化に対応できなくなる。
【００４０】あるいは辞書画像１７に蓄えられた固有顔
画像の代わりに、事前に正しい特徴点で正規化された学
習画像から生成した辞書画像を用いても良い。
画像の代わりに、事前に正しい特徴点で正規化された学
習画像から生成した辞書画像を用いても良い。
【００４１】さらに顔向きまで考慮すると極端に横を向
いた顔などを除くことが可能である。この場合には、予
め方向１〜Ｎの顔向き毎に準備してある顔辞書パターン
との比較を行って、所定の顔向きの辞書に一致する場合
に辞書生成に有効であると判断する。
いた顔などを除くことが可能である。この場合には、予
め方向１〜Ｎの顔向き毎に準備してある顔辞書パターン
との比較を行って、所定の顔向きの辞書に一致する場合
に辞書生成に有効であると判断する。
【００４２】(iii) 各フレーム毎に抽出された特徴点の
関係を調べて目を閉じた学習データを検出する。新しく
抽出された特徴点の座標は、既にその前のフレーム１〜
４で抽出された特徴点の座標の線形結合で表現できる。
したがって全てのフレームで正しく特徴点が抽出されて
いれば、線形結合した際の誤差が小さくなる。逆に目を
閉じて眉と瞳を間違えた場合などには、誤差が大きくな
る。
関係を調べて目を閉じた学習データを検出する。新しく
抽出された特徴点の座標は、既にその前のフレーム１〜
４で抽出された特徴点の座標の線形結合で表現できる。
したがって全てのフレームで正しく特徴点が抽出されて
いれば、線形結合した際の誤差が小さくなる。逆に目を
閉じて眉と瞳を間違えた場合などには、誤差が大きくな
る。
【００４３】これについて詳細に図６を用いて説明す
る。
る。
【００４４】正射影モデルを仮定すると、３次元モデル
を持たずに、任意の方向から見た顔特徴点の２次元座標
を、式（１）（２）に示すように４枚の画像上で対応付
けられた特徴点の２次元座標の線形結合により表現でき
る［S. Ullman, R. Basri: "Recognition by Linear Co
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991. ］［向川康博、中村裕
一、大田友一、“２枚の顔写真を用いた任意方向の顔画
像の生成”、情処論、Vol. 37, No. 4, pp. 635-644, 1
996.］。この性質を利用して動画像列において既に抽出
されている４枚のフレームにおける正しい特徴点の２次
元座標値（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）から新しく検
出された特徴点の２次元座標値（Ｘ，Ｙ）を検証する。
を持たずに、任意の方向から見た顔特徴点の２次元座標
を、式（１）（２）に示すように４枚の画像上で対応付
けられた特徴点の２次元座標の線形結合により表現でき
る［S. Ullman, R. Basri: "Recognition by Linear Co
mbinations of Models, IEEE Trans. PAMI, Vol. 13, N
o. 10, pp. 992-1006, 1991. ］［向川康博、中村裕
一、大田友一、“２枚の顔写真を用いた任意方向の顔画
像の生成”、情処論、Vol. 37, No. 4, pp. 635-644, 1
996.］。この性質を利用して動画像列において既に抽出
されている４枚のフレームにおける正しい特徴点の２次
元座標値（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）から新しく検
出された特徴点の２次元座標値（Ｘ，Ｙ）を検証する。
【００４５】４フレームの画像に対する特徴点の２次元
座標と新しい座標（Ｘ，Ｙ）から線形結合係数ａi ，ｂ
i ，（ｉ＝１，４）を最小自乗法により求める。今度は
逆に得られた結合係数から近似座標を（ｘ′，ｙ′）を
計算して（Ｘ，Ｙ）との誤差Ｒesを計算する。
座標と新しい座標（Ｘ，Ｙ）から線形結合係数ａi ，ｂ
i ，（ｉ＝１，４）を最小自乗法により求める。今度は
逆に得られた結合係数から近似座標を（ｘ′，ｙ′）を
計算して（Ｘ，Ｙ）との誤差Ｒesを計算する。
【００４６】
【数１】 誤差Ｒesは新しい特徴点の座標誤差を示している。誤差
が閾値より大きい場合は、抽出位置に誤りが生じている
ので、このデータは学習データとして有効でない。
が閾値より大きい場合は、抽出位置に誤りが生じている
ので、このデータは学習データとして有効でない。
【００４７】上記(i) 〜(iii) の評価基準以外にも顔領
域の平均輝度や輝度の分散が基準範囲に入っているか否
かで判断することも可能である。
域の平均輝度や輝度の分散が基準範囲に入っているか否
かで判断することも可能である。
【００４８】学習画像記憶部１６ｂは、上記有効である
と判断された学習データを蓄える。蓄えられた学習デー
タ数が規定の数に達したら主成分分析部１６ｃに学習画
像を送る。
と判断された学習データを蓄える。蓄えられた学習デー
タ数が規定の数に達したら主成分分析部１６ｃに学習画
像を送る。
【００４９】主成分分析部１６ｃでは、学習画像記憶部
１６ｂに蓄えられた画像データに対して主成分分析（Ｋ
Ｌ展開）適用して固有画像を求める。固有値が大きい方
から上位Ｎ個の固有画像を辞書画像１７に蓄える。
１６ｂに蓄えられた画像データに対して主成分分析（Ｋ
Ｌ展開）適用して固有画像を求める。固有値が大きい方
から上位Ｎ個の固有画像を辞書画像１７に蓄える。
【００５０】上記実施例では、動画像からリアルタイム
で辞書生成を行う例を説明したが、動画像から所定動作
検出部からの検出信号が来たフレームだけを一旦メモリ
に蓄えてから行うことも可能である。この場合は、辞書
生成に有効である可能性が高いフレームだけを対象にす
るために、処理の高速化と安定性が計れる。
で辞書生成を行う例を説明したが、動画像から所定動作
検出部からの検出信号が来たフレームだけを一旦メモリ
に蓄えてから行うことも可能である。この場合は、辞書
生成に有効である可能性が高いフレームだけを対象にす
るために、処理の高速化と安定性が計れる。
【００５１】また、上記実施例では、識別にパターン的
な手法である部分空間法を適用しているが、構造的な手
法に置き換えても良い。
な手法である部分空間法を適用しているが、構造的な手
法に置き換えても良い。
【００５２】（本装置１０の動作の説明）次に、本実施
例の動作を図７に沿って説明する。
例の動作を図７に沿って説明する。
【００５３】最初のアクセスは、パスワードなどを入力
する通常のログインを行う。あるいは、事前に登録した
使用者の辞書を用いて自動ログインを行うことも可能で
ある。
する通常のログインを行う。あるいは、事前に登録した
使用者の辞書を用いて自動ログインを行うことも可能で
ある。
【００５４】先ず画像入力部１１から入力された画像か
ら顔領域抽出部１２において顔領域が抽出されて状況認
識部１３に送られる。また所定動作検出部１８では、マ
ウス操作、キーボード操作、ボタン操作などの所定動作
検出信号を状況認識部に送る。状況認識部１３では、顔
領域の時間的な有無に基づいて認識モードと辞書生成モ
ードの切替えを行う。また所定動作検出信号に基づいて
学習データを収集するか否かを制御する。
ら顔領域抽出部１２において顔領域が抽出されて状況認
識部１３に送られる。また所定動作検出部１８では、マ
ウス操作、キーボード操作、ボタン操作などの所定動作
検出信号を状況認識部に送る。状況認識部１３では、顔
領域の時間的な有無に基づいて認識モードと辞書生成モ
ードの切替えを行う。また所定動作検出信号に基づいて
学習データを収集するか否かを制御する。
【００５５】先ず時刻Ｔ０からＴ１までは、認識モード
に設定され、前回の使用者本人であるかを同定する。
に設定され、前回の使用者本人であるかを同定する。
【００５６】(i) 認識モード 顔領域は、顔特徴点抽出部１４ａに送られて瞳、鼻穴、
口端が検出される。次にこれらの特徴点を基準に正規化
が施される。正規化画像は、パターンマッチング部１４
ｃで前回使用者の辞書画像との類似度が計算され、類似
度が基準値より高い場合に前回使用していた本人と同定
されてアクセス可能になる。基準値より小さい場合はア
クセスを禁止する。
口端が検出される。次にこれらの特徴点を基準に正規化
が施される。正規化画像は、パターンマッチング部１４
ｃで前回使用者の辞書画像との類似度が計算され、類似
度が基準値より高い場合に前回使用していた本人と同定
されてアクセス可能になる。基準値より小さい場合はア
クセスを禁止する。
【００５７】次に時刻Ｔ１からは、辞書生成モードに設
定される。
定される。
【００５８】(ii)辞書生成モード 所定動作検出部１８が所定動作を検出して所定動作検出
信号がＯＮになっている場合に学習データを収集して辞
書画像を生成する。連続して入力される画像から抽出さ
れた顔領域画像は顔特徴点抽出部１４ａに送られて瞳、
鼻穴、口端が検出される。抽出された特徴点情報はフレ
ーム評価部１６ａに送られて、例えば式（３）から誤差
が計算される。誤差が閾値より小さい場合には学習デー
タとして有効であると判断され学習画像記憶部１６ｂに
蓄えられる。学習画像記憶部１６ｂに規定枚数以上の学
習データが蓄えられたら学習データは主成分分析部１６
ｃに送られて辞書画像が生成される。
信号がＯＮになっている場合に学習データを収集して辞
書画像を生成する。連続して入力される画像から抽出さ
れた顔領域画像は顔特徴点抽出部１４ａに送られて瞳、
鼻穴、口端が検出される。抽出された特徴点情報はフレ
ーム評価部１６ａに送られて、例えば式（３）から誤差
が計算される。誤差が閾値より小さい場合には学習デー
タとして有効であると判断され学習画像記憶部１６ｂに
蓄えられる。学習画像記憶部１６ｂに規定枚数以上の学
習データが蓄えられたら学習データは主成分分析部１６
ｃに送られて辞書画像が生成される。
【００５９】使用者が離席すると即座にスクリーンロッ
クを起動する。再び使用者が着席すると最初の処理に戻
る。
クを起動する。再び使用者が着席すると最初の処理に戻
る。
【００６０】なお、上記説明では所定動作検出部１８が
所定動作を検出して所定動作検出信号がＯＮになってい
る場合に辞書画像を生成していたが、さらに、所定動作
検出信号がＯＦＦにあった後、一定期間（例えば、１分
間）の間は続けて辞書画像を生成してもよい。
所定動作を検出して所定動作検出信号がＯＮになってい
る場合に辞書画像を生成していたが、さらに、所定動作
検出信号がＯＦＦにあった後、一定期間（例えば、１分
間）の間は続けて辞書画像を生成してもよい。
【００６１】（変更例）次に、情報端末のセキュリティ
だけではなく、情報端末のサービスにおける実施例につ
いて説明する。
だけではなく、情報端末のサービスにおける実施例につ
いて説明する。
【００６２】例えば、顔を登録する場合に、顔領域から
得られる特徴量だけではなく、情報端末の操作履歴も同
時に記憶することを考える。顔の情報と同時に登録して
おくことによって、その人間の識別と同時に、端末を操
作していたときに、どのような情報を求めていたのかを
履歴から抽出できる。
得られる特徴量だけではなく、情報端末の操作履歴も同
時に記憶することを考える。顔の情報と同時に登録して
おくことによって、その人間の識別と同時に、端末を操
作していたときに、どのような情報を求めていたのかを
履歴から抽出できる。
【００６３】情報検索を例とすると、使用者は検索式等
を入力する作業を行う。個人識別のために必要な情報に
加え、その検索式、検索内容の履歴をデータベースに蓄
えておく。蓄えられたデータをもとに、使用者の興味あ
る内容を推定、抽出し、新たな情報検索を行って保持し
ておく。また、その使用者が使用していた画面の表示状
態も前記データの一つとして保持しておく。
を入力する作業を行う。個人識別のために必要な情報に
加え、その検索式、検索内容の履歴をデータベースに蓄
えておく。蓄えられたデータをもとに、使用者の興味あ
る内容を推定、抽出し、新たな情報検索を行って保持し
ておく。また、その使用者が使用していた画面の表示状
態も前記データの一つとして保持しておく。
【００６４】そして使用者が再び、情報端末へのログイ
ン、操作復帰を行った場合、端末に新たに検索した所望
と考えられる情報の提供やその使用者に合わせた画面の
表示状態を自動的に行うサービスが可能となる。
ン、操作復帰を行った場合、端末に新たに検索した所望
と考えられる情報の提供やその使用者に合わせた画面の
表示状態を自動的に行うサービスが可能となる。
【００６５】これらの履歴情報は顔の登録情報とリンク
して蓄えられることにより、いつこのような情報を検索
していたかというタイムスタンプの代わりになり、これ
に基づいて、いつの時点の顔の状態に近いのかを認識し
て、その当時の履歴情報に基づいた情報を提示しても良
い。
して蓄えられることにより、いつこのような情報を検索
していたかというタイムスタンプの代わりになり、これ
に基づいて、いつの時点の顔の状態に近いのかを認識し
て、その当時の履歴情報に基づいた情報を提示しても良
い。
【００６６】また、顔の登録の際の検証機構として、表
情検出、認識を用いれば、人間の感情状態に応じた情報
の操作履歴をとることも可能であり、平常時の辞書、笑
ったときの辞書、怒っているときの辞書などを生成する
こともできる。新たに顔認識を行う際に、表情情報に対
応した情報提供を行っても良い。
情検出、認識を用いれば、人間の感情状態に応じた情報
の操作履歴をとることも可能であり、平常時の辞書、笑
ったときの辞書、怒っているときの辞書などを生成する
こともできる。新たに顔認識を行う際に、表情情報に対
応した情報提供を行っても良い。
【００６７】これらは顔登録の更新と情報操作履歴の更
新を継続的に同時に行うことにより、より確かな情報提
供が可能になる。
新を継続的に同時に行うことにより、より確かな情報提
供が可能になる。
【００６８】これらの実施例は情報端末を例に説明した
が、例えばＴＶ、電話など家電製品に置き換えても良
い。
が、例えばＴＶ、電話など家電製品に置き換えても良
い。
【００６９】ＴＶの場合には、リモコンに超小型カメラ
を搭載する。所定の動作はリモコンのボタンを押してい
る動作と定義する。電話の場合には、受話器に超小型Ｃ
ＣＤが搭載して受話器を上げる動作を所定の動作と定義
する。
を搭載する。所定の動作はリモコンのボタンを押してい
る動作と定義する。電話の場合には、受話器に超小型Ｃ
ＣＤが搭載して受話器を上げる動作を所定の動作と定義
する。
【００７０】さらに、本実施例の装置１０を現金自動預
け払い機（以下、ＡＴＭという）に使用してもよい。
け払い機（以下、ＡＴＭという）に使用してもよい。
【００７１】すなわち、使用者の本人確認のためにこの
装置１０を使用することにより、他人による取り忘れ、
現金の横取りなどの不正使用を確実に防止できる。この
場合には、画像入力部１１を、ＡＴＭの操作パネルの近
傍に配置して使用者の顔が確実に写るようにする。ま
た、顔画像と同時に口座番号や更新登録時刻を登録して
おいてもよい。
装置１０を使用することにより、他人による取り忘れ、
現金の横取りなどの不正使用を確実に防止できる。この
場合には、画像入力部１１を、ＡＴＭの操作パネルの近
傍に配置して使用者の顔が確実に写るようにする。ま
た、顔画像と同時に口座番号や更新登録時刻を登録して
おいてもよい。
【００７２】
【発明の効果】以上、本発明によれば、入力された画像
中から新規顔画像を抽出して、これが辞書登録に値する
顔画像か否かを判断して、有効と判断した入力顔画像の
みを登録するために、不要な顔画像の登録を排除できて
辞書精度を上げることができる。
中から新規顔画像を抽出して、これが辞書登録に値する
顔画像か否かを判断して、有効と判断した入力顔画像の
みを登録するために、不要な顔画像の登録を排除できて
辞書精度を上げることができる。
【図面の簡単な説明】
【図１】本実施例の装置のブロック図である。
【図２】本人同定モード及び辞書生成モードの時間的な
変化を示す図である。
変化を示す図である。
【図３】認識部のブロック図である。
【図４】瞳、鼻穴を基準にした正規化処理の例を示す図
である。
である。
【図５】辞書生成部のブロック図である。
【図６】線形結合した際の誤差を使用した説明図であ
る。
る。
【図７】本実施例の動作を説明する図である。
【符号の説明】 １１ 画像入力部 １２ 顔領域抽出部 １３ 状況認識部 １４ 認識部 １５ 辞書生成部 １６ アクセス制御部 １７ 辞書画像 １８ 所定動作検出部
Claims (6)
- 【請求項１】人物の顔画像を登録している辞書手段を有
する顔画像登録装置において、 前記人物の画像を入力する画像入力手段と、 前記画像入力手段によって入力された画像中から前記人
物の顔領域の画像である入力顔画像を抽出する顔領域抽
出手段と、 前記顔領域抽出手段によって抽出された入力顔画像が、
前記辞書手段に登録可能な顔画像であるか否かを判断す
る判断手段と、 前記判断手段によって登録可能と判断された入力顔画像
を前記顔画像として前記辞書手段に登録させる登録手段
からなることを特徴とする顔画像登録装置。 - 【請求項２】前記判断手段は、 前記顔領域抽出手段によって抽出された入力顔画像から
顔の特徴量を抽出し、 この抽出された特徴量と、予め設定された基準とを比較
して、 前記特徴量が前記基準以上であれば登録可能と判断する
ことを特徴とする請求項１記載の顔画像登録装置。 - 【請求項３】前記人物の所定の動作を検出する動作検出
手段を有し、 前記判断手段は、 前記動作検出手段が前記所定の動作を検出している間、
または、その検出後一定期間の間に、前記顔領域抽出手
段によって抽出された入力顔画像が前記辞書手段に登録
するための前記顔画像として登録可能か否かを判断する
ことを特徴とする請求項１記載の顔画像登録装置。 - 【請求項４】人物の顔画像を登録するための顔画像登録
方法において、 前記人物の画像を入力する画像入力ステップと、 前記画像入力ステップにおいて入力された画像中から前
記人物の顔領域の画像である入力顔画像を抽出する顔領
域抽出ステップと、 前記顔領域抽出ステップにおいて抽出された入力顔画像
が、前記登録可能な顔画像か否かを判断する判断ステッ
プと、 前記判断ステップにおいて登録可能と判断された入力顔
画像を前記顔画像として登録させる登録ステップからな
ることを特徴とする顔画像登録方法。 - 【請求項５】前記判断ステップは、 前記顔領域抽出ステップにおいて抽出された入力顔画像
から顔の特徴量を抽出し、 この抽出された特徴量と、予め設定された基準とを比較
して、 前記特徴量が前記基準以上であれば登録可能と判断する
ことを特徴とする請求項４記載の顔画像登録方法。 - 【請求項６】前記人物の所定の動作を検出する動作検出
ステップを有し、 前記判断ステップは、 前記動作検出ステップにおいて前記所定の動作を検出し
ている間、または、その検出後一定期間の間に、前記顔
領域抽出ステップにおいて抽出された入力顔画像が前記
顔画像として登録可能か否かを判断することを特徴とす
る請求項４記載の顔画像登録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03370497A JP3469031B2 (ja) | 1997-02-18 | 1997-02-18 | 顔画像登録装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03370497A JP3469031B2 (ja) | 1997-02-18 | 1997-02-18 | 顔画像登録装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10232934A true JPH10232934A (ja) | 1998-09-02 |
| JP3469031B2 JP3469031B2 (ja) | 2003-11-25 |
Family
ID=12393817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03370497A Expired - Fee Related JP3469031B2 (ja) | 1997-02-18 | 1997-02-18 | 顔画像登録装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3469031B2 (ja) |
Cited By (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001148843A (ja) * | 1999-11-18 | 2001-05-29 | Mega Chips Corp | 撮影装置及びこの撮影装置を用いた防犯システム |
| JP2001338296A (ja) * | 2000-03-22 | 2001-12-07 | Toshiba Corp | 顔画像認識装置および通行制御装置 |
| JP2002006203A (ja) * | 2000-06-19 | 2002-01-09 | Olympus Optical Co Ltd | 合焦装置及び撮像装置 |
| JP2003022441A (ja) * | 2001-07-06 | 2003-01-24 | Minolta Co Ltd | 領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置 |
| KR20030065049A (ko) * | 2002-01-29 | 2003-08-06 | 삼성전자주식회사 | 얼굴 인식에 의한 출입 통제 방법 및 그 장치 |
| JP2004062868A (ja) * | 2002-07-10 | 2004-02-26 | Hewlett-Packard Development Co Lp | 画像内の人物を識別するデジタル・カメラ及び方法 |
| KR100481116B1 (ko) * | 2001-03-09 | 2005-04-07 | 가부시끼가이샤 도시바 | 안면화상 인식장치 |
| EP1522952A2 (en) | 2003-10-10 | 2005-04-13 | Nikon Corporation | Digital camera |
| WO2005038716A1 (ja) * | 2003-10-21 | 2005-04-28 | Nec Corporation | 画像照合システム及び画像照合方法 |
| JP2005513682A (ja) * | 2001-12-22 | 2005-05-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ユーザ識別方法及び装置 |
| WO2006046479A1 (ja) * | 2004-10-29 | 2006-05-04 | Matsushita Electric Industrial Co., Ltd. | 生体情報認証装置および生体情報認証方法 |
| JP2006244385A (ja) * | 2005-03-07 | 2006-09-14 | Fuji Photo Film Co Ltd | 顔判別装置およびプログラム並びに顔判別装置の学習方法 |
| JP2007156944A (ja) * | 2005-12-07 | 2007-06-21 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
| WO2007105768A1 (ja) * | 2006-03-15 | 2007-09-20 | Omron Corporation | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| JP2007279929A (ja) * | 2006-04-05 | 2007-10-25 | Dainippon Printing Co Ltd | 機器の不正使用防止システム及びその方法 |
| US7336807B2 (en) | 2002-07-23 | 2008-02-26 | Omron Corporation | Dishonest registration preventive apparatus in personal authentication system |
| US7362887B2 (en) | 2004-02-13 | 2008-04-22 | Honda Motor Co., Ltd. | Face identification apparatus, face identification method, and face identification program |
| JP2008263305A (ja) * | 2007-04-10 | 2008-10-30 | Toshiba Corp | 電子機器および録画制御方法 |
| JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
| JP2009153219A (ja) * | 2009-04-06 | 2009-07-09 | Nikon Corp | 電子カメラ |
| US7672580B2 (en) | 2005-03-17 | 2010-03-02 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling display device |
| EP2161923A2 (en) | 2004-02-06 | 2010-03-10 | Nikon Corporation | Digital camera |
| JP2010072708A (ja) * | 2008-09-16 | 2010-04-02 | Kddi Corp | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 |
| US7791668B2 (en) | 2005-01-18 | 2010-09-07 | Nikon Corporation | Digital camera |
| US7792355B2 (en) | 2006-03-30 | 2010-09-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and image capturing apparatus |
| US7835549B2 (en) | 2005-03-07 | 2010-11-16 | Fujifilm Corporation | Learning method of face classification apparatus, face classification method, apparatus and program |
| US7844140B2 (en) | 2006-02-24 | 2010-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and server and control method of the same |
| EP2259573A2 (en) | 2004-05-07 | 2010-12-08 | Nikon Corporation | Digital Camera |
| JP2011044064A (ja) * | 2009-08-24 | 2011-03-03 | Nikon Corp | 画像処理装置、および画像処理プログラム |
| US7945152B2 (en) | 2006-05-10 | 2011-05-17 | Canon Kabushiki Kaisha | Focus adjustment method, focus adjustment apparatus, and control method thereof |
| JP2011154717A (ja) * | 2011-04-18 | 2011-08-11 | Toshiba Corp | 顔画像処理装置 |
| JP2012073539A (ja) * | 2010-09-29 | 2012-04-12 | Xing Inc | カラオケ装置 |
| US8160310B2 (en) | 2007-09-11 | 2012-04-17 | Canon Kabushiki Kaisha | Image processing method and apparatus for processing an image by using a face detection result |
| EP2448249A2 (en) | 2006-01-31 | 2012-05-02 | Canon Kabushiki Kaisha | Method for displaying an identified region together with an image, and imaging apparatus |
| US8189090B2 (en) | 2008-08-06 | 2012-05-29 | Canon Kabushiki Kaisha | Image pick-up apparatus and control method therefor |
| US8223216B2 (en) | 2008-03-03 | 2012-07-17 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8237853B2 (en) | 2006-07-31 | 2012-08-07 | Canon Kabushiki Kaisha | Image sensing apparatus and control method therefor |
| US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
| JP2012186821A (ja) * | 2012-04-18 | 2012-09-27 | Toshiba Corp | 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法 |
| US8300112B2 (en) | 2006-07-03 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
| US8488847B2 (en) | 2005-11-25 | 2013-07-16 | Nikon Corporation | Electronic camera and image processing device |
| JP2015015019A (ja) * | 2013-06-28 | 2015-01-22 | コグネックス・コーポレイション | 複数のパターン認識及び登録ツールモデルをトレーニングするための半教師付き方法 |
| US9147106B2 (en) | 2003-04-15 | 2015-09-29 | Nikon Corporation | Digital camera system |
| US9208595B2 (en) | 2012-07-09 | 2015-12-08 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| JP2017162489A (ja) * | 2007-09-24 | 2017-09-14 | アップル インコーポレイテッド | 電子デバイスに組み込まれた認証システム |
| JP2017167366A (ja) * | 2016-03-16 | 2017-09-21 | Kddi株式会社 | 通信端末、通信方法及びプログラム |
| US9781331B2 (en) | 2014-12-19 | 2017-10-03 | Canon Kabushiki Kaisha | Imaging apparatus, and control method thereof |
| JP2018525718A (ja) * | 2015-06-30 | 2018-09-06 | ユウトウ・テクノロジー（ハンジョウ）・カンパニー・リミテッド | 顔認識システム及び顔認識方法 |
| JP2018198067A (ja) * | 2018-07-11 | 2018-12-13 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、及びプログラム |
| US10262182B2 (en) | 2013-09-09 | 2019-04-16 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US10334054B2 (en) | 2016-05-19 | 2019-06-25 | Apple Inc. | User interface for a device requesting remote authorization |
| US10395128B2 (en) | 2017-09-09 | 2019-08-27 | Apple Inc. | Implementation of biometric authentication |
| US10419933B2 (en) | 2011-09-29 | 2019-09-17 | Apple Inc. | Authentication with secondary approver |
| US10438205B2 (en) | 2014-05-29 | 2019-10-08 | Apple Inc. | User interface for payments |
| US10484384B2 (en) | 2011-09-29 | 2019-11-19 | Apple Inc. | Indirect authentication |
| US10521579B2 (en) | 2017-09-09 | 2019-12-31 | Apple Inc. | Implementation of biometric authentication |
| US10796418B2 (en) | 2017-05-31 | 2020-10-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| WO2021256289A1 (ja) * | 2020-06-19 | 2021-12-23 | 京セラ株式会社 | 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム |
| US11209961B2 (en) | 2012-05-18 | 2021-12-28 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US11676373B2 (en) | 2008-01-03 | 2023-06-13 | Apple Inc. | Personal computing device control using face detection and recognition |
| US12079458B2 (en) | 2016-09-23 | 2024-09-03 | Apple Inc. | Image data for enhanced user interactions |
| US12099586B2 (en) | 2021-01-25 | 2024-09-24 | Apple Inc. | Implementation of biometric authentication |
| US12210603B2 (en) | 2021-03-04 | 2025-01-28 | Apple Inc. | User interface for enrolling a biometric feature |
| US12216754B2 (en) | 2021-05-10 | 2025-02-04 | Apple Inc. | User interfaces for authenticating to perform secure operations |
| US12262111B2 (en) | 2011-06-05 | 2025-03-25 | Apple Inc. | Device, method, and graphical user interface for accessing an application in a locked device |
| US12526392B2 (en) | 2023-03-07 | 2026-01-13 | Canon Kabushiki Kaisha | Information processing apparatus and method, and storage medium for generating arbitrary viewpoint images |
| US12619304B2 (en) | 2024-09-09 | 2026-05-05 | Apple Inc. | Device control using gaze information |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6045232B2 (ja) | 2012-07-09 | 2016-12-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6071288B2 (ja) | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6222900B2 (ja) | 2012-07-09 | 2017-11-01 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5956860B2 (ja) | 2012-07-09 | 2016-07-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP6012309B2 (ja) | 2012-07-09 | 2016-10-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP6071287B2 (ja) | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6071289B2 (ja) | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP6012308B2 (ja) | 2012-07-09 | 2016-10-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6074182B2 (ja) | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
| JP5993642B2 (ja) | 2012-07-09 | 2016-09-14 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
| JP6012310B2 (ja) | 2012-07-09 | 2016-10-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP6016489B2 (ja) | 2012-07-09 | 2016-10-26 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム |
| JP6261206B2 (ja) | 2013-06-28 | 2018-01-17 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP6168928B2 (ja) | 2013-09-05 | 2017-07-26 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2015053541A (ja) | 2013-09-05 | 2015-03-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6282065B2 (ja) | 2013-09-05 | 2018-02-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US11087121B2 (en) | 2018-04-05 | 2021-08-10 | West Virginia University | High accuracy and volume facial recognition on mobile platforms |
-
1997
- 1997-02-18 JP JP03370497A patent/JP3469031B2/ja not_active Expired - Fee Related
Cited By (127)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001148843A (ja) * | 1999-11-18 | 2001-05-29 | Mega Chips Corp | 撮影装置及びこの撮影装置を用いた防犯システム |
| JP2001338296A (ja) * | 2000-03-22 | 2001-12-07 | Toshiba Corp | 顔画像認識装置および通行制御装置 |
| JP2002006203A (ja) * | 2000-06-19 | 2002-01-09 | Olympus Optical Co Ltd | 合焦装置及び撮像装置 |
| KR100481116B1 (ko) * | 2001-03-09 | 2005-04-07 | 가부시끼가이샤 도시바 | 안면화상 인식장치 |
| JP2003022441A (ja) * | 2001-07-06 | 2003-01-24 | Minolta Co Ltd | 領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置 |
| JP2005513682A (ja) * | 2001-12-22 | 2005-05-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ユーザ識別方法及び装置 |
| KR20030065049A (ko) * | 2002-01-29 | 2003-08-06 | 삼성전자주식회사 | 얼굴 인식에 의한 출입 통제 방법 및 그 장치 |
| US7843495B2 (en) | 2002-07-10 | 2010-11-30 | Hewlett-Packard Development Company, L.P. | Face recognition in a digital imaging system accessing a database of people |
| JP2004062868A (ja) * | 2002-07-10 | 2004-02-26 | Hewlett-Packard Development Co Lp | 画像内の人物を識別するデジタル・カメラ及び方法 |
| US7336807B2 (en) | 2002-07-23 | 2008-02-26 | Omron Corporation | Dishonest registration preventive apparatus in personal authentication system |
| US9147106B2 (en) | 2003-04-15 | 2015-09-29 | Nikon Corporation | Digital camera system |
| US8159561B2 (en) | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
| EP1522952A2 (en) | 2003-10-10 | 2005-04-13 | Nikon Corporation | Digital camera |
| JPWO2005038716A1 (ja) * | 2003-10-21 | 2007-01-25 | 日本電気株式会社 | 画像照合システム及び画像照合方法 |
| WO2005038716A1 (ja) * | 2003-10-21 | 2005-04-28 | Nec Corporation | 画像照合システム及び画像照合方法 |
| JP4556873B2 (ja) * | 2003-10-21 | 2010-10-06 | 日本電気株式会社 | 画像照合システム及び画像照合方法 |
| US7715619B2 (en) | 2003-10-21 | 2010-05-11 | Nec Corporation | Image collation system and image collation method |
| US8830343B2 (en) | 2004-02-06 | 2014-09-09 | Nikon Corporation | Digital camera |
| US8120664B2 (en) | 2004-02-06 | 2012-02-21 | Nikon Corporation | Digital camera |
| EP2161923A2 (en) | 2004-02-06 | 2010-03-10 | Nikon Corporation | Digital camera |
| EP2161922A2 (en) | 2004-02-06 | 2010-03-10 | Nikon Corporation | Digital Camera |
| US7362887B2 (en) | 2004-02-13 | 2008-04-22 | Honda Motor Co., Ltd. | Face identification apparatus, face identification method, and face identification program |
| DE102004051159B4 (de) * | 2004-02-13 | 2008-10-02 | Honda Motor Co., Ltd. | Gesichts-Identifizierungsvorrichtung, Gesicht-Identifizierungsverfahren und Gesicht-Identifizierungsprogramm |
| EP2259573A2 (en) | 2004-05-07 | 2010-12-08 | Nikon Corporation | Digital Camera |
| WO2006046479A1 (ja) * | 2004-10-29 | 2006-05-04 | Matsushita Electric Industrial Co., Ltd. | 生体情報認証装置および生体情報認証方法 |
| US7791668B2 (en) | 2005-01-18 | 2010-09-07 | Nikon Corporation | Digital camera |
| US7835549B2 (en) | 2005-03-07 | 2010-11-16 | Fujifilm Corporation | Learning method of face classification apparatus, face classification method, apparatus and program |
| JP2006244385A (ja) * | 2005-03-07 | 2006-09-14 | Fuji Photo Film Co Ltd | 顔判別装置およびプログラム並びに顔判別装置の学習方法 |
| US7672580B2 (en) | 2005-03-17 | 2010-03-02 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling display device |
| US8488847B2 (en) | 2005-11-25 | 2013-07-16 | Nikon Corporation | Electronic camera and image processing device |
| JP2007156944A (ja) * | 2005-12-07 | 2007-06-21 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
| US7720261B2 (en) | 2005-12-07 | 2010-05-18 | Sony Corporation | Image processing apparatus, image processing method, program, and recording medium |
| EP2448249A2 (en) | 2006-01-31 | 2012-05-02 | Canon Kabushiki Kaisha | Method for displaying an identified region together with an image, and imaging apparatus |
| EP2448250A2 (en) | 2006-01-31 | 2012-05-02 | Canon Kabushiki Kaisha | Method for displaying an identified region together with an image, and imaging apparatus |
| US7844140B2 (en) | 2006-02-24 | 2010-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and server and control method of the same |
| KR100996066B1 (ko) | 2006-03-15 | 2010-11-25 | 오므론 가부시키가이샤 | 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 |
| JP2007249588A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| US8848985B2 (en) | 2006-03-15 | 2014-09-30 | Omron Corporation | Face-image registration device, face-image registration method, face-image registration program, and storage medium |
| WO2007105768A1 (ja) * | 2006-03-15 | 2007-09-20 | Omron Corporation | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| US7792355B2 (en) | 2006-03-30 | 2010-09-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and image capturing apparatus |
| JP2007279929A (ja) * | 2006-04-05 | 2007-10-25 | Dainippon Printing Co Ltd | 機器の不正使用防止システム及びその方法 |
| US7945152B2 (en) | 2006-05-10 | 2011-05-17 | Canon Kabushiki Kaisha | Focus adjustment method, focus adjustment apparatus, and control method thereof |
| US8145049B2 (en) | 2006-05-10 | 2012-03-27 | Canon Kabushiki Kaisha | Focus adjustment method, focus adjustment apparatus, and control method thereof |
| US8300112B2 (en) | 2006-07-03 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
| US8237853B2 (en) | 2006-07-31 | 2012-08-07 | Canon Kabushiki Kaisha | Image sensing apparatus and control method therefor |
| JP2008263305A (ja) * | 2007-04-10 | 2008-10-30 | Toshiba Corp | 電子機器および録画制御方法 |
| US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
| JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
| US8160310B2 (en) | 2007-09-11 | 2012-04-17 | Canon Kabushiki Kaisha | Image processing method and apparatus for processing an image by using a face detection result |
| USRE46232E1 (en) | 2007-09-11 | 2016-12-06 | Canon Kabushiki Kaisha | Image processing method and apparatus for processing an image by using a face detection result |
| JP2017162489A (ja) * | 2007-09-24 | 2017-09-14 | アップル インコーポレイテッド | 電子デバイスに組み込まれた認証システム |
| US10956550B2 (en) | 2007-09-24 | 2021-03-23 | Apple Inc. | Embedded authentication systems in an electronic device |
| US11468155B2 (en) | 2007-09-24 | 2022-10-11 | Apple Inc. | Embedded authentication systems in an electronic device |
| US10275585B2 (en) | 2007-09-24 | 2019-04-30 | Apple Inc. | Embedded authentication systems in an electronic device |
| US11676373B2 (en) | 2008-01-03 | 2023-06-13 | Apple Inc. | Personal computing device control using face detection and recognition |
| US12406490B2 (en) | 2008-01-03 | 2025-09-02 | Apple Inc. | Personal computing device control using face detection and recognition |
| US8223216B2 (en) | 2008-03-03 | 2012-07-17 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8531547B2 (en) | 2008-03-03 | 2013-09-10 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8189090B2 (en) | 2008-08-06 | 2012-05-29 | Canon Kabushiki Kaisha | Image pick-up apparatus and control method therefor |
| JP2010072708A (ja) * | 2008-09-16 | 2010-04-02 | Kddi Corp | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 |
| JP2009153219A (ja) * | 2009-04-06 | 2009-07-09 | Nikon Corp | 電子カメラ |
| JP2011044064A (ja) * | 2009-08-24 | 2011-03-03 | Nikon Corp | 画像処理装置、および画像処理プログラム |
| US8355056B2 (en) | 2009-08-24 | 2013-01-15 | Nikon Corporation | Image processing device, imaging device, and image processing program |
| JP2012073539A (ja) * | 2010-09-29 | 2012-04-12 | Xing Inc | カラオケ装置 |
| JP2011154717A (ja) * | 2011-04-18 | 2011-08-11 | Toshiba Corp | 顔画像処理装置 |
| US12262111B2 (en) | 2011-06-05 | 2025-03-25 | Apple Inc. | Device, method, and graphical user interface for accessing an application in a locked device |
| US11755712B2 (en) | 2011-09-29 | 2023-09-12 | Apple Inc. | Authentication with secondary approver |
| US11200309B2 (en) | 2011-09-29 | 2021-12-14 | Apple Inc. | Authentication with secondary approver |
| US10516997B2 (en) | 2011-09-29 | 2019-12-24 | Apple Inc. | Authentication with secondary approver |
| US10484384B2 (en) | 2011-09-29 | 2019-11-19 | Apple Inc. | Indirect authentication |
| US10419933B2 (en) | 2011-09-29 | 2019-09-17 | Apple Inc. | Authentication with secondary approver |
| JP2012186821A (ja) * | 2012-04-18 | 2012-09-27 | Toshiba Corp | 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法 |
| US11989394B2 (en) | 2012-05-18 | 2024-05-21 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US11209961B2 (en) | 2012-05-18 | 2021-12-28 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US9208595B2 (en) | 2012-07-09 | 2015-12-08 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US10127436B2 (en) | 2012-07-09 | 2018-11-13 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9852325B2 (en) | 2012-07-09 | 2017-12-26 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| JP2015015019A (ja) * | 2013-06-28 | 2015-01-22 | コグネックス・コーポレイション | 複数のパターン認識及び登録ツールモデルをトレーニングするための半教師付き方法 |
| US11768575B2 (en) | 2013-09-09 | 2023-09-26 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US11494046B2 (en) | 2013-09-09 | 2022-11-08 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US10262182B2 (en) | 2013-09-09 | 2019-04-16 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US10372963B2 (en) | 2013-09-09 | 2019-08-06 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US11287942B2 (en) | 2013-09-09 | 2022-03-29 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces |
| US10410035B2 (en) | 2013-09-09 | 2019-09-10 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US12314527B2 (en) | 2013-09-09 | 2025-05-27 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US10803281B2 (en) | 2013-09-09 | 2020-10-13 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US10902424B2 (en) | 2014-05-29 | 2021-01-26 | Apple Inc. | User interface for payments |
| US11836725B2 (en) | 2014-05-29 | 2023-12-05 | Apple Inc. | User interface for payments |
| US10748153B2 (en) | 2014-05-29 | 2020-08-18 | Apple Inc. | User interface for payments |
| US10438205B2 (en) | 2014-05-29 | 2019-10-08 | Apple Inc. | User interface for payments |
| US10796309B2 (en) | 2014-05-29 | 2020-10-06 | Apple Inc. | User interface for payments |
| US10977651B2 (en) | 2014-05-29 | 2021-04-13 | Apple Inc. | User interface for payments |
| US9781331B2 (en) | 2014-12-19 | 2017-10-03 | Canon Kabushiki Kaisha | Imaging apparatus, and control method thereof |
| JP2018525718A (ja) * | 2015-06-30 | 2018-09-06 | ユウトウ・テクノロジー（ハンジョウ）・カンパニー・リミテッド | 顔認識システム及び顔認識方法 |
| JP2017167366A (ja) * | 2016-03-16 | 2017-09-21 | Kddi株式会社 | 通信端末、通信方法及びプログラム |
| US11206309B2 (en) | 2016-05-19 | 2021-12-21 | Apple Inc. | User interface for remote authorization |
| US10749967B2 (en) | 2016-05-19 | 2020-08-18 | Apple Inc. | User interface for remote authorization |
| US10334054B2 (en) | 2016-05-19 | 2019-06-25 | Apple Inc. | User interface for a device requesting remote authorization |
| US12079458B2 (en) | 2016-09-23 | 2024-09-03 | Apple Inc. | Image data for enhanced user interactions |
| US10796418B2 (en) | 2017-05-31 | 2020-10-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| US11765163B2 (en) | 2017-09-09 | 2023-09-19 | Apple Inc. | Implementation of biometric authentication |
| US10783227B2 (en) | 2017-09-09 | 2020-09-22 | Apple Inc. | Implementation of biometric authentication |
| US10521579B2 (en) | 2017-09-09 | 2019-12-31 | Apple Inc. | Implementation of biometric authentication |
| US11386189B2 (en) | 2017-09-09 | 2022-07-12 | Apple Inc. | Implementation of biometric authentication |
| US12462005B2 (en) | 2017-09-09 | 2025-11-04 | Apple Inc. | Implementation of biometric authentication |
| US10410076B2 (en) | 2017-09-09 | 2019-09-10 | Apple Inc. | Implementation of biometric authentication |
| US10395128B2 (en) | 2017-09-09 | 2019-08-27 | Apple Inc. | Implementation of biometric authentication |
| US11393258B2 (en) | 2017-09-09 | 2022-07-19 | Apple Inc. | Implementation of biometric authentication |
| US10872256B2 (en) | 2017-09-09 | 2020-12-22 | Apple Inc. | Implementation of biometric authentication |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| US12189748B2 (en) | 2018-06-03 | 2025-01-07 | Apple Inc. | Implementation of biometric authentication |
| US11928200B2 (en) | 2018-06-03 | 2024-03-12 | Apple Inc. | Implementation of biometric authentication |
| JP2018198067A (ja) * | 2018-07-11 | 2018-12-13 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、及びプログラム |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| US11619991B2 (en) | 2018-09-28 | 2023-04-04 | Apple Inc. | Device control using gaze information |
| US12105874B2 (en) | 2018-09-28 | 2024-10-01 | Apple Inc. | Device control using gaze information |
| US12124770B2 (en) | 2018-09-28 | 2024-10-22 | Apple Inc. | Audio assisted enrollment |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US11809784B2 (en) | 2018-09-28 | 2023-11-07 | Apple Inc. | Audio assisted enrollment |
| WO2021256289A1 (ja) * | 2020-06-19 | 2021-12-23 | 京セラ株式会社 | 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム |
| JP2022002004A (ja) * | 2020-06-19 | 2022-01-06 | 京セラ株式会社 | 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム |
| US12099586B2 (en) | 2021-01-25 | 2024-09-24 | Apple Inc. | Implementation of biometric authentication |
| US12210603B2 (en) | 2021-03-04 | 2025-01-28 | Apple Inc. | User interface for enrolling a biometric feature |
| US12216754B2 (en) | 2021-05-10 | 2025-02-04 | Apple Inc. | User interfaces for authenticating to perform secure operations |
| US12526392B2 (en) | 2023-03-07 | 2026-01-13 | Canon Kabushiki Kaisha | Information processing apparatus and method, and storage medium for generating arbitrary viewpoint images |
| US12619304B2 (en) | 2024-09-09 | 2026-05-05 | Apple Inc. | Device control using gaze information |
| US12619701B2 (en) | 2024-09-26 | 2026-05-05 | Apple Inc. | User interfaces for authenticating to perform secure operations |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3469031B2 (ja) | 2003-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3469031B2 (ja) | 顔画像登録装置及びその方法 | |
| US7158657B2 (en) | Face image recording system | |
| US7120278B2 (en) | Person recognition apparatus | |
| Parmar et al. | Face recognition methods & applications | |
| JP4314016B2 (ja) | 人物認識装置および通行制御装置 | |
| Raghuwanshi et al. | An automated classroom attendance system using video based face recognition | |
| CN101558431B (zh) | 脸认证设备 | |
| JP2003317101A (ja) | データベース自動更新方法を用いた顔検証方法及びそのシステム | |
| CN111144366A (zh) | 一种基于联合人脸质量评估的陌生人脸聚类方法 | |
| Charity et al. | A bimodal biometrie student attendance system | |
| KR20200060942A (ko) | 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법 | |
| Koodalsamy et al. | Face recognition using deep learning | |
| JP2004234355A (ja) | 人物認識装置、人物認識方法および通行制御装置 | |
| JP2001256496A (ja) | 顔画像認識装置及び顔画像認識方法 | |
| CN114218543B (zh) | 一种基于多场景表情识别的加密解锁系统及方法 | |
| Meenakshi | Real-Time Facial Recognition System—Design, Implementation and Validation | |
| Sharma et al. | Face recognition using haar cascade and local binary pattern histogram in opencv | |
| Ferdinand et al. | ATM security system modeling using face recognition with FaceNet and Haar cascade | |
| Rosy et al. | An enhanced intelligent attendance management system for smart campus | |
| Shashikala et al. | Attendance monitoring system using face recognition | |
| Sai et al. | Student attendance monitoring system using face recognition | |
| JP7789237B1 (ja) | 認証装置、認証方法、及びプログラム | |
| JP2004157923A (ja) | 人物認識装置、人物認識方法および通行制御装置 | |
| JP2005063173A (ja) | 生体認証装置および通行制御装置 | |
| Alex et al. | Faceattendance: Leveraging facial features for attendance tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |