JP5247480B2 - オブジェクト識別装置及びオブジェクト識別方法 - Google Patents
オブジェクト識別装置及びオブジェクト識別方法 Download PDFInfo
- Publication number
- JP5247480B2 JP5247480B2 JP2009005030A JP2009005030A JP5247480B2 JP 5247480 B2 JP5247480 B2 JP 5247480B2 JP 2009005030 A JP2009005030 A JP 2009005030A JP 2009005030 A JP2009005030 A JP 2009005030A JP 5247480 B2 JP5247480 B2 JP 5247480B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- feature vector
- data
- unit
- object identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Description
しかし、非特許文献1の方法によれば、個人識別の問題を、次に挙げる2クラスの識別問題に置き換えることよって、追加学習を実質的に不要にすることが出来る。即ち、
・intra−personal class:同一人物の画像間の、照明変動、表情・向き等の変動特徴クラス
・extra−personal class:異なる人物の画像間の、変動特徴クラス
の2クラスである。
デジタルカメラやWebカメラ等への応用を考えた場合、登録時と識別時とでは、画像の撮影条件及び変動(向き、表情)が、大きく異なることが一般的である。変動に強い特徴量及び特徴量の変換方法の選択が、識別率向上への大きな問題点であった。
以下、実施形態1について図面に基づいて説明する。
図1は、オブジェクト識別装置100の構成の一例を示す図(その1)である。図1に示すように、オブジェクト識別装置100は、結像光学系1、撮像部2、撮像制御部3、画像記録部4、オブジェクト登録部5、オブジェクト識別部6、を含む。また、オブジェクト識別装置100は、オブジェクト識別結果を出力する外部出力部7、各構成要素の制御・データ接続を行うためのバス8、を含む。
なお、オブジェクト登録部5、オブジェクト識別部6は、典型的には、それぞれ専用回路(ASIC)、プロセッサ(リコンフィギュラブルプロセッサ、DSP、CPU等)であってもよい。しかしながら、オブジェクト登録部5、オブジェクト識別部6は、単一の専用回路及び汎用回路(PC用CPU)内部において実行されるプログラムとして存在してもよい。
撮像部2の映像センサとしては、典型的にはCCD又はCMOSイメージセンサが用いられ、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号(例えば、サブサンプリング、ブロック読み出しして得られる信号)が画像データとして出力される。
撮像制御部3は、撮影者からの指示(画角調整指示、シャッター押下、等)及びオブジェクト登録部5又はオブジェクト識別部6からの情報を基に、実際に撮影が行われるタイミングを制御する。
画像記録部4は、半導体メモリ等で構成され、撮像部2から転送(又は入力)された画像データを保持し、オブジェクト登録部5、オブジェクト識別部6からの要求に応じて、所定のタイミングで、画像データを転送する。
オブジェクト識別部6は、画像データ及びオブジェクト登録部5から取得したデータを基に、画像データ中のオブジェクトの識別を行う。オブジェクト識別部6に関して、より具体的な構成及び行われる処理の詳細については、後で詳しく説明する。
外部出力部7は、典型的には、CRTやTFT液晶等のモニタであり、撮像部2及び画像記録部4から取得した画像データを表示、又は画像データにオブジェクト登録部5及びオブジェクト識別部6の結果出力を重畳表示する。また、外部出力部7は、オブジェクト登録部5及びオブジェクト識別部6の結果出力を電子データとして、外部メモリ等に出力する形式をとってもよい。
接続バス8は、上記構成要素間の制御・データ接続を行うためのバスである。
図2は、オブジェクト識別装置の全体処理の一例を示したフローチャートである。この図2を参照しながら、このオブジェクト識別装置が、画像からオブジェクトの識別を行う実際の処理について説明する。なお、以下では、識別するオブジェクトが人物の顔である場合について説明するが、本実施の形態はこれに限定されるものでない。
始めに、オブジェクト識別部6は、画像記録部4から画像データを取得(画像データ入力)する(S00)。続いて、オブジェクト識別部6は、取得した画像データに対して、人の顔の検出処理を行う(S01)。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。オブジェクト識別部6は、例えば、「特許3078166号公報」や「特開2002−8032号公報」で提案されているような技術を用いることが出来る。
対象オブジェクトである人物の顔の検出処理をしたのち、画像中に人の顔が存在するならば(S02でYesの場合)、オブジェクト識別部6は、オブジェクト識別処理、即ち個人の識別処理を行う(S03)。画像中に人の顔が存在しない場合(S02でNoの場合)、オブジェクト識別部6は、図2に示す処理を終了する。オブジェクト識別処理(S03)の具体的な処理内容については、後に詳しく説明する。
以上が、本実施形態にかかるオブジェクト識別装置の全体の処理フローである。
オブジェクト登録処理について説明する。図3は、オブジェクト登録部5の一構成例を示したブロック図である。図3に示すように、オブジェクト登録部5は、オブジェクト辞書データ生成部21、オブジェクト辞書データ保持部22、オブジェクト辞書データ選択部23、を含む。
オブジェクト辞書データ生成部21は、画像記録部4から取得した画像データから、オブジェクトの個体を識別するために必要なオブジェクト辞書データを生成する。オブジェクト辞書データ生成部21は、例えば、非特許文献1にあるようなintra−class及びextra−classの2クラス問題を判別する場合、典型的には、人物の顔画像を辞書データとすればよい。オブジェクト辞書データ生成部21は、オブジェクト検出処理によって検出されたオブジェクトの画像データを、大きさや向き(面内回転方向)等を正規化したのち、オブジェクト辞書データ保持部22に格納するようにしてもよい。
以上のように、オブジェクト辞書データ生成部21は、適宜必要な情報を画像から抽出し、後述する所定の変換を行った後、オブジェクトの識別を行うための特徴ベクトルとして、オブジェクト辞書データ保持部22に格納する。オブジェクト辞書データ生成部21で行われるより具体的な処理の内容については、後に詳しく説明する。
オブジェクト辞書データ選択部23は、後述するオブジェクト識別部6の要求に応じて、オブジェクト辞書データ保持部22から必要なオブジェクト辞書データを読み出して、オブジェクト識別部6にオブジェクト辞書データを転送する。
図4は、オブジェクト辞書データ生成部21の構成の一例を示す図である。図4に示すように、オブジェクト辞書データ生成部21は、特徴ベクトル抽出部31、特徴ベクトル変換部32、特徴ベクトル変換用データ保持部33、を含む。
特徴ベクトル抽出部31は、登録用のオブジェクトデータから特徴ベクトルを抽出する。オブジェクトが人物の顔である場合、典型的には、特徴ベクトル抽出部31は、顔を含む画像から、識別に必要なデータを取り出す処理を行う。特徴ベクトル抽出部31は、識別に必要なデータを、例えば、顔の所定の部分領域から、その輝度値を特徴ベクトルとして抽出することができる。より具体的に説明すると、特徴ベクトル抽出部31は、以下のようにすることができる。まず、特徴ベクトル抽出部31は、顔画像から、目、口、鼻等構成要素の端点を検出する。端点を検出するアルゴリズムは、例えば、特許3078166号公報に記載の畳み込み神経回路網を用いた方法等を用いることが出来る。端点を検出した後、特徴ベクトル抽出部31は、その端点を基準として、所定領域の輝度値を特徴ベクトルとして取得する。領域の数は任意であるが、典型的には、ひとつの部位の端点に対して端点とその周辺について数点をとる。端点は、左右の目、口の両端点、鼻、等個人の特徴を現すと考えられる部位を予め選択しておく。また、特徴ベクトル抽出部31は、輝度値を直接取得するのではなく、ガボアフィルタ等何らかのフィルタ演算を施した結果から特徴ベクトルを抽出してもよい。
また、特徴ベクトル抽出部31は、特徴ベクトルを抽出する際に、サブサンプリングを行うようにしてもよい。ここで言うサブサンプリングとは、例えば、顔を含む画像の輝度値から特徴ベクトルを抽出する際に、所定の部分領域から輝度値を画素に対して間引きながら抽出することである。このようにすることにより、ある程度広い部分領域に対しても、特徴ベクトルの次元を極端に増加させずに、特徴ベクトルを作ることが可能になる。また、影等のノイズに対して頑健になるという効果も期待できる。サブサンプリングの方法は、最も単純には1画素飛ばしにすればよいが、縦方向と横方向とで飛ばしの量を変えてもよい。また、特徴ベクトル抽出部31は、部分領域ごとにサブサンプリング方法を変えるようにしてもよい。どの部分領域に対してどのようなサブサンプリング方法を設定するかは、特徴ベクトル抽出部31は、機械学習の方法を用いることができる。機械学習の方法については、上述の部分領域の選択と同じような方法をとることができるので、ここでは説明を割愛する。
特徴ベクトル変換部32が、特徴ベクトルの変換方法にPCAを用いた場合、その基底数(特徴ベクトルの次元削減数)や、どの基底を用いるか等のパラメータを用いることになる。なお、特徴ベクトル変換部32は、基底数の代わりに、基底ベクトルに対応する固有値の和、即ち累積寄与率を指標として用いてもよい。特徴ベクトル変換部32は、これらのパラメータを、部分領域ごとに異なったものにすることもできる。実際にどのようなパラメータを設定するかは、予め機械学習によって決めることができる。
特徴ベクトル変換用データ保持部33は、特徴ベクトル変換部32において、特徴ベクトルの変換を行う際に必要なデータを保持している。ここで、特徴ベクトルの変換に必要なデータとは、上述したような、部分領域ごとにどの変換を行うか等の設定情報と、更に実際の変換に必要な以下の情報が挙げられる。即ち、特徴ベクトル変換部32で行う変換に主成分分析(PCA)による次元圧縮を用いる場合、分散共分散行列の固有ベクトルが含まれる。また、独立成分分析(ICA)による次元圧縮を行う場合は、独立成分の基底ベクトルが含まれる。後述するように、オブジェクト識別部6では、部分領域ごとに異なった特徴ベクトルの変換が適用される可能性があるので、特徴ベクトル変換用データ保持部33には、部分領域ごとに、必要な変換用データが保持されている。
オブジェクト識別処理について説明する。図5は、オブジェクト識別部6の構成の一例を示す図である。図5に示すように、オブジェクト識別部6は、オブジェクト識別用データ生成部41、オブジェクト辞書データ取得部42、オブジェクト識別演算部43、を含む。
オブジェクト識別用データ生成部41は、画像記録部4から取得した画像データから、オブジェクトの識別に必要な情報の抽出を行う。
オブジェクト辞書データ取得部42は、オブジェクト登録部5より、オブジェクトの識別に必要な辞書データを取得する。
オブジェクト識別演算部43は、オブジェクト識別用データ生成部41から取得した識別用データとオブジェクト辞書データ取得部42から得た辞書データとから、オブジェクトの識別処理を行う。ここで行われる処理については、後で詳しく説明する。
以上が、オブジェクト識別部6における処理フロー例の説明である。
図7は、オブジェクト識別用データ生成部41の構成の一例を示す図である。図7に示すように、オブジェクト識別用データ生成部41は、特徴ベクトル抽出部51、特徴ベクトル変換部52、特徴ベクトル変換用データ保持部53、を含む。オブジェクト識別用データ生成部41の構成及びそこで行われる処理は、オブジェクト辞書データ生成部21でのそれとほぼ同じであるので、詳細は割愛する。
オブジェクト辞書データ生成部21とオブジェクト識別用データ生成部41とで、部分領域ごとの特徴ベクトルの変換方法が一致している必要がある。特徴ベクトルの変換方法は、部分領域ごとに異なる可能性があるので、両者の変換方法が一致していないと、後述するオブジェクト識別処理での処理において、部分領域ごとに異なった処理を行う必要が生じる。このような(登録と識別とで異なる特徴ベクトルの変換を行ったものを入力とする)識別器を構成することも可能であるが、一般には、両者が一致していることが望ましい。
また、特徴ベクトル抽出部でサブサンプリングを行う場合も、両者でサブサンプリングの設定が一致していることが望ましい。
オブジェクト識別演算処理について説明する。ここでは、一例として、intra−class, extra−classの2クラス問題を、SVM識別器を用いて判定する場合について説明する。図8は、オブジェクト識別演算部43の構成の一例を示す図である。オブジェクト識別演算部43は、オブジェクト識別用データ取得部61、オブジェクト辞書データ取得部62、変動特徴抽出部63、SVM識別器64、識別結果保持部65、識別結果統合部66、を含む。
始めに、オブジェクト識別用データ取得部61において、オブジェクト識別用データを取得する(S20)。続いて、オブジェクト辞書データ取得部62で、オブジェクトの辞書データを取得する(S21)。次に、変動特徴抽出部63において、(S20)及び(S21)で取得したオブジェクト識別用データとオブジェクト辞書データとから、変動特徴抽出処理を行う(S22)。ここで、変動特徴とは、典型的には2枚の画像から抽出される、同一オブジェクト間の変動、又は異なるオブジェクト間の変動、の何れかに属する特徴のことである。変動特徴の定義は様々なものが考えられる。ここでは一例として、辞書データと、識別用データとで、同じ領域に対応する特徴ベクトル間で相関値(内積)を計算し、その相関値を成分とするベクトルを変動特徴ベクトルとする。上記定義によれば、変動特徴ベクトルの次元数は、部分領域数と一致する。
以上が、オブジェクト識別演算処理の説明である。
次に、部分領域及び特徴ベクトル変換方法の組み合わせの学習に、AdaBoostを用いた場合の手順について、説明する。
図10は、部分領域の学習処理の一例を示したフローチャートである。まず、オブジェクト識別装置は、学習データを取得する(S30)。人物の顔を扱う場合は、学習データとして、個人の識別子を表すラベルのついた顔を含む画像を多数用意する。この際、1人あたりの画像数が十分用意されていることが望ましい。照明変動や、表情の変動に頑健な部分領域及び特徴ベクトルの変換方法を学習するためには、学習データに上記変動を十分含んだサンプルを用意することが重要である。ラベルつきの顔画像から、個人の顔の変動を表すデータと、他人間の顔の変動を表すデータの2種類を生成することができる。次に、オブジェクト識別装置は、弱仮説の選択処理を行う(S31)。ここで弱仮説とは、典型的には、部分領域と特徴ベクトル変換方法との組み合わせのことである。顔の部分領域の候補と、特徴ベクトル変換方法と、の全組み合わせを予め用意しておく。そして、オブジェクト識別装置は、(S30)で取得した学習データに対して、AdaBoostの枠組みに沿って、もっとも性能のよい弱仮説、即ち、部分領域と特徴ベクトルの変換方法の組み合わせを選択する(S32)。性能評価を行うための具体的な手順は、オブジェクト識別演算部43の説明で述べた、変動特徴抽出処理の例のようにするとよい。即ち、オブジェクト識別装置は、学習データに対して、特徴ベクトルの相関値(内積)を求め、変動特徴ベクトルを生成し、SVM識別器に入力する。オブジェクト識別装置は、同一ラベルの人物間(画像は異なる)と、異なるラベルの人物間とで、それぞれ正しい識別結果になっているか判定し、学習データの重みつき誤り率を求める。
なお、重みつき誤り率の算出や、学習データの重み付けの更新方法等、AdaBoostによる学習の詳細な手順は、「Viola & Jones (2001) “Rap
id Object Detection using a Boosted Cascade of Simple Features”, Computer Vision
and Pattern Recognition.」等に記載されている方法を適宜参照すればよい。
以上が、部分領域と特徴ベクトル変換方法との組み合わせを学習する手順の説明である。
実施形態2は、実施形態1に対して、オブジェクト登録部とオブジェクト識別部との処理内容が異なる。
実施形態1では、部分領域ごとの特徴ベクトルの変換方法が、予めオフラインで決定されていた。それに対して、本実施形態では、部分領域ごとの特徴ベクトルの変換方法が、識別時のある基準のもとに選択されて、適用される点が異なる。
また、本実施形態では、オブジェクト登録部とオブジェクト識別部との構成が実施形態1と一部異なっている。
以下、より具体的に説明する。なお、重複を避けるため、以下の説明において、実施形態1と同じ部分は、省略する。
図11は、オブジェクト識別装置100の構成の一例を示す図(その2)である。各部の基本的な機能は実施形態1と同一である。また、説明の便宜上、識別する対象となるオブジェクトを、画像中の人物の顔としているが、本実施形態は、人物の顔以外のオブジェクトに適用可能である。
図12は、オブジェクト登録部105の構成の一例を示す図である。オブジェクト登録部105は、オブジェクト辞書データ生成部111、オブジェクト辞書データ保持部112、オブジェクト辞書データ選択部113、オブジェクト属性推定部114、を含む。実施形態1とは、オブジェクト属性推定部114が追加されている点が異なる。
オブジェクト属性推定部114は、画像記録部104から入力された画像情報から、オブジェクトの属性を推定する処理を行う。オブジェクト属性推定部114が、推定を行う具体的な属性は、オブジェクトの大きさ、姿勢・向き、照明条件等が含まれる。オブジェクトが人物である場合、更に、オブジェクト属性推定部114は、人物の年齢、性別、表情、等の属性を推定してもよい。オブジェクト属性推定部114は、これらの属性推定に公知の技術を用いることが出来る。例えば「特開2003−242486号公報」のような技術を用いることで、オブジェクト属性推定部114は、人物の属性を推定することが出来る。
s = ( f/d − f )・S
ここで、sはオブジェクトの画像上での大きさ(ピクセル数)、fは焦点距離、dは装置からオブジェクトまでの距離、Sはオブジェクトの実際の大きさ、である。但し(d>f)であるとする。このように、撮影条件に影響されないオブジェクトの大きさを属性として推定することが可能になる。
なお、オブジェクト辞書データ生成部での処理も実施形態1と一部異なる。実施形態1では、オブジェクト辞書データ生成部は、辞書データとして予め決められた部分領域から特徴ベクトルを抽出し、同じく予め決められた変換方法を適用していた。これに対し、本実施形態のオブジェクト辞書データ生成部111は、特徴ベクトルへの変換方法が予め決められていない。変換方法は、後述するオブジェクト識別部により、識別時に動的に決定される。よって、オブジェクト辞書データ生成部111では、準備されている全ての変換方法を特徴ベクトルに対して施しておくようにする。このようにすることにより、認証時に特徴ベクトル変換にかかる処理時間を短縮することが出来る。
以上が、オブジェクト登録部の説明である。
図13は、オブジェクト識別部106の一構成例を示すブロック図である。オブジェクト識別部106は、オブジェクト識別用データ生成部121、オブジェクト識別演算部122、オブジェクト辞書データ取得部123、オブジェクト属性推定部124、を含む。実施形態1とは、オブジェクト属性推定部124が追加されている点が異なる。
オブジェクト属性推定部124の処理の内容は、オブジェクト登録部105のオブジェクト属性推定部114と同じであるので、説明は割愛する。
オブジェクト識別用データ生成部121は、画像記録部104からの入力と共に、オブジェクト属性推定部114の出力を用いて、特徴ベクトルの抽出及び/又はその変換処理を行う。オブジェクト識別用データ生成部121で行われる処理の具体的な内容については、後で詳しく説明する。
オブジェクト識別演算部122は、オブジェクト識別用データ生成部121及びオブジェクト辞書データ取得部123からの入力を基に、オブジェクトの識別処理を行う。オブジェクト識別演算部122で行われる処理の具体的な内容については、後に説明する。
オブジェクト辞書データ取得部123は、オブジェクト識別演算部122からのリクエストに基づいて、オブジェクト登録部105中のオブジェクト辞書データ保持部112より、オブジェクト辞書データを取得する。
図14は、オブジェクト識別用データ生成部121の構成の一例を示す図である。オブジェクト識別用データ生成部121は、特徴ベクトル抽出部131、特徴ベクトル変換部132、特徴ベクトル変換用データ保持部133、特徴ベクトル変換方法選択部134、を含む。実施形態1とは、特徴ベクトル変換方法選択部134が追加されている点が異なる。
特徴ベクトル変換方法選択部134は、オブジェクト属性推定部124からの情報を基に、特徴ベクトルの変換方法及びそのパラメータを選択し、特徴ベクトル変換部132に出力する。
図16は、オブジェクトの属性情報と特徴ベクトル変換方法との対応を表すLUTの一例を示した図である。オブジェクトの属性、例えば、オブジェクトが人物の顔である場合、照明条件、顔の向き、表情等の条件のもとに、予め最も適した特徴ベクトル変換方法が部分領域ごとに設定されている。LUTには、変換方法のパラメータも含まれる。また、オブジェクト識別用データ生成部121は、属性情報だけなく、AE、AF等カメラパラメータを参照するようにしてもよい。
特徴ベクトルの変換方法をサポートベクターマシン(SVM)によって選択する方法も考えられる。部分領域、オブジェクトの属性情報、カメラパラメータ、等を入力として、特徴ベクトルの変換方法及びそのパラメータの組み合わせを出力するSVMを用いることができる。SVMによる特徴ベクトル変換方法選択器は、以下のようにして構築する。即ち、オブジェクト属性推定の結果と、予め性能を調査しておいた最適と考えられる変換方法と、の組み合わせを教師データとして、SVMの学習を行う。
次に、オブジェクト識別用データ生成部121は、選択した特徴ベクトルの変換方法の情報を基に、特徴ベクトル変換に必要なデータを取得する(S103)。そして、オブジェクト識別用データ生成部121は、特徴ベクトルの変換を行い、オブジェクト識別演算部122に出力する(S104)。
以上が、オブジェクト識別用データ生成部の説明である。
次に、オブジェクト識別演算処理の内容について説明する。
オブジェクト識別処理の全体的な処理は、実施形態1とほぼ同じである。実施形態1と異なるのは、オブジェクト辞書データを取得する際に、オブジェクト識別用データ生成部121の出力を参照して、部分領域ごとに同じ変換方法で処理された特徴ベクトルを取得するようにすることである。
以下では、オブジェクト識別器として、多数の識別器(以下、弱識別器という)をツリー状に構成したオブジェクト識別器を用いてオブジェクト識別処理を行う場合について説明する。典型的には弱識別器は、1つの部分領域に対応しているが、弱識別器を複数の部分領域に対応させてもよい。
以上が、オブジェクト識別演算処理の説明である。
2 撮像部
3 撮像制御部
4 画像季肋部
5 オブジェクト登録部
6 オブジェクト識別部
7 外部出力部
Claims (6)
- 撮像されたオブジェクトに係る画像データを入力する画像データ入力手段と、
入力された前記画像データから前記オブジェクトの属性を推定するオブジェクト属性推定手段と、
入力された前記画像データの部分領域から特徴ベクトルを抽出し、該特徴ベクトルに対して前記オブジェクト属性推定手段で推定された属性に応じた変換方法による次元圧縮変換を行うことによって前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成手段と、
予め記録された画像データの部分領域から特徴ベクトルを抽出し、抽出した前記特徴ベクトルに対して前記オブジェクトの属性に応じた変換方法による次元圧縮変換を行うことによって生成されたオブジェクト辞書データを取得するオブジェクト辞書データ取得手段と、
前記オブジェクト識別用データと前記オブジェクト辞書データとに基づいて、前記画像データ入力手段で入力された画像データに係る前記オブジェクトの属するクラスを識別するオブジェクト識別手段と、
を有することを特徴とするオブジェクト識別装置。 - 前記オブジェクト属性推定手段は、前記撮像の際の撮像パラメータに応じて、前記画像データから前記オブジェクトの属性を推定することを特徴とする請求項1に記載のオブジェクト識別装置。
- 予め記録された画像データの部分領域から特徴ベクトルを抽出し、抽出した前記特徴ベクトルに対して複数の変換方法のそれぞれによる次元圧縮変換を行うことによってオブジェクト辞書データを生成するオブジェクト辞書データ生成手段を更に有し、
前記オブジェクト辞書データ取得手段は、前記オブジェクト辞書データ生成手段により生成されたオブジェクト辞書データから、前記オブジェクトの属性に応じた変換方法による次元圧縮変換を行うことによって生成されたオブジェクト辞書データを選択して取得することを特徴とする請求項1又は2に記載のオブジェクト識別装置。 - 撮像されたオブジェクトに係る画像データを入力する画像データ入力ステップと、
入力された前記画像データから前記オブジェクトの属性を推定するオブジェクト属性推定ステップと、
入力された前記画像データの部分領域から特徴ベクトルを抽出し、該特徴ベクトルに対して前記オブジェクト属性推定ステップで推定された属性に応じた変換方法による次元圧縮変換を行うことによって前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成ステップと、
予め記録された画像データの部分領域から特徴ベクトルを抽出し、抽出した前記特徴ベクトルに対して前記オブジェクトの属性に応じた変換方法による次元圧縮変換を行うことによって生成されたオブジェクト辞書データを取得するオブジェクト辞書データ取得ステップと、
前記オブジェクト識別用データと前記オブジェクト辞書データとに基づいて、前記画像データ入力ステップで入力された画像データに係る前記オブジェクトの属するクラスを識別するオブジェクト識別ステップと、
を含むことを特徴とするオブジェクト識別方法。 - 前記オブジェクト属性推定ステップでは、前記撮像の際の撮像パラメータに応じて、前記画像データから前記オブジェクトの属性を推定することを特徴とする請求項4に記載のオブジェクト識別方法。
- コンピュータに、
撮像されたオブジェクトに係る画像データを入力する画像データ入力ステップと、
入力された前記画像データから前記オブジェクトの属性を推定するオブジェクト属性推定ステップと、
入力された前記画像データの部分領域から特徴ベクトルを抽出し、該特徴ベクトルに対して前記オブジェクト属性推定ステップで推定された属性に応じた変換方法による次元圧縮変換を行うことによって前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成ステップと、
予め記録された画像データの部分領域から特徴ベクトルを抽出し、抽出した前記特徴ベクトルに対して前記オブジェクトの属性に応じた変換方法による次元圧縮変換を行うことによって生成されたオブジェクト辞書データを取得するオブジェクト辞書データ取得ステップと、
前記オブジェクト識別用データと前記オブジェクト辞書データとに基づいて、前記画像データ入力ステップで入力された画像データに係る前記オブジェクトの属するクラスを識別するオブジェクト識別ステップと、
を実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009005030A JP5247480B2 (ja) | 2009-01-13 | 2009-01-13 | オブジェクト識別装置及びオブジェクト識別方法 |
| US12/685,551 US8819015B2 (en) | 2009-01-13 | 2010-01-11 | Object identification apparatus and method for identifying object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009005030A JP5247480B2 (ja) | 2009-01-13 | 2009-01-13 | オブジェクト識別装置及びオブジェクト識別方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010165053A JP2010165053A (ja) | 2010-07-29 |
| JP5247480B2 true JP5247480B2 (ja) | 2013-07-24 |
Family
ID=42541227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009005030A Expired - Fee Related JP5247480B2 (ja) | 2009-01-13 | 2009-01-13 | オブジェクト識別装置及びオブジェクト識別方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8819015B2 (ja) |
| JP (1) | JP5247480B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019156938A1 (en) * | 2018-02-06 | 2019-08-15 | Hrl Laboratories, Llc | Machine vision system for recognizing novel objects |
| US11625557B2 (en) | 2018-10-29 | 2023-04-11 | Hrl Laboratories, Llc | Process to learn new image classes without labels |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5554984B2 (ja) * | 2009-12-24 | 2014-07-23 | キヤノン株式会社 | パターン認識方法およびパターン認識装置 |
| US20110161232A1 (en) * | 2009-12-28 | 2011-06-30 | Brown Kerry D | Virtualization of authentication token for secure applications |
| US9502073B2 (en) | 2010-03-08 | 2016-11-22 | Magisto Ltd. | System and method for semi-automatic video editing |
| US9189137B2 (en) * | 2010-03-08 | 2015-11-17 | Magisto Ltd. | Method and system for browsing, searching and sharing of personal video by a non-parametric approach |
| US9554111B2 (en) | 2010-03-08 | 2017-01-24 | Magisto Ltd. | System and method for semi-automatic video editing |
| US8948515B2 (en) * | 2010-03-08 | 2015-02-03 | Sightera Technologies Ltd. | Method and system for classifying one or more images |
| US8879804B1 (en) * | 2010-12-18 | 2014-11-04 | Alexey Konoplev | System and method for automatic detection and recognition of facial features |
| JP5214762B2 (ja) | 2011-03-25 | 2013-06-19 | 株式会社東芝 | 認識装置、方法及びプログラム |
| JP5801601B2 (ja) * | 2011-05-10 | 2015-10-28 | キヤノン株式会社 | 画像認識装置、画像認識装置の制御方法、およびプログラム |
| DE102011117979A1 (de) * | 2011-11-09 | 2013-05-16 | Deutsche Telekom Ag | Verfahren zum Bereitstellen von Daten und/oder Interaktionsmöglichkeiten zwischen einem Nutzer und einer Datenverarbeitungsanordnung |
| JP6153087B2 (ja) * | 2011-12-16 | 2017-06-28 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム |
| JP5900052B2 (ja) * | 2012-03-15 | 2016-04-06 | オムロン株式会社 | 登録判定装置、その制御方法および制御プログラム、並びに電子機器 |
| EP2863359A4 (en) * | 2012-06-14 | 2015-11-11 | Toyota Motor Co Ltd | DEVICE FOR GENERATING A DISCRIMINATION CONTAINER AND PATTERN DETECTION DEVICE |
| JP6225460B2 (ja) * | 2013-04-08 | 2017-11-08 | オムロン株式会社 | 画像処理装置、画像処理方法、制御プログラムおよび記録媒体 |
| US20140341443A1 (en) * | 2013-05-16 | 2014-11-20 | Microsoft Corporation | Joint modeling for facial recognition |
| JP6156126B2 (ja) * | 2013-12-19 | 2017-07-05 | 富士通株式会社 | 検索方法、検索プログラムおよび検索装置 |
| US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
| US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
| US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
| US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
| US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
| US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
| US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
| US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
| US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
| US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
| US9460493B2 (en) | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
| US9373179B2 (en) | 2014-06-23 | 2016-06-21 | Microsoft Technology Licensing, Llc | Saliency-preserving distinctive low-footprint photograph aging effect |
| EP3183689A4 (en) * | 2014-08-22 | 2017-08-23 | Microsoft Technology Licensing, LLC | Face alignment with shape regression |
| US10049273B2 (en) * | 2015-02-24 | 2018-08-14 | Kabushiki Kaisha Toshiba | Image recognition apparatus, image recognition system, and image recognition method |
| JP6241576B1 (ja) * | 2016-12-06 | 2017-12-06 | 三菱電機株式会社 | 検査装置及び検査方法 |
| US10579880B2 (en) * | 2017-08-31 | 2020-03-03 | Konica Minolta Laboratory U.S.A., Inc. | Real-time object re-identification in a multi-camera system using edge computing |
| CN111062995B (zh) * | 2019-11-28 | 2024-02-23 | 重庆中星微人工智能芯片技术有限公司 | 生成人脸图像的方法、装置、电子设备和计算机可读介质 |
| JP7733454B2 (ja) * | 2021-03-12 | 2025-09-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、画像識別システム、及びプログラム |
| CN117970070B (zh) * | 2023-12-06 | 2024-11-01 | 中科鉴芯(北京)科技有限责任公司 | 基于布尔可满足性的电路自动测试向量的压缩方法和装置 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4987480A (en) * | 1989-07-11 | 1991-01-22 | Massachusetts Institute Of Technology | Multiscale coding of images |
| US6181805B1 (en) * | 1993-08-11 | 2001-01-30 | Nippon Telegraph & Telephone Corporation | Object image detecting method and system |
| JP3078166B2 (ja) | 1994-02-02 | 2000-08-21 | キヤノン株式会社 | 物体認識方法 |
| US6463176B1 (en) * | 1994-02-02 | 2002-10-08 | Canon Kabushiki Kaisha | Image recognition/reproduction method and apparatus |
| EP0872803B1 (en) * | 1997-04-14 | 2005-12-28 | Canon Kabushiki Kaisha | Image processing method and control method therefor |
| US6421463B1 (en) * | 1998-04-01 | 2002-07-16 | Massachusetts Institute Of Technology | Trainable system to search for objects in images |
| US6970602B1 (en) * | 1998-10-06 | 2005-11-29 | International Business Machines Corporation | Method and apparatus for transcoding multimedia using content analysis |
| JP4478296B2 (ja) | 2000-06-16 | 2010-06-09 | キヤノン株式会社 | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 |
| KR100481116B1 (ko) * | 2001-03-09 | 2005-04-07 | 가부시끼가이샤 도시바 | 안면화상 인식장치 |
| US20020136433A1 (en) * | 2001-03-26 | 2002-09-26 | Koninklijke Philips Electronics N.V. | Adaptive facial recognition system and method |
| US6892193B2 (en) * | 2001-05-10 | 2005-05-10 | International Business Machines Corporation | Method and apparatus for inducing classifiers for multimedia based on unified representation of features reflecting disparate modalities |
| EP1260935B1 (en) * | 2001-05-22 | 2006-07-12 | Matsushita Electric Industrial Co., Ltd. | Face detection device, face pose detection device, partial image extraction device, and methods for said devices |
| JP2003087772A (ja) * | 2001-09-10 | 2003-03-20 | Fujitsu Ltd | 画像制御装置 |
| JP3903783B2 (ja) * | 2001-12-14 | 2007-04-11 | 日本電気株式会社 | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 |
| JP2003242486A (ja) | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | 人物属性推定装置 |
| JP4161659B2 (ja) | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
| JP3873793B2 (ja) * | 2002-03-29 | 2007-01-24 | 日本電気株式会社 | 顔メタデータ生成方法および顔メタデータ生成装置 |
| US7912246B1 (en) * | 2002-10-28 | 2011-03-22 | Videomining Corporation | Method and system for determining the age category of people based on facial images |
| KR100455294B1 (ko) * | 2002-12-06 | 2004-11-06 | 삼성전자주식회사 | 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치 |
| US7386527B2 (en) * | 2002-12-06 | 2008-06-10 | Kofax, Inc. | Effective multi-class support vector machine classification |
| US7164798B2 (en) * | 2003-02-18 | 2007-01-16 | Microsoft Corporation | Learning-based automatic commercial content detection |
| US7715597B2 (en) * | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
| WO2006077710A1 (ja) * | 2005-01-19 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
| US20070127787A1 (en) * | 2005-10-24 | 2007-06-07 | Castleman Kenneth R | Face recognition system and method |
| US7920745B2 (en) * | 2006-03-31 | 2011-04-05 | Fujifilm Corporation | Method and apparatus for performing constrained spectral clustering of digital image data |
| US7957007B2 (en) * | 2006-05-17 | 2011-06-07 | Mitsubishi Electric Research Laboratories, Inc. | Apparatus and method for illuminating a scene with multiplexed illumination for motion capture |
| JP2008059197A (ja) * | 2006-08-30 | 2008-03-13 | Canon Inc | 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体 |
| US7840059B2 (en) * | 2006-09-21 | 2010-11-23 | Microsoft Corporation | Object recognition using textons and shape filters |
| JP4757173B2 (ja) * | 2006-11-17 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| JP4898475B2 (ja) * | 2007-02-05 | 2012-03-14 | 富士フイルム株式会社 | 撮影制御装置、撮影装置、及び撮影制御方法 |
| JP2008204091A (ja) * | 2007-02-19 | 2008-09-04 | Seiko Epson Corp | カテゴリー識別装置、及び、カテゴリー識別方法 |
-
2009
- 2009-01-13 JP JP2009005030A patent/JP5247480B2/ja not_active Expired - Fee Related
-
2010
- 2010-01-11 US US12/685,551 patent/US8819015B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019156938A1 (en) * | 2018-02-06 | 2019-08-15 | Hrl Laboratories, Llc | Machine vision system for recognizing novel objects |
| US10607111B2 (en) | 2018-02-06 | 2020-03-31 | Hrl Laboratories, Llc | Machine vision system for recognizing novel objects |
| US11625557B2 (en) | 2018-10-29 | 2023-04-11 | Hrl Laboratories, Llc | Process to learn new image classes without labels |
Also Published As
| Publication number | Publication date |
|---|---|
| US8819015B2 (en) | 2014-08-26 |
| JP2010165053A (ja) | 2010-07-29 |
| US20100205177A1 (en) | 2010-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5247480B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
| JP6975848B2 (ja) | 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 | |
| US9098760B2 (en) | Face recognizing apparatus and face recognizing method | |
| JP5554987B2 (ja) | オブジェクト識別装置及びその制御方法 | |
| JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
| JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| US8942436B2 (en) | Image processing device, imaging device, image processing method | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP5174045B2 (ja) | 分類器チェーンを用いた照明検出 | |
| US7697735B2 (en) | Image based multi-biometric system and method | |
| JP6544900B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
| JP5588180B2 (ja) | パターン識別装置及びその制御方法 | |
| JP5241606B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
| CN101142586A (zh) | 执行人脸识别的方法 | |
| JP2019057815A (ja) | 監視システム | |
| WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
| JP5214679B2 (ja) | 学習装置、方法及びプログラム | |
| JP5653003B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
| JP5971712B2 (ja) | 監視装置及び方法 | |
| JP2017058833A (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
| JP2012234497A (ja) | オブジェクト識別装置、オブジェクト識別方法、及びプログラム | |
| JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
| JP2007074142A (ja) | 撮像装置及びその制御方法、及び画像処理装置及び方法 | |
| JP2003228702A (ja) | 撮影条件検出装置および撮影条件検出プログラム | |
| WO2025187040A1 (ja) | 情報処理システム、情報処理装置、情報処理方法及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130409 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5247480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |