KR20170000748A - 얼굴 인식 방법 및 장치 - Google Patents

얼굴 인식 방법 및 장치 Download PDF

Info

Publication number
KR20170000748A
KR20170000748A KR1020150175672A KR20150175672A KR20170000748A KR 20170000748 A KR20170000748 A KR 20170000748A KR 1020150175672 A KR1020150175672 A KR 1020150175672A KR 20150175672 A KR20150175672 A KR 20150175672A KR 20170000748 A KR20170000748 A KR 20170000748A
Authority
KR
South Korea
Prior art keywords
face
information
image
feature information
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020150175672A
Other languages
English (en)
Inventor
이선민
김정배
유병인
한재준
한승주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2016115281A priority Critical patent/JP6754619B2/ja
Priority to US15/188,437 priority patent/US10331941B2/en
Priority to EP16175896.6A priority patent/EP3147827A1/en
Priority to EP22185824.4A priority patent/EP4099221B1/en
Priority to CN202111044887.0A priority patent/CN113743321B/zh
Priority to CN201610467503.9A priority patent/CN106295496B/zh
Publication of KR20170000748A publication Critical patent/KR20170000748A/ko
Priority to US16/430,811 priority patent/US10733422B2/en
Priority to US16/881,436 priority patent/US11386701B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06K9/00208—
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)

Abstract

얼굴 인식 방법 및 장치가 개시된다. 일 실시예에 따른 얼굴 인식 장치는 2D 입력 영상으로부터 개인화된 3D 얼굴 모델을 생성하고, 개인화된 3D 얼굴 모델에 기초하여 정규화된 2D 입력 영상 및 3D 형상 정보를 획득할 수 있다. 얼굴 인식 장치는 정규화된 2D 입력 영상의 컬러 정보 및 3D 형상 정보를 이용하여 특징 정보를 결정하고, 특징 정보를 이용하여 얼굴 인식을 수행할 수 있다.

Description

얼굴 인식 방법 및 장치{METHOD AND APPARATUS FOR FACE RECOGNITION}
아래의 설명은 영상에 나타난 얼굴을 인식하는 얼굴 인식 기술에 관한 것이다.
생체 인식 기술 중 하나인 얼굴 인식 기술은 정지 영상이나 동영상으로부터 얼굴을 인식하는 기술이다. 얼굴 인식 기술은 지문 인식 및 홍채 인식 등의 다른 인식 기술과 다르게, 대상자를 비접촉식으로 확인 가능하다는 이점을 가지고 있다. 최근에는, 얼굴 인식 기술의 편리함 및 효율성 때문에 보안 시스템, 모바일 인증 및 멀티미디어 데이터 검색 등의 다양한 응용 분야에 얼굴 인식 기술이 활발하게 적용되고 있다. 다만, 얼굴 인식 기술의 성능은 사용자의 포즈(pose), 표정(expression), 조명 환경 및 가림(occlusion) 등의 변화에 민감하다는 특성이 있다.
얼굴 인식 기술의 성능은 등록된 얼굴과 등록되지 않은 얼굴을 구별하는 패턴 분류기의 성능에 영향을 받게 된다. 이러한 패턴 분류기를 학습하는 하나의 방법으로 뉴럴 네트워크 모델(neural network model)을 이용하는 방법이 있다. 뉴럴 네트워크 모델은 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 모델로서, 입력 패턴을 특정 그룹으로 분류하는 능력을 가지고 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 뉴럴 네트워크 모델은 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 뉴럴 네트워크 모델은 입력 패턴과 출력 패턴들 간의 사상(mapping)을 생성해낼 수 있는데, 이를 뉴럴 네트워크 모델이 학습 능력이 있다고 표현한다.
일 실시예에 따른 얼굴 인식 방법은, 2D 입력 영상으로부터 개인화된 3D 얼굴 모델을 생성하는 단계; 상기 개인화된 3D 얼굴 모델에 기초하여 정규화된 2D 입력 영상 및 3D 형상 정보를 획득하는 단계; 상기 정규화된 2D 입력 영상의 컬러 정보 및 상기 3D 형상 정보를 이용하여 특징 정보를 결정하는 단계; 및 상기 특징 정보를 이용하여 얼굴 인식을 수행하는 단계를 포함할 수 있다.
일 실시예에 따른 얼굴 인식 방법에서, 상기 특징 정보를 결정하는 단계는, 제1 깊은 뉴럴 네트워크 모델을 이용하여 상기 컬러 정보로부터 제1 특징 정보를 결정하는 단계; 및 제2 깊이 뉴럴 네트워크 모델을 이용하여 상기 3D 형상 정보로부터 제2 특징 정보를 결정하는 단계를 포함할 수 있고, 상기 얼굴 인식을 수행하는 단계는, 상기 제1 특징 정보 및 상기 제2 특징 정보를 이용하여 얼굴 인식을 수행할 수 있다.
일 실시예에 따른 얼굴 인식 방법에서, 상기 3D 형상 정보를 획득하는 단계는, 상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상을 생성하는 단계; 상기 정규화된 2D 입력 영상의 랜드마크들에 기초하여 상기 깊이 영상에 나타난 3D 형상을 정밀화하는 단계; 및 상기 정밀화된 3D 형상으로부터 상기 3D 형상 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 얼굴 인식 방법에서, 상기 3D 형상 정보를 획득하는 단계는, 상기 2D 입력 영상에서 얼굴의 랜드마크들을 검출하는 단계; 상기 검출된 랜드마크들에 기초하여 일반 3D 얼굴 모델을 상기 개인화된 3D 얼굴 모델로 변형하는 단계; 및 상기 개인화된 3D 얼굴 모델로부터 상기 3D 형상 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 장치는, 2D 영상으로부터 얼굴의 랜드마크들을 검출하는 랜드마크 검출기; 상기 검출된 랜드마크들에 기초하여 개인화된 3D 얼굴 모델을 생성하고, 상기 개인화된 3D 얼굴 모델로부터 3D 형상 정보를 획득하는 3D 형상 정보 획득기; 제1 깊은 뉴럴 네트워크 모델을 이용하여 상기 2D 영상의 컬러 정보로부터 제1 특징 정보를 결정하는 제1 특징 정보 결정기; 및 제2 깊은 뉴럴 네트워크 모델을 이용하여 상기 3D 형상 정보로부터 제2 특징 정보를 결정하는 제2 특징 정보 결정기를 포함할 수 있다.
일 실시예에 따른 장치에서, 상기 제1 깊은 뉴럴 네트워크 모델은, 상기 2D 영상의 컬러 정보에 기초하여 상기 영상에 나타난 얼굴의 모습과 관련된 특징을 결정하고, 상기 제2 깊은 뉴럴 네트워크 모델은, 상기 3D 형상 정보에 기초하여 상기 2D 영상에 나타난 얼굴의 형상과 관련된 특징을 결정할 수 있다.
일 실시예에 따른 얼굴 인식 장치는, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의해 실행가능한 인스트럭션들을 포함하는 메모리를 포함할 수 있고, 상기 하나 이상의 프로세서는 상기 인스트럭션들을 실행할 때, 2D 입력 영상으로부터 개인화된 3D 얼굴 모델을 생성하고, 상기 개인화된 3D 얼굴 모델에 기초하여 정규화된 2D 입력 영상 및 3D 형상 정보를 획득하고, 상기 정규화된 2D 입력 영상의 컬러 정보 및 상기 3D 형상 정보를 이용하여 특징 정보를 결정하고, 상기 특징 정보를 이용하여 얼굴 인식을 수행할 수 있다.
도 1은 일 실시예에 따른 얼굴 인식 장치의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 사용자 얼굴의 3D 형상을 복원하는 과정을 설명하기 위한 도면이다.
도 3a 및 도 3b는 일 실시예에 따른 깊이 영상에 나타난 3D 형상을 정밀화(refinement)하는 과정을 설명하기 위한 도면들이다.
도 4 및 도 5는 일 실시예에 따른 제1 뉴럴 네트워크 모델에 기초하여 제1 특징 정보를 결정하는 과정을 설명하기 위한 도면들이다.
도 6 및 도 7은 일 실시예에 따른 제2 뉴럴 네트워크 모델에 기초하여 제2 특징 정보를 결정하는 과정을 설명하기 위한 도면들이다.
도 8은 일 실시예에 따른 제3 뉴럴 네트워크 모델에 기초하여 제2 특징 정보를 결정하는 과정을 설명하기 위한 도면이다.
도 9a 및 도 9b는 일 실시예에 따른 얼굴의 랜드마크들에 기초하여 제2 특징 정보를 결정하는 과정을 설명하기 위한 도면들이다.
도 10은 일 실시예에 따른 얼굴 인식 방법의 동작을 설명하기 위한 흐름도이다.
도 11은 다른 실시예에 따른 얼굴 인식 장치를 설명하기 위한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 권리 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 설명한 분야에 속하는 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 언급이 반드시 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안된다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일 실시예에 따른 얼굴 인식 장치(100)의 동작을 설명하기 위한 도면이다. 일 실시예에 따르면, 얼굴 인식 장치(100)는 랜드마크 검출기(110), 정규화기(130), 3D 형상 정보 획득기(120), 제1 특징 정보 결정기(140), 제2 특징 정보 결정기(150), 최종 특징 정보 결정기(160), 및 얼굴 인식기(170)를 포함할 수 있다. 랜드마크 검출기(110), 정규화기(130), 3D 형상 정보 획득기(120), 제1 특징 정보 결정기(140), 제2 특징 정보 결정기(150), 최종 특징 정보 결정기(160) 및 얼굴 인식기(170)는 하나 이상의 프로세서에 의해 수행될 수 있다.
이하에서는, 설명의 편의를 위해 얼굴 인식 과정과 학습 과정을 구분하여 설명하도록 한다.
<얼굴 인식 과정>
얼굴 인식 장치(100)는 2D 입력 영상에 나타난 사용자의 얼굴을 인식한다. 2D 입력 영상은, 예를 들어 디지털 스틸 카메라 또는 비디오 카메라로부터 획득된 2D 영상일 수 있다. 얼굴 인식 장치(100)는 2D 입력 영상에 나타난 사용자가 특정 등록 영상에 나타난 사용자와 동일인인지 여부를 결정할 수 있다. 등록 영상은 얼굴 인식이 수행되기 이전에 미리 등록되어 데이터베이스에 저장될 수 있고, 하나 이상의 사용자에 대한 얼굴 영상을 포함할 수 있다.
얼굴 인식 장치(100)는 감시/보안 시스템, 모바일 기기 인증 또는 멀티미디어 검색 및 분류 등의 다양한 어플리케이션 영역에서 활용될 수 있다. 또는, 얼굴 인식 장치(100)는 지문 인식 장치와 결합하여 복합 생체 인증 시스템을 구현하는데 이용될 수 있다. 설명을 간단히 하기 위해, 이하에서는 2D 입력 영상이 단 하나의 얼굴 영역을 포함한다고 가정한다. 그러나, 실시예의 범위가 이러한 가정에 의해 한정되는 것으로 해석되어서는 안된다.
얼굴 인식을 수행하기 위해 2D 입력 영상이 랜드마크 검출기(110)에 입력된다. 예를 들어, 랜드마크 검출기(110)에 사용자 얼굴의 전체 영역 또는 일부 영역이 나타난 2D 영상이 입력될 수 있다. 2D 입력 영상은 컬러 영상 또는 흑백 영상일 수 있다. 랜드마크 검출기(110)는 2D 입력 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 얼굴의 랜드마크(facial landmark)들을 검출한다. 랜드마크 검출기(110)는, 예를 들어 AAM(Active Appearance Model), ASM(Active Shape Model), SDM(Supervised Descent Method) 또는 깊은 학습(deep learning) 등의 기법을 이용하여 2D 입력 영상에서 랜드마크들을 검출할 수 있다. 랜드마크들은, 예를 들어 눈썹, 눈, 코, 입, 턱, 귀 및 얼굴의 윤곽 등에 위치한 특징점들을 나타낸다.
3D 형상 정보 획득기(120)는 2D 입력 영상에 나타난 사용자 얼굴의 3D 얼굴 형상을 복원할 수 있다. 3D 형상 정보 획득기(120)는 일반 3D 얼굴 모델(generic 3D face model)에 2D 입력 영상에서 검출된 랜드마크들을 적용하여 개인화된 3D 얼굴 모델(personalized 3D face model)을 생성할 수 있다. 3D 형상 정보 획득기(120)는 일반 3D 얼굴 모델의 랜드마크 포인트들에 2D 입력 영상에서 검출된 랜드마크들을 맵핑(mapping)하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 일반 3D 얼굴 모델은 학습 데이터에 기초하여 생성된 변형 가능한(deformable) 3D 얼굴 모델로서, 3D 표준 모델이라고도 지칭될 수 있다. 일반 3D 얼굴 모델은 3D 형태(shape)와 텍스쳐(texture)로 구성될 수 있고, 3D 형태를 표현하기 위한 파라미터들을 포함할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델은 다음의 수학식 1과 같이 일반 3D 얼굴 모델이 가지는 평균 형상에 랜드마크 검출 정보에 따른 형상 변화량을 적용하는 것에 의해 생성될 수 있다.
Figure pat00001
수학식 1에서,
Figure pat00002
는 일반 3D 얼굴 모델의 평균 형상을 나타내는 형상 엘리먼트들을 나타낸다.
Figure pat00003
는 인덱스 i에 대응하는 형상 엘리먼트를 나타내고,
Figure pat00004
는
Figure pat00005
에 적용되는 형상 제어 파라미터를 나타낸다.
Figure pat00006
와
Figure pat00007
의 가중합(weighted sum)은 형상 변화량을 나타낸다. 3D 형상 정보 획득기(120)는 2D 입력 영상의 랜드마크 검출 정보에 기초하여 형상 제어 파라미터를 계산하고, 평균 형상에 형상 변화량을 적용하여 일반 3D 얼굴 모델을 개인화된 3D 얼굴 모델로 변형할 수 있다.
Figure pat00008
는 개인화된 3D 얼굴 모델의 3D 형상을 구성하는 형상 엘리먼트들을 나타낸다.
Figure pat00009
는 다음의 수학식 2와 같이 3차원 점들의 좌표로 구성될 수 있다.
Figure pat00010
수학식 2에서,
Figure pat00011
는 개인화된 3D 얼굴 모델을 구성하는 버텍스(vertex)들의 공간 위치(
Figure pat00012
,
Figure pat00013
,
Figure pat00014
)를 식별하기 위한 인덱스를 나타내고, T는 트랜스포즈(transpose)를 나타낸다. 3D 형상 정보 획득기(120)는 개인화된 3D 얼굴 모델을 구성하는 버텍스들의 위치 정보에 기초하여 3D 형상 정보를 획득할 수 있다. 3D 형상 정보는 사용자 얼굴의 입체 형상에 대한 정보를 나타낸다. 3D 형상 정보는, 예를 들어 사용자의 얼굴 형상을 표현하기 위한 형상 파라미터 정보 및 사용자의 얼굴 형상에 대한 깊이 정보를 포함할 수 있다.
일 실시예에 따르면, 3D 형상 정보 획득기(120)는 개인화된 3D 얼굴 모델을 이용하여 깊이 영상(depth image)을 생성하고, 깊이 영상으로부터 사용자 얼굴에 대한 3D 형상 정보를 추출할 수 있다. 예를 들어, 3D 형상 정보 획득기(120)는 개인화된 3D 얼굴 모델의 포즈를 정면 얼굴 포즈로 변환하고, 이 때의 깊이 값(depth value)을 0~255 범위 내의 값으로 변환하여 깊이 영상을 생성할 수 있다. 추가적으로, 3D 형상 정보 획득기(120)는 2D 입력 영상의 텍스쳐 형상에 매칭되는 보다 정확한 3D 형상 정보를 획득하기 위해, 2D 입력 영상에서 검출된 랜드마크들에 기초하여 깊이 영상에 나타난 3D 형상을 정밀화(refinement)하고, 정밀화된 깊이 영상으로부터 3D 형상 정보를 획득할 수도 있다. 이에 대해서는 도 3a 및 도 3b에서 보다 자세히 설명하도록 한다.
다른 실시예에 다르면, 3D 형상 정보 획득기(120)는 개인화된 3D 얼굴 모델을 이용하여 얼굴에 대한 노멀(normal) 영상을 생성할 수 있다. 노멀 영상은 얼굴 표면의 노멀 특징을 나타내는 표면 노멀 정보를 포함하고, 표면 노멀 정보는 사용자 얼굴에서 각 얼굴 표면의 방향을 나타내는 노멀 벡터에 대한 정보를 포함한다. 3D 형상 정보 획득기(120)는 노멀 영상으로부터 사용자 얼굴에 대한 3D 형상 정보를 추출할 수 있다.
또 다른 실시예에 따르면, 3D 형상 정보 획득기(120)는 깊이 카메라(depth camera) 또는 3D 카메라 등을 통해 촬영된 깊이 영상으로부터 3D 형상 정보를 획득할 수 있다. 여기서, 깊이 영상은 카메라로부터 사용자 얼굴까지의 거리를 나타내는 깊이 정보를 포함한다. 3D 형상 정보 획득기(120)는 깊이 영상의 깊이 정보로부터 얼굴에 대한 3D 형상 정보를 추출할 수 있다.
위와 같이, 3D 형상 정보 획득기(120)는 깊이 영상, 노멀 영상, 깊이 카메라, 또는 3D 카메라 등을 이용하여 3D 형상 정보를 획득할 수 있으나 실시예의 범위가 이에 한정되는 것은 아니다.
2D 입력 영상에 나타난 얼굴 영역의 크기 및 얼굴 포즈는 2D 입력 영상의 비교 대상이 되는 등록 영상에 나타난 얼굴 영역의 크기 및 얼굴 포즈와 다를 수 있다. 정규화기(130)는 2D 입력 영상과 등록 영상 사이에서 얼굴 영역의 크기 및 얼굴 컴포넌트들의 위치가 서로 정렬(alignment)될 수 있도록 2D 입력 영상에 대해 정규화(normalization)를 수행한다. 여기서, 얼굴 컴포넌트들은 눈, 눈썹, 코, 입 및 귀 등을 나타낸다. 정규화기(130)는 2D 입력 영상에 나타난 얼굴 포즈를 조정하거나 등록 영상에 나타난 얼굴 컴포넌트들의 위치에 대응되도록 2D 입력 영상에 나타난 얼굴 컴포넌트들의 위치를 조정할 수 있다. 정규화기(130)는, 예를 들어 2D 입력 영상의 랜드마크 검출 정보에 기초하여 아핀 변환(affine transformation)을 적용하는 것에 의해 정규화를 수행할 수 있다. 아핀 변환은 벡터 공간을 다른 벡터 공간에 대응시키는 변환을 나타낸다.
일 실시예에 따르면, 정규화기(130)는 개인화된 3D 얼굴 모델을 이용하여 정규화된 2D 입력 영상을 획득할 수 있다. 3D 형상 정보 획득기(120)는 개인화된 3D 얼굴 모델을 이용하여 정면 얼굴(frontal face)에 대한 포즈 정보를 추정할 수 있고, 정규화기(130)는 정면 얼굴에 대한 포즈 정보를 이용하여 2D 입력 영상을 정규화할 수 있다. 정면 얼굴에 대한 포즈 정보는, 예를 들어 개인화된 3D 얼굴 모델의 포즈를 정면 얼굴 포즈로 변환하였을 때 얼굴 영역의 크기가 얼마나 되는지에 대한 정보 및 각 얼굴 컴포넌트들의 공간적 위치가 어디인지에 대한 정보를 포함할 수 있다. 또는, 정규화기(130)는 개인화된 3D 얼굴 모델로부터 획득된 2D 투영 영상을 이용하여 정규화를 수행할 수도 있다.
제1 특징 정보 결정기(140)는 정규화된 2D 입력 영상의 2D 영상 정보에 기초하여 제1 특징 정보를 결정한다. 2D 영상 정보는, 예를 들어 2D 입력 영상의 컬러 정보, 인텐시티(intensity) 정보 또는 텍스쳐(texture) 정보 등을 포함할 수 있다. 제1 특징 정보 결정기(140)는 미리 학습된 제1 뉴럴 네트워크 모델에 정규화된 2D 입력 영상의 2D 영상 정보를 입력하여 제1 특징 정보를 결정할 수 있다.
예를 들어, 제1 특징 정보 결정기(140)는 컨볼루션 뉴럴 네트워크 모델(convolutional neural network model)를 이용하여 2D 입력 영상을 컨볼루션하는 것에 의해 얼굴의 모습(appearance)을 잘 표현할 수 있는 특징 벡터를 결정할 수 있다. 제1 특징 정보 결정기(140)는 제1 뉴럴 네트워크 모델의 최상단 레이어에서 추출된 값을 제1 특징 정보로 결정하거나 또는 히든 레이어(hidden layer)에서 추출된 값과 최상단 레이어에서 추출된 값을 연결하여 제1 특징 정보를 결정할 수도 있다.
다른 실시예에 따르면, 제1 특징 정보 결정기(140)는 2D 입력 영상의 2D 영상 정보뿐만 아니라 3D 형상 정보 획득기(120)에 의해 생성된 깊이 영상의 깊이 정보를 제1 뉴럴 네트워크 모델에 입력하여 제1 특징 정보를 결정할 수 있다.
제2 특징 정보 결정기(150)는 3D 형상 정보에 기초하여 제2 특징 정보를 결정한다. 제2 특징 정보 결정기(150)는 미리 학습된 제2 뉴럴 네트워크 모델에 3D 형상 정보를 입력하여 제2 특징 정보를 결정할 수 있다. 예를 들어, 제2 특징 정보 결정기(150)는 개인화된 3D 얼굴 모델을 구성하는 형상 파라미터들을 벡터 형태로 변환하고, 해당 벡터를 오토-인코더(auto-encoder) 구조를 가지는 뉴럴 네트워크 모델에 입력하여 얼굴의 형상(shape)을 잘 표현할 수 있는 특징 벡터를 결정할 수 있다.
다른 실시예에 따르면, 제2 특징 정보 결정기(150)는 미리 학습된 제3 뉴럴 네트워크 모델에 3D 형상 정보 획득기(120)에 의해 생성된 깊이 영상의 깊이 정보를 입력하여 제2 특징 정보를 결정할 수 있다. 예를 들어, 제2 특징 정보 결정기(150)는 컨볼루션 뉴럴 네트워크 모델을 이용하여 깊이 영상을 컨볼루션하는 것에 의해 제2 특징 정보를 결정할 수 있다.
또 다른 실시예에 따르면, 제2 특징 정보 결정기(150)는 얼굴의 랜드마크들 간의 거리에 기초하여 제2 특징 정보를 결정할 수 있다. 제2 특징 정보 결정기(150)는 예를 들어, 얼굴 영역 내에서 검출된 랜드마크들에서 두 랜드마크들 간의 거리(distance)에 기초하여 행렬 데이터베이스를 구성하고, 행렬 데이터베이스를 제4 뉴럴 네트워크 모델에 입력하여 얼굴의 형상과 관련된 제2 특징 정보를 추출할 수 있다. 이에 대한 보다 자세한 설명은 도 9a 및 도 9b에서 후술하도록 한다.
위 설명에서, 제1 뉴럴 네트워크 모델, 제2 뉴럴 네트워크 모델, 제3 뉴럴 네트워크 모델 및 제4 뉴럴 네트워크 모델은 복수의 히든 레이어들을 포함하는 깊은 뉴럴 네트워크 모델(deep neural network model)일 수 있다.
최종 특징 정보 결정기(160)는 제1 특징 정보 및 제2 특징 정보에 기초하여 얼굴 인식을 위한 최종 특징 정보를 결정한다. 최종 특징 정보는 특징 벡터로 표현될 수 있다. 최종 특징 정보 결정기(160)는, 예를 들어 제1 특징 정보와 제2 특징 정보를 단순 연결(concatenate)하거나 또는 완전 연결 레이어(fully connected layer)를 통해 제1 특징 정보와 제2 특징 정보를 연결하여 최종 특징 정보를 결정할 수 있다.
다른 실시예에 따르면, 제2 특징 정보 결정기(150)로부터 추출된 결과가 최종 특징 정보 결정기(160)에 입력되지 않고, 대신 제1 특징 정보 결정기(140)에 입력될 수 있다. 제1 특징 정보 결정기(140)는 제2 특징 정보 결정기(150)로부터 전달받은 결과를 추가 입력으로 하여 특징 정보를 추출할 수 있고, 최종 특징 정보 결정기(160)는 제1 특징 정보 결정기(140)로부터 추출된 특징 정보를 최종 특징 정보로 결정할 수 있다. 예를 들어, 제2 특징 정보 결정기(150)로부터 추출된 결과가 제1 특징 정보 결정기(140)의 제1 뉴럴 네트워크 모델의 히든 레이어에 추가적으로 입력될 수 있고, 특징 정보가 제1 뉴럴 네트워크 모델의 출력 레이어로부터 출력될 수 있다. 최종 특징 정보 결정기(160)는 제1 뉴럴 네트워크 모델로부터 출력된 해당 특징 정보를 최종 특징 정보로 결정할 수 있다.
얼굴 인식기(170)는 최종 특징 정보를 이용하여 얼굴 인식을 수행한다. 얼굴 인식기(170)는 2D 입력 영상에 대한 최종 특징 정보와 등록 영상의 특징 정보를 비교하여 얼굴 인식 결과를 결정할 수 있다. 얼굴 인식기(170)는, 예를 들어 PCA(Principal Component Analysis), LDA(Linear Discriminate Analysis) 또는 Joint Bayesian 등의 기법을 이용하여 2D 입력 영상에서 결정된 최종 특징 정보와 등록 영상의 특징 정보 간의 유사도를 계산하고, 계산된 유사도가 미리 설정된 조건을 만족시키는지 여부를 판단하여 얼굴 인식 결과를 결정할 수 있다.
얼굴 인식기(170)는 유사도가 미리 설정된 조건을 만족시키는 경우 인식이 성공한 것으로 결정하고, 그렇지 않은 경우에는 인식이 실패한 것으로 결정할 수 있다. 일 실시예에 따르면, 인식이 성공한 것으로 결정된 경우 얼굴 인식 장치(100)는 얼굴 인식 장치(100)와 연결된 단말 장치의 잠금 상태를 해제하거나 또는 사용자에게 단말 장치의 특정 기능에 접근할 수 있는 권한을 부여할 수 있다. 인식이 실패한 것으로 결정된 경우, 얼굴 인식 장치(100)는 단말 장치의 잠금 상태를 유지하거나 또는 단말 장치의 특정 기능에 대한 접근 권한을 제한할 수 있다.
얼굴 인식을 위한 특징 정보를 생성할 때, 2D 입력 영상에 나타난 영상 정보뿐만 아니라 사용자의 3D 얼굴 형태를 추가적으로 고려함으로써 얼굴 인식의 정확도가 개선될 수 있다. 2D 입력 영상의 2D 영상 정보에 기초하여 결정된 제1 특징 정보는 얼굴의 전역적(또는, 국부적) 텍스쳐(texture)에 대한 특징 벡터에 대응되고, 개인화된 3D 얼굴 모델의 3D 형상 정보에 기초하여 결정된 제2 특징 정보는 얼굴의 3D 형상에 대한 특징 벡터에 대응될 수 있다. 위 얼굴의 전역적(또는, 국부적) 텍스쳐에 대한 특징 벡터와 얼굴의 3D 형상에 대한 특징 벡터가 결합되어 얼굴 인식을 위한 최종 특징 정보가 생성될 수 있다. 이러한 최종 특징 정보에 기초하여 얼굴 인식을 수행함으로써 2D 입력 영상의 조명 환경, 얼굴 포즈, 표정 및 가림 등의 변화에 강인(robust)하게 얼굴 인식이 수행될 수 있다. 예를 들어, 영상 내 인텐시티(intensity)의 변화가 큰 경우, 얼굴의 모습과 관련된 특징이 크게 달라질 수 있으나 얼굴의 3D 형상과 관련된 특징을 추가적으로 고려하는 것에 의해 얼굴 인식의 정확도가 개선될 수 있다. 또한, 영상 내 얼굴 모습이 유사하더라도 얼굴의 3D 형상이 다른 경우, 얼굴의 모습과 관련된 특징이 서로 유사할 수 있으나 얼굴의 3D 형상과 관련된 특징을 추가적으로 고려하는 것에 의해 얼굴 인식의 정확도가 개선될 수 있다.
<학습 과정>
이하에서는, 학습기(미도시)를 이용하여 위에 설명된 위에 설명된 제1 뉴럴 네트워크 모델, 제2 뉴럴 네트워크 모델 및 제3 뉴럴 네트워크 모델 중 하나 이상을 학습시키는 과정을 설명하도록 한다. 학습 과정을 통해 얼굴 인식에 이용되는 뉴럴 네트워크 모델들의 성능이 개선되어 얼굴 인식의 정확도가 향상될 수 있다.
학습을 위한 2D 학습 영상이 학습기에 입력되면, 학습기는 2D 학습 영상에서 얼굴의 랜드마크를 검출할 수 있다. 그 후, 학습기는 검출된 랜드마크에 기초하여 개인화된 3D 얼굴 모델을 생성하고, 개인화된 3D 얼굴 모델로부터 3D 형상 정보를 추출할 수 있다. 또한, 2D 학습 영상은 정규화되어 학습 영상에 나타난 얼굴 컴포넌트들의 위치가 조정될 수 있다. 이에 대한 자세한 설명은 위 얼굴 인식 과정에 설명된 내용이 그대로 적용될 수 있으므로 여기서는 생략하도록 한다.
학습 대상인 뉴럴 네트워크 모델이 컨볼루션 뉴럴 네트워크 모델인 경우, 2D 학습 영상과 2D 학습 영상에 대응하는 식별 정보가 입력되거나 또는 서로 비교되는 두 장의 영상들과 해당 영상들에 나타난 사용자가 서로 동일인인지 여부에 대한 정보가 입력될 수 있다. 학습 대상인 뉴럴 네트워크 모델이 오토-인코더 구조의 뉴럴 네트워크 모델인 경우에는, 3D 얼굴 모델을 구성하는 형상 파라미터들이 벡터 형태로 변환되어 입력될 수 있다.
학습기는 오류 역전파 학습(backpropagation learning) 기법 등을 이용하여 뉴럴 네트워크 모델을 학습시킬 수 있다. 오류 역전파 학습 기법은, 주어진 학습 데이터에 대해 전방 계산(forward computation)으로 오류를 추정한 후, 뉴럴 네트워크 모델의 출력 레이어에서 시작하여 히든 레이어와 입력 레이어 방향으로 역으로 전진하여 추정한 오류를 전파하고, 오류를 줄이는 방향으로 인공 뉴런들 간의 연결 가중치를 업데이트하는 기법이다.
도 2는 일 실시예에 따른 사용자 얼굴의 3D 형상을 복원하는 과정을 설명하기 위한 도면이다. 얼굴 인식 장치(100)는 영상(210)에서 얼굴 영역을 검출하고, 눈썹, 눈, 코 및 입 등에 위치한 얼굴의 랜드마크(220)들을 검출할 수 있다. 얼굴 인식 장치(100)는 일반 3D 얼굴 모델에 랜드마크 검출 정보를 적용하여 영상(210)에 나타난 사용자 얼굴의 3D 형상을 복원할 수 있다. 예를 들어, 얼굴 인식 장치(100)는 랜드마크(220)들의 위치에 기초하여 일반 3D 얼굴 모델의 형상을 변형하기 위한 형상 제어 파라미터들을 결정하고, 결정된 형상 제어 파라미터들을 일반 3D 얼굴 모델에 적용하여 사용자 얼굴의 3D 형상을 나타내는 개인화된 3D 얼굴 모델(230)을 생성할 수 있다.
얼굴 인식 장치(100)는 영상(210)으로부터 추출된 텍스쳐를 개인화된 3D 얼굴 모델(230)에 맵핑(mapping)하여 3D 텍스쳐 모델을 생성할 수 있다. 얼굴 인식 장치(100)는 3D 텍스쳐 모델의 얼굴 포즈를 조정한 후 2D 평면 상으로 투영하여 정규화된 영상(240)을 생성할 수 있다. 정규화된 영상(240)에 기초하여 얼굴 인식을 위한 제1 특징 정보가 결정될 수 있다. 또한, 얼굴 인식 장치(100)는 개인화된 3D 얼굴 모델(230)을 구성하는 포인트들의 3D 좌표 정보를 이용하여 깊이 영상(250) 및 노멀 영상(260) 중 하나 이상을 생성할 수 있다. 또는, 얼굴 인식 장치(100)는 개인화된 3D 얼굴 모델(230)을 이용하여 깊이 영상(250)과 노멀 영상(260)이 결합된 결합 영상을 생성할 수도 있다.
도 3a 및 도 3b는 일 실시예에 따른 깊이 영상에 나타난 3D 형상을 정밀화하는 과정을 설명하기 위한 도면들이다.
도 3a를 참조하면, (a)는 개인화된 3D 얼굴 모델로부터 획득된 깊이 영상의 랜드마크들(310)을 도시한다. 깊이 영상은 개인화된 3D 얼굴 모델로부터 생성되기 때문에, 깊이 영상에서 랜드마크들의 위치는 개인화된 3D 얼굴 모델이 가지는 랜드마크들의 위치에 기초하여 결정될 수 있다.
(b)는 깊이 영상의 랜드마크들을 정규화된 2D 입력 영상에 적용한 결과로서, 적용된 랜드마크들(340)이 정규화된 2D 입력 영상에 위치하고 있다. (c)는 정규화된 2D 입력 영상의 랜드마크들(320)을 도시한다. (d)는 (b)와 (c)의 동일 영역(330)에 나타난 랜드마크들(320, 340) 간의 위치 관계를 도시한다. (d)에서 볼 수 있듯이, 정규화된 2D 입력 영상과 깊이 영상 사이에서 서로 대응되는 랜드마크들(320, 340) 간에는 위치 오차가 발생할 수 있다.
이러한 위치 오차를 보정하여 보다 정확한 3D 형상 정보를 획득하기 위해, 얼굴 인식 장치(100)는 정규화된 2D 입력 영상의 랜드마크들의 위치에 기초하여 깊이 영상에 나타난 3D 형상(예, 깊이 정보)을 정밀화할 수 있다. 도 3b를 참조하면, 얼굴 인식 장치(100)는 (a)에서와 같이 깊이 영상의 랜드마크들에 기초하여 메쉬(mesh)들을 형성하고, (b)와 같이 정규화된 2D 입력 영상의 랜드마크들에 기초하여 메쉬들을 형성할 수 있다. 일 실시예에 따르면, 얼굴 인식 장치(100)는 랜드마크들과 얼굴의 윤곽 및 영상의 경계에 위치하는 기준점들에 기초하여 메쉬들을 형성할 수 있으나, 이에 한정되는 것은 아니다.
그 다음, 얼굴 인식 장치(100)는 정규화된 2D 입력 영상의 랜드마크들에 기초한 메쉬들과 깊이 영상의 랜드마크들에 기초한 메쉬들 간의 대응 관계에 기초하여 깊이 영상에 나타난 3D 형상을 조정할 수 있다. 예를 들어, (c)에 도시된 바와 같이, 얼굴 인식 장치(100)는 깊이 영상의 랜드마크들(S1, S2, S3)에 의해 형성된 메쉬를 정규화된 2D 입력 영상의 랜드마크들(T1, T2, T3)에 형성된 메쉬를 기준으로 아핀 변환(Affine Transformation)하여 깊이 영상에 나타난 깊이 값의 위치를 조정할 수 있다. 여기서, 깊이 영상에서 형성된 메쉬와 정규화된 2D 입력 영상에서 형성된 메쉬는 서로 대응되는 메쉬들이다. 이와 유사하게, 얼굴 인식 장치(100)는 깊이 영상의 랜드마크들(S2, S3, S4)에 의해 형성된 메쉬와 정규화된 2D 입력 영상의 랜드마크들(T2, T3, T4)에 의해 형성된 메쉬 간의 변환 관계에 기초하여 깊이 영상에 나타난 깊이 값의 위치를 조정할 수 있다.
얼굴 인식 장치(100)는 위 과정을 (a)에 나타난 깊이 영상의 전체 메쉬들에 대해 수행하여 깊이 영상에 나타난 3D 형상을 정규화된 2D 입력 영상에 나타난 텍스쳐 형상에 매칭되도록 보정할 수 있다. 얼굴 인식 장치(100)는 정밀화 과정이 완료된 깊이 영상으로부터 3D 형상 정보를 획득하고, 획득된 3D 형상 정보와 정규화된 2D 입력 영상의 컬러 정보에 기초하여 얼굴 인식을 수행할 수 있다. 정밀화 과정을 통해 깊이 영상에 나타난 3D 형상과 정규화된 2D 입력 영상에 나타난 텍스쳐 형상이 서로 매칭되어 보다 정확한 특징 정보가 결정될 수 있다.
도 4 및 도 5는 일 실시예에 따른 제1 뉴럴 네트워크 모델에 기초하여 제1 특징 정보를 결정하는 과정을 설명하기 위한 도면들이다. 일 실시예에 따르면, 제1 뉴럴 네트워크 모델로서 컨볼루션 뉴럴 네트워크 모델이 이용될 수 있다. 컨볼루션 뉴럴 네트워크 모델에서, 각 레이어들은 상위 레이어들에서 추출된 특징 맵(feature map)으로 구성되고, 컨볼루션 뉴럴 네트워크 모델은 컨볼루션 과정을 통해 추출된 특징 맵과 특징 맵을 서브샘플링(subsampling)하여 얻은 새로운 특징 맵을 포함한다.
도 4를 참조하면, 얼굴 인식 장치(100)는 영상(210)의 2D 영상 정보를 컨볼루션 뉴럴 네트워크 모델(400)에 입력하여 제1 특징 정보를 결정할 수 있다. 영상(210)은 컨볼루션 뉴럴 네트워크 모델(400)에 입력되기 이전에 정규화되어 얼굴 영역의 크기 및 얼굴 컴포넌트들의 위치가 조정될 수 있다.
얼굴 인식 장치(100)는 컨볼루션 뉴럴 네트워크 모델(400)의 최상단 레이어에서 추출된 값을 제1 특징 정보로 결정하거나 또는 컨볼루션 뉴럴 네트워크 모델(400)의 히든 레이어에서 추출된 값과 최상단 레이어에서 추출된 값을 연결하여 제1 특징 정보를 결정할 수도 있다.
학습 과정에서, 얼굴 인식 장치(100)는 학습 영상과 학습 영상에 대응하는 아이디(ID) 정보를 컨볼루션 뉴럴 네트워크 모델(400)에 입력시키거나 또는 서로 비교되는 두 영상들과 해당 영상들에 나타난 사용자가 서로 동일인인지 여부를 나타내는 결과 정보를 입력시킬 수 있다. 얼굴 인식 장치(100)는 Identification loss 및 Verification loss에 기초한 학습 기법을 이용하여 컨볼루션 뉴럴 네트워크 모델(400)에 대해 깊은 학습(deep learning)을 수행할 수 있다. 깊은 학습이란 딥 뉴럴 네트워크 모델(deep neural network model)를 학습시키는 것을 말한다.
다른 실시예에 따르면, 도 5에서와 같이 얼굴 인식 장치(100)는 제1 특징 정보를 결정하기 위해 컨볼루션 뉴럴 네트워크 모델(500)에 영상(210)(또는, 정규화된 영상)의 2D 영상 정보(예, 컬러 정보)뿐만 아니라 깊이 영상(250)의 깊이 정보를 함께 입력시킬 수 있다. 여기서, 깊이 영상(250)은 개인화된 3D 얼굴 모델로부터 획득되거나 또는 깊이 카메라(또는, 3D 카메라)에 의해 획득될 수 있다. 깊이 영상(250)의 깊이 정보는 제1 특징 정보를 생성하기 위한 부가적인 채널 정보로 이용될 수 있다.
또 다른 실시예에 따르면, 얼굴 인식 장치(100)는 제1 특징 정보를 결정하기 위해 컨볼루션 뉴럴 네트워크 모델(500)에 영상(210)의 2D 영상 정보와 노멀 영상(260)의 표면 노멀 정보를 함께 입력시킬 수 있다. 여기서, 노멀 영상(260)은 개인화된 3D 얼굴 모델을 이용하여 생성될 수 있다.
도 6 및 도 7은 일 실시예에 따른 제2 뉴럴 네트워크 모델에 기초하여 제2 특징 정보를 결정하는 과정을 설명하기 위한 도면들이다. 일 실시예에 따르면, 제2 뉴럴 네트워크 모델로서 오토-인코더 구조의 뉴럴 네트워크 모델이 이용될 수 있다. 오토-인코더 구조의 뉴럴 네트워크 모델은 목적하는 출력(desired output)이 입력과 동일해지도록 학습된 뉴럴 네트워크 모델이다. 오토-인코더 구조의 뉴럴 네트워크 모델(600)은 컨볼루션 뉴럴 네트워크 모델과 달리 공간적 연관 관계가 존재하지 않은 특징을 비선형(non-linear) 맵핑시키기 위해 이용될 수 있다.
도 6을 참조하면, 오토-인코더 구조의 뉴럴 네트워크 모델(600)은 입력 레이어(610), 인코딩 레이어들(620, 630)로 구성된 인코딩 유닛과 디코딩 레이어들(640, 650) 및 출력 레이어(660)로 구성된 디코딩 유닛을 포함할 수 있다. 얼굴 인식 장치(100)는 뉴럴 네트워크 모델(600)에 개인화된 3D 얼굴 모델로부터 도출된 형상 파라미터들을 벡터 형태로 변환하여 입력시킬 수 있다. 뉴럴 네트워크 모델(600)에서 벡터 형태로 변환된 형상 파라미터들은 완전 연결 레이어를 통하여 여러 단계로 인코딩된 후, 인코딩과 동일한 단계를 거쳐 디코딩될 수 있다. 얼굴 인식 장치(100)는, 예를 들어 뉴럴 네트워크 모델(600)의 최상위 인코딩 레이어(620)로부터의 출력 값을 이용하여 제2 특징 정보를 결정할 수 있다.
위 설명에서는 오토-인코더 구조의 뉴럴 네트워크 모델이 제2 뉴럴 네트워크 모델로 이용되는 것을 설명하였으나, 실시예의 범위가 이에 한정되는 것은 아니며 다양한 구조의 뉴럴 네트워크 모델이 제2 뉴럴 네트워크 모델로 이용될 수 있다. 예를 들어, 오토-인코더 구조의 뉴럴 네트워크 모델에서 디코딩 유닛을 포함하지 않는 변형된 뉴럴 네트워크 모델이 제2 뉴럴 네트워크 모델로서 이용될 수 있다.
학습 과정에서, 얼굴 인식 장치(100)는 학습 영상으로부터 개인화된 3D 얼굴 모델을 생성하고, 개인화된 3D 얼굴 모델로부터 도출된 형상 파라미터들을 벡터 형태로 변환하여 뉴럴 네트워크 모델(600)에 입력시킬 수 있다. 얼굴 인식 장치(100)는 오토-인코더의 구조를 이용하여 뉴럴 네트워크 모델(600)에 대해 깊은 학습을 수행할 수 있다. 얼굴 인식 장치(100)는 유클리디안 거리(Euclidean Distance) 등을 이용하여 디코딩 유닛에서 출력된 최종 출력 값과 입력 레이어(610)에 입력된 값 간의 손실(loss)을 계산하고, 계산된 손실이 줄어들도록 뉴런들 간의 연결 가중치를 조정하여 뉴럴 네트워크 모델(600)을 학습시킬 수 있다.
도 7은 다른 실시예에 따른 오토-인코더 구조를 포함한 뉴럴 네트워크 모델(700)를 도시하고 있다. 뉴럴 네트워크 모델(700)는 입력 레이어(710), 인코딩 레이어들(720, 730), 디코딩 레이어들(740, 750) 및 출력 레이어(760)뿐만 아니라 추가 레이어들(770, 780)을 더 포함할 수 있다. 학습 과정에서, 형상 파라미터 정보뿐만 아니라 사용자 얼굴에 대응하는 아이디(ID) 정보가 벡터 형태로 변환되어 입력 레이어(710)에 입력될 수 있고, 추가 레이어들(770, 780)은 입력된 형상 파라미터 정보와 아이디 정보가 서로 맵핑되도록 학습하는데 이용될 수 있다. 이 때, 소프트맥스 손실(softmax loss)을 이용한 학습 기법이 이용될 수 있다.
도 8은 일 실시예에 따른 제3 뉴럴 네트워크 모델에 기초하여 제2 특징 정보를 결정하는 과정을 설명하기 위한 도면이다. 일 실시예에 따르면, 제3 뉴럴 네트워크 모델로서 컨볼루션 뉴럴 네트워크 모델이 이용될 수 있다. 도 8을 참조하면, 얼굴 인식 장치(100)는 제2 특징 정보를 결정하기 위해 형상 파라미터 정보 대신 깊이 영상(250)의 깊이 정보 또는 노멀 영상(260)의 표면 노멀 정보를 컨볼루션 뉴럴 네트워크 모델(800)에 입력시킬 수 있다. 여기서, 깊이 영상(250)는 개인화된 3D 얼굴 모델로부터 획득되거나 또는 깊이 카메라 등에 의해 획득될 수 있다. 노멀 영상(260)은 개인화된 3D 얼굴 모델로부터 획득될 수 있다. 얼굴 인식 장치(100)는 컨볼루션 뉴럴 네트워크 모델(800)의 최상단 레이어에서 추출된 값을 제3 특징 정보로 결정하거나 또는 컨볼루션 뉴럴 네트워크 모델의 히든 레이어에서 추출된 값과 최상단 레이어에서 추출된 값을 연결하여 제3 특징 정보를 결정할 수도 있다.
도 9a 및 도 9b는 일 실시예에 따른 얼굴의 랜드마크들에 기초하여 제2 특징 정보를 결정하는 과정을 설명하기 위한 도면들이다. 도 9a는 2D 입력 영상 내 얼굴 영역(910)에서 검출된 얼굴의 랜드마크들이 도시되어 있다. 여기서는, 총 68개의 랜드마크들이 검출되었다고 가정한다. 경우에 따라, 랜드마크의 절대적인 위치보다는 랜드마크들 간의 상대적인 거리가 얼굴의 특징을 보다 잘 표현할 수 있고, 얼굴 인식 장치(100)는 랜드마크들 간의 거리에 기초하여 제2 특징 정보를 결정할 수 있다. 얼굴 인식 장치(100)는 예를 들어, 도 9b에 도시된 것과 같이, 두 랜드마크들 간의 거리에 기초하여 행렬 데이터베이스를 구성할 수 있다. 도 9b에는 총 68개의 랜드마크들에 대해 두 랜드마크들 간의 거리가 행렬 형식으로 구성되어 있다. 도면에서 "LMx"는 랜드마크 x를 나타내고, "거리(LMx, LMy)"는 랜드마크 x와 랜드마크 y 간의 거리를 나타낸다. 여기서, x, y는 도 9a에서 검출된 68개의 랜드마크들 중에서 특정 랜드마크를 식별하기 위한 인덱스들을 나타낸다. 랜드마크들 간의 거리에 기초한 행렬 데이터베이스는 뉴럴 네트워크 모델에 입력되고, 해당 뉴럴 네트워크 모델로부터 제2 특징 정보가 추출될 수 있다.
도 10은 일 실시예에 따른 얼굴 인식 방법의 동작을 설명하기 위한 흐름도이다.
단계(1010)에서, 얼굴 인식 장치(100)는 2D 입력 영상에 나타난 사용자의 얼굴 영역에서 얼굴의 랜드마크들을 검출한다. 예를 들어, 얼굴 인식 장치(100)는 2D 입력 영상에서 눈썹, 눈, 코 및 입 등에 위치한 랜드마크들을 검출할 수 있다.
단계(1020)에서, 얼굴 인식 장치(100)는 검출된 랜드마크들에 기초하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 얼굴 인식 장치(100)는 2D 입력 영상에서 검출된 랜드마크들의 위치 정보에 기초하여 일반 3D 얼굴 모델의 형태를 조정하는 것에 의해 개인화된 3D 얼굴 모델을 생성할 수 있다.
단계(1030)에서, 얼굴 인식 장치(100)는 개인화된 3D 얼굴 모델에 기초하여 정규화된 2D 입력 영상 및 3D 형상 정보를 획득할 수 있다. 얼굴 인식 장치(100)는 개인화된 3D 얼굴 모델로부터 획득된 2D 영상을 이용하여 정규화된 2D 입력 영상을 획득할 수 있다. 정규화 과정을 통해 2D 입력 영상에 나타난 얼굴 영역의 크기 및 얼굴 컴포넌트들의 위치가 조정될 수 있다. 얼굴 인식 장치(100)는 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 또는 노멀 영상을 생성하고, 생성된 깊이 영상 또는 노멀 영상으로부터 사용자 얼굴에 대한 3D 형상 정보를 획득할 수 있다.
단계(1040)에서, 얼굴 인식 장치(100)는 정규화된 2D 입력 영상의 컬러 정보 및 단계(1030)에서 획득된 3D 형상 정보를 이용하여 특징 정보를 결정할 수 있다. 예를 들어, 얼굴 인식 장치(100)는 깊은 뉴럴 네트워크 모델을 이용하여 정규화된 2D 입력 영상의 컬러 정보로부터 제1 특징 정보를 결정하고, 다른 깊은 뉴럴 네트워크 모델을 이용하여 3D 형상 정보로부터 제2 특징 정보를 결정할 수 있다. 얼굴 인식 장치(100)는 제1 특징 정보와 제2 특징 정보를 결합하여 최종 특징 정보를 결정할 수 있다.
단계(1050)에서, 얼굴 인식 장치(100)는 특징 정보를 이용하여 얼굴 인식을 수행할 수 있다. 얼굴 인식 장치(100)는 단계(1040)에서 결정된 특징 정보와 미리 저장된 등록 영상의 특징 정보 간의 유사도를 계산하고, 계산된 유사도가 미리 설정된 조건을 만족시키는지 여부를 판단하여 얼굴 인식 결과를 결정할 수 있다.
도 10에 설명되지 않은 내용은 도 1 내지 도 9b에 서술된 내용을 참조할 수 있다.
도 11은 다른 실시예에 따른 얼굴 인식 장치(1110)의 동작을 설명하기 위한 도면이다. 카메라와 같은 영상 획득 장치(1140)는 사용자의 얼굴을 촬영하고, 사용자의 얼굴이 나타난 영상을 얼굴 인식 장치(1110)에 전달한다. 얼굴 인식 장치(1110)는 입력된 영상과 등록 영상 데이터베이스(1150)에 미리 저장된 등록 영상을 비교하여 얼굴 인식을 수행할 수 있다. 사용자는 등록(enrollment) 과정을 통해 자신의 얼굴 영상을 미리 등록할 수 있고, 등록 영상 데이터베이스(1150)는 등록 과정을 통해 등록된 얼굴 영상을 등록 영상으로서 저장할 수 있다.
얼굴 인식 장치(1110)는 여기에 기술되거나 또는 도시된 하나 이상의 얼굴 인식 방법 및 학습 방법을 수행할 수 있다. 얼굴 인식 장치(1110)는 얼굴 인식 결과를 스피커를 통해 음성의 형태로 출력하거나 디스플레이를 통해 글자, 그림 또는 동영상 등의 형태로 출력할 수 있다. 하지만, 실시예의 범위가 이에 한정되지는 않으며, 얼굴 인식 장치(1110)는 다양한 형태로 얼굴 인식 결과를 출력할 수 있다.
얼굴 인식 장치(1110)는 프로세서(1120) 및 메모리(1130)를 포함할 수 있다. 메모리(1130)는 프로세서(1120)와 통신하고, 프로세서(1120)에 의해 실행가능한 인스트럭션들 또는 프로세서(1120)가 연산할 데이터를 저장할 수 있다. 프로세서(1120)는 메모리(1130)에 저장된 인스트럭션들을 실행하는 하드웨어를 포함한다. 프로세서(1120)는 인스트럭션들을 실행하기 위해, 내부 레지스터, 내부 캐쉬, 메모리(1130) 또는 스토리지(storage)로부터 인스트럭션들을 꺼내고(retrieve or fetch), 인스트럭션들을 실행할 수 있다. 그 후, 프로세서(1120)는 하나 이상의 실행 결과를 내부 레지스터, 내부 캐쉬, 메모리(1130), 또는 스토리지에 기록할 수 있다. 일 실시예에 따르면, 프로세서(1120)는 도 1 내지 도 10에 설명된 하나 이상의 동작을 수행하기 위한 인스트럭션들을 실행할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 2D 입력 영상으로부터 개인화된 3D 얼굴 모델을 생성하는 단계;
    상기 개인화된 3D 얼굴 모델에 기초하여 정규화된 2D 입력 영상 및 3D 형상 정보를 획득하는 단계;
    상기 정규화된 2D 입력 영상의 컬러 정보 및 상기 3D 형상 정보를 이용하여 특징 정보를 결정하는 단계; 및
    상기 특징 정보를 이용하여 얼굴 인식을 수행하는 단계
    를 포함하는 얼굴 인식 방법.
  2. 제1항에 있어서,
    상기 특징 정보를 결정하는 단계는,
    제1 깊은 뉴럴 네트워크 모델을 이용하여 상기 컬러 정보로부터 제1 특징 정보를 결정하는 단계; 및
    제2 깊이 뉴럴 네트워크 모델을 이용하여 상기 3D 형상 정보로부터 제2 특징 정보를 결정하는 단계
    를 포함하고,
    상기 얼굴 인식을 수행하는 단계는,
    상기 제1 특징 정보 및 상기 제2 특징 정보를 이용하여 얼굴 인식을 수행하는, 얼굴 인식 방법.
  3. 제1항에 있어서,
    상기 3D 형상 정보를 획득하는 단계는,
    상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상을 생성하는 단계;
    상기 정규화된 2D 입력 영상의 랜드마크들에 기초하여 상기 깊이 영상에 나타난 3D 형상을 정밀화(refinement)하는 단계; 및
    상기 정밀화된 3D 형상으로부터 상기 3D 형상 정보를 획득하는 단계
    를 포함하는 얼굴 인식 방법.
  4. 제3항에 있어서,
    상기 깊이 영상에 나타난 3D 형상을 정밀화하는 단계는,
    상기 정규화된 2D 입력 영상의 랜드마크들에 기초한 메쉬들과 상기 깊이 영상의 랜드마크들에 기초한 메쉬들 간의 대응 관계에 기초하여 상기 깊이 영상에 나타난 3D 형상을 조정하는 단계
    를 포함하는 얼굴 인식 방법.
  5. 제1항에 있어서,
    상기 3D 형상 정보를 획득하는 단계는,
    상기 2D 입력 영상에서 얼굴의 랜드마크들을 검출하는 단계;
    상기 검출된 랜드마크들에 기초하여 일반 3D 얼굴 모델을 상기 개인화된 3D 얼굴 모델로 변형하는 단계; 및
    상기 개인화된 3D 얼굴 모델로부터 상기 3D 형상 정보를 획득하는 단계
    를 포함하는 얼굴 인식 방법.
  6. 제1항에 있어서,
    상기 3D 형상 정보를 획득하는 단계는,
    상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 노멀 영상 중 적어도 하나를 생성하는 단계; 및
    상기 깊이 영상 및 노멀 영상 중 적어도 하나로부터 상기 3D 형상 정보를 획득하는 단계
    를 포함하는 얼굴 인식 방법.
  7. 제2항에 있어서,
    상기 특징 정보를 결정하는 단계는,
    제1 깊은 뉴럴 네트워크 모델을 이용하여 상기 2D 입력 영상의 컬러 정보 및 상기 개인화된 3D 얼굴 모델을 이용하여 획득된 깊이 영상의 깊이 정보로부터 제1 특징 정보를 결정하는, 얼굴 인식 방법.
  8. 제2항에 있어서,
    상기 특징 정보를 결정하는 단계는,
    제1 깊은 뉴럴 네트워크 모델을 이용하여 상기 2D 입력 영상의 컬러 정보 및 상기 개인화된 3D 얼굴 모델을 이용하여 획득된 노멀 영상의 표면 노멀 정보로부터 제1 특징 정보를 결정하는, 얼굴 인식 방법.
  9. 제2항에 있어서,
    상기 제2 깊은 뉴럴 네트워크 모델은,
    오토-인코더(auto-encoder) 구조의 뉴럴 네트워크 모델인, 얼굴 인식 방법.
  10. 제1항에 있어서,
    상기 정규화된 2D 입력 영상을 획득하는 단계는,
    상기 개인화된 3D 얼굴 모델을 이용하여 정면 얼굴에 대한 포즈 정보를 추정하는 단계; 및
    상기 포즈 정보를 이용하여 상기 2D 입력 영상을 정규화하는 단계
    를 포함하는 얼굴 인식 방법.
  11. 제1항에 있어서,
    상기 정규화된 2D 입력 영상을 획득하는 단계는,
    상기 2D 입력 영상에서 얼굴의 랜드마크들을 검출하는 단계; 및
    상기 검출된 랜드마크들에 기초하여 상기 2D 입력 영상을 정규화하는 단계
    를 포함하는 얼굴 인식 방법.
  12. 제2항에 있어서,
    상기 얼굴 인식을 수행하는 단계는,
    상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 최종 특징 정보를 결정하는 단계; 및
    상기 2D 입력 영상에 대한 최종 특징 정보와 미리 저장된 등록 영상의 특징 정보를 비교하여 얼굴 인식 결과를 결정하는 단계
    를 포함하는 얼굴 인식 방법.
  13. 하드웨어와 결합되어 제1항 내지 제12항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  14. 2D 영상으로부터 얼굴의 랜드마크들을 검출하는 랜드마크 검출기;
    상기 검출된 랜드마크들에 기초하여 개인화된 3D 얼굴 모델을 생성하고, 상기 개인화된 3D 얼굴 모델로부터 3D 형상 정보를 획득하는 3D 형상 정보 획득기;
    제1 깊은 뉴럴 네트워크 모델을 이용하여 상기 2D 영상의 컬러 정보로부터 제1 특징 정보를 결정하는 제1 특징 정보 결정기; 및
    제2 깊은 뉴럴 네트워크 모델을 이용하여 상기 3D 형상 정보로부터 제2 특징 정보를 결정하는 제2 특징 정보 결정기를 포함하고,
    상기 제1 깊은 뉴럴 네트워크 모델은 상기 제2 깊은 뉴럴 네트워크 모델과 구별되는, 장치.
  15. 제14항에 있어서,
    상기 제1 깊은 뉴럴 네트워크 모델은,
    상기 2D 영상의 컬러 정보에 기초하여 상기 영상에 나타난 얼굴의 모습(appearance)과 관련된 특징을 결정하는, 장치.
  16. 제14항에 있어서,
    상기 제2 깊은 뉴럴 네트워크 모델은,
    상기 3D 형상 정보에 기초하여 상기 2D 영상에 나타난 얼굴의 형상(shape)과 관련된 특징을 결정하는, 장치.
  17. 제14항에 있어서,
    상기 검출된 랜드마크들 및 상기 개인화된 3D 얼굴 모델 중 적어도 하나에 기초하여 상기 영상을 정규화하는 정규화기
    를 더 포함하는 장치.
  18. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행가능한 인스트럭션들(instructions)을 포함하는 메모리를 포함하고,
    상기 하나 이상의 프로세서는 상기 인스트럭션들을 실행할 때,
    2D 입력 영상으로부터 개인화된 3D 얼굴 모델을 생성하고,
    상기 개인화된 3D 얼굴 모델에 기초하여 정규화된 2D 입력 영상 및 3D 형상 정보를 획득하고,
    상기 정규화된 2D 입력 영상의 컬러 정보 및 상기 3D 형상 정보를 이용하여 특징 정보를 결정하고,
    상기 특징 정보를 이용하여 얼굴 인식을 수행하는, 얼굴 인식 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    제1 깊은 뉴럴 네트워크 모델을 이용하여 상기 컬러 정보로부터 제1 특징 정보를 결정하고, 제2 깊이 뉴럴 네트워크 모델을 이용하여 상기 3D 형상 정보로부터 제2 특징 정보를 결정하고, 상기 제1 특징 정보 및 상기 제2 특징 정보를 이용하여 얼굴 인식을 수행하는, 얼굴 인식 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상을 생성하고, 상기 정규화된 2D 입력 영상의 랜드마크들에 기초하여 상기 깊이 영상에 나타난 3D 형상을 정밀화하고, 상기 정밀화된 3D 형상으로부터 상기 3D 형상 정보를 획득하는, 얼굴 인식 장치.
KR1020150175672A 2015-06-24 2015-12-10 얼굴 인식 방법 및 장치 Ceased KR20170000748A (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2016115281A JP6754619B2 (ja) 2015-06-24 2016-06-09 顔認識方法及び装置
US15/188,437 US10331941B2 (en) 2015-06-24 2016-06-21 Face recognition method and apparatus
EP16175896.6A EP3147827A1 (en) 2015-06-24 2016-06-23 Face recognition method and apparatus
EP22185824.4A EP4099221B1 (en) 2015-06-24 2016-06-23 Face recognition method and apparatus
CN202111044887.0A CN113743321B (zh) 2015-06-24 2016-06-24 脸部识别方法和设备
CN201610467503.9A CN106295496B (zh) 2015-06-24 2016-06-24 脸部识别方法和设备
US16/430,811 US10733422B2 (en) 2015-06-24 2019-06-04 Face recognition method and apparatus
US16/881,436 US11386701B2 (en) 2015-06-24 2020-05-22 Face recognition method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150089503 2015-06-24
KR1020150089503 2015-06-24

Publications (1)

Publication Number Publication Date
KR20170000748A true KR20170000748A (ko) 2017-01-03

Family

ID=57797467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150175672A Ceased KR20170000748A (ko) 2015-06-24 2015-12-10 얼굴 인식 방법 및 장치

Country Status (3)

Country Link
US (2) US10733422B2 (ko)
EP (1) EP3147827A1 (ko)
KR (1) KR20170000748A (ko)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128289A1 (ko) 2017-01-03 2018-07-12 주식회사 엘지화학 변성 공액디엔계 중합체 및 이를 포함하는 고무 조성물
KR20190097494A (ko) * 2018-02-12 2019-08-21 재단법인대구경북과학기술원 전자 장치 및 그의 제어 방법
WO2019168264A1 (ko) * 2018-02-27 2019-09-06 삼성전자주식회사 전자 장치 및 그 제어 방법
US10579865B2 (en) 2017-06-26 2020-03-03 Samsung Electronics Co., Ltd. Facial verification method and apparatus
KR20200047294A (ko) * 2018-10-26 2020-05-07 삼성전자주식회사 생체 인식 기반의 사용자 인증 방법 및 장치
CN111242097A (zh) * 2020-02-27 2020-06-05 腾讯科技（深圳）有限公司 一种人脸识别方法、装置、计算机可读介质及电子设备
WO2020117006A1 (ko) * 2018-12-07 2020-06-11 주식회사 포스코아이씨티 Ai 기반의 안면인식시스템
KR20200075063A (ko) * 2018-12-07 2020-06-26 주식회사 포스코아이씨티 딥러닝 기반의 얼굴이미지 추출장치
KR20200083119A (ko) * 2018-12-31 2020-07-08 삼성전자주식회사 사용자 인증 장치 및 방법
KR20200084427A (ko) * 2018-12-24 2020-07-13 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 특징벡터를 추출하는 얼굴인식시스템
KR20200084426A (ko) * 2018-12-24 2020-07-13 주식회사 포스코아이씨티 오차감소 알고리즘을 이용하여 얼굴인식모델을 트레이닝시키는 얼굴인식시스템
KR20200087350A (ko) * 2018-12-31 2020-07-21 주식회사 포스코아이씨티 Ai 기반의 얼굴인식 시스템
WO2020149601A1 (ko) * 2019-01-15 2020-07-23 포항공과대학교 산학협력단 3d cnn을 이용한 고속 영상 인식 방법 및 장치
KR102198360B1 (ko) * 2019-10-24 2021-01-04 광운대학교 산학협력단 얼굴 영상 기반의 시선 추적 시스템 및 방법
US10885659B2 (en) 2018-01-15 2021-01-05 Samsung Electronics Co., Ltd. Object pose estimating method and apparatus
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
CN112613460A (zh) * 2020-12-30 2021-04-06 深圳威富优房客科技有限公司 人脸生成模型的建立方法和人脸生成方法
KR20210038644A (ko) * 2018-10-03 2021-04-07 가부시끼가이샤 히다치 세이사꾸쇼 생체 인증 시스템, 생체 인증 방법 및 프로그램
KR20210069388A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템
KR20210069380A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 인증결과를 활용한 안면인식서버 및 안면인식시스템
KR20210069381A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 시공간 환경 변화에 따른 안면인식을 위한 안면인식서버 및 안면인식 시스템
WO2022098164A1 (ko) * 2020-11-06 2022-05-12 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102458179B1 (ko) * 2022-06-20 2022-10-24 주식회사 한국공간데이터 얼굴 속성을 이용한 얼굴 인식 방법 및 얼굴 인식 장치
KR20240018243A (ko) * 2022-08-02 2024-02-13 광운대학교 산학협력단 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치
KR102836534B1 (ko) * 2024-11-28 2025-07-22 주식회사 머스트리 영상 데이터 융합을 통한 얼굴의 부위별 주름 검출 장치 및 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628985B2 (en) * 2017-12-01 2020-04-21 Affectiva, Inc. Avatar image animation using translation vectors
US10701343B2 (en) * 2016-05-26 2020-06-30 Asustek Computer Inc. Measurement device and processor configured to execute measurement method
CN106780662B (zh) * 2016-11-16 2020-09-18 北京旷视科技有限公司 人脸图像生成方法、装置及设备
CN106780658B (zh) 2016-11-16 2021-03-09 北京旷视科技有限公司 人脸特征添加方法、装置及设备
JP6987508B2 (ja) 2017-02-20 2022-01-05 オムロン株式会社 形状推定装置及び方法
US10878612B2 (en) * 2017-04-04 2020-12-29 Intel Corporation Facial image replacement using 3-dimensional modelling techniques
CN107622240B (zh) * 2017-09-21 2023-10-13 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108073910B (zh) * 2017-12-29 2021-05-07 百度在线网络技术（北京）有限公司 用于生成人脸特征的方法和装置
US11527107B1 (en) 2018-06-29 2022-12-13 Apple Inc. On the fly enrollment for facial recognition
CN108920639B (zh) * 2018-07-02 2022-01-18 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
CN108921102B (zh) * 2018-07-05 2022-07-05 盎锐（上海）信息科技有限公司 3d影像的处理方法及装置
CN109993807B (zh) * 2019-02-21 2023-05-30 百度在线网络技术（北京）有限公司 头像生成方法、装置及存储介质
CN110728783A (zh) * 2019-08-31 2020-01-24 苏州浪潮智能科技有限公司 一种人脸识别系统的自我纠正方法、系统及设备
CN110991281B (zh) * 2019-11-21 2022-11-04 电子科技大学 一种动态人脸识别方法
CN112861579B (zh) * 2019-11-27 2022-10-18 四川大学 三维面部标志自动检测方法
CN111161276B (zh) * 2019-11-27 2023-04-18 天津中科智能识别产业技术研究院有限公司 一种虹膜归一化图像的形成方法
CN110991533B (zh) * 2019-12-03 2023-08-04 Oppo广东移动通信有限公司 图像识别方法、识别装置、终端设备及可读存储介质
WO2021140510A2 (en) * 2020-01-09 2021-07-15 Datagen Technologies, Ltd. Large-scale generation of photorealistic 3d models
CN111798342A (zh) * 2020-07-07 2020-10-20 德能森智能科技(无锡)有限公司 一种基于云平台的智慧社区系统
CN112200024B (zh) * 2020-09-24 2022-10-11 复旦大学 一种通过三维可形变模型学习的二维人脸表情识别方法
CN112287820B (zh) * 2020-10-28 2025-01-14 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质
KR20220086049A (ko) 2020-12-16 2022-06-23 삼성전자주식회사 영상 처리 방법, 영상 처리 장치, 및 영상 처리를 위한 트레이닝 방법
CN112287918B (zh) * 2020-12-31 2021-03-19 湖北亿咖通科技有限公司 一种人脸识别方法、装置及电子设备
CN112884908A (zh) * 2021-02-09 2021-06-01 脸萌有限公司 基于增强现实的显示方法、设备、存储介质及程序产品
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备
CN113673374B (zh) * 2021-08-03 2024-01-30 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备
CN113780095B (zh) * 2021-08-17 2023-12-26 中移（杭州）信息技术有限公司 人脸识别模型的训练数据扩充方法、终端设备及介质
CN114648797A (zh) * 2022-03-18 2022-06-21 成都商汤科技有限公司 人脸识别方法、装置、电子设备及存储介质
CN114821748A (zh) * 2022-05-27 2022-07-29 中国银行股份有限公司 人脸识别方法、装置、电子设备及计算机存储介质
WO2023240489A1 (zh) * 2022-06-15 2023-12-21 北京小米移动软件有限公司 一种拍照方法、装置及存储介质
US20240054722A1 (en) * 2022-08-10 2024-02-15 MY3DMeta Private Limited Method and system for generating three-dimensional (3d) model(s) from a two-dimensional (2d) image of an object
US12561920B2 (en) * 2023-04-18 2026-02-24 Snap Inc. Dynamic model adaptation customized for individual users
US12614410B2 (en) * 2024-02-05 2026-04-28 International Business Machines Corporation Realtime facial biometric feedback for dynamic optimization of artificial intelligence output
WO2025232815A1 (en) * 2024-05-09 2025-11-13 Solution Young Limited Facial detection system and process for cosmetic and therapeutic treatment of a subject
US20260073730A1 (en) * 2024-09-10 2026-03-12 Sony Group Corporation 3d consistent 2d landmark generation for facial images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108804A (ja) 1991-10-21 1993-04-30 Nippon Telegr & Teleph Corp <Ntt> ３次元物体の識別方法及びその実施装置
JP2005316888A (ja) 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
WO2008023280A2 (en) 2006-06-12 2008-02-28 Fotonation Vision Limited Advances in extending the aam techniques from grayscale to color images
KR100955255B1 (ko) 2008-04-10 2010-04-30 연세대학교 산학협력단 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법
KR101105435B1 (ko) 2009-04-14 2012-01-17 경북대학교 산학협력단 얼굴 검출과 얼굴 인지 방법
KR20100138648A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 영상 처리 장치 및 방법
US8406483B2 (en) 2009-06-26 2013-03-26 Microsoft Corporation Boosted face verification
US8593452B2 (en) 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction
US20140341443A1 (en) 2013-05-16 2014-11-20 Microsoft Corporation Joint modeling for facial recognition
WO2015029982A1 (ja) 2013-08-29 2015-03-05 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
WO2015095733A1 (en) 2013-12-19 2015-06-25 Objectvideo, Inc. System and method for identifying faces in unconstrained media
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
US9894063B2 (en) * 2016-04-17 2018-02-13 International Business Machines Corporation Anonymizing biometric data for use in a security system

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128289A1 (ko) 2017-01-03 2018-07-12 주식회사 엘지화학 변성 공액디엔계 중합체 및 이를 포함하는 고무 조성물
US10579865B2 (en) 2017-06-26 2020-03-03 Samsung Electronics Co., Ltd. Facial verification method and apparatus
US10885659B2 (en) 2018-01-15 2021-01-05 Samsung Electronics Co., Ltd. Object pose estimating method and apparatus
KR20190097494A (ko) * 2018-02-12 2019-08-21 재단법인대구경북과학기술원 전자 장치 및 그의 제어 방법
WO2019168264A1 (ko) * 2018-02-27 2019-09-06 삼성전자주식회사 전자 장치 및 그 제어 방법
US11657520B2 (en) 2018-02-27 2023-05-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
US12067095B2 (en) 2018-10-03 2024-08-20 Hitachi, Ltd. Biometric authentication system, biometric authentication method, and storage medium
KR20210038644A (ko) * 2018-10-03 2021-04-07 가부시끼가이샤 히다치 세이사꾸쇼 생체 인증 시스템, 생체 인증 방법 및 프로그램
KR20200047294A (ko) * 2018-10-26 2020-05-07 삼성전자주식회사 생체 인식 기반의 사용자 인증 방법 및 장치
US12158932B2 (en) 2018-10-26 2024-12-03 Samsung Electronics Co., Ltd. Biometrics-based user authentication method and device
WO2020117006A1 (ko) * 2018-12-07 2020-06-11 주식회사 포스코아이씨티 Ai 기반의 안면인식시스템
KR20200075063A (ko) * 2018-12-07 2020-06-26 주식회사 포스코아이씨티 딥러닝 기반의 얼굴이미지 추출장치
KR20200084426A (ko) * 2018-12-24 2020-07-13 주식회사 포스코아이씨티 오차감소 알고리즘을 이용하여 얼굴인식모델을 트레이닝시키는 얼굴인식시스템
KR20200084427A (ko) * 2018-12-24 2020-07-13 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 특징벡터를 추출하는 얼굴인식시스템
KR20200083119A (ko) * 2018-12-31 2020-07-08 삼성전자주식회사 사용자 인증 장치 및 방법
KR20200087350A (ko) * 2018-12-31 2020-07-21 주식회사 포스코아이씨티 Ai 기반의 얼굴인식 시스템
US12165397B2 (en) 2019-01-15 2024-12-10 POSTECH Research and Business Development Foundation Method and device for high-speed image recognition using 3D CNN
WO2020149601A1 (ko) * 2019-01-15 2020-07-23 포항공과대학교 산학협력단 3d cnn을 이용한 고속 영상 인식 방법 및 장치
KR102198360B1 (ko) * 2019-10-24 2021-01-04 광운대학교 산학협력단 얼굴 영상 기반의 시선 추적 시스템 및 방법
KR20210069388A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템
KR20210069380A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 인증결과를 활용한 안면인식서버 및 안면인식시스템
KR20210069381A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 시공간 환경 변화에 따른 안면인식을 위한 안면인식서버 및 안면인식 시스템
CN111242097A (zh) * 2020-02-27 2020-06-05 腾讯科技（深圳）有限公司 一种人脸识别方法、装置、计算机可读介质及电子设备
CN111242097B (zh) * 2020-02-27 2023-04-18 腾讯科技（深圳）有限公司 一种人脸识别方法、装置、计算机可读介质及电子设备
WO2022098164A1 (ko) * 2020-11-06 2022-05-12 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US12626396B2 (en) 2020-11-06 2026-05-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN112613460A (zh) * 2020-12-30 2021-04-06 深圳威富优房客科技有限公司 人脸生成模型的建立方法和人脸生成方法
KR102458179B1 (ko) * 2022-06-20 2022-10-24 주식회사 한국공간데이터 얼굴 속성을 이용한 얼굴 인식 방법 및 얼굴 인식 장치
KR20240018243A (ko) * 2022-08-02 2024-02-13 광운대학교 산학협력단 3d 얼굴 랜드마크를 이용한 얼굴 정합 방법 및 장치
US12536677B2 (en) 2022-08-02 2026-01-27 Kwangwoon University Industry-Academic Collaboration Foundation Method and apparatus for obtaining first and second images to detect first and second landmarks and face registration using 3D facial landmark
KR102836534B1 (ko) * 2024-11-28 2025-07-22 주식회사 머스트리 영상 데이터 융합을 통한 얼굴의 부위별 주름 검출 장치 및 방법

Also Published As

Publication number Publication date
EP3147827A1 (en) 2017-03-29
US10733422B2 (en) 2020-08-04
US20200285837A1 (en) 2020-09-10
US11386701B2 (en) 2022-07-12
US20190286884A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6754619B2 (ja) 顔認識方法及び装置
US11386701B2 (en) Face recognition method and apparatus
KR102734298B1 (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR102477190B1 (ko) 얼굴 인식 방법 및 장치
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
KR102244013B1 (ko) 얼굴 인식 방법 및 장치
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
JP6411510B2 (ja) 無制約の媒体内の顔を識別するシステムおよび方法
Mahmood et al. WHITE STAG model: Wise human interaction tracking and estimation (WHITE) using spatio-temporal and angular-geometric (STAG) descriptors
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
KR102476758B1 (ko) 영상 정규화 장치 및 방법
CN110363047A (zh) 人脸识别的方法、装置、电子设备和存储介质
KR20160061856A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
CN110506274A (zh) 图像中的对象检测和表示
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR102483650B1 (ko) 사용자 인증 장치 및 방법
KR20160033553A (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
CN112989304A (zh) 用户认证设备、用户认证方法和用于用户认证的训练方法
CN107844760A (zh) 基于曲面法向分量图神经网络表示的三维人脸识别方法
US12147519B2 (en) User authentication based on three-dimensional face modeling using partial face images
CN111382666A (zh) 具有用户验证的设备和方法
KR102883351B1 (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
CN121095989A (zh) 一种微表情识别方法、装置、计算机设备及存储介质
KR20230072851A (ko) 표정 분류를 위한 랜드마크 기반의 앙상블 네트워크 생성 방법 및 생성된 앙상블 네트워크를 이용한 표정 분류 방법.

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0601 Decision of rejection after re-examination

St.27 status event code: N-2-6-B10-B17-rex-PX0601

X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

St.27 status event code: A-3-3-V10-V11-apl-PJ0201

J301 Trial decision

Free format text: TRIAL NUMBER: 2021101000311; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210205

Effective date: 20210928

PJ1301 Trial decision

St.27 status event code: A-3-3-V10-V15-crt-PJ1301

Decision date: 20210928

Appeal event data comment text: Appeal Kind Category : Appeal against decision to decline refusal, Appeal Ground Text : 2015 0175672

Appeal request date: 20210205

Appellate body name: Patent Examination Board

Decision authority category: Office appeal board

Decision identifier: 2021101000311

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000