KR20190127338A - 차량 단말 및 그의 얼굴 인증 방법 - Google Patents

차량 단말 및 그의 얼굴 인증 방법 Download PDF

Info

Publication number
KR20190127338A
KR20190127338A KR1020180051841A KR20180051841A KR20190127338A KR 20190127338 A KR20190127338 A KR 20190127338A KR 1020180051841 A KR1020180051841 A KR 1020180051841A KR 20180051841 A KR20180051841 A KR 20180051841A KR 20190127338 A KR20190127338 A KR 20190127338A
Authority
KR
South Korea
Prior art keywords
user
face
mobile terminal
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180051841A
Other languages
English (en)
Other versions
KR102540920B1 (ko
Inventor
김삼용
윤유진
류성숙
이활리
이병준
김진권
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180051841A priority Critical patent/KR102540920B1/ko
Priority to US16/043,912 priority patent/US10755083B2/en
Priority to DE102018213787.0A priority patent/DE102018213787A1/de
Priority to CN201810938633.5A priority patent/CN110435592B/zh
Publication of KR20190127338A publication Critical patent/KR20190127338A/ko
Application granted granted Critical
Publication of KR102540920B1 publication Critical patent/KR102540920B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2081—Means to switch the anti-theft system on or off combined with personal settings of other vehicle devices, e.g. mirrors, seats, steering wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B60R25/241—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user whereby access privileges are related to the identifiers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B60R25/245—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user where the antenna reception area plays a role
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/10—Communication protocols, communication systems of vehicle anti-theft devices
    • B60R2325/101—Bluetooth®
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/10—Communication protocols, communication systems of vehicle anti-theft devices
    • B60R2325/103—Near field communication [NFC]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사용자 단말에 저장된 이미지를 활용하여 차량에 사용자의 프로필 이미지를 자동 등록하며 얼굴 인증을 수행하는 차량 단말 및 그의 얼굴 인증 방법에 관한 것으로, 사용자의 이동 단말과 데이터 통신을 수행하는 통신기, 상기 사용자의 얼굴 영상을 획득하는 카메라, 및 상기 이동 단말에 저장된 이미지들 중 어느 하나의 이미지를 이용하여 상기 사용자의 프로필 이미지를 등록하는 처리기를 포함하고, 상기 처리기는 상기 이동 단말에 저장된 이미지들을 학습데이터로 이용하여 사용자의 얼굴 특징을 학습하고 학습된 사용자의 얼굴 특징에 근거하여 상기 카메라를 통해 획득한 얼굴 영상을 분석하여 얼굴 인증을 수행한다.

Description

차량 단말 및 그의 얼굴 인증 방법{VEHICLE TERMINAL AND METHOD FOR RECOGNIZING FACE THEREOF}
본 발명은 사용자 단말에 저장된 이미지들을 활용하여 차량에 사용자의 프로필 이미지를 자동 등록하며 얼굴 인증을 수행하는 차량 단말 및 그의 얼굴 인증 방법에 관한 것이다.
차량에는 IMS(Integrated Memory System) 및 USM(User Setting Menu) 등과 같이 사용자(예: 운전자)가 설정할 수 있는 기능이 증가하고 있다. 특히, 최근 차량에는 사용자에 의해 설정된 정보(설정 값)를 일괄적으로 저장했다가 불러올 수 있도록 하여 편의성을 향상시키는 사용자 프로필 설정 기능이 적용되고 있다.
이러한 종래의 사용자 프로필 설정 기능은 도 1에 도시된 바와 같이 클러스터나 AVN(Audio Video Navigation)과 같은 표시 수단의 화면(10)에 "김갑돌", "홍길동" 및 "게스트" 등과 같은 텍스트 형태의 사용자 이름과 이모티콘 등으로 등록된 사용자를 구분하여 표시한다.
또한, 종래에는 기등록된 운전자가 차량에 탑승 시 얼굴 인증을 통해 사용자를 인식하고 해당 사용자에 대응하는 설정 정보를 불러와 차량에 적용하였다. 그러나, 종래의 얼굴 인증(인식) 기능은 운전 자세 변화, 선글라스 착용, 헤어 스타일, 모자 착용 등의 운전자 조건이 적외선(IR) 영상으로 등록된 얼굴과 차이가 있으면 얼굴 인식 성능이 저하된다.
본 발명은 사용자 단말에 저장된 이미지들을 활용하여 차량에 사용자의 프로필 이미지를 자동 등록하는 차량 단말 및 그의 얼굴 인증 방법을 제공하고자 한다.
또한, 본 발명은 사용자 단말에 저장된 이미지를 활용하여 사용자의 얼굴 인식 성능을 개선하는 차량 단말 및 그의 얼굴 인증 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따른 차량 단말은 사용자의 이동 단말과 데이터 통신을 수행하는 통신기, 상기 사용자의 얼굴 영상을 획득하는 카메라, 및 상기 이동 단말에 저장된 이미지들을 학습데이터로 이용하여 사용자의 얼굴 특징을 학습하고 학습된 사용자의 얼굴 특징에 근거하여 상기 카메라를 통해 획득한 얼굴 영상을 분석하여 얼굴 인증을 수행하는 처리기를 포함한다.
상기 통신기는 블루투스 및 NFC(Near Field Communication) 중 어느 하나의 근거리 무선 통신 기술을 이용하는 것을 특징으로 한다.
상기 차량 단말은 상기 사용자의 탑승을 감지하는 감지기를 더 포함하고, 상기 처리기는 상기 사용자의 탑승을 감지하면, 상기 통신기를 통해 상기 이동 단말에 대한 인증 절차를 수행하는 것을 특징으로 한다.
상기 처리기는 상기 이동 단말에 대한 인증이 완료되면 웰컴 메시지를 디스플레이에 출력하는 것을 특징으로 한다.
상기 처리기는 상기 웰컴 메시지를 출력할 때 인증된 이동 단말에 대응하는 사용자의 프로필 이미지를 함께 출력하는 것을 특징으로 한다.
상기 처리기는 상기 얼굴 인증을 통해 인증된 사용자가 운전 제한 대상인지를 확인하고 확인결과에 따라 상기 사용자의 차량 제어를 제한하는 것을 특징으로 한다.
상기 처리기는 상기 얼굴 인증을 통해 인증된 사용자의 얼굴 특징 정보를 상기 이동단말로 전송하는 것을 특징으로 한다.
상기 이동 단말은 저장된 이미지들 중 상기 사용자의 얼굴 특징 정보에 포함된 특징 벡터와의 유사도가 기준 유사도 이상인 적어도 하나 이상의 이미지를 추출하여 상기 차량 단말로 전송하는 것을 특징으로 한다.
상기 처리기는 상기 이동 단말로부터 수신한 적어도 하나 이상의 이미지 중 상기 특징 벡터와의 유사도가 가장 높은 얼굴 이미지를 상기 프로필 이미지로 등록하는 것을 특징으로 한다.
상기 처리기는 상기 이동 단말로부터 수신한 적어도 하나 이상의 이미지로부터 다른 사용자의 얼굴 이미지를 추출하고 추출된 얼굴 이미지로부터 특징 벡터를 추출하여 상기 학습데이터로 추가하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 차량 단말의 얼굴 인증 방법은 차량 단말이 이동 단말에 저장된 이미지들을 학습데이터로 이용하여 사용자의 얼굴 특징을 학습하는 단계, 및 상기 차량 단말이 상기 학습된 얼굴 특징에 근거하여 카메라를 통해 획득한 얼굴 영상을 분석하여 얼굴 인증을 수행하는 단계를 포함한다.
상기 차량 단말이 상기 얼굴 인증을 통해 인증된 사용자의 얼굴 특징 정보를 이용하여 상기 인증된 사용자의 이동 단말로부터 적어도 하나 이상의 얼굴 이미지를 획득하는 단계, 및 상기 차량 단말이 획득한 적어도 하나 이상의 얼굴 이미지 중 어느 하나의 이미지를 상기 사용자의 프로필 이미지로 등록하는 단계를 포함한다.
상기 얼굴 인증을 수행하는 단계는, 상기 사용자의 탑승을 감지하는 단계, 상기 이동 단말에 대한 인증 절차를 수행하는 단계, 및 상기 이동 단말의 인증 성공 시 웰컴 메시지를 출력하는 단계를 포함한다.
상기 웰컴 메시지를 출력하는 단계는, 인증된 이동 단말에 대응하는 사용자의 프로필 이미지를 함께 표시하는 것을 특징으로 한다.
상기 얼굴 인증을 수행하는 단계 이후, 상기 차량 단말이 인증된 사용자가 운전 제한 대상인지를 확인하는 단계, 및 상기 차량 단말이 상기 인증된 사용자가 상기 운전 제한 대상이면 상기 인증된 사용자의 차량 제어를 제한하는 단계를 더 포함한다.
상기 사용자의 이동 단말로부터 적어도 하나 이상의 얼굴 이미지를 획득하는 단계에서, 상기 이동 단말은 상기 인증된 사용자의 얼굴 특징 정보에 포함된 얼굴 특징 벡터와의 유사도가 기준 유사도 이상인 적어도 하나 이상의 얼굴 이미지를 추출하여 상기 차량 단말로 전송하는 것을 특징으로 한다.
상기 사용자의 프로필 이미지로 등록하는 단계에서, 상기 차량 단말은 상기 이동 단말로부터 수신한 상기 적어도 하나 이상의 얼굴 이미지 중 상기 얼굴 특징 벡터와의 유사도가 가장 높은 얼굴 이미지를 상기 사용자의 프로필 이미지로 등록하는 것을 특징으로 한다.
상기 차량 단말은 상기 프로필 이미지 등록 시 상기 이동 단말로부터 수신한 상기 적어도 하나 이상의 얼굴 이미지를 상기 사용자의 얼굴 특징을 학습하기 위한 학습데이터로 활용하는 것을 특징으로 한다.
기 차량 단말은 상기 이동 단말로부터 수신한 적어도 하나 이상의 이미지로부터 다른 사용자의 얼굴 이미지를 추출하고 추출된 얼굴 이미지로부터 특징 벡터를 추출하여 상기 학습데이터로 추가하는 것을 특징으로 한다.
상기 차량 단말은 블루투스 및 NFC(Near Field Communication) 중 어느 하나의 근거리 무선 통신 기술을 이용하여 상기 이동 단말과 데이터를 주고 받는 것을 특징으로 한다.
본 발명은 차량에 사용자 프로필 등록 시 사용자 단말에 저장된 이미지들을 활용하여 사용자의 프로필 이미지를 자동으로 등록하므로, 시인성을 향상시키며 개인화 설정 효과를 증대시킬 수 있다.
또한, 본 발명은 사용자 단말에 저장된 이미지들을 학습 데이터로 활용하여 사용자 및 타인의 얼굴 특징을 학습하므로, 얼굴 인증(인식)의 성능을 향상시킬 수 있다.
도 1은 종래기술에 따른 사용자 프로필 설정 화면을 도시한 도면.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인증 시스템을 간략하게 도시한 구성도.
도 3은 도 2에 도시된 차량 단말의 블록구성도.
도 4는 도 2에 도시된 이동 단말을 간략하게 도시한 블록구성도
도 5는 본 발명의 일 실시 예에 따른 프로필 이미지 등록 방법을 도시한 흐름도.
도 6은 본 발명의 일 실시 예에 따른 얼굴 이미지 추출을 설명하기 위한 도면.
도 7은 본 발명의 일 실시 예에 따른 운전자의 얼굴 특징 업데이트를 설명하기 위한 도면.
도 8은 본 발명의 일 실시 예에 따른 사용자 프로필 설정 화면을 도시한 도면.
도 9는 본 발명의 다른 실시 예에 따른 프로필 이미지 등록 방법을 도시한 흐름도.
10은 본 발명의 일 실시예에 따른 얼굴 인증 방법을 도시한 흐름도.
도 11 및 도 12는 본 발명에 따른 얼굴 특징 정보 업데이트를 설명하기 위한 도면.
도 13은 본 발명의 일 실시 예에 따른 얼굴 인증 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 운전자의 얼굴을 인식하여 운전자에게 맞도록 차량 환경을 자동으로 설정함으로써 편의성을 향상시키는 기술에 관한 것으로, 차량에 사용자 프로필 설정 시 사용자의 이동 단말(사용자 단말)에 저장된 사용자 얼굴 이미지를 프로필 이미지로 자동 등록할 수 있도록 하는 것이다.
본 발명은 운전자 상태 경고(Driver State Warning, DSW) 시스템에 사용되는 적외선(IR) 카메라가 야간이나 주변광 환경에 상관없이 운전자의 얼굴 영상을 안정적으로 취득할 수 있어 이를 이용하여 운전자의 얼굴 영상을 취득한다. DSW 시스템의 적외선 카메라를 통해 취득한 IR 영상은 그레이 스케일이고, 명암대비가 크며 촬영각도가 얼굴 하단에서 상단을 찍게 되어 일반적인 카메라 영상에 비해 심미성이 저하되므로, 본 발명은 운전자의 이동 단말(예: 스마트폰)에 저장된 사진(이미지)들을 활용하여 운전자 얼굴 인식 성능을 개선한다.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인증 시스템을 간략하게 도시한 구성도, 도 3은 도 2에 도시된 차량 단말의 블록구성도, 도 4는 도 2에 도시된 이동 단말을 간략하게 도시한 블록구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 얼굴 인증 시스템은 차량에 탑재되는 차량 단말(100) 및 사용자가 소지한 이동 단말(200)을 포함한다.
차량 단말(100)은 전자제어장치(Electric Control Unit, ECU)로, 차량의 전반적인 기능을 제어한다. 차량 단말(100)은 사용자(운전자)별로 프로필 및 차량환경을 설정한다. 여기서, 차량 단말(100)은 식별 정보(ID), 사용자 이름, 이동 단말 정보(예: 고유번호 및 액세스 어드레스 등), 얼굴 특징 벡터, 프로필 이미지, 미성년자 여부 및 운전 제한 여부 등의 정보를 프로필 정보로 설정한다. 그리고, 차량 단말(100)은 차량에 구비된 각종 센서들을 이용하여 좌석(seat) 위치, 룸 미러(room mirror) 각도, 사이드 미러(side mirror) 각도 및 스티어링 휠(steering wheel) 위치 등의 정보를 차량환경 정보로 설정한다.
이동 단말(200)은 휴대폰(cellular phone), 스마트폰(smartphone), 노트북(notebook computer), 태블릿 단말(tablet terminal), PDA(personal digital assistants) 및 웨어러블 기기(wearable device) 등과 같은 전자기기로 구현될 수 있다.
차량 단말(100)와 이동 단말(200)은 블루투스(Bluetooth) 및 NFC(Near Field Communication) 등과 같은 근거리 무선 통신 기술을 이용하여 상호 간에 데이터(정보)를 주고 받는다.
도 3 및 도 4를 참조하면, 차량 단말(100)은 통신기(110), 메모리(120), 카메라(130), 감지기(140), 디스플레이(150), 차량 제어기(160), 처리기(170)를 포함하고, 이동 단말(200)은 통신기(210), 메모리(220) 및 처리기(230)를 포함한다.
통신기(110)는 이동 단말(100)의 통신기(210)와 데이터 통신을 수행한다. 통신기(110)는 처리기(170)의 제어에 따라 이동 단말(100)과의 페어링(pairing) 및 통신 연결을 수행한다.
메모리(120 및 220)는 차량 단말(100) 및 이동 단말(200)이 기정해진 동작을 수행하도록 프로그래밍된 소프트웨어를 저장할 수 있다. 메모리(120 및 220)는 처리기(170 및 230)의 입력 데이터 및/또는 출력 데이터를 임시로 저장할 수도 있다.
메모리(120)는 프로필 이미지를 등록한 사용자별 프로필 정보 및 차량환경 정보를 저장한다. 메모리(120)는 프로필 이미지를 등록한 사용자(등록자, 운전자)의 얼굴 특징을 학습하기 위한 학습 데이터를 데이터베이스화하여 저장한다. 학습 데이터는 카메라(130)를 통해 취득한 영상(예: IR 영상)으로부터 추출한 얼굴 특징 벡터들 및 이동 단말(200)에 저장된 이미지(들)로부터 추출한 얼굴 특징 벡터(들)이다.
또한, 메모리(120)는 프로필 이미지를 등록하지 않은 사용자(미등록자, 타인, 미운전자)의 얼굴 특징 정보도 데이터베이스화하여 저장한다. 등록자 및 미등록자의 얼굴 특징 정보는 학습 데이터로 사용된다.
메모리(220)는 통신기(210)를 통해 수신한 이미지를 저장하거나 또는 이동 단말(200)에 탑재된 카메라(미도시)를 통해 취득한 이미지들을 저장할 수도 있다.
메모리(120 및 220)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable and Programmable ROM), EPROM(Erasable and Programmable ROM), 플래시-EPROM, 레지스터, 착탈형 디스크, 버퍼(buffer) 및 웹 스토리지(web storage) 등의 저장매체 중 적어도 하나 이상의 저장매체(기록매체)로 구현될 수 있다.
카메라(130)는 차량 내 운전석 전방에 위치하며, 운전석에 착석한 사용자 즉, 운전자의 얼굴 영상을 촬영(획득)한다. 카메라(130)는 적외선(IR) 카메라로, 적외선 광원과 전하결합소자(charge coupled device, CCD) 이미지 센서를 포함한다. 카메라(130)는 레이저를 이용한 근적외선 광원과 II(image intensifier)를 사용한 일체형 적외선 카메라로 구현될 수도 있다. 이러한 적외선 카메라는 운전자 상태 경고(Driver State Warning, DSW) 시스템에 주로 사용되며, 야간이나 주변 광 환경에 상관없이 사용자의 얼굴 영상을 안정적으로 취득할 수 있다.
카메라(130)는 촬영한 사용자의 얼굴 영상을 처리기(170)로 전송한다. 이때, 얼굴 영상은 그레이 스케일(gray scale)의 적외선 영상이다. 카메라(130)는 촬영한 사용자의 얼굴 영상에 대해 노이즈(noise) 제거, 컬러 재현, 화질 및 채도 조절 및 파일 압축 등의 이미지 처리를 수행하는 이미지 처리기를 포함할 수 있다.
감지기(140)는 운전자 탑승 여부를 감지한다. 즉, 감지기(140)는 운전석에 탑승한 사용자가 있는지 여부를 검출(판정)한다. 감지기(140)는 좌석(예: 운전석)에 장착된 압력 센서를 통해 운전석에 사용자가 탑승했는지를 감지할 수 있다. 또는, 감지기(140)는 도어 개폐 센서를 통해 운전석 도어의 개폐여부를 감지하여 운전자 탑승 여부를 결정할 수 있다. 또는, 감지기(140)는 카메라(130)나 모션 센서(미도시) 등을 이용하여 운전자 탑승 여부를 감지할 수도 있다. 감지기(140)는 운전자의 탑승을 감지하면 이를 알리는 메시지(신호)를 처리기(170)에 전송한다.
본 실시 예에서는 감지기(140)가 압력 센서, 도어 개폐 센서, 카메라 및 모션 센서 중 어느 하나의 센서를 단독으로 이용하여 운전자 탑승 여부를 판정하는 것을 설명하고 있으나, 이에 한정되지 않고 압력 센서, 도어 개폐 센서, 카메라 및 모션 센서 중 적어도 둘 이상의 센서들을 활용하여 운전자 탑승 여부를 판정하도록 구현할 수도 있다.
디스플레이(150)는 차량 단말(100)의 동작에 따른 진행 상태 및 처리 결과 등을 표시한다. 또한, 디스플레이(150)는 사용자 프로필 정보, 사용자 설정과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface), 및 차량정보 등을 표시한다.
디스플레이(150)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 터치스크린 및 클러스터(cluster) 중에서 적어도 하나 이상으로 구현될 수 있다.
차량 제어기(160)는 차량의 시동, 동력, 제동, 조향 및 변속 등을 제어한다. 차량 제어기(160)는 차량 내부 통신(In-Vehicle Networking, IVN)을 통해 연결된 엔진 제어기, 제동 제어기, 조향 제어기 및 변속 제어기 등의 액추에이터를 통해 차량을 제어한다.
처리기(170)는 차량 단말(100)의 전반적인 동작을 제어한다. 처리기(170)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나 이상을 포함할 수 있다.
처리기(170)는 얼굴 인식 알고리즘을 이용하여 카메라(130)를 통해 획득한 영상 내 사용자의 얼굴을 인식(분류)하는 분류기(171)를 포함한다. 분류기(171)는 카메라(130)를 통해 획득한 사용자(운전자)의 얼굴 영상을 분석하여 사용자를 등록자 또는 미등록자로 분류한다.
처리기(170)는 사용자가 운전석에 탑승하면 감지기(140)를 통해 운전자 탑승을 감지한다. 처리기(170)는 운전자의 탑승을 감지하면 통신기(110)를 통해 이동 단말(200)에 대한 인증 절차를 수행한다. 이때, 처리기(170)는 통신기(110)를 통해 스캔 요청(Scan Request) 신호를 방송한다. 처리기(170)는 통신기(110)를 통해 이동 단말(200)로부터 전송되는 스캔 요청 신호에 대한 응답 신호(scan response signal)를 수신한다. 처리기(170)는 응답 신호에 포함된 이동 단말(200)의 식별정보(예: 고유번호 또는 액세스 어드레스 등)를 토대로 차량에 등록된 사용자의 이동 단말인지를 확인한다. 즉, 처리기(170)는 기존에 페어링 과정을 거친 이동 단말(200)이 존재하는지를 검색한다. 예를 들어, 처리기(170)는 메모리(120)에 저장된 사용자별 프로필 정보 중에 이동 단말(200)의 식별정보와 일치하는 이동 단말 정보를 포함하고 있는 사용자 프로필 정보를 검색한다.
처리기(170)는 이동 단말(200)에 대한 인증을 성공하면, 통신기(110)를 통해 이동 단말(200)의 통신기(210)와 통신 연결을 수행한다. 그리고, 처리기(170)는 웰컴 메시지를 디스플레이(150)에 출력한다. 이때, 처리기(170)는 웰컴 메시지를 출력할 때 인증된 이동 단말(200)에 대응하는 사용자의 프로필 이미지를 함께 출력한다. 또한, 처리기(170)는 스피커를 통해 웰컴 메시지를 오디오 신호로 출력할 수도 있다.
한편, 처리기(170)는 이동 단말(200)의 인증을 실패하면, 신규 사용자 등록 절차 또는 기등록된 사용자의 이동 단말 정보 업데이트 절차를 수행한다.
처리기(170)는 웰컴 메시지를 출력한 후 카메라(130)를 통해 사용자의 얼굴 인증(즉, 운전자 인증)을 수행한다. 처리기(170)는 카메라(130)를 통해 취득한 영상에서 사용자 얼굴을 인식하고 인식된 사용자 얼굴과의 유사도가 임계치 이상인 등록된 사용자 얼굴이 있는지를 확인한다. 처리기(170)는 카메라(130)를 통해 인식한 사용자 얼굴의 특징 벡터와 등록된 사용자 얼굴의 특징 벡터를 비교하여 두 특징 벡터의 유사도가 임계치 이상인 등록된 사용자 얼굴을 검색한다.
처리기(170)는 인식된 사용자 얼굴과의 유사도 임계치 이상인 등록된 사용자 얼굴이 있으면, 인식된 사용자 얼굴의 특징 정보를 이동 단말(200)로 전송한다. 인식된 사용자 얼굴의 특징 정보는 사용자 얼굴의 특징 벡터를 포함한다. 이때, 처리기(170)가 카메라(130)를 통해 취득한 적외선 영상(raw image)이 아닌 조명이나 사용자 자세에 강건한 특징 벡터를 전송하므로, 적외선 영상과 이동 단말(200)에 저장된 컬러(RGB) 영상 간의 차이를 줄일 수 있다.
처리기(170)는 사용자 얼굴의 특징 벡터를 이동 단말(200)로 전송한 후 이동 단말(200)로부터 전송되는 적어도 하나 이상의 얼굴 이미지를 통신부(110)를 통해 수신한다. 이때, 이동 단말(200)의 처리기(230)는 메모리(220)에 저장된 이미지들 중 상기 사용자 얼굴의 특징 벡터와의 유사도가 기준 유사도 이상인 하나 이상의 이미지를 추출한다. 즉, 이동 단말(200)의 처리기(230)는 메모리(220)에 저장된 이미지들 중 차량 단말(100)의 카메라(130)를 통해 인식한 사용자 얼굴이 포함된 하나 이상의 이미지를 추출(선별)하여 차량 단말(100)로 전송한다. 한편, 이동 단말(200)의 처리기(230)는 메모리(220)에 저장된 전체 이미지를 차량 단말(100)에 전송할 수도 있다.
처리기(170)는 수신한 하나 이상의 얼굴 이미지 중 사용자 얼굴의 특징 벡터와의 유사도가 가장 높은 얼굴 이미지를 프로필 이미지로 등록한다. 또는, 처리기(170)는 수신한 적어도 하나 이상의 얼굴 이미지 중 사용자 얼굴의 특징 벡터와의 유사도가 가장 높은 얼굴 이미지가 둘 이상이면 사용자의 프로필 이미지로 등록할 얼굴 이미지를 정해진 기준에 근거하여 추천하거나 사용자 입력에 따라 선택할 수 있다.
처리기(170)는 이동 단말(200)로부터 전송된 얼굴 이미지가 없는 경우, 카메라(130)를 통해 획득한 얼굴 영상을 사용자의 프로필 이미지로 등록할지 여부를 사용자가 선택할 수 있게 한다. 한편, 처리기(170)는 카메라(130)에 의해 취득된 얼굴 영상을 프로필 이미지로 선택하지 않는 경우 이모티콘을 프로필 이미지로 등록할 수 있다.
처리기(170)는 프로필 이미지 등록 시 상기 이동 단말(200)로부터 수신한 적어도 하나 이상의 얼굴 이미지를 학습 데이터로 활용한다. 처리기(170)는 카메라(130)을 통해 획득한 얼굴 영상으로부터 추출한 특징 벡터와 이동 단말(200)로부터 제공된 적어도 하나 이상의 얼굴 이미지로부터 추출한 특징 벡터를 이용하여 사용자 얼굴의 특징 벡터를 업데이트한다. 즉, 처리기(170)는 카메라(130)을 통해 획득한 얼굴 영상으로부터 추출한 특징 벡터와 이동 단말(200)로부터 제공된 적어도 하나 이상의 얼굴 이미지로부터 추출한 특징 벡터를 학습데이터로 추가하여 사용자 얼굴의 특징을 학습한다.
처리기(170)는 이동 단말(200)의 메모리(220)에 저장된 이미지들을 이용하여 사용자를 제외한 타인(친구 및 가족 등)을 사전에 미리 등록할 수 있다. 예를 들어, 이동 단말(200)은 사용자 조작에 따라 메모리(220)에 저장된 이미지(들)에서 가족 구성원의 얼굴 이미지를 추출하여 차량 단말(100)로 전송한다. 차량 단말(100)은 이동 단말(200)로부터 제공받은 얼굴 이미지를 이용하여 사용자의 프로필 정보를 생성하여 등록한다. 이후, 처리기(170)는 카메라(130)를 통해 인식된 사용자가 미성년자이거나 운전 제한 사용자인 경우, 해당 사용자의 운전을 제한한다. 예컨대, 미성년 자녀의 얼굴 이미지를 사전에 등록하여 미성년 자녀가 운전석에 탑승한 경우, 처리기(170)는 시동이나 출발 등을 제한하는 운전 제한 모드로 전환한다.
처리기(170)는 프로필 이미지 등록을 완료하면, 등록된 프로필 이미지를 이용하여 분류기(171)를 학습시킨다. 분류기(171)는 프로필 이미지 등록 과정에서 카메라(130)을 통해 획득한 영상으로부터 추출한 사용자(등록자)의 얼굴 벡터 및 이동 단말(200)의 메모리(220)에 저장된 이미지들로부터 추출한 사용자(등록자)의 얼굴 특징 벡터를 활용하여 사용자(등록자)의 얼굴 특징 정보를 업데이트한다. 이때, 분류기(171)는 이동 단말(200)의 메모리(220)에 저장된 이미지(들)로부터 추출한 미등록자 얼굴의 특징 벡터들을 이용하여 미등록자 얼굴 특징 정보를 업데이트한다. 분류기(171)는 얼굴 인식 성능 개선을 위해 업데이트된 등록자 및 미등록자의 얼굴 특징 정보를 이용하여 등록자 및 미등록자의 얼굴 특징을 학습한다. 이후, 처리기(170)는 학습된 분류기(171)를 이용하여 카메라(130)를 통해 획득한 얼굴 영상으로부터 사용자를 인식(인증)한다.
이와 같이, 본 발명은 프로필 이미지를 등록한 사용자(등록자) 뿐만 아니라 프로필 이미지를 등록하지 않은 사용자(미등록자)의 얼굴 특징을 분류기(171)에 학습시키므로, 미등록자를 등록자로 오인식하는 확률을 저감시킬 수 있다. 예컨대, 사용자의 스마트폰에 저장된 가족 사진에 포함된 사용자 외 사용자와 생김새가 비슷한 가족들의 얼굴 특징을 학습시키므로 보다 정확한 얼굴 인식을 가능하게 한다.
도 5는 본 발명의 일 실시 예에 따른 프로필 이미지 등록 방법을 도시한 흐름도, 도 6은 본 발명의 일 실시 예에 따른 얼굴 이미지 추출을 설명하기 위한 도면, 도 7은 본 발명의 일 실시 예에 따른 운전자의 얼굴 특징 업데이트를 설명하기 위한 도면, 도 8은 본 발명의 일 실시 예에 따른 사용자 프로필 설정 화면을 도시한 도면 이다.
차량 단말(100)은 운전자의 탑승을 감지한다(S110). 차량 단말(100)은 감지기(140)를 통해 운전석에 탑승한 사용자의 존재여부를 확인한다.
차량 단말(100)은 운전자 탑승을 감지하면, 이동 단말(200)에 대한 인증 절차를 수행한다(S120). 차량 단말(100)은 통신기(110)를 통해 스캔 요청 신호를 방송한다. 이동 단말(200)은 통신기(210)를 통해 스캔 요청 신호를 수신하면 자신의 고유번호를 포함한 스캔 응답 신호를 전송한다. 차량 단말(100)은 통신기(110)를 통해 스캔 응답 신호를 수신하고 스캔 응답 신호에 포함된 고유번호와 일치하는 고유번호를 사용자별 프로필 정보에서 검색한다. 차량 단말(100)은 메모리(120)에 저장된 사용자별 프로필 정보에서 이동 단말(200)의 고유 번호와 일치하는 고유번호가 검색되면 이동 단말(200)과의 통신 채널을 형성한다.
차량 단말(100)은 이동 단말(200)에 대한 인증이 완료되면 웰컴 메시지를 출력한다(S130). 차량 단말(100)은 이동 단말(200)의 고유번호에 대응하는 사용자의 프로필 이미지를 웰컴 메시지와 함께 디스플레이(150)에 표시한다.
차량 단말(100)은 웰컴 메시지를 출력한 후 카메라(130)를 통해 사용자(운전자)의 얼굴 인증(즉, 운전자 인증)을 수행한다(S140). 차량 단말(100)은 카메라(130)를 통해 취득한 영상에서 사용자 얼굴을 인식하고 인식된 사용자 얼굴의 특징 벡터를 추출한다. 차량 단말(100)은 추출한 특징 벡터와의 유사도가 임계치 이상인 특징 벡터를 사용자별 프로필 정보에서 검색한다. 차량 단말(100)은 추출한 특징 벡터와 일치하는 특징 벡터가 검색되면 검색된 특징 벡터에 대응하는 운전자(사용자 ID)를 확인한다.
차량 단말(100)은 얼굴 인증을 통해 확인된 사용자가 미성년자인지를 확인한다(S150). 차량 단말(100)은 확인된 사용자가 미성년자이면 차량제어를 제한한다(S155). 즉, 차량 단말(100)은 확인된 사용자가 운전 제한 대상이면 차량의 시동 및 출발을 제한한다.
한편, 차량 단말(100)은 확인된 사용자가 미성년자가 아니면, 사용자의 얼굴 특징 정보를 이동 단말(200)로 전송한다(S160).
이동 단말(200)은 차량 단말(100)로부터 전송된 사용자의 얼굴 특징 정보를 토대로 메모리(220)에 저장된 이미지들 중 적어도 하나 이상의 사용자 이미지를 추출한다(S170). 예를 들어, 도 6에 도시된 바와 같이, 이동 단말(200)은 메모리(220)에 저장된 이미지들 중 사용자 얼굴의 특징 벡터와의 유사도가 기준 유사도 이상인 얼굴 이미지를 추출한다. 즉, 이동 단말(200)은 메모리(220)에 저장된 이미지들 중 사용자 얼굴이 포함된 이미지를 선별한다.
이동 단말(200)은 추출한 적어도 하나 이상의 사용자 이미지를 차량 단말(100)로 전송한다(S180). 이동 단말(200)의 처리기(230)는 통신기(210)를 통해 추출한 얼굴 이미지를 차량 단말(100)로 전송한다.
차량 단말(100)은 이동 단말(200)에서 추출된 적어도 하나 이상의 사용자 이미지를 이용하여 사용자의 프로필 이미지를 자동으로 등록한다(S190). 즉, 차량 단말(100)은 이동 단말(200)에서 추출된 적어도 하나 이상의 사용자 이미지 중 사용자 얼굴의 특징 벡터와의 유사도가 가장 높은 이미지로 인증된 사용자(확인된 사용자 ID)의 프로필 이미지를 업데이트한다. 업데이트된 프로필 이미지는 해당 운전자의 재탑승 시 웰컴 메시지와 함께 디스플레이(150)에 표시된다. 또는, 도 8에 도시된 바와 같이 차량 단말(100)은 사용자 설정 화면 상에 업데이트된 프로필 이미지(PF)를 표시한다.
차량 단말(100)은 이동 단말(200)에서 추출된 적어도 하나 이상의 사용자 이미지로부터 사용자 얼굴의 특징 벡터를 추출하고, 추출한 특징 벡터를 학습데이터로 추가한다. 차량 단말(100)은 도 7에 도시된 바와 같이 카메라(130)를 통해 취득한 사용자 얼굴의 특징 벡터와 이동 단말(200)에서 추출된 운전자 이미지로부터 추출한 사용자(운전자) 얼굴의 특징 벡터를 조합하여 해당 사용자의 프로필 정보에 포함된 얼굴 특징 벡터를 업데이트한다.
도 9는 본 발명의 다른 실시 예에 따른 프로필 이미지 등록 방법을 도시한 흐름도이다.
도 9에 도시된 바와 같이, 차량 단말(100)의 처리기(170)는 운전자 탑승을 감지한다(S210). 차량 단말(100)은 운전자 탑승을 감지하면, 이동 단말(200)에 대한 인증 절차를 수행한다(S220).
차량 단말(100)은 이동 단말(200)에 대한 인증에 실패하는 경우(S230), 신규 운전자 등록여부를 확인한다(S240). 차량 단말(100)은 신규 운전자 등록 여부를 선택할 수 있는 선택 화면을 디스플레이(150)에 표시하고 사용자의 선택에 따라 신규 운전자 등록 여부를 결정한다.
차량 단말(100)은 신규 운전자 등록이 결정되면, 신규 운전자의 이동 단말(200)에 대한 등록 절차를 수행한다(S250). 즉, 차량 단말(100)은 이동 단말(200)과의 페어링을 수행한다. 이때, 차량 단말(100)은 신규 운전자에 대한 ID를 부여하고, 페어링된 이동 단말(200)의 정보를 해당 ID에 대응하는 프로필 정보에 저장한다.
차량 단말(100)은 신규 운전자의 이동 단말(200)에 대한 등록이 완료되면 프로필 이미지의 등록 여부를 확인한다(S260). 이때, 차량 단말(100)은 사용자의 선택에 따라 프로필 이미지 등록 여부를 결정한다.
차량 단말(100)은 프로필 이미지를 등록하는 경우, 카메라(130)를 통해 신규 운전자의 얼굴은 인식한다(S270). 즉, 차량 단말(100)은 카메라(130)를 통해 신규 사용자의 얼굴 영상을 획득하고, 획득한 얼굴 영상에서 신규 사용자 얼굴의 특징 정보(특징 벡터)를 추출한다.
차량 단말(100)은 인식된 신규 운전자 얼굴의 특징 정보를 이동 단말(200)로 전송한다(S280). 차량 단말(100)은 통신기(110)과 이동 단말(200) 간에 형성된 통신 채널을 통해 신규 사용자 얼굴의 특징 정보를 이동 단말(200)로 전송한다.
이동 단말(200)은 차량 단말(100)로부터 전달받은 신규 운전자 얼굴의 특징 정보를 토대로 메모리(220)에 저장된 이미지들 중 적어도 하나 이상의 신규 운전자 이미지를 추출한다(S290). 이동 단말(200)의 처리기(230)는 메모리(220)에 저장된 이미지들 중 신규 운전자 얼굴의 특징 벡터와 유사도가 기준 유사도 이상인 얼굴 이미지를 추출한다.
이동 단말(200)은 추출한 적어도 하나 이상의 신규 운전자 이미지를 차량 단말(100)로 전송한다(S300).
차량 단말(100)은 이동 단말(200)로부터 전송된 적어도 하나 이상의 신규 운전자 이미지를 수신하여 신규 운전자의 프로필 이미지 등록을 수행한다(S310). 차량 단말(100)은 수신한 적어도 하나 이상의 신규 운전자 이미지 중 신규 운전자 얼굴의 특징 벡터와의 유사도가 가장 높은 이미지를 신규 운전자의 프로필 이미지로 등록한다. 이후, 차량 단말(100)은 신규 운전자가 재탑승 시 웰컴 메시지와 함께 등록된 프로필 이미지를 표시한다.
S240에서 차량 단말(100)은 운전석에 탑승한 사용자가 신규 운전자 등록을 원하지 않으면, 카메라(130)를 통해 운전자의 얼굴 인증을 수행한다(S320).
차량 단말(100)은 운전자 얼굴 인증을 성공하면, 인증된 운전자의 프로필 정보를 업데이트한다(S330). 차량 단말(100)은 이동 단말(200)과의 페어링을 수행한 후, 해당 이동 단말(200)과 관련된 정보로 인증된 운전자의 프로필 정보 내 이동 단말 정보를 업데이트 한다.
도 10은 본 발명의 일 실시예에 따른 프로필 이미지를 이용한 얼굴 인증 방법을 도시한 흐름도이고, 도 11 및 도 12는 본 발명에 따른 얼굴 특징 정보 업데이트를 설명하기 위한 도면이다.
먼저, 처리기(170)는 도 5 및 도 9에 도시된 절차에 따라 프로필 이미지를 등록한다(S310). 처리기(170)는 사용자의 이동 단말(200)에 저장된 이미지들로부터 사용자의 얼굴 영상을 추출하여 프로필 이미지로 등록한다.
처리기(170)는 프로필 이미지를 등록한 후, 프로필 이미지 등록 시 이동 단말(200)로부터 제공받은 적어도 하나 이상의 이미지를 학습데이터로 추가한다(S320). 이때, 처리기(170)는 이동 단말(200)로부터 제공받은 적어도 하나 이상의 이미지로부터 프로필 이미지를 등록한 사용자 및 프로필 이미지를 미등록한 사용자의 얼굴 특징 정보를 업데이트한다. 예를 들어, 처리기(170)는 도 11에 도시된 바와 같이 카메라(130)를 통해 취득한 영상에서 추출한 등록자의 얼굴 특징 벡터 및 이동 단말(200)로부터 제공받은 적어도 하나 이상의 이미지로부터 추출한 등록자의 얼굴 특징 벡터를 추가한다. 또한, 처리기(170)는 도 12에 도시된 바와 같이 사용자의 이동 단말(200)에 저장된 이미지로부터 미등록자 얼굴의 특징 벡터를 추출하여 미등록자 얼굴 특징 정보를 업데이트한다.
처리기(170)는 추가된 학습 데이터를 이용하여 분류기(171)를 학습시킨다(S330). 분류기(171)는 등록자의 얼굴 특징 및 미등록자의 얼굴 특징을 각각 학습한다.
이후, 처리기(170)는 학습된 분류기(171)를 이용하여 얼굴 인증을 수행한다(S340). 예컨대, 처리기(170)는 감지기(140)를 통해 운전자의 탑승을 감지하면, 카메라(130)를 통해 탑승자의 얼굴 영상을 취득한다. 처리기(170)는 분류기(171)를 이용하여 취득한 얼굴 영상을 분석하여 탑승자를 인증(인식)한다.
도 13은 본 발명의 일 실시 예에 따른 프로필 이미지 등록 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
도 13을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량 단말
200: 이동 단말
110, 210: 통신기
120, 220: 메모리
130: 카메라
140: 감지기
150: 디스플레이
160: 차량 제어기
170, 230: 처리기

Claims (20)

  1. 사용자의 이동 단말과 데이터 통신을 수행하는 통신기,
    상기 사용자의 얼굴 영상을 획득하는 카메라, 및
    상기 이동 단말에 저장된 이미지들을 학습데이터로 이용하여 사용자의 얼굴 특징을 학습하고 학습된 사용자의 얼굴 특징에 근거하여 상기 카메라를 통해 획득한 얼굴 영상을 분석하여 얼굴 인증을 수행하는 처리기를 포함하는 차량 단말.
  2. 제1항에 있어서,
    상기 통신기는 블루투스 및 NFC(Near Field Communication) 중 어느 하나의 근거리 무선 통신 기술을 이용하는 것을 특징으로 하는 차량 단말.
  3. 제1항에 있어서,
    상기 사용자의 탑승을 감지하는 감지기를 더 포함하고,
    상기 처리기는 상기 사용자의 탑승을 감지하면, 상기 통신기를 통해 상기 이동 단말에 대한 인증 절차를 수행하는 것을 특징으로 하는 차량 단말.
  4. 제3항에 있어서,
    상기 처리기는 상기 이동 단말에 대한 인증이 완료되면 웰컴 메시지를 디스플레이에 출력하는 것을 특징으로 하는 차량 단말.
  5. 제4항에 있어서,
    상기 처리기는 상기 웰컴 메시지를 출력할 때 인증된 이동 단말에 대응하는 사용자의 프로필 이미지를 함께 출력하는 것을 특징으로 하는 차량 단말.
  6. 제1항에 있어서,
    상기 처리기는 상기 얼굴 인증을 통해 인증된 사용자가 운전 제한 대상인지를 확인하고 확인결과에 따라 상기 사용자의 차량 제어를 제한하는 것을 특징으로 하는 차량 단말.
  7. 제1항에 있어서,
    상기 처리기는 상기 얼굴 인증을 통해 인증된 사용자의 얼굴 특징 정보를 상기 이동단말로 전송하는 것을 특징으로 하는 차량 단말.
  8. 제7항에 있어서,
    상기 이동 단말은 저장된 이미지들 중 상기 사용자의 얼굴 특징 정보에 포함된 특징 벡터와의 유사도가 기준 유사도 이상인 적어도 하나 이상의 이미지를 추출하여 상기 차량 단말로 전송하는 것을 특징으로 하는 차량 단말.
  9. 제8항에 있어서,
    상기 처리기는 상기 이동 단말로부터 수신한 적어도 하나 이상의 이미지 중 상기 특징 벡터와의 유사도가 가장 높은 얼굴 이미지를 상기 프로필 이미지로 등록하는 것을 특징으로 하는 차량 단말.
  10. 제8항에 있어서,
    상기 처리기는 상기 이동 단말로부터 수신한 적어도 하나 이상의 이미지로부터 다른 사용자의 얼굴 이미지를 추출하고 추출된 얼굴 이미지로부터 특징 벡터를 추출하여 상기 학습데이터로 추가하는 것을 특징으로 하는 차량 단말.
  11. 차량 단말이 이동 단말에 저장된 이미지들을 학습데이터로 이용하여 사용자의 얼굴 특징을 학습하는 단계, 및
    상기 차량 단말이 상기 학습된 얼굴 특징에 근거하여 카메라를 통해 획득한 얼굴 영상을 분석하여 얼굴 인증을 수행하는 단계를 포함하는 차량 단말의 얼굴 인증 방법.
  12. 제11항에 있어서,
    상기 차량 단말이 상기 얼굴 인증을 통해 인증된 사용자의 얼굴 특징 정보를 이용하여 상기 인증된 사용자의 이동 단말로부터 적어도 하나 이상의 얼굴 이미지를 획득하는 단계, 및
    상기 차량 단말이 획득한 적어도 하나 이상의 얼굴 이미지 중 어느 하나의 이미지를 상기 사용자의 프로필 이미지로 등록하는 단계를 포함하는 차량 단말의 얼굴 인증 방법.
  13. 제11항에 있어서,
    상기 얼굴 인증을 수행하는 단계는,
    상기 사용자의 탑승을 감지하는 단계,
    상기 이동 단말에 대한 인증 절차를 수행하는 단계, 및
    상기 이동 단말의 인증 성공 시 웰컴 메시지를 출력하는 단계를 포함하는 차량 단말의 얼굴 인증 방법.
  14. 제13항에 있어서,
    상기 웰컴 메시지를 출력하는 단계는,
    인증된 이동 단말에 대응하는 사용자의 프로필 이미지를 함께 표시하는 것을 특징으로 하는 차량 단말의 얼굴 인증 방법.
  15. 제11항에 있어서,
    상기 얼굴 인증을 수행하는 단계 이후,
    상기 차량 단말이 인증된 사용자가 운전 제한 대상인지를 확인하는 단계, 및
    상기 차량 단말이 상기 인증된 사용자가 상기 운전 제한 대상이면 상기 인증된 사용자의 차량 제어를 제한하는 단계를 더 포함하는 차량 단말의 얼굴 인증 방법.
  16. 제12항에 있어서,
    상기 사용자의 이동 단말로부터 적어도 하나 이상의 얼굴 이미지를 획득하는 단계에서,
    상기 이동 단말은 상기 인증된 사용자의 얼굴 특징 정보에 포함된 얼굴 특징 벡터와의 유사도가 기준 유사도 이상인 적어도 하나 이상의 얼굴 이미지를 추출하여 상기 차량 단말로 전송하는 것을 특징으로 하는 차량 단말의 얼굴 인증 방법.
  17. 제16항에 있어서,
    상기 사용자의 프로필 이미지로 등록하는 단계에서,
    상기 차량 단말은 상기 이동 단말로부터 수신한 상기 적어도 하나 이상의 얼굴 이미지 중 상기 얼굴 특징 벡터와의 유사도가 가장 높은 얼굴 이미지를 상기 사용자의 프로필 이미지로 등록하는 것을 특징으로 하는 차량 단말의 얼굴 인증 방법.
  18. 제17항에 있어서,
    상기 차량 단말은 상기 프로필 이미지 등록 시 상기 이동 단말로부터 수신한 상기 적어도 하나 이상의 얼굴 이미지를 상기 사용자의 얼굴 특징을 학습하기 위한 학습데이터로 활용하는 것을 특징으로 하는 차량 단말의 얼굴 인증 방법.
  19. 제18항에 있어서,
    상기 차량 단말은 상기 이동 단말로부터 수신한 적어도 하나 이상의 이미지로부터 다른 사용자의 얼굴 이미지를 추출하고 추출된 얼굴 이미지로부터 특징 벡터를 추출하여 상기 학습데이터로 추가하는 것을 특징으로 하는 차량 단말의 얼굴 인증 방법.
  20. 제11항에 있어서,
    상기 차량 단말은 블루투스 및 NFC(Near Field Communication) 중 어느 하나의 근거리 무선 통신 기술을 이용하여 상기 이동 단말과 데이터를 주고 받는 것을 특징으로 하는 차량 단말의 얼굴 인증 방법.
KR1020180051841A 2018-05-04 2018-05-04 차량 단말 및 그의 얼굴 인증 방법 Active KR102540920B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180051841A KR102540920B1 (ko) 2018-05-04 2018-05-04 차량 단말 및 그의 얼굴 인증 방법
US16/043,912 US10755083B2 (en) 2018-05-04 2018-07-24 Terminal for vehicle and method for authenticating face
DE102018213787.0A DE102018213787A1 (de) 2018-05-04 2018-08-16 Endgerät für Fahrzeug und Verfahren zum Authentifizieren von Gesicht
CN201810938633.5A CN110435592B (zh) 2018-05-04 2018-08-17 用于车辆的终端和用于认证面部的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180051841A KR102540920B1 (ko) 2018-05-04 2018-05-04 차량 단말 및 그의 얼굴 인증 방법

Publications (2)

Publication Number Publication Date
KR20190127338A true KR20190127338A (ko) 2019-11-13
KR102540920B1 KR102540920B1 (ko) 2023-06-07

Family

ID=68276575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180051841A Active KR102540920B1 (ko) 2018-05-04 2018-05-04 차량 단말 및 그의 얼굴 인증 방법

Country Status (4)

Country Link
US (1) US10755083B2 (ko)
KR (1) KR102540920B1 (ko)
CN (1) CN110435592B (ko)
DE (1) DE102018213787A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220040881A (ko) * 2020-09-24 2022-03-31 현대자동차주식회사 안면 패턴 인증 장치 및 그 방법
KR20220125763A (ko) * 2021-03-05 2022-09-14 현대자동차주식회사 차량 hmi 제공 장치 및 그 방법
KR20230095329A (ko) * 2021-12-22 2023-06-29 주식회사 마인드포지 얼굴 인식을 이용하는 전자 장치 및 그 동작 방법
KR20230097638A (ko) * 2021-12-24 2023-07-03 유니텔전자 (주) 인공 지능 기반의 전동 휠체어 제어 방법 및 그를 위한 장치 및 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179088B (zh) * 2017-04-14 2020-05-22 深圳市森国科科技股份有限公司 一种基于高架路面的车辆导航方法及其装置
US11225222B2 (en) * 2018-12-20 2022-01-18 Continental Automotive Systems, Inc. Vehicle access and power management systems and methods via machine learning
JP7427463B2 (ja) * 2020-02-12 2024-02-05 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
CN111582269B (zh) * 2020-04-20 2023-04-25 佛山科学技术学院 一种保护隐私的车牌识别方法及装置
CN112319220A (zh) * 2020-11-17 2021-02-05 珠海格力电器股份有限公司 车辆控制方法、装置、车辆及存储介质
US12235989B2 (en) * 2021-04-01 2025-02-25 Ford Global Technologies, Llc Occupant feature recognition to ensure privacy consent
US20210403004A1 (en) 2021-09-10 2021-12-30 Intel Corporation Driver monitoring system (dms) data management
KR20230084805A (ko) * 2021-12-06 2023-06-13 현대자동차주식회사 차량 및 차량의 제어방법
IT202200006878A1 (it) 2022-04-06 2023-10-06 Francesco Bocchini Sistema e metodo di registrazione e autenticazione di prodotti
KR20240033791A (ko) * 2022-09-06 2024-03-13 현대자동차주식회사 차량 및 차량의 제어방법
WO2024170254A1 (en) * 2023-02-15 2024-08-22 Trinamix Gmbh Authentication system for vehicles
KR102827689B1 (ko) * 2023-12-01 2025-07-01 주식회사 다온링크 영상과 인공지능을 이용한 실시간 원격 운전자 인증시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097145A1 (en) * 1997-11-06 2002-07-25 David M. Tumey Integrated vehicle security system utilizing facial image verification
JP2008213634A (ja) * 2007-03-02 2008-09-18 Denso Corp 運転環境設定システム、車載装置、携帯装置、管理装置、車載装置用プログラム、携帯装置用プログラム及び管理装置用プログラム
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification
US20130311001A1 (en) * 2012-05-17 2013-11-21 Harman International Industries, Inc. Methods and systems for preventing unauthorized vehicle operation using face recognition
KR101494880B1 (ko) * 2012-11-07 2015-02-25 한국과학기술연구원 인지적 아바타 생성 장치 및 방법
KR101552873B1 (ko) * 2014-05-08 2015-09-14 현대자동차주식회사 차량, 그와 통신하는 단말기 및 그 제어 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011460A (en) * 1996-08-22 2000-01-04 Flick; Kenneth E. Vehicle security system for a vehicle having a data communications bus and related methods
DE69801334T2 (de) * 1997-08-20 2002-04-18 Locus Corp., Osaka Ortungssystem und mobilkommunikationsvorrichtung
JP2004005133A (ja) * 2002-05-31 2004-01-08 Toshiba Corp 免許証を用いた車両制御システム及び車両制御方法
JP2010213749A (ja) * 2009-03-13 2010-09-30 Omron Corp 車両動作制御装置および方法、並びにプログラム
CN102529885B (zh) * 2012-01-16 2013-12-25 浙江吉利汽车研究院有限公司 一种自动挡汽车基于指纹限速装置及控制方法
CN106575454A (zh) * 2014-06-11 2017-04-19 威尔蒂姆Ip公司 基于生物特征信息帮助用户访问车辆的系统和方法
US10860887B2 (en) * 2015-11-16 2020-12-08 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognition model
US10423305B2 (en) * 2016-12-30 2019-09-24 Hisense Electric Co., Ltd. Methods and device operation for control including a personal dashboard
US10776640B2 (en) * 2017-01-06 2020-09-15 International Business Machines Corporation Enhanced vehicle monitoring
US11072311B2 (en) * 2017-09-05 2021-07-27 Future Mobility Corporation Limited Methods and systems for user recognition and expression for an automobile

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097145A1 (en) * 1997-11-06 2002-07-25 David M. Tumey Integrated vehicle security system utilizing facial image verification
JP2008213634A (ja) * 2007-03-02 2008-09-18 Denso Corp 運転環境設定システム、車載装置、携帯装置、管理装置、車載装置用プログラム、携帯装置用プログラム及び管理装置用プログラム
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification
US20130311001A1 (en) * 2012-05-17 2013-11-21 Harman International Industries, Inc. Methods and systems for preventing unauthorized vehicle operation using face recognition
KR101494880B1 (ko) * 2012-11-07 2015-02-25 한국과학기술연구원 인지적 아바타 생성 장치 및 방법
KR101552873B1 (ko) * 2014-05-08 2015-09-14 현대자동차주식회사 차량, 그와 통신하는 단말기 및 그 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220040881A (ko) * 2020-09-24 2022-03-31 현대자동차주식회사 안면 패턴 인증 장치 및 그 방법
KR20220125763A (ko) * 2021-03-05 2022-09-14 현대자동차주식회사 차량 hmi 제공 장치 및 그 방법
KR20230095329A (ko) * 2021-12-22 2023-06-29 주식회사 마인드포지 얼굴 인식을 이용하는 전자 장치 및 그 동작 방법
KR20230097638A (ko) * 2021-12-24 2023-07-03 유니텔전자 (주) 인공 지능 기반의 전동 휠체어 제어 방법 및 그를 위한 장치 및 시스템

Also Published As

Publication number Publication date
DE102018213787A1 (de) 2019-11-07
US10755083B2 (en) 2020-08-25
CN110435592A (zh) 2019-11-12
KR102540920B1 (ko) 2023-06-07
CN110435592B (zh) 2022-05-13
US20190340423A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
KR102540920B1 (ko) 차량 단말 및 그의 얼굴 인증 방법
CN110335389B (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
KR102504746B1 (ko) 신뢰 모바일 컴퓨팅 디바이스와 함께 차량 내 카메라를 사용한 무결절 운전자 인증
US9576189B2 (en) Method and apparatus for controlling vehicle using motion recognition with face recognition
US9619638B2 (en) Vehicle operations based on biometric fingerprint analysis
JP2021516646A (ja) 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
US9432193B1 (en) Face-based authentication with situational adaptivity
CN106464806B (zh) 自适应低光识别
US20200074060A1 (en) User authentication device and method for triggering user-specific target operation
CN110287671B (zh) 验证方法及装置、电子设备和存储介质
US12547688B2 (en) Face authentication system, vehicle including the same, and face authentication method
CN111191496B (zh) 面部识别装置和面部识别方法
US11734400B2 (en) Electronic device and control method therefor
CN111038447A (zh) 用于控制车辆的装置和方法
KR20200045877A (ko) 카셰어링 서비스 장치 및 그의 운용 방법
KR20130015976A (ko) 차량을 검출하기 위한 방법 및 장치
WO2022224332A1 (ja) 情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体
US20240273951A1 (en) Image processing device and image processing method
KR102703736B1 (ko) 아바타를 이용한 카셰어링 서비스 시스템 및 방법
CN113911054A (zh) 车辆个性化配置方法及装置、电子设备和存储介质
CN114708577A (zh) 车窗的控制方法、装置、电子设备及存储介质
US12367708B2 (en) Vehicle and method of controlling the same
TW201924990A (zh) 車體設備控制系統及車體設備控制方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180504

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210324

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180504

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221025

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230411

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230601

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230602

End annual number: 3

Start annual number: 1

PG1601 Publication of registration