KR20220106576A - 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법 - Google Patents

색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법 Download PDF

Info

Publication number
KR20220106576A
KR20220106576A KR1020210009656A KR20210009656A KR20220106576A KR 20220106576 A KR20220106576 A KR 20220106576A KR 1020210009656 A KR1020210009656 A KR 1020210009656A KR 20210009656 A KR20210009656 A KR 20210009656A KR 20220106576 A KR20220106576 A KR 20220106576A
Authority
KR
South Korea
Prior art keywords
height
image
depth image
pixel
body region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020210009656A
Other languages
English (en)
Other versions
KR102538116B1 (ko
Inventor
권순각
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020210009656A priority Critical patent/KR102538116B1/ko
Publication of KR20220106576A publication Critical patent/KR20220106576A/ko
Application granted granted Critical
Publication of KR102538116B1 publication Critical patent/KR102538116B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 색상과 깊이 영상을 이용한 신장 추정 시스템 및 신장 추정방법을 개시한다. 개시된 신장 추정 시스템은, 컬러 영상과 깊이 영상을 제공하는 영상 촬영부; 상기 영상 촬영부로부터 제공되는 컬러 영상과 깊이 영상을 선택하는 모드 선택부; 상기 모드 선택부에 의해 제1 모드가 선택된 경우 컬러 영상으로부터 사람의 신체 영역을 검출하는 제1 검출부; 상기 모드 선택부에 의해 제2 모드가 선택된 경우 깊이 영상으로부터 사람의 신체 영역을 검출하는 제2 검출부; 상기 제1 검출부 또는 제2 검출부로부터 검출된 신체 영역이 포함된 영상으로부터 사람의 신장을 추정하는 신장 추정 장치를 포함하고, 상기 신장 추정 장치는, 상기 제2 검출부로부터 제공되는 검출된 신체 영역으로부터 사람의 머리 영역과 발끝 영역에 각각 대응되는 정수리 화소와 발끝 화소를 선택하고, 선택된 화소들에 대해 3차원 좌표점들로 변환하는 3차원 변환부; 상기 3차원 변환부에서 제공된 3차원 좌표점들에 기초하여 상기 선택된 화소와 이와 이웃하는 화소와의 유사도 검사를 진행하고, 유사하다고 판단되는 경우 상기 선택된 화소들을 이용하여 신장을 계산하는 신장 계산부; 및 상기 신장 계산부에서 계산된 신장을 기초로 깊이 영상 내의 사람의 신장을 추정하는 신장 추정부를 포함한다.

Description

색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법{Human Height Estimation System by using RGB Color and Depth videos}
본 발명은 사람의 신장 추정 시스템 및 그 추정방법에 관한 것으로서, 구체적으로는 촬영된 색상 영상과 깊이 영상 정보로부터 사람의 신체 영역을 검출하여 신장을 추정하는 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법에 관한 것이다.
최근 영상보안 시스템에서 신원 확인을 위한 신체 정보(biometry)로 얼굴, 걸음걸이, 키 등이 있고 그 외 옷이나 모자 등의 정보를 추가로 이용하는 방법들이 연구되고 있으며, 그 중 신장(키: height)은 대상의 신원을 확인하기 위한 중요한 정보가 된다.
또한 현대사회에서는 제품 판매 또는 서비스 제공을 위해 고객들에게 다양한 마케팅 광고를 한다. 예를 들어, 패션관련 회사는 고객의 나이, 성별 및 신장 등의 정보에 기초하여 다양한 패션 정보 등을 제공할 수 있다. 인공지능 기술의 발달로 쇼핑 중인 고객의 신장을 실시간으로 추정하여 패션 정보를 제공할 수 있다. 이와 같이, 사람의 신체 특징 중 신장을 정확하게 추정하는 기술은 제조업, 판매업, 서비스업 등에서 다양하게 적용될 수 있다.
일반적으로 컬러 영상으로부터 사람의 신장(키)을 측정하는 기술은 다양하게 제안되었다. 예를 들어, 사람이 촬영된 컬러 영상 내의 특정 물체의 높이를 기준으로 사람의 키를 추정하는 방법, 실제 높이를 붉은색 마커로 표시하고, 컬러 영상에서 마커를 추출한 뒤 영상 내의 사람에 대해 신장을 추정하는 방법, 카메라의 위치정보와 소실점을 이용한 방법, 후보 객체들의 가로세로 비율, 크기 등의 조건을 이용한 방법, 위너 최적화 기법을 이용한 방법 등이 있었다.
하지만, 전술한 종래 방법들은 카메라의 인자들이니 기준 객체의 높이가 미리 주어진 상태에서 신장을 추정하는 기술이기 때문에 영상 내에 미리 주어진 높이 등의 정보가 없는 경우에는 사람의 신장을 추정할 수 없는 단점이 있다.
또한, 깊이 영상을 이용하여 사람의 신장을 추정하는 방법이 제안될 수 있으나, 깊이 영상은 측정 오차가 크기 때문에 사람의 신체 영역을 추출하기 어려운 문제가 있다.
등록특허공보 제10-1878095호(2018.07.06)
본 발명의 목적은 컬러 영상과 깊이 영상을 획득하고 선택적으로 사람의 신체 영역을 검출하여 사람의 신장을 추정할 수 있는 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법을 제공함에 있다.
또한, 본 발명의 목적은 컬러 영상을 사용할 수 없는 환경에서는 깊이 영상으로부터 신체 영역을 검출한 후, 사람의 신장을 추정할 수 있는 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법을 제공함에 있다.
또한, 본 발명의 목적은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점을 3차원 좌표점으로 변환하여 사람의 신장을 보다 정밀하게 추정할 수 있는 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법을 제공함에 있다.
또한, 본 발명의 목적은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점에 대한 유사도에 기초하여 보다 정확한 정수리점과 발 끝점을 선택하여 사람의 신장을 추정할 수 있는 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법을 제공함에 있다.
또한, 본 발명의 목적은 깊이 영상을 구성하는 각각의 깊이 이미지 프레임들에 대해 신체 영역 검출 및 검출된 신체 영역에 대한 신장을 추정한 후, 이들 신장 추정값들의 평균값을 계산하여 보다 정확한 신장을 추정할 수 있는 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법을 제공함에 있다.
또한, 본 발명의 목적은 촬영된 영상 내의 사람의 방향에 따라 신체 영역을 검출한 후, 신장을 추정할 수 있는 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법을 제공함에 있다.
실시예에 따른 색상과 깊이 영상을 이용한 신장 추정 시스템은, 컬러 영상과 깊이 영상을 제공하는 영상 촬영부; 상기 영상 촬영부로부터 제공되는 컬러 영상과 깊이 영상을 선택하는 모드 선택부; 상기 모드 선택부에 의해 제1 모드가 선택된 경우 컬러 영상으로부터 사람의 신체 영역을 검출하는 제1 검출부; 상기 모드 선택부에 의해 제2 모드가 선택된 경우 깊이 영상으로부터 사람의 신체 영역을 검출하는 제2 검출부; 및 상기 제1 검출부 또는 제2 검출부로부터 검출된 신체 영역이 포함된 영상으로부터 사람의 신장을 추정하는 신장 추정 장치를 포함한다.
또한, 색상과 깊이 영상을 이용한 신장 추정 시스템의 신장 추정 장치는, 상기 제2 검출부로부터 제공되는 검출된 신체 영역으로부터 사람의 머리 영역과 발끝 영역에 각각 대응되는 정수리 화소와 발끝 화소를 선택하고, 선택된 화소들에 대해 3차원 좌표점들로 변환하는 3차원 변환부; 상기 3차원 변환부에서 제공된 3차원 좌표점들에 기초하여 상기 선택된 화소와 이와 이웃하는 화소와의 유사도 검사를 진행하고, 유사하다고 판단되는 경우 상기 선택된 화소들을 이용하여 신장을 계산하는 신장 계산부; 및 상기 신장 계산부에서 계산된 신장을 기초로 깊이 영상 내의 사람의 신장을 추정하는 신장 추정부를 포함한다.
또한, 색상과 깊이 영상을 이용한 신장 추정 시스템의 상기 신장 추정 장치의 신장 계산부는, 상기 신장 추정부에서 추정한 신장에 기초하여 상기 깊이 영상을 구성하는 복수의 깊이 이미지 프레임들 중 n번째 깊이 이미지 프레임에 대하여 n개의 추정된 신장들에 대한 누적 평균값을 계산한 후, 계산된 누적 평균값으로 n번째 깊이 이미지 프레임에 대한 추정된 신장을 보정한다.
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 영상 촬영부; 상기 영상 촬영부로부터 제공되는 컬러 영상과 깊이 영상을 선택하는 모드 선택부; 상기 모드 선택부에 의해 제1 모드가 선택된 경우 컬러 영상으로부터 사람의 신체 영역을 검출하는 제1 검출부; 상기 모드 선택부에 의해 제2 모드가 선택된 경우 깊이 영상으로부터 사람의 신체 영역을 검출하는 제2 검출부; 및 상기 제1 검출부 또는 제2 검출부로부터 검출된 신체 영역이 포함된 영상으로부터 사람의 신장을 추정하는 신장 추정 장치를 포함하는 신장 추정 시스템을 이용한 신장 추정방법에 있어서, 컬러 영상과 깊이 영상을 제공받는 단계; 신장 추정을 위해 사용할 영상이 컬러 영상인 경우에는 제1모드, 깊이 영상인 경우에는 제2모드로 구분되고, 제1 및 제2 모드 중 어느 하나의 모드를 선택하는 단계; 상기 제2 모드를 선택한 경우, 상기 깊이 영상으로부터 신체 영역을 검출하는 단계; 상기 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하는 단계; 상기 검출된 정수리 화소와 발끝 화소를 3차원 좌표점으로 변환하는 단계; 상기 변환된 3차원 좌표점들에 대해 화소 유사도를 검사하는 단계; 상기 변환된 3차원 좌표점들에 대해 화소 유사도가 있는 것으로 판단된 경우, 상기 변환된 3차원 좌표점들을 이용하여 두 좌표점 사이의 길이를 계산하는 단계; 및 상기 계산된 길이를 깊이 영상이 사람의 신장으로 추정하는 단계를 포함한다.
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 상기 깊이 영상으로부터 신체 영역을 검출하는 단계는, 상기 깊이 영상을 구성하는 깊이 이미지의 화소들에 대해 수학식(1)에 따라 이진화 변환을 진행하여 이진화 이미지를 생성하는 단계를 포함한다.
Figure pat00001
.............수학식(1)
(여기서 db(x,y)와 d(x,y)는 각각 배경 깊이 이미지와 깊이 영상의 이미지의 화소 위치에서의 깊이 값이고, Tb는 이진화 임계값이다.)
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 상기 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하는 단계는, 상기 이진화 이미지에서 검출된 신체 영역에 대해 사람의 머리 영역과 대응되는 정수리 화소와 사람의 발 영역과 대응되는 발끝 화소를 검출한다.
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 상기 검출된 정수리 화소와 발끝 화소를 3차원 좌표점으로 변환하는 단계는, 상기 정수리 화소와 발끝 화소에 대응되는 2차원 좌표점을 각각 P(x_h, y_h)와 P(x_f, y_f)라 할 때, 수학식(2)에 의해 3차원 좌표점들로 변환한다.
Figure pat00002
....................수학식(2)
(여기서, f는 깊이 카메라의 초점 거리이며, W와 H는 깊이 화면의 폭과 높이이다)
신장 추정방법.
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 상기 변환된 3차원 좌표점들에 대해 화소 유사도를 검사하는 단계는, 상기 검출된 정수리 화소를 중심으로 좌측, 우측 및 하단 방향으로 r 화소 내에 위치한 화소들에 대한 아래 수학식(6)에 의해 분산도(
Figure pat00003
)를 계산하고, 계산된 분산도(
Figure pat00004
)의
Figure pat00005
가 기 설정된 임계값(
Figure pat00006
)보다 작은 값을 가지면 정수리 화소와 이웃하는 화소들은 유사하다고 판단한다.
Figure pat00007
................수학식(6)
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 상기 계산된 분산도(
Figure pat00008
)의
Figure pat00009
가 기 설정된 임계값(
Figure pat00010
)보다 큰 경우에는 정수리 화소와 이웃하는 화소들은 유사하지 않다고 판단하여 검출된 정수리 화소를 폐기하고 상기 이진화 이미지의 검출된 신체 영역에서 새로운 정수리 화소를 선택한다.
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 상기 정수리 화소와 이웃하는 화소들은 유사하다고 판단하는 경우에는 상기 변환된 3차원 좌표점들을 이용하여 아래 수학식(5)에 의해 깊이 영상 내의 사람에 대한 추정 신장을 계산한다.
Figure pat00011
..........................수학식(5)
또한, 실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 상기 깊이 영상을 구성하는 복수의 깊이 이미지 프레임들에 대해 각각의 추정 신장을 계산하고, n번째 깊이 이미지 프레임에 대해 n개의 추정 신장들에 대한 누적 평균값을 계산하여 상기 n번째 깊이 이미지 프레임에 대한 추정 신장을 계산된 누적 평균값으로 보정한다.
본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상과 깊이 영상을 획득하고 선택적으로 사람의 신체 영역을 검출하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상을 사용할 수 없는 환경에서는 깊이 영상으로부터 신체 영역을 검출한 후, 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점을 3차원 좌표점으로 변환하여 사람의 신장을 보다 정밀하게 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점에 대한 유사도에 기초하여 보다 정확한 정수리점과 발 끝점을 선택하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상을 구성하는 각각의 깊이 이미지 프레임들에 대해 신체 영역 검출 및 검출된 신체 영역에 대한 신장을 추정한 후, 이들 신장 추정값들의 평균값을 계산하여 보다 정확한 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 촬영된 영상 내의 사람의 방향에 따라 신체 영역을 검출한 후, 신장을 추정할 수 있는 효과가 있다.
도 1은 본 발명에 따른 색상과 깊이 영상을 이용한 신장 추정 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 색상과 깊이 영상을 이용한 신장 추정 시스템의 제1 검출부를 나타낸 도면이다.
도 3은 상기 도 2의 제1 검출부에 의해 사람의 신체 영역이 추출된 모습을 나타낸 도면이다.
도 4는 본 발명에 다른 색상과 깊이 영상을 이용한 신장 추정 시스템의 제2 검출부를 나타낸 도면이다.
도 5는 상기 도 4의 제2 검출부에 의해 깊이 영상에서의 사람의 신체 모습을 나타낸 도면이다.
도 6은 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템의 신장 추정 장치를 나타낸 블럭도이다.
도 7은 본 발명의 신장 추정 시스템을 이용하여 신장을 추정하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 신장 추정 시스템을 이용하여 신장을 추정할 때 정수리 영역의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 9는 도 8의 보정이 적용된 경우와 적용되지 않은 경우에 대한 신장의 추정 결과를 비교한 도면이다.
도 10은 본 발명의 신장 추정 시스템에서 카메라와 사람의 거리에 따른 신장 추정 결과를 나타낸 도면이다.
도 11은 본 발명의 신장 추정 시스템에서 사람의 움직임에 따라 신장 추정 결과를 나타낸 도면이다.
도 12는 본 발명의 색상과 깊이 영상을 이용한 신장 추정방법을 나타낸 도면이다.
도 13은 본 발명의 다른 실시예에 따른 신장 추정방법을 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명에 따른 색상과 깊이 영상을 이용한 신장 추정 시스템을 나타낸 도면이다. 도 2는 본 발명에 따른 색상과 깊이 영상을 이용한 신장 추정 시스템의 제1 검출부를 나타낸 도면이다. 도 3은 상기 도 2의 제1 검출부에 의해 사람의 신체 영역이 추출된 모습을 나타낸 도면이다. 도 4는 본 발명에 다른 색상과 깊이 영상을 이용한 신장 추정 시스템의 제2 검출부를 나타낸 도면이다. 도 5는 상기 도 4의 제2 검출부에 의해 깊이 영상에서의 사람의 신체 모습을 나타낸 도면이다. 도 6은 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템의 신장 추정 장치를 나타낸 블럭도이다.
도 1 내지 도 6을 참조하면, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템(100)은 영상 촬영부(110), 모드 선택부(120), 저장부(130), 제1 및 제2 검출부(140, 150), 신장 추정 장치(160) 및 표시부(170)를 포함한다. 본 발명의 신장 추정 시스템(100)은 카메라를 포함하는 퍼스널 컴퓨터, 랩탑, 노트북, 넷북 또는 태블릿, 휴대 정보 단말기(personal digital assistant; PDA), 네비게이션, 가정용 전자기기(home appliance), 영상 처리 장치, 스마트폰, 3D TV 또는 DID(Digital Information Display) 등의 장치내에서 구현될 수 있다.
또한, 도면에서는 도시하지 않았지만, 모드 선택부(120), 저장부(130), 제1 및 제2 검출부(140, 150) 및 신장 추정 장치(160)는 메모리에 저장된 프로그램과 프로그램을 실행시키는 마이크로프로세서들에 의해 구현될 수 있다. 예를 들어, 마이크로프로세서는 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 형태로 구성될 수 있다.
또한, 메모리는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치를 포함할 수 있다. 또한, 메모리는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.
예를 들어 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 깊이 영상의 움직임 벡터를 결정하고 깊이 영상을 부호화하기 위해 깊이 영상을 프로세싱하는 것을 포함하는 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.
영상 촬영부(110)는 컬러 영상 센서와 깊이 영상 센서를 포함하는 카메라를 포함할 수 있다. 일부 구현예에서 깊이 영상 센서는 장면의 깊이 정보를 예를 들어 [mm] 단위의 16비트의 정수형으로 표현한 깊이 영상을 제공할 수 있다. 깊이 정보를 표현하기 위한 비트수는 16비트에 제한되는 것은 아니고 변경될 수 있으며, 또한 정수형으로 한정되지 않고 실수형으로 제공될 수 있다. 깊이 영상 센서는 적외선 등을 이용하여 카메라로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.
깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 [mm] 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.
컬러 영상 센서는 컬러 영상을 획득하는 장치로서, 예를 들어, CMOS(Complementary Metal-Oxide-Semiconductor) 영상 센서, CCD(Charge-Coupled Device) 영상 센서 또는 스테레오 카메라 등일 수 있다. 깊이 센서는 키넥트(kinect), TOF(time-of-flight) 깊이 카메라 또는 광 3D 스캐너 등일 수 있다.
모드 선택부(120)는 영상 촬영부(110)가 제공하는 영상에서 컬러 영상을 선택하여 사람의 신체 영역을 검출하고 신장을 추정할 것인지 깊이 영상을 선택하여 사람의 신체 영역을 검출하고 신장을 추정할 것인지를 선택한다. 따라서, 모드 선택부(120)에 의해 컬러 영상 모드(도 12에서 제1모드)가 선택될 경우 컬러 영상에 대한 신장 추정 과정이 진행된다. 모드 선택부(120)에 의해 깊이 영상 모드(도 12의 제2모드)가 선택될 경우 깊이 영상에 대한 신장 추정 과정이 진행된다.
경우에 따라서는 혼합 모드가 선택될 수 있는데, 혼합 모드에서는 컬러 영상 모드에서 검출한 신체 영역과 신체 영역 중 각각의 특정 영역(예를 들어, 머리, 발, 가슴, 팔 등등)을 깊이 영상 모드에서 검출한 신체 영역과 조합하여 보다 정밀한 신장 추정을 진행할 수 있다. 일예로 컬러 영상 모드에 따라 제1 검출부(140)에서 검출된 컬러 이미지의 신체 영역 및 신체 영역의 특정 영역을 제2 검출부(150)에서 검출된 깊이 이미지의 신체 영역에 오버랩시켜 신장 추정을 위해 필요한 정수리점과 발 끝점을 보다 정확하게 선택할 수 있다.
또한, 컬러 영상 모드에 의한 신장 추정과 깊이 영상 모드에 의한 신장 추정이 병렬적으로 진행된 후 두개의 추정된 신장 값을 이용하여 최종적인 신장 추정값을 결정할 수 있다. 또한, 컬러 영상 모드와 깊이 영상 모드에서 각각 추정한 신장 추정값을 다른 모드에서 추정한 값을 보정하는 수단으로 사용될 수 있다. 예를 들어, 깊이 영상 모드에서는 사람의 신체 영역의 검출이 정확하지 않으나 일단 검출된 신체 영역으로부터 정수리점과 발 끝점이 선택되면 이들 사이의 거리(길이)는 [mm] 단위로 계산되기 때문에 추정된 신장의 길이에 대한 정밀도는 높다. 따라서, 신체 영역의 검출이 용이한 컬러 영상 모드의 검출된 신체 영역 또는 신체 영역의 특정 영역을 깊이 영상 모드에 선택적으로 적용한 후, 길이 계산에 대해서는 깊이 영상 모드를 적용하면 보다 정밀한 신장 추정을 할 수 있다.
저장부(130)는 전술한 메모리의 구성으로 구현될 수 있다. 또한, 저장부(130)는 영상 촬영부(110)에서 제공되는 영상을 이미지 프레임 단위로 저장할 수 있다. 예를 들어, 컬러 영상에 대해서는 컬러 이미지 프레임들을 순차적으로(각각의 프레임 단위) 저장하고 깊이 영상에 대해서는 깊이 이미지 프레임들을 순차적으로 저장할 수 있다. 또한, 후술할 제1 및 제2 검출부(140, 150)가 컬러 영상 또는 깊이 영상으로부터 사람의 신체 영역(또는 신체 영역의 특정 영역) 검출한 이미지 프레임들을 저장할 수 있다. 예를 들어, 컬러 영상 모드에서 사람의 신체 영역 또는 신체 영역의 특정 영역에 대해 서로 다른 컬러를 표시하여 검출한 경우, 검출된 이미지 프레임들을 저장할 수 있다. 저장부(130)는 제1 및 제2 검출부(140, 150)가 복수의 컬러 영상 또는 복수의 깊이 영상으로부터 신체 영역 또는 신체 영역의 특정 영역을 검출하는 결과값들을 저장할 수 있다. 또한, 저장부(130)에 저장된 검출된 결과값들은 전술한 프로세서의 제어를 통해 검출된 결과값들을 해석하도록 하고, 신경망을 이용한 기계 학습을 통한 딥러닝 모델을 구축하는 자료로 사용될 수 있다.
딥러닝 모델을 구축하는 기계 학습은 신경망뿐만 아니라 의사결정나무 (Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(SVM: support vector machine)와 같은 기계 학습 알고리즘이 사용될 수 있다.
또한, 저장부(130)는 신장 추정 장치(160)에서 계산된 사람의 신장 추정값들과 영상들을 이미지 프레임들 단위로 저장할 수 있다. 신장 추정 장치(160)의 신장 추정값들과 이미지 프레임들은 이후 딥러닝 모델을 갱신(update)하는 자료로 사용될 수 있다.
따라서, 제1 및 제2 검출부(140, 150)은 전술한 딥러닝 모델을 이용하여 수신된 컬러 영상 또는 깊이 영상에 대해 사람의 신체 영역 또는 신체 영역의 특정 영역을 검출한다.
도 2를 참조하면, 제1 검출부(140)는 제1 영상수신부(140a), 제1 특징 피라미드망(140b: FPN(Feature Pyramid Network)), 제1 코어 신경망(140c: Resnet), 제1 영역 제안망(140d: Region Proposal Network)을 포함할 수 있다.
제1 영상수신부(140a)는 영상 촬영부(110)에서 제공되는 컬러 영상을 수신하고 컬러 영상 내의 사람의 신체 영역 또는 신체 영역의 특정 영역을 검출하기 적합한 영상으로 변환할 수 있다. 예를 들어, 컬러 영상을 신체 영역과 신체 영역의 특정 영역을 분리 검출하기 용이한 컬러 영상으로 크기나 해상도를 변경할 수 있다. 또한, 촬영된 컬러 영상 내에 사람의 존재 여부를 필터링할 수 있는 영상필터부가 배치될 수 있다. 즉, 촬영된 컬러 영상 내에 사람이 존재하지 않는 영상(이미지 프레임)은 배제(skip)하고 사람이 존재하는 컬러 영상(이미지 프레임들)만을 선택할 수 있다.
제1 특징 피라미드망(140b)은 컬러 영상을 구성하는 이미지 프레임들 단위로 특징 맵을 생성하고, 제1 코어 신경망(140c)은 제1 특징 피라미드망(140b)에서 생성된 특징 맵에 대해 각 레이어(layer) 별로 특징 맵을 생성하며, 제1 영역 제안망(140d)은 각 레이어 별로 특징 맵이 생성된 이미지에서 객체(사람)에서 필요로 하는 특징들의 위치에 검출박스/경계박스(Bounding Box) 생성할 수 있다. 제1 검출부(140)는 객체의 특징 영역들에 서로 다른 컬러를 매칭시켜 신체 영역의 각 부분들을 구별할 수 있도록 할 수 있다. 또한, 제1 영역 제안망(140d)은 특징 맵에서 객체의 관심영역(ROI: Region Of Interest)을 예측하는 작업을 수행할 수 있다.
예컨대 제1 검출부(140)는 마스크 순환 컨볼루션 신경망(Mask-RCNN: Mask Recurrent Convolutional Neural Network)과 같은 완전 연결층(Fully Connected Layer)들을 갖는 신경망들을 포함할 수 있다.
도 3을 참조하면, 제2 검출부(150)는 제2 영상수신부(150a), 제2 특징 피라미드망(150b: FPN(Feature Pyramid Network)), 제2 코어 신경망(150c: Resnet), 제2 영역 제안망(150d: Region Proposal Network)을 포함할 수 있다.
제2 영상수신부(150a)는 영상 촬영부(110)에서 제공되는 깊이 영상을 수신하여 사람의 신체 영역을 분리 검출하기에 적합한 영상으로 변환할 수 있다. 또한, 촬영된 깊이 영상 내에 사람의 존재 여부를 필터링할 수 있는 영상필터부가 배치될 수 있다. 즉, 촬영된 깊이 영상 내에 사람이 존재하지 않는 깊이 영상은 배제(skip)하고 사람이 존재하는 깊이 영상만을 선택할 수 있다.
제2 특징 피라미드망(150b)은 깊이 영상을 구성하는 이미지 프레임들 단위로 특징 맵을 생성하고, 제2 코어 신경망(140c)은 제2 특징 피라미드망(150b)에서 생성된 특징 맵에 대해 각 레이어(layer) 별로 특징 맵을 생성하며, 제2 영역 제안망(150d)은 각 레이어 별로 특징 맵이 생성된 이미지에서 객체(사람)에서 필요로 하는 특징들의 위치에 검출박스/경계박스(Bounding Box) 생성할 수 있다. 제2 검출부(150)는 사람의 신체 영역을 추출하기 위해 배경 깊이 영상(배경 이미지 프레임)과 신체 영역을 비교하는 방식으로 신체 영역을 추출할 수 있다. 또한, 제2 영역 제안망(150d)은 특징 맵에서 객체의 관심영역(ROI: Region Of Interest)을 예측하는 작업을 수행할 수 있다.
예컨대 제2 검출부(150)는 마스크 순환 컨볼루션 신경망(Mask-RCNN: Mask Recurrent Convolutional Neural Network)과 같은 완전 연결층(Fully Connected Layer)들을 갖는 신경망들을 포함할 수 있다.
또한, 제1 검출부(140)와 제2 검출부(150)은 도면에서는 분리된 구성들로 도시하였지만, 단일한 영상수신부, 특징 피라미드망, 코어 신경망 및 영역 제안망으로 구성될 수 있다.
이와 같이, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상과 깊이 영상을 획득하고 선택적으로 사람의 신체 영역을 검출하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상을 사용할 수 없는 환경에서는 깊이 영상으로부터 신체 영역을 검출한 후, 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점을 3차원 좌표점으로 변환하여 사람의 신장을 보다 정밀하게 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점에 대한 유사도에 기초하여 보다 정확한 정수리점과 발 끝점을 선택하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상을 구성하는 각각의 깊이 이미지 프레임들에 대해 신체 영역 검출 및 검출된 신체 영역에 대한 신장을 추정한 후, 이들 신장 추정값들의 평균값을 계산하여 보다 정확한 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 촬영된 영상 내의 사람의 방향에 따라 신체 영역을 검출한 후, 신장을 추정할 수 있는 효과가 있다.
먼저, 도 1 내지 도 3을 참조하여 컬러 영상으로부터 사람의 신체 영역을 검출하는 방법을 설명하면 다음과 같다.
영상 촬영부(110)에서 제공되는 영상 중 컬러 영상에 기초하여 사람의 신체 영역을 추출하기 위해 전술한 제1 검출부(140)의 제1 영상수신부(140a), 제1 특징 피라미드망(140b), 제1 코어 신경망(140c) 및 제1 영역 제안망(140d)을 이용한다. 제1 검출부(140)는 미리 촬영된 다수의 컬러 영상들에 대해 컬러 영상에서 사람과 배경 영역을 분리하는 학습과 분리된 사람의 신체 영역에 대해 특정 영역(머리, 가슴, 팔, 다리, 어깨, 골반, 엉덩이, 허벅지, 종아리 및 발 등)을 선택적으로 구별하고 분리 검출할 수 있는 제1 딥러닝 모델이 구축되어 있다. 따라서, 제공된 컬러 영상에 대해 제1 딥러닝 모델은 컬러 영상에 포함된 사람의 신체 영역과 신체 영역의 특정 영역을 검출한다.
따라서, 제1 검출부(140)는 구축된 제1 딥러닝 모델에 따라 컬러 영상으로부터 사람의 신체 영역, 신장의 기준이되는 머리 영역 등을 동시에 검출한다.
도 2에 도시된 바와 같이, 제1 검출부(140)는 컬러 영상에 대해 사람의 신체 영역(Human Body Region)과 특정 영역인 사람의 머리 영역(Human Head Region)을 동시에 분리 검출한다. 또한, 도 3을 참조하면, 복도를 촬영한 컬러 영상 내에 사람의 신체 영역(HBR)이 검출된 모습이다. 신체 영역(HBR)은 머리 영역(H)과 바디 영역(B)으로 구분될 수 있다. (a) 카메라 방향으로 서있는 사람의 신체 영역, (b) 카메라 방향의 반대 방향으로 서있는 사람의 신체 영역, (c) 서있는 사람의 측면에서 바라본 신체 영역, (d) 카메라를 향해 보행중인 사람의 신체 영역, (e) 카메라 방향의 반대 방향으로 보행 중인 사람의 신체 영역, (f) 보행 중인 사람의 측면 방향의 신체 영역, (g) 카메라 방향으로 손을 들고 있는 사람의 신체 영역, (h) 카메라의 방향의 반대 방향에서 손을 들고 있는 사람의 신체 영역에 대해 각각 머리 영역(H)과 바디 영역(B)을 다른 컬러로 표시하여 검출할 수 있다.
즉, 제1 딥러닝 모델에 기초하여 사람에 대한 특정 방향에서의 신체 영역(HBR)을 검출한 후, 검출된 신체 영역(HBR)에서 특정 영역들을 서로 분리하기 위해 특정 영역들에 대해서 서로 다른 컬러로 표시할 수 있다. 예를 들어, 도면에서는 머리 영역(H)과 바디 영역(B)을 구분하였지만, 머리 영역(H), 바디 영역(B), 팔 영역, 다리 영역 등을 서로 다른 컬러로 표시하여 검출할 수 있다.
따라서, 제1 검출부(140)는 컬러 영상에 기초하여 신체 영역들을 분리 검출하기 때문에 깊이 영상에 비해 보다 정확한 신체 영역(HBR) 또는 신체 영역의 특정 영역 검출이 가능하다. 또한, 전술한 바와 같이, 제1 검출부(140)는 RGB 화소 단위로 객체에 대한 특정 영역을 구분하고 검출할 수 있는 이점이 있다.
다음으로 도 1과 함께 도 4 내지 도 6을 참조하여 깊이 영상으로부터 사람의 신체 영역을 검출하는 방법을 설명하면 다음과 같다.
영상 촬영부(110)에서 제공되는 영상 중 깊이 영상에 기초하여 사람의 신체 영역을 찾기 위해 전술한 제2 검출부(150)의 제2 영상수신부(150a), 제2 특징 피라미드망(150b), 제2 코어 신경망(150c) 및 제2 영역 제안망(150d)을 이용한다. 제2 검출부(150)는 미리 촬영된 다수의 깊이 영상들을 이용하여 신체 영역을 검출할 수 있는 제2 딥러닝 모델이 구축되어 있다. 제2 딥러닝 모델은 사람이 존재하지 않은 복수의 배경 깊이 이미지들과 사람을 포함하는 깊이 이미지를 기초로 하여 사람의 신체 영역을 검출하는 기계적 학습을 통해 구축될 수 있다. 특히, 깊이 영상은 컬러 영상에 비해 사람의 신체 영역을 구별하고 분리 검출하기 어렵기 때문에 화소들에 대한 깊이 값 정보의 변화가 없는 배경 깊이 이미지들에 기초하여 사람의 신체 영역을 구별하고 검출한다.
따라서, 제2 검출부(150)에 구축된 제2 딥러닝 모델은 새롭게 제공된 깊이 영상을 구성하는 이미지 프레임들로부터 사람의 신체 영역을 검출한다.
도 4에 도시된 바와 같이, 제2 검출부(150)는 깊이 영상에 대해 사람의 신체 영역(HBR: Human Body Region)을 분리하여 검출하고, 검출된 신체 영역(HBR)에 대한 정보를 신장 추정 장치(160)에 제공하는 것을 볼 수 있다. 또한, 도 5를 참조하면, 제2 딥러닝 모델에 기초하여 사람이 서있는 경우(a), 서있는 뒷모습(b), 서있는 옆모습(c), 이동하는 앞모습(d), 이동하는 뒷모습(e), 이동(보행) 중인 옆모습(f)에 대해 배경 깊이 이미지(BI)와 경우에 대한 깊이 영상들로부터 신체 전영역(H)을 검출할 수 있다. 다만, 컬러 영상에 대해 제1 딥러닝 모델이 신체 영역에 대한 각 부위 별 영역들까지 검출하였지만 깊이 영상은 신체 영역(HBR)에 대한 특정 영역들의 검출은 어렵다.
하지만, 사람의 신장을 추정하기 위해 필요한 사람의 신체 영역(HBR)은 검출할 수 있다. 제2 딥러닝 모델은 전술한 바와 같이, 다수의 깊이 영상을 이용하여 배경 깊이 이미지(BI)와 신체 영역(HBR)을 구분하는 학습을 진행하였기 때문에 깊이 영상으로부터 신체 영역(H)을 검출할 수 있다.
깊이 영상은 컬러 영상에 비해 영상 잡음이 많이 포함되어 있어 컬러 영상과 같은 선명하고 정확한 신체 영역을 검출하기 어렵다. 하지만, 빛이 없는 환경에서는 컬러를 구분하기 어렵기 때문에 컬러 영상으로부터 사람의 신체 영역(HBR)을 분리 검출하기는 어려워진다. 즉, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 신장 추정방법은 컬러 영상을 사용하기 어려운 환경에서는 깊이 영상으로부터 신체 영역(HBR)을 분리 검출하고 검출된 신체 영역에 대한 신장을 추정할 수 있다.
보다 구체적으로 깊이 영상으로부터 사람의 신체 영역(HBR)을 검출하는 방법은 다음과 같다. 깊이 영상 센서를 포함하는 카메라가 특정 위치에 고정된 상태로 촬영을 하면 사람의 배경 영역은 큰 변화가 없는 것을 알 수 있다. 따라서, 깊이 이미지를 구성하는 화소들 중 배경 영역과 대응되는 화소들에 대한 화소값은 거의 변화가 없고, 배경이 아닌 사람과 대응되는 화소들은 배경 영역과 대응되는 화소값과 다른 값을 갖는다.
도 5에서 사람의 신체 영역(HBR)의 배경을 구성하는 배경 깊이 이미지(BI)는 복수의 깊이 이미지 프레임들을 비교하더라도 거의 동일한 화소값을 갖는다. 복수의 깊이 이미지 프레임들에서 사람의 신체 영역(H)과 대응되는 화소들의 화소값은 배경 깊이 이미지(BI)의 화소값과 다른 값을 갖기 때문에 각각의 깊이 이미지 프레임들에서 미리 알고 있는 배경 깊이 이미지(BI)의 화소값과 다른 화소값을 갖는 화소 영역이 사람의 신체 영역(HBR)으로 볼 수 있다.
본 발명의 색상과 깊이 영상을 이용한 신장 추정방법은 배경 깊이 이미지(BI)의 화소 값들을 복수의 배경 이미지 프레임들로부터 획득한 각각의 화소값들 중 최소값을 계산하여 배경 깊이 이미지(BI)를 구성하는 화소들의 화소값으로 결정한다.
이렇게 결정된 화소값들로 구성된 배경 깊이 이미지(BI)와 사람의 신체 영역(HBR)을 포함하는 깊이 이미지를 비교하여 사람의 신체 영역(HBR)을 검출한다.
깊이 영상을 구성하는 깊이 이미지에서 신체 영역을 추출하기 위해 깊이 이미지의 화소들에 대해 아래 수학식(1)을 만족하도록 이진화 변환을 진행하여 이진화 이미지(B)를 생성한다. 즉, 깊이 이미지를 구성하는 화소들이 수학식(1)을 만족하는 경우 이진화 이미지(B)의 화소들은 객체(사람의 신체 영역)와 대응되는 화소들에 로직 '1'이 설정되고 객체(사람)에 대해 배경을 이루는 영역의 화소들에 로직 '0'이 설정된다.
따라서, 이진화 이미지(B)를 구성하는 화소들은 로직 '1'과 로직 '0'으로 구성된다.
Figure pat00012
...............수학식(1)
(여기서 db(x,y)와 d(x,y)는 각각 <배경 깊이 이미지>와 <깊이 영상의 이미지>의 화소 위치에서의 깊이 값이고, Tb는 이진화 임계값이다.) 즉, 깊이 이미지는 복수의 화소들로 구성되고 이들을 2차원 좌표점들(x, y)로 표현될 수 있다. 또한 배경 깊이 이미지는 객체(사람)를 포함하지 않는 배경에 대한 깊이 이미지일 수 있고, 깊이 영상 이미지는 객체(사람)이 포함하는 깊이 이미지일 수 있다.
상기와 같은 방식으로 깊이 영상으로부터 사람의 신체 영역(HBR)이 검출되면 검출된 신체 영역(HBR)의 <UA: 머리 영역>과 <LA: 발 영역>에서 정수리점의 화소와 발 끝점의 화소를 선택하고 이를 3차원 좌표로 변환한 후, 정수리점과 발 끝점의 길이를 계산하여 사람의 신장을 추정한다. 이와 같이, 신체 영역(HBR)이 검출된 이미지가 생성되면 신장 추정 장치(160)는 사람의 신장을 추정한다.
도 6을 참조하면, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템(100)의 신장 추정 장치(160)는, 3차원 변환부(160a), 신장 계산부(160b) 및 신장 추정부(160c)를 포함한다.
신장 추정 장치(160)는 전술한 바와 같이, 제1 검출부(140)에 의해 컬러 영상으로부터 신체 영역(HBR)의 바디 영역(B)과 머리 영역(H)이 검출된 경우와 제2 검출부(150)에 의해 깊이 영상으로부터 신체 영역(HBR)이 검출된 경우에 대해 신장을 추정할 수 있다.
제1 검출부(140)가 컬러 영상으로부터 신체 영역(HBR)의 머리 영역(H)과 바디 영역(B)을 검출한 경우, 신장 계산부(160b)와 신장 추정부(160c)를 이용하여 신장을 추정할 수 있다. 컬러 영상으로부터 신체 영역(HBR)이 검출되는 경우에는 영상이 선명하게 구분되기 때문에 머리 영역(H)의 상측 화소 중 어느 하나(머리 카락을 고려하여 상측 영역에 특정한 상부 화소수평열 중 중간 화소를 선택)를 선택한다. 동일한 방식으로 발 영역에서의 하측 화소 중 어느 하나(신발을 고려하여 하측 영역의 특정한 하부 화소수평열 중 중간 화소를 선택)를 선택한다. 선택한 두 점의 길이를 기반으로 아래 설명할 3차원 좌표 변환의 방법을 적용하여 신장을 추정할 수 있다. 하지만, 컬러 영상을 기초로 하여 사람의 신장을 추정하는 경우에는 반드시 아래 방법을 사용할 필요는 없다.
반면, 깊이 영상으로부터 신체 영역(HBR)이 검출된 경우에는 3차원 변환부(160a)는 신체 영역(HBR)을 3차원 구조로 변환한다. 보다 구체적으로 신장을 추정하기 위해 머리 영역과 발 영역의 화소를 선택하여 2개의 화소에 대한 2차원 좌표점을 계산하고, 이를 3차원 좌표점으로 변환하여 3차원 공간에서의 길이를 추정한다. 즉, 본 발명의 색상과 깊이 영상을 이용한 신장 추정방법은 신체 영역(HBR)에 대한 정수리점(h)과 발 끝점(f)에 대한 3차원 공간좌표가 획득하고, 획득된 2개의 점들에 대한 보정 검사를 진행한 후, 신장 계산부(160b)를 통해 사람의 신장을 추정한다.
이와 같이, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상과 깊이 영상을 획득하고 선택적으로 사람의 신체 영역을 검출하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상을 사용할 수 없는 환경에서는 깊이 영상으로부터 신체 영역을 검출한 후, 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점을 3차원 좌표점으로 변환하여 사람의 신장을 보다 정밀하게 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점에 대한 유사도에 기초하여 보다 정확한 정수리점과 발 끝점을 선택하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상을 구성하는 각각의 깊이 이미지 프레임들에 대해 신체 영역 검출 및 검출된 신체 영역에 대한 신장을 추정한 후, 이들 신장 추정값들의 평균값을 계산하여 보다 정확한 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 촬영된 영상 내의 사람의 방향에 따라 신체 영역을 검출한 후, 신장을 추정할 수 있는 효과가 있다.
도 7은 본 발명의 신장 추정 시스템을 이용하여 신장을 추정하는 과정을 설명하기 위한 도면이다. 도 8은 본 발명의 신장 추정 시스템을 이용하여 신장을 추정할 때 정수리 영역의 위치를 보정하는 과정을 설명하기 위한 도면이다. 도 9는 도 8의 보정이 적용된 경우와 적용되지 않은 경우에 대한 신장의 추정 결과를 비교한 도면이다. 도 10은 본 발명의 신장 추정 시스템에서 카메라와 사람의 거리에 따른 신장 추정 결과를 나타낸 도면이다. 도 11은 본 발명의 신장 추정 시스템에서 사람의 움직임에 따라 신장 추정 결과를 나타낸 도면이다.
도 7 내지 도 11을 참조하면, 본 발명의 색상과 깊이 영상을 이용한 신장 추정방법은 컬러 영상과 깊이 영상을 선택적으로 이용하여 영상 내의 사람의 신장을 추정할 수 있다. 전술한 바와 같이, 컬러 영상의 경우에는 영상 내의 사람의 신체 영역과 신체 영역의 특정 영역별 분리 검출이 용이하여 신체 영역이 검출되면 신장 추정을 할 수 있다. 이때, 본 발명의 신장 추정 장치(160)를 이용하여 3차원 좌표점 변환을 하여 신장을 계산하거나 기 공지될 추정 방법을 적용하여 신장을 추정할 수 있다.
반면, 깊이 영상 모드에 따라 신장을 추정하는 경우에는 전술한 바와 같이, 깊이 영상으로부터 신체 영역(HBR)을 검출하기 위해 이진화 이미지 생성과정을 진행한다. 이는 깊이 영상으로부터 신체 영역(HBR)을 검출하는 것이 컬러 영상으로부터 신체 영역(HBR)을 검출하는 것보다 어렵기 때문에 보다 정확한 검출을 위해 진행하는 과정이다.
이진화 이미지의 형태로 신체 영역(HBR)이 검출되면, 검출된 신체 영역(HBR)의 <UA: 머리 영역>과 <LA: 발 영역>에서 신체 영역(HBR)과 대응되는 화소를 선택한다.
도 1, 도 4 및 도 5와 함께 도 7과 도 8을 참조하면, 본 발명의 신장 추정 시스템(100)의 제2 검출부(150)를 통해 깊이 영상으로부터 사람의 신체 영역(HBR)이 검출되면 <UP: 머리 영역>과 <LA: 발 영역>에서 화소(P)를 선택한다. 왜냐하면, 신체 영역(HBR)에 대한 신장은 사람의 정수리에서 발끝(발바닥)까지의 길이로 구해지기 때문이다. 따라서, 신체 영역(HBR)의 <UP: 머리 영역>에서 사람의 정수리와 가장 근접한 화소를 선택하고 <LA: 발 영역>에서 발끝과 가장 근접한 화소를 선택하는 것이 중요하다.
도 7에 도시된 바와 같이, 신체 영역(HBR)이 검출될 깊이 이미지(이진화 이미지)는 복수의 화소(P)들로 구성된다. 또한, 깊이 이미지는 <머리 영역>과 대응되는 제1 화소 영역(PA_1)과 <발 영역>과 대응되는 제2 화소 영역(PA_2), 신체 영역(HBR)과 대응되는 화소들로 구성된 검출 화소영역(BC)으로 구분된다.
본 발명의 색상과 깊이 영상을 이용한 신장 추정방법은 신체 영역(HBR)의 정수리점을 선택하기 위해 검출 화소영역(BC)의 <머리 영역>에서 정수리 화소를 선택하고 발 끝점을 선택하기 위해 검출 화소영역(BC)의 <발 영역>에서 발끝 화소를 선택한다.
만약, 제1 화소 영역(PA_1)에서 신체 영역(HBR)의 최상측에 존재하는 제1 상부 수평화소열(PH_H1)의 화소가 복수개일 경우 중앙 화소를 정수리 화소로 선택(검출)한다. 제1 상부 수평화소열(PH_H1)의 화소가 짝수개일 경우 중앙의 두 화소 중 어느 하나를 정수리점의 화소로 검출하거나 중앙의 두 화소들의 깊이값을 평균한 후 평균값과 차이가 적은 화소를 정수리점의 화소로 검출할 수 있다.
또한, 만약, 제2 화소 영역(PA_2)에서 신체 영역(HBR)의 최하측에 존재하는 제1 하부 수평화소열(PL_H1)의 화소가 복수개일 경우 중간 화소를 발 끝점의 화소로 검출한다. 제1 하부 수평화소열(PL_H1)의 화소가 짝수개일 경우 중앙의 두 화소 중 어느 하나를 발 끝점의 화소로 검출하거나 중앙의 두 화소들의 깊이값을 평균한 후 평균값과 차이가 적은 화소를 정수리점의 화소로 검출할 수 있다.
또한, 검출된 정수리 화소에 대해 깊이 이미지를 구성하는 화소들의 수평라인과 수직라인을 기준으로 2차원 좌표(P(x_h, y_h)로 표시한다. 동일한 방식으로 발끝 화소에 대해서도 2차원 좌표(P(x_f, y_f)으로 표시한다. 따라서, 정수리 화소는 정수리점과 발 끝점으로 표시된다.
일반적으로 사람의 신장은 정수리점에서 발 끝점에 대한 3차원 공간(실세계)에서의 길이(거리)로 측정되기 때문에 본 발명에서는 정수리점과 발 끝점의 2차원 좌표를 3차원 좌표로 변환하는 작업을 진행한다.
정수리점과 발 끝점에 대한 2차원 좌표점들은 아래 수학식 (2)에 의해 3차원 좌표점들로 변환될 수 있다.
Figure pat00013
....................수학식(2)
(여기서, f는 깊이 카메라의 초점 거리이며, W와 H는 깊이 화면의 폭과 높이이다)
Figure pat00014
은 깊이 이미지의 좌표점을 원점을 중심으로 옮기는 것으로 Z거리가 1인 정규 이미지 평면에서 좌표
Figure pat00015
로 변경되는 것을 의미한다. 따라서, 실제 객체와의 거리 Z를 반영하면 수학식(2)와 같이 x와 y로 구성된 2차원 좌표점은 X, Y, Z로 구성된 3차원 좌표점으로 변환된다.
깊이 이미지의 2차원 좌표계에서 원점은 깊이 이미지의 좌측 상단에 위치하지만, 3차원 좌표계에서의 원점은 깊이 이미지의 중앙에 위치하기 때문에 깊이 이미지 중앙의 좌표점의 x와 y 값만큼 이동시켜 원점의 위치를 변경하는 것이다. 정수리점과 발 끝점의 3차원 좌표점들은 아래 수학식(3)과 수학식(4)에서 처럼 각각 (X h , Y h , Z h )와 (X f , Y f , Z f )로 구해질 수 있다. 이는 깊이 이미지의 2차원 좌표점에서의 정수리점과 발 끝점에 대한 좌표 (xh, yh)와 (xf, yf)들을 수학식 (2)에 대입하여 구해진다.
Figure pat00016
.....................................수학식(3)
Figure pat00017
...............................수학식(4)
(여기서 dh와 df는 머리 정수리 점과 발끝 점의 깊이 값들이다)
사람의 신장은 정수리와 서있는 지면에서의 3차원 좌표점들 간의 유클리드 거리로 추정될 수 있다. 즉, 아래 수학식(5)에 변환된 3차원 좌표점들을 이용하여 신장을 추정할 수 있다.
Figure pat00018
..........................수학식(5)
수학식(5)에서 단위는 깊이 이미지를 구성하는 화소의 단위를 따른다. 만약 깊이 이미지의 화소가 [mm] 단위로 저장된다면, 신장의 단위도 [mm] 단위가 된다.
또한, 수학식(5)를 통해 추정된 신장은 오차가 발생될 수 있다. 오차를 발생시키는 원인은 다양하지만 대체적으로 dh의 잡음이 그 원인이다(깊이 영상에서 발생하는 거리 잡음). 신체 영역(HBR)의 정수리로 검출된 제1 상부 수평화소열(PH_H1)의 화소는 사람의 머리카락이 존재하는 영역으로 해당 영역에서 깊이 잡음이 크게 나타난다.
일반적으로 머리카락은 다수개가 밀집되어 있고 각각이 불규칙한 패턴을 이루고 있기 때문에 깊이 영상 센서가 거리 측정을 위해 조사하는 적외선이 머리카락 영역에서 난반사되기 쉽다.
따라서 dh는 머리카락 영역이 아닌 정수리점의 깊이 값으로 보정되는 것이 바람직하다. 만약 정수리점이 안정적인 깊이 값을 가진다면 이웃한 화소들의 깊이 값과의 유사도가 클 것이다.
이웃한 화소와의 유사도는 수학식(6)에서와 같이 중앙 화소와 좌측, 우측, 하단으로 r 화소 내에 위치한 화소들의 분산도(
Figure pat00019
)를 계산함으로써 구할 수 있다. 따라서, r은 임의의 자연수로 설정될 수 있다. CPA는 유사도 계산을 위한 검출 화소영역(BC) 내의 화소 영역을 나타낸다.
Figure pat00020
................수학식(6)
계산된 분산도(
Figure pat00021
)의
Figure pat00022
가 임계값(
Figure pat00023
)보다 작은 값을 가진다면, 제1 상부 수평화소열(PH_H1)에서 선택된 제1화소(FP: First Pixel)의 깊이 값은 인접한 화소들과 유사한 안정적인 것으로 간주될 수 있다. 따라서, 선택된 제1화소(FP)를 정수리 화소(xh, yh)로 선택하고, 수학식(5)에 기초한 신장 추정값을 계산한다.
하지만, 계산된 분산도(
Figure pat00024
)의
Figure pat00025
가 임계값(
Figure pat00026
)보다 큰 값을 가진다면 선택된 화소의 수평화소열에 배치된 화소들과의 유사도가 작다는 것을 의미하기 때문에 제1 상부 수평화소열(PH_H1)의 바로 아래 수평화소열인 제2 상부 수평화소열(PH_H2)에서 정수리 화소를 제2화소(SP: Second Pixel)로 선택한다. 이때, 정수리 화소(제2화소(SP))의 선택은 전술한 제1 상부 수평화소열(PH_H1)에서 정수리 화소를 선택하는 방식과 동일하다. 또한, 제2 상부 수평화소열(PH_H2)에서 선택(검출)된 정수리 화소(SP에 대해서도 유사도 검사를 진행한 후,
Figure pat00027
가
Figure pat00028
보다 작은 값을 가진다면 해당 정수리 화소(제2화소(SP))를 정수리점으로 선택한다. 반대로
Figure pat00029
가
Figure pat00030
보다 큰 값을 갖는다면, 제2 상부 수평화소열(PH_H2)의 바로 아래 수평화소열에서 정수리 화소를 제3화소(Third Pixel)로 선택하는 과정을 반복한다.
수학식(6)의 r은 깊이 영상 센서와 객체(사람) 사이의 거리에 따라 달라져야 한다. 깊이 영상에서 한 객체의 폭은 거리가 멀수록 줄어들기 때문에 그 관계는 수학식(7)로 표현된다.
Figure pat00031
...............................수학식(7)
여기서 P1와 P2는 해당 객체의 깊이가 각각 d1와 d2일 때의 폭이다. 따라서 깊이 영상 센서와 객체 사이의 거리에 따른 r은 아래 수학식(8)에 의해 계산될 수 있다.
Figure pat00032
........................수학식(8)
여기서 r0은 거리가 d0일 때의 r이다. 여기서 r0/d0은 일종의 파라미터(parameter)이다. r0/d0을 γ로 표기하면 수학식(6)은 아래 수학식(9)와 같이 표현될 수 있다.
Figure pat00033
.....................수학식(9)
또한, 추정된 신장은 깊이 영상의 일시적인 잡음으로 인해서도 오차가 발생될 수 있다. 해당 측정 오차는 일시적으로 발생되는 오차이기 때문에 평균값을 계산하는 방식으로 보정을 진행할 수 있다. 일시적인 깊이 영상 내 잡음으로 인한 추정된 신장에 대한 오차를 보정하기 위해 실시간으로 측정되는 신장의 길이를 누적 평균을 통해 아래 수학식(10)과 같이 보정될 수 있다. 즉, 깊이 영상을 구성하는 복수의 깊이 이미지 프레임들에 대해 각각 전술한 3차원 좌표변환과 유사도 검사를 통해 신장을 추정한 다음, n개의 깊이 이미지 프레임들에 대한 추정된 신장의 평균값을 계산하여 보정을 진행할 수 있다.
즉, 전술한 신장 추정은 깊이 영상을 구성하는 복수의 깊이 이미지 프레임 각각에 대해 실행되고, 복수의 깊이 이미지 프레임 중 임의의 n번째 깊이 이미지 프레임은 첫번째 깊이 이미지 프레임에서 n번째 깊이 이미지 프레임에 각각 계산된 n개의 추정 신장(값)의 누적 평균값으로 보정된다.
추정된 신장에 대한 n번째 깊이 이미지 프레임들까지의 평균값은 아래 수학식(10)에 의해 보정된다.
Figure pat00034
....................수학식(10)
여기서 H(n)과
Figure pat00035
은 각각 n번째 깊이 이미지 프레임에서 예측된 높이와 보정된 높이이다.
도 9를 참조하면, 실시예1_a는 사람의 신장이 182cm, 실시예1_b는 사람의 신장이 176cm, 실시예1_c는 사람의 신장이 171cm인 경우를 나타낸 것이다. 즉, 실시예1_a, 실시예2_b, 실시예_c는 전술한 추정된 신장에 대해 평균값 보정을 하지 않고 각각의 깊이 이미지 프레임에서의 신장을 추정한 경우를 나타낸 것이다. 만약, 일시적인 깊이 이미지 잡음에 의해 오차가 발생하지 않는 경우라면 점선으로 표시된 각각의 깊이 이미지 프레임에서 구한 추정 신장은 182cm, 176cm, 171cm에서 적은 편차를 각각 나타낼 것이다. 따라서, 도 9는 일시적으로 깊이 이미지 잡음이 크게 발생한 경우를 가정한 것이기 때문에 깊이 이미지 잡음이 발생하지 않거나 기준치 이하로 발생한 경우에는 추정 신장은 구하고자 하는 사람의 신장에 수렴한다. 다만, 도 9에서는 평균값 보정을 설명하기 위해 깊이 이미지 잡음의 발생을 전제한다.
실시예2_a, 실시예2_b, 실시예2_c는 실시예1_a, 실시예2_b, 실시예_c에 의해 추정된 신장에 깊이 이미지 잡음이 발생하여 실제 사람의 신장과 추정 신장의 편차가 크게 발생하였으나, 수학식(10)에 의한 평균값 보정에 의해 실선과 같이 편차를 감소시킨 경우를 나타낸다.
복수의 깊이 이미지 프레임(여기서 50개 정도의 깊이 이미지 프레임)에 대한 누적 평균값에 의해 각각의 깊이 이미지 프레임들 사이에서 발생하던 편차는 181cm와 182cm 사이에서 수렴하면서 편차가 줄어든 것을 볼 수 있다.
도 10 및 도 11을 참조하면, 본 발명의 실시예2와 같이 추정된 신장에 평균값 보정을 진행한 경우 깊이 영상 센서와 객체(사람) 사이의 거리에 따라 실제 사람의 신장과의 편차가 줄어든 것을 볼 수 있다. 일반적으로 깊이 영상 센서(카메라)와 객체 사이의 거리가 클 수록 오차 범위가 커지는데, 본 발명의 실시예2를 적용할 경우 카메라와 객체 사이의 거리가 3.5m가 될 때까지는 거의 추정된 신장은 실제 신장과 편차가 작은 것을 볼 수 있다.
또한, 본 발명의 실시예2를 적용할 경우 깊이 영상 내의 사람이 보행 중 측면 방향에 위치해 있거나 카메라 방향으로 보행하고 있거나 이동 없이 서있는 경우를 보면 깊이 이미지 프레임들의 개수가 증가할 수록 실제 사람의 신장(182cm, 176cm, 171cm)과의 편차가 줄어드는 것을 볼 수 있다.
이와 같이, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상과 깊이 영상을 획득하고 선택적으로 사람의 신체 영역을 검출하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상을 사용할 수 없는 환경에서는 깊이 영상으로부터 신체 영역을 검출한 후, 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점을 3차원 좌표점으로 변환하여 사람의 신장을 보다 정밀하게 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점에 대한 유사도에 기초하여 보다 정확한 정수리점과 발 끝점을 선택하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상을 구성하는 각각의 깊이 이미지 프레임들에 대해 신체 영역 검출 및 검출된 신체 영역에 대한 신장을 추정한 후, 이들 신장 추정값들의 평균값을 계산하여 보다 정확한 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 촬영된 영상 내의 사람의 방향에 따라 신체 영역을 검출한 후, 신장을 추정할 수 있는 효과가 있다.
도 12는 본 발명의 색상과 깊이 영상을 이용한 신장 추정방법을 나타낸 도면이다. 도 13은 본 발명의 다른 실시예에 따른 신장 추정방법을 나타낸 도면이다.
도 12를 참조하면, 본 발명의 색상과 깊이 영상을 이용한 신장 추정방법(추정방법에 대한 제1실시예)은, 컬러 영상 센서와 깊이 영상 센서를 포함하는 영상 촬영부로부터 컬러 영상과 깊이 영상을 제공받는 단계(S1201); 신장 추정 시스템(100)의 모드 선택부(120)에서 제1 모드(컬러 영상 모드) 또는 제2 모드(깊이 영상 모드)를 선택하는 단계(S1202); 제2 모드가 선택된 경우, 깊이 영상으로부터 신체 영역을 검출하는 단계(S1203); 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하는 단계(S1204); 검출된 정수리 화소와 발끝 화소를 3차원 좌표점으로 변환하는 단계(S1205); 변환된 3차원 좌표점들(정수리점과 발끝점)에 대해 유사도 검사를 진행하는 단계(S1206); 계산된 분산도(
Figure pat00036
)의
Figure pat00037
가 임계값(
Figure pat00038
)보다 작은 값을 갖는지를 판단하는 단계(S1207); 계산된 분산도(
Figure pat00039
)의
Figure pat00040
가 임계값(
Figure pat00041
)보다 작은 값을 갖는 경우, 변환된 3차원 좌표점들과 대응되는 정수리 화소와 발끝 화소의 좌표점(2차원 좌표점 또는 3차원 좌표점)을 이용하여 신장을 추정하는 단계를 포함한다.
여기서, 보다 구체적인 내용은 전술한 수학식(1) 내지 수학식(10)의 설명에 따라 진행된다.
또한, 계산된 분산도(
Figure pat00042
)의
Figure pat00043
가 임계값(
Figure pat00044
)보다 큰 값을 갖는 경우, 변환된 3차원 좌표점들과 대응되는 검출된 화소들을 폐기하고 깊이 이미지 프레임으로부터 검출된 신체 영역의 다른 화소를 새로운 정수리 화소와 발끝 화소로 검출하는 단계(S1209); 새로운 정수리 화소와 발끝 화소에 대해 3차원 좌표점으로 변환하는 단계(S1205); 변환된 3차원 좌표점들에 대해 유사도 검사를 진행하는 단계(S1206); 새로운 정수리 화소와 발끝 화소의 계산된 분산도(
Figure pat00045
)의
Figure pat00046
가 임계값(
Figure pat00047
)보다 작은 값을 갖는지를 판단하는 단계(S1207); 새로운 정수리 화소와 발끝 화소의 계산된 분산도(
Figure pat00048
)의
Figure pat00049
가 임계값(
Figure pat00050
)보다 작은 값을 갖는 경우, 변환된 3차원 좌표점들과 대응되는 정수리 화소와 발끝 화소의 좌표점(2차원 좌표점 또는 3차원 좌표점)을 이용하여 신장을 추정하는 단계(S1208)를 포함한다.
또한, 신장 추정 시스템(100)의 모드 선택부(120)에서 제2 모드가 선택된 경우, 컬러 영상으로부터 신체 영역 및 신체 영역의 특정 영역을 검출하는 단계(S1210); 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하고 전술한 S1205, S1206, S107, S1208 및 S1209 단계를 진행하는 것을 포함한다. 여기서 컬러 영상 모드에 따른 신장 추정을 진행하는 경우에는 깊이 이미지 프레임은 컬러 이미지 프레임을 의미한다.
도 13은 도 12와 다른 신장 추정방법(추정방법에 대한 제2실시예)을 나타낸다. 본 발명의 제2실시예에 따른 색상과 깊이 영상을 이용한 신장 추정방법은, 컬러 영상 센서와 깊이 영상 센서를 포함하는 영상 촬영부로부터 컬러 영상과 깊이 영상을 제공받는 단계(S1301); 신장 추정 시스템(100)의 모드 선택부(120)에서 제1 모드(컬러 영상 모드) 또는 제2 모드(깊이 영상 모드)를 선택하는 단계(S1302); 제2 모드가 선택된 경우, 깊이 영상으로부터 신체 영역을 검출하는 단계(S1303); 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하는 단계(S1304); 검출된 정수리 화소와 발끝 화소를 3차원 좌표점으로 변환하는 단계(S1305); 변환된 3차원 좌표점들(정수리점과 발끝점)에 대해 유사도 검사를 진행하는 단계(S1306); 계산된 분산도(
Figure pat00051
)의
Figure pat00052
가 임계값(
Figure pat00053
)보다 작은 값을 갖는지를 판단하는 단계(S1307); 계산된 분산도(
Figure pat00054
)의
Figure pat00055
가 임계값(
Figure pat00056
)보다 작은 값을 갖는 경우, 변환된 3차원 좌표점들과 대응되는 정수리 화소와 발끝 화소의 좌표점(2차원 좌표점 또는 3차원 좌표점)을 이용하여 신장을 추정하는 단계(S1308); n번째 깊이 이미지 프레임(또는 컬러 이미지 프레임)에 대해 n개의 추정된 신장들에 대한 누적 평균값을 계산하는 단계(S1311); n번째 깊이 이미지 프레임(또는 컬러 이미지 프레임)에 대해 계산된 누적 평균값으로 추정된 신장을 보정하는 단계(S1312)를 포함한다.
또한, 계산된 분산도(
Figure pat00057
)의
Figure pat00058
가 임계값(
Figure pat00059
)보다 큰 값을 갖는 경우, 변환된 3차원 좌표점들과 대응되는 검출된 화소들을 폐기하고 깊이 이미지 프레임으로부터 검출된 신체 영역의 다른 화소를 새로운 정수리 화소와 발끝 화소로 검출하는 단계(S1309); 새로운 정수리 화소와 발끝 화소에 대해 3차원 좌표점으로 변환하는 단계(S1305); 변환된 3차원 좌표점들에 대해 유사도 검사를 진행하는 단계(S1306); 새로운 정수리 화소와 발끝 화소의 계산된 분산도(
Figure pat00060
)의
Figure pat00061
가 임계값(
Figure pat00062
)보다 작은 값을 갖는지를 판단하는 단계(S1307); 새로운 정수리 화소와 발끝 화소의 계산된 분산도(
Figure pat00063
)의
Figure pat00064
가 임계값(
Figure pat00065
)보다 작은 값을 갖는 경우, 변환된 3차원 좌표점들과 대응되는 정수리 화소와 발끝 화소의 좌표점(2차원 좌표점 또는 3차원 좌표점)을 이용하여 신장을 추정하는 단계(S1308)를 포함한다.
또한, 신장 추정 시스템(100)의 모드 선택부(120)에서 제2 모드가 선택된 경우, 컬러 영상으로부터 신체 영역 및 신체 영역의 특정 영역을 검출하는 단계(S1310); 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하고 전술한 S1305, S1306, S1307, S1308, S1309, S1311 및 S1312 단계를 진행하는 것을 포함한다. 여기서 컬러 영상 모드에 따른 신장 추정을 진행하는 경우에는 깊이 이미지 프레임은 컬러 이미지 프레임을 의미한다.
이와 같이, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상과 깊이 영상을 획득하고 선택적으로 사람의 신체 영역을 검출하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 컬러 영상을 사용할 수 없는 환경에서는 깊이 영상으로부터 신체 영역을 검출한 후, 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점을 3차원 좌표점으로 변환하여 사람의 신장을 보다 정밀하게 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상으로부터 신체 영역을 검출하고, 신체 영역의 정수리점과 발 끝점에 대한 유사도에 기초하여 보다 정확한 정수리점과 발 끝점을 선택하여 사람의 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 깊이 영상을 구성하는 각각의 깊이 이미지 프레임들에 대해 신체 영역 검출 및 검출된 신체 영역에 대한 신장을 추정한 후, 이들 신장 추정값들의 평균값을 계산하여 보다 정확한 신장을 추정할 수 있는 효과가 있다.
또한, 본 발명의 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법은 촬영된 영상 내의 사람의 방향에 따라 신체 영역을 검출한 후, 신장을 추정할 수 있는 효과가 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
100: 신장 추정 시스템
110: 영상 촬영부
120: 모드 선택부
130: 저장부
140: 제1 검출부
150: 제2 검출부
160: 신장 추정 장치
160a: 3차원 변환부
160b: 신장 계산부
160c: 신장 추정부
170: 표시부

Claims (10)

  1. 컬러 영상과 깊이 영상을 제공하는 영상 촬영부;
    상기 영상 촬영부로부터 제공되는 컬러 영상과 깊이 영상을 선택하는 모드 선택부;
    상기 모드 선택부에 의해 제1 모드가 선택된 경우 컬러 영상으로부터 사람의 신체 영역을 검출하는 제1 검출부;
    상기 모드 선택부에 의해 제2 모드가 선택된 경우 깊이 영상으로부터 사람의 신체 영역을 검출하는 제2 검출부;
    상기 제1 검출부 또는 제2 검출부로부터 검출된 신체 영역이 포함된 영상으로부터 사람의 신장을 추정하는 신장 추정 장치를 포함하고,
    상기 신장 추정 장치는,
    상기 제2 검출부로부터 제공되는 검출된 신체 영역으로부터 사람의 머리 영역과 발끝 영역에 각각 대응되는 정수리 화소와 발끝 화소를 선택하고, 선택된 화소들에 대해 3차원 좌표점들로 변환하는 3차원 변환부;
    상기 3차원 변환부에서 제공된 3차원 좌표점들에 기초하여 상기 선택된 화소와 이와 이웃하는 화소와의 유사도 검사를 진행하고, 유사하다고 판단되는 경우 상기 선택된 화소들을 이용하여 신장을 계산하는 신장 계산부; 및
    상기 신장 계산부에서 계산된 신장을 기초로 깊이 영상 내의 사람의 신장을 추정하는 신장 추정부를 포함하는
    신장 추정 시스템.
  2. 제1항에 있어서,
    상기 신장 추정 장치의 신장 계산부는,
    상기 신장 추정부에서 추정한 신장에 기초하여 상기 깊이 영상을 구성하는 복수의 깊이 이미지 프레임들 중 n번째 깊이 이미지 프레임에 대하여 n개의 추정된 신장들에 대한 누적 평균값을 계산한 후, 계산된 누적 평균값으로 n번째 깊이 이미지 프레임에 대한 추정된 신장을 보정하는
    신장 추정 시스템.
  3. 영상 촬영부;
    상기 영상 촬영부로부터 제공되는 컬러 영상과 깊이 영상을 선택하는 모드 선택부;
    상기 모드 선택부에 의해 제1 모드가 선택된 경우 컬러 영상으로부터 사람의 신체 영역을 검출하는 제1 검출부;
    상기 모드 선택부에 의해 제2 모드가 선택된 경우 깊이 영상으로부터 사람의 신체 영역을 검출하는 제2 검출부; 및
    상기 제1 검출부 또는 제2 검출부로부터 검출된 신체 영역이 포함된 영상으로부터 사람의 신장을 추정하는 신장 추정 장치를 포함하는 신장 추정 시스템을 이용한 신장 추정방법에 있어서,
    컬러 영상과 깊이 영상을 제공받는 단계;
    신장 추정을 위해 사용할 영상이 컬러 영상인 경우에는 제1모드, 깊이 영상인 경우에는 제2모드로 구분되고, 제1 및 제2 모드 중 어느 하나의 모드를 선택하는 단계;
    상기 제2 모드를 선택한 경우, 상기 깊이 영상으로부터 신체 영역을 검출하는 단계;
    상기 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하는 단계;
    상기 검출된 정수리 화소와 발끝 화소를 3차원 좌표점으로 변환하는 단계;
    상기 변환된 3차원 좌표점들에 대해 화소 유사도를 검사하는 단계;
    상기 변환된 3차원 좌표점들에 대해 화소 유사도가 있는 것으로 판단된 경우,
    상기 변환된 3차원 좌표점들을 이용하여 두 좌표점 사이의 길이를 계산하는 단계; 및
    상기 계산된 길이를 깊이 영상이 사람의 신장으로 추정하는 단계를 포함하는
    신장 추정방법.
  4. 제3항에 있어서,
    상기 깊이 영상으로부터 신체 영역을 검출하는 단계는,
    상기 깊이 영상을 구성하는 깊이 이미지의 화소들에 대해 수학식(1)에 따라 이진화 변환을 진행하여 이진화 이미지를 생성하는 단계를 포함하는
    Figure pat00066
    ..............수학식(1)
    (여기서 db(x,y)와 d(x,y)는 각각 배경 깊이 이미지와 깊이 영상의 이미지의 화소 위치에서의 깊이 값이고, Tb는 이진화 임계값이다.)
    신장 추정방법.
  5. 제4항에 있어서,
    상기 검출된 신체 영역의 정수리 화소와 발끝 화소를 검출하는 단계는,
    상기 이진화 이미지에서 검출된 신체 영역에 대해 사람의 머리 영역과 대응되는 정수리 화소와 사람의 발 영역과 대응되는 발끝 화소를 검출하는
    신장 추정방법.
  6. 제4항에 있어서,
    상기 검출된 정수리 화소와 발끝 화소를 3차원 좌표점으로 변환하는 단계는,
    상기 정수리 화소와 발끝 화소에 대응되는 2차원 좌표점을 각각 P(x_h, y_h)와 P(x_f, y_f)라 할 때, 수학식(2)에 의해 3차원 좌표점들로 변환하는
    Figure pat00067
    ..................수학식(2)
    (여기서, f는 깊이 카메라의 초점 거리이며, W와 H는 깊이 화면의 폭과 높이이다)
    신장 추정방법.
  7. 제6항에 있어서,
    상기 변환된 3차원 좌표점들에 대해 화소 유사도를 검사하는 단계는,
    상기 검출된 정수리 화소를 중심으로 좌측, 우측 및 하단 방향으로 r 화소 내에 위치한 화소들에 대한 아래 수학식(6)에 의해 분산도(
    Figure pat00068
    )를 계산하고, 계산된 분산도(
    Figure pat00069
    )의
    Figure pat00070
    가 기 설정된 임계값(
    Figure pat00071
    )보다 작은 값을 가지면 정수리 화소와 이웃하는 화소들은 유사하다고 판단하는
    Figure pat00072
    ................수학식(6)
    신장 추정방법.
  8. 제7항에 있어서,
    상기 계산된 분산도(
    Figure pat00073
    )의
    Figure pat00074
    가 기 설정된 임계값(
    Figure pat00075
    )보다 큰 경우에는 정수리 화소와 이웃하는 화소들은 유사하지 않다고 판단하여 검출된 정수리 화소를 폐기하고 상기 이진화 이미지의 검출된 신체 영역에서 새로운 정수리 화소를 선택하는
    신장 추정방법.
  9. 제7항에 있어서,
    상기 정수리 화소와 이웃하는 화소들은 유사하다고 판단하는 경우에는 상기 변환된 3차원 좌표점들을 이용하여 아래 수학식(5)에 의해 깊이 영상 내의 사람에 대한 추정 신장을 계산하는
    Figure pat00076
    ..........................수학식(5)
    신장 추정방법.
  10. 제9항에 있어서,
    상기 깊이 영상을 구성하는 복수의 깊이 이미지 프레임들에 대해 각각의 추정 신장을 계산하고, n번째 깊이 이미지 프레임에 대해 n개의 추정 신장들에 대한 누적 평균값을 계산하여 상기 n번째 깊이 이미지 프레임에 대한 추정 신장을 계산된 누적 평균값으로 보정하는
    신장 추정방법.
KR1020210009656A 2021-01-22 2021-01-22 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법 Active KR102538116B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210009656A KR102538116B1 (ko) 2021-01-22 2021-01-22 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210009656A KR102538116B1 (ko) 2021-01-22 2021-01-22 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법

Publications (2)

Publication Number Publication Date
KR20220106576A true KR20220106576A (ko) 2022-07-29
KR102538116B1 KR102538116B1 (ko) 2023-05-26

Family

ID=82606590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009656A Active KR102538116B1 (ko) 2021-01-22 2021-01-22 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법

Country Status (1)

Country Link
KR (1) KR102538116B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116831560A (zh) * 2023-05-12 2023-10-03 青岛大学 一种基于骨骼关键点识别的人体身高检测方法
KR20240081641A (ko) * 2022-11-30 2024-06-10 인하대학교 산학협력단 인물 인식을 이용하여 성장 일기를 생성하는 방법 및 시스템
CN119632542A (zh) * 2024-11-25 2025-03-18 佛山市顺德区昌兴健康管理有限公司 一种自适应调整高精度身体特征测量系统
CN120431157A (zh) * 2025-07-07 2025-08-05 杭州云栖智慧视通科技有限公司 无参照物下基于视频分析的行人身高估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323572A (ja) * 2006-06-05 2007-12-13 Nec Corp 物体検出装置、物体検出方法および物体検出プログラム
KR20150081773A (ko) * 2014-01-07 2015-07-15 디노플러스 (주) 인체 관절 정보를 이용한 신장 측정장치 및 그 방법
KR101878095B1 (ko) 2017-02-07 2018-07-12 동의대학교 산학협력단 전방의 깊이 영상을 이용한 사람의 키 추정 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323572A (ja) * 2006-06-05 2007-12-13 Nec Corp 物体検出装置、物体検出方法および物体検出プログラム
KR20150081773A (ko) * 2014-01-07 2015-07-15 디노플러스 (주) 인체 관절 정보를 이용한 신장 측정장치 및 그 방법
KR101878095B1 (ko) 2017-02-07 2018-07-12 동의대학교 산학협력단 전방의 깊이 영상을 이용한 사람의 키 추정 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240081641A (ko) * 2022-11-30 2024-06-10 인하대학교 산학협력단 인물 인식을 이용하여 성장 일기를 생성하는 방법 및 시스템
CN116831560A (zh) * 2023-05-12 2023-10-03 青岛大学 一种基于骨骼关键点识别的人体身高检测方法
CN119632542A (zh) * 2024-11-25 2025-03-18 佛山市顺德区昌兴健康管理有限公司 一种自适应调整高精度身体特征测量系统
CN120431157A (zh) * 2025-07-07 2025-08-05 杭州云栖智慧视通科技有限公司 无参照物下基于视频分析的行人身高估计方法

Also Published As

Publication number Publication date
KR102538116B1 (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
KR102538116B1 (ko) 색상과 깊이 영상을 이용한 신장 추정 시스템 및 그 추정방법
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
US10573018B2 (en) Three dimensional scene reconstruction based on contextual analysis
Weinzaepfel et al. Learning to detect motion boundaries
US9245344B2 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
EP3300022B1 (en) Image processing apparatus, image processing method, and program
KR102214934B1 (ko) 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
JP6276519B2 (ja) 人数計測装置および人物動線解析装置
JP6554169B2 (ja) 物体認識装置及び物体認識システム
US8805065B2 (en) Image processing apparatus and image processing method
US9727974B2 (en) System for video super resolution using semantic components
US20160253579A1 (en) Image processing apparatus, image processing method, and storage medium
EP3503030A1 (en) Method and apparatus for generating a three-dimensional model
JP7159384B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20220024494A (ko) 사람의 단안 깊이 추정을 위한 방법 및 시스템
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
EP2977932B1 (en) Image processing apparatus, image processing method and image processing program
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
KR20160037643A (ko) 객체 인식을 위한 객체 후보영역 설정방법 및 장치
KR20170081808A (ko) 깊이 영상에서의 객체 검출 시스템 및 방법
US20160035107A1 (en) Moving object detection
US10593044B2 (en) Information processing apparatus, information processing method, and storage medium
CN117078735B (zh) 身高检测方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4