KR20170086024A - 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20170086024A
KR20170086024A KR1020177011026A KR20177011026A KR20170086024A KR 20170086024 A KR20170086024 A KR 20170086024A KR 1020177011026 A KR1020177011026 A KR 1020177011026A KR 20177011026 A KR20177011026 A KR 20177011026A KR 20170086024 A KR20170086024 A KR 20170086024A
Authority
KR
South Korea
Prior art keywords
image
skin
user
measurement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020177011026A
Other languages
English (en)
Inventor
나츠키 키무라
아키코 시미즈
유이치 카게야마
유스케 나카무라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20170086024A publication Critical patent/KR20170086024A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 기술은, 피부상태의 정점(定点) 관측을 용이하게 행할 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다. 본 기술의 한 측면의 정보 처리 장치는, 피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하고, 화상을 해석하고, 특징점의 위치를 인식한다. 또한, 인식한 특징점의 위치를 기준으로 하여, 화상상의 소정의 위치에 측정 부분을 나타내는 정보를 표시시킨다. 본 기술은, 태블릿 단말, 스마트 폰, 퍼스널 컴퓨터 등의 정보 처리 장치에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법, 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 기술은, 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것으로, 특히, 피부(肌) 상태의 정점(定点) 관측을 용이하게 행할 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다.
피부를 촬영함에 의해 얻어진 피부화상을 해석하고, 피부상태를 측정하는 기술이 있다. 측정을 행하는 자는, 촬상 소자를 탑재한 측정기를 피측정자의 얼굴 등에 맞대어, 측정 부분의 촬영을 행하게 된다.
특허 문헌 1 : 일본국 특개2012-239768호 공보
유저가 자신의 피부를 촬영하고, 혼자서 피부상태를 측정할 수 있으면 편리하다. 혼자서 측정할 수 있으면, 유저는, 매일의 피부상태의 변화를 관측한다는 것을 부담 없이 행할 수 있다.
피부상태의 변화를 관측하기 위해서는 같은 부분을 반복해서 촬영할 필요가 있지만, 그 부분을 정확하게 기억하여 두기가 어렵다.
본 기술은 이와 같은 상황을 감안하여 이루어진 것으로, 피부상태의 정점 관측을 용이하게 행할 수 있도록 하는 것이다.
본 기술의 한 측면의 정보 처리 장치는, 피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하는 취득부와, 상기 화상을 해석하고, 상기 특징점의 위치를 인식하는 인식부와, 상기 인식부에 의해 인식된 상기 특징점의 위치를 기준으로 하여, 상기 화상상의 소정의 위치에 상기 측정 부분을 나타내는 정보를 표시시키는 표시 제어부를 구비한다.
상기 화상을 촬영하는 촬영부를 또한 마련할 수 있다. 이 경우, 상기 취득부에는, 상기 촬영부에 의해 촬영된 상기 화상을 취득시킬 수 있다.
상기 화상과 상기 측정 부분을 나타내는 정보를 표시하는 표시부를 또한 마련할 수 있다.
상기 측정 부분의 설정시에 촬영된 상기 화상을 해석함에 의해 상기 인식부에 의해 인식된 상기 특징점의 위치를 기준으로 하여, 상기 소정의 위치에 상기 측정 부분을 설정하는 설정부를 또한 마련할 수 있다.
상기 측정 부분의 설정시에 촬영된 상기 화상상에서 상기 유저에 의해 지정된 위치에 상기 측정 부분을 설정하는 설정부를 또한 마련할 수 있다.
상기 측정 부분의 설정시의 상기 정보 처리 장치의 각도(角度)를 검출하는 검출부를 또한 마련할 수 있다.
상기 표시 제어부에는, 상기 정보 처리 장치의 각도를, 상기 검출부에 의해 검출된 각도와 같은 각도로 조정할 것을 안내하는 정보를 표시시킬 수 있다.
상기 표시 제어부에는, 상기 화상상의, 상기 측정 부분의 설정시에 촬영된 상기 화상을 해석함에 의해 상기 인식부에 의해 인식된 상기 특징점의 위치와 같은 위치에, 상기 특징점을 나타내는 정보를 표시시킬 수 있다.
상기 표시 제어부에는, 상기 특징점의 위치가 변화하는 것에 응하여, 상기 측정 부분을 나타내는 정보의 표시 위치를 변화시킬 수 있다.
상기 취득부에는, 상기 측정 부분의 피부를 촬영하여 얻어진 피부화상을 취득시키고, 상기 표시 제어부에는, 상기 피부화상과, 상기 유저가 찍히는 상기 화상을 동시에 표시시킬 수 있다.
상기 피부화상을 해석하고, 상기 측정 부분의 피부상태를 측정하는 해석부와, 상기 해석부에 의한 측정의 결과를 나타내는 정보를 기록하는 기록부를 또한 마련할 수 있다.
상기 표시 제어부에는, 상기 기록부에 기록된 복수회의 측정의 결과를 나타내는 정보에 의거하여, 상기 측정 부분의 피부상태의 변화를 나타내는 정보를 표시시킬 수 있다.
본 기술의 한 측면에서는, 피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상이 취득된다. 또한, 상기 화상이 해석되고, 상기 특징점의 위치가 인식되고, 인식된 상기 특징점의 위치를 기준으로 하여 표시되는 상기 화상상의 위치에, 상기 측정 부분을 나타내는 정보가 표시된다.
본 기술에 의하면, 유저는, 피부상태의 정점 관측을 용이하게 행할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 본 기술을 적용한 피부상태 측정 시스템의 구성례를 도시하는 도면.
도 2는 피부 측정기의 외관을 도시하는 도면.
도 3은 피부 측정기의 사용례를 도시하는 도면.
도 4는 피부 측정기의 구성례를 도시하는 블록도.
도 5는 정보 처리 장치의 하드웨어 구성례를 도시하는 블록도.
도 6은 정보 처리 장치의 기능 구성례를 도시하는 블록도.
도 7은 초기 설정 처리에 관해 설명하는 플로우 차트.
도 8은 얼굴 방향의 안내 화면의 예를 도시하는 도면.
도 9는 정점 관측 포인트의 선택 화면의 예를 도시하는 도면.
도 10은 설정 정보의 예를 도시하는 도면.
도 11은 다른 초기 설정 처리에 관해 설명하는 플로우 차트.
도 12는 촬영의 안내 화면의 예를 도시하는 도면.
도 13은 특징점의 선택 화면의 예를 도시하는 도면.
도 14는 정점 관측 포인트의 설정 화면의 예를 도시하는 도면.
도 15는 측정 처리에 관해 설명하는 플로우 차트.
도 16은 각도의 조정 화면의 예를 도시하는 도면.
도 17은 얼굴위치의 조정 화면의 예를 도시하는 도면.
도 18은 얼굴위치의 조정 화면의 다른 예를 도시하는 도면.
도 19는 정점 관측 포인트의 안내 화면의 예를 도시하는 도면.
도 20은 정점 관측 포인트의 안내 화면의 다른 예를 도시하는 도면.
도 21은 표시 화면의 예를 도시하는 도면.
도 22는 표시 화면의 다른 예를 도시하는 도면.
도 23은 입가의 촬영 중의 표시 화면의 예를 도시하는 도면.
도 24는 이마의 촬영 중의 표시 화면의 예를 도시하는 도면.
도 25는 측정 결과의 예를 도시하는 도면.
도 26은 정점 관측 결과 표시 처리에 관해 설명하는 플로우 차트.
도 27은 정점 관측 결과의 표시 화면의 예를 도시하는 도면.
도 28은 비교 표시 처리에 관해 설명하는 플로우 차트.
도 29는 얼굴화상의 표시 화면의 예를 도시하는 도면.
도 30은 검색 처리에 관해 설명하는 플로우 차트.
도 31은 얼굴화상의 표시 화면의 예를 도시하는 도면.
도 32는 개선 방법 제시 처리에 관해 설명하는 플로우 차트.
도 33은 얼굴화상의 예를 도시하는 도면.
도 34는 평가 결과의 표시례를 도시하는 도면.
도 35는 평가 결과의 다른 표시례를 도시하는 도면.
도 36은 검색 처리에 관해 설명하는 플로우 차트.
도 37은 얼굴화상의 표시례를 도시하는 도면.
도 38은 인물 검색 처리에 관해 설명하는 플로우 차트.
도 39는 얼굴화상의 표시 화면의 예를 도시하는 도면.
도 40은 두발형의 합성 결과의 표시례를 도시하는 도면.
이하, 본 기술을 실시하기 위한 형태에 관해 설명한다. 설명은 이하의 순서로 행한다.
1. 피부상태 측정 시스템의 구성
2. 각 기기의 구성
3. 정보 처리 장치의 동작
4. 피부상태 정보를 이용한 분류의 예
5. 변형례
<1. 피부상태 측정 시스템의 구성>
도 1은, 본 기술을 적용한 피부상태 측정 시스템의 구성례를 도시하는 도면이다.
도 1의 피부상태 측정 시스템은, 정보 처리 장치(1)와 피부 측정기(2)로 구성된다. 정보 처리 장치(1)와 피부 측정기(2)는 무선 LAN(Local Area Network) 등의 무선 통신을 통하여 접속된다. 정보 처리 장치(1)와 피부 측정기(2)가, USB(Universal Serial Bus) 케이블 등을 이용한 유선의 통신을 통하여 접속되도록 하여도 좋다.
도 1의 피부상태 측정 시스템은, 유저가, 주로 혼자서, 자신의 피부상태를 측정하고, 측정 결과를 확인하기 위해 사용된다. 유저는, 피부상태의 측정자이고, 피측정자이기도 하다.
정보 처리 장치(1)는, 태블릿형의 단말이다. 정보 처리 장치(1)에는 LCD(Liquid Crystal Display) 등의 디스플레이(11)가 마련된다. 디스플레이(11)의 베젤 부분에는 카메라(12)가 마련된다. 디스플레이면과 같은 면에 카메라가 탑재되는, 스마트 폰, 퍼스널 컴퓨터 등의 다른 휴대 단말이 정보 처리 장치(1)로서 사용되도록 하여도 좋다.
정보 처리 장치(1)는, 피부 측정기(2)에 의해 촬영된 피부화상을 취득하고, 취득한 피부화상을 해석하여 유저의 피부상태를 측정한다. 피부화상은, 피부가 확대되어 찍히는 화상이다. 정보 처리 장치(1)는, 측정한 피부상태에 관한 정보를 디스플레이(11)에 표시하고, 유저에게 제시한다.
피부 측정기(2)는, 유저가 한 손으로 쥘 수 있을 정도의 크기의 전자 기기이다. 피부 측정기(2)에는, 촬상 소자, 체온(體溫) 센서 등의 각종의 센서가 마련된다.
도 2는, 피부 측정기(2)의 외관을 도시하는 도면이다.
도 2의 A에 도시하는 바와 같이, 피부 측정기(2)는, 측면시(側面視)에 있어서 개략 가로로 길다란 타원형의 몸체를 갖는다. 몸체의 우단(右端)의 정부(頂部)로부터 약간 어긋난 위치에는 평면이 형성되고, 이 평면에, 도 2의 B에 도시하는 바와 같이 개략 원형의 구멍부(21)가 형성된다. 피부 측정기(2)의 몸체의 구멍부(21)의 주위 이외는, 전체적으로 곡면에 의해 구성된다.
구멍부(21)의 속에는, 구멍부(21)의 밖을 향하여 광을 조사하는 발광부, 반사광을 받아서 촬영을 행하는 촬상 소자 등이 마련된다. 유저는, 자신의 피부상태를 측정할 때, 구멍부(21)를 측정 부분에 맞대서 촬영을 행하게 된다.
도 3은, 피부 측정기(2)의 사용례를 도시하는 도면이다.
도 3에 도시하는 바와 같이, 유저는, 테이블 등에 놓은 정보 처리 장치(1)를 앞에 두고 앉아서, 디스플레이(11)의 표시를 보면서, 피부 측정기(2)를 자신의 얼굴 등에 맞대어서 피부상태의 측정을 행한다. 이 경우, 정보 처리 장치(1)는, 테이블상의 크레이들 등에 설치된다. 유저는, 정보 처리 장치(1)를 한쪽의 손으로 쥐고, 피부 측정기(2)를 다른쪽의 손으로 쥐고서 피부상태의 측정을 행하는 것도 가능하다.
이와 같은 구성을 갖는 피부상태 측정 시스템을 이용함에 의해, 유저는, 피부상태의 정점 관측을 행할 수가 있다.
정보 처리 장치(1)는, 유저가 피부 측정기(2)를 사용하고 있을 때, 같은 부분을 촬영할 수 있도록 하기 위한 안내를 디스플레이(11)에 표시시킨다. 어느 부분에 생긴 기미(シミ)가 어떻게 변화하고 있는지라는 것 등을 관측하기 위해서는, 유저는, 정점 관측 포인트하여 설정한 부분을, 피부 측정기(2)를 사용하여 정기적으로 촬영할 필요가 있다.
예를 들면, 정보 처리 장치(1)는, 유저가 피부 측정기(2)를 사용하고 있을 때, 카메라(12)에 의해 유저의 얼굴을 촬영하고, 유저의 얼굴의 화상에 겹쳐서, 미리 설정된 정점 관측 포인트를 나타내는 정보를 표시시킨다. 유저는, 피부 측정기(2)를 쥔 손을 디스플레이(11)에 표시된 안내에 따라 움직임에 의해, 정점 관측 포인트의 촬영을 행할 수가 있다.
여기서, 정점 관측 포인트를 나타내는 정보를 얼굴의 화상에 겹쳐서 표시하기 위해서는, 정보 처리 장치(1)는, 유저의 눈, 코, 입 등의, 특징점이 되는 구성의 위치를 특정할 필요가 있다. 정점 관측 포인트의 위치는, 얼굴의 특징점의 위치를 기준으로 하여 표시된다.
또한, 얼굴의 특징점의 위치를 특정하여 매회 같은 위치에 정점 관측 포인트를 나타내는 정보를 표시하기 위해서는, 얼굴위치와 정보 처리 장치(1)의 위치가, 매회 같은 관계로 되어 있을 필요가 있다. 전회의 측정시와 금회의 측정시에서 유저의 얼굴 방향이 다른 경우, 정보 처리 장치(1)는, 기준이 되는 위치를 올바르게 인식할 수가 없고, 이에 의해, 정점 관측 포인트를 올바르게 표시할 수가 없다.
정보 처리 장치(1)는, 정점 관측 포인트를 나타내는 정보를 표시하기 전, 얼굴위치와 정보 처리 장치(1)의 위치와의 관계를 조정하기 위한 안내를 표시한다. 얼굴위치와 정보 처리 장치(1)의 위치와의 관계를 조정시키고 나서 유저의 얼굴을 촬영하고, 특징점의 위치를 특정함에 의해, 정보 처리 장치(1)는, 매회, 유저의 얼굴의 화상상의 같은 위치에 정점 관측 포인트를 나타내는 정보를 표시시키는 것이 가능해진다.
디스플레이(11)에 안내가 표시되기 때문에, 유저는, 자신의 얼굴위치와 정보 처리 장치(1)의 위치와의 관계가 매회 같은 관계가 되도록 용이하게 조정할 수 있다. 정보 처리 장치(1)는 휴대형의 장치이기 때문에, 얼굴위치와 정보 처리 장치(1)의 위치와의 관계를 고정시키는 것은 어렵지만, 유저는, 위치의 조정을 용이하게 행할 수 있다.
또한, 유저는, 디스플레이(11)에 표시된 안내에 따라 손을 움직임에 의해, 정점 관측 포인트로서 설정하여 둔 부분을 피부 측정기(2)로 올바르게 촬영할 수 있다. 유저는, 정점 관측 하려고 하는 부분을 기억하여 둘 필요가 없다.
유저에게 정점 관측을 행하게 하기 위한 정보 처리 장치(1)의 일련의 처리에 관해서는 플로우 차트를 참조하여 후술한다.
<2. 각 기기의 구성>
· 피부 측정기의 구성
도 4는, 피부 측정기(2)의 구성례를 도시하는 블록도이다.
피부 측정기(2)는, 발광부(31), 촬상 소자(32), 센서(33), 컨트롤러(34), 및 통신부(35)로 구성된다.
발광부(31)는, 피부화상의 촬영시, 피부를 향하여 가시광을 조사한다. 또한, 발광부(31)는, 멜라닌량의 측정 등에 사용되는 소정의 파장의 광을 조사한다.
촬상 소자(32)는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬상 소자이다. 촬상 소자(32)는, 발광부(31)가 조사한 광의 반사광을 검출하고, 광전 변환 등을 행한다. 촬상 소자(32)는, 광전 변환 등을 행함에 의해 얻어진 피부화상의 데이터를 컨트롤러(34)에 출력한다.
센서(33)는, 피부 온도를 측정하는 센서 등의 각종의 센서이다. 센서(33)는, 측정 결과를 나타내는 센서 데이터를 컨트롤러(34)에 출력한다.
컨트롤러(34)는, 통신부(35)를 통하여 정보 처리 장치(1)와 통신을 행하고, 정보 처리 장치(1)에 의한 제어에 따라 피부 측정기(2)의 각 부분을 제어한다. 컨트롤러(34)는, 촬상 소자(32)로부터 공급된 피부화상의 데이터와, 센서(33)로부터 공급된 센서 데이터를, 통신부(35)로부터 정보 처리 장치(1)에 송신한다.
통신부(35)는, 무선 LAN 등의 소정의 규격의 통신 모듈이다. 통신부(35)는, 정보 처리 장치(1)와 통신을 행한다. 통신부(35)는, 정보 처리 장치(1)로부터 송신되어 온 정보를 컨트롤러(34)에 출력하고, 컨트롤러(34)로부터 공급된 정보를 정보 처리 장치(1)에 송신한다.
·정보 처리 장치의 구성
도 5는, 정보 처리 장치(1)의 하드웨어 구성례를 도시하는 블록도이다. 상술한 구성과 같은 구성에는 같은 부호를 붙이고 있다. 중복되는 설명에 관해서는 적절히 생략한다.
CPU(Central Processing Unit)(51), ROM(Read Only Memory)(52), RAM(Random Access Memory)(53)은, 버스(54)에 의해 상호 접속된다.
버스(54)에는, 또한, 입출력 인터페이스(55)가 접속된다. 입출력 인터페이스(55)에는, 디스플레이(11), 카메라(12), 터치 패널(56), 메모리(57), 통신부(58), 각도 센서(59), 및 드라이브(60)가 접속된다.
터치 패널(56)은, 디스플레이(11)에 적층하여 마련된다. 터치 패널(56)은, 유저에 의한 조작을 검출하여, 조작의 내용을 나타내는 정보를 CPU(51)에 출력한다.
메모리(57)는, 플래시 메모리 등으로 구성된다. 메모리(57)는, 피부상태의 측정이 행하여질 때마다, 카메라(12)에 의해 촬영된 얼굴화상, 피부 측정기(2)에 의해 촬영된 피부화상, 피부상태의 측정 결과를 나타내는 정보 등의 각종의 정보를 기록한다. 메모리(57)에 기록된 정보는 CPU(51)에 의해 적절히 판독된다.
통신부(58)는, 무선 LAN 등의 소정의 규격의 통신 모듈이다. 통신부(58)는, 피부 측정기(2)와 통신을 행한다. 또한, 통신부(58)는, 정보 처리 장치(1)의 부근에 설치된 엑세스 포인트나 공중 무선 회선에 접속하고, 인터넷을 통하여 접속되는 서버 등의 각종의 장치와의 사이에서 통신을 행한다.
각도 센서(59)는, 피부상태의 측정시 등의 소정의 타이밍에서 정보 처리 장치(1)의 몸체의 각도를 검출한다.
드라이브(60)는, 리무버블 미디어(61)에 기록된 데이터의 판독과, 리무버블 미디어(61)에 대한 데이터의 기록을 행한다. 리무버블 미디어(61)는, 정보 처리 장치(1)에 마련된 슬롯에 장착된 메모리 카드, 정보 처리 장치(1)의 단자에 장착된 USB 메모리 등의 기록 매체이다.
도 6은, 정보 처리 장치(1)의 기능 구성례를 도시하는 블록도이다. 도 6에 도시하는 기능부 중의 적어도 일부는, 도 5의 CPU(51)에 의해 소정의 프로그램이 실행됨에 의해 실현된다.
도 6에 도시하는 바와 같이, 정보 처리 장치(1)에서는, 화상 취득부(81), 인식부(82), 피부상태 해석부(83), 정점 관측 포인트 설정부(84), 정보 관리부(85), 측정 결과 분석부(86), 및 표시 제어부(87)가 실현된다.
화상 취득부(81)는, 카메라(12)를 제어하여 촬영을 행한다. 화상 취득부(81)는, 촬영을 행함에 의해 얻어진, 정보 처리 장치(1)의 앞에 있는 유저의 얼굴이 찍히는 동화상 또는 정지화상인 얼굴화상을 취득한다. 또한, 화상 취득부(81)는, 피부상태의 측정시, 피부 측정기(2)에 의해 촬영되고, 통신부(58)에서 수신된 피부화상을 취득한다.
화상 취득부(81)는, 얼굴화상을 인식부(82)와 표시 제어부(87)에 출력하고, 피부화상을 피부상태 해석부(83)와 표시 제어부(87)에 출력한다. 피부 측정기(2)로부터 송신되어 온 센서 데이터도 화상 취득부(81)에 의해 취득되어, 피부상태 해석부(83)에 공급된다.
인식부(82)는, 화상 취득부(81)로부터 공급된 얼굴화상을 해석하고, 유저의 얼굴의 특징점을 인식한다. 특징점의 인식은, 예를 들면, 미리 준비된 특징 데이터와, 얼굴화상의 각 영역에서 추출한 특징 데이터와의 매칭에 의해 행하여진다. 인식부(82)는, 얼굴화상상의, 각각의 특징점의 위치를 특정한다.
이하에서는, 얼굴화상에 찍히는 양 눈과 입의 3점을 특징점으로 하여 처리를 행하는 경우에 관해 주로 설명하지만, 코, 눈썹, 귀 등의 다른 구성을 특징점에 포함하여 처리를 행하도록 하여도 좋다. 특징점으로서 이용하는 구성의 수, 조합(組合)도 임의이다.
또한, 인식부(82)는, 정보 처리 장치(1)로부터, 각각의 특징점까지의 거리를 특정한다. 인식부(82)는, 얼굴화상에 찍히는 특징점까지의 거리를 측정하는 거리 센서로서 기능한다.
얼굴화상상의 특징점의 위치와, 각각의 특징점까지의 거리로부터, 촬영 공간(3차원 공간)에서의 얼굴의 특징점의 위치를 특정하는 것이 가능해진다. 인식부(82)는, 유저의 얼굴의 입체적인 형상을 인식하게 된다. 인식부(82)는, 특징점의 위치와 거리의 정보를 얼굴화상과 함께 출력한다. 인식부(82)로부터 출력된 정보는, 정점 관측 포인트 설정부(84), 정보 관리부(85), 및 표시 제어부(87)에 공급된다.
피부상태 해석부(83)는, 화상 취득부(81)로부터 공급된 피부화상을 해석하고, 피부상태를 측정한다. 피부상태의 측정에는, 적절히, 피부 측정기(2)에 의해 검출된 센서 데이터도 이용된다. 예를 들면, 피부의 색, 살결, 수분량, 유분량, 모공의 상태, 멜라닌량, 혈류량(血流量), 피부 온도의 각 항목이 측정된다. 피부상태 해석부(83)는, 측정한 피부상태를 나타내는 정보인 피부상태 정보를 피부화상과 함께 정보 관리부(85)에 출력한다.
정점 관측 포인트 설정부(84)는, 초기 설정시, 정점 관측 포인트를 설정한다. 피부상태의 정점 관측을 행하기 전, 유저는, 초기 설정에 의해 정점 관측 포인트의 설정을 행할 필요가 있다.
예를 들면, 정점 관측 포인트 설정부(84)는, 인식부(82)에 의해 특정된 특징점의 위치에 의거하여, 유저의 볼, 이마, 입가의 위치를 특정하고, 그들의 위치를 정점 관측 포인트로서 설정한다. 또한, 정점 관측 포인트 설정부(84)는, 유저에 의해 지정된 부분을 정점 관측 포인트로서 설정한다. 정점 관측 포인트의 지정은, 예를 들면, 디스플레이(11)에 표시된 얼굴화상상의 위치를 손가락으로 직접 접촉함에 의해 행하여진다.
후술하는 바와 같이, 유저는, 특징점의 위치를 지정한 후, 정점 관측 포인트로서 기호의 위치를 임의로 지정할 수도 있다. 임의로 지정되었던 정점 관측 포인트의 위치는, 유저에 의해 지정된 특징점의 위치를 기준으로 하여 표시된다. 정점 관측 포인트 설정부(84)는, 정점 관측 포인트의 위치의 정보를 정보 관리부(85)에 출력한다.
정보 관리부(85)는, 인식부(82)에 의해 인식된 특징점의 위치와 거리의 정보, 및 얼굴화상을 메모리(57)에 기록시킨다. 또한, 정보 관리부(85)는, 피부상태 해석부(83)에 의해 측정된 피부상태 정보, 및 피부화상을 메모리(57)에 기록시킨다. 이들의 정보는, 측정 일시 등의 정보와 대응시켜서 메모리(57)에 기록된다. 정보 관리부(85)는, 정점 관측 포인트 설정부(84)에 의해 설정된 정점 관측 포인트의 위치의 정보를 메모리(57)에 기록시킨다.
정보 관리부(85)는, 메모리(57)에 기록시킨 각종의 정보를 적절히 판독하고, 측정 결과 분석부(86)와 표시 제어부(87)에 출력한다. 예를 들면, 정보 관리부(85)는, 정점 관측의 결과를 표시할 때, 각 회의 측정에 의해 얻어진 피부상태 정보를 측정 결과 분석부(86)에 출력한다.
측정 결과 분석부(86)는, 정보 관리부(85)로부터 공급된 피부상태 정보에 의거하여, 정점 관측 포인트의 피부상태의 변화를 분석한다. 측정 결과 분석부(86)는, 분석 결과를 표시 제어부(87)에 출력한다.
표시 제어부(87)는, 초기 설정시의 화면, 측정 결과 분석부(86)에 의한 분석 결과 등의 각종의 정보를 디스플레이(11)에 표시시킨다.
<3. 정보 처리 장치의 동작>
여기서, 이상과 같은 구성을 갖는 정보 처리 장치(1)의 처리에 관해 설명한다.
·초기 설정 처리 1
처음에, 도 7의 플로우 차트를 참조하여, 초기 설정 처리에 관해 설명한다.
상술한 바와 같이, 초기 설정 처리는, 정점 관측 포인트를 설정하는 처리이다. 정점 관측 포인트의 설정에는, 결정된 부분을 정점 관측 포인트로서 설정하는 처리와, 유저 자신이 얼굴화상상의 임의의 부분을 지정하여 선택하는 처리가 있다.
도 7의 처리는, 결정된 부분을 정점 관측 포인트로서 설정하는 전자(前者)의 처리이다. 도 7의 처리는, 예를 들면, 메뉴 화면으로부터 초기 설정을 행하는 것이 선택된 때에 시작된다.
스텝 S1에서, 화상 취득부(81)는, 카메라(12)를 제어하여, 유저의 얼굴의 촬영을 시작한다. 유저의 얼굴이 찍히는 동화상인 얼굴화상의 데이터는, 인식부(82)와 표시 제어부(87)에 순차적으로 공급된다.
스텝 S2에서, 표시 제어부(87)는, 얼굴 방향의 안내 화면을 디스플레이(11)에 표시시킨다.
도 8은, 얼굴 방향의 안내 화면의 예를 도시하는 도면이다.
도 8의 얼굴화상은, 카메라(12)에 의해 받아들여진, 초기 설정을 행하고 있는 유저의 얼굴이 찍히는 동화상이다. 디스플레이(11)의 상방에는, 얼굴의 정면을 정보 처리 장치(1)로 향할 것을 안내하는 메시지가 표시된다. 도 8의 안내 화면에 따라, 유저는, 얼굴의 정면을 정보 처리 장치(1)로 향하게 된다.
스텝 S3에서, 화상 취득부(81)는, 카메라(12)에 의해 촬영된 얼굴화상을 구성하는 소정의 프레임을 정지화상으로서 취득한다. 예를 들면, 화상 취득부(81)는, 유저가 얼굴의 정면을 정보 처리 장치(1)로 향한 때의 프레임을 정지화상으로서 취득한다.
스텝 S4에서, 각도 센서(59)는, 정보 처리 장치(1)의 각도를 검출한다. 각도 센서(59)에 의해 검출된 각도의 정보는 정보 관리부(85)에 공급된다.
스텝 S5에서, 인식부(82)는, 정지 화상으로서 취득된 얼굴화상을 해석하고, 양 눈과 입의 3점 등의, 얼굴의 특징점을 인식한다. 또한, 인식부(82)는, 얼굴화상상의 각각의 특징점의 위치와, 정보 처리 장치(1)로부터, 각각의 특징점까지의 거리를 특정한다. 인식부(82)에 의해 특정된 특징점의 위치와 거리의 정보는, 얼굴화상과 함께, 정점 관측 포인트 설정부(84)와 정보 관리부(85)에 공급된다.
스텝 S6에서, 정보 관리부(85)는, 정보 처리 장치(1)의 각도의 정보, 특징점의 위치와 거리의 정보, 및 얼굴화상을 메모리(57)에 기록시킨다. 메모리(57)에 기록되는 얼굴화상은, 예를 들면 얼굴의 특징점의 인식에 사용되는 정지화상이다.
스텝 S7에서, 정점 관측 포인트 설정부(84)는, 유저의 볼, 이마, 입가를 정점 관측 포인트로서 설정한다. 각각의 정점 관측 포인트의 위치는, 특징점의 위치를 기준으로 하여 특정된다. 이 예에서는, 볼, 이마, 입가의 각각을 정점 관측 포인트로서 설정하는 것이 미리 결정되어 있다.
이와 같이, 유저는, 복수의 부분을 정점 관측 포인트로서 자동적으로 설정시킬 수 있다. 볼, 이마, 입가(口元), 눈가(目元) 등의, 미리 결정된 위치의 중에서, 정점 관측 포인트로 하는 부분을 유저가 선택할 수 있도록 하여도 좋다.
도 9는, 정점 관측 포인트의 선택 화면의 예를 도시하는 도면이다.
도 9의 선택 화면의 상방에는, 정점 관측 포인트로 하는 부분을 선택할 것을 촉구하는 메시지가 표시되어 있다. 메시지의 아래에는, 버튼(101 내지 103)이 표시된다. 버튼(101 내지 103)은, 각각, 볼, 이마, 입가를 정점 관측 포인트로서 설정한 때에 선택되는 버튼이다.
도 9의 선택 화면을 이용한 정점 관측 포인트의 설정은, 유저가, 위치의 제한 없이, 좋아하는 부분을 임의로 지정하여 정점 관측 포인트를 설정하는 후술하는 처리와는 다르다.
스텝 S8에서, 정보 관리부(85)는, 정점 관측 포인트의 위치를 나타내는 정보를 메모리(57)에 기록시킨다. 이상의 처리에 의해, 초기 설정 처리는 종료가 된다.
도 10은, 설정 정보의 예를 도시하는 도면이다.
설정 정보는, 초기 설정 처리가 행하여짐에 의해 메모리(57)에 기록되는 정보이다. 정보 처리 장치(1)를 복수의 유저가 사용하는 경우, 메모리(57)에는, 유저마다의 설정 정보가 기록된다.
도 10에 도시하는 바와 같이, 설정 정보에는, 초기 설정시의 정보 처리 장치(1)의 각도(角度)의 정보가 포함된다. 또한, 설정 정보에는, 특징점(1 내지 3)의 각각의 얼굴화상상의 위치의 정보와, 정보 처리 장치(1)로부터, 특징점(1 내지 3)의 각각까지의 거리의 정보가 포함된다. 도 10의 예에서는, 특징점(1 내지 3)은, 각각 왼쪽눈(左目), 오른쪽눈(右目), 입이다.
설정 정보에는, 정점 관측 포인트(1 내지 3)의 각각의 얼굴화상상의 위치의 정보가 포함된다. 정보 처리 장치(1)로부터 정점 관측 포인트(1 내지 3)까지의 거리의 정보가 기록되도록 하여도 좋다. 상술한 예의 경우, 정점 관측 포인트(1 내지 3)는, 각각 볼, 이마, 입가이다.
·초기 설정 처리 2
다음에, 도 11의 플로우 차트를 참조하여, 다른 초기 설정 처리에 관해 설명한다.
도 11의 처리는, 유저 자신이 얼굴화상상의 임의의 부분을 지정하여 정점 관측 포인트를 설정하는 처리이다. 도 11의 처리는, 특징점의 지정과, 정점 관측 포인트로 하는 부분의 지정이 유저에 의해 행하여지는 점을 제외하고, 도 7을 참조하여 설명한 처리와 기본적으로 같은 처리이다.
스텝 S21에서, 화상 취득부(81)는, 카메라(12)를 제어하여, 유저의 얼굴의 촬영을 시작한다. 유저의 얼굴이 찍히는 동화상인 얼굴화상의 데이터는, 인식부(82)와 표시 제어부(87)에 공급된다.
스텝 S22에서, 표시 제어부(87)는, 촬영의 안내 화면을 디스플레이(11)에 표시시킨다.
도 12는, 촬영의 안내 화면의 예를 도시하는 도면이다.
도 12의 얼굴화상은, 카메라(12)에 의해 받아들여진, 초기 설정을 행하고 있는 유저의 얼굴이 찍히는 동화상이다. 디스플레이(11)의 상방에는, 좋아한 방향으로 촬영할 것을 안내하는 메시지가 표시된다. 도 12의 예에서는, 유저의 얼굴은, 정보 처리 장치(1)(카메라(12))의 방향을 향하고 있지 않다.
유저는, 도 12의 안내 화면에 따라, 정점 관측 포인트로 하고 싶은 부분이 비치도록 얼굴 방향을 조정한다. 안내 화면의 오른쪽 밑에는, 얼굴 방향을 결정할 때에 조작되는 버튼(104)이 표시되어 있다.
스텝 S23에서, 화상 취득부(81)는, 카메라(12)에 의해 촬영된 얼굴화상을 구성하는, 도 12의 버튼(104)이 조작된 타이밍의 프레임을 정지화상으로서 취득한다. 정지화상에는, 좋아한 방향을 향하고 있는 유저의 얼굴이 찍히게 된다. 화상 취득부(81)는, 취득한 정지화상을 얼굴화상으로서 인식부(82)와 표시 제어부(87)에 출력한다.
스텝 S24에서, 각도 센서(59)는, 정보 처리 장치(1)의 각도를 검출한다. 각도 센서(59)에 의해 검출된 각도의 정보는 정보 관리부(85)에 공급된다.
스텝 S25에서, 표시 제어부(87)는, 특징점의 선택 화면을 디스플레이(11)에 표시시킨다.
도 13은, 특징점의 선택 화면의 예를 도시하는 도면이다.
도 13의 얼굴화상은, 예를 들면 화상 취득부(81)에 의해 취득된 정지화상이다. 디스플레이(11)의 상방에는, 특징점이 되는, 문과 입의 위치를 지정할 것을 안내하는 메시지가 표시된다.
유저는, 도 13의 선택 화면에 따라, 자신의 얼굴화상상의, 양 눈과 입의 위치를 손가락으로 직접 접촉하는 등으로 지정한다. 터치 패널(56)은, 유저에 의해 지정된 위치를 검출한다. 유저에 의해 지정된 위치를 나타내는 정보는, 특징점의 위치의 정보로서 인식부(82)에 공급된다.
스텝 S26에서, 인식부(82)는, 얼굴화상을 해석하고, 정보 처리 장치(1)로부터 특징점까지의 거리를 특정한다. 여기서는, 유저에 의해 지정된 위치에 찍혀 있는 대상(對象)이 특징점으로서 처리된다. 특징점의 위치와, 인식부(82)에 의해 특정된 특징점의 거리의 정보는, 얼굴화상과 함께, 정점 관측 포인트 설정부(84)와 정보 관리부(85)에 공급된다.
스텝 S27에서, 정보 관리부(85)는, 정보 처리 장치(1)의 각도의 정보, 특징점의 위치와 거리의 정보, 및 얼굴화상을 메모리(57)에 기록시킨다.
스텝 S28에서, 표시 제어부(87)는, 정점 관측 포인트의 설정 화면을 디스플레이(11)에 표시시킨다.
도 14는, 정점 관측 포인트의 설정 화면의 예를 도시하는 도면이다.
도 14의 얼굴화상은, 예를 들면 화상 취득부(81)에 의해 취득된 정지화상이다. 디스플레이(11)의 상방에는, 정점 관측 포인트를 지정할 것을 안내하는 메시지가 표시된다. 설정 화면의 오른쪽 밑에는, 정점 관측 포인트의 설정을 종료할 때에 조작되는 버튼(105)이 표시되어 있다.
유저는, 도 14의 화면에 따라, 자신의 얼굴화상상의 임의의 위치를 손가락으로 직접 접촉하는 등으로 지정한다. 유저는, 기호의 위치를 정점 관측 포인트로서 지정할 수 있다. 유저에 의해 지정된 위치를 나타내는 정보는 정점 관측 포인트 설정부(84)에 의해 취득된다.
정점 관측 포인트 설정부(84)는, 유저에 의해 지정된 위치를 정점 관측 포인트로서 설정하고, 정점 관측 포인트의 위치를 나타내는 정보를 정보 관리부(85)에 공급한다. 정점 관측 포인트의 위치는, 유저에 의해 지정된 특징점의 위치를 기준으로 하여 표시된다.
스텝 S29에서, 정보 관리부(85)는, 정점 관측 포인트의 위치를 나타내는 정보를 메모리(57)에 기록시킨다. 이상의 처리에 의해, 초기 설정 처리는 종료가 된다. 메모리(57)에는, 도 10의 설정 정보가 기록된다.
·측정 처리
다음에, 도 15의 플로우 차트를 참조하여, 측정 처리에 관해 설명한다.
도 15의 처리는, 정점 관측 포인트의 피부상태를 실제로 측정하는 처리이다. 도 15의 처리는, 도 7 또는 도 11의 초기 설정 처리가 행하여진 후에 행하여진다.
스텝 S41에서, 각도 센서(59)는, 정보 처리 장치(1)의 각도를 검출한다. 각도 센서(59)에 의해 검출된 각도의 정보는 표시 제어부(87)에 공급된다.
스텝 S42에서, 표시 제어부(87)는, 각도 센서(59)에 의해 검출된 각도가 초기 설정시의 각도와 다른 경우, 각도의 조정 화면을 디스플레이(11)에 표시시킨다. 표시 제어부(87)는, 메모리(57)에 기록되어 있는 설정 정보에 의해 표시되는 초기 설정시의 각도와, 각도 센서(59)에 의해 검출된 각도를 비교함에 의해 조정 화면의 표시를 제어한다.
도 16은, 각도의 조정 화면의 예를 도시하는 도면이다.
조정 화면의 상방에는, 정보 처리 장치(1)를 현재의 상태로부터 기울일 것을 안내하는 메시지가 표시되어 있다. 이와 같이, 조정 화면에는, 정보 처리 장치(1)의 각도를 초기 설정시의 각도와 같은 각도로 조정할 것을 촉구하는 메시지가 표시된다.
유저는, 도 16의 화면에 따라, 전방에 있는 정보 처리 장치(1)의 각도를 조정한다. 이에 의해, 정보 처리 장치(1)의 각도가, 초기 설정시의 각도와 같은 각도가 된다.
스텝 S43에서, 화상 취득부(81)는, 카메라(12)를 제어하여, 유저의 얼굴의 촬영을 시작한다. 유저의 얼굴이 찍히는 동화상인 얼굴화상의 데이터는 인식부(82)와 표시 제어부(87)에 공급된다.
스텝 S44에서, 인식부(82)는, 얼굴화상을 해석하고, 얼굴화상상의 특징점의 위치와, 정보 처리 장치(1)로부터, 각각의 특징점까지의 거리를 특정한다. 특징점의 위치와 거리의 특정은 반복해서 행하여진다. 특징점의 위치와 거리의 정보는 표시 제어부(87)에 공급된다.
스텝 S45에서, 표시 제어부(87)는, 얼굴위치의 조정 화면을 디스플레이(11)에 표시시킨다. 조정 화면의 표시는, 설정 정보에 포함되는, 초기 설정시의 특징점의 위치와 거리의 정보를 이용하여 행하여진다.
도 17은, 얼굴위치의 조정 화면의 예를 도시하는 도면이다.
도 17의 얼굴화상은, 카메라(12)에 의해 받아들여진 동화상이다. 조정 화면의 상방에는, 눈과 입의 위치를 마커에 맞추도록, 얼굴위치를 조정할 것을 안내하는 메시지가 표시된다.
조정 화면의 개략 중앙에는, 얼굴화상에 겹쳐서, 세로로 길다란 타원형의 파선의 화상인 화상(P1)이 표시된다. 화상(P1)은, 얼굴을 넣는 범위의 기준(目安)이 되는 화상이다.
화상(P1)의 내측에는, 얼굴화상에 겹쳐서, 마커가 되는 화상(P11 내지 P13)이 표시된다. 화상(P11)은, 초기 설정시에 특정된 오른쪽눈의 위치에 의거하여 표시된다. 화상(P12)은, 초기 설정시에 특정된 왼쪽눈의 위치에 의거하여 표시된다. 화상(P13)은, 초기 설정시에 특정된 입의 위치에 의거하여 표시된다.
유저는, 도 17의 화면에 따라, 양 눈과 입의 3점이 각각 화상(P11 내지 P13)의 내측에 수속되도록 얼굴 방향과 거리를 조정한다. 이에 의해, 얼굴과 정보 처리 장치(1)의 위치의 관계가, 초기 설정시의 관계와 같은 관계가 된다.
도 18은, 얼굴위치의 조정 화면의 다른 예를 도시하는 도면이다.
도 18의 조정 화면에는, 도 17의 화상(P1)에 대신하여, 화상(P1)이 둘러싸는 범위 이외의 범위를 그레이 아웃시키는 화상인 화상(P2)이 표시되어 있다. 중앙의 얼굴 부근 이외가 그레이 아웃됨에 의해, 유저는, 얼굴위치의 조정에 집중할 수 있다.
스텝 S46에서, 표시 제어부(87)는, 정점 관측 포인트의 안내 화면을 디스플레이(11)에 표시시킨다. 안내 화면의 표시는, 설정 정보에 포함되는, 정점 관측 포인트의 위치의 정보를 이용하여 행하여진다.
도 19는, 정점 관측 포인트의 안내 화면의 예를 도시하는 도면이다.
도 19의 안내 화면은, 얼굴화상(111)과 말풍선(112)이 나열하여 배치됨에 의해 구성된다.
얼굴화상(111)은, 카메라(12)에 의해 촬영된, 유저의 얼굴이 찍히는 동화상이다. 얼굴화상(111)에는, 정점 관측 포인트를 나타내는 화상(P21)이 겹쳐서 표시되어 있다.
도 19의 예에서는, 유저의 오른쪽 볼 부근에 화상(P21)이 표시되어 있다. 화상(P21)은, 적색, 청색 등이 눈에 띄는 색의 원형(圓形)의 화상이다. 화상(P21)은 투과성을 갖고 있고, 화상(P21)의 아래에 유저의 얼굴의 일부가 표시된다.
화상(P21)의 표시 위치는, 설정 정보에 포함되는, 정점 관측 포인트의 위치의 정보에 의거하여 결정된다. 기준이 되는 특징점의 위치는, 촬영 중의 얼굴화상을 해석함에 의해 인식부(82)에 의해 특정되어 있다.
촬영 중의 얼굴화상을 해석함에 의해 특징점의 위치를 특정하고, 그 위치를 기준으로 하여 정점 관측 포인트를 표시하기 때문에, 표시 제어부(87)는, 정점 관측 포인트를, 항상, 얼굴화상상의 같은 위치에 표시시키는 것이 가능해진다.
말풍선(112)에는, 오른쪽 볼에 피부 측정기를 맞대고 있는 인물의 모습을 나타내는 일러스트가 표시된다. 말풍선(112)의 말풍선 시작위치(元)는, 얼굴화상(111)으로 표시되어 있는 화상(P21)의 위치이다. 말풍선(112)의 일러스트는, 정점 관측 포인트에 대응하는 범위 이외를 그레이 아웃하는 형태로 표시된다.
얼굴화상(111)과 말풍선(112)의 아래에는, 말풍선(112)으로 표시되는 일러스트의 인물과 같도록 피부 측정기(2)를 움직일 것을 안내하는 메시지가 표시된다.
유저는, 도 19의 화면에 따라, 예를 들면 오른손으로 쥐고 있는 피부 측정기(2)를 오른쪽 볼에 맞대어, 정점 관측 포인트로서 설정하여 둔 오른쪽 볼 부근의 피부의 촬영을 행한다.
도 20은, 정점 관측 포인트의 안내 화면의 다른 예를 도시하는 도면이다.
도 20의 안내 화면의 구성은, 도 19의 구성과 같다. 도 20의 얼굴화상(111)에는, 정점 관측 포인트 이외의 범위를 그레이 아웃시키는 화상인 화상(P22)이 겹쳐서 표시된다. 또한, 정점 관측 포인트에서 교차하는 십자의 화상인 화상(P23)이 표시된다. 말풍선(112)에는, 오른쪽 볼에 피부 측정기를 맞대고 있는 인물의 모습을 나타내는 일러스트가 표시된다.
도 15의 스텝 S47에서, 표시 제어부(87)는, 정점 관측 포인트를 유저의 움직임에 추종하여 표시시킨다. 유저가 얼굴의 방향 등을 바꾼 경우, 변경 후의 특징점의 위치가 인식부(82)에 의해 특정된다. 표시 제어부(87)는, 변경 후의 특징점의 위치를 기준으로 하여, 정점 관측 포인트의 위치를 결정하고, 결정한 위치에, 정점 관측 포인트를 나타내는 화상(P21) 등을 표시시킨다.
스텝 S48에서, 화상 취득부(81)는, 피부 측정기(2)를 제어하여, 피부화상의 촬영을 시작시킨다. 피부화상의 촬영은 반복 행하여진다. 피부 측정기(2)에 의해 촬영된 피부화상은 화상 취득부(81)에 의해 취득되고, 피부상태 해석부(83)와 표시 제어부(87)에 공급된다.
카메라(12)에 의해 촬영된 얼굴화상에 의거하여 피부 측정기(2)의 위치를 인식할 수 있는 경우, 유저가 피부 측정기(2)를 정점 관측 포인트에 맞댄 때에 피부화상의 촬영을 시작하도록 하여도 좋다.
스텝 S49에서, 표시 제어부(87)는, 카메라(12)에 의해 촬영된 얼굴화상과, 피부 측정기(2)에 의해 촬영된 피부화상을 디스플레이(11)에 동시에 표시시킨다.
도 21은, 표시 화면의 예를 도시하는 도면이다.
도 21의 표시 화면은, 얼굴화상(121)과 피부화상(122)으로 구성된다. 피부화상(122)은, 얼굴화상(121)의 일부에 겹쳐서 배치된다.
얼굴화상(121)은, 카메라(12)에 의해 촬영된 동화상이다. 얼굴화상(121)에 겹쳐서, 정점 관측 포인트를 나타내는 화상(P21)이 표시된다. 피부화상(122)은, 피부 측정기(2)에 의해 촬영된 볼의 피부화상이다.
이와 같이, 정점 관측 포인트가 표시된 얼굴화상과 나열하여 피부화상이 표시됨에 의해, 유저는, 피부화상이, 어느 부분의 피부를 촬영한 것인지를 직관적으로 인식할 수 있다. 또한, 유저는, 각 부분의 메이크업(メイク)의 상태 등을 세밀하게 확인할 수 있다.
유저의 얼굴이 찍히는 동화상과, 확대한 피부가 찍히는 동화상을 표시하는 것이 아니라, 각각의 정지화상이 동시에 표시되도록 하여도 좋다.
도 22는, 표시 화면의 다른 예를 도시하는 도면이다.
도 22의 표시 화면은, 얼굴화상(131)과, 말풍선의 형태로 트리밍된 피부화상(P132)으로 구성된다. 피부화상(P132)의 말풍선 시작위치는, 얼굴화상(131)에 겹쳐서 표시된, 정점 관측 포인트를 나타내는 화상(P21)의 위치이다.
이와 같은 표시에 의해서도, 유저는, 피부화상이, 어느 부분의 피부를 촬영하는 것인지를 직관적으로 인식할 수 있다.
도 15의 스텝 S50에서, 피부상태 해석부(83)는, 화상 취득부(81)로부터 공급된 피부화상 중의 소정의 프레임을 해석하고, 피부상태를 측정한다. 피부상태 해석부(83)는, 피부상태를 나타내는 피부상태 정보를 피부화상과 함께 정보 관리부(85)에 출력한다.
스텝 S51에서, 정보 관리부(85)는, 얼굴화상, 피부화상과 함께, 피부상태 정보를 메모리(57)에 기록시킨다. 스텝 S46 내지 S51의 처리가, 각각의 정점 관측 포인트를 대상으로 하여 행하여진다. 메모리(57)에 기록된 얼굴화상은, 예를 들면 얼굴의 특징점의 인식에 사용된 정지화상이다. 또한, 메모리(57)에 기록된 피부화상은, 피부상태의 측정에 사용된 정지화상이다.
도 23은, 정점 관측 포인트인 입가의 촬영 중의 표시 화면의 예를 도시하는 도면이다.
도 23의 표시 화면은, 얼굴화상(141)과 말풍선(142)이 나열하여 배치됨에 의해 구성된다.
얼굴화상(141)은, 유저가 정점 관측 포인트인 입가에 피부 측정기(2)를 맞대고 있는 동화상이다. 얼굴화상(141)에는, 정점 관측 포인트에 대응하는 범위 이외의 범위를 그레이 아웃시키는 화상(P22)이 겹쳐서 표시된다. 또한, 얼굴화상(141)에는, 중심에서 교차하는 파선의 십자의 화상인 화상(P23)이 표시된다.
말풍선(142)에는, 유저가 입가에 피부 측정기(2)를 맞대고 있을 때에 촬영된 피부화상이 표시된다. 말풍선(142)의 말풍선 시작위치는, 얼굴화상(141)상의 입가의 위치이다.
도 24는, 정점 관측 포인트인 이마의 촬영 중의 표시 화면의 예를 도시하는 도면이다.
도 24의 표시 화면은, 정점 관측 포인트가 다른 점을 제외하고, 도 23의 표시 화면과 같다. 도 24의 얼굴화상(141)은, 유저가 정점 관측 포인트인 이마에 피부 측정기(2)를 맞대고 있을 때에 촬영된 동화상이다. 또한, 말풍선(142)으로 표시되어 있는 피부화상은, 유저가 이마에 피부 측정기(2)를 맞대고 있을 때에 촬영된 화상이다.
이와 같이 하여 모든 정점 관측 포인트의 피부상태의 측정이 종료된 때, 측정 처리는 종료가 된다. 이상과 같은 측정 처리가, 1일마다, 1주간마다라는 바와 같이 정기적으로 행하여진다.
도 25는, 측정 결과의 예를 도시하는 도면이다.
메모리(57)에는, 측정 일시와 대응시켜서, 측정시에 촬영된 얼굴화상의 파일명, 정점 관측 포인트마다의 피부화상의 파일명, 및, 정점 관측 포인트마다의 피부상태 정보가 기록된다. 피부상태 정보의 각 항목인 피부의 색, 살결, 수분량, 유분량, 모공의 상태, 멜라닌량, 혈류량, 피부 온도는, 예를 들면 10단계의 수치로 표시된다.
좌측에 나타내는 피부상태 정보는, 2014년 1월 1일에 행하여진 측정 처리에 의해 얻어진 정보이다. 또한, 우측에 나타내는 피부상태 정보는, 2014년 1월 8일에 행하여진 측정 처리에 의해 얻어진 정보이다.
이와 같이 정기적으로 행하여진 측정 처리의 결과를 분석함에 의해, 정보 처리 장치(1)는, 정점 관측 포인트의 피부상태의 변화를 특정하는 것이 가능해진다.
·정점 관측 결과 표시 처리
다음에, 도 26의 플로우 차트를 참조하여, 정점 관측 결과 표시 처리에 관해 설명한다.
도 26의 처리는, 도 15의 측정 처리가 복수회 행하여져서, 피부상태의 복수회분의 측정 결과가 메모리(57)에 축적된 후에 행하여진다.
스텝 S61에서, 측정 결과 분석부(86)는, 비교하는 측정 결과를 선택한다. 비교하는 측정 결과는, 예를 들면, 디스플레이(11)에 표시되는 선택 화면을 이용하여 유저에 의해 선택된다.
예를 들면, 직전의 측정시에 얻어진 결과와, 그 1회 전의 측정시에 얻어진 결과를 비교할 것이 지시된 경우, 측정 결과 분석부(86)는, 정보 관리부(85)를 제어하여, 그들의 측정 결과의 정보를 메모리(57)로부터 판독하여 취득한다. 측정 결과의 정보에는, 얼굴화상의 파일명, 정점 관측 포인트마다의 피부화상의 파일명 및 피부상태 정보가 포함된다.
스텝 S62에서, 측정 결과 분석부(86)는, 취득한 정보에 의거하여, 피부상태의 변화를 정점 관측 포인트마다 분석한다. 측정 결과 분석부(86)는, 분석 결과의 정보를, 정점 관측 결과로서 표시 제어부(87)에 출력한다.
스텝 S63에서, 표시 제어부(87)는, 측정 결과 분석부(86)로부터 공급된 정보에 의거하여, 정점 관측 결과의 표시 화면을 디스플레이(11)에 표시시킨다.
도 27은, 정점 관측 결과의 표시 화면의 예를 도시하는 도면이다.
표시 화면의 상방에는 탭(151 내지 156)이 가로로 나열하여 표시된다. 각각의 탭에는, 「서머리」, 「살결」, 「모공」, 「기미」, 「색감」, 「메모」의 문자가 표시된다. 도 27의 표시 화면은, 「모공」의 탭인 탭(153)이 선택되어 있는 상태의 화면이다. 탭(151 내지 156)의 아래의 영역(161)의 표시가, 선택 중의 탭이 변함에 의해 전환된다.
영역(161)의 중앙에는, 인물의 얼굴의 일러스트(P51)가 표시된다.
일러스트(P51)상의 정점 관측 포인트를 말풍선 시작위치로 하여, 피부화상(171 내지 173)이 표시된다. 일러스트(P51)에 대신하여, 카메라(12)에 의해 촬영된, 정점 관측 결과를 보고 있는 유저의 얼굴화상이 표시되도록 하여도 좋다. 이 경우, 피부화상(171 내지 173)은, 유저의 얼굴화상상의 정점 관측 포인트를 말풍선 시작위치로 하여 표시된다.
피부화상(171)은, 정점 관측 포인트인 볼의 피부를 확대하여 나타내는 화상이다. 예를 들면, 비교한 측정 결과 중, 새로운 쪽의 측정 결과의 피부화상이 표시된다. 피부화상(171)의 왼쪽 위에는, 횡방향을 가리키는 화살표의 아이콘(171A)이 표시되어 있다. 아이콘(171A)은, 볼의 피부의 모공의 상태에 변화가 없는 것을 나타낸다.
피부화상(172)은, 정점 관측 포인트인 이마의 피부를 확대하여 나타내는 화상이다. 피부화상(172)의 왼쪽 위에는, 아래방향을 가리키는 화살표의 아이콘(172A)이 표시되어 있다. 아이콘(172A)은, 이마의 피부의 모공의 상태가 나빠져 있는 것을 나타낸다.
피부화상(173)은, 정점 관측 포인트인 입가의 피부를 확대하여 나타내는 화상이다. 피부화상(173)의 왼쪽 위에는, 아래방향을 가리키는 화살표의 아이콘(173A)이 표시되어 있다. 아이콘(173A)은, 입가의 피부의 모공의 상태가 나빠져 있는 것을 나타낸다.
모공의 상태의 변화는, 비교하는 피부상태 정보에 포함되는 모공의 양의 정보에 의거하여 판정된다. 예를 들면, 측정 결과 분석부(86)는, 모공의 양을 나타내는 수치를 비교하고, 임계치 이상 내려가 있는 경우, 모공의 상태가 나빠져 있다고 판정한다. 또한, 측정 결과 분석부(86)는, 모공의 양을 나타내는 수치가 변하지 않는 경우, 모공의 상태에 변화가 없다고 판정한다. 측정 결과 분석부(86)는, 모공의 양을 나타내는 수치가 임계치 이상 올라가 있는 경우, 모공의 상태가 좋아져 있다고 판정한다.
영역(161)의 좌측에는, 「모공」의 정점 관측 결과에 관한 코멘트가 표시된다. 메모리(57)에는, 정점 관측 결과를 나타내는 코멘트 등의 내용이 미리 기록되어 있다. 측정 결과 분석부(86)는, 미리 기록되어 있는 내용 중에서, 분석 결과에 응한 내용을 선택하여, 정점 관측 결과의 표시에 이용한다.
탭을 전환함에 의해 각 항목에 관한 상태의 변화가 확인된 후, 정점 관측 결과 표시 처리는 종료가 된다.
이상의 일련의 처리에 의해, 유저는, 정점 관측 포인트로서 미리 설정한 부분을, 올바르고, 또한 용이하게 피부 측정기(2)를 사용하여 촬영할 수 있다. 또한, 유저는, 같은 부분의 피부상태의 측정 결과를 정보 처리 장치(1)에 축적시켜 둘 수 있다.
축적시키고 있던 측정 결과를 분석시킴에 의해, 유저는, 피부상태의 정점 관측 결과를 확인할 수 있다.
<4. 피부상태 정보를 이용한 분류의 예>
정점 관측 포인트마다의 피부상태 정보 등을 이용함에 의해, 정보 처리 장치(1)는, 각종의 기능을 실현할 수 있다.
·얼굴화상의 비교 기능
얼굴화상의 비교 기능은, 유저에 의해 지정된 조건에 맞는 피부상태가 측정된 때의 얼굴화상을 비교 가능한 형태로 표시하는 기능이다.
도 28의 플로우 차트를 참조하여, 비교 표시 처리에 관해 설명한다.
스텝 S101에서, 측정 결과 분석부(86)는, 피부상태 정보를 비교하는 정점 관측 포인트를 선택한다. 측정 결과 분석부(86)는, 예를 들면, 선택 화면에 대한 유저의 조작에 따라, 볼, 이마, 입가, 눈가 등의 복수의 정점 관측 포인트 중에서, 소정의 정점 관측 포인트를 선택한다. 선택 화면에는, 유저에 의해 설정된 정점 관측 포인트가 표시된다.
스텝 S102에서, 측정 결과 분석부(86)는, 스텝 S101에서 선택한 정점 관측 포인트의 피부상태에 관한 비교 조건을 선택한다. 예를 들면, 측정 결과 분석부(86)는, 유저의 조작에 따라, 정점 관측 포인트인 눈가에 관해, 피부의 색의 상태가, 가장 좋은 상태와 가장 나쁜 상태라는 조건을 선택한다.
스텝 S103에서, 측정 결과 분석부(86)는, 정보 관리부(85)를 제어하여, 비교 조건에 맞는 피부상태가 측정된 때의 얼굴화상을 메모리(57)로부터 판독하여 취득한다. 측정 결과 분석부(86)는, 취득한 얼굴화상을 표시 제어부(87)에 출력한다.
스텝 S104에서, 표시 제어부(87)는, 측정 결과 분석부(86)로부터 공급된 얼굴화상을 나열하여 디스플레이(11)에 표시시킨다.
도 29는, 얼굴화상의 표시 화면의 예를 도시하는 도면이다.
도 29의 표시 화면에는, 얼굴화상(201)과 얼굴화상(202)이 나열하여 표시되어 있다. 좌측의 얼굴화상(201)은, 2014년 1월 1일의 측정시에 촬영된 얼굴화상이다. 우측의 얼굴화상(202)은, 2014년 1월 8일의 측정시에 촬영된 얼굴화상이다.
예를 들면, 얼굴화상(201)은, 정점 관측 포인트인 눈가의 피부의 색의 상태로서, 가장 좋은 상태가 측정된 때에 얻어진 얼굴화상이다. 한편, 얼굴화상(202)은, 정점 관측 포인트인 눈가의 피부의 색의 상태로서, 가장 나쁜 상태가 측정된 때에 얻어진 얼굴화상이다.
이와 같은 표시로부터, 유저는, 눈의 다크서클(피부의 색)의 상태가 가장 좋았던 때의 얼굴화상과 가장 나빴던 때의 얼굴화상을 비교할 수 있다. 비교 조건은 상술한 것으로 한정되지 않는다. 유저는, 살결의 정도 등의 다른 비교 조건을 선택하고, 비교 조건에 맞는 피부상태가 측정된 때의 얼굴화상을 비교할 수도 있다.
얼굴화상의 비교 기능을 이용함에 의해, 유저는, 얼굴의 경시 변화, 표정의 변화, 화장의 변화, 마사지 등의 손질 전후의 피부의 변화 등을 확인할 수 있다. 얼굴의 경시 변화에는, 윤곽의 변화, 늘어짐의 변화, 주름의 변화, 기미의 변화(농담/대소)가 포함된다. 표정의 변화에는, 입꼬리(口角)의 각도의 변화, 입꼬리의 위치의 변화, 웃는 방식의 변화가 포함된다. 화장의 변화에는, 눈썹 형태의 변화, 치크(cheek, 볼)의 도포 위치의 변화, 아이섀도, 립스틱, 파운데이션 등의 색감의 변화가 포함된다.
·얼굴화상의 검색 기능
얼굴화상의 검색 기능은, 유저에 의해 지정된 조건에 맞는 피부상태가 측정된 때의 얼굴화상을 검색하는 기능이다.
도 30의 플로우 차트를 참조하여, 얼굴화상의 검색 처리에 관해 설명한다.
스텝 S111에서, 측정 결과 분석부(86)는, 정점 관측 포인트를 선택한다. 측정 결과 분석부(86)는, 예를 들면, 선택 화면에 대한 유저의 조작에 따라, 복수의 정점 관측 포인트의 중에서 소정의 정점 관측 포인트를 선택한다.
스텝 S112에서, 측정 결과 분석부(86)는, 스텝 S101에서 선택한 정점 관측 포인트의 피부상태에 관한 검색 조건을 선택한다. 예를 들면, 측정 결과 분석부(86)는, 유저의 조작에 따라, 정점 관측 포인트인 볼에 관해, 피부의 색이 핑크색이라는 조건을 선택한다. 메이크업 후의 피부상태를 측정한 경우, 피부의 색으로서 각종의 색이 측정되는 것이 있다.
스텝 S113에서, 측정 결과 분석부(86)는, 정보 관리부(85)를 제어하여, 검색 조건에 맞는 피부상태가 측정된 때의 얼굴화상을 메모리(57)로부터 판독하여 취득한다. 측정 결과 분석부(86)는, 취득한 얼굴화상을 표시 제어부(87)에 출력한다.
스텝 S114에서, 표시 제어부(87)는, 측정 결과 분석부(86)로부터 공급된 얼굴화상을 디스플레이(11)에 표시시킨다.
도 31은, 얼굴화상의 표시 화면의 예를 도시하는 도면이다.
도 31의 표시 화면에는, 얼굴화상(211)이 표시되어 있다. 얼굴화상(211)은, 2014년 1월 8일의 측정시에 촬영된 얼굴화상이다.
예를 들면, 얼굴화상(211)은, 정점 관측 포인트인 볼의 피부의 색이 핑크색으로서 측정된 때의 얼굴화상이다.
이와 같은 표시로부터, 유저는, 볼에 핑크의 메이크업을 시행하고 있던 때의 얼굴화상을 확인할 수 있다. 검색 조건은 상술한 것으로 한정되지 않는다. 유저는, 피부상태를 검색의 키로서, 각종의 피부상태의 얼굴화상을 확인할 수 있다.
·개선 방법의 제시 기능
개선 방법의 제시 기능은, 피부상태를 개선시키는 엑서사이즈의 방식을 유저에게 제시하는 기능이다. 제시한 엑서사이즈를 유저가 행하고 있는 경우, 정보 처리 장치(1)는, 유저가 행하고 있는 엑서사이즈가 올바른지의 여부의 평가를 행한다.
도 32의 플로우 차트를 참조하여, 개선 방법 제시 처리에 관해 설명한다.
유저가 행하고 있는 엑서사이즈를 평가하기 위해서는, 정보 처리 장치(1)는, 유저가 얼굴의 어느 부분을 어떻게 움직이고 있는지를 인식할 필요가 있다. 정보 처리 장치(1)는, 엑서사이즈를 평가하기 전, 피부상태의 측정시와 마찬가지로, 유저의 얼굴과 정보 처리 장치(1)의 관계를 초기 설정시의 관계와 같은 관계로 조정시킨다.
도 32의 스텝 S121 내지 S125의 처리는, 도 15의 스텝 S41 내지 45의 처리와 같은 처리이다. 중복되는 설명에 관해서는 적절히 생략한다.
스텝 S121에서, 각도 센서(59)는, 정보 처리 장치(1)의 각도를 검출한다.
스텝 S122에서, 표시 제어부(87)는, 각도 센서(59)에 의해 검출된 각도가 초기 설정시의 각도와 다른 경우, 각도의 조정 화면을 디스플레이(11)에 표시시킨다.
스텝 S123에서, 화상 취득부(81)는, 카메라(12)를 제어하여, 유저의 얼굴의 촬영을 시작한다.
스텝 S124에서, 인식부(82)는, 얼굴화상을 해석하고, 얼굴화상상의 특징점의 위치와, 각각의 특징점까지의 거리를 특정한다. 특징점의 위치와, 각각의 특징점까지의 거리의 특정은 반복해서 행하여진다.
스텝 S125에서, 표시 제어부(87)는, 얼굴위치의 조정 화면을 디스플레이(11)에 표시시킨다.
스텝 S126에서, 측정 결과 분석부(86)는, 소정의 기간 내의 측정 결과에 의거하여, 피부상태가 악화되어 있는 정점 관측 포인트를 선택한다.
스텝 S127에서, 표시 제어부(87)는, 악화되어 있는 정점 관측 포인트의 피부의 개선 방법에 관한 정보를 디스플레이(11)에 표시시킨다. 예를 들면, 정점 관측 포인트인 볼의 피부 온도가 악화되어 있는 경우, 표시 제어부(87)는, 볼의 피부 온도를 개선시키기 위한 엑서사이즈의 방식을 표시시킨다.
메모리(57)에는, 얼굴의 각각의 부분의 피부상태를 개선시키기 위한 엑서사이즈에 관한 정보가 기록되어 있다. 표시 제어부(87)는, 피부상태가 악화되어 있는 정점 관측 포인트와, 악화되어 있는 항목에 응한 정보를 선택하고, 표시시킨다. 유저는, 디스플레이(11)에 표시된 정보를 확인하고, 제시된 엑서사이즈를 행한다. 엑서사이즈는, 주로, 얼굴을 손가락 끝으로 마사지하는 것이다.
스텝 S128에서, 인식부(82)는, 화상 취득부(81)로부터 공급된 얼굴화상을 해석하고, 유저의 손가락의 움직임을 인식한다. 유저의 손가락의 움직임은, 얼굴화상상에서의 손가락 끝의 위치의 변화에 의해 인식된다. 각 타이밍에서서의 손가락 끝의 위치도, 특징점의 위치를 기준으로 하여 표시된다. 인식부(82)에 의해 인식된 손가락의 움직임을 나타내는 정보는, 표시 제어부(87)에 공급된다.
스텝 S129에서, 표시 제어부(87)는, 인식부(82)로부터 공급된 정보에 의거하여 유저의 손가락의 움직이는 방식을 특정하고, 그 움직이는 방식이 올바른지의 여부를 평가한다. 엑서사이즈의 방식이 틀리는 경우, 피부상태를 악화시키는 일도 있다. 메모리(57)에는, 예를 들면 엑서사이즈마다, 올바른 움직이는 방식을 나타내는 정보와 틀린 움직이는 방식을 나타내는 정보가 기록되어 있다. 표시 제어부(87)는, 유저가 행하고 있는 엑서사이즈의 평가를 메모리(57)에 기록되어 있는 정보에 의거하여 행한다.
스텝 S130에서, 표시 제어부(87)는, 유저의 손가락의 움직이는 방식의 평가 결과를 디스플레이(11)에 표시시킨다.
도 33은, 엑서사이즈 중의 유저의 얼굴화상의 예를 도시하는 도면이다.
도 33의 예에서는, 유저는, 볼 부근을 양손의 집게손가락으로 마사지하고 있다. 이와 같은 손가락의 움직이는 방식이 인식되고, 올바른 움직이는 방식인 지의 여부가 평가된다.
도 34는, 평가 결과의 표시례를 도시하는 도면이다.
손가락의 움직이는 방식이 올바르다고 하여 평가된 경우, 도 34에 도시하는 바와 같이, 손가락의 움직이는 방식이 올바른 것을 나타내는 화상(P101)이 얼굴화상에 겹쳐서 표시된다. 눈가에 겹쳐서 표시되어 있는 화상(P102, P103)은, 유저가 행하고 있는 엑서사이즈에 의해 예를 들면 피부 온도가 개선되는 부분을 나타낸다.
도 35는, 평가 결과의 다른 표시례를 도시하는 도면이다.
손가락의 움직이는 방식이 틀렸다고 하여 평가된 경우, 도 35에 도시하는 바와 같이, 손가락의 움직이는 방식이 틀린 것을 나타내는 화상(P111)이 얼굴화상에 겹쳐서 표시된다. 볼의 눈가에 가까운 위치에 겹쳐서 표시되어 있는 화상(P112, P113)은, 유저가 행하고 있는 엑서사이즈에 의해 피부 온도가 내려가는 부분을 나타낸다.
이상의 처리에 의해, 유저는, 피부상태가 악화되어 있는 정점 관측 포인트의 엑서사이즈를 올바른 방식으로 행할 수 있다.
·피부상태가 악화되어 있는 부분의 검색 기능
도 36의 플로우 차트를 참조하여, 검색 처리에 관해 설명한다.
도 36의 스텝 S141 내지 S146의 처리는, 도 32의 스텝 S121 내지 126의 처리와 같은 처리이다. 중복되는 설명에 관해서는 적절히 생략한다.
스텝 S141에서, 각도 센서(59)는, 정보 처리 장치(1)의 각도를 검출한다.
스텝 S142에서, 표시 제어부(87)는, 각도 센서(59)에 의해 검출된 각도가 초기 설정시의 각도와 다른 경우, 각도의 조정 화면을 디스플레이(11)에 표시시킨다.
스텝 S143에서, 화상 취득부(81)는, 카메라(12)를 제어하여, 유저의 얼굴의 촬영을 시작한다.
스텝 S144에서, 인식부(82)는, 얼굴화상을 해석하고, 얼굴화상상의 특징점의 위치와, 각각의 특징점까지의 거리를 특정한다. 특징점의 위치와, 각각의 특징점까지의 거리의 특정은 반복해서 행하여진다.
스텝 S145에서, 표시 제어부(87)는, 얼굴위치의 조정 화면을 디스플레이(11)에 표시시킨다.
스텝 S146에서, 측정 결과 분석부(86)는, 소정의 기간의 측정 결과에 의거하여, 피부상태가 악화되어 있는 정점 관측 포인트를 선택한다.
스텝 S147에서, 표시 제어부(87)는, 피부상태가 악화되어 있는 정점 관측 포인트를 얼굴화상에 겹쳐서 표시시킨다.
도 37은, 얼굴화상의 표시례를 도시하는 도면이다.
도 37의 얼굴화상은, 카메라(12)에 의해 촬영된 동화상이다. 얼굴화상에 겹쳐서, 혈류량의 감소, 피부 온도의 저하 등의, 피부상태가 악화되어 있는 정점 관측 포인트를 나타내는 정보가 표시된다. 화상(P121 내지 P125)은, 각각, 피부상태가 소정의 기간 내에 악화되어 있는 정점 관측 포인트를 나타낸다. 화상(P121 내지 P125)은, 유저의 얼굴의 움직임에 추종하여 위치를 바꾸어 표시된다.
이상의 처리에 의해, 유저는, 피부상태가 나쁜 곳을 통합하여 확인할 수 있다. 피부상태가 악화되어 있는 정점 관측 포인트를 검색하는 것은 아니고, 피부상태가 개선되고 있는 정점 관측 포인트를 검색하고, 유저에게 제시하도록 하여도 좋다.
·인물의 검색 기능
인물의 검색 기능은, 유저와 얼굴의 특징점의 위치가 비슷한 인물을 검색하는 기능이다. 정보 처리 장치(1)가 미용실 등에 놓여져 있는 경우, 복수의 유저가 정보 처리 장치(1)를 사용하여 피부상태의 정점 관측을 행하게 된다. 정보 처리 장치(1)에는, 복수의 인물의 얼굴의 특징점의 위치의 정보를 포함하는 설정 정보가 축적된다. 인물의 검색은, 정보 처리 장치(1)에 축적되어 있는 설정 정보를 이용하여 행하여진다.
도 38의 플로우 차트를 참조하여, 인물 검색 처리에 관해 설명한다.
스텝 S161에서, 표시 제어부(87)는, 메모리(57)에 기록되어 있는 정보를 참조하여, 정보 처리 장치(1)를 지금 사용하고 있는 유저와 얼굴의 특징점의 위치가 근사한 인물을 검색한다.
스텝 S162에서, 표시 제어부(87)는, 검색에 의해 특정한 인물의 얼굴화상을 메모리(57)로부터 판독한다.
스텝 S163에서, 표시 제어부(87)는, 정보 처리 장치(1)를 지금 사용하고 있는 유저의 얼굴화상과, 메모리(57)로부터 판독 얼굴화상을 나열하여 표시시킨다.
도 39는, 얼굴화상의 표시 화면의 예를 도시하는 도면이다.
도 39의 표시 화면에는, 얼굴화상(221)과 얼굴화상(222)이 나열하여 표시되어 있다. 좌측의 얼굴화상(221)은, 정보 처리 장치(1)를 지금 사용하고 있는 유저의 얼굴화상이다. 우측의 얼굴화상(222)은, 정보 처리 장치(1)를 지금 사용하고 있는 유저와 특징점의 위치가 유사하다고 하여 검색된 인물의 얼굴화상이다.
유저는, 자신과 얼굴의 특징이 비슷한 사람의 피부상태나 메이크업의 방식 등을 참고로 할 수 있다.
·두발형(髮型)의 시뮬레이션 기능
두발형의 시뮬레이션 기능은, 카메라(12)에 의해 촬영한 얼굴화상의 두발(髮)의 부분에, 미리 준비된 다양한 두발형의 화상을 합성하여 표시하는 기능이다.
도 40은, 두발형의 합성 결과의 표시례를 도시하는 도면이다.
도 40의 얼굴화상은, 카메라(12)에 의해 촬영된 동화상이다. 예를 들면, 동화상의 각 프레임에 찍히는 두발의 위치가, 유저의 얼굴의 특징점의 위치에 의거하여 특정되고, 특정된 위치에 화상(P131)이 합성된다. 화상(P131)은, 복수 준비되어 있는 것 중에서 유저에 의해 선택된 두발형의 화상이다. 유저는, 화상(P131)으로서 합성한 두발형의 화상을 전환할 수 있다.
<5. 변형례>
얼굴화상을 촬영하는 카메라가 정보 처리 장치(1)에 마련되는 것으로 하였지만, 정보 처리 장치(1)와는 별체(別體)의 카메라에 의해 얼굴화상이 촬영되도록 하여도 좋다.
또한, 각종의 정보를 표시하는 디스플레이가 정보 처리 장치(1)에 마련되는 것으로 하였지만, 정보 처리 장치(1)와는 별체의 표시 장치에 각종의 화면이 표시되도록 하여도 좋다.
도 1의 피부 측정 시스템을 이용하여 얼굴의 피부상태를 측정하는 것에 관해 설명하였지만, 피부상태를 측정한 부분은, 손, 팔, 다리 등의, 얼굴 이외의 부분이라도 좋다. 예를 들면 손의 피부상태의 정점 관측을 행하는 경우, 손톱, 손가락 끝 등이 특징점으로서 인식된다.
얼굴의 특징점의 인식, 피부상태의 해석, 정점 관측 결과의 분석을 포함하는 일련의 처리가, 정보 처리 장치(1)에 의해 행하여지는 것으로 하였지만, 그들의 처리가, 인터넷 등의 네트워크에 접속된 서버에 의해 행하여지도록 하여도 좋다.
이 경우, 정보 처리 장치(1)와 서버는 네트워크를 통하여 접속된다. 도 6을 참조하여 설명한 구성은, 서버에서 실현된다.
정보 처리 장치(1)는, 피부상태의 측정시, 얼굴화상과 피부화상을 서버에 송신한다. 서버는, 정보 처리 장치(1)로부터 송신되어 온 얼굴화상과 피부화상을 수신하여 취득한다. 서버는, 얼굴화상을 해석함에 의해 상술한 각종의 화면의 데이터를 생성하고, 정보 처리 장치(1)에 송신한다. 정보 처리 장치(1)는, 서버로부터 송신되어 온 데이터에 의거하여, 각종의 화면을 디스플레이(11)에 표시시킨다.
또한, 서버는, 피부화상을 해석하여 피부상태를 측정하고, 기록한다. 서버는, 정점 관측의 결과가 요구된 경우, 각 회의 측정 결과에 의거하여 피부상태의 변화를 분석하고, 정점 관측의 결과를 정보 처리 장치(1)에 송신한다. 정보 처리 장치(1)는, 서버로부터 송신되어 온 데이터에 의거하여, 정점 관측의 결과를 디스플레이(11)에 표시시킨다.
·컴퓨터의 구성례
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
인스톨되는 프로그램은, 광디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등)나 반도체 메모리 등으로 이루어지는 도 5에 도시되는 리무버블 미디어(61)에 기록하여 제공된다. 또한, 로컬에어리어 네트워크, 인터넷, 디지털 방송이라는, 유선 또는 무선의 전송 매체를 통하여 제공되도록 하여도 좋다. 프로그램은, ROM(52)나 메모리(57)에, 미리 인스톨하여 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이라도 좋고, 병렬로, 또는 호출이 행하여진 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이라도 좋다.
또한, 본 명세서에서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 몸체 중에 있는지의 여부는 묻지 않는다. 따라서 별개의 몸체에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및, 하나의 몸체의 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것이 아니고, 또한 다른 효과가 있어도 좋다.
본 기술의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.
예를 들면, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동(共同)해서 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 플로우 차트에서 설명한 각 스텝은, 하나의 장치로 실행하는 외에. 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 외에. 복수의 장치에서 분담하여 실행할 수 있다.
·구성의 조합례
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1)
피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하는 취득부와,
상기 화상을 해석하고, 상기 특징점의 위치를 인식하는 인식부와,
상기 인식부에 의해 인식된 상기 특징점의 위치를 기준으로 하여, 상기 화상상의 소정의 위치에 상기 측정 부분을 나타내는 정보를 표시시키는 표시 제어부를 구비하는 정보 처리 장치.
(2)
상기 화상을 촬영하는 촬영부를 또한 구비하고,
상기 취득부는, 상기 촬영부에 의해 촬영된 상기 화상을 취득하는 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 화상과 상기 측정 부분을 나타내는 정보를 표시하는 표시부를 또한 구비하는 상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 측정 부분의 설정시에 촬영된 상기 화상을 해석함에 의해 상기 인식부에 의해 인식된 상기 특징점의 위치를 기준으로 하여, 상기 소정의 위치에 상기 측정 부분을 설정하는 설정부를 또한 구비하는 상기 (1) 내지 (3)의 어느 하나에 기재된 정보 처리 장치.
(5)
상기 측정 부분의 설정시에 촬영된 상기 화상상에서 상기 유저에 의해 지정된 위치에 상기 측정 부분을 설정하는 설정부를 또한 구비하는 상기 (1) 내지 (3)의 어느 하나에 기재된 정보 처리 장치.
(6)
상기 측정 부분의 설정시의 상기 정보 처리 장치의 각도를 검출하는 검출부를 또한 구비하는 상기 (4) 또는 (5)에 기재된 정보 처리 장치.
(7)
상기 표시 제어부는, 상기 정보 처리 장치의 각도를, 상기 검출부에 의해 검출된 각도와 같은 각도로 조정할 것을 안내하는 정보를 표시하는 상기 (6)에 기재된 정보 처리 장치.
(8)
상기 표시 제어부는, 상기 화상상의, 상기 측정 부분의 설정시에 촬영된 상기 화상을 해석함에 의해 상기 인식부에 의해 인식된 상기 특징점의 위치와 같은 위치에, 상기 특징점을 나타내는 정보를 표시시키는 상기 (1) 내지 (7)의 어느 하나에 기재된 정보 처리 장치.
(9)
상기 표시 제어부는, 상기 특징점의 위치가 변화하는 것에 응하여, 상기 측정 부분을 나타내는 정보의 표시 위치를 변화시키는 상기 (1) 내지 (8)의 어느 하나에 기재된 정보 처리 장치.
(10)
상기 취득부는, 상기 측정 부분의 피부를 촬영하여 얻어진 피부화상을 취득하고,
상기 표시 제어부는, 상기 피부화상과, 상기 유저가 찍히는 상기 화상을 동시에 표시시키는 상기 (1) 내지 (9)의 어느 하나에 기재된 정보 처리 장치.
(11)
상기 피부화상을 해석하고, 상기 측정 부분의 피부상태를 측정하는 해석부와,
상기 해석부에 의한 측정의 결과를 나타내는 정보를 기록하는 기록부를 또한 구비하는 상기 (10)에 기재된 정보 처리 장치.
(12)
상기 표시 제어부는, 상기 기록부에 기록된 복수회의 측정의 결과를 나타내는 정보에 의거하여, 상기 측정 부분의 피부상태의 변화를 나타내는 정보를 표시시키는 상기 (11)에 기재된 정보 처리 장치.
(13)
피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하고,
상기 화상을 해석하고, 상기 특징점의 위치를 인식하고,
인식한 상기 특징점의 위치를 기준으로 하여, 상기 화상상의 소정의 위치에 상기 측정 부분을 나타내는 정보를 표시시키는 스텝을 포함하는 정보 처리 방법.
(14)
피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하고,
상기 화상을 해석하고, 상기 특징점의 위치를 인식하고,
인식한 상기 특징점의 위치를 기준으로 하여, 상기 화상상의 소정의 위치에 상기 측정 부분을 나타내는 정보를 표시시키는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
1 : 정보 처리 장치
2 : 피부 측정기
11 : 디스플레이
12 : 카메라
81 : 화상 취득부
82 : 인식부
83 : 피부상태 해석부
84 : 정점 관측 포인트 설정부
85 : 정보 관리부
86 : 측정 결과 분석부
87 : 표시 제어부

Claims (14)

  1. 피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하는 취득부와,
    상기 화상을 해석하고, 상기 특징점의 위치를 인식하는 인식부와,
    상기 인식부에 의해 인식된 상기 특징점의 위치를 기준으로 하여, 상기 화상상의 소정의 위치에 상기 측정 부분을 나타내는 정보를 표시시키는 표시 제어부를 구비하는 것을 특징으로 하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 화상을 촬영하는 촬영부를 또한 구비하고,
    상기 취득부는, 상기 촬영부에 의해 촬영된 상기 화상을 취득하는 것을 특징으로 하는 정보 처리 장치.
  3. 제1항에 있어서,
    상기 화상과 상기 측정 부분을 나타내는 정보를 표시하는 표시부를 또한 구비하는 것을 특징으로 하는 정보 처리 장치.
  4. 제1항에 있어서,
    상기 측정 부분의 설정시에 촬영된 상기 화상을 해석함에 의해 상기 인식부에 의해 인식된 상기 특징점의 위치를 기준으로 하여, 상기 소정의 위치에 상기 측정 부분을 설정하는 설정부를 또한 구비하는 것을 특징으로 하는 정보 처리 장치.
  5. 제1항에 있어서,
    상기 측정 부분의 설정시에 촬영된 상기 화상상에서 상기 유저에 의해 지정된 위치에 상기 측정 부분을 설정하는 설정부를 또한 구비하는 것을 특징으로 하는 정보 처리 장치.
  6. 제4항에 있어서,
    상기 측정 부분의 설정시의 상기 정보 처리 장치의 각도를 검출하는 검출부를 또한 구비하는 것을 특징으로 하는 정보 처리 장치.
  7. 제6항에 있어서,
    상기 표시 제어부는, 상기 정보 처리 장치의 각도를, 상기 검출부에 의해 검출된 각도와 같은 각도로 조정할 것을 안내하는 정보를 표시하는 것을 특징으로 하는 정보 처리 장치.
  8. 제1항에 있어서,
    상기 표시 제어부는, 상기 화상상의, 상기 측정 부분의 설정시에 촬영된 상기 화상을 해석함에 의해 상기 인식부에 의해 인식된 상기 특징점의 위치와 같은 위치에, 상기 특징점을 나타내는 정보를 표시시키는 것을 특징으로 하는 정보 처리 장치.
  9. 제1항에 있어서,
    상기 표시 제어부는, 상기 특징점의 위치가 변화하는 것에 응하여, 상기 측정 부분을 나타내는 정보의 표시 위치를 변화시키는 것을 특징으로 하는 정보 처리 장치.
  10. 제1항에 있어서,
    상기 취득부는, 상기 측정 부분의 피부를 촬영하여 얻어진 피부화상을 취득하고,
    상기 표시 제어부는, 상기 피부화상과, 상기 유저가 찍히는 상기 화상을 동시에 표시시키는 것을 특징으로 하는 정보 처리 장치.
  11. 제10항에 있어서,
    상기 피부화상을 해석하고, 상기 측정 부분의 피부상태를 측정하는 해석부와,
    상기 해석부에 의한 측정의 결과를 나타내는 정보를 기록하는 기록부를 또한 구비하는 것을 특징으로 하는 정보 처리 장치.
  12. 제11항에 있어서,
    상기 표시 제어부는, 상기 기록부에 기록된 복수회의 측정의 결과를 나타내는 정보에 의거하여, 상기 측정 부분의 피부상태의 변화를 나타내는 정보를 표시시키는 것을 특징으로 하는 정보 처리 장치.
  13. 피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하고,
    상기 화상을 해석하고, 상기 특징점의 위치를 인식하고,
    인식한 상기 특징점의 위치를 기준으로 하여, 상기 화상상의 소정의 위치에 상기 측정 부분을 나타내는 정보를 표시시키는 스텝을 포함하는 것을 특징으로 하는 정보 처리 방법.
  14. 피부상태의 측정자인 유저의 소정의 특징점과, 피부상태의 측정 부분이 찍히는 화상을 취득하고,
    상기 화상을 해석하고, 상기 특징점의 위치를 인식하고,
    인식한 상기 특징점의 위치를 기준으로 하여, 상기 화상상의 소정의 위치에 상기 측정 부분을 나타내는 정보를 표시시키는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
KR1020177011026A 2014-11-14 2015-10-30 정보 처리 장치, 정보 처리 방법, 및 프로그램 Ceased KR20170086024A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-231798 2014-11-14
JP2014231798 2014-11-14
PCT/JP2015/080666 WO2016076140A1 (ja) 2014-11-14 2015-10-30 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20170086024A true KR20170086024A (ko) 2017-07-25

Family

ID=55954232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177011026A Ceased KR20170086024A (ko) 2014-11-14 2015-10-30 정보 처리 장치, 정보 처리 방법, 및 프로그램

Country Status (7)

Country Link
US (1) US10617301B2 (ko)
EP (1) EP3219250A4 (ko)
JP (1) JP6750504B2 (ko)
KR (1) KR20170086024A (ko)
CN (1) CN107106018B (ko)
TW (1) TWI669103B (ko)
WO (1) WO2016076140A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI701018B (zh) * 2015-01-29 2020-08-11 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式
CN106302330B (zh) * 2015-05-21 2021-01-05 腾讯科技（深圳）有限公司 身份验证方法、装置和系统
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
CN107692965A (zh) * 2016-08-09 2018-02-16 上海图檬信息科技有限公司 基于手机相机的引导和定位皮肤检测设备到指定位置的方法
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
CN109255280A (zh) * 2017-07-14 2019-01-22 丽宝大数据股份有限公司 皮肤状态检测方法与电子装置
DE102017212176A1 (de) * 2017-07-17 2019-01-17 Henkel Ag & Co. Kgaa System und Verfahren zum Ermitteln einer Wirksamkeit einer kosmetischen Hautbehandlung
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
CN110522411A (zh) * 2018-05-24 2019-12-03 浙江清华柔性电子技术研究院 可穿戴设备的固定装置
JP7081371B2 (ja) * 2018-07-26 2022-06-07 オムロンヘルスケア株式会社 生体データ測定システム及び情報処理装置
JP7408562B2 (ja) * 2018-10-24 2024-01-05 株式会社 資生堂 プログラム、情報処理装置、定量化方法及び情報処理システム
US11042726B2 (en) * 2018-11-05 2021-06-22 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
JP7361264B2 (ja) * 2018-11-05 2023-10-16 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
JP2020081323A (ja) * 2018-11-22 2020-06-04 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
WO2020116069A1 (ja) * 2018-12-07 2020-06-11 株式会社 資生堂 情報処理装置、及び、プログラム
CN110378304B (zh) * 2019-07-24 2021-11-02 厦门美图之家科技有限公司 皮肤状态检测方法、装置、设备及存储介质
JP7419720B2 (ja) * 2019-09-24 2024-01-23 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7613897B2 (ja) * 2020-11-26 2025-01-15 マクセル株式会社 肌状態測定システム
JP7522014B2 (ja) * 2020-11-26 2024-07-24 マクセル株式会社 肌状態測定システム
JPWO2024116769A1 (ko) * 2022-11-28 2024-06-06
JP2024077461A (ja) * 2022-11-28 2024-06-07 パナソニックＩｐマネジメント株式会社 歯周病検出システム、歯周病検出方法、及び歯周病検出プログラム
WO2024135313A1 (ja) * 2022-12-19 2024-06-27 株式会社資生堂 位置特定方法及び位置特定装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4616318B2 (ja) * 2004-01-23 2011-01-19 オリンパス株式会社 カメラ
JP2006081847A (ja) * 2004-09-17 2006-03-30 Inforward Inc 肌解析ネットワークシステム
CN101711674B (zh) 2004-10-22 2012-04-11 株式会社资生堂 皮肤状况诊断系统
JP4579046B2 (ja) * 2005-04-28 2010-11-10 株式会社資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
JP5080060B2 (ja) * 2005-11-08 2012-11-21 株式会社 資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
JP5116965B2 (ja) * 2005-11-08 2013-01-09 株式会社 資生堂 美容医療診断方法、美容医療診断システム、美容医療診断プログラム、及び該プログラムが記録された記録媒体
JP5044237B2 (ja) * 2006-03-27 2012-10-10 富士フイルム株式会社 画像記録装置、画像記録方法、および画像記録プログラム
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
JP5227212B2 (ja) * 2009-02-09 2013-07-03 株式会社 資生堂 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム
US8373859B2 (en) * 2009-03-27 2013-02-12 Brightex Bio-Photonics Llc Methods and systems for imaging skin using polarized lighting
JP2011053587A (ja) * 2009-09-04 2011-03-17 Sharp Corp 画像処理装置
CN102479322A (zh) * 2010-11-30 2012-05-30 财团法人资讯工业策进会 以具有角度的脸部影像分析脸部缺陷的系统、装置及方法
JP5733570B2 (ja) 2011-05-23 2015-06-10 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および、記録媒体
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
JP2014061057A (ja) * 2012-09-20 2014-04-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及び測定システム
CN103885694A (zh) * 2012-12-24 2014-06-25 鸿富锦精密工业(武汉)有限公司 显示屏幕自动调节系统及方法
JP6090679B2 (ja) * 2013-02-14 2017-03-15 パナソニックＩｐマネジメント株式会社 電子ミラー装置
JP2014180305A (ja) * 2013-03-18 2014-09-29 Funai Electric Co Ltd 情報端末装置
US10098545B2 (en) * 2013-10-23 2018-10-16 Maxell Holdings, Ltd. Lens information management system for surface condition measurement and analysis and information management method for surface condition measurement and analysis
FR3015741B1 (fr) * 2013-12-23 2015-12-25 Galderma Res & Dev Procede d'analyse d'images du visage pour la detection d'un effet flush.

Also Published As

Publication number Publication date
TW201617029A (zh) 2016-05-16
CN107106018A (zh) 2017-08-29
TWI669103B (zh) 2019-08-21
US10617301B2 (en) 2020-04-14
WO2016076140A1 (ja) 2016-05-19
JP6750504B2 (ja) 2020-09-02
CN107106018B (zh) 2021-10-22
US20170319065A1 (en) 2017-11-09
EP3219250A4 (en) 2018-07-11
EP3219250A1 (en) 2017-09-20
JPWO2016076140A1 (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
JP6750504B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105045398B (zh) 一种基于手势识别的虚拟现实交互设备
CN114502061A (zh) 使用深度学习的基于图像的自动皮肤诊断
US11328187B2 (en) Information processing apparatus and information processing method
US20160103487A1 (en) Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
US11029830B2 (en) Display control apparatus, display controlling method and display control program for providing guidance using a generated image
JP2006023953A (ja) 情報表示システム
CN105302295B (zh) 一种具有3d摄像组件的虚拟现实交互设备
KR20170066087A (ko) 피부 측정 장치 및 그 제어방법
WO2023043647A1 (en) Interactions based on mirror detection and context awareness
JP2014061057A (ja) 情報処理装置、情報処理方法、プログラム、及び測定システム
JP2024009357A (ja) 情報取得装置、情報取得方法及び記憶媒体
CN112749634A (zh) 基于美容设备的控制方法、装置以及电子设备
EP4552102A1 (en) Image capture devices, systems, and methods
CN110174937A (zh) 注视信息控制操作的实现方法及装置
JP2013161406A (ja) データ入力装置、表示装置、データ入力方法、及びデータ入力プログラム
US10819894B2 (en) Human machine interface system and method of providing guidance and instruction for iris recognition on mobile terminal
JP2013228490A (ja) 表示装置、その制御方法及びプログラム
CN119896456B (zh) 一种体脂秤及其控制方法
CA3218635A1 (en) Computer-based body part analysis methods and systems
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
CN119919970A (zh) 应用于健身镜的健康监测方法、系统及存储介质
Kwiatkowska et al. Eye Tracking as a Method of Controlling Applications on Mobile Devices.
WO2021200284A1 (ja) 学習支援装置および学習支援システム
EP4101367A1 (en) Method and device for determining a visual performance

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20170424

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200715

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210827

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220427

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210827

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I