WO2024005509A1 - 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치 - Google Patents

다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치 Download PDF

Info

Publication number
WO2024005509A1
WO2024005509A1 PCT/KR2023/008955 KR2023008955W WO2024005509A1 WO 2024005509 A1 WO2024005509 A1 WO 2024005509A1 KR 2023008955 W KR2023008955 W KR 2023008955W WO 2024005509 A1 WO2024005509 A1 WO 2024005509A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
image
wrinkle
melanin
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/008955
Other languages
English (en)
French (fr)
Inventor
정근호
이종하
유상욱
최용준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lululab Inc
Original Assignee
Lululab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lululab Inc filed Critical Lululab Inc
Priority to CN202380050641.5A priority Critical patent/CN119365120A/zh
Priority to US18/878,952 priority patent/US20250380899A1/en
Priority to EP23831868.7A priority patent/EP4548833A4/en
Publication of WO2024005509A1 publication Critical patent/WO2024005509A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour of tissue for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a method and device for obtaining skin analysis information using multiple wavelengths. More specifically, the present invention relates to a method and device for obtaining skin analysis information using multiple wavelengths. More specifically, the present invention relates to a multi-purpose skin analysis method such as skin melanin distribution, classification of dark circle causes, and determination of causes according to classification of wrinkle producing layer using multiple wavelengths. It relates to a method and device for obtaining analysis information.
  • the conventional skin condition measurement method for skin analysis is to measure the user's face based on preset shooting parameters (e.g., intensity of light source, direction, aperture value, or shutter speed, etc.) through a skin condition measuring device or device.
  • the skin condition of the user has been measured based on the photographed user's face image.
  • this method of measuring a user's skin condition based on facial images uses insufficient parameters to diagnose the skin, and can only diagnose the superficial skin condition, making it difficult to find the underlying cause of the problem.
  • a system that analyzes 2D images using only white light or UV wavelengths as a light source is used to distinguish between fine wrinkles in the epidermis and deep wrinkles created in the dermis. it's tough.
  • the purpose of the present invention to solve the above problems is a method of simultaneously acquiring multi-purpose skin analysis information through multiple wavelengths using the change in absorption and scattering within the skin according to the length of the wavelength and the difference in light penetration depth characteristics. and providing devices.
  • a multi-wavelength skin analysis device includes: a skin condition measuring unit that measures the user's skin condition using a camera and a multi-wavelength light source; A multi-purpose skin analysis information acquisition unit that acquires skin analysis information of the user through a multi-wavelength image acquired through the multi-wavelength light source unit; It may include a solution providing unit that provides information on recommended cosmetics corresponding to the measured skin condition.
  • the multipurpose skin analysis information acquisition unit includes a melanin distribution confirmation unit that determines the melanin state of the user's skin, a dark circle cause determination unit that determines the cause of the dark circle, and a wrinkle cause determination unit that corresponds to the classification of the wrinkle producing layer. It may include parts, etc.
  • the melanin distribution confirmation unit acquires a first wavelength image using a first light source having a first wavelength, and uses a second light source having a second wavelength that is shorter than the first wavelength. Acquire a second wavelength image, extract a first melanin region image based on the first wavelength image, extract a second melanin region image based on the second wavelength image, and extract the first melanin region image and the The second melanin region image can be combined with the skin image of the user, and a melanin distribution image can be obtained through the combination.
  • a method of repeating the wavelength image acquisition and melanin region extraction process using two or more different wavelength light sources in the same manner, and obtaining a melanin multi-level distribution image corresponding to the melanin light absorbance characteristics of each wavelength through the combination. may include.
  • the melanin distribution confirmation unit acquires a third wavelength image using a third light source having a third wavelength that is the longest wavelength among the multi-wavelength light sources, and the melanin distribution confirmation unit acquires a third wavelength image using a third wavelength image that is the longest wavelength among the multi-wavelength light sources.
  • a fourth wavelength image is acquired using a fourth light source with four wavelengths, a difference image is generated based on the third wavelength image and the fourth wavelength image, and a melanin area is emphasized based on the generated difference image.
  • Melanin distribution images can be obtained.
  • the dark circle cause determination unit detects the user's dark circle area in the user's skin image obtained through the camera, and determines a first component amount in which the melanin component is preset in the detected dark circle area. If it is detected in excess, the cause of the user's dark circles is determined to be due to pigmentation, and if the hemoglobin component in the detected dark circle area is detected in excess of the preset second component amount, the cause of the user's dark circles is determined to be blood vessels. It can be determined that this is due to expansion.
  • the wrinkle cause determination unit acquires a first wrinkle image based on a fifth light source having a fifth wavelength among the multiple wavelengths, and has a sixth wavelength that is longer than the fifth wavelength among the multiple wavelengths.
  • Obtain a second wrinkle image based on a sixth light source determine wrinkle classification according to the user's wrinkle-generating layer and the corresponding main cause of wrinkle generation based on the first wrinkle image and the second wrinkle image, and 1 Wrinkle image may be an epidermal wrinkle image, and the second wrinkle information may be a dermal wrinkle image.
  • multi-purpose skin analysis information can be obtained simultaneously using multiple wavelengths.
  • the distribution of melanin in the user's skin can be confirmed using a multi-wavelength light source.
  • the cause of dark circles can be revealed using a multi-wavelength light source, and a method for solving dark circles according to the cause of dark circles can be proposed.
  • a multi-wavelength light source can be used to distinguish between shallow wrinkles in the epidermis and deep wrinkles created in the dermal layer, and a user-tailored solution method can be presented according to the distinction between wrinkle-generating layers.
  • Figure 1 is a diagram illustrating a multi-wavelength skin analysis system according to an embodiment.
  • Figure 2 is a diagram showing the main components of a multi-wavelength skin analysis device.
  • Figure 3 is a diagram related to checking the melanin distribution of the user's skin through a multi-wavelength light source.
  • Figure 4 is a diagram related to determining the cause of a user's dark circles using a multi-wavelength light source.
  • Figure 5 is a diagram related to determining the cause of wrinkles according to the wrinkle-producing layer of the user's skin using a multi-wavelength light source.
  • Figure 6 is a diagram showing the hardware configuration of the multi-wavelength skin analysis device according to Figure 1.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
  • a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention.
  • the term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
  • FIG. 1 is a diagram illustrating a multi-wavelength skin analysis system 10 according to an embodiment.
  • the multi-wavelength skin analysis system 10 may include a multi-wavelength skin analysis device 100, a user terminal 200, and the like.
  • the multi-wavelength skin analysis device 100 may include a multi-wavelength light source unit (e.g., an ultraviolet light source unit, a visible light source unit, and a near-infrared light source unit) and a photographing unit (e.g., a camera), and the user's skin may be formed through the multi-wavelength light source unit and the imaging unit. Status can be measured.
  • the multi-wavelength skin analysis device 100 extracts melanin distribution, determines the cause of the user's dark circles, and determines the cause of the user's dark circles based on the multi-wavelength image acquired through the multi-wavelength light source unit and the user's facial image acquired through the photography unit. The cause of wrinkles can be determined.
  • the user terminal 200 is a communication capable desktop computer, laptop computer, laptop, smart phone, tablet PC, mobile phone, or smart watch. (smart watch), smart glass, e-book reader, PMP (portable multimedia player), portable game console, navigation device, digital camera, DMB (digital multimedia broadcasting) player, digital voice It may be a digital audio recorder, a digital audio player, a digital video recorder, a digital video player, and a PDA (Personal Digital Assistant).
  • the multi-wavelength skin analysis device 100 and the user terminal 200 are each connected to a communication network and can transmit and receive data with each other through the communication network.
  • communication networks include Local Area Network (LAN), Metropolitan Area Network (MAN), Global System for Mobile Network (GSM), Enhanced Data GSM Environment (EDGE), High Speed Downlink Packet Access (HSDPA), and W-CDMA.
  • Wi-Fi Wireless Local Area Network
  • VoIP Voice over Internet Protocol
  • LTE Advanced Long Term Evolution
  • IEEE802.16m WirelessMAN-Advanced
  • HSPA+ 3GPP Long Term Evolution
  • Mobile WiMAX IEEE 802.16e
  • UMB formerly EV-DO Rev. C
  • Flash-OFDM iBurst and MBWA
  • 802.20 HIPERMAN
  • BDMA Beam-Division Multiple Access
  • Wi-MAX Worldwide Interoperability for Microwave Access
  • 5G 5G.
  • FIG. 2 is a diagram showing the main components of the multi-wavelength skin analysis device 100.
  • the multi-wavelength skin analysis device 100 includes a skin condition measurement unit 101, a multi-purpose skin analysis information acquisition unit 102, a melanin distribution confirmation unit (or determination unit) 1021, and a dark circle cause determination unit. It may include a determination unit (or decision unit) 1022, a wrinkle cause determination unit (or decision unit) 1023, and a solution provision unit 103.
  • the multi-purpose skin analysis information acquisition unit 102 includes a melanin distribution confirmation unit (or determination unit) 1021, a dark circle cause determination unit (or determination unit) 1022, and a wrinkle cause determination unit (or determination unit) ( It is not limited to including 1023), and it is obvious to a person skilled in the art that other analysis units capable of analysis at multiple wavelengths may be additionally included.
  • the skin condition measuring unit 101 may include an ultraviolet light source unit that irradiates ultraviolet rays, a visible light source unit that irradiates visible light, and an infrared light source unit that irradiates near infrared rays.
  • the skin condition measuring unit 101 may acquire an image capturing unit including a camera, a polarizer, a diffusion plate, a distance sensor, etc. in addition to a multi-wavelength light source unit.
  • the skin condition measurement unit 101 may irradiate multi-wavelength light sources, including ultraviolet (UV), visible (VIS), and near-infrared (NIR) light sources, to the user's skin.
  • the skin condition measuring unit 101 can photograph the user's skin in a state irradiated with a multi-wavelength light source through the imaging unit.
  • the skin condition measuring unit 101 may acquire an image of the user's skin through the above photographing.
  • the skin condition measurement unit 101 sequentially irradiates a plurality of light sources such as ultraviolet rays, visible rays, and infrared rays, and can acquire wavelength band images corresponding to each of the plurality of light sources through a camera.
  • a plurality of light sources such as ultraviolet rays, visible rays, and infrared rays
  • Figure 3 is a diagram related to checking the melanin distribution of the user's skin through a multi-wavelength light source.
  • the melanin distribution confirmation unit 1021 can check the melanin distribution through a multi-wavelength light source.
  • the melanin distribution confirmation unit 1021 may acquire a melanin distribution image based on melanin absorbance characteristics according to wavelength through a multi-wavelength light source and calculate a melanin index.
  • the melanin distribution confirmation unit 1021 can acquire images of each wavelength using a light source with each wavelength (S310), and at relatively short wavelengths (e.g., visible light below 450 nm and ultraviolet A), melanin is detected due to high melanin absorbance. Areas with low density also show high contrast with the surrounding skin tissue in the image, and due to low melanin absorbance at relatively long wavelengths (e.g., visible light and near-infrared rays over 750 nm), only areas with high melanin density are indistinguishable from the surrounding skin tissue in the image. It shows high contrast.
  • relatively short wavelengths e.g., visible light below 450 nm and ultraviolet A
  • the melanin distribution confirmation unit 1021 may perform binarization (e.g., Otsu's Thresholding) on each of the wavelength images (S320).
  • the melanin distribution confirmation unit 1021 may extract melanin regions from each of the binarized wavelength images.
  • the melanin distribution confirmation unit 1021 may combine images of the extracted melanin regions with the user's skin image (S330).
  • the melanin distribution confirmation unit 1021 can acquire a melanin distribution image through the above combination (S340).
  • the melanin distribution confirmation unit 1021 acquires a first wavelength image using a first light source with a first wavelength, and uses a second light source with a second wavelength that is shorter than the first wavelength to obtain a first wavelength image. Two-wavelength images can be acquired.
  • the melanin distribution confirmation unit 1021 may extract a first melanin region based on the first wavelength image and extract a second melanin region based on the second wavelength image.
  • the melanin distribution confirmation unit 1021 may obtain a melanin distribution image by combining the first melanin region image and the second melanin region image with the skin image of the user.
  • the melanin distribution confirmation unit 1021 repeats the process of acquiring the wavelength image and extracting the melanin area using two or more different wavelength light sources, and through the combination, melanin multi-level distribution corresponding to the melanin light absorbance characteristics of each wavelength It may also include a method of acquiring an image.
  • the melanin distribution confirmation unit 1021 may determine a light source having each of two wavelengths with a large difference in light absorption for melanin (S311).
  • the melanin distribution confirmation unit 1021 may acquire two wavelength images (eg, a first wavelength image and a second wavelength image) in which the difference in light absorption of melanin is large (S321).
  • the melanin distribution confirmation unit 1021 may generate a difference image based on the first wavelength image and the second wavelength image (S331).
  • the melanin distribution confirmation unit 1021 acquires a third wavelength image using a third light source with a third wavelength, which is the longest wavelength among the multi-wavelength light sources, and uses a third wavelength image with the shortest wavelength among the multi-wavelength light sources.
  • a fourth wavelength image can be obtained using a fourth light source with a wavelength.
  • the melanin distribution confirmation unit 1021 may generate a difference image based on the third wavelength image and the fourth wavelength image.
  • the melanin distribution confirmation unit 1021 may generate a melanin distribution image (eg, melanin-highlighted image) based on the difference image (S340).
  • the melanin distribution confirmation unit 1021 may calculate the ratio of the pixel value included in the melanin area and the light source intensity before light absorption, and calculate the degree of melanin (melanin index) based on the calculated ratio.
  • the optical density (OD) is as follows, and the two wavelength images with different light absorbance are A melanin index image can be obtained by calculating the optical density gradient between two wavelengths by multiplying the difference in optical density of pixels corresponding to the same location by a correction constant, and calculating the average index value of the entire image or melanin area to determine the degree of melanin. It can be calculated.
  • Equation 1 OD may refer to the optical density, and R may refer to the ratio of irradiated light and detected light diffused and reflected inside the skin.
  • Figure 4 is a diagram related to determining the cause of a user's dark circles using a multi-wavelength light source.
  • the dark circle cause determination unit 1022 can measure melanin and hemoglobin components through multiple wavelengths and determine the cause of dark circles based on the measured melanin and hemoglobin components.
  • the dark circle cause determination unit 1022 may detect the eye area in the user's face image.
  • the dark circle cause determination unit 1022 may detect a dark circle area close to the eye area in the user's face image.
  • the dark circle cause determination unit 1022 may select a more limited dark circle area and determine an expected dark circle area in order to detect dark circles within the limited area.
  • the dark circle cause determination unit 1022 detects the left eye and the right eye in the acquired face image, determines the outermost line for each of the detected left eye and right eye, and moves the determined outermost line to an angle greater than a preset angle. The bent point can be determined.
  • the dark circle cause determination unit 1022 determines the first and second points that are bent by more than a preset angle on the first outermost line corresponding to the left eye, and the second outermost point corresponding to the right eye.
  • the third and fourth points that are bent more than a preset angle from the outer line can be determined.
  • the dark circle cause determination unit 1022 may calculate a first distance between the first point and the second point, and calculate a second distance between the third point and the fourth point.
  • the dark circle cause determination unit 1022 is configured to determine the first area from the first lowest point of the first outermost line corresponding to the left eye to a point that is a first distance away from the bottom and the second outermost line corresponding to the right eye.
  • the second area from the second lowest point to the point that is a second distance away from the bottom may be determined as the expected dark circle area.
  • the dark circle cause determination unit 1022 can train a dark circle area detection model, which is an artificial neural network model, and input the user's face image into the learned dark circle area detection model.
  • the dark circle cause determination unit 1022 can detect or determine the dark circle area by inputting the user's face image into the model (S410).
  • the dark circle cause determination unit 1022 can use facial images of people with dark circles as learning data. Face images of people with dark circles may be obtained from a database included in the device 100 or terminal 200 or may be obtained from an external DB.
  • the learning data of one embodiment may be training data that has feature points of a face image as input values and feature points of a dark circle area within the face image as output values.
  • the feature point may be a pixel value or a color value corresponding to each pixel.
  • the dark circle cause determination unit 1022 may learn the dark circle area detection model using training data.
  • the dark circle area detection model can be supervised learning using ‘feature points of the face image’ and ‘feature points of the dark circle area within the face image’.
  • Supervised learning refers to learning to find an output value according to a given input value by using data with input values and corresponding output values as learning data, and refers to learning that takes place when the correct answer is known.
  • the set of input and output values given to supervised learning is called training data. That is, the above-mentioned 'feature points of the face image' and 'feature points of the dark circle area in the face image' are input and output values, respectively, and can be used as training data for supervised learning of the dark circle area detection model.
  • the dark circle cause determination unit 1022 generates an input value by converting the feature point of the face image into a unique first one-hot vector, and selects the feature point of the dark circle area in the face image. After converting to a unique second one-hot vector and generating an output value, a dark circle area detection model can be supervised using the generated input and output values.
  • the first one-hot vector and the second one-hot vector may be vectors in which one of the component values constituting the vector is '1' and the remaining component values are '0'.
  • the dark circle area detection model receives an input value, multiplies the connection strength (or weight) for each of the input layer and the output value of the input layer with nodes corresponding to the number of components of the first one-hot vector, and , one or more hidden layers that add a bias and output; And it may include an output layer that multiplies each output value of the hidden layer by a connection strength (or weight) and outputs the result using an activation function.
  • the activation function may be a ReLU function or a Softmax function, but is not limited thereto. Connection strengths and biases can be continuously updated by supervised learning.
  • the dark circle area detection model may be supervised so that the output value of the loss function according to the given input value (first one-hot vector) and output value (second one-hot vector) is minimized.
  • the loss function (H(Y, Y')) can be defined as Equation 2 below.
  • Equation 2 Ym is the mth component of the second one-hot vector, and Y ⁇ m is the mth component of the output vector output by receiving the first one-hot vector from the average face image guessing model 503. It can be.
  • the dark circle cause determination unit 1022 determines the dark circle area based on the 'feature points of the dark circle area in the face image', which is the output value of the dark circle area detection model, and additionally considers the determined dark circle expected area to determine the dark circle area.
  • the area can be determined.
  • the dark circle cause determination unit 1022 may determine the dark circle area based on feature points that overlap with the expected dark circle area among the 'feature points of the dark circle area in the face image'.
  • the dark circle cause determination unit 1022 calculates a first average value for pixel values of pixels included in the determined or detected dark circle area, and pixels of pixels included in a non-dark circle area adjacent to the dark circle area. A second average value for the values may be calculated.
  • the dark circle cause determination unit 1022 determines the user's dark It can be determined that the cause of the circles is due to pigmentation.
  • the dark circle cause determination unit 1022 It can be determined that the cause of the circles is due to pigmentation.
  • the dark circle cause determination unit 1022 determines the level of the user's dark circles when the melanin component is detected in excess of the preset first ingredient amount.
  • the cause of the user's dark circles may be determined to be due to pigmentation, and if the hemoglobin component is detected to exceed the preset amount of the second component, the cause of the user's dark circles may be determined to be due to vasodilation.
  • the dark circle cause determination unit 1022 may determine a melanin measurement wavelength and a hemoglobin measurement wavelength based on light absorption characteristics.
  • the dark circle cause determination unit 1022 uses a reflector to determine each measurement wavelength light source image (e.g., melanin measurement wavelength light source image and hemoglobin measurement wavelength light source image) and the detection light generated by diffusion and reflection of each wavelength within the skin tissue in the dark circle area. Images can be acquired separately, and the optical density of pixels included in the dark circle area can be calculated based on the intensity ratio of each pixel of the two images.
  • the melanin index image can be derived by calculating the optical density gradient between the two wavelengths by multiplying the difference in optical density of pixels corresponding to the same position in two wavelength images with different optical absorption for melanin by a correction constant, and is approximately Methods may include using 600 nm and 700 nm wavelength light sources, particularly 650 nm and 700 nm wavelength light sources.
  • the hemoglobin index image is a method of calculating the area of the area between about 500 nm and 600 nm in the skin optical density graph, obtaining the optical density gradient between wavelengths of about 560 nm and 650 nm, and/or measuring the optical density between the wavelengths of about 560 nm and 650 nm. It can be derived by calculating the difference in optical density between the two wavelength images.
  • the dark circle cause determination unit 1022 may generate a melanin index image and a hemoglobin index image through the above calculation, and determine or calculate the melanin index and the hemoglobin index based on the melanin index image and the hemoglobin index image. You can.
  • Figure 5 is a diagram related to determining the cause of a user's skin wrinkles using a multi-wavelength light source.
  • the wrinkle cause determination unit 1023 can obtain wrinkle information through multiple wavelengths.
  • the wrinkle cause determination unit 1023 acquires first wrinkle information (e.g., shallow wrinkle emphasis information) using the fifth wavelength (e.g., UV wavelength) among the multiple wavelengths (S510), and uses the sixth wavelength (e.g., UV wavelength) among the multiple wavelengths.
  • Fifth wavelength e.g., UV wavelength
  • UV wavelength e.g., UV wavelength
  • second wrinkle information e.g., deep wrinkle information
  • the wrinkle cause determination unit 1023 uses the characteristic of the difference in light penetration depth due to changes in absorption and scattering within the skin tissue according to the light wavelength to determine fine wrinkles in the epidermis and dermis, which are difficult to distinguish using the existing white light or UV wavelength light source method.
  • the degree of deep wrinkles created can be determined. Due to the difference in light penetration depth, the 5th wavelength (e.g. UV wavelength) is a deep wrinkle mixed image with shallow wrinkles in the epidermal layer emphasized, the visible light source is a mixed image of shallow wrinkles and deep wrinkles, and the 6th wavelength (e.g. near infrared) is a deep wrinkle mixed image in which the shallow wrinkles in the epidermal layer are emphasized. Deep wrinkle images can be obtained.
  • a method of calculating the degree of wrinkles based on the acquired multi-wavelength skin image may include using a wrinkle detection model through learning training data with wrinkle area feature points as output values or a method of highlighting the wrinkle area based on image processing.
  • the wrinkle cause determination unit 1023 may determine the cause of the user's wrinkles based on the obtained wrinkle information (S530).
  • the wrinkle cause determination unit 1023 acquires the user's first wrinkle image through a light source with a fifth wavelength, and acquires the user's second wrinkle image through a light source with a sixth wavelength, which is a longer wavelength than the fifth wavelength. can do.
  • the wrinkle cause determination unit 1023 determines the degree of shallow wrinkles of the user in advance based on shallow wrinkle information obtained based on the fifth wavelength (e.g., UV wavelength) or the difference image between the fifth and sixth wavelength images. If it is more than a set level, it is determined that the user's wrinkles are shallow wrinkles occurring in the epidermal layer, and in response to the user's wrinkles being determined to be shallow wrinkles, the main cause of the user's wrinkles may be determined to be lack of moisture.
  • the fifth wavelength e.g., UV wavelength
  • the wrinkle cause determination unit 1023 determines that the user's deep wrinkles are greater than a preset level based on the deep wrinkle information acquired through the sixth wavelength (e.g., near-infrared rays), the wrinkles of the user are deep wrinkles occurring in the dermal layer. It is determined that the wrinkles are wrinkles, and in response to the determination that the user's wrinkles are deep wrinkles, the main cause of wrinkles in the user may be determined to be lack of elasticity.
  • a preset level based on the deep wrinkle information acquired through the sixth wavelength (e.g., near-infrared rays)
  • the wrinkles of the user are deep wrinkles occurring in the dermal layer. It is determined that the wrinkles are wrinkles, and in response to the determination that the user's wrinkles are deep wrinkles, the main cause of wrinkles in the user may be determined to be lack of elasticity.
  • the solution provider 103 may provide the user terminal 200 with information about recommended cosmetics or recommended products corresponding to the measured skin condition. If the user's main cause of wrinkles is determined to be lack of moisture, the solution provider 103 determines cosmetics or products with a good moisturizing effect as cosmetics or products to recommend to the user, and if the user's main cause of wrinkles is determined to be lack of elasticity, the solution provider 103 determines that the user's main cause of wrinkles is lack of moisture. In this case, cosmetics or products that are good for skin elasticity may be determined as cosmetics or products to recommend to the user.
  • the solution provider 103 determines cosmetics or products that are good for whitening or pigmentation as cosmetics or products to recommend to the user, and determines that the user's skin condition has a high hemoglobin index. If determined, cosmetics or products that improve flushing or vasodilation may be determined as cosmetics or products to be recommended to the user.
  • FIG. 6 is a diagram showing the hardware configuration of the device 100 according to FIG. 1.
  • the multi-wavelength skin analysis device 100 includes at least one processor 110 and instructions instructing the at least one processor 110 to perform at least one operation. May include storage memory.
  • the at least one operation includes at least some of the operations or functions of the above-described device 100 and may be implemented in the form of instructions and performed by the processor 110.
  • the at least one processor 110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. You can.
  • Each of the memory 120 and the storage device 160 may be comprised of at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory 120 may be one of read only memory (ROM) and random access memory (RAM), and the storage device 160 may be flash memory. , a hard disk drive (HDD), a solid state drive (SSD), or various memory cards (eg, micro SD card).
  • the multi-wavelength skin analysis device 100 may include a transceiver 130 that communicates through a wireless network. Additionally, the device 100 may further include an input interface device 140, an output interface device 150, a storage device 160, etc. Each component included in the multi-wavelength skin analysis device 100 is connected by a bus 170 and can communicate with each other.
  • the multi-wavelength skin analysis device 100 is described as an example, but it is not limited thereto.
  • a plurality of user terminals may include components according to FIG. 6 .
  • Computer-readable media may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on a computer-readable medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the computer software art.
  • Examples of computer-readable media may include hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • Examples of program instructions may include machine language code such as that created by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the above-described hardware device may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
  • the above-described method or device may be implemented by combining all or part of its components or functions, or may be implemented separately.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Nursing (AREA)

Abstract

다양한 실시 예에 따르면, 다파장 피부 분석 장치에 있어서, 카메라 및 다파장 광원부를 이용하여 사용자의 피부 상태를 측정하는 피부 상태 측정부; 상기 다파장 광원부를 통해 획득된 다파장 영상을 통해 상기 사용자의 피부 분석 정보를 획득하는 다목적 피부 분석 정보 획득부; 측정된 상기 피부 상태에 대응하는 추천 화장품에 대한 정보를 제공하는 솔루션 제공부를 포함하고, 상기 다목적 피부 분석 정보 획득부는, 상기 사용자의 피부의 멜라닌 상태를 결정하는 멜라닌 분포 확인부, 다크서클 원인을 결정하는 다크서클 원인 판단부 및 주름 생성층 구분에 대응하는 주름 원인 판단부을 포함할 수 있다.

Description

다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치
본 발명은 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 다파장을 이용하여 피부 멜라닌 분포도, 다크서클 원인 구분, 주름 생성층 구분에 따른 원인 판단 등 다목적 피부 분석 정보를 획득하는 방법 및 장치에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
근래에는 피부 건강에 대한 관심, 특히 얼굴의 피부 건강에 대한 관심이 높아지고 있다. 피부 건강에 대한 관심이 높아짐에 따라 다양한 화장품 및 미용 기기가 등장하고 있다. 특히, 사용자의 얼굴 피부를 촬영하여 사용자 얼굴에 있는 다양한 피부 트러블(예를 들어, 주름, 모공 및 여드름 등) 등을 분석하는 피부 상태 측정 방법이 개발되고 있다.
종래의 피부 분석을 위한 피부 상태 측정 방법은 사용자 얼굴이 피부 상태 측정 장치 내지 기기를 통해 기설정된 촬영 파라미터(예를 들어, 광원의 세기, 방향, 조리개 값 또는 셔터 스피드 등)을 바탕으로 사용자 얼굴을 촬영하고, 촬영된 사용자의 얼굴 이미지에 기반하여 사용자의 피부 상태를 측정해왔다.
다만, 이러한 얼굴 이미지 기반의 사용자 피부 상태 측정 방법은 피부를 진단하기에는 부족한 파라미터를 이용하고, 표면적인 피부 상태만이 진단이 가능할뿐, 본질적인 트러블 이유를 찾아내기는 힘들다. 예를 들어, 사용자의 주름을 진단하는 경우에도 백색광 또는 UV 파장만을 광원으로 사용한 2D 이미지를 분석하는 시스템으로 사용자의 주름을 진단하는 것은 표피의 잔주름과 진피에서 생성된 깊은 주름이 혼합되어 이를 구분하기 힘들다.
또한, 위와 같은 방법으로는 한 번의 측정으로 다양하게 피부를 분석하는 것이 힘들 수 있다. 따라서, 피부를 진단함에 있어서 다파장 광원을 이용하여 다목적 피부 분석 정보를 획득하는 방법이 강구될 필요가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 파장의 길이에 따른 피부 내에서의 흡수 및 산란도 변화와 광 침투깊이 차이 특성을 이용한 다파장을 통해 다목적의 피부 분석 정보를 동시에 획득하는 방법 및 장치를 제공하는데 있다.
다양한 실시 예에 따르면, 다파장 피부 분석 장치는, 카메라 및 다파장 광원부를 이용하여 사용자의 피부 상태를 측정하는 피부 상태 측정부; 상기 다파장 광원부를 통해 획득된 다파장 영상을 통해 상기 사용자의 피부 분석 정보를 획득하는 다목적 피부 분석 정보 획득부; 측정된 상기 피부 상태에 대응하는 추천 화장품에 대한 정보를 제공하는 솔루션 제공부를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 다목적 피부 분석 정보 획득부는 상기 사용자의 피부의 멜라닌 상태를 결정하는 멜라닌 분포 확인부, 다크서클 원인을 결정하는 다크서클 원인 판단부, 주름 생성층 구분에 대응하는 주름 원인 판단부, 등을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 멜라닌 분포 확인부는, 제1 파장을 가진 제1 광원을 이용하여 제1 파장 영상을 획득하고, 상기 제1 파장보다 짧은 파장인 제2 파장을 가진 제2 광원을 이용하여 제2 파장 영상을 획득하고, 상기 제1 파장 영상에 기반하여 제1 멜라닌 영역 이미지를 추출하고, 상기 제2 파장 영상에 기반하여 제2 멜라닌 영역 이미지를 추출하고, 상기 제1 멜라닌 영역 이미지 및 상기 제2 멜라닌 영역 이미지를 상기 사용자의 상기 피부 이미지에 결합하고, 상기 결합을 통해 멜라닌 분포 영상을 획득할 수 있다. 동일한 방법으로 2개 이상의 서로 다른 파장 광원들을 이용하여 상기 파장 영상 획득 및 멜라닌 영역 이미 추출 과정을 반복하고, 상기 결합을 통해 각 파장의 멜라닌 광흡수도 특성에 대응하는 멜라닌 다단계 분포 영상을 획득하는 방법을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 멜라닌 분포 확인부는, 상기 다파장 광원 중 제일 긴 파장인 제3 파장을 가진 제3 광원을 이용하여 제3 파장 영상을 획득하고, 상기 다파장 광원 중 제일 짧은 파장인 제4 파장을 가진 제4 광원을 이용하여 제4 파장 영상을 획득하고, 상기 제3 파장 영상 및 상기 제4 파장 영상에 기반하여 차분 영상을 생성하고, 생성된 상기 차분 영상에 기반하여 멜라닌 영역이 강조된 멜라닌 분포 영상을 획득할 수 있다.
다양한 실시 예에 따르면, 상기 다크서클 원인 판단부는, 상기 카메라를 통해 획득된 상기 사용자의 피부 이미지에서 상기 사용자의 다크서클 영역을 검출하고, 검출된 상기 다크서클 영역에서 멜라닌 성분이 미리 설정된 제1 성분량보다 초과 검출된 경우에는 사용자의 다크서클의 원인을 색소 침착으로 인한 것으로 결정하고, 검출된 상기 다크서클 영역에서 헤모글로빈 성분이 미리 설정된 제2 성분량보다 초과 검출된 경우에는 사용자의 다크서클의 원인을 혈관 확장으로 인한 것으로 결정할 수 있다.
다양한 실시 예에 따르면, 주름 원인 판단부는, 상기 다파장 중 제5 파장을 가진 제5 광원에 기반한 제1 주름 영상을 획득하고, 상기 다파장 중 상기 제5 파장보다 긴 파장인 제6 파장을 가진 제6 광원에 기반한 제2 주름 영상를 획득하고, 상기 제1 주름 영상 및 상기 제2 주름 영상에 기반하여 상기 사용자의 주름 생성층에 따른 주름 구분과 이에 대응하는 주요 주름 생성원인을 결정하고, 상기 제1 주름 영상은 표피 주름 영상이고, 상기 제2 주름 정보는 진피 주름 영상일 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 다파장을 이용하여 동시에 다목적 피부 분석 정보를 획득할 수 있다.
또한, 다양한 실시 예들에 따르면, 다파장 광원을 이용하여 사용자의 피부 내의 멜라닌 분포도를 확인할 수 있다.
또한, 다양한 실시 예들에 따르면, 다파장 광원을 이용하여 다크서클의 생성 원인을 밝혀내고, 생성 원인에 따른 다크서클 해결 방법을 제시할 수 있다.
또한, 다양한 실시 예들에 따르면, 다파장 광원을 이용하여 표피의 얕은 주름과 진피층에서 생성된 깊은 주름을 구분할 수 있고 주름 생성층 구분에 따른 사용자 맞춤형 해결 방법을 제시할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 다파장 피부 분석 시스템을 도시한 도면이다.
도 2는 다파장 피부 분석 장치의 주요 구성 요소를 나타낸 도면이다.
도 3은 다파장 광원을 통해 사용자 피부의 멜라닌 분포를 확인하는 것과 관련된 도면이다.
도 4는 다파장 광원을 이용하여 사용자의 다크서클 원인을 결정하는 것에 관한 도면이다.
도 5는 다파장 광원을 통해 사용자의 피부 주름 생성층 구분에 따른 주름 생성 원인을 결정하는 것에 관한 도면이다.
도 6은 도 1에 따른 다파장 피부 분석 장치의 하드웨어 구성을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시 예에 다파장 피부 분석 시스템(10)을 도시한 도면이다. 도 1을 참조하면, 다파장 피부 분석 시스템(10)은 다파장 피부 분석 장치(100), 사용자 단말(200) 등을 포함할 수 있다.
다파장 피부 분석 장치(100)는 다파장 광원부(예: 자외선 광원부, 가시광선 광원부, 근적외선 광원부) 및 촬영부(예: 카메라)를 포함할 수 있고, 상기 다파장 광원부 및 촬영부를 통해 사용자의 피부 상태를 측정할 수 있다. 다파장 피부 분석 장치(100)는 다파장 광원부를 통해 획득된 다파장 이미지 및 촬영부를 통해 획득된 사용자의 얼굴 이미지에 기반하여, 멜라닌 분포도를 추출하고, 사용자의 다크서클 원인을 결정하고, 사용자의 주름 원인을 결정할 수 있다.
사용자 단말(200)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), 및 PDA(Personal Digital Assistant) 등 일 수 있다.
다파장 피부 분석 장치(100), 사용자 단말(200)은 각각 통신 네트워크에 연결되어, 통신 네트워크를 통해 서로간 데이터를 송수신할 수 있다. 예를 들어, 통신 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX(IEEE 802.16e), UMB(formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access), 5G 등 다양한 종류의 유선 또는 무선 네트워크가 사용될 수 있다.
도 2는 다파장 피부 분석 장치(100)의 주요 구성 요소를 나타낸 도면이다. 도 2를 참조하면, 다파장 피부 분석 장치(100)는 피부 상태 측정부(101), 다목적 피부 분석 정보 획득부(102), 멜라닌 분포 확인부(또는, 결정부)(1021), 다크서클 원인 판단부(또는, 결정부)(1022), 주름 원인 판단부(또는, 결정부)(1023) 및 솔루션 제공부(103) 등을 포함할 수 있다. 다목적 피부 분석 정보 획득부(102)는 멜라닌 분포 확인부(또는, 결정부)(1021), 다크서클 원인 판단부(또는, 결정부)(1022), 주름 원인 판단부(또는, 결정부)(1023)를 포함하는 것에 한정되는 것은 아니며, 다파장으로 분석 가능한 다른 분석부를 추가로 포함할 수 있음은 통상의 기술자 수준에서 자명하다고 할 것이다.
피부 상태 측정부(101)는 자외선을 조사하는 자외선 광원부, 가시광선을 조사하는 가시광선 광원부 및 근적외선을 조사하는 적외선 광원부를 포함할 수 있다. 피부 상태 측정부(101)는 다파장 광원부 이외에 카메라, 편광판, 확산판, 거리 감지 센서 등을 포함하는 이미지 촬영부를 획득할 수 있다.
피부 상태 측정부(101)는 사용자의 피부로 자외선(UV), 가시광선(VIS) 및 근적외선(NIR) 광원을 포함하는 다파장 광원을 조사할 수 있다. 피부 상태 측정부(101)는 촬영부를 통해 다파장 광원을 조사한 상태의 사용자의 피부를 촬영할 수 있다. 피부 상태 측정부(101)는 상기 촬영을 통해 사용자의 피부 이미지를 획득할 수 있다.
피부 상태 측정부(101)는 자외선, 가시광선, 적외선 등의 복수의 광원을 순차적으로 조사하고, 카메라를 통해 복수의 광원 각각에 대응하는 파장대역 영상을 획득할 수 있으며, 광원 또는 카메라에 파장 대역필터를 포함할 수 있다.
도 3은 다파장 광원을 통해 사용자 피부의 멜라닌 분포를 확인하는 것과 관련된 도면이다.
멜라닌 분포 확인부(1021)는 다파장 광원을 통해 멜라닌 분포를 확인할 수 있다. 멜라닌 분포 확인부(1021)는 다파장 광원을 통해 파장에 따른 멜라닌 흡광도 특성 기반의 멜라닌 분포 영상을 획득하고, 멜라닌 지수를 산출할 수 있다.
멜라닌 분포 확인부(1021)는 각 파장을 가진 광원을 이용하여 각 파장 영상들을 획득할 수 있고(S310), 상대적으로 단파장(예: 450 nm 이하 가시광선 및 자외선A)에서는 높은 멜라닌 흡광도로 인해 멜라닌 밀도가 낮은 영역도 영상에서 주변 피부조직과 높은 대조도를 보이고, 상대적으로 긴 파장(예: 750 nm 이상 가시광선 및 근적외선)에서는 낮은 멜라닌 흡광도로 인해 멜라닌 밀도가 높은 영역만 영상에서 주변 피부조직과 높은 대조도를 보인다.
멜라닌 분포 확인부(1021)는 파장 영상들 각각에 대하여 이진화(예: Otsu's Thresholding)를 수행할 수 있다(S320). 멜라닌 분포 확인부(1021)는 이진화가 수행된 상기 파장 영상들 각각의 멜라닌 영역들을 추출할 수 있다. 멜라닌 분포 확인부(1021)는 추출된 멜라닌 영역들에 대한 이미지를 사용자의 피부 영상(피부 이미지)과 결합시킬 수 있다(S330). 멜라닌 분포 확인부(1021)는 상기 결합을 통해 멜라닌 분포 영상을 획득할 수 있다(S340).
다시 말해서, 멜라닌 분포 확인부(1021)는 제1 파장을 가진 제1 광원을 이용하여 제1 파장 영상을 획득하고, 상기 제1 파장보다 짧은 파장인 제2 파장을 가진 제2 광원을 이용하여 제2 파장 영상을 획득할 수 있다. 멜라닌 분포 확인부(1021)는 상기 제1 파장 영상에 기반하여 제1 멜라닌 영역을 추출하고, 상기 제2 파장 영상에 기반하여 제2 멜라닌 영역을 추출할 수 있다. 멜라닌 분포 확인부(1021)는 상기 제1 멜라닌 영역 이미지 및 상기 제2 멜라닌 영역 이미지를 상기 사용자의 상기 피부 이미지에 결합함으로써 멜라닌 분포 영상을 획득할 수 있다. 멜라닌 분포 확인부(1021)는 2개 이상의 서로 다른 파장 광원들을 이용하여 상기 파장 영상 획득 및 멜라닌 영역 이미 추출 과정을 반복하고, 상기 결합을 통해 각 파장의 멜라닌 광흡수도 특성에 대응하는 멜라닌 다단계 분포 영상을 획득하는 방법을 포함할 수도 있다.
멜라닌 분포 확인부(1021)는 멜라닌에 대하여 광 흡수도 차이가 큰 두 개의 파장 각각을 가진 광원을 결정할 수 있다(S311). 멜라닌 분포 확인부(1021)는 멜라닌에서 광 흡수도 차이가 큰 두 개의 파장 영상(예: 제1 파장 영상, 제2 파장 영상)을 획득할 수 있다(S321). 멜라닌 분포 확인부(1021)는 제1 파장 영상 및 제2 파장 영상에 기반하여 차분 영상을 생성할 수 있다(S331).
다시 말해서, 멜라닌 분포 확인부(1021)는 상기 다파장 광원 중 제일 긴 파장인 제3 파장을 가진 제3 광원을 이용하여 제3 파장 영상을 획득하고, 상기 다파장 광원 중 제일 짧은 파장인 제4 파장을 가진 제4 광원을 이용하여 제4 파장 영상을 획득할 수 있다. 멜라닌 분포 확인부(1021)는 상기 제3 파장 영상 및 상기 제4 파장 영상에 기반하여 차분 영상을 생성할 수 있다. 멜라닌 분포 확인부(1021)는 상기 차분 영상에 기반하여 멜라닌 분포 영상(예: 멜라닌 강조 영상)을 생성할 수 있다(S340).
멜라닌 분포 확인부(1021)는 멜라닌 영역에 포함된 픽셀값 및 광 흡수 전 광원 세기의 비율을 산출하고, 산출된 비율에 기반하여 멜라닌 정도(멜라닌 지수)를 산출할 수 있다.
다시 말해서, 조사광과 피부 내부에서 확산되어 반사된 검출광의 비율(diffuse reflectance)을 'R'이라고 할 때, 광학 밀도(optical density, OD)는 다음과 같고, 광흡수도가 다른 두 파장 영상들에서 동일한 위치에 해당하는 픽셀들의 광학 밀도 차에 보정상수를 곱하여 두 파장 사이의 광학 밀도 기울기를 구하는 방법으로 멜라닌 지수 영상을 획득할 수 있으며, 영상 전체 또는 멜라닌 영역의 지수 평균값 계산을 통해 멜라닌 정도를 산출할 수 있다.
Figure PCTKR2023008955-appb-img-000001
상기 수학식 1에서, OD는 상기 광학 밀도, R은 조사광과 피부 내부에서 확산되어 반사된 검출광의 비율을 의미할 수 있다.
도 4는 다파장 광원을 이용하여 사용자의 다크서클 원인을 결정하는 것에 관한 도면이다.
다크서클 원인 판단부(1022)는 다파장을 통해 멜라닌 성분과 헤모글로빈 성분을 측정하고, 측정된 멜라닌 성분, 헤모글로빈 성분에 기반하여 다크서클의 생성 원인을 결정할 수 있다.
다크서클 원인 판단부(1022)는 사용자의 얼굴 이미지에서 눈 영역을 검출할 수 있다. 다크서클 원인 판단부(1022)는 사용자의 얼굴 이미지에서 눈 영역과 근접한 다크서클 영역을 검출할 수 있다. 다크서클 원인 판단부(1022)는 다크서클 영역을 좀 더 한정적으로 선정하고, 한정된 영역 내에서 다크서클을 검출하기 위하여 다크서클 예상 영역을 결정할 수 있다. 다크서클 원인 판단부(1022)는 획득된 얼굴 이미지 내에서 왼쪽 눈, 오른쪽 눈을 검출하고, 검출된 왼쪽 눈 및 오른쪽 눈 각각의 최외곽 라인을 결정하고, 결정된 최외곽 라인에서 미리 설정된 각도 이상으로 꺾여있는 지점을 결정할 수 있다. 예를 들어, 다크서클 원인 판단부(1022)는 왼쪽 눈에 대응하는 제1 최외곽 라인에서 미리 설정된 각도 이상으로 꺾여 있는 제1 지점 및 제2 지점을 결정하고, 오른쪽 눈에 대응하는 제2 최외곽 라인에서 미리 설정된 각도 이상으로 꺾여 있는 제3 지점 및 제4 지점을 결정할 수 있다.
다크서클 원인 판단부(1022)는 제1 지점 및 제2 지점 간 제1 거리를 산출하고, 제3 지점 및 제4 지점 간 제2 거리를 산출할 수 있다. 다크서클 원인 판단부(1022)는 왼쪽 눈에 대응하는 제1 최외곽 라인의 제1 최하단 지점으로부터 하단으로 제1 거리만큼 떨어진 지점까지의 제1 영역 및 오른쪽 눈에 대응하는 제2 최외곽 라인의 제2 최하단 지점으로부터 하단으로 제2 거리만큼 떨어진 지점까지의 제2 영역을 각각 다크서클 예상 영역으로 결정할 수 있다.
다크서클 원인 판단부(1022)는 인공신경망 모델인 다크서클 영역 검출 모델을 학습시키고, 학습된 다크서클 영역 검출 모델에 사용자의 얼굴 이미지를 입력시킬 수 있다. 다크서클 원인 판단부(1022)는 상기 모델에 사용자의 얼굴 이미지를 입력시킴으로써, 다크서클 영역을 검출 내지 결정할 수 있다(S410).
다크서클 원인 판단부(1022)는 다크서클을 지닌 사람들의 얼굴 이미지를 학습 데이터로 이용할 수 있다. 상기 다크서클을 지닌 사람들의 얼굴 이미지는 장치(100) 내지 단말(200)에 포함된 데이터베이스에서 획득되거나 외부 DB로부터 획득될 수 있다. 일 실시 예의 학습 데이터는 얼굴 이미지의 특징점을 입력값으로 하고, 얼굴 이미지 내 다크서클 영역의 특징점을 출력값으로 갖는 훈련 데이터일 수 있다. 상기 특징점을 각 픽셀에 해당하는 픽셀값 내지 컬러값일 수 있다.
다크서클 원인 판단부(1022)는 학습 데이터를 이용하여, 상기 다크서클 영역 검출 모델을 학습할 수 있다. 다크서클 영역 검출 모델은 '얼굴 이미지의 특징점'과 '얼굴 이미지 내 다크서클 영역의 특징점'을 이용하여 지도 학습될 수 있다. 지도 학습이란, 입력값과 그에 따른 출력값이 있는 데이터를 학습 데이터로 이용하여 주어진 입력값에 따른 출력값을 찾는 학습을 의미하며, 정답을 알고 있는 상태에서 이루어지는 학습을 의미한다. 지도 학습에 주어지는 입력값과 출력값 세트를 훈련 데이터(Training Data)라고 한다. 즉, 상술한 '얼굴 이미지의 특징점'과 '얼굴 이미지 내 다크서클 영역의 특징점'은 각각 입력값과 출력값으로서, 다크서클 영역 검출 모델의 지도 학습을 위한 훈련 데이터로 사용될 수 있다.
예를 들어, 다크서클 원인 판단부(1022)는 얼굴 이미지의 특징점을 고유한 제1 원-핫 벡터(one-hot vector)로 변환하여 입력값을 생성하고, 얼굴 이미지 내 다크서클 영역의 특징점을 고유한 제2 원-핫 벡터로 변환하여 출력값을 생성한 후, 생성된 입력값과 출력값을 이용해 다크서클 영역 검출 모델을 지도학습할 수 있다. 여기서, 제1 원-핫 벡터 및 제2 원-핫 벡터는 벡터를 구성하는 성분값들 중 하나가 '1' 이고, 나머지 성분값들은 '0'으로 구성되는 벡터일 수 있다.
일 실시 예에서, 다크서클 영역 검출 모델은, 입력값을 입력받고 제1 원-핫 벡터의 성분갯수에 상응하는 노드들을 갖는 입력층, 입력층의 출력값 각각에 대하여 연결강도(또는 가중치)를 곱하고, 바이어스(bias)를 더하여 출력하는 하나 이상의 은닉층(hidden layer); 및 은닉층의 출력값 각각에 대하여 연결강도(또는 가중치)를 곱하고, 그 결과를 활성화 함수를 이용하여 출력하는 출력층(output layer)을 포함할 수 있다. 예를 들어, 활성화 함수는, ReLU 함수 또는 Softmax 함수일 수 있으나 이에 한정되는 것은 아니다. 연결강도와 바이어스는 지도 학습에 의해 지속적으로 갱신될 수 있다.
구체적으로, 다크서클 영역 검출 모델은, 주어진 입력값(제1 원-핫 벡터)과 출력값(제2 원-핫 벡터)에 따른 손실 함수(loss function)의 출력값이 최소화되도록 지도학습될 수 있다. 예를 들어, 손실 함수(H(Y, Y`))는, 이하 수학식 2과 같이 정의될 수 있다.
Figure PCTKR2023008955-appb-img-000002
상기 수학식 2에서, Ym은 제2 원-핫 벡터의 m번째 성분이고, Y`m은 평균 얼굴 이미지 추측 모델(503)에서 제1 원-핫 벡터를 입력받아 출력된 출력 벡터의 m번째 성분일 수 있다.
다크서클 원인 판단부(1022)는 다크서클 영역 검출 모델의 출력값인 '얼굴 이미지 내 다크서클 영역의 특징점'들에 기반하여 다크서클 영역을 결정하되, 결정된 상기 다크서클 예상 영역을 추가적으로 고려하여 다크서클 영역을 결정할 수 있다. 예를 들어, 다크서클 원인 판단부(1022)는 '얼굴 이미지 내 다크서클 영역의 특징점'들 중 다크서클 예상 영역과 중첩되는 특징점들에 기반하여 상기 다크서클 영역을 결정할 수 있다.
다크서클 원인 판단부(1022)는 결정 내지 검출된 다크서클 영역에 포함된 픽셀들의 픽셀값들에 대한 제1 평균값을 산출하고, 상기 다크서클 영역에 인접한 비-다크서클 영역에 포함된 픽셀들의 픽셀값들에 대한 제2 평균값을 산출할 수 있다.
다크서클 원인 판단부(1022)는 상기 제1 평균값 및 상기 제2 평균값 간 차이값이 미리 설정된 차이값 이상이고, 검출된 상기 다크서클 영역에서 멜라닌 지수가 미리 설정된 멜라닌 임계지수 이상인 경우, 사용자의 다크서클의 원인을 색소 침착으로 인한 것으로 결정할 수 있다.
다크서클 원인 판단부(1022)는 상기 제1 평균값 및 상기 제2 평균값 간 차이값이 미리 설정된 차이값 이상이고, 검출된 상기 다크서클 영역에서 헤모글로빈 지수가 미리 설정된 헤모글로빈 임계지수 이상인 경우, 사용자의 다크서클의 원인을 색소 침착으로 인한 것으로 결정할 수 있다.
다시 말해서, 피부 구성 성분 중 멜라닌은 색소 침착, 헤모글로빈은 혈관 확장과 직접적인 관련이 있으므로, 다크서클 원인 판단부(1022)는 멜라닌 성분이 미리 설정된 제1 성분량보다 초과 검출된 경우에는 사용자의 다크서클의 원인을 색소 침착으로 인한 것으로 결정할 수 있고, 헤모글로빈 성분이 미리 설정된 제2 성분량보다 초과 검출된 경우에는 사용자의 다크서클의 원인을 혈관 확장으로 인한 것으로 결정할 수 있다.
다크서클 원인 판단부(1022)는 광 흡수도 특성 기반의 멜라닌 측정 파장 및 헤모글로빈 측정 파장을 결정할 수 있다. 다크서클 원인 판단부(1022)는 반사판을 이용한 각 측정 파장 광원 영상(예: 멜라닌 측정 파장 광원 영상 및 헤모글로빈 측정 파장 광원 영상)과 각 파장이 다크서클 영역에서 피부조직 내 확산 및 반사되어 나온 검출광 영상을 각각 획득할 수 있으며, 두 영상의 픽셀별 세기 비율 기반으로, 다크서클 영역에 포함된 픽셀들에서의 광학 밀도(optical density)를 계산할 수 있다.
멜라닌 지수 영상은 멜라닌에 대한 광흡수도가 다른 두 파장 영상들에서 동일한 위치에 해당하는 픽셀들의 광학 밀도 차에 보정상수를 곱하여 두 파장 사이의 광학 밀도 기울기를 구하는 방법을 통해 도출될 수 있으며, 약600 nm 와 700 nm 파장, 특히 650 nm 와 700 nm 파장 광원들을 사용하는 방법을 포함할 수 있다. 헤모글로빈 지수 영상은 피부 광학 밀도 그래프에서 약 500 nm 와 600 nm 사이 영역 넓이를 계산하는 방법으로 약 560 nm 와 650 nm 파장 사이의 광학 밀도 기울기를 구하는 방법, 및/또는 헤모글로빈에 대한 광흡수도가 다른 두 파장 영상의 광학 밀도 차이를 구하는 방법을 통해 도출될 수 있다.
다크서클 원인 판단부(1022)는 상기 계산을 통해 멜라닌 지수 영상 및 헤모글로빈 지수 영상을 생성할 수 있으며, 상기 멜라닌 지수 영상 및 상기 헤모글로빈 지수 영상에 기반하여 상기 멜라닌 지수 및 상기 헤모글로빈 지수를 결정 내지 산출할 수 있다.
도 5는 다파장 광원을 통해 사용자의 피부 주름의 원인을 결정하는 것에 관한 도면이다.
주름 원인 판단부(1023)는 다파장을 통해 주름 정보를 획득할 수 있다. 주름 원인 판단부(1023)는 다파장 중 제5 파장(예: UV 파장)을 이용하여 제1 주름 정보(예: 얕은 주름 강조 정보)를 획득하고(S510), 다파장 중 제6 파장(예: 근적외선 파장)을 이용하여 제2 주름 정보(예: 깊은 주름 정보)를 획득할 수 있다(S520). 다시 말해서, 주름 원인 판단부(1023)는 광파장에 따른 피부조직 내 흡수 및 산란도 변화에 의한 광 침투 깊이 차이라는 특성을 이용하여 기존 백색광 또는 UV 파장 광원 방식으로 구분이 힘든 표피의 잔주름과 진피에서 생성된 깊은 주름 정도를 판단할 수 있다. 광 침투깊이 차이로 인하여 제5 파장(예: UV 파장)에서는 표피층의 얕은 주름이 강조된 깊은 주름 혼합영상, 가시광선 광원에서는 얕은 주름 및 깊은 주름 혼합영상, 제6 파장(예: 근적외선)에서는 진피층의 깊은 주름 영상을 획득할 수 있다. 획득한 피부 다파장 영상 기반의 주름 정도 산출 방법은 주름 영역 특징점을 출력값으로 갖는 훈련 데이터 학습을 통한 주름 검출 모델 사용 또는 영상처리 기반의 주름영역 강조 방법을 포함할 수 있다.
주름 원인 판단부(1023)는 획득된 주름 정보에 기반하여 사용자의 주름 생성 원인을 결정할 수 있다(S530).
주름 원인 판단부(1023)는 제5 파장을 가진 광원을 통해 사용자의 제1 주름 영상을 획득하고, 상기 제5 파장보다 긴 파장인 제6 파장을 가진 광원을 통해 사용자의 제2 주름 영상을 획득할 수 있다.
예를 들어, 주름 원인 판단부(1023)는 제5 파장(예: UV 파장) 또는 제 5 파장과 제 6 파장 영상의 차영상 기반으로 획득한 얕은 주름 정보에 기반하여 사용자의 얕은 주름 정도가 미리 설정된 정도 이상인 경우, 사용자의 주름이 표피층에서 발생한 얕은 주름인 것으로 결정하고, 사용자의 주름이 얕은 주름인 것으로 결정된 것에 대응하여 사용자의 주요 주름 생성 원인을 수분 부족으로 결정할 수 있다.
예를 들어, 주름 원인 판단부(1023)는 제6 파장(예: 근적외선)을 통해 획득된 깊은 주름 정보에 기반하여 사용자의 깊은 주름 정도가 미리 설정된 정도 이상인 경우, 사용자의 주름이 진피층에서 발생한 깊은 주름인 것으로 결정하고, 사용자의 주름이 깊은 주름인 것으로 결정된 것에 대응하여 사용자의 주요 주름 생성 원인을 탄력 부족으로 결정할 수 있다.
솔루션 제공부(103)는 측정된 상기 피부 상태에 대응하는 추천 화장품 내지 추천 제품에 대한 정보를 사용자 단말(200)에 제공할 수 있다. 솔루션 제공부(103)는 사용자의 주요 주름 생성 원인이 수분 부족으로 결정된 경우, 보습 효과가 좋은 화장품 내지 제품을 사용자에게 추천할 화장품 내지 제품으로 결정하고, 사용자의 주요 주름 생성 원인이 탄력 부족으로 결정된 경우, 피부 탄력에 좋은 화장품 내지 제품을 사용자에게 추천할 화장품 내지 제품으로 결정할 수 있다. 솔루션 제공부(103)는 측정된 사용자 피부 상태가 멜라닌 지수가 높은 것으로 결정된 경우 미백 또는 색소침착에 좋은 화장품 내지 제품을 사용자에게 추천할 화장품 내지 제품으로 결정하고, 사용자 피부 상태가 헤모글로빈 지수가 높은 것으로 결정된 경우 홍조 또는 혈관확장을 개선하는 화장품 내지 제품을 사용자에게 추천할 화장품 내지 제품으로 결정할 수 있다.
도 6은 도 1에 따른 장치(100)의 하드웨어 구성을 나타낸 도면이다.
도 6을 참조하면, 다파장 피부 분석 장치(100)는 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 동작은, 전술한 장치(100)의 동작이나 기능 중 적어도 일부를 포함하고 명령어들 형태로 구현되어 프로세서(110)에 의하여 수행될 수 있다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
또한, 다파장 피부 분석 장치(100)는 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 다파장 피부 분석 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. 도 6에서는 다파장 피부 분석 장치(100)를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 복수 개의 사용자 단말들은 도 6에 따른 구성요소를 포함할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 다파장 피부 분석 장치에 있어서,
    카메라 및 다파장 광원부를 이용하여 사용자의 피부 상태를 측정하는 피부 상태 측정부;
    상기 다파장 광원부를 통해 획득된 다파장 영상을 통해 상기 사용자의 피부 분석 정보를 획득하는 다목적 피부 분석 정보 획득부;
    측정된 상기 피부 상태에 대응하는 추천 화장품에 대한 정보를 제공하는 솔루션 제공부를 포함하고,
    상기 다목적 피부 분석 정보 획득부는,
    상기 사용자의 피부의 멜라닌 상태를 결정하는 멜라닌 분포 확인부, 다크서클 원인을 결정하는 다크서클 원인 판단부 및 주름 생성층 구분에 따라 주름 원인을 판단하는 주름 원인 판단부를 포함하는, 다파장 피부 분석 장치.
  2. 청구항 1에서,
    상기 멜라닌 분포 확인부는,
    제1 파장을 가진 제1 광원을 이용하여 제1 파장 영상을 획득하고,
    상기 제1 파장보다 짧은 파장인 제2 파장을 가진 제2 광원을 이용하여 제2 파장 영상을 획득하고,
    상기 제1 파장 영상에 기반하여 제1 멜라닌 영역 이미지를 추출하고,
    상기 제2 파장 영상에 기반하여 제2 멜라닌 영역 이미지를 추출하고,
    상기 제1 멜라닌 영역 이미지 및 상기 제2 멜라닌 영역 이미지를 상기 사용자의 피부 이미지에 결합하고, 상기 결합을 통해 멜라닌 분포 영상을 획득하는, 다파장 피부 분석 장치.
  3. 청구항 1에서,
    상기 멜라닌 분포 확인부는,
    상기 다파장 광원 중 제일 긴 파장인 제3 파장을 가진 제3 광원을 이용하여 제3 파장 영상을 획득하고,
    상기 다파장 광원 중 제일 짧은 파장인 제4 파장을 가진 제4 광원을 이용하여 제4 파장 영상을 획득하고,
    상기 제3 파장 영상 및 상기 제4 파장 영상에 기반하여 차분 영상을 생성하고,
    생성된 상기 차분 영상에 기반하여 멜라닌 영역이 강조된 분포 영상을 획득하는, 다파장 피부 분석 장치.
  4. 청구항 1에서,
    상기 다크서클 원인 판단부는,
    상기 카메라를 통해 획득된 상기 사용자의 피부 이미지에서 상기 사용자의 다크서클 영역을 검출하고,
    검출된 상기 다크서클 영역에서 멜라닌 성분이 미리 설정된 제1 성분량보다 초과 검출된 경우에는 사용자의 다크서클의 원인을 색소 침착으로 인한 것으로 결정하고,
    검출된 상기 다크서클 영역에서 헤모글로빈 성분이 미리 설정된 제2 성분량보다 초과 검출된 경우에는 사용자의 다크서클의 원인을 혈관 확장으로 인한 것으로 결정하는, 다파장 피부 분석 장치.
  5. 청구항 1에서,
    주름 원인 판단부는,
    상기 다파장 중 제5 파장을 가진 제5 광원에 기반한 제1 주름 영상을 획득하고,
    상기 다파장 중 상기 제5 파장보다 긴 파장인 제6 파장을 가진 제6 광원에 기반한 제2 주름 영상를 획득하고,
    상기 제1 주름 영상 및 상기 제2 주름 영상에 기반하여 상기 사용자의 주름 생성층에 따른 주름 구분 및 상기 주름 구분에 대응하는 주요 주름 생성 원인을 결정하고,
    상기 제1 주름 영상은 표피 주름 영상이고, 상기 제2 주름 정보는 진피 주름 영상인, 다파장 피부 분석 장치.
PCT/KR2023/008955 2022-06-28 2023-06-27 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치 Ceased WO2024005509A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380050641.5A CN119365120A (zh) 2022-06-28 2023-06-27 利用多重波长获取皮肤分信息的方法及装置
US18/878,952 US20250380899A1 (en) 2022-06-28 2023-06-27 Method and device for acquiring skin analysis information using multiple wavelengths
EP23831868.7A EP4548833A4 (en) 2022-06-28 2023-06-27 METHOD AND DEVICE FOR ACQUIRING SKIN ANALYSIS INFORMATION USING MULTIPLE WAVELENGTHS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220079124A KR102450422B1 (ko) 2022-06-28 2022-06-28 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치
KR10-2022-0079124 2022-06-28

Publications (1)

Publication Number Publication Date
WO2024005509A1 true WO2024005509A1 (ko) 2024-01-04

Family

ID=83597323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008955 Ceased WO2024005509A1 (ko) 2022-06-28 2023-06-27 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치

Country Status (5)

Country Link
US (1) US20250380899A1 (ko)
EP (1) EP4548833A4 (ko)
KR (1) KR102450422B1 (ko)
CN (1) CN119365120A (ko)
WO (1) WO2024005509A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450422B1 (ko) * 2022-06-28 2022-10-06 주식회사 룰루랩 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140112046A (ko) * 2011-12-26 2014-09-22 샤넬 파르퓜 보트 피부 부위 상의 피부 징후를 검출하고 정량화하는 방법과 장치
KR20150080280A (ko) * 2013-12-31 2015-07-09 (주)아모레퍼시픽 피부 진단 및 피부 미용 정보 제공 방법 및 시스템
KR20200142938A (ko) * 2019-06-14 2020-12-23 주식회사 룰루랩 사용자 맞춤형 피부 진단 시스템 및 방법
KR20210069495A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20220009735A (ko) * 2020-07-16 2022-01-25 (주) 코코리색채연구소 멜라닌 지수 및 헤모글로빈 지수를 기초로 한 화장품 추천 방법 및 그 디바이스
KR102450422B1 (ko) * 2022-06-28 2022-10-06 주식회사 룰루랩 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010093503A2 (en) * 2007-01-05 2010-08-19 Myskin, Inc. Skin analysis methods
JP6051558B2 (ja) * 2012-03-28 2016-12-27 ソニー株式会社 撮像装置と撮像方法、プログラム、撮像システム、および付属装置
RU2657377C2 (ru) * 2016-11-11 2018-06-13 Самсунг Электроникс Ко., Лтд. Интеллектуальная насадка на смартфон для определения чистоты, влажности и фотовозраста кожи

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140112046A (ko) * 2011-12-26 2014-09-22 샤넬 파르퓜 보트 피부 부위 상의 피부 징후를 검출하고 정량화하는 방법과 장치
KR20150080280A (ko) * 2013-12-31 2015-07-09 (주)아모레퍼시픽 피부 진단 및 피부 미용 정보 제공 방법 및 시스템
KR20200142938A (ko) * 2019-06-14 2020-12-23 주식회사 룰루랩 사용자 맞춤형 피부 진단 시스템 및 방법
KR20210069495A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20220009735A (ko) * 2020-07-16 2022-01-25 (주) 코코리색채연구소 멜라닌 지수 및 헤모글로빈 지수를 기초로 한 화장품 추천 방법 및 그 디바이스
KR102450422B1 (ko) * 2022-06-28 2022-10-06 주식회사 룰루랩 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4548833A4 *

Also Published As

Publication number Publication date
CN119365120A (zh) 2025-01-24
EP4548833A1 (en) 2025-05-07
KR102450422B1 (ko) 2022-10-06
EP4548833A4 (en) 2026-04-15
US20250380899A1 (en) 2025-12-18

Similar Documents

Publication Publication Date Title
Appiahene et al. Detection of iron deficiency anemia by medical images: a comparative study of machine learning algorithms
Ghosal et al. sHEMO: Smartphone spectroscopy for blood hemoglobin level monitoring in smart anemia-care
US8705815B2 (en) Systems and methods for automatic skin-based identification of people using digital images
US8260010B2 (en) Systems and methods for analyzing skin conditions of people using digital images
WO2016099099A1 (en) Image capturing device and sensing protection device
Hasan et al. Smartphone-based human hemoglobin level measurement analyzing pixel intensity of a fingertip video on different color spaces
CN107005642B (zh) 图像捕获设备与感测保护设备
US20230096501A1 (en) Computer-readable recording medium storing calculation program, calculation method, and information processing device
CN109805944A (zh) 一种儿童共情能力分析系统
Flament et al. Developing an Artificial Intelligence (AI)‐based descriptor of facial appearance that fits with the assessments of makeup experts
JPWO2020095739A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024005509A1 (ko) 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치
Park et al. Development and application of artificial intelligence‐based facial skin image diagnosis system: Changes in facial skin characteristics with ageing in Korean women
KR102648659B1 (ko) 광학 접근법을 통해 재구성한 광반사 특성 재현 영상을 이용하여 피부 분석 모델을 최적화하기 위한 방법 및 장치
Eguizabal et al. Direct identification of breast cancer pathologies using blind separation of label-free localized reflectance measurements
Guarin et al. Automatic facial landmark localization in clinical populations-improving model performance with a small dataset
Flament et al. Objective and automatic grading system of facial signs from smartphones’ pictures in South African men: validation versus dermatologists and characterization of changes with age
Viveha et al. Point of care noninvasive screening tool for early detection of anemia using smartphone
CN113807320B (zh) 一种基于多光谱成像技术的人体肤色识别方法及系统
Islam et al. PolypNet: An attention based shallow deep learning model for colorectal polyp image classification
CN113762010B (zh) 图像处理方法、装置、设备和存储介质
Lehner et al. Differences in the annotation between facial images and videos for training an artificial intelligence for skin type determination
Yoshida et al. Noise reduction from chromophore images and reliability improvement by successive minimization of intermixture in the modified Lambert-Beer law
US20250087016A1 (en) Adaptable Camera-based Contactless SpO2 Detection
KR102465728B1 (ko) 다크서클을 검출하여 다크서클의 정도를 정량화하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831868

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18878952

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202380050641.5

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380050641.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023831868

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023831868

Country of ref document: EP

Effective date: 20250128

WWP Wipo information: published in national office

Ref document number: 2023831868

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 18878952

Country of ref document: US