WO2015015793A1 - 肌分析方法、肌分析装置および肌分析装置の制御方法 - Google Patents

肌分析方法、肌分析装置および肌分析装置の制御方法 Download PDF

Info

Publication number
WO2015015793A1
WO2015015793A1 PCT/JP2014/003959 JP2014003959W WO2015015793A1 WO 2015015793 A1 WO2015015793 A1 WO 2015015793A1 JP 2014003959 W JP2014003959 W JP 2014003959W WO 2015015793 A1 WO2015015793 A1 WO 2015015793A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
target
face image
extraction
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/003959
Other languages
English (en)
French (fr)
Inventor
稔也 新井
雅子 池田
内田　真司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN201480041986.5A priority Critical patent/CN105407799B/zh
Priority to JP2015529388A priority patent/JP6343612B2/ja
Priority to US14/907,698 priority patent/US9875394B2/en
Priority to EP14832608.5A priority patent/EP3028632A4/en
Publication of WO2015015793A1 publication Critical patent/WO2015015793A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/448—Hair evaluation, e.g. for hair disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present application relates to a skin analysis method, a skin analysis device, and a control method of the skin analysis device.
  • the state of the skin is analyzed, and the analysis result is visualized and quantified. For this purpose, it is necessary to extract an analysis target existing on the skin surface based on the skin image.
  • Patent Document 1 discloses a technique for extracting texture and / or wrinkles by performing image processing including cross binarization processing and / or short straight line matching processing on the obtained skin image.
  • the luminance value of each pixel is converted so that the variation of the luminance value of the captured image is equal to or greater than a predetermined value, each pixel is binarized, and the binarized black pixel and a predetermined short straight line And a technique for extracting the skin groove by matching with.
  • Non-Patent Document 1 discloses a technique for extracting wrinkles by predetermining the skin edge direction based on local features and performing a filtering process using a Gabor filter having a predetermined orientation.
  • a control method for controlling a skin analyzer disclosed in the present application is a control method for controlling a skin analyzer including a camera that acquires a face image of a subject, a display that displays the face image of the subject, and a computer,
  • the computer of the skin analyzer is configured to acquire a face image of the subject, determine target extraction criteria in a plurality of skin regions of the face image based on positions on the face image, and determine The target that satisfies the extraction criteria is extracted from the face image, and the extracted target is displayed on the display of the skin analyzer.
  • Embodiment 1 of this indication It is a figure which shows typically the structure inside the skin. It is a figure which shows the whole image of the skin analyzer in Embodiment 1 of this indication.
  • (A) is a figure which shows the structure of the control apparatus 302
  • (b) is a figure which shows the structure of the cloud server 307.
  • Embodiment 1 of this indication it is a flow chart which shows a procedure which performs skin evaluation by a skin analysis device.
  • A) is a figure which shows an example of the example of a display screen displayed on a display before skin analysis.
  • (B) is a figure which shows an example of the display screen displayed on a display at the time of the imaging of an image.
  • (A), (b), (c) is a figure which shows typically the halfway progress which determines and extracts a target feature based on the position on an image, respectively.
  • (A), (b) is a figure which shows an example of the display screen each displayed on a display after skin analysis.
  • (A), (b) is a figure which shows an example of the display screen each displayed on a display.
  • (A), (b) is a figure which shows an example of the display screen each displayed on a display.
  • It is a functional block diagram of the skin analyzer in Embodiment 2 of this indication. In Embodiment 2 of this indication, it is a flowchart which shows the procedure which evaluates skin by the skin analyzer.
  • (A), (b), (c) is a figure which shows typically the progress in the middle which determines and extracts a target feature based on the feature point of a face, respectively. It is a figure which shows the whole image of the skin analyzer in Embodiment 3 of this indication. It is a figure which shows the structure of the cloud server and skin analysis apparatus in Embodiment 3 of this indication. It is a functional block diagram of a cloud server and a skin analysis device in Embodiment 3 of this indication. In Embodiment 3 of this indication, it is a flowchart which shows the procedure which performs skin evaluation by the skin analyzer.
  • (A) is an overview of the information providing system according to the fourth embodiment, and (b) and (c) show the configuration of the data center.
  • Non-Patent Document 1 extracts wrinkles (skin grooves) in a user's skin image using a Gabor filter, and evaluates the skin state based on the extracted wrinkles.
  • the Gabor filter determines a specific direction and extracts wrinkles carved toward the determined direction.
  • Non-Patent Document 1 a predetermined portion is cut out from the face image, and the cut-out image is evaluated. Since this image is cut out by an expert, the user himself / herself cannot easily evaluate the skin condition from the face image. Further, in the technique disclosed in Non-Patent Document 1, the orientation of the Gabor filter is determined from the local feature of the image indicating which direction of the user's skin is markedly wrinkled (skin). Yes. Therefore, for example, even if the user wants to evaluate wrinkles of the nose in the face image, the user wants to evaluate the type of wrinkles to be detected and the user, for example, a prominent bubble line is detected from the face image. There was a problem that the type of wrinkles did not match.
  • the present inventor has conceived of a novel skin analysis method, skin analysis device, and skin analysis device control method in view of such problems.
  • the outlines of the skin analysis method, skin analysis device, and skin analysis device control method of the present application are as follows.
  • One aspect of a control method for controlling a skin analysis device disclosed in the present application is a control method for controlling a skin analysis device including a camera that acquires a face image of a subject, a display that displays the face image of the subject, and a computer. And causing the computer of the skin analysis device to acquire the face image of the subject, and based on the position on the face image, to determine each target extraction criterion in a plurality of skin regions of the face image, The target that satisfies the determined extraction criterion is extracted from the face image, and the extracted target is displayed on the display of the skin analyzer.
  • the computer of the skin analyzer is configured to determine target extraction criteria for a plurality of skin regions of the face image based on the positions on the face image. Therefore, an expert operation (cutting out a face image) is not required for the analysis of the skin area to extract the target, and the skin area can be analyzed and evaluated only by preparing the face image by the user.
  • the computer causes the face part included in the acquired face image to be detected, determines the plurality of skin regions based on a relative position on the face image with respect to the detected face part, and determines the plurality of skins thus determined.
  • the criteria for extracting the target in the region be determined. That is, the target extraction criterion is determined based on the position of the skin region in the face image. Therefore, for example, the target can be extracted with different extraction criteria for each location of the skin region, such as changing the extraction criteria for the eye target in the face image and the target around the mouth.
  • a plurality of extraction criteria for a target in one of the plurality of skin regions is displayed on the display in a selectable manner according to the relative position, and one of the plurality of extraction criteria is selected. If determined, the target satisfying the selected one extraction criterion may be extracted, and the extracted target may be displayed on the display.
  • the user wants to evaluate the type of wrinkles to be detected and the user, for example, a significant fringe line is detected from the face image.
  • the wrinkle type does not match.
  • the target may be a skin groove and / or coat.
  • the extraction criterion may be a value indicating at least one of the angle, thickness, and length of the target.
  • the relative position with respect to the face part may be any of the eyebrows, the lower part of the eyes, the corners of the eyes, the eyes, the nose side, the mouth and the forehead, or a combination thereof.
  • the extracted target may be displayed on the display so as to be superimposed on the face image.
  • the target satisfying the determined extraction criterion may be extracted by filtering processing, and the extraction criterion may be a property of a filter used for the filtering processing.
  • the target may be extracted based on a predetermined extraction criterion stored in correspondence with a relative position between the face part and the plurality of skin regions.
  • the predetermined extraction criterion may be stored in a memory of the skin analyzer.
  • the predetermined extraction criterion may be stored in a server accessible from the skin analysis device via a network.
  • the number of times one of the plurality of extraction criteria is selected is stored in a server accessible from the skin analysis device via a network, and the predetermined extraction criteria is a selected frequency. May be determined based on
  • a face image of a subject is acquired, and target extraction criteria in a plurality of skin regions of the face image are respectively determined based on positions on the face image.
  • the target satisfying the determined extraction criterion is extracted from the face image, and the extracted target is displayed on a display.
  • a plurality of extraction criteria for a target in one of the plurality of skin regions is displayed on the display in a selectable manner according to the relative position, and one of the plurality of extraction criteria is selected.
  • the target that satisfies the one extraction criterion may be extracted, and the extracted target may be displayed on the display.
  • the target may be a skin groove and / or coat.
  • the extraction criterion may be a value indicating one of the angle, thickness, and length of the target.
  • the relative position with respect to the face part may be any of the eyebrows, the lower part of the eyes, the corners of the eyes, the eyes, the nose side, the mouth and the forehead, or a combination thereof.
  • the target satisfying the determined extraction criterion may be extracted by a filtering process, and the extraction criterion may be a property of a filter used for the filtering process.
  • One aspect of a computer program for controlling the skin analysis device disclosed in the present application is a computer program for controlling a skin analysis device including a camera that acquires a face image of a subject, a display that displays the image of the subject, and a computer. And causing the computer of the skin analysis device to acquire the face image of the subject and determining target extraction criteria for each of a plurality of skin regions of the face image based on the position on the face image. The target that satisfies the extraction criteria is extracted from the face image, and the extracted target is displayed on the display of the skin analyzer.
  • the face portions included in the acquired face image are detected, the plurality of skin regions are determined based on relative positions on the face image with respect to the detected face portions, and the determined plurality The target extraction criteria in the skin area are determined. This makes it possible to extract a different skin state depending on the position of the face part included in the image even in the face image taken without worrying about the position.
  • the extraction criterion is determined based on an updatable database that is determined in advance according to the relative position to the face part. This enables extraction based on the tendency of the skin state desired by many users of the skin analysis device.
  • the target is extracted based on the extraction criterion selected by the user according to the position in the image. This makes it possible to extract the skin state desired by the user who is currently operating.
  • One aspect of the skin analysis device disclosed in the present application determines a target extraction criterion in a plurality of skin regions of the face image based on a camera that acquires a face image of the subject and a position on the face image.
  • An extraction criterion determination unit a target extraction unit that extracts the target satisfying the determined extraction criterion from the face image; and a display that displays the extracted target.
  • the skin analysis device further includes a face detection unit that detects a face part included in the face image and determines the plurality of skin regions based on a relative position on the face image with respect to the detected face part. Prepare.
  • the skin analysis device displays a plurality of extraction criteria for each of the plurality of skin regions on a display, scores an extraction criterion selection unit that accepts one selection, and a target extracted for each of the plurality of skin regions. And an extraction result evaluation unit for converting the selection result in the extraction criterion selection unit and the communication unit to transmit the score to an external server.
  • the skin analysis device captures the face of the subject, extracts the skin groove and the hair existing in the skin region, and displays them.
  • a crevice refers to wrinkles of various lengths, thicknesses, and depths including conical lines.
  • the coat includes eyebrows, eyelashes, mustaches and beards.
  • the skin groove and coat are collectively called a target.
  • the skin region is a part selected from the entire skin including the part covered with the above-described coat.
  • FIG. 1 schematically shows a cross section of human skin.
  • the skin image includes various kinds of information such as skin spots, wrinkles, pores, and frying lines.
  • the skin 200 includes an epidermis 200 ⁇ / b> A having a depth ranging from 0.06 mm to 0.2 mm from the surface 200 ⁇ / b> S of the skin 200 toward the inside, and a dermis 200 ⁇ / b> B existing inside the skin.
  • Skin spots, wrinkles, and pores differ in the shape of the skin and the depth position at which they exist in the skin 200. Therefore, skin grooves can be selectively extracted by obtaining images from different skin depths and identifying them by shape.
  • Image information from different skin depths can be obtained by using polarized light and color components.
  • polarized light and color components For example, when skin is photographed using linearly polarized light parallel to a predetermined direction as a light source, the linearly polarized light is reflected on the skin surface 200S while maintaining the polarization direction.
  • the linearly polarized light reflected inside the skin 200A is emitted from the skin 200A with its polarization direction disturbed by scattering. For this reason, if a light source that emits linearly polarized light is used and polarized light parallel to the light source is detected (parallel polarization conditions), an image with a large amount of information on the skin surface and a small amount of internal information can be obtained.
  • a light source that emits linearly polarized light is used and polarized light orthogonal to the light source is detected (orthogonal polarization condition)
  • an image with a large amount of information inside the skin and a small amount of surface information can be obtained. That is, by using polarized light as a light source, an image that selectively includes information on the inside of the skin and information on the surface can be obtained.
  • the longer the wavelength the light from the light source enters the skin 200A and is reflected inside. Accordingly, in the image obtained by photographing the skin, the blue (B) component contains more information on the surface of the skin, and the red (R) and infrared components contain more information inside the epidermis 200A.
  • the target skin groove may have properties such as being easy to absorb light in a specific wavelength region.
  • the skin groove can be accurately extracted by using the light component in the specific wavelength region.
  • Wrinkles are present near the surface 200S of the skin 200. Shooting under the condition of parallel polarization that allows more surface information to be obtained, and finding the difference between the pixel values of blue and red at each pixel of the image suppresses the effects of light reflection on the skin surface, and reduces wrinkles. It is possible to obtain an image including a lot of information. Further, by processing an image using a line detection filter such as a Gabor filter, it is possible to obtain an image including a large amount of wrinkle and fringe line information. When it is desired to accurately distinguish the wrinkles and the fringe lines, threshold processing based on the length and thickness of the detected portion may be further performed.
  • a line detection filter such as a Gabor filter
  • the difference between the pixel values of blue and red has been described here. However, only the pixel value of blue may be obtained.
  • the pixel values of the colors may be used, and the present invention is not limited only to obtaining the difference between the pixel values of blue and red.
  • Eyebrows, eyelashes, mustache and beard generally have lower saturation and chromaticity than skin. For this reason, eyebrows, eyelashes, mustaches, and beards can be extracted from the captured image by image processing.
  • FIG. 2 is a diagram showing an overall image of skin analyzer 305 according to the present embodiment.
  • Skin analysis device 305 includes camera 300, lighting device 301, control device 302, and display 303.
  • the display 303 preferably includes a touch panel, and the skin analysis apparatus 305 may be operable by a user touching a button displayed on the display 303 with a finger or the like.
  • the face image of the user 304 who is the subject input from the camera 300 is acquired by the control device 302 and evaluated by the cloud server 307. Thereafter, the skin state or an index whose skin state has been quantitatively evaluated is presented on the display 303.
  • FIG. 3A is a diagram illustrating a configuration of the control device 302.
  • the control device 302 includes a microcomputer 302A, a memory 302B, and a communication unit 302C.
  • the microcomputer 302A controls the overall operation of the skin analyzer 305 including the operations described below. Further, the microcomputer 302A executes various processes described below such as image processing. For example, a computer program for controlling each operation of the skin analyzer 305 is stored in the memory 302B.
  • the microcomputer 302A controls the operation of each component of the skin analysis device 305 such as the camera 300 and the lighting device 301 according to the stored computer program, and executes various processes such as image processing.
  • the camera 300 captures the face of the user 304 and acquires face image data.
  • the illumination device 301 and the camera 300 may be provided with a polarization filter, and a polarization image may be acquired.
  • the skin analyzer 305 may not include the lighting device 301.
  • FIG. 3B is a diagram showing the configuration of the cloud server 307.
  • the cloud server 307 includes a microcomputer 307A, a memory 307B, a communication unit 307C, and a database 307D.
  • the cloud server 307 receives captured images, image feature indexes, skin evaluation values, and the like from the plurality of skin analysis devices 305 via the communication unit 307C.
  • the cloud server 307 stores each data received from the plurality of skin analysis devices 305, generates statistical data, and obtains a correlation between the data. Also, the statistical data and the correlation are transmitted to each skin analysis device 305 via the communication unit 307C.
  • various processes such as image processing of the face image of the user 304 may be performed by the cloud server 307.
  • the evaluation of the face image of the user 304 may be performed by the control device 302.
  • FIG. 4 is a block diagram showing a configuration of skin analysis apparatus 305 in the present embodiment.
  • Skin analysis device 305 includes camera 300, image acquisition unit 1102, extraction criterion determination unit 1103, target extraction unit 1104, and display 303.
  • the communication unit (not shown) may be used to communicate with the cloud server 307, and the face image evaluation itself may be processed by the cloud server 307. The evaluation result may be stored in the cloud server 307.
  • the skin analysis device 305 starts the operation in a state where the user 304 is located in front of the camera 300 provided in the skin analysis device 305.
  • the camera 300 captures the face of the user 304 and acquires a face image.
  • the image acquisition unit 1102 receives face image data from the camera 300 and generates face image data in which left and right are reversed.
  • the generated face image data is output to the display 303, and the display 303 displays a face image with the left and right reversed. This is a function as an electronic mirror.
  • the user looks at the face image displayed on the display 303 and adjusts the position of the face image on the display 303.
  • the camera is arranged so that the face image is displayed at an appropriate size and position on the display 303.
  • the position of the face is moved with respect to 300.
  • a guide marker indicating a preferred face position may be displayed on the display 303 so that the user can easily adjust the face position.
  • skin analysis device 305 starts an analysis operation of the captured face image.
  • FIG. 5 is a flowchart showing an operation flow of the skin analyzer 305.
  • the control device 302 operates the camera 300 and causes the camera 300 to photograph the user's face.
  • the image acquisition unit 1102 receives the face image data of the user from the camera 300, and generates a face image with the left and right reversed.
  • the lighting device 301 is operated to capture a user's face image under lighting conditions.
  • the polarization condition and the wavelength of light to be used are selected according to the type of target to be extracted.
  • the target is a skin groove and a coat
  • by photographing under the condition of parallel polarization that can obtain more surface information the difference between the pixel values of blue and red at each pixel of the image is obtained. It is possible to obtain an image containing a lot of information on the skin groove and the coat.
  • the extraction criterion determination unit 1103 receives the face image data whose left and right are inverted from the image acquisition unit 1102 and determines the target extraction criterion based on the position on the face image.
  • the target extraction criterion is a value indicating the feature of the target, as will be described in detail below.
  • the target extraction unit 1104 extracts a target from the face image of the user based on the target extraction criterion determined in S1202.
  • the display 303 displays the target extracted in S1203. At this time, it is preferable that the displayed target is displayed so as to be superimposed on the face image of the user.
  • FIG. 6A shows an example of an initial screen displayed on the display 303 of the skin analyzer 305 before capturing the user's face image.
  • the display area of the display 303 includes, for example, a main screen 70 having a large area and a sub-screen 72 having a small area located on the lower side of the main screen 70.
  • an image input from the camera 300 is displayed in real time on the main screen 70 and functions as a digital mirror.
  • information such as a clock and a weather forecast may be displayed on the sub screen 72.
  • FIG. 6B shows a screen immediately before the start of imaging.
  • a touch panel is provided on the surface of the display 303.
  • an operation menu or a function switching menu is displayed on the upper part 80 and the left part 78 of the sub screen 72.
  • On the main screen 70 for example, a guide 35 for guiding the position of the user's face may be shown.
  • a mark indicating the shooting timing, a countdown number 74, or the like may be displayed.
  • the user's face image 31 input from the camera 300 is displayed in real time on the right side 72R of the sub screen 72, and a calendar is displayed on the left side 72L.
  • the calendar may include a mark indicating that the skin analysis device 305 has been used for photographing in the past. After the display shown in FIG. 6B, the user's face image is captured as described above.
  • FIGS. 7A to 7C show the target feature for extracting the skin condition based on the position on the face image of the user, and the target is extracted based on the determined target feature. It is the figure which showed progress typically.
  • the face image is divided into four, and the extraction criterion is determined for each quadrant.
  • FIG. 7A shows a state in which the user's face image is divided into four
  • FIG. 7B shows the case where the target extraction criteria are determined in the third and fourth quadrants of the image, respectively.
  • the target features are schematically shown as line segments.
  • the extraction criteria shown here indicate the direction of the wrinkles and hairs that are the targets.
  • FIG. 7C schematically shows wrinkles extracted from the face image based on the determined target feature.
  • the user's face image acquired by the image acquisition unit 1102 is output to the extraction criterion determination unit 1103.
  • the target extraction criterion is determined based on the position on the image, as illustrated in FIGS. 7A and 7B.
  • the extraction criterion is a value indicating at least one of the angle, thickness, and length (size) of the target. For example, in the example shown in FIG. 7B, no extraction reference is provided in the first and second quadrants among the four quadrants divided into four in the vertical and horizontal directions on the face image. In the third and fourth quadrants, the angle of the target is provided as an extraction reference.
  • the third quadrant is provided with an angle reference of 45 degrees
  • the fourth quadrant has an angle reference of ⁇ 45 degrees (135 degrees). Is provided.
  • the extraction reference is determined within a range of ⁇ 10 degrees with respect to the set angle reference.
  • the target extraction step S1203 the user's face image acquired by the image acquisition unit 1102 and the extraction criterion determined by the extraction criterion determination unit 1103 are output to the target extraction unit 1104.
  • the target extraction unit extracts a target based on a user's face image and a target extraction criterion. Specifically, in the face image, since the extraction criterion is not provided in the first and second quadrants, a target that satisfies the extraction criterion is not extracted. On the other hand, in the third and fourth quadrants, wrinkles that satisfy the above extraction criteria are extracted. Accordingly, as shown in FIG. 7C, for example, wrinkles extending in the same direction as the constriction line and the constriction line under the eyes are extracted.
  • the target When a linear target such as a skin groove is extracted from a face image, the target cannot be correctly extracted unless the direction that is one of the target extraction criteria matches. For example, since the direction of the bubble line located in the third quadrant of the face image is different from the direction of the bubble line located in the fourth quadrant, when the extraction condition suitable for one extraction is used, the other may not be correctly extracted. There is sex. According to the present embodiment, in order to determine a target extraction criterion in a plurality of skin regions of a face image based on a position on the face image, wrinkles in different directions including two fringe lines are correctly extracted. Can do.
  • the wrinkles and the fringe lines under the eyes are extracted, but the thickness of the target may be set as the extraction condition. In this case, either one can be selectively extracted.
  • Target extraction can be performed by a method using pattern matching disclosed in Patent Documents 1 and 2, a method using a Gabor filter disclosed in Non-Patent Document 1, a method using Hough transform, and the like. Moreover, a Sobel filter may be used, and other line segment extraction methods and filters may be used.
  • parameters such as the x-direction spatial frequency, the y-direction spatial frequency, and the filter size of the filter are determined based on the angle reference set in the third and fourth quadrants described above.
  • extraction result display step S1204 the face image of the user acquired by the image acquisition unit 1102 and the target extraction result extracted by the target extraction unit 1104 are output to the display 1105.
  • the display 1105 displays a result screen as illustrated in FIGS. 8A and 8B on the display 303.
  • the face image of the user used for extraction of the target wrinkle is displayed on the main screen 70, and the target 81 extracted by being superimposed on the face image is displayed. .
  • the user's face image is also shown on the left side 72L of the sub screen 72.
  • a menu for designating the position of the face is displayed on the upper portion 80 of the sub screen 72, and a menu for switching contents and functions to be displayed is displayed on the left side portion 78.
  • the user can display a specific skin region of the face or change the displayed content by touching the upper portion 80 and the left side portion 78 of the sub screen 72.
  • FIG. 8B shows an example in which a part of the image of the skin region, which is the region 83 specified by the user, is enlarged and displayed on the right side 72 ⁇ / b> R of the sub screen 72.
  • the target wrinkle is also displayed on the right side 72R.
  • the target display may display a portion corresponding to the target in the skin region as a red region (line).
  • the extracted target may be evaluated and the result may be presented.
  • the evaluation result calculated for the target is shown by, for example, a radar chart as shown on the right side 72R of the sub screen 72 in FIG.
  • the density of the target wrinkle may be obtained and the evaluation result may be displayed.
  • the information about the extracted target and the history of the score shown in the radar chart may be stored in the control device 302 or the cloud server 307. Thereby, the user can refer to the history of evaluation results at any time, which can be used for continuous care.
  • a calendar may be displayed on the sub screen 72 as shown in FIG.
  • the calendar displays information indicating whether or not evaluation has been performed for each date. For example, when the user selects a date on the calendar, the past evaluation results as shown in the display example of FIG. At this time, on the main screen 70, the face image of the user who has been evaluated on the selected date is displayed together with the extracted target, and on the sub screen 72, the target extracted with the calendar is scored as a radar chart. Is displayed.
  • advice information on care optimized for individual skin condition and recommended care products and cosmetics may be presented.
  • advice regarding beauty such as skin care based on the evaluation result may be displayed.
  • a face part included in a face image is detected, a skin region is determined based on a relative position with respect to the detected face part, and a target extraction criterion is set.
  • FIG. 11 is a block diagram showing a configuration of skin analysis apparatus 305 in the present embodiment.
  • a face detection unit 1401 is provided.
  • the face detection unit 1401 detects face parts such as eyes, nose, mouth, and contour in the user's face image, and determines the coordinates of a plurality of skin regions of the face image based on the relative positions with the detected face part.
  • FIG. 12 is a flowchart showing an operation flow of the skin analyzer 305 in the present embodiment.
  • a face detection step S1501 is included.
  • FIG. 13 is a schematic diagram when the target feature is determined based on the face detection position.
  • FIG. 13A shows a state in which face parts such as eyes, nose, mouth, and contour are detected from the user's face image. Such a face part can be detected by using a face authentication technique used in a known digital camera or the like.
  • FIG. 13B shows a state in which the target extraction criterion is determined for each skin region based on the relative positional relationship with the detected face part.
  • the skin area determined based on the relative positional relationship with the face part may be, for example, any of the areas between the eyebrows, the lower part of the eyes, the corners of the eyes, the eyes, the nose side, the mouth, and the forehead. Moreover, these combinations may be sufficient.
  • the orientation of the Gabor filter when the target is extracted using the Gabor filter is shown.
  • the orientation of the Gabor filter is set in the vertical direction of the face, and the target along this orientation is extracted.
  • the azimuth is set in a diagonal direction that is lower left
  • the azimuth is set in the lateral direction of the face.
  • FIG. 13C schematically shows a target (wrinkle) extracted based on the determined target feature.
  • the control device 302 operates the camera 300 and causes the camera 300 to photograph the user's face.
  • the image acquisition unit 1102 receives the face image data of the user from the camera 300, and generates a face image with the left and right reversed. At this time, it is preferable to operate the lighting device 301 and acquire a user's face image under lighting conditions.
  • photographing is performed under the condition of parallel polarization capable of obtaining more surface information, and blue and red pixels in each pixel of the image By obtaining the difference in values, an image containing a lot of information on the skin groove and the coat can be obtained.
  • the face detection unit 1401 detects face parts such as eyes, nose, mouth, and contour in the user's face image. Further, the coordinates of a plurality of skin regions of the face image are determined based on the detected relative position with the face part.
  • the extraction criterion determination unit 1103 receives the face image data whose left and right are inverted from the image acquisition unit 1102 and determines target extraction criteria for a plurality of skin regions.
  • the target extraction unit 1104 extracts a target from the face image of the user based on the target extraction criterion determined in S1202.
  • the display 303 displays the target extracted in S1203. At this time, it is preferable that the displayed target is displayed so as to be superimposed on the face image of the user.
  • the target in the face image can be accurately extracted. Further, as shown in FIG. 13B, vertical wrinkles are extracted between the eyebrows as the skin area A by changing the extraction standard for each skin area, and next to the nose as the skin area B. It is possible to distinguish such as extracting a tangled line.
  • a plurality of extraction criteria may be presented to the user for each skin region, and the user may select the extraction criteria for each skin region.
  • the target is extracted based on the target extraction criterion selected by the user.
  • the plurality of extraction criteria presented to the user are presented for each skin region determined based on the relative position with the face part detected in the face detection step S1501. For example, in a skin region near the constriction line, a target feature having the direction along the confinement line (diagonal direction of the image) as the orientation of the Gabor filter and a target having the direction capable of extracting the nose gut as the orientation of the Gabor filter Features may be presented.
  • the selection method and the skin evaluation are performed by changing the extraction criteria based on the user's selection and updating the database on the cloud server based on the selection history and the skin evaluation result based on the extracted target. Change the method.
  • FIG. 14 is a diagram showing an overall image of the skin analyzer in the present embodiment.
  • the configuration of the cloud server 111 is different from that of the first embodiment.
  • FIG. 15 is a diagram illustrating the configuration of the control device 302 and the cloud server 111.
  • the control device 302 includes a memory 1801, a calculation unit 1802, and a communication unit 1803.
  • the cloud server 111 includes a database 1811, a memory 1812, a calculation unit 1813, and a communication unit 1814.
  • FIG. 16 is a block diagram illustrating the configuration of the skin analysis device 305 and the cloud server 111 in the present embodiment.
  • Skin analyzer 305 includes an extraction criterion selection unit 1901, an extraction result evaluation unit 1902, and a communication unit 1803 in addition to the configurations of the first and second embodiments.
  • the cloud server 111 includes a user selection database 1911 and an evaluation result database 1912.
  • the user selection database 1911 stores user selection results
  • the evaluation result database 1912 stores skin condition evaluation results based on the extracted targets.
  • FIG. 17 is a flowchart showing an operation flow of the skin analysis device 305 in the present embodiment.
  • the selection item updated in the user selection database 1911 is transmitted from the communication unit 1814 on the cloud server 111 side to the communication unit 1803 of the skin analysis device 305, and the selection item of the extraction criterion selection unit 1901 is updated.
  • the control device 302 operates the camera 300 and causes the camera 300 to photograph the user's face.
  • the image acquisition unit 1102 receives the face image data of the user from the camera 300, and generates a face image with the left and right reversed. At this time, it is preferable to operate the lighting device 301 and acquire a user's face image under lighting conditions.
  • photographing is performed under the condition of parallel polarization capable of obtaining more surface information, and blue and red pixels in each pixel of the image By obtaining the difference in values, an image containing a lot of information on the skin groove and the coat can be obtained.
  • the face detection unit 1401 detects face parts such as eyes, nose, mouth, and contour in the user's face image. Further, the coordinates of a plurality of skin regions of the face image are determined based on the detected relative position with the face part.
  • Selection items that are a plurality of extraction criteria for each of a plurality of skin regions accumulated in the extraction criterion selection unit 1901 are presented on the display 303. Based on the presented selection item, the user is made to select an extraction criterion for each of the plurality of divided skin regions. At this time, it is preferable for the user to select an extraction criterion from among a plurality of options displayed on the display 303 for each of a plurality of skin regions.
  • the extraction criterion determination unit 1103 receives the face image data whose left and right are inverted from the image acquisition unit 1102 and determines target extraction criteria for a plurality of skin regions.
  • the target extraction unit 1104 extracts a target from the face image of the user based on the target extraction criterion determined in S1202.
  • the extraction result evaluation unit 1902 scores the target extracted for each of a plurality of skin regions.
  • the calculation method of score s1 is shown below. It is calculated by the following equation using the average value a1 extracted within the range of the selected part and predetermined scoring coefficients b1 and c1. For the calculation of a1, for example, the luminance value of the pixel corresponding to the extracted wrinkle position is used.
  • the display 303 displays the target extracted in S1203. At this time, it is preferable that the displayed target is displayed so as to be superimposed on the face image of the user. Further, the score calculated in the extraction result evaluation step S2003 may be displayed on the display 303.
  • the selection result of the user in the target selection step is transmitted from the extraction criterion selection unit 1901 to the cloud server 111 via the communication unit 1803 of the skin analyzer 305, and the communication unit 1814 of the cloud server 111 receives this. Further, the score s1 is transmitted from the extraction result evaluation unit 1902 to the cloud server 111 via the communication unit 1803 of the skin analysis device 305, and the communication unit 1814 on the cloud server 111 side receives this.
  • the cloud server 111 stores the selection results of the user extraction criteria received from the plurality of skin analysis devices 305 in the user selection database 1911. Further, the selection item of the target extraction criterion is updated based on the tendency of the selection results of a large number of accumulated users. Furthermore, based on the user's score s1 received from the plurality of skin analyzers 305 and the user's selection results, the analysis range, extraction criteria, and score s1 are accumulated in the evaluation result database 1912, and based on the evaluation results of many users. Then, the average b2 of the evaluation results of the target features in each analysis range and the variance c2 of the evaluation results are calculated.
  • the selection item updated based on the user selection database 1911 is transmitted from the communication unit 1814 on the cloud server 111 side to the communication unit 1803 of the skin analysis device 305, and the selection item of the extraction criterion selection unit 1901 is Updated. Further, the average b2 of the evaluation results and the variance c2 of the evaluation results updated based on the evaluation result database 1912 are transmitted from the communication unit 1814 of the cloud server 111 to the communication unit 1803 of the skin analyzer 305, and the average b2 of the evaluation results The scoring coefficients b1 and c1 of the extraction result evaluation unit are updated based on the evaluation result variance c2.
  • the object to be changed by the above method is not limited to the selection items of the extraction criteria and the average and variance of the evaluation results, and examples thereof include advice and recommendations.
  • coefficients such as the average and analysis of selection items and evaluation results, it may be based on data by all users, or may be based on some data according to user attributes. It may be based on data of only human users.
  • the number of times one extraction criterion among a plurality of extraction criteria for each skin region is selected may be transmitted from the skin analysis device 305 to the cloud server 111 via the network and stored in the user selection database 1911.
  • the cloud server 111 may receive the data by a plurality of skin analysis devices 305 to obtain the total number of times each extraction criterion has been selected, and transmit the extraction criteria having a large number of selections to each skin analysis device 305. .
  • the skin analyzer 305 can present the extraction criteria determined based on the selected frequency to the user as options.
  • FIG. 18A is a diagram showing an overall image of services provided by the information management system according to the present embodiment.
  • the information management system includes a group 100, a data center operating company 110, and a service provider 120.
  • the group 100 is, for example, a company, an organization, or a home, and may be of any size.
  • the group 100 includes a plurality of devices 101 including a first device and a second device and a home gateway 102.
  • the plurality of devices 101 include devices that can be connected to the Internet (for example, smartphones, personal computers (PCs) or televisions), and devices that cannot be connected to the Internet by themselves (for example, lighting, washing machines, refrigerators, etc.). Including.
  • the plurality of devices 101 may include devices that cannot be connected to the Internet by themselves but can be connected to the Internet via the home gateway 102. Further, the user 10 uses a plurality of devices 101 in the group 100.
  • the device 101 includes the skin analysis device 305 of the first to third embodiments.
  • the data center operating company 110 includes a cloud server 111.
  • the cloud server 111 is a virtualization server that cooperates with various devices via the Internet.
  • the cloud server 111 mainly manages huge data (big data) that is difficult to handle with a normal database management tool or the like.
  • the data center operating company 110 performs management of data, management of the cloud server 111, operation of the data center that performs them, and the like. Details of services performed by the data center operating company 110 will be described later.
  • the data center operating company 110 is not limited to a company that only manages data or the cloud server 111.
  • a device manufacturer that develops or manufactures one of a plurality of devices 101 is managing data or managing the cloud server 111
  • the device manufacturer corresponds to the data center operating company 110.
  • the data center operating company 110 is not limited to one company.
  • FIG. 18C when the device manufacturer and the management company jointly or share the data management or the cloud server 111 management, both or one of them is the data center operating company 110. It corresponds to.
  • the service provider 120 includes a server 121.
  • the server 121 here is not limited in scale, and includes, for example, a memory in a personal PC. In some cases, the service provider 120 does not include the server 121.
  • the home gateway 102 is not essential. For example, when the cloud server 111 manages all data, the home gateway 102 becomes unnecessary. In addition, there may be no device that cannot be connected to the Internet by itself, as in the case where all devices in the home are connected to the Internet.
  • the first device or the second device of the group 100 transmits each log information to the cloud server 111 of the data center operating company 110, respectively.
  • the cloud server 111 accumulates log information of the first device or the second device (arrow 131 in FIG. 18A).
  • the log information is information indicating, for example, driving conditions or operation dates / times of the plurality of devices 101.
  • the log information includes TV viewing history, recorder recording reservation information, operation date and time of the washing machine, amount of laundry, opening and closing date and time of the refrigerator, or opening and closing frequency of the refrigerator.
  • the skin analysis device 305 is added to the operation date and time, and information such as the extraction criteria described in the first to third embodiments is added. Including. Moreover, it is not limited to these pieces of information, and may include various types of information that can be acquired from various devices.
  • the log information may be provided directly to the cloud server 111 from the plurality of devices 101 themselves via the Internet. The log information may be temporarily accumulated in the home gateway 102 from a plurality of devices 101 and provided to the cloud server 111 from the home gateway 102.
  • the cloud server 111 of the data center operating company 110 provides the collected log information to the service provider 120 in a certain unit.
  • the fixed unit may be a unit that can organize and provide the information collected by the data center operating company 110 to the service provider 120, or may be a unit that the service provider 120 requests.
  • the information is provided in a fixed unit, it may not be a fixed unit, and the amount of information to be provided may change depending on the situation.
  • the log information is stored in the server 121 held by the service provider 120 as necessary (arrow 132 in FIG. 18A).
  • the service provider 120 organizes the log information into information suitable for the service provided to the user and provides it to the user.
  • the user who is provided with the information may be the user 10 who uses the plurality of devices 101 or the external user 20.
  • information may be provided directly from the service provider 120 to the users 10 and 20 (arrows 133 and 134 in FIG. 18A).
  • information may be provided to the user 10 via the cloud server 111 of the data center operating company 110 again (arrows 135, 136 in FIG. 18A).
  • the cloud server 111 of the data center operating company 110 may organize the log information into information suitable for the service provided to the user and provide the information to the service provider 120.
  • the user 10 may be the same as or different from the user 20.
  • the technique demonstrated in the said aspect can be implement
  • the types of cloud services in which the technology described in the above aspect is realized are not limited to these.
  • FIG. 19 is a diagram showing an overview of services provided by the information management system in service type 1 (in-house data center type cloud service).
  • the service provider 120 acquires information from the group 100 and provides a service to the user.
  • the service provider 120 has a function of a data center operating company. That is, the service provider 120 has a cloud server 111 that manages big data. Therefore, there is no data center operating company.
  • the service provider 120 operates and manages the data center (cloud server) 203.
  • the service provider 120 manages an operating system (OS) 202 and an application 201.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the service provider 120 (arrow 204).
  • FIG. 20 is a diagram illustrating an overall image of services provided by the information management system in service type 2 (IaaS-based cloud service).
  • IaaS is an abbreviation for infrastructure as a service, and is a cloud service provision model that provides a base for constructing and operating a computer system as a service via the Internet.
  • the data center operating company 110 operates and manages the data center (cloud server) 203.
  • the service provider 120 manages the OS 202 and the application 201.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the service provider 120 (arrow 204).
  • FIG. 21 is a diagram illustrating an overall image of services provided by the information management system in service type 3 (PaaS use type cloud service).
  • PaaS is an abbreviation for Platform as a Service
  • PaaS provision model that provides a platform serving as a foundation for constructing and operating software as a service via the Internet.
  • the data center operating company 110 manages the OS 202 and operates and manages the data center (cloud server) 203. Further, the service provider 120 manages the application 201. The service provider 120 provides a service using the OS 202 managed by the data center operating company 110 and the application 201 managed by the service provider 120 (arrow 204).
  • FIG. 22 is a diagram illustrating an overview of services provided by the information management system in service type 4 (SaaS-based cloud service).
  • SaaS is an abbreviation for software as a service.
  • the SaaS-based cloud service is, for example, an application provided by a platform provider who owns a data center (cloud server), or a user such as a company or individual who does not have a data center (cloud server) on the Internet.
  • This is a cloud service provision model that has functions that can be used via other networks.
  • the data center operating company 110 manages the application 201, manages the OS 202, and operates and manages the data center (cloud server) 203.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the data center operating company 110 (arrow 204).
  • the service provider 120 provides a service.
  • the service provider or the data center operating company may develop an OS, an application, a big data database, or the like, or may be outsourced to a third party.
  • the skin analysis method, the skin analysis device, and the control method for controlling the skin analysis device disclosed in the present application are suitably used for analysis and evaluation of the skin region by the skin analysis device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　肌分析装置を制御する制御方法は、被験者の顔画像を取得するカメラ、被験者の顔画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御する制御方法であって、肌分析装置のコンピュータに、被験者の顔画像を取得させ、顔画像上の位置に基づいて、顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、決定された抽出基準を満たすターゲットを顔画像から抽出させ、抽出したターゲットを肌分析装置のディスプレイに表示させる。

Description

肌分析方法、肌分析装置および肌分析装置の制御方法
　本願は、肌分析方法、肌分析装置および肌分析装置の制御方法に関する。
　従来、肌を撮影した画像に基づき、肌の状態を分析し、分析結果を可視化および定量化することが行われている。このためには、肌画像に基づいて、肌表面に存在する分析対象を抽出する必要がある。
　特許文献１は、得られた肌画像に対して十字二値化処理及び／又は短直線マッチング処理を含む画像処理を行うことでキメ及び／又はシワの抽出を行う技術を開示している。
　特許文献２は、撮像された画像の輝度値のばらつきが所定値以上になるように各画素の輝度値を変換し、各画素を二値化し、二値化された黒画素と所定の短直線とをマッチングすることで、皮溝を抽出する技術を開示している。
　非特許文献１は、肌のエッジ方向を局所特徴に基づいて予め定め、予め定められた方位を持つＧａｂｏｒフィルタを用いてフィルタリング処理を行うことで、シワを抽出する技術を開示している。
国際公開第０９／１４２０６９号 特許第４９０９６８６号
Ｃｕｌａ　ｅｔ　ａｌ．，　"Ａｓｓｅｓｓｉｎｇ　ｆａｃｉａｌ　ｗｒｉｎｋｌｅｓ：　ａｕｔｏｍａｔｉｃ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｑｕａｎｔｉｆｉｃａｔｉｏｎ"，　Ｓｋｉｎ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　２０１３
　しかし、肌表面を分析するためには煩雑な操作または大がかりな装置が必要であり、任意の顔画像に基づき分析するためには、さらなる検討が必要とされていた。
　本願に開示された肌分析装置を制御する制御方法は、被験者の顔画像を取得するカメラ、前記被験者の顔画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御する制御方法であって、前記肌分析装置の前記コンピュータに、前記被験者の顔画像を取得させ、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる。
　本願に開示された肌分析方法および肌分析装置によれば、ユーザの要求に合わせた任意の肌シワ検出を、顔全体に対して自動で実行することが可能となる。
肌の内部の構造を模式的に示す図である。 本開示の実施の形態１における肌分析装置の全体像を示す図である。 （ａ）は、制御装置３０２の構成を示す図であり、（ｂ）は、クラウドサーバ３０７の構成を示す図である。 本開示の実施の形態１における肌分析装置の機能ブロック図である。 本開示の実施の形態１において、肌分析装置によって、肌の評価を行う手順を示すフローチャートである。 （ａ）は、肌分析前にディスプレイに表示される表示画面例の一例を示す図である。（ｂ）は、画像の撮像時にディスプレイに表示される表示画面の一例を示す図である。 （ａ）、（ｂ）、（ｃ）は、それぞれ画像上の位置に基づいてターゲット特徴を決定し抽出する途中経過を模式的に示す図である。 （ａ）、（ｂ）は、それぞれ肌分析後にディスプレイに表示される表示画面の一例を示す図である。 （ａ）、（ｂ）は、それぞれディスプレイに表示される表示画面の一例を示す図である。 （ａ）、（ｂ）は、それぞれディスプレイに表示される表示画面の一例を示す図である。 本開示の実施の形態２における、肌分析装置の機能ブロック図である。 本開示の実施の形態２において、肌分析装置によって、肌の評価を行う手順を示すフローチャートである。 （ａ）、（ｂ）、（ｃ）は、それぞれ顔の特徴点に基づいてターゲット特徴を決定し抽出する途中経過を、模式的に示す図である。 本開示の実施の形態３における、肌分析装置の全体像を示す図である。 本開示の実施の形態３における、クラウドサーバおよび肌分析装置の構成を示す図である。 本開示の実施の形態３における、クラウドサーバおよび肌分析装置の機能ブロック図である。 本開示の実施の形態３において、肌分析装置によって、肌の評価を行う手順を示すフローチャートである。 （ａ）は、実施の形態４における情報提供システムの全体像であり、（ｂ）および（ｃ）は、データセンタの構成を示している。 サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
　（本発明の基礎となった知見）
　非特許文献１に開示されている技術は、Ｇａｂｏｒフィルタを用いてユーザの肌画像におけるシワ（皮溝）を抽出し、抽出されたシワに基づいて肌状態を評価している。ここでＧａｂｏｒフィルタは、特定の方位を決定し、決定された方位に向かって刻まれているシワを抽出する。
　しかし、非特許文献１に開示されている技術では、顔画像から所定部分を切り出し、切り出した画像について評価を行う。この画像の切り出しは専門家が行うため、ユーザ自身が気軽に顔画像から肌状態の評価を行うことが出来なかった。また、非特許文献１に開示されている技術では、ユーザの肌のどの方向へ顕著にシワ（皮溝）が刻まれているかという画像の局所的な特徴から、Ｇａｂｏｒフィルタの方位を決定している。そのため、例えば、顔画像においてユーザが小鼻のシワの評価を所望する場合であっても、顔画像から顕著なほうれい線が検出されるなど、検出されるシワの種類とユーザが評価を所望するシワの種類とが一致しないという課題があった。
　特に、肌状態を評価する顔画像上の位置に応じて、ユーザ毎に異なる種類のシワを評価したいというニーズを満たすための技術的な解決策に関しては、検討されていなかった。
　本願発明者は、このような課題に鑑み新規な、肌分析方法、肌分析装置および肌分析装置の制御方法を想到した。本願の肌分析方法、肌分析装置および肌分析装置の制御方法の概要は以下の通りである。
　本願に開示された肌分析装置を制御する制御方法の一態様は、被験者の顔画像を取得するカメラ、前記被験者の顔画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御する制御方法であって、前記肌分析装置の前記コンピュータに、前記被験者の顔画像を取得させ、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる。
　本態様では、肌分析装置のコンピュータに、顔画像上の位置に基づいて、顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させる。そのため、ターゲットを抽出するという肌領域の分析のために、専門家のオペレーション（顔画像の切り出し）が不要となり、ユーザが顔画像を用意するだけで肌領域の分析および評価が可能となる。
　またコンピュータに、前記取得した顔画像に含まれる顔部位を検出させ、前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定させ、決定した前記複数の肌領域における前記ターゲットの抽出基準を決定させる。つまり、顔画像内のどの位置にある肌領域であるかに基づいて、ターゲットの抽出基準を決定する。そのため、例えば、顔画像における目元のターゲットと、口まわりにおけるターゲットとで抽出基準を変えるなど、肌領域の場所ごとに異なる抽出基準にてターゲットを抽出することができる。
　上記態様において、例えば、前記相対位置に応じて前記複数の肌領域の１つにおけるターゲットの複数の抽出基準を前記ディスプレイに選択可能に表示させ、前記複数の抽出基準のうちの１つが選択されたと判断された場合に、前記選択された１つの抽出基準を満たす前記ターゲットを抽出させ、前記抽出したターゲットを前記ディスプレイに表示させてもよい。
　上記態様により、肌状態を評価する顔画像上の肌領域の位置に応じて、ユーザ毎に異なる種類のシワを評価できる。
　また、例えば、顔画像においてユーザが小鼻のシワの評価を所望する場合であっても、顔画像から顕著なほうれい線が検出されるなど、検出されるシワの種類とユーザが評価を所望するシワの種類とが一致しないということがない。
　上記態様において、例えば、前記ターゲットは皮溝および／または被毛であってもよい。
　上記態様において、例えば、前記抽出基準は前記ターゲットの角度、太さ、長さのうち少なくとも一つを示す値であってもよい。
　上記態様において、例えば、前記顔部位との相対位置は、眉間、目の下、目尻、目頭、鼻側面、口元および額のいずれかであってもよく、またはその組み合わせであってもよい。
　上記態様において、例えば、前記抽出したターゲットは、前記顔画像に重畳して前記ディスプレイに表示されてもよい。
　上記態様において、例えば、フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出させ、前記抽出基準は前記フィルタリング処理に用いるフィルタの性質であってもよい。
　上記態様において、例えば、前記顔部位と前記複数の肌領域との相対位置に対応させて記憶された所定の抽出基準に基づいて、前記ターゲットを抽出させるとしてもよい。
　上記態様において、例えば、前記所定の抽出基準は、前記肌分析装置のメモリに記憶されてもよい。
　上記態様において、例えば、前記所定の抽出基準は、ネットワークを介して前記肌分析装置からアクセス可能なサーバに記憶されていてもよい。
　上記態様において、例えば、前記複数の抽出基準のうちの１つが選択された回数が、ネットワークを介して前記肌分析装置からアクセス可能なサーバに記憶され、前記所定の抽出基準は、選択された頻度に基づいて決定されてもよい。
　また、本願に開示された肌評価方法の一態様は、被験者の顔画像を取得し、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定し、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出し、前記抽出したターゲットをディスプレイに表示する。
　上記態様において、例えば、前記相対位置に応じて前記複数の肌領域の１つにおけるターゲットの複数の抽出基準を前記ディスプレイに選択可能に表示し、前記複数の抽出基準のうちの１つが選択されたと判断した場合に、前記１つの抽出基準を満たす前記ターゲットを抽出し、前記抽出したターゲットを前記ディスプレイに表示させるとしてもよい。
　上記態様において、例えば、前記ターゲットは皮溝および／または被毛であってもよい。
　上記態様において、例えば、前記抽出基準は前記ターゲットの角度、太さ、長さのいずれかを示す値であってもよい。
　上記態様において、例えば、前記顔部位との相対位置は、眉間、目の下、目尻、目頭、鼻側面、口元および額のいずれかであってもよく、またはその組み合わせであってもよい。
　上記態様において、例えば、フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出し、前記抽出基準は前記フィルタリング処理に用いるフィルタの性質であってもよい。
　本願に開示された肌分析装置を制御するコンピュータプログラムの一態様は、被験者の顔画像を取得するカメラ、前記被験者の画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御するコンピュータプログラムであって、前記肌分析装置のコンピュータに、前記被験者の顔画像を取得させ、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる。
　これにより、例えば決まったガイドにあわせて撮影された顔画像において、画像内の位置に応じて違った肌状態を抽出することを可能にする。
　また、上記態様において、前記取得した顔画像に含まれる顔部位を検出させ、前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定させ、決定した前記複数の肌領域における前記ターゲットの抽出基準を決定させる。これにより、ユーザが特に位置を気にせずに撮影した顔画像においても、画像内に含まれる顔部位の位置に応じて違った肌状態を抽出することを可能にする。
　また、抽出基準は、顔部位との相対位置に応じて予め定められている、更新可能なデータベースに基づいて、決定さる。これにより肌分析装置の多くのユーザが所望する肌状態の傾向に基づいて、抽出することを可能にする。
　また、画像内の位置に応じてユーザが選択した抽出基準に基づいて、ターゲットを抽出する。これにより、現在操作しているユーザが所望する肌状態を抽出することを可能にする。
　従って本願の上記実施態様によれば、ユーザの要求に合わせた任意の肌シワ検出を、顔全体に対して自動で実行することが可能となる。
　本願に開示された肌分析装置の一態様は、被験者の顔画像を取得するカメラと、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定する抽出基準決定部と、決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出するターゲット抽出部と、前記抽出されたターゲットを表示するディスプレイとを備える。
　上記態様において、肌分析装置は、前記顔画像に含まれる顔部位を検出し、検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定する顔検出部をさらに備える。
　上記態様において、肌分析装置は、前記複数の肌領域のそれぞれに関する複数の抽出基準をディスプレイに表示し、１つの選択を受け付ける抽出基準選択部と、複数の肌領域毎に抽出されたターゲットをスコア化する抽出結果評価部と、前記抽出基準選択部における選択結果および前記スコアを外部のサーバに送信する通信部とをさらに備える。
　以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
（実施の形態１）
　以下、図面を参照しながら、本実施の形態に係る肌分析装置およびその制御方法を説明する。本願明細書の各実施の形態の肌分析装置は、被験者の顔を撮影し、肌領域に存在する皮溝および被毛を抽出して表示する。皮溝は、ほうれい線を含む種々の長さ、太さおよび深さのシワ（皺）をいう。また、被毛は、眉毛、まつ毛、口ひげおよびあごひげを含む。皮溝および被毛を合わせてターゲットと呼ぶ。肌領域は、上述した被毛に覆われる部分を含む肌全体から選ばれる一部である。
　まず、被験者の顔を撮影し、肌領域に存在する皮溝および被毛を精度よく抽出するための撮影方法を説明する。図１は、人肌の断面を模式的に示している。肌画像には肌のシミ、シワ、毛穴、ほうれい線などの種々の情報が含まれる。図１に示すように肌２００は、肌２００の表面２００Ｓから内部に向かって０．０６ｍｍ以上０．２ｍｍ程度の深さの範囲にある表皮２００Ａ、これよりも内部に存在する真皮２００Ｂを含む。肌のシミ、シワ、毛穴は、肌における形状およびこれらが肌２００中に存在する深さ位置が異なる。したがって、肌の異なる深さからの画像を得て、形状による識別を行えば、皮溝を選択的に抽出することができる。
　肌の異なる深さからの画像の情報は、偏光光や色成分を用いることによって得られる。たとえば、所定の方向に平行な直線偏光光を光源として肌を撮影した場合、直線偏光光は、肌の表面２００Ｓにおいて偏光方向が維持されて反射する。一方、表皮２００Ａの内部で反射した直線偏光光は、散乱によって偏光方向が乱れて表皮２００Ａから出射する。このため、直線偏光光を出射する光源を用い、光源と平行な偏光光を検出すれば（平行偏光条件）、肌の表面の情報が多く内部の情報が少ない画像を得ることができる。また、直線偏光光を出射する光源を用い、光源と直交する偏光光を検出すれば（直交偏光条件）、肌の内部の情報が多く、表面の情報が少ない画像を得ることができる。つまり、偏光光を光源として用いることにより、肌の内部の情報や表面の情報を選択的に含む画像を得ることができる。
　また、光源からの光は、波長が長いほど表皮２００Ａの内部にまで入射し、内部で反射する。したがって、肌を撮影した画像のうち、青色（Ｂ）成分は、肌の表面の情報をより多く含み、赤色（Ｒ）や赤外成分は表皮２００Ａの内部の情報をより多く含む。
　また、ターゲットである皮溝は、特定の波長領域の光を吸収しやすい等の性質を有する場合がある。このような場合には、その特定の波長領域の光の成分を利用することによって、皮溝を精度よく抽出することができる。
　シワは、肌２００の表面２００Ｓ近傍に存在する。表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めると、肌表面における光の反射による影響を抑制し、シワの情報を多く含む画像を得ることができる。また、Ｇａｂｏｒフィルタなどの線検出フィルタを用いて画像を処理することによって、シワおよびほうれい線の情報を多く含む画像を得ることができる。シワとほうれい線とを精度よく区別したい場合には、検出した部分の長さ、太さなどによる閾値処理をさらに行ってもよい。
　なお、シワの情報を多く含む画像を得るために、ここでは青と赤との画素値の差分を求めることを述べたが、青の画素値のみを求めてもよく、また例えば、緑など他の色の画素値を用いてもよく、青と赤との画素値の差分を求めることのみに限定されない。
　眉毛、まつ毛、口ひげ、あごひげは、一般的に肌よりも彩度および色度が低い。このため、撮影した画像から画像処理によって、眉毛、まつ毛、口ひげ、あごひげを抽出することができる。
　図２は、本実施の形態に係る肌分析装置３０５の全体像を示す図である。肌分析装置３０５は、カメラ３００と、照明装置３０１と、制御装置３０２と、ディスプレイ３０３とを備える。ここで、ディスプレイ３０３は、タッチパネルを備えていることが好ましく、ディスプレイ３０３に表示されるボタンをユーザが指などで触れることによって肌分析装置３０５を操作可能としてもよい。
　カメラ３００から入力された被験者であるユーザ３０４の顔画像は、制御装置３０２によって取得され、クラウドサーバ３０７で評価される。その後、肌状態または肌状態を定量評価された指標が、ディスプレイ３０３に提示される。
　図３（ａ）は、制御装置３０２の構成を示す図である。制御装置３０２は、マイクロコンピュータ３０２Ａと、メモリ３０２Ｂと、通信部３０２Ｃとを備える。マイクロコンピュータ３０２Ａは、以下に説明する動作を含む肌分析装置３０５全体の動作を制御する。また、マイクロコンピュータ３０２Ａは、画像処理等の以下に説明する各種処理を実行する。例えば、肌分析装置３０５の各動作を制御するためのコンピュータプログラムはメモリ３０２Ｂに記憶されている。マイクロコンピュータ３０２Ａは、この記憶されたコンピュータプログラムに従って、カメラ３００、照明装置３０１などの肌分析装置３０５の各構成要素の動作を制御したり、画像処理等の各種処理を実行したりする。
　カメラ３００は、ユーザ３０４の顔を撮像し、顔画像データを取得する。上述したように、ユーザの顔画像からターゲットとなるシワ、被毛などを正確に抽出するために、照明装置３０１およびカメラ３００に偏光フィルタが設けられており、偏光画像が取得されてもよい。なお、肌分析装置３０５は、照明装置３０１を含んでいなくても良い。
　図３（ｂ）は、クラウドサーバ３０７の構成を示す図である。クラウドサーバ３０７は、マイクロコンピュータ３０７Ａと、メモリ３０７Ｂと、通信部３０７Ｃと、データベース３０７Ｄとを備える。クラウドサーバ３０７は、通信部３０７Ｃを介して、撮像された画像、画像の特徴指標、肌の評価値などを複数の肌分析装置３０５から受け取る。クラウドサーバ３０７は、複数の肌分析装置３０５から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部３０７Ｃを介して、それら統計データや相関関係を各肌分析装置３０５に送信する。
　なお、ユーザ３０４の顔画像の画像処理等の各種処理は、クラウドサーバ３０７で行われてもよい。また、ユーザ３０４の顔画像の評価は、制御装置３０２で行われてもよい。
　図４は、本実施の形態における肌分析装置３０５の構成を示すブロック図である。肌分析装置３０５は、カメラ３００、画像取得部１１０２、抽出基準決定部１１０３、ターゲット抽出部１１０４およびディスプレイ３０３を備える。なお、図示しない通信部を用いてクラウドサーバ３０７と通信してもよく、顔画像の評価自体はクラウドサーバ３０７で処理されてもよい。また、評価結果をクラウドサーバ３０７で記憶してもよい。
　以下、図面を参照して、本発明の肌分析装置３０５の動作について説明をする。
　本実施の形態における肌分析装置３０５は、ユーザ３０４が肌分析装置３０５に備えられたカメラ３００の前に位置した状態で、動作を開始する。
　まず、カメラ３００がユーザ３０４の顔を撮影し、顔画像を取得する。画像取得部１１０２は、カメラ３００から顔画像データを受け取り、左右を反転させた顔画像データを生成する。生成した顔画像データはディスプレイ３０３に出力され、ディスプレイ３０３は、左右が反転した顔画像を表示する。これは電子ミラーとしての機能である。
　ユーザは、ディスプレイ３０３に表示される顔画像を見て、ディスプレイ３０３上での顔画像の位置を調整する。ディスプレイ３０３のほぼ中央に自分の顔画像が表示されていない場合、顔画像が大きすぎるあるいは小さすぎる場合には、ディスプレイ３０３において、顔画像が適切な大きさおよび位置に表示されるように、カメラ３００に対して顔の位置を移動させる。ユーザが顔の位置を調整しやすいように、ディスプレイ３０３に好ましい顔の位置を示すガイドマーカーを表示させてもよい。ユーザの撮像開始指示により、肌分析装置３０５は、撮影した顔画像の分析動作を開始する。
　図５は、肌分析装置３０５の動作フローを示すフローチャートである。
　（Ｓ１２０１）
　制御装置３０２はカメラ３００を動作させ、カメラ３００にユーザの顔を撮影させる。画像取得部１１０２は、カメラ３００から、ユーザの顔画像データを受け取り、左右が反転した顔画像を生成する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を撮像することが好ましい。上述したように、抽出すべきターゲットの種類に応じて、偏光条件および使用する光の波長を選択する。ターゲットが皮溝および被毛である場合には、表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めることによって、皮溝や被毛の情報を多く含む画像を得ることができる。
　（Ｓ１２０２）
　抽出基準決定部１１０３は、左右が反転した顔画像データを画像取得部１１０２から受け取り、顔画像上の位置に基づきターゲットの抽出基準を決定する。ここで、ターゲットの抽出基準とは、以下において詳細に説明するように、ターゲットの特徴を示す値である。
　（Ｓ１２０３）
　ターゲット抽出部１１０４は、Ｓ１２０２で決定されたターゲットの抽出基準に基づいて、ユーザの顔画像からターゲットを抽出する。
　（Ｓ１２０４）
　ディスプレイ３０３は、Ｓ１２０３にて抽出されたターゲットを表示する。このとき、表示されるターゲットは、ユーザの顔画像に重畳して表示されることが好ましい。
　以下、ディスプレイ３０３に示される例示的な画像を参照しながら、肌分析装置３０５の動作をより詳細に説明する。図６（ａ）は、ユーザの顔画像撮像前に肌分析装置３０５のディスプレイ３０３に表示される初期画面の一例を示している。ディスプレイ３０３の表示領域は、例えば、面積が大きいメイン画面７０とメイン画面７０の下側に位置し、面積が小さいサブ画面７２を含む。初期画面では、カメラ３００から入力される画像がメイン画面７０にリアルタイムで表示され、デジタルミラーとして機能している。サブ画面７２には、例えば、時計や天気予報などの情報が表示されてもよい。
　図６（ｂ）は、撮像開始直前の画面を示している。上述したようにディスプレイ３０３の表面にはタッチパネルが設けられており、タッチパネルをユーザが指などで触れることによって、サブ画面７２の上部８０および左側部７８に操作メニューや機能の切り替えメニューが表示される。メイン画面７０には、例えば、ユーザの顔の位置を誘導するためのガイド３５が示されてもよい。また、撮影のタイミングを示すマークやカウントダウンの数字７４などが示されていてもよい。
　また、例えば、サブ画面７２の右側７２Ｒにはカメラ３００から入力されるユーザの顔画像３１がリアルタイムで表示され、左側７２Ｌにカレンダーが表示される。カレンダーにはたとえば、過去に肌分析装置３０５を用いて撮影を行ったことを示すマークなどが示されていてもよい。図６（ｂ）に示す表示のあと、上述したようにユーザの顔画像の撮像が行われる。
　以下に、ユーザの顔画像からターゲットの抽出基準を決定する方法及び決定された抽出基準に基づいてターゲットを抽出する方法を記載する。
　図７（ａ）から（ｃ）は、ユーザの顔画像上の位置に基づいて、肌状態を抽出するターゲットの特徴を決定し、決定されたターゲットの特徴に基づいてターゲットを抽出する処理の途中経過を模式的に示した図である。顔画像上の位置に基づいてターゲットの抽出基準を決定するために、本実施の形態では、顔画像を４分割し、各象限ごとに抽出基準を決める。図７（ａ）は、ユーザの顔画像を４分割した状態が示されており、図７（ｂ）には画像の第３象限および第４象限においてそれぞれターゲットの抽出基準が決定された場合の、ターゲット特徴が模式的に線分で示されている。ここで示される抽出基準は、ターゲットであるシワおよび被毛の向きを示している。図７（ｃ）には、前記決定されたターゲット特徴に基づいて顔画像から抽出されたシワが、模式的に示されている。
　ターゲット抽出基準決定ステップＳ１２０２では、画像取得部１１０２が取得したユーザの顔画像が、抽出基準決定部１１０３に出力される。ターゲットの抽出基準は、図７（ａ）、（ｂ）で例示されるように、画像上の位置に基づいて決定される。抽出基準は、ターゲットの角度、太さ、長さ（サイズ）のうち少なくとも一つを示す値である。例えば、図７（ｂ）に示す例では、顔画像上において上下および左右に４分割された４つの象限のうち、第１および第２の象限には抽出基準が設けられていない。第３及び第４象限には、抽出基準としてターゲットの角度が設けられている。より具体的には、第１象限と第４象限との境界を基準として、第３象限には４５度の角度基準が設けられ、第４象限には、－４５度（１３５度）の角度基準が設けられる。この場合、例えば、設定した角度基準に対して±１０度の範囲で抽出基準が決定される。
　ターゲット抽出ステップＳ１２０３では、画像取得部１１０２が取得したユーザの顔画像と、抽出基準決定部１１０３によって決定された抽出基準とが、ターゲット抽出部１１０４に出力される。ターゲット抽出部は、ユーザの顔画像とターゲットの抽出基準に基づいて、ターゲットが抽出される。具体的には、顔画像のうち、第１および第２象限には抽出基準が設けられていないため、抽出基準を満たすターゲットは抽出されない。一方第３および第４象限においては、上述の抽出基準を満たすシワが抽出される。よって、図７（ｃ）で示されるように、例えば、ほうれい線および目の下のほうれい線と同じ方向に伸びるシワが抽出される。
　皮溝など線形状のターゲットを顔画像から抽出する場合、ターゲットの抽出基準の１つである方向が一致しないと、正しくターゲットを抽出することができない。例えば、顔画像の第３象限に位置するほうれい線と第４象限にあるほうれい線とは、方向が異なるため、一方の抽出に適した抽出条件を用いた場合、他方は正しく抽出できない可能性がある。本実施の形態によれば、顔画像上の位置に基づいて、顔画像の複数の肌領域におけるターゲットの抽出基準を決定するため、２つのほうれい線を含む異なる方向のシワを正しく抽出することができる。
　図７（ｃ）に示す例では、目の下のシワおよびほうれい線が抽出されるが、抽出条件として、ターゲットの太さも設定してもよい。この場合、いずれか一方を選択的に抽出することも可能である。
　ターゲットの抽出は、特許文献１、２に開示されているパターンマッチングを用いる方法、非特許文献１に開示されているＧａｂｏｒフィルタを用いる方法、Ｈｏｕｇｈ変換を用いる方法等により行うことができる。また、Ｓｏｂｅｌフィルタを用いてもよく、他の線分抽出方法やフィルタを用いてもよい。
　例えばＧａｂｏｒフィルタを用いる場合には、上述した第３象限および第４象限に設定される角度基準に基づき、フィルタのｘ方向空間周波数、ｙ方向空間周波数やフィルタサイズ等のパラメータが決定される。
　抽出結果表示ステップＳ１２０４では、画像取得部１１０２が取得したユーザの顔画像と、ターゲット抽出部１１０４が抽出したターゲットの抽出結果が、ディスプレイ１１０５に出力される。ディスプレイ１１０５は図８（ａ）および図８（ｂ）で例示されるような結果画面をディスプレイ３０３に表示する。
　図８（ａ）で示す表示例では、メイン画面７０にターゲットであるシワの抽出に使用されたユーザの顔画像が表示されるとともに、顔画像に重畳して抽出されたターゲット８１が表示される。また、サブ画面７２の左側７２Ｌにもユーザの顔画像が示される。サブ画面７２の上部８０には、顔の位置を指定するメニューが表示され、左側部７８には表示する内容や機能を切り替えるメニューが表示される。ユーザは、例えば、サブ画面７２の上部８０および左側部７８に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりできる。
　図８（ｂ）は、サブ画面７２の右側７２Ｒに、ユーザの指定した領域８３である肌領域の画像の一部が、拡大されて表示されている例を示している。ターゲットであるシワも右側７２Ｒに表示されている。ターゲットの表示は、例えば、肌領域におけるターゲットに該当する部分を赤色の領域（線）で表示してもよい。
　尚、抽出したターゲットを表示するだけでなく、抽出したターゲットを評価し、結果を提示してもよい。例えば、上述の手順によって顔画像からターゲットを抽出した場合、図８（ａ）のサブ画面７２の右側７２Ｒのように、ターゲットについて算出された評価結果が、例えばレーダーチャートによって示される。例えば、ターゲットであるシワの密度を求め、評価した結果を表示してもよい。
　また、抽出したターゲットについての情報およびレーダーチャートで示されたスコアの履歴が、制御装置３０２またはクラウドサーバ３０７に保存されてもよい。これにより、ユーザは評価結果の履歴をいつでも参照することができ、継時的なケアに役立てることが可能になる。
　たとえば、図９（ａ）に示すように、サブ画面７２にカレンダーを表示してもよい。カレンダーには、日付毎に評価が行われたか否かを示す情報が表示されている。例えば、ユーザがカレンダーの日付を選択すると、図９（ｂ）の表示例に示すような過去の評価結果をディスプレイ３０３に表示させる。このとき、メイン画面７０には、選択された日付において評価を行ったユーザの顔画像が抽出されたターゲットとともに表示され、サブ画面７２には、カレンダーとともに抽出したターゲットをスコア化したものがレーダーチャートとして表示される。
　また、評価結果及び履歴に基づいて、個人の肌状態に最適化されたケアに関するアドバイス情報や推奨されるケア用品および化粧品を提示してもよい。図１０（ａ）に示すように、評価結果に基づく肌の手入れ等の美容に関するアドバイスを表示してもよい。また、図１０（ｂ）に示すように、肌状態を改善するために有用な化粧品や美容機器の情報を詳細に表示してもよい。
　（実施の形態２）
　本実施の形態では、顔画像に含まれる顔部位を検出し、検出した顔部位に対する相対位置に基づいて肌領域を決定し、ターゲットの抽出基準を設定する。
　図１１は、本実施の形態における肌分析装置３０５の構成を示すブロック図である。実施の形態１における構成に加えて、顔検出部１４０１を備えている。顔検出部１４０１は、ユーザの顔画像における目、鼻、口、輪郭などの顔部位を検出し、検出した顔部位との相対位置に基づき、顔画像の複数の肌領域の座標を決定する。
　図１２は、本実施の形態における肌分析装置３０５の動作フローを示すフローチャートである。実施の形態１における動作フローに加えて、顔検出ステップＳ１５０１を有する。
　図１３は、顔検出位置に基づいてターゲット特徴を決定する場合の模式図を示す。図１３（ａ）は、ユーザの顔画像から目、鼻、口、輪郭などの顔部位が検出された状態を示している。こうした顔部位の検出は、公知のデジタルカメラ等に使用される顔認証技術を利用することができる。図１３（ｂ）は、検出された顔部位との相対位置関係に基づいて、肌領域毎にターゲットの抽出基準が決定されている様子を示している。顔部位との相対位置関係に基づき定められる肌領域は、例えば、眉間、目の下、目尻、目頭、鼻側面、口元および額のいずれかであってもよい。また、これらの組み合わせであってもよい。
　ここでは、例えば、Ｇａｂｏｒフィルタを用いてターゲットを抽出する場合の、Ｇａｂｏｒフィルタの方位を示している。例えば、肌領域Ａにおいて顔の縦方向にＧａｂｏｒフィルタの方位が設定されており、この方位に沿ったターゲットが抽出される。同様に、肌領域Ｂにおいては左下がりの斜め方向に方位が設定されており、肌領域Ｃにおいては、顔の横方向に方位が設定されている。それぞれ、設定された方位に沿ったターゲットが抽出される。図１３（ｃ）は、決定されたターゲット特徴に基づいて抽出されたターゲット（シワ）が、模式的に示されている。
　図１２を用いて、本実施の形態における肌分析装置３０５の動作フローを説明する。
　（Ｓ１２０１）
　制御装置３０２はカメラ３００を動作させ、カメラ３００にユーザの顔を撮影させる。画像取得部１１０２は、カメラ３００から、ユーザの顔画像データを受け取り、左右が反転した顔画像を生成する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を取得することが好ましい。実施の形態１と同様、ターゲットが皮溝および被毛である場合には、表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めることによって、皮溝や被毛の情報を多く含む画像を得ることができる。
　（Ｓ１５０１）
　顔検出部１４０１は、ユーザの顔画像における目、鼻、口、輪郭などの顔部位を検出する。また、検出した顔部位との相対位置に基づき、顔画像の複数の肌領域の座標を決定する。
　（Ｓ１２０２）
　抽出基準決定部１１０３は、左右が反転した顔画像データを画像取得部１１０２から受け取り、複数の肌領域におけるターゲットの抽出基準を決定する。　
　（Ｓ１２０３）ターゲット抽出部１１０４は、Ｓ１２０２で決定されたターゲットの抽出基準に基づいて、ユーザの顔画像からターゲットを抽出する。
　（Ｓ１２０４）
　ディスプレイ３０３は、Ｓ１２０３にて抽出されたターゲットを表示する。このとき、表示されるターゲットは、ユーザの顔画像に重畳して表示されることが好ましい。
　本実施の形態によれば、ユーザの顔の位置がカメラに対して多少ずれていても、正確に顔画像におけるターゲットを抽出することができる。また、図１３（ｂ）に示されているように、肌領域ごとに抽出基準を異ならせることにより、肌領域Ａである眉間においては縦ジワを抽出し、肌領域Ｂである鼻の横においてはでほうれい線を抽出する、といった区別が可能となる。
　なお、肌領域毎に複数の抽出基準がユーザに提示されてもよく、ユーザは肌領域毎にそれぞれ抽出基準を選択してもよい。ユーザが選択したターゲットの抽出基準に基づいて、ターゲットが抽出される。ここで、ユーザに提示される複数の抽出基準は、顔検出ステップＳ１５０１において検出された顔部位との相対位置に基づいて決定された肌領域ごとに提示される。例えば、ほうれい線付近の肌領域では、ほうれい線に沿った方向（画像斜め方向）をＧａｂｏｒフィルタの方位とするターゲット特徴と、鼻の小皺を抽出可能な方向をＧａｂｏｒフィルタの方位とするターゲット特徴とが提示されてもよい。
　（実施の形態３）
　本実施の形態では、ユーザの選択に基づき、抽出基準を変化させ、選択履歴と抽出されたターゲットによる肌の評価結果に基づいてクラウドサーバ上のデータベースを更新することで、選択方法と肌の評価方法を変更させる。
　図１４は、本実施の形態における肌分析装置の全体像を示す図である。実施の形態１とは、クラウドサーバ１１１の構成が異なる。
　図１５は、制御装置３０２及びクラウドサーバ１１１の構成を示す図である。制御装置３０２は、メモリ１８０１、演算部１８０２および通信部１８０３を備える。クラウドサーバ１１１は、データベース１８１１、メモリ１８１２、演算部１８１３および通信部１８１４を備える。
　図１６は、本実施形態における、肌分析装置３０５およびクラウドサーバ１１１の構成を示すブロック図である。肌分析装置３０５は、実施の形態１および２の構成に加えて、抽出基準選択部１９０１、抽出結果評価部１９０２および通信部１８０３を備える。また、クラウドサーバ１１１は、ユーザ選択データベース１９１１および評価結果データベース１９１２を備える。
　ユーザ選択データベース１９１１は、ユーザの選択結果を蓄積し、評価結果データベース１９１２は抽出したターゲットに基づく肌状態の評価結果を蓄積する。
　図１７は、本実施の形態における、肌分析装置３０５の動作フローを示すフローチャートである。
　（Ｓ２００１）
　ユーザ選択データベース１９１１にて更新された選択項目が、クラウドサーバ１１１側の通信部１８１４から肌分析装置３０５の通信部１８０３に送信され、抽出基準選択部１９０１の選択項目が更新される。
　（Ｓ１２０１）
　制御装置３０２はカメラ３００を動作させ、カメラ３００にユーザの顔を撮影させる。画像取得部１１０２は、カメラ３００から、ユーザの顔画像データを受け取り、左右が反転した顔画像を生成する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を取得することが好ましい。実施の形態１と同様、ターゲットが皮溝および被毛である場合には、表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めることによって、皮溝や被毛の情報を多く含む画像を得ることができる。
　（Ｓ１５０１）
　顔検出部１４０１は、ユーザの顔画像における目、鼻、口、輪郭などの顔部位を検出する。また、検出した顔部位との相対位置に基づき、顔画像の複数の肌領域の座標を決定する。
　（Ｓ２００２）
　抽出基準選択部１９０１に蓄積されている複数の肌領域のそれぞれに関する複数の抽出基準である選択項目がディスプレイ３０３に提示される。提示された選択項目に基づいて、分割された複数の肌領域のそれぞれについて、抽出基準をユーザに選択させる。このとき、ユーザに対しては複数の肌領域のそれぞれについて、ディスプレイ３０３に表示した複数の選択肢の中から抽出基準を選択させることが好ましい。
　（Ｓ１２０２）
　抽出基準決定部１１０３は、左右が反転した顔画像データを画像取得部１１０２から受け取り、複数の肌領域におけるターゲットの抽出基準を決定する。
　（Ｓ１２０３）
　ターゲット抽出部１１０４は、Ｓ１２０２で決定されたターゲットの抽出基準に基づいて、ユーザの顔画像からターゲットを抽出する。
　（Ｓ２００３）
　抽出結果評価部１９０２が、複数の肌領域毎に抽出されたターゲットについてスコア化する。以下にスコアｓ１の計算方法を示す。選択された部位の範囲内での抽出された平均値ａ１と、所定のスコア化係数ｂ１、ｃ１を用いて下式で算出される。ａ１の算出には、例えば抽出されたシワの位置に対応する画素の輝度値を用いる。

Figure JPOXMLDOC01-appb-M000001
　（Ｓ１２０４）
　ディスプレイ３０３は、Ｓ１２０３にて抽出されたターゲットを表示する。このとき、表示されるターゲットは、ユーザの顔画像に重畳して表示されることが好ましい。また、抽出結果評価ステップＳ２００３において算出されたスコアをディスプレイ３０３に表示してもよい。
　（Ｓ２００４）
　ターゲット選択ステップにおけるユーザの選択結果が、抽出基準選択部１９０１から肌分析装置３０５の通信部１８０３を介してクラウドサーバ１１１に送信され、クラウドサーバ１１１の通信部１８１４がこれを受信する。また、スコアｓ１が、抽出結果評価部１９０２から肌分析装置３０５の通信部１８０３を介してクラウドサーバ１１１に送信され、クラウドサーバ１１１側の通信部１８１４がこれを受信する。
　クラウドサーバ１１１は、複数の肌分析装置３０５から受け取ったユーザの抽出基準の選択結果をユーザ選択データベース１９１１に蓄積する。また、蓄積した多数のユーザの選択結果の傾向に基づいて、ターゲットの抽出基準の選択項目を更新する。さらに、複数の肌分析装置３０５から受け取ったユーザのスコアｓ１とユーザの選択結果に基づき、分析範囲、抽出基準およびスコアｓ１を、評価結果データベース１９１２に蓄積し、多数のユーザの評価結果に基づいて、各分析範囲におけるターゲット特徴の評価結果の平均ｂ２および評価結果の分散ｃ２を算出する。
　データ受信ステップ２００１では、ユーザ選択データベース１９１１に基づいて更新された選択項目が、クラウドサーバ１１１側の通信部１８１４から肌分析装置３０５の通信部１８０３に送信され、抽出基準選択部１９０１の選択項目が更新される。さらに、評価結果データベース１９１２に基づいて更新された評価結果の平均ｂ２および評価結果の分散ｃ２が、クラウドサーバ１１１の通信部１８１４から肌分析装置３０５の通信部１８０３に送信され、評価結果の平均ｂ２および評価結果の分散ｃ２に基づいて、抽出結果評価部のスコア化係数ｂ１、ｃ１が更新される。
　上記方法により変化させる対象は、抽出基準の選択項目および評価結果の平均及び分散に限定されるものではなく、例えばアドバイス、リコメンドなどが挙げられる。また、選択項目および評価結果の平均及び分析などの係数を更新するために、すべてのユーザによるデータに基づいてもよいし、ユーザの属性に応じて一部のデータに基づいてもよいし、１人のユーザのみのデータに基づいてもよい。
　また、肌領域ごとの複数の抽出基準のうちの一の抽出基準が選択された回数が、ネットワークを介して肌分析装置３０５からクラウドサーバ１１１へ送信され、ユーザ選択データベース１９１１に記憶されてもよい。クラウドサーバ１１１は、複数の肌分析装置３０５がこのデータを受け取ることにより、各抽出基準が選択された回数の合計を求め、選択回数が多い抽出基準を各肌分析装置３０５へ送信してもよい。これにより肌分析装置３０５は、選択された頻度に基づいて決定される抽出基準を、選択肢としてユーザに提示することができる。
　（実施の形態４）
　実施の形態１から３で説明した肌分析装置およびにクラウドサーバを含む情報管理システムによるサービスの全体像を説明する。
　図１８（ａ）は、本実施の形態における情報管理システムが提供するサービスの全体像を示す図である。情報管理システムは、グループ１００、データセンタ運営会社１１０及びサービスプロバイダ１２０を備える。
　グループ１００は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ１００は、第１の機器及び第２の機器を含む複数の機器１０１およびホームゲートウェイ１０２を備える。複数の機器１０１は、インターネットと接続可能な機器（例えば、スマートフォン、パーソナルコンピュータ（ＰＣ）又はテレビ等）、及びそれ自身ではインターネットと接続不可能な機器（例えば、照明、洗濯機又は冷蔵庫等）を含む。複数の機器１０１は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ１０２を介してインターネットと接続可能となる機器を含んでもよい。また、ユーザ１０は、グループ１００内の複数の機器１０１を使用する。機器１０１は、実施の形態１から３の肌分析装置３０５を含む。
　データセンタ運営会社１１０は、クラウドサーバ１１１を備える。クラウドサーバ１１１は、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ１１１は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。データセンタ運営会社１１０は、データの管理、クラウドサーバ１１１の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社１１０が行っている役務の詳細については後述する。
　ここで、データセンタ運営会社１１０は、データの管理又はクラウドサーバ１１１の管理のみを行っている会社に限らない。例えば、図１８（ｂ）に示すように、複数の機器１０１のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ１１１の管理等を行っている場合は、機器メーカがデータセンタ運営会社１１０に該当する。また、データセンタ運営会社１１０は一つの会社に限らない。例えば、図１８（ｃ）に示すように、機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ１１１の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社１１０に該当する。
　サービスプロバイダ１２０は、サーバ１２１を備える。ここで言うサーバ１２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダ１２０がサーバ１２１を備えていない場合もある。
　なお、上記の情報管理システムにおいて、ホームゲートウェイ１０２は必須ではない。例えば、クラウドサーバ１１１が全てのデータ管理を行っている場合等は、ホームゲートウェイ１０２は不要となる。また、家庭内の全ての機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。
　次に、上記の情報管理システムにおける情報の流れを説明する。
　まず、グループ１００の第１の機器又は第２の機器は、各ログ情報をデータセンタ運営会社１１０のクラウドサーバ１１１にそれぞれ送信する。クラウドサーバ１１１は、第１の機器又は第２の機器のログ情報を集積する（図１８（ａ）の矢印１３１）。ここで、ログ情報とは、複数の機器１０１の例えば運転状況又は動作日時等を示す情報である。例えば、ログ情報は、テレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、又は冷蔵庫の開閉回数などを含む。また、複数の機器１０１が、実施の形態１から３で説明した肌分析装置３０５である場合、肌分析装置３０５を動作日時に加え、実施の形態１から３で説明した抽出基準などの情報を含む。また、これらの情報に限らず、種々の機器から取得が可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器１０１自体から直接クラウドサーバ１１１に提供されてもよい。また、ログ情報は、複数の機器１０１から一旦ホームゲートウェイ１０２に集積され、ホームゲートウェイ１０２からクラウドサーバ１１１に提供されてもよい。
　次に、データセンタ運営会社１１０のクラウドサーバ１１１は、集積したログ情報を一定の単位でサービスプロバイダ１２０に提供する。ここで、一定の単位とは、データセンタ運営会社１１０が集積した情報を整理してサービスプロバイダ１２０に提供することの出来る単位でもよいし、サービスプロバイダ１２０が要求する単位でもよい。また、一定の単位で提供するとしているが、一定の単位でなくてもよく、状況に応じて提供する情報量が変化してもよい。ログ情報は、必要に応じてサービスプロバイダ１２０が保有するサーバ１２１に保存される（図１８（ａ）の矢印１３２）。
　そして、サービスプロバイダ１２０は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。情報が提供されるユーザは、複数の機器１０１を使用するユーザ１０でもよいし、外部のユーザ２０でもよい。ユーザ１０、２０への情報提供方法としては、例えば、サービスプロバイダ１２０から直接ユーザ１０、２０へ情報が提供されてもよい（図１８（ａ）の矢印１３３、１３４）。また、ユーザ１０への情報提供方法としては、例えば、データセンタ運営会社１１０のクラウドサーバ１１１を再度経由して、ユーザ１０に情報が提供されてもよい（図１８（ａ）の矢印１３５、１３６）。また、データセンタ運営会社１１０のクラウドサーバ１１１は、ログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ１２０に提供してもよい。
　なお、ユーザ１０は、ユーザ２０と異なっていても同一であってもよい。
なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型においても実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
　（サービスの類型１：自社データセンタ型クラウドサービス）
　図１９は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ１２０がグループ１００から情報を取得し、ユーザに対してサービスを提供する。本類型では、サービスプロバイダ１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ１２０が、ビッグデータを管理するクラウドサーバ１１１を保有している。したがって、データセンタ運営会社は存在しない。
　本類型では、サービスプロバイダ１２０は、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、オペレーティングシステム（ＯＳ）２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。
　（サービスの類型２：ＩａａＳ利用型クラウドサービス）
　図２０は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
　本類型では、データセンタ運営会社１１０が、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、ＯＳ２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。
　（サービスの類型３：ＰａａＳ利用型クラウドサービス）
　図２１は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
　本類型では、データセンタ運営会社１１０は、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、アプリケーション２０１を管理する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びサービスプロバイダ１２０が管理するアプリケーション２０１を用いてサービスを提供する（矢印２０４）。
　（サービスの類型４：ＳａａＳ利用型クラウドサービス）
　図２２は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
　本類型では、データセンタ運営会社１１０は、アプリケーション２０１を管理し、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。
　以上、いずれのクラウドサービスの類型においても、サービスプロバイダ１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
　本願に開示された、肌分析方法、肌分析装置および肌分析装置を制御する制御方法は、肌分析装置による肌領域の分析、評価に好適に用いられる。
１０、２０　ユーザ
３１　　　　顔画像
３５　　　　ガイド
７０　　　　メイン画面
７２　　　　サブ画面
７２Ｌ　　　左側
７２Ｒ　　　右側
７４　　　　数字
７８　　　　左側部
８０　　　　上部
８１　　　　ターゲット
８３　　　　領域
１００　　　グループ
１０１　　　機器
１０２　　　ホームゲートウェイ
１０５　　　ディスプレイ
１１０　　　データセンタ運営会社
１１１　　　クラウドサーバ
１２０　　　サービスプロバイダ
１２１　　　サーバ
２００　　　肌
２００Ａ　　表皮
２００Ｂ　　真皮
２００Ｓ　　表面
２０１　　　アプリケーション
２０４　　　矢印
３００　　　カメラ
３０１　　　照明装置
３０２　　　制御装置
３０２Ａ　　マイクロコンピュータ
３０２Ｂ　　メモリ
３０２Ｃ　　通信部
３０３　　　ディスプレイ
３０４　　　ユーザ
３０５　　　肌分析装置
３０７　　　クラウドサーバ
３０７Ａ　　マイクロコンピュータ
３０７Ｂ　　メモリ
３０７Ｃ　　通信部
３０７Ｄ　　データベース
３３０　　　ディスプレイ
１１０２　　画像取得部
１１０３　　抽出基準決定部
１１０４　　ターゲット抽出部
１１０５　　ディスプレイ
１４０１　　顔検出部
１８０１　　メモリ
１８０２　　演算部
１８０３　　通信部
１８１１　　データベース
１８１２　　メモリ
１８１３　　演算部
１８１４　　通信部
１９０１　　抽出基準選択部
１９０２　　抽出結果評価部
１９１１　　ユーザ選択データベース
１９１２　　評価結果データベース
２００１　　データ受信ステップ

Claims (20)

  1. 　被験者の顔画像を取得するカメラ、前記被験者の顔画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御する制御方法であって、
    　前記肌分析装置の前記コンピュータに、
    　前記被験者の顔画像を取得させ、
    　前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、
    　前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、
    　前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる、
    　制御方法。
  2. 　前記取得した顔画像に含まれる顔部位を検出させ、
    　前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定させ、
    　決定した前記複数の肌領域における前記ターゲットの抽出基準を決定させる請求項１に記載の制御方法。
  3. 　前記相対位置に応じて前記複数の肌領域の１つにおけるターゲットの複数の前記抽出基準を前記ディスプレイに選択可能に表示させ、
    　前記複数の抽出基準のうちの１つが選択されたと判断された場合に、前記選択された１つの抽出基準を満たす前記ターゲットを抽出させ、
    　前記抽出したターゲットを前記ディスプレイに表示させる、請求項１または２に記載の制御方法。
  4. 　前記ターゲットは皮溝および／または被毛である、請求項１から３のいずれかに記載の制御方法。
  5. 　前記抽出基準は前記ターゲットの角度、太さ、長さのうち少なくとも一つを示す値である、請求項４に記載の制御方法。
  6. 　前記抽出したターゲットは、前記顔画像に重畳して前記ディスプレイに表示される、請求項１から５のいずれかに記載の制御方法。
  7. 　フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出させ、
    　前記抽出基準は前記フィルタリング処理に用いるフィルタの性質である、請求項１から６のいずれかに記載の制御方法。
  8. 　前記顔部位と前記複数の肌領域との相対位置に対応させて記憶された所定の抽出基準に基づいて、前記ターゲットを抽出させる、請求項２に記載の制御方法。
  9. 　前記所定の抽出基準は、前記肌分析装置のメモリに記憶されている、請求項８に記載の制御方法。
  10. 　前記所定の抽出基準は、ネットワークを介して前記肌分析装置からアクセス可能なサーバに記憶されている、請求項８に記載の制御方法。
  11. 　被験者の顔画像を取得し、
    　前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定し、
    　前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出し、
    　前記抽出したターゲットをディスプレイに表示する、
    　肌分析方法。
  12. 　前記取得した顔画像に含まれる顔部位を検出し、
    　前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定し、
    　決定した前記複数の肌領域における前記ターゲットの抽出基準を決定する請求項１１に記載の肌分析方法。
  13. 　前記相対位置に応じて前記複数の肌領域の１つにおけるターゲットの複数の前記抽出基準を前記ディスプレイに選択可能に表示し、
    　前記複数の抽出基準のうちの１つが選択されたと判断した場合に、前記１つの抽出基準を満たす前記ターゲットを抽出し、
    　前記抽出したターゲットを前記ディスプレイに表示する、請求項１１または１２に記載の肌分析方法。
  14. 　前記ターゲットは皮溝および／または被毛である、請求項１１から１３のいずれかに記載の肌分析方法。
  15. 　前記抽出基準は前記ターゲットの角度、太さ、長さのいずれかを示す値である、請求項１４に記載の肌分析方法。
  16. 　フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出し、
    　前記抽出基準は前記フィルタリング処理に用いるフィルタの性質である、請求項１１から１５のいずれかに記載の肌分析方法。
  17. 　被験者の顔画像を取得するカメラ、前記被験者の画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御するコンピュータプログラムであって、
    　前記肌分析装置のコンピュータに、
    　前記被験者の顔画像を取得させ、
    　前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、
    　前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、
    　前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる、コンピュータプログラム。
  18. 　被験者の顔画像を取得するカメラと、
    　前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定する抽出基準決定部と、
    　決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出するターゲット抽出部と、
    　前記抽出されたターゲットを表示するディスプレイと、
    を備えた肌分析装置。
  19. 　前記顔画像に含まれる顔部位を検出し、検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定する顔検出部をさらに備える請求項１８に記載の肌分析装置。
  20. 　前記複数の肌領域のそれぞれに関する複数の抽出基準をディスプレイに表示し、１つの選択を受け付ける抽出基準選択部と、
    　複数の肌領域毎に抽出されたターゲットをスコア化する抽出結果評価部と、
    　前記抽出基準選択部における選択結果および前記スコアを外部のサーバに送信する通信部と
    をさらに備える肌分析装置。
PCT/JP2014/003959 2013-07-31 2014-07-28 肌分析方法、肌分析装置および肌分析装置の制御方法 Ceased WO2015015793A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480041986.5A CN105407799B (zh) 2013-07-31 2014-07-28 皮肤分析方法、皮肤分析装置、皮肤分析装置的控制方法以及记录介质
JP2015529388A JP6343612B2 (ja) 2013-07-31 2014-07-28 肌分析方法、肌分析装置および肌分析装置の制御方法
US14/907,698 US9875394B2 (en) 2013-07-31 2014-07-28 Skin analysis method, skin analysis device, and method for controlling skin analysis device
EP14832608.5A EP3028632A4 (en) 2013-07-31 2014-07-28 SKIN ANALYSIS METHOD, SKIN ANALYSIS DEVICE AND METHOD FOR CONTROLLING THE SKIN ANALYSIS DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013158815 2013-07-31
JP2013-158815 2013-07-31

Publications (1)

Publication Number Publication Date
WO2015015793A1 true WO2015015793A1 (ja) 2015-02-05

Family

ID=52431349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003959 Ceased WO2015015793A1 (ja) 2013-07-31 2014-07-28 肌分析方法、肌分析装置および肌分析装置の制御方法

Country Status (5)

Country Link
US (1) US9875394B2 (ja)
EP (1) EP3028632A4 (ja)
JP (1) JP6343612B2 (ja)
CN (1) CN105407799B (ja)
WO (1) WO2015015793A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019092694A (ja) * 2017-11-21 2019-06-20 日本メナード化粧品株式会社 キメ評価装置、キメ評価方法
EP3648004A1 (en) 2018-11-05 2020-05-06 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
JP2020075080A (ja) * 2018-11-05 2020-05-21 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
JP2020081323A (ja) * 2018-11-22 2020-06-04 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
JP2021520274A (ja) * 2018-06-19 2021-08-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法
CN113466475A (zh) * 2020-03-31 2021-10-01 株式会社日立高新技术 自动分析装置
JP2022018132A (ja) * 2020-07-15 2022-01-27 株式会社アイム 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6343612B2 (ja) * 2013-07-31 2018-06-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 肌分析方法、肌分析装置および肌分析装置の制御方法
GB2523345B (en) * 2014-02-20 2018-01-17 Samsung Electronics Co Ltd Detecting user viewing difficulty from facial parameters
KR102490438B1 (ko) * 2015-09-02 2023-01-19 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10282868B2 (en) 2016-03-21 2019-05-07 The Procter & Gamble Company Method and system for generating accurate graphical chromophore maps
US10438258B2 (en) 2016-03-21 2019-10-08 The Procter & Gamble Company Method and apparatus for generating graphical chromophore maps
US10255484B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Method and system for assessing facial skin health from a mobile selfie image
US10255482B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Interactive display for facial skin monitoring
CA3015492C (en) 2016-03-21 2021-11-23 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US10264250B2 (en) * 2016-03-21 2019-04-16 The Procter & Gamble Company Method and apparatus for determining spectral characteristics of an image captured by a camera on a mobile endpoint device
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
CN106650215A (zh) * 2016-10-11 2017-05-10 武汉嫦娥医学抗衰机器人股份有限公司 一种基于云平台的肤质检测及个性化评价系统及方法
JP6720845B2 (ja) * 2016-12-02 2020-07-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN108804976A (zh) * 2017-04-27 2018-11-13 芜湖美的厨卫电器制造有限公司 浴室镜及其控制方法
CN107158570A (zh) * 2017-05-11 2017-09-15 柳华荣 一种软组织修复系统
KR102297301B1 (ko) 2017-05-31 2021-09-06 더 프록터 앤드 갬블 캄파니 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
JP6849824B2 (ja) 2017-05-31 2021-03-31 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
DE102017212176A1 (de) * 2017-07-17 2019-01-17 Henkel Ag & Co. Kgaa System und Verfahren zum Ermitteln einer Wirksamkeit einer kosmetischen Hautbehandlung
WO2019173121A1 (en) * 2018-03-08 2019-09-12 The Procter & Gamble Company Tool for use with image capturing device for capturing quality image and method thereof
JP7312957B2 (ja) * 2018-06-21 2023-07-24 パナソニックＩｐマネジメント株式会社 肌評価装置、肌評価システム、肌評価方法、および肌評価のためのプログラムを格納したコンピュータ読み取り可能な記録媒体
CN111199171B (zh) 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
CN110378304B (zh) * 2019-07-24 2021-11-02 厦门美图之家科技有限公司 皮肤状态检测方法、装置、设备及存储介质
CN113536871A (zh) * 2020-04-17 2021-10-22 纽顿医学美容集团有限公司 图像预处理方法、面部皮肤年龄估计方法及电子设备
US11160497B1 (en) * 2020-07-16 2021-11-02 Elyse Enterprises LLC Software configuration for virtual skincare assessment and virtual cues
US10952519B1 (en) 2020-07-16 2021-03-23 Elyse Enterprises LLC Virtual hub for three-step process for mimicking plastic surgery results
CN113971823A (zh) * 2020-07-24 2022-01-25 华为技术有限公司 外表分析的方法和电子设备
KR102378195B1 (ko) * 2020-10-27 2022-03-28 주식회사 케이씨테크놀러지 피부 및 모발 측정 및 분석 시스템
CN114983338A (zh) * 2021-03-02 2022-09-02 华为技术有限公司 一种皮肤检测方法和电子设备
CN113194323B (zh) * 2021-04-27 2023-11-10 口碑(上海)信息技术有限公司 信息交互方法、多媒体信息互动方法以及装置
WO2022272175A1 (en) * 2021-06-25 2022-12-29 Appiell Inc. Use of artificial intelligence platform to diagnose facial wrinkles
JPWO2023054008A1 (ja) * 2021-09-30 2023-04-06
CN114710627B (zh) * 2022-04-06 2024-03-29 Oppo广东移动通信有限公司 皮肤检测方法、移动终端、计算机设备和介质
FR3137481B1 (fr) * 2022-07-04 2024-08-09 Abbi Procédé d’analyse cosmétique d’un visage

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007533391A (ja) * 2004-04-20 2007-11-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 体毛検出装置
JP2009003842A (ja) * 2007-06-25 2009-01-08 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
WO2009142069A1 (ja) 2008-05-23 2009-11-26 ポーラ化成工業株式会社 肌のキメ及び／又はシワの自動鑑別法
WO2012001289A1 (fr) * 2010-07-02 2012-01-05 Chanel Parfums Beaute Procede et dispositif de detection et de quantification de signes cutanes sur une zone de peau
JP4909686B2 (ja) 2006-09-08 2012-04-04 学校法人東京理科大学 表皮組織定量化装置及びプログラム
WO2013042436A1 (ja) * 2011-09-22 2013-03-28 富士フイルム株式会社 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7233693B2 (en) * 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
JP4307301B2 (ja) * 2003-07-31 2009-08-05 キヤノン株式会社 画像処理装置およびその方法
JP2006081847A (ja) * 2004-09-17 2006-03-30 Inforward Inc 肌解析ネットワークシステム
JP2006259900A (ja) * 2005-03-15 2006-09-28 Omron Corp 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2006338377A (ja) * 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
US8660319B2 (en) * 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
WO2010012448A2 (en) * 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
TW201222432A (en) * 2010-11-26 2012-06-01 Inst Information Industry System, device, method, and computer program product for facial defect analysis using angular facial image
US20120288168A1 (en) * 2011-05-09 2012-11-15 Telibrahma Convergent Communications Pvt. Ltd. System and a method for enhancing appeareance of a face
US8418314B2 (en) * 2011-08-16 2013-04-16 Wei-Hung Lai Wheel assembly with a wheel lock structure
JP6343612B2 (ja) * 2013-07-31 2018-06-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 肌分析方法、肌分析装置および肌分析装置の制御方法
US9436892B2 (en) * 2014-05-02 2016-09-06 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Method and apparatus for facial detection using regional similarity distribution analysis
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007533391A (ja) * 2004-04-20 2007-11-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 体毛検出装置
JP4909686B2 (ja) 2006-09-08 2012-04-04 学校法人東京理科大学 表皮組織定量化装置及びプログラム
JP2009003842A (ja) * 2007-06-25 2009-01-08 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
WO2009142069A1 (ja) 2008-05-23 2009-11-26 ポーラ化成工業株式会社 肌のキメ及び／又はシワの自動鑑別法
WO2012001289A1 (fr) * 2010-07-02 2012-01-05 Chanel Parfums Beaute Procede et dispositif de detection et de quantification de signes cutanes sur une zone de peau
WO2013042436A1 (ja) * 2011-09-22 2013-03-28 富士フイルム株式会社 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CULA ET AL.: "Assessing facial wrinkles: automatic detection and quantification", SKIN RESEARCH AND TECHNOLOGY, 2013
See also references of EP3028632A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019092694A (ja) * 2017-11-21 2019-06-20 日本メナード化粧品株式会社 キメ評価装置、キメ評価方法
JP7061347B2 (ja) 2017-11-21 2022-04-28 日本メナード化粧品株式会社 キメ評価装置、キメ評価方法
JP2021520274A (ja) * 2018-06-19 2021-08-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法
EP3648004A1 (en) 2018-11-05 2020-05-06 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
JP2020075080A (ja) * 2018-11-05 2020-05-21 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
US11042726B2 (en) 2018-11-05 2021-06-22 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
JP7361264B2 (ja) 2018-11-05 2023-10-16 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
JP2020081323A (ja) * 2018-11-22 2020-06-04 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
US11017216B2 (en) 2018-11-22 2021-05-25 Panasonic Intellectual Property Management Co., Ltd. Skin analyzing device, skin analyzing method, and recording medium
CN113466475A (zh) * 2020-03-31 2021-10-01 株式会社日立高新技术 自动分析装置
JP2022018132A (ja) * 2020-07-15 2022-01-27 株式会社アイム 肌状態の評価を支援するための支援方法、支援プログラムおよび学習済みモデル生成方法

Also Published As

Publication number Publication date
US20160162728A1 (en) 2016-06-09
US9875394B2 (en) 2018-01-23
EP3028632A4 (en) 2016-07-27
JPWO2015015793A1 (ja) 2017-03-02
CN105407799A (zh) 2016-03-16
EP3028632A1 (en) 2016-06-08
JP6343612B2 (ja) 2018-06-13
CN105407799B (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
JP6343612B2 (ja) 肌分析方法、肌分析装置および肌分析装置の制御方法
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
AU2014304760B2 (en) Devices, systems and methods of virtualizing a mirror
EP3000386B1 (en) Skin function evaluation device and skin evaluation method
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8976160B2 (en) User interface and authentication for a virtual mirror
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
JP6750504B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10979624B2 (en) Methods and devices for establishing photographing template database and providing photographing recommendation information
JP2016112024A (ja) 情報処理装置の制御方法および画像処理方法
US10607372B2 (en) Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
EP4465227A2 (en) Devices, systems and methods for auto-delay video presentation
US20170140216A1 (en) Gesture-Based Object Measurement Method and Apparatus
KR102178566B1 (ko) 전자 거울 장치 및 그 제어 방법
WO2018076622A1 (zh) 图像处理方法、装置及终端
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
US20150261998A1 (en) Image processing apparatus and image processing method
JP2020031276A (ja) 情報処理装置、情報処理方法及びプログラム
JP2006318375A (ja) 顔画像検索装置および顔画像検索方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480041986.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14832608

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14907698

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015529388

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014832608

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE