WO2024071655A1 - 조리 기기 및 이의 제어 방법 - Google Patents

조리 기기 및 이의 제어 방법 Download PDF

Info

Publication number
WO2024071655A1
WO2024071655A1 PCT/KR2023/011691 KR2023011691W WO2024071655A1 WO 2024071655 A1 WO2024071655 A1 WO 2024071655A1 KR 2023011691 W KR2023011691 W KR 2023011691W WO 2024071655 A1 WO2024071655 A1 WO 2024071655A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
setting value
cooking appliance
cooking
food ingredient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/011691
Other languages
English (en)
French (fr)
Inventor
정주희
송민진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP23872778.8A priority Critical patent/EP4538599A4/en
Priority to CN202380065635.7A priority patent/CN119866418A/zh
Publication of WO2024071655A1 publication Critical patent/WO2024071655A1/ko
Priority to US18/631,880 priority patent/US12407795B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F24C15/008—Illumination for oven cavities
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/083—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on tops, hot plates
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0219—Electrical interface; User interface
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present disclosure relates to a cooking appliance and a control method thereof, and more specifically, to a cooking appliance capable of recognizing images of food ingredients and a control method thereof.
  • the color of the food ingredients may change.
  • the setting values for the parameters related to the camera are automatically adjusted according to the changed color to obtain images of the food ingredients, the obtained images There is a problem that the recognition rate of food ingredients may decrease.
  • the present disclosure is intended to solve the problems described above.
  • the purpose of the present disclosure is to obtain images of the food ingredients during the cooking process, recognize the food ingredients at a high recognition rate, and provide information about the ingredients to the user.
  • the purpose is to provide a cooking device that can provide a high quality image and a control method thereof.
  • a cooking appliance includes a camera, at least one memory storing at least one instruction, and at least one processor executing the at least one instruction. It includes: When a first event related to acquiring an image of a food ingredient placed on the cooking device is identified, the processor acquires a first setting value by adjusting a setting value for at least one parameter related to the camera.
  • the at least one processor may obtain the second image by changing the second setting value to the first setting value in data for the first image.
  • the at least one processor may acquire the second image by inputting the first setting value, the second setting value, and the first image into a learned image acquisition model.
  • the cooking appliance further includes at least one sensor, and the first event occurs when a user input for performing a cooking operation of the cooking appliance is received, and the cooking appliance included in the cooking appliance through the at least one sensor
  • This may include at least one of a case in which it is detected that the door is closed and a case in which it is detected that the food ingredients are placed in the cooking appliance through the at least one sensor.
  • the second event is when it is identified that the color of the food ingredient has changed while the parameter stabilization operation is performed, and the illuminance around the cooking appliance has changed through the at least one sensor while the parameter stabilization operation is performed.
  • This may include at least one of a case where this is detected and a case where a user input requesting an image for the food ingredient is received while the parameter stabilization operation is not performed.
  • the cooking appliance further includes a communication unit, and when the first image is acquired, the at least one processor can control the communication unit to transmit the first image to the user's user terminal.
  • the cooking appliance further includes a display, and the at least one processor may control the display to display the first image when the first image is acquired.
  • the cooking appliance further includes a lighting unit, and the at least one processor may control at least one of the color and brightness of the light emitted by the lighting unit based on the color of the food ingredient included in the first image.
  • a method of controlling a cooking appliance includes: when a first event related to acquiring an image of a food ingredient placed in the cooking appliance is identified, Obtaining a first setting value by adjusting a setting value for at least one parameter related to a camera, generating at least one image of the food ingredient arranged in the cooking appliance based on the first setting value through the camera.
  • the second image may be acquired by changing the second setting value to the first setting value in the data for the first image.
  • the second image may be obtained by inputting the first setting value, the second setting value, and the first image into a learned image acquisition model.
  • the first event occurs when a user input for performing a cooking operation of the cooking appliance is received, when a door included in the cooking appliance is detected to be closed through at least one sensor included in the cooking appliance, and This may include at least one of cases where it is detected that the food ingredient is placed in the cooking appliance through the at least one sensor.
  • the second event is when it is identified that the color of the food ingredient has changed while the parameter stabilization operation is performed, and the illuminance around the cooking appliance has changed through the at least one sensor while the parameter stabilization operation is performed.
  • This may include at least one of a case where this is detected and a case where a user input requesting an image for the food ingredient is received while the parameter stabilization operation is not performed.
  • the method of controlling the cooking appliance may further include transmitting the first image to the user's user terminal when the first image is acquired.
  • the method of controlling the cooking appliance may further include displaying the first image when the first image is acquired.
  • the method of controlling the cooking appliance includes: When a first event related to acquiring an image of a food ingredient placed in is identified, obtaining a first setting value by adjusting a setting value for at least one parameter related to a camera of the cooking appliance, through the camera Obtaining at least one image of the food ingredient placed in the cooking appliance based on the first setting value, if a second event is identified while the at least one image is acquired, based on the second setting value acquiring a first image of the food ingredient and providing the first image to a user, obtaining a second image in which the second setting value used to obtain the first image is changed to the first setting value. and inputting the second image into an object recognition model that recognizes the food material, thereby obtaining information about the food material included in the second image.
  • the second image may be acquired by changing the second setting value to the first setting value in the data for the first image.
  • the second image may be obtained by inputting the first setting value, the second setting value, and the first image into a learned image acquisition model.
  • the first event occurs when a user input for performing a cooking operation of the cooking appliance is received, when a door included in the cooking appliance is detected to be closed through at least one sensor included in the cooking appliance, and This may include at least one of cases where it is detected that the food ingredient is placed in the cooking appliance through the at least one sensor.
  • the second event is when it is identified that the color of the food ingredient has changed while the parameter stabilization operation is performed, and the illuminance around the cooking appliance has changed through the at least one sensor while the parameter stabilization operation is performed.
  • This may include at least one of a case where this is detected and a case where a user input requesting an image for the food ingredient is received while the parameter stabilization operation is not performed.
  • FIG. 1 is a diagram showing a cooking appliance according to an embodiment of the present disclosure
  • FIG. 2 is a flowchart showing a control method of a cooking appliance according to an embodiment of the present disclosure
  • FIG. 3 is a flowchart illustrating an embodiment of evaluating whether a parameter stabilization operation according to the present disclosure is activated
  • FIG. 4 is a block diagram briefly showing the configuration of a cooking appliance according to an embodiment of the present disclosure
  • FIG. 5 is a block diagram showing a plurality of modules according to an embodiment of the present disclosure.
  • FIG. 6 is a block diagram showing in detail the configuration of a cooking appliance according to an embodiment of the present disclosure.
  • Figure 7 is a block diagram showing a system according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., component such as numerical value, function, operation, or part). , and does not rule out the existence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” may (1) include only A, (2) include only B, or (3) A and It can refer to all cases that include all B.
  • a component e.g., a first component
  • another component e.g., a second component
  • any component may be directly connected to the other component or may be connected through another component (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. ,” can be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware.
  • the expression “a device configured to” may mean that the device is “capable of” working with other devices or components.
  • the phrase "processor configured (or set) to perform A, B, and C" refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented with at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • FIG. 1 is a diagram illustrating a cooking appliance 100 according to an embodiment of the present disclosure.
  • the cooking device 100 according to the present disclosure refers to a device that can cook food ingredients by supplying heat to the ingredients using gas, electricity, steam, etc.
  • the cooking device 100 according to the present disclosure may be an electric oven as shown in FIG. 1, and if it is a device that can cook food, such as a cooktop or electric range, the type is limited. It may apply to the cooking appliance 100 according to the present disclosure.
  • the cooking appliance 100 can acquire images of food ingredients through the camera 110 and provide the obtained images to the user. Additionally, the cooking appliance 100 may acquire information about the food ingredients by analyzing the image acquired through the camera 110 and control the cooking operation based on the information about the ingredients. For example, if, as a result of image analysis, it is identified that the color of the surface of the food has changed during the cooking process, the cooking device 100 controls the cooking operation or provides guidance to the user based on the information about the changed color of the surface of the food. A message may be provided, or furthermore, information about recommended recipes may be provided to the user.
  • the cooking appliance 100 may acquire images of the ingredients while the cooking process is being performed, perform recognition of the ingredients, and provide an image containing information about the ingredients to the user.
  • various embodiments will be described with reference to FIGS. 2 to 7.
  • FIG. 2 is a flowchart showing a control method of the cooking appliance 100 according to an embodiment of the present disclosure.
  • the cooking appliance 100 can identify whether a first event for photographing ingredients placed in the cooking appliance 100 has occurred (S210).
  • 'first event' is used as a general term for events that serve as a starting condition for photographing ingredients placed in the cooking appliance 100.
  • the first event is transmitted to the cooking device 100 through at least one sensor 150 included in the cooking device 100 when a user input for performing a cooking operation of the cooking device 100 is received. This may include at least one of a case in which it is detected that the included door is closed and a case in which it is detected that ingredients are placed in the cooking appliance 100 through at least one sensor 150 .
  • the cooking appliance 100 may maintain the current operation and identify whether the first event has occurred again until the first event occurs (S210). On the other hand, when the first event is identified (S210-Y), the cooking device 100 obtains the first setting value by adjusting the setting value for at least one parameter related to the camera 110 to be suitable for photographing food ingredients. You can do it (S220).
  • 'at least one parameter' is used as a general term for parameters related to shooting by the camera 110.
  • the at least one parameter may include, but is not limited to, focus, exposure, and white balance of camera 110.
  • Adjusting the setting value for at least one parameter to be suitable for photographing food ingredients means adjusting the setting value for at least one parameter based on various factors such as the color of the food ingredient, the focal distance to the food ingredient, and the illuminance around the cooking device 100. This may mean adjusting the setting value to a setting value within a critical range that can stabilize filming of food ingredients.
  • the cooking appliance 100 may adjust the exposure setting value based on the illumination around the cooking appliance 100 so that the brightness of the image obtained as a result of shooting is within a preset threshold range.
  • the critical range of setting values for each parameter that can stabilize shooting may change depending on the developer or user's settings.
  • the operation of automatically adjusting the set values for focus, exposure and white balance is called '3A (Auto Focus, Auto Exposure, Auto White Balance) stabilization. It may be referred to as ‘action’.
  • the operation of adjusting the setting value of at least one parameter to be suitable for photographing food ingredients is briefly referred to as a 'parameter stabilization operation'.
  • the first setting value for at least one parameter means a setting value first obtained by performing a parameter stabilization operation, that is, an initial setting value.
  • the cooking device 100 may perform a cooking operation in response to the occurrence of the first event, and may also perform a cooking operation based on a user input separately input before or after the occurrence of the first event. You can. For example, if the first event is when a user input for performing a cooking operation of the cooking appliance 100 is received, the cooking appliance 100 may perform a preset cooking operation in response to identification of the first event. there is. Meanwhile, when the first event detects that the door included in the cooking appliance 100 is closed, the cooking appliance 100 may perform a preset cooking operation based on a separate user input for performing the cooking operation. .
  • the cooking appliance 100 may perform photography based on the first setting value through the camera 110 (S230). That is, when the parameter stabilization operation according to the present disclosure is completed and the first set value is obtained, the cooking device 100 takes pictures of the food ingredients in a state where the set value for at least one parameter is adjusted to be suitable for filming the ingredients. can be started.
  • the cooking appliance 100 may store the obtained first setting value in the memory 120. This is to obtain the second image by post-processing the first image using the first setting value, as will be described later.
  • the cooking appliance 100 may identify whether a second event for changing the first setting value to the second setting value occurs while photography is performed based on the first setting value (S240).
  • the second event is a general term for a situation in which the setting value for at least one parameter needs to be adjusted to be suitable for photographing food ingredients. That is, while a cooking operation is performed, various factors such as the color of the food ingredients, the focal distance to the food ingredients, and the illuminance around the cooking device 100 may change. In this case, the cooking device 100 may change a new product according to the parameter stabilization operation.
  • the setting value can be obtained.
  • the second event is when it is identified that the color of the food ingredient has changed while the parameter stabilization operation according to the present disclosure is performed, the cooking appliance 100 is detected through at least one sensor 150 while the parameter stabilization operation is performed.
  • It may include at least one of a case where a change in surrounding illumination is detected and a case where a user input requesting an image of a food ingredient is received while a parameter stabilization operation is not performed.
  • the cooking appliance 100 may maintain the current operation and identify whether the second event has occurred again (S240). On the other hand, when the second event is identified (S240-Y), the cooking appliance 100 may obtain a first image of the food ingredient based on the second setting value and provide it to the user (S250).
  • the second setting value for at least one parameter refers to the setting value obtained as a result of performing a parameter stabilizing operation again after a first setting value, which is an initial setting value, is obtained by performing a parameter stabilization operation, that is, the current setting value. It means the setting value.
  • the cooking device 100 may acquire a first image of the food ingredient based on a second setting value, which is a setting value of at least one parameter adjusted to be suitable for photographing the current ingredient.
  • the first image is an image obtained based on a second setting value suitable for photographing current food ingredients, and can be said to be an image suitable for providing information about the current cooking state to the user.
  • the cooking appliance 100 may acquire a second image in which the second setting value used to acquire the first image is changed to the first setting value (S260). Specifically, the cooking appliance 100 may acquire a second image by performing post-processing on the first image, and may also acquire the second image by using a neural network model for post-processing the image.
  • the second image is an image obtained by changing the setting value of the first image to the first setting value, which is the initial setting value, and refers to an image to be input to the object recognition model. That is, in object recognition, it may be easier in terms of object recognition rate to use a second image with a first setting value, which is the initial setting value, rather than a first image that can clearly indicate the current state of the food ingredients, so the cooking appliance 100 Instead of inputting the first image into the object recognition model, a second image with an initial setting value may be input into the object recognition model.
  • the cooking appliance 100 may obtain the second image by changing the second setting value to the first setting value in the data for the first image. For example, if the first setting value includes a white balance r gain value of 20 and the second setting value includes a white balance r gain value of 23, the cooking appliance 100 displays the first image By subtracting the r gain value of the second setting value by 3 from the data for , a second image in which the second setting value is changed to the first setting value in the data for the first image can be obtained.
  • the cooking appliance 100 may acquire a second image by inputting the first setting value, the second setting value, and the first image into a learned image acquisition model.
  • the image acquisition model refers to a neural network model that is learned to output a new image with the initial setting value when the initial setting value for at least one parameter, the original image, and the current setting value for the original image are input.
  • the image acquisition model may output a second image having the first setting value.
  • the image acquisition model may not only be implemented as an on-device in the cooking appliance 100 itself, but may also be implemented in an external device, including a server.
  • the cooking appliance 100 may input the second image into an object recognition model for recognizing ingredients and obtain information about the ingredients included in the second image (S270). Then, when information about the ingredients included in the second image is obtained, the cooking device 100 controls the cooking operation based on the information about the ingredients, provides a guidance message to the user, or further provides information about recommended recipes to the user. It can perform various actions such as providing information.
  • the object recognition model refers to a neural network model that can obtain information about objects included in the image when an image is input.
  • the object recognition model can be trained to output information about the type of food ingredients included in the image and information about the color of the food ingredients.
  • the object recognition model may not only be implemented as an on-device part of the cooking appliance 100, but may also be implemented in external devices including servers.
  • the cooking device 100 acquires the first image based on the second setting value, which is the current setting value suitable for photographing the current food ingredients, and provides the first image to the user while stabilizing the parameters.
  • Object recognition can be performed by obtaining a second image based on the first setting value, which is the initial setting value according to . Accordingly, the cooking device 100 acquires images of the ingredients while the cooking process is being performed and recognizes the ingredients at a high recognition rate, while providing the user with an image containing clear information about the ingredients. .
  • Figure 3 is a flowchart for explaining an embodiment of evaluating whether or not a parameter stabilization operation is activated according to the present disclosure.
  • the cooking appliance 100 can identify whether a first event for photographing ingredients placed in the cooking appliance 100 has occurred (S310). Then, when the first event is identified (S310-Y), the cooking device 100 obtains the first setting value by adjusting the setting value for at least one parameter related to the camera 110 to be suitable for photographing food ingredients. You can do it (S315). Since the process of identifying whether the first event has occurred and the parameter stabilization operation have been described in detail with reference to FIG. 2, duplicate description of the same content will be omitted.
  • the cooking appliance 100 may fix the setting value for at least one parameter to the first setting value (S320). Additionally, the cooking appliance 100 may perform photography based on the first setting value through the camera 110 (S325). In other words, when the first setting value, which is the initial setting value, is obtained as a result of performing the parameter stabilization operation, the cooking appliance 100 may stop the parameter stabilization operation and perform photography based on the first setting value.
  • the cooking appliance 100 may perform different operations depending on whether a user input requesting an image of an ingredient is received (S330). Specifically, when a user input requesting an image for a food ingredient is received (S330-Y), the cooking appliance 100 may release the fixation of the setting value for at least one parameter (S335). In addition, the cooking device 100 may obtain a second setting value by readjusting the setting value for at least one parameter to be suitable for photographing food ingredients (S340), and based on the second setting value, The first image may be acquired and provided to the user (S345).
  • the cooking appliance 100 may perform a parameter stabilization operation again to obtain a second set value and provide the user with an image obtained based on the second set value.
  • the cooking device 100 may stop the parameter stabilization operation again and perform photography of the food ingredients based on the first setting value (S325) ).
  • the cooking appliance 100 may acquire a second image for the food ingredient based on the first setting value (S350). Then, the cooking appliance 100 may input the second image into an object recognition model for recognizing ingredients and obtain information about the ingredients included in the second image (S355).
  • a cooking appliance 100 may acquire a second image of a food ingredient based on a fixed first setting value while the parameter stabilization operation is stopped, and may perform object recognition using the second image.
  • the cooking device 100 performs recognition of food ingredients at a high recognition rate by fixing the setting value according to the parameter stabilization operation while the cooking process is performed, while providing the food to the user.
  • the cooking device 100 performs recognition of food ingredients at a high recognition rate by fixing the setting value according to the parameter stabilization operation while the cooking process is performed, while providing the food to the user.
  • FIG. 4 is a block diagram briefly illustrating the configuration of a cooking appliance 100 according to an embodiment of the present disclosure.
  • Figure 5 is a block diagram showing a plurality of modules according to an embodiment of the present disclosure.
  • the cooking appliance 100 may include a camera 110, a memory 120, and a processor 130.
  • the camera 110 may acquire an image of at least one object.
  • the camera 110 includes an image sensor, and the image sensor can convert light coming through the lens into an electrical image signal.
  • the processor 130 may acquire images of food ingredients through the camera 110. Specifically, the processor 130 may acquire a second image of the food ingredient based on the first setting value for at least one parameter. Additionally, the processor 130 may acquire a first image of the food ingredient based on the second setting value for at least one parameter.
  • At least one instruction regarding the cooking appliance 100 may be stored in the memory 120 .
  • an operating system (O/S) for driving the cooking appliance 100 may be stored in the memory 120 .
  • the memory 120 may store various software programs or applications for operating the cooking appliance 100 according to various embodiments of the present disclosure.
  • the memory 120 may include a semiconductor memory such as flash memory or a magnetic storage medium such as a hard disk.
  • the memory 120 may store various software modules for operating the cooking appliance 100 according to various embodiments of the present disclosure, and the processor 130 executes various software modules stored in the memory 120.
  • the operation of the cooking appliance 100 can be controlled. That is, the memory 120 is accessed by the processor 130, and data read/write/modify/delete/update, etc. can be performed by the processor 130.
  • memory 120 includes memory 120, ROM, RAM in the processor 130, or a memory card (e.g., micro SD card, memory stick) installed in the cooking device 100. It can be used as
  • images of food ingredients including the first image and the second image according to the present disclosure may be stored in the memory 120.
  • the memory 120 may store setting values for at least one parameter according to the present disclosure, that is, a first setting value, a second setting value, etc.
  • information about a neural network model including an image acquisition model and an object recognition model according to the present disclosure may be stored in the memory 120.
  • information indicating what the first event and the second event according to the present disclosure are may be stored in the memory 120.
  • various information necessary within the scope of achieving the purpose of the present disclosure may be stored in the memory 120, and the information stored in the memory 120 may be updated as it is received from an external device or input by the user. .
  • the processor 130 controls the overall operation of the cooking appliance 100. Specifically, the processor 130 is connected to the configuration of the cooking appliance 100 including the camera 110 and the memory 120, and performs cooking by executing at least one instruction stored in the memory 120 as described above. The overall operation of the device 100 can be controlled.
  • Processor 130 may be implemented in various ways.
  • the processor 130 is an application specific integrated circuit (ASIC), an embedded processor, and the microphone 182 is a processor, hardware control logic, hardware finite state machine (hardware finite state machine, FSM), and digital signals. It may be implemented with at least one processor (Digital Signal Processor, DSP).
  • DSP Digital Signal Processor
  • processor 130 may be used to include a central processing unit (CPU), a graphics processing unit (GPU), and a microprocessor unit (MPU).
  • CPU central processing unit
  • GPU graphics processing unit
  • MPU microprocessor unit
  • the processor 130 can implement various embodiments according to the present disclosure using a plurality of modules as shown in FIG. 5.
  • the plurality of modules may include a parameter stabilization module 131, an image acquisition module 132, an image post-processing module 133, and an object recognition module 134, and may be implemented as a software module or a hardware module.
  • the description will be made on the assumption that a plurality of modules according to the present disclosure are implemented by the processor 130.
  • at least some of the plurality of modules may be implemented in a separate processor 130 for image processing. It may also be implemented in an included form.
  • the processor 130 may identify whether a first event for photographing ingredients placed in the cooking device 100 occurs. And, when the first event is identified, the processor 130 may obtain the first setting value through the parameter stabilization module 131.
  • the parameter stabilization module 131 refers to a module that can obtain a set value by adjusting the set value of at least one parameter related to the camera 110 to be suitable for photographing food ingredients. Specifically, the parameter stabilization module 131 performs a predefined algorithm based on the amount of light currently exposed to the camera 110, the distance to the subject (e.g., food ingredients), and the color of the subject, thereby adjusting at least one parameter.
  • the setting value can be adjusted to a setting value within the critical range that can stabilize filming of food ingredients. Accordingly, the parameter stabilization module 131 can obtain the first setting value and the second setting value according to the present disclosure. Furthermore, the parameter stabilization module 131 can store the acquired setting values in the memory 120 and transmit them to the image acquisition module 132.
  • the processor 130 can perform shooting based on the first setting value through the camera 110, and the processor 130 may also perform shooting based on the first setting value. During this process, it is possible to identify whether a second event for changing the first setting value to the second setting value occurs.
  • the processor 130 may acquire the first image using the image acquisition module 132.
  • the image acquisition module 132 refers to a module that can acquire images of food ingredients through the camera 110. Specifically, the image acquisition module 132 may acquire an image of the food ingredient based on the setting value received from the parameter stabilization module 131. For example, the image acquisition module 132 may acquire a first image of the food ingredient based on the second setting value and provide it to the user. Furthermore, the image acquisition module 132 may store the acquired image in the memory 120 and transmit it to the image post-processing module 133.
  • the processor 130 may acquire the second image using the image post-processing module 133.
  • the image post-processing module 133 refers to a module that can obtain a second image by performing post-processing on the first image. Specifically, the image post-processing module 133 may acquire a second image in which the second setting value used to acquire the first image is changed to the first setting value. In one embodiment, the image post-processing module 133 may acquire the second image by changing the second setting value to the first setting value in the data for the first image, and the first setting value and the second setting The second image may be acquired by inputting the value and the first image into the learned image acquisition model. Furthermore, the image post-processing module 133 may transmit the second image obtained as a result of post-processing the first image to the object recognition module 134.
  • the processor 130 may use the object recognition module 134 to obtain information about the ingredients included in the second image.
  • the object recognition module 134 refers to a module capable of recognizing food ingredients included in an image. In particular, it may be implemented in the form of an object recognition model learned to identify objects included in an input image. Specifically, when the second image is received from the image post-processing module 133, the object recognition module 134 may perform object recognition on the second image to obtain information about the ingredients included in the second image. .
  • FIG. 6 is a block diagram illustrating in detail the configuration of the cooking appliance 100 according to an embodiment of the present disclosure.
  • the cooking appliance 100 includes a communication unit 140, at least one sensor 150, a heating unit 160, a lighting unit 170, and an input unit 180. and an output unit 190.
  • a communication unit 140 the configurations shown in FIGS. 4 and 6 are merely exemplary, and in carrying out the present disclosure, new configurations may be added or some configurations may be omitted in addition to the configurations shown in FIGS. 4 and 6. Of course it exists.
  • the communication unit 140 includes a circuit and can perform communication with an external device. Specifically, the processor 130 can receive various data or information from an external device connected through the communication unit 140, and can also transmit various data or information to the external device.
  • the communication unit 140 may include at least one of a WiFi module, a Bluetooth module, a wireless communication module, an NFC module, and a UWB module (Ultra Wide Band).
  • the WiFi module and the Bluetooth module can each communicate using WiFi and Bluetooth methods.
  • various connection information such as SSID is first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this.
  • the wireless communication module can perform communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), and 5th Generation (5G).
  • the NFC module can perform communication using the NFC (Near Field Communication) method using the 13.56MHz band among various RF-ID frequency bands such as 135kHz, 13.56MHz, 433MHz, 860 ⁇ 960MHz, 2.45GHz, etc.
  • the UWB module can accurately measure ToA (Time of Arrival), which is the time for a pulse to reach the target, and AoA (Ange of Arrival), which is the angle of arrival of the pulse at the transmitter, and can thus accurately measure indoor Precise distance and position recognition is possible within an error range of several tens of centimeters.
  • ToA Time of Arrival
  • AoA Ange of Arrival
  • the processor 130 may control the communication unit 140 to transmit the first image to the user's user terminal. Additionally, the processor 130 may receive a user input for performing a cooking operation through the communication unit 140. In addition, the processor 130 may control the communication unit 140 to transmit input data of the neural network model to a server including the neural network model (e.g., image acquisition model, object recognition model) according to the present disclosure, and the communication unit 140 ), you can also receive the output data of the neural network model.
  • a server including the neural network model e.g., image acquisition model, object recognition model
  • At least one sensor 150 may detect various information inside and outside the cooking appliance 100.
  • at least one sensor 150 may include a door sensor, a weight sensor, and an illumination sensor.
  • at least one sensor 150 may be a Global Positioning System (GPS) sensor, a gyro sensor (gyroscope), an acceleration sensor (accelerometer), a lidar sensor, or an inertial sensor (Inertial Measurement Unit). , IMU) and a motion sensor.
  • GPS Global Positioning System
  • gyro sensor gyroscope
  • acceleration sensor acceleration sensor
  • lidar sensor or an inertial sensor (Inertial Measurement Unit).
  • IMU inertial Measurement Unit
  • at least one sensor 150 may include various types of sensors such as a temperature sensor, a humidity sensor, an infrared sensor, a bio sensor, etc.
  • the processor 130 may detect the opening or closing of a door included in the cooking appliance 100 through a door sensor. And, when the door is detected to be closed through the door sensor, the processor 130 can identify that the first event has occurred, and when it is detected that the door is open through the door sensor, the processor 130 can determine that the cooking operation has stopped. It can be detected.
  • the processor 130 may detect whether food ingredients are placed in the cooking appliance 100 through a weight detection sensor. Also, when it is detected that food ingredients are placed in the cooking appliance 100 through the weight sensor, the processor 130 can identify that a first event has occurred.
  • the processor 130 may detect the illuminance around the cooking appliance 100 through an illuminance sensor while the parameter stabilization operation is performed. Additionally, when a change in the illuminance around the cooking appliance 100 is detected through the illuminance sensor, the processor 130 may change the setting value for at least one parameter based on the changed illuminance.
  • the heating unit 160 refers to a component that can heat food.
  • the heating unit 160 may generate heat by supplying power, and the heat source at this time may be a radiant heater or an induction heater.
  • Operating the heating unit 160 or determining the heating temperature and heating time of the heating unit 160 may be performed based on user input, and may also be performed by the processor 130 based on information about the food ingredients included in the image. It may also be performed by
  • the lighting unit 170 includes a light source and refers to a configuration that can irradiate light into the inside of the cooking appliance 100 by the light source.
  • the lighting unit 170 may include a plurality of light sources, and the processor 130 may radiate light of various colors into the cooking appliance 100 according to each of the plurality of light sources or a combination of the plurality of light sources.
  • the lighting unit 170 may include a plurality of light-emitting diode (LED) light sources, but is of course not limited thereto.
  • LED light-emitting diode
  • the processor 130 may control at least one of the color and brightness of the light emitted by the lighting unit 170 based on the color of the food ingredients included in the first image. For example, if the food ingredient is a croissant, daylight color light can be irradiated so that the raw croissant can be clearly seen when the cooking operation begins, and as the croissant ripens during the cooking operation, yellow light is radiated so that the croissant can be clearly seen. You can make it look more yellow. Accordingly, the cooking appliance 100 can provide a better image to the user by using lighting appropriate for the type of food and cooking condition.
  • the input unit 180 includes a circuit, and the processor 130 may receive a user command for controlling the operation of the cooking appliance 100 through the input unit 180.
  • the input unit 180 may include a microphone 182, a camera 110, and a remote control signal receiver.
  • the input unit 180 may be implemented as a touch screen included in the display 191.
  • the microphone 182 can receive voice signals and convert the received voice signals into electrical signals.
  • the processor 130 receives a user input for performing a cooking operation through the input unit 180, a user input for setting a time for performing the cooking operation, and terminating the cooking operation.
  • User input for requesting images of food ingredients, etc. can be received.
  • the output unit 190 includes a circuit, and the processor 130 can output various functions that the cooking appliance 100 can perform through the output unit 190. Additionally, the output unit 190 may include at least one of a display 191, a speaker 192, and an indicator.
  • the display 191 may output image data under the control of the processor 130. Specifically, the display 191 may output an image previously stored in the memory 120 under the control of the processor 130.
  • the display 191 may display a user interface (User Interface) stored in the memory 120.
  • the display 191 may be implemented as a Liquid Crystal Display Panel (LCD), Organic Light Emitting Diodes (OLED), etc., and in some cases, the display 191 may also be implemented as a flexible display, a transparent display, etc.
  • the display 191 according to the present disclosure is not limited to a specific type.
  • the speaker 192 may output audio data under the control of the processor 130, and the indicator may light up under the control of the processor 130.
  • the processor 130 may control the display 191 to display the first image.
  • the processor 130 may display information indicating the progress of the cooking operation, a user interface for receiving user input, etc.
  • Figure 7 is a block diagram showing a system according to an embodiment of the present disclosure.
  • a system may include a cooking appliance 100, a server 200, and a user terminal 300.
  • the server 200 refers to a device in which the neural network model according to the present disclosure is implemented.
  • the server 200 may include a neural network model including an image acquisition model and an object recognition model according to the present disclosure.
  • the server 200 may include an image acquisition model.
  • the cooking appliance 100 controls the communication unit to transmit the first setting value, which is the initial setting value for at least one parameter, the second setting value, which is the current setting value, and data about the first image to the server 200. can do.
  • the server 200 adds the first setting value, the second setting value, and the first image to the learned image acquisition model. By inputting data for , a second image in which the second setting value used to obtain the first image is changed to the first setting value can be obtained and transmitted to the cooking appliance 100.
  • the server 200 may include an object recognition model.
  • the cooking appliance 100 may control the communication unit to transmit data about the second image to the server 200.
  • the server 200 may input the data about the second image into the object recognition model to obtain information about the ingredients included in the second image.
  • the server 200 acquires the second image using the image acquisition model and includes it in the second image using the object recognition model.
  • Information on the ingredients included in the second image may be obtained, and then information on the ingredients included in the second image along with data on the second image may be transmitted to the cooking appliance 100 .
  • the user terminal 300 refers to a device that can receive and display information about a situation in which a cooking operation is performed.
  • the user terminal 300 may be implemented as a smart phone, tablet PC, or smartwatch, but is not limited thereto.
  • the cooking appliance 100 may control the communication unit to transmit the first image to the user terminal 300. And, when the first image is received, the user terminal 300 may output the first image through the display of the user terminal 300.
  • the user terminal 300 receives a user input to perform a cooking operation, a user input to set the time for the cooking operation, a user input to end the cooking operation, a user input to request an image for the food ingredient, etc. It is possible to do so, and the received user input can be transmitted to the cooking device 100.
  • the control method of the cooking appliance 100 may be implemented as a program and provided to the cooking appliance 100.
  • a program including a method for controlling the cooking appliance 100 may be stored and provided in a non-transitory computer readable medium.
  • the control method of the cooking appliance 100 includes photographing ingredients placed in the cooking appliance 100.
  • the first event is identified, obtaining a first setting value by adjusting the setting value for at least one parameter related to the camera of the cooking device 100 to be suitable for photographing food ingredients, obtaining the first setting value through the camera
  • a second event for changing the first setting value to a second setting value is identified while shooting is performed based on the step, acquiring a first image of the food material based on the second setting value and providing it to the user;
  • control method of the cooking appliance 100 and the computer-readable recording medium including the program for executing the control method of the cooking appliance 100 have been briefly described. However, this is only to omit redundant description, and the cooking device 100 control method has been briefly described. Of course, various embodiments of the appliance 100 can also be applied to the control method of the cooking appliance 100 and a computer-readable recording medium including a program that executes the control method of the cooking appliance 100.
  • the cooking device 100 acquires images of the food ingredients while the cooking process is performed and recognizes the food ingredients at a high recognition rate, while providing the user with clear information about the ingredients. It is possible to provide an image containing .
  • Functions related to artificial intelligence according to the present disclosure are operated through the processor 130 and memory of the cooking device 100.
  • the processor 130 may be comprised of one or multiple processors 130.
  • the one or more processors 130 may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), and a Neural Processing Unit (NPU), but are not limited to the example of the processor 130 described above. No.
  • the CPU is a general-purpose processor 130 that can perform not only general calculations but also artificial intelligence calculations, and can efficiently execute complex programs through a multi-layer cache structure. CPUs are advantageous for serial processing, which allows organic connection between previous and next calculation results through sequential calculations.
  • the general-purpose processor 130 is not limited to the above-described example, except when specified as the above-described CPU.
  • GPU is a processor 130 for large-scale operations such as floating-point operations used in graphics processing, and can perform large-scale operations in parallel by integrating a large number of cores.
  • GPUs may be more advantageous than CPUs in parallel processing methods such as convolution operations.
  • the GPU can be used as a co-processor 130 to supplement the functions of the CPU.
  • the processor 130 for mass computation is not limited to the above-described example, except in the case where it is specified as the GPU.
  • the NPU is a processor 130 specialized in artificial intelligence calculations using an artificial neural network, and each layer constituting the artificial neural network can be implemented with hardware (e.g., silicon).
  • the NPU is designed specifically according to the company's requirements, so it has a lower degree of freedom than a CPU or GPU, but can efficiently process artificial intelligence calculations requested by the company.
  • the NPU can be implemented in various forms such as a TPU (Tensor Processing Unit), IPU (Intelligence Processing Unit), and VPU (Vision processing unit).
  • the artificial intelligence processor 130 is not limited to the above-described example, except for the case specified as the above-described NPU.
  • processors 130 may be implemented as a System on Chip (SoC).
  • SoC System on Chip
  • the SoC may further include memory and a network interface such as a bus for data communication between the processor 130 and the memory.
  • the cooking device 100 uses some processors 130 among the plurality of processors 130 to provide artificial intelligence and Related operations (for example, operations related to learning or inference of an artificial intelligence model) can be performed.
  • the cooking device 100 uses at least one of the plurality of processors 130, a GPU, NPU, VPU, TPU, or a hardware accelerator specialized for artificial intelligence operations such as convolution operation, matrix multiplication operation, etc., to perform artificial intelligence and Related operations can be performed.
  • this is only an example, and of course, calculations related to artificial intelligence can be processed using the general-purpose processor 130, such as a CPU.
  • the cooking appliance 100 may perform calculations on functions related to artificial intelligence using multiple cores (eg, dual core, quad core, etc.) included in one processor 130.
  • the cooking appliance 100 can perform artificial intelligence operations such as convolution operations, matrix multiplication operations, etc. in parallel using the multi-cores included in the processor 130.
  • One or more processors 130 control input data to be processed according to predefined operation rules or artificial intelligence models stored in memory.
  • Predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • being created through learning means that a predefined operation rule or artificial intelligence model with desired characteristics is created by applying a learning algorithm to a large number of learning data.
  • This learning may be accomplished on the device itself, where artificial intelligence is performed according to the present disclosure, or may be accomplished through a separate server/system.
  • An artificial intelligence model may be composed of multiple neural network layers. At least one layer has at least one weight value, and the operation of the layer is performed using the operation result of the previous layer and at least one defined operation.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and Deep Neural Network (BRDNN).
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Restricted Boltzmann Machine
  • BBM Restricted Boltzmann Machine
  • BBN Deep Belief Network
  • BBN Deep Belief Network
  • BBN Bidirectional Recurrent Deep Neural Network
  • BDN Deep Neural Network
  • BDN Deep Neural Network
  • a learning algorithm is a method of training a target device (eg, a robot) using a large number of learning data so that the target device can make decisions or make predictions on its own.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified. Except, it is not limited to the examples described above.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • Each component e.g., module or program
  • each component may be composed of a single or multiple entities, and some of the sub-components described above may be omitted. Alternatively, other sub-components may be further included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration.
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. You can.
  • unit or “module” used in this disclosure includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a “part” or “module” may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage media that can be read by a machine (e.g., a computer).
  • the device calls the stored instructions from the storage medium.
  • a device capable of operating according to a called command may include an electronic device (eg, the cooking appliance 100) according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electric Ovens (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Cookers (AREA)

Abstract

조리 기기 및 이의 제어 방법이 개시된다. 본 개시에 따른 조리 기기는 조리 기기에 배치된 식재료에 대한 이미지를 획득하는 것에 관련된 제1 이벤트가 식별되면, 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 조정하여 제1 설정 값을 획득하고, 카메라를 통해 제1 설정 값을 바탕으로 상기 조리 기기에 배치된 상기 식재료에 대한 적어도 하나의 이미지를 획득하며, 상기 적어도 하나의 이미지가 획득되는 동안 제2 이벤트가 식별되면, 제1 설정 값을 획득하고, 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하고, 상기 제1 이미지를 사용자에게 제공하며, 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득하고, 식재료를 인식하는 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다.

Description

조리 기기 및 이의 제어 방법
본 개시는 조리 기기 및 이의 제어 방법에 관한 것으로서, 구체적으로는 식재료에 대한 이미지를 인식할 수 있는 조리 기기 및 이의 제어 방법에 관한 것이다.
근래에는 전기 오븐(electric oven), 전기 쿡탑(electric cooktop), 전기 레인지(electric stove) 등과 같은 조리 기기의 기능이 다양화되고 있으며, 특히, 카메라를 이용하여 조리 기기에 배치된 식재료에 대한 이미지를 획득하고, 객체 인식 모델을 이용하여 이미지에 포함된 식재료를 인식하며, 그 인식 결과를 바탕으로 조리 기기의 동작을 제어하는 기술이 발전하고 있다.
그런데, 조리 과정이 진행됨에 따라 식재료의 색상이 변화될 수 있는바, 이 경우 변화된 색상에 따라 카메라에 관련된 파라미터에 대한 설정 값을 자동으로 조정하여 식재료에 대한 이미지를 획득하면, 획득된 이미지에 대한 식재료의 인식률이 저하될 수 있다는 문제가 있다.
식재료의 색상이 변화되더라도 카메라에 관련된 파라미터에 대한 설정 값을 변경하지 않고 초기 값으로 고정하여 식재료에 대한 이미지를 획득할 수도 있으나, 이와 같이 획득된 이미지를 사용자에게 제공하면, 사용자에게 제공되는 이미지의 품질이 저하될 수 있다는 문제가 있다.
본 개시는 상술한 바와 같은 문제를 해결하기 위한 것으로서, 본 개시의 목적은 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 정보를 포함하는 높은 품질의 이미지를 제공할 수 있는 조리 기기 및 이의 제어 방법을 제공하기 위한 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 조리 기기는 카메라, 적어도 하나의 인스트럭션(instruction)을 저장하는 적어도 하나의 메모리 및 상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 프로세서는 상기 조리 기기에 배치된 식재료에 대한 이미지를 획득하는 것에 관련된 제1 이벤트가 식별되면, 상기 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 조정하여 제1 설정 값을 획득하고, 상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 조리 기기에 배치된 상기 식재료에 대한 적어도 하나의 이미지를 획득하며, 상기 적어도 하나의 이미지가 획득되는 동안 제2 이벤트가 식별되면, 제2 설정 값을 획득하고, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하고, 상기 제1 이미지를 사용자에게 제공하며, 상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하고, 상기 식재료를 인식하는 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득한다.
여기서, 상기 적어도 하나의 프로세서는 상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득할 수 있다.
한편, 상기 적어도 하나의 프로세서는 상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득할 수 있다.
한편, 상기 조리 기기는 적어도 하나의 센서를 더 포함하고, 상기 제1 이벤트는 상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제2 이벤트는 파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함할 수 있다.
한편, 상기 조리 기기는 통신부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하도록 상기 통신부를 제어할 수 있다.
한편, 상기 조리 기기는 디스플레이를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 조리 기기는 조명부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 제1 이미지에 포함된 상기 식재료의 색상을 바탕으로 상기 조명부에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 조리 기기의 제어 방법은 상기 조리 기기에 배치된 식재료에 대한 이미지를 획득하는 것에 관련된 제1 이벤트가 식별되면, 상기 조리 기기의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 조정하여 제1 설정 값을 획득하는 단계, 상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 조리 기기에 배치된 상기 식재료에 대한 적어도 하나의 이미지를 획득하는 단계, 상기 적어도 하나의 이미지가 획득되는 동안 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하고, 상기 제1 이미지를 사용자에게 제공하는 단계, 상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계 및 상기 식재료를 인식하는 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 단계를 포함한다.
여기서, 상기 제2 이미지를 획득하는 단계는 상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득할 수 있다.
한편, 상기 제2 이미지를 획득하는 단계는 상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득할 수 있다.
한편, 상기 제1 이벤트는 상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 조리 기기에 포함된 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제2 이벤트는 파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함할 수 있다.
한편, 상기 조리 기기의 제어 방법은 상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하는 단계를 더 포함할 수 있다.
한편, 상기 조리 기기의 제어 방법은 상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하는 단계를 더 포함할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 조리 기기의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 조리 기기의 제어 방법은 상기 조리 기기에 배치된 식재료에 대한 이미지를 획득하는 것에 관련된 제1 이벤트가 식별되면, 상기 조리 기기의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 조정하여 제1 설정 값을 획득하는 단계, 상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 조리 기기에 배치된 상기 식재료에 대한 적어도 하나의 이미지를 획득하는 단계, 상기 적어도 하나의 이미지가 획득되는 동안 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하고, 상기 제1 이미지를 사용자에게 제공하는 단계, 상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계 및 상기 식재료를 인식하는 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 단계를 포함한다.
여기서, 상기 제2 이미지를 획득하는 단계는 상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득할 수 있다.
한편, 상기 제2 이미지를 획득하는 단계는 상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득할 수 있다.
한편, 상기 제1 이벤트는 상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 조리 기기에 포함된 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제2 이벤트는 파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 실시 예들의 상기 측면 및 다른 측면, 특징 및 이점들은 첨부된 도면과 함께 아래의 설명을 함께 참조하면 더욱 명확해질 것이다.
도 1은 본 개시의 일 실시 예에 따른 조리 기기를 나타내는 도면,
도 2는 본 개시의 일 실시 예에 따른 조리 기기의 제어 방법을 나타내는 흐름도,
도 3은 본 개시에 따른 파라미터 안정화 동작의 활성화 여부를 평가하는 실시 예에 대해 설명하기 위한 흐름도,
도 4는 본 개시의 일 실시 예에 따른 조리 기기의 구성을 간략하게 나타내는 블록도,
도 5는 본 개시의 일 실시 예에 따른 복수의 모듈을 나타내는 블록도,
도 6은 본 개시의 일 실시 예에 따른 조리 기기의 구성을 상세하게 나타내는 블록도, 그리고,
도 7은 본 개시의 일 실시 예에 따른 시스템을 나타내는 블록도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) A만을 포함, (2) B만을 포함, 또는 (3) A 및 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 조리 기기(100)를 나타내는 도면이다.
본 개시에 따른 조리 기기(100)는 가스, 전기 및 증기 등을 이용하여 식재료에 열을 공급함으로써 식재료를 조리할 수 있는 장치를 말한다. 예를 들어, 본 개시에 따른 조리 기기(100)는 도 1에 도시된 바와 같은 전기 오븐일 수 있으며, 그 밖에도 쿡탑(cooktop) 또는 전기레인지 등과 같이 식재료를 조리할 수 있는 장치라면 그 종류의 제한 없이 본 개시에 따른 조리 기기(100)에 해당될 수 있다.
구체적으로, 본 개시에 따른 조리 기기(100)는 카메라(110)를 통해 식재료에 대한 이미지를 획득하고, 획득된 이미지를 사용자에게 제공할 수 있다. 또한, 조리 기기(100)는 카메라(110)를 통해 획득된 이미지를 분석함으로써 식재료에 대한 정보를 획득하고, 식재료에 대한 정보를 바탕으로 조리 동작을 제어할 수도 있다. 예를 들어, 이미지의 분석 결과 조리 과정이 진행되는 동안 식재료 표면의 색상이 변경된 것으로 식별되면, 조리 기기(100)는 변경된 식재료 표면의 색상에 대한 정보를 바탕으로 조리 동작을 제어하거나, 사용자에게 안내 메시지를 제공하거나, 나아가 사용자에게 추천 레시피에 대한 정보를 제공할 수도 있다.
다시 말해, 조리 기기(100)는 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 정보를 포함하는 이미지를 제공할 수 있다. 이하에서는 도 2 내지도 7을 참조하여, 다양한 실시 예에 대해 설명한다.
도 2는 본 개시의 일 실시 예에 따른 조리 기기(100)의 제어 방법을 나타내는 흐름도이다.
도 2를 참조하면, 본 개시에 따른 조리 기기(100)는 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트의 발생 여부를 식별할 수 있다(S210). 본 개시의 설명에 있어서, '제1 이벤트'는 조리 기기(100)에 배치된 식재료 촬영의 개시 조건이 되는 이벤트를 총칭하기 위한 용어로 사용된다. 예를 들어, 제1 이벤트는 조리 기기(100)의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 조리 기기(100)에 포함된 적어도 하나의 센서(150)를 통해 조리 기기(100)에 포함된 도어가 닫힌 것이 감지되는 경우 및 적어도 하나의 센서(150)를 통해 조리 기기(100)에 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함할 수 있다.
제1 이벤트가 식별되지 않으면(S210-N), 조리 기기(100)는 현재의 동작을 유지하고, 제1 이벤트가 발생할 때까지 다시 제1 이벤트의 발생 여부를 식별할 수 있다(S210). 반면, 제1 이벤트가 식별되면(S210-Y), 조리 기기(100)는 카메라(110)에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득할 수 있다(S220).
본 개시에 대한 설명에 있어서, '적어도 하나의 파라미터'란 카메라(110)의 촬영에 관련된 파라미터들을 총칭하기 위한 용어로 사용된다. 예를 들어, 적어도 하나의 파라미터는 카메라(110)의 초점, 노출 및 화이트 밸런스(white balance)를 포함할 수 있으며, 다만 이에 국한되는 것은 아니다.
적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정한다는 것은 식재료의 색상, 식재료와의 초점 거리, 조리 기기(100) 주변의 조도 등과 같은 다양한 요인을 바탕으로, 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영을 안정화시킬 수 있는 임계 범위 이내의 설정 값으로 조정하는 것을 의미할 수 있다. 예를 들어, 조리 기기(100)는 조리 기기(100) 주변의 조도를 바탕으로 노출에 대한 설정 값을 조정함으로써, 촬영 결과 획득되는 이미지의 밝기가 기 설정된 임계 범위의 밝기가 되도록 조정할 수 있다. 촬영을 안정화시킬 수 있는 각각의 파라미터에 대한 설정 값의 임계 범위는 개발자 또는 사용자의 설정에 따라 변경될 수 있다.
특히, 적어도 하나의 파라미터가 초점, 노출 및 화이트 밸런스를 포함하는 경우, 초점, 노출 및 화이트 밸런스에 대한 설정 값을 자동으로 조정하는 동작은 소위 '3A(Auto Focus, Auto Exposure, Auto White Balance) 안정화 동작'이라고 지칭될 수 있다. 이하에서는 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하는 동작을 간략하게 '파라미터 안정화 동작'이라고 지칭한다.
그리고, 본 개시에 있어서, 적어도 하나의 파라미터에 대한 제1 설정 값이란 파라미터 안정화 동작을 수행하여 최초로 획득된 설정 값, 즉 초기 설정 값을 의미한다.
조리 기기(100)는 제1 이벤트의 발생에 응답하여 조리 동작을 수행할 수 있으며, 뿐만 아니라 제1 이벤트의 발생 전 또는 제1 이벤트의 발생 후에 별도로 입력된 사용자 입력을 바탕으로 조리 동작을 수행할 수 있다. 예를 들어, 제1 이벤트가 조리 기기(100)의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우이면, 조리 기기(100)는 제1 이벤트의 식별에 응답하여 기 설정된 조리 동작을 수행할 수 있다. 한편, 제1 이벤트가 조리 기기(100)에 포함된 도어가 닫힌 것이 감지되는 경우, 조리 기기(100)는 조리 동작을 수행하기 위한 별도의 사용자 입력을 바탕으로 기 설정된 조리 동작을 수행할 수 있다.
제1 설정 값이 획득되면, 조리 기기(100)는 카메라(110)를 통해 제1 설정 값을 바탕으로 촬영을 수행할 수 있다(S230). 즉, 본 개시에 따른 파라미터 안정화 동작이 완료되어 제1 설정 값이 획득되면, 조리 기기(100)는 식재료의 촬영에 적합하도록 적어도 하나의 파라미터에 대한 설정 값이 조정된 상태에서 식재료에 대한 촬영을 개시할 수 있다.
또한, 제1 설정 값이 획득되면, 조리 기기(100)는 획득된 제1 설정 값을 메모리(120)에 저장할 수 있다. 이는 후술하는 바와 같이, 제1 설정 값을 이용하여 제1 이미지를 후처리함으로써 제2 이미지를 획득하기 위한 것이다.
조리 기기(100)는 제1 설정 값을 바탕으로 촬영이 수행되는 동안 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트의 발생 여부를 식별할 수 있다(S240). 여기서, 제2 이벤트는 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정할 필요가 있는 상황을 총칭하기 위한 용어이다. 즉, 조리 동작이 수행되는 동안 식재료의 색상, 식재료와의 초점 거리, 조리 기기(100) 주변의 조도 등과 같은 다양한 요인이 변경될 수 있으며, 이 경우 조리 기기(100)는 파라미터 안정화 동작에 따라 새로운 설정 값을 획득할 수 있다.
예를 들어, 제2 이벤트는 본 개시에 따른 파라미터 안정화 동작이 수행되는 동안 식재료의 색상이 변경되었음이 식별되는 경우, 파라미터 안정화 동작이 수행되는 동안 적어도 하나의 센서(150)를 통해 조리 기기(100) 주변의 조도가 변경되었음이 감지되는 경우 및 파라미터 안정화 동작이 수행되지 않는 동안 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함할 수 있다.
제2 이벤트가 식별되지 않으면(S240-N), 조리 기기(100)는 현재의 동작을 유지하고, 다시 제2 이벤트의 발생 여부를 식별할 수 있다(S240). 반면, 제2 이벤트가 식별되면(S240-Y), 조리 기기(100)는 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공할 수 있다(S250).
본 개시에 있어서, 적어도 하나의 파라미터에 대한 제2 설정 값이란 파라미터 안정화 동작을 수행하여 초기 설정 값인 제1 설정 값이 획득된 후, 재차 파라미터 안정화 동작을 수행한 결과 획득된 설정 값, 즉 현재의 설정 값을 의미한다.
조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값이 현재 식재료의 촬영에 적합하도록 조정된 설정 값인 제2 설정 값을 바탕으로, 식재료에 대한 제1 이미지를 획득할 수 있다. 본 개시에 있어서, 제1 이미지는 현재의 식재료의 촬영에 적합한 제2 설정 값을 바탕으로 획득된 이미지로서, 현재의 조리 상태에 대한 정보를 사용자에게 제공하는 경우에 적합한 이미지라고 할 수 있다.
조리 기기(100)는 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득할 수 있다(S260). 구체적으로, 조리 기기(100)는 제1 이미지에 대한 후처리를 수행하여 제2 이미지를 획득할 수 있으며, 이미지에 대한 후처리를 위한 신경망 모델을 이용하여 제2 이미지를 획득할 수도 있다.
본 개시에 있어서, 제2 이미지는 제1 이미지의 설정 값을 초기 설정 값인 제1 설정 값으로 변경함으로써 획득된 이미지로서, 객체 인식 모델에 입력하기 위한 이미지를 말한다. 즉, 객체 인식에 있어서는 현재의 식재료 상태를 명확하게 나타낼 수 있는 제1 이미지보다는 초기 설정 값인 제1 설정 값을 갖는 제2 이미지를 이용하는 것이 객체 인식률에 있어서 용이할 수 있기 때문에, 조리 기기(100)는 제1 이미지를 객체 인식 모델에 입력하는 것이 아니라, 초기 설정 값을 갖는 제2 이미지를 객체 인식 모델에 입력할 수 있다.
일 실시 예에 있어서, 조리 기기(100)는 제1 이미지에 대한 데이터에서 제2 설정 값을 제1 설정 값으로 변경함으로써 제2 이미지를 획득할 수 있다. 예를 들어, 제1 설정 값이 화이트 밸런스의 r gain 값이 20인 것을 포함하고, 제2 설정 값이 화이트 밸런스의 r gain 값이 23인 것을 포함하는 경우, 조리 기기(100)는 제1 이미지에 대한 데이터에서 제2 설정 값의 r gain 값을 3만큼 뺌으로써, 제1 이미지에 대한 데이터에서 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득할 수 있다.
일 실시 예에 있어서, 조리 기기(100)는 제1 설정 값, 제2 설정 값 및 제1 이미지를 학습된 이미지 획득 모델에 입력하여 제2 이미지를 획득할 수 있다. 여기서, 이미지 획득 모델은 적어도 하나의 파라미터에 대한 초기 설정 값, 원본 이미지 및 원본 이미지에 대한 현재의 설정 값이 입력되면, 초기 설정 값을 갖는 새로운 이미지를 출력하도록 학습된 신경망 모델을 말한다. 예를 들어, 초기 설정 값인 제1 설정 값, 제1 이미지 및 제1 이미지의 획득에 이용된 제2 설정 값이 입력되면, 이미지 획득 모델은 제1 설정 값을 갖는 제2 이미지를 출력할 수 있다. 이미지 획득 모델은 조리 기기(100) 자체에 온 디바이스(on-device)로 구현될 수 있을 뿐만 아니라, 서버를 비롯한 외부 장치에 구현될 수도 있다.
제2 이미지가 획득되면, 조리 기기(100)는 식재료를 인식하기 위한 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다(S270). 그리고, 제2 이미지에 포함된 식재료에 대한 정보가 획득되면, 조리 기기(100)는 식재료에 대한 정보를 바탕으로 조리 동작을 제어하거나, 사용자에게 안내 메시지를 제공하거나, 나아가 사용자에게 추천 레시피에 대한 정보를 제공하는 것과 같은 다양한 동작을 수행할 수 있다.
본 개시에 따른 객체 인식 모델은 이미지가 입력되면 이미지에 포함된 객체의에 대한 정보를 획득할 수 있는 신경망 모델을 말한다. 특히, 객체 인식 모델은 이미지에 포함된 식재료의 유형에 대한 정보 및 식재료의 색상에 대한 정보 등을 출력하도록 학습될 수 있다. 객체 인식 모델은 조리 기기(100)의 일부에 온 디바이스(on-device)로 구현될 수 있을 뿐만 아니라, 서버를 비롯한 외부 장치에 구현될 수도 있다.
이상에서 도 2를 참조하여 상술한 실시 예에 따르면, 조리 기기(100)는 현재 식재료의 촬영에 적합한 현재의 설정 값인 제2 설정 값을 바탕으로 제1 이미지를 획득하여 사용자에게 제공하면서도, 파라미터 안정화에 따른 초기 설정 값인 제1 설정 값을 바탕으로 제2 이미지를 획득하여 객체 인식을 수행할 수 있다. 이에 따라, 조리 기기(100)는 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 명확한 정보를 포함하는 이미지를 제공할 수 있게 된다.
도 3은 본 개시에 따른 파라미터 안정화 동작의 활성화 여부를 평가하는 실시 예에 대해 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 개시에 따른 조리 기기(100)는 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트의 발생 여부를 식별할 수 있다(S310). 그리고, 제1 이벤트가 식별되면(S310-Y), 조리 기기(100)는 카메라(110)에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득할 수 있다(S315). 제1 이벤트의 발생 여부를 식별하는 과정과 파라미터 안정화 동작에 대해서는 도 2를 참조하여 상술하였으므로, 동일한 내용에 대한 중복 설명은 생략한다.
제1 설정 값이 획득되면, 조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값을 제1 설정 값으로 고정할 수 있다(S320). 그리고, 조리 기기(100)는 카메라(110)를 통해 제1 설정 값을 바탕으로 촬영을 수행할 수 있다(S325). 다시 말해, 조리 기기(100)는 파라미터 안정화 동작이 수행된 결과 초기 설정 값인 제1 설정 값이 획득되면, 파라미터 안정화 동작을 중지하고 제1 설정 값을 바탕으로 촬영을 수행할 수 있다.
조리 기기(100)는 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는지 여부에 따라(S330) 상이한 동작을 수행할 수 있다. 구체적으로, 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되면(S330-Y), 조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값 고정을 해제할 수 있다(S335). 그리고, 조리 기기(100)는 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 다시 조정하여 제2 설정 값을 획득할 수 있으며(S340), 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공할 수 있다(S345).
다시 말해, 파라미터 안정화 동작을 중지하고 제1 설정 값을 바탕으로 촬영을 수행하는 동안, 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우, 현재의 설정 값이 아닌 제1 설정 값을 바탕으로 획득된 이미지를 사용자에게 제공하는 것은 부적절할 수 있다. 따라서, 조리 기기(100)는 다시 파라미터 안정화 동작을 수행하여 제2 설정 값을 획득하고, 제2 설정 값을 바탕으로 획득된 이미지를 사용자에게 제공할 수 있다.
제2 설정 값을 바탕으로 획득된 제1 이미지가 사용자에게 제공되면, 조리 기기(100)는 다시 파라미터 안정화 동작을 중지하고, 제1 설정 값을 바탕으로 식재료에 대한 촬영을 수행할 수 있다(S325).
식재료에 대한 이미지를 요청하는 사용자 입력이 수신되지 않으면(S330-N), 조리 기기(100)는 제1 설정 값을 바탕으로 식재료에 대한 제2 이미지를 획득할 수 있다(S350). 그리고, 조리 기기(100)는 식재료를 인식하기 위한 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다(S355).
다시 말해, 파라미터 안정화 동작을 중지하고 제1 설정 값을 바탕으로 촬영을 수행하는 동안, 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우와 같이 파라미터 안정화 동작을 다시 수행할 만한 상황이 발생하지 않는 한 조리 기기(100)는 파라미터 안정화 동작을 중지한 상태에서 고정된 제1 설정 값을 바탕으로 식재료에 대한 제2 이미지를 획득하고, 제2 이미지를 이용하여 객체 인식을 수행할 수 있다.
이상에도 도 3을 참조하여 상술한 실시 예에 따르면, 조리 기기(100)는 조리 과정이 수행되는 동안 파라미터 안정화 동작에 따른 설정 값을 고정함으로써 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 제공될 이미지를 획득할 때에는 파라미터 안정화 동작에 따른 설정 값을 다시 획득함으로써 사용자에게 식재료에 대한 고품질의 이미지를 제공할 수 있게 된다.
도 4는 본 개시의 일 실시 예에 따른 조리 기기(100)의 구성을 간략하게 나타내는 블록도이다. 그리고, 도 5는 본 개시의 일 실시 예에 따른 복수의 모듈을 나타내는 블록도이다.
도 4에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 조리 기기(100)는 카메라(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
카메라(110)는 적어도 하나의 객체에 대한 이미지를 획득할 수 있다. 구체적으로, 카메라(110)는 이미지 센서를 포함하고, 이미지 센서는 렌즈를 통해 들어오는 빛을 전기적인 영상 신호로 변환할 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 카메라(110)를 통해 식재료에 대한 이미지를 획득할 수 있다. 구체적으로, 프로세서(130)는 적어도 하나의 파라미터에 대한 제1 설정 값을 바탕으로 식재료에 대한 제2 이미지를 획득할 수 있다. 또한, 프로세서(130)는 적어도 하나의 파라미터에 대한 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득할 수 있다.
메모리(120)에는 조리 기기(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(120)에는 조리 기기(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(120)에는 본 개시의 다양한 실시 예들에 따라 조리 기기(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(120)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(120)에는 본 개시의 다양한 실시 예에 따라 조리 기기(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(130)는 메모리(120)에 저장된 각종 소프트웨어 모듈을 실행하여 조리 기기(100)의 동작을 제어할 수 있다. 즉, 메모리(120)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
본 개시에서 메모리(120)라는 용어는 메모리(120), 프로세서(130) 내 롬, 램 또는 조리 기기(100)에 장착되는 메모리 카드 (예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(120)에는 본 개시에 따른 제1 이미지 및 제2 이미지를 포함하는 식재료에 대한 이미지가 저장될 수 있다. 또한, 메모리(120)에는 본 개시에 따른 적어도 하나의 파라미터에 대한 설정 값, 즉 제1 설정 값, 제2 설정 값 등이 저장될 수 있다. 그리고, 메모리(120)에는 본 개시에 따른 이미지 획득 모델 및 객체 인식 모델을 포함하는 신경망 모델에 대한 정보가 저장될 수 있다. 뿐만 아니라, 메모리(120)에는 본 개시에 따른 제1 이벤트 및 제2 이벤트가 무엇인지를 나타내는 정보가 저장될 수 있다.
그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(120)에 저장될 수 있으며, 메모리(120)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
프로세서(130)는 조리 기기(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(130)는 카메라(110) 및 메모리(120)를 포함하는 조리 기기(100)의 구성과 연결되며, 상술한 바와 같은 메모리(120)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 조리 기기(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(130)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(130)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크(182)로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(130)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Microprocessor Unit)등을 포함하는 의미로 사용될 수 있다.
특히, 프로세서(130)는 도 5에 도시된 바와 같은 복수의 모듈을 이용하여 본 개시에 따른 다양한 실시 예를 구현할 수 있다. 여기서, 복수의 모듈은 파라미터 안정화 모듈(131), 이미지 획득 모듈(132), 이미지 후처리 모듈(133) 및 객체 인식 모듈(134)을 포함할 수 있으며, 소프트웨어 모듈 또는 하드웨어 모듈로 구현될 수 있다. 이하에서는 본 개시에 따른 복수의 모듈이 프로세서(130)에 의해 구현되는 경우를 전제로 설명할 것이지만, 실시 예에 따라서는 복수의 모듈 중 적어도 일부 모듈은 이미지 처리를 위한 별도의 프로세서(130)에 포함된 형태로 구현될 수도 있다.
프로세서(130)는 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트의 발생 여부를 식별할 수 있다. 그리고, 제1 이벤트가 식별되면, 프로세서(130)는 파라미터 안정화 모듈(131)을 통해 제1 설정 값을 획득할 수 있다.
파라미터 안정화 모듈(131)은 카메라(110)에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 설정 값을 획득할 수 있는 모듈을 말한다. 구체적으로, 파라미터 안정화 모듈(131)은 현재 카메라(110)에 노출된 빛의 양, 피사체(예: 식재료)와의 거리 및 피사체의 색상 등을 바탕으로 기 정의된 알고리즘을 수행함으로써, 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영을 안정화시킬 수 있는 임계 범위 이내의 설정 값으로 조정할 수 있다. 이에 따라, 파라미터 안정화 모듈(131)은 본 개시에 따른 제1 설정 값 및 제2 설정 값을 획득할 수 있다. 나아가, 파라미터 안정화 모듈(131)은 획득된 설정 값을 메모리(120)에 저장할 수 있으며, 또한 이미지 획득 모듈(132)로 전송할 수 있다.
제1 설정 값이 획득되면, 프로세서(130)는 카메라(110)를 통해 제1 설정 값을 바탕으로 촬영을 수행할 수 있으며, 또한, 프로세서(130)는 제1 설정 값을 바탕으로 촬영이 수행되는 동안 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트의 발생 여부를 식별할 수 있다.
제2 이벤트가 식별되면, 프로세서(130)는 이미지 획득 모듈(132)을 이용하여 제1 이미지를 획득할 수 있다. 이미지 획득 모듈(132)은 카메라(110)를 통해 식재료에 대한 이미지를 획득할 수 있는 모듈을 말한다. 구체적으로, 이미지 획득 모듈(132)은 파라미터 안정화 모듈(131)로부터 수신된 설정 값을 바탕으로 식재료에 대한 이미지를 획득할 수 있다. 예를 들어, 이미지 획득 모듈(132)은 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공할 수 있다. 나아가, 이미지 획득 모듈(132)은 획득된 이미지를 메모리(120)에 저장할 수 있으며, 또한 이미지 후처리 모듈(133)로 전송할 수 있다.
프로세서(130)는 이미지 후처리 모듈(133)을 이용하여 제2 이미지를 획득할 수 있다. 이미지 후처리 모듈(133)은 제1 이미지에 대한 후처리를 수행하여 제2 이미지를 획득할 수 있는 모듈을 말한다. 구체적으로, 이미지 후처리 모듈(133)은 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득할 수 있다. 일 실시 예에 있어서, 이미지 후처리 모듈(133)은 제1 이미지에 대한 데이터에서 제2 설정 값을 제1 설정 값으로 변경함으로써 제2 이미지를 획득할 수 있으며, 제1 설정 값, 제2 설정 값 및 제1 이미지를 학습된 이미지 획득 모델에 입력하여 제2 이미지를 획득할 수도 있다. 나아가, 이미지 후처리 모듈(133)은 제1 이미지에 대한 후처리 결과 획득된 제2 이미지를 객체 인식 모듈(134)에 전송할 수 있다.
제2 이미지가 획득되면, 프로세서(130)는 객체 인식 모듈(134)을 이용하여 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다. 객체 인식 모듈(134)은 이미지에 포함된 식재료를 인식할 수 있는 모듈을 말하며, 특히, 입력된 이미지에 포함된 객체를 식별할 수 있도록 학습된 객체 인식 모델의 형태로 구현될 수 있다. 구체적으로, 객체 인식 모듈(134)은 이미지 후처리 모듈(133)로부터 제2 이미지가 수신되면, 제2 이미지에 대한 객체 인식을 수행하여 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다.
그 밖의 프로세서(130)의 제어를 바탕으로 한 본 개시에 따른 다양한 실시 예에 대해서는 도 1 내지 도 3를 참조하여 상술하였으므로 중복 설명은 생략한다.
도 6은 본 개시의 일 실시 예에 따른 조리 기기(100)의 구성을 상세하게 나타내는 블록도이다.
도 6에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 조리 기기(100)는 통신부(140), 적어도 하나의 센서(150), 발열부(160), 조명부(170), 입력부(180) 및 출력부(190)를 더 포함할 수 있다. 그러나, 도 4 및 도6에 도시된 바와 같은 구성들은 예시적인 것에 불과할 뿐이며, 본 개시를 실시함에 있어 도 4 및 도 6에 도시된 바와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.
통신부(140)는 회로를 포함하며, 외부 장치와의 통신을 수행할 수 있다. 구체적으로, 프로세서(130)는 통신부(140)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
통신부(140)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, NFC 모듈 및 UWB 모듈(Ultra Wide Band) 중 적어도 하나를 포함할 수 있다. 구체적으로, WiFi 모듈과 Bluetooth 모듈 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. WiFi 모듈이나 Bluetooth 모듈을 이용하는 경우에는 SSID 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
또한, 무선 통신 모듈은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 그리고, NFC 모듈은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 통신을 수행할 수 있다. 또한, UWB 모듈은 UWB 안테나 간 통신을 통하여, 펄스가 목표물에 도달하는 시간인 ToA(Time of Arrival), 송신 장치에서의 펄스 도래각인 AoA(Ange of Arrival)을 정확히 측정할 수 있고, 이에 따라 실내에서 수십 cm 이내의 오차 범위에서 정밀한 거리 및 위치 인식이 가능하다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 제1 이미지가 획득되면, 프로세서(130)는 사용자의 사용자 단말로 제1 이미지를 전송하도록 통신부(140)를 제어할 수 있다. 또한, 프로세서(130)는 통신부(140)를 통해 조리 동작을 수행하기 위한 사용자 입력을 수신할 수 있다. 그리고, 프로세서(130)는 본 개시에 따른 신경망 모델(예: 이미지 획득 모델, 객체 인식 모델)을 포함하는 서버로 신경망 모델의 입력 데이터를 전송하도록 통신부(140)를 제어할 수 있고, 통신부(140)를 통해 신경망 모델의 출력 데이터를 수신할 수도 있다.
적어도 하나의 센서(150)는 조리 기기(100) 내부 및 외부의 다양한 정보를 감지할 수 있다. 특히, 적어도 하나의 센서(150)는 도어 센서, 무게 감지 센서 및 조도 센서를 포함할 수 있다. 또한, 적어도 하나의 센서(150)는 GPS(Global Positioning System) 센서, 자이로 센서(gyro sensor, gyroscope), 가속도 센서(acceleration sensor, accelerometer), 라이다 센서(lidar sensor), 관성 센서(Inertial Measurement Unit, IMU) 및 모션 센서 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 적어도 하나의 센서(150)는 온도 센서, 습도 센서, 적외선 센서, 바이오 센서 등과 같은 다양한 종류의 센서를 포함할 수도 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 도어 센서를 통해 조리 기기(100)에 포함된 도어의 여닫힘을 감지할 수 있다. 그리고, 도어 센서를 통해 도어가 닫힌 것이 감지되면, 프로세서(130)는 제1 이벤트가 발생되었음을 식별할 수 있으며, 도어 센서를 통해 도어가 열린 것이 감지되면, 프로세서(130)는 조리 동작이 중지되었음을 감지할 수 있다.
또한, 프로세서(130)는 무게 감지 센서를 통해 조리 기기(100)에 식재료가 배치되었는지 여부를 감지할 수 있다. 그리고, 무게 감지 센서를 통해 조리 기기(100)에 식재료가 배치된 것이 감지되면, 프로세서(130)는 제1 이벤트가 발생되었음을 식별할 수 있다.
그리고, 프로세서(130)는 파라미터 안정화 동작이 수행되는 동안 조도 센서를 통해 조리 기기(100) 주변의 조도를 감지할 수 있다. 그리고, 조도 센서를 통해 조리 기기(100) 주변의 조도가 변경된 것이 감지되면, 프로세서(130)는 변경된 조도를 바탕으로 적어도 하나의 파라미터에 대한 설정 값을 변경할 수 있다.
발열부(160)는 음식물을 가열할 수 있는 구성을 말한다. 특히, 조리 기기(100)가 전기 오븐 또는 전기 레인지로 구현되는 경우 발열부(160)는 전력의 공급에 의해 발열할 수 있으며 이 때의 열원은 래디언트 히터 또는 인덕션 히터 등일 수 있다. 발열부(160)를 동작시키거나 발열부(160)의 발열 온도 및 발열 시간은 사용자 입력을 바탕으로 수행될 수도 있으며, 뿐만 아니라, 이미지에 포함된 식재료에 대한 정보를 바탕으로 프로세서(130)에 의해 수행될 수도 있다.
조명부(170), 또는 광방출부는 광원을 포함하며 광원에 의해 조리 기기(100) 내부에 광을 조사할 수 있는 구성을 말한다. 구체적으로, 조명부(170)는 복수의 광원을 포함할 수 있으며, 프로세서(130)는 복수의 광원 각각 또는 복수의 광원의 조합에 따라 다양한 색상의 광을 조리 기기(100) 내부에 조사할 수 있다. 예를 들어, 조명부(170)는 복수의 LED(light-emitting diode) 광원을 포함할 수 있으며, 다만 이에 국한되는 것이 아님은 물론이다.
특히, 프로세서(130)는 제1 이미지에 포함된 식재료의 색상을 바탕으로 조명부(170)에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어할 수 있다. 예를 들어, 식재료가 크로와상인 경우, 조리 동작이 개시된 시점에서는 생지 상태인 크로와상이 선명하게 보일 수 있도록 주광색 광을 조사할 수 있으며, 조리 동작이 진행되는 동안 크로와상이 익어갈수록 노란색 광을 조사함으로써 크로와상을 더 노랗게 보이도록 할 수 있다. 이에 따라, 조리 기기(100)는 식재료의 종류와 조리 상태에 적합한 조명을 이용하여 사용자에게 더 나은 이미지를 제공할 수 있게 된다.
입력부(180)는 회로를 포함하며, 프로세서(130)는 입력부(180)를 통해 조리 기기(100)의 동작을 제어하기 위한 사용자 명령을 수신할 수 있다. 구체적으로, 입력부(180)는 마이크(182), 카메라(110), 및 리모컨 신호 수신부 등과 같은 구성으로 이루어질 수 있다. 그리고, 입력부(180)는 터치 스크린으로서 디스플레이(191)에 포함된 형태로 구현될 수도 있다. 특히, 마이크(182)는 음성 신호를 수신하고, 수신된 음성 신호를 전기 신호로 변환할 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 입력부(180)를 통해 조리 동작을 수행하기 위한 사용자 입력, 조리 동작이 수행되는 시간을 설정하기 위한 사용자 입력, 조리 동작을 종료하기 위한 사용자 입력, 식재료에 대한 이미지를 요청하기 위한 사용자 입력 등을 수신할 수 있다.
출력부(190)는 회로를 포함하며, 프로세서(130)는 출력부(190)를 통해 조리 기기(100)가 수행할 수 있는 다양한 기능을 출력할 수 있다. 그리고, 출력부(190)는 디스플레이(191), 스피커(192) 및 인디케이터 중 적어도 하나를 포함할 수 있다.
디스플레이(191)는 프로세서(130)의 제어에 의하여 영상 데이터를 출력할 수 있다. 구체적으로, 디스플레이(191)는 프로세서(130)의 제어에 의하여 메모리(120)에 기 저장된 영상을 출력할 수 있다.
특히, 본 개시의 일 실시 예에 따른 디스플레이(191)는 메모리(120)에 저장된 사용자 인터페이스(User Interface)를 표시할 수도 있다. 디스플레이(191)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이(191)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 본 개시에 따른 디스플레이(191)가 특정한 종류에 한정되는 것은 아니다. 스피커(192)는 프로세서(130)의 제어에 의하여 오디오 데이터를 출력할 수 있으며, 인디케이터는 프로세서(130)의 제어에 의하여 점등될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 본 개시에 따른 제1 이미지가 획득되면, 제1 이미지를 표시하도록 디스플레이(191)를 제어할 수 있다. 그 밖에도, 프로세서(130)는 조리 동작의 진행 상황을 나타내는 정보, 사용자 입력을 수신하기 위한 사용자 인터페이스 등을 표시할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 시스템을 나타내는 블록도이다.
도 7에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 시스템은 조리 기기(100), 서버(200) 및 사용자 단말(300)을 포함할 수 있다.
이상에서는 조리 기기(100)에 의해 본 개시에 따른 다양한 실시 예가 구현되는 경우를 전제로 설명하였으나, 이상에서 상술한 실시 예의 일부 과정은 서버(200)를 통해 수행될 수 있으며, 일부 과정은 사용자 단말(300)을 통해 수행될 수도 있다.
본 개시에 있어서, 서버(200)는 본 개시에 따른 신경망 모델이 구현된 장치를 말한다. 구체적으로, 서버(200)는 본 개시에 따른 이미지 획득 모델 및 객체 인식 모델을 포함하는 신경망 모델을 포함할 수 있다.
일 실시 예에 있어서, 서버(200)는 이미지 획득 모델을 포함할 수 있다. 이 경우, 조리 기기(100)는 적어도 하나의 파라미터에 대한 초기 설정 값인 제1 설정 값, 현재의 설정 값인 제2 설정 값, 그리고 제1 이미지에 대한 데이터를 서버(200)로 전송하도록 통신부를 제어할 수 있다. 조리 기기(100)로부터 제1 설정 값, 제2 설정 값 및 제1 이미지에 대한 데이터가 수신되면, 서버(200)는 학습된 이미지 획득 모델에 제1 설정 값, 제2 설정 값 및 제1 이미지에 대한 데이터를 입력하여, 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득하고, 조리 기기(100)에 전송할 수 있다.
일 실시 예에 있어서, 서버(200)는 객체 인식 모델을 포함할 수 있다. 조리 기기(100)는 제2 이미지에 대한 데이터를 서버(200)로 전송하도록 통신부를 제어할 수 있다. 조리 기기(100)로부터 제2 이미지에 대한 데이터가 수신되면, 서버(200)는 객체 인식 모델에 제2 이미지에 대한 데이터를 입력하여 제2 이미지에 포함된 식재료에 대한 정보를 획득할 수 있다.
한편, 서버(200)가 객체 인식 모델과 함께 이미지 획득 모델을 포함하는 경우이면, 서버(200)는 이미지 획득 모델을 이용하여 제2 이미지를 획득하고, 객체 인식 모델을 이용하여 제2 이미지에 포함된 식재료에 대한 정보를 획득하며, 그 후 제2 이미지에 대한 데이터와 함께 제2 이미지에 포함된 식재료에 대한 정보를 조리 기기(100)로 전송할 수 있다.
본 개시에 있어서, 사용자 단말(300)은 조리 동작이 수행되는 상황에 대한 정보를 수신하여 표시할 수 있는 장치를 말한다. 예를 들어, 사용자 단말(300)은 스마트 폰, 태블릿 PC 또는 스마트워치 등으로 구현될 수 있으며, 다만 이에 국한되는 것은 아니다.
일 실시 예에 있어서, 제1 이미지가 획득되면, 조리 기기(100)는 사용자 단말(300)로 제1 이미지를 전송하도록 통신부를 제어할 수 있다. 그리고, 제1 이미지가 수신되면, 사용자 단말(300)은 사용자 단말(300)의 디스플레이를 통해 제1 이미지를 출력할 수 있다.
사용자 단말(300)은 조리 동작을 수행하기 위한 사용자 입력, 조리 동작이 수행되는 시간을 설정하기 위한 사용자 입력, 조리 동작을 종료하기 위한 사용자 입력, 식재료에 대한 이미지를 요청하기 위한 사용자 입력 등을 수신할 수 있으며, 수신된 사용자 입력을 조리 기기(100)에 전송할 수 있다.
상술한 실시 예에 따른 조리 기기(100)의 제어 방법은 프로그램으로 구현되어 조리 기기(100)에 제공될 수 있다. 특히, 조리 기기(100)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
구체적으로, 조리 기기(100)의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 조리 기기(100)의 제어 방법은 조리 기기(100)에 배치된 식재료를 촬영하기 위한 제1 이벤트가 식별되면, 조리 기기(100)의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 식재료에 대한 촬영에 적합하도록 조정하여 제1 설정 값을 획득하는 단계, 카메라를 통해 제1 설정 값을 바탕으로 촬영이 수행되는 동안 제1 설정 값을 제2 설정 값으로 변경하기 위한 제2 이벤트가 식별되면, 제2 설정 값을 바탕으로 식재료에 대한 제1 이미지를 획득하여 사용자에게 제공하는 단계, 제1 이미지의 획득에 이용된 제2 설정 값이 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계 및 식재료를 인식하기 위한 객체 인식 모델에 제2 이미지를 입력하여, 제2 이미지에 포함된 식재료에 대한 정보를 획득하는 단계를 포함한다.
이상에서 조리 기기(100)의 제어 방법, 그리고 조리 기기(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 조리 기기(100)에 대한 다양한 실시 예는 조리 기기(100)의 제어 방법, 그리고 조리 기기(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.
상술한 바와 같은 본 개시의 다양한 실시 예에 따르면, 조리 기기(100)는 조리 과정이 수행되는 동안 식재료에 대한 이미지를 획득하여 높은 인식률로 식재료에 대한 인식을 수행하면서도, 사용자에게 식재료에 대한 명확한 정보를 포함하는 이미지를 제공할 수 있게 된다.
본 개시에 따른 인공지능과 관련된 기능은 조리 기기(100)의 프로세서(130)와 메모리를 통해 동작된다.
프로세서(130)는 하나 또는 복수의 프로세서(130)로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서(130)는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서(130)의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서(130)로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서(130)는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서(130)로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(130)(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서(130)는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서(130)로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서(130)로, NPU 는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서(130)는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 또는 복수의 프로세서(130)는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서(130) 이외에 메모리, 및 프로세서(130)와 메모리 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
조리 기기(100)에 포함된 SoC(System on Chip)에 복수의 프로세서(130)가 포함된 경우, 조리 기기(100)는 복수의 프로세서(130) 중 일부 프로세서(130)를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 조리 기기(100)는 복수의 프로세서(130) 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서(130)를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 조리 기기(100)는 하나의 프로세서(130)에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 조리 기기(100)는 프로세서(130)에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 또는 복수의 프로세서(130)는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 조리 기기(100))를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 조리 기기에 있어서,
    카메라;
    적어도 하나의 인스트럭션(instruction)을 저장하는 적어도 하나의 메모리; 및
    상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고,
    상기 프로세서는,
    상기 조리 기기에 배치된 식재료에 대한 이미지를 획득하는 것에 관련된 제1 이벤트가 식별되면, 상기 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 조정하여 제1 설정 값을 획득하고,
    상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 조리 기기에 배치된 상기 식재료에 대한 적어도 하나의 이미지를 획득하며,
    상기 적어도 하나의 이미지가 획득되는 동안 제2 이벤트가 식별되면, 제2 설정 값을 획득하고, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하고, 상기 제1 이미지를 사용자에게 제공하며,
    상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하고,
    상기 식재료를 인식하는 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 조리 기기.
  2. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득하는 조리 기기.
  3. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득하는 조리 기기.
  4. 제1 항에 있어서,
    적어도 하나의 센서; 를 더 포함하고,
    상기 제1 이벤트는,
    상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함하는 조리 기기.
  5. 제4 항에 있어서,
    상기 제2 이벤트는,
    파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함하는 조리 기기.
  6. 제1 항에 있어서,
    통신부; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하도록 상기 통신부를 제어하는 조리 기기.
  7. 제1 항에 있어서,
    디스플레이; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하도록 상기 디스플레이를 제어하는 조리 기기.
  8. 제1 항에 있어서,
    조명부; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지에 포함된 상기 식재료의 색상을 바탕으로 상기 조명부에 의해 조사되는 광의 색상 및 밝기 중 적어도 하나를 제어하는 조리 기기.
  9. 조리 기기의 제어 방법에 있어서,
    상기 조리 기기에 배치된 식재료에 대한 이미지를 획득하는 것에 관련된 제1 이벤트가 식별되면, 상기 조리 기기의 카메라에 관련된 적어도 하나의 파라미터에 대한 설정 값을 조정하여 제1 설정 값을 획득하는 단계;
    상기 카메라를 통해 상기 제1 설정 값을 바탕으로 상기 조리 기기에 배치된 상기 식재료에 대한 적어도 하나의 이미지를 획득하는 단계;
    상기 적어도 하나의 이미지가 획득되는 동안 제2 이벤트가 식별되면, 상기 제2 설정 값을 바탕으로 상기 식재료에 대한 제1 이미지를 획득하고, 상기 제1 이미지를 사용자에게 제공하는 단계;
    상기 제1 이미지의 획득에 이용된 상기 제2 설정 값이 상기 제1 설정 값으로 변경된 제2 이미지를 획득하는 단계; 및
    상기 식재료를 인식하는 객체 인식 모델에 상기 제2 이미지를 입력하여, 상기 제2 이미지에 포함된 상기 식재료에 대한 정보를 획득하는 단계; 를 포함하는 조리 기기의 제어 방법.
  10. 제9 항에 있어서,
    상기 제2 이미지를 획득하는 단계는 상기 제1 이미지에 대한 데이터에서 상기 제2 설정 값을 상기 제1 설정 값으로 변경함으로써 상기 제2 이미지를 획득하는 조리 기기의 제어 방법.
  11. 제9 항에 있어서,
    상기 제2 이미지를 획득하는 단계는 상기 제1 설정 값, 상기 제2 설정 값 및 상기 제1 이미지를 학습된 이미지 획득 모델에 입력하여 상기 제2 이미지를 획득하는 조리 기기의 제어 방법.
  12. 제9 항에 있어서,
    상기 제1 이벤트는,
    상기 조리 기기의 조리 동작을 수행하기 위한 사용자 입력이 수신된 경우, 상기 조리 기기에 포함된 적어도 하나의 센서를 통해 상기 조리 기기에 포함된 도어가 닫힌 것이 감지되는 경우 및 상기 적어도 하나의 센서를 통해 상기 조리 기기에 상기 식재료가 배치된 것이 감지되는 경우 중 적어도 하나를 포함하는 조리 기기의 제어 방법.
  13. 제12 항에 있어서,
    상기 제2 이벤트는,
    파라미터 안정화 동작이 수행되는 동안 상기 식재료의 색상이 변경되었음이 식별되는 경우, 상기 파라미터 안정화 동작이 수행되는 동안 상기 적어도 하나의 센서를 통해 상기 조리 기기 주변의 조도가 변경되었음이 감지되는 경우 및 상기 파라미터 안정화 동작이 수행되지 않는 동안 상기 식재료에 대한 이미지를 요청하는 사용자 입력이 수신되는 경우 중 적어도 하나를 포함하는 조리 기기의 제어 방법.
  14. 제9 항에 있어서,
    상기 제1 이미지가 획득되면, 상기 사용자의 사용자 단말로 상기 제1 이미지를 전송하는 단계; 를 더 포함하는 조리 기기의 제어 방법.
  15. 제9 항에 있어서,
    상기 제1 이미지가 획득되면, 상기 제1 이미지를 표시하는 단계; 를 더 포함하는 조리 기기의 제어 방법.
PCT/KR2023/011691 2022-09-30 2023-08-08 조리 기기 및 이의 제어 방법 Ceased WO2024071655A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP23872778.8A EP4538599A4 (en) 2022-09-30 2023-08-08 COOKING APPLIANCE AND ITS CONTROL METHOD
CN202380065635.7A CN119866418A (zh) 2022-09-30 2023-08-08 烹饪装置及其控制方法
US18/631,880 US12407795B2 (en) 2022-09-30 2024-04-10 Cooking device and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220125712A KR20240045864A (ko) 2022-09-30 2022-09-30 조리 기기 및 이의 제어 방법
KR10-2022-0125712 2022-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/631,880 Continuation US12407795B2 (en) 2022-09-30 2024-04-10 Cooking device and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2024071655A1 true WO2024071655A1 (ko) 2024-04-04

Family

ID=90478304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011691 Ceased WO2024071655A1 (ko) 2022-09-30 2023-08-08 조리 기기 및 이의 제어 방법

Country Status (5)

Country Link
US (1) US12407795B2 (ko)
EP (1) EP4538599A4 (ko)
KR (1) KR20240045864A (ko)
CN (1) CN119866418A (ko)
WO (1) WO2024071655A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240093874A1 (en) * 2022-09-15 2024-03-21 Samsung Electronics Co., Ltd. Cooking device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214194A (ja) * 2012-04-02 2013-10-17 Sharp Corp レシピ提供システム
KR20180083167A (ko) * 2017-01-12 2018-07-20 엘지전자 주식회사 조리 기기 및 그를 포함하는 조리 시스템
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
KR20200092380A (ko) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
KR20210074648A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 조리장치 및 조리장치 제어방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11156366B2 (en) 2015-09-10 2021-10-26 Brava Home, Inc. Dynamic heat adjustment of a spectral power distribution configurable cooking instrument
US11388788B2 (en) * 2015-09-10 2022-07-12 Brava Home, Inc. In-oven camera and computer vision systems and methods
US20190285283A1 (en) 2018-03-14 2019-09-19 Whirlpool Corporation Cooking appliance with an imaging device
CN111345699B (zh) 2018-12-20 2022-06-28 九阳股份有限公司 一种烹饪设备的控制方法和烹饪设备
US20220273139A1 (en) * 2019-05-17 2022-09-01 Samarth Mahapatra System and Method for Optimal Food Cooking or Heating Operations
DE102019113281A1 (de) * 2019-05-20 2020-11-26 Miele & Cie. Kg Belichtungsregelung von Gargütern
EP3811832B1 (en) 2019-08-30 2024-11-20 LG Electronics Inc. Cooking device having camera
AU2021340635B2 (en) * 2020-09-08 2024-11-21 June Life, Inc. System and method for individual heating element control
KR20220041611A (ko) 2020-09-25 2022-04-01 삼성전자주식회사 조리 장치 및 그 제어 방법
US12223663B2 (en) * 2020-10-30 2025-02-11 Qualcomm Incorporated Frame processing and/or capture instruction systems and techniques
KR20220059726A (ko) 2020-11-03 2022-05-10 엘지전자 주식회사 조리 기기 및 그의 동작 방법
US12070156B2 (en) * 2021-03-19 2024-08-27 Haier Us Appliance Solutions, Inc. System and method for detecting food items and managing cooking timers on a cooktop appliance
CN113729500A (zh) 2021-08-26 2021-12-03 深圳数影科技有限公司 烹饪设备的控制方法、烹饪设备、控制装置与存储介质
CN215734964U (zh) 2021-09-16 2022-02-01 宁波方太厨具有限公司 烹饪电器及其照明装置
US12256151B2 (en) * 2022-03-25 2025-03-18 Google Llc Methods and systems for user adjustable region based brightness settings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214194A (ja) * 2012-04-02 2013-10-17 Sharp Corp レシピ提供システム
KR20180083167A (ko) * 2017-01-12 2018-07-20 엘지전자 주식회사 조리 기기 및 그를 포함하는 조리 시스템
KR20200092380A (ko) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
KR20210074648A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 조리장치 및 조리장치 제어방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4538599A4 *

Also Published As

Publication number Publication date
KR20240045864A (ko) 2024-04-08
CN119866418A (zh) 2025-04-22
EP4538599A4 (en) 2025-10-08
EP4538599A1 (en) 2025-04-16
US12407795B2 (en) 2025-09-02
US20240259535A1 (en) 2024-08-01

Similar Documents

Publication Publication Date Title
WO2017131410A1 (en) Electronic device and method for controlling the same
WO2018174648A1 (ko) 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
WO2022197089A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021049751A1 (ko) 인공 지능을 이용한 조리 기기 제어 방법 및 그 시스템
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
WO2021015301A1 (ko) 지능형 세탁기와 그 제어방법
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2024071655A1 (ko) 조리 기기 및 이의 제어 방법
WO2021096139A1 (en) Electronic apparatus and method of controlling thereof
WO2021201365A1 (ko) 전자 장치 및 그 제어 방법
WO2021071249A1 (en) Electronic apparatus and control method thereof
WO2024043496A1 (ko) 로봇 및 로봇의 제어 방법
WO2021145511A1 (ko) 인공 지능 조리 기기 및 조리 기기의 동작 방법
WO2023033456A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2025058278A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2022196916A1 (ko) 사용자 인증을 위한 방법, 장치 및 저장 매체
WO2025239704A1 (ko) 조리 기기 및 이의 제어 방법
WO2023013825A1 (en) Method and device for capturing an image by configuring internet of things (iot) light devices in a iot environment
WO2025048322A1 (ko) 전자 장치 및 전자 장치의 제어 방법
EP4295567A1 (en) Method and device for capturing an image by configuring internet of things (iot) light devices in a iot environment
WO2024049076A1 (en) Electronic device and method for processing image data
WO2026038677A1 (ko) 외부 광원을 식별하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독가능 저장매체
WO2026005308A1 (ko) 불안정 가열을 식별하는 조리 기기 및 그의 제어 방법
WO2024253294A1 (ko) 조리 장치 및 이의 제어 방법
WO2026054556A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872778

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023872778

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023872778

Country of ref document: EP

Effective date: 20250110

WWE Wipo information: entry into national phase

Ref document number: 202380065635.7

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023872778

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 202380065635.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE