WO2024154875A1 - 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법 - Google Patents

시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법 Download PDF

Info

Publication number
WO2024154875A1
WO2024154875A1 PCT/KR2023/008952 KR2023008952W WO2024154875A1 WO 2024154875 A1 WO2024154875 A1 WO 2024154875A1 KR 2023008952 W KR2023008952 W KR 2023008952W WO 2024154875 A1 WO2024154875 A1 WO 2024154875A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking
image
control module
information
ingredients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/008952
Other languages
English (en)
French (fr)
Inventor
송지현
이중근
정상훈
하정요
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to EP23917833.8A priority Critical patent/EP4644779A4/en
Priority to AU2023424980A priority patent/AU2023424980A1/en
Priority to JP2025541626A priority patent/JP2026504099A/ja
Priority to CN202380091839.8A priority patent/CN120569596A/zh
Publication of WO2024154875A1 publication Critical patent/WO2024154875A1/ko
Priority to US19/274,066 priority patent/US20250349135A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the present invention relates to a device and method for controlling a cooking process using a visual cooking guide.
  • An oven is a device that provides the ability to cook a variety of foods, and users can cook a variety of ingredients through the oven.
  • cooking methods and temperatures vary depending on the food ingredients, and there is a limit to the user's knowledge of all of them.
  • the temperature and time for heating in the oven may be set differently depending on the type of food such as meat, fish, vegetables, etc. and the type of dish. Accordingly, there is a need for a method in which oven users are provided with a cooking guide appropriate for each ingredient and control the oven accordingly.
  • This specification is intended to solve the above-mentioned problems, and aims to increase cooking efficiency by allowing the user to select a cooking state suitable for the food ingredients through an image or video, and the cooking appliance cooks accordingly or performs an alarm when the cooking state is reached. .
  • this specification allows you to select the optimal cooking state by checking the previous cooking process through video and receive an alarm.
  • a cooking device is a cooking device that cooks food ingredients, and includes a main body that heats the food ingredients, a camera that photographs the ingredients stored in the main body, and an ingredient recognition process that is performed on the image of the ingredients captured by the camera. After outputting video information corresponding to the recognized food ingredient to the display module of the cooking appliance or transmitting the video information to a terminal device linked to the cooking appliance, cooking conditions of the main unit are set in response to the viewpoint or image selected in the video information, or It includes a control module that monitors the cooking status of the main unit and performs an alarm function.
  • a method of controlling the cooking process using a visual cooking guide includes the steps of a camera of a cooking appliance photographing ingredients loaded into the main body of the cooking appliance, and a control module of the cooking appliance photographing ingredients photographed by the camera.
  • the control module sets cooking conditions of the main body or monitors the cooking status of the main body in response to the viewpoint or image selected from the video information and performs an alarm function.
  • a method of controlling the cooking process using a visual cooking guide includes the steps of having the camera of the cooking appliance photograph the ingredients loaded into the main body of the cooking appliance, and the control module of the cooking appliance photographing the ingredients photographed by the camera.
  • a step of transmitting an image to a server a step of the server performing a food ingredient recognition process using the transmitted image, searching for image information corresponding to the recognized food ingredient, and transmitting it to a control module, and a step of the control module detecting a specific point in time or image from the image information.
  • cooking efficiency can be increased by allowing the user to select a cooking state suitable for the food ingredient through an image or video and the cooking device cooks the food accordingly or performs an alarm when the cooking state is reached.
  • the effects of the present invention are not limited to the effects described above, and various effects of the present invention can be easily derived from the configuration of the present invention.
  • FIG. 1 is a diagram showing components of a cooking appliance including a display module according to an embodiment of the present invention.
  • Figure 2 is a diagram showing components of a cooking appliance that does not include a display module according to another embodiment of the present invention.
  • Figure 3 is a diagram showing the configuration of a cooking appliance according to an embodiment of the present invention.
  • Figure 4 is a diagram showing a process for controlling cooking according to an embodiment of the present invention.
  • Figure 5 is a diagram showing a process for controlling the cooking process according to an embodiment of the present invention.
  • Figure 6 is a diagram showing the process of buffering and comparing images according to an embodiment of the present invention.
  • Figure 7 is a diagram showing an image comparison process according to an embodiment of the present invention.
  • Figure 8 is a diagram showing a user selecting a specific viewpoint in a time-lapse video according to an embodiment of the present invention.
  • Figure 9 is a diagram showing the results of recognition of food ingredients by a display module according to an embodiment of the present invention.
  • FIG. 10 is a diagram showing a process in which a cooking appliance according to an embodiment of the present invention provides an alarm or provides a cooking-related image to a terminal device via a server.
  • Figure 11 is a diagram in which a server according to an embodiment of the present invention recognizes food ingredients or compares them with existing cooking videos or images in a database to confirm whether cooking conditions have been achieved.
  • first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, sequence, order, or number of the components are not limited by the term.
  • a component is described as being “connected,” “coupled,” or “connected” to another component, that component may be directly connected or connected to that other component, but there are no other components between each component. It should be understood that may be “interposed” or that each component may be “connected,” “combined,” or “connected” through other components.
  • the components may be subdivided for convenience of explanation, but these components may be implemented in one device or module, or one component may be implemented in multiple devices or modules. It may be implemented separately.
  • an example of a cooking appliance includes an oven, which is a home appliance that heats and cooks various food ingredients.
  • ovens include various home appliances such as light wave ovens, microwave ovens, and air fryers.
  • the cooking appliance includes a camera that photographs food ingredients stored inside. Additionally, a display that outputs images may be optionally included. If a display is not placed on the cooking appliance, the display of the terminal device linked with the cooking appliance may output an image.
  • FIG. 1 is a diagram showing components of a cooking appliance including a display module according to an embodiment of the present invention.
  • the cooking appliance 100 includes a camera 110, a display module 120, a control module 150, and a main body 190.
  • Figure 1 is written with an emphasis on the configuration in which the cooking appliance 100 photographs food ingredients and processes information about them, and includes components necessary for the cooking appliance 100 to cook.
  • components included in the cooking appliance 100 all components necessary for heating food, such as doors, heating units, and lamps, are included in the main body 190. And the operation of the main body 190 is controlled by the control module 150.
  • the camera 110 is placed inside the main body and photographs the area where cooking takes place.
  • the camera 110 may be placed on the ceiling or side of the main body. Additionally, one or more cameras 110 may be disposed, and when two or more cameras 110 are disposed, food ingredients introduced into the main body can be photographed at different positions.
  • the camera 110 can capture images or videos of the cooking process of food ingredients at regular time intervals. Additionally, the camera 110 can shoot time-lapse videos.
  • the display module 120 is disposed outside the main body 190 and can visually output various information.
  • the display module 120 may further include a touch module capable of receiving touch input, and the user can control the operation of the cooking appliance 100 by touching the image displayed on the display module 120.
  • control module 150 can perform communication with a server or terminal device. To this end, the control module 150 can transmit and receive data according to a specific communication protocol (eg, LTE-A, 5G communication, Wi-Fi, Bluetooth, ZigBee, etc.).
  • a specific communication protocol eg, LTE-A, 5G communication, Wi-Fi, Bluetooth, ZigBee, etc.
  • the control module 150 may include a predetermined storage medium, and the control module 150 may include a database using the storage medium.
  • the cooking appliance 100 may include a separate database.
  • the database may be included in an external server, and the control module 150 can communicate with the server and check information stored in the server's database.
  • FIG. 2 is a diagram showing components of a cooking appliance that does not include a display module according to another embodiment of the present invention. The description of the same components will be replaced with the description of FIG. 1. This is a configuration in which the display module is excluded from the configuration in FIG. 1.
  • the control module 150 may transmit information related to the food ingredients inserted into the main body 190 and information on the cooking situation to the server or terminal device and receive a message requesting to stop cooking or resume cooking.
  • the cooking appliance 100 shown in FIGS. 1 and 2 is for cooking ingredients, and includes a main body 190 for heating the ingredients, a camera 110 for photographing the ingredients loaded into the main body 190, and a control module 150. ) includes.
  • Figure 3 is a diagram showing the configuration of a cooking appliance according to an embodiment of the present invention.
  • Figure 3 corresponds to one embodiment, and the cooking appliance of the present invention may have a different shape or different components from Figure 3.
  • the main body includes an operating unit 21, doors 11 and 12, and cooking chambers 15 and 16 that are opened and closed by the doors 11 and 12.
  • the display module 120 is disposed on the operation unit 21 that operates the cooking appliance 100.
  • the user can check the cooking guide through the display module 120.
  • the camera 110 is placed at the top of the cooking appliance 100 and can photograph the inside of the cooking chamber.
  • the cooking chambers 15 and 16 can be opened and closed by doors 11 and 12. Inside the cooking chambers 15 and 16, a shelf or stand for placing food ingredients may be placed, and a lamp for heating may be placed.
  • the camera 110 can photograph the inside of the galleys 15 and 16.
  • the manipulation unit 21 and the display module 120 are distinguished, but in another embodiment, a configuration in which an interface for manipulation is displayed on the display module 120 is also included in the embodiment of the present invention. Additionally, if the display module 120 is excluded from the cooking appliance 100 of FIG. 3, the cooking appliance 100 of FIG. 3 becomes the embodiment of FIG. 2.
  • a camera installed in a cooking device 100 such as an oven, collects and stores food images, and how the user directly adds or removes items to be recognized to provide a cooking guide and control cooking.
  • the cooking setting (oven operation mode, time, temperature) information of the recognized item can be converted into a database, and when the cooking appliance 100 recognizes the cooking object, the cooking environment can be automatically set. Let it happen.
  • the user can select the cooking state for which they want to receive an alarm and check the alarm.
  • the cooking appliance 100 may end the cooking process.
  • the user can select the optimal cooking state based on the image, so the cooking process of the cooking appliance 100 can be easily controlled.
  • FIG. 4 is a diagram showing a process for controlling cooking according to an embodiment of the present invention.
  • the food ingredients are put into the cooking appliances 100 and 200, the food ingredients are photographed, recognized, and the cooking process is controlled through the corresponding cooking images or DB images.
  • the camera 110 photographs the ingredients, and the control module 150 processes the captured images to recognize the ingredients (S310).
  • the control module 150 displays cooking images or DB images stored in relation to food ingredients through the display module 120 (S330).
  • a terminal device linked to the cooking appliance 200 can display a cooking video or DB image.
  • a cooking video is a bundle of videos or images captured in the process of cooking food ingredients previously recognized by the cooking appliances 100 and 200. These videos or bundles of images contain information about a certain point in time (e.g., 5, 10, or 30 seconds, 1, 2, or 3 minutes, etc.) and information about the heating temperature or cooking mode set during cooking. Contains information.
  • the cooking video is, in one embodiment, a time-lapse video recording changes in food ingredients during the cooking process.
  • the camera 110 continuously captures changes in color and volume of the surface during the heating process and stores them as a video or a bundle of images.
  • information on the time the cooking took place (cooking time) and information on the temperature heated during the cooking process (cooking temperature) correspond to meta information, and the meta information can be combined with each video or image.
  • images or videos may be sequentially recorded in the database.
  • images or videos of changes in color of the surface of food ingredients by type of meat, heating temperature, and heating time may be stored in the database in combination with information such as time information/cooking temperature.
  • control module 150 displays the cooked video or DB image stored internally or the cooked video or DB image stored externally, such as on a server, and then allows the user to select a specific point in time. For example, you can select a specific point in time from a cooking video or select a specific image from DB images (S350). This selection may include information about heating temperature.
  • the control module 150 controls the main body 190 to cook the input ingredients by heating them to the corresponding heating temperature (or automatically/manually set heating temperature).
  • the camera 110 photographs the ingredients
  • the camera 110 takes pictures of the ingredients.
  • the control module 150 may refer to an image from a previous time point of the time lapse of the corresponding video or an image from a previous time point among DB images.
  • images taken of food ingredients during the S360 process are displayed on the display module 120 or a terminal device owned by the user, so that the user can check the current cooking status.
  • the control module 150 compares whether the cooking state of the food is similar to the image at a specific time and, if similar, stops cooking or performs an alarm (Notification, Alarming) (S380).
  • the alarm is performed by the cooking appliances 100 and 200 outputting a predetermined sound or the linked terminal device (600 in FIG. 10) outputting a notification sound.
  • text or an image indicating that the cooking state has reached a specific state is output to the terminal device (600 in FIG. 10).
  • control module 150 updates the information accordingly (S390).
  • the processes in S360 and S380 of the control module 150 are valid, and the control module 150 stores the results and performs the same judgment process in similar cases in the future. make it possible
  • the user selects the food ingredients and the corresponding cooking method and selects the menu of the cooking appliances 100 and 200. Users can set heating temperature, heating mode, time, etc. However, it is cumbersome for users to check the optimal cooking conditions according to the food ingredients through a manual, and there are limitations in selecting cooking conditions suitable for the amount of food ingredients.
  • the user may open the doors of the cooking appliances 100 and 200 during cooking to check the cooking process, and heat loss may occur during this process, which may increase the cooking time.
  • the user selects a cooking video corresponding to the cooking state desired by the user or an image stored in the database, and the cooking appliances 100 and 200 compare the images of the food ingredients taken during the cooking process with the images selected by the user to determine the heating of the food ingredients. You can determine whether more is needed or provide notification information to the user.
  • the user selects/adds/deletes food ingredients to be recognized using images stored in the cooking device or server, uses a cooking video to select an image of the state for which the user wants to receive an alarm, and receives an alarm at the time of the corresponding state. Let’s take a look at the process.
  • the image information is a time-lapse of the cooking process, a bundle of images taken at regular time intervals during the cooking process, or a set of images constructed in relation to the shooting of the corresponding food ingredients.
  • the image information may be a cooking image captured in the past.
  • the image information is image information recorded by the cooking appliance 100 owned by the user and stored in the cooking process of the ingredients that were previously loaded into the main body 190.
  • the image information may be a database image created by another user or server, or created by the cooking appliance 100 by receiving it from another device.
  • the image information is image information of the cooking state of the food ingredients received and stored by the control module 150 from another device.
  • Such database images may correspond to cooking guides provided by large supermarkets or online shopping malls.
  • a large supermarket or online shopping mall may sell a specific product and distribute images or videos of cooking the product.
  • the control module 150 can register distributed images or videos and select a specific time point of the image or video corresponding to the cooking state of the purchased food ingredients.
  • Figure 5 is a diagram showing a process for controlling the cooking process according to an embodiment of the present invention.
  • the camera 110 photographs the ingredients (S311).
  • the control module 150 recognizes food ingredients using the captured image.
  • the control module 150 may store the initial image of existing food ingredients.
  • control module 150 sets R_FLAG to 0 and sets and registers cooking conditions according to the user's control (S313). Cooking conditions include cooking mode, heating temperature, heating time, etc.
  • the control module 150 sets R_FLAG to 1 (S315).
  • Image information may be displayed on a display module or terminal device (600 in FIG. 10) in response to the recognized food ingredients.
  • the control module 150 automatically sets cooking settings appropriate for the recognized food ingredients (S317).
  • Cooking conditions that are automatically set include cooking mode, heating temperature, and heating time.
  • control module 150 can select whether to receive a status alarm by selecting a specific point in the stored cooking image, or to receive an alarm by selecting a desired status among the stored images. (S331).
  • the control module 150 Images are displayed on the display module 120, and the user selects one or more images that are prototypes among them (S351).
  • the control module 150 displays the cooking video on the display module 120 and allows the user to play the video. Select a specific point in the process (time-lapse video playback) (S353). Information such as the elapsed time after selecting a specific time point, the temperature or cooking time at each time point recorded while recording the cooking video in the past can also be selected.
  • control module 150 extracts one or more images of the prototype for each step of cooking state centered on the selected time point (S354).
  • the prototype selected/extracted from S351 or S354 can be used as comparative data to check the cooking status of the food ingredients during the cooking process later.
  • the control module 150 automatically sets the cooking conditions of the main body 190 according to the selected/extracted prototype (S357).
  • the cooking conditions set at this time are cooking conditions that reflect the cooking time or cooking temperature set in the meta information combined with the video information.
  • the cooking appliances 100 and 200 start cooking (S321, S361), and during the cooking process, the camera 110 photographs the food ingredients and buffers the image (S322) , S362). And the control module 150 generates time-lapse information corresponding to the captured image (S323, S363).
  • Generating time-lapse information means matching the current state of the food image (buffered as an image) with information about cooking conditions (heated temperature, current temperature in the oven, time elapsed since cooking started, change in weight of food, etc.). Includes examples for generating.
  • the flows S321 to S324 are an embodiment in which a status alarm is not received during the cooking process.
  • the control module 150 determines whether the end condition according to the cooking conditions set in S313/S317 has been reached (S324). And if it is not reached, repeat S322 to S324. If the end condition is reached, the control module 150 ends the cooking operation of the cooking device (S385).
  • the flows of S361 to S381 are an embodiment of receiving a status alarm during the cooking process.
  • the control module 150 compares the state of the food ingredient selected in S351/S353 with the image of the prototype to determine whether the cooked state of the food ingredient has reached the set prototype (S364).
  • control module 150 issues a visual or auditory alarm to the user (S381) and ends the cooking operation of the cooking device (S385).
  • the prototype is an image of the state of food ingredients at certain stages in the cooking process. For example, an image when the ingredients are first added, an image when the ingredients are cooked for 1 minute, an image when the ingredients are cooked for 2 minutes, an image 3 minutes before the cooking of the ingredients is completed, an image when the cooking of the ingredients is completed. etc. may be stored in a database or created during the process of creating a cooking video.
  • control module 150 can compare the change process of food ingredients with images.
  • control module 150 controls the camera 110 to photograph the cooking situation of the main body 190, and then, when cooking of the main body 190 is completed, the image information captured by the camera 110 By saving or replacing previously saved video information with captured video information, you can check the future video information for a better cooking process and perform automatic settings and alarm settings for the cooking process.
  • the camera 110 captures and buffers images.
  • the camera 110 can capture K images (x*y*K) with a specific resolution (x*y) (S341). Then, the control module 150 extracts features from N images (S342).
  • Feature extraction can be done in three dimensions. And the control module 150 compares the extracted features with the image of the prototype previously stored in the DB (selected in S351) or the image corresponding to a specific point in the time lapse in the previously stored image (selected in S353) to determine the similarity. Measure (S343).
  • the control module 150 may extract a high index based on the z-axis (S344). And, if the number of extracted indices is greater than the threshold, which is a reference value, the control module 150 determines it to be in a similar state (S345) and performs an alarm (S346). If the answer is No in S345, the control module 150 may repeat the process of taking and comparing images during the cooking process.
  • the control module 150 captures K images at regular time intervals (10 seconds, 20 seconds, 30 seconds, 1 minute, etc.) (S341). And the control module 150 can extract 30*30*512 features from these K images with a resolution of 1920*1080 (S342).
  • control module 150 can measure the similarity with the image of the specific stage selected by cooking stage and by combining it with the background image (S343). At this time, the control module 150 may arrange the extracted features along the z-axis and extract the index based on the z-axis (S344). Additionally, the similarity can be compared with the image of the cooking stage for which the alarm was previously set, and an alarm can be issued if the similarity exceeds a certain standard.
  • alarms such as S380 in FIG. 4, S381 in FIG. 5, and S346 in FIG. 6 are performed by the control module 150 using images and video information captured of the situation in which the received food ingredients are cooked (images captured of the previous cooking process or Image comparison is performed using the image at the selected time point from the image in the database. Additionally, the control module 150 can stop cooking when the similarity between the image at the selected point in time and the captured image (an image of food ingredients currently being cooked) is greater than or equal to a reference value. Alternatively, the control module 150 may issue an alarm through the display module 120 or transmit an alarm message to the terminal device (600 in FIG. 10).
  • control module 150 may output a photographed image of the food ingredients cooked in the main body 190 through the display module 120 or transmit the photographed image to a terminal device.
  • information on the remaining time or cooking progress until the expected completion point may also be output through the display module 120 or the terminal device (600 in FIG. 10). there is.
  • Figure 7 is a diagram showing an image comparison process according to an embodiment of the present invention.
  • a target class is defined, a network is set up so that the similarity between the same classes is high, and the network is set and trained so that the similarity between different classes is low.
  • the network is set and trained so that the similarity between different classes is low.
  • control module 150 inputs the image into a learning network and extracts feature vectors (S401, S402).
  • the control module 150 may extract the similarity between the extracted feature vector and each prototype (S403).
  • the prototype can be determined according to the class of each food ingredient (broccoli, chicken breast, shrimp, etc.), and the features extracted from the input image can be compared with the image for each food ingredient's class.
  • PANet Prototype Alignment Network
  • the classes of food ingredients used in cooking devices such as ovens are limited, and similar types of ingredients may be cooked repeatedly depending on the user's food habits.
  • control module 150 does not need to retrain the learning network when adding a class. That is, the control module 150 can recognize food ingredients by adding only the prototype of the corresponding class.
  • FIG 8 is a diagram showing a user selecting a specific viewpoint in a time-lapse video according to an embodiment of the present invention.
  • a video may be composed of multiple images or, in one embodiment, a video.
  • the display module 120 or the terminal device displays an image of the first input food ingredient (Food in S410) cooked by heating over time. (Food of S411).
  • the display module 120 or the terminal device may display an image (Food in S412) captured while the food ingredients have reached a fully heated state.
  • an image such as S412
  • the control module 150 sets the image indicated by Food in S412 as the prototype image and then selects the food ingredients cooked by the cooking devices 100 and 200. You can shoot and compare the captured images with the prototype image.
  • Meta information such as cooking time (time elapsed since the first ingredients were added) and heating temperature may be displayed on the left side of the image in FIG. Meta information can be displayed in combination with video information. For example, in the image of the S410 immediately after adding ingredients, the cooking mode is displayed as Bake, the cooking time is 0 minutes, the cooking temperature is 0 degrees, and the cooking status is displayed as "Raw.”
  • S411 is an image that has been heated to 180 degrees for 5 minutes, the cooking mode is Bake, the cooking time is 5 minutes, the cooking temperature is 180 degrees, and the cooking status is displayed as "Medium”.
  • the cooking mode is Bake
  • the cooking time is 10 minutes
  • the cooking temperature is 180 degrees
  • the cooking status is displayed as "Well-done.”
  • control module 150 can apply the corresponding heating temperature and mode to cooking.
  • control module 150 can compare the physical characteristics (e.g., size, area, weight) of the food ingredients included in the prototype with the physical characteristics of the food ingredients to be cooked for reference when comparing images.
  • control module 150 uses the weight or size information of the ingredients included in the meta information of the image information, or compares the ingredients in the image information with the size of the ingredients stored in the main body 190 to cook the main body 190. You can set the temperature or cooking time.
  • the time to reach the optimal cooking state may be different when heating 200g of pork belly and 500g of pork belly. Therefore, the accuracy of the image comparison results can be improved by comparing the meta information (weight, size, area, etc.) about the physical characteristics of the food ingredients in the cooking video with the physical characteristics of the food to be currently cooked and reflecting the time element or temperature element. .
  • the control module 150 processes the food ingredients by reflecting the meta information of the image of S411. Additionally, the control module 150 performs an alarm when the food ingredient reaches a state with a high similarity to the image of S411 during the cooking process. At this time, the control module 150 can predict the time information for reaching the corresponding alarm based on the weight of the food ingredients.
  • the control module 150 sets the proportional time according to the weight to "5 minutes* (500g /200g) - can be calculated as a".
  • a is the time to prevent overcooking depending on the ingredients.
  • a can be 2 minutes, in the case of shrimp, a can be 3 minutes, etc.
  • a can have a positive or negative value. That is, in order to prevent the food material from being overcooked or undercooked depending on the type of food material, the control module 150 may increase or decrease the proportional time calculated according to weight or size.
  • control module 150 can increase the precision of image processing as it approaches the predicted time and improve accuracy by comparing the image of the prototype with the current image of the food ingredient.
  • the control module 150 can separately build a learning database, which includes time-lapse videos or images for each food ingredient.
  • the learning database may include meta information of cooking conditions (mode, time, temperature, etc.) related to each video or image.
  • the control module 150 records and stores the cooking process of ingredients cooked in the past by the user using the cooking appliances 100 and 150, allowing the user to set an alarm at a specific cooking time. Let it happen.
  • control module 150 can control the cooking appliances 100 and 150 to cook the ingredients by reflecting the cooking conditions performed up to that point.
  • control module 150 can perform image processing targeting food ingredients actually needed and used by customers, so food ingredient recognition performance is continuously improved in response to the user's recipe.
  • control module 150 increases, the possibility of misrecognition is reduced, and cooking can be accurately guided and alarms performed.
  • the user can add or remove food ingredients to be recognized, which can further improve recognition accuracy.
  • FIG. 9 is a diagram showing the results of recognition of food ingredients by a display module according to an embodiment of the present invention.
  • Three food ingredient videos are presented as candidates in response to the received food ingredients.
  • a triangular button (PLAY) to play the video is displayed, as shown in 120b.
  • the cooking video has a length of 5 minutes, and a progress bar can be placed so that the user can check a specific point in the video.
  • a plurality of images may be displayed, such as 120c, by displaying some key images from the cooking video so that the user can select a specific image. Users can set an alarm by selecting a specific image (for example, the image to the right of 120c).
  • control module 150 extracts a feature vector from an image of the received food ingredient, then calculates the similarity between the extracted feature vector and the feature vector of the image information to search for image information corresponding to the food ingredient.
  • control module 150 may analyze words spoken by the user near the cooking appliance 100, convert them into text, and include them in one feature vector.
  • control module 150 accumulates and stores information selected by the user in FIG. 9 and can improve recognition performance of photographed food ingredients. Additionally, the camera may be placed on the side or top of the main body 190 in addition to the top, and the accuracy of recognition can be improved by using images taken from various directions.
  • FIG. 10 is a diagram showing a process in which a cooking appliance according to an embodiment of the present invention provides an alarm or provides a cooking-related image to a terminal device via a server.
  • the control module 150 of the cooking appliance 100/200 photographs ingredients and performs recognition (S310). This replaces the previous explanation of FIG. 4. Then, the control module 150 of the cooking appliance 100/200 searches for image information corresponding to the food ingredients (S421). The control module 150 of the cooking appliance 100/200 transmits the searched image information to the terminal device 600 (S422), and the terminal device 600 displays the image information.
  • the user selects a specific point in time from the image information displayed on the terminal device 600 and selects whether to receive an alarm at this point in time (S423).
  • the terminal device 600 transmits the selected information (specific time point and whether or not there is an alarm) to the cooking appliance 100/200 (S424). Thereafter, the cooking appliances 100 and 200 perform steps S360 and S380 of FIG. 4 and, when an alarm is set, transmit an alarm message to the terminal device 600 (S425). Afterwards, the terminal device 600 performs an alarm (S426).
  • the control module 150 of the cooking appliance 100/200 and the terminal device 600 can directly transmit and receive data.
  • the server 500 may mediate communication between the control module 150 of the cooking appliance 100/200 and the terminal device 600.
  • the control module 150 of the cooking appliances 100 and 200 takes pictures of ingredients and transmits them to the server 500, and the server 500 sends the corresponding image information. You can search.
  • the server 500 may store image information according to the identification information of the corresponding cooking appliances 100 and 200.
  • videos captured by the cooking appliances 100 and 200 during the cooking process may also be uploaded to the server 500.
  • FIG. 11 is a diagram in which a server according to an embodiment of the present invention recognizes food ingredients or compares them with existing cooking videos or images in a database to confirm whether cooking conditions have been achieved. Some of the processes shown in FIGS. 4, 5, and 6 are performed in the server 500. See Figure 4.
  • the camera 110 photographs the ingredients
  • the control module 150 transmits the captured images of the ingredients to the server 500 (S310a, S310b).
  • the server 500 recognizes food ingredients using the received image (S310c). Then, the server 500 searches for cooking videos or DB images stored in relation to food ingredients (S330a) and transmits the searched videos or images to the cooking appliances 100 and 200 (S330b).
  • the display module 120 of the cooking appliances 100 and 200 displays a cooking image or DB image (S330c).
  • the control module 150 can play the displayed cooking video or DB image in time lapse.
  • the control module 150 transmits information about the selected viewpoint or image to the server 500 (S350a, S350b).
  • the server 500 stores the transmitted information (S350c).
  • the cooking appliances 100 and 200 perform cooking.
  • the camera 110 photographs ingredients during cooking (S360a).
  • the control module 150 transmits the captured image or video to the server 500 (S360b).
  • the control module 150 can set cooking conditions using meta information included in the image or video for the selected time point.
  • the server 500 compares the captured image or video with an image or DB image at a specific time lapse previously selected by the user (S380a). In addition, the server 500 compares whether the cooking state of the food is similar to the image at a specific point in time, and if similar, generates a message instructing to stop cooking or perform an alarm (Notification, Alarming) and transmits it to the cooking appliances 100 and 200 ( S380b, S380c).
  • the server 500 may generate a message guiding the cooking status.
  • messages that guide the cooking status include messages that inform time or guide the cooking process, such as “There are 5 minutes left until the set cooking status,” or “60% of the cooking has been completed so far.” Take this as an example.
  • control module 150 that receives the message stops cooking or issues an alarm (S380d). If it is determined that they are not similar in S380b, steps S360a to S380b may be repeated.
  • FIG. 11 can also be applied to the embodiment of recognizing food ingredients and checking whether cooking conditions have been reached, such as those shown in FIG. 5 or FIG. 6. That is, the server 500 may perform some of the functions previously performed by the control module 150 and transmit the resulting results to the control module 150.
  • the server 500 can store images of various food ingredients in a database and update related images or videos in the database when new food ingredients are uploaded.
  • the image information captured by the cooking appliances 100 and 200 can be stored together with the identification information of the cooking appliances 100 and 200, thereby increasing the recognition rate in the process of recognizing food ingredients later.
  • 11 is a process in which the server 500 performs an ingredient recognition process using images of ingredients transmitted from the cooking appliances 100 and 200, searches for image information corresponding to the recognized ingredients, and transmits it to the control module. Includes (S310a ⁇ S330b).
  • control module 150 transmits information about a specific viewpoint or image from the received image information to the server 500, and then controls the main body of the cooking appliance to perform cooking (S350a to S360a). Includes.
  • the server 500 uses the received image to stop cooking or It includes a process (S360a to S380c) of generating an alarm or a message guiding the cooking state and transmitting it to the control module.
  • the embodiment of FIG. 11 includes a process (S380d) in which the control module 150 controls cooking, performs an alarm function, or displays a guide message according to the received message.
  • Such a computer program can be stored in a computer-readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention.
  • Storage media for computer programs include magnetic recording media, optical recording media, and storage media including semiconductor recording elements.
  • the computer program implementing the embodiment of the present invention includes a program module that is transmitted in real time through an external device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Food Science & Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Electric Ovens (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cookers (AREA)

Abstract

본 발명은 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법에 관한 것으로, 본 발명의 일 실시예에 의한 조리기기는 식재료를 조리하는 조리기기에 있어서, 식재료를 가열하는 본체와 본체에 입고된 식재료를 촬영하는 카메라와 카메라가 촬영한 식재료 이미지에 대해 식재료 인식 프로세스를 수행하여 인식된 식재료에 대응하는 영상 정보를 조리기기의 디스플레이 모듈에 출력하거나 조리기기에 연동하는 단말 장치에게 영상 정보를 전송한 후, 영상 정보에서 선택된 시점이나 이미지에 대응하여 본체의 조리 조건을 설정하거나 또는 본체의 조리 상황을 모니터링하여 알람 기능을 수행하는 제어모듈을 포함한다.

Description

시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법
본 발명은 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법에 관한 기술이다.
오븐은 다양한 음식을 조리할 수 있는 기능을 제공하는 장치이며, 사용자는 오븐을 통해 다양한 식재료를 익힐 수 있다. 그런데, 식재료에 따라 조리하는 방법이나 온도 등이 상이하며 사용자가 이들을 모두 숙지하는 것에는 한계가 있다.
예를 들어 육류, 어류, 채소 등 식재료의 종류와 요리의 종류에 따라 오븐에서 가열해야 하는 온도와 시간이 각각 달리 설정될 수 있다. 이에, 각 재료들이 따라서, 오븐 사용자들이 식재료에 적합한 조리 가이드를 제공받고, 이에 따라 오븐을 제어하는 방법이 필요하다.
본 명세서는 전술한 문제점을 해결하기 위한 것으로, 식재료에 적합한 조리 상태를 사용자가 이미지나 영상으로 선택하여 그에 따라 조리기기가 조리를 하거나 또는 조리 상태에 도달하면 알람을 수행하여 조리 효율을 높이고자 한다.
또한, 본 명세서는 이전의 조리 과정을 영상으로 확인하여 최적의 조리 상태를 선택하여 알람을 받을 수 있도록 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의한 조리기기는 식재료를 조리하는 조리기기에 있어서, 식재료를 가열하는 본체와 본체에 입고된 식재료를 촬영하는 카메라와 카메라가 촬영한 식재료 이미지에 대해 식재료 인식 프로세스를 수행하여 인식된 식재료에 대응하는 영상 정보를 조리기기의 디스플레이 모듈에 출력하거나 조리기기에 연동하는 단말 장치에게 영상 정보를 전송한 후, 영상 정보에서 선택된 시점이나 이미지에 대응하여 본체의 조리 조건을 설정하거나 또는 본체의 조리 상황을 모니터링하여 알람 기능을 수행하는 제어모듈을 포함한다.
본 발명의 일 실시예에 의한 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법은 조리기기의 카메라가 조리기기의 본체에 입고된 식재료를 촬영하는 단계와 조리기기의 제어모듈이 카메라가 촬영한 식재료 이미지에 대해 식재료 인식 프로세스를 수행하여 인식된 식재료에 대응하는 영상 정보를 검색하는 단계와 제어모듈이 영상 정보를 조리기기의 디스플레이 모듈에 출력하거나 조리기기에 연동하는 단말 장치에게 영상 정보를 전송하는 단계와 영상 정보에서 선택된 시점 또는 이미지에 대응하여 제어모듈이 본체의 조리 조건을 설정하거나 또는 본체의 조리 상황을 모니터링하여 알람 기능을 수행하는 단계를 포함한다.
본 발명의 다른 실시예에 의한 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법은 조리기기의 카메라가 조리기기의 본체에 입고된 식재료를 촬영하는 단계와 조리기기의 제어모듈이 카메라가 촬영한 식재료 이미지를 서버에게 전송하는 단계와 서버가 전송된 이미지를 이용하여 식재료 인식 프로세스를 수행하여 인식된 식재료에 대응하는 영상 정보를 검색하여 제어모듈에게 전송하는 단계와 제어모듈이 영상 정보에서 특정 시점이나 이미지에 대한 정보를 서버에게 전송한 후 조리기기의 본체를 제어하여 조리를 수행하는 단계와 제어모듈이 조리기기의 조리 과정에서 촬영한 이미지를 서버에게 전송한 후, 서버가 수신한 이미지를 이용하여 조리 중단 또는 알람 수행 또는 조리 상태를 가이드하는 메시지를 생성하여 제어모듈에게 전송하는 단계와 제어모듈은 수신한 메시지에 따라 조리를 제어하거나 알람 기능을 수행하거나 가이드 메시지를 조리기기의 디스플레이 모듈에 출력하는 단계를 포함한다.
본 발명을 적용할 경우 식재료에 적합한 조리 상태를 사용자가 이미지나 영상으로 선택하여 그에 따라 조리기기가 조리를 하거나 또는 조리 상태에 도달하면 알람을 수행하여 조리 효율을 높일 수 있다.
또한, 본 발명을 적용할 경우, 이전의 조리 과정을 영상으로 확인하여 최적의 조리 상태를 선택하여 알람을 받을 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 구성에서 본 발명의 다양한 효과들이 쉽게 도출될 수 있다.
도 1은 본 발명의 일 실시예에 의한 디스플레이 모듈을 포함하는 조리기기의 구성요소를 보여주는 도면이다.
도 2는 본 발명의 다른 실시예에 의한 디스플레이 모듈을 포함하지 않는 조리기기의 구성요소를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 조리기기의 구성을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 조리를 제어하는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 조리 과정을 제어하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 이미지를 버퍼링하여 비교하는 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 영상 비교 과정을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 타임랩스 영상에서 사용자가 특정 시점을 선택하는 도면이다.
도 9는 본 발명의 일 실시예에 의한 디스플레이 모듈이 식재료에 대한 인식된 결과를 표시한 도면이다.
도 10은 본 발명의 일 실시예에 의한 조리기기가 서버를 경유하여 단말 장치에게 알람을 제공하거나 조리와 관련된 영상을 제공하는 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 서버가 식재료를 인식하거나 기존 조리 영상 또는 데이터베이스의 이미지와 비교하여 조리 조건이 달성되었는지를 확인하는 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 명세서에서 조리기기의 일 실시예는 다양한 식재료를 가열하여 익히는 가전제품인 오븐을 일 실시예로 포함한다. 오븐은 광파 오븐, 전자레인지, 에어프라이어 등 다양한 가전제품들을 실시예로 포함한다.
본 명세서에서 조리기기는 내부에 입고된 식재료를 촬영하는 카메라를 포함한다. 또한, 영상을 출력하는 디스플레이를 선택적으로 포함할 수 있다. 조리기기에 디스플레이가 배치되지 않을 경우, 조리기기와 연동하는 단말 장치의 디스플레이가 영상을 출력할 수 있다.
도 1은 본 발명의 일 실시예에 의한 디스플레이 모듈을 포함하는 조리기기의 구성요소를 보여주는 도면이다.
조리기기(100)는 카메라(110), 디스플레이 모듈(120), 제어모듈(150) 및 본체(190)를 포함한다. 도 1은 조리기기(100)가 식재료를 촬영하고 이에 대한 정보를 처리하는 구성에 중점을 두어 작성된 것이며, 조리기기(100)가 조리를 하는데 필요한 구성요소들을 포함한다. 조리기기(100)에 포함되는 구성요소들의 일 실시예로, 도어나 가열부, 램프 등 음식을 가열하는데 필요한 구성요소들은 모두 본체(190)에 포함된다. 그리고 제어모듈(150)에 의해 본체(190)의 동작이 제어된다.
카메라(110)는 본체 내부에 배치되며 조리가 이루어지는 영역을 촬영한다. 카메라(110)는 본체 내부의 천장 또는 측면 등에 배치될 수 있다. 또한 카메라(110)는 하나 이상 배치될 수 있으며, 둘 이상의 카메라(110)가 배치될 경우, 상이한 위치에서 본체 내부에 투입된 식재료를 촬영할 수 있다. 카메라(110)는 식재료의 조리 과정을 일정한 시간 간격으로 이미지로 촬영할 수 있고 또는 동영상으로 촬영할 수 있다. 또한, 카메라(110)는 타임랩스 동영상으로 촬영할 수 있다.
디스플레이 모듈(120)은 본체(190)의 외부에 배치되어 다양한 정보를 시각적으로 출력할 수 있다. 디스플레이 모듈(120)은 터치 입력을 받을 수 있는 터치 모듈을 더 포함할 수 있으며, 사용자는 디스플레이 모듈(120)에 표시된 이미지를 터치 입력하여 조리기기(100)의 동작을 제어할 수 있다.
제어모듈(150)은 조리기기(100)의 제어를 담당한다. 본체(190)에 식재료가 투입될 경우 카메라(110)를 제어하여 투입된 식재료를 촬영할 수 있다. 또한, 제어모듈(150)은 촬영된 식재료의 크기나 무게 정보를 계산할 수 있다. 일 실시예로 본체(190)에 무게 센서가 배치될 수 있으며, 제어모듈(150)은 무게 센서가 센싱한 값을 이용하여 식재료의 무게를 산출할 수 있다.
또한, 제어모듈(150)은 서버나 단말 장치와의 통신을 수행할 수 있다. 이를 위해 제어모듈(150)은 특정한 통신 프로토콜(예를 들어 LTE-A, 5G 통신, Wi-Fi, Bluetooth, ZigBee 등)에 따라 데이터를 송수신할 수 있다.
제어모듈(150)은 소정의 저장매체를 포함할 수 있으며 제어모듈(150)은 저장매체를 이용한 데이터베이스를 포함할 수 있다. 또는 조리기기(100)가 별도의 데이터베이스를 포함할 수도 있다. 또는 데이터베이스는 외부의 서버에 포함될 수 있으며, 제어모듈(150)은 서버와 통신하며 서버의 데이터베이스에 저장된 정보를 확인할 수 있다.
또한, 디스플레이 모듈(120)에 출력된 정보는 제어모듈(150)이 서버나 단말 장치에게 전송하여 단말 장치의 디스플레이가 해당 정보를 출력할 수 있다.
도 2는 본 발명의 다른 실시예에 의한 디스플레이 모듈을 포함하지 않는 조리기기의 구성요소를 보여주는 도면이다. 동일한 구성요소들에 대한 설명은 도 1의 설명으로 대신한다. 도 1의 구성에서 디스플레이 모듈이 제외된 구성이다. 제어모듈(150)은 본체(190) 내에 투입된 식재료와 관련된 정보, 조리 상황에 대한 정보 등을 서버나 단말 장치에게 전송하고 조리를 중단하거나 조리를 재개할 것을 요청하는 메시지를 수신할 수 있다.
도 1 및 도 2에 도시된 조리기기(100)는 식재료를 조리하는 것으로, 식재료를 가열하는 본체(190)와 본체(190)에 입고된 식재료를 촬영하는 카메라(110), 그리고 제어모듈(150)을 포함한다.
제어모듈(150)은 카메라(110)가 촬영한 식재료 이미지에 대해 식재료 인식 프로세스를 수행하여 인식된 식재료에 대응하는 영상 정보를 검색한다. 그리고 제어모듈(150)은 조리기기(100)의 디스플레이 모듈(120)에 출력하거나 조리기기(100)에 연동하는 단말 장치(도 10의 600)에게 영상 정보를 전송한다. 이후, 제어모듈(150)은 사용자에 의해 영상 정보에서 선택된 시점이나 이미지에 대응하여 본체(190)의 조리 조건을 설정하거나 또는 본체(190)의 조리 상황을 모니터링하여 알람 기능을 수행한다.
도 3은 본 발명의 일 실시예에 의한 조리기기의 구성을 보여주는 도면이다. 도 3은 일 실시예에 해당하며 본 발명의 조리기기는 도 3과 다른 형상 또는 다른 구성요소들을 포함할 수 있다.
본체는 조작부(21)와 도어(11, 12), 그리고 도어(11, 12)에 의해 개폐되는 조리실(15, 16)을 포함한다.
조리기기(100)를 조작하는 조작부(21)에 디스플레이 모듈(120)이 배치된 상태이다. 사용자는 디스플레이 모듈(120)을 통해 조리 가이드를 확인할 수 있다. 카메라(110)는 조리기기(100)의 상단에 배치되어 조리실 내부를 촬영할 수 있다. 조리실(15, 16)은 도어(11, 12)에 의해 개폐될 수 있다. 조리실(15, 16) 내부에는 식재료를 배치하는 선반이나 받침대가 배치될 수 있으며, 가열을 위한 램프가 배치될 수 있다. 카메라(110)는 조리실(15, 16) 내부를 촬영할 수 있다.
도면에는 조작부(21)와 디스플레이 모듈(120)이 구분되지만, 이와 다른 실시예로 디스플레이 모듈(120)에 조작을 위한 인터페이스가 표시되는 구성 또한 본 발명의 실시예에 포함된다. 또한 도 3의 조리기기(100)에서 디스플레이 모듈(120)을 제외시킬 경우 도 2의 실시예가 된다.
이하, 오븐과 같은 조리기기(100) 내에 설치된 카메라가 식품 이미지를 수집 및 저장하며, 사용자는 인식 대상 품목을 직접 추가 또는 제거하여 조리 가이드를 제공하고 조리를 제어하는 방법에 대해 살펴본다.
본 발명의 실시예를 적용할 경우 인식 품목의 조리 설정 (오븐 동작 모드, 시간, 온도) 정보를 DB화 할 수 있으며, 조리기기(100)가 조리 대상을 인식할 경우 자동으로 조리 환경을 설정할 수 있도록 한다.
또한, 기존에 촬영되었던 조리 동영상을 이용해서 사용자가 알람을 받기를 원하는 조리 상태를 선정하고, 사용자가 알람을 확인할 수 있다. 또는 원하는 조리 상태가 되면 조리기기(100)가 해당 조리 과정을 종료할 수 있다.
사용자는 문자나 숫자로 특정한 조리 상태를 설정하는 대신, 영상에 기반하여 최적의 조리 상태를 선택할 수 있으므로 조리기기(100)의 조리 과정을 쉽게 제어할 수 있다.
도 4는 본 발명의 일 실시예에 의한 조리를 제어하는 과정을 보여주는 도면이다. 식재료에 관련된 조리 영상이 있는 식재료가 조리기기(100, 200) 내에 투입된 경우, 식재료를 촬영하고 이를 인식하여 이에 대응하는 조리영상이나 DB 이미지를 통해 조리 과정을 제어한다.
사용자가 식재료를 조리기기(100, 200)에 투입한 경우, 카메라(110)는 식재료를 촬영하고, 제어모듈(150)는 촬영된 이미지를 처리하여 식재료를 인식한다(S310). 제어모듈(150)은 디스플레이 모듈(120)을 통해 식재료와 관련되어 저장된 조리영상 또는 DB 이미지를 표시한다(S330). 디스플레이 모듈(120)을 포함하지 않는 조리기기(200)의 경우, 조리기기(200)와 연동된 단말 장치가 조리영상 또는 DB 이미지를 표시할 수 있다.
조리영상이란 이전에 조리기기(100, 200)에서 인식된 식재료에 대해 조리를 수행하는 과정에서 촬영된 동영상 또는 이미지들의 묶음을 일 실시예로 한다. 이들 동영상 또는 이미지들의 묶음은 일정 시점(예를 들어 5초, 10초 또는 30초 단위, 1분, 2분, 3분 등의 단위 등)에 대한 정보와 조리 시 설정된 가열 온도나 조리 모드에 대한 정보를 포함한다. 또한, 조리영상은 조리 과정에서 식재료의 변화를 기록한 타임랩스 동영상을 일 실시예로 한다.
예를 들어, 육류를 가열할 경우, 육류를 가열하는 과정에서 카메라(110)는 표면의 색상 변화와 부피의 변화를 지속적으로 촬영하여 동영상 또는 이미지의 묶음으로 저장한다. 이때, 조리가 진행된 시간 정보(조리 시간), 조리 과정에서 가열된 온도 정보(조리 온도)는 메타 정보에 해당하며, 메타 정보는 각각의 동영상이나 이미지에 결합될 수 있다.
또한, 조리영상 외에 데이터베이스에 별도의 이미지나 동영상이 순차적으로 기록될 수 있다. 예를 들어, 육류의 종류 별로, 그리고 가열 온도 별, 가열 시간 별로 식재료의 표면의 색상 변화를 촬영한 이미지나 동영상이 데이터베이스에 시간 정보/조리 온도 등의 정보와 결합하여 저장될 수 있다.
이에, 제어모듈(150)은 자체적으로 저장한 조리영상 또는 DB 이미지 혹은 서버 등 외부에 저장된 조리영상 또는 DB 이미지를 표시한 후 사용자가 특정 시점을 선택할 수 있다. 예를 들어 조리영상의 타임랩스 중 특정 시점을 선택하거나 DB 이미지 중에서 특정 이미지를 선택할 수 있다(S350). 이러한 선택에는 가열 온도에 대한 정보를 포함할 수 있다.
제어모듈(150)은 본체(190)를 제어하여 투입된 식재료를 해당 가열 온도(또는 자동/수동으로 설정된 가열 온도)로 가열하여 조리하며 카메라(110)가 식재료를 촬영하면, 촬영한 이미지와 앞서 타임랩스의 특정 시점의 이미지 또는 DB 이미지와 비교한다(S360). 비교 과정에서 제어모듈(150)은 해당 영상의 타임랩스의 이전 시점의 이미지 또는 DB 이미지 중 이전 시점의 이미지를 참고할 수 있다.
또한, S360 과정에서 식재료를 촬영한 이미지는 디스플레이 모듈(120) 또는 사용자가 소지한 단말 장치에 표시되어 사용자가 현재의 조리 상태를 확인할 수 있다.
그리고 제어모듈(150)이 식재료의 조리 상태가 특정 시점의 이미지와 유사한지 비교하여 유사한 경우 조리 중단 또는 알람(Notification, Alarming)을 수행한다(S380). 알람의 수행은 조리기기(100, 200)가 소정의 음을 출력하거나 연동된 단말 장치(도 10의 600)가 알림음을 출력하는 것을 일 실시예로 한다. 또한 알람은 조리 상태가 특정한 상태(사용자가 선택했던 시점)에 도달했음을 알리는 문자나 이미지가 단말 장치(도 10의 600)에 출력되는 것을 일 실시예로 한다.
이후, 사용자는 후속 대응을 하면 그에 따라 제어모듈(150)은 정보를 업데이트한다(S390). 조리기구(100, 200)를 끄고 조리를 종료할 경우 제어모듈(150)의 S360 및 S380에서의 프로세스가 유효하며 이에 대한 결과를 제어모듈(150)은 저장하여 추후에 유사한 경우 동일한 판단 과정을 수행할 수 있도록 한다.
반면, 사용자가 S380 이후 다시 조리를 재개할 경우, 제어모듈(150)의 S360 및 S380에서의 프로세스가 유효하지 않거나 수정이 필요하며 이에 대한 결과를 제어모듈(150)은 저장하여 추후에 유사한 경우에 후속 대응된 조치를 반영하여 비교 및 판단 과정을 수행할 수 있도록 한다.
사용자는 식재료와 그에 따른 조리 방법을 선택하고 조리기기(100, 200)의 메뉴를 선택한다. 사용자는 가열 온도나 가열 모드, 시간 등을 설정할 수 있다. 그런데, 사용자가 식재료에 따른 최적의 조리 조건을 매뉴얼을 통해 확인하기는 번거로우며 식재료의 양에 적합한 조리 조건을 선택하는데 한계가 있다.
또한, 사용자는 조리 과정을 확인하기 위해 조리 중 조리기기(100, 200)의 도어를 오픈할 수 있으며 이 과정에서 열손실이 발생하여 조리 시간이 증가할 수 있다.
이에, 사용자가 원하는 조리 상태에 해당하는 조리영상이나 데이터베이스에 저장된 이미지를 사용자가 선택하고 조리기기(100, 200)는 조리 과정에서 촬영한 식재료의 이미지를 사용자가 선택한 이미지와 비교하여 식재료의 가열이 더 필요한지를 판단하거나 사용자에게 알림 정보를 제공할 수 있다.
도 4의 실시예를 적용할 경우, 조리기기(100, 200)가 식재료를 자동으로 인식하여 조리 설정을 자동으로 셋팅하거나 관련된 정보를 사용자에게 제공할 수 있다. 또한, 카메라가 식재료를 촬영하는 과정에서 조리 상태 정보를 확인할 수 있다.
이하, 조리기기나 서버에 저장된 이미지를 이용해서 인식할 식재료의 품목을 선정/추가/삭제하고, 조리 동영상을 이용해서 사용자가 알람을 받고 싶은 상태의 영상을 선정하고, 해당 상태 시점에 알람을 제공받는 과정에 대해 살펴본다.
전술한 실시예에서 영상 정보는 조리 과정을 타임랩스로 촬영하거나 조리 과정에서 일정 시간 간격으로 촬영된 이미지들의 묶음, 또는 해당 식재료의 촬영과 관련하여 구축된 이미지들의 집합을 일 실시예로 한다.
예를 들어, 영상 정보가 과거 촬영된 조리 영상일 수 있다. 이때, 영상 정보는 사용자가 소유한 조리기기(100)가 이전에 본체(190)에 입고되었던 식재료의 조리 과정을 촬영하여 저장한 영상 정보를 일 실시예로 한다.
또한, 영상 정보는 다른 사용자 또는 서버가 생성하거나 조리기기(100)가 다른 장치로부터 수신하여 구축한 데이터베이스 영상일 수 있다. 이때, 영상 정보는 제어모듈(150)이 다른 장치로부터 수신하여 저장한 식재료의 조리 상태의 이미지를 저장한 영상 정보를 일 실시예로 한다.
이와 같은 데이터베이스 영상은 대형 마트나 온라인 쇼핑몰에서 제공하는 조리 가이드에 해당할 수 있다. 예를 들어, 대형 마트나 온라인 쇼핑몰이 특정 상품을 판매하며 해당 상품을 조리할 경우의 이미지나 동영상 등을 배포할 수 있다. 제어모듈(150)은 배포된 이미지나 동영상을 등록하여 구매한 식재료의 조리 상태에 해당하는 이미지 또는 동영상의 특정 시점을 선택할 수 있다.
도 5는 본 발명의 일 실시예에 의한 조리 과정을 제어하는 과정을 보여주는 도면이다.
조리기기(100, 200) 내에 식재료가 투입되면 카메라(110)가 식재료를 촬영한다(S311). 제어모듈(150)은 촬영된 이미지를 이용하여 식재료를 인식한다. 이를 위해 제어모듈(150)은 기존의 식재료 초기 이미지를 저장할 수 있다.
만약, 식재료가 인식되지 않은 경우(S312) 제어모듈(150)은 R_FLAG를 0으로 하고 사용자의 제어에 따라 조리 조건을 설정 등록한다(S313). 조리 조건으로는 조리 모드, 가열 온도, 가열 시간 등을 포함한다.
한편, S312에서 식재료가 인식되면 제어모듈(150)은 R_FLAG를 1로 설정한다(S315). 인식된 식재료에 대응하여 영상 정보가 디스플레이 모듈이나 단말 장치(도 10의 600)에 표시될 수 있다. 그리고 사용자가 상태 알람을 설정하지 않은 경우(S316) 제어모듈(150)은 인식된 식재료에 적합한 조리 설정을 자동으로 셋팅한다(S317). 자동으로 설정하는 조리 조건으로는 조리 모드, 가열 온도, 가열 시간 등을 포함한다.
한편 S316에서 사용자가 상태 알람을 설정한 경우, 제어모듈(150)은 저장된 조리 영상의 특정 시점을 선택하여 상태 알람을 받을 것인지, 아니면 저장된 이미지 중에서 원하는 상태를 선택하여 알람을 받을 것인지를 선택할 수 있다(S331).
만약, 사용자가 인식된 식재료에 대응하여 표시된 영상 정보에서 특정 이미지를 선택하여 식재료의 상태가 선택한 이미지와 유사할 경우 알람을 받는 방식을 선택한 경우(S331의 No 플로우) 제어모듈(150)은 다수의 이미지를 디스플레이 모듈(120)에 표시하고 사용자가 이 중에서 프로토타입(prototype)인 이미지를 하나 이상 선택한다(S351).
한편, 사용자가 저장된 조리 영상의 특정 시점을 선택하여 상태 알람을 받는 것을 선택한 경우(S331의 Yes 플로우), 제어모듈(150)은 조리영상을 디스플레이 모듈(120)에 표시하고 사용자가 영상을 플레이하는 과정(타임랩스 영상 재생)에서 특정 시점을 선택한다(S353). 특정 시점을 선택한 경과, 과거 해당 조리영상을 녹화하며 기록한 각 시점의 온도나 조리 시간 등의 정보 역시 선택될 수 있다.
그리고 제어모듈(150)은 선택된 시점을 중심으로 단계별 조리 상태에 대한 프로토타입의 이미지를 하나 이상 추출한다(S354).
S351 또는 S354에서 선택/추출된 프로토타입은 추후 식재료의 조리 과정에서 식재료의 조리 상태를 확인하는 비교 데이터가 될 수 있다.
그리고 제어모듈(150)은 선택/추출된 프로토타입에 따라 본체(190)의 조리 조건을 자동으로 설정한다(S357). 이때 설정하는 조리 조건은 영상 정보에 결합된 메타 정보에서 설정하는 조리 시간 또는 조리 온도를 반영한 조리 조건이다.
S313, S317, S357의 단계에서 각각 조리 조건이 설정되면 조리기기(100, 200)는 조리를 시작하고(S321, S361), 조리 과정에서 카메라(110)는 식재료를 촬영하여 이미지를 버퍼링한다(S322, S362). 그리고 제어모듈(150)은 촬영된 이미지에 대응하는 타임랩스 정보를 생성한다(S323, S363).
타임랩스 정보를 생성한다는 것은 식재료 이미지의 현재 상태(이미지로 버퍼링됨)와 조리 조건에 대한 정보(가열된 온도, 현재 오븐 내의 온도, 조리 시작 후 경과된 시간, 식재료의 무게 변화 등)를 대응하도록 생성하는 실시예를 포함한다.
이후, 조리 종료 또는 알람 상태를 확인할 수 있다.
예를 들어, S321~S324의 플로우는 조리 과정에서 상태 알람을 받지 않는 실시예이다. 이 경우, 제어모듈(150)은 S313/S317에서 설정한 조리 조건에 따른 종료 조건에 도달했는지를 판단한다(S324). 그리고 도달하지 않은 경우 S322~S324를 반복한다. 만약 종료 조건에 도달한 경우 제어모듈(150)은 조리기기의 조리 동작을 종료시킨다(S385).
한편, S361~S381의 플로우는 조리 과정에서 상태 알람을 받는 실시예이다. 이 경우, 제어모듈(150)은 S351/S353에서 선택한 식재료의 상태와 프로토타입의 이미지를 비교하여 식재료의 조리된 상태가 설정된 프로토타입에 도달했는지를 판단한다(S364).
그리고 도달하지 않은 경우 S361~S364를 반복한다. 만약 S364에서 식재료의 상태가 프로토타입의 이미지와 동일 또는 유사한 경우 제어모듈(150)은 사용자에게 시각적 또는 청각적 알람을 수행하고(S381), 조리기기의 조리 동작을 종료시킨다(S385).
조리 동작이 종료하면 R_FLAG의 값에 따라, 즉 식재료 인식 여부에 따라 식재료가 인식된 상황이었던 경우 S322/S323 또는 S362/S363 과정에서 생성된 이미지와 타임랩스 정보를 기존에 저장된 조리영상에 업데이트한다(S387). 물론, 업데이트는 선택적으로 이루어질 수 있다.
한편 식재료 인식이 되지 않은 경우(S312~S313) 식재료를 등록할 것인지에 대한 사용자의 선택에 따라 Yes인 경우(S388-Yes) S322/S323 과정에서 생성된 이미지와 타임랩스 정보를 기존에 저장된 조리영상에 업데이트한다(S387).
프로토타입은 조리 과정에서 일정한 단계에 따른 식재료의 상태 이미지를 일 실시예로 한다. 예를 들어 처음 식재료를 투입했을 때의 이미지, 1분 동안 조리한 경우의 이미지, 2분동안 조리한 경우의 이미지, 식재료의 조리가 종료되기 3분전의 이미지, 식재료의 조리가 종료된 시점의 이미지 등이 데이터베이스에 저장되거나 혹은 조리영상을 생성하는 과정에서 생성될 수 있다.
또한, 조리영상에서 일정 시간 간격으로 조리 상태를 나타내는 이미지들이 추출될 수 있다. 예를 들어 조리영상의 재생 시간이 10분인 경우 1분 단위로 이미지를 추출하고, 최초 이미지를 포함하여 총 11개의 프로토타입 이미지들이 산출될 수 있다.
다수의 프로토타입들을 이용하여 제어모듈(150)은 식재료의 변화 과정을 이미지들과 비교할 수 있다.
S388에서 설명된 바와 같이, 제어모듈(150)은 카메라(110)를 제어하여 본체(190)의 조리 상황을 촬영한 후, 본체(190)의 조리가 종료하면 카메라(110)로 촬영한 영상 정보를 저장하거나 이전에 저장된 영상 정보를 촬영한 영상 정보로 대체하여 더 나은 조리 과정을 추후 영상 정보로 확인하고 조리 과정에 대한 자동 설정과 알람 설정을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 의한 이미지를 버퍼링하여 비교하는 과정을 보여주는 도면이다.
조리가 진행되면서 카메라(110)는 이미지를 촬영하고 버퍼링한다. 예를 들어 카메라(110)는 특정 해상도(x*y)의 K개의 이미지(x*y*K)를 촬영할 수 있다(S341). 그리고 제어모듈(150)은 N개의 이미지에서 특징을 추출(feature extraction)한다(S342).
특징 추출은 3차원으로 이루어질 수 있다. 그리고 제어모듈(150)은 추출된 특징들과 앞서 DB에 저장되었던 프로토타입의 이미지(S351에서 선택) 또는 기존에 저장된 영상 내의 타임랩스 내 특정 시점에 대응하는 이미지(S353에서 선택)를 비교하여 유사도를 측정한다(S343).
일 실시예로 유사도 측정 과정에서 제어모듈(150)은 z축 기준으로 높은 인덱스를 추출할 수 있다(S344). 그리고 제어모듈(150)은 추출한 인덱스의 개수가 기준값인 Threshold 이상인 경우에는 유사한 상태로 판단하여(S345) 알람을 수행한다(S346). 만약 S345에서 No에 해당할 경우 제어모듈(150)은 조리 수행 과정에서 이미지를 촬영하여 비교하는 과정을 반복할 수 있다.
도 6의 실시예에서 이미지가 1920*1080의 해상도를 가지는 경우를 가정한다. 이때, 제어모듈(150)은 일정 시간 간격(10초, 20초 또는 30초, 1분 등)에 따라 K개의 이미지를 촬영한다(S341). 그리고 제어모듈(150)은 1920*1080의 해상도를 가진 이들 K개의 이미지에서 30*30*512의 특징을 추출할 수 있다(S342).
그리고 이들 특징들에 기반하여 제어모듈(150)은 조리 단계별로, 그리고 백그라운드 이미지와 결합하여 선택된 특정 단계의 이미지와 유사도를 측정할 수 있다(S343). 이때, 제어모듈(150)은 추출된 특징들을 z축으로 배열하여 z축 기준으로 인덱스를 추출할 수 있다(S344). 그리고 앞서 알람을 설정했던 조리 단계의 이미지와 유사도를 비교하여 일정 기준 이상 유사도를 가질 경우 알람을 수행할 수 있다.
앞서 도 4의 S380, 도 5의 S381, 도 6의 S346등의 알람 수행은 제어모듈(150)이 입고된 식재료가 조리되는 상황을 촬영한 이미지와 영상 정보(이전의 조리 과정을 촬영한 영상 또는 데이터베이스의 영상)에서 선택된 시점의 이미지를 이용하여 이미지 비교를 수행한다. 그리고 제어모듈(150)은 선택된 시점의 이미지와 촬영한 이미지(현재 조리 진행 중인 식재료를 촬영한 영상)의 유사도가 기준값 이상일 경우 조리를 중단할 수 있다. 또는 제어모듈(150)은 디스플레이 모듈(120)을 통해 알람을 수행하거나 단말 장치(도 10의 600)에게 알람 메시지를 전송할 수 있다.
또한, 조리를 수행하는 과정에서 제어모듈(150)은 본체(190) 내에서 조리된 식재료를 촬영한 이미지를 디스플레이 모듈(120)을 통해 출력하거나, 촬영한 이미지를 단말 장치에게 전송할 수 있다. 이때, 현재 조리된 상태에 추가적으로 완료 예정 시점(사용자가 영상 정보에서 선택한 시점)까지 잔여 시간 정보 또는 조리 진행율에 대한 정보 역시 디스플레이 모듈(120) 또는 단말 장치(도 10의 600)를 통해 출력될 수 있다.
도 7은 본 발명의 일 실시예에 의한 영상 비교 과정을 보여주는 도면이다. 본 명세서에서는 영상 인식의 일 실시예로, 타겟 클래스를 정의하여 같은 클래스끼리는 유사도가 높도록 네트워크를 설정하고, 다른 클래스 간에는 유사도가 낮아지도록 네트워크를 설정 및 학습시킨다. 클래스를 추가할 경우라면, 네트워크 재학습 없이 해당 클래스에 대한 프로토타입을 추가하여 인식할 수 있다.
도 7에 도시된 바와 같이, 제어모듈(150)은 이미지를 학습 네트워크(Learning Network)에 입력하여 특징 벡터를 추출한다(S401, S402).
제어모듈(150)은 추출된 특징 벡터와 각 프로토타입과의 유사도를 추출할 수 있다(S403). 여기서 프로토타입은 각 식재료의 클래스(브로콜리, 닭가슴살, 새우 등)에 따라 정해질 수 있으며, 입력된 이미지에서 추출된 특징과 각 식재료의 클래스별 이미지와 비교할 수 있다.
학습 네트워크의 일 실시예로, PANet(Prototype Alignment Network)를 이용할 수 있다. 이는 학습된 프로토타입의 특징을 이용하며, 각각의 학습된 프로토타입이 하나의 클래스를 대표할 수 있는 기술이다.
오븐과 같은 조리기기에 투입되는 식재료들의 클래스는 한정되어 있으며, 또한, 사용자의 음식 습관에 따라 유사한 종류의 식재료들이 반복하여 조리될 수 있다.
이에, 제어모듈(150)은 클래스를 추가할 경우 학습 네트워크의 재학습을 할 필요가 없다. 즉, 제어모듈(150)은 해당 클래스의 프로토타입만을 추가함으로써 식재료를 인식할 수 있다.
도 8은 본 발명의 일 실시예에 의한 타임랩스 영상에서 사용자가 특정 시점을 선택하는 도면이다. 영상은 다수의 이미지들로 구성되거나 또는 동영상을 일 실시예로 한다. 동영상인 경우 사용자가 디스플레이 모듈(120) 또는 단말 장치에 표시된 영상을 재생할 경우, 디스플레이 모듈(120) 또는 단말 장치는 최초 투입된 식재료(S410의 Food)가 시간이 경과하면서 가열로 인해 조리된 상태의 이미지를 나타낸다(S411의 Food).
그리고 디스플레이 모듈(120) 또는 단말 장치는 식재료는 완전히 가열된 상태에 도달한 상태에서 촬영된 이미지(S412의 Food)를 표시할 수 있다. 사용자가 S412와 같은 이미지가 표시된 상태에서 해당 타임랩스 시점을 선택할 경우, 제어모듈(150)은 S412의 Food가 지시하는 이미지를 프로토타입 이미지로 설정하고 이후 조리기기(100, 200)가 조리하는 식재료를 촬영하고 촬영한 이미지를 프로토타입 이미지와 비교할 수 있다.
또한, 도 8의 이미지 좌측에는 조리 시간(최초 식재료 투입 이후 경과된 시간)과 가열 온도 등의 메타 정보가 표시될 수 있다. 메타 정보는 영상 정보와 결합하여 표시될 수 있다. 예를 들어, S410이 식재료 투입 직후의 이미지로 쿠킹 모드는 베이크, 조리 시간은 0분, 조리 온도는 0도, 조리 상태는 "Raw"로 표시된다.
S411은 180도로 5분간 가열한 상태의 이미지이며, 쿠킹 모드는 베이크, 조리 시간은 5분, 조리 온도는 180도, 조리 상태는 "Medium"로 표시된다.
S412가 180도로 10분간 가열한 상태의 이미지이며, 쿠킹 모드는 베이크, 조리 시간은 10분, 조리 온도는 180도, 조리 상태는 "Well-done"로 표시된다.
따라서, 사용자가 특정 이미지를 선택할 경우, 제어모듈(150)은 그에 따른 가열 온도와 모드를 조리에 적용할 수 있다. 또한, 제어모듈(150)은 프로토타입에 포함된 식재료의 물리적 특성(예를 들어 크기, 면적, 무게) 등과 조리 예정인 식재료의 물리적 특성을 비교하여 이미지 비교 시 참고할 수 있다.
즉, 제어모듈(150)은 영상 정보의 메타 정보에 포함된 식재료의 무게 또는 크기 정보를 이용하거나 또는 영상 정보의 식재료와 본체(190)에 입고된 식재료의 크기를 비교하여 본체(190)의 조리 온도 또는 조리 시간을 설정할 수 있다.
예를 들어 200g의 삼겹살을 가열하는 경우와 500g의 삼겹살을 가열하는 경우 최적의 조리 상태에 도달하는 시간은 상이할 수 있다. 따라서, 조리 영상의 식재료에 대한 물리적 특성에 대한 메타 정보(무게, 크기, 면적 등)와 현재 조리할 식재료의 물리적 특성을 비교하여 시간 요소나 온도 요소를 반영하여 이미지 비교 결과의 정확도를 높일 수 있다.
사용자가 S411의 조리 상태에서 조미료를 더 추가하기 위해 S411의 이미지를 선택하여 알람을 받도록 설정한 경우, 제어모듈(150)은 식재료를 S411의 이미지의 메타 정보를 반영하여 조리를 진행한도. 또한 제어모듈(150)은 조리를 진행하는 과정에서 S411의 이미지와 유사도가 높은 식재료의 상태에 도달하면 알람을 수행한다. 이때, 제어모듈(150)은 식재료의 무게를 기준으로 해당 알람에 도달하는 시간 정보를 예측할 수 있다.
예를 들어, 도 8의 S411이 식재료 200g에 대해 5분간 180도로 가열한 경우의 이미지이며 투입된 식재료는 500g인 경우, 제어모듈(150)은 무게에 따라 비례 관계의 시간을 "5분* (500g/200g) - a"와 같이 산출할 수 있다. 이때 a는 식재료에 따라 과도하게 조리되는 것을 막기 위한 시간이다. 예를 들어 삼겹살의 경우에는 a는 2분, 새우의 경우 a는 3분 등이 될 수 있다. 물론 재료에 따라 a는 양의 값 또는 음의 값을 가질 수 있다. 즉, 식재료의 종류에 따라 해당 식재료가 과도하게 조리되거나 덜 조리되는 것을 방지하기 위해 제어모듈(150)은 무게 또는 크기 등에 따라 산출되는 비례 관계의 시간을 증가 또는 감소시킬 수 있다.
이에, 제어모듈(150)은 예측한 시간에 근접할수록 이미지 프로세싱의 정밀도를 높여서 프로토타입의 이미지와 식재료의 현재 이미지를 비교하여 정확도를 높일 수 있다.
제어모듈(150)은 학습 데이터베이스를 별도로 구축할 수 있으며, 이는 각각의 식재료에 대한 타임랩스 영상 또는 이미지를 포함한다. 물론, 학습 데이터베이스에는 각 영상 또는 이미지와 관련된 조리 조건(모드, 시간, 온도 등)의 메타 정보를 포함할 수 있다.
본 발명의 일 실시예에 의한 제어모듈(150)은 조리기기(100, 150)를 사용하는 사용자가 과거에 조리했던 식재료의 조리과정을 기록 및 저장하여, 사용자가 특정 조리 시점에 알람을 설정할 수 있도록 한다.
또한, 사용자가 특정 조리 시점을 기준으로 조리를 지시할 경우, 제어모듈(150)은 해당 시점까지 수행된 조리의 조건들을 반영하여 식재료를 조리하도록 조리기기(100, 150)를 제어할 수 있다.
본 발명의 일 실시예에 의하면 제어모듈(150)은 실제 고객이 필요로 하고 사용하는 식재료를 인식 대상으로 이미지 프로세싱을 할 수 있으므로, 사용자의 조리법에 대응하여 식재료 인식 성능이 지속적으로 향상된다.
또한, 사용자가 사용하는 식재료의 정보들에 기반하여 이미지 프로세싱들이 이루어지므로 식재료 인식 시간 및 비교 시간을 줄일 수 있다.
따라서, 제어모듈(150)의 영상 인식 성능이 증가하며 오인식의 가능성을 낮추며 정확하게 조리를 가이드하고 알람을 수행할 수 있다.
그리고 사용자가 인식할 식재료의 품목을 추가 또는 제거할 수 있으며 이로 인한 인식 정확도는 더욱 향상될 수 있다.
도 9는 본 발명의 일 실시예에 의한 디스플레이 모듈이 식재료에 대한 인식된 결과를 표시한 도면이다. 입고된 식재료에 대응하여 3 가지의 식재료 영상이 후보로 제시되어 있다. 여기서 사용자가 중간에 위치한 삼겹살과 관련된 과거 조리 영상을 선택하면 120b와 같이 해당 영상을 재생할 수 있는 삼각 버튼(PLAY)이 표시된다. 또한 120b의 하단에는 해당 조리 영상이 5분의 길이를 가지며, 사용자가 영상의 특정 시점을 확인할 수 있도록 프로그레스 바(Progress bar)가 배치될 수 있다.
한편, 조리 영상 중에서 일부 주요 이미지를 표시하여 사용자가 특정 이미지를 선택할 수 있도록 120c와 같이 다수의 이미지가 표시될 수 있다. 사용자는 특정 이미지(예를 들어 120c의 우측에 있는 이미지)를 선택하여 알람을 설정할 수 있다.
인식 과정에 있어서, 제어모듈(150)은 입고된 식재료를 촬영한 이미지에서 특징 벡터를 추출한 후, 추출한 특징 벡터와 영상 정보의 특징 벡터의 유사도를 산출하여 식재료에 대응하는 영상 정보를 검색한다. 이때, 제어모듈(150)은 사용자가 조리기기(100) 근처에서 발언한 말을 분석하여 텍스트로 변환하고, 이를 하나의 특징 벡터에 포함시킬 수 있다.
이는 특정 식재료에 대한 명칭뿐만 아니라, 과거 조리 과정에 대한 언급, 예를 들어 "지난 주에 먹은 새우처럼" 이란 말을 통해 식재료 인식의 정확도를 높일 수 있다.
또한, 제어모듈(150)은 사용자가 도 9에서 선택한 정보를 누적하여 저장하며, 촬영한 식재료의 인식 성능을 향상시킬 수 있다. 또한, 카메라는 본체(190) 내부의 상부 외에도 측면 또는 측상면에 배치될 수 있으며, 여러 방향에서 촬영한 이미지를 이용하여 인식의 정확도를 높일 수 있다.
도 10은 본 발명의 일 실시예에 의한 조리기기가 서버를 경유하여 단말 장치에게 알람을 제공하거나 조리와 관련된 영상을 제공하는 과정을 보여주는 도면이다.
조리기기(100/200)의 제어모듈(150)은 식재료를 촬영하고 인식을 수행한다(S310). 이는 앞서 도 4의 설명으로 대신한다. 그리고 조리기기(100/200)의 제어모듈(150)은 식재료에 대응하는 영상 정보를 검색한다(S421). 조리기기(100/200)의 제어모듈(150)은 검색된 영상 정보를 단말 장치(600)에게 전송하고(S422) 단말장치(600)는 영상 정보를 표시한다.
그리고 사용자는 단말장치(600)에 표시된 영상 정보에서 특정 시점을 선택하고 이 시점에 알람을 받을 것인지 여부를 선택한다(S423). 단말 장치(600)는 선택한 정보(특정 시점 및 알람 여부)를 조리기기(100/200)에게 전송한다(S424). 이후 조리기기(100, 200)는 도 4의 S360, S380 단계를 수행한 후, 알람을 설정한 경우 알람 메시지를 단말 장치(600)에게 전송한다(S425). 이후 단말 장치(600)는 알람을 수행한다(S426).
조리기기(100/200)의 제어모듈(150)과 단말 장치(600)는 직접 데이터를 송수신 할 수 있다. 또는, 조리기기(100/200)의 제어모듈(150)과 단말 장치(600) 사이의 통신을 서버(500)가 매개할 수 있다.
한편, 본 발명의 다른 실시예에 의하면, 조리기기(100, 200)의 제어모듈(150)은 식재료를 촬영한 후 이를 서버(500)에게 전송하고, 서버(500)가 이에 대응하는 영상 정보를 검색할 수 있다. 이때, 서버(500)는 해당 조리기기(100, 200)의 식별 정보에 따라 영상 정보를 저장할 수 있다.
그리고 조리기기(100, 200)가 조리 과정에서 촬영한 영상 역시 서버(500)에 업로드될 수 있다.
도 11은 본 발명의 일 실시예에 의한 서버가 식재료를 인식하거나 기존 조리 영상 또는 데이터베이스의 이미지와 비교하여 조리 조건이 달성되었는지를 확인하는 도면이다. 앞서 도 4, 도 5, 도 6 등의 프로세스 중 일부가 서버(500)에서 진행된다. 도 4를 참조한다.
사용자가 식재료를 조리기기(100, 200)에 투입한 경우, 카메라(110)는 식재료를 촬영하고, 제어모듈(150)는 촬영된 식재료 이미지를 서버(500)에게 전송한다(S310a, S310b). 서버(500)는 수신한 이미지를 이용하여 식재료를 인식한다(S310c). 그리고 서버(500)는 식재료와 관련되어 저장된 조리영상 또는 DB 이미지를 검색하고(S330a) 검색된 영상 또는 이미지를 조리기기(100, 200)에게 전송한다(S330b).
조리기기(100, 200)의 디스플레이 모듈(120)은 조리영상 또는 DB 이미지를 표시한다(S330c).
제어모듈(150)은 표시된 조리영상 또는 DB 이미지를 타임랩스로 재생할 수 있다. 사용자가 조리 영상에서 특정 시점을 선택하거나 DB 이미지에서 특정 이미지를 선택하면 제어모듈(150)은 선택된 시점이나 이미지에 대한 정보를 서버(500)에게 전송한다(S350a, S350b). 서버(500)는 전송된 정보를 저장한다(S350c).
이후 조리기기(100, 200)는 조리를 수행한다. 제어모듈(150)의 제어에 의해 카메라(110)는 조리 중 식재료를 촬영한다(S360a). 그리고 제어모듈(150)은 촬영된 이미지나 동영상을 서버(500)에게 전송한다(S360b). 이 과정에서 제어모듈(150)은 선택한 시점에 대한 이미지 또는 동영상에 포함된 메타 정보를 이용하여 조리 조건을 설정할 수 있다.
서버(500)는 촬영한 이미지 또는 동영상과 앞서 사용자가 선택했던 타임랩스의 특정 시점의 이미지 또는 DB 이미지 등과 비교한다(S380a). 그리고 서버(500)는 식재료의 조리 상태가 특정 시점의 이미지와 유사한지 비교하여 유사한 경우 조리 중단 또는 알람(Notification, Alarming) 수행을 지시하는 메시지를 생성하여 조리기기(100, 200)에게 전송한다(S380b, S380c).
또는, 조리가 계속 진행되는 것이 필요할 경우, 서버(500)는 조리 상태를 가이드하는 메시지를 생성할 수 있다. 예를 들어 조리 상태를 가이드하는 메시지는 "설정한 조리 상태까지 5분 남았습니다.", "지금까지 60%의 조리가 진행되었습니다."와 같이 시간을 안내하거나 조리 진행 과정을 안내하는 메시지를 일 실시예로 한다.
이후, 메시지를 수신한 제어모듈(150)은 조리를 중단하거나 알람을 수행한다(S380d). S380b에서 유사하지 않은 것으로 판단된 경우 S360a~S380b 단계가 반복될 수 있다.
도 11의 실시예는 도 5 또는 도 6 등의 식재료 인식 및 조리 조건의 도달 여부를 확인하는 실시예에도 적용될 수 있다. 즉, 서버(500)는 앞서 제어모듈(150)이 수행한 기능 중 일부를 수행하고 그에 따른 결과를 제어모듈(150)에게 전송할 수 있다.
또한, 서버(500)는 다양한 식재료의 이미지를 데이터베이스에 저장하고 새로운 식재료가 업로드될 경우 관련 이미지나 동영상 등을 데이터베이스에 업데이트할 수 있다.
또한, 조리기기(100, 200)가 촬영한 영상 정보는 조리기기(100, 200)의 식별 정보와 함께 저장하여, 추후 식재료를 인식하는 과정에서 인식율을 높일 수 있다.
도 11의 실시예는 서버(500)가 조리기기(100, 200)로부터 전송된 식재료의 이미지를 이용하여 식재료 인식 프로세스를 수행하고 인식된 식재료에 대응하는 영상 정보를 검색하여 제어모듈에게 전송하는 과정(S310a~S330b)을 포함한다.
도 11의 실시예는 제어모듈(150)이 수신한 영상 정보에서 특정 시점이나 이미지에 대한 정보를 서버(500)에게 전송한 후 조리기기의 본체를 제어하여 조리를 수행하는 과정(S350a~S360a)을 포함한다.
도 11의 실시예는 제어모듈(150)이 조리기기(100, 200)의 조리 과정에서 촬영한 이미지를 서버(500)에게 전송한 후, 서버(500)가 수신한 이미지를 이용하여 조리 중단 또는 알람 수행 또는 조리 상태를 가이드하는 메시지를 생성하여 제어모듈에게 전송하는 과정(S360a~S380c)을 포함한다.
도 11의 실시예는 제어모듈(150)이 수신한 메시지에 따라 조리를 제어하거나 알람 기능을 수행하거나 가이드 메시지를 표시하는 과정(S380d)을 포함한다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
- 부호의 설명 -
100, 200: 조리기기 110: 카메라
120: 디스플레이 모듈 150: 제어모듈
500: 서버 600: 단말장치

Claims (20)

  1. 식재료를 조리하는 조리기기에 있어서,
    상기 식재료를 가열하는 본체;
    상기 본체에 입고된 식재료를 촬영하는 카메라; 및
    상기 카메라가 촬영한 식재료 이미지에 대해 식재료 인식 프로세스를 수행하여 상기 인식된 식재료에 대응하는 영상 정보를 상기 조리기기의 디스플레이 모듈에 출력하거나 상기 조리기기에 연동하는 단말 장치에게 상기 영상 정보를 전송한 후, 상기 영상 정보에서 선택된 시점이나 이미지에 대응하여 상기 본체의 조리 조건을 설정하거나 또는 상기 본체의 조리 상황을 모니터링하여 알람 기능을 수행하는 제어모듈; 을 포함하는 조리기기.
  2. 제1항에 있어서,
    상기 영상 정보는 상기 조리기기가 이전에 상기 본체에 입고되었던 식재료의 조리 과정을 촬영하여 저장한 영상 정보인, 조리기기.
  3. 제1항에 있어서,
    상기 영상 정보는 상기 제어모듈이 다른 장치로부터 수신하여 저장한 식재료의 조리 상태의 이미지를 저장한 영상 정보인, 조리기기.
  4. 제1항에 있어서,
    상기 영상 정보는 조리 온도 또는 조리 시간 중 어느 하나 이상을 메타 정보로 포함하는, 조리기기.
  5. 제1항에 있어서,
    상기 제어모듈은 상기 영상 정보에 포함된 메타 정보를 이용하여 상기 본체의 조리 온도 또는 조리 시간을 설정하는, 조리기기.
  6. 제1항에 있어서,
    상기 제어모듈은 상기 영상 정보의 메타 정보에 포함된 식재료의 무게 또는 크기 정보를 이용하거나 또는 상기 영상 정보의 식재료와 상기 본체에 입고된 식재료의 크기를 비교하여 상기 본체의 조리 온도 또는 조리 시간을 설정하는, 조리기기.
  7. 제1항에 있어서,
    상기 제어모듈은 상기 카메라를 제어하여 상기 본체의 조리 상황을 촬영한 후, 상기 본체의 조리가 종료하면 상기 카메라로 촬영한 영상 정보를 저장하거나 이전에 저장된 영상 정보를 상기 촬영한 영상 정보로 대체하는, 조리기기.
  8. 제1항에 있어서,
    상기 인식 프로세스는
    상기 제어모듈이 상기 입고된 식재료를 촬영한 이미지에서 특징 벡터를 추출한 후, 상기 특징 벡터와 상기 영상 정보의 특징 벡터의 유사도를 산출하여 상기 식재료에 대응하는 영상 정보를 검색하는, 조리기기.
  9. 제1항에 있어서,
    상기 제어모듈은 상기 입고된 식재료가 조리되는 상황을 촬영한 이미지와 상기 영상 정보에서 선택된 시점의 이미지를 이용하여 이미지 비교를 수행한 후, 상기 선택된 시점의 이미지와 상기 촬영한 이미지의 유사도가 기준값 이상일 경우 조리를 중단하거나 상기 디스플레이 모듈을 통해 알람을 수행하거나 상기 단말 장치에게 알람 메시지를 전송하는, 조리기기.
  10. 제9항에 있어서,
    상기 제어모듈은 상기 본체 내에서 조리된 식재료를 촬영한 이미지를 상기 디스플레이 모듈을 통해 출력하거나, 촬영한 이미지를 상기 단말 장치에게 전송하는, 조리기기.
  11. 조리기기의 카메라가 상기 조리기기의 본체에 입고된 식재료를 촬영하는 단계;
    상기 조리기기의 제어모듈이 상기 카메라가 촬영한 식재료 이미지에 대해 식재료 인식 프로세스를 수행하여 상기 인식된 식재료에 대응하는 영상 정보를 검색하는 단계;
    상기 제어모듈이 상기 영상 정보를 상기 조리기기의 디스플레이 모듈에 출력하거나 상기 조리기기에 연동하는 단말 장치에게 상기 영상 정보를 전송하는 단계; 및
    상기 영상 정보에서 선택된 시점 또는 이미지에 대응하여 상기 제어모듈이 상기 본체의 조리 조건을 설정하거나 또는 상기 본체의 조리 상황을 모니터링하여 알람 기능을 수행하는 단계;를 포함하는, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  12. 제11항에 있어서,
    상기 영상 정보는 상기 조리기기가 이전에 상기 본체에 입고되었던 식재료의 조리 과정을 촬영하여 저장한 영상 정보이거나, 또는 상기 제어모듈이 다른 장치로부터 수신하여 저장한 식재료의 조리 상태의 이미지를 저장한 영상 정보인, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  13. 제11항에 있어서,
    상기 영상 정보는 조리 온도 또는 조리 시간 중 어느 하나 이상을 메타 정보로 포함하거나, 상기 영상 정보 속의 식재료의 무게 또는 크기 정보를 메타 정보로 포함하는, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  14. 제11항에 있어서,
    상기 제어모듈은 상기 카메라를 제어하여 상기 본체의 조리 상황을 촬영한 후, 상기 본체의 조리가 종료하면 상기 카메라로 촬영한 영상 정보를 저장하거나 이전에 저장된 영상 정보를 상기 촬영한 영상 정보로 대체하는 단계를 더 포함하는, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  15. 제11항에 있어서,
    상기 제어모듈은 상기 입고된 식재료가 조리되는 상황을 촬영한 이미지와 상기 영상 정보에서 선택된 시점의 이미지를 이용하여 이미지 비교를 수행한 후, 상기 선택된 시점의 이미지와 상기 촬영한 이미지의 유사도가 기준값 이상일 경우 조리를 중단하거나 상기 디스플레이 모듈을 통해 알람을 수행하거나 상기 단말 장치에게 알람 메시지를 전송하는 단계를 더 포함하는, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  16. 제11항에 있어서,
    상기 제어모듈은 상기 본체 내에서 조리된 식재료를 촬영한 이미지를 상기 디스플레이 모듈을 통해 출력하거나, 촬영한 이미지를 상기 단말 장치에게 전송하는 단계를 더 포함하는, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  17. 조리기기의 카메라가 상기 조리기기의 본체에 입고된 식재료를 촬영하는 단계;
    상기 조리기기의 제어모듈이 상기 카메라가 촬영한 식재료 이미지를 서버에게 전송하는 단계;
    상기 서버가 상기 전송된 이미지를 이용하여 식재료 인식 프로세스를 수행하여 상기 인식된 식재료에 대응하는 영상 정보를 검색하여 상기 제어모듈에게 전송하는 단계;
    상기 제어모듈이 상기 영상 정보에서 특정 시점이나 이미지에 대한 정보를 상기 서버에게 전송한 후 상기 조리기기의 본체를 제어하여 조리를 수행하는 단계;
    상기 제어모듈이 상기 조리기기의 조리 과정에서 촬영한 이미지를 서버에게 전송한 후, 상기 서버가 수신한 이미지를 이용하여 조리 중단 또는 알람 수행 또는 조리 상태를 가이드하는 메시지를 생성하여 상기 제어모듈에게 전송하는 단계; 및
    상기 제어모듈은 상기 수신한 메시지에 따라 조리를 제어하거나 알람 기능을 수행하거나 가이드 메시지를 상기 조리기기의 디스플레이 모듈에 출력하는 단계;를 포함하는, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  18. 제17항에 있어서,
    상기 영상 정보는 상기 조리기기가 이전에 상기 본체에 입고되었던 식재료의 조리 과정을 촬영하여 상기 서버에게 전송한 영상 정보이거나, 또는 상기 서버가 다른 장치로부터 수신하여 저장한 식재료의 조리 상태의 이미지를 저장한 영상 정보인, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
  19. 제17항에 있어서,
    상기 영상 정보는 조리 온도 또는 조리 시간 중 어느 하나 이상을 메타 정보로 포함하거나, 상기 영상 정보 속의 식재료의 무게 또는 크기 정보를 메타 정보로 포함하는, 조리 가이드를 영상으로 제공하고 조리 과정을 제어하는 방법.
  20. 제17항에 있어서,
    상기 서버는 상기 입고된 식재료가 조리되는 상황을 촬영한 이미지와 상기 영상 정보에서 선택된 시점의 이미지를 이용하여 이미지 비교를 수행한 후, 상기 선택된 시점의 이미지와 상기 촬영한 이미지의 유사도가 기준값 이상인지 여부를 판단하는 단계를 더 포함하는, 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 방법.
PCT/KR2023/008952 2023-01-20 2023-06-27 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법 Ceased WO2024154875A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP23917833.8A EP4644779A4 (en) 2023-01-20 2023-06-27 APPARATUS AND METHOD FOR REGULATING THE COOKING PROCESS USING A VISUAL COOKING GUIDE
AU2023424980A AU2023424980A1 (en) 2023-01-20 2023-06-27 Apparatus and method for controlling cooking process by using visual cooking guide
JP2025541626A JP2026504099A (ja) 2023-01-20 2023-06-27 視覚的な調理ガイドを用いて調理過程を制御する装置及び方法
CN202380091839.8A CN120569596A (zh) 2023-01-20 2023-06-27 利用视觉烹饪引导来控制烹饪过程的装置和方法
US19/274,066 US20250349135A1 (en) 2023-01-20 2025-07-18 Apparatus and method for controlling cooking process by using visual cooking guide

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020230008706A KR20240116135A (ko) 2023-01-20 2023-01-20 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법
KR10-2023-0008706 2023-01-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/274,066 Continuation US20250349135A1 (en) 2023-01-20 2025-07-18 Apparatus and method for controlling cooking process by using visual cooking guide

Publications (1)

Publication Number Publication Date
WO2024154875A1 true WO2024154875A1 (ko) 2024-07-25

Family

ID=91955969

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008952 Ceased WO2024154875A1 (ko) 2023-01-20 2023-06-27 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법

Country Status (7)

Country Link
US (1) US20250349135A1 (ko)
EP (1) EP4644779A4 (ko)
JP (1) JP2026504099A (ko)
KR (1) KR20240116135A (ko)
CN (1) CN120569596A (ko)
AU (1) AU2023424980A1 (ko)
WO (1) WO2024154875A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119292080A (zh) * 2024-12-12 2025-01-10 深圳市凯度电器有限公司 一种基于食材图像的烤箱控制方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026038591A1 (ko) * 2024-08-14 2026-02-19 엘지전자 주식회사 조리 상태의 판단 및 알림을 위한 방법 및 이를 위한 장치
WO2026075291A1 (ko) * 2024-10-04 2026-04-09 엘지전자 주식회사 조리 상태에 따라 조리 과정을 제어하는 조리기기, 서버 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
JP2019192355A (ja) * 2018-04-19 2019-10-31 パナソニックＩｐマネジメント株式会社 加熱調理器
KR20200053167A (ko) * 2018-11-08 2020-05-18 인천대학교 산학협력단 스마트 전기 레인지를 이용한 요리 정보 제공 시스템
KR20200092380A (ko) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
KR20220017969A (ko) * 2015-07-03 2022-02-14 삼성전자주식회사 오븐

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019216682A1 (de) * 2019-10-29 2021-04-29 BSH Hausgeräte GmbH Bestimmen eines Ziel-Verarbeitungszustands eines zu behandelnden Garguts
EP4118382A1 (de) * 2020-03-12 2023-01-18 BSH Hausgeräte GmbH Einstellen eines ziel-bräunungsgrads an einem haushalts-gargerät
KR20230011181A (ko) * 2021-07-13 2023-01-20 삼성전자주식회사 조리 기기 및 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220017969A (ko) * 2015-07-03 2022-02-14 삼성전자주식회사 오븐
KR20200092380A (ko) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
JP2019192355A (ja) * 2018-04-19 2019-10-31 パナソニックＩｐマネジメント株式会社 加熱調理器
KR20200053167A (ko) * 2018-11-08 2020-05-18 인천대학교 산학협력단 스마트 전기 레인지를 이용한 요리 정보 제공 시스템
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4644779A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119292080A (zh) * 2024-12-12 2025-01-10 深圳市凯度电器有限公司 一种基于食材图像的烤箱控制方法及系统

Also Published As

Publication number Publication date
CN120569596A (zh) 2025-08-29
JP2026504099A (ja) 2026-02-03
AU2023424980A1 (en) 2025-07-24
EP4644779A1 (en) 2025-11-05
US20250349135A1 (en) 2025-11-13
KR20240116135A (ko) 2024-07-29
EP4644779A4 (en) 2026-04-22

Similar Documents

Publication Publication Date Title
KR20240116135A (ko) 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법
WO2023287131A1 (ko) 조리 기기 및 그의 제어 방법
WO2014168265A1 (ko) 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
WO2020055029A1 (ko) 조리 기기 및 이의 제어 방법
WO2021049751A1 (ko) 인공 지능을 이용한 조리 기기 제어 방법 및 그 시스템
WO2017196013A1 (en) Electronic device and method for providing content
WO2019146894A1 (ko) 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법
WO2024210322A1 (ko) 비-접촉식 방식으로 획득되는 정보에 기반하여 정확도 높은 생체 신호를 제공하기 위한 전자 장치, 서버, 시스템, 그 동작 방법
WO2024025196A1 (ko) 능동적으로 조리 조건을 조절하는 프라잉 로봇 제어 시스템
WO2023167457A1 (ko) 조리 상태를 제공하는 조리 장치 및 방법
WO2023136615A1 (ko) 전자 장치 및 그 제어 방법
WO2022149922A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2020071692A1 (ko) 냉장고, 서버 및 냉장고의 객체 인식 방법
WO2019160251A1 (ko) 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법
WO2024043436A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2024071655A1 (ko) 조리 기기 및 이의 제어 방법
WO2023224186A1 (ko) 인터랙티브 멀티미디어 컨텐츠를 제공하는 가전기기 및 서버
WO2024043444A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2024090773A1 (ko) 조리 기기 및 그의 동작 방법
WO2025089580A1 (ko) 조리 기기 및 조리 제어 방법
WO2026038591A1 (ko) 조리 상태의 판단 및 알림을 위한 방법 및 이를 위한 장치
WO2026106388A1 (ko) 조리 장치 및 이의 제어 방법
WO2021221247A1 (ko) 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램
WO2022215912A1 (ko) 서버 및 그 제어 방법
WO2023113580A1 (ko) 조리 기기 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23917833

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: AU2023424980

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2025541626

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202380091839.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2023424980

Country of ref document: AU

Date of ref document: 20230627

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2023917833

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023917833

Country of ref document: EP

Effective date: 20250731

ENP Entry into the national phase

Ref document number: 2023917833

Country of ref document: EP

Effective date: 20250731

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380091839.8

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023917833

Country of ref document: EP