WO2024043601A1 - 화재 위험을 검출하는 조리 기기 및 그 제어 방법 - Google Patents

화재 위험을 검출하는 조리 기기 및 그 제어 방법 Download PDF

Info

Publication number
WO2024043601A1
WO2024043601A1 PCT/KR2023/012101 KR2023012101W WO2024043601A1 WO 2024043601 A1 WO2024043601 A1 WO 2024043601A1 KR 2023012101 W KR2023012101 W KR 2023012101W WO 2024043601 A1 WO2024043601 A1 WO 2024043601A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking appliance
cooking
color
fire
monitoring area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/012101
Other languages
English (en)
French (fr)
Inventor
윤석정
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220121970A external-priority patent/KR20240028259A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202380042048.6A priority Critical patent/CN119173725A/zh
Priority to EP23857635.9A priority patent/EP4481274A4/en
Priority to US18/237,738 priority patent/US12511984B2/en
Publication of WO2024043601A1 publication Critical patent/WO2024043601A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H05B6/66—Circuits
    • H05B6/68—Circuits for monitoring or control

Definitions

  • Embodiments of the present disclosure relate to a cooking appliance that detects a fire risk, a cooking appliance control method, and a computer-readable recording medium on which a computer program for performing the cooking appliance control method is recorded on a computer.
  • Cooking appliances have a high fire risk among home appliances.
  • oil with a low smoke point is selected as an ingredient, a fire may occur in the cooking device.
  • an object that should not be placed inside a cooking appliance such as a microwave oven is accidentally placed, a fire may occur.
  • a cooking chamber for accommodating cooking objects therein, a camera for photographing the inside of the cooking chamber, an output interface, a memory for storing at least one instruction, and at least one processor, and at least one The processor detects a fire risk during cooking based on a captured image captured by a camera by executing at least one instruction, and outputs a fire risk notification through an output interface when a fire risk is detected.
  • Equipment is provided.
  • the cooking appliance in a method of controlling a cooking appliance, includes a camera that photographs the inside of a cooking chamber that accommodates cooking objects therein, and the method of controlling the cooking appliance includes: Using a step of photographing the inside of the kitchen, detecting a fire risk during cooking based on the captured image of the inside of the kitchen, and when a fire risk is detected, outputting a fire risk notification.
  • a cooking appliance control method is provided.
  • a computer-readable recording medium on which a computer program for performing a cooking appliance control method on a computer is recorded is provided.
  • FIG. 1 is a diagram showing the operation of a cooking appliance according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • Figure 3 is a diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • Figure 4 is a flowchart showing a method of controlling a cooking appliance according to an embodiment of the present disclosure.
  • Figure 5 is a diagram showing a monitoring area according to an embodiment of the present disclosure.
  • Figure 6 is a flowchart showing a method of controlling a cooking appliance according to an embodiment of the present disclosure.
  • FIG. 7A is a diagram illustrating a process for detecting a fire risk based on a captured image according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram illustrating a process of comparing a monitoring area and a fire-related color in a color space according to an embodiment of the present disclosure.
  • Figure 8 is a diagram illustrating a process for detecting smoke or flame based on color distribution according to an embodiment of the present disclosure.
  • Figure 9 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • Figure 10 is a flowchart showing a process for detecting a fire risk based on a captured image and a temperature detection value, according to an embodiment of the present disclosure.
  • Figure 11 is a diagram illustrating a process for recognizing food ingredients from a captured image and determining a monitoring area, according to an embodiment of the present disclosure.
  • Figure 12 is a diagram showing a configuration for recognizing food ingredients using a machine learning model according to an embodiment of the present disclosure.
  • Figure 13 is a diagram showing a monitoring area set according to an embodiment of the present disclosure.
  • Figure 14 is a diagram illustrating a process of applying weights to a monitoring area according to an embodiment of the present disclosure.
  • Figure 15 is a diagram illustrating a process for selecting a monitoring area according to an embodiment of the present disclosure.
  • Figure 16 is a diagram showing the shrinkage of food ingredients according to an embodiment of the present disclosure.
  • Figure 17 is a diagram illustrating a process for determining a monitoring area by considering shrinkage of food ingredients according to an embodiment of the present disclosure.
  • Figure 18 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • Figure 19 is a diagram showing a cooking appliance, a user device, and a server according to an embodiment of the present disclosure.
  • Figure 20 is a diagram illustrating a process for obtaining food ingredient information from a user device according to an embodiment of the present disclosure.
  • Figure 21 is a diagram illustrating a process for obtaining food ingredient information from a user device according to an embodiment of the present disclosure.
  • Figure 22 is a diagram illustrating a process of receiving food ingredient information through an input interface of a cooking appliance according to an embodiment of the present disclosure.
  • FIG. 23 is a diagram illustrating a process of setting a monitoring area based on color data of a captured image according to an embodiment of the present disclosure.
  • Figure 24 is a diagram showing a process for detecting a fire risk according to an embodiment of the present disclosure.
  • Figure 25 is an example of a case where a flame is detected in the monitoring area 2510.
  • Figure 26 is a diagram showing a process for outputting a fire risk according to an embodiment of the present disclosure.
  • FIG. 27 is a diagram illustrating a process for outputting a fire risk through a user device according to an embodiment of the present disclosure.
  • Figure 28 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • Figure 29 is a diagram illustrating a process for monitoring the cooking operation of a cooking appliance according to an embodiment of the present disclosure.
  • Figure 30 is a diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C”, and “A
  • Each of phrases such as “at least one of , B, or C” may include any one of the items listed together in the corresponding phrase, or any possible combination thereof.
  • the term “and/or” includes a combination of a plurality of related described elements or any element of a plurality of related described elements.
  • first”, “second”, or “first” or “second” may be used simply to distinguish the corresponding component from other corresponding components, and may refer to the corresponding component in other aspects (e.g. : not limited by importance or order).
  • one (e.g., first) component is referred to as “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • connection it means that any of the components can be connected to the other components directly (e.g., wired), wirelessly, or through a third component.
  • FIG. 1 is a diagram showing the operation of a cooking appliance according to an embodiment of the present disclosure.
  • the inside of the cooking appliance 100 is photographed using a camera placed inside or adjacent to the cooking appliance 100, and the fire risk is assessed based on the captured image 110 of the interior.
  • cooking appliance 100 includes a camera that photographs the interior. The camera detects the risk of fire in the cooking appliance 100 from the captured image 110 of the inside of the cooking appliance. When a fire risk is detected, the cooking appliance 100 outputs a fire risk notification 120. The cooking appliance 100 may output the fire hazard notification 120 through its own output interface or output the fire hazard notification 120 through an external device. Fire hazard notifications may be audible or visual (e.g. text or symbols output to a display).
  • Cooking appliance 100 may be equipped with separate sensors to detect fire hazards, such as CO 2 sensors, temperature sensors, smoke sensors, or other suitable sensors known to those skilled in the art.
  • the cooking appliance 100 may detect a fire risk using a camera inside the cooking appliance 100 without additionally providing a sensor for determining fire.
  • the cooking appliance 100 can use an internal camera to detect fire hazards as well as perform additional operations such as monitoring the cooking process and recommending recipes.
  • the cooking appliance 100 equipped with a camera can detect a fire risk without a separate sensor and notify the user of the fire risk.
  • FIG. 2 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 100 includes various types of cooking appliances 100 that perform cooking in a high temperature environment or perform cooking by causing heat generation in food ingredients.
  • Cooking appliance 100 may be implemented in the form of, for example, an oven, microwave oven, air fryer, smart cooker, toaster, or other suitable cooking appliance known to those skilled in the art.
  • the cooking appliance 100 may include a processor 210, a camera 220, a cooking chamber 230, a memory 240, and an output interface 250.
  • the processor 210 controls the overall operation of the cooking appliance 100.
  • Processor 210 may be implemented with one or more processors.
  • the processor 210 may perform a predetermined operation by executing instructions or commands stored in the memory 240. Additionally, the processor 210 controls the operations of components provided in the cooking appliance 100.
  • the processor 210 may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), or a Neural Processing Unit (NPU), or a combination thereof.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • NPU Neural Processing Unit
  • the camera 220 generates an electrical image signal by photoelectrically converting incident light.
  • the camera 220 may include at least one lens, a lens driver, and an image sensor.
  • the camera 220 may be arranged to photograph the inside of the galley 230.
  • the camera 220 may be placed on the galley ceiling, the galley door 310, or the side of the galley.
  • Camera 220 may include one or more cameras 220 .
  • the camera 220 generates captured image data and outputs it to the processor 210.
  • the processor 210 controls the shooting operation of the camera 220 according to the operation mode. According to one embodiment of the present disclosure, the processor 210 controls the camera 220 to photograph the inside of the cooking chamber while the cooking appliance 100 is performing a cooking operation.
  • the processor 210 may start a cooking operation based on a user input requesting to start cooking, and start filming with the camera 220 in response to the request to start cooking.
  • the shooting may be performed automatically based on a determination that one or more predetermined conditions are satisfied (e.g., when the internal heat reaches a predetermined temperature, when a predetermined time has elapsed from the start of cooking, etc.).
  • imaging may be performed based on input from a user.
  • Captured images include still images or moving images.
  • the captured image may correspond to a real-time video captured inside the cooking chamber while a cooking operation is performed. Additionally, according to an embodiment of the present disclosure, the captured image may correspond to a still image captured inside the cooking chamber at predetermined time intervals while the cooking operation is performed. Additionally, according to an embodiment of the present disclosure, the captured image may correspond to a still image or video captured inside the galley based on a user input.
  • the captured image captured by the camera 220 may be, for example, an image compressed in a format such as H.264 or JPEG. If the captured image is a compressed image, the processor 210 generates a captured image in a format such as YUV or RGB through a decoding process. The processor 210 obtains color data of the captured image from the decoded captured image.
  • the cooking room 230 corresponds to a cooking space that accommodates food ingredients.
  • the galley 230 includes a space formed by a partition wall that is blocked from the outside.
  • the cooking room 230 includes a tray or shelf on which food ingredients can be placed.
  • the cooking chamber 230 may be insulated by an insulating member to block internal heat.
  • the cooking appliance 100 outputs hot air from a heating device to the cooking chamber 230 to perform a cooking operation inside the cooking chamber 230. Additionally, according to one embodiment, the cooking appliance 100 may output microwaves from a microwave output device to the cooking chamber 230 and perform a cooking operation inside the cooking chamber 230.
  • the galley 230 may be opened or blocked from the outside by an openable door. Additionally, according to one embodiment, the galley compartment 230 corresponds to a drawer-type basket and can be opened or blocked from the outside by inserting and withdrawing the basket.
  • the processor 210 detects the risk of fire inside the galley based on the captured image.
  • the processor 210 detects fire risk based on color data of the captured image.
  • the processor 210 detects fire risk by comparing predefined fire-related colors with color data of the captured image.
  • Fire-related colors may be colors that correspond to smoke or flames. Fire-related colors are defined as a predetermined color coordinate area in the color space. Fire-related colors may include a smoke color area related to smoke and a flame color area related to flames.
  • the processor 210 identifies at least one monitoring area based on the color data of each pixel of the captured image.
  • the monitoring area is a predetermined area within the captured image and may include one or more pixels.
  • the processor 210 identifies an area with a color that has low similarity to a fire-related color as a monitoring area.
  • the processor 210 monitors color changes in the monitoring area. If the similarity between the color data of the monitoring area and the fire-related color is greater than or equal to the reference value, the processor 210 may determine that a fire risk has occurred.
  • the processor 210 acquires information on ingredients placed inside the galley in advance and selects a monitoring area of the captured image based on the obtained ingredient information.
  • the processor 210 may select an area with low similarity to a fire-related color as the monitoring area based on food ingredient information. Additionally, the processor 210 may change the weight of the monitoring area or the reference value related to fire-related color and similarity according to the food ingredient information.
  • the processor 210 may select a monitoring area based on color data of a captured image without previously obtaining information about food ingredients.
  • the processor 210 may select an area with low similarity to fire-related colors as a monitoring area based on the color data of the captured image.
  • the memory 240 stores various information, data, commands, programs, etc. necessary for the operation of the cooking device 100.
  • the memory 240 may include at least one of volatile memory or non-volatile memory, or a combination thereof.
  • the memory 240 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and RAM.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic It may include at least one type of storage medium among disks and optical disks.
  • the memory 240 may correspond to a web storage or cloud server that performs a storage function on the Internet.
  • the output interface 250 outputs information and data related to the operation of the cooking appliance 100.
  • the output interface 250 may include, for example, a display, a speaker, and a light emitting diode (LED).
  • LED light emitting diode
  • the output interface 250 outputs a fire risk notification when a fire risk is detected.
  • the fire risk notification may include at least one of visual information or audio information.
  • a fire danger notification includes a message displayed through a display. Additionally, according to an embodiment of the present disclosure, the fire risk notification includes a voice message output through a speaker.
  • the fire risk notification may include at least one of information that a fire risk has been detected, a type of fire risk, response guide information, or cooking appliance operation change information.
  • the type of fire hazard may include information such as smoke detection, flame detection, or temperature spikes, for example.
  • Response guide information may include, for example, a door opening request, a power-off request, or a no-contact request.
  • Cooking device operation change information may include, for example, information such as unlocking the door, stopping the cooking operation, automatically turning off the power, or discharging steam in the cooking chamber.
  • Figure 3 is a diagram showing the structure of a cooking appliance 100 according to an embodiment of the present disclosure.
  • the cooking appliance 100 may be opened by opening and closing the door 310 and may be blocked from the outside.
  • the galley 230 can accommodate food ingredients in its internal space.
  • the cooking chamber 230 may include a tray 320 on which food ingredients can be placed.
  • the camera 220 is placed on the ceiling of the cooking chamber 230 and can capture the cooking process of ingredients placed inside the cooking chamber 230.
  • Figure 4 is a flowchart showing a method of controlling a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance control method according to an embodiment of the present disclosure may be performed by various types of cooking appliances.
  • the description will be centered on an embodiment in which a cooking appliance control method is performed by the cooking appliance 100 according to an embodiment of the present disclosure.
  • the cooking appliance control method according to the embodiment of the present disclosure is not limited to being performed by the cooking appliance 100 of the present disclosure.
  • step S402 the cooking appliance 100 photographs the inside of the cooking chamber using the camera 220 inside the cooking chamber and generates a captured image.
  • Video may be captured during the cooking process.
  • the cooking appliance 100 may start taking pictures of the inside of the cooking chamber while starting the cooking operation. Additionally, the cooking appliance 100 may end filming the interior of the cooking chamber when the cooking operation is completed, the door 310 is opened, etc. Captured images include still images or moving images.
  • the cooking appliance 100 detects a fire risk based on the captured image.
  • the cooking appliance 100 determines the fire risk based on the color data of the captured image.
  • the cooking appliance 100 identifies at least one monitoring area based on the color data of the captured image, and determines whether a fire has occurred based on the similarity between the color data of the at least one monitoring area and a predefined fire-related color. You can.
  • the cooking appliance 100 calculates similarity by comparing predefined fire-related colors with color data of the monitoring area. Fire-related colors include smoke-related colors corresponding to smoke and flame-related colors corresponding to flames. The similarity may be determined based on the distance between the color coordinate area of the fire-related color and the color coordinate of the monitoring area in the color space.
  • the fire risk notification may include at least one of visual information or audio information.
  • a fire risk notification may include a message displayed through a display, a voice message output through a speaker, etc.
  • the fire risk notification may include at least one of information that a fire risk has been detected, a type of fire risk, response guide information, or cooking appliance operation change information.
  • the cooking appliance 100 may perform steps S404 and S406 based on the next captured image.
  • steps S404 and 406 may be performed at predetermined frame intervals.
  • the cooking appliance 100 may determine the risk of fire by performing steps S404 and S406 at 1-second intervals after starting the cooking operation.
  • the cooking appliance 100 may determine the fire risk by performing steps S404 and S406 every time a still image is captured.
  • Figure 5 is a diagram showing a monitoring area according to an embodiment of the present disclosure.
  • the cooking appliance 100 determines the monitoring areas 520a, 520b, 520c, and 520d based on the color data of the captured image 510.
  • the monitoring areas 520a, 520b, 520c, and 520d are defined as areas with colors other than fire-related colors.
  • the cooking device 100 extracts the color data of the monitoring areas (520a, 520b, 520c, and 520d) from the captured images during the cooking operation, and uses the color data of the monitoring areas (520a, 520b, 520c, and 520d) to be fire-related. Detect fire risk by comparing color.
  • the cooking appliance 100 determines the monitoring area using a captured image before the start of the cooking operation. When the cooking operation starts, the color of the food ingredients changes, so the cooking appliance 100 determines the monitoring area using the captured image before the cooking operation starts. The cooking appliance 100 determines the monitoring area and performs an operation to detect fire risk based on subsequent captured images.
  • the first area 530 is an area corresponding to a raw chicken, which is different from the flame-related color corresponding to the flame and is similar to the smoke-related color corresponding to the smoke.
  • the second area 532 is a red area in raw chicken, and is similar to the flame-related color and different from the smoke-related color.
  • the third area 534 is an area corresponding to the tray and is different from the flame-related color and smoke-related color.
  • the cooking appliance 100 sets an area that is different from the flame-related color and the smoke-related color as the monitoring area.
  • the cooking appliance 100 selects the first monitoring area 520a and the fourth monitoring area 520d, which are different from the flame-related color and different from the smoke-related color, as monitoring areas, and select the second monitoring area 520b and the third monitoring area 520c are not selected as monitoring areas.
  • the cooking appliance 100 selects an area different from the flame-related color as the flame monitoring area and sets an area different from the smoke-related color as the smoke monitoring area.
  • the cooking appliance 100 detects a flame based on color data of the flame monitoring area.
  • the cooking appliance 100 detects smoke based on color data of the smoke monitoring area.
  • the cooking appliance 100 selects the first monitoring area 520a, the second monitoring area 520b, the third monitoring area 520c, and the fourth monitoring area 520d as the flame monitoring area. And, the first monitoring area 520a and the fourth monitoring area 520d are selected as the smoke monitoring area.
  • Monitoring areas 520a, 520b, 520c, and 520d may correspond to areas containing one or more pixels.
  • the monitoring areas 520a, 520b, 520c, and 520d are defined in the form of rectangular blocks. However, as will be understood by those skilled in the art, the monitoring area may be of any suitable form.
  • each of the monitoring areas 520a, 520b, 520c, and 520d is defined along the edge of a specific object.
  • each of the monitoring areas 520a, 520b, 520c, and 520d may be defined as an area corresponding to a food ingredient.
  • the monitoring areas 520a, 520b, 520c, and 520d may include a plurality of monitoring areas 520a, 520b, 520c, and 520d.
  • the cooking appliance 100 may set a plurality of monitoring areas 520a, 520b, 520c, and 520d by selecting different color areas from the captured image 510 that are different from the fire-related color.
  • the first monitoring area 520a has a color corresponding to the tray
  • the second monitoring area 520b has a color corresponding to chicken, which is an ingredient.
  • the cooking appliance 100 may select areas with different colors in the captured image 510 as the monitoring areas 520a and 520b.
  • the cooking appliance 100 includes monitoring areas 520b and 520c corresponding to areas corresponding to the ingredients and monitoring areas 520a and 520d corresponding to the cooking appliance 100 itself in the captured image. You can set up multiple monitoring areas including. Since flames are more often generated from ingredients than from other objects such as trays, the cooking appliance 100 sets at least one area corresponding to the ingredients as the monitoring area 520b and 520c. In addition, since the color of the cooking device 100 itself is already known to the cooking device 100 and does not change during the cooking process, the cooking device 100 monitors at least one area corresponding to the color of the cooking device 100 itself. Set as areas 520a and 520d. Here, at least one area corresponding to the color of the cooking appliance 100 itself includes an area corresponding to the detachable tray used in the cooking appliance 100.
  • each of the monitoring areas 520a, 520b, 520c, and 520d may be changed during the cooking process.
  • Figure 6 is a flowchart showing a method of controlling a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 100 may photograph the inside of the cooking chamber before starting the cooking operation and set a monitoring area based on the captured image.
  • step S602 the cooking appliance 100 photographs the interior of the cooking chamber and generates a captured image.
  • step S604 the cooking appliance 100 sets a monitoring area based on the captured image.
  • the cooking appliance 100 repeatedly performs steps S402 and S404 and detects fire risk based on the captured image.
  • FIG. 7A is a diagram illustrating a process for detecting a fire risk based on a captured image according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram illustrating a process of comparing a monitoring area and a fire-related color in a color space according to an embodiment of the present disclosure.
  • the cooking appliance 100 determines whether there is a fire risk based on the color data of the monitoring area in step S404.
  • FIG. 7A explains the detailed operation of step S404 according to an embodiment of the present disclosure.
  • step S702 the cooking appliance 100 identifies color data of the monitoring area.
  • the color data of the monitoring area corresponds to the color data of the corresponding pixel.
  • the cooking appliance 100 may identify the average value of the color data of the plurality of pixels as the color data of the monitoring area.
  • Color data may be defined as color coordinates of a predetermined color space. For example, as shown in FIG. 7B, color data may be defined in the RGB color space.
  • the cooking device 100 may decode the captured image, obtain an RGB image, and obtain RGB color coordinates of each pixel.
  • Color data of the monitoring area may be defined as monitoring area color coordinates 720a and 720b in the color space.
  • the cooking appliance 100 may define a fire color area corresponding to a fire-related color in the color space.
  • the fire color area may include a flame color area 712 (e.g., a color related to red or orange, etc.) and a smoke color area 714 (e.g., a color related to black, white, or gray, etc.).
  • the flame color area 712 and the smoke color area 714 may be defined as a predetermined color coordinate area in the color space.
  • the flame color area 712 and the smoke color area 714 may be predefined and stored in the memory 240.
  • color data in the monitoring area can be defined in a color space.
  • the first monitoring area color coordinates 720a and the second monitoring area color coordinates 720b may be determined in advance according to one or more settings.
  • the cooking appliance 100 identifies the first monitoring area color coordinates 720a corresponding to the average value of the color data of the first monitoring area. Additionally, the cooking appliance 100 identifies the second monitoring area color coordinates 720b corresponding to the average value of the color data of the second monitoring area.
  • step S704 the cooking appliance 100 calculates the similarity between the color data of the monitoring area and the flame-related color area.
  • the monitoring area may correspond to the flame monitoring area.
  • the cooking appliance 100 calculates the distance between the first monitoring area color coordinates 720a and the flame color area 712 in the color space. According to one embodiment of the present disclosure, the cooking appliance 100 calculates the distance between the first monitoring area color coordinates 720a and the center of the flame color area 712 according to the method defined as D2 in FIG. 7B. You can. In addition, according to an embodiment of the present disclosure, the cooking appliance 100 is configured to set a distance ( 730a) can be calculated.
  • the cooking appliance 100 uses the first monitoring area color coordinates ( The distance 730a between the boundary point of the flame color area 712 closest to 720a) is obtained.
  • the cooking appliance 100 similarly calculates the distance between the second monitoring area color coordinates 720b and the flame color area 712 in the color space.
  • the present disclosure focuses on an embodiment in which the similarity is calculated by calculating the distances 730a and 730b between the monitoring area color coordinates 720a and 720b and the border of the flame color area 712 according to the method D2 of FIG. 7B. It is explained as follows. However, this is for convenience of explanation, and an embodiment in which similarity is calculated by calculating the distance between the monitoring area color coordinates 720a and 720b and the center of the flame color area 712 according to the method D1 in FIG. 7b is used. It is not excluded.
  • the cooking appliance 100 calculates the similarity between the color data of the monitoring area and the flame-related color based on the distances 730a and 730b in the color space. Similarity may be defined as the distances 730a and 730b themselves, or may be defined as a value calculated based on the distances 730a and 730b.
  • step S706 the cooking appliance 100 determines whether the color similarity is greater than or equal to the first reference value. If the color similarity is greater than or equal to the first reference value, the cooking appliance 100 determines that a flame has been detected in step S708. Additionally, if it is determined that a flame has been detected, the cooking appliance 100 determines that a fire hazard has been detected in step S716.
  • step S710 the cooking appliance 100 calculates the similarity between the color data of the monitoring area and the smoke-related color.
  • the monitoring area may correspond to the smoke monitoring area.
  • the cooking appliance 100 calculates the distance between the first monitoring area color coordinates 720a and the smoke color area 714 in the color space.
  • the cooking appliance 100 may calculate the distance between the first monitoring area color coordinates 720a and the center of the smoke color area 714 according to the method defined as D1 in FIG. 7B.
  • the cooking appliance 100 sets the distance 732a between the first monitoring area color coordinates 720a and the boundary of the smoke color area 714 according to the method defined as D2 in FIG. 7B. It can be calculated.
  • the cooking appliance 100 calculates the first monitoring area color coordinates 720a. ) and the nearest boundary point of the smoke color area 714 (732a) are obtained.
  • the cooking appliance 100 similarly calculates the distance between the second monitoring area color coordinates 720b and the smoke color area 714 in the color space.
  • the present disclosure focuses on an embodiment in which the similarity is calculated by calculating the distances 732a and 732b between the monitoring area color coordinates 720a and 720b and the boundary of the smoke color area 714 according to the method D2 of FIG. 7B. It is explained as follows. However, this is for convenience of explanation, and an embodiment in which similarity is calculated by calculating the distance between the monitoring area color coordinates 720a and 720b and the center of the smoke color area 714 according to the method D1 in FIG. 7b It is not excluded.
  • the cooking appliance 100 calculates the similarity between the color data of the monitoring area and the smoke-related color based on the distances 732a and 732b in the color space. Similarity may be defined as the distances 732a and 732b themselves, or may be defined as a value calculated based on the distances 732a and 732b.
  • step S712 the cooking appliance 100 determines whether the color similarity is greater than or equal to the second reference value.
  • the second reference value is the same value as the first reference value described above or a different value. If the color similarity is greater than or equal to the second reference value, the cooking appliance 100 determines that smoke has been detected in step S714. Additionally, if it is determined that smoke has been detected, the cooking appliance 100 determines that a fire hazard has been detected in step S716.
  • the cooking appliance 100 When a fire risk is detected, the cooking appliance 100 outputs a fire risk notification in step S406. Additionally, the cooking appliance 100 can output the type of fire risk. For example, the cooking appliance 100 may output information that a flame has been detected, output information that smoke has been detected, or output information that a flame and smoke have been detected.
  • Figure 8 is a diagram illustrating a process for detecting smoke or flame based on color distribution according to an embodiment of the present disclosure.
  • the cooking appliance 100 determines whether smoke has been detected by additionally considering the color distribution 810 of the monitoring area corresponding to the smoke-related color. Since the cooking chamber 230 of the cooking appliance 100 is a confined space, if smoke occurs due to a fire, the inside of the cooking chamber 230 of the cooking appliance 100 will be filled with smoke. Therefore, when smoke occurs due to a fire, almost the entire area of the captured image changes to a color close to the smoke-related color.
  • the cooking appliance 100 detects smoke using a plurality of monitoring areas, and when the similarity to the smoke-related color in the plurality of monitoring areas of a predetermined ratio or more is higher than a second reference value, it may be determined that smoke has been detected.
  • the cooking appliance 100 determines whether a flame has been detected by additionally considering the color distribution 820 of the monitoring area corresponding to the flame-related color.
  • the flame is visible sporadically.
  • the cooking appliance 100 detects a flame using a plurality of monitoring areas, and when the similarity to the flame-related color is detected to be higher than the first reference value in more than the standard number of the plurality of monitoring areas, it determines that a flame has been detected.
  • the standard number may be 1 or may correspond to a number greater than 1.
  • Figure 9 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 100 includes a processor 210, a camera 220, a cooking chamber 230, a memory 240, an output interface 250, a temperature sensor 910, and a heating module. It may include (920). In FIG. 9 , the description will focus on differences from the cooking appliance 100 shown in FIG. 2 .
  • the temperature sensor 910 detects the temperature of the cooking chamber 230 of the cooking appliance 100.
  • the temperature sensor 910 measures temperature and converts it into an electrical signal.
  • the temperature sensor 910 may be placed inside the cooking chamber 230.
  • the temperature sensor 910 outputs the measured temperature detection value to the processor 210.
  • the heating module 920 controls the temperature inside the cooking chamber 230.
  • the heating module 920 may include an electric heater or a gas burner.
  • the processor 210 controls the temperature inside the cooking chamber 230 to a set temperature by controlling the heating module 920. Based on the temperature detection value detected by the temperature sensor 910, the processor 210 increases the temperature inside the cooking chamber 230 using the heating module 920 or stops heating the heating module 920. .
  • the processor 210 determines the fire risk based on the temperature detection value.
  • the processor 210 may re-determine and verify the fire risk by additionally considering the temperature detection value.
  • the processor 210 determines whether the temperature detection value exceeds the reference temperature.
  • the reference temperature is a predetermined value.
  • the reference temperature may change depending on the cooking progress time.
  • the cooking device 100 controls the temperature inside the cooking chamber 230 by controlling the heating module 920 according to a predetermined cooking process.
  • the cooking appliance 100 determines that there is a risk of fire when the temperature detection value is higher than the target temperature for temperature control.
  • the reference temperature may be set to a value higher than the target temperature of temperature control.
  • the cooking process may be determined based on detection of one or more ingredients or user input indicating the item to be cooked.
  • the reference temperature may vary depending on the food ingredients used in the cooking process.
  • the reference temperature may be set differently depending on the ignition point of the food ingredient. For example, the reference temperature may be set low for ingredients with a low ignition point, and the reference temperature may be set high for ingredients with a high ignition point.
  • Figure 10 is a flowchart showing a process for detecting a fire risk based on a captured image and a temperature detection value, according to an embodiment of the present disclosure.
  • the cooking appliance 100 when the cooking appliance 100 detects a fire risk based on the captured image in step S404, it acquires a temperature detection value from the temperature sensor 910 in step S1002.
  • the temperature sensor 910 detects the temperature inside the cooking chamber 230 and generates a temperature detection value.
  • step S1004 the cooking appliance 100 determines whether the obtained temperature detection value is equal to or higher than the reference temperature. If the temperature detection value is higher than the reference temperature, the cooking appliance 100 determines that there is a risk of fire in step S1006. If the temperature detection value is less than the reference temperature, the cooking appliance 100 returns to step S402 and acquires the next captured image.
  • Figure 11 is a diagram illustrating a process for recognizing food ingredients from a captured image and determining a monitoring area, according to an embodiment of the present disclosure.
  • the cooking appliance 100 recognizes ingredients from the captured image 1110 and determines a monitoring area according to the ingredient recognition results.
  • the cooking appliance 100 recognizes ingredients from the captured image 1110 (1120).
  • the cooking appliance 100 may perform object recognition processing on the captured image 1110 to recognize ingredients.
  • the cooking appliance 100 may perform an ingredient recognition operation to recognize at least one of the type of ingredient, the color of the ingredient, the location of the ingredient, or the edge of the ingredient.
  • the cooking appliance 100 may recognize ingredients from the captured image 1110 and generate an ingredient recognition result 1122.
  • the captured image 1110 is an image captured inside the cooking chamber 230 while pizza is being cooked.
  • the cooking device 100 recognized ingredients from the captured image 1110 and recognized green peppers, mushrooms, dough, flour, and olives. Additionally, the cooking appliance 100 recognizes the finishing material or tray of the cooking chamber 230. In the example of FIG. 11 , the cooking appliance 100 recognizes the oven tray from the captured image 1110.
  • Figure 12 is a diagram showing a configuration for recognizing food ingredients using a machine learning model according to an embodiment of the present disclosure.
  • the cooking appliance 100 may recognize ingredient information and the location of ingredients from the captured image 1110 using the machine learning model 1210.
  • Food ingredient information includes the type of ingredient and the color of the ingredient.
  • the location of the food material indicates an area corresponding to the food material in the captured image 1110.
  • the location of the food ingredient may include edge information corresponding to the food ingredient.
  • the machine learning model 1210 is a model machine-learned using training data that includes a plurality of captured images as input data and a plurality of food ingredient information and a plurality of food ingredient positions as output data.
  • the machine learning model 1210 is a Convolutional Neural Network (CNN), Region-based Convolutional Neural Network (R-CNN), You only Look Once (YOLO), or Single Shot Detector (SSD), or a method by those skilled in the art. Algorithms such as other neural network models known to others can be used.
  • the cooking appliance 100 can use the machine learning model 1210 in an on-device manner.
  • the memory 240 stores instructions of the machine learning model 1210, and the processor 210 executes the instructions of the machine learning model 1210 stored in the memory 240 to execute the machine learning model 1210. .
  • the cooking device 100 may obtain food ingredient recognition results using a machine learning model 1210 executed on an external server (not shown).
  • the cooking device 100 may transmit the captured image 1110 to an external server and request food ingredient recognition.
  • the external server can input the captured image 1110 into the machine learning model 1210 to obtain food ingredient information and the location of the ingredients.
  • the external server may transmit the acquired food ingredient information and food ingredient location to the cooking device 100.
  • the cooking appliance 100 calculates the color similarity with the fire-related color based on the type of food ingredient and the color of the food ingredient recognized from the captured image 1110 (1130). As previously described with reference to FIG. 7, color similarity can be calculated based on the distance between the coordinate area of the fire-related color and the color coordinate of the color of the recognized food ingredient in the color space.
  • the cooking appliance 100 calculates the color similarity between the color of the recognized food ingredient and the smoke-related color. Additionally, the cooking appliance 100 calculates the color similarity between the color of the recognized food ingredient and the flame-related color.
  • the cooking appliance 100 calculates color similarity and generates a color similarity calculation result 1132.
  • the color similarity calculation result 1132 may be defined as low, similar to smoke, very similar to smoke, similar to flames, very similar to flames, or other appropriate similarity categories.
  • the cooking appliance 100 selects a monitoring area based on the color similarity calculation result (1132) (1140).
  • the cooking appliance 100 selects an ingredient area with low color similarity as the monitoring area.
  • the cooking appliance 100 may select a food material area that has low similarity to both the flame-related color and the smoke-related color as the monitoring area.
  • the cooking appliance 100 may select areas corresponding to bell peppers, olives, and oven trays that have low similarity to fire-related colors as the monitoring area.
  • the cooking appliance 100 selects a food material area with low color similarity to smoke-related colors as the smoke monitoring area, and selects a food material area with low color similarity to flame-related colors as the flame monitoring area.
  • the cooking appliance 100 may select areas corresponding to bell peppers, olives, and oven trays that have low similarity to smoke-related colors as the smoke monitoring area.
  • the cooking appliance 100 may select areas corresponding to bell peppers, mushrooms, dough, flour, olives, and oven trays that have low similarity to flame-related colors as the flame monitoring area.
  • the cooking appliance 100 may set all areas corresponding to the food ingredients selected as the monitoring area as the monitoring area. In this case, all pixels corresponding to the food ingredients selected as the monitoring area are set as the monitoring area.
  • the cooking appliance 100 may set a partial area corresponding to the food ingredient selected as the monitoring area as the monitoring area.
  • the cooking appliance 100 may set a rectangular block including some pixels among pixels corresponding to bell peppers as the monitoring area.
  • the cooking appliance 100 may set pixels in the center area of each green pepper, excluding the edge area, among the pixels corresponding to the bell peppers as the monitoring area.
  • the monitoring area may be of any suitable shape other than a rectangular block.
  • Figure 13 is a diagram showing a monitoring area set according to an embodiment of the present disclosure.
  • the cooking appliance 100 defines a pixel area corresponding to a fire-related color and food ingredients with low color similarity as a monitoring area.
  • the cooking appliance 100 may create a mask in which pixels corresponding to the monitoring area have a value of 1 and the remaining pixels have a value of 0.
  • the cooking appliance 100 can extract the monitoring area using a mask.
  • a mask for the smoke monitoring area and a mask for the flame monitoring area may be created separately.
  • the cooking appliance 100 may determine the monitoring area before starting the cooking operation and create a mask corresponding to the monitoring area.
  • the cooking appliance 100 stores a mask corresponding to the monitoring area in the memory 240 and extracts color data of the monitoring area using the mask.
  • Figure 14 is a diagram illustrating a process of applying one or more weights to a monitoring area according to an embodiment of the present disclosure.
  • the cooking appliance 100 recognizes food ingredients (1120), calculates the color similarity between the recognized food ingredients and fire-related colors (1130), and weights each pixel area based on the color similarity. can be applied.
  • the cooking appliance 100 recognizes ingredients from the captured image 1110 (1120).
  • the cooking appliance 100 may perform object recognition processing on the captured image 1110 to recognize ingredients.
  • the cooking appliance 100 may perform an ingredient recognition operation to recognize the type of ingredient, the color of the ingredient, the location of the ingredient, and the edge of the ingredient.
  • the cooking appliance 100 may recognize ingredients from the captured image 1110 and generate an ingredient recognition result 1122.
  • the cooking appliance 100 calculates the color similarity with the fire-related color based on the type of food ingredient and the color of the food ingredient recognized from the captured image 1110 (1130). As previously described with reference to FIG. 7, color similarity can be calculated based on the distance between the coordinate area of the fire-related color and the color coordinate of the color of the recognized food ingredient in the color space.
  • the cooking appliance 100 calculates the color similarity between the color of the recognized food ingredient and the smoke-related color. Additionally, the cooking appliance 100 calculates the color similarity between the color of the recognized food ingredient and the flame-related color.
  • the cooking appliance 100 calculates color similarity and generates a color similarity calculation result 1132.
  • the color similarity calculation result 1132 may be defined as low, similar to smoke, very similar to smoke, similar to flame, very similar to flame, or other appropriate color similarity category.
  • the cooking appliance 100 determines the weight of each pixel area based on the color similarity calculation result (1132) (1410).
  • the cooking appliance 100 may assign a high weight to ingredients with low color similarity and a low weight to ingredients with high color similarity in the color similarity calculation result 1132.
  • the cooking appliance 100 may generate a weight map according to color similarity and obtain a fire-related index related to color similarity based on the weight map.
  • the cooking appliance 100 determines the color similarity between the color data of each pixel of the captured image 1110 and the fire-related color.
  • the cooking appliance 100 applies a weight to the similarity value of each pixel.
  • the cooking appliance 100 may apply weight by multiplying the color similarity value of each pixel by the weight map.
  • the cooking appliance 100 may define the sum of the weighted values of the color similarity values of each pixel as a fire-related index. When the fire-related index is greater than or equal to the reference value, the cooking appliance 100 determines that a fire risk has been detected.
  • bell peppers, olives, and oven trays are judged to have low color similarity and are given high weights. Additionally, mushrooms are judged to have a high color similarity to smoke, so they are given a low weight. In addition, dough and flour are judged to have a very high color similarity to smoke, so the weight is defined as the lowest value. The lowest value of the weight may be 0, for example.
  • the cooking appliance 100 may set the flame weight for the flame-related color and the smoke weight for the smoke-related color to be different from each other.
  • the cooking appliance 100 calculates the similarity with the flame-related color and calculates the flame weight based on the similarity with the flame-related color.
  • the cooking appliance 100 may assign a high weight to ingredients with low color similarity and a low weight to ingredients with high color similarity in the similarity calculation results for flame-related colors.
  • the cooking appliance 100 may generate a flame weight map according to color similarity, and obtain a flame-related index related to color similarity to the flame based on the flame weight map.
  • the cooking device 100 determines the color similarity between the color data of each pixel of the captured image 1110 and the flame-related color.
  • the cooking device 100 applies a flame weight to the color similarity value of each pixel.
  • the cooking appliance 100 may apply a flame weight by multiplying the color similarity value of each pixel by a flame weight map.
  • the cooking appliance 100 may define the sum of the flame weight applied to the color similarity value of each pixel as a flame-related index. When the flame-related index is greater than or equal to the reference value, the cooking appliance 100 determines that a fire risk has been detected.
  • the cooking appliance 100 calculates the similarity with the smoke-related color and calculates the smoke weight based on the similarity with the smoke-related color.
  • the cooking appliance 100 may assign a high weight to ingredients with low color similarity and a low weight to ingredients with high color similarity in the similarity calculation results for smoke-related colors.
  • the cooking appliance 100 may generate a smoke weight map based on color similarity and obtain a smoke-related index related to color similarity to smoke based on the smoke weight map.
  • the cooking device 100 determines the color similarity between the color data of each pixel of the captured image 1110 and the smoke-related color.
  • the cooking appliance 100 applies a smoke weight to the color similarity value of each pixel.
  • the cooking appliance 100 may apply the smoke weight by multiplying the color similarity value of each pixel by the smoke weight map.
  • the cooking appliance 100 may define the sum of the color similarity value of each pixel with a smoke weight applied as a smoke-related index. When the smoke-related index is greater than or equal to the reference value, the cooking appliance 100 determines that a fire risk has been detected.
  • Figure 15 is a diagram illustrating a process for selecting a monitoring area according to an embodiment of the present disclosure.
  • the cooking appliance 100 may select a monitoring area in consideration of changes in the color of food ingredients during the cooking process.
  • the color of food ingredients may change as they ripen during the cooking process.
  • beef or pork may have a red color before cooking, but may change to a color close to white when cooked by the cooking device 100.
  • the beef or pork will have a color with a high color similarity to the smoke when cooked. Therefore, even if the color similarity to the fire-related color before cooking is low, the cooking device 100 may not select it as a monitoring area if the color similarity to the fire-related color is high after cooking, resulting in false detection of smoke or fire risk. Reduces risk.
  • the cooking appliance 100 identifies the type of food ingredient from the captured image. As described above, the cooking appliance 100 can identify the type of food ingredient from the captured image using an object recognition algorithm. Additionally, the cooking appliance 100 can identify the type of food ingredient from a captured image using a machine learning model.
  • the cooking appliance 100 may perform steps S1504, S1506, S1508, and S1510 for each type of food ingredient.
  • step S1504 the cooking appliance 100 determines whether the color similarity between the recognized food ingredients and the fire-related color is greater than or equal to a reference value. According to one embodiment, the cooking appliance 100 may calculate color similarity between flame-related colors and color data of the food ingredient area of the captured image. Additionally, according to one embodiment, the cooking appliance 100 may calculate color similarity between smoke-related color and color data of the food ingredient area of the captured image.
  • the cooking appliance 100 does not select the corresponding food material area as the monitoring area in step S1508.
  • the cooking appliance 100 determines in step S1506 whether the color similarity of the corresponding food ingredient to the fire-related color changes significantly during the cooking process. For example, in the case of beef or pork, the color similarity to fire-related colors is low before cooking begins, but after cooking, the similarity to smoke-related colors is high.
  • the cooking device 100 may store in advance information about fire-related colors and food ingredients whose color similarity changes significantly during the cooking process. For example, the cooking device 100 stores information about food ingredients whose flame-related color and color similarity change highly during the cooking process, and information about food ingredients whose smoke-related color and color similarity changes highly during the cooking process (240). ) can be saved in .
  • the cooking device 100 uses the information stored in the memory 240 to determine whether the food ingredient is one whose color similarity to the fire-related color changes significantly during the cooking process.
  • step S1506 If it is determined in step S1506 that the color similarity to the fire-related color of the food ingredient changes significantly during the cooking process, the cooking appliance 100 does not select the area corresponding to the food ingredient as the monitoring area in step S1508. If it is determined in step S1506 that the color similarity to the fire-related color of the corresponding food material does not change significantly during the cooking process, the cooking appliance 100 selects the area corresponding to the food material as the monitoring area in step S1510.
  • the cooking appliance 100 generates a captured image by photographing the inside of the cooking chamber in step S402.
  • Figure 16 is a diagram showing the shrinkage of food ingredients according to an embodiment of the present disclosure.
  • the cooking appliance 100 may determine the monitoring area by considering shrinkage of the food ingredients.
  • Food ingredients may shrink during the cooking process as moisture escapes and the cooking process progresses.
  • meat shrinks during cooking.
  • the meat shrinks 1614 during the cooking process and moves from the first edge 1610 before cooking to the second edge 1612.
  • certain plants, such as spinach shrink during the cooking process.
  • Embodiments of the present disclosure determine a monitoring area by considering changes in food ingredients during the cooking process.
  • the cooking device 100 monitors the area of the food except for the edge area of the food in the monitoring area.
  • the monitoring area can be determined as the center.
  • Figure 17 is a diagram illustrating a process for determining a monitoring area by considering shrinkage of food ingredients according to an embodiment of the present disclosure.
  • the cooking appliance 100 identifies the type of food ingredient from the captured image. As described above, the cooking appliance 100 can identify the type of food ingredient from the captured image using an object recognition algorithm. Additionally, the cooking appliance 100 can identify the type of food ingredient from a captured image using a machine learning model.
  • the cooking appliance 100 may perform steps S1504, S1702, S1704, S1706, and S1708 for each type of food ingredient.
  • step S1504 the cooking appliance 100 determines whether the color similarity between the recognized food ingredients and the fire-related color is greater than or equal to a reference value. According to one embodiment, the cooking appliance 100 may calculate color similarity between flame-related colors and color data of the food ingredient area of the captured image. Additionally, according to one embodiment, the cooking appliance 100 may calculate color similarity between smoke-related color and color data of the food ingredient area of the captured image.
  • the cooking appliance 100 does not select the corresponding food material area as the monitoring area in step S1708.
  • the cooking appliance 100 determines whether the identified food ingredient shrinks during the cooking process in step S1506. For example, in the case of meat or vegetables, shrinkage occurs as the ingredients cook during the cooking process.
  • the cooking appliance 100 may store information in advance about ingredients that shrink during the cooking process.
  • the cooking device 100 stores information about food ingredients that cause shrinkage in the memory 240, and uses the information stored in the memory 240 to determine whether the food ingredients are ingredients that cause shrinkage during the cooking process. Determine whether or not
  • the cooking appliance 100 excludes the edge area from the area corresponding to the food material and selects the center of the food material area as the monitoring area in step S1704. Referring to FIG. 16, a specific example of selecting a monitoring area of food ingredients that shrink during cooking will be described. If the food material is expected to shrink from the first edge 1610 to the second edge 1614 during the cooking process, the cooking device 100 monitors the edge area between the first edge 1610 and the second edge 1614. Excluding the area, the center inside the second edge 1614 is set as the monitoring area.
  • the cooking appliance 100 may store information about the shrinkage ratio in advance in the case of food ingredients that shrink.
  • the cooking appliance 100 may store in advance information about the shrinkage rate of food ingredients in which shrinkage occurs in three levels: high, medium, and low.
  • the number of categories can be set to an appropriate number.
  • the cooking appliance 100 may adjust the edge area excluded from the monitoring area among the food material areas according to the shrinkage ratio.
  • the shrinkage ratio of the cooking appliance is high, the ratio of the edge area among the entire food material area is set high as the first ratio.
  • the shrinkage ratio is medium, the cooking appliance sets the ratio of the edge area among the entire food material area to the middle as the second ratio.
  • the shrinkage ratio of the cooking appliance is low, the ratio of the edge area among the entire food material area is set to a lower third ratio.
  • the first ratio, second ratio, and third ratio can be specified in advance.
  • the cooking appliance 100 determines that the food material does not shrink during the cooking process in step S1506, it selects the entire food material area as the monitoring area in step S1706.
  • the monitoring area can be set excluding the edge area of the food material area.
  • the edge area set in step S1706 may be set narrower than the edge area excluded for food ingredients that cause shrinkage in step S1704.
  • the cooking appliance 100 generates a captured image by photographing the inside of the cooking chamber in step S402.
  • Figure 18 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 100 may obtain food ingredient information based on external input or user input.
  • the cooking appliance 100 may obtain food ingredient information through the communication module 1810 or the input interface 1820.
  • the cooking appliance 100 includes a processor 210, a camera 220, a cooking chamber 230, a memory 240, an output interface 250, a communication module 1810, and an input interface. (1820).
  • a processor 210 the description will focus on differences from the cooking appliance 100 shown in FIG. 2 .
  • the communication module 1810 can communicate with external devices such as servers, mobile devices, and user devices by wire or wirelessly.
  • the communication module 1810 can connect to an Access Point (AP) device and transmit and receive Wi-Fi signals.
  • AP Access Point
  • the processor 210 may control the transmission and reception operations of the communication module 1810.
  • the communication module 1810 may be a wireless communication module (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (e.g., a local area network (LAN) communication module, or a power line). communication module).
  • the communication module 1810 can perform short-range communication, for example, Bluetooth, BLE (Bluetooth Low Energy), Near Field Communication, WLAN (Wi-Fi), Zigbee, infrared ( IrDA (infrared Data Association) communication, WFD (Wi-Fi Direct), UWB (ultrawideband), Ant+ communication, etc. can be used.
  • the communication module 1810 may perform long-distance communication, for example, through a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN). Can communicate with external devices.
  • a legacy cellular network for example, through a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a computer network e.g., LAN or WAN.
  • the communication module 1810 can use mobile communication and can transmit and receive wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the communication module 1810 is connected to an access repeater (AP) in the home through Wi-Fi communication.
  • the communication module 1810 can communicate with an external device through a connection repeater.
  • Input interface 1820 receives user input.
  • the input interface 1820 may include keys, a touch panel, a touch screen, a dial, and buttons.
  • Figure 19 is a diagram showing a cooking appliance, a user device, and a server according to an embodiment of the present disclosure.
  • the cooking appliance 100 communicates with the user device 1910 and the server 1920 through the communication module 1810.
  • the cooking appliance 100 may be connected to other home appliances, user devices 1910, or servers 1920 through a network (NET).
  • NET network
  • the server 1920 may manage user account information and information on the cooking appliance 100 connected to the user account. For example, a user may access the server 1920 through the user device 1910 and create a user account. A user account can be identified by an ID and password set by the user.
  • the server 1920 may register the cooking appliance 100 to the user account according to a set procedure. For example, the server 1920 may register the cooking appliance 100 by linking identification information (e.g., serial number or MAC address) of the cooking appliance 100 to a user account.
  • identification information e.g., serial number or MAC address
  • the user device 1910 includes a communication module capable of communicating with the cooking appliance 100 and the server 1920, a user interface that receives user input or outputs information to the user, and at least one device that controls the operation of the user device 1910. It may include a processor, and at least one memory storing a program for controlling the operation of the user device 1910.
  • the user device 1910 may be carried by the user or placed in the user's home or office.
  • the user device 1910 may include, for example, a personal computer, terminal, portable telephone, smart phone, handheld device, wearable device, etc. It may include, but is not limited to this.
  • a program (eg, an application) for controlling the cooking appliance 100 may be stored in the memory of the user device 1910.
  • the user device 1910 may be sold with an application for controlling the cooking appliance 100 installed, or may be sold without the application installed. If the user device 1910 is sold without an application for controlling the cooking appliance 100 installed, the user can download the application from an external server that provides the application and install it on the user device 1910.
  • the user can control the cooking appliance 100 using an application installed on the user device 1910.
  • an application installed on the user device 1910 For example, when a user executes an application installed on the user device 1910, identification information of the cooking appliance 100 connected to the same user account as the user device 1910 may appear in the application execution window. The user can perform desired control on the cooking appliance 100 through the application execution window.
  • the user device 1910 may transmit the control command directly to the cooking device 100 through the network or via the server 1920. Thus, a control command may be transmitted to the cooking appliance 100.
  • a network may include both wired and wireless networks.
  • a wired network includes a cable network or a telephone network, and a wireless network may include any network that transmits and receives signals through radio waves. Wired networks and wireless networks can be connected to each other.
  • a network includes a wide area network (WAN) such as the Internet, a local area network (LAN) formed around an access point (AP), and a short-range wireless network (wireless) that does not go through an access point.
  • WAN wide area network
  • LAN local area network
  • WLAN access point
  • WLAN short-range wireless network
  • WLAN personal area network
  • Short-range wireless networks include BluetoothTM (IEEE 802.15.1), Zigbee (IEEE 802.15.4), Wi-Fi Direct, NFC (Near Field Communication), Z-Wave, etc. It may include, but is not limited to this.
  • the access relay may connect a local area network (LAN) to which the cooking appliance 100 and the user device 1910 are connected to a wide area network (WAN) to which the server 1920 is connected.
  • LAN local area network
  • WAN wide area network
  • the cooking appliance 100 or the user device 1910 may be connected to the server 1930 through a wide area network (WAN).
  • WAN wide area network
  • the access repeater communicates with the cooking appliance 100 and the user device 1910 using wireless communication such as Wi-Fi (Wi-FiTM, IEEE 802.11), and communicates with the wide area network (WAN) using wired communication. You can access .
  • wireless communication such as Wi-Fi (Wi-FiTM, IEEE 802.11)
  • WAN wide area network
  • the cooking appliance 100 may transmit information about its operation or status to the server 1920 through a network (NET). For example, the cooking appliance 100 may transmit information about its operation or status to the server 1920 through Wi-FiTM (IEEE 802.11) communication. If the cooking appliance 100 is not equipped with a Wi-Fi communication module, the cooking appliance 100 may transmit information about operation or status to the server 1920 through another home appliance having a Wi-Fi communication module. For example, when the cooking appliance 100 transmits information about the operation or status to another home appliance through a short-range wireless network (e.g., Bluetooth Low Energy (BLE) communication), the other home appliance cooks with the server 1920. Information regarding the operation or status of the device 100 may be transmitted.
  • a short-range wireless network e.g., Bluetooth Low Energy (BLE) communication
  • the cooking appliance 100 may provide information about the operation or status of the cooking appliance 100 to the server 1920 according to the user's prior approval. Information transmission to the server 1920 may occur when a request is received from the server 1920, may occur when a specific event occurs in the cooking appliance 100, or may occur periodically or in real time.
  • the server 1920 may update information previously stored in relation to the cooking appliance 100.
  • the server 1920 may transmit information about the operation or status of the cooking appliance 100 to the user device 1910 through a network (NET).
  • NET network
  • the server 1920 may transmit information about the operation or status of the cooking appliance 100 to the user device 1910.
  • the server 1920 may transmit information about the operation or status of the cooking appliance 100 to the user device 1910 in real time.
  • the server 1920 when the server 1920 receives information from the cooking device 100 that the operation of the cooking device 100 has been completed, the operation of the cooking device 100 is completed through an application installed on the user device 1910.
  • the information that it has been completed can be delivered to the user device (1910) in real time.
  • the server 1920 may periodically transmit information about the operation or status of the cooking appliance 100 to the user device 1910.
  • the user device 1910 may convey information about the operation or status of the cooking appliance 100 to the user by displaying information about the operation or status of the cooking appliance 100 in the application execution window.
  • the cooking appliance 100 may obtain various information from the server 1920 and provide the obtained information to the user.
  • the cooking appliance 100 may obtain information such as recipes and weather from the server 1920 and output the obtained information through the output interface 250.
  • the cooking appliance 100 receives a file for updating pre-installed software or data related to the pre-installed software from the server 1920, and updates the pre-installed software or data related to the pre-installed software based on the received file. can do.
  • the cooking appliance 100 may operate according to control commands received from the server 1920. For example, if the cooking appliance 100 obtains prior approval from the user to operate according to the control command of the server 1920 even without user input, the cooking appliance 100 may use the control received from the server 1920. It can operate according to commands. Control commands received from the server 1920 may include control commands input by the user through the user device 1920 or control commands generated by the server 1920 based on preset conditions, but are limited thereto. That is not the case.
  • Figure 20 is a diagram illustrating a process for obtaining food ingredient information from a user device according to an embodiment of the present disclosure.
  • the user device 1910 may store and execute a first application for controlling the cooking appliance 100.
  • the first application performs various operations such as controlling the cooking device 100, providing recipe information, and inputting ingredient information.
  • the user device 1910 may receive ingredient information through the first application and transmit the ingredient information to the cooking device 100.
  • the first application may run on the user device 1910 and operate in conjunction with the server 1920.
  • the first application performs information input and output operations, data processing operations, etc. through the user device 1910, and communicates with the cooking appliance 100 and information search operations through the server 1920. It can be done. Accordingly, in the present disclosure, the operation performed by the first application may be performed by the user device 1910 or the server 1920.
  • the user device 1910 provides recipe information through the first application.
  • Recipe information includes information on ingredients for the recipe (2012).
  • the first application inquires whether to proceed with cooking in the cooking device 100 using the corresponding recipe in step 2020.
  • the user device (1910) transmits the ingredient information (2012) included in the recipe to the cooking device (100). do.
  • the user device 1910 transmits food ingredient information to the cooking device 100 through the server 1920.
  • the user device 1910 may transmit recipe information selected by the user to the cooking device 100.
  • the first application may transmit a control signal for controlling the operation of the cooking appliance 100 to the cooking appliance 100 according to recipe information selected by the user.
  • the cooking appliance 100 may set a cooking operation based on recipe information received from the first application. For example, the cooking appliance 100 may perform operations such as temperature setting, cooking time setting, blowing, and steaming, based on recipe information.
  • the user device 1910 may directly receive food ingredient information from the user through the first application.
  • the first application may provide a menu where the user can directly specify ingredients without selecting recipe information.
  • the first application transmits the ingredient information entered by the user to the cooking appliance 100.
  • Figure 21 is a diagram illustrating a process for obtaining food ingredient information from a user device according to an embodiment of the present disclosure.
  • the first application of the user device 1910 can capture information related to food ingredients using a camera and obtain food ingredient information from the captured image.
  • the first application may obtain food ingredient information using a visual code such as a barcode or QR code.
  • the first application may provide a visual code capture menu 2112 that obtains meal kit or convenience meal information using a visual code.
  • the first application executes a shooting mode in which the visual code 2122 can be captured with a camera in step 2120.
  • the first application recognizes a visual code from a captured image captured by a camera.
  • the first application obtains meal kit/convenience meal information corresponding to the recognized visual code.
  • Meal kit/convenience meal information may include recipes, ingredient information, or other appropriate information about the food or cooking process.
  • the first application may request meal kit/convenience meal information corresponding to the visual code from the server 1920 and receive meal kit/convenience meal information corresponding to the visual code from the server 1920. Additionally, according to one embodiment, the first application stores meal kit/convenience meal information corresponding to the visual code in the memory of the user device 1910. The first application uses the meal kit/convenience meal information stored in the user device 1910 to obtain meal kit/convenience meal information corresponding to the visual code.
  • the first application transmits meal kit/convenience meal information to the cooking device 100. If the user requests to transmit the meal kit/convenience meal information to the cooking device 100, the first application may transmit the meal kit/convenience meal information to the cooking device 100. The first application transmits recipe information and ingredient information included in the meal kit/convenience meal information to the cooking device 100.
  • the first application may transmit meal kit/convenience meal information to the cooking device 100 and transmit a control signal for controlling the operation of the cooking device 100 according to the meal kit/convenience meal information to the cooking device 100.
  • the cooking device 100 may set a cooking operation based on recipe information included in the meal kit/convenience meal information received from the user device 1910. For example, the cooking device 100 may perform operations such as temperature setting, cooking time setting, blowing, steaming, etc. based on recipe information included in the meal kit/convenient meal information.
  • Figure 22 is a diagram illustrating a process of receiving food ingredient information through an input interface of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 100 may obtain food ingredient information through the input interface 1820 of the cooking appliance 100.
  • step 2210 the cooking appliance 100 provides a menu for inputting ingredient information before starting the cooking operation.
  • the display 252 of the output interface 250 outputs a message to select food ingredients.
  • the cooking appliance 100 receives a user input for selecting food ingredients.
  • the input interface 1820 includes a dial 1822, and the user can select one of a plurality of candidate food ingredients by rotating the dial 1822 (2222).
  • the display 252 of the output interface 250 outputs information on the currently selected food ingredient.
  • the cooking device 100 completes inputting ingredients and obtains ingredient information.
  • the cooking appliance 100 may set a monitoring area from a captured image based on food ingredient information obtained according to a user input.
  • the display 252 of the output interface 250 outputs a message indicating that the selection of food ingredients has been completed.
  • FIG. 23 is a diagram illustrating a process of setting a monitoring area based on color data of a captured image according to an embodiment of the present disclosure.
  • the cooking appliance 100 determines the monitoring area based on color data of a captured image without recognizing ingredients.
  • the cooking appliance 100 identifies color data of each pixel from the captured image 2310.
  • the cooking appliance 100 may identify color data for each pixel and determine similarity to fire-related colors.
  • the cooking appliance 100 may identify color data for each area including a plurality of pixels and determine similarity to fire-related colors.
  • the cooking appliance 100 can identify color data in units of 3*3 blocks and determine similarity to fire-related colors.
  • this disclosure focuses on an embodiment in which the cooking appliance 100 identifies color data for each pixel and determines similarity to fire-related colors. However, this is for convenience of explanation, and the present disclosure does not exclude embodiments in which color data is identified for each area including a plurality of pixels and similarity to fire-related colors is determined.
  • the cooking appliance 100 determines the similarity of the color data of each pixel to a fire-related color.
  • the cooking appliance 100 may calculate the similarity with flame-related colors and the similarity with smoke-related colors for the color data of each pixel, respectively.
  • the example in Figure 23 corresponds to the case where the food ingredient is raw chicken.
  • the first area 2312 of the raw chicken is an area corresponding to skin color, and it was determined that the flame-related color similarity was low and the smoke-related color similarity was high.
  • the second area 2314 is a raw chicken area corresponding to red, and was judged to have high color similarity related to flames and low color similarity related to smoke.
  • the third area 2316 is a black area corresponding to the tray of the cooking device 100, and was determined to have low flame-related color similarity and low smoke-related color similarity.
  • the cooking appliance 100 selects a monitoring area based on flame-related color similarity and smoke-related color similarity.
  • the cooking appliance 100 sets pixels with low flame-related color similarity and high smoke-related color similarity as the flame monitoring area.
  • the cooking appliance 100 sets pixels with high flame-related color similarity and low smoke-related color similarity as the smoke monitoring area.
  • the cooking appliance 100 sets pixels with low flame-related color similarity and low smoke-related color similarity as the flame monitoring area and the smoke monitoring area.
  • the cooking appliance 100 selects some or all of the areas selected as the flame monitoring area as the flame monitoring area.
  • the cooking appliance 100 selects the flame monitoring area at predetermined intervals within pixels selected as the flame monitoring area.
  • the cooking appliance 100 selects the flame monitoring area to include pixels of different colors.
  • the cooking appliance 100 may divide the pixels of the flame monitoring area into a plurality of color groups and select at least one flame monitoring area for each of the plurality of color groups.
  • the cooking appliance 100 selects some or all of the areas selected as the smoke monitoring area as the smoke monitoring area.
  • the cooking appliance 100 when selecting part of the smoke monitoring area, the cooking appliance 100 selects the smoke monitoring area at predetermined intervals within pixels selected as the smoke monitoring area.
  • the cooking appliance 100 selects the smoke monitoring area to include pixels of different colors.
  • the cooking appliance 100 may divide the pixels of the smoke monitoring area into a plurality of color groups and select at least one smoke monitoring area for each of the plurality of color groups.
  • Figure 24 is a diagram showing a process for detecting a fire risk according to an embodiment of the present disclosure.
  • the cooking appliance 100 selects a monitoring area based on the color data of the captured image 2310 without obtaining food ingredient information
  • the cooking appliance 100 selects the monitoring area in the process of detecting a fire risk. It can be moved. If the cooking device 100 does not acquire food ingredient information, the cooking device 100 has no information about how the color data of the food ingredient changes during cooking. Additionally, if the cooking appliance 100 does not obtain food ingredient information, the cooking appliance 100 cannot predict the change in shape, contraction, or expansion of the food ingredient during cooking.
  • the cooking appliance 100 moves the monitoring area and monitors the fire-related color once again.
  • step S2402 the cooking appliance 100 determines whether there is a pixel with high similarity to a fire-related color in the monitoring area 2410.
  • the cooking appliance 100 determines whether the color data of each pixel in the monitoring area 2410 has a similarity to the flame-related color or smoke-related color greater than or equal to a reference value.
  • step S2402 If it is determined in step S2402 that the similarity between the color data of the monitoring area 2310 and the fire-related color is less than the reference value, the cooking appliance 100 performs step S2402 using the next captured image.
  • step S2402 If a color with high similarity to a fire-related color is detected in step S2402, the cooking appliance 100 moves the monitoring area in step S2404.
  • the cooking appliance 100 selects a new monitoring area by selecting a pixel with a color that has low similarity to a fire-related color.
  • the cooking appliance 100 changes the monitoring area from the existing monitoring area 2410 to the new monitoring area 2412 (2414).
  • the cooking appliance 100 selects an area with low color similarity to the flame-related color as the new monitoring area 2412. If the existing monitoring area 2410 is a smoke monitoring area, the cooking appliance 100 selects an area with low color similarity to the smoke-related color as the new monitoring area 2412.
  • step S2406 the cooking appliance 100 determines whether the color data of the new monitoring area 2412 changes in similarity to the fire-related color by more than a reference value. When the similarity of the color data of the new monitoring area 2412 to the fire-related color is changed to more than the reference value, the cooking appliance 100 determines that a fire risk has been detected in step S2408.
  • step S2406 If it is determined in step S2406 that the color data of the new monitoring area 2412 has a similarity to the fire-related color less than the reference value, the cooking appliance 100 performs step S2406 using the next captured image.
  • FIG. 25 is a diagram illustrating a process for detecting a fire risk based on a change in color around an edge and a change in edge shape according to an embodiment of the present disclosure.
  • the cooking appliance 100 when a fire-related color is detected based on the color data of the captured image 2310, the cooking appliance 100 changes the color around the edge and the shape of the edge based on the characteristics of the flame or smoke. Fire risk is detected by further determining whether changes correspond to fire characteristics.
  • Figure 25 is an example of a case where a flame is detected in the monitoring area 2510.
  • step S2502 the cooking appliance 100 determines whether there is a pixel with high similarity to a fire-related color in the monitoring area 2510. The cooking appliance 100 determines whether the color data of each pixel in the monitoring area 2510 has a similarity to the flame-related color or smoke-related color greater than or equal to a reference value.
  • step S2502 If it is determined in step S2502 that the similarity between the color data of the monitoring area 2510 and the fire-related color is less than the reference value, the cooking appliance 100 performs step S2502 using the next captured image.
  • step S2502 If it is determined in step S2502 that the color data of the monitoring area 2510 has a similarity to the fire-related color greater than or equal to the reference value, the cooking appliance 100 detects a change in color or shape of the edge around the edge in step S2504.
  • the cooking appliance 100 when the cooking appliance 100 detects a monitoring area 2510 in which the color similarity to a flame-related color is greater than or equal to a reference value, the cooking appliance 100 changes the shape of the area having a color with a high similarity to the flame-related color. monitor.
  • the cooking appliance 100 monitors the color change around the edge of the food ingredient when a monitoring area 2510 in which the color similarity to the smoke-related color is greater than or equal to a reference value is detected in the monitoring area 2510.
  • step S2506 the cooking appliance 100 determines whether a change in color around the edge or a change in edge shape corresponds to a fire specification.
  • the cooking appliance 100 determines whether a change in the shape of an area in the monitoring area 2510 with a color highly similar to a flame-related color corresponds to a flame. When the shape change corresponds to a flame, the cooking appliance 100 determines that the edge shape change in the monitoring area 2510 corresponds to the fire characteristic.
  • the cooking appliance 100 determines whether the color has changed uniformly around the edge of the food ingredient. When the color changes uniformly around the edge, the cooking appliance 100 determines that the color change around the edge corresponds to a fire.
  • step S2506 If it is determined in step S2506 that the cooking device 100 corresponds to a fire characteristic, the cooking appliance 100 determines that a fire hazard has been detected in step S2508. If it is determined in step S2506 that it does not correspond to the fire characteristics, the cooking appliance 100 performs step S2502 using the next captured image.
  • Figure 26 is a diagram showing a process for outputting a fire risk according to an embodiment of the present disclosure.
  • the cooking appliance 100 when the cooking appliance 100 detects a fire risk, it outputs the fire risk through the output interface 250.
  • the cooking appliance 100 may display a fire risk message through the display.
  • the cooking appliance 100 may output a fire danger message as an audio signal through a speaker.
  • the fire risk notification may include at least one of information that a fire risk has been detected, a type of fire risk, response guide information, or cooking appliance operation change information.
  • the type of fire hazard may include information such as smoke detection, flame detection, or temperature spikes, for example.
  • Response guide information may include, for example, a door opening request, a power-off request, or a no-contact request.
  • Cooking device operation change information may include, for example, information such as unlocking the door, stopping the cooking operation, automatically turning off the power, or discharging steam in the cooking chamber.
  • the cooking appliance 100 outputs information that a fire hazard has occurred. For example, the cooking appliance 100 displays a message indicating that a fire hazard has occurred through the display 252 of the output interface 250. Additionally, the cooking appliance 100 may output a fire danger warning sound or a fire danger voice message through the speaker of the output interface 250.
  • the cooking appliance 100 outputs the type of fire hazard. For example, the cooking appliance 100 displays a message that a flame has been detected or a message that smoke has been detected through the display 252 of the output interface 250. Additionally, the cooking appliance 100 outputs a voice message indicating that a flame has been detected or a voice message indicating that smoke has been detected through the speaker of the output interface 250.
  • the cooking appliance 100 outputs cooking appliance operation change information regarding fire risk. For example, the cooking appliance 100 displays a message that the door is unlocked, a message that cooking is stopped, a message that the power is turned off, etc. through the display 252 of the output interface 250. Additionally, the cooking appliance 100 outputs a voice message indicating that the door is unlocked, a voice message indicating that cooking is to be stopped, and a voice message indicating that the power is turned off, through the speaker of the output interface 250.
  • Operations 2610, 2620, and 2630 may be performed sequentially or non-sequentially. Additionally, the cooking appliance 100 may perform at least one of operations 2610, 2620, and 2630, or a combination thereof.
  • FIG. 27 is a diagram illustrating a process for outputting a fire risk through a user device according to an embodiment of the present disclosure.
  • the cooking appliance 100 when a fire risk is detected, the cooking appliance 100 outputs fire risk information through an external device such as the user device 1910.
  • the cooking appliance 100 determines that a fire risk event has occurred.
  • the cooking appliance 100 generates fire risk information when a fire risk event occurs.
  • the fire risk information may include at least one of information that a fire risk has been detected, a type of fire risk, response guide information, or cooking device operation change information.
  • the cooking appliance 100 transmits fire risk information to the user device 1910.
  • the cooking device 100 provides the user with fire risk information, a request to print a fire risk notification, account information with which the cooking device 100 is registered, and identification information (e.g. MAC address, etc.) of the cooking device 100. It can be transmitted to the device 1910.
  • the cooking appliance 100 may communicate with the user device 1910 through the server 1920.
  • the cooking appliance 100 transmits fire risk information to the server 1920 through the communication module 1810.
  • the server 1920 transmits fire risk information to the user device 1910 registered to the same account as the cooking appliance 100.
  • the user device 1910 receives and outputs fire risk information.
  • the user device 1910 displays fire risk information 2720 through the first application.
  • the user device 1910 may display fire risk information 2720 through a pop-up message provided by the first application. Additionally, the user device 1910 may display fire risk information 2720 and output vibration or sound.
  • the first application may display real-time captured images of the inside of the galley 230 along with fire risk information 2720.
  • the cooking device 100 may transmit real-time captured images to the server 1920, and the server 1920 may stream the real-time captured images to the cooking device 100.
  • the first application may display a captured image 2710 in which a fire risk is detected.
  • the first application obtains a still image or moving image in which a fire hazard is detected from a captured image.
  • the first application may display a still image or video in which a fire risk is detected along with fire risk information 2720.
  • Figure 28 is a block diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 100 may circulate air inside the cooking chamber 230 or discharge steam into the cooking chamber 230.
  • the cooking appliance 100 may prevent fire by circulating air inside the cooking chamber 230 or discharging steam into the cooking chamber 230.
  • the cooking device 100 can prevent the inside of the cooking chamber 230 from being properly photographed due to smoke when the camera 220 takes pictures of the inside of the cooking chamber 230. To this end, when smoke is detected inside the cooking chamber 230, the cooking appliance 100 operates to remove the smoke to enable monitoring of the cooking chamber 230.
  • the cooking appliance 100 includes a processor 210, a camera 220, a cooking chamber 230, a memory 240, an output interface 250, a ventilation fan 2810, and a vapor exhaust. It may include a module 2820.
  • the description will focus on differences from the cooking appliance 100 shown in FIG. 2 .
  • the ventilation fan 2810 exhausts the air inside the cooking chamber 230 to the outside.
  • the ventilation fan 2810 includes fan blades, a motor, and a drive circuit that circulate air.
  • the ventilation fan 2810 may additionally include a predetermined filter.
  • the processor 210 outputs a driving signal for driving the ventilation fan 2810 to the ventilation fan 2810.
  • the ventilation fan 2810 operates under the control of the processor 210. Ventilation fan 2810 may operate at one or more levels of intensity.
  • the processor 210 may adjust the intensity of the ventilation fan 2810.
  • the steam exhaust module 2820 discharges steam into the cooking chamber 230.
  • the steam discharge module 2820 can generate steam by heating water using a heating device and discharge the steam into the cooking chamber 230.
  • the vapor exhaust module 2820 may emit vapor at one or more levels of intensity.
  • the processor 210 generates a control signal for controlling the vapor discharge module 2820 and outputs it to the vapor discharge module 2820.
  • the processor 210 may control the steam exhaust module 2820 to adjust the temperature or intensity of steam of the steam exhaust module 2820.
  • the processor 210 may operate the ventilation fan 2810 and the vapor exhaust module 2820 when a fire hazard is detected.
  • the processor 210 may output a message indicating that a fire hazard is detected and steam is discharged through the output interface 250 or the user device 1910.
  • the processor 210 may control the vapor emission module 2820 to stop discharging vapor if a fire hazard is not detected after a fire hazard is detected and vapor is discharged.
  • the processor 210 when a fire hazard is detected and the processor 210 operates the ventilation fan 2810, the processor 210 sends a message indicating that a fire hazard is detected and operates the ventilation fan 2810 through the output interface 250 or the user device 1910. Can be printed.
  • the processor 210 may control the ventilation fan 2810 to stop operating the ventilation fan 2810 if a fire risk is not detected after operating the ventilation fan 2810 when a fire risk is detected.
  • the processor 210 controls the steam discharge module 2820 to discharge steam into the cooking chamber 230.
  • the processor 210 may operate the ventilation fan 2810 when smoke is detected.
  • the processor 210 may adjust the intensity of the ventilation fan 2810 according to the intensity of smoke.
  • the processor 210 determines the concentration of smoke, and sets the intensity of the ventilation fan 2810 to high if it determines that the concentration of smoke is high, and sets the intensity of the ventilation fan 2810 to low if it determines that the concentration of smoke is low.
  • the processor 210 may determine the density of smoke based on the color data of the captured image.
  • the processor 210 determines that the smoke density is high when the similarity between the color data of the captured image and the smoke-related color is high.
  • the processor 210 determines that the smoke density is low when the similarity between the color data of the captured image and the smoke-related color is low.
  • the processor 210 when smoke is detected, discharges vapor through the vapor exhaust module 2820.
  • the processor 210 may adjust the amount of steam discharged from the steam exhaust module 2820 depending on the intensity of smoke.
  • the processor 210 may operate both the ventilation fan 2810 and the vapor exhaust module 2820 when smoke is detected.
  • the processor 210 may determine whether to operate only one or both of the ventilation fan 2810 and the vapor exhaust module 2820 depending on the concentration of smoke. For example, when smoke is detected, the processor 210 operates only the ventilation fan 2810 when the smoke concentration is low, and operates the ventilation fan 2810 and the vapor exhaust module 2820 together when the smoke concentration is high.
  • Figure 29 is a diagram illustrating a process for monitoring the cooking operation of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 100 transmits the captured image to the user device 1910.
  • the user device 1910 displays the captured image through the first application. Additionally, the first application provides information such as the operation mode and temperature of the cooking appliance 100.
  • the cooking appliance 100 when smoke is generated inside the cooking chamber 230 while the first application is monitoring the inside of the cooking chamber 230, the cooking appliance 100, the server 1920, or the user device 1910 Can control the cooking appliance 100 to remove smoke inside the cooking chamber 230. While the first application displays a captured image of the inside of the cooking chamber 230 of the cooking appliance 100 as in operation 2910, smoke may be generated inside the cooking chamber 230 as in operation 2920. In this case, according to an embodiment of the present disclosure, the cooking appliance 100 removes smoke from inside the cooking chamber 230 using the ventilation fan 2910 or the vapor exhaust module 2820. By removing the smoke, the first application can provide the captured image with the smoke removed, as in operation 2930.
  • the first application may have a menu that requests smoke removal from the cooking appliance 100. Upon receiving the smoke removal request, the first application transmits the smoke removal request to the cooking appliance 100. The cooking appliance 100 receives the smoke removal request and removes the smoke inside the cooking chamber 230 by controlling the ventilation fan 2810 or the vapor exhaust module 2820.
  • Figure 30 is a diagram showing the structure of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking appliance 3000 includes a sensor 3010, an output interface 3020, an input interface 3030, a memory 3040, a communication interface 3050, a cooking module 3060, and a camera ( 3070), a power module 3080, and a processor 3090.
  • the cooking appliance 3000 may be composed of various combinations of the components shown in FIG. 30, and not all of the components shown in FIG. 30 are essential.
  • the cooking appliance 3000 of FIG. 30 corresponds to the cooking appliance 100 described in FIGS. 2, 9, 18, and 28.
  • Camera 3070 corresponds to camera 220 described in FIG. 2.
  • Memory 3040 corresponds to memory 240 described in FIG. 2.
  • the communication module 3050 corresponds to the communication module 1810 described in FIG. 18.
  • the processor 3090 corresponds to the processor 210 described in FIG. 2.
  • the temperature sensor 3011 corresponds to the temperature sensor 910 described in FIG. 9.
  • the output interface 3020 corresponds to the output interface 250 described in FIG. 2.
  • the input interface 3030 corresponds to the input interface 1820 described in FIG. 18.
  • the cooking chamber 3061 corresponds to the cooking chamber 230 described in FIG. 2 .
  • the ventilation fan 3062 corresponds to the ventilation fan 2810 described in FIG. 28.
  • the steam exhaust module 3063 corresponds to the steam exhaust module 2820 described in FIG. 28.
  • the sensor 3010 may include various types of sensors, for example, a temperature sensor 3011, a smoke sensor 3012, etc.
  • the output interface 3020 may include at least one of a display 3021 or a speaker 3022 or a combination thereof.
  • the output interface 3020 outputs various notifications, messages, information, etc. generated by the processor 3090.
  • the input interface 3030 may include a key 3031, a touch pad 3032, a dial 3033, etc.
  • the input interface 3030 receives user input and transmits it to the processor 3090.
  • the memory 3040 stores various information, data, commands, programs, etc. necessary for the operation of the cooking device 3000.
  • the memory 3040 may include at least one of volatile memory or non-volatile memory, or a combination thereof.
  • the memory 3040 is a flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory, etc.), RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , and may include at least one type of storage medium among optical disks. Additionally, the cooking appliance 3000 may operate a web storage or cloud server that performs a storage function on the Internet.
  • the communication module 3050 may include at least one of a short-range communication unit 3052 or a mobile communication unit 3054, or a combination thereof.
  • the communication module 3050 may include at least one antenna for wireless communication with other devices.
  • the short-range wireless communication unit 3052 includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared ( It may include, but is not limited to, an IrDA (infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant+ communication unit, microwave (uWave) communication unit, etc.
  • BLE Bluetooth Low Energy
  • Wi-Fi Wireless Fidelity
  • Zigbee Zigbee communication unit
  • an infrared It may include, but is not limited to, an IrDA (infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant+ communication unit, microwave (uWave) communication unit, etc.
  • the mobile communication unit 3054 transmits and receives wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to voice call signals, video call signals, or text/multimedia message transmission and reception.
  • the cooking module 3060 includes a cooking chamber 3061, a ventilation fan 3062, a steam exhaust module 3062, a door 3064, a heating module 3065, etc.
  • the galley 3061 accommodates food ingredients.
  • the ventilation fan 3062 circulates air inside the cooking chamber 3061.
  • the steam discharge module 3062 discharges steam into the cooking chamber 3061.
  • the door 3064 opens and closes the galley room 3061.
  • the heating module 3065 supplies heat to the cooking chamber 3061 to control the internal temperature of the cooking chamber 3061.
  • the camera 3070 photographs the inside of the galley 3061.
  • the power module 3080 supplies power to the cooking appliance 3000.
  • the power module 3080 includes a battery, power driving circuit, converter, transformer circuit, etc.
  • the power module 3080 is connected to an external power source to receive power.
  • the processor 3090 controls the overall operation of the cooking appliance 3000.
  • the processor 3000 may control components of the cooking appliance 3000 by executing a program stored in the memory 3040.
  • the processor 3090 may include a separate NPU that performs the operation of a machine learning model. Additionally, the processor 3090 may include a central processing unit (CPU), a graphics processor (GPU), and the like.
  • CPU central processing unit
  • GPU graphics processor
  • the processor 3090 performs operations such as controlling the operation mode of the cooking appliance 3000, determining and controlling the driving path, recognizing obstacles, controlling cleaning operations, recognizing locations, communicating with an external server, monitoring remaining battery capacity, and controlling battery charging operations. You can.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a cooking chamber 230 for accommodating cooking objects therein, a camera 220 for photographing the inside of the cooking chamber, an output interface 250, and a memory 240 for storing at least one instruction.
  • the at least one processor 210 executes at least one instruction to detect a fire risk during cooking based on the captured image captured by the camera 220. And, when a fire hazard is detected, a cooking appliance 100 is provided that outputs a fire hazard notification through the output interface 250.
  • the at least one processor 210 executes the at least one instruction to create at least one monitoring area based on the color data of each pixel from the captured image. It is possible to identify and determine whether a fire risk is detected based on the similarity between the color data of the at least one monitoring area and a predefined fire-related color.
  • the at least one processor 210 identifies the type and color of the food ingredients contained in the cooking chamber 230 from the captured image by executing the at least one instruction. And, based on the type and color of the identified food ingredients, an area corresponding to food ingredients that do not correspond to the fire-related color may be determined as the monitoring area.
  • the at least one processor 210 selects the food material whose color before cooking and after cooking do not correspond to the fire-related color.
  • the area corresponding to can be determined as the monitoring area.
  • the at least one processor 210 by executing the at least one instruction, identifies at least one area that does not correspond to the fire-related color from the captured image, , At least one area that does not correspond to the fire-related color may be identified as at least one monitoring area.
  • the at least one processor 210 executes the at least one instruction, so that the color data of the first monitoring area among the at least one monitoring area is changed to the fire-related color.
  • the first monitoring area is changed to another area with a lower similarity to the fire-related color, and the changed first monitoring area has a similarity with the fire-related color higher than the reference value. If there is a change, it can be determined that a fire risk has been detected.
  • the at least one processor 210 determines the first coordinates of the color data of the at least one monitoring area defined in the color space and , the distance between the second coordinates of the fire-related color defined in the color space can be calculated, and if the distance is lower than the reference value, it can be detected that there is a fire risk.
  • the reference value may be determined according to the type of food ingredient recognized in the captured image.
  • the fire-related color may include a smoke-related color corresponding to smoke and a flame-related color corresponding to flame.
  • the cooking appliance 100 further includes a temperature sensor 910 that measures the temperature within the cooking chamber 230, and the at least one processor 210 is configured to By executing the instruction, when a fire risk is detected during cooking based on the captured image, the determination of the fire risk can be repeated based on the temperature detection value of the temperature sensor 910.
  • the cooking appliance 100 includes an input interface 1820; and a heating module 920 that heats the inside of the cooking chamber, wherein the at least one processor receives a user input for selecting a set temperature through the input interface 1820 by executing the at least one instruction. And, based on the temperature detection value of the temperature sensor 910 and the set temperature, temperature control is performed by controlling the heating module 920, and fire risk during cooking is detected based on the captured image. , if the temperature detection value is higher than the predicted temperature predicted by the temperature control, the occurrence of a fire can be detected.
  • the cooking appliance further includes a communication module 1810, and the at least one processor 210 detects the fire hazard by executing the at least one instruction.
  • the fire risk information can be transmitted to at least one external device through the communication module 1810.
  • the cooking appliance 100 includes a ventilation fan 2810 that circulates internal air to the outside; and a vapor discharge module 2820 that supplies water vapor into the cooking chamber 230, wherein the at least one processor 210 executes the at least one instruction, and when the fire hazard is detected, At least one of controlling the ventilation fan 2810 to exhaust smoke from the cooking chamber 210 or controlling the steam exhaust module 2820 to supply water vapor into the cooking chamber 230 can be performed. there is.
  • the cooking appliance 100 includes a ventilation fan 2810 that circulates internal air to the outside; and a vapor discharge module 2820 that supplies water vapor into the cooking chamber, wherein the at least one processor 210 detects smoke from the captured image by executing the at least one instruction. , performing at least one of controlling the ventilation fan 2810 to exhaust smoke from the cooking chamber 230 or controlling the steam exhaust module 2820 to supply water vapor into the cooking chamber 230. You can.
  • the cooking appliance in a method of controlling a cooking appliance, includes a camera that photographs the inside of a cooking chamber that accommodates cooking objects therein, and the method of controlling the cooking appliance includes: Using a step of photographing the inside of the kitchen, detecting a fire risk during cooking based on the captured image of the inside of the kitchen, and when a fire risk is detected, outputting a fire risk notification.
  • a cooking appliance control method is provided.
  • a computer-readable recording medium on which a program for performing a cooking appliance control method on a computer is recorded is provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

조리 대상물을 내부에 수용하는 조리실(230), 조리실 내부를 촬영하는 카메라(220), 출력 인터페이스(250), 적어도 하나의 인스트럭션을 저장하는 메모리(240), 및 적어도 하나의 프로세서(210)를 포함하고, 적어도 하나의 프로세서(210)는 적어도 하나의 인스트럭션을 실행함에 의해, 카메라(220)에 의해 촬영된 촬영 영상에 기초하여, 조리 중 화재 위험을 검출하고, 화재 위험이 검출된 경우, 출력 인터페이스(250)를 통해 화재 위험 알림을 출력하는, 조리 기기(100)가 제공된다.

Description

화재 위험을 검출하는 조리 기기 및 그 제어 방법
본 개시의 실시예들은 화재 위험을 검출하는 조리 기기, 조리 기기 제어 방법, 및 조리 기기 제어 방법을 컴퓨터에서 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
조리 기기는 가전 기기 중에서도 화재 위험이 높은 편이다. 조리 기기를 이용하여 조리를 할 때, 발연점이 낮은 오일을 식재료로 선택하면, 조리 기기에서 화재가 발생할 수 있다. 또한, 전자레인지와 같은 조리 기기의 내부에 넣어서는 안되는 물건을 실수로 넣은 경우, 화재가 발생할 수 있다.
한편, 오븐과 같은 조리 기기의 경우, 오븐 문을 열었을 때, 조리 중 발생하는 연기로 인해 댁내의 화재 경보기로부터 화재 경보음이 불필요하게 울리는 경우가 종종 있다. 또한, 조리 과정 중 발생하는 연기가 조리 중인 음식을 가려서, 오븐 내부를 확인하기 어렵고, 조리과정의 상태를 확인하기 어려운 불편함이 있다.
본 개시의 일 실시예의 일 측면에 따르면, 조리 대상물을 내부에 수용하는 조리실, 조리실 내부를 촬영하는 카메라, 출력 인터페이스, 적어도 하나의 인스트럭션을 저장하는 메모리, 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 적어도 하나의 인스트럭션을 실행함에 의해, 카메라에 의해 촬영된 촬영 영상에 기초하여, 조리 중 화재 위험을 검출하고, 화재 위험이 검출된 경우, 출력 인터페이스를 통해 화재 위험 알림을 출력하는, 조리 기기가 제공된다.
또한, 본 개시의 일 실시예의 일 측면에 따르면, 조리 기기를 제어하는 방법에 있어서, 조리 기기는, 조리 대상물을 내부에 수용하는 조리실 내부를 촬영하는 카메라를 포함하고, 조리 기기 제어 방법은, 카메라를 이용하여, 조리실 내부를 촬영하는 단계, 조리실 내부를 촬영한 촬영 영상에 기초하여, 조리 중 화재 위험을 검출하는 단계, 및 화재 위험이 검출된 경우, 화재 위험 알림을 출력하는 단계를 포함하는, 조리 기기 제어 방법이 제공된다.
또한, 본 개시의 일 실시예의 일 측면에 따르면, 조리 기기 제어 방법을 컴퓨터에서 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
도 1은 본 개시의 일 실시예에 따른 조리 기기의 동작을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
도 3은 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따른 조리 기기 제어 방법을 나타낸 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 모니터링 영역을 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따른 조리 기기 제어 방법을 나타낸 흐름도이다.
도 7a 본 개시의 일 실시예에 따라 촬영 영상에 기초하여 화재 위험을 검출하는 과정을 나타낸 도면이다.
도 7b은 본 개시의 일 실시예에 따라 모니터링 영역과 화재 관련 컬러를 색 공간에서 비교하는 과정을 나타낸 도면이다.
도 8은 본 개시의 일 실시예에 따라 색 분포에 기초하여 연기 또는 불꽃을 검출하는 과정을 나타낸 도면이다.
도 9는 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
도 10은 본 개시의 일 실시예에 따라, 촬영 영상 및 온도 검출 값에 기초하여, 화재 위험을 검출하는 과정을 나타낸 흐름도이다.
도 11은 본 개시의 일 실시예에 따라, 촬영 영상으로부터 식재료를 인식하고, 모니터링 영역을 결정하는 과정을 나타낸 도면이다.
도 12는 본 개시의 일 실시예에 따라 기계학습 모델을 이용하여 식재료를 인식하는 구성을 나타낸 도면이다.
도 13은 본 개시의 일 실시예에 따라 설정된 모니터링 영역을 나타낸 도면이다.
도 14는 본 개시의 일 실시예에 따라 모니터링 영역의 가중치를 적용하는 과정을 나타낸 도면이다.
도 15는 본 개시의 일 실시예에 따라 모니터링 영역을 선택하는 과정을 나타낸 도면이다.
도 16은 본 개시의 일 실시예에 따른 식재료의 수축 모습을 나타낸 도면이다.
도 17은 본 개시의 일 실시예에 따라 식재료의 수축을 고려하여 모니터링 영역을 결정하는 과정을 나타낸 도면이다.
도 18은 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
도 19는 본 개시의 일 실시예에 따른 조리 기기, 사용자 기기, 및 서버를 나타낸 도면이다.
도 20은 본 개시의 일 실시예에 따라 사용자 기기로부터 식재료 정보를 획득하는 과정을 나타낸 도면이다.
도 21은 본 개시의 일 실시예에 따라 사용자 기기로부터 식재료 정보를 획득하는 과정을 나타낸 도면이다.
도 22는 본 개시의 일 실시예에 따라 조리 기기의 입력 인터페이스를 통해 식재료 정보를 수신하는 과정을 나타낸 도면이다.
도 23은 본 개시의 일 실시예에 따라 촬영 영상의 컬러 데이터에 기초하여 모니터링 영역을 설정하는 과정을 나타낸 도면이다.
도 24는 본 개시의 일 실시예에 따라 화재 위험을 검출하는 과정을 나타낸 도면이다.
도 25는 모니터링 영역(2510)에서 불꽃이 검출된 경우에 대한 예시이다.
도 26은 본 개시의 일 실시예에 따라 화재 위험을 출력하는 과정을 나타낸 도면이다.
도 27은 본 개시의 일 실시예에 따라 사용자 기기를 통해 화재 위험을 출력하는 과정을 나타낸 도면이다.
도 28은 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
도 29는 본 개시의 일 실시예에 따라 조리 기기의 조리 동작을 모니터링하는 과정을 나타낸 도면이다.
도 30은 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 도면이다.
본 개시의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.
도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다.
본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
본 개시에서“및/또는”이라는 용어는 복수의 관련된 기재된 구성요소들의 조합 또는 복수의 관련된 기재된 구성요소들 중의 어느 구성요소를 포함한다.
본 개시에서 "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
본 개시에서 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시에서“포함하다” 또는 “가지다”등의 용어는 본 문서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
어떤 구성요소가 다른 구성요소와 “연결”, “결합”, “지지” 또는 “접촉”되어 있다고 할 때, 이는 구성요소들이 직접적으로 연결, 결합, 지지 또는 접촉되는 경우뿐 아니라, 제3 구성요소를 통하여 간접적으로 연결, 결합, 지지 또는 접촉되는 경우를 포함한다.
어떤 구성요소가 다른 구성요소 “상에” 위치하고 있다고 할 때, 이는 어떤 구성요소가 다른 구성요소에 접해 있는 경우뿐 아니라 두 구성요소 사이에 또 다른 구성요소가 존재하는 경우도 포함한다.
이하 첨부된 도면들을 참고하여 본 개시의 실시예들의 작용 원리 및 다양한 실시예들에 대해 설명한다.
도 1은 본 개시의 일 실시예에 따른 조리 기기의 동작을 나타낸 도면이다.
본 개시의 일 실시예에 따르면 조리 기기(100) 내부에 또는 인접하게 배치된 카메라를 이용하여, 조리 기기(100) 내부를 촬영하고, 내부를 촬영한 촬영 영상(110)에 기초하여 화재 위험을 감지한다. 하나 이상의 예에서, 조리 기기(100)는 내부를 촬영하는 카메라를 포함한다. 카메라는 조리 기기 내부를 촬영한 촬영 영상(110)으로부터 조리 기기(100)의 화재 위험을 검출한다. 조리 기기(100)는 화재 위험을 검출한 경우, 화재 위험 알림(120)을 출력한다. 조리 기기(100)는 해당 기기 자체의 출력 인터페이스를 통해 화재 위험 알림(120)을 출력하거나, 외부 장치를 통해 화재 위험 알림(120)을 출력할 수 있다. 화재 위험 알림은 청각적 알림 또는 시각적 알림(예: 디스플레이로 출력되는 텍스트 또는 심볼)일 수 있다.
조리 기기(100)는 화재 위험을 검출하기 위해, CO2 센서, 온도 센서, 연기 센서, 또는 본 기술 분야의 통상의 기술자에게 알려진 다른 적절한 센서 등의 별도의 센서를 구비할 수 있다. 본 개시의 실시예들에 따른 조리 기기(100)는 화재 판단을 위한 센서를 추가로 구비하지 않고, 조리 기기(100) 내부의 카메라를 이용하여 화재 위험을 검출할 수 있다. 조리 기기(100)는 내부의 카메라를 이용하여 화재 위험 검출뿐만 아니라 조리 과정 모니터링, 레시피 추천 등의 추가적인 동작을 할 수 있다. 본 개시의 일 실시예에 따르면, 카메라를 구비하는 조리 기기(100)에서 별도의 센서 없이 화재 위험을 검출하고 화재 위험을 사용자에게 알릴 수 있는 효과가 있다.
도 2는 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
본 개시의 일 실시예에 따른 조리 기기(100)는 고온 환경에서 조리를 수행하거나, 식재료의 발열을 유발하여 조리를 수행하는 다양한 형태의 조리 기기(100)를 포함한다. 조리 기기(100)는 예를 들면, 오븐, 전자레인지, 에어프라이어, 스마트 쿠커(cooker), 토스터, 또는 본 기술 분야의 통상의 기술자에게 알려진 다른 적절한 조리 기기 등의 형태로 구현될 수 있다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 프로세서(210), 카메라(220), 조리실(230), 메모리(240), 및 출력 인터페이스(250)를 포함할 수 있다.
프로세서(210)는 조리 기기(100) 전반의 동작을 제어한다. 프로세서(210)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 프로세서(210)는 메모리(240)에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다. 또한, 프로세서(210)는 조리 기기(100)에 구비된 구성요소들의 동작을 제어한다. 프로세서(210)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), 또는 NPU(Neural Processing Unit) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
카메라(220)는 입사광을 광전 변환하여 전기적인 영상 신호를 생성한다. 카메라(220)는 적어도 하나의 렌즈, 렌즈 구동부, 및 이미지 센서를 포함할 수 있다. 카메라(220)는 조리실(230) 내부를 촬영하도록 배치될 수 있다. 예를 들면, 카메라(220)는 조리실 천장, 조리실 도어(310) 또는 조리실 측면 등에 배치될 수 있다. 카메라(220)는 하나 이상의 카메라(220)를 포함할 수 있다. 카메라(220)는 촬영 영상 데이터를 생성하여 프로세서(210)로 출력한다.
프로세서(210)는 동작 모드에 따라 카메라(220)의 촬영 동작을 제어한다. 본 개시의 일 실시예에 따르면, 프로세서(210)는 조리 기기(100)가 조리 동작을 수행하는 중에 조리실 내부를 촬영하도록 카메라(220)를 제어한다. 프로세서(210)는 조리 시작을 요청하는 사용자 입력에 기초하여 조리 동작을 개시하고, 조리 개시 요청에 따라 카메라(220)의 촬영을 시작할 수 있다. 촬영의 수행은 하나 이상의 소정의 조건들이 만족되었다고 판단(예: 내부 열이 소정의 온도에 도달한 경우, 소정의 시간이 조리 시작으로부터 경과한 경우 등)된 것에 기초하여 자동으로 수행될 수 있다. 하나 이상의 예에서, 촬영이 사용자로부터의 입력에 기초하여 수행될 수 있다.
촬영 영상은 정지 영상 또는 동영상을 포함한다. 본 개시의 일 실시예에 따르면, 촬영 영상은 조리 동작 수행 동안 조리실 내부를 촬영한 실시간 동영상에 대응될 수 있다. 또한, 본 개시의 일 실시예에 따르면, 촬영 영상은 조리 동작 수행 동안, 소정의 시간 간격으로 조리실 내부를 촬영한 정지 영상에 대응될 수 있다. 또한, 본 개시의 일 실시예에 따르면, 촬영 영상은 사용자 입력에 기초하여 조리실 내부를 촬영한 정지 영상 또는 동영상에 대응될 수 있다.
카메라(220)에 의해 촬영된 촬영 영상은 예를 들면, H.264, JPEG 등의 형식으로 압축된 영상일 수 잇다. 프로세서(210)는 촬영 영상이 압축 영상인 경우, 디코딩 과정을 통해 YUV, RGB 등의 형식의 촬영 영상을 생성한다. 프로세서(210)는 디코딩된 촬영 영상으로부터 촬영 영상의 컬러 데이터를 획득한다.
조리실(230)은 식재료를 수용하는 조리 공간에 대응된다. 조리실(230)은 외부와 차단된 격벽에 의해 형성된 공간을 포함한다. 조리실(230)은 식재료를 배치할 수 있는 트레이 또는 선반을 포함한다. 조리실(230)은 내부의 열을 차단하기 위해, 단열 부재에 의해 단열될 수 있다. 일 실시예에 따르면, 조리 기기(100)는 가열 장치로부터 조리실(230)로 열기를 출력하여, 조리실(230) 내부에서 조리 동작을 수행할 수 있다. 또한, 일 실시예에 따르면, 조리 기기(100)는 마이크로파 출력 장치로부터 조리실(230)로 마이크로파를 출력하여, 조리실(230) 내부에서 조리 동작을 수행할 수 있다.
일 실시예에 따르면, 조리실(230)은 개폐 가능한 도어에 의해 개방되거나 외부로부터 차단될 수 있다. 또한, 일 실시예에 따르면, 조리실(230)은 서랍형 바스켓에 대응되고, 바스켓의 삽입 및 인출 동작에 의해 개방되거나 외부로부터 차단될 수 있다.
프로세서(210)는 촬영 영상에 기초하여 조리실 내부의 화재 위험을 검출한다. 프로세서(210)는 촬영 영상의 컬러 데이터에 기초하여 화재 위험을 검출한다. 프로세서(210)는 미리 정의된 화재 관련 컬러와 촬영 영상의 컬러 데이터를 비교하여, 화재 위험을 검출한다. 화재 관련 컬러는 연기 또는 불꽃에 대응하는 컬러일 수 있다. 화재 관련 컬러는 색 공간에서 소정의 색 좌표 영역으로 정의된다. 화재 관련 컬러는 연기에 관련된 연기 컬러 영역, 불꽃에 관련된 불꽃 컬러 영역을 포함할 수 있다.
프로세서(210)는 촬영 영상의 각 픽셀의 컬러 데이터에 기초하여 적어도 하나의 모니터링 영역을 식별한다. 모니터링 영역은 촬영 영상 내의 소정의 영역으로, 하나 이상의 픽셀을 포함할 수 있다. 프로세서(210)는 화재 관련 컬러와 유사도가 낮은 컬러를 갖는 영역을 모니터링 영역으로 식별한다. 프로세서(210)는 모니터링 영역의 컬러 변화를 모니터링한다. 프로세서(210)는 모니터링 영역의 컬러 데이터와 화재 관련 컬러의 유사도가 기준 값 이상인 경우, 화재 위험이 발생했다고 판단할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(210)는 조리실 내부에 배치된 식재료 정보를 미리 획득하고, 획득된 식재료 정보에 기초하여, 촬영 영상의 모니터링 영역을 선택한다. 프로세서(210)는 식재료 정보에 기초하여, 화재 관련 컬러와 유사도가 낮은 영역을 모니터링 영역으로 선택할 수 있다. 또한, 프로세서(210)는 식재료 정보에 따라 모니터링 영역의 가중치, 또는 화재 관련 컬러와 유사도에 관련된 기준 값을 변경할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 프로세서(210)는 식재료에 대한 정보를 미리 획득하지 않고, 촬영 영상의 컬러 데이터에 기초하여 모니터링 영역을 선택할 수 있다. 프로세서(210)는 촬영 영상의 컬러 데이터에 기초하여 화재 관련 컬러와 유사도가 낮은 영역을 모니터링 영역으로 선택할 수 있다.
메모리(240)는 조리 기기(100)의 동작에 필요한 다양한 정보, 데이터, 명령어, 프로그램 등을 저장한다. 메모리(240)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(240)는 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버에 대응될 수 있다.
출력 인터페이스(250)는 조리 기기(100)의 동작에 관련된 정보 및 데이터를 출력한다. 출력 인터페이스(250)는 예를 들면, 디스플레이, 스피커, LED(Light Emitting Diode) 등을 포함할 수 있다.
출력 인터페이스(250)는 화재 위험이 검출된 경우, 화재 위험 알림을 출력한다. 화재 위험 알림은 비주얼 정보 또는 오디오 정보 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 화재 위험 알림은 디스플레이를 통해 디스플레이되는 메시지를 포함한다. 또한, 본 개시의 일 실시예에 따르면, 화재 위험 알림은 스피커를 통해 출력되는 음성 메시지를 포함한다.
일 실시예에 따르면, 화재 위험 알림은 화재 위험이 검출되었다는 정보, 화재 위험의 종류, 대응 가이드 정보, 또는 조리 기기 동작 변경 정보 중 적어도 하나를 포함할 수 있다. 화재 위험의 종류는 예를 들면, 연기 검출, 불꽃 검출, 또는 온도 급상승 등의 정보를 포함할 수 있다. 대응 가이드 정보는 예를 들면, 도어 개방 요청, 전원 차단 요청, 또는 접촉 금지 요청 등을 포함할 수 있다. 조리 기기 동작 변경 정보는 예를 들면, 도어 잠금 해제, 조리 동작 중단, 전원 자동 차단, 또는 조리실 내 증기 배출 등의 정보를 포함할 수 있다.
도 3은 본 개시의 일 실시예에 따른 조리 기기(100)의 구조를 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 도어(310)의 개폐에 의해 개방되고 외부로부터 차단될 수 있다. 조리실(230)은 내부 공간에 식재료를 수용할 수 있다. 조리실(230)은 식재료를 배치할 수 있는 트레이(320)를 포함할 수 있다.
카메라(220)는 조리실(230)의 천장에 배치되어, 조리실(230) 내부에 배치된 식재료의 조리 과정을 촬영할 수 있다.
도 4는 본 개시의 일 실시예에 따른 조리 기기 제어 방법을 나타낸 흐름도이다.
본 개시의 일 실시예에 따른 조리 기기 제어 방법은 다양한 형태의 조리 기기에 의해 수행될 수 있다. 본 개시에서는 조리 기기 제어 방법이 본 개시의 일 실시예에 따른 조리 기기(100)에 의해 수행되는 실시예를 중심으로 설명한다. 다만, 본 개시의 실시예에 따른 조리 기기 제어 방법은 본 개시의 조리 기기(100)에 의해 수행되는 것으로 한정되는 것은 아니다.
단계 S402에서, 조리 기기(100)는 조리실 내부의 카메라(220)를 이용하여 조리실 내부를 촬영하여, 촬영 영상을 생성한다. 촬영 영상은 조리 과정 중에 촬영될 수 있다. 조리 기기(100)는 조리 동작을 시작하면서, 조리실 내부 촬영을 개시할 수 있다. 또한, 조리 기기(100)는 조리 동작이 종료된 경우, 도어(310)가 열린 경우 등에 조리실 내부 촬영을 종료할 수 있다. 촬영 영상은 정지 영상 또는 동영상을 포함한다.
다음으로 단계 S404에서, 조리 기기(100)는 촬영 영상에 기초하여 화재 위험을 검출한다. 조리 기기(100)는 촬영 영상의 컬러 데이터에 기초하여 화재 위험을 판단한다. 조리 기기(100)는 촬영 영상의 컬러 데이터에 기초하여 적어도 하나의 모니터링 영역을 식별하고, 적어도 하나의 모니터링 영역의 컬러 데이터와 미리 정의된 화재 관련 컬러의 유사도에 기초하여, 화재 발생 여부를 판단할 수 있다. 조리 기기(100)는 미리 정의된 화재 관련 컬러와 모니터링 영역의 컬러 데이터를 비교하여 유사도를 산출한다. 화재 관련 컬러는 연기에 대응하는 연기 관련 컬러와 불꽃에 대응하는 불꽃 관련 컬러를 포함한다. 유사도는 색 공간에서, 화재 관련 컬러의 색 좌표 영역과 모니터링 영역의 색 좌표의 거리에 기초하여 판단될 수 있다.
조리 기기(100)는 단계 S404에서 화재 위험이 있다고 판단된 경우, 단계 S406에서 화재 위험 알림을 출력한다. 화재 위험 알림은 비주얼 정보 또는 오디오 정보 중 적어도 하나를 포함할 수 있다. 화재 위험 알림은 디스플레이를 통해 디스플레이되는 메시지, 스피커를 통해 출력되는 음성 메시지 등을 포함할 수 있다. 일 실시예에 따르면, 화재 위험 알림은 화재 위험이 검출되었다는 정보, 화재 위험의 종류, 대응 가이드 정보, 또는 조리 기기 동작 변경 정보 중 적어도 하나를 포함할 수 있다.
조리 기기(100)는 단계 S404에서 화재 위험이 검출되지 않은 경우, 다음 촬영 영상에 기초하여 단계 S404 및 단계 S406을 수행할 수 있다.
본 개시의 일 실시예에 따르면, 촬영 영상이 동영상인 경우, 단계 S404 및 단계 406은 소정의 프레임 간격마다 수행될 수 있다. 예를 들면, 조리 기기(100)는 조리 동작 개시 후, 1초 간격으로 단계 S404 및 단계 S406을 수행하여, 화재 위험을 판단할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 촬영 영상이 정지 영상인 경우, 조리 기기(100)는 정지 영상을 촬영할 때마다, 단계 S404 및 S406을 수행하여, 화재 위험을 판단할 수 있다.
도 5는 본 개시의 일 실시예에 따른 모니터링 영역을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 촬영 영상(510)의 컬러 데이터에 기초하여 모니터링 영역(520a, 520b, 520c, 520d)을 결정한다. 모니터링 영역(520a, 520b, 520c, 520d)은 화재 관련 컬러가 아닌 컬러를 갖는 영역으로 정의된다. 조리 기기(100)는 조리 동작 중에 촬영된 촬영 영상에서, 모니터링 영역(520a, 520b, 520c, 520d)의 컬러 데이터를 추출하고, 모니터링 영역(520a, 520b, 520c, 520d)의 컬러 데이터를 화재 관련 컬러와 비교하여 화재 위험을 검출한다.
조리 기기(100)는 조리 동작 개시 전에 촬영한 촬영 영상을 이용하여, 모니터링 영역을 결정한다. 조리 동작이 시작되면, 식재료의 색깔이 변하기 때문에, 조리 기기(100)는 조리 동작 개시 전의 촬영 영상을 이용하여 모니터링 영역을 결정한다. 조리 기기(100)는 모니터링 영역이 결정하고, 이후의 촬영 영상들에 기초하여 화재 위험을 검출하는 동작을 수행한다.
도 5의 예에서, 제1 영역(530)은 생 닭에 대응하는 영역으로, 불꽃에 대응하는 불꽃 관련 컬러와 상이하고 연기에 대응하는 연기 관련 컬러와 유사하다. 제2 영역(532)는 생 닭에서 붉은 영역으로, 불꽃 관련 컬러와 유사하고 연기 관련 컬러와 상이하다. 제3 영역(534)은 트레이에 대응하는 영역으로, 불꽃 관련 컬러 및 연기 관련 컬러와 상이하다.
일 실시예에 따르면, 조리 기기(100)는 불꽃 관련 컬러와 상이하고, 연기 관련 컬러와 상이한 영역을 모니터링 영역으로 설정한다. 도 5의 예에서, 조리 기기(100)는 불꽃 관련 컬러와 상이하고, 연기 관련 컬러와 상이한 제1 모니터링 영역(520a) 및 제4 모니터링 영역(520d)을 모니터링 영역으로 선택하고, 제2 모니터링 영역(520b) 및 제3 모니터링 영역(520c)은 모니터링 영역으로 선택하지 않는다.
또한, 일 실시예에 따르면, 조리 기기(100)는 불꽃 관련 컬러와 상이한 영역을 불꽃 모니터링 영역으로 선택하고, 연기 관련 컬러와 상이한 영역을 연기 모니터링 영역으로 설정한다. 조리 기기(100)는 불꽃 모니터링 영역의 컬러 데이터에 기초하여 불꽃을 검출한다. 조리 기기(100)는 연기 모니터링 영역의 컬러 데이터에 기초하여 연기를 검출한다. 도 5의 예에서, 조리 기기(100)는 제1 모니터링 영역(520a), 제2 모니터링 영역(520b), 제3 모니터링 영역(520c), 및 제4 모니터링 영역(520d)을 불꽃 모니터링 영역으로 선택하고, 제1 모니터링 영역(520a) 및 제4 모니터링 영역(520d)을 연기 모니터링 영역으로 선택한다.
모니터링 영역(520a, 520b, 520c, 520d)은 하나 이상의 픽셀을 포함하는 영역에 대응될 수 있다.
일 실시예에 따르면, 모니터링 영역(520a, 520b, 520c, 520d)은 직사각형 블록 형태로 정의된다. 그러나 본 기술 분야의 통상의 기술자가 이해하는 바와 같이, 모니터링 영역은 어떠한 적절한 형태일 수 있다.
또한, 일 실시예에 따르면, 모니터링 영역(520a, 520b, 520c, 520d) 각각은 특정 객체의 엣지를 따라 정의된다. 예를 들면, 모니터링 영역(520a, 520b, 520c, 520d) 각각은 식재료에 대응하는 영역으로 정의될 수 있다.
모니터링 영역(520a, 520b, 520c, 520d)은 복수의 모니터링 영역(520a, 520b, 520c, 520d)을 포함할 수 있다. 일 실시예에 따르면, 조리 기기(100)는 촬영 영상(510)으로부터 화재 관련 컬러와 상이한 서로 다른 컬러 영역을 선택하여 복수의 모니터링 영역(520a, 520b, 520c, 520d)을 설정할 수 있다. 도 5의 예에서, 제1 모니터링 영역(520a)은 트레이에 대응하는 컬러이고, 제2 모니터링 영역(520b)은 식재료인 닭에 대응하는 컬러이다. 이와 같이 조리 기기(100)는 촬영 영상(510)에서 서로 다른 컬러를 갖는 영역을 모니터링 영역(520a, 520b)으로 선택할 수 있다.
또한, 일 실시예에 따르면, 조리 기기(100)는 촬영 영상에서, 식재료에 대응하는 영역에 대응하는 모니터링 영역(520b, 520c)과 조리 기기(100) 자체에 대응하는 모니터링 영역(520a, 520d)을 포함하는 복수의 모니터링 영역을 설정할 수 있다. 불꽃은 트레이와 같은 다른 객체보다 식재료에서 발생하는 경우가 많기 때문에, 조리 기기(100)는 식재료에 대응하는 적어도 하나의 영역을 모니터링 영역(520b, 520c)으로 설정한다. 또한, 조리 기기(100) 자체의 컬러는 조리 기기(100)에서 이미 알고 있고, 조리 과정 중 변하지 않으므로, 조리 기기(100)는 조리 기기(100) 자체의 컬러에 대응하는 적어도 하나의 영역을 모니터링 영역(520a, 520d)으로 설정한다. 여기서, 조리 기기(100) 자체의 컬러에 대응하는 적어도 하나의 영역은, 조리 기기(100)에서 사용되는 분리 가능한 트레이에 대응하는 영역을 포함한다.
본 개시의 일 실시예에 따르면, 모니터링 영역(520a, 520b, 520c, 520d) 각각은 조리 과정 중에 변경될 수 있다.
도 6은 본 개시의 일 실시예에 따른 조리 기기 제어 방법을 나타낸 흐름도이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 조리 동작의 개시 전에 조리실 내부를 촬영하고, 촬영 영상에 기초하여 모니터링 영역을 설정할 수 있다.
단계 S602에서, 조리 기기(100)는 조리실 내부를 촬영하여, 촬영 영상을 생성한다.
다음으로, 단계 S604에서, 조리 기기(100)는 촬영 영상에 기초하여 모니터링 영역을 설정한다.
모니터링 영역이 결정되면, 조리 기기(100)는 단계 S402 및 S404을 반복적으로 수행하며 촬영 영상에 기초하여 화재 위험을 검출한다.
도 7a 본 개시의 일 실시예에 따라 촬영 영상에 기초하여 화재 위험을 검출하는 과정을 나타낸 도면이다.
도 7b은 본 개시의 일 실시예에 따라 모니터링 영역과 화재 관련 컬러를 색 공간에서 비교하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 단계 S404에서, 모니터링 영역의 컬러 데이터에 기초하여 화재 위험이 있는지 여부를 판단한다. 도 7a에서는 본 개시의 일 실시예에 따른 단계 S404의 상세한 동작을 설명한다.
단계 S702에서, 조리 기기(100)는 모니터링 영역의 컬러 데이터를 식별한다. 모니터링 영역이 하나의 픽셀을 포함하는 경우, 모니터링 영역의 컬러 데이터는 해당 픽셀의 컬러 데이터에 대응된다. 모니터링 영역이 복수의 픽셀을 포함하는 경우, 조리 기기(100)는 복수의 픽셀의 컬러 데이터의 평균 값을 모니터링 영역의 컬러 데이터로 식별할 수 있다.
컬러 데이터는 소정의 색 공간의 색 좌표로 정의될 수 있다. 예를 들면, 도 7b에 도시된 바와 같이, 컬러 데이터가 RGB 색 공간에서 정의될 수 있다. 조리 기기(100)는 촬영 영상을 디코딩하여, RGB 영상을 획득하고, 각 픽셀의 RGB 색 좌표를 획득할 수 있다. 모니터링 영역의 컬러 데이터는 색 공간 상에서 모니터링 영역 색 좌표(720a, 720b)로 정의될 수 있다.
조리 기기(100)는 색 공간에서 화재 관련 컬러에 대응하는 화재 컬러 영역을 정의할 수 있다. 화재 컬러 영역은 불꽃 컬러 영역(712)(예: 빨강 또는 오렌지 관련 컬러 등)과 연기 컬러 영역(714) (예: 검정, 흰색, 또는 그레이 관련 컬러 등)을 포함할 수 있다. 불꽃 컬러 영역(712)과 연기 컬러 영역(714)은 색 공간 상에서 소정의 색 좌표 영역으로 정의될 수 있다. 불꽃 컬러 영역(712)과 연기 컬러 영역(714)은 미리 정의되어 메모리(240)에 저장될 수 있다.
또한, 모니터링 영역의 컬러 데이터가 색 공간에서 정의될 수 있다. 모니터링 영역이 두 개인 경우, 제1 모니터링 영역 색 좌표(720a)와 제2 모니터링 영역 색 좌표(720b)은 하나 이상의 세팅에 따라 미리 결정될 수 있다. 조리 기기(100)는 제1 모니터링 영역의 컬러 데이터의 평균 값에 대응하는 제1 모니터링 영역 색 좌표(720a)를 식별한다. 또한, 조리 기기(100)는 제2 모니터링 영역의 컬러 데이터의 평균 값에 대응하는 제2 모니터링 영역 색 좌표(720b)를 식별한다.
다음으로 단계 S704에서 조리 기기(100)는 모니터링 영역의 컬러 데이터와 불꽃 관련 컬러 영역의 유사도를 산출한다. 단계 S704에서 모니터링 영역은 불꽃 모니터링 영역에 대응될 수 있다.
도 7b을 참조하면, 조리 기기(100)는 색 공간에서 제1 모니터링 영역 색 좌표(720a)와 불꽃 컬러 영역(712) 사이의 거리를 산출한다. 본 개시의 일 실시예에 따르면, 조리 기기(100)는 도 7b에서 D2로 정의된 방식에 따라, 제1 모니터링 영역 색 좌표(720a)와 불꽃 컬러 영역(712)의 중심 사이의 거리를 산출할 수 있다. 또한, 본 개시의 일 실시예에 따르면, 조리 기기(100)는 도 7b에서 D1으로 정의된 방식에 따라, 제1 모니터링 영역 색 좌표(720a)와 불꽃 컬러 영역(712)의 경계 사이의 거리(730a)를 산출할 수 있다. D2로 정의된 방식에 따라, 제1 모니터링 영역 색 좌표(720a)와 불꽃 컬러 영역(712)의 경계 사이의 거리(730a)를 산출하는 경우, 조리 기기(100)는 제1 모니터링 영역 색 좌표(720a)와 가장 가까운 불꽃 컬러 영역(712)의 경계 지점의 거리(730a)를 구한다.
조리 기기(100)는 유사하게, 색 공간에서 제2 모니터링 영역 색 좌표(720b)와 불꽃 컬러 영역(712) 사이의 거리를 산출한다.
본 개시에서는 도 7b의 D2의 방식에 따라, 모니터링 영역 색 좌표(720a, 720b)와 불꽃 컬러 영역(712)의 경계 사이의 거리(730a, 730b)를 산출하여, 유사도를 산출하는 실시예를 중심으로 설명한다. 그러나 이는 설명의 편의를 위한 것이며, 도 7b의 D1의 방식에 따라, 모니터링 영역 색 좌표(720a, 720b)와 불꽃 컬러 영역(712)의 중심 사이의 거리를 산출하여, 유사도를 산출하는 실시예를 배제하는 것은 아니다.
조리 기기(100)는 색 공간 상에서의 거리(730a, 730b)에 기초하여 모니터링 영역의 컬러 데이터와 불꽃 관련 컬러 사이의 유사도를 산출한다. 유사도는 거리(730a, 730b) 자체로 정의되거나, 거리(730a, 730b)에 기초하여 산출된 값으로 정의될 수 있다.
다음으로 단계 S706에서, 조리 기기(100)는 컬러의 유사도가 제1 기준 값 이상인지 여부를 판단한다. 만약 컬러의 유사도가 제1 기준 값 이상인 경우, 조리 기기(100)는 단계 S708에서 불꽃이 검출되었다고 판단한다. 또한, 조리 기기(100)는 불꽃이 검출되었다고 판단되면, 단계 S716에서, 화재 위험이 검출되었다고 판단한다.
또한, 단계 S710에서 조리 기기(100)는 모니터링 영역의 컬러 데이터와 연기 관련 컬러의 유사도를 산출한다. 단계 S710에서 모니터링 영역은 연기 모니터링 영역에 대응될 수 있다.
도 7b을 참조하면, 조리 기기(100)는 색 공간에서 제1 모니터링 영역 색 좌표(720a)와 연기 컬러 영역(714) 사이의 거리를 산출한다. 일 실시예에 따르면, 조리 기기(100)는 도 7b에서 D1으로 정의된 방식에 따라, 제1 모니터링 영역 색 좌표(720a)와 연기 컬러 영역(714)의 중심 사이의 거리를 산출할 수 있다. 또한, 일 실시예에 따르면, 조리 기기(100)는 도 7b에서 D2로 정의된 방식에 따라, 제1 모니터링 영역 색 좌표(720a)와 연기 컬러 영역(714)의 경계 사이의 거리(732a)를 산출할 수 있다. 도 7b의 D2 방식에 따라 제1 모니터링 영역 색 좌표(720a)와 연기 컬러 영역(714)의 경계 사이의 거리(732a)를 산출하는 경우, 조리 기기(100)는 제1 모니터링 영역 색 좌표(720a)와 가장 가까운 연기 컬러 영역(714)의 경계 지점의 거리(732a)를 구한다.
조리 기기(100)는 유사하게, 색 공간에서 제2 모니터링 영역 색 좌표(720b)와 연기 컬러 영역(714) 사이의 거리를 산출한다.
본 개시에서는 도 7b의 D2의 방식에 따라, 모니터링 영역 색 좌표(720a, 720b)와 연기 컬러 영역(714)의 경계 사이의 거리(732a, 732b)를 산출하여, 유사도를 산출하는 실시예를 중심으로 설명한다. 그러나 이는 설명의 편의를 위한 것이며, 도 7b의 D1의 방식에 따라, 모니터링 영역 색 좌표(720a, 720b)와 연기 컬러 영역(714)의 중심 사이의 거리를 산출하여, 유사도를 산출하는 실시예를 배제하는 것은 아니다.
조리 기기(100)는 색 공간 상에서의 거리(732a, 732b)에 기초하여 모니터링 영역의 컬러 데이터와 연기 관련 컬러 사이의 유사도를 산출한다. 유사도는 거리(732a, 732b) 자체로 정의되거나, 거리(732a, 732b)에 기초하여 산출된 값으로 정의될 수 있다.
다음으로 단계 S712에서, 조리 기기(100)는 컬러의 유사도가 제2 기준 값 이상인지 여부를 판단한다. 제2 기준 값은 앞서 설명한 제1 기준 값과 동일한 값이거나, 다른 값이다. 만약 컬러의 유사도가 제2 기준 값 이상인 경우, 조리 기기(100)는 단계 S714에서 연기가 검출되었다고 판단한다. 또한, 조리 기기(100)는 연기이 검출되었다고 판단되면, 단계 S716에서, 화재 위험이 검출되었다고 판단한다.
조리 기기(100)는 화재 위험이 검출된 경우, 단계 S406에서 화재 위험 알림을 출력한다. 또한, 조리 기기(100)는 화재 위험의 종류를 출력할 수 있다. 예를 들면, 조리 기기(100)는 불꽃이 검출되었다는 정보를 출력하거나, 연기가 검출되었다는 정보를 출력하거나, 불꽃과 연기가 검출되었다는 정보를 출력할 수 있다.
도 8은 본 개시의 일 실시예에 따라 색 분포에 기초하여 연기 또는 불꽃을 검출하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 연기 관련 컬러에 대응하는 모니터링 영역의 색 분포(810)를 추가로 고려하여, 연기가 검출되었는지 여부를 판단한다. 조리 기기(100)의 조리실(230)은 갇힌 공간이므로, 화재에 의해 연기가 발생한 경우, 조리 기기(100)의 조리실(230) 내부가 연기로 가득할 것이다. 따라서 화재에 의해 연기가 발생한 경우, 촬영 영상의 거의 전체 영역이 연기 관련 컬러에 가까운 컬러로 변한다. 조리 기기(100)는 복수의 모니터링 영역을 이용하여 연기를 검출하고, 소정 비율 이상의 복수의 모니터링 영역에서 연기 관련 컬러와 유사도가 제2 기준 값 이상으로 높은 경우, 연기가 검출되었다고 판단할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 조리 기기(100)는 불꽃 관련 컬러에 대응하는 모니터링 영역의 색 분포(820)를 추가로 고려하여, 불꽃이 검출되었는지 여부를 판단한다. 조리 기기(100)의 조리실(230)에서 불꽃이 발생한 경우, 불꽃이 산발적으로 보인다. 조리 기기(100)는 복수의 모니터링 영역을 이용하여 불꽃을 검출하고, 복수의 모니터링 영역 중 기준 개수 이상에서 불꽃 관련 컬러와 유사도가 제1 기준 값 이상으로 높게 검출된 경우, 불꽃이 검출되었다고 판단할 수 있다. 기준 개수는 예를 들면, 1이거나, 1보다 큰 개수에 대응할 수 있다.
도 9는 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 프로세서(210), 카메라(220), 조리실(230), 메모리(240), 출력 인터페이스(250), 온도 센서(910), 및 가열 모듈(920)을 포함할 수 있다. 도 9에서는 도 2에 도시된 조리 기기(100)와 차이점을 중심으로 설명한다.
온도 센서(910)는 조리 기기(100)의 조리실(230)의 온도를 검출한다. 온도 센서(910)는 온도를 측정하여 전기적인 신호로 변환한다. 온도 센서(910)는 조리실(230) 내부에 배치될 수 있다. 온도 센서(910)는 측정된 온도 검출 값을 프로세서(210)로 출력한다.
가열 모듈(920)은 조리실(230) 내부의 온도를 제어한다. 가열 모듈(920)은 전열기 또는 가스 버너 등을 포함할 수 있다. 프로세서(210)는 가열 모듈(920)을 제어함에 의해 설정 온도로 조리실(230) 내부의 온도를 제어한다. 프로세서(210)는 온도 센서(910)에서 검출된 온도 검출 값에 기초하여, 가열 모듈(920)을 이용하여 조리실(230) 내부의 온도를 상승시키거나, 가열 모듈(920)의 가열을 중단한다.
프로세서(210)는 온도 검출 값에 기초하여 화재 위험을 판단한다. 프로세서(210)는 촬영 영상에 기초하여 화재 위험을 검출한 경우, 온도 검출 값을 추가로 고려하여, 화재 위험을 다시 판단하고 검증할 수 있다.
프로세서(210)는 촬영 영상에 기초하여 화재 위험이 검출된 경우, 온도 검출 값이 기준 온도를 초과하는지 여부를 판단한다. 기준 온도는 미리 결정된 소정의 값이다.
일 실시예에 따르면, 기준 온도는 조리 진행 시간에 따라 변경될 수 있다. 조리 기기(100)는 소정의 조리 프로세스에 따라 가열 모듈(920)을 제어하여 조리실(230) 내부의 온도를 제어한다. 조리 기기(100)는 온도 제어의 목표 온도보다 온도 검출 값이 높은 경우 화재 위험이 있다고 판단한다. 기준 온도는 온도 제어의 목표 온도보다 높은 값으로 설정될 수 있다. 조리 프로세스는 하나 이상의 식재료의 검출 또는 조리될 아이템을 나타내는 사용자 입력에 기초하여 결정될 수 있다.
또한, 일 실시예에 따르면, 기준 온도는 조리 프로세스에서 이용되는 식재료에 따라 달라질 수 있다. 기준 온도는 식재료의 발화점에 따라 다르게 설정될 수 있다. 예를 들면, 발화점이 낮은 식재료는 기준 온도가 낮게 설정되고, 발화점이 높은 식재료는 기준 온도가 높게 설정될 수 있다.
도 10은 본 개시의 일 실시예에 따라, 촬영 영상 및 온도 검출 값에 기초하여, 화재 위험을 검출하는 과정을 나타낸 흐름도이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 단계 S404에서, 촬영 영상에 기초하여 화재 위험을 검출한 경우, 단계 S1002에서, 온도 센서(910)로부터 온도 검출 값을 획득한다. 온도 센서(910)는 조리실(230) 내부의 온도를 검출하여 온도 검출 값을 생성한다.
단계 S1004에서, 조리 기기(100)는 획득된 온도 검출 값이 기준 온도 이상인지 여부를 판단한다. 조리 기기(100)는 온도 검출 값이 기준 온도 이상인 경우, 단계 S1006에서, 화재 위험이 있다고 판단한다. 조리 기기(100)는 온도 검출 값이 기준 온도 미만인 경우, 단계 S402로 돌아가 다음 촬영 영상을 획득한다.
도 11은 본 개시의 일 실시예에 따라, 촬영 영상으로부터 식재료를 인식하고, 모니터링 영역을 결정하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 촬영 영상(1110)으로부터 식재료를 인식하고, 식재료 인식 결과에 따라 모니터링 영역을 결정한다.
조리 기기(100)는 촬영 영상(1110)으로부터 식재료를 인식한다(1120). 조리 기기(100)는 촬영 영상(1110)에 대해 객체 인식 처리를 수행하여, 식재료를 인식할 수 있다. 조리 기기(100)는 식재료 인식 동작을 수행하여, 식재료의 종류, 식재료의 컬러, 식재료의 위치, 또는 식재료의 엣지 중 적어도 하나를 인식할 수 있다. 조리 기기(100)는 촬영 영상(1110)으로부터 식재료를 인식하여, 식재료 인식 결과(1122)를 생성할 수 있다.
도 11의 예에서, 촬영 영상(1110)은 피자를 조리하는 중에 조리실(230) 내부를 촬영한 영상이다. 조리 기기(100)는 촬영 영상(1110)으로부터 식재료 인식을 수행하여, 피망, 버섯, 도우, 밀가루, 올리브를 인식하였다. 또한, 조리 기기(100)는 조리실(230)의 마감재 또는 트레이를 인식한다. 도 11의 예에서, 조리 기기(100)는 촬영 영상(1110)으로부터 오븐 트레이를 인식한다.
도 12는 본 개시의 일 실시예에 따라 기계학습 모델을 이용하여 식재료를 인식하는 구성을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 기계학습 모델(1210)을 이용하여 촬영 영상(1110)으로부터 식재료 정보 및 식재료 위치를 인식할 수 있다. 식재료 정보는 식재료의 종류, 식재료의 컬러를 포함한다. 식재료 위치는 촬영 영상(1110)에서 식재료에 대응하는 영역을 나타낸다. 식재료 위치는 식재료에 대응하는 엣지 정보를 포함할 수 있다.
기계학습 모델(1210)은 입력 데이터로서 다수의 촬영 영상을 포함하고, 출력 데이터로서 다수의 식재료 정보 및 다수의 식재료 위치를 포함하는 트레이닝 데이터에 의해 기계 학습된 모델이다. 기계학습 모델(1210)은 CNN(Convolutional Neural Network), R-CNN(Region-based Convolutional Neural Network), YOLO(You only Look Once), 또는 SSD(Single Shot Detector), 또는 본 기술 분야의 통상의 기술자에게 알려진 다른 신경망 모델 등의 알고리즘을 이용할 수 있다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 On-Device 방식으로 기계학습 모델(1210)을 이용할 수 있다. 메모리(240)는 기계학습 모델(1210)의 명령어들을 저장하고, 프로세서(210)는 메모리(240)에 저장된 기계학습 모델(1210)의 명령어들을 수행하여, 기계학습 모델(1210)을 실행할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 조리 기기(100)는 외부 서버(미도시)에서 실행되는 기계학습 모델(1210)을 이용하여 식재료 인식 결과를 획득할 수 있다. 조리 기기(100)는 외부 서버로 촬영 영상(1110)을 전송하고, 식재료 인식을 요청할 수 있다. 외부 서버는 촬영 영상(1110)을 기계학습 모델(1210)에 입력하여, 식재료 정보 및 식재료 위치를 획득할 수 있다. 외부 서버는 획득된 식재료 정보 및 식재료 위치를 조리 기기(100)로 전송할 수 있다.
다시 도 11을 참조하여, 식재료 인식(1120)의 다음 동작들을 설명한다.
조리 기기(100)는 촬영 영상(1110)으로부터 인식된 식재료 종류 및 식재료 컬러에 기초하여, 화재 관련 컬러와의 컬러 유사도를 산출한다(1130). 컬러 유사도는 앞서 도 7을 참조하여 설명한 바와 같이, 색 공간에서 화재 관련 컬러의 좌표 영역과 인식된 식재료의 컬러의 색 좌표 사이의 거리에 기초하여 산출될 수 있다.
일 실시예에 따르면, 조리 기기(100)는 인식된 식재료의 컬러와 연기 관련 컬러의 컬러 유사도를 산출하다. 또한, 조리 기기(100)는 인식된 식재료의 컬러와 불꽃 관련 컬러의 컬러 유사도를 산출한다.
조리 기기(100)는 컬러 유사도를 산출하여, 컬러 유사도 산출 결과(1132)를 생성한다. 컬러 유사도 산출 결과(1132)는 낮음, 연기와 유사, 연기와 매우 유사, 불꽃과 유사, 불꽃과 매우 유사, 또는 다른 적절한 유사도 카테고리 등으로 정의될 수 있다.
다음으로, 조리 기기(100)는 컬러 유사도 산출 결과(1132)에 기초하여, 모니터링 영역을 선택한다(1140).
일 실시예에 따르면, 조리 기기(100)는 컬러 유사도가 낮은 식재료 영역을 모니터링 영역으로 선택한다. 조리 기기(100)는 불꽃 관련 컬러와 연기 관련 컬러와 유사도가 모두 낮은 식재료 영역을 모니터링 영역으로 선택할 수 있다. 도 11의 예에서, 조리 기기(100)는 화재 관련 컬러와 유사도가 낮은 피망, 올리브, 및 오븐 트레이에 대응하는 영역을 모니터링 영역으로 선택할 수 있다.
또한, 일 실시예에 따르면, 조리 기기(100)는 연기 관련 컬러와 컬러 유사도가 낮은 식재료 영역을 연기 모니터링 영역으로 선택하고, 불꽃 관련 컬러와 컬러 유사도가 낮은 식재료 영역을 불꽃 모니터링 영역으로 선택한다. 도 11의 예에서, 조리 기기(100)는 연기 관련 컬러와 유사도가 낮은 피망, 올리브, 및 오븐 트레이에 대응하는 영역을 연기 모니터링 영역으로 선택할 수 있다. 또한, 조리 기기(100)는 불꽃 관련 컬러와 유사도가 낮은 피망, 버섯, 도우, 밀가루, 올리브, 및 오븐 트레이에 대응하는 영역을 불꽃 모니터링 영역으로 선택할 수 있다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 모니터링 영역으로 선택된 식재료에 대응하는 모든 영역을 모니터링 영역으로 설정할 수 있다. 이러한 경우, 모니터링 영역으로 선택된 식재료에 대응하는 픽셀들이 모두 모니터링 영역으로 설정된다.
또한, 본 개시의 일 실시예에 따르면, 조리 기기(100)는 모니터링 영역으로 선택된 식재료에 대응하는 일부 영역을 모니터링 영역으로 설정할 수 있다. 예를 들면, 조리 기기(100)는 피망에 대응하는 픽셀들 중, 일부 픽셀을 포함하는 직사각형 블록을 모니터링 영역으로 설정할 수 있다. 또한, 예를 들면, 조리 기기(100)는 피망에 대응하는 픽셀들 중, 각 피망의 가장자리 영역을 제외하고 중심부 영역의 픽셀들을 모니터링 영역으로 설정할 수 있다. 본 개시의 통상의 기술자에 의해 이해되는 바와 같이, 모니터링 영역은 사각 블록과 다른 적절한 형태일 수 있다.
도 13은 본 개시의 일 실시예에 따라 설정된 모니터링 영역을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 화재 관련 컬러와 컬러 유사도가 낮은 식재료에 대응하는 픽셀 영역을 모니터링 영역으로 정의한다. 조리 기기(100)는 모니터링 영역에 대응하는 픽셀들이 1의 값의 갖고, 나머지 픽셀들이 0의 값을 갖는 마스크를 생성할 수 있다. 조리 기기(100)는 마스크를 이용하여 모니터링 영역을 추출할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 연기 모니터링 영역에 대한 마스크와, 불꽃 모니터링 영역에 대한 마스크가 따로 생성될 수 있다.
조리 기기(100)는 조리 동작 개시 전에 모니터링 영역을 결정하고, 모니터링 영역에 대응하는 마스크를 생성할 수 있다. 조리 기기(100)는 모니터링 영역에 대응하는 마스크를 메모리(240)에 저장하고, 마스크를 이용하여 모니터링 영역의 컬러 데이터를 추출한다.
도 14는 본 개시의 일 실시예에 따라 모니터링 영역의 하나 이상의 가중치를 적용하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 식재료를 인식하고(1120), 인식된 식재료와 화재 관련 컬러의 컬러 유사도를 산출하여(1130), 컬러 유사도에 기초하여 각 픽셀 영역에 가중치를 적용할 수 있다.
조리 기기(100)는 촬영 영상(1110)으로부터 식재료를 인식한다(1120). 조리 기기(100)는 촬영 영상(1110)에 대해 객체 인식 처리를 수행하여, 식재료를 인식할 수 있다. 조리 기기(100)는 식재료 인식 동작을 수행하여, 식재료의 종류, 식재료의 컬러, 식재료의 위치, 및 식재료의 엣지를 인식할 수 있다. 조리 기기(100)는 촬영 영상(1110)으로부터 식재료를 인식하여, 식재료 인식 결과(1122)를 생성할 수 있다.
조리 기기(100)는 촬영 영상(1110)으로부터 인식된 식재료 종류 및 식재료 컬러에 기초하여, 화재 관련 컬러와의 컬러 유사도를 산출한다(1130). 컬러 유사도는 앞서 도 7을 참조하여 설명한 바와 같이, 색 공간에서 화재 관련 컬러의 좌표 영역과 인식된 식재료의 컬러의 색 좌표 사이의 거리에 기초하여 산출될 수 있다.
일 실시예에 따르면, 조리 기기(100)는 인식된 식재료의 컬러와 연기 관련 컬러의 컬러 유사도를 산출하다. 또한, 조리 기기(100)는 인식된 식재료의 컬러와 불꽃 관련 컬러의 컬러 유사도를 산출한다.
조리 기기(100)는 컬러 유사도를 산출하여, 컬러 유사도 산출 결과(1132)를 생성한다. 컬러 유사도 산출 결과(1132)는 낮음, 연기와 유사, 연기와 매우 유사, 불꽃과 유사, 불꽃과 매우 유사, 또는 다른 적절한 컬러 유사도 카테고리 등으로 정의될 수 있다.
다음으로, 조리 기기(100)는 컬러 유사도 산출 결과(1132)에 기초하여, 각 픽셀 영역의 가중치를 판단한다(1410). 조리 기기(100)는 컬러 유사도 산출 결과(1132)에서 컬러 유사도가 낮은 식재료에 대해 높은 가중치를 부여하고, 컬러 유사도가 높은 식재료에 대해 낮은 가중치를 부여할 수 있다. 조리 기기(100)는 컬러 유사도에 따른 가중치 맵을 생성하고, 가중치 맵에 기초하여 컬러 유사도에 관련된 화재 관련 지수를 구할 수 있다. 조리 기기(100)는 촬영 영상(1110)의 각 픽셀의 컬러 데이터와 화재 관련 컬러와의 컬러 유사도를 판단한다. 조리 기기(100)는 각 픽셀의 유사도 값에 가중치를 적용한다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 가중치 맵을 곱하여 가중치를 적용할 수 있다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 가중치를 적용한 값의 합을 화재 관련 지수로 정의할 수 있다. 조리 기기(100)는 화재 관련 지수가 기준 값 이상인 경우, 화재 위험이 검출되었다고 판단한다.
도 14의 예에서, 피망, 올리브, 오븐 트레이는 컬러 유사도가 낮다고 판단되어 높은 가중치를 갖는다. 또한, 버섯은 연기와 컬러 유사도가 높다고 판단되어 낮은 가중치를 갖는다. 또한, 도우, 밀가루는 연기와 컬러 유사도가 매우 높다고 판단되어, 가중치가 최저 값으로 정의된다. 가중치의 최저 값은 예를 들면, 0일 수 있다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 불꽃 관련 컬러에 대한 불꽃 가중치와, 연기 관련 컬러에 대한 연기 가중치를 서로 다르게 설정할 수 있다.
일 실시예에 따르면, 조리 기기(100)는 불꽃 관련 컬러와 유사도를 산출하고, 불꽃 관련 컬러와 유사도에 기초하여 불꽃 가중치를 산출한다. 조리 기기(100)는 불꽃 관련 컬러에 대한 유사도 산출 결과에서 컬러 유사도가 낮은 식재료에 대해 높은 가중치를 부여하고, 컬러 유사도가 높은 식재료에 대해 낮은 가중치를 부여할 수 있다. 조리 기기(100)는 컬러 유사도에 따른 불꽃 가중치 맵을 생성하고, 불꽃 가중치 맵에 기초하여 불꽃에 대한 컬러 유사도에 관련된 불꽃 관련 지수를 구할 수 있다. 조리 기기(100)는 촬영 영상(1110)의 각 픽셀의 컬러 데이터와 불꽃 관련 컬러와의 컬러 유사도를 판단한다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 불꽃 가중치를 적용한다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 불꽃 가중치 맵을 곱하여 불꽃 가중치를 적용할 수 있다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 불꽃 가중치를 적용한 값의 합을 불꽃 관련 지수로 정의할 수 있다. 조리 기기(100)는 불꽃 관련 지수가 기준 값 이상인 경우, 화재 위험이 검출되었다고 판단한다.
또한, 일 실시예에 따르면, 조리 기기(100)는 연기 관련 컬러와 유사도를 산출하고, 연기 관련 컬러와 유사도에 기초하여 연기 가중치를 산출한다. 조리 기기(100)는 연기 관련 컬러에 대한 유사도 산출 결과에서 컬러 유사도가 낮은 식재료에 대해 높은 가중치를 부여하고, 컬러 유사도가 높은 식재료에 대해 낮은 가중치를 부여할 수 있다. 조리 기기(100)는 컬러 유사도에 따른 연기 가중치 맵을 생성하고, 연기 가중치 맵에 기초하여 연기에 대한 컬러 유사도에 관련된 연기 관련 지수를 구할 수 있다. 조리 기기(100)는 촬영 영상(1110)의 각 픽셀의 컬러 데이터와 연기 관련 컬러와의 컬러 유사도를 판단한다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 연기 가중치를 적용한다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 연기 가중치 맵을 곱하여 연기 가중치를 적용할 수 있다. 조리 기기(100)는 각 픽셀의 컬러 유사도 값에 연기 가중치를 적용한 값의 합을 연기 관련 지수로 정의할 수 있다. 조리 기기(100)는 연기 관련 지수가 기준 값 이상인 경우, 화재 위험이 검출되었다고 판단한다.
도 15는 본 개시의 일 실시예에 따라 모니터링 영역을 선택하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 조리 과정 중에 식재료의 컬러가 변경되는 것을 고려하여, 모니터링 영역을 선택할 수 있다. 식재료는 조리 과정 중에 식재료가 익는 과정에서 컬러가 변할 수 있다. 예를 들면, 소고기 또는 돼지고기는, 조리 전에는 붉은 색을 갖다가, 조리 기기(100)에 의해 익힘에 의해 흰색에 가까운 색으로 변할 수 있다. 이러한 경우, 소고기 또는 돼지고기는 익은 상태에서 연기와 컬러 유사도가 높은 컬러를 갖게 된다. 따라서 조리 기기(100)는 조리 전에 화재 관련 컬러와 컬러 유사도가 낮더라도, 조리 후에 화재 관련 컬러와 컬러 유사도가 높은 경우, 모니터링 영역으로 선택하지 않을 수 있고, 그로 인해 연기 또는 화재 위험의 오 검출의 리스크를 감소시킨다.
우선 단계 S1502에서, 조리 기기(100)는 촬영 영상으로부터 식재료 종류를 식별한다. 조리 기기(100)는 앞서 설명한 바와 같이 객체 인식 알고리즘을 이용하여 촬영 영상으로부터 식재료 종류를 식별할 수 있다. 또한, 조리 기기(100)는 기계학습 모델을 이용하여, 촬영 영상으로부터 식재료 종류를 식별할 수 있다.
조리 기기(100)는 촬영 영상으로부터 복수의 식재료 종류가 식별된 경우, 각 종류의 식재료에 대해, 단계 S1504, S1506, S1508, 및 S1510을 수행할 수 있다.
다음으로, 단계 S1504에서, 조리 기기(100)는 인식된 식재료와 화재 관련 컬러의 컬러 유사도가 기준 값 이상인지 여부를 판단한다. 일 실시예에 따르면, 조리 기기(100)는 불꽃 관련 컬러와 촬영 영상의 식재료 영역의 컬러 데이터 사이의 컬러 유사도를 산출할 수 있다. 또한, 일 실시예에 따르면, 조리 기기(100)는 연기 관련 컬러와 촬영 영상의 식재료 영역의 컬러 데이터 사이의 컬러 유사도를 산출할 수 있다.
조리 기기(100)는 컬러 유사도가 기준 값 이상인 경우, 단계 S1508에서 해당 식재료 영역을 모니터링 영역으로 선택하지 않는다.
조리 기기(100)는 컬러 유사도가 기준 값 미만인 경우, 단계 S1506에서, 해당 식재료가 조리 과정 중 화재 관련 컬러와 컬러 유사도가 높게 변하는지 여부를 판단한다. 예를 들면, 소고기 또는 돼지고기의 경우 조리 시작 전에는 화재 관련 컬러와 컬러 유사도가 낮지만, 익은 후에는 연기 관련 컬러와 유사도가 높다. 조리 기기(100)는 조리 과정 중 화재 관련 컬러와 컬러 유사도가 높게 변화하는 식재료에 대한 정보를 미리 저장할 수 있다. 예를 들면, 조리 기기(100)는 조리 과정 중 불꽃 관련 컬러와 컬러 유사도가 높게 변화하는 식재료에 대한 정보, 및 조리 과정 중 연기 관련 컬러와 컬러 유사도가 높게 변화하는 식재료에 대한 정보를 메모리(240)에 저장할 수 있다. 조리 기기(100)는 메모리(240)에 저장된 정보를 이용하여, 해당 식재료가 조리 과정 중 화재 관련 컬러와 컬러 유사도가 높게 변화하는 식재료인지 여부를 판단한다.
만약 단계 S1506에서 해당 식재료가 조리 과정 중 화재 관련 컬러와 컬러 유사도가 높게 변화한다고 판단된 경우, 조리 기기(100)는 단계 S1508에서, 해당 식재료에 대응하는 영역을 모니터링 영역으로 선택하지 않는다. 만약 단계 S1506에서 해당 식재료가 조리 과정 중 화재 관련 컬러와 컬러 유사도가 높게 변화하지 않는다고 판단된 경우, 조리 기기(100)는 단계 S1510에서 해당 식재료에 대응하는 영역을 모니터링 영역으로 선택한다.
단계 S604에서 모니터링 영역이 결정되면, 조리 기기(100)는 단계 S402에서 조리실 내부를 촬영하여 촬영 영상을 생성한다.
도 16은 본 개시의 일 실시예에 따른 식재료의 수축 모습을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 모니터링 영역을 결정할 때, 식재료의 수축을 고려하여 모니터링 영역을 결정할 수 있다.
식재료는 조리 과정 중 수분이 빠져나가고 익힘 과정이 진행됨에 따라, 수축할 수 있다. 예를 들면, 고기는 조리 과정에서 수축한다. 예를 들면, 고기는 도 16에 도시된 바와 같이, 조리 과정에서 수축(1614)함에 의해 조리 전의 제1 엣지(1610)로부터 제2 엣지(1612)로 엣지가 이동한다. 다른 예로서, 시금치와 같은 특정 식물은 조리 프로세스 동안 수축한다.
본 개시의 일 실시예들은 조리 과정에서 식재료의 변화를 고려하여 모니터링 영역을 결정한다. 조리 기기(100)는 조리 과정 중 식재료의 수축에 의해 모니터링 영역이 식재료에 대응하는 영역이었다가 식재료에 대응하지 않는 영역으로 변경되는 것을 방지하기 위해, 모니터링 영역에서 식재료의 가장자리 영역을 제외하고 식재료의 중심부로 모니터링 영역을 결정할 수 있다.
도 17은 본 개시의 일 실시예에 따라 식재료의 수축을 고려하여 모니터링 영역을 결정하는 과정을 나타낸 도면이다.
우선 단계 S1502에서, 조리 기기(100)는 촬영 영상으로부터 식재료 종류를 식별한다. 조리 기기(100)는 앞서 설명한 바와 같이 객체 인식 알고리즘을 이용하여 촬영 영상으로부터 식재료 종류를 식별할 수 있다. 또한, 조리 기기(100)는 기계학습 모델을 이용하여, 촬영 영상으로부터 식재료 종류를 식별할 수 있다.
조리 기기(100)는 촬영 영상으로부터 복수의 식재료 종류가 식별된 경우, 각 종류의 식재료에 대해, 단계 S1504, S1702, S1704, S1706, 및 S1708을 수행할 수 있다.
다음으로, 단계 S1504에서, 조리 기기(100)는 인식된 식재료와 화재 관련 컬러의 컬러 유사도가 기준 값 이상인지 여부를 판단한다. 일 실시예에 따르면, 조리 기기(100)는 불꽃 관련 컬러와 촬영 영상의 식재료 영역의 컬러 데이터 사이의 컬러 유사도를 산출할 수 있다. 또한, 일 실시예에 따르면, 조리 기기(100)는 연기 관련 컬러와 촬영 영상의 식재료 영역의 컬러 데이터 사이의 컬러 유사도를 산출할 수 있다.
조리 기기(100)는 컬러 유사도가 기준 값 이상인 경우, 단계 S1708에서 해당 식재료 영역을 모니터링 영역으로 선택하지 않는다.
조리 기기(100)는 컬러 유사도가 기준 값 미만인 경우, 단계 S1506서, 식별된 식재료가 조리 과정 중 수축이 발생하는지 여부를 판단한다. 예를 들면, 고기 또는 야채의 경우, 조리 과정에서 재료를 익힘에 따라 수축이 발생한다. 조리 기기(100)는 조리 과정 중 수축이 발생하는 식재료에 대한 정보를 미리 저장할 수 있다. 예를 들면, 조리 기기(100)는 수축이 발생하는 식재료에 대한 정보를 메모리(240)에 저장하고, 메모리(240)에 저장된 정보를 이용하여, 해당 식재료가 조리 과정 중 수축이 발생하는 식재료인지 여부를 판단한다.
단계 S1506에서 수축이 발생하는 식재료라고 판단되면, 조리 기기(100)는 단계 S1704에서 식재료에 대응하는 영역에서 가장자리 영역을 제외하고, 식재료 영역의 중심부를 모니터링 영역으로 선택한다. 도 16을 참조하여 조리 중 수축이 발생하는 식재료의 모니터링 영역을 선택하는 구체적인 예를 설명한다. 만약 식재료가 조리 과정 중 제1 엣지(1610)로부터 제2 엣지(1614)로 수축한다고 예상되면, 조리 기기(100)는 제1 엣지(1610)와 제2 엣지(1614) 사이의 가장자리 영역은 모니터링 영역에서 제외하고, 제2 엣지(1614) 내부의 중심부를 모니터링 영역으로 설정한다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 수축이 발생하는 식재료의 경우, 수축 비율에 대한 정보를 미리 저장할 수 있다. 예를 들면, 조리 기기(100)는 수축이 발생하는 식재료에 대해, 높음, 중간, 낮음의 3단계로 수축 비율에 대한 정보를 미리 저장할 수 있다. 본 기술 분야의 통상의 기술자에 의해 이해되는 바와 같이, 카테고리의 개수는 적절한 개수로 설정될 수 있다. 조리 기기(100)는 수축 비율에 따라 식재료 영역 중 모니터링 영역에서 제외하는 가장자리 영역을 조절할 수 있다. 조리 기기는 수축 비율이 높은 경우, 전체 식재료 영역 중 가장자리 영역의 비율을 제1 비율로 높게 설정한다. 조리 기기는 수축 비율이 중간인 경우, 전체 식재료 영역 중 가장자리 영역의 비율을 제2 비율로 중간으로 설정한다. 조리 기기는 수축 비율이 낮은 경우, 전체 식재료 영역 중 가장자리 영역의 비율을 제3 비율로 낮게 설정한다. 제1 비율, 제2 비율, 및 제3 비율은 미리 지정될 수 있다.
조리 기기(100)는 단계 S1506에서 조리 과정 중 수축이 발생하지 않는 식재료라고 판단되면, 단계 S1706에서 식재료 영역 전체를 모니터링 영역으로 선택한다. 다만, 일 실시예에 따르면, 수축이 발생하지 않는 식재료인 경우에도, 식재료 영역 중 가장자리 영역을 제외하고 모니터링 영역을 설정할 수 있다. 단계 S1706에서 설정되는 가장자리 영역은 단계 S1704에서 수축이 발생하는 식재료에 대해 제외하는 가장자리 영역보다 좁게 설정될 수 있다.
단계 S604에서 모니터링 영역이 결정되면, 조리 기기(100)는 단계 S402에서 조리실 내부를 촬영하여 촬영 영상을 생성한다.
도 18은 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 외부 입력 또는 사용자 입력에 기초하여 식재료 정보를 획득할 수 있다. 조리 기기(100)는 통신 모듈(1810) 또는 입력 인터페이스(1820)를 통해 식재료 정보를 획득할 수 있다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 프로세서(210), 카메라(220), 조리실(230), 메모리(240), 출력 인터페이스(250), 통신 모듈(1810), 및 입력 인터페이스(1820)를 포함할 수 있다. 도 18에서는 도 2에 도시된 조리 기기(100)와 차이점을 중심으로 설명한다.
통신 모듈(1810)은 유선 또는 무선으로 서버, 모바일 장치, 사용자 기기 등의 외부 장치와 통신할 수 있다. 통신 모듈(1810)는 AP(Access Point) 장치에 접속하여, 와이파이 신호를 송수신할 수 있다. 프로세서(210)는 통신 모듈(1810)의 송수신 동작을 제어할 수 있다.
통신 모듈(1810)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 또한, 통신 모듈(1810)은 근거리 통신을 수행할 수 있으며, 예를 들면, 블루투스, BLE(Bluetooth Low Energy), 근거리 무선 통신 (Near Field Communication), WLAN(와이파이), 지그비(Zigbee), 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct), UWB(ultrawideband), Ant+ 통신 등을 이용할 수 있다. 또한, 예를 들면, 통신 모듈(1810)은 원거리 통신을 수행할 수 있으며, 예를 들면, 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN) 등을 통해 외부 장치와 통신할 수 있다.
또한 예를 들면, 통신 모듈(1810)는 이동 통신을 이용할 수 있으며, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.
일 실시예에 따르면, 통신 모듈(1810)은 와이파이 통신을 통해 댁내의 접속 중계기(AP)에 연결된다. 통신 모듈(1810)은 접속 중계기를 통해 외부 장치와 통신할 수 있다.
입력 인터페이스(1820)는 사용자 입력을 수신한다. 입력 인터페이스(1820)는 키, 터치 패널, 터치 스크린, 다이얼, 버튼 등을 포함할 수 있다.
도 19는 본 개시의 일 실시예에 따른 조리 기기, 사용자 기기, 및 서버를 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 통신 모듈(1810)을 통해, 사용자 기기(1910) 및 서버(1920)와 통신한다. 조리 기기(100)는 네트워크(NET)를 통해 다른 가전 기기, 사용자 기기 (1910), 또는 서버(1920)와 연결될 수 있다.
서버(1920)는 사용자 계정 정보 및 사용자 계정에 연결된 조리 기기(100)의 정보를 관리할 수 있다. 예를 들어, 사용자는 사용자 기기(1910)를 통해 서버(1920)에 접속하여, 사용자 계정을 생성할 수 있다. 사용자 계정은 사용자에 의해 설정된 아이디와 비밀번호에 의해 식별될 수 있다. 서버(1920)는 정해진 절차에 따라 조리 기기(100)를 사용자 계정에 등록할 수 있다. 예를 들어, 서버(1920)는 조리 기기(100)의 식별 정보(예: 시리얼 넘버 또는 맥 주소(MAC address))를 사용자 계정에 연결하여, 조리 기기(100)를 등록할 수 있다.
사용자 기기(1910)는 조리 기기(100) 및 서버(1920)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 사용자 기기(1910)의 동작을 제어하는 적어도 하나의 프로세서, 및 사용자 기기(1910)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다.
사용자 기기(1910)는 사용자에 의하여 휴대되거나, 사용자의 가정 또는 사무실 등에 배치될 수 있다. 사용자 기기(1910)는, 예를 들어, 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자 기기(1910)의 메모리에는 조리 기기(100)를 제어하기 위한 프로그램(예를 들어, 어플리케이션)이 저장될 수 있다. 사용자 기기(1910)는, 조리 기기(100)를 제어하기 위한 어플리케이션이 설치된 상태로 판매될 수도 있으며, 설치되지 않은 상태로 판매될 수도 있다. 사용자 기기(1910)가 조리 기기(100)를 제어하기 위한 어플리케이션이 설치되지 않은 상태로 판매된 경우, 사용자가 어플리케이션을 제공하는 외부 서버로부터 어플리케이션을 다운로드 받아 사용자 기기(1910)에 설치할 수 있다.
사용자는 사용자 기기(1910)에 설치된 어플리케이션을 이용하여 조리 기기(100)를 제어할 수 있다. 예를 들어, 사용자가 사용자 기기(1910)에 설치된 어플리케이션을 실행하는 경우, 사용자 기기(1910)와 동일한 사용자 계정으로 연결된 조리 기기(100)의 식별 정보가 어플리케이션 실행 창에 나타날 수 있다. 사용자는 어플리케이션 실행 창을 통해서 조리 기기(100)에 대해 원하는 제어를 수행할 수 있다. 사용자가 어플리케이션 실행 창을 통해 조리 기기(100)에 대한 제어 명령을 입력하는 경우, 사용자 기기(1910)는 네트워크를 통해서 직접 조리 기기(100)로 제어 명령을 전달할 수도 있고, 서버(1920)를 경유하여 조리 기기(100)로 제어 명령을 전달할 수도 있다.
네트워크(NET)는 유선 네트워크와 무선 네트워크를 모두 포함할 수 있다. 유선 네트워크는 케이블 네트워크 또는 전화 네트워크 등을 포함하며, 무선 네트워크는 전파를 통하여 신호를 송수신하는 모든 네트워크를 포함할 수 있다. 유선 네트워크와 무선 네트워크는 서로 연결될 수 있다.
네트워크(NET)는 인터넷 등의 광역 네트워크(wide area network, WAN), 접속 중계기(Access Point, AP)를 중심으로 형성된 지역 네트워크(local area network, LAN), 접속 중계기를 통하지 않는 근거리 무선 네트워크(wireless personal area network, WPAN)를 포함할 수 있다. 근거리 무선 네트워크는 블루투스(Bluetooth™, IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4), 와이파이 다이렉트(Wi-Fi Direct), NFC(Near Field Communication), 지-웨이브(Z-Wave) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
접속 중계기(AP)는 조리 기기(100) 및 사용자 기기(1910)가 연결된 지역 네트워크(LAN)를 서버(1920)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 조리 기기(100) 또는 사용자 기기(1910)는 광역 네트워크(WAN)를 통해 서버(1930)에 연결될 수 있다.
접속 중계기(AP)는, 와이파이(Wi-Fi™, IEEE 802.11)등의 무선 통신을 이용하여, 조리 기기(100) 및 사용자 기기(1910)와 통신하고, 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있다.
조리 기기(100)는 네트워크(NET)를 통하여 동작 또는 상태에 관한 정보를 서버(1920)에 전송할 수 있다. 예를 들어, 조리 기기(100)는 와이파이(Wi-Fi™, IEEE 802.11) 통신을 통해 서버(1920)에 동작 또는 상태에 관한 정보를 전송할 수 있다. 조리 기기(100)에 와이파이 통신 모듈이 마련되어 있지 않은 경우, 조리 기기(100)는 와이파이 통신 모듈을 갖는 다른 가전 기기를 통해 서버(1920)에 동작 또는 상태에 관한 정보를 전송할 수 있다. 예를 들어, 조리 기기(100)가 근거리 무선 네트워크(예: BLE(Bluetooth Low Energy) 통신)를 통해 다른 가전 기기로 동작 또는 상태에 관한 정보를 전송하면, 다른 가전 기기가 서버(1920)로 조리 기기(100)의 동작 또는 상태에 관한 정보를 전달할 수 있다. 조리 기기(100)는 사용자의 사전 승인에 따라 조리 기기(100)의 동작 또는 상태에 관한 정보를 서버(1920)에 제공할 수 있다. 서버(1920)로의 정보 전송은 서버(1920)로부터 요청이 수신될 때 이루어질 수도 있고, 조리 기기(100)에 특정 이벤트가 발생했을 때 이루어질 수도 있으며, 주기적으로 또는 실시간으로 이루어질 수도 있다.
서버(1920)는 조리 기기(100)로부터 동작 또는 상태에 관한 정보가 수신되면, 조리 기기(100)와 관련하여 기 저장되어 있던 정보를 갱신할 수 있다. 서버(1920)는, 네트워크(NET)를 통하여 사용자 기기(1910)에 조리 기기(100)의 동작 또는 상태에 관한 정보를 전송할 수 있다. 서버(1920)는 사용자 기기(1910)로부터 요청이 수신될 때 조리 기기(100)의 동작 또는 상태에 관한 정보를 사용자 기기(1910)로 전송할 수 있다. 예를 들어, 사용자가 사용자 기기(1910)에서 서버(1920)에 연결된 어플리케이션을 실행하는 경우, 사용자 기기(1910)는 어플리케이션을 통해서 서버(1920)에 조리 기기(100)의 동작 또는 상태에 관한 정보를 요청하여 수신할 수 있다. 서버(1920)는 조리 기기(100)로부터 동작 또는 상태에 관한 정보가 수신 됐을 때 실시간으로 사용자 기기(1910)에 조리 기기(100)의 동작 또는 상태에 관한 정보를 전달할 수도 있다. 예를 들어, 서버(1920)는 조리 기기(100)의 동작이 완료됐다는 정보를 조리 기기(100)로부터 수신한 경우, 사용자 기기(1910)에 설치된 어플리케이션을 통해서 조리 기기(100)의 동작이 완료됐다는 정보를 사용자 기기(1910)에 실시간으로 전달할 수 있다. 서버(1920)는 주기적으로 조리 기기(100)의 동작 또는 상태에 관한 정보를 사용자 기기(1910)에 전달할 수도 있다. 사용자 기기(1910)는 어플리케이션 실행 창에 조리 기기(100)의 동작 또는 상태에 관한 정보를 표시함으로써, 사용자에게 조리 기기(100)의 동작 또는 상태에 관한 정보를 전달할 수 있다.
조리 기기(100)는 서버(1920)로부터 다양한 정보를 획득하고, 획득된 정보를 사용자에게 제공할 수 있다. 예를 들어, 조리 기기(100)는 서버(1920)로부터 조리법, 날씨 등의 정보를 획득하고, 출력 인터페이스(250)를 통해 획득된 정보를 출력할 수 있다. 조리 기기(100)는, 기 설치된 소프트웨어 또는 기 설치된 소프트웨어와 관련된 데이터를 업데이트하기 위한 파일을 서버(1920)로부터 수신하고, 수신된 파일에 기초하여, 기 설치된 소프트웨어 또는 기 설치된 소프트웨어와 관련된 데이터를 업데이트할 수 있다.
조리 기기(100)는 서버(1920)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 예를 들어, 조리 기기(100)가 사용자 입력이 없더라도 서버(1920)의 제어 명령에 따라 동작할 수 있는 사용자의 사전 승인을 획득한 경우, 조리 기기(100)는 서버(1920)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 서버(1920)로부터 수신되는 제어 명령은, 사용자가 사용자 기기(1920)를 통해 입력한 제어 명령 또는 서버(1920)가 기 설정된 조건에 기초하여 생성한 제어 명령 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 20은 본 개시의 일 실시예에 따라 사용자 기기로부터 식재료 정보를 획득하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 사용자 기기(1910)는 조리 기기(100)를 제어하기 위한 제1 어플리케이션을 저장하고 실행할 수 있다. 제1 어플리케이션은 조리 기기(100)의 제어, 조리법 정보 제공, 식재료 정보 입력 등의 다양한 동작을 수행한다. 사용자 기기(1910)는 제1 어플리케이션을 통해 식재료 정보를 수신하고, 식재료 정보를 조리 기기(100)로 전송할 수 있다.
제1 어플리케이션은 사용자 기기(1910)에서 실행되면서, 서버(1920)와 연동하여 동작할 수 있다. 예를 들면, 제1 어플리케이션은 사용자 기기(1910)를 통해 정보의 입력 및 출력 동작, 데이터 처리 동작 등을 수행하고, 서버(1920)를 통해 조리 기기(100)와 통신 동작, 정보 검색 동작 등을 수행할 수 있다. 따라서 본 개시에서 제1 어플리케이션이 수행하는 동작은, 사용자 기기(1910) 또는 서버(1920)에 의해 수행될 수 있다.
일 실시예에 따르면, 단계 2010에서 사용자 기기(1910)는 제1 어플리케이션을 통해 조리법 정보를 제공한다. 조리법 정보는 해당 조리법의 식재료 정보(2012)를 포함한다. 제1 어플리케이션은 사용자가 소정의 조리법을 선택하면(2014), 단계 2020에서 해당 조리법으로 조리 기기(100)에서 요리를 진행할지 여부를 문의한다. 제1 어플리케이션을 통해 해당 조리법으로 조리 기기(100)에서 요리를 하는 것으로 사용자가 선택하면(2022), 사용자 기기(1910)는 해당 조리법에 포함된 식재료 정보(2012)를 조리 기기(100)로 전송한다. 사용자 기기(1910)는 서버(1920)를 통해 식재료 정보를 조리 기기(100)로 전송한다.
또한, 일 실시예에 따르면, 사용자 기기(1910)는 사용자가 선택한 조리법 정보를 조리 기기(100)로 전송할 수 있다. 또한, 일 실시예에 따르면, 제1 어플리케이션은 사용자가 선택한 조리법 정보에 따라 조리 기기(100)의 동작을 제어하는 제어 신호를 조리 기기(100)로 전송할 수 있다. 조리 기기(100)는 제1 어플리케이션으로부터 수신한 조리법 정보에 기초하여, 조리 동작을 설정할 수 있다. 예를 들면, 조리 기기(100)는 조리법 정보에 기초하여, 온도 설정, 조리 시간 설정, 송풍, 스팀 등의 동작을 수행할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 사용자 기기(1910)는 제1 어플리케이션을 통해 식재료 정보를 사용자로부터 직접 입력 받을 수 있다. 제1 어플리케이션은 조리법 정보의 선택 없이 사용자가 직접 식재료를 지정하는 메뉴를 제공할 수 있다. 제1 어플리케이션은 사용자가 직접 식재료를 지정하여 입력한 경우, 사용자에 의해 입력된 식재료 정보를 조리 기기(100)로 전송한다.
도 21은 본 개시의 일 실시예에 따라 사용자 기기로부터 식재료 정보를 획득하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 사용자 기기(1910)의 제1 어플리케이션은 카메라를 이용하여 식재료에 관련된 정보를 촬영하고, 촬영된 영상으로부터 식재료 정보를 획득할 수 있다. 일 실시예에 따르면, 제1 어플리케이션은 바코드, QR 코드와 같은 비주얼 코드를 이용하여 식재료 정보를 획득할 수 있다.
단계 2110에서, 제1 어플리케이션은 비주얼 코드를 이용하여 밀키트 또는 간편식 정보를 획득하는 비주얼 코드 촬영 메뉴(2112)를 제공할 수 있다. 사용자가 비주얼 코드 촬영 메뉴(2112)를 선택하면(2116), 제1 어플리케이션은 단계 2120에서 카메라로 비주얼 코드(2122)를 촬영할 수 있는 촬영 모드를 실행한다. 제1 어플리케이션은 카메라에 의해 촬영된 촬영 영상으로부터 비주얼 코드를 인식한다. 제1 어플리케이션은 인식된 비주얼 코드에 대응하는 밀키트/간편식 정보를 획득한다. 밀키트/간편식 정보는, 조리법, 식재료 정보, 또는 음식 또는 조리 프로세스에 대한 적절한 다른 정보 등을 포함할 수 있다.
일 실시예에 따르면, 제1 어플리케이션은 서버(1920)로 비주얼 코드에 대응하는 밀키트/간편식 정보를 요청하고, 서버(1920)로부터 비주얼 코드에 대응하는 밀키트/간편식 정보를 수신할 수 있다. 또한, 일 실시예에 따르면, 제1 어플리케이션은 사용자 기기(1910)의 메모리에 비주얼 코드에 대응하는 밀키트/간편식 정보를 저장한다. 제1 어플리케이션은 사용자 기기(1910)에 저장된 밀키트/간편식 정보를 이용하여, 비주얼 코드에 대응하는 밀키트/간편식 정보를 획득한다.
제1 어플리케이션은 밀키트/간편식 정보를 조리 기기(100)로 전송한다. 제1 어플리케이션은 사용자가 밀키트/간편식 정보를 조리 기기(100)로 전송할 것을 요청한 경우, 밀키트/간편식 정보를 조리 기기(100)로 전송할 수 있다. 제1 어플리케이션은 밀키트/간편식 정보에 포함된 조리법 정보, 식재료 정보를 조리 기기(100)로 전송한다.
제1 어플리케이션은 밀키트/간편식 정보를 조리 기기(100)로 전송하면서, 밀키트/간편식 정보에 따라 조리 기기(100)의 동작을 제어하는 제어 신호를 조리 기기(100)로 전송할 수 있다. 조리 기기(100)는 사용자 기기(1910)로부터 수신한 밀키트/간편식 정보에 포함된 조리법 정보에 기초하여, 조리 동작을 설정할 수 있다. 예를 들면, 조리 기기(100)는 밀키트/간편식 정보에 포함된 조리법 정보에 기초하여, 온도 설정, 조리 시간 설정, 송풍, 스팀 등의 동작을 수행할 수 있다.
도 22는 본 개시의 일 실시예에 따라 조리 기기의 입력 인터페이스를 통해 식재료 정보를 수신하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 조리 기기(100)의 입력 인터페이스(1820)를 통해 식재료 정보를 획득할 수 있다.
단계 2210에서, 조리 기기(100)는 조리 동작을 개시하기 전에, 식재료 정보를 입력할 수 있는 메뉴를 제공한다. 출력 인터페이스(250)의 디스플레이(252)는 식재료를 선택하라는 메시지를 출력한다.
단계 2220에서 조리 기기(100)는 식재료를 선택하는 사용자 입력을 수신한다. 일 실시예에 따르면, 입력 인터페이스(1820)는 다이얼(1822)을 포함하고, 사용자는 다이얼(1822)을 회전함에 의해(2222), 복수의 후보 식재료 중 하나를 선택할 수 있다. 출력 인터페이스(250)의 디스플레이(252)는 현재 선택된 식재료 정보를 출력한다.
단계 2230에서 조리 기기(100)는 식재료 입력이 완료되어, 식재료 정보를 획득한다. 조리 기기(100)는 사용자 입력에 따라 획득된 식재료 정보에 기초하여, 촬영 영상으로부터 모니터링 영역을 설정할 수 있다. 출력 인터페이스(250)의 디스플레이(252)는 식재료 선택이 완료되었다는 메시지를 출력한다.
도 23은 본 개시의 일 실시예에 따라 촬영 영상의 컬러 데이터에 기초하여 모니터링 영역을 설정하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 식재료 인식 없이, 촬영 영상의 컬러 데이터에 기초하여 모니터링 영역을 결정한다.
조리 기기(100)는 촬영 영상(2310)으로부터 각 픽셀의 컬러 데이터를 식별한다. 도 23에서는 설명의 편의를 위해, 촬영 영상에서 3개의 영역의 컬러 데이터가 균일하다고 가정하고 설명한다. 그러나 본 기술 분야의 통상의 기술자에 의해 이해되는 바와 같이, 영역의 개수는 다양하게 이용될 수 있다. 일 실시예에 따르면, 조리 기기(100)는 픽셀 별로 컬러 데이터를 식별하고 화재 관련 컬러와 유사도를 판단할 수 있다. 또한, 일 실시예에 따르면, 조리 기기(100)는 복수의 픽셀을 포함하는 영역별로 컬러 데이터를 식별하고 화재 관련 컬러와 유사도를 판단할 수 있다. 예를 들면 조리 기기(100)는 3*3 블록 단위로 컬러 데이터를 식별하고 화재 관련 컬러와 유사도를 판단할 수 있다.
본 개시에서는 설명의 편의를 위해 조리 기기(100)가 픽셀 별로 컬러 데이터를 식별하고 화재 관련 컬러와 유사도를 판단하는 실시예를 중심으로 설명한다. 그러나 이는 설명의 편의를 위한 것이며, 본 개시가 복수의 픽셀을 포함하는 영역별로 컬러 데이터를 식별하고 화재 관련 컬러와 유사도를 판단하는 실시예를 배제하는 것은 아니다.
조리 기기(100)는 각 픽셀의 컬러 데이터에 대해, 화재 관련 컬러와의 유사도를 판단한다. 조리 기기(100)는 각 픽셀의 컬러 데이터에 대해, 불꽃 관련 컬러와의 유사도와, 연기 관련 컬러와의 유사도를 각각 산출할 수 있다. 도 23의 예는 식재료가 생 닭인 경우에 대응한다. 도 23의 예에서 생 닭의 제1 영역(2312)은 살색에 해당하는 영역으로, 불꽃 관련 컬러 유사도는 낮고, 연기 관련 컬러 유사도는 높다고 판단되었다. 제2 영역(2314)은 붉은색에 해당하는 생 닭 영역으로 불꽃 관련 컬러 유사도는 높고 연기 관련 컬러 유사도는 낮다고 판단되었다. 제3 영역(2316)은 조리 기기(100)의 트레이에 해당하는 검은색 영역으로, 불꽃 관련 컬러 유사도가 낮고, 연기 관련 컬러 유사도도 낮다고 판단되었다.
조리 기기(100)는 불꽃 관련 컬러 유사도와 연기 관련 컬러 유사도에 기초하여 모니터링 영역을 선택한다. 조리 기기(100)는 불꽃 관련 컬러 유사도는 낮고, 연기 관련 컬러 유사도는 높은 픽셀을 불꽃 모니터링 영역으로 설정한다. 조리 기기(100)는 불꽃 관련 컬러 유사도는 높고, 연기 관련 컬러 유사도는 낮은 픽셀을 연기 모니터링 영역으로 설정한다. 조리 기기(100)는 불꽃 관련 컬러 유사도가 낮고, 연기 관련 컬러 유사도도 낮은 픽셀을 불꽃 모니터링 영역과 연기 모니터링 영역으로 설정한다.
조리 기기(100)는 불꽃 모니터링 영역으로 선택된 영역 중 일부 또는 전부를 불꽃 모니터링 영역으로 선택한다.
일 실시예에 따르면, 조리 기기(100)는 불꽃 모니터링 영역 중 일부를 선택하는 경우, 불꽃 모니터링 영역으로 선택된 픽셀들 내에서 소정 간격으로 불꽃 모니터링 영역을 선택한다.
또한, 일 실시예에 따르면, 조리 기기(100)는 불꽃 모니터링 영역으로 선택된 픽셀들이 복수의 컬러를 갖는 경우, 서로 다른 컬러의 픽셀을 각각 포함하도록 불꽃 모니터링 영역을 선택한다. 조리 기기(100)는 불꽃 모니터링 영역의 픽셀들을 복수의 컬러 그룹으로 나누고, 복수의 컬러 그룹 각각에 대해 적어도 하나의 불꽃 모니터링 영역을 선택할 수 있다.
조리 기기(100)는 연기 모니터링 영역으로 선택된 영역 중 일부 또는 전부를 연기 모니터링 영역으로 선택한다.
일 실시예에 따르면, 조리 기기(100)는 연기 모니터링 영역 중 일부를 선택하는 경우, 연기 모니터링 영역으로 선택된 픽셀들 내에서 소정 간격으로 연기 모니터링 영역을 선택한다.
또한, 일 실시예에 따르면, 조리 기기(100)는 연기 모니터링 영역으로 선택된 픽셀들이 복수의 컬러를 갖는 경우, 서로 다른 컬러의 픽셀을 각각 포함하도록 연기 모니터링 영역을 선택한다. 조리 기기(100)는 연기 모니터링 영역의 픽셀들을 복수의 컬러 그룹으로 나누고, 복수의 컬러 그룹 각각에 대해 적어도 하나의 연기 모니터링 영역을 선택할 수 있다.
도 24는 본 개시의 일 실시예에 따라 화재 위험을 검출하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 식재료 정보를 획득하지 않고, 촬영 영상(2310)의 컬러 데이터에 기초하여 모니터링 영역을 선택하는 경우, 화재 위험을 검출하는 과정에서 모니터링 영역을 이동시킬 수 있다. 조리 기기(100)가 식재료 정보를 획득하지 않는 경우, 조리 기기(100)는 조리 중 해당 식재료의 컬러 데이터가 어떻게 변하는지에 대한 정보가 없다. 또한, 조리 기기(100)가 식재료 정보를 획득하지 않는 경우, 조리 기기(100)는 조리 중 해당 식재료의 형태 변화, 수축, 팽창 등을 예측할 수 없다. 본 개시의 일 실시예에 따르면, 식재료 정보를 획득하지 않은 경우, 조리 기기(100)는 모니터링 영역에서 화재 관련 컬러가 검출된 경우, 모니터링 영역을 이동하여, 다시 한번 화재 관련 컬러를 모니터링한다.
도 24에서는 촬영 영상에서 모니터링 영역(2410)이 설정된 경우를 예로 들어 설명한다.
우선 단계 S2402에서, 조리 기기(100)는 모니터링 영역(2410)에서 화재 관련 컬러와 유사도가 높은 픽셀이 있는지 여부를 판단한다. 조리 기기(100)는 모니터링 영역(2410)에서 각 픽셀의 컬러 데이터가 불꽃 관련 컬러 또는 연기 관련 컬러와 유사도가 기준 값 이상인지 여부를 판단한다.
조리 기기(100)는 단계 S2402에서, 모니터링 영역(2310)의 컬러 데이터가 화재 관련 컬러와 유사도가 기준 값 미만이라고 판단된 경우, 다음 촬영 영상을 이용하여 단계 S2402를 수행한다.
조리 기기(100)는 단계 S2402에서 화재 관련 컬러와 유사도가 높은 컬러가 검출된 경우, 단계 S2404에서 모니터링 영역을 이동시킨다. 조리 기기(100)는 모니터링 영역을 이동시킬 때, 화재 관련 컬러와 유사도가 낮은 컬러를 갖는 픽셀을 선택하여 신규 모니터링 영역을 선택한다. 도 24의 예에서, 조리 기기(100)는 기존 모니터링 영역(2410)으로부터 신규 모니터링 영역(2412)로 모니터링 영역을 변경한다(2414).
만약 기존 모니터링 영역(2410)이 불꽃 모니터링 영역인 경우, 조리 기기(100)는 불꽃 관련 컬러와 컬러 유사도가 낮은 영역을 신규 모니터링 영역(2412)으로 선택한다. 만약 기존 모니터링 영역(2410)이 연기 모니터링 영역인 경우, 조리 기기(100)는 연기 관련 컬러와 컬러 유사도가 낮은 영역을 신규 모니터링 영역(2412)으로 선택한다.
단계 S2406에서 조리 기기(100)는 신규 모니터링 영역(2412)의 컬러 데이터가 화재 관련 컬러와 유사도가 기준 값 이상으로 변하는지 여부를 판단한다. 조리 기기(100)는 신규 모니터링 영역(2412)의 컬러 데이터가 화재 관련 컬러와 유사도가 기준 값 이상으로 변경된 경우, 단계 S2408에서 화재 위험이 검출되었다고 판단한다.
조리 기기(100)는 단계 S2406에서, 신규 모니터링 영역(2412)의 컬러 데이터가 화재 관련 컬러와 유사도가 기준 값 미만이라고 판단된 경우, 다음 촬영 영상을 이용하여 단계 S2406을 수행한다.
도 25는 본 개시의 일 실시예에 따라 엣지 주변 색 변화 및 엣지 형태 변화에 기초하여 화재 위험을 검출하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 촬영 영상(2310)의 컬러 데이터에 기초하여 화재 관련 컬러가 검출된 경우, 불꽃 또는 연기의 특성에 기초하여, 엣지 주변 색 변화 및 엣지 형태 변화가 화재 특성에 대응하는지 여부를 추가로 판단하여 화재 위험을 검출한다.
도 25는 모니터링 영역(2510)에서 불꽃이 검출된 경우에 대한 예시이다.
우선 단계 S2502에서, 조리 기기(100)는 모니터링 영역(2510)에서 화재 관련 컬러와 유사도가 높은 픽셀이 있는지 여부를 판단한다. 조리 기기(100)는 모니터링 영역(2510)에서 각 픽셀의 컬러 데이터가 불꽃 관련 컬러 또는 연기 관련 컬러와 유사도가 기준 값 이상인지 여부를 판단한다.
조리 기기(100)는 단계 S2502에서, 모니터링 영역(2510)의 컬러 데이터가 화재 관련 컬러와 유사도가 기준 값 미만이라고 판단된 경우, 다음 촬영 영상을 이용하여 단계 S2502를 수행한다.
조리 기기(100)는 단계 S2502에서, 모니터링 영역(2510)의 컬러 데이터가 화재 관련 컬러와 유사도가 기준 값 이상이라고 판단된 경우, 단계 S2504에서 엣지 주변 색 변화 또는 엣지 형태 변화를 검출한다.
예를 들면, 조리 기기(100)는 모니터링 영역(2510)에서 불꽃 관련 컬러와 컬러 유사도가 기준 값 이상인 모니터링 영역(2510)이 검출된 경우, 불꽃 관련 컬러와 유사도가 높은 컬러를 갖는 영역의 형태 변화를 모니터링한다.
또한, 예를 들면, 조리 기기(100)는 모니터링 영역(2510)에서 연기 관련 컬러와 컬러 유사도가 기준 값 이상인 모니터링 영역(2510)이 검출된 경우, 식재료의 엣지 주변의 색 변화를 모니터링 한다.
조리 기기(100)는 단계 S2506에서, 엣지 주변 색 변화 또는 엣지 형태 변화가 화재 특정에 대응하는지 여부를 판단한다.
예를 들면, 조리 기기(100)는 모니터링 영역(2510)에서 불꽃 관련 컬러와 유사도가 높은 컬러를 갖는 영역의 형태 변화가 불꽃에 대응하는지 여부를 판단한다. 조리 기기(100)는 형태 변화가 불꽃에 대응하는 경우, 모니터링 영역(2510)에서의 엣지 형태 변화가 화재 특성에 대응한다고 판단한다.
또한, 예를 들면, 조리 기기(100)는 모니터링 영역(2510)에서 연기 관련 컬러와 컬러 유사도가 기준 값 이상인 경우, 식재료의 엣지 주변에서 컬러가 균일하게 변화하였는지 여부를 판단한다. 조리 기기(100)는 엣지 주변에서 컬러가 균일하게 변화한 경우, 엣지 주변 색 변화가 화재 특정에 대응한다고 판단한다.
단계 S2506에서 화재 특성에 대응한다고 판단되면, 조리 기기(100)는 단계 S2508에서 화재 위험이 검출되었다고 판단한다. 단계 S2506에서 화재 특성에 대응하지 않는다고 판단되면, 조리 기기(100)는 다음 촬영 영상을 이용하여 단계 S2502를 수행한다.
다음으로, 도 26 내지 도 29를 참조하여, 화재 위험 알림을 출력하는 실시예들을 설명한다.
도 26은 본 개시의 일 실시예에 따라 화재 위험을 출력하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 화재 위험을 검출한 경우, 출력 인터페이스(250)를 통해 화재 위험을 출력한다. 예를 들면, 조리 기기(100)는 디스플레이를 통해 화재 위험 메시지를 디스플레이할 수 있다. 또한, 예를 들면, 조리 기기(100)는 스피커를 통해 화재 위험 메시지를 오디오 신호로 출력할 수 있다.
본 개시의 일 실시예에 따르면, 화재 위험 알림은 화재 위험이 검출되었다는 정보, 화재 위험의 종류, 대응 가이드 정보, 또는 조리 기기 동작 변경 정보 중 적어도 하나를 포함할 수 있다. 화재 위험의 종류는 예를 들면, 연기 검출, 불꽃 검출, 또는 온도 급상승 등의 정보를 포함할 수 있다. 대응 가이드 정보는 예를 들면, 도어 개방 요청, 전원 차단 요청, 또는 접촉 금지 요청 등을 포함할 수 있다. 조리 기기 동작 변경 정보는 예를 들면, 도어 잠금 해제, 조리 동작 중단, 전원 자동 차단, 또는 조리실 내 증기 배출 등의 정보를 포함할 수 있다.
동작 2610에서, 조리 기기(100)는 화재 위험이 발생되었다는 정보를 출력한다. 예를 들면, 조리 기기(100)는 출력 인터페이스(250)의 디스플레이(252)를 통해 화재 위험이 발생하였다는 메시지를 디스플레이한다. 또한, 조리 기기(100)는 출력 인터페이스(250)의 스피커를 통해, 화재 위험 경고음 또는 화재 위험 음성 메시지를 출력할 수 있다.
동작 2620에서, 조리 기기(100)는 화재 위험의 종류를 출력한다. 예를 들면, 조리 기기(100)는 출력 인터페이스(250)의 디스플레이(252)를 통해 불꽃이 검출되었다는 메시지 또는 연기가 검출되었다는 메시지를 디스플레이한다. 또한, 조리 기기(100)는 출력 인터페이스(250)의 스피커를 통해, 불꽃이 검출되었다는 음성 메시지 또는 연기가 검출되었다는 음성 메시지를 출력한다.
동작 2630에서, 조리 기기(100)는 화재 위험에 대한 조리 기기 동작 변경 정보를 출력한다. 예를 들면, 조리 기기(100)는 출력 인터페이스(250)의 디스플레이(252)를 통해 도어 잠금이 해제되었다는 메시지, 요리를 중단한다는 메시지, 전원을 차단한다는 메시지 등을 디스플레이한다. 또한, 조리 기기(100)는 출력 인터페이스(250)의 스피커를 통해, 도어 잠금이 해제되었다는 음성 메시지, 요리를 중단한다는 음성 메시지, 전원을 차단한다는 음성 메시지 등을 출력한다.
동작 2610, 2620, 2630 순차적으로 또는 비-순차적으로 수행될 수 있다. 또한, 조리 기기(100)는 동작 2610, 2620, 2630 중 적어도 하나 또는 이들의 조합을 수행할 수 있다.
도 27은 본 개시의 일 실시예에 따라 사용자 기기를 통해 화재 위험을 출력하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 화재 위험이 검출되면, 사용자 기기(1910) 등의 외부 장치를 통해 화재 위험 정보를 출력한다. 조리 기기(100)는 화재 위험이 검출되면, 화재 위험 이벤트가 발생했다고 판단한다. 조리 기기(100)는 화재 위험 이벤트가 발생한 경우, 화재 위험 정보를 생성한다. 화재 위험 정보는 화재 위험이 검출되었다는 정보, 화재 위험의 종류, 대응 가이드 정보, 또는 조리 기기 동작 변경 정보 중 적어도 하나를 포함할 수 있다. 조리 기기(100)는 화재 위험 정보를 사용자 기기(1910)로 전송한다. 또한, 조리 기기(100)는 화재 위험 정보와 함께 화재 위험 알림의 출력 요청, 조리 기기(100)가 등록된 계정 정보, 조리 기기(100)의 식별 정보(예: MAC 주소 등) 등을 함께 사용자 기기(1910)로 전송할 수 있다.
조리 기기(100)는 앞서 도 19에서 설명한 바와 같이, 서버(1920)를 통해 사용자 기기(1910)와 통신할 수 있다. 조리 기기(100)는 통신 모듈(1810)을 통해, 서버(1920)로 화재 위험 정보를 전송한다. 서버(1920)는 조리 기기(100)와 동일 계정에 등록된 사용자 기기(1910)로 화재 위험 정보를 전송한다.
사용자 기기(1910)는 화재 위험 정보를 수신하여 출력한다. 사용자 기기(1910)는 제1 어플리케이션을 통해 화재 위험 정보(2720)를 디스플레이한다. 사용자 기기(1910)는 제1 어플리케이션이 실행 중이지 않은 경우, 제1 어플리케이션에서 제공하는 팝업 메시지를 통해 화재 위험 정보(2720)를 디스플레이할 수 있다. 추가로 사용자 기기(1910)는 화재 위험 정보(2720)를 디스플레이하면서, 진동 또는 소리를 출력할 수 있다.
본 개시의 일 실시예에 따르면, 제1 어플리케이션은 화재 위험 정보(2720)와 함께, 조리실(230) 내부를 촬영한 실시간 촬영 영상을 디스플레이할 수 있다. 조리 기기(100)는 실시간 촬영 영상을 서버(1920)로 전송하고, 서버(1920)는 조리 기기(100)로 실시간 촬영 영상을 스트리밍할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 제1 어플리케이션은 화재 위험이 검출된 촬영 영상(2710)을 디스플레이할 수 있다. 제1 어플리케이션은 화재 위험이 검출된 정지 영상 또는 동영상을 촬영 영상으로부터 획득한다. 제1 어플리케이션은 화재 위험이 검출된 정지 영상 또는 동영상을 화재 위험 정보(2720)와 함께 디스플레이할 수 있다.
도 28은 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 블록도이다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 조리실(230) 내부의 공기를 순환시키거나, 조리실(230) 내부로 증기를 배출할 수 있다. 조리 기기(100)는 화재 위험이 검출된 경우, 조리실(230) 내부 공기를 순환시키거나, 조리실(230) 내부로 증기를 배출시켜 화재를 방지할 수 있다.
또한, 조리 기기(100)는 카메라(220)가 조리실(230) 내부를 촬영할 때, 연기에 의해 조리실(230) 내부가 제대로 촬영되지 않는 것을 방지할 수 있다. 이를 위해 조리 기기(100)는 조리실(230) 내부에서 연기가 검출된 경우, 연기를 제거하여 조리실(230)의 모니터링이 가능하도록 동작한다.
본 개시의 일 실시예에 따르면, 조리 기기(100)는 프로세서(210), 카메라(220), 조리실(230), 메모리(240), 출력 인터페이스(250), 환기 팬(2810), 및 증기 배출 모듈(2820)을 포함할 수 있다. 도 28에서는 도 2에 도시된 조리 기기(100)와 차이점을 중심으로 설명한다.
환기 팬(2810)은 조리실(230) 내부의 공기를 외부로 배출한다. 환기 팬(2810)은 공기를 순환시키는 팬 날개, 모터, 구동 회로 등을 포함한다. 환기 팬(2810)은 소정의 필터를 추가로 포함할 수 있다. 프로세서(210)는 환기 팬(2810)을 구동하기 위한 구동 신호를 환기 팬(2810)으로 출력한다. 환기 팬(2810)은 프로세서(210)의 제어에 의해 동작한다. 환기 팬(2810)은 하나 이상의 단계의 세기로 동작할 수 있다. 프로세서(210)는 환기 팬(2810)의 세기를 조절할 수 있다.
증기 배출 모듈(2820)은 조리실(230) 내부로 증기를 배출한다. 증기 배출 모듈(2820)은 가열 장치를 이용하여 물을 가열하여 증기를 생성하고, 조리실(230) 내부로 증기를 배출할 수 있다. 증기 배출 모듈(2820)은 하나 이상의 단계의 세기로 증기를 배출할 수 있다. 프로세서(210)는 증기 배출 모듈(2820)을 제어하기 위한 제어 신호를 생성하여, 증기 배출 모듈(2820)로 출력한다. 프로세서(210)는 증기 배출 모듈(2820)의 증기의 온도 또는 세기를 조절하도록 증기 배출 모듈(2820)을 제어할 수 있다.
일 실시예에 따르면, 프로세서(210)는 화재 위험이 검출된 경우, 환기 팬(2810) 및 증기 배출 모듈(2820)을 동작시킬 수 있다. 프로세서(210)는 화재 위험이 검출되어 조리실(230) 내부로 증기를 배출하는 경우, 화재 위험이 검출되어 증기를 배출한다는 메시지를 출력 인터페이스(250) 또는 사용자 기기(1910)를 통해 출력할 수 있다. 프로세서(210)는 화재 위험이 검출되어 증기를 배출한 후에, 화재 위험이 검출되지 않으면, 증기 배출을 중단하도록 증기 배출 모듈(2820)을 제어할 수 있다. 또한, 프로세서(210)는 화재 위험이 검출되어 환기 팬(2810)을 동작시키는 경우, 화재 위험이 검출되어 환기 팬(2810)을 동작 시킨다는 메시지를 출력 인터페이스(250) 또는 사용자 기기(1910)를 통해 출력할 수 있다. 프로세서(210)는 화재 위험이 검출되어 환기 팬(2810)을 동작 시킨 후에, 화재 위험이 검출되지 않으면, 환기 팬(2810)의 동작을 중단하도록 환기 팬(2810)을 제어할 수 있다.
일 실시예에 따르면, 프로세서(210)는 불꽃이 검출된 경우, 증기 배출 모듈(2820)이 조리실(230)로 증기를 배출하도록 제어한다.
일 실시예에 따르면, 프로세서(210)는 연기가 검출된 경우, 환기 팬(2810)을 동작시킬 수 있다. 프로세서(210)는 연기의 세기에 따라 환기 팬(2810)의 세기를 조절할 수 있다. 프로세서(210)는 연기의 농도를 판단하여, 연기의 농도가 높다고 판단되면 환기 팬(2810)의 세기를 높게 설정하고, 연기의 농도가 낮다고 판단되면 환기 팬(2810)의 세기를 낮게 설정한다. 프로세서(210)는 촬영 영상의 컬러 데이터에 기초하여 연기의 농도를 판단할 수 있다. 프로세서(210)는 촬영 영상의 컬러 데이터와 연기 관련 컬러의 유사도가 높으면 연기의 농도가 높다고 판단한다. 프로세서(210)는 촬영 영상의 컬러 데이터와 연기 관련 컬러의 유사도가 낮으면 연기의 농도가 낮다고 판단한다.
일 실시예에 따르면, 프로세서(210)는 연기가 검출된 경우, 증기 배출 모듈(2820)을 통해 증기를 배출한다. 프로세서(210)는 연기의 세기에 따라 증기 배출 모듈(2820)의 증기 배출 양을 조절할 수 있다.
일 실시예에 따르면, 프로세서(210)는 연기가 검출된 경우, 환기 팬(2810)과 증기 배출 모듈(2820)을 모두 동작시킬 수 있다. 프로세서(210)는 연기가 검출되면, 연기의 농도에 따라 환기 팬(2810)과 증기 배출 모듈(2820) 중 하나만 동작 시킬지 두 개 모두 동작 시킬지 결정할 수 있다. 예를 들면, 프로세서(210)는 연기가 검출되면, 연기 농도가 낮은 경우 환기 팬(2810)만 동작 시키고 연기 농도가 높은 경우 환기 팬(2810)과 증기 배출 모듈(2820)을 함께 동작시킨다.
도 29는 본 개시의 일 실시예에 따라 조리 기기의 조리 동작을 모니터링하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 다르면, 조리 기기(100)는 촬영 영상을 사용자 기기(1910)로 전송한다. 사용자 기기(1910)는 제1 어플리케이션을 통해 촬영 영상을 디스플레이한다. 또한, 제1 어플리케이션은 조리 기기(100)의 동작 모드, 온도 등의 정보를 제공한다.
본 개시의 일 실시예에 따르면, 제1 어플리케이션이 조리실(230) 내부를 모니터링 하는 중에 조리실(230) 내부에서 연기가 발생하면, 조리 기기(100), 서버(1920), 또는 사용자 기기(1910)는 조리실(230) 내부의 연기를 제거하도록 조리 기기(100)를 제어할 수 있다. 제1 어플리케이션이 동작 2910과 같이 조리 기기(100)의 조리실(230) 내부의 촬영 영상을 디스플레이하는 중에, 동작 2920과 같이 조리실(230) 내부에 연기가 발생할 수 있다. 이러한 경우, 본 개시의 일 실시예에 따르면, 조리 기기(100)는 환기 팬(2910) 또는 증기 배출 모듈(2820)을 이용하여 조리실(230) 내부에서 연기를 제거한다. 연기를 제거함에 의해, 제1 어플리케이션은 동작 2930과 같이 연기가 제거된 상태로 촬영 영상을 제공할 수 있다.
일 실시예에 따르면, 제1 어플리케이션은 조리 기기(100)로 연기 제거를 요청하는 메뉴를 가질 수 있다. 제1 어플리케이션은 연기 제거 요청을 수신함에 의해, 연기 제거 요청을 조리 기기(100)로 전송한다. 조리 기기(100)는 연기 제거 요청을 수신하여, 환기 팬(2810) 또는 증기 배출 모듈(2820)을 제어함에 의해 조리실(230) 내부의 연기를 제거한다.
도 30은 본 개시의 일 실시예에 따른 조리 기기의 구조를 나타낸 도면이다.
본 개시의 일 실시예에 따른 조리 기기(3000)은 센서(3010), 출력 인터페이스(3020), 입력 인터페이스(3030), 메모리(3040), 통신 인터페이스(3050), 조리 모듈(3060), 카메라(3070), 전력 모듈(3080), 및 프로세서(3090)를 포함한다. 조리 기기(3000)은 도 30에 도시된 구성요소들의 다양한 조합으로 구성될 수 있으며, 도 30에 도시된 구성요소가 모두 필수적인 구성은 아니다.
도 30의 조리 기기(3000)은 도 2, 도 9, 도 18, 및 도 28에서 설명한 조리 기기(100)에 대응된다. 카메라(3070)는 도 2에서 설명한 카메라(220)에 대응된다. 메모리(3040)는 도 2에서 설명한 메모리(240)에 대응된다. 통신 모듈(3050)은 도 18에서 설명한 통신 모듈(1810)에 대응된다. 프로세서(3090)는 도 2에서 설명한 프로세서(210)에 대응된다. 온도 센서(3011)는 도 9에서 설명한 온도 센서(910)에 대응된다. 출력 인터페이스(3020)는 도 2에서 설명한 출력 인터페이스(250)에 대응된다. 입력 인터페이스(3030)는 도 18에서 설명한 입력 인터페이스(1820)에 대응된다. 조리실(3061)은 도 2에서 설명한 조리실(230)에 대응된다. 환기 팬(3062)은 도 28에서 설명한 환기 팬(2810)에 대응된다. 증기 배출 모듈(3063)은 도 28에서 설명한 증기 배출 모듈(2820)에 대응된다.
센서(3010)는 다양한 종류의 센서를 포함할 수 있으며, 예를 들면, 온도 센서(3011), 연기 센서(3012) 등을 수 있다.
출력 인터페이스(3020)는 디스플레이(3021) 또는 스피커(3022) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 출력 인터페이스(3020)는 프로세서(3090)에서 생성된 다양한 알림, 메시지, 정보 등을 출력한다.
입력 인터페이스(3030)는 키(3031), 터치 패드(3032), 다이얼(3033) 등을 포함할 수 있다. 입력 인터페이스(3030)는 사용자 입력을 수신하여 프로세서(3090)로 전달한다.
메모리(3040)는 조리 기기(3000)의 동작에 필요한 다양한 정보, 데이터, 명령어, 프로그램 등을 저장한다. 메모리(3040)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 메모리(3040)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 조리 기기(3000)은 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
통신 모듈(3050)은 근거리 통신부(3052) 또는 이동 통신부(3054) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 통신 모듈(3050)은 다른 장치와 무선으로 통신하기 위한 적어도 하나의 안테나를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(3052)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부, 마이크로 웨이브(uWave) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(3054)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
조리 모듈(3060)은 조리실(3061), 환기 팬(3062), 증기 배출 모듈(3062), 도어(3064), 가열 모듈(3065) 등을 포함한다. 조리실(3061)은 식재료를 수용한다. 환기 팬(3062)는 조리실(3061) 내부의 공기를 순환시킨다. 증기 배출 모듈(3062)은 조리실(3061) 내부로 증기를 배출한다. 도어(3064)는 조리실(3061)을 개폐한다. 가열 모듈(3065)은 조리실(3061)에 열을 공급하여 조리실(3061) 내부 온도를 조절한다.
카메라(3070)는 조리실(3061) 내부를 촬영한다.
전력 모듈(3080)은 조리 기기(3000)에 전력을 공급한다. 전력 모듈(3080)은 배터리, 전력 구동 회로, 컨버터, 변압 회로 등을 포함한다. 전력 모듈(3080)은 외부 전원에 연결되어 전력을 공급받는다.
프로세서(3090)는 조리 기기(3000) 전반의 동작을 제어한다. 프로세서(3000)는 메모리(3040)에 저장된 프로그램을 실행하여, 조리 기기(3000)의 구성 요소들을 제어할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(3090)는 기계학습 모델의 동작을 수행하는 별도의 NPU를 포함할 수 있다. 또한, 프로세서(3090)는 중앙 처리부(CPU), 그래픽 전용 프로세서(GPU; Graphic Processing Unit) 등을 포함할 수 있다.
프로세서(3090)는 조리 기기(3000)의 동작 모드 제어, 주행 경로 결정 및 제어, 장애물 인식, 청소 동작 제어, 위치 인식, 외부 서버와 통신, 배터리 잔량 모니터링, 배터리 충전 동작 제어 등의 동작을 수행할 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 일 실시예의 일 측면에 따르면, 조리 대상물을 내부에 수용하는 조리실(230), 조리실 내부를 촬영하는 카메라(220), 출력 인터페이스(250), 적어도 하나의 인스트럭션을 저장하는 메모리(240), 및 적어도 하나의 프로세서(210)를 포함하고, 적어도 하나의 프로세서(210)는 적어도 하나의 인스트럭션을 실행함에 의해, 카메라(220)에 의해 촬영된 촬영 영상에 기초하여, 조리 중 화재 위험을 검출하고, 화재 위험이 검출된 경우, 출력 인터페이스(250)를 통해 화재 위험 알림을 출력하는, 조리 기기(100)가 제공된다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 촬영 영상으로부터, 각 픽셀의 컬러 데이터에 기초하여 적어도 하나의 모니터링 영역을 식별하고, 상기 적어도 하나의 모니터링 영역의 컬러 데이터와 미리 정의된 화재 관련 컬러의 유사도에 기초하여, 화재 위험 검출 여부를 판단할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 촬영 영상으로부터, 상기 조리실(230)에 수용된 식재료의 종류 및 컬러를 식별하고, 상기 식별된 식재료의 종류 및 컬러에 기초하여, 상기 화재 관련 컬러에 대응하지 않는 식재료에 대응하는 영역을 상기 모니터링 영역으로 결정할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 식재료의 조리 전 컬러와 조리 후 컬러가 상기 화재 관련 컬러에 해당하지 않는 식재료에 대응하는 영역을 상기 모니터링 영역으로 결정할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 촬영 영상으로부터 상기 화재 관련 컬러에 대응하지 않는 적어도 하나의 영역을 식별하고, 상기 화재 관련 컬러에 해당하지 않는 적어도 하나의 영역을 적어도 하나의 모니터링 영역으로 식별할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 적어도 하나의 모니터링 영역 중 제1 모니터링 영역의 컬러 데이터가 상기 화재 관련 컬러와 유사도가 기준 값 이상이라고 판단된 경우, 상기 제1 모니터링 영역을 상기 화재 관련 컬러와 유사도가 낮은 다른 영역으로 변경하고, 상기 변경된 상기 제1 모니터링 영역이 상기 화재 관련 컬러와 유사도가 기준 값 이상으로 변화한 경우, 화재 위험이 검출됐다고 판단할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 색 공간 상에서 정의된 상기 적어도 하나의 모니터링 영역의 컬러 데이터의 제1 좌표와, 상기 색 공간 상에서 정의된 상기 화재 관련 컬러의 제2 좌표 사이의 거리를 산출하고, 상기 거리가 기준 값보다 낮은 경우, 화재 위험이 있다고 검출할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 기준 값은 상기 촬영 영상에서 인식된 식재료의 종류에 따라 결정될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 화재 관련 컬러는 연기에 대응하는 연기 관련 컬러 및 불꽃에 대응하는 불꽃 관련 컬러를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 조리 기기(100)는 상기 조리실(230) 내의 온도를 측정하는 온도 센서(910)를 더 포함하고, 상기 적어도 하나의 프로세서(210)는 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 촬영 영상에 기초하여, 조리 중 화재 위험을 검출한 경우, 상기 온도 센서(910)의 온도 검출 값에 기초하여 화재 위험의 판단을 반복할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 조리 기기(100)는, 입력 인터페이스(1820); 및 상기 조리실 내부를 가열하는 가열 모듈(920)을 더 포함하고, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 입력 인터페이스(1820)를 통해 설정 온도를 선택하는 사용자 입력을 수신하고, 상기 온도 센서(910)의 상기 온도 검출 값 및 상기 설정 온도에 기초하여, 상기 가열 모듈(920)을 제어함에 의해 온도 제어를 수행하고, 상기 촬영 영상에 기초하여 조리 중 화재 위험을 검출하고, 상기 온도 제어에 의해 예측되는 예측 온도보다 상기 온도 검출 값이 높은 경우, 화재 발생을 검출할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 조리 기기는, 통신 모듈(1810)을 더 포함하고, 상기 적어도 하나의 프로세서(210)는 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 화재 위험이 검출된 경우, 상기 통신 모듈(1810)을 통해 적어도 하나의 외부 장치로 상기 화재 위험 정보를 전송할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 조리 기기(100)는, 내부 공기를 외부로 순환시키는 환기 팬(2810); 및 상기 조리실(230) 내부에 수증기를 공급하는 증기 배출 모듈(2820)을 더 포함하고, 상기 적어도 하나의 프로세서(210)는 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 화재 위험이 검출된 경우, 상기 조리실(210)의 연기를 배출하도록 상기 환기 팬(2810)을 제어하는 동작 또는 상기 조리실(230) 내부에 수증기를 공급하도록 상기 증기 배출 모듈(2820)을 제어하는 동작 중 적어도 하나를 수행할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 조리 기기(100)는, 내부 공기를 외부로 순환시키는 환기 팬(2810); 및 상기 조리실 내부에 수증기를 공급하는 증기 배출 모듈(2820)을 더 포함하고, 상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 촬영 영상으로부터, 연기를 검출한 경우, 상기 조리실(230)의 연기를 배출하도록 상기 환기 팬(2810)을 제어하는 동작 또는 상기 조리실(230) 내부에 수증기를 공급하도록 상기 증기 배출 모듈(2820)을 제어하는 동작 중 적어도 하나를 수행할 수 있다.
또한, 본 개시의 일 실시예의 일 측면에 따르면, 조리 기기를 제어하는 방법에 있어서, 조리 기기는, 조리 대상물을 내부에 수용하는 조리실 내부를 촬영하는 카메라를 포함하고, 조리 기기 제어 방법은, 카메라를 이용하여, 조리실 내부를 촬영하는 단계, 조리실 내부를 촬영한 촬영 영상에 기초하여, 조리 중 화재 위험을 검출하는 단계, 및 화재 위험이 검출된 경우, 화재 위험 알림을 출력하는 단계를 포함하는, 조리 기기 제어 방법이 제공된다.
또한, 본 개시의 일 실시예의 일 측면에 따르면, 조리 기기 제어 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

Claims (15)

  1. 조리 대상물을 내부에 수용하는 조리실(230);
    상기 조리실 내부를 촬영하는 카메라(220);
    출력 인터페이스(250);
    적어도 하나의 인스트럭션을 저장하는 메모리(240); 및
    적어도 하나의 프로세서(210)를 포함하고, 상기 적어도 하나의 프로세서(210)는 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 카메라(220)에 의해 촬영된 촬영 영상에 기초하여, 조리 중 화재 위험을 검출하고,
    화재 위험이 검출된 경우, 상기 출력 인터페이스(250)를 통해 화재 위험 알림을 출력하는, 조리 기기(100).
  2. 제1 항에 있어서,
    상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 촬영 영상으로부터, 각 픽셀의 컬러 데이터에 기초하여 적어도 하나의 모니터링 영역을 식별하고,
    상기 적어도 하나의 모니터링 영역의 컬러 데이터와 미리 정의된 화재 관련 컬러의 유사도에 기초하여, 화재 위험 검출 여부를 판단하는, 조리 기기(100).
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 촬영 영상으로부터, 상기 조리실(230)에 수용된 식재료의 종류 및 컬러를 식별하고,
    상기 식별된 식재료의 종류 및 컬러에 기초하여, 상기 화재 관련 컬러에 대응하지 않는 식재료에 대응하는 영역을 상기 모니터링 영역으로 결정하는, 조리 기기(100).
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    식재료의 조리 전 컬러와 조리 후 컬러가 상기 화재 관련 컬러에 해당하지 않는 식재료에 대응하는 영역을 상기 모니터링 영역으로 결정하는, 조리 기기(100).
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 촬영 영상으로부터 상기 화재 관련 컬러에 대응하지 않는 적어도 하나의 영역을 식별하고,
    상기 화재 관련 컬러에 해당하지 않는 적어도 하나의 영역을 적어도 하나의 모니터링 영역으로 식별하는, 조리 기기(100).
  6. 제5항에 있어서,
    상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 적어도 하나의 모니터링 영역 중 제1 모니터링 영역의 컬러 데이터가 상기 화재 관련 컬러와 유사도가 기준 값 이상이라고 판단된 경우, 상기 제1 모니터링 영역을 상기 화재 관련 컬러와 유사도가 낮은 다른 영역으로 변경하고,
    상기 변경된 상기 제1 모니터링 영역이 상기 화재 관련 컬러와 유사도가 기준 값 이상으로 변화한 경우, 화재 위험이 검출됐다고 판단하는, 조리 기기(100).
  7. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    색 공간 상에서 정의된 상기 적어도 하나의 모니터링 영역의 컬러 데이터의 제1 좌표와, 상기 색 공간 상에서 정의된 상기 화재 관련 컬러의 제2 좌표 사이의 거리를 산출하고,
    상기 거리가 기준 값보다 낮은 경우, 화재 위험이 있다고 검출하는, 조리 기기(100).
  8. 제2항 내지 제3항 및 제6항 내지 제7항 중 어느 한 항에 있어서,
    상기 기준 값은 상기 촬영 영상에서 인식된 식재료의 종류에 따라 결정되는, 조리 기기(100).
  9. 제2항 내지 제8항 중 어느 한 항에 있어서,
    상기 화재 관련 컬러는 연기에 대응하는 연기 관련 컬러 및 불꽃에 대응하는 불꽃 관련 컬러를 포함하는, 조리 기기(100).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 조리 기기(100)는 상기 조리실(230) 내의 온도를 측정하는 온도 센서(910)를 더 포함하고,
    상기 적어도 하나의 프로세서(210)는 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 촬영 영상에 기초하여, 조리 중 화재 위험을 검출한 경우, 상기 온도 센서(910)의 온도 검출 값에 기초하여 화재 위험의 판단을 반복하는, 조리 기기(100).
  11. 제10항에 있어서,
    상기 조리 기기(100)는,
    입력 인터페이스(1820); 및
    상기 조리실 내부를 가열하는 가열 모듈(920)을 더 포함하고,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 입력 인터페이스(1820)를 통해 설정 온도를 선택하는 사용자 입력을 수신하고,
    상기 온도 센서(910)의 상기 온도 검출 값 및 상기 설정 온도에 기초하여, 상기 가열 모듈(920)을 제어함에 의해 온도 제어를 수행하고,
    상기 촬영 영상에 기초하여 조리 중 화재 위험을 검출하고, 상기 온도 제어에 의해 예측되는 예측 온도보다 상기 온도 검출 값이 높은 경우, 화재 발생을 검출하는, 조리 기기(100).
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 조리 기기는, 통신 모듈(1810)을 더 포함하고,
    상기 적어도 하나의 프로세서(210)는 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 화재 위험이 검출된 경우, 상기 통신 모듈(1810)을 통해 적어도 하나의 외부 장치로 상기 화재 위험 정보를 전송하는, 조리 기기(100).
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 조리 기기(100)는,
    내부 공기를 외부로 순환시키는 환기 팬(2810); 및
    상기 조리실(230) 내부에 수증기를 공급하는 증기 배출 모듈(2820)을 더 포함하고,
    상기 적어도 하나의 프로세서(210)는 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 화재 위험이 검출된 경우, 상기 조리실(210)의 연기를 배출하도록 상기 환기 팬(2810)을 제어하는 동작 또는 상기 조리실(230) 내부에 수증기를 공급하도록 상기 증기 배출 모듈(2820)을 제어하는 동작 중 적어도 하나를 수행하는, 조리 기기(100).
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 조리 기기(100)는,
    내부 공기를 외부로 순환시키는 환기 팬(2810); 및
    상기 조리실 내부에 수증기를 공급하는 증기 배출 모듈(2820)을 더 포함하고,
    상기 적어도 하나의 프로세서(210)는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
    상기 촬영 영상으로부터, 연기를 검출한 경우, 상기 조리실(230)의 연기를 배출하도록 상기 환기 팬(2810)을 제어하는 동작 또는 상기 조리실(230) 내부에 수증기를 공급하도록 상기 증기 배출 모듈(2820)을 제어하는 동작 중 적어도 하나를 수행하는, 조리 기기(100).
  15. 조리 기기를 제어하는 방법에 있어서,
    상기 조리 기기는, 조리 대상물을 내부에 수용하는 조리실 내부를 촬영하는 카메라를 포함하고,
    상기 조리 기기 제어 방법은,
    상기 카메라를 이용하여, 상기 조리실 내부를 촬영하는 단계;
    상기 조리실 내부를 촬영한 촬영 영상에 기초하여, 조리 중 화재 위험을 검출하는 단계; 및
    화재 위험이 검출된 경우, 화재 위험 알림을 출력하는 단계를 포함하는, 조리 기기 제어 방법.
PCT/KR2023/012101 2022-08-24 2023-08-16 화재 위험을 검출하는 조리 기기 및 그 제어 방법 Ceased WO2024043601A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380042048.6A CN119173725A (zh) 2022-08-24 2023-08-16 用于检测火灾隐患的烹饪装置及其控制方法
EP23857635.9A EP4481274A4 (en) 2022-08-24 2023-08-16 COOKING APPLIANCE FOR DETECTING A FIRE RISK AND METHOD FOR CONTROLLING THE SAME
US18/237,738 US12511984B2 (en) 2022-08-24 2023-08-24 Cooking apparatus for detecting fire hazard, and method of controlling the cooking apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220106341 2022-08-24
KR10-2022-0106341 2022-08-24
KR10-2022-0121970 2022-09-26
KR1020220121970A KR20240028259A (ko) 2022-08-24 2022-09-26 화재 위험을 검출하는 조리 기기 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/237,738 Continuation US12511984B2 (en) 2022-08-24 2023-08-24 Cooking apparatus for detecting fire hazard, and method of controlling the cooking apparatus

Publications (1)

Publication Number Publication Date
WO2024043601A1 true WO2024043601A1 (ko) 2024-02-29

Family

ID=90013572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012101 Ceased WO2024043601A1 (ko) 2022-08-24 2023-08-16 화재 위험을 검출하는 조리 기기 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2024043601A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020036396A (ko) * 2000-11-09 2002-05-16 윤종용 전자렌지와 그 제어방법
JP2019101948A (ja) * 2017-12-07 2019-06-24 立山科学工業株式会社 伝導加熱の検知システム及び検知方法
KR101993851B1 (ko) * 2018-04-12 2019-06-27 주식회사 엑스피아 조리온도를 활용하는 화재 예방 시스템 및 이의 제어방법
KR102032549B1 (ko) * 2018-06-27 2019-11-08 가천대학교 산학협력단 융합 지능형 안전관리 시스템
KR102298627B1 (ko) * 2020-12-04 2021-09-07 주식회사 일신이앤드씨 화재 감지 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020036396A (ko) * 2000-11-09 2002-05-16 윤종용 전자렌지와 그 제어방법
JP2019101948A (ja) * 2017-12-07 2019-06-24 立山科学工業株式会社 伝導加熱の検知システム及び検知方法
KR101993851B1 (ko) * 2018-04-12 2019-06-27 주식회사 엑스피아 조리온도를 활용하는 화재 예방 시스템 및 이의 제어방법
KR102032549B1 (ko) * 2018-06-27 2019-11-08 가천대학교 산학협력단 융합 지능형 안전관리 시스템
KR102298627B1 (ko) * 2020-12-04 2021-09-07 주식회사 일신이앤드씨 화재 감지 시스템

Similar Documents

Publication Publication Date Title
WO2019045228A1 (ko) 조리기기 및 조리 시스템
WO2017116099A1 (ko) 단말기, 그와 통신하는 조리기기 및 조리기기의 제어 방법
WO2017082603A1 (ko) 오븐 및 오븐의 도어 개폐 방법
WO2015037963A1 (en) Home appliance and mobile terminal
WO2015088141A1 (en) Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
WO2014098441A1 (en) System and method of controlling surrounding devices, based on topology
EP3230655A1 (en) Cooking appliance and method for controlling the same
WO2017142266A1 (en) Electronic device including light emitting device and operating method thereof
WO2022065641A1 (ko) 조리 장치 및 그 제어 방법
WO2021137345A1 (ko) 인공 지능 냉장고 및 그의 동작 방법
WO2016122188A1 (en) Cooking appliance and method for controlling the same
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
WO2018048098A1 (en) Portable camera and controlling method therefor
WO2023282594A1 (ko) 가전 장치를 제어하는 방법 및 시스템
WO2016143993A1 (en) A lighting control apparatus and method thereof
WO2023136565A1 (ko) 육류 숙성 기능을 갖는 냉장고 및 그 제어 방법
WO2021071037A1 (en) Electronic apparatus for managing network connection and control method thereof
WO2016125966A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2024043601A1 (ko) 화재 위험을 검출하는 조리 기기 및 그 제어 방법
WO2022075741A1 (ko) 전자 장치 및 그 동작 방법
WO2022025426A1 (ko) 공기청정기의 추천 위치를 제공하는 전자 장치 및 그 제어 방법
WO2022075738A1 (ko) 몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법
WO2024053908A1 (ko) 조리 기기 및 그 제어 방법
WO2023090725A1 (ko) 다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법
WO2023075053A1 (ko) 조리기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857635

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023857635

Country of ref document: EP

Ref document number: 23857635.9

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023857635

Country of ref document: EP

Effective date: 20240918

NENP Non-entry into the national phase

Ref country code: DE