WO2023090725A1 - 다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법 - Google Patents

다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법 Download PDF

Info

Publication number
WO2023090725A1
WO2023090725A1 PCT/KR2022/017287 KR2022017287W WO2023090725A1 WO 2023090725 A1 WO2023090725 A1 WO 2023090725A1 KR 2022017287 W KR2022017287 W KR 2022017287W WO 2023090725 A1 WO2023090725 A1 WO 2023090725A1
Authority
WO
WIPO (PCT)
Prior art keywords
tray
image
home appliance
height
present disclosure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/017287
Other languages
English (en)
French (fr)
Inventor
하지형
김주언
이상용
장경아
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP22895932.6A priority Critical patent/EP4372683A4/en
Priority to US17/987,198 priority patent/US12406388B2/en
Publication of WO2023090725A1 publication Critical patent/WO2023090725A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/42—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight for counting by weighing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0238—Details making use of sensor-related data, e.g. for identification of sensor or optical parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Definitions

  • Embodiments of the present disclosure relate to a home appliance having an interior space capable of accommodating trays at various heights, and a method for acquiring an image of the interior space of the home appliance considering the height at which the tray is inserted.
  • a smart appliance refers to home appliances that can be directly or indirectly controlled and managed through the Internet, and may be referred to as a connected home appliance.
  • Smart home appliances that connect the Internet to products such as air purifiers, coffee makers, and lighting devices, as well as TVs, refrigerators, washing machines and dryers, and ovens, have more convenient and diverse functions than existing offline stand alone products. They can be added, connected and fused to form a smart home.
  • Object recognition is a representative technology of intelligent image processing (Vision AI) technology, which identifies objects on images or videos and calculates result values (object recognition and classification, location, etc.) through algorithms such as deep learning/machine learning.
  • Vision AI intelligent image processing
  • a refrigerator may provide a service for recommending a menu suitable for stored ingredients.
  • an object recognition rate needs to be improved.
  • a home appliance includes a camera disposed in an internal space of the home appliance for accommodating trays at different heights; and at least one processor, wherein the at least one processor acquires a first image including the tray while the tray is accommodated in the inner space through a camera, and uses the first image to determine different heights of the inner space.
  • the height at which the tray is accommodated in the inner space is identified, and according to the height at which the tray is accommodated, a setting value related to image capture of the inner space is determined, and based on the determined setting value, a second image including an item on the tray is detected. can be obtained.
  • a method for obtaining an image of an internal space of a home appliance includes acquiring a first image including a tray while the tray is accommodated in the internal space through a camera located in the internal space of the home appliance. step; identifying a height at which the tray is accommodated in the internal space using the first image; Determining a setting value related to image capture of the interior space according to the height at which the tray is accommodated; and obtaining a second image including the item on the tray based on the determined setting value.
  • FIG. 1 is a diagram for explaining overall operation of a home appliance according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating functions of a home appliance according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating functions of a home appliance according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method for acquiring an image of a home appliance according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining an operation of identifying a height at which a tray is inserted based on an area of a tray included in a first image by a home appliance device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining an operation of identifying a height at which a tray is inserted, based on intervals of markers included in the tray, by the home appliance according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining an operation of identifying a height at which a tray is inserted based on the number of markers included in a first image by the home appliance according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of identifying a height at which a tray is inserted based on information acquired from at least one sensor by a home appliance according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of adjusting a brightness value of lighting in an internal space according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • FIG. 10 is a view for explaining an operation of adjusting a brightness value of lighting in an internal space according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a method for determining a size of a crop area according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • FIG. 12A is a diagram for explaining an operation of determining a size of a crop area according to a height at which a tray is inserted by the home appliance according to an embodiment of the present disclosure.
  • FIG. 12B is a diagram for explaining an operation of obtaining a monitoring image by applying a size of a crop area by a home appliance according to an embodiment of the present disclosure.
  • FIG. 13 is a flowchart illustrating a method for determining a distortion correction value of a camera according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • 14A is a diagram for explaining distortion of a camera according to an embodiment of the present disclosure.
  • 14B is a diagram for explaining an operation of determining a distortion correction value of a camera according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • 15A and 15B are diagrams for explaining an operation of applying a distortion correction value of a camera by a home appliance according to an embodiment of the present disclosure.
  • 16 is a diagram for explaining an operation of adjusting a size of a crop area and a distortion correction value according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • 17 is a diagram for explaining an operation of outputting a second image by a home appliance according to an embodiment of the present disclosure.
  • FIG. 18 is a flowchart illustrating a method of determining a correction value of a cooking temperature included in recipe information according to an inserted height of a tray by a home appliance according to an embodiment of the present disclosure.
  • 19 is a diagram for explaining an operation of providing recipe information suitable for ingredients by a home appliance according to an embodiment of the present disclosure.
  • 20 is a diagram for explaining an operation of providing a correction value of a cooking temperature according to an inserted height of a tray by a home appliance according to an embodiment of the present disclosure.
  • 21 is a diagram for explaining an operation in which a home appliance device interworks with a server device according to an embodiment of the present disclosure.
  • FIG. 22 is a diagram for explaining an operation in which a home appliance device provides a monitoring image to a server device according to an embodiment of the present disclosure.
  • FIG. 23 is a diagram for explaining an operation of providing a monitoring image of a home appliance through a display device by a server device according to an embodiment of the present disclosure.
  • FIG. 24 is a flowchart illustrating a method of determining an operation mode according to a type or position of a dish placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • 25 is a diagram for explaining an operation of determining an operation mode according to a type or position of a dish placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • 26 is a flowchart illustrating a method of providing information about contents placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • FIG. 27 is a diagram for explaining an operation of providing information about contents placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • FIG. 28 is a diagram for explaining an operation of providing monitoring images for each tray through a display device by a home appliance according to an embodiment of the present disclosure.
  • the expression “at least one of a, b, or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b” and c”, or variations thereof.
  • the height at which the tray is inserted is identified, and the set values related to image capture (eg, the brightness value of the lighting in the interior space, the size of the crop area, the size of the camera) are determined according to the height at which the tray is inserted.
  • the set values related to image capture eg, the brightness value of the lighting in the interior space, the size of the crop area, the size of the camera.
  • a method for providing improved object recognition for contents placed on a tray by obtaining a monitoring image in a uniform state even when the trays are inserted at different heights, and a home appliance for the same can be provided.
  • a method for providing a suitable recipe through enhanced object recognition for contents placed on a tray and a home appliance for the same may be provided.
  • a method of correcting a cooking temperature according to a height at which a tray is inserted or guiding a cooking temperature suitable for a user, and a home appliance for the same may be provided.
  • FIG. 1 is a diagram for explaining overall operation of a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may include internal spaces capable of accommodating the tray 1001 at various heights.
  • the home appliance 1000 may include, but is not limited to, a gas oven, an electric oven, a dishwasher, and a small refrigerator.
  • the small refrigerator may include, for example, a cosmetics refrigerator, a wine refrigerator (also referred to as a wine cellar, a CAVE, a cabinet cellar, a wine cooler, etc.) and the like.
  • the inner space When the home appliance 1000 is an oven, the inner space may be expressed as a cooking chamber, when the home appliance 1000 is a small refrigerator, the inner space may be expressed as a storage, and when the home appliance 1000 is a dishwasher.
  • the inner space can be expressed as a container.
  • FIG. 1 a case in which the home appliance 1000 is an oven will be described as an example.
  • a tray 1001 may be inserted into the inner space of the home appliance 1000 .
  • the tray 1001 may be mounted on shelves 1002 provided on both sides of the inner space.
  • the shelves 1002 provided on both sides of the inner space may include guide rails. Meanwhile, the shelves 1002 may be located at different heights on the inner space of the home appliance 1000 .
  • a first shelf is located at a first height (first level)
  • a second shelf is located at a second height (second level)
  • a third shelf is located at a third height (third level)
  • a fourth height ( 4th stage) may be located on the fourth shelf.
  • the first height (first stage) may be the lowest height
  • the fourth height (fourth stage) may be the highest height.
  • a user can place the tray 1001 on which the contents are placed on one of the first to fourth shelves.
  • the height at which the tray 1001 is inserted in the internal space (hereinafter, also referred to as the height of the tray 1001) may be the first height (first stage).
  • the shelves 1002 installed at four different heights have been described as an example, but the present invention is not limited thereto.
  • the shelves 1002 may be installed at two heights, the shelves 1002 may be installed at three heights, or the shelves 1002 may be installed at five or more heights.
  • the tray 1001 is for placing contents, and the contents may include ingredients (meat, vegetables, bread, cookies, etc.), wine, tableware, etc., but are not limited thereto.
  • the tray 1001 may include a wire rack for grilling meat, a wire rack insert, a baking tray, an extra deep tray, etc., but is limited thereto It is not.
  • the tray 1001 may include a dish basket and a cutlery box.
  • the tray 1001 may include a wine rack, a sliding shelf, a cosmetic basket, and the like.
  • the home appliance 1000 may include a camera 1100 in an internal space.
  • the camera 1100 is for monitoring the internal space of the home appliance 1000 and may capture an image of the internal space.
  • the camera 1100 may capture a still image or a moving image.
  • the camera 1100 may be a wide-angle camera having an angle of view capable of capturing an interior space, but is not limited thereto.
  • the camera 1100 may be disposed at the center of the ceiling to take an image of the interior space, but is not limited thereto.
  • the home appliance 1000 obtains an image of an internal space into which the tray 1001 is inserted through the camera 1100, analyzes the image of the internal space, and determines whether the tray 1001 is inserted.
  • height can be identified. For example, when markers are disposed at positions corresponding to each of the shelves 1002, the home appliance 1000 determines the inserted height of the tray 1001 based on the number of markers included in the image of the interior space. can be identified. Also, the home appliance 1000 may identify the height at which the tray 1001 is inserted based on the area of the tray determined by performing edge detection on the image of the interior space.
  • the home appliance 1000 may identify the inserted height of the tray 1001 based on the interval between at least two or more markers included in the tray 1001 determined by analyzing the image of the inner space. The operation of identifying the height at which the tray 1001 is inserted by analyzing the image of the interior space of the home appliance 1000 will be described in detail later with reference to FIGS. 5 to 7 .
  • the home appliance 1000 may use at least one sensor other than the camera 1100 to identify the height at which the tray 1001 is inserted.
  • the home appliance 1000 includes a depth sensor disposed on the ceiling of the interior space, a weight sensor included in the shelves 1002 of different heights, and an infrared sensor included in the shelves 1002 of different heights.
  • the height at which the tray 1001 is inserted may be identified using at least one of the above. The operation of identifying the height at which the tray 1001 is inserted by the home appliance 1000 using at least one sensor will be described in detail later with reference to FIG. 8 .
  • the home appliance 1000 may adjust a setting value related to capturing an image of an internal space according to a height at which the tray 1001 is inserted.
  • the setting value related to capturing an image of the interior space may include at least one of a lighting brightness value of the interior space, a crop area size, and a distortion correction value of the camera 1100, but is not limited thereto.
  • cropping may mean an operation of removing “outside” parts of an image
  • a cropped area may mean an area that is selected from an image without being removed.
  • the crop area may be an area including a central subject (eg, the tray 1001).
  • the distortion correction value of the camera 1100 may be a value for correcting distortion on an image caused by the characteristics of the camera 1100 .
  • the home appliance 1000 may adjust the brightness of the internal lighting lower as the height at which the tray 1001 is inserted increases, and adjust the size of the crop area larger as the height at which the tray 1001 is inserted increases. Also, as the height at which the tray 1001 is inserted increases, the distortion correction value of the camera 100 may be adjusted higher.
  • the home appliance 1000 does not affect the contents placed on the tray 1001 even when the tray 1001 is inserted at a different height.
  • An image hereinafter referred to as a monitoring image
  • a uniform state eg, uniform brightness, uniform size, and uniform shape
  • the home appliance 1000 may identify contents placed on the tray 1001 by performing object recognition on an image acquired by the camera 1100 . At this time, since the home appliance 1000 can acquire an image in a uniform state for the contents placed on the tray 1001 even if the tray 1001 is inserted at different heights, the object recognition rate of the home appliance 1000 is improved. It can be.
  • the home appliance 1000 may provide sophisticated customized recipe information according to the food ingredients placed on the tray 1001 . Also, the home appliance 1000 may adjust the cooking temperature included in the recipe information according to the height at which the tray 1001 is inserted, or output information guiding the adjusted cooking temperature.
  • the home appliance 1000 may include a user interface 1600 outputting a monitoring image 1003 .
  • the home appliance 1000 acquires a monitoring image 1003 including the tray 1001 on which cookies are placed, and the monitoring image 1003 may be displayed on a display included in the user interface 1600 in real time. At this time, the user can check the cooking state of the cookie by checking the monitoring image 1003 .
  • the user can check the monitoring image 1003 in a uniform state even if the height at which the tray 1001 is inserted changes. For example, even if the user usually bakes cookies by inserting the tray 1001 at the first height (first level) and then inserts the tray 1001 at the third height (third level) to bake cookies, In the monitoring image 1003 shown on the display, the size of the tray 1001 does not appear too large or too bright, but the monitoring image 1003 including the tray 1001 of the same size and brightness as usual can be confirmed.
  • the configuration of the home appliance 1000 that obtains a monitoring image 1003 in a uniform state even when the height of the tray 1001 is inserted will be changed in more detail.
  • FIGS. 2 and 3 are block diagrams illustrating functions of a home appliance according to an embodiment of the present disclosure.
  • a home appliance 1000 may include a camera 1100 and a processor 1200 .
  • the home appliance 1000 may be implemented with more components than those shown, or the home appliance 1000 may be implemented with fewer components.
  • the home appliance 1000 according to an embodiment of the present disclosure includes a camera 1100 and a processor 1200, a drive unit 1300, a sensor unit 1400, a communication interface 1500, It may include a user interface 1600 , a lamp 1700 , and a memory 1800 .
  • the camera 1100 may refer to a device that acquires at least one frame of a subject.
  • at least one frame may be expressed as an image (still image or moving image) or a photograph.
  • the camera 1100 may be installed in an internal space of the home appliance 1000 .
  • the camera 1100 may be installed in the center of the ceiling or one side of the ceiling of the home appliance 1000, but is not limited thereto.
  • the camera 1100 may be a wide-angle camera having an angle of view capable of capturing an interior space of the home appliance 1000 .
  • the camera 1100 may be a miniature camera or a pinhole camera.
  • the camera 1100 may have durability to withstand high heat and electromagnetic waves, and may also have a waterproof function.
  • a coil heating wire may be wound around the camera 1100 to prevent frost from occurring.
  • a plurality of cameras 1100 may be installed in the inner space of the home appliance 1000 .
  • the processor 1200 controls overall operations of the home appliance 1000 .
  • the processor 1200 executes programs stored in the memory 1800, thereby enabling the camera 1100, the driving unit 1300, the sensor unit 1400, the communication interface 1500, the user interface 1600, the lighting 1700, and the memory. (1800) can be controlled.
  • the home appliance 1000 may be equipped with an artificial intelligence (AI) processor.
  • AI artificial intelligence
  • the artificial intelligence (AI) processor may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or manufactured as part of an existing general-purpose processor (eg CPU or application processor) or graphics-only processor (eg GPU). It may also be mounted on the home appliance 1000.
  • the processor 1200 obtains a first image including the tray 1001 inserted into the internal space of the home appliance 1000 through the camera 1100, and uses the first image.
  • the processor 1000 may identify the height at which the tray 1001 is inserted based on information obtained from at least one of the depth sensor 1410, the weight sensor 1420, and the infrared sensor 1430. An operation of identifying the height at which the tray 1001 is inserted by the processor 1200 will be described later in detail with reference to FIGS. 5 to 8 .
  • the processor 1200 determines a setting value related to image capture of the interior space according to the height at which the tray 1001 is inserted, and based on the determined setting value, the tray 1001 A second image (hereinafter, also referred to as a monitoring image) including the contents placed thereon may be acquired.
  • the processor 1200 determines the brightness value of the lighting in the interior space according to the height at which the tray 1001 is inserted, and adjusts the brightness of the lighting 1700 disposed in the interior space according to the determined lighting brightness value.
  • the camera 1100 may be controlled to acquire the second image.
  • the processor 1200 may determine the size of the cropped area according to the height at which the tray 1001 is inserted, and obtain a second image by cutting out a part of the surrounding area from the first image based on the determined size of the cropped area. . Meanwhile, the processor 1200 may obtain a second image by determining a distortion correction value of the camera 1100 according to the height at which the tray 1001 is inserted and applying the distortion correction value to the first image. An operation in which the processor 1200 obtains the second image (monitoring image) by applying a set value according to the height at which the tray 1001 is inserted will be described in detail later with reference to FIGS. 9 to 16 .
  • the processor 1200 may recognize ingredients placed on the tray 1001 from the second image and provide recipe information suitable for the ingredients through the user interface 1600 . Also, the processor 1200 may determine a cooking temperature correction value included in the recipe information according to the height at which the tray 1001 is inserted, and provide the determined cooking temperature correction value through the user interface 1600. .
  • the driving unit 1300 may include a heater 1310, a circulation fan 1320, and a cooling fan 1330, but is not limited thereto.
  • the driving unit 1300 may be changed according to the type of the home appliance 1000 .
  • the driving unit 1300 may further include a compressor and an air cleaning unit.
  • the driving unit 1300 may include a motor, a spraying unit, a drying unit, a condenser, and the like.
  • a heater 1310 for heating food may be provided in an internal space (eg, a cooking chamber) of the home appliance 1000 .
  • the heater 1310 may be an electric heater including an electric resistor or a gas heater generating heat by burning gas.
  • a circulation fan 1320 for evenly heating food by circulating internal air and a circulation motor for driving the circulation fan 1320 may be provided at the rear of the inner space (cooking chamber).
  • a fan cover covering the circulation fan 1320 may be provided in front of the circulation fan 1320, and a through hole may be formed in the fan cover to allow air to flow.
  • the cooling fan 1330 may be a centrifugal fan that sucks in air from the top and discharges it in a radial direction.
  • the cooling fan 1330 may be disposed in the cooling passage.
  • the cooling fan 1330 may include a flat rotating plate, a hub formed at the center of the rotating plate and coupled to a rotation shaft of the cooling motor, and a plurality of wings formed from the center of the rotating plate to an edge portion.
  • the hub may be formed in a conical shape with a radius increasing toward the bottom, and thus, air sucked in from the top may be diffused in the radial direction.
  • the sensor unit 1400 includes a depth sensor 1410, a weight sensor 1420, an infrared sensor 1430, a humidity sensor 1440 that senses the humidity of the inner space, and a gas sensor that senses the degree of gas in the inner space ( 1450) and a temperature sensor 1460, but are not limited thereto. Since a person skilled in the art can intuitively infer the function of each sensor from its name, a detailed description thereof will be omitted.
  • the communication interface 1500 may include one or more components that enable communication between the home appliance 1000 and a server device (not shown) or between the home appliance 1000 and a mobile terminal (not shown).
  • the communication interface 1500 may include a short-distance communication unit 1510 and a long-distance communication unit 1520.
  • the short-range wireless communication interface 1510 includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication interface (NFC), a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared (IrDA, infrared data association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit, etc. may be included, but is not limited thereto.
  • the remote communication unit 1520 may be used to communicate with a server device when the home appliance 1000 is remotely controlled by a server device (not shown) in an Internet of Things (IoT) environment.
  • IoT Internet of Things
  • the remote communication unit 1520 may include the Internet, a computer network (eg, LAN or WAN), and a mobile communication unit.
  • the mobile communication unit may include, but is not limited to, a 3G module, a 4G module, a 5G module, an LTE module, a NB-IoT module, and an LTE-M module.
  • the user interface 1600 may include an output interface 1610 and an input interface 1620 .
  • the output interface 1610 is for outputting an audio signal or a video signal, and may include a display unit and a sound output unit.
  • the display unit may be used as an input interface 1620 in addition to the output interface 1610 .
  • the display unit includes a liquid crystal display, a thin film transistor-liquid crystal display, a light-emitting diode (LED), an organic light-emitting diode, and a flexible display. display), a 3D display, and an electrophoretic display.
  • the home appliance 1000 may include two or more display units.
  • the audio output unit may output audio data received from the communication interface 1500 or stored in the memory 1800 . Also, the sound output unit may output sound signals related to functions performed by the home appliance 1000 .
  • the sound output unit may include a speaker, a buzzer, and the like.
  • the display unit may output a monitoring image of an internal space of the home appliance 1000 or output recipe information suitable for ingredients. Also, the display unit may output a correction value of the cooking temperature determined according to the height at which the tray is inserted.
  • the input interface 1620 is for receiving an input from a user.
  • the input interface 1620 includes a key pad, a dome switch, a touch pad (contact capacitance method, pressure resistive film method, infrared sensing method, surface ultrasonic conduction method, integral tension measurement method) , piezo effect method, etc.), a jog wheel, and a jog switch, but may be at least one, but is not limited thereto.
  • the input interface 1620 may include a voice recognition module.
  • the home appliance 1000 may receive a voice signal that is an analog signal through a microphone and convert the voice part into computer-readable text using an Automatic Speech Recognition (ASR) model.
  • ASR Automatic Speech Recognition
  • NLU natural language understanding
  • the ASR model or NLU model may be an artificial intelligence model.
  • the artificial intelligence model can be processed by an artificial intelligence processor designed with a hardware structure specialized for the processing of artificial intelligence models. AI models can be created through learning.
  • An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • Linguistic understanding is a technology that recognizes and applies/processes human language/text, and includes natural language processing, machine translation, dialog system, question answering, and voice recognition. /Includes Speech Recognition/Synthesis, etc.
  • a lamp 1700 may be disposed on one surface of an internal space of the home appliance 1000 and may be expressed as an internal light.
  • the lighting 1700 may be disposed on a ceiling or on a side surface, but is not limited thereto.
  • the lighting 1700 may be turned on when the door of the home appliance 1000 is opened or the home appliance 1000 operates.
  • Light 1700 may be protected by a glass cover.
  • the lighting 1700 may have various brightness levels.
  • the lighting 1700 may emit light ranging from a dark level to a bright level. Brightness of the light 1700 may be controlled by the processor 1200 .
  • the lighting 1700 may be halogen lighting or LED lighting, but is not limited thereto.
  • the memory 1800 may store programs for processing and control of the processor 1200, and input/output data (eg, recipe information, area table, interval table, size information of a cropped area, distortion correction value, brightness level table, etc.) can also be stored.
  • the memory 1800 may store an artificial intelligence model.
  • the memory 1800 may store an artificial intelligence model for object recognition, an artificial intelligence model for recipe recommendation, and the like.
  • the memory 1800 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , an optical disk, and at least one type of storage medium.
  • the home appliance 1000 may operate a web storage or cloud server that performs a storage function on the Internet.
  • FIG. 4 is a flowchart illustrating a method for acquiring an image of a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may acquire a first image including the tray 1001 inserted into the internal space through the camera 1100 located in the internal space.
  • the first image may be an initial image for determining the height at which the tray 1001 is inserted.
  • the first image may be a color image or a black and white image.
  • the tray 1001 may be inserted at various heights.
  • shelves of various heights into which the tray 1001 can be inserted may be disposed in the internal space of the home appliance 1000, and the tray 1001 may be placed on one of the shelves of various heights.
  • the home appliance 1000 may obtain a first image by photographing the interior space through the camera 1100 at a preset time point.
  • the home appliance 1000 may control the camera 1100 to obtain a first image by photographing the interior space when a predetermined time (eg, 3 seconds) elapses after the door is opened.
  • the home appliance 1000 may control the camera 1100 to photograph the interior space within a predetermined time (eg, 3 seconds) after detecting that the tray 1001 is placed in the interior space.
  • the home appliance 1000 may detect that the tray 1001 is placed in the internal space using at least one of a depth sensor 1410, a weight sensor 1420, and an infrared sensor 1430.
  • the home appliance 1000 controls the camera 1100 to photograph the interior space within a predetermined time (eg, within 3 seconds) after the tray 1001 is placed in the interior space and the door is closed. may be
  • step S420 the home appliance 1000 according to an embodiment of the present disclosure may use the first image to identify the height at which the tray 1001 is inserted.
  • the home appliance 1000 may identify the height at which the tray 1001 is inserted through edge detection of the first image. For example, the home appliance 1000 may recognize an edge portion of the tray 1001 by performing edge detection on the first image.
  • An edge is a part of an image in which brightness rapidly changes, and may mean a boundary line, an outline, and the like, and edge detection means a process of finding a pixel corresponding to an edge.
  • edge detection means a process of finding a pixel corresponding to an edge.
  • the home appliance 1000 may estimate a polygon having a shape closed by an edge in an edge image obtained by performing edge detection on the first image.
  • a polygon of a shape closed by an edge may be a rectangular tray 1001 .
  • the home appliance 1000 may determine an area of the tray 1001 based on an edge portion (eg, an outline) of the tray 1001 .
  • the home appliance 1000 may compare the area of the tray 1001 with a pre-stored area table to identify the height at which the tray 1001 is inserted.
  • the pre-stored area table may include information obtained by matching the heights of the shelves 1002 located in the internal space with the area (or area ratio) of the tray 1001 . Since the camera 1100 is disposed on the ceiling, the area occupied by the tray 1001 in the first image may increase as the height at which the tray 1001 is inserted increases. An area occupied by the tray 1001 in one image may be reduced.
  • the home appliance 1000 may identify a height at which the tray 1001 is inserted based on the number of markers included in the first image.
  • the home appliance 1000 may include shelves 1002 having different heights into which the tray 1001 can be inserted, and markers at positions corresponding to each of the shelves 1002 .
  • a first marker is attached to a position corresponding to a first-level shelf disposed at the bottom, and a second marker is attached to a position corresponding to a second-level shelf disposed above the first-level shelf;
  • a third marker may be attached to a position corresponding to a third level shelf disposed above the second level shelf, and a fourth marker may be attached to a position corresponding to a fourth level shelf disposed above the uppermost shelf.
  • the home appliance 1000 may analyze the first image and identify the number of markers included in the first image. Since the camera 1100 is located on the ceiling, as the height at which the tray 1001 is inserted increases, the number of markers covered by the tray 1001 increases, so the number of markers recognized in the first image may decrease.
  • the number of markers recognized in the first image may increase.
  • the first marker, the second marker, and the third marker may not appear in the first image because they are covered by the tray 1001 . Accordingly, when only one marker (fourth marker) is recognized in the first image, the home appliance 1000 may identify that the tray 1001 is inserted into the fourth level shelf.
  • the home appliance 1000 may identify a height at which the tray 1001 is inserted based on a spacing of at least two markers included in the tray 1001 and positioned at regular intervals. there is.
  • a plurality of markers may be attached to the tray 1001 at regular intervals.
  • a total of 4 markers may be included in the tray 1001 by attaching markers to each corner of the tray 1001, or a total of 9 markers may be included in the tray 1001 by attaching 3 markers each in the horizontal and vertical directions.
  • the home appliance 1000 may recognize at least two or more markers included in the tray 1001 and located at regular intervals in the first image. In addition, the home appliance 1000 may compare the distance between the markers with a pre-stored distance table to identify the height at which the tray 1001 is inserted.
  • the pre-stored spacing table may include information obtained by matching the heights of the shelves 1002 located in the interior space with the spacing (or spacing ratio) of the markers. Since the camera 1100 is disposed on the ceiling, the interval between markers in the first image may increase as the height at which the tray 1001 is inserted increases, and as the height at which the tray 1001 is inserted decreases, the distance between the markers may increase in the first image. Intervals between markers may be reduced.
  • the home appliance 1000 may further use at least one sensor in addition to the first image to identify the height at which the tray 1001 is inserted.
  • the home appliance 1000 includes a depth sensor 1410 disposed on the ceiling, a weight sensor 1420 included in the shelves 1002, and an infrared sensor 1430 included in the shelves 1002.
  • the height at which the tray 1001 is inserted may be identified by further using at least one of the above. An operation in which the home appliance 1000 uses at least one sensor to identify the height at which the tray 1001 is inserted will be described in detail later with reference to FIG. 8 .
  • the home appliance 1000 may determine a setting value related to capturing an image of the interior space according to the height at which the tray 1001 is inserted.
  • the setting value related to capturing an image of the interior space may include at least one of a lighting brightness value of the interior space, a size of a cropped area, and a distortion correction value of the camera 1100 .
  • a setting value related to capturing an image of an internal space may vary according to a height at which the tray 1001 is inserted. For example, as the height at which the tray 1001 is inserted increases, the brightness of an image acquired through the camera 1100 may increase, so the home appliance 1000 may determine a low lighting brightness value.
  • the home appliance 1000 reduces the size of the crop area to reduce the size of the tray 1001. can be made to maintain a certain size in the monitoring image.
  • the home appliance 1000 may determine a larger distortion correction value as the height at which the tray 1001 is inserted increases.
  • step S440 the home appliance 1000 according to an embodiment of the present disclosure displays a second image including content placed on the tray 1001 based on a set value determined according to the height at which the tray 1001 is inserted. can be obtained
  • the home appliance 1000 adjusts the brightness of the lighting 1700 disposed in the interior space according to the lighting brightness value determined according to the height at which the tray 1001 is inserted, and then displays the second image.
  • the camera 1100 may be controlled to acquire .
  • the home appliance 1000 adjusts the brightness of the lighting 1700 to be dark, and then the second image can be obtained.
  • the home appliance 1000 brightens the brightness of the lighting 1700 and then acquires the second image.
  • the home appliance 1000 controls the brightness of the lighting 1700 even if the tray 1001 is inserted at a different height, so that the tray 1001 has a constant brightness (eg, 800 lx (lux)).
  • a second image may be acquired.
  • the home appliance 1000 may acquire a second image by cutting out a part of the surrounding area from the first image based on the size of the crop area determined according to the height at which the tray 1001 is inserted. there is. For example, if the home appliance 1000 determines the size of the area occupied by the tray 1001 in the first image as the size of the crop area, the home appliance 1000 crops the area around the tray 1001 in the first image. and a second image including only the tray 1001 may be acquired. According to an embodiment of the present disclosure, the home appliance 1000 extracts a cropped area including the tray 1001 from the first image, enlarges the cropped area at a predetermined ratio according to the size of the display screen, and produces a second image. may also be obtained.
  • the second image may be an image obtained by cropping a part of the surrounding area from the first image based on the size of the cropped area determined according to the height of the tray 1001 and then enlarging the first image to a predetermined size. Therefore, according to an embodiment of the present disclosure, the home appliance 1000 adjusts the size of the crop area even if the height at which the tray 1001 is inserted changes, so that the second tray 1001 including the tray 1001 has a constant size. image can be obtained.
  • a second image may be obtained by applying a distortion correction value determined according to a height at which the tray 1001 is inserted to the first image.
  • the second image may be an image obtained by correcting distortion of the first image based on a distortion correction value determined according to the height of the tray 1001 .
  • the home appliance 1000 may acquire the second image by applying a large distortion correction value to the first image.
  • the home appliance 1000 obtains a second image including the tray 1001 of a certain shape by adjusting the distortion correction value of the camera 1100 even if the height at which the tray 1001 is inserted changes. can do.
  • the home appliance 1000 only one of the lighting brightness value of the interior space, the size of the crop area, and the distortion correction value of the camera 1100 is selected according to the height at which the tray 1001 is inserted. You can adjust, or you can adjust more than one.
  • the home appliance 1000 may adjust the lighting brightness value of the interior space and the size of the crop area according to the height at which the tray 1001 is inserted, or adjust the lighting brightness value of the interior space and the size of the camera 1100.
  • the distortion correction value may be adjusted, the size of the crop area and the distortion correction value of the camera 1100 may be adjusted, and the lighting brightness value of the inner space, the size of the crop area, and the distortion correction value of the camera 1100 may be adjusted.
  • the home appliance 1000 outputs a second image as a monitoring image through the display unit to which a setting value related to image capture of the interior space determined according to the height at which the tray 1001 is inserted is applied.
  • the user can be provided with a monitoring image in a uniform state regardless of the height at which the tray 1001 is inserted. Therefore, even if the user inserts the tray 1001 on the shelf of the lowest height normally and inserts the tray 1001 on the shelf of the highest height this time, the tray 1001 appears too large or too dark in the monitoring image, so that the user It is possible to prevent a case in which the state of the food material placed on the tray 1001 is not properly checked.
  • FIG. 5 is a diagram for explaining an operation of identifying a height at which a tray is inserted based on an area of a tray included in a first image by a home appliance device according to an embodiment of the present disclosure.
  • the home appliance 1000 may acquire a first image including the tray 1001 inserted into the internal space through the camera 1100 .
  • the first image is the 1-1 image 511 including the tray 1001 inserted on the shelf of the first height (first stage) and the tray 1001 inserted on the shelf of the second height (second stage).
  • the fourth height (4 levels) It may be one of images 514 1-4 including the tray 1001 inserted into the shelf.
  • the home appliance 1000 may compare the area of the tray 1001 determined through edge detection of the first image with the previously stored area table 500 to identify the height at which the tray 1001 is inserted. Areas included in the area table 500 may be based on experimental results or may be inferred values through an AI model.
  • the home appliance 1000 when the home appliance 1000 acquires the 1-1 image 511, the home appliance 1000 performs edge detection on the 1-1 image 511 to obtain the 1-1 image 511. A first edge image 521 corresponding to the image 511 may be obtained. Further, the home appliance 1000 extracts an edge portion (eg, an outline) of the tray 1001 from the first edge image 521, and in the 1-1 image 511 (or the first edge image 521) A first area 531 occupied by the tray 1001 may be determined. For example, the home appliance 1000 may determine the first area 531 of the tray 1001 as 100 cm 2 based on an edge portion (eg, an outline) of the tray 1001 .
  • edge portion eg, an outline
  • the home appliance 1000 may compare the first area 531 of the tray 1001 with the previously stored area table 500 to identify the height at which the tray 1001 is inserted. For example, since the first area 531 of the tray 1001 is 100 cm 2 , the home appliance 1000 may determine that the tray 1001 is inserted into a shelf having a first height (one level).
  • the home appliance 1000 When the home appliance 1000 acquires the 1-2 image 512, the home appliance 1000 performs edge detection on the 1-2 image 512 to obtain the 1-2 image 512. A corresponding second edge image 522 may be acquired. Further, the home appliance 1000 extracts an edge portion (eg, an outline) of the tray 1001 from the second edge image 522, and in the 1-2 image 512 (or the second edge image 522) A second area 532 occupied by the tray 1001 may be determined. For example, the second area 532 may be 150 cm 2 . At this time, the home appliance 1000 compares the second area 532 of the tray 1001 with the previously stored area table 500, and determines that the tray 1001 is inserted into the shelf at the second height (two levels). can do.
  • edge portion eg, an outline
  • the home appliance 1000 compares the second area 532 of the tray 1001 with the previously stored area table 500, and determines that the tray 1001 is inserted into the shelf at the second height (two levels). can do.
  • the home appliance 1000 When the home appliance 1000 acquires the 1-3 image 513, the home appliance 1000 performs edge detection on the 1-3 image 513 to obtain the 1-3 image 513. A corresponding third edge image 523 may be obtained. Further, the home appliance 1000 extracts an edge portion (eg, an outline) of the tray 1001 from the third edge image 523, and in the 1-3 images 513 (or the third edge image 523) A third area 533 occupied by the tray 1001 may be determined. For example, the third area 533 may be 200 cm 2 . At this time, the home appliance 1000 compares the third area 533 of the tray 1001 with the previously stored area table 500, and determines that the tray 1001 is inserted into a shelf at a third height (three levels). can do.
  • edge portion eg, an outline
  • the home appliance 1000 compares the third area 533 of the tray 1001 with the previously stored area table 500, and determines that the tray 1001 is inserted into a shelf at a third height (three levels). can do.
  • the home appliance 1000 When the home appliance 1000 acquires the 1-4th image 514, the home appliance 1000 performs edge detection on the 1-4th image 514 to obtain the 1-4th image 514. A corresponding fourth edge image 524 may be obtained. Further, the home appliance 1000 extracts an edge portion (eg, an outline) of the tray 1001 from the fourth edge image 524, and in the first to fourth images 514 (or the fourth edge image 524) A fourth area 534 occupied by the tray 1001 may be determined. For example, the fourth area 534 may be 300 cm 2 . At this time, the home appliance 1000 compares the fourth area 534 of the tray 1001 with the previously stored area table 500, and determines that the tray 1001 is inserted into a shelf at a fourth height (four levels). can do.
  • edge portion eg, an outline
  • the home appliance 1000 compares the fourth area 534 of the tray 1001 with the previously stored area table 500, and determines that the tray 1001 is inserted into a shelf at a fourth height (four levels). can do.
  • the area ratio may be defined in the pre-stored area table 500 .
  • a first area 531 occupied by a tray 1001 inserted in a shelf having a first height (one level) in a first image may be defined as a reference area.
  • the area of the tray 1001 inserted on the shelf of the second height (two levels) is 1.2 times the standard area
  • the tray 1001 inserted on the shelf of the third height (three levels) The area of may be defined as 1.3 times the reference area
  • the area of the tray 1001 inserted into the shelf of the fourth height (four levels) may be defined as 1.4 times the reference area.
  • the area ratio included in the pre-stored area table 500 may be based on an experiment result or may be a value inferred through an AI model.
  • the home appliance 1000 determines that the tray 1001 is inserted into the shelf at the first height (one level), and the area occupied by the tray 1001 in the first image (eg, the second area 532) is 1.2 of the reference area. If it is doubled, it is determined that the tray 1001 is inserted on the shelf of the second height (two stages), and the area occupied by the tray 1001 in the first image (eg, the third area 533) is 1.3 times the reference area.
  • the tray 1001 is inserted on the shelf of the third height (three levels), and the area occupied by the tray 1001 in the first image (eg, the fourth area 534) is 1.4 times the reference area. In this case, it may be determined that the tray 1001 is inserted into the shelf at the fourth height (four stages).
  • the home appliance 1000 may estimate the height of the tray 1001 by comparing the area occupied by the tray 1001 in the first image with the previously stored area table 500 .
  • FIG. 6 is a diagram for explaining an operation of identifying a height at which a tray is inserted, based on intervals of markers included in the tray, by the home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may extract at least two or more markers from the first image 600 in which the interior space including the tray 1001 is captured, and determine a distance between the markers. Further, the home appliance 1000 may compare the distance between the markers with the pre-stored distance table 601 to identify the height at which the tray 1001 is inserted. Intervals may be defined for each height of the tray 1001 in the pre-stored interval table 601 . In addition, intervals included in the interval table 601 may be based on experimental results or may be inferred values through an AI model.
  • the home appliance 1000 extracts the first marker 611 and the second marker 612 from the first image 600, and the distance between the first marker 611 and the second marker 612 is It can be seen that it is 12 cm.
  • the home appliance 1000 extracts the first marker 611 and the third marker 613 from the first image 600 and determines that the distance between the first marker 611 and the third marker 613 is 10 cm. You can check. At this time, since the interval between the markers is 10 cm to 12 cm, the home appliance 1000 compares the interval between the markers with the interval table 601, and the tray 1001 is inserted into the shelf at the first height (1 stage) It can be judged that there is
  • interval ratios may be defined in the pre-stored interval table 601 .
  • intervals of markers included in the tray 1001 inserted in a shelf having a first height may be defined as standard intervals.
  • the spacing of the markers included in the tray 1001 inserted on the shelf of the second height (2 levels) is 1.2 times the standard spacing, and the spacing of the markers inserted on the shelf of the third height (3 levels)
  • the distance between the markers included in the tray 1001 may be defined as 1.3 times the standard distance, and the distance between the markers included in the tray 1001 inserted on the shelf of the fourth height (4 levels) may be defined as 1.4 times the standard distance.
  • the interval ratio included in the pre-stored interval table 601 may be based on an experiment result or may be a value inferred through an AI model.
  • the home appliance 1000 is configured to When it is determined that 1001 is inserted into a shelf of the first height (1st level) and the interval of the markers included in the tray 1001 in the first image 600 is 1.2 times the standard interval, the second height (2nd level) When it is determined that the tray 1001 is inserted on the shelf of ), and the interval between the markers included in the tray 1001 in the first image 600 is 1.3 times the standard interval, the tray is placed on the shelf at the third height (3 stages). When it is determined that 1001 is inserted and the interval between the markers included in the tray 1001 in the first image 600 is 1.4 times the standard interval, the tray 1001 is inserted on the shelf of the fourth height (four stages). It can be judged that
  • nine markers 621 to 629 may be disposed on the tray 1001 at regular intervals.
  • three markers may be disposed in each of a horizontal direction and a vertical direction.
  • the home appliance 1000 may extract at least two or more markers from the first image 600 in which the interior space including the tray 1001 is captured, and check the interval between the markers.
  • the interval between the markers may include a horizontal interval (a) and a vertical interval (b), and each of the horizontal interval (a) and the vertical interval (b) may mean a minimum interval.
  • the home appliance 1000 may compare the distance between the markers (horizontal distance (a) or vertical distance (b)) with a pre-stored distance table 602 to identify the height at which the tray 1001 is inserted.
  • a horizontal distance (a) and a vertical distance (b) may be respectively defined for each height of the tray 1001 in the pre-stored distance table 602 .
  • the horizontal spacing (a) and the vertical spacing (b) included in the spacing table 602 may be based on experimental results or may be inferred values through an AI model.
  • the home appliance 1000 extracts the markers 621 to 629 from the first image 600, and the minimum horizontal distance (a) of the markers 621 to 629 is 6 cm and the minimum vertical distance (b) is 4 cm. im can confirm. At this time, the home appliance 1000 compares the minimum horizontal spacing (a) and the minimum vertical spacing (b) of the markers 621 to 629 with the spacing table 602, so that the tray 1001 has a first height (1). However, it can be judged that it is inserted into the shelf of).
  • the home appliance 1000 compares the intervals of the markers included in the tray 1001 in the first image 600 with a pre-stored interval table 601, 602), the height of the tray 1001 can be estimated.
  • FIG. 7 is a diagram for explaining an operation of identifying a height at which a tray is inserted based on the number of markers included in a first image by the home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 includes shelves 1002 having different heights into which a tray 1001 can be inserted, and markers 701 to 704 at positions corresponding to the shelves 1002, respectively.
  • four markers may also be disposed on one surface (eg, rear surface) of the interior space, but is not limited thereto.
  • Each of the markers 701 to 704 may be disposed at a height slightly higher than the shelves 1002 .
  • the first marker 701 is attached to a position slightly higher than the shelf of the first level
  • the second marker 702 is attached to a position slightly higher than the shelf of the second level
  • the position is higher than the shelf of the third level.
  • a third marker 703 may be attached to a position slightly higher
  • a fourth marker 704 may be attached to a position slightly higher than the shelf of the fourth stage.
  • the home appliance 1000 may acquire a first image 710 including the tray 1001 inserted into the internal space through the camera 1100 .
  • the home appliance 1000 may analyze the first image 710, extract markers, and determine the number of extracted markers.
  • the home appliance 1000 may identify the height at which the tray 1001 is inserted based on the number of markers. For example, when four markers are extracted from the partial area 720 of the first image 710, the home appliance 1000 compares the number of markers with the number table 700, and the tray 1001 It can be judged that it is inserted into the shelf of the first stage.
  • the home appliance 1000 may estimate the height of the tray 1001 by comparing the number of markers extracted from the first image 710 with the number table 700 .
  • the home appliance 1000 may use a sensor other than the camera 1100 to identify the height at which the tray 1001 is inserted. Referring to FIG. 8 , a method for the home appliance 1000 to identify the height at which the tray 1001 is inserted using at least one sensor will be described in detail.
  • FIG. 8 is a flowchart illustrating a method of identifying a height at which a tray is inserted based on information acquired from at least one sensor by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may obtain information about a distance between the ceiling and the tray 1001 from the depth sensor 1410 disposed on the ceiling of the interior space.
  • the depth sensor may include a time of flight (TOF) type 3D depth sensor.
  • TOF method is a 3D sensing technology that recognizes spatial information and movement of objects by measuring the time when light sent to a subject is reflected and returned.
  • the home appliance 1000 may obtain information about the distance between the ceiling and the tray 1001 from the depth sensor 1410 . For example, as the height at which the tray 1001 is inserted increases, the distance between the ceiling and the tray 1001 may decrease, and as the height at which the tray 1001 is inserted decreases, the distance between the ceiling and the tray 1001 may increase. there is.
  • the home appliance 1000 may obtain weight information from the weight sensors 1420 included in the shelves 1002 of different heights.
  • the weight sensor 1420 may also be expressed as a weight sensor. According to one embodiment of the present disclosure, when the home appliance 1000 includes four shelves, four weight sensors 1420 may also be disposed in the internal space, but is not limited thereto. For example, a first weight sensor is disposed on a first shelf located at a first height, a second weight sensor is disposed on a second shelf located at a second height, and a third weight sensor is disposed at a third height. A third weight sensor may be disposed on the shelf, and a fourth weight sensor may be disposed on a fourth shelf positioned at a fourth height.
  • a weight value measured by a first weight sensor disposed on the first shelf may change, A weight value measured by the second weight sensor, a weight value measured by the third weight sensor, and a weight value measured by the fourth weight sensor may not change significantly.
  • the weight value measured by the second weight sensor disposed on the second shelf may change, and the weight value measured by the first weight sensor may change.
  • the weight value measured by the third weight sensor and the weight value measured by the fourth weight sensor may not change significantly.
  • the home appliance 1000 may obtain infrared sensor information from the infrared sensors 1430 included in the shelves 1002 of different heights.
  • the infrared sensor 1430 may include a light emitting unit (eg, LED) that generates infrared rays and a light receiving unit (eg, a light sensor) that detects infrared rays.
  • a light emitting unit eg, LED
  • a light receiving unit eg, a light sensor
  • the amount of voltage changes accordingly. That is, the infrared sensor 1430 detects an external material by generating external free charges by changing the polarization of a ferroelectric in the infrared sensor 1430 by infrared radiation emitted from an external material.
  • infrared sensors 1430 may also be disposed in the inner space, but is not limited thereto.
  • a first infrared sensor is disposed on a first shelf located at a first height
  • a second infrared sensor is disposed on a second shelf located at a second height
  • a third infrared sensor is disposed on a third shelf located at a third height.
  • a third infrared sensor may be disposed and the fourth infrared sensor may be disposed on a fourth shelf located at a fourth height.
  • a sensor value measured by a first infrared sensor disposed on the first shelf may change significantly, and the tray 1001 may change significantly.
  • a sensor value measured by a second infrared sensor disposed on the second shelf may greatly change.
  • Steps S810 to S830 may all be performed, or only some steps may be performed. For example, if the home appliance 1000 does not include the weight sensor 1420 and the infrared sensor 1430 and only includes the depth sensor 1410, the home appliance 1000 skips steps S820 and S830. can do.
  • the home appliance 1000 may identify a height at which the tray 1001 is inserted based on information obtained from at least one sensor.
  • the home appliance 1000 may determine a height at which the tray 1001 is inserted based on information about a distance between the ceiling and the tray 1001 obtained from the depth sensor 1410. . For example, when the distance between the ceiling and the tray 1001 is within a first critical range, the home appliance 1000 determines that the tray 1001 is inserted into the shelf at the first height, and determines that the tray 1001 is inserted into the shelf at the first height. ) is within the second threshold range, it may be determined that the tray 1001 is inserted into the shelf at the second height.
  • the home appliance 1000 determines that the height at which the tray 1001 is inserted increases as the distance between the ceiling and the tray 1001 decreases, and as the distance between the ceiling and the tray 1001 increases, the tray 1001 is inserted. It can be judged that the height is low.
  • the home appliance 1000 may identify a height at which the tray 1001 is inserted based on weight information obtained from the weight sensor 1420 . For example, when the weight value measured by the first weight sensor disposed on the first shelf increases, the home appliance 1000 determines that the tray 1001 is inserted into the first shelf located at the first height, and , When the weight value measured by the second weight sensor disposed on the second shelf increases, it may be determined that the tray 1001 is inserted into the second shelf located at the second height.
  • the home appliance 1000 may identify the height at which the tray 1001 is inserted based on infrared sensor information obtained from the infrared sensor 1430 . For example, when the sensor value measured by the first infrared sensor disposed on the first shelf changes greatly (or when the first infrared sensor detects the tray 1001), the home appliance 1000 It can be determined that the tray 1001 is inserted into the shelf.
  • the home appliance 1000 includes information about the distance between the ceiling and the tray 1001 obtained from the depth sensor 1410, weight information obtained from the weight detection sensor 1420, and an infrared sensor.
  • the height at which the tray 1001 is inserted may be identified using the infrared sensor information obtained from 1430 comprehensively, or the height at which the tray 1001 is inserted may be identified using some information. Meanwhile, when the home appliance 1000 uses at least one of the depth sensor 1410, the weight sensor 1420, and the infrared sensor 1430, the height at which the tray 1001 is inserted can be accurately identified without a separate marker. there is.
  • the home appliance 1000 includes information about the distance between the ceiling and the tray 1001 obtained from the depth sensor 1410, weight information obtained from the weight detection sensor 1420, and an infrared sensor.
  • the height at which the tray 1001 is inserted may be identified using at least one of the infrared sensor information obtained from step 1430 and information obtained by analyzing the first image obtained through the camera 1100 .
  • the home appliance 1000 additionally uses information measured by at least one sensor in addition to the information obtained by analyzing the first image acquired through the camera 1100, the home appliance 1000 determines the height at which the tray 1001 is inserted. can be more accurately identified.
  • FIG. 9 is a flowchart illustrating a method of adjusting a brightness value of lighting in an internal space according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may acquire a first image including the tray 1001 through the camera 1100.
  • the first image may be an initial image for determining the height at which the tray 1001 is inserted. Since step S910 corresponds to step S410 of FIG. 4, a detailed description thereof will be omitted.
  • the home appliance 1000 may use the first image to identify the height at which the tray 1001 is inserted. For example, the home appliance 1000 performs edge detection on the first image, determines the area occupied by the tray 1001 in the first image, and determines the area occupied by the tray 1001 based on the area occupied by the tray 1001. can identify the inserted height. The home appliance 1000 may identify the inserted height of the tray 1001 based on the number of markers included in the first image. The home appliance 1000 analyzes the first image, extracts at least two markers disposed at regular intervals on the tray 1001, and identifies the height at which the tray 1001 is inserted based on the intervals of the extracted markers. can do. Since FIG. 920 corresponds to step S420 of FIG. 4 , a detailed description thereof will be omitted.
  • the home appliance 1000 may determine a lighting brightness value of the interior space according to the height at which the tray 1001 is inserted.
  • the lighting 1700 may be located on the ceiling. At this time, as the height into which the tray 1001 is inserted increases, the amount of light increases, so that the tray 1001 appears bright in the first image, and as the height into which the tray 1001 is inserted decreases, the amount of light decreases, so that the tray 1001 appears bright in the first image. may appear dark. Therefore, the home appliance 1000 determines the brightness value of the lighting in the interior space as the height at which the tray 1001 is inserted increases, and the brightness value of the lighting in the interior space becomes brighter as the height at which the tray 1001 is inserted decreases. By determining, the tray 1001 may maintain a constant brightness (eg, 800 lx) in the first image.
  • a constant brightness eg, 800 lx
  • a brightness step obtained by matching the height of the tray 1001 (eg, the height of the shelf into which the tray 1001 is inserted) and the lighting brightness value of the internal space are matched.
  • a table 1010 may be stored.
  • the home appliance 1000 may search the brightness level of the lighting in the interior space from the brightness level table 1010 based on the height of the tray 1001 .
  • the lighting brightness value included in the brightness level table 1010 may be a value capable of forming a brightness (eg, 800lx) that is easy to recognize the tray 1001 at a corresponding height.
  • the lighting You can set the brightness value to 100% (maximum).
  • the lighting brightness value is determined to be 81%, and the tray 1001 is inserted into the shelf of the third level.
  • the lighting brightness value may be determined as 65%, and when it is identified that the tray 1001 is inserted into the fourth-tier shelf, the lighting brightness value may be determined as 44%.
  • the home appliance 1000 adjusts the brightness of the lighting 1700 disposed in the interior space based on the lighting brightness value determined according to the height at which the tray 1001 is inserted.
  • the home appliance 1000 may adjust the lighting 1700 to be darker as the height at which the tray 1001 is inserted increases, and the lighting 1700 to be brighter as the height at which the tray 1001 is inserted is decreased. . Referring to FIG.
  • the home appliance 1000 adjusts the brightness intensity of the lighting 1700 to the highest level (eg, 100%) when the tray 1001 is inserted into the first shelf, and the tray 1001 When is inserted into the shelf of the fourth level, the brightness intensity of the lighting 1700 can be adjusted to the lowest level (eg, 44%).
  • step S950 the home appliance 1000 according to an embodiment of the present disclosure may acquire a second image including the contents of the tray 1001 through the camera 1100.
  • the home appliance 1000 since the brightness of the lighting 1700 installed in the interior space is adjusted according to the height at which the tray 1001 is inserted, the home appliance 1000 changes the height at which the tray 1001 is inserted. However, a second image including an image of the tray 1001 having uniform brightness may be acquired. also. The home appliance 1000 may provide a second image including an image of the tray 1001 of uniform brightness to the user as a monitoring image.
  • the food looks too bright when the tray 1001 is inserted on a high shelf and the food looks too dark when the tray 1001 is inserted on a low shelf.
  • the home appliance 1000 since different lighting brightness values are applied according to the height of the tray 1001, even if the height of the tray 1001 is changed, a monitoring image including food of the same brightness can be provided to the user. can
  • FIG. 11 is a flowchart illustrating a method for determining a size of a crop area according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • step S1110 the home appliance 1000 according to an embodiment of the present disclosure may acquire a first image including the tray 1001 through the camera 1100.
  • the first image may be an initial image for determining the height at which the tray 1001 is inserted. Since step S1110 corresponds to step S410 of FIG. 4, a detailed description thereof will be omitted.
  • the home appliance 1000 may use the first image to identify the height at which the tray 1001 is inserted. For example, the home appliance 1000 performs edge detection on the first image, determines the area occupied by the tray 1001 in the first image, and determines the area occupied by the tray 1001 based on the area occupied by the tray 1001. can identify the inserted height. The home appliance 1000 may identify the inserted height of the tray 1001 based on the number of markers included in the first image. The home appliance 1000 analyzes the first image, extracts at least two markers disposed at regular intervals on the tray 1001, and identifies the height at which the tray 1001 is inserted based on the intervals of the extracted markers. can do. Since step S1120 corresponds to step S420 of FIG. 4, a detailed description thereof will be omitted.
  • the home appliance 1000 may determine the size of the crop area according to the height at which the tray 1001 is inserted.
  • cropping may mean an operation of removing “outside” parts of an image
  • a cropped area may mean an area selected from an image without being removed.
  • the size of the crop area may correspond to the size of the tray 1001 included in the first image.
  • the home appliance 1000 is configured to provide a monitoring image including the tray 1001 (or food) of a uniform size even if the height at which the tray 1001 is inserted changes.
  • the size of the crop area may be adjusted according to the height at which the tray 1001 is inserted. For example, the size of the crop area may be increased as the height into which the tray 1001 is inserted increases, and the size of the crop area may be decreased as the height into which the tray 1001 is inserted decreases.
  • the home appliance 1000 may determine the size of the crop area by comparing the height at which the tray 1001 is inserted with a crop table pre-stored in the memory 1800 . For example, referring to FIG. 12A , in the memory 1800 of the home appliance 1000, the height of the tray 1001 (eg, the height of the shelf into which the tray 1001 is inserted) and the size of the crop area are matched. A crop table 1210 may be stored. In this case, the home appliance 1000 may search the size of the crop area in the crop table 1210 based on the height of the tray 1001 . The area and ratio of the crop area included in the crop table 1210 may correspond to the area and ratio occupied by the tray 1001 in the first image. For example, the crop table 1210 may correspond to the area table 500 of FIG. 5 .
  • the size of the crop area may be determined as a first size (eg, 100-120 cm 2 ).
  • the size of the crop area is determined as the second size (eg, 140-170 cm 2 ), and the third stage
  • the size of the crop area is determined, and the tray 1001 is identified as being inserted into the shelf of the fourth stage.
  • the size of the crop area may be determined as a fourth size (eg, 280 cm 2 ).
  • the cropping area ratio may be defined in the cropping table 1210 .
  • a first area occupied by the tray 1001 inserted on a shelf of a first height (one level) in the first image may be defined as the reference size of the crop area.
  • the size of the crop area corresponding to the height of the first stage is 1 times the standard size
  • the size of the crop area corresponding to the height of the second stage is 1.2 times the standard size
  • the size of the crop area corresponding to may be defined as 1.3 times the reference size
  • the size of the crop area corresponding to the height of the fourth stage may be defined as 1.4 times the reference size.
  • the size of the crop area included in the crop table 1210 may be based on an experiment result or may be a value inferred through an AI model.
  • the home appliance 1000 determines the size of the crop area as a reference size when the tray 1001 is inserted into the first shelf based on the crop table 1210 .
  • the size of the crop area is determined to be 1.2 times the standard size
  • the size of the crop area is determined as the standard. It is determined to be 1.3 times the size
  • the size of the crop area may be determined to be 1.4 times the reference size.
  • step S1140 the home appliance 1000 according to an embodiment of the present disclosure cuts out a part of the surrounding area from the first image based on the size of the cropped area determined according to the height at which the tray 1001 is inserted to obtain a second image.
  • the tray 1001 (or , Food) may have a constant ratio.
  • the home appliance 1000 may acquire a 1-1 image 1201 including the tray 1001 inserted into the first shelf.
  • the home appliance 1000 may determine the size of the crop area as the first size (100-120 cm 2 ) based on the height of the tray 1001 .
  • the home appliance 1000 may determine the first cropped area 1211 in the 1-1 image 1201 based on the first size.
  • the home appliance 1000 removes parts other than the first cropped area 1211 from the 1-1st image 1201 and enlarges the first cropped area 1211 at a certain ratio, thereby creating the 2-1st cropped area.
  • An image 1221 may be acquired.
  • the home appliance 1000 determines the crop area based on the height of the tray 1001.
  • the size may be determined as the second size (140-170 cm 2 ).
  • the home appliance 1000 determines the second cropped area 1212 in the 1-2nd image 1202 based on the second size, and enlarges the second cropped area 1212 at a predetermined ratio, so that the second cropped area 1212 is cropped. 2 images 1222 may be acquired.
  • the home appliance 1000 determines the size of the crop area based on the height of the tray 1001 when the 1-3 images 1203 including the tray 1001 inserted into the third shelf are acquired.
  • the third size (180-250cm 2 ) can be determined.
  • the home appliance 1000 determines the third crop area 1213 in the 1-3 images 1203 based on the third size and enlarges the third crop area 1213 at a predetermined ratio, thereby generating the second-third crop area 1213.
  • 3 images 1223 may be acquired.
  • the home appliance 1000 determines the size of the crop area based on the height of the tray 1001 when the 1-4 images 1204 including the tray 1001 inserted into the shelf of the fourth level are acquired. It can be determined as the fourth size (280 cm 2 ). The home appliance 1000 determines a fourth cropped area 1214 in the 1-4th images 1204 based on the fourth size, and enlarges the fourth cropped area 1214 at a predetermined ratio, so that the second- 4 images 1224 may be acquired.
  • the 2-1 image 1221, the 2-2 image 1222, the 2-3 image 1223, and the 2-4 image 1224 are monitoring images of the home appliance. It can be output through the display unit of (1000). At this time, in the 2-1 image 1221, the 2-2 image 1222, the 2-3 image 1223, and the 2-4 image 1224, the food placed on the tray 1001 appears in a certain size. can Therefore, according to an embodiment of the present disclosure, even if the height at which the tray 1001 is inserted is different, the size of the food displayed in the monitoring image is constant, so that the user can easily check the cooking state of the food.
  • FIG. 13 is a flowchart illustrating a method for determining a distortion correction value of a camera according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may acquire a first image including the tray 1001 through the camera 1100.
  • the first image may be an initial image for determining the height at which the tray 1001 is inserted. Since step S1310 corresponds to step S410 of FIG. 4, a detailed description thereof will be omitted.
  • the home appliance 1000 may identify the height at which the tray 1001 is inserted using the first image. For example, the home appliance 1000 performs edge detection on the first image, determines the area occupied by the tray 1001 in the first image, and determines the area occupied by the tray 1001 based on the area occupied by the tray 1001. can identify the inserted height.
  • the home appliance 1000 may identify the inserted height of the tray 1001 based on the number of markers included in the first image.
  • the home appliance 1000 analyzes the first image, extracts at least two markers disposed at regular intervals on the tray 1001, and identifies the height at which the tray 1001 is inserted based on the intervals of the extracted markers. can do. Since step S1320 corresponds to step S420 of FIG. 4, a detailed description thereof will be omitted.
  • the home appliance 1000 may determine a distortion correction value of the camera 1100 according to the height at which the tray 1001 is inserted.
  • barrel distortion (1411) may occur when the shooting distance to the subject is shortened, and barrel distortion (1411) in which the central part becomes larger and more prominent, and conversely, when the shooting distance to the subject is increased, the middle This recessed form of pincushion distortion (pincushion distortion, 1412) may occur.
  • pincushion distortion, 1412 pincushion distortion
  • the distance between the camera 1100 and the tray 1001 decreases, resulting in barrel distortion 1411 in the first image.
  • the distortion value ⁇ H due to may increase.
  • the home appliance 1000 determines a higher distortion correction value (also referred to as a distortion coefficient) as the height into which the tray 1001 is inserted increases, and as the height into which the tray 1001 is inserted decreases.
  • the distortion correction value can be determined low.
  • the distortion correction value may be a value for offsetting the distortion value ⁇ H appearing in the first image.
  • the distortion correction value may be based on experimental results or may be a value inferred through an artificial intelligence model (AI model).
  • AI model artificial intelligence model
  • the home appliance 1000 may determine a distortion correction value according to the height of the tray 1001 using a distortion correction table previously stored in the memory 1800 .
  • the distortion correction table may be a table in which the height of the tray 1001 and the distortion correction value are matched. For example, when the 1-1 image 1401 including the tray 1001 inserted into the shelf of the first stage is acquired, the home appliance 1000 generates a first distortion corresponding to the height of the first stage.
  • a correction value is determined, and when the 1-2 image 1402 including the tray 1001 inserted into the shelf of the second stage is obtained, a second distortion correction value corresponding to the height of the second stage is determined , When the 1-3 images 1403 including the tray 1001 inserted into the shelf of the third row are acquired, a third distortion correction value corresponding to the height of the third row is determined, and When the 1-4 images 1404 including the tray 1001 inserted into the shelf are obtained, a fourth distortion correction value corresponding to the height of the fourth stage may be determined.
  • the second distortion correction value may be greater than the first distortion correction value
  • the third distortion correction value may be greater than the second distortion correction value
  • the fourth distortion correction value may be greater than the third distortion correction value.
  • the home appliance 1000 may acquire a second image by applying a distortion correction value determined according to the height at which the tray 1001 is inserted to the first image.
  • the home appliance 1000 may obtain a second image by post-processing the first image based on the distortion correction value.
  • the home appliance 1000 acquires the second image by applying a larger distortion correction value to the first image as the distortion increases in the first image, even if the height of the tray 1001 changes, it has a constant shape. It is possible to obtain a monitoring image (eg, an image in which distortion is substantially canceled out).
  • 15A and 15B are diagrams for explaining an operation of applying a distortion correction value of a camera by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may acquire a first image 1501 including the tray 1001 .
  • the first image 1501 may be a distorted image including barrel distortion.
  • the home appliance 1000 may identify the height at which the tray 1001 is inserted and determine a distortion correction value 1502 corresponding to the height at which the tray 1001 is inserted using a pre-stored distortion correction table.
  • the home appliance 1000 may obtain a second image 1503 by post-processing the first image 1501 by applying the distortion correction value 1502 .
  • the second image 1503 may be a corrected image in which distortion is offset.
  • the home appliance 1000 when a 1-1 image 1511 including a tray 1001 inserted into a shelf of the first level is obtained, the home appliance 1000 has a height corresponding to the height of the first level.
  • a 1-th distortion correction value 1521 may be determined, and a 2-1-th image 1531 may be obtained by applying the first distortion correction value 1521 to the 1-1 image 1511 .
  • the home appliance 1000 obtains a second distortion correction value 1522 corresponding to the height of the second level. ) is determined, and the second distortion correction value 1522 is applied to the 1-2 image 1512 to obtain the 2-2 image 1532 .
  • the home appliance 1000 obtains a third distortion correction value 1523 corresponding to the height of the third level. ) is determined, and the third distortion correction value 1523 is applied to the 1-3 image 1513 to obtain the 2-3 image 1533 .
  • the home appliance 1000 sets a fourth distortion correction value 1524 corresponding to the height of the fourth level. ) is determined, and the fourth distortion correction value 1524 is applied to the 1-4th image 1514 to obtain the 2-4th image 1534 .
  • the 2-1 image 1531, the 2-2 image 1532, the 2-3 image 1533, and the 2-4 image 1534 are monitoring images of the home appliance. It can be output through the display unit of (1000).
  • the distortion of the food placed on the tray 1001 is corrected. can appear in the form Therefore, according to an embodiment of the present disclosure, even if the height at which the tray 1001 is inserted is changed, the shape of the food displayed in the monitoring image is constant, so that the user can easily check the cooking state of the food.
  • the home appliance 1000 is placed on the tray 1001 from the 2-1 image 1531, the 2-2 image 1532, the 2-3 image 1533, and the 2-4 image 1534. It can recognize ingredients and provide recipe information suitable for the ingredients. At this time, in the 2-1 image 1531, the 2-2 image 1532, the 2-3 image 1533, and the 2-4 image 1534, the distortion of the ingredients placed on the tray 1001 is corrected. Since it appears in the form, the food ingredient recognition rate of the home appliance 1000 may be increased.
  • 16 is a diagram for explaining an operation of adjusting a size of a crop area and a distortion correction value according to a height at which a tray is inserted by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may determine the size of a crop area and a distortion correction value according to the height at which the tray 1001 is inserted. For example, the home appliance 1000 may determine the size of the crop area and the distortion correction value using the crop table and the distortion correction table. And, when the first image of the internal space of the home appliance 1000 is acquired through the camera 1100, the home appliance 1000 applies the size and distortion correction value of the cropped area to the first image (step S1610 ) A second image may be acquired.
  • the home appliance 1000 may obtain a 1-1 image 1601 including the tray 1001 inserted into the first shelf. At this time, the home appliance 1000 may determine the size of the crop area as the first size (100-120 cm 2 ) based on the height of the tray 1001 and determine the distortion correction value as the first distortion correction value. . The home appliance 1000 determines a first cropped area 1611 in the 1-1 image 1601 based on the first size and the first distortion correction value, and corrects distortion for the first cropped area 1611. can be performed.
  • the home appliance 1000 removes parts other than the first cropped area 1611 from the 1-1 image 1601, enlarges the first cropped area 1611 at a predetermined ratio, and By correcting the distortion of 1611, the 2-1 image 1621 can be obtained.
  • the home appliance 1000 determines the crop area based on the height of the tray 1001.
  • the size may be determined as the second size (140-170 cm 2 ), and the distortion correction value may be determined as the second distortion correction value. In this case, the second distortion correction value may be greater than the first distortion correction value.
  • the home appliance 1000 determines a second cropped area 1612 in the 1-2 images 1602 based on the second size and the second distortion correction value, and the second cropped area 1612 at a constant ratio.
  • a 2-2 image 1622 may be acquired by enlarging and performing distortion correction on the second cropped area 1612 .
  • the home appliance 1000 determines the size of the crop area based on the height of the tray 1001 when the 1-3 images 1203 including the tray 1001 inserted into the third shelf are acquired.
  • the third size (180-250 cm 2 ) may be determined, and the distortion correction value may be determined as the third distortion correction value. In this case, the third distortion correction value may be greater than the second distortion correction value.
  • the home appliance 1000 determines a third cropped area 1613 in the 1-3 images 1603 based on the third size and the third distortion correction value, and uses the third cropped area 1613 at a constant ratio.
  • a second-third image 1623 may be acquired by enlarging and performing distortion correction on the third cropped area 1613 .
  • the home appliance 1000 determines the size of the crop area based on the height of the tray 1001 when the 1-4 images 1604 including the tray 1001 inserted into the shelf of the fourth level are obtained. It is determined as the fourth size (280 cm 2 ), and the distortion correction value may be determined as the fourth distortion correction value. In this case, the fourth distortion correction value may be greater than the third distortion correction value.
  • the home appliance 1000 determines a fourth crop area 1614 from the 1-4 images 1604 based on the fourth size and the fourth distortion correction value, and uses the fourth crop area 1614 at a constant ratio.
  • a second-fourth image 1624 may be obtained by enlarging and performing distortion correction on the fourth cropped area 1614 .
  • the 2-1 image 1621, the 2-2 image 1622, the 2-3 image 1623, and the 2-4 image 1624 are monitoring images of the home appliance. It can be output through the display unit of (1000).
  • the food placed on the tray 1001 has a certain size and shape. can appear as Therefore, according to an embodiment of the present disclosure, even if the height at which the tray 1001 is inserted is changed, the size and shape of the food appearing in the monitoring image are constant, so that the user can easily check the cooking state of the food.
  • the home appliance 1000 is placed on the tray 1001 from the 2-1 image 1621, the 2-2 image 1622, the 2-3 image 1623, and the 2-4 image 1624. It can recognize ingredients and provide recipe information suitable for the ingredients. At this time, in the 2-1 image 1621, the 2-2 image 1622, the 2-3 image 1623, and the 2-4 image 1624, the size of the ingredients placed on the tray 1001 is the same, , Since the distortion of the food material appears in a corrected form, the food ingredient recognition rate of the home appliance 1000 may be increased.
  • 17 is a diagram for explaining an operation of outputting a second image by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 may output, through the user interface 1600, a monitoring image to which a set value related to image capture of the interior space determined according to the height of the tray 1001 is applied.
  • the home appliance 1000 adjusts the brightness of the internal lighting 1700 according to the height of the tray 1001, determines the size of the crop area according to the height of the tray 1001, and After determining a distortion correction value according to the height, a monitoring image may be obtained in real time through the camera 1100 . An image of the tray 1001 inserted into the inner space may be included in the monitoring image. Therefore, the user can observe the state change of the contents placed on the tray 1001 through the monitoring image.
  • the user when a user puts dough on the tray 1001 to bake bread and inserts it into the home appliance 1000, the user can monitor the state of the dough placed on the tray 1001 so that the home appliance 1000 ) can output a real-time monitoring image.
  • the home appliance 1000 may output a monitoring image including content placed on the tray 1001 from the start of the operation to the end of the operation. Referring to FIG. 17, the home appliance 1000 outputs an initial state image 1701 of dough, an intermediate state image 1702 of dough, and a final state image 1703 of dough, so that the user can check the dough state. make it easy to recognize.
  • the home appliance 1000 may output a monitoring image through a user's mobile terminal (not shown). An operation of outputting a monitoring image from a user's mobile terminal will be described later in detail with reference to FIGS. 22 and 23 .
  • FIG. 18 is a flowchart illustrating a method of determining a correction value of a cooking temperature included in recipe information according to an inserted height of a tray by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 is an oven will be described as an example.
  • the home appliance 1000 may recognize ingredients placed on the tray 1001 from the second image.
  • Ingredients may include meat (beef, pork, chicken, lamb, duck, etc.), vegetables (mushroom, broccoli, onion, garlic, etc.), fish, pizza, bread, cookies, etc., but are not limited thereto.
  • the second image may be an image to which setting values related to image capture of the internal space determined according to the height at which the tray 1001 is inserted are applied.
  • the second image may be an image obtained after adjusting the brightness of the lighting 1700 according to the height at which the tray 1001 is inserted.
  • the second image may be an image post-processed based on the size of the crop area determined according to the height at which the tray 1001 is inserted or the distortion correction value.
  • the home appliance 1000 may recognize ingredients placed on the tray 1001 by comparing the second image with a previously stored food ingredient image list, and may generate an artificial intelligence model for object recognition. Food ingredients can be recognized in the second image by using. In this case, when a second image similar to the learning image of the artificial intelligence model is obtained, the object recognition rate of the home appliance 1000 may be improved.
  • the home appliance 1000 adjusts a setting value related to image capture to obtain a uniform state (eg, uniform brightness, uniform brightness). size, uniform shape) may be acquired.
  • the state of the second image may be similar to the state of the image provided as training data of the artificial intelligence model.
  • the size, degree of distortion, and brightness of ingredients included in the second image may be similar to the size, degree of distortion, and brightness of ingredients included in the learning image of the artificial intelligence model. Therefore, since the home appliance 1000 can well recognize the food material placed on the tray 1001 regardless of the height of the tray 1001, the food ingredient recognition rate of the home appliance 1000 can be improved.
  • the home appliance 1000 may provide recipe information suitable for ingredients through the user interface 1600.
  • the home appliance 1000 may store in the memory 1800 a recipe table in which ingredients and recipe information are matched.
  • a recipe table in which ingredients and recipe information are matched.
  • types of ingredients, weight of ingredients, cooking method, cooking temperature, cooking mode, cooking time, type of tray 1001, height of tray 1001, etc. may be defined, but are not limited thereto. .
  • the home appliance 1000 When the home appliance 1000 recognizes the ingredients placed on the tray 1001 through the artificial intelligence model, it can search recipe information suitable for the ingredients in the recipe table. Also, the home appliance 1000 may provide the retrieved recipe information to the user through the user interface 1600 . For example, when the ingredients placed on the tray 1001 are scones, the home appliance 1000 can recognize the scones from the second image and retrieve first recipe information suitable for the scones from the recipe table. there is. Also, the home appliance 1000 may provide first recipe information suitable for scones (eg, cooking temperature: 180-190, time: 30-35). At this time, when the user presses the start button, the home appliance 1000 may cook scones according to recipe information (eg, cooking temperature: 180-190, time: 30-35). Therefore, according to one embodiment of the present disclosure, since the home appliance 1000 automatically recognizes the food material and provides recipe information suitable for the food material, the user does not need to separately set the cooking temperature or cooking time, improving user convenience. can
  • the home appliance 1000 may output information about the recognized food material together with recipe information. For example, when the home appliance 1000 recognizes a scone placed on the tray 1001, the home appliance 1000 may display an icon of the scone on the display unit.
  • the home appliance 1000 may determine a cooking temperature correction value included in the recipe information according to the height at which the tray 1001 is inserted.
  • the home appliance 1000 sets the correction value of the cooking temperature defined in the recipe information. can determine For example, if the actual height of the tray 1001 inserted is higher than the height of the tray 1001 defined in the recipe information, the cooking temperature may be corrected to be lower than the actual height of the tray 1001 defined in the recipe information. When the height at which the tray 1001 is inserted is low, the cooking temperature may be corrected to be high.
  • the first cooking temperature when the tray 1001 is inserted into the shelf of the third level is defined, but in reality, when the tray 1001 is inserted into the shelf of the first level lower than the third level ,
  • the home appliance 1000 may correct the first cooking temperature included in the recipe information to a second cooking temperature suitable for the tray 1001 inserted in the shelf of the first stage.
  • the second cooking temperature may be higher than the first cooking temperature.
  • the correction value of the cooking temperature may be based on an experimental result or may be a value inferred through an artificial intelligence model (AI model).
  • AI model artificial intelligence model
  • the correction value of the cooking temperature may be previously stored in the memory 1800 of the home appliance 1000 .
  • the home appliance 1000 may determine a cooking time correction value included in the recipe information according to the height at which the tray 1001 is inserted. For example, in the recipe information, the first cooking time when the tray 1001 is inserted into the shelf of the third level is defined, but in reality, when the tray 1001 is inserted into the shelf of the first level, the home appliance In 1000, the first cooking time included in the recipe information may be corrected to a second cooking time suitable for the tray 1001 inserted in the shelf of the first stage.
  • the home appliance 1000 may provide a correction value of the determined cooking temperature through the user interface 1600.
  • the home appliance 1000 may output the correction value of the cooking temperature through the display unit or output the correction value of the cooking temperature through a speaker.
  • the home appliance 1000 may display basic recipe information suitable for ingredients and corrected recipe information including a correction value of a cooking temperature together. According to another embodiment of the present disclosure, the home appliance 1000 may display correction recipe information including a correction value of a cooking temperature instead of basic recipe information suitable for ingredients.
  • a user may select one of basic recipe information and corrected recipe information. For example, when the user presses the start button after selecting basic recipe information, the home appliance 1000 may start cooking according to the basic temperature included in the basic recipe information. When the user presses the start button after selecting corrected recipe information, the home appliance 1000 may start cooking according to the corrected temperature included in the corrected recipe information.
  • FIG. 19 is a diagram for explaining an operation of providing recipe information suitable for ingredients by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 is an oven will be described as an example.
  • the user may close the door of the home appliance 1000 after opening the door of the home appliance 1000 and inserting the tray 1001 on which the chicken is placed on the third shelf.
  • the home appliance 1000 may determine the height at which the tray 1001 is inserted using one of the methods described in FIGS. 5 to 8 .
  • the home appliance 1000 may obtain a monitoring image by applying a setting value related to image capture of the internal space determined according to the height at which the tray 1001 is inserted.
  • the home appliance 1000 may acquire an image of the interior space through the camera 1100 and identify the food material placed on the tray 1001 by analyzing the image. For example, the home appliance 1000 may identify that the ingredient placed on the tray 1001 is chicken by using an artificial intelligence model for object recognition.
  • the home appliance 1000 may obtain basic recipe information 1902 corresponding to chicken from the recipe table 1901 stored in the memory 1800 .
  • the home appliance 1000 when the food ingredient is chicken, the tray 1001 is inserted into the shelf of the first stage, operates in a fan grill mode, sets the cooking temperature to 200 ° C, , Basic recipe information 1902 for setting the cooking time to 60 to 80 minutes may be obtained.
  • the fan grill mode is a mode used when grilling meat or fish, and may be a mode in which two top heating elements generate heat dispersed by a fan.
  • the cooking temperature included in the basic recipe information 1902 correction values can be determined.
  • the cooking temperature is set to 200° C. when the tray 1001 is inserted into the first shelf, but the tray 1001 is actually higher than the first shelf.
  • the home appliance 1000 may lower the cooking temperature from 200°C to 180°C. Since the home appliance 1000 may include a heating element on the ceiling, if the height of the tray 1001 is higher than the height defined in the basic recipe information, if the cooking temperature is not adjusted, the ingredients may be burned or overcooked, resulting in improper cooking. may not be
  • the home appliance 1000 may provide corrected recipe information including a correction value of a corrected cooking temperature together with basic recipe information corresponding to chicken. At this time, the home appliance 1000 may display that the ingredient is chicken.
  • the home appliance 1000 includes food identification information 1910 (eg, food ingredient icon image), a first menu 1920 corresponding to basic recipe information, and a second menu 1930 corresponding to corrected recipe information. ) may be provided through the user interface 1600.
  • the second menu 1930 may be displayed as an AI recipe.
  • the home appliance 1000 may provide a third menu 1940 for setting another recipe and a fourth menu 1950 for manually setting the cooking time and cooking temperature through the user interface 1600. there is.
  • the heating element may be arranged at the bottom of the inner space of the home appliance 1000 .
  • the home appliance 1000 may determine a cooking temperature correction value when the heating element is disposed at the lower part of the inner space, differently from when the heating element is disposed at the upper part of the internal space.
  • the cooking temperature is set to 200° C. when the tray 1001 is inserted into the first shelf, but the tray 1001 is actually on a third shelf higher than the first shelf.
  • the home appliance 1000 may correct the cooking temperature from 200°C to 220°C.
  • 20 is a diagram for explaining an operation of providing a correction value of a cooking temperature according to an inserted height of a tray by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 cooks (eg, roasts) according to basic recipe information. (roasting)) and basic recipe information can be displayed on the screen.
  • the home appliance 1000 may display a first cooking temperature (200° C.) and a first cooking time (60 minutes) corresponding to roasting chicken.
  • the home appliance 1000 cooks (eg, roasts) according to correction recipe information. (roasting) can be started, and correction recipe information can be displayed on the screen.
  • correction recipe information can be displayed on the screen.
  • the first cooking temperature when the tray 1001 is inserted into the shelf of the first level is defined, but the tray 1001 actually has a third cooking temperature higher than the first level.
  • the home appliance 1000 may lower the first cooking temperature (200° C.) to the second cooking temperature (180° C.).
  • the cooking time may be additionally increased or the intensity of the hot air may be further increased.
  • the home appliance 1000 may change the first cooking time (60 minutes) to the second cooking time (70) or adjust the intensity of the hot air from the first intensity to the second intensity.
  • the home appliance 1000 performs a cooking operation at a second cooking temperature (180° C.) and a second cooking time (70 minutes), and through the display unit, the correction recipe.
  • a notification that cooking is being performed eg, AI cooking is being performed according to the current tray position
  • a second cooking temperature (180° C.) and a second cooking time (70 minutes) may be displayed.
  • the home appliance 1000 displays the second menu 1930. may not provide.
  • the home appliance 1000 provides a Graphical User GUI (Graphical User) for selecting another recipe. interface) can be provided.
  • GUI Graphical User
  • the user may change the cooking method from roasting to air frying.
  • the home appliance 1000 misrecognizes food ingredients, the user may change the food through the GUI. For example, if the actual ingredient is duck meat, but the home appliance 1000 mistakenly recognizes it as chicken, the user can change the chicken to duck meat through the GUI.
  • the home appliance 1000 may display a duck meat icon instead of a chicken icon and recommend recipe information suitable for duck meat.
  • the home appliance 1000 sets the cooking temperature according to the actual height of the tray 100. Correction has been described as an example, but is not limited thereto. According to another embodiment of the present disclosure, the home appliance 1000, when the height of the tray 1001 included in the basic recipe information and the height into which the actual tray 1001 is inserted are different, the height of the tray 1001 as a base A notification to change the height of the tray 1001 included in the recipe information may be provided.
  • the basic recipe information defines a cooking temperature when the tray 1001 is inserted into a first-level shelf, the tray 1001 is actually inserted into a third-level shelf higher than the first level. In this case, the home appliance 1000 may provide a notification to insert the tray 1001 into the first stage.
  • 21 is a diagram for explaining an operation in which a home appliance device interworks with a server device according to an embodiment of the present disclosure.
  • a home appliance 1000 may interwork with a server device 2000 and a display device 3000 .
  • the server device 2000 may include a communication interface for communicating with an external device.
  • the server device 2000 may communicate with the home appliance 1000 or the display device 3000 through a communication interface.
  • the home appliance 1000 transmits identification information of the home appliance 1000 or user identification information (login information, account information) to the server device 2000, and the home appliance 1000 ) or user's identification information (login information, account information) is authenticated by the server device 2000, so that the server device 2000 can be accessed.
  • the server device 2000 may include an AI processor.
  • the AI processor may generate an artificial intelligence model for recognizing objects (eg, food ingredients, tableware, etc.) by learning an artificial neural network. ‘Learning’ an artificial neural network can mean creating a mathematical model that allows the connections of neurons constituting the artificial neural network to make optimal decisions while appropriately changing weights based on data.
  • the display device 3000 may be a device that is connected to the server device 2000 and displays information provided by the server device 2000 . According to an embodiment of the present disclosure, the display device 3000 may transmit/receive information with the server device 2000 through a specific application (eg, a home appliance management application) installed on the display device 3000 .
  • a specific application eg, a home appliance management application
  • the display device 3000 may be a device connected with the same account information as the home appliance 1000 .
  • the display device 3000 may be directly connected to the home appliance 1000 through a short-range wireless communication channel or indirectly connected to the home appliance 1000 through the server device 2000 .
  • the display device 3000 may be implemented in various forms.
  • the display device 3000 described in this disclosure may be a mobile terminal, a refrigerator including a display, a TV, a computer, etc., but is not limited thereto.
  • mobile terminals include smart phones, laptop computers, tablet PCs, digital cameras, electronic book terminals, digital broadcasting terminals, personal digital assistants (PDA), portable multimedia players (PMP), navigation, There may be an MP3 player or the like, but is not limited thereto.
  • a mobile terminal may be a wearable device worn by a user.
  • the display device 3000 is a smart phone will be described as an example.
  • the display device 3000 or the home appliance 1000 receives a voice signal, which is an analog signal, through a microphone, and reads the voice portion into a computer using an Automatic Speech Recognition (ASR) model. It can be converted into any available text.
  • the display device 3000 or the home appliance 1000 may obtain the user's speech intention by interpreting the converted text using a natural language understanding (NLU) model.
  • NLU natural language understanding
  • the ASR model or NLU model may be an artificial intelligence model.
  • the artificial intelligence model can be processed by an artificial intelligence processor designed with a hardware structure specialized for the processing of artificial intelligence models. AI models can be created through learning.
  • Such learning may be performed in the device itself (for example, the display device 3000 or the home appliance 1000) where artificial intelligence according to the present disclosure is performed, or through a separate server device 2000 and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
  • An artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • a plurality of weights possessed by a plurality of neural network layers may be optimized by a learning result of an artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from an artificial intelligence model is reduced or minimized during a learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Restricted Boltzmann Machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Q-networks deep Q-networks
  • the display device 3000 may execute a specific application (eg, a home appliance management application) provided by the server device 2000 based on a user input.
  • a specific application eg, a home appliance management application
  • the user can check the monitoring image of the internal space of the home appliance 1000 or the cooking process image through the execution screen of the application.
  • An operation of checking a monitoring image or a cooking process image using a specific application (eg, a home appliance management application) provided by the server device 2000 by the user will be described in detail with reference to FIGS. 22 and 23 .
  • FIG. 22 is a diagram for explaining an operation in which a home appliance device provides a monitoring image to a server device according to an embodiment of the present disclosure.
  • the server device 2000 may receive a user input through the display device 3000.
  • the server device 2000 may receive a user input through an execution screen of a specific application installed on the display device 3000 .
  • the user input may include, but is not limited to, an input requesting a monitoring image (or a live screen) of the internal space of the home appliance 1000, an input for executing an application providing information of the home appliance 1000, and the like. it is not going to be
  • the user input may include an input requesting an image of the cooking process of the home appliance 1000 .
  • the cooking process image may refer to a video including frames from the time cooking starts to the present or frames from the time cooking starts to the time cooking is completed.
  • the cooking process video may include a time-lapse video.
  • the server device 2000 may request a monitoring image from the home appliance 1000 based on a user input.
  • the server device 2000 when the server device 2000 receives a user input requesting a monitoring image of the home appliance 1000 through the display device 3000, the home appliance 1000 monitors the internal space. A signal requesting an image may be transmitted. Also, when receiving a user input requesting a cooking process image through the display device 3000, the server device 2000 may transmit a signal requesting a cooking process image to the home appliance 1000.
  • the home appliance 1000 may capture a monitoring image acquired through the camera 1100. For example, among a plurality of frames acquired through the camera 1100, a frame acquired by the camera 1100 may be captured at a time when a signal requesting a monitoring image is received.
  • the home appliance 1000 when receiving a signal requesting a cooking process image, connects frames stored (or captured) at regular time intervals to take a time-lapse photograph of the cooking process image. It can be produced as a time-lapse video.
  • the home appliance 1000 may transmit the captured monitoring image to the server device 2000.
  • the home appliance 1000 may transmit a cooking process video produced as a time-lapse video to the server device 2000 .
  • the server device 2000 may provide the captured monitoring image through the display device 3000.
  • the server device 2000 may display a monitoring image as a live screen on an execution screen of an application installed on the display device 3000 .
  • the server device 2000 may provide a cooking process video produced as a time-lapse video to the user through an execution screen of an application installed on the display device 3000. .
  • the home appliance 1000 captures a monitoring image and transmits it to the server device 2000 at the time of receiving a signal requesting the monitoring image has been described as an example, but is not limited thereto. Even if a request from the server device 2000 is not received, the home appliance device 1000 may capture and transmit monitoring images to the server device 2000 at predetermined intervals.
  • a user checks a monitoring image of the home appliance 1000 through an execution screen of an application installed on the display device 3000, thereby providing an image of an internal space of the home appliance 1000 or a tray 1001. ), you can check the status of the contents in real time.
  • FIG. 23 is a diagram for explaining an operation of providing a monitoring image of a home appliance through a display device by a server device according to an embodiment of the present disclosure.
  • the home appliance 1000 is an oven will be described as an example.
  • a display device 3000 may be connected to a home appliance 1000 through a server device 2000 .
  • the display device 3000 may receive information from the server device 2000 and display the home appliance list 2300 on the application execution screen.
  • the display device 3000 may display a list of icons representing an induction cooker, an oven, and the like on an application execution screen.
  • the server device 2000 may request a monitoring image from the home appliance 1000.
  • the home appliance 1000 may transmit the monitoring image acquired through the camera 1100 to the server device 2000 .
  • the monitoring image may be an image obtained by applying a setting value (eg, a lighting brightness value, a size of a cropped area, and a distortion correction value) determined according to a height at which the tray 1001 is inserted by the home appliance 1000 .
  • the monitoring image may be a real-time image obtained at the time when a request is received from the server device 2000 .
  • the server device 2000 may provide a real-time monitoring image 2310 of the home appliance 1000 through an application execution screen displayed on the display device 3000 .
  • the user can easily grasp the state of food placed on the tray 1001 through the real-time monitoring image 2310 without directly looking into the internal space of the home appliance 1000 .
  • the home appliance 1000 may transmit a notification that the cooking operation has been completed to the server device 2000.
  • the server device 2000 may output a notification message 2320 indicating that the cooking operation has been completed through an application installed on the display device 3000 .
  • the display device 3000 may output a notification message 2320 on the execution screen of the application when the application is running, and display a notification message 2330 on the home screen of the display device 3000 when the application is not running. can be displayed.
  • FIG. 24 is a flowchart illustrating a method of determining an operation mode according to a type or position of a dish placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 is a dishwasher will be described as an example.
  • the home appliance 1000 is placed on the tray 1001 based on the set value determined according to the height at which the tray 1001 is inserted.
  • a second image including the placed contents may be acquired.
  • the home appliance 1000 may detect dishes placed on the tray 1001 based on the second image.
  • the tray 1001 is for placing dishes, and may be included in several in the home appliance 1000 .
  • Tableware may include, but is not limited to, pots, pans, plates, cups, bowls, spoons, chopsticks, ladles, and spatula.
  • the second image may be an image to which setting values related to image capture of the internal space determined according to the height of the tray 1001 on which dishes are placed are applied.
  • the second image may be an image obtained after adjusting the brightness of the lighting 1700 according to the height of the tray 1001 .
  • the second image may be an image post-processed based on the size of the crop area determined according to the height of the tray 1001 or the distortion correction value.
  • the home appliance 1000 may recognize dishes placed on the tray 1001 by comparing the second image with a previously stored tableware image list, and may generate an artificial intelligence model for object recognition. You can also recognize tableware in the second image by using it. In this case, when a second image similar to the learning image of the artificial intelligence model is obtained, the tableware recognition rate of the home appliance 1000 may be improved.
  • the home appliance 1000 adjusts a setting value related to image capture to obtain a uniform state (eg, uniform brightness, uniform brightness). size, uniform shape) may be acquired.
  • a uniform state eg, uniform brightness, uniform brightness). size, uniform shape
  • the state of the second image may be similar to that of the training image provided as training data of the artificial intelligence model.
  • the size, degree of distortion, and brightness of dishes included in the second image may be similar to the size, degree of distortion, and brightness of dishes included in the learning image of the artificial intelligence model. Accordingly, the home appliance 1000 can well recognize the type of dishes placed on the tray 1001 regardless of the height of the tray 1001 .
  • the home appliance 1000 may identify a location where dishes are placed. For example, the home appliance 1000 may analyze the second image to identify whether dishes are placed on a first tray of a first level height or a second tray of a second level height. Also, the home appliance 1000 may identify whether dishes are placed in only a part of the first tray or in all areas of the first tray.
  • the home appliance 1000 may determine an operation mode of the home appliance 1000 according to the type of tableware or the location of the tableware.
  • the home appliance 1000 may determine a customized washing mode corresponding to the type of tableware. For example, when the type of tableware placed on the tray 1001 is a plate, the home appliance 1000 determines the operation mode as a dish washing mode, and when the type of tableware placed on the tray 1001 is a pot, the home appliance 1000 (1000) may determine the operation mode as a pot washing mode.
  • the home appliance 1000 may operate in a specific area intensive washing mode according to the location of dishes. For example, when dishes are placed on a first tray of a first level height, the home appliance 1000 determines an operation mode as a first tray intensive washing mode, and the dishes are placed on a second tray of a second level height. When placed, the operation mode may be determined as the second tray intensive cleaning mode.
  • step S2430 the home appliance 1000 according to an embodiment of the present disclosure may perform a predetermined function based on the operation mode.
  • the home appliance 1000 may perform a dish washing function according to a customized washing mode corresponding to the type of dish. For example, when the operation mode is determined to be the dish washing mode, the home appliance 1000 may wash the dish placed on the tray 1001 according to the dish washing mode. Also, when the operation mode is determined to be the pot washing mode, the home appliance 1000 may wash the pot placed on the tray 1001 according to the pot washing mode.
  • the home appliance 1000 may perform a dish washing operation in a specific area intensive washing mode according to the location of dishes. For example, when the operation mode is determined to be the first tray intensive washing mode, the home appliance 1000 may intensively spray detergent, water, and wind to the first tray, and set the operation mode to the second tray intensive washing mode. When it is determined to be, detergent, water, and wind may be sprayed intensively on the second tray.
  • the home appliance 1000 may improve a dish washing function and energy efficiency by operating according to the type of dish or the location of the dish.
  • FIG. 25 is a diagram for explaining an operation of determining an operation mode according to a type or position of a dish placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 is a dishwasher 2500
  • FIG. 25 a case in which the home appliance 1000 is a dishwasher 2500 will be described as an example.
  • the dishwasher 2500 may analyze the monitoring image obtained through the camera 1100 to identify dishes and the position of the tray 1001 on which the dishes are placed.
  • the dishwasher 2500 analyzes the monitoring image obtained through the camera 1100 and analyzes the first tray 2501, the second tray 2502, and the third tray 2503, respectively. You can see that the tableware is placed on the table. In the home appliance 1000, dishes are placed on all of the first tray 2501, the second tray 2502, and the third tray 2503, and since there are various types of dishes, the operation mode is determined as the standard mode for all areas. can
  • the dishwasher 2500 may analyze the monitoring image acquired through the camera 1100 and confirm that dishes are placed only on the first tray 2501 .
  • the dishwasher 2500 may determine an operation mode as an intensive washing mode for the first tray 2501 and spray detergent, water, and wind to the first tray 2501 intensively.
  • the home appliance 1000 may operate in a pot washing mode.
  • FIG. 26 is a flowchart illustrating a method of providing information about contents placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 is a small refrigerator will be described as an example.
  • the home appliance 1000 is placed on the tray 1001 based on the set value determined according to the height at which the tray 1001 is inserted.
  • a second image including the placed contents may be acquired.
  • the home appliance 1000 may detect a label of contents placed on the tray 1001 based on the second image.
  • Contents may include wine, beverages, cosmetics, health functional foods, etc., but are not limited thereto.
  • the second image may be an image to which setting values related to image capture of the internal space determined according to the height of the tray 1001 on which the contents are placed are applied.
  • the second image may be an image obtained after adjusting the brightness of the lighting 1700 according to the height of the tray 1001 .
  • the second image may be an image post-processed based on the size of the crop area determined according to the height of the tray 1001 or the distortion correction value.
  • the home appliance 1000 may recognize contents placed on the tray 1001 by comparing the second image with a pre-stored object list, and use an artificial intelligence model for object recognition. By doing so, the content may be recognized in the second image. In this case, when a second image similar to the learning image of the artificial intelligence model is obtained, the object recognition rate of the home appliance 1000 may be improved.
  • the home appliance 1000 adjusts a setting value related to image capture to obtain a uniform state (eg, uniform brightness, uniform brightness). size, uniform shape) may be acquired.
  • a uniform state eg, uniform brightness, uniform brightness). size, uniform shape
  • the state of the second image may be similar to that of the training image provided as training data of the artificial intelligence model.
  • the size, degree of distortion, and brightness of the content (eg, wine) included in the second image may be similar to the size, degree of distortion, and brightness of the content (eg, wine) included in the learning image of the artificial intelligence model.
  • the home appliance 1000 can well recognize labels of contents placed on the tray 1001 regardless of the height of the tray 1001 .
  • the label of the contents may include text or images indicating a trademark, product name, classification number, handling precautions, product size, price, etc., but is not limited thereto.
  • the label of the content may include a barcode, a two-dimensional code (eg, QR code: Quick Response Code), a color code, and the like.
  • the home appliance 1000 may provide information about the content based on the label of the content.
  • the home appliance 1000 may provide information about content through the user interface 1600 . Also, the home appliance device 1000 may provide information about content through the display device 3000 (eg, a mobile terminal) connected to the server device 2000 .
  • the display device 3000 eg, a mobile terminal
  • Information about the content may vary according to the type of content. For example, if the content is wine, information on the content may include variety, country of origin, alcohol, volume, price, etc., and if the content is cosmetics, product name, handling precautions, product size, ingredients, It may include a price, etc., but is not limited thereto.
  • FIG. 27 is a diagram for explaining an operation of providing information about contents placed on a tray by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 is a wine refrigerator 2700
  • FIG. 27 a case in which the home appliance 1000 is a wine refrigerator 2700 will be described as an example.
  • a wine refrigerator 2700 may include a camera 1100 on the ceiling. At this time, the camera 1100 may be provided on the door side of the wine refrigerator 1700 to photograph the tray 1001 taken out of the inner space. According to one embodiment of the present disclosure, the wine refrigerator 2700 may recognize that the tray 1001 is taken out using at least one sensor attached to the tray 1001 . For example, the wine refrigerator 2700 may recognize that the tray 1001 is taken out using an infrared sensor, a motion sensor, an acceleration sensor, an illuminance sensor, or a temperature sensor attached to the tray 1001 .
  • the home appliance 1000 displays the image of the first tray 2701 through the camera 1100.
  • a monitoring image can be obtained.
  • the monitoring image of the first tray 2701 may be an image to which a setting value related to image capture determined based on the height of the first tray 2701 is applied.
  • the home appliance 1000 obtains a monitoring image of the first tray 2701 after adjusting the brightness of the lighting 1700 to be relatively dark. can do.
  • the home appliance 1000 obtains a monitoring image of the first tray 2701 by applying a relatively large crop area size and distortion correction value. can do.
  • the home appliance 1000 may recognize at least one wine label placed on the first tray 2701 from the monitoring image of the first tray 2701 .
  • the home appliance device 1000 may transmit a result of recognizing at least one wine label to the server device 2000 .
  • the result of recognizing at least one wine label is information about the wine and may include the type, country of origin, variety, alcohol content, and capacity of the wine.
  • the server device 2000 may provide a result of recognizing at least one wine label (eg, information about wine) to the user through an execution screen of an application installed on the display device 3000 .
  • the display device 3000 displays information on at least one wine stored in the wine refrigerator 2700 (eg, country of origin, type, major variety, volume, frequency, etc.) can be indicated.
  • information on at least one wine stored in the wine refrigerator 2700 eg, country of origin, type, major variety, volume, frequency, etc.
  • the display device 3000 may provide a list of wines stored in the wine refrigerator 2700.
  • the display device 3000 may provide a list of all wines stored in the wine refrigerator 2700 or may provide a list of wines for each tray.
  • the display device 3000 may display detailed information about the selected wine on the execution screen of the application. Therefore, according to an embodiment of the present disclosure, the user can easily check information about wine stored in the wine refrigerator 2700 without searching for it.
  • FIG. 28 is a diagram for explaining an operation of providing monitoring images for each tray through a display device by a home appliance according to an embodiment of the present disclosure.
  • the home appliance 1000 is a wine refrigerator 2700
  • FIG. 28 a case in which the home appliance 1000 is a wine refrigerator 2700 will be described as an example.
  • the wine refrigerator 2700 may acquire a monitoring image of the tray 1001 whenever a user opens the door of the wine refrigerator 2700 and takes out the tray 1001 .
  • the wine refrigerator 2700 acquires a first monitoring image 2801 of the first tray through the camera 1100 when the user takes out the first tray, and when the user takes out the second tray, the camera ( A second monitoring image 2802 of the second tray may be obtained through 1100, and a third monitoring image 2803 of the third tray may be acquired through the camera 1100 when the user takes out the third tray.
  • the first monitoring image 2801 may be an image to which a first set value related to image capture determined based on the height of the first tray is applied
  • the second monitoring image 2802 may be based on the height of the second tray. It may be an image to which the determined second set value related to image capture is applied
  • the third monitoring image 2803 may be an image to which a third set value related to image capture determined based on the height of the third tray is applied.
  • the home appliance 1000 acquires the first monitoring image 2801 of the first tray after adjusting the brightness of the lighting 1700 to be relatively dark.
  • the home appliance 1000 acquires the first monitoring image 2801 of the first tray by applying a relatively large crop area size and distortion correction value.
  • the third monitoring image 2803 of the third tray may be obtained by applying a relatively small crop area size and distortion correction value.
  • the wines included in the first monitoring image 2801 of the first tray, the second monitoring image 2802 of the second tray, and the third monitoring image 2803 of the third tray are in a uniform state (e.g., uniform brightness, uniform size, and uniform shape) can be maintained.
  • the home appliance 1000 includes a first monitoring image 2801 of a first tray, a second monitoring image 2802 of a second tray, and a third monitoring image 2803 of a third tray. is transmitted to the server device 2000, and the server device 2000 displays the first monitoring image 2801 of the first tray, the second monitoring image 2802 of the second tray, and the third tray through the display device 3000.
  • a third monitoring image 2803 of can be provided to the user.
  • the display device 3000 displays a first monitoring image 2801 of the first tray and a second monitoring image of the second tray on the execution screen of the application. 2802, the third monitoring image 2803 of the third tray can be displayed. Therefore, even if the user does not directly look into the inner space of the wine refrigerator 2700, the first monitoring image 2801, the second monitoring image 2802, and the third monitoring image 2803 provided by the display device 3000 Through this, it is possible to easily grasp the type and number of wines placed on the first tray, the second tray, and the third tray.
  • the method according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium.
  • Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the present disclosure, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media. In addition, some embodiments of the present disclosure may be implemented as a computer program or computer program product including instructions executable by a computer, such as a computer program executed by a computer.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store or between two user devices (eg smartphones). It can be distributed (e.g., downloaded or uploaded) directly or online.
  • a computer program product eg, a downloadable app
  • a device-readable storage medium such as a memory of a manufacturer's server, an application store server, or a relay server. It can be temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Image Analysis (AREA)

Abstract

내부 공간에 배치된 카메라; 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 카메라를 통해 내부 공간에 삽입된 트레이를 포함하는 제 1 영상을 획득하고, 제 1 영상을 이용하여, 내부 공간 안에서 트레이가 삽입된 높이를 식별하고, 트레이가 삽입된 높이에 따라, 내부 공간의 영상 촬영과 관련된 설정 값을 결정하고, 결정된 설정 값에 기초하여, 트레이 위에 놓인 내용물을 포함하는 제 2 영상을 획득하는 가전 장치가 제공될 수 있다.

Description

다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법
본 개시의 실시예들은 다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 트레이가 삽입된 높이를 고려하여 가전 장치가 내부 공간의 영상을 획득하는 방법에 관한 것이다.
기존 제품에 스마트 기능을 더한 스마트 가전이 많이 출시되고 있다. 스마트 가전(smart appliance)　이란 직접적 또는 간접적으로 인터넷을 통해 조종 및 관리할 수 있는 가전제품들을 통칭하며, 커넥티드 가전(connected home appliance)으로 불릴 수 있다. 공기청정기,　커피메이커,　조명기기뿐만 아니라　TV,　냉장고,　세탁기와 건조기,　오븐 등의 제품들에 인터넷을 연결한 스마트 가전은, 기존 오프라인의 독립형(stand alone)　제품들에 비해 보다 편리하고 다양한 기능이 추가될 수 있고, 서로 연결,　융합돼 스마트 홈을 구성할 수 있다.
또한, 스마트 가전의 경우, 객체 인식을 수행하고, 객체 인식 결과를 바탕으로 스마트 서비스를 제공하기도 한다. 객체 인식은 지능형 영상처리(Vision AI) 기술의 대표적 기술로, 이미지 또는 비디오 상의 객체를 식별하고 딥러닝/머신러닝과 같은 알고리즘을 통해 결과값(객체 인식 및 분류, 위치 등)을　　산출하는 기술이다. 예를 들어, 냉장고는 저장된 식재료에 맞는 식단을 추천해주는 서비스를 제공할 수 있다. 한편, 스마트 가전이 객체 인식에 기반한 스마트 서비스를 제공하기 위해서는 객체 인식율이 향상될 필요가 있다.
본 개시의 일 실시예에 따른 가전 장치는, 서로 다른 높이에서 트레이를 수납하는 가전 장치의 내부 공간에 배치된 카메라; 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 카메라를 통해 내부 공간에 트레이가 수납되는 동안 트레이를 포함하는 제 1 영상을 획득하고, 제 1 영상을 이용하여, 내부 공간의 서로 다른 높이 중 내부 공간 안에서 트레이가 수납된 높이를 식별하고, 트레이가 수납된 높이에 따라, 내부 공간의 영상 촬영과 관련된 설정 값을 결정하고, 결정된 설정 값에 기초하여, 트레이 상의 아이템을 포함하는 제 2 영상을 획득할 수 있다.
본 개시의 일 실시예에 따른 가전 장치의 내부 공간의 영상을 획득하는 방법은, 가전 장치의 내부 공간에 위치하는 카메라를 통해 트레이가 내부 공간에 수납되는 동안 트레이를 포함하는 제 1 영상을 획득하는 단계; 제 1 영상을 이용하여, 내부 공간 안에서 트레이가 수납된 높이를 식별하는 단계; 트레이가 수납된 높이에 따라, 내부 공간의 영상 촬영과 관련된 설정 값을 결정하는 단계; 및 결정된 설정 값에 기초하여, 트레이 상의 아이템을 포함하는 제 2 영상을 획득하는 단계를 포함할 수 있다.
본 개시의 실시 예들의 상기 및 다른 측면들, 특징들, 및 이점들은 첨부 도면과 함께 취해진 다음의 설명으로부터 보다 명백해질 것이다.
도 1은 본 개시의 일 실시예에 따른 가전 장치의 전반적인 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 가전 장치의 기능을 설명하기 위한 블록구성도이다.
도 3은 본 개시의 일 실시예에 따른 가전 장치의 기능을 설명하기 위한 블록구성도이다.
도 4는 본 개시의 일 실시예에 따른 가전 장치의 영상 획득 방법을 설명하기 위한 순서도이다.
도 5는 본 개시의 일 실시예에 따른 가전 장치가 제 1 영상에 포함된 트레이의 면적에 기초하여 트레이가 삽입된 높이를 식별하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 가전 장치가 트레이에 포함된 마커들의 간격에 기초하여, 트레이가 삽입된 높이를 식별하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 가전 장치가 제 1 영상에 포함된 마커의 개수에 기초하여, 트레이가 삽입된 높이를 식별하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 가전 장치가 적어도 하나의 센서로부터 획득되는 정보에 기초하여, 트레이가 삽입된 높이를 식별하는 방법을 설명하기 위한 순서도이다.
도 9는 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 내부 공간의 조명 밝기 값을 조절하는 방법을 설명하기 위한 순서도이다.
도 10은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 내부 공간의 조명 밝기 값을 조절하는 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 크롭 영역의 사이즈를 결정하는 방법을 설명하기 위한 순서도이다.
도 12a는 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 크롭 영역의 사이즈를 결정하는 동작을 설명하기 위한 도면이다.
도 12b는 본 개시의 일 실시예에 따른 가전 장치가 크롭 영역의 사이즈를 적용하여 모니터링 영상을 획득하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 카메라의 왜곡 보정 값을 결정하는 방법을 설명하기 위한 순서도이다.
도 14a는 본 개시의 일 실시예에 따른 카메라의 왜곡을 설명하기 위한 도면이다.
도 14b는 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 카메라의 왜곡 보정 값을 결정하는 동작을 설명하기 위한 도면이다.
도 15a 및 15b는 본 개시의 일 실시예에 따른 가전 장치가 카메라의 왜곡 보정 값을 적용하는 동작을 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 크롭 영역의 사이즈 및 왜곡 보정 값을 조절하는 동작을 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따른 가전 장치가 제 2 영상을 출력하는 동작을 설명하기 위한 도면이다.
도 18은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 레시피 정보에 포함된 조리 온도의 보정 값을 결정하는 방법을 설명하기 위한 순서도이다.
도 19는 본 개시의 일 실시예에 따른 가전 장치가 식재료에 맞는 레시피 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 20은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 조리 온도의 보정 값을 제공하는 동작을 설명하기 위한 도면이다.
도 21은 본 개시의 일 실시예에 따른 가전 장치가 서버 장치와 연동하는 동작을 설명하기 위한 도면이다.
도 22는 본 개시의 일 실시예에 따른 가전 장치가 서버 장치에 모니터링 영상을 제공하는 동작을 설명하기 위한 도면이다.
도 23은 본 개시의 일 실시예에 따른 서버 장치가 디스플레이 장치를 통해 가전 장치의 모니터링 영상을 제공하는 동작을 설명하기 위한 도면이다.
도 24는 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 식기의 종류 또는 식기의 위치에 따라 동작 모드를 결정하는 방법을 설명하기 위한 순서도이다.
도 25는 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 식기의 종류 또는 식기의 위치에 따라 동작 모드를 결정하는 동작을 설명하기 위한 도면이다.
도 26은 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 내용물에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다.
도 27은 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 내용물에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 28은 본 개시의 일 실시예에 따른 가전 장치가 디스플레이 장치를 통해 트레이 별로 모니터링 영상을 제공하는 동작을 설명하기 위한 도면이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시의 일 실시예에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 개시의 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 일 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시의 일 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 본 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 일 실시예에 의하면, 트레이가 삽입된 높이를 파악하고, 트레이가 삽입된 높이에 따라 영상 촬영과 관련된 설정 값(예를 들어, 내부 공간의 조명 밝기 값, 크롭 영역의 사이즈, 카메라의 왜곡 보정 값 등)을 조절함으로써, 트레이가 삽입된 높이가 상이 하더라도 균일한 상태의 모니터링 영상을 획득하는 방법 및 이를 위한 가전 장치가 제공될 수 있다.
본 개시의 일 실시예에 의하면, 트레이가 삽입된 높이가 상이하더라도 균일한 상태의 모니터링 영상을 획득함으로써, 트레이 위에 놓인 내용물에 대한 향상된 객체 인식을 제공하는 방법 및 이를 위한 가전 장치가 제공될 수 있다.
본 개시의 일 실시예에 의하면, 트레이 위에 놓인 내용물에 대한 향상된 객체 인식을 통해 적합한 레시피를 제공하는 방법 및 이를 위한 가전 장치가 제공될 수 있다.
본 개시의 일 실시예에 의하면, 트레이가 삽입된 높이에 따라 조리 온도를 보정하거나, 사용자에게 적합한 조리 온도를 가이드하는 방법 및 이를 위한 가전 장치가 제공될 수 있다.
도 1은 본 개시의 일 실시예에 따른 가전 장치의 전반적인 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 가전 장치(1000)는 다양한 높이에 트레이(1001)를 수용할 수 있는 내부 공간을 포함할 수 있다. 예를 들어, 가전 장치(1000)는, 가스 오븐, 전기 오븐, 식기 세척기, 소형 냉장고 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 소형 냉장고는, 예를 들어, 화장품 냉장고, 와인 냉장고(와인 셀러(wine cellar)), 까브(CAVE), 캐비닛 셀러, 와인 쿨러(Wine cooler) 등으로 불리기도 함) 등을 포함할 수 있다. 가전 장치(1000)가 오븐인 경우, 내부 공간은 조리실로 표현될 수 있고, 가전 장치(1000)가 소형 냉장고인 경우 내부 공간은 저장고로 표현될 수 있고, 가전 장치(1000)가 식기 세척기인 경우 내부 공간은 컨테이너(container)로 표현될 수 있다. 도 1에서는 가전 장치(1000)가 오븐인 경우를 예로 들어 설명하기로 한다.
가전 장치(1000)의 내부 공간에는 트레이(1001)가 삽입될 수 있다. 트레이(1001)는 내부 공간의 양측에 마련되는 선반들(1002)에 장착될 수 있다. 내부 공간의 양측에 마련되는 선반들(1002)은 가이드 레일을 포함할 수 있다. 한편, 선반들(1002)은 가전 장치(1000)의 내부 공간 상에서 서로 다른 높이에 위치할 수 있다. 예를 들어, 제 1 높이(1단)에 제 1 선반이 위치하고, 제 2 높이(2단)에 제 2 선반이 위치하고, 제 3 높이(3단)에 제 3 선반이 위치하고, 제 4 높이(4단)에 제 4 선반이 위치할 수 있다. 이때, 제 1 높이(1단)가 가장 낮은 높이이고, 제 4 높이(4단)가 가장 높은 높이일 수 있다. 사용자는 내용물을 올려 놓은 트레이(1001)를 제 1 선반 내지 제 4 선반 중 하나에 올려 놓을 수 있다. 사용자가 트레이(1001)를 제 1 선반에 올려 놓는 경우, 내부 공간 상에서 트레이(1001)가 삽입된 높이(이하, 트레이(1001)의 높이라고도 함)는, 제 1 높이(1단)가 될 수 있다. 한편, 도 1에서는 서로 다른 네 가지 높이에 설치된 선반들(1002)을 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 두 가지 높이에 선반들(1002)이 설치될 수도 있고, 세 가지 높이에 선반들(1002)이 설치될 수도 있고, 다섯 가지 이상의 높이에 선반들(1002)이 설치될 수도 있다.
트레이(1001)는 내용물을 올리기 위한 것으로, 내용물은 식재료(고기, 야채, 빵, 쿠키 등), 와인, 식기 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 가전 장치(1000)가 오븐인 경우, 트레이(1001)는 고기 굽기용 와이어 랙, 와이어 랙 인서트(wire rack insert), 베이킹 트레이(baking tray), 엑스트라 딥 트레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 가전 장치(1000)가 식기 세척기인 경우, 트레이(1001)는 식기 바구니, 수저통을 포함할 수 있다. 가전 장치(1000)가 소형 냉장고인 경우, 트레이(1001)는 와인 랙(wine rack), 슬라이딩 선반, 화장품 바구니 등을 포함할 수도 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 내부 공간에 카메라(1100)를 포함할 수 있다. 카메라(1100)는 가전 장치(1000)의 내부 공간을 모니터링하기 위한 것으로, 내부 공간의 영상을 촬영할 수 있다. 카메라(1100)는 정지 영상을 촬영할 수도 있고, 동영상을 촬영할 수도 있다. 카메라(1100)는 내부 공간을 촬영할 수 있는 화각을 가지는 광각 카메라일 수 있으나, 이에 한정되는 것은 아니다. 카메라(1100)는 천장의 중앙에 배치되어 내부 공간의 영상을 촬영할 수 있으나, 이에 한정되는 것은 아니다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 트레이(1001)가 삽입된 내부 공간의 영상을 카메라(1100)를 통해 획득하고, 내부 공간의 영상을 분석하여 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 선반들(1002) 각각에 대응하는 위치에 마커들이 배치된 경우, 가전 장치(1000)는, 내부 공간의 영상에 포함된 마커들의 개수에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수 있다. 또한, 가전 장치(1000)는 내부 공간의 영상에 대한 에지 검출을 수행하여 결정된 트레이의 면적에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)는 내부 공간의 영상을 분석하여 결정된 트레이(1001)에 포함된 적어도 둘 이상의 마커들의 간격에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)가 내부 공간의 영상을 분석하여 트레이(1001)가 삽입된 높이를 식별하는 동작에 대해서는 도 5 내지 도 7을 참조하여 후에 자세히 살펴보기로 한다.
본 개시의 다른 실시예에 의하면, 가전 장치(1000)는 카메라(1100) 이외에 적어도 하나의 센서를 이용하여 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 예를 들어, 가전 장치(1000)는 내부 공간의 천장에 배치된 깊이 센서, 서로 다른 높이의 선반들(1002)에 포함된 무게 감지 센서, 서로 다른 높이의 선반들(1002)에 포함된 적외선 센서 중 적어도 하나를 이용하여 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)가 적어도 하나의 센서를 이용하여 트레이(1001)가 삽입된 높이를 식별하는 동작에 대해서는 도 8을 참조하여 후에 자세히 살펴보기로 한다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 트레이(1001)가 삽입된 높이에 따라, 내부 공간의 영상 촬영과 관련된 설정 값을 조절할 수 있다. 내부 공간의 영상 촬영과 관련된 설정 값은 내부 공간의 조명 밝기 값, 크롭 영역의 사이즈, 및 카메라(1100)의 왜곡 보정 값 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 개시에서 크롭은 영상의　바깥　부분을　제거하는　작업을 의미할 수 있으며, 크롭 영역은 영상에서 제거되지 않고 선택되는 영역을 의미할 수 있다. 크롭 영역은 중심 피사체(예컨대, 트레이(1001))를 포함하는 영역일 수 있다. 카메라(1100)의 왜곡 보정 값은, 카메라(1100)의 특성에 의해 발생되는, 영상 상의 왜곡을 보정하기 위한 값일 수 있다.
예를 들어, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 높아질수록 내부 조명의 밝기를 낮게 조절할 수 있고, 트레이(1001)가 삽입된 높이가 높아질수록 크롭 영역의 사이즈를 크게 조절할 수 있고, 트레이(1001)가 삽입된 높이가 높아질수록 카메라(100)의 왜곡 보정 값을 높게 조절할 수 있다. 트레이(1001)가 삽입된 높이에 따라 내부 공간의 영상 촬영과 관련된 설정 값이 조절되는 경우, 가전 장치(1000)는, 트레이(1001)가 상이한 높이에 삽입되더라도 트레이(1001)에 올려진 내용물에 대해서 균일한 상태(예컨대, 균일한 밝기, 균일한 크기, 균일한 형태)의 영상(이하, 모니터링 영상이라고도 함)을 획득할 수 있다. 가전 장치(1000)가 트레이(1001)가 삽입된 높이에 따라, 내부 공간의 영상 촬영과 관련된 설정 값을 조절하는 동작에 대해서는 도 9 내지 도 16을 참조하여 후에 자세히 살펴보기로 한다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 카메라(1100)에서 획득되는 영상에 대한 객체 인식을 수행하여, 트레이(1001) 위에 올려진 내용물을 식별할 수 있다. 이때, 가전 장치(1000)는, 트레이(1001)가 상이한 높이에 삽입되더라도 트레이(1001)에 올려진 내용물에 대해서 균일한 상태의 영상을 획득할 수 있으므로, 가전 장치(1000)의 객체 인식률이 향상될 수 있다. 즉, 동일한 식재료를 넣어도 트레이(1001)의 높이에 따라서 카메라(1100)에서 촬영되는 영상이 달라지는 경우 트레이(1001)의 높이에 따른 식재료 인식률의 편차가 발생할 수 있으나, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 균일한 상태의 영상을 획득하므로, 트레이(1001)의 높이에 따른 식재료 인식률의 편차가 줄어들 수 있다. 본 개시의 일 실시예에 의하면, 가전 장치(1000)의 식재료 인식률이 향상되므로, 가전 장치(1000)는 트레이(1001) 위에 올려진 식재료에 따라 정교한 맞춤 레시피 정보를 제공할 수 있다. 또한, 가전 장치(1000)는 트레이(1001)가 삽입된 높이에 따라 레시피 정보에 포함된 조리 온도를 조절하거나, 조절된 조리 온도를 가이드하는 정보를 출력할 수도 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 모니터링 영상(1003)을 출력하는 사용자 인터페이스(1600)를 포함할 수 있다. 예를 들어, 사용자가 쿠키가 올려진 트레이(1001)를 내부 공간에 삽입한 경우, 가전 장치(1000)는 쿠키가 올려진 트레이(1001)를 포함하는 모니터링 영상(1003)을 획득하고, 모니터링 영상(1003)을 실시간으로 사용자 인터페이스(1600)에 포함된 디스플레이에 표시할 수 있다. 이때, 사용자는 모니터링 영상(1003)을 확인함으로써, 쿠키의 조리 상태를 확인할 수 있다.
한편, 본 개시의 일 실시예 의하면, 사용자는 트레이(1001)가 삽입된 높이가 변동되더라도 균일한 상태의 모니터링 영상(1003)을 확인할 수 있다. 예를 들어, 사용자가 평소에 제 1 높이(1단) 에 트레이(1001)를 삽입하여 쿠키를 굽다가 평소와 달리 제 3 높이(3단)에 트레이(1001)를 삽입하여 쿠키를 굽더라도, 디스플레이에 보여지는 모니터링 영상(1003)에서 트레이(1001)의 크기가 너무 크거나 너무 밝게 보이는 것이 아니라, 평소와 같은 크기와 밝기의 트레이(1001)를 포함하는 모니터링 영상(1003)을 확인할 수 있다.
이하에서는 도 2 및 도 3을 참조하여, 트레이(1001)가 삽입된 높이가 변동되더라도 균일한 상태의 모니터링 영상(1003)을 획득하는 가전 장치(1000)의 구성에 대해서 조금 더 살펴보기로 한다.
도 2 및 도 3은 본 개시의 일 실시예에 따른 가전 장치의 기능을 설명하기 위한 블록구성도이다.
도 2에 도시된 바와 같이, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 카메라(1100) 및 프로세서(1200)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 가전 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 가전 장치(1000)는 구현될 수 있다. 도 3에 도시된 바와 같이, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 카메라(1100) 및 프로세서(1200) 외에 구동부(1300), 센서부(1400), 통신 인터페이스(1500), 사용자 인터페이스(1600), 조명(lamp, 1700), 메모리(1800)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
카메라(1100)는, 피사체에 대한 적어도 하나의 프레임을 획득하는 기기를 의미할 수 있다. 여기서, 적어도 하나의 프레임은 영상(정지영상 또는 동영상), 또는 사진으로 표현될 수 있다.
카메라(1100)는 가전 장치(1000)의 내부 공간에 설치될 수 있다. 예를 들어, 카메라(1100)는 가전 장치(1000)의 천장 중앙 또는 천장 일측에 설치될 수 있으나, 이에 한정되는 것은 아니다. 카메라(1100)는 가전 장치(1000)의 내부 공간을 촬영할 수 있는 화각을 갖는 광각 카메라일 수 있다. 카메라(1100)는 초소형 카메라 또는 핀홀 카메라일 수도 있다. 카메라(1100)는 고열과 전자파를 견디는 내구성을 가질 수 있으며, 방수 기능도 가질 수 있다. 또한, 카메라(1100)에는 성에가 발생하는 것을 방지하기 위해 코일 열선이 감길 수도 있다. 구현예에 따라서 가전 장치(1000)의 내부 공간에는 카메라(1100)가 복수 개 설치될 수도 있다.
프로세서(1200)는, 가전 장치(1000)의 전반적인 동작을 제어한다. 프로세서(1200)는 메모리(1800)에 저장된 프로그램들을 실행함으로써, 카메라(1100), 구동부(1300), 센서부(1400), 통신 인터페이스(1500), 사용자 인터페이스(1600), 조명(1700), 메모리(1800)를 제어할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 인공 지능(AI) 프로세서를 탑재할 수 있다. 인공 지능(AI) 프로세서는, 인공 지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 가전 장치(1000)에 탑재될 수도 있다.
본 개시의 일 실시예에 의하면, 프로세서(1200)는 카메라(1100)를 통해 가전 장치(1000)의 내부 공간에 삽입된 트레이(1001)를 포함하는 제 1 영상을 획득하고, 제 1 영상을 이용하여, 내부 공간 안에서 트레이(1001)가 삽입된 높이를 식별할 수 있다. 또한, 프로세서(1000)는 깊이 센서(1410), 무게 감지 센서(1420), 적외선 센서(1430) 중 적어도 하나로부터 획득되는 정보에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 프로세서(1200)가 트레이(1001)가 삽입된 높이를 식별하는 동작에 대해서는 도 5 내지 도 8을 참조하여 후에 자세히 살펴보기로 한다.
본 개시의 일 실시예에 의하면, 프로세서(1200)는, 트레이(1001)가 삽입된 높이에 따라, 내부 공간의 영상 촬영과 관련된 설정 값을 결정하고, 결정된 설정 값에 기초하여, 트레이(1001) 위에 놓인 내용물을 포함하는 제 2 영상(이하, 모니터링 영상이라고도 함)을 획득할 수 있다. 예를 들어, 프로세서(1200)는 트레이(1001)가 삽입된 높이에 따라 내부 공간의 조명 밝기 값을 결정하고, 결정된 조명 밝기 값에 따라 내부 공간에 배치된 조명(1700)의 밝기를 조절한 후 제 2 영상을 획득하도록 카메라(1100)를 제어할 수 있다. 또한, 프로세서(1200)는 트레이(1001)가 삽입된 높이에 따라 크롭 영역의 사이즈를 결정하고, 결정된 크롭 영역의 사이즈에 기초하여 제 1 영상에서 일부 주변 영역을 잘라내어 제 2 영상을 획득할 수 있다. 한편, 프로세서(1200)는, 트레이(1001)가 삽입된 높이에 따라 카메라(1100)의 왜곡 보정 값을 결정하고, 왜곡 보정 값을 제 1 영상에 적용하여, 제 2 영상을 획득할 수도 있다. 프로세서(1200)가 트레이(1001)가 삽입된 높이에 따른 설정 값을 적용하여 제 2 영상(모니터링 영상)을 획득하는 동작에 대해서는 도 9 내지 도 16을 참조하여 후에 자세히 살펴보기로 한다.
본 개시의 일 실시예에 의하면, 프로세서(1200)는, 제 2 영상으로부터 트레이(1001)에 놓인 식재료를 인식하고, 식재료에 맞는 레시피 정보를 사용자 인터페이스(1600)를 통해 제공할 수 있다. 또한, 프로세서(1200)는 트레이(1001)가 삽입된 높이에 따라, 레시피 정보에 포함된 조리 온도의 보정 값을 결정하고, 결정된 조리 온도의 보정 값을 사용자 인터페이스(1600)를 통해 제공할 수도 있다.
구동부(1300)는, 히터(1310), 순환팬(1320), 냉각팬(1330)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 구동부(1300)는 가전 장치(1000)의 종류에 따라 변경될 수 있다. 예를 들어, 가전 장치(1000)가 소형 냉장고인 경우, 구동부(1300)는, 압축기, 공기 청정부를 더 포함할 수도 있다. 가전 장치(1000)가 식기 세척기인 경우, 구동부(1300)는, 모터, 분사부, 건조부, 응축기 등을 포함할 수도 있다.
가전 장치(1000)가 오븐인 경우, 가전 장치(1000)의 내부 공간(예컨대, 조리실)에는 음식을 가열시키는 히터(1310)가 마련될 수 있다. 히터(1310)는 전기 저항체를 포함하는 전기 히터 또는 가스를 연소시켜 열을 발생시키는 가스 히터일 수 있다. 내부 공간(조리실)의 후방에는 내부 공기를 순환시켜 음식이 골고루 가열되도록 하는 순환 팬(1320)과 순환 팬(1320)을 구동시키는 순환 모터가 마련될 수 있다. 또한, 순환 팬(1320)의 전방에는 순환 팬(1320)을 커버하는 팬 커버가 마련될 수 있으며, 팬 커버에는 공기가 유동될 수 있도록 통공이 형성될 수 있다. 냉각팬(1330)은 공기를 상측에서 흡입하여 반경 방향으로 토출시키는 원심팬일 수 있다. 냉각팬(1330)은 냉각 유로에 배치될 수 있다. 냉각팬(1330)은, 편평하게 형성되는 회전판과, 회전판의 중심부에 형성되고 냉각 모터의 회전축이 결합되는 허브와, 회전판의 중심부에서 테두리부로 형성되는 복수의 날개를 포함할 수 있다. 허브는 하부로 갈수록 반경이 커지는 원추 형상으로 형성될 수 있고, 따라서, 상측에서 흡입된 공기를 반경 방향으로 확산시킬 수 있다.
센서부(1400)는, 깊이 센서(1410), 무게 감지 센서(1420), 적외선 센서(1430), 내부 공간의 습도를 센싱하는 습도 센서(1440), 내부 공간의 가스 정도를 센싱하는 가스 센서(1450), 온도 센서(1460)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 통상의 기술자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신 인터페이스(1500)는, 가전 장치(1000)와 서버 장치(미도시), 또는 가전 장치(1000)와 모바일 단말(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(1500)는, 근거리 통신부(1510), 원거리 통신부(1520) 등을 포함할 수 있다.
근거리 통신부(short-range wireless communication interface, 1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(NFC, Near Field Communication interface), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 원거리 통신부(1520)는 가전 장치(1000)가 IoT(사물 인터넷) 환경에서 원격으로 서버 장치(미도시)에 의해 제어되는 경우, 서버 장치와 통신하는데 사용될 수 있다. 원거리 통신부(1520)는 인터넷, 컴퓨터 네트워크(예: LAN 또는 WAN), 이동 통신부를 포함할 수 있다. 이동 통신부는, 3G 모듈, 4G 모듈, 5G 모듈, LTE 모듈, NB-IoT 모듈, LTE-M 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자 인터페이스(1600)는, 출력 인터페이스(1610)와 입력 인터페이스(1620)를 포함할 수 있다. 출력 인터페이스(1610)는, 오디오 신호 또는 비디오 신호의 출력을 위한 것으로, 디스플레이부와 음향 출력부 등을 포함할 수 있다.
디스플레이부와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부는 출력 인터페이스(1610) 이외에 입력 인터페이스(1620)로도 사용될 수 있다. 디스플레이부는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 발광 다이오드(LED, light-emitting diode), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 가전 장치(1000)의 구현 형태에 따라 가전 장치(1000)는 디스플레이부를 2개 이상 포함할 수도 있다.
음향 출력부는 통신 인터페이스(1500)로부터 수신되거나 메모리(1800)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향 출력부는 가전 장치(1000)에서 수행되는 기능과 관련된 음향 신호를 출력할 수 있다. 음향 출력부는 스피커(speaker), 부저(Buzzer) 등을 포함할 수 있다.
본 개시의 일 실시예에 의하면, 디스플레이부는 가전 장치(1000)의 내부 공간의 모니터링 영상을 출력하거나, 식재료에 맞는 레시피 정보를 출력할 수 있다. 또한, 디스플레이부는 트레이가 삽입된 높이에 따라 결정된 조리 온도의 보정 값을 출력할 수도 있다.
입력 인터페이스(1620)는, 사용자로부터의 입력을 수신하기 위한 것이다. 입력 인터페이스(1620)는, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.
입력 인터페이스(1620)는, 음성 인식 모듈을 포함할 수 있다. 예를 들어, 가전 장치(1000)는 마이크로폰을 통해 아날로그 신호인 음성 신호를 수신하고, ASR(Automatic Speech Recognition) 모델을 이용하여 음성 부분을 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다. 가전 장치(1000)는 자연어 이해(Natural Language Understanding, NLU) 모델을 이용하여 변환된 텍스트를 해석하여, 사용자의 발화 의도를 획득할 수 있다. 여기서 ASR 모델 또는 NLU 모델은 인공지능 모델일 수 있다. 인공지능 모델은 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서에 의해 처리될 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리(Natural Language Processing), 기계 번역(Machine Translation), 대화 시스템(Dialog System), 질의 응답(Question Answering), 음성 인식/합성(Speech Recognition/Synthesis) 등을 포함한다.
조명(lamp, 1700)은, 가전 장치(1000)의 내부 공간의 일면에 배치될 수 있으며, 내부 조명으로 표현될 수 있다. 예를 들어, 조명(1700)은 천장에 배치될 수도 있고, 옆 면에 배치될 수도 있으나, 이에 한정되는 것은 아니다. 조명(1700)은 가전 장치(1000)의 문이 개방되거나 가전 장치(1000)가 동작할 때 턴온될 수 있다. 조명(1700)은 유리 커버에 의해 보호될 수 있다.
본 개시의 일 실시예에 의하면, 조명(1700)은 다양한 밝기 단계를 가질 수 있다. 예를 들어, 조명(1700)은 어두운 단계부터 밝은 단계의 빛을 발광할 수 있다. 조명(1700)의 밝기는 프로세서(1200)에 의해 조절될 수 있다. 조명(1700)은 할로겐 조명일 수도 있고, LED 조명일 수도 있으나, 이에 한정되는 것은 아니다.
메모리(1800)는, 프로세서(1200)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 레시피 정보, 면적 테이블, 간격 테이블, 크롭 영역의 사이즈 정보, 왜곡 보정 값, 밝기 단계 테이블 등)을 저장할 수도 있다. 메모리(1800)는 인공지능 모델을 저장할 수도 있다. 예를 들어, 메모리(1800)는 객체 인식을 위한 인공지능 모델, 레시피 추천을 위한 인공지능 모델 등을 저장할 수도 있다.
메모리(1800)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 가전 장치(1000)는 인터넷(Internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
이하에서는 가전 장치(1000)가 트레이(1001)의 높이를 고려하여 내부 공간의 모니터링 영상을 획득하는 방법에 대해서 도 4를 참조하여 자세히 살펴보기로 한다.
도 4는 본 개시의 일 실시예에 따른 가전 장치의 영상 획득 방법을 설명하기 위한 순서도이다.
단계 S410에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 내부 공간에 위치하는 카메라(1100)를 통해 내부 공간에 삽입된 트레이(1001)를 포함하는 제 1 영상을 획득할 수 있다. 여기서 제 1 영상은 트레이(1001)가 삽입된 높이를 파악하기 위한 초기 영상일 수 있다. 본 개시의 일 실시예에 의하면, 제 1 영상은 컬러 영상일 수도 있고, 흑백 영상일 수도 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)는 다양한 높이에 삽입될 수 있다. 예를 들어, 가전 장치(1000)의 내부 공간에는 트레이(1001)가 삽입될 수 있는 다양한 높이의 선반들이 배치될 수 있으며, 트레이(1001)는 다양한 높이의 선반들 중 하나에 놓여질 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 기 설정된 시점에 카메라(1100)를 통해 내부 공간을 촬영하여, 제 1 영상을 획득할 수 있다. 예를 들어, 가전 장치(1000)는 도어가 열린 후 소정 시간(예컨대, 3초)이 경과하면 내부 공간을 촬영하여 제 1 영상을 획득하도록 카메라(1100)를 제어할 수 있다. 다른 실시예에 의하면, 가전 장치(1000)는 트레이(1001)가 내부 공간에 놓여지는 것을 감지한 후 소정 시간 (예컨대, 3초) 내에 내부 공간을 촬영하도록 카메라(1100)를 제어할 수 있다. 가전 장치(1000)는 깊이 센서(1410), 무게 감지 센서(1420), 및 적외선 센서(1430) 중 적어도 하나를 이용하여 트레이(1001)가 내부 공간에 놓여지는 것을 감지할 수 있다. 또 다른 실시예에 의하면, 가전 장치(1000)는 트레이(1001)가 내부 공간에 놓여지고 도어가 닫힌 후 소정 시간 내(예컨대, 3초 내)에 내부 공간을 촬영하도록 카메라(1100)를 제어할 수도 있다.
단계 S420에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 제 1 영상을 이용하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 제 1 영상에 대한 에지 검출을 통해서 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 가전 장치(1000)는, 제 1 영상에 대한 에지 검출을 수행하여, 트레이(1001)의 에지(edge) 부분을 인식할 수 있다. 에지란 영상에서 밝기가 급격하게 변하는 부분으로, 경계선, 윤곽선 등을 의미할 수 있으며, 에지 검출(edge detection)이란 에지에 해당하는 화소를 찾는 과정을 의미한다. 따라서, 가전 장치(1000)가 트레이(1001)를 포함하는 제 1 영상에 대한 에지 검출을 수행하면, 트레이(1001)의 에지 부분(예컨대, 윤곽선)을 인식할 수 있다. 예를 들어, 가전 장치(1000)는, 제 1 영상에 대한 에지 검출을 수행하여 획득된 에지 영상에서, 에지에 의해 닫힌 형태의 다각형을 추정할 수 있다. 이때, 에지에 의해 닫힌 형태의 다각형이 사각형의 트레이(1001)가 될 수 있다. 가전 장치(1000)는 트레이(1001)의 에지 부분(예컨대, 윤곽선)에 기초하여 트레이(1001)의 면적을 결정할 수 있다. 그리고 가전 장치(1000)는, 트레이(1001)의 면적을 기 저장된 면적 테이블과 비교하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 기 저장된 면적 테이블은, 내부 공간에 위치하는 선반들(1002)의 높이와 트레이(1001)의 면적(또는 면적 비율)을 매칭한 정보를 포함할 수 있다. 카메라(1100)가 천장에 배치되어 있으므로, 트레이(1001)가 삽입된 높이가 높아질수록 제 1 영상에서 트레이(1001)가 차지하는 면적이 커질 수 있으며, 트레이(1001)가 삽입된 높이가 낮아질수록 제 1 영상에서 트레이(1001)가 차지하는 면적이 작아질 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 제 1 영상에 포함된 마커의 개수에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 가전 장치(1000)는, 트레이(1001)가 삽입될 수 있는 서로 다른 높이의 선반들(1002), 및 선반들(1002) 각각에 대응하는 위치에 마커들을 포함할 수 있다. 예컨대, 가장 아래에 배치된 제 1 단의 선반에 대응하는 위치에 제 1 마커가 부착되고, 제 1 단의 선반 보다 위에 배치된 제 2 단의 선반에 대응하는 위치에 제 2 마커가 부착되고, 제 2 단의 선반 보다 위에 배치된 제 3 단의 선반에 대응하는 위치에 제 3 마커가 부착되고, 가장 위에 배치된 제 4 단의 선반에 대응하는 위치에 제 4 마커가 부착될 수 있다. 이때, 가전 장치(1000)는 제 1 영상을 분석하여, 제 1 영상에 포함된 마커의 개수를 식별할 수 있다. 카메라(1100)가 천장에 위치하므로, 트레이(1001)가 삽입된 높이가 높아질수록 트레이(1001)에 의해 가려지는 마커가 늘어나서 제 1 영상에서 인식되는 마커의 개수가 줄어들 수 있으며, 트레이(1001)가 삽입된 높이가 낮아질수록 제 1 영상에서 인식되는 마커의 개수가 증가할 수 있다. 예를 들어, 트레이(1001)가 가장 위에 배치된 제 4 단의 선반에 삽입되는 경우, 제 1 마커, 제 2 마커, 제 3 마커는 트레이(1001)에 가려져서 제 1 영상에서 나타나지 않을 수 있다. 따라서, 제 1 영상에서 1개의 마커(제 4 마커)만 인식되는 경우, 가전 장치(1000)는 트레이(1001)가 제 4 단의 선반에 삽입되었다고 식별할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)에 포함된 일정 간격으로 위치하는 적어도 둘 이상의 마커들의 간격에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 트레이(1001)에는 일정 간격으로 복수의 마커들이 부착될 수 있다. 트레이(1001)의 모서리 각각에 마커가 부착되어 트레이(1001)에 총 4개의 마커가 포함 수도 있고, 가로 방향 및 세로 방향 각각 3개의 마커가 부착되어 총 9개의 마커가 트레이(1001)에 포함될 수도 있으나, 이에 한정되는 것은 아니다.
가전 장치(1000)는, 트레이(1001)에 포함된 일정 간격으로 위치하는 적어도 둘 이상의 마커들을 제 1 영상에서 인식할 수 있다. 그리고 가전 장치(1000)는, 마커들 간의 간격을 기 저장된 간격 테이블과 비교하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 기 저장된 간격 테이블은, 내부 공간에 위치하는 선반들(1002)의 높이와 마커들의 간격(또는 간격 비율)을 매칭한 정보를 포함할 수 있다. 카메라(1100)가 천장에 배치되어 있으므로, 트레이(1001)가 삽입된 높이가 높아질수록 제 1 영상에서 마커들 간의 간격이 커질 수 있으며, 트레이(1001)가 삽입된 높이가 낮아질수록 제 1 영상에서 마커들 간의 간격이 작아질 수 있다.
한편, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 제 1 영상 이외에 적어도 하나의 센서를 더 이용하여 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 예를 들어, 가전 장치(1000)는, 천장에 배치된 깊이 센서(1410), 선반들(1002)에 포함된 무게 감지 센서(1420), 및 선반들(1002)에 포함된 적외선 센서(1430) 중 적어도 하나를 더 이용하여, 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)가 트레이(1001)가 삽입된 높이를 식별하기 위해 적어도 하나의 센서를 이용하는 동작에 대해서는 도 8을 참조하여 후에 자세히 살펴보기로 한다.
단계 S430에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 내부 공간의 영상 촬영과 관련된 설정 값을 결정할 수 있다. 내부 공간의 영상 촬영과 관련된 설정 값은, 내부 공간의 조명 밝기 값, 크롭 영역의 사이즈, 및 카메라(1100)의 왜곡 보정 값 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 내부 공간의 영상 촬영과 관련된 설정 값은 트레이(1001)가 삽입된 높이에 따라 달라질 수 있다. 예를 들어, 트레이(1001)가 삽입된 높이가 높아질수록 카메라(1100)를 통해 획득되는 영상의 밝기가 밝아질 수 있으므로, 가전 장치(1000)는 조명 밝기 값을 낮게 결정할 수 있다.
또한, 트레이(1001)가 삽입된 높이가 낮아질수록 카메라(1100)를 통해 획득되는 영상에서 트레이(1001)의 크기가 작아지므로, 가전 장치(1000)는 크롭 영역의 사이즈를 작게 하여 트레이(1001)가 모니터링 영상에서 일정 사이즈를 유지하도록 할 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 높이가 높아질수록 천장에 위치하는 카메라(1100)와 트레이(1001) 간의 거리가 가까워지므로, 배럴 왜곡(Barrel distortion, 선의 가운데를 중심으로 바깥으로 볼록 솟아오르는 배불뚝이 모양의 왜곡)이 커질 수 있다. 따라서, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 높아질수록 왜곡 보정 값을 크게 결정할 수 있다.
단계 S440에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 결정된 설정 값에 기초하여, 트레이(1001) 위에 놓인 내용물을 포함하는 제 2 영상을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 결정된 조명 밝기 값에 따라 내부 공간에 배치된 조명(1700)의 밝기를 조절한 후 제 2 영상을 획득하도록 카메라(1100)를 제어할 수 있다. 예를 들어, 트레이(1001)가 삽입된 높이가 높아질수록 영상에 포함되는 트레이(1001)의 밝기가 밝아질 수 있으므로, 가전 장치(1000)는 조명(1700)의 밝기를 어둡게 조절한 후 제 2 영상을 획득할 수 있다. 반대로 트레이(1001)가 삽입된 높이가 낮아질수록 영상에 포함되는 트레이(1001)의 밝기가 어두워질 수 있으므로, 가전 장치(1000)는 조명(1700)의 밝기를 밝게 한 후 제 2 영상을 획득할 수 있다. 즉, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 달라지더라도, 조명(1700)의 밝기를 제어하여, 일정한 밝기(예컨대, 800lx(lux, 럭스))의 트레이(1001)를 포함하는 제 2 영상을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 결정된 크롭 영역의 사이즈에 기초하여 제 1 영상에서 일부 주변 영역을 잘라내어 제 2 영상을 획득할 수 있다. 예를 들어, 가전 장치(1000)가 제 1 영상에서 트레이(1001)가 차지하는 영역의 사이즈를 크롭 영역의 사이즈로 결정하면, 가전 장치(1000)는 제 1 영상에서 트레이(1001) 주변 영역은 잘라내고, 트레이(1001) 만을 포함하는 제 2 영상을 획득할 수 있다. 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 제 1 영상에서 트레이(1001)를 포함하는 크롭 영역을 추출한 후, 크롭 영역을 디스플레이 화면의 사이즈에 맞게 소정 비율로 확대하여 제 2 영상을 획득할 수도 있다. 즉, 제 2 영상은, 트레이(1001)의 높이에 따라 결정된 크롭 영역의 사이즈에 기초하여, 제 1 영상에서 일부 주변 영역을 잘라낸 후 소정 크기로 확대한 영상일 수 있다. 따라서, 본 개시의 일 실시예에 의하면 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 달라지더라도, 크롭 영역의 사이즈를 조절하여, 일정한 크기의 트레이(1001)를 포함하는 제 2 영상을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 높이에 따라 결정된 왜곡 보정 값을 제 1 영상에 적용하여, 제 2 영상을 획득할 수 있다. 이때, 제 2 영상은 트레이(1001)의 높이에 따라 결정된 왜곡 보정 값에 기초하여 제 1 영상의 왜곡을 보정한 영상일 수 있다. 예를 들어, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 높아질수록 배럴 왜곡이 커지므로, 제 1 영상에 큰 왜곡 보정 값을 적용하여 제 2 영상을 획득할 수 있다. 이 경우, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 달라지더라도, 카메라(1100)의 왜곡 보정 값을 조절하여, 일정한 형태의 트레이(1001)를 포함하는 제 2 영상을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 내부 공간의 조명 밝기 값, 크롭 영역의 사이즈, 및 카메라(1100)의 왜곡 보정 값 중 하나만 조절할 수도 있고, 둘 이상을 조절할 수도 있다. 예를 들어, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 내부 공간의 조명 밝기 값과 크롭 영역의 사이즈를 조절할 수도 있고, 내부 공간의 조명 밝기 값과 카메라(1100)의 왜곡 보정 값을 조절할 수도 있고, 크롭 영역의 사이즈와 카메라(1100)의 왜곡 보정 값을 조절할 수도 있고, 내부 공간의 조명 밝기 값과 크롭 영역의 사이즈와 카메라(1100)의 왜곡 보정 값을 조절할 수도 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 결정된 내부 공간의 영상 촬영과 관련된 설정 값을 적용한 제 2 영상을 모니터링 영상으로서 디스플레이부를 통해 출력할 수 있다. 이때, 사용자는 트레이(1001)가 삽입된 높이에 무관하게 균일한 상태의 모니터링 영상을 제공 받을 수 있다. 따라서, 사용자가 평소에 가장 낮은 높이의 선반에 트레이(1001)를 삽입하다가 이번에 가장 높은 높이의 선반에 트레이(1001)를 삽입하더라도, 모니터링 영상에서 트레이(1001)가 너무 크게 나타나거나 너무 어둡게 나타나서 사용자가 트레이(1001) 위에 놓인 식재료의 상태를 제대로 확인하지 못하는 경우를 방지할 수 있다.
이하에서는 도 5 내지 도 7을 참조하여, 가전 장치(1000)가 카메라(1100)를 통해 획득한 제 1 영상을 이용하여 트레이(1001)가 삽입된 높이를 식별하는 동작에 대해서 조금 더 살펴보기로 한다.
도 5는 본 개시의 일 실시예에 따른 가전 장치가 제 1 영상에 포함된 트레이의 면적에 기초하여 트레이가 삽입된 높이를 식별하는 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 가전 장치(1000)는, 카메라(1100)를 통해서, 내부 공간에 삽입된 트레이(1001)를 포함하는 제 1 영상을 획득할 수 있다. 이때, 제 1 영상은, 제 1 높이(1단)의 선반에 삽입된 트레이(1001)를 포함하는 제 1-1 영상(511), 제 2 높이(2단)의 선반에 삽입된 트레이(1001)를 포함하는 제 1-2 영상(512), 제 3 높이(3단)의 선반에 삽입된 트레이(1001)를 포함하는 제 1-3 영상(513), 및 제 4 높이(4단)의 선반에 삽입된 트레이(1001)를 포함하는 제 1-4 영상(514) 중 하나일 수 있다.
가전 장치(1000)는 제 1 영상에 대한 에지 검출을 통해서 결정된 트레이(1001)의 면적을 기 저장된 면적 테이블(500)과 비교하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 면적 테이블(500)에 포함된 면적들은 실험 결과에 기반한 것일 수 있으며, AI 모델을 통해 추론된 값일 수 있다.
예를 들어, 가전 장치(1000)가 제 1-1 영상(511)을 획득한 경우, 가전 장치(1000)는, 제 1-1 영상(511)에 대한 에지 검출을 수행하여, 제 1-1 영상(511)에 대응하는 제 1 에지 영상(521)을 획득할 수 있다. 그리고 가전 장치(1000)는 제 1 에지 영상(521)에서 트레이(1001)의 에지 부분(예컨대, 윤곽선)을 추출하고, 제 1-1 영상(511)(또는 제 1 에지 영상(521))에서 트레이(1001)가 차지하는 제 1 면적(531)을 결정할 수 있다. 예를 들어, 가전 장치(1000)는 트레이(1001)의 에지 부분(예컨대, 윤곽선)에 기초하여 트레이(1001)의 제 1 면적(531)을 100cm2으로 결정할 수 있다. 이때, 가전 장치(1000)는 트레이(1001)의 제 1 면적(531)을 기 저장된 면적 테이블(500)과 비교하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 가전 장치(1000)는, 트레이(1001)의 제 1 면적(531)이 100cm2이므로, 트레이(1001)가 제 1 높이(1단)의 선반에 삽입되어 있다고 판단할 수 있다.
가전 장치(1000)가 제 1-2 영상(512)을 획득한 경우, 가전 장치(1000)는 제 1-2 영상(512)에 대한 에지 검출을 수행하여, 제 1-2 영상(512)에 대응하는 제 2 에지 영상(522)을 획득할 수 있다. 그리고 가전 장치(1000)는 제 2 에지 영상(522)에서 트레이(1001)의 에지 부분(예컨대, 윤곽선)을 추출하고, 제 1-2 영상(512)(또는 제 2 에지 영상(522))에서 트레이(1001)가 차지하는 제 2 면적(532)을 결정할 수 있다. 예를 들어, 제 2 면적(532)은 150cm2일 수 있다. 이때, 가전 장치(1000)는 트레이(1001)의 제 2 면적(532)을 기 저장된 면적 테이블(500)과 비교하여, 트레이(1001)가 제 2 높이(2단)의 선반에 삽입되어 있다고 판단할 수 있다.
가전 장치(1000)가 제 1-3 영상(513)을 획득한 경우, 가전 장치(1000)는 제 1-3 영상(513)에 대한 에지 검출을 수행하여, 제 1-3 영상(513)에 대응하는 제 3 에지 영상(523)을 획득할 수 있다. 그리고 가전 장치(1000)는 제 3 에지 영상(523)에서 트레이(1001)의 에지 부분(예컨대, 윤곽선)을 추출하고, 제 1-3 영상(513)(또는 제 3 에지 영상(523))에서 트레이(1001)가 차지하는 제 3 면적(533)을 결정할 수 있다. 예를 들어, 제 3 면적(533)은 200cm2일 수 있다. 이때, 가전 장치(1000)는 트레이(1001)의 제 3 면적(533)을 기 저장된 면적 테이블(500)과 비교하여, 트레이(1001)가 제 3 높이(3단)의 선반에 삽입되어 있다고 판단할 수 있다.
가전 장치(1000)가 제 1-4 영상(514)을 획득한 경우, 가전 장치(1000)는 제 1-4 영상(514)에 대한 에지 검출을 수행하여, 제 1-4 영상(514)에 대응하는 제 4 에지 영상(524)을 획득할 수 있다. 그리고 가전 장치(1000)는 제 4 에지 영상(524)에서 트레이(1001)의 에지 부분(예컨대, 윤곽선)을 추출하고, 제 1-4 영상(514)(또는 제 4 에지 영상(524))에서 트레이(1001)가 차지하는 제 4 면적(534)을 결정할 수 있다. 예를 들어, 제 4 면적(534)은 300cm2일 수 있다. 이때, 가전 장치(1000)는 트레이(1001)의 제 4 면적(534)을 기 저장된 면적 테이블(500)과 비교하여, 트레이(1001)가 제 4 높이(4단)의 선반에 삽입되어 있다고 판단할 수 있다.
한편, 기 저장된 면적 테이블(500)에는 면적 비율이 정의되어 있을 수도 있다. 예를 들어, 기 저장된 면적 테이블(500)에는 제 1 높이(1단)의 선반에 삽입된 트레이(1001)가 제 1 영상에서 차지하는 제 1 면적(531)이 기준 면적으로 정의되어 있을 수 있다. 그리고 기 저장된 면적 테이블(500)에는 제 2 높이(2단)의 선반에 삽입된 트레이(1001)의 면적이 기준 면적의 1.2배, 제 3 높이(3단)의 선반에 삽입된 트레이(1001)의 면적이 기준 면적의 1.3배, 제 4 높이(4단)의 선반에 삽입된 트레이(1001)의 면적이 기준 면적의 1.4배로 정의되어 있을 수 있다. 기 저장된 면적 테이블(500)에 포함된 면적 비율은 실험 결과에 기반한 것일 수 있으며, AI 모델을 통해 추론된 값일 수 있다.
본 개시의 일 실시예에 의하면, 제 1 영상에 대한 에지 검출을 수행한 결과, 제 1 영상에서 트레이(1001)가 차지하는 면적(예컨대, 제 1 면적(531))이 기준 면적인 경우, 가전 장치(1000)는 트레이(1001)가 제 1 높이(1단)의 선반에 삽입되었다고 판단하고, 제 1 영상에서 트레이(1001)가 차지하는 면적(예컨대, 제 2 면적(532))이 기준 면적의 1.2배가 되는 경우 제 2 높이(2단)의 선반에 트레이(1001)가 삽입되었다고 판단하고, 제 1 영상에서 트레이(1001)가 차지하는 면적(예컨대, 제 3 면적(533))이 기준 면적의 1.3배가 되는 경우 제 3 높이(3단)의 선반에 트레이(1001)가 삽입되었다고 판단하고, 제 1 영상에서 트레이(1001)가 차지하는 면적(예컨대, 제 4 면적(534))이 기준 면적의 1.4배가 되는 경우 제 4 높이(4단)의 선반에 트레이(1001)가 삽입되었다고 판단할 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)의 높이가 높아질수록 제 1 영상에서 트레이(1001)가 차지하는 면적이 커지고, 트레이(1001)의 높이가 낮아질수록 제 1 영상에서 트레이(1001)가 차지하는 면적이 작아지므로, 가전 장치(1000)는 제 1 영상에서 트레이(1001)가 차지하는 면적과 기 저장된 면적 테이블(500)을 비교하여 트레이(1001)의 높이를 추정할 수 있다.
도 6은 본 개시의 일 실시예에 따른 가전 장치가 트레이에 포함된 마커들의 간격에 기초하여, 트레이가 삽입된 높이를 식별하는 동작을 설명하기 위한 도면이다.
도 6의 610을 참조하면, 트레이(1001)의 각 모서리에 4개의 마커들(611~614)이 배치될 수 있다. 가전 장치(1000)는 트레이(1001)를 포함한 내부 공간을 촬영한 제 1 영상(600)에서 적어도 둘 이상의 마커들을 추출하고, 마커들 간의 간격을 결정할 수 있다. 그리고 가전 장치(1000)는 마커들 간의 간격을 기 저장된 간격 테이블(601)과 비교하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 기 저장된 간격 테이블(601)에는 트레이(1001)의 높이 별로 간격이 각각 정의되어 있을 수 있다. 또한, 간격 테이블(601)에 포함된 간격들은 실험 결과에 기반한 것일 수 있으며, AI 모델을 통해 추론된 값일 수 있다.
예를 들어, 가전 장치(1000)는 제 1 영상(600)에서 제 1 마커(611)와 제 2 마커(612)를 추출하고, 제 1 마커(611)와 제 2 마커(612)의 간격이 12cm임을 확인할 수 있다. 또는, 가전 장치(1000)는 제 1 영상(600)에서 제 1 마커(611)와 제 3 마커(613)를 추출하고, 제 1 마커(611)와 제 3 마커(613)의 간격이 10cm임을 확인할 수 있다. 이때, 마커들 간의 간격이 10cm~12cm이므로, 가전 장치(1000)는, 마커들 간의 간격을 간격 테이블(601)과 비교하여, 트레이(1001)가 제 1 높이(1단)의 선반에 삽입되어 있다고 판단할 수 있다.
한편, 기 저장된 간격 테이블(601)에는 간격 비율이 정의되어 있을 수도 있다. 예를 들어, 기 저장된 간격 테이블(601)에는 제 1 높이(1단)의 선반에 삽입된 트레이(1001)에 포함된 마커들의 간격이 기준 간격으로 정의되어 있을 수 있다. 그리고 기 저장된 간격 테이블(601)에는 제 2 높이(2단)의 선반에 삽입된 트레이(1001)에 포함된 마커들의 간격이 기준 간격의 1.2배, 제 3 높이(3단)의 선반에 삽입된 트레이(1001)에 포함된 마커들의 간격이 기준 간격의 1.3배, 제 4 높이(4단)의 선반에 삽입된 트레이(1001)에 포함된 마커들의 간격이 기준 간격의 1.4배로 정의되어 있을 수 있다. 기 저장된 간격 테이블(601)에 포함된 간격 비율은 실험 결과에 기반한 것일 수 있으며, AI 모델을 통해 추론된 값일 수 있다.
본 개시의 일 실시예에 의하면, 제 1 영상(600)을 분석한 결과, 제 1 영상(600)에서 트레이(1001)에 포함된 마커들의 간격이 기준 간격인 경우, 가전 장치(1000)는 트레이(1001)가 제 1 높이(1단)의 선반에 삽입되었다고 판단하고, 제 1 영상(600)에서 트레이(1001)에 포함된 마커들의 간격이 기준 간격의 1.2배가 되는 경우 제 2 높이(2단)의 선반에 트레이(1001)가 삽입되었다고 판단하고, 제 1 영상(600)에서 트레이(1001)에 포함된 마커들의 간격이 기준 간격의 1.3배가 되는 경우 제 3 높이(3단)의 선반에 트레이(1001)가 삽입되었다고 판단하고, 제 1 영상(600)에서 트레이(1001)에 포함된 마커들의 간격이 기준 간격의 1.4배가 되는 경우 제 4 높이(4단)의 선반에 트레이(1001)가 삽입되었다고 판단할 수 있다.
도 6의 620을 참조하면, 일정한 간격으로 9개의 마커들(621~629)이 트레이(1001)에 배치될 수 있다. 예를 들어, 가로 방향과 세로 방향 각각에 마커들이 3개씩 배치될 수 있다. 가전 장치(1000)는 트레이(1001)를 포함한 내부 공간을 촬영한 제 1 영상(600)에서 적어도 둘 이상의 마커들을 추출하고, 마커들 간의 간격을 확인할 수 있다. 이때, 마커들의 간격은 가로 간격(a)과 세로 간격(b)을 포함할 수 있으며, 가로 간격(a)과 세로 간격(b) 각각은 최소 간격을 의미할 수 있다. 가전 장치(1000)는 마커들 간의 간격(가로 간격(a) 또는 세로 간격(b))을 기 저장된 간격 테이블(602)과 비교하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 기 저장된 간격 테이블(602)에는 트레이(1001)의 높이 별로 가로 간격(a)과 세로 간격(b)이 각각 정의되어 있을 수 있다. 간격 테이블(602)에 포함된 가로 간격(a)과 세로 간격(b)은 실험 결과에 기반한 것일 수 있으며, AI 모델을 통해 추론된 값일 수 있다.
가전 장치(1000)는 제 1 영상(600)에서 마커들(621~629)을 추출하고, 마커들(621~629)의 최소 가로 간격(a)이 6cm이고, 최소 세로 간격(b)이 4cm임 확인할 수 있다. 이때, 가전 장치(1000)는, 마커들(621~629)의 최소 가로 간격(a)과 최소 세로 간격(b)을 간격 테이블(602)과 비교하여, 트레이(1001)가 제 1 높이(1단)의 선반에 삽입되어 있다고 판단할 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)의 높이가 높아질수록 제 1 영상(600)에서 트레이(1001)에 포함된 마커들의 간격이 넓어지고, 트레이(1001)의 높이가 낮아질수록 제 1 영상(600)에서 트레이(1001)에 포함된 마커들의 간격이 좁아지므로, 가전 장치(1000)는 제 1 영상(600)에서 트레이(1001)에 포함된 마커들의 간격과 기 저장된 간격 테이블(601, 602)을 비교하여 트레이(1001)의 높이를 추정할 수 있다.
도 7은 본 개시의 일 실시예에 따른 가전 장치가 제 1 영상에 포함된 마커의 개수에 기초하여, 트레이가 삽입된 높이를 식별하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 가전 장치(1000)는 트레이(1001)가 삽입될 수 있는 서로 다른 높이의 선반들(1002), 및 선반들(1002) 각각에 대응하는 위치에 마커들(701~704)을 포함할 수 있다. 예를 들어, 가전 장치(1000)가 4개의 선반을 포함하는 경우, 마커도 내부 공간의 일면(예컨대, 후면)에 4개가 배치될 수 있으나, 이에 한정되는 것은 아니다. 마커들(701~704) 각각은 선반들(1002)보다 약간 높은 높이에 배치될 수 있다. 예를 들어, 제 1 단의 선반보다 약간 높은 위치에 제 1 마커(701)가 부착되고, 제 2 단의 선반보다 약간 높은 위치에 제 2 마커(702)가 부착되고, 제 3 단의 선반보다 약간 높은 위치에 제 3 마커(703)가 부착되고, 제 4 단의 선반보다 약간 높은 위치에 제 4 마커(704)가 부착될 수 있다.
가전 장치(1000)는 카메라(1100)를 통해서 내부 공간에 삽입된 트레이(1001)를 포함하는 제 1 영상(710)을 획득할 수 있다. 이때, 가전 장치(1000)는, 제 1 영상(710)을 분석하여, 마커를 추출하고, 추출된 마커의 개수를 파악할 수 있다. 그리고 가전 장치(1000)는 마커의 개수에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 제 1 영상(710)의 일부 영역(720)에서 4개의 마커가 추출된 경우, 가전 장치(1000)는 마커의 개수와 개수 테이블(700)을 비교하여, 트레이(1001)가 제 1 단의 선반에 삽입되어 있다고 판단할 수 있다.
본 개시의 일 실시예에 의하면, 카메라(1100)가 천장에 위치하므로, 트레이(1001)가 삽입된 높이가 높아질수록 트레이(1001)에 의해 가려지는 마커가 늘어나서 제 1 영상(710)에서 인식되는 마커의 개수가 줄어들 수 있으며, 트레이(1001)가 삽입된 높이가 낮아질수록 제 1 영상(710)에서 인식되는 마커의 개수가 증가할 수 있다. 따라서, 가전 장치(1000)는, 제 1 영상(710)에서 추출된 마커의 개수와 개수 테이블(700)을 비교하여 트레이(1001)의 높이를 추정할 수 있다.
한편, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 카메라(1100) 이외에 다른 센서를 이용해서 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 도 8을 참조하여 가전 장치(1000)가 적어도 하나의 센서를 이용하여 트레이(1001)가 삽입된 높이를 식별하는 방법에 대해서 자세히 살펴보기로 한다.
도 8은 본 개시의 일 실시예에 따른 가전 장치가 적어도 하나의 센서로부터 획득되는 정보에 기초하여, 트레이가 삽입된 높이를 식별하는 방법을 설명하기 위한 순서도이다.
단계 S810에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는 내부 공간의 천장에 배치된 깊이 센서(1410)로부터 천장과 트레이(1001) 간의 간격에 관한 정보를 획득할 수 있다. 깊이 센서는, TOF(Time of Flight) 방식의 3D 깊이 센서를 포함할 수 있다. TOF 방식은 피사체로 보낸 빛이 반사돼 돌아오는 시간을 측정해 사물의 공간 정보, 움직임 등을 인식하는 3D 센싱 기술이다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 깊이 센서(1410)로부터 천장과 트레이(1001) 간의 간격에 관한 정보를 획득할 수 있다. 예를 들어, 트레이(1001)가 삽입된 높이가 높아질수록 천장과 트레이(1001) 간의 간격이 줄어들 수 있으며, 트레이(1001)가 삽입된 높이가 낮아질수록 천장과 트레이(1001) 간의 간격이 늘어날 수 있다.
단계 S820에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는 서로 다른 높이의 선반들(1002)에 포함된 무게 감지 센서(1420)로부터 무게 정보를 획득할 수 있다.
무게 감지 센서(1420)는 중량 센서로 표현될 수도 있다. 본 개시의 일 실시예에 의하면, 가전 장치(1000)가 4개의 선반을 포함하는 경우, 무게 감지 센서(1420)도 내부 공간에 4개가 배치될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 제 1 높이에 위치하는 제 1 선반에 제 1 무게 감지 센서가 배치되고, 제 2 높이에 위치하는 제 2 선반에 제 2 무게 감지 센서가 배치되고, 제 3 높이에 위치하는 제 3 선반에 제 3 무게 감지 센서가 배치되고, 제 4 높이에 위치하는 제 4 선반에 제 4 무게 감지 센서가 배치될 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)가 제 1 높이에 위치하는 제 1 선반에 삽입되는 경우, 제 1 선반에 배치된 제 1 무게 감지 센서에서 측정되는 무게 값이 변화할 수 있고, 제 2 무게 감지 센서에서 측정되는 무게 값, 제 3 무게 감지 센서에서 측정되는 무게 값, 제 4 무게 감지 센서에서 측정되는 무게 값은 큰 변화가 없을 수 있다. 반면, 트레이(1001)가 제 2 높이에 위치하는 제 2 선반에 삽입되는 경우, 제 2 선반에 배치된 제 2 무게 감지 센서에서 측정되는 무게 값이 변화할 수 있고, 제 1 무게 감지 센서에서 측정되는 무게 값, 제 3 무게 감지 센서에서 측정되는 무게 값, 제 4 무게 감지 센서에서 측정되는 무게 값은 큰 변화가 없을 수 있다.
단계 S830에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는 서로 다른 높이의 선반들(1002)에 포함된 적외선 센서(1430)로부터 적외선 센서 정보를 획득할 수 있다.
적외선 센서(1430)는 적외선을 발생시키는 발광부(예컨대, LED)와 적외선을 감지하는 수광부(예컨대, 빛 센서)를 포함할 수 있으며, 발광부에서 나온 적외선이 물체에 반사되어 수광부에 들어오는 양에 따라 전압의 양이 변화하게 된다. 즉, 적외선 센서(1430)는 외부 물질로부터 방사된 적외선이 적외선 센서(1430) 내의 강유전체의 분극을 변화시켜 외부 자유 전하를 발생시킴으로써 외부 물질을 감지한다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)가 4개의 선반을 포함하는 경우, 적외선 센서(1430)도 내부 공간에 4개가 배치될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 제 1 높이에 위치하는 제 1 선반에 제 1 적외선 센서가 배치되고, 제 2 높이에 위치하는 제 2 선반에 제 2 적외선 센서가 배치되고, 제 3 높이에 위치하는 제 3 선반에 제 3 적외선 센서가 배치되고, 제 4 높이에 위치하는 제 4 선반에 제 4 적외선 센서가 배치될 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)가 제 1 높이에 위치하는 제 1 선반에 삽입되는 경우 제 1 선반에 배치된 제 1 적외선 센서에서 측정되는 센서 값이 크게 변화할 수 있고, 트레이(1001)가 제 2 높이에 위치하는 제 2 선반에 삽입되는 경우, 제 2 선반에 배치된 제 2 적외선 센서에서 측정되는 센서 값이 크게 변화할 수 있다.
단계 S810 내지 단계 S830은 모두 수행될 수도 있고, 일부 단계만 수행될 수도 있다. 예를 들어, 가전 장치(1000)가 무게 감지 센서(1420) 및 적외선 센서(1430)를 포함하지 않고, 깊이 센서(1410)만 포함하는 경우, 가전 장치(1000)는 단계 S820 및 단계 S830은 생략할 수 있다.
단계 S840에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 적어도 하나의 센서로부터 획득되는 정보에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다.
본 개시의 일 실시예에 의하면 가전 장치(1000)는, 깊이 센서(1410)로부터 획득된 천장과 트레이(1001) 간의 간격에 관한 정보에 기초하여, 트레이(1001)가 삽입된 높이를 결정할 수 있다. 예를 들어, 가전 장치(1000)는, 천장과 트레이(1001) 간의 간격이 제 1 임계 범위 사이인 경우, 트레이(1001)가 제 1 높이의 선반에 삽입되어 있다고 판단하고, 천장과 트레이(1001) 간의 간격이 제 2 임계 범위 사이인 경우, 트레이(1001)가 제 2 높이의 선반에 삽입되어 있다고 판단할 수 있다. 즉, 가전 장치(1000)는 천장과 트레이(1001) 간의 간격이 줄어들수록 트레이(1001)가 삽입된 높이가 높다고 판단하고, 천장과 트레이(1001) 간의 간격이 늘어날수록 트레이(1001)가 삽입된 높이가 낮다고 판단할 수 있다.
본 개시의 일 실시예에 의하면 가전 장치(1000)는, 무게 감지 센서(1420)로부터 획득되는 무게 정보에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 가전 장치(1000)는, 제 1 선반에 배치된 제 1 무게 감지 센서에서 측정되는 무게 값이 증가한 경우, 트레이(1001)가 제 1 높이에 위치하는 제 1 선반에 삽입되었다고 판단하고, 제 2 선반에 배치된 제 2 무게 감지 센서에서 측정되는 무게 값이 증가한 경우, 트레이(1001)가 제 2 높이에 위치하는 제 2 선반에 삽입되었다고 판단할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 적외선 센서(1430)로부터 획득되는 적외선 센서 정보에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 예를 들어, 제 1 선반에 배치된 제 1 적외선 센서에서 측정되는 센서 값이 크게 변화하는 경우(또는, 제 1 적외선 센서가 트레이(1001)를 감지한 경우), 가전 장치(1000)는 제 1 선반에 트레이(1001)가 삽입되었다고 판단할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 깊이 센서(1410)로부터 획득된 천장과 트레이(1001) 간의 간격에 관한 정보, 무게 감지 센서(1420)로부터 획득되는 무게 정보, 적외선 센서(1430)로부터 획득되는 적외선 센서 정보를 종합적으로 이용해서, 트레이(1001)가 삽입된 높이를 식별할 수도 있고, 일부 정보를 이용해서 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 한편, 가전 장치(1000)가 깊이 센서(1410), 무게 감지 센서(1420), 적외선 센서(1430) 중 적어도 하나를 이용하는 경우, 별도의 마커 없이도 트레이(1001)가 삽입된 높이를 정확히 식별할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 깊이 센서(1410)로부터 획득된 천장과 트레이(1001) 간의 간격에 관한 정보, 무게 감지 센서(1420)로부터 획득되는 무게 정보, 적외선 센서(1430)로부터 획득되는 적외선 센서 정보 중 적어도 하나와 카메라(1100)를 통해 획득된 제 1 영상을 분석한 정보를 이용하여, 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)가 카메라(1100)를 통해 획득된 제 1 영상을 분석한 정보 이외에 적어도 하나의 센서에서 측정되는 정보를 추가로 이용하는 경우, 가전 장치(1000)는 트레이(1001)가 삽입된 높이를 보다 정확히 식별할 수 있다.
이하에서는 가전 장치(1000)가 식별한 트레이(1001)의 높이에 따라 내부 공간의 영상 촬영과 관련된 설정 값을 조절하는 방법에 대해서 자세히 살펴보기로 한다.
도 9는 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 내부 공간의 조명 밝기 값을 조절하는 방법을 설명하기 위한 순서도이다.
단계 S910에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 카메라(1100)를 통해 트레이(1001)를 포함하는 제 1 영상을 획득할 수 있다. 여기서 제 1 영상은 트레이(1001)가 삽입된 높이를 파악하기 위한 초기 영상일 수 있다. 단계 S910은 도 4의 단계 S410에 대응되므로 구체적인 설명은 생략하기로 한다.
단계 S920에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 제 1 영상을 이용하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 가전 장치(1000)는 제 1 영상에 대한 에지 검출을 수행하여, 제 1 영상에서 트레이(1001)가 차지하는 면적을 결정하고, 트레이(1001)가 차지하는 면적에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수 있다. 가전 장치(1000)는 제 1 영상에 포함된 마커의 개수에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)는, 제 1 영상을 분석하여 트레이(1001)에 일정한 간격으로 배치된 적어도 둘 이상의 마커들을 추출하고, 추출된 마커들의 간격에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 도 920은 도 4의 단계 S420에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S930에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 내부 공간의 조명 밝기 값을 결정할 수 있다.
본 개시의 일 실시예에 의하면, 조명(1700)은 천장에 위치할 수 있다. 이때, 트레이(1001)가 삽입된 높이가 높아질수록 광량이 늘어서 제 1 영상에서 트레이(1001)가 밝게 보이고, 트레이(1001)가 삽입된 높이가 낮아질수록 광량이 줄어서 제 1 영상에서 트레이(1001)가 어둡게 보일 수 있다. 따라서, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 높아질수록 내부 공간의 조명 밝기 값을 어둡게 결정하고, 트레이(1001)가 삽입된 높이가 낮아질수록 내부 공간의 조명 밝기 값을 밝게 결정하여, 제 1 영상에서 트레이(1001)가 일정한 밝기(예컨대, 800lx)를 유지하도록 할 수 있다.
도 10을 참조하면, 가전 장치(1000)의 메모리(1800)에는, 트레이(1001)의 높이(예컨대, 트레이(1001)가 삽입되는 선반의 높이)와 내부 공간의 조명 밝기 값을 매칭한 밝기 단계 테이블(1010)이 저장되어 있을 수 있다. 이때, 가전 장치(1000)는, 트레이(1001)의 높이에 기초하여 밝기 단계 테이블(1010)에서 내부 공간의 조명 밝기 값을 검색할 수 있다. 밝기 단계 테이블(1010)에 포함된 조명 밝기 값은, 해당 높이에서 트레이(1001)를 인식하기 용이한 밝기(예컨대, 800lx)를 형성할 수 있는 값일 수 있다. 예를 들어, 가전 장치(1000)는, 선반들(1002) 중에서 가장 아래에 위치한 제 1 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우, 밝기 단계 테이블(1010)에 기초하여, 조명 밝기 값을 100%(최대)로 결정할 수 있다. 또한, 가전 장치(1000)는, 제 2 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우 조명 밝기 값을 81%로 결정하고, 제 3 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우 조명 밝기 값을 65%로 결정하고, 제 4 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우 조명 밝기 값을 44%로 결정할 수 있다.
단계 S940에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 결정된 조명 밝기 값에 기초하여, 내부 공간에 배치된 조명(1700)의 밝기를 조절할 수 있다. 예를 들어, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 높아질수록 조명(1700)을 어둡게 하고, 트레이(1001)가 삽입된 높이가 낮아질수록 조명(1700)을 밝게 조절할 수 있다. 도 10을 참조하면, 가전 장치(1000)는 트레이(1001)가 제 1 단의 선반에 삽입된 경우, 조명(1700)의 밝기 세기를 가장 높게(예컨대, 100%) 조절하고, 트레이(1001)가 제 4단의 선반에 삽입된 경우, 조명(1700)의 밝기 세기를 가장 낮게(예컨대, 44%) 조절할 수 있다.
단계 S950에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 카메라(1100)를 통해 트레이(1001)의 내용물을 포함하는 제 2 영상을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 높이에 따라 내부 공간에 설치된 조명(1700)의 밝기가 조절되므로, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 변경되더라도 균일한 밝기의 트레이(1001) 영상을 포함하는 제 2 영상을 획득할 수 있다. 또한. 가전 장치(1000)는 균일한 밝기의 트레이(1001) 영상을 포함하는 제 2 영상을 모니터링 영상으로 사용자에게 제공할 수 있다.
따라서, 조명의 밝기 변화가 없는 일반적인 가전 장치의 경우 높은 선반에 트레이(1001)가 삽입된 경우 음식물이 너무 밝게 보이고 낮은 높이에 트레이(1001)가 삽입된 경우 음식물이 너무 어둡게 보이지만, 본 발명의 일 실시예에 따른 가전 장치(1000)의 경우 트레이(1001)의 높이에 따라 다른 조명 밝기 값이 적용되므로, 트레이(1001)의 높이가 변경되더라도 동일한 밝기의 음식물을 포함하는 모니터링 영상을 사용자에게 제공할 수 있다.
도 11은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 크롭 영역의 사이즈를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S1110에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 카메라(1100)를 통해 트레이(1001)를 포함하는 제 1 영상을 획득할 수 있다. 여기서 제 1 영상은 트레이(1001)가 삽입된 높이를 파악하기 위한 초기 영상일 수 있다. 단계 S1110은 도 4의 단계 S410에 대응되므로 구체적인 설명은 생략하기로 한다.
단계 S1120에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 제 1 영상을 이용하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 가전 장치(1000)는 제 1 영상에 대한 에지 검출을 수행하여, 제 1 영상에서 트레이(1001)가 차지하는 면적을 결정하고, 트레이(1001)가 차지하는 면적에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수 있다. 가전 장치(1000)는 제 1 영상에 포함된 마커의 개수에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)는, 제 1 영상을 분석하여 트레이(1001)에 일정한 간격으로 배치된 적어도 둘 이상의 마커들을 추출하고, 추출된 마커들의 간격에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 단계 S1120은 도 4의 단계 S420에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S1130에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 크롭 영역의 사이즈를 결정할 수 있다. 본 개시에서 크롭은 영상의　바깥　부분을　제거하는　작업을 의미할 수 있으며, 크롭 영역은 영상에서 제거되지 않고 선택된 영역을 의미할 수 있다. 본 개시의 실시예에 의하면, 크롭 영역의 사이즈는 제 1 영상에 포함된 트레이(1001)의 사이즈에 대응될 수 있다.
트레이(1001)가 삽입된 높이가 높아질수록 모니터링 영상에서 트레이(1001)가 차지하는 영역이 증가하므로, 트레이(1001) 위에 놓인 음식물이 크게 보이고, 반대로 트레이(1001)가 삽입된 높이가 낮아질수록 모니터링 영상에서 트레이(1001)가 차지하는 영역이 줄어드므로, 트레이(1001) 위에 놓인 음식물의 크기가 작게 보일 수 있다. 따라서, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이가 달라지더라도 균일한 크기의 트레이(1001)(또는 음식물)를 포함하는 모니터링 영상을 제공하기 위해, 트레이(1001)가 삽입된 높이에 따라 크롭 영역의 사이즈를 조절할 수 있다. 예를 들어, 트레이(1001)가 삽입된 높이가 높아질수록 크롭 영역의 사이즈를 크게 하고, 트레이(1001)가 삽입된 높이가 낮아질수록 크롭 영역의 사이즈를 작게 할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 트레이(1001)가 삽입된 높이를 메모리(1800)에 기 저장된 크롭 테이블과 비교하여, 크롭 영역의 사이즈를 결정할 수 있다. 예를 들어, 도 12a를 참조하면, 가전 장치(1000)의 메모리(1800)에는, 트레이(1001)의 높이(예컨대, 트레이(1001)가 삽입되는 선반의 높이)와 크롭 영역의 사이즈를 매칭한 크롭 테이블(1210)이 저장되어 있을 수 있다. 이때, 가전 장치(1000)는, 트레이(1001)의 높이에 기초하여 크롭 테이블(1210)에서 크롭 영역의 사이즈를 검색할 수 있다. 크롭 테이블(1210)에 포함된 크롭 영역의 면적 및 비율은 제 1 영상에서 트레이(1001)가 차지하는 면적 및 비율에 대응될 수 있다. 예를 들어, 크롭 테이블(1210)은 도 5의 면적 테이블(500)에 대응될 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 선반들(1002) 중에서 가장 아래에 위치한 제 1 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우, 크롭 테이블(1210)에 기초하여, 크롭 영역의 사이즈를 제 1 사이즈(예컨대, 100-120cm2)로 결정할 수 있다. 또한, 가전 장치(1000)는, 제 2 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우 크롭 영역의 사이즈를 제 2 사이즈(예컨대, 140-170 cm2)로 결정하고, 제 3 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우 크롭 영역의 사이즈를 제 3 사이즈(예컨대, 180-250cm2)로 결정하고, 제 4 단의 선반에 트레이(1001)가 삽입된 것으로 식별한 경우 크롭 영역의 사이즈를 제 4 사이즈(예컨대, 280 cm2)로 결정할 수 있다.
또한, 크롭 테이블(1210)에는 크롭 영역의 비율이 정의되어 있을 수도 있다. 예를 들어, 크롭 테이블(1210)에는 제 1 높이(1단)의 선반에 삽입된 트레이(1001)가 제 1 영상에서 차지하는 제 1 면적이 크롭 영역의 기준 사이즈로 정의되어 있을 수 있다. 그리고 크롭 테이블(1210)에는 제 1 단의 높이에 대응되는 크롭 영역의 사이즈는 기준 사이즈의 1배, 제 2 단의 높이에 대응되는 크롭 영역의 사이즈는 기준 사이즈의 1.2배, 제 3 단의 높이에 대응되는 크롭 영역의 사이즈는 기준 사이즈의 1.3배, 제 4 단의 높이에 대응되는 크롭 영역의 사이즈는 기준 사이즈의 1.4배로 정의되어 있을 수 있다. 크롭 테이블(1210)에 포함된 크롭 영역의 사이즈는 실험 결과에 기반한 것일 수 있으며, AI 모델을 통해 추론된 값일 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 크롭 테이블(1210)에 기초하여, 제 1 단의 선반에 트레이(1001)가 삽입된 경우, 크롭 영역의 사이즈를 기준 사이즈로 결정하고, 제 2 단의 선반에 트레이(1001)가 삽입된 경우, 크롭 영역의 사이즈를 기준 사이즈의 1.2배로 결정하고, 제 3 단의 선반에 트레이(1001)가 삽입된 경우, 크롭 영역의 사이즈를 기준 사이즈의 1.3배로 결정하고, 제 4 단의 선반에 트레이(1001)가 삽입된 경우, 크롭 영역의 사이즈를 기준 사이즈의 1.4배로 결정할 수 있다.
단계 S1140에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 결정된 크롭 영역의 사이즈에 기초하여 제 1 영상에서 일부 주변 영역을 잘라내어 제 2 영상을 획득할 수 있다. 본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 높이에 비례해서 크롭 영역의 사이즈가 결정되므로, 트레이(1001)가 삽입된 높이가 달라지더라도 제 2 영상에서 트레이(1001)(또는, 음식물)가 차지하는 비율이 일정할 수 있다.
도 12b를 참조하면, 가전 장치(1000)는, 제 1 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-1 영상(1201)을 획득할 수 있다. 이때, 가전 장치(1000)는 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 1 사이즈(100-120 cm2)로 결정할 수 있다. 가전 장치(1000)는 제 1 사이즈에 기초하여, 제 1-1 영상(1201)에서 제 1 크롭 영역(1211)을 결정할 수 있다. 이때, 가전 장치(1000)는, 제 1-1 영상(1201)에서 제 1 크롭 영역(1211) 이외의 부분을 제거한 후, 제 1 크롭 영역(1211)을 일정 비율로 확대함으로써, 제 2-1 영상(1221)을 획득할 수 있다.
또한, 가전 장치(1000)는, 제 2 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-2 영상(1202)을 획득한 경우, 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 2 사이즈(140-170 cm2)로 결정할 수 있다. 가전 장치(1000)는 제 2 사이즈에 기초하여, 제 1-2 영상(1202)에서 제 2 크롭 영역(1212)을 결정하고, 제 2 크롭 영역(1212)을 일정 비율로 확대함으로써, 제 2-2 영상(1222)을 획득할 수 있다.
가전 장치(1000)는, 제 3 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-3 영상(1203)을 획득한 경우, 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 3 사이즈(180-250cm2)로 결정할 수 있다. 가전 장치(1000)는 제 3 사이즈에 기초하여, 제 1-3 영상(1203)에서 제 3 크롭 영역(1213)을 결정하고, 제 3 크롭 영역(1213)을 일정 비율로 확대함으로써, 제 2-3 영상(1223)을 획득할 수 있다.
가전 장치(1000)는, 제 4 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-4 영상(1204)을 획득한 경우, 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 4 사이즈(280cm2)로 결정할 수 있다. 가전 장치(1000)는 제 4 사이즈에 기초하여, 제 1-4 영상(1204)에서 제 4 크롭 영역(1214)을 결정하고, 제 4 크롭 영역(1214)을 일정 비율로 확대함으로써, 제 2-4 영상(1224)을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 제 2-1 영상(1221), 제 2-2 영상(1222), 제 2-3 영상(1223), 제 2-4 영상(1224)은 모니터링 영상으로서 가전 장치(1000)의 디스플레이부를 통해 출력될 수 있다. 이때, 제 2-1 영상(1221), 제 2-2 영상(1222), 제 2-3 영상(1223), 제 2-4 영상(1224)에서는 트레이(1001) 위에 놓인 음식물이 일정한 크기로 나타날 수 있다. 따라서, 본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 높이가 달라지더라도 모니터링 영상에 나타나는 음식물의 사이즈가 일정하여, 사용자가 음식물의 조리 상태를 용이하게 확인할 수 있다.
도 13은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 카메라의 왜곡 보정 값을 결정하는 방법을 설명하기 위한 순서도이다.
단계 S1310에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 카메라(1100)를 통해 트레이(1001)를 포함하는 제 1 영상을 획득할 수 있다. 여기서 제 1 영상은 트레이(1001)가 삽입된 높이를 파악하기 위한 초기 영상일 수 있다. 단계 S1310은 도 4의 단계 S410에 대응되므로 구체적인 설명은 생략하기로 한다.
단계 S1320에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 제 1 영상을 이용하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 예를 들어, 가전 장치(1000)는 제 1 영상에 대한 에지 검출을 수행하여, 제 1 영상에서 트레이(1001)가 차지하는 면적을 결정하고, 트레이(1001)가 차지하는 면적에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수 있다. 가전 장치(1000)는 제 1 영상에 포함된 마커의 개수에 기초하여 트레이(1001)가 삽입된 높이를 식별할 수도 있다. 가전 장치(1000)는, 제 1 영상을 분석하여 트레이(1001)에 일정한 간격으로 배치된 적어도 둘 이상의 마커들을 추출하고, 추출된 마커들의 간격에 기초하여, 트레이(1001)가 삽입된 높이를 식별할 수 있다. 단계 S1320은 도 4의 단계 S420에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S1330에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 카메라(1100)의 왜곡 보정 값을 결정할 수 있다.
카메라(1100)가 광각 카메라인 경우, 제 1 영상에서 광각 렌즈에 의한 왜곡이 발생할 수 있다. 예를 들어, 도 14a를 참조하면, 광각 카메라는 피사체와의 촬영 거리를 짧게 하면 중앙 부위가 커지고 도드라지는 배럴 왜곡(Barrel Distortion, 1411)이 생길 수 있고, 반대로 피사체와의 촬영 거리가 멀어지면 중간이 쏙 들어간 형태의 핀쿠션 왜곡(pincushion Distortion, 1412)이 생길 수 있다. 가전 장치(1000)의 내부 공간의 경우, 카메라(1100)와 트레이(1001)와의 거리가 멀지 않으므로, 핀쿠션 왜곡(1412)보다는 배럴 왜곡(1411)이 발생하게 된다. 한편, 카메라(1100)가 내부 공간의 천장에 배치되어 있으므로, 트레이(1001)가 삽입된 높이가 높아질수록 카메라(1100)와 트레이(1001) 간의 거리가 가까워져서 제 1 영상에서 배럴 왜곡(1411)에 의한 왜곡 값(ΔH)이 증가할 수 있다.
따라서, 도 14b를 참조하면, 가전 장치(1000)는 트레이(1001)가 삽입된 높이가 높아질수록 왜곡 보정 값(왜곡 계수라고도 함)을 높게 결정하고, 트레이(1001)가 삽입된 높이가 낮아질수록 왜곡 보정 값을 낮게 결정할 수 있다. 여기서, 왜곡 보정 값은 제 1 영상에서 나타나는 왜곡 값(ΔH)을 상쇄하기 위한 값일 수 있다. 왜곡 보정 값은 실험 결과에 기반한 것일 수 있으며, 인공지능 모델(AI 모델)을 통해 추론된 값일 수도 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 메모리(1800)에 기 저장된 왜곡 보정 테이블을 이용하여 트레이(1001)의 높이에 따른 왜곡 보정 값을 결정할 수 있다. 왜곡 보정 테이블은 트레이(1001)의 높이와 왜곡 보정 값을 매칭한 테이블일 수 있다. 예를 들어, 가전 장치(1000)는, 제 1 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-1 영상(1401)을 획득한 경우, 제 1 단의 높이에 대응하는 제 1 왜곡 보정 값을 결정하고, 제 2 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-2 영상(1402)을 획득한 경우, 제 2 단의 높이에 대응하는 제 2 왜곡 보정 값을 결정하고, 제 3 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-3 영상(1403)을 획득한 경우, 제 3 단의 높이에 대응하는 제 3 왜곡 보정 값을 결정하고, 제 4 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-4 영상(1404)을 획득한 경우, 제 4 단의 높이에 대응하는 제 4 왜곡 보정 값을 결정할 수 있다. 이때, 제 1 왜곡 보정 값보다는 제 2 왜곡 보정 값이 크고, 제 2 왜곡 보정 값보다는 제 3 왜곡 보정 값이 크고, 제 3 왜곡 보정 값보다는 제 4 왜곡 보정값이 클 수 있다.
단계 S1340에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 결정된 왜곡 보정 값을 제 1 영상에 적용하여, 제 2 영상을 획득할 수 있다. 예를 들어, 가전 장치(1000)는 왜곡 보정 값에 기초하여 제 1 영상을 후처리함으로써, 제 2 영상을 획득할 수 있다. 이때, 가전 장치(1000)는, 제 1 영상에서 왜곡이 증가하면 할수록 더 큰 왜곡 보정 값을 제 1 영상에 적용하여 제 2 영상을 획득하게 되므로, 트레이(1001)의 높이가 달라지더라도 일정한 형태의 모니터링 영상(예컨대, 왜곡이 거의 상쇄된 영상)을 획득할 수 있다.
도 15a 및 15b는 본 개시의 일 실시예에 따른 가전 장치가 카메라의 왜곡 보정 값을 적용하는 동작을 설명하기 위한 도면이다.
도 15a를 참조하면, 가전 장치(1000)는 트레이(1001)를 포함하는 제 1 영상(1501)을 획득할 수 있다. 제 1 영상(1501)은 배럴 왜곡을 포함하는 왜곡 이미지일 수 있다. 가전 장치(1000)는 트레이(1001)가 삽입된 높이를 식별하고, 기 저장된 왜곡 보정 테이블을 이용하여, 트레이(1001)가 삽입된 높이에 대응하는 왜곡 보정 값(1502)을 결정할 수 있다. 그리고 가전 장치(1000)는 제 1 영상(1501)에 왜곡 보정 값(1502)을 적용하여 후처리함으로써, 제 2 영상(1503)을 획득할 수 있다. 제 2 영상(1503)은 왜곡이 상쇄된 보정 이미지일 수 있다.
도 15b를 참조하면, 가전 장치(1000)는, 제 1 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-1 영상(1511)을 획득한 경우, 제 1 단의 높이에 대응하는 제 1 왜곡 보정 값(1521)을 결정하고, 제 1 왜곡 보정 값(1521)을 제 1-1 영상(1511)에 적용하여 제 2-1 영상(1531)을 획득할 수 있다.
가전 장치(1000)는, 제 2 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-2 영상(1512)을 획득한 경우, 제 2 단의 높이에 대응하는 제 2 왜곡 보정 값(1522)을 결정하고, 제 2 왜곡 보정 값(1522)을 제 1-2 영상(1512)에 적용하여 제 2-2 영상(1532)을 획득할 수 있다.
가전 장치(1000)는, 제 3 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-3 영상(1513)을 획득한 경우, 제 3 단의 높이에 대응하는 제 3 왜곡 보정 값(1523)을 결정하고, 제 3 왜곡 보정 값(1523)을 제 1-3 영상(1513)에 적용하여 제 2-3 영상(1533)을 획득할 수 있다.
가전 장치(1000)는, 제 4 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-4 영상(1514)을 획득한 경우, 제 4 단의 높이에 대응하는 제 4 왜곡 보정 값(1524)을 결정하고, 제 4 왜곡 보정 값(1524)을 제 1-4 영상(1514)에 적용하여 제 2-4 영상(1534)을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 제 2-1 영상(1531), 제 2-2 영상(1532), 제 2-3 영상(1533), 제 2-4 영상(1534)은 모니터링 영상으로서 가전 장치(1000)의 디스플레이부를 통해 출력될 수 있다. 이때, 제 2-1 영상(1531), 제 2-2 영상(1532), 제 2-3 영상(1533), 제 2-4 영상(1534)에서는 트레이(1001) 위에 놓인 음식물이 왜곡이 보정된 형태로 나타날 수 있다. 따라서, 본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 높이가 달라지더라도 모니터링 영상에 나타나는 음식물의 형태가 일정하여, 사용자가 음식물의 조리 상태를 용이하게 확인할 수 있다.
또한, 가전 장치(1000)는 제 2-1 영상(1531), 제 2-2 영상(1532), 제 2-3 영상(1533), 제 2-4 영상(1534)으로부터 트레이(1001) 위에 놓인 식재료를 인식하고, 식재료에 맞는 레시피 정보를 제공할 수 있다. 이때, 제 2-1 영상(1531), 제 2-2 영상(1532), 제 2-3 영상(1533), 제 2-4 영상(1534)에서는 트레이(1001) 위에 놓인 식재료의 왜곡이 보정된 형태로 나타나므로, 가전 장치(1000)의 식재료 인식률이 높아질 수 있다.
도 16은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 크롭 영역의 사이즈 및 왜곡 보정 값을 조절하는 동작을 설명하기 위한 도면이다.
도 16을 참조하면, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라 크롭 영역의 사이즈와 왜곡 보정 값을 결정할 수 있다. 예를 들어, 가전 장치(1000)는 크롭 테이블 및 왜곡 보정 테이블을 이용하여 크롭 영역의 사이즈와 왜곡 보정 값을 결정할 수 있다. 그리고 가전 장치(1000)는, 카메라(1100)를 통해 가전 장치(1000)의 내부 공간에 대한 제 1 영상을 획득하는 경우, 크롭 영역의 사이즈 및 왜곡 보정 값을 제 1 영상에 적용하여(단계 S1610) 제 2 영상을 획득할 수 있다.
예를 들어, 가전 장치(1000)는, 제 1 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-1 영상(1601)을 획득할 수 있다. 이때, 가전 장치(1000)는 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 1 사이즈(100-120 cm2)로 결정하고, 왜곡 보정 값을 제 1 왜곡 보정 값으로 결정할 수 있다. 가전 장치(1000)는 제 1 사이즈 및 제 1 왜곡 보정 값에 기초하여, 제 1-1 영상(1601)에서 제 1 크롭 영역(1611)을 결정하고, 제 1 크롭 영역(1611)에 대한 왜곡 보정을 수행할 수 있다. 이때, 가전 장치(1000)는, 제 1-1 영상(1601)에서 제 1 크롭 영역(1611) 이외의 부분을 제거한 후, 제 1 크롭 영역(1611)을 일정 비율로 확대하고, 제 1 크롭 영역(1611)의 왜곡을 보정함으로써, 제 2-1 영상(1621)을 획득할 수 있다.
또한, 가전 장치(1000)는, 제 2 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-2 영상(1602)을 획득한 경우, 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 2 사이즈(140-170 cm2)로 결정하고, 왜곡 보정 값을 제 2 왜곡 보정 값으로 결정할 수 있다. 이때, 제 2 왜곡 보정 값은 제 1 왜곡 보정 값보다 클 수 있다. 가전 장치(1000)는 제 2 사이즈 및 제 2 왜곡 보정 값에 기초하여, 제 1-2 영상(1602)에서 제 2 크롭 영역(1612)을 결정하고, 제 2 크롭 영역(1612)을 일정 비율로 확대하고, 제 2 크롭 영역(1612)에 대한 왜곡 보정을 수행함으로써, 제 2-2 영상(1622)을 획득할 수 있다.
가전 장치(1000)는, 제 3 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-3 영상(1203)을 획득한 경우, 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 3 사이즈(180-250cm2)로 결정하고, 왜곡 보정 값을 제 3 왜곡 보정 값으로 결정할 수 있다. 이때, 제 3 왜곡 보정 값은 제 2 왜곡 보정 값보다 클 수 있다. 가전 장치(1000)는 제 3 사이즈 및 제 3 왜곡 보정 값에 기초하여, 제 1-3 영상(1603)에서 제 3 크롭 영역(1613)을 결정하고, 제 3 크롭 영역(1613)을 일정 비율로 확대하고, 제 3 크롭 영역(1613)에 대한 왜곡 보정을 수행함으로써, 제 2-3 영상(1623)을 획득할 수 있다.
가전 장치(1000)는, 제 4 단의 선반에 삽입된 트레이(1001)를 포함하는 제 1-4 영상(1604)을 획득한 경우, 트레이(1001)의 높이에 기초하여, 크롭 영역의 사이즈를 제 4 사이즈(280cm2)로 결하고, 왜곡 보정 값을 제 4 왜곡 보정 값으로 결정할 수 있다. 이때, 제 4 왜곡 보정 값은 제 3 왜곡 보정 값보다 클 수 있다. 가전 장치(1000)는 제 4 사이즈 및 제 4 왜곡 보정 값에 기초하여, 제 1-4 영상(1604)에서 제 4 크롭 영역(1614)을 결정하고, 제 4 크롭 영역(1614)을 일정 비율로 확대하고, 제 4 크롭 영역(1614)에 대한 왜곡 보정을 수행함으로써, 제 2-4 영상(1624)을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 제 2-1 영상(1621), 제 2-2 영상(1622), 제 2-3 영상(1623), 제 2-4 영상(1624)은 모니터링 영상으로서 가전 장치(1000)의 디스플레이부를 통해 출력될 수 있다. 이때, 제 2-1 영상(1621), 제 2-2 영상(1622), 제 2-3 영상(1623), 제 2-4 영상(1624)에서는 트레이(1001) 위에 놓인 음식물이 일정한 크기와 형태로 나타날 수 있다. 따라서, 본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 높이가 달라지더라도 모니터링 영상에 나타나는 음식물의 사이즈 및 형태가 일정하여, 사용자가 음식물의 조리 상태를 용이하게 확인할 수 있다.
또한, 가전 장치(1000)는 제 2-1 영상(1621), 제 2-2 영상(1622), 제 2-3 영상(1623), 제 2-4 영상(1624)으로부터 트레이(1001) 위에 놓인 식재료를 인식하고, 식재료에 맞는 레시피 정보를 제공할 수 있다. 이때, 제 2-1 영상(1621), 제 2-2 영상(1622), 제 2-3 영상(1623), 제 2-4 영상(1624)에서는 트레이(1001) 위에 놓인 식재료의 크기가 동일하고, 식재료의 왜곡이 보정된 형태로 나타나므로, 가전 장치(1000)의 식재료 인식률이 높아질 수 있다.
도 17은 본 개시의 일 실시예에 따른 가전 장치가 제 2 영상을 출력하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)의 높이에 따라 결정된 내부 공간의 영상 촬영과 관련된 설정 값을 적용한 모니터링 영상을 사용자 인터페이스(1600)를 통해서 출력할 수 있다. 예를 들어, 가전 장치(1000)는 트레이(1001)의 높이에 따라 내부 조명(1700)의 밝기를 조절하고, 트레이(1001)의 높이에 따라 크롭 영역의 사이즈를 결정하고, 트레이(1001)의 높이에 따라 왜곡 보정 값을 결정한 후 카메라(1100)를 통해 모니터링 영상을 실시간으로 획득할 수 있다. 모니터링 영상에는 내부 공간에 삽입된 트레이(1001)의 영상이 포함될 수 있다. 따라서, 사용자는 모니터링 영상을 통해서 트레이(1001) 위의 놓인 내용물의 상태 변화를 관찰할 수 있다.
예를 들어, 사용자가 빵을 굽기 위해 트레이(1001) 위에 반죽을 올려서 가전 장치(1000) 내부에 삽입하는 경우, 사용자가 트레이(1001) 위에 올려진 반죽의 상태를 모니터링할 수 있도록 가전 장치(1000)는 실시간 모니터링 영상을 출력할 수 있다. 가전 장치(1000)는 동작이 시작될 때부터 동작이 종료될 때까지 트레이(1001) 위에 올려진 내용물을 포함하는 모니터링 영상을 출력할 수 있다. 도 17을 참조하면, 가전 장치(1000)는 반죽의 초기 상태 영상(1701), 반죽의 중간 상태 영상(1702), 반죽의 최종 상태 영상(1703) 등을 출력해줌으로써, 사용자가 반죽의 상태를 용이하게 인지할 수 있도록 해 준다.
한편, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 사용자의 모바일 단말(미도시)을 통해서 모니터링 영상을 출력할 수도 있다. 사용자의 모바일 단말에서 모니터링 영상을 출력하는 동작에 대해서는 도 22 및 도 23을 참조하여 후에 자세히 살펴보기로 한다.
도 18은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 레시피 정보에 포함된 조리 온도의 보정 값을 결정하는 방법을 설명하기 위한 순서도이다. 도 18에서는 가전 장치(1000)가 오븐인 경우를 예로 들어 설명하기로 한다.
단계 S1810에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 제 2 영상으로부터 트레이(1001)에 놓인 식재료를 인식할 수 있다. 식재료는 고기(소고기, 돼지고기, 닭고기, 양고기, 오리 고기 등), 야채(버섯, 브로콜리, 양파, 마늘 등), 생선, 피자, 빵, 쿠키 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 제 2 영상은 트레이(1001)가 삽입된 높이에 따라 결정된 내부 공간의 영상 촬영과 관련된 설정 값을 적용한 영상일 수 있다. 예를 들어, 제 2 영상은 트레이(1001)가 삽입된 높이에 따라 조명(1700)의 밝기를 조절한 후 획득된 영상일 수 있다. 제 2 영상은 트레이(1001)가 삽입된 높이에 따라 결정된 크롭 영역의 사이즈 또는 왜곡 보정 값에 기초하여 후처리된 영상일 수 있다.
본 개시의 일 실시에에 의하면, 가전 장치(1000)는, 제 2 영상과 기 저장된 식재료 영상 목록을 비교하여, 트레이(1001)에 놓인 식재료를 인식할 수도 있고, 객체 인식을 위한 인공지능 모델을 이용하여 제 2 영상에서 식재료를 인식할 수도 있다. 이때, 인공지능 모델의 학습 영상과 유사한 상태의 제 2 영상이 획득되는 경우, 가전 장치(1000)의 객체 인식률이 향상될 수 있다.
예를 들어, 조명(1700)의 밝기가 트레이(1001)의 높이에 관계없이 일정하다면, 트레이(1001)가 제 4 단의 선반에 삽입되었을 때는 식재료가 너무 밝게 인식되고, 트레이(1001)가 제 1 단의 선반에 삽입되었을 때는 식재료가 어둡게 인식되어, 동일한 식재료라도 트레이(1001)의 높이에 따라 다른 식재료로 인식될 수 있다. 또한, 트레이(1001)의 높이에 따라 왜곡이 달라지는 경우, 동일한 식재료라도 트레이(1001)의 높이에 따라 다른 식재료로 인식될 수 있다. 하지만, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)의 높이가 달라지는 경우, 영상 촬영과 관련된 설정 값을 조절하여, 균일한 상태(예컨대, 균일한 밝기, 균일한 크기, 균일한 형태)의 제 2 영상을 획득할 수 있다. 이때, 제 2 영상의 상태는 인공지능 모델의 학습 데이터로 제공된 영상의 상태와 유사할 수 있다. 예를 들어, 제 2 영상에 포함된 식재료의 크기, 왜곡 정도, 밝기가 인공지능 모델의 학습 영상에 포함된 식재료의 크기, 왜곡 정도, 밝기와 유사할 수 있다. 따라서, 가전 장치(1000)는, 트레이(1001)의 높이에 무관하게, 트레이(1001) 위에 놓인 식재료를 잘 인식할 수 있으므로, 가전 장치(1000)의 식재료 인식률이 향상될 수 있다.
단계 S1820에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 식재료에 맞는 레시피 정보를 사용자 인터페이스(1600)를 통해 제공할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 식재료와 레시피 정보를 매칭한 레시피 테이블을 메모리(1800)에 저장할 수 있다. 레시피 테이블에는, 식재료의 종류, 식재료의 중량, 조리 방법, 조리 온도, 조리 모드, 조리 시간, 트레이(1001)의 종류, 트레이(1001)의 높이 등이 정의되어 있을 수 있으나, 이에 한정되는 것은 아니다.
가전 장치(1000)는 인공지능 모델을 통해서 트레이(1001) 위에 올려진 식재료를 인식하게 되는 경우, 레시피 테이블에서 식재료에 맞는 레시피 정보를 검색할 수 있다. 그리고 가전 장치(1000)는 검색된 레시피 정보를 사용자 인터페이스(1600)를 통해 사용자에게 제공할 수 있다. 예를 들어, 트레이(1001) 위에 올려진 식재료가 스콘(scones)인 경우, 가전 장치(1000)는, 제 2 영상으로부터 스콘을 인식하고, 스콘에 맞는 제 1 레시피 정보를 레시피 테이블에서 검색할 수 있다. 그리고 가전 장치(1000)는 스콘에 맞는 제 1 레시피 정보(예컨대, 조리 온도: 180-190, 시간: 30-35)를 제공할 수 있다. 이때, 사용자가 시작 버튼을 누르는 경우, 가전 장치(1000)는 레시피 정보(예컨대, 조리 온도: 180-190, 시간: 30-35)에 따라 스콘을 조리할 수 있다. 따라서, 본 개시의 일 실시예에 의하면, 가전 장치(1000)가 식재료를 자동으로 인식해서 식재료에 맞는 레시피 정보를 제공하므로, 사용자가 별도로 조리 온도나 조리 시간을 설정할 필요가 없어 사용자 편의성이 향상될 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 레시피 정보와 함께 인식된 식재료에 관한 정보를 출력할 수도 있다. 예를 들어, 가전 장치(1000)가 트레이(1001) 위에 올려진 스콘을 인식한 경우, 가전 장치(1000)는 스콘의 아이콘을 디스플레이부에 표시할 수 있다.
단계 S1830에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 레시피 정보에 포함된 조리 온도의 보정 값을 결정할 수 있다.
본 개시의 일 실시예에 의하면, 트레이(1001)가 삽입된 실제 높이와 레시피 정보에 정의된 트레이(1001)의 높이가 상이한 경우, 가전 장치(1000)는 레시피 정보에 정의된 조리 온도의 보정 값을 결정할 수 있다. 예를 들어, 레시피 정보에 정의된 트레이(1001)의 높이보다 실제 트레이(1001)가 삽입된 높이가 높은 경우 조리 온도를 낮게 보정할 수 있고, 레시피 정보에 정의된 트레이(1001)의 높이보다 실제 트레이(1001)가 삽입된 높이가 낮은 경우 조리 온도를 높게 보정할 수 있다. 예컨대, 레시피 정보에는 제 3 단의 선반에 트레이(1001)가 삽입되었을 때의 제 1 조리 온도가 정의되어 있으나, 실제로는 트레이(1001)가 제 3 단보다 낮은 제 1 단의 선반에 삽입된 경우, 가전 장치(1000)는, 레시피 정보에 포함된 제 1 조리 온도를 제 1 단의 선반에 삽입된 트레이(1001)에 맞는 제 2 조리 온도로 보정할 수 있다. 이때, 제 2 조리 온도는 제 1 조리 온도보다 높은 온도일 수 있다.
본 개시의 일 실시예에 의하면, 조리 온도의 보정 값은, 실험 결과에 기반한 것일 수 있으며, 인공지능 모델(AI 모델)을 통해 추론된 값일 수도 있다. 조리 온도의 보정 값은 가전 장치(1000)의 메모리(1800)에 미리 저장되어 있을 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)가 삽입된 높이에 따라, 레시피 정보에 포함된 조리 시간의 보정 값을 결정할 수도 있다. 예를 들어, 레시피 정보에는 제 3 단의 선반에 트레이(1001)가 삽입되었을 때의 제 1 조리 시간이 정의되어 있으나, 실제로는 트레이(1001)가 제 1 단의 선반에 삽입된 경우, 가전 장치(1000)는, 레시피 정보에 포함된 제 1 조리 시간을 제 1 단의 선반에 삽입된 트레이(1001)에 맞는 제 2 조리 시간으로 보정할 수 있다.
단계 S1840에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 결정된 조리 온도의 보정 값을 사용자 인터페이스(1600)를 통해 제공할 수 있다. 가전 장치(1000)는 조리 온도의 보정 값을 디스플레이부를 통해 출력할 수도 있고, 조리 온도의 보정 값을 스피커를 통해 음성으로 출력할 수도 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 식재료에 맞는 기본 레시피 정보와 조리 온도의 보정 값을 포함하는 보정 레시피 정보를 함께 표시할 수 있다. 본 개시의 다른 실시예에 의하면, 가전 장치(1000)는, 식재료에 맞는 기본 레시피 정보 대신에 조리 온도의 보정 값을 포함하는 보정 레시피 정보를 표시할 수도 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)가 기본 레시피 정보와 보정 레시피 정보를 함께 표시하는 경우, 사용자는 기본 레시피 정보와 보정 레시피 정보 중에서 하나를 선택할 수 있다. 예를 들어, 사용자가 기본 레시피 정보를 선택한 후 시작 버튼을 누르는 경우, 가전 장치(1000)는 기본 레시피 정보에 포함된 기본 온도에 따라 조리를 시작할 수 있다. 사용자가 보정 레시피 정보를 선택한 후 시작 버튼을 누르는 경우, 가전 장치(1000)는 보정 레시피 정보에 포함된 보정 온도에 따라 조리를 시작할 수 있다.
도 19는 본 개시의 일 실시예에 따른 가전 장치가 식재료에 맞는 레시피 정보를 제공하는 동작을 설명하기 위한 도면이다. 도 19에서는 가전 장치(1000)가 오븐인 경우를 예로 들어 설명하기로 한다.
도 19를 참조하면, 사용자는 가전 장치(1000)의 도어를 열어 닭고기를 올려 놓은 트레이(1001)를 제 3 단의 선반에 삽입한 후 가전 장치(1000)의 도어를 닫을 수 있다. 이때, 가전 장치(1000)는 도 5 내지 도 8에 설명한 방식 중 하나를 이용하여 트레이(1001)가 삽입된 높이를 파악할 수 있다. 그리고 가전 장치(1000)는 트레이(1001)가 삽입된 높이에 따라 결정된 내부 공간의 영상 촬영과 관련된 설정 값을 적용하여, 모니터링 영상을 획득할 수 있다. 이때, 가전 장치(1000)는 카메라(1100)를 통해 내부 공간의 영상을 획득하고, 영상을 분석하여 트레이(1001) 위에 놓인 식재료를 식별할 수 있다. 예를 들어, 가전 장치(1000)는 객체 인식을 위한 인공지능 모델을 이용하여 트레이(1001) 위에 놓인 식재료가 닭고기임을 식별할 수 있다.
가전 장치(1000)는 메모리(1800)에 저장된 레시피 테이블(1901)에서 닭고기에 대응하는 기본 레시피 정보(1902)를 획득할 수 있다. 예를 들어, 가전 장치(1000)는, 식재료가 닭고기인 경우, 트레이(1001)가 제 1 단의 선반에 삽입되고, 팬 그릴(Fan Grill) 모드로 동작하고, 조리 온도를 200℃로 설정하고, 조리 시간을 60~80분으로 설정하는 기본 레시피 정보(1902)를 획득할 수 있다. 여기서, 팬 그릴 모드는, 고기나 생선을 구울 때 사용하는 모드로서, 두 개의 상단 가열 요소(two top heating elements)가 팬(fan)에 의해 분산되는 열을 생성하는 모드일 수 있다.
한편, 가전 장치(1000)는, 실제 트레이(1001)가 삽입된 높이와 기본 레시피 정보(1902)에 포함된 트레이(1001)의 높이가 상이한 경우, 기본 레시피 정보(1902)에 포함된 조리 온도의 보정 값을 결정할 수 있다. 예를 들어, 기본 레시피 정보(1902)에는 트레이(1001)가 제 1 단의 선반에 삽입될 때 조리 온도를 200℃로 설정하는 것으로 정의되어 있으나, 트레이(1001)가 실제로는 제 1 단보다 높은 제 3 단의 선반에 삽입된 경우, 가전 장치(1000)는 조리 온도를 200℃에서 180℃로 낮게 보정할 수 있다. 가전 장치(1000)는 천장에 가열 요소를 포함할 수 있으므로, 트레이(1001)의 높이가 기본 레시피 정보에 정의된 높이보다 높아지는 경우 조리 온도를 조절하지 않으면 식재료가 타거나 오버쿡되어 적절하게 조리되지 않을 수 있다.
가전 장치(1000)는 닭고기에 대응하는 기본 레시피 정보와 함께 보정된 조리 온도의 보정 값을 포함하는 보정 레시피 정보를 제공할 수 있다. 이때, 가전 장치(1000)는 식재료가 닭고기임을 표시할 수도 있다. 예를 들어, 가전 장치(1000)는, 식재료의 식별 정보(1910)(예컨대, 식재료 아이콘 이미지), 기본 레시피 정보에 대응하는 제 1 메뉴(1920), 보정 레시피 정보에 대응하는 제 2 메뉴(1930)를 사용자 인터페이스(1600)를 통해 제공할 수 있다. 제 2 메뉴(1930)는 AI 레시피로 표시될 수 있다. 또한, 가전 장치(1000)는, 다른 레시피를 설정하기 위한 제 3 메뉴(1940), 수동으로 조리 시간 및 조리 온도를 설정하기 위한 제 4 메뉴(1950)를 사용자 인터페이스(1600)를 통해서 제공할 수도 있다.
한편, 도 19에서는 가열 요소가 가전 장치(1000)의 내부 공간 상단에 배치된 경우를 예로 들어 설명하였으나, 가열 요소는 가전 장치(1000)의 내부 공간 하단에 배치될 수도 있다. 가전 장치(1000)는, 가열 요소가 내부 공간 하단에 배치된 경우, 가열 요소가 내부 공간 상단에 배치된 경우와 다르게 조리 온도의 보정 값을 결정할 수 있다. 예를 들어, 레시피 정보에는 트레이(1001)가 제 1 단의 선반에 삽입될 때 조리 온도를 200℃로 설정하는 것으로 정의되어 있으나, 트레이(1001)가 실제로는 제 1 단보다 높은 제 3 단의 선반에 삽입된 경우, 가전 장치(1000)는 조리 온도를 200℃에서 220℃로 높게 보정할 수 있다.
도 20은 본 개시의 일 실시예에 따른 가전 장치가 트레이가 삽입된 높이에 따라 조리 온도의 보정 값을 제공하는 동작을 설명하기 위한 도면이다.
도 20의 2010을 참조하면, 사용자가 도 19의 사용자 인터페이스(1600)에 표시된 메뉴들 중에서 제 1 메뉴(1920)를 선택하는 경우, 가전 장치(1000)는 기본 레시피 정보에 따라 조리(예컨대, 로스팅(roasting))를 시작하고, 기본 레시피 정보를 화면에 표시할 수 있다. 예를 들어, 가전 장치(1000)는 트레이(1001) 위에 올려진 식재료가 닭고기이므로, 닭고기 굽기에 대응하는 제 1 조리 온도(200℃)와 제 1 조리 시간(60분)을 표시할 수 있다.
도 20의 2020을 참조하면, 사용자가 도 19의 사용자 인터페이스(1600)에 표시된 메뉴들 중에서 제 2 메뉴(1930)를 선택하는 경우, 가전 장치(1000)는 보정 레시피 정보에 따라 조리(예컨대, 로스팅(roasting))를 시작하고, 보정 레시피 정보를 화면에 표시할 수 있다. 예를 들어, 닭고기에 대응하는 기본 레시피 정보에는 트레이(1001)가 제 1 단의 선반에 삽입될 때의 제 1 조리 온도가 정의되어 있으나, 트레이(1001)가 실제로는 제 1 단보다 높은 제 3 단의 선반에 삽입된 경우, 가전 장치(1000)는 제 1 조리 온도(200℃)를 제 2 조리 온도(180℃)로 낮게 보정할 수 있다. 이때, 가전 장치(1000)는 조리 온도를 낮게 보정하였음으로, 부수적으로 조리 시간을 늘리거나 열풍의 강도를 더 높일 수도 있다. 예를 들어, 가전 장치(1000)는, 제 1 조리 시간(60분)을 제 2 조리 시간(70)으로 변경하거나, 열풍의 강도를 제 1 강도에서 제 2 강도로 조정할 수 있다. 그리고 사용자가 제 2 메뉴(1930)를 선택하는 경우, 가전 장치(1000)는 제 2 조리 온도(180℃) 및 제 2 조리 시간(70분)으로 조리 동작을 수행하고, 디스플레이부를 통해서, 보정 레시피 정보에 따라 조리 중이라는 알림(예컨대, 현재 트레이 위치에 맞게 AI 조리 중입니다) 또는 제 2 조리 온도(180℃) 및 제 2 조리 시간(70분)을 표시할 수 있다.
한편, 본 개시의 일 실시예에 의하면, 실제 트레이(1001)가 삽입된 높이와 기본 레시피 정보에 포함된 트레이(1001)의 높이가 동일한 경우, 가전 장치(1000)는 제 2 메뉴(1930)를 제공하지 않을 수도 있다.
도 20의 2030을 참조하면, 사용자가 도 19의 사용자 인터페이스(1600)에 표시된 메뉴들 중에서 제 3 메뉴(1940)를 선택하는 경우, 가전 장치(1000)는 다른 레시피를 선택할 수 있는 GUI(Graphical User Interface)를 제공할 수 있다. 이때 사용자는 조리 방식을 로스팅(roasting)에서 에어프라이(air frying)로 변경할 수 있다. 또한, 가전 장치(1000)에서 식재료 인식을 잘못한 경우, 사용자는 GUI를 통해서 음식을 변경할 수 있다. 예를 들어, 실제 식재료는 오리 고기였으나, 가전 장치(1000)가 닭고기로 잘못 인식한 경우, 사용자는 GUI를 통해서 닭고기를 오리 고기로 변경할 수 있다. 이 경우, 가전 장치(1000)는 닭고기 아이콘 대신에 오리 고기 아이콘을 표시하고, 오리 고기에 맞는 레시피 정보를 추천할 수 있다.
도 19 및 도 20에서는 실제 트레이(1001)가 삽입된 높이와 기본 레시피 정보에 포함된 트레이(1001)의 높이가 상이한 경우, 가전 장치(1000)가 트레이(100)의 실제 높이에 따라 조리 온도를 보정하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 가전 장치(1000)는, 기본 레시피 정보에 포함된 트레이(1001)의 높이와 실제 트레이(1001)가 삽입된 높이가 다른 경우, 트레이(1001)의 높이를 기본 레시피 정보에 포함된 트레이(1001)의 높이로 변경하라는 알림을 제공할 수도 있다. 예를 들어, 기본 레시피 정보에는 트레이(1001)가 제 1 단의 선반에 삽입될 때의 조리 온도가 정의되어 있으나, 트레이(1001)가 실제로는 제 1 단보다 높은 제 3 단의 선반에 삽입된 경우, 가전 장치(1000)는, 트레이(1001)를 제 1 단에 삽입하라는 알림을 제공할 수도 있다.
도 21은 본 개시의 일 실시예에 따른 가전 장치가 서버 장치와 연동하는 동작을 설명하기 위한 도면이다.
도 21을 참조하면, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 서버 장치(2000) 및 디스플레이 장치(3000)와 연동할 수 있다.
본 개시의 일 실시예에 의하면, 서버 장치(2000)는, 외부의 장치와 통신을 수행하기 위한 통신 인터페이스를 포함할 수 있다. 서버 장치(2000)는 통신 인터페이스를 통해 가전 장치(1000) 또는 디스플레이 장치(3000)와 통신을 수행할 수 있다. 본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 가전 장치(1000)의 식별 정보 또는 사용자의 식별 정보(로그인 정보, 계정 정보)를 서버 장치(2000)로 전송하고, 가전 장치(1000)의 식별 정보 또는 사용자의 식별 정보(로그인 정보, 계정 정보)를 서버 장치(2000)로부터 인증 받음으로써, 서버 장치(2000)에 접근할 수 있다.
본 개시의 일 실시예에 의하면, 서버 장치(2000)는, AI 프로세서를 포함할 수 있다. AI 프로세서는 인공신경망을 학습시켜, 객체(예컨대, 식재료, 식기 등)를 인식하기 위한 인공 지능 모델을 생성할 수 있다. 인공신경망을 ‘학습’시킨다는 것은 데이터를 바탕으로 가중치를 적절히 바꿔주면서 인공신경망을 구성하는 뉴런들의 연결이 최적의 의사결정을 할 수 있는 수학적 모델을 만드는 것을 의미할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(3000)는, 서버 장치(2000)에 연결되며, 서버 장치(2000)에서 제공하는 정보를 표시하는 장치일 수 있다. 본 개시의 일 실시예에 의하면, 디스플레이 장치(3000)는 디스플레이 장치(3000)에 설치된 특정 애플리케이션(예컨대, 가전 기기 관리 애플리케이션)을 통해서 서버 장치(2000)와 정보를 송수신할 수 있다.
본 개시의 일 실시 예에 의하면, 디스플레이 장치(3000)는, 가전 장치(1000)와 동일한 계정 정보로 연결된 장치일 수 있다. 디스플레이 장치(3000)는 가전 장치(1000)와 근거리 무선 통신 채널을 통해서 직접 연결될 수도 있고, 서버 장치(2000)를 통해서 가전 장치(1000)와 간접적으로 연결될 수도 있다.
본 개시의 일 실시예에 따른 디스플레이 장치(3000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 개시에서 기술되는 디스플레이 장치(3000)는 모바일 단말, 디스플레이를 포함하는 냉장고, TV, 컴퓨터 등일 수 있으나, 이에 한정되는 것은 아니다. 또한, 모바일 단말은, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 디지털 카메라, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 모바일 단말은 사용자에 의해 착용될 수 있는 웨어러블 디바이스일 수 있다. 이하에서는, 설명의 편의를 위해, 디스플레이 장치(3000)가 스마트폰인 경우를 예로 들어 설명하기로 한다.
본 개시의 일 실시예에 의하면, 디스플레이 장치(3000) 또는 가전 장치(1000)는, 마이크로폰을 통해 아날로그 신호인 음성 신호를 수신하고, ASR(Automatic Speech Recognition)모델을 이용하여 음성 부분을 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다. 디스플레이 장치(3000) 또는 가전 장치(1000)는 자연어 이해(Natural Language Understanding, NLU) 모델을 이용하여 변환된 텍스트를 해석하여, 사용자의 발화 의도를 획득할 수 있다. 여기서 ASR 모델 또는 NLU 모델은 인공지능 모델일 수 있다. 인공지능 모델은 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서에 의해 처리될 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체(예컨대, 디스플레이 장치(3000) 또는 가전 장치(1000))에서 이루어질 수도 있고, 별도의 서버 장치(2000) 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 개시의 일 실시예에 의하면, 디스플레이 장치(3000)는, 사용자 입력에 기초하여, 서버 장치(2000)에서 제공하는 특정 애플리케이션(예컨대, 가전 기기 관리 애플리케이션)을 실행할 수 있다. 이 경우, 사용자는 애플리케이션의 실행 화면을 통해서 가전 장치(1000) 내부 공간의 모니터링 영상 또는 조리 과정 영상을 확인할 수 있다. 사용자가 서버 장치(2000)에서 제공하는 특정 애플리케이션(예컨대, 가전 기기 관리 애플리케이션)을 이용하여 모니터링 영상 또는 조리 과정 영상을 확인하는 동작에 대해서 도 22 내지 도 23을 참조하여 자세히 살펴보기로 한다.
도 22는 본 개시의 일 실시예에 따른 가전 장치가 서버 장치에 모니터링 영상을 제공하는 동작을 설명하기 위한 도면이다.
단계S2210에서, 본 개시의 일 실시예에 따른 서버 장치(2000)는 디스플레이 장치(3000)를 통해 사용자 입력을 수신할 수 있다. 서버 장치(2000)는 디스플레이 장치(3000)에 설치된 특정 애플리케이션의 실행 화면을 통해서 사용자 입력을 수신할 수 있다. 여기서, 사용자 입력은, 가전 장치(1000) 내부 공간의 모니터링 영상(또는 라이브 화면)을 요청하는 입력, 가전 장치(1000)의 정보를 제공하는 애플리케이션을 실행하는 입력 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 사용자 입력은, 가전 장치(1000)의 조리 과정 영상을 요청하는 입력을 포함할 수 있다. 조리 과정 영상은 조리가 시작되는 시점부터 현재까지의 프레임들 또는 조리가 시작되는 시점부터 조리가 완료되는 시점까지의 프레임들을 포함하는 동영상을 의미할 수 있다. 조리 과정 영상은 저속 촬영 영상(time-lapse video)을 포함할 수도 있다.
단계S2220에서, 본 개시의 일 실시예에 따른 서버 장치(2000)는, 사용자 입력에 기초하여, 모니터링 영상을 가전 장치(1000)에 요청할 수 있다.
본 개시의 일 실시예에 의하면, 서버 장치(2000)는 디스플레이 장치(3000)를 통해 가전 장치(1000)의 모니터링 영상을 요청하는 사용자 입력을 수신한 경우, 가전 장치(1000)에 내부 공간의 모니터링 영상을 요청하는 신호를 전송할 수 있다. 또한, 서버 장치(2000)는 디스플레이 장치(3000)를 통해 조리 과정 영상을 요청하는 사용자 입력을 수신한 경우, 가전 장치(1000)에 조리 과정 영상을 요청하는 신호를 전송할 수 있다.
단계 S2230에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 카메라(1100)를 통해 획득되는 모니터링 영상을 캡쳐할 수 있다. 예를 들어, 카메라(1100)를 통해 획득되는 복수의 프레임 중에서 모니터링 영상을 요청하는 신호가 수신되는 시점에 카메라(1100)에서 획득되는 프레임을 캡쳐할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 조리 과정 영상을 요청하는 신호를 수신한 경우, 일정 시간 간격으로 저장한(또는, 캡쳐한) 프레임들을 연결하여 조리 과정 영상을 저속 촬영 영상(time-lapse video)으로 제작할 수 있다.
단계 S2240에서 가전 장치(1000)는 캡쳐된 모니터링 영상을 서버 장치(2000)로 전송할 수 있다. 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 저속 촬영 영상(time-lapse video)으로 제작한 조리 과정 영상을 서버 장치(2000)로 전송할 수도 있다.
단계 S2250에서, 서버 장치(2000)는 디스플레이 장치(3000)를 통해서 캡쳐된 모니터링 영상을 제공할 수 있다. 예를 들어, 서버 장치(2000)는 디스플레이 장치(3000)에 설치된 애플리케이션의 실행 화면에 모니터링 영상을 라이브 화면으로 표시할 수 있다.
본 개시의 일 실시예에 의하면, 서버 장치(2000)는 저속 촬영 영상(time-lapse video)으로 제작한 조리 과정 영상을 디스플레이 장치(3000)에 설치된 애플리케이션의 실행 화면을 통해 사용자에게 제공할 수도 있다.
한편, 도 22에서는, 가전 장치(1000)가 모니터링 영상을 요청하는 신호를 수신하는 시점에 모니터링 영상을 캡쳐해서 서버 장치(2000)에 전송하는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 가전 장치(1000)는 서버 장치(2000)로부터의 요청이 수신되지 않더라도, 소정 주기로 모니터링 영상을 캡쳐해서 서버 장치(2000)로 전송할 수도 있다.
본 개시의 일 실시예에 의하면, 사용자는 디스플레이 장치(3000)에 설치된 애플리케이션의 실행 화면을 통해서 가전 장치(1000)의 모니터링 영상을 확인함으로써, 가전 장치(1000)의 내부 공간의 이미지 또는 트레이(1001)에 올려진 내용물의 상태를 실시간으로 확인할 수 있다.
도 23은 본 개시의 일 실시예에 따른 서버 장치가 디스플레이 장치를 통해 가전 장치의 모니터링 영상을 제공하는 동작을 설명하기 위한 도면이다. 도 23에서는 가전 장치(1000)가 오븐인 경우를 예로 들어 설명하기로 한다.
도 23을 참조하면, 디스플레이 장치(3000)는 서버 장치(2000)를 통해서 가전 장치(1000)와 연결될 수 있다. 사용자가 디스플레이 장치(3000)에서 애플리케이션을 실행하는 경우, 디스플레이 장치(3000)는 서버 장치(2000)로부터 정보를 수신하여, 애플리케이션 실행 화면에 가전 장치 목록(2300)을 표시할 수 있다. 예를 들어, 디스플레이 장치(3000)는 애플리케이션 실행 화면에 인덕션, 오븐 등을 나타내는 아이콘들의 목록을 표시할 수 있다.
한편, 본 개시의 일 실시예에 의하면, 사용자가 디스플레이 장치(3000)에서 애플리케이션을 실행하는 경우, 서버 장치(2000)는 가전 장치(1000)에 모니터링 영상을 요청할 수 있다. 이때, 가전 장치(1000)는 카메라(1100)를 통해 획득되는 모니터링 영상을 서버 장치(2000)로 전송할 수 있다. 모니터링 영상은, 가전 장치(1000)가 트레이(1001)가 삽입된 높이에 따라 결정된 설정 값(예컨대, 조명 밝기 값, 크롭 영역의 사이즈, 왜곡 보정 값)을 적용하여 획득한 영상일 수 있다. 또한 모니터링 영상은 서버 장치(2000)로부터 요청이 수신된 시점에 획득된 실시간 영상일 수 있다.
서버 장치(2000)는 디스플레이 장치(3000)에 표시된 애플리케이션 실행 화면을 통해서 가전 장치(1000)의 실시간 모니터링 영상(2310)을 제공할 수 있다. 사용자는, 가전 장치(1000)의 내부 공간을 직접 들여다보지 않더라도, 실시간 모니터링 영상(2310)을 통해서 트레이(1001) 위에 놓인 음식물의 상태를 손쉽게 파악할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)에서 조리 동작이 완료된 경우, 가전 장치(1000)는 조리 동작을 완료했다는 알림을 서버 장치(2000)로 전송할 수 있다. 이때, 서버 장치(2000)는, 디스플레이 장치(3000)에 설치된 애플리케이션을 통해서 조리 동작을 완료했다는 알림 메시지(2320)를 출력할 수 있다. 디스플레이 장치(3000)는, 애플리케이션이 실행 중인 경우, 애플리케이션의 실행 화면에 알림 메시지(2320)를 출력할 수 있고, 애플리케이션이 실행 중이 아닌 경우, 디스플레이 장치(3000)의 홈 화면에 알림 메시지(2330)를 표시할 수 있다.
도 24는 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 식기의 종류 또는 식기의 위치에 따라 동작 모드를 결정하는 방법을 설명하기 위한 순서도이다. 도 24에서는 가전 장치(1000)가 식기 세척기인 경우를 예로 들어 설명하기로 한다.
본 개시의 일 실시예에 의하면, 앞선 도 4에서의 단계 S410 내지 단계 S440를 통해, 가전 장치(1000)는 트레이(1001)가 삽입된 높이에 따라 결정된 설정 값에 기초하여, 트레이(1001) 위에 놓인 내용물을 포함하는 제 2 영상을 획득할 수 있다.
단계 S2410에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 제 2 영상에 기초하여, 트레이(1001) 위에 놓인 식기를 감지할 수 있다. 이때, 트레이(1001)는 식기를 올려 놓기 위한 것으로, 가전 장치(1000) 내에 여러 개 포함되어 있을 수 있다. 식기는, 냄비, 프라이팬, 접시, 컵, 그릇(bowl), 숟가락, 젓가락, 국자, 뒤집개 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
제 2 영상은, 식기가 올려진 트레이(1001)의 높이에 따라 결정된 내부 공간의 영상 촬영과 관련된 설정 값을 적용한 영상일 수 있다. 예를 들어, 제 2 영상은 트레이(1001)의 높이에 따라 조명(1700)의 밝기를 조절한 후 획득된 영상일 수 있다. 제 2 영상은 트레이(1001)의 높이에 따라 결정된 크롭 영역의 사이즈 또는 왜곡 보정 값에 기초하여 후처리된 영상일 수 있다.
본 개시의 일 실시에에 의하면, 가전 장치(1000)는, 제 2 영상과 기 저장된 식기 영상 목록을 비교하여, 트레이(1001)에 놓인 식기를 인식할 수도 있고, 객체 인식을 위한 인공지능 모델을 이용하여 제 2 영상에서 식기를 인식할 수도 있다. 이때, 인공지능 모델의 학습 영상과 유사한 상태의 제 2 영상이 획득되는 경우, 가전 장치(1000)의 식기 인식률이 향상될 수 있다.
예를 들어, 조명(1700)의 밝기가 트레이(1001)의 높이에 관계없이 일정하다면, 제 4 단 높이의 트레이(1001)에 놓인 식기는 너무 밝게 인식되고, 제 1 단 높이의 트레이(1001)에 놓인 식기는 어둡게 인식되어, 동일한 식기라도 트레이(1001)의 높이에 따라 다른 식기로 인식될 수 있다. 또한, 트레이(1001)의 높이에 따라 왜곡이 달라지는 경우, 동일한 식기라도 트레이(1001)의 높이에 따라 다른 식기로 인식될 수 있다. 하지만, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)의 높이가 달라지는 경우, 영상 촬영과 관련된 설정 값을 조절하여, 균일한 상태(예컨대, 균일한 밝기, 균일한 크기, 균일한 형태)의 제 2 영상을 획득할 수 있다. 이때, 제 2 영상의 상태는 인공지능 모델의 학습 데이터로 제공된 학습 영상의 상태와 유사할 수 있다. 예를 들어, 제 2 영상에 포함된 식기의 크기, 왜곡 정도, 밝기가 인공지능 모델의 학습 영상에 포함된 식기의 크기, 왜곡 정도, 밝기와 유사할 수 있다. 따라서, 가전 장치(1000)는, 트레이(1001)의 높이에 무관하게, 트레이(1001) 위에 놓인 식기의 종류를 잘 인식할 수 있다.
한편, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는 식기가 놓인 위치를 식별할 수도 있다. 예를 들어, 가전 장치(1000)는, 제 2 영상을 분석하여, 식기가 제 1 단 높이의 제 1 트레이에 놓여있는지, 제 2 단 높이의 제 2 트레이에 놓여있는지 식별할 수 있다. 또한, 가전 장치(1000)는 제 1 트레이 중에서도 일부 영역에만 식기가 놓여져 있는지 전체 영역에 식기가 놓여져 있는지 식별할 수도 있다.
단계 S2420에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 식기의 종류 또는 식기의 위치에 따라, 가전 장치(1000)의 동작 모드를 결정할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 식기의 종류에 대응하는 맞춤 세척 모드를 결정할 수 있다. 예를 들어, 트레이(1001) 위에 놓인 식기의 종류가 접시인 경우, 가전 장치(1000)는 동작 모드를 접시 세척 모드로 결정하고, 트레이(1001) 위에 놓인 식기의 종류가 냄비인 경우, 가전 장치(1000)는 동작 모드를 냄비 세척 모드로 결정할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 식기의 위치에 따라 특정 영역 집중 세척 모드로 동작할 수 있다. 예를 들어, 가전 장치(1000)는, 식기가 제 1 단 높이의 제 1 트레이에 놓여있는 경우, 동작 모드를 제 1 트레이 집중 세척 모드로 결정하고, 식기가 제 2 단 높이의 제 2 트레이에 놓여있는 경우, 동작 모드를 제 2 트레이 집중 세척 모드로 결정할 수 있다.
단계 S2430에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 동작 모드에 기초하여, 소정 기능을 수행할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 식기의 종류에 대응하는 맞춤 세척 모드에 따라 식기 세척 기능을 수행할 수 있다. 예를 들어, 가전 장치(1000)는, 동작 모드가 접시 세척 모드로 결정된 경우, 접시 세척 모드에 따라서 트레이(1001) 위에 놓인 접시를 세척할 수 있다. 또한, 가전 장치(1000)는 동작 모드가 냄비 세척 모드로 결정된 경우, 냄비 세척 모드에 따라 트레이(1001) 위에 놓인 냄비를 세척할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 식기의 위치에 따라 특정 영역 집중 세척 모드로 식기 세척 동작을 수행할 수 있다. 예를 들어, 가전 장치(1000)는, 동작 모드가 제 1 트레이 집중 세척 모드로 결정된 경우, 제 1 트레이에 집중적으로 세제, 물, 바람을 분사할 수 있고, 동작 모드가 제 2 트레이 집중 세척 모드로 결정된 경우, 제 2 트레이에 집중적으로 세제, 물, 바람을 분사할 수 있다.
따라서, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 식기의 종류 또는 식기의 위치에 맞춰 동작함으로써, 식기 세척 기능 및 에너지 효율을 향상시킬 수 있다.
도 25는 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 식기의 종류 또는 식기의 위치에 따라 동작 모드를 결정하는 동작을 설명하기 위한 도면이다. 도 25에서는, 가전 장치(1000)가 식기 세척기(2500)인 경우를 예로 들어 설명하기로 한다.
본 개시의 일 실시예에 의하면, 식기 세척기(2500)는 카메라(1100)를 통해 획득된 모니터링 영상을 분석하여, 식기 및 식기가 놓인 트레이(1001)의 위치를 식별할 수 있다.
도 25의 2510을 참조하면, 식기 세척기(2500)는, 카메라(1100)를 통해 획득된 모니터링 영상을 분석하여, 제 1 트레이(2501), 제 2 트레이(2502), 제 3 트레이(2503) 각각에 식기가 놓인 것을 확인할 수 있다. 가전 장치(1000)는, 제 1 트레이(2501), 제 2 트레이(2502), 제 3 트레이(2503) 모두에 식기가 놓여져 있으며, 식기의 종류가 다양하므로, 동작 모드를 전체 영역 표준 모드로 결정할 수 있다.
도 25의 2520을 참조하면, 식기 세척기(2500)는, 카메라(1100)를 통해 획득된 모니터링 영상을 분석하여, 제 1 트레이(2501)에만 식기들이 놓이 것을 확인할 수 있다. 이때, 식기 세척기(2500)는 동작 모드를 제 1 트레이(2501) 집중 세척 모드로 결정하고, 제 1 트레이(2501)에 집중적으로 세제, 물, 바람을 분사할 수 있다. 또한, 제 1 트레이(2501)에 놓인 식기들이 모두 냄비이므로, 가전 장치(1000)는 냄비 세척 모드로 동작할 수도 있다.
도 26은 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 내용물에 관한 정보를 제공하는 방법을 설명하기 위한 순서도이다. 도 26에서는 가전 장치(1000)가 소형 냉장고인 경우를 예로 들어 설명하기로 한다.
본 개시의 일 실시예에 의하면, 앞선 도 4에서의 단계 S410 내지 단계 S440를 통해, 가전 장치(1000)는 트레이(1001)가 삽입된 높이에 따라 결정된 설정 값에 기초하여, 트레이(1001) 위에 놓인 내용물을 포함하는 제 2 영상을 획득할 수 있다.
단계 S2610에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는 제 2 영상에 기초하여, 트레이(1001) 위에 놓인 내용물의 라벨을 감지할 수 있다. 내용물은 와인, 음료수, 화장품, 건강 기능 식품 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
제 2 영상은 내용물이 올려진 트레이(1001)의 높이에 따라 결정된 내부 공간의 영상 촬영과 관련된 설정 값을 적용한 영상일 수 있다. 예를 들어, 제 2 영상은 트레이(1001)의 높이에 따라 조명(1700)의 밝기를 조절한 후 획득된 영상일 수 있다. 제 2 영상은 트레이(1001)의 높이에 따라 결정된 크롭 영역의 사이즈 또는 왜곡 보정 값에 기초하여 후처리된 영상일 수 있다.
본 개시의 일 실시에에 의하면, 가전 장치(1000)는, 제 2 영상과 기 저장된 객체 목록을 비교하여, 트레이(1001)에 놓인 내용물을 인식할 수도 있고, 객체 인식을 위한 인공지능 모델을 이용하여 제 2 영상에서 내용물을 인식할 수도 있다. 이때, 인공지능 모델의 학습 영상과 유사한 상태의 제 2 영상이 획득되는 경우, 가전 장치(1000)의 객체 인식률이 향상될 수 있다.
예를 들어, 조명(1700)의 밝기가 트레이(1001)의 높이에 관계없이 일정하다면, 제 4 단 높이의 트레이(1001)에 놓인 와인은 너무 밝게 인식되고, 제 1 단 높이의 트레이(1001)에 놓인 와인은 어둡게 인식되어, 동일한 와인이라도 트레이(1001)의 높이에 따라 라벨을 인식하기 어려울 수 있다. 또한, 트레이(1001)의 높이에 따라 왜곡이 달라지는 경우, 동일한 와인이라도 트레이(1001)의 높이에 따라 라벨이 인식되기 어려울 수 있다. 하지만, 본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 트레이(1001)의 높이가 달라지는 경우, 영상 촬영과 관련된 설정 값을 조절하여, 균일한 상태(예컨대, 균일한 밝기, 균일한 크기, 균일한 형태)의 제 2 영상을 획득할 수 있다. 이때, 제 2 영상의 상태는 인공지능 모델의 학습 데이터로 제공된 학습 영상의 상태와 유사할 수 있다. 예를 들어, 제 2 영상에 포함된 내용물(예컨대, 와인)의 크기, 왜곡 정도, 밝기가 인공지능 모델의 학습 영상에 포함된 내용물(예컨대, 와인)의 크기, 왜곡 정도, 밝기와 유사할 수 있다. 따라서, 가전 장치(1000)는, 트레이(1001)의 높이에 무관하게, 트레이(1001) 위에 놓인 내용물의 라벨을 잘 인식할 수 있다.
본 개시의 일 실시예에 의하면, 내용물의 라벨은 상표, 품명, 분류 번호, 취급상 주의 사항, 제품의 크기, 가격 등을 나타내는 텍스트 또는 이미지를 포함할 수 있으나, 이에 한정되는 것은 아니다. 내용물의 라벨은 바코드, 2차원 코드(예컨대, QR 코드: Quick Response Code), 컬러 코드 등을 포함할 수도 있다.
단계 S2620에서, 본 개시의 일 실시예에 따른 가전 장치(1000)는, 내용물의 라벨에 기초하여, 내용물에 관한 정보를 제공할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는, 사용자 인터페이스(1600)를 통해서 내용물에 관한 정보를 제공할 수 있다. 또한, 가전 장치(1000)는, 서버 장치(2000)에 연결된 디스플레이 장치(3000)(예컨대, 모바일 단말)를 통해서 내용물에 관한 정보를 제공할 수 있다.
내용물에 관한 정보는, 내용물의 종류에 따라 다양할 수 있다. 예를 들어, 내용물이 와인인 경우, 내용물에 관한 정보는 품종, 생산국, 도수, 용량, 가격 등을 포함할 수 있고, 내용물이 화장품인 경우, 상품명, 취급상 주의 사항, 제품의 크기, 성분, 가격 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 27은 본 개시의 일 실시예에 따른 가전 장치가 트레이 위에 놓인 내용물에 관한 정보를 제공하는 동작을 설명하기 위한 도면이다. 도 27에서는 가전 장치(1000)가 와인 냉장고(2700)인 경우를 예로 들어 설명하기로 한다.
도 27을 참조하면, 와인 냉장고(2700)는 천장에 카메라(1100)를 포함할 수 있다. 이때, 카메라(1100)는 내부 공간에서 꺼내진 트레이(1001)를 촬영하도록 와인 냉장고(1700)의 도어 쪽에 마련될 수 있다. 본 개시의 일 실시예에 의하면, 와인 냉장고(2700)는 트레이(1001)에 부착된 적어도 하나의 센서를 이용하여, 트레이(1001)가 꺼내지는 것을 인식할 수 있다. 예를 들어, 와인 냉장고(2700)는 트레이(1001)에 부착된 적외선 센서, 모션 센서, 가속도 센서, 조도 센서, 또는 온도 센서를 이용하여 트레이(1001)가 꺼내지는 것을 인식할 수 있다.
도 27의 2710을 참조하면, 사용자가 와인 냉장고(2700)의 도어를 개방하고, 제 1 트레이(2701)를 꺼내는 경우, 가전 장치(1000)는 카메라(1100)를 통해서 제 1 트레이(2701)의 모니터링 영상을 획득할 수 있다. 이때, 제 1 트레이(2701)의 모니터링 영상은 제 1 트레이(2701)의 높이에 기초하여 결정된 영상 촬영과 관련된 설정 값을 적용한 영상일 수 있다. 예를 들어, 가전 장치(1000)는, 제 1 트레이(2701)가 트레이들 중에서 가장 위에 위치하므로, 조명(1700)의 밝기를 상대적으로 어둡게 조절한 후 제 1 트레이(2701)의 모니터링 영상을 획득할 수 있다. 또한, 가전 장치(1000)는, 제 1 트레이(2701)가 트레이들 중에서 가장 위에 위치하므로, 크롭 영역의 사이즈 및 왜곡 보정 값을 상대적으로 크게 적용하여, 제 1 트레이(2701)의 모니터링 영상을 획득할 수 있다.
가전 장치(1000)는 제 1 트레이(2701)의 모니터링 영상으로부터 제 1 트레이(2701)에 놓인 적어도 하나의 와인의 라벨을 인식할 수 있다. 그리고 가전 장치(1000)는 적어도 하나의 와인의 라벨을 인식한 결과를 서버 장치(2000)로 전송할 수 있다. 적어도 하나의 와인의 라벨을 인식한 결과는, 와인에 관한 정보로서, 와인의 종류, 생산국, 품종, 도수, 용량 등을 포함할 수 있다. 서버 장치(2000)는 적어도 하나의 와인의 라벨을 인식한 결과(예컨대, 와인에 관한 정보)를 디스플레이 장치(3000)에 설치된 애플리케이션의 실행 화면을 통해서 사용자에게 제공할 수 있다.
도 27의 2720을 참조하면, 사용자가 디스플레이 장치(3000)에서 애플리케이션을 실행하는 경우, 디스플레이 장치(3000)는 애플리케이션의 실행 화면에 와인 냉장고(2700)에 저장된 적어도 하나의 와인에 관한 정보(예컨대, 생산국, 종류, 주요 품종, 용량, 도수 등)를 표시할 수 있다.
본 개시의 일 실시예에 의하면, 디스플레이 장치(3000)는 와인 냉장고(2700)에 저장된 와인 목록을 제공할 수도 있다. 예를 들어, 디스플레이 장치(3000)는 와인 냉장고(2700)에 저장된 전체 와인 목록을 제공할 수도 있고, 트레이 별로 와인 목록을 제공할 수도 있다. 사용자가 와인 목록에서 하나의 와인을 선택하는 경우, 디스플레이 장치(3000)는 선택된 와인에 관한 상세 정보를 애플리케이션의 실행 화면에 표시할 수 있다. 따라서, 본 개시의 일 실시예에 의하면, 사용자는 와인 냉장고(2700)에 저장된 와인에 관한 정보를 검색해 보지 않더라도, 쉽게 확인할 수 있다.
도 28은 본 개시의 일 실시예에 따른 가전 장치가 디스플레이 장치를 통해 트레이 별로 모니터링 영상을 제공하는 동작을 설명하기 위한 도면이다. 도 28에서는 가전 장치(1000)가 와인 냉장고(2700)인 경우를 예로 들어 설명하기로 한다.
본 개시의 일 실시예에 의하면, 와인 냉장고(2700)는, 사용자가 와인 냉장고(2700)의 도어를 개방하고 트레이(1001)를 꺼낼 때마다 트레이(1001)의 모니터링 영상을 획득할 수 있다. 예를 들어, 와인 냉장고(2700)는, 사용자가 제 1 트레이를 꺼내는 경우 카메라(1100)를 통해 제 1 트레이의 제 1 모니터링 영상(2801)을 획득하고, 사용자가 제 2 트레이를 꺼내는 경우 카메라(1100)를 통해 제 2 트레이의 제 2 모니터링 영상(2802)을 획득하고, 사용자가 제 3 트레이를 꺼내는 경우 카메라(1100)를 통해 제 3 트레이의 제 3 모니터링 영상(2803)을 획득할 수 있다.
이때, 제 1 모니터링 영상(2801)은 제 1 트레이의 높이에 기초하여 결정된 영상 촬영과 관련된 제 1 설정 값을 적용한 영상일 수 있고, 제 2 모니터링 영상(2802)은 제 2 트레이의 높이에 기초하여 결정된 영상 촬영과 관련된 제 2 설정 값을 적용한 영상일 수 있고, 제 3 모니터링 영상(2803)은 제 3 트레이의 높이에 기초하여 결정된 영상 촬영과 관련된 제 3 설정 값을 적용한 영상일 수 있다. 예를 들어, 가전 장치(1000)는, 제 1 트레이가 트레이들 중에서 가장 위에 위치하는 경우, 조명(1700)의 밝기를 상대적으로 어둡게 조절한 후 제 1 트레이의 제 1 모니터링 영상(2801)을 획득하고, 제 3 트레이가 트레이들 중에서 가장 아래에 위치하는 경우, 조명(1700)의 밝기를 상대적으로 밝게 조절한 후 제 3 트레이의 제 3 모니터링 영상(2803)을 획득할 수 있다. 또한, 가전 장치(1000)는, 제 1 트레이가 트레이들 중에서 가장 위에 위치하는 경우, 크롭 영역의 사이즈 및 왜곡 보정 값을 상대적으로 크게 적용하여, 제 1 트레이의 제 1 모니터링 영상(2801)을 획득하고, 제 3 트레이가 트레이들 중에서 가장 아래에 위치하는 경우, 크롭 영역의 사이즈 및 왜곡 보정 값을 상대적으로 작게 적용하여, 제 3 트레이의 제 3 모니터링 영상(2803)을 획득할 수 있다. 따라서, 제 1 트레이의 제 1 모니터링 영상(2801), 제 2 트레이의 제 2 모니터링 영상(2802), 제 3 트레이의 제 3 모니터링 영상(2803)에 각각 포함된 와인들은 균일한 상태(예컨대, 균일한 밝기, 균일한 크기, 균일한 형태)를 유지할 수 있다.
본 개시의 일 실시예에 의하면, 가전 장치(1000)는 제 1 트레이의 제 1 모니터링 영상(2801), 제 2 트레이의 제 2 모니터링 영상(2802), 제 3 트레이의 제 3 모니터링 영상(2803)을 서버 장치(2000)로 전송하고, 서버 장치(2000)는 디스플레이 장치(3000)를 통해서 제 1 트레이의 제 1 모니터링 영상(2801), 제 2 트레이의 제 2 모니터링 영상(2802), 제 3 트레이의 제 3 모니터링 영상(2803)을 사용자에게 제공할 수 있다.
예를 들어, 사용자가 디스플레이 장치(3000)에 설치된 애플리케이션을 실행하는 경우, 디스플레이 장치(3000)는 애플리케이션의 실행 화면에 제 1 트레이의 제 1 모니터링 영상(2801), 제 2 트레이의 제 2 모니터링 영상(2802), 제 3 트레이의 제 3 모니터링 영상(2803)을 표시할 수 있다. 따라서, 사용자는, 와인 냉장고(2700)의 내부 공간을 직접 들여다보지 않더라도, 디스플레이 장치(3000)에서 제공되는 제 1 모니터링 영상(2801), 제 2 모니터링 영상(2802), 제 3 모니터링 영상(2803)을 통해서 제 1 트레이, 제 2 트레이, 제 3 트레이 위에 놓인 와인의 종류, 개수 등을 손쉽게 파악할 수 있다.
본 개시의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 개시의 일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.　 또한, 본 개시의 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 가전 장치에 있어서,
    서로 다른 높이에서 트레이를 수납하는 상기 가전 장치의 내부 공간에 배치된 카메라; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 통해, 상기 내부 공간에 상기 트레이가 수납되는 동안 상기 트레이를 포함하는 제 1 영상을 획득하고,
    상기 제 1 영상을 이용하여, 상기 내부 공간의 서로 다른 높이 중 상기 내부 공간 안에서 상기 트레이가 수납된 높이를 식별하고,
    상기 트레이가 수납된 높이에 따라, 상기 내부 공간의 영상 촬영과 관련된 설정 값을 결정하고,
    상기 결정된 설정 값에 기초하여, 상기 트레이 상의 아이템을 포함하는 제 2 영상을 획득하는, 가전 장치.
  2. 제 1 항에 있어서,
    상기 가전 장치는, 상기 트레이가 수납될 수 있는 상기 내부 공간의 상기 서로 다른 높이에 있는 선반들, 및 상기 선반들 각각에 대응하는 위치에 마커들을 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제 1 영상에 포함된 마커의 개수에 기초하여, 상기 트레이가 수납된 높이를 식별하는, 가전 장치.
  3. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제 1 영상에 대한 에지 검출을 수행하여, 상기 트레이의 에지(edge) 부분을 인식하고,
    상기 트레이의 에지 부분에 기초하여 상기 트레이의 면적을 결정하고,
    상기 트레이의 면적을 기 저장된 면적 테이블의 정보와 비교하여, 상기 트레이가 수납된 높이를 식별하는, 가전 장치.
  4. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 트레이에 포함된 일정 간격으로 위치하는 적어도 둘 이상의 마커들을 상기 제 1 영상에서 인식하고,
    상기 적어도 둘 이상의 마커들 간의 간격을 결정하고,
    상기 적어도 둘 이상의 마커들 간의 간격을 기 저장된 간격 테이블과 비교하여, 상기 트레이가 수납된 높이를 식별하는, 가전 장치.
  5. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 내부 공간의 천장에 배치된 깊이 센서로부터 상기 천장과 상기 트레이 간의 간격에 관한 정보를 획득하고,
    상기 천장과 상기 트레이 간의 간격에 관한 정보를 더 이용하여 상기 트레이가 수납된 높이를 식별하는, 가전 장치.
  6. 제 2 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 트레이가 수납될 수 있는 상기 서로 다른 높이에 있는 선반들에 포함된 무게 감지 센서로부터 획득되는 무게 정보를 더 이용하여, 상기 트레이가 수납된 높이를 식별하는, 가전 장치.
  7. 제 2 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 트레이가 수납될 수 있는 상기 서로 다른 높이에 있는 선반들에 포함된 적외선 센서로부터 획득되는 적외선 센서 정보를 더 이용하여, 상기 트레이가 수납된 높이를 식별하는, 가전 장치.
  8. 제 1 항에 있어서, 상기 설정 값은,
    상기 내부 공간의 조명 밝기 값, 크롭 영역의 사이즈, 및 상기 카메라의 왜곡 보정 값 중 적어도 하나를 포함하는, 가전 장치.
  9. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 트레이가 수납된 높이에 따라 상기 내부 공간의 조명 밝기 값을 결정하고,
    상기 결정된 조명 밝기 값에 따라 상기 내부 공간에 배치된 조명(lamp)의 밝기를 조절한 후 상기 제 2 영상을 획득하도록 상기 카메라를 제어하는, 가전 장치.
  10. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 트레이가 수납된 높이에 따라 크롭 영역의 사이즈를 결정하고,
    상기 결정된 크롭 영역의 사이즈에 기초하여 상기 제 1 영상에서 일부 주변 영역을 잘라내어 상기 제 2 영상을 획득하는, 가전 장치.
  11. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 트레이가 수납된 높이에 따라 상기 카메라의 왜곡 보정 값을 결정하고,
    상기 결정된 왜곡 보정 값을 상기 제 1 영상에 적용하여, 상기 제 2 영상을 획득하는, 가전 장치.
  12. 제 1 항에 있어서, 상기 가전 장치는,
    상기 제 2 영상을 출력하는 사용자 인터페이스를 더 포함하는, 가전 장치.
  13. 제 12 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제 2 영상으로부터 상기 트레이에 놓인 식재료를 인식하고,
    상기 식재료에 대한 레시피 정보를 상기 사용자 인터페이스를 통해 제공하는, 가전 장치.
  14. 제 13 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 트레이가 수납된 높이에 따라, 상기 레시피 정보에 포함된 조리 온도의 보정 값을 결정하고,
    상기 결정된 조리 온도의 보정 값을 상기 사용자 인터페이스를 통해 제공하는, 가전 장치.
  15. 가전 장치의 내부 공간의 영상을 획득하는 방법에 있어서,
    상기 가전 장치의 상기 내부 공간에 위치하는 카메라를 통해, 상기 트레이가 상기 내부 공간에 수납되는 동안 상기 트레이를 포함하는 제 1 영상을 획득하는 단계;
    상기 제 1 영상을 이용하여, 상기 내부 공간 안에서 상기 트레이가 수납된 높이를 식별하는 단계;
    상기 트레이가 수납된 높이에 따라, 상기 내부 공간의 영상 촬영과 관련된 설정 값을 결정하는 단계; 및
    상기 결정된 설정 값에 기초하여, 상기 트레이 상의 아이템을 포함하는 제 2 영상을 획득하는 단계를 포함하는, 방법.
PCT/KR2022/017287 2021-11-18 2022-11-04 다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법 Ceased WO2023090725A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22895932.6A EP4372683A4 (en) 2021-11-18 2022-11-04 Domestic appliance having inner space capable of accommodating tray at various heights, and method for acquiring image of domestic appliance
US17/987,198 US12406388B2 (en) 2021-11-18 2022-11-15 Home appliance having interior space for accommodating tray at various heights and method of obtaining image by home appliance

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210159779A KR20230073006A (ko) 2021-11-18 2021-11-18 다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법
KR10-2021-0159779 2021-11-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/987,198 Continuation US12406388B2 (en) 2021-11-18 2022-11-15 Home appliance having interior space for accommodating tray at various heights and method of obtaining image by home appliance

Publications (1)

Publication Number Publication Date
WO2023090725A1 true WO2023090725A1 (ko) 2023-05-25

Family

ID=86397387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/017287 Ceased WO2023090725A1 (ko) 2021-11-18 2022-11-04 다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법

Country Status (2)

Country Link
KR (1) KR20230073006A (ko)
WO (1) WO2023090725A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250143557A (ko) * 2024-03-25 2025-10-02 엘지전자 주식회사 조리기기 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170106143A (ko) * 2016-03-11 2017-09-20 삼성전자주식회사 오븐 및 그 제어방법
KR20190038184A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 자동 조리 장치 및 방법
KR102242648B1 (ko) * 2019-11-06 2021-04-21 (주)코로닉스 인공지능 복합조리시스템
KR102279259B1 (ko) * 2020-01-17 2021-07-20 네이버 주식회사 영상왜곡보정방법 및 이를 이용하는 객체수집방법
KR20210095419A (ko) * 2020-01-23 2021-08-02 삼성전자주식회사 조리 기기 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170106143A (ko) * 2016-03-11 2017-09-20 삼성전자주식회사 오븐 및 그 제어방법
KR20190038184A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 자동 조리 장치 및 방법
KR102242648B1 (ko) * 2019-11-06 2021-04-21 (주)코로닉스 인공지능 복합조리시스템
KR102279259B1 (ko) * 2020-01-17 2021-07-20 네이버 주식회사 영상왜곡보정방법 및 이를 이용하는 객체수집방법
KR20210095419A (ko) * 2020-01-23 2021-08-02 삼성전자주식회사 조리 기기 및 그 제어 방법

Also Published As

Publication number Publication date
KR20230073006A (ko) 2023-05-25

Similar Documents

Publication Publication Date Title
EP3230655A1 (en) Cooking appliance and method for controlling the same
WO2015088141A1 (en) Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
WO2020060380A1 (en) Refrigerator and method of controlling thereof
WO2019240432A1 (en) Refrigerator, server and method of controlling thereof
WO2016122188A1 (en) Cooking appliance and method for controlling the same
WO2019045228A1 (ko) 조리기기 및 조리 시스템
WO2016048102A1 (en) Image display method performed by device including switchable mirror and the device
WO2022065641A1 (ko) 조리 장치 및 그 제어 방법
EP3198376A1 (en) Image display method performed by device including switchable mirror and the device
WO2019198865A1 (ko) 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
WO2023090725A1 (ko) 다양한 높이에서 트레이를 수용할 수 있는 내부 공간을 갖는 가전 장치 및 가전 장치의 영상 획득 방법
EP4372683A1 (en) Domestic appliance having inner space capable of accommodating tray at various heights, and method for acquiring image of domestic appliance
WO2023080435A1 (ko) 전자 장치 및 이의 제어 방법
WO2019135619A1 (ko) 조리 과정에 대한 타임라인을 결정할 수 있는 전자 장치
WO2024154875A1 (ko) 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법
WO2023287131A1 (ko) 조리 기기 및 그의 제어 방법
WO2020054609A1 (ja) 加熱調理器
WO2023038175A1 (ko) 이동 단말기 및 시스템
WO2025187940A1 (ko) 조리 가이드 장치, 및 조리 가이드 장치를 이용한 레시피 제공 방법
WO2022114649A1 (ko) 조리 기기 및 그 제어 방법
WO2023146312A1 (ko) 조리 기기에 관한 정보를 출력하는 방법 및 이를 위한 무선 전력 전송 장치
WO2022191670A1 (ko) 전자 도마, 무선 전력 전송 장치 및 무선 전력 전송 장치를 이용한 조리 관리 방법
WO2026075291A1 (ko) 조리 상태에 따라 조리 과정을 제어하는 조리기기, 서버 및 방법
WO2024043436A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2024043601A1 (ko) 화재 위험을 검출하는 조리 기기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895932

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022895932

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022895932

Country of ref document: EP

Effective date: 20240214