WO2023132438A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023132438A1
WO2023132438A1 PCT/KR2022/014342 KR2022014342W WO2023132438A1 WO 2023132438 A1 WO2023132438 A1 WO 2023132438A1 KR 2022014342 W KR2022014342 W KR 2022014342W WO 2023132438 A1 WO2023132438 A1 WO 2023132438A1
Authority
WO
WIPO (PCT)
Prior art keywords
menu
electronic device
information
user input
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/014342
Other languages
English (en)
French (fr)
Inventor
장우성
김상아
김재웅
안준억
이윤경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202280071928.1A priority Critical patent/CN118176478A/zh
Priority to EP22918975.8A priority patent/EP4369162A4/en
Priority to US17/984,076 priority patent/US12216883B2/en
Publication of WO2023132438A1 publication Critical patent/WO2023132438A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device providing a recommended menu based on a user input for selecting a menu and a control method thereof.
  • a user may search to select a specific menu among various menus. For example, a user may search for a specific menu through a button, a dial, or a touch screen included in the electronic device.
  • the user may have difficulty in finding a desired menu. For example, when searching for a menu for cooking pizza, it may be difficult for the user to know which category of menu to select.
  • a lot of user input is required in the process of selecting a specific menu, the user may feel uncomfortable.
  • a user who frequently uses a menu for cooking pizza needs to finally select a first depth menu, a second depth menu, and a third depth menu.
  • a user who frequently uses a menu for cooking pizza may have to repeatedly select a total of three menus and input the final start button again.
  • the user repeatedly uses the corresponding menu it may feel that it takes a long time to input 4 times.
  • the present disclosure is designed to improve the above problems, and an object of the present disclosure is to provide guide information including a recommended menu based on user input, context information, and menu selection history when it is identified that the provision of guide information is necessary. It is to provide an electronic device and its control method.
  • An electronic device for achieving the above object stores a menu selection history including a display, a manipulation interface, a first menu of a first depth, and a second menu of a second depth subordinate to the first menu
  • a user input for selecting at least one menu is received through the memory and the manipulation interface, whether or not guide information is provided is identified based on the user input, and when it is identified that the guide information is provided, the selected at least one menu is identified.
  • a processor controlling the display to display the guide information including a recommended menu based on menu information of the electronic device, current context information of the electronic device, and the menu selection history stored in the memory.
  • the processor selects an event in which an additional user input for selecting a menu is not received for a threshold time after a menu of a specific depth is selected, an event in which the speed at which a menu is changed according to a user input is greater than or equal to a critical speed, or an event in which a menu of a specific depth is selected.
  • the context information may include at least one of internal temperature information of the electronic device, temperature information of an object to be cooked, information on whether a specific function is executed, image information of the electronic device, and date and time information.
  • the memory stores a plurality of menus
  • the processor obtains a weight corresponding to each of the plurality of menus stored in the memory based on the information about the at least one menu, the context information, and the menu selection history, ,
  • the recommended menu may be identified based on a weight corresponding to each of the plurality of menus.
  • the processor identifies a selected menu based on the information on the at least one menu, allocates a first sub weight to a menu identical to the selected menu among the plurality of menus, and assigns a first sub weight to the selected menu among the plurality of menus.
  • a weight corresponding to each of the plurality of menus may be obtained by assigning a second sub weight to a menu similar to , and summing the first sub weight and the second sub weight.
  • the processor assigns a third sub-weight to a menu corresponding to the context information among the plurality of menus, and allocates a fourth sub-weight to a menu corresponding to the menu selection history among the plurality of menus.
  • a weight corresponding to each of the plurality of menus may be obtained by summing the first sub weight, the second sub weight, the third sub weight, and the fourth sub weight.
  • the processor identifies the recommended menu based on the information on the at least one menu, the context information, and the menu selection history, and displays the recommended menu at a location where the recommended menu is displayed. Based on this, the display may be controlled to display an icon for identifying the recommended menu.
  • the processor acquires the recommended menu by inputting information on the at least one menu of the electronic device and the context information to the learned neural network model, and the neural network model It may be learned based on the context information and the menu selection history.
  • the electronic device includes a heater for heating food, and when a user input for selecting a menu included in the guide information is received, the processor performs a function corresponding to the selected menu and displays the selected menu.
  • the corresponding function is a function of displaying text including the cooking process of the selected menu, a function of displaying an image including the cooking process of the selected menu, and setting the schedule of the heater to perform the cooking process of the selected menu It may include at least one of the functions that
  • the electronic device includes a contact temperature sensor for sensing the temperature of the food, and when it is identified that the guide information is provided, the processor sets the temperature of the food through the contact temperature sensor as the context information.
  • the recommended menu may be identified based on the information on the at least one menu, the context information including the temperature of the food, and the menu selection history.
  • a control method of an electronic device includes the steps of storing a menu selection history including a first menu of a first depth and a second menu of a second depth subordinate to the first menu, and selecting at least one menu. identifying whether guide information is provided based on the user input when a user input is received, and if the guide information is identified as being provided, information on the selected at least one menu, the current context of the electronic device ( and displaying the guide information including a recommended menu based on context) information and the stored menu selection history.
  • the step of identifying whether the guide information is provided is an event in which an additional user input for selecting a menu is not received for a threshold time after a menu of a specific depth is selected, an event in which the speed at which the menu is changed according to the user input is greater than or equal to the threshold speed
  • the guide information is provided.
  • the context information may include at least one of internal temperature information of the electronic device, temperature information of an object to be cooked, information on whether a specific function is executed, image information of the electronic device, and date and time information.
  • control method includes obtaining a weight corresponding to each of a plurality of menus stored in the electronic device based on the information about the at least one menu, the context information, and the menu selection history, and each of the plurality of menus.
  • the method may further include identifying the recommended menu based on a corresponding weight.
  • a selected menu is identified based on the information on the at least one menu, and a first sub weight is assigned to a menu identical to the selected menu among the plurality of menus. assigning a second sub-weight to a menu similar to the selected menu among the plurality of menus, and adding the first sub-weight and the second sub-weight to obtain a weight corresponding to each of the plurality of menus.
  • FIG. 1 is a perspective view for explaining a specific configuration of an electronic device.
  • FIG. 2 is a diagram for explaining a communication connection between an electronic device and a server.
  • FIG. 3 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram for explaining a specific configuration of the electronic device of FIG. 3 .
  • 5 is a flowchart illustrating an operation of providing guide information based on user input.
  • FIG. 6 is a flowchart illustrating a preset event according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a preset event according to another embodiment.
  • FIG. 8 is a table for explaining a process of calculating a change speed of a menu.
  • FIG. 9 is a diagram for explaining a menu change speed according to various embodiments.
  • FIG. 10 is a flowchart for describing a preset event according to another embodiment.
  • 11 is a diagram for explaining an operation of acquiring context information.
  • FIG. 12 is a diagram for explaining an operation of acquiring an artificial intelligence model for identifying a recommended menu.
  • 13 is a diagram for explaining menus of different depths.
  • FIG. 14 is a diagram for explaining a screen displayed when a specific menu is selected.
  • 15 is a diagram for explaining an operation of providing guide information based on a preset event, according to an embodiment.
  • 16 is a diagram for explaining an operation of providing guide information based on a preset event according to another embodiment.
  • 17 is a diagram for explaining an operation of providing guide information based on a preset event according to another embodiment.
  • 18 is a diagram for explaining an operation of displaying a recommendation menu.
  • 19 is a block diagram for explaining an operation of an electronic device for generating a recommendation menu.
  • 20 is a flowchart illustrating an operation of identifying a recommendation menu.
  • 21 is a flowchart illustrating an operation of identifying a recommended menu based on a food temperature.
  • 22 is a flowchart illustrating an operation of providing guide information by a plurality of modules included in an electronic device, according to an embodiment.
  • 23 is a flowchart illustrating an operation of providing guide information by a plurality of modules included in an electronic device according to another embodiment.
  • 24 is a flowchart illustrating an operation of storing feedback information after guide information is provided.
  • 25 is a flowchart illustrating an operation of identifying a recommendation menu using a server.
  • 26 is a table for explaining weight information corresponding to each of a plurality of dishes.
  • 27 is a diagram for explaining an operation of identifying a recommended menu based on weight information.
  • FIG. 28 is a diagram for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that an element may be directly connected to another element, or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented in hardware or software or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” may be integrated into at least one module and implemented by at least one processor, except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is a perspective view for explaining a specific configuration of an electronic device 100 .
  • the electronic device 100 is only an example, and according to various embodiments of the present disclosure, a cooking device may be implemented in various forms.
  • the cooking device may be an oven or a stove, but is not limited thereto.
  • the present disclosure is not limited to a cooking device.
  • an operation for recommending a menu item may be implemented in a device other than the cooking appliance.
  • the electronic device 100 includes a main body 10 forming an exterior.
  • the electronic device 100 includes a cooking chamber 20 open toward one side.
  • the cooking chamber 20 may mean a space (ie, an accommodation space) for accommodating food (or food).
  • the cooking chamber 20 of the main body 10 may be a cooking chamber 20 in which food is cooked, and the cooking chamber 20 may open toward the front of the electronic device 100 .
  • the cooking chamber 20 is formed in a box shape, and the front surface is opened for taking in and out of food. To this end, the front surface of the main body 10 has an opening connected to the cooking chamber 20 .
  • the front of the cooking chamber 20 may be opened and closed by the door 21 connected to the main body 10 .
  • the door 21 may be hinged to the lower portion of the body 10 so as to be rotatable with respect to the body 10 .
  • a door handle 23 that can be gripped by a user is provided on an upper front surface of the door 21, and the user can open and close the cooking chamber 20 by gripping the door handle 23.
  • a heater for heating food may be provided in the cooking chamber 20 .
  • the heater may be an electric heater including an electric resistor.
  • the heater is not limited to an electric heater, and may be a gas heater that generates heat by burning gas.
  • the control panel 30 may include a display 31 that displays various operation information of the electronic device 100 and receives user commands for controlling the operation of the electronic device 100 .
  • the control panel 30 may include a button 32 for receiving various user commands for controlling the operation of the electronic device 100 .
  • the electronic device 100 may cook the food in consideration of the size and cooking state of the food put into the cooking chamber.
  • the electronic device 100 may determine the cooking time for the food according to the type of food selected by the user through the control panel 30 . At this time, the electronic device 100 may determine the size of the food and determine the cooking time according to the determined size. For example, even for the same kind of food, the cooking time may be determined relatively shorter as the size of the food is smaller, and the cooking time may be relatively longer as the size of the food is larger.
  • the electronic device 100 may determine a cooking state of the food while cooking the food, and control the progress of cooking based on the cooking state.
  • the electronic device 100 may end cooking even before the set cooking time ends. For example, the electronic device 100 determines the degree of cooked food, and when it is determined that cooking of the food is completed according to the degree of ripeness of the food, the electronic device 100 may end cooking even before the cooking time ends.
  • the cooking time may not be determined in consideration of only the type of food, but different cooking times may be determined according to the size of the food even for the same type of food.
  • the cooking end time may be determined according to the cooking state of the food. Accordingly, even if the user does not know the exact recipe due to the difference in the size of the food, the user can optimally cook the food without monitoring the cooking process by selecting only the type of food to be cooked.
  • FIG. 2 is a diagram for explaining a system 2000 that performs a communication connection between an electronic device 100 and a server 200. Referring to FIG.
  • the electronic device 100 may communicate with the server 200 .
  • the electronic device 100 may transmit information required to identify a recommendation menu to the server 200 .
  • the information necessary to identify the recommended menu may include at least one of information related to user input, information related to the context of the electronic device 100 (or context information), or a menu selection history.
  • the user input may include a menu selected by the user and an order of the selected menu.
  • the server 200 may identify a recommended menu based on information received from the electronic device 100 and transmit the recommended menu to the electronic device 100 .
  • the electronic device 100 may additionally include a communication interface for communication with the server 200 .
  • the communication interface is a component that performs communication with various types of external devices according to various types of communication methods.
  • the communication interface may include a wireless communication module or a wired communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the wireless communication module may be a module that wirelessly communicates with an external device.
  • the wireless communication module may include at least one of a Wi-Fi module, a Bluetooth module, an infrared communication module, or other communication modules.
  • the wired communication module may be a module that communicates with an external device by wire.
  • the wired communication module may include at least one of a Local Area Network (LAN) module, an Ethernet module, a pair cable, a coaxial cable, an optical fiber cable, or an Ultra Wide-Band (UWB) module.
  • LAN Local Area Network
  • Ethernet Ethernet
  • UWB Ultra Wide-Band
  • FIG. 24 A specific operation of identifying a recommendation menu through the server 200 is described in FIG. 24 .
  • FIG. 3 is a block diagram illustrating an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may include a display 110 , a manipulation interface 120 , a memory 130 and a processor 140 .
  • the electronic device 100 may be a device including a display 110 and a manipulation interface 120 .
  • the electronic device 100 may include, for example, at least one of a smart phone, a tablet PC, a mobile phone, a desktop PC, a laptop PC, a PDA, and a portable multimedia player (PMP).
  • the electronic device 100 may include, for example, at least one of a television, a digital video disk (DVD) player, and a media box (eg, Samsung HomeSyncTM, Apple TVTM, or Google TVTM).
  • the display 110 may be implemented with various types of displays such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, and a plasma display panel (PDP).
  • the display 110 may also include a driving circuit, a backlight unit, and the like that may be implemented in the form of an a-si TFT (amorphous silicon thin film transistor), LTPS (low temperature poly silicon) TFT, OTFT (organic TFT), and the like.
  • the display 110 may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional display (3D display), and the like.
  • the display 110 may include a bezel housing the display panel as well as a display panel that outputs an image.
  • the bezel may include a touch sensor for detecting user interaction.
  • the manipulation interface 120 may be implemented as a device such as a button, a touch pad, a mouse, or a keyboard, or may be implemented as a touch screen capable of simultaneously performing the above-described display function and manipulation input function.
  • the buttons may be various types of buttons such as mechanical buttons, touch pads, wheels, etc. formed on an arbitrary area such as the front, side, or rear surface of the main body of the electronic device 100 .
  • the manipulation interface may be a graphical user interface (GUI).
  • the memory 130 is implemented as an internal memory such as a ROM (eg, electrically erasable programmable read-only memory (EEPROM)) or RAM included in the processor 140, or It may be implemented as a separate memory.
  • the memory 130 may be implemented in the form of a memory embedded in the electronic device 100 or in the form of a removable memory in the electronic device 100 depending on the purpose of storing data. For example, data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100, and data for an extended function of the electronic device 100 is detachable from the electronic device 100. It can be stored in available memory.
  • volatile memory eg, DRAM (dynamic RAM), SRAM (static RAM), SDRAM (synchronous dynamic RAM), etc.
  • non-volatile memory non-volatile memory
  • OTPROM one time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM flash ROM, flash memory (such as NAND flash or NOR flash, etc.)
  • flash memory such as NAND flash or NOR flash, etc.
  • SSD solid state drive
  • a memory card eg, a compact flash (CF), SD ( secure digital), micro secure digital (Micro-SD), mini secure digital (Mini-SD), extreme digital (xD), multi-media card (MMC), etc.
  • external memory that can be connected to the USB port (e.g. USB memory) and
  • the processor 140 may perform overall control operations of the electronic device 100 . Specifically, the processor 140 functions to control overall operations of the electronic device 100 .
  • the processor 140 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals. However, it is not limited thereto, and the central processing unit ( central processing unit (CPU)), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), graphics-processing unit (GPU) or communication processor (CP)) and advanced reduced instruction set computer (RISC) machines (ARM) processors, or may be defined by the term.
  • the processor 140 may include a SoC (System on Chip), LSI (large scale integration), FPGA (Field Programmable Gate Array), etc.
  • the processor 140 may be implemented in the form of computer executable instructions stored in the memory 130. instructions) to perform various functions.
  • the electronic device 100 includes a first menu (or first menu item) of a first depth (or first category) and a second menu (or second menu) of a second depth (or second category) subordinate to the first menu.
  • a menu selection history including items) may be stored in the memory 130 .
  • a user input for selecting at least one menu is received through the manipulation interface 120 of the electronic device 100, whether provision of guide information is required is identified based on the user input, and when it is identified that provision of guide information is required, , display 110 to display guide information including recommended menus based on information on at least one selected menu, current context information of the electronic device 100, and menu selection history stored in the memory 130. It may include a processor 140 to control.
  • the processor 140 may receive a user input through the manipulation interface 120 .
  • the user input may be a user input for selecting at least one menu.
  • the operation of selecting the menu may include at least one of an operation of activating the menu and an operation of moving the menu to a higher level menu or lower level menu.
  • the processor 140 may receive a user input for selecting category A of FIG. 14 and selecting #01.
  • the menu may be composed of various depths.
  • the menu may include a first menu of a first depth and a second menu of a second depth.
  • the first menu may be a higher level menu of the second menu.
  • the second menu may be a sub-menu of the first menu.
  • the processor 140 may display a second menu subordinate to the first menu on the display 110 . A description related to the structure of the menu is described in FIG. 13 .
  • the processor 140 may identify whether it is necessary to provide guide information based on the user input obtained through the manipulation interface 120 . Whether provision of guide information is required may be determined based on whether a preset event is identified. Specifically, when a predetermined event is identified based on a user input, the processor 140 may identify that guide information needs to be provided.
  • the predetermined event is an event in which an additional user input for selecting a menu is not received for a critical time after a menu of a specific depth is selected, an event in which the speed at which the menu is changed according to the user input is greater than or equal to a critical speed, or a menu of a specific depth is selected. and at least one of events in which a user input for canceling a menu selection is received.
  • An event in which an additional user input for selecting a menu is not received for a critical time after a menu of a specific depth is selected may refer to an event in which the user's selection is not detected. In situations where the user stops without selecting a specific menu, additional user input may not be received. Accordingly, when an event in which an additional user input is not received for a critical time is identified, the processor 140 may identify that guide information needs to be provided.
  • An event in which a speed at which a menu is changed according to a user input is greater than or equal to a critical speed may mean an event in which a menu displayed on the display 110 is rapidly changed.
  • the menu to be changed may have different depths. That is, the changed menu may correspond to a different depth (or category).
  • the processor 140 may receive a user input for changing (or moving) a plurality of menus having different depths through the manipulation interface 120 . Also, the processor 140 may obtain a speed at which a plurality of menus are changed (or moved). And, if the obtained speed is equal to or greater than the threshold speed, the processor 140 may identify that guide information needs to be provided.
  • the changed menu may have the same depth.
  • the processor 140 may receive a user input for moving a plurality of menus having the same depth through the manipulation interface 120 . Also, the processor 140 may obtain a speed at which a plurality of menus are changed (or moved). And, if the obtained speed is equal to or greater than the threshold speed, the processor 140 may identify that guide information needs to be provided.
  • An event in which a user input for canceling a menu selection is received after a menu of a specific depth is selected may refer to an event in which the user returns his or her selection.
  • the processor 140 may identify that guide information needs to be provided.
  • the processor 140 may obtain context information.
  • the context information may refer to various pieces of information obtained from the electronic device 100 .
  • the context information may include sensing data obtained through the sensor unit 150 , image data obtained through the camera 160 , or state information of the current electronic device 100 .
  • the state information of the electronic device 100 may be information indicating which function the electronic device 100 is performing.
  • the processor 140 may identify a recommended menu based on a user input, context information, and a menu selection history stored in the memory 130 . And, the processor 140 may generate guide information including the identified recommendation menu.
  • the guide information may include at least one of guide image data and guide audio data.
  • the processor 140 may provide guide information including a recommended menu to the user.
  • the operation of providing the user may include at least one of displaying guide image data through the display 110 and outputting guide audio data through the speaker 170 .
  • the processor 140 may select an event in which an additional user input for selecting a menu is not received for a threshold time after a menu of a specific depth is selected, an event in which the speed at which a menu is changed according to a user input is greater than or equal to a critical speed, or a menu of a specific depth If at least one event is identified among events in which a user input for canceling a menu selection after selection is received, it may be identified that guide information needs to be provided.
  • the current context information of the electronic device 100 includes temperature information of the inside of the electronic device 100, temperature information of a cooking object, information on whether a specific function is executed, image information, and date and time information of the inside of the electronic device 100. may contain at least one.
  • the internal temperature information of the electronic device 100 may mean temperature information of a cooking chamber.
  • the temperature information of the cooking object may mean temperature information of the food to be cooked.
  • the information on whether a specific function is executed may mean information indicating whether a specific function is currently being executed (on state) or not being executed (off state) in the electronic device 100 .
  • the image information inside the electronic device 100 may mean an image of a cooking chamber.
  • date and time information may include at least one of time information and date information.
  • information related to temperature may be acquired through the sensor unit 150 .
  • an operation of obtaining context information through the sensor unit 150 is described in the embodiment 1110 of FIG. 11 .
  • image-related information may be obtained through the camera 160 .
  • an operation of obtaining context information through the camera 160 is described in the embodiment 1120 of FIG. 11 .
  • the processor 140 may determine a candidate menu and determine a recommendation menu from the determined candidate menu.
  • the processor 140 may identify a candidate menu related to at least one menu selected from information included in the menu selection history, and identify a recommended menu based on the candidate menu and the current context information of the electronic device 100. there is.
  • the information included in the menu selection history may include information on a menu selected by the user for a preset period of time.
  • the selected at least one menu may refer to a menu currently selected by the user.
  • the candidate menu may refer to a menu subordinate to the menu currently selected by the user.
  • the processor 140 may identify a recommended menu based on the acquired context information among the candidate menus.
  • the menu selection history indicates that #01, #03, and #05 are selected in menu A, #11, #13, and #15 are selected in menu B, and #21, #01, and #11 are selected in menu C.
  • information included in the menu selection history may be #01, #03, #05, #11, #13, #15, and #21.
  • the selected at least one menu may be the A menu.
  • the candidate menus may be menus #01, #03, and #05 subordinate to menu A.
  • the processor 140 may identify at least one of #01, #03, and #05 as a recommended menu based on the context information.
  • the processor 140 may identify a recommended menu based on a weight corresponding to each of a plurality of menus.
  • the electronic device 100 may store a plurality of menus in the memory 130 . Also, the processor 140 obtains a weight corresponding to each of a plurality of menus stored in the memory 130 based on information about at least one menu, context information, and a menu selection history, and the weight corresponding to each of the plurality of menus. Based on this, it is possible to identify a recommended menu.
  • the plurality of menus may mean at least one menu that may be provided as a recommended menu.
  • the processor 140 may obtain a plurality of menus stored in the memory 130 and obtain a weight corresponding to each of the plurality of menus. Also, the processor 140 may identify a recommended menu among a plurality of menus based on the weight. Here, the processor 140 may obtain weights for menus based on user input (information on at least one menu), context information, and menu selection history.
  • the processor 140 obtains a first sub weight for a specific menu based on a user input, obtains a second sub weight for a specific menu based on context information, and obtains a specific menu based on a menu selection history. It is possible to obtain a third sub-weight for . Also, the processor 140 may obtain a weight (or sum weight) for a specific menu by summing the first sub weight, the second sub weight, and the third sub weight. Also, the processor 140 may identify a recommended menu based on weights for each of a plurality of menus. For example, a menu having the highest weight among weights for each of a plurality of menus may be identified as a recommended menu.
  • the processor 140 identifies a selected menu based on information on at least one menu, allocates a first sub weight to a menu identical to the selected menu among a plurality of menus, and assigns a first subweight to a menu similar to the selected menu among a plurality of menus.
  • a weight value corresponding to each of a plurality of menus may be obtained by assigning a second sub-weight to , and summing the first sub-weight and the second sub-weight.
  • the processor 140 may identify a menu currently selected by the user based on a user input (information on at least one menu).
  • the processor 140 may allocate a sub weight to each of a plurality of menus based on the selected menu. Specifically, the processor 140 may allocate a first sub weight to the same menu as the selected menu. Also, the processor 140 may allocate a second sub weight to a menu similar to the selected menu. Also, the processor 140 may not allocate sub weights to menus that are the same or dissimilar to the selected menu.
  • the same menu may mean a menu corresponding to a category in the table 2610 of FIG. 26 .
  • a similar menu may mean a menu corresponding to a related category in the table 2610 of FIG. 26 .
  • a menu similar to the specific menu may be stored in the memory 130 .
  • the processor 140 may obtain a weight corresponding to each of the plurality of menus by summing the first sub weight and the second sub weight.
  • the selected menu may be the A menu.
  • the processor 140 corresponds to the same menu as the A menu selected from among a plurality of menus (#01, #02, #03, ?, #11, #12, #13, ?, #21, #22, #23).
  • the first sub-weight 60 may be assigned to #01, #02, and #03.
  • the processor 140 may allocate the second sub weight 30 to #11 and #21 corresponding to menus (related categories) similar to menu A selected from among a plurality of menus.
  • the processor 140 may not allocate sub weights to menus that are the same as or dissimilar to the selected menu A.
  • the processor 140 assigns a third sub weight to a menu corresponding to context information among a plurality of menus, assigns a fourth sub weight to a menu corresponding to a menu selection history among a plurality of menus, and assigns a first sub weight to a menu.
  • the second sub-weight, the third sub-weight, and the fourth sub-weight can be added to obtain a weight corresponding to each of the plurality of menus.
  • the processor 140 may allocate a third sub weight to each of the plurality of menus based on the context information.
  • the processor 140 may obtain context information and allocate a third sub weight to a menu corresponding to the obtained context information.
  • the processor 140 may assign a third sub weight to menus corresponding to dinner, such as #03, #13, and #23, among a plurality of menus.
  • the processor 140 may allocate a fourth sub-weight to each of the plurality of menus based on the menu selection history.
  • the processor 140 may obtain a menu selection history and assign a fourth sub weight to a menu included in the menu selection history.
  • the processor 140 may assign a fourth sub weight 40 to menus #03, #11, #12, and #13 included in the menu selection history among the plurality of menus.
  • the processor 140 makes a recommendation based on information on at least one selected menu, current context information of the electronic device 100, and a menu selection history stored in the memory 130.
  • the display 110 may be controlled to identify a menu and display an icon for identifying a recommended menu based on a location where the recommended menu is displayed.
  • the processor 140 may obtain a recommended menu by inputting information on at least one selected menu of the electronic device 100 and current context information to the learned neural network model.
  • the neural network model may be learned based on the current context information and menu selection history of the electronic device 100 .
  • the neural network model may be described as an artificial intelligence model. A specific operation related to this is described in FIG. 12 .
  • the electronic device 100 includes a heater for heating food
  • the processor 140 when a user input for selecting a menu included in the guide information is received, performs a function corresponding to the selected menu, and the selected menu
  • the function corresponding to is a function of displaying text including the cooking process of the selected menu, a function of displaying an image including the cooking process of the selected menu, and a function of setting a heater schedule to perform the cooking process of the selected menu.
  • the present disclosure is not limited thereto. According to another embodiment, the electronic device may perform another operation based on the selected menu item.
  • the electronic device 100 may be implemented as a cooking device.
  • the cooking device may refer to a device for cooking food and may include a heater for heating food.
  • the processor 140 may provide guide information including a recommended menu, and the recommended menu may be a menu related to food. It is assumed that the user selects one of the recommended menus.
  • the processor 140 may perform a function corresponding to a menu selected by a user (hereinafter referred to as a selected menu). For example, when a pizza menu is selected by the user, a function corresponding to the pizza menu may be performed.
  • the processor 140 performs a function of displaying text related to a pizza cooking process, a function of displaying an image related to a pizza menu cooking process, or a heater schedule for performing a pizza menu cooking process At least one of the functions of setting may be performed.
  • the schedule of the heater may refer to a work schedule indicating how much heat energy is supplied by the heater for a period of time and at what intensity.
  • the electronic device 100 includes a contact temperature sensor 152 for sensing the temperature of food, and the processor 140 uses the contact temperature sensor 152 when it is identified that it is necessary to provide guide information.
  • the temperature of the food is acquired as current context information of the electronic device 100, information on at least one selected menu, current context information of the electronic device 100 including the temperature of the food, and menu selection stored in the memory 130 are obtained. Based on the history, a recommended menu may be identified.
  • the electronic device 100 may determine whether to provide a recommended menu to the current user by analyzing a user input for selecting a menu. If the electronic device 100 automatically provides a recommended menu when the user cannot find a desired menu, convenience may be improved.
  • the electronic device 100 may determine whether to provide a recommendation menu to the user as a preset event. Here, the preset event may be changed according to a user's setting. When a recommended menu is provided based on a preset event, an operation of determining the recommended menu may be important. This is because the user's satisfaction is high when a menu suitable for the user is recommended.
  • the electronic device 100 may identify a recommended menu in consideration of user input (menu currently selected by the user), context information, and menu selection history. Since the electronic device 100 additionally considers context information and a menu selection history in addition to the currently selected menu, the accuracy of determining the recommended menu may increase. In addition, according to various methods of providing a recommended menu, a user may not be disturbed from selecting an existing menu.
  • FIG. 4 is a block diagram for explaining a specific configuration of the electronic device 100 of FIG. 3 .
  • the electronic device 100 includes at least one of a display 110, a manipulation interface 120, a memory 130, a processor 140, a sensor unit 150, a camera 160, and a speaker 170. may contain one.
  • the sensor unit 150 may sense various types of information through at least one sensor.
  • the sensor unit 150 may include at least one of a non-contact temperature sensor 151 and a contact temperature sensor 152 .
  • the non-contact temperature sensor 151 may sense the temperature inside the cooking chamber.
  • the contact temperature sensor 152 may sense the surface temperature of the food or the temperature inside the food.
  • the contact temperature sensor 152 may be implemented as a temperature probe.
  • the sensor unit 150 may include a humidity sensor.
  • the camera 160 is a component for generating a captured image by capturing an image of a subject, and here, the captured image is a concept including both a moving image and a still image.
  • the camera 160 may obtain an image of at least one external device and may be implemented as a camera, lens, infrared sensor, or the like.
  • the camera 160 may include a lens and an image sensor.
  • the type of lens includes a general-purpose lens, a wide-angle lens, a zoom lens, and the like, and may be determined according to the type, characteristics, use environment, and the like of the electronic device 100 .
  • As the image sensor a complementary metal oxide semiconductor (CMOS) and a charge coupled device (CCD) may be used.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the speaker 170 may be a component that outputs not only various kinds of audio data, but also various notification sounds or voice messages.
  • 5 is a flowchart illustrating an operation of providing guide information based on user input.
  • the electronic device 100 may receive a user input for selecting a menu (S505). Then, the electronic device 100 may identify a preset event based on the user input (S510). Specifically, the electronic device 100 may identify whether a preset event has occurred based on a user input.
  • the user input may mean the order of the menu selected by the user.
  • the preset event may refer to an event determined to require provision of guide information. Descriptions related to preset events are described in FIGS. 6 to 9 .
  • the electronic device 100 may repeatedly receive a user input and identify whether a preset event has occurred.
  • the electronic device 100 may provide guide information including a recommended menu (S515). Specifically, the electronic device 100 may identify a recommendation menu corresponding to a user input and generate guide information including the identified recommendation menu. And, the electronic device 100 may provide guide information including a recommendation menu.
  • the operation of providing guide information may include an operation of displaying a guide image through the display 110 of the electronic device 100 or outputting guide audio through the speaker 170 of the electronic device 100 .
  • FIG. 6 is a flowchart illustrating a preset event according to an exemplary embodiment.
  • a preset event may mean an event in which no additional user input is received for a threshold time.
  • the electronic device 100 may receive a user input for selecting the first menu (S605). And, the electronic device 100 may obtain a time when the user selects the first menu (S610). Then, the electronic device 100 may identify whether an additional user input has been received for a threshold time from the time the user selects the first menu (S615).
  • the electronic device 100 may repeatedly perform steps S605, S610, and S615.
  • the electronic device 100 may provide guide information including a recommended menu (S620). Since the operation of providing guide information may correspond to S515 of FIG. 5, redundant description will be omitted.
  • FIG. 7 is a flowchart illustrating a preset event according to another embodiment.
  • a preset event may mean an event in which a change speed of a menu exceeds a threshold value.
  • the electronic device 100 may receive a user input for selecting a plurality of menus (S705). Meanwhile, according to an implementation example, all of the plurality of menus may be menus having the same depth. And, the electronic device 100 may obtain the change speed of the menu (S710). Specifically, the electronic device 100 may acquire the speed at which the plurality of menus selected by the user change.
  • the menu change speed may be calculated based on a difference between a time when the user selects the first menu and a time when the user selects the second menu.
  • the change rate may mean a reciprocal of a difference between a time when the user selects the first menu and a time when the user selects the second menu.
  • a high change speed may mean that a difference between a time when the user selects the first menu and a time when the user selects the second menu is small.
  • the speed of menu change may be high.
  • a low change speed may mean that a difference between a time when the user selects the first menu and a time when the user selects the second menu is large. When a user slowly selects a plurality of menus, the speed of menu change may be small. A detailed calculation process related to the change rate is described in FIG. 8 .
  • the electronic device 100 may repeat steps S705, S710 and S715.
  • the electronic device 100 may provide guide information including a recommended menu (S720). Since the operation of providing guide information may correspond to S515 of FIG. 5, redundant description will be omitted.
  • the menu change speed may be replaced with a time difference between user inputs, an average time difference between user inputs, a menu change speed, and an average change speed of menus. Also, the menu change speed may be replaced with a user input reception speed and the like.
  • FIG. 8 is a table for explaining a process of calculating a change speed of a menu.
  • a menu change speed may be calculated based on a time when a user input is received.
  • the first to fifth user inputs may refer to user inputs for selecting a menu.
  • a first user input is received at 14:00:01 (hour:minute:second)
  • a second user input is received at 14:00:05
  • a third user input is received at 14:00:15
  • the fourth user input is received at 14:00:16
  • the fifth user input is received at 14:00:17.
  • the electronic device 100 may calculate a difference (4 seconds) between the reception time of the first user input and the second user input from the time at which the second user input is input. Also, the electronic device 100 may calculate an average time difference (4 seconds). Also, the electronic device 100 may calculate a change speed (0.25) of the first menu selected by the first user input and the second menu selected by the second user input. Here, the change rate (0.25) may be the reciprocal of the time difference (4 seconds). Also, the electronic device 100 may calculate an average change rate (0.25).
  • the electronic device 100 may calculate a difference (10 seconds) between a reception time of the second user input and a reception time of the third user input from a time when the third user input is input. Also, the electronic device 100 may calculate an average time difference (7 seconds). Also, the electronic device 100 may calculate a change speed (0.1) of the second menu selected by the second user input and the third menu selected by the third user input. Here, the change rate (0.1) may be the reciprocal of the time difference (10 seconds). Also, the electronic device 100 may calculate an average change rate (0.18).
  • the electronic device 100 may calculate a difference (1 second) between reception times of the third user input and the fourth user input from the time at which the fourth user input is input. Also, the electronic device 100 may calculate an average time difference (5 seconds). In addition, the electronic device 100 may calculate the change rate 1 of the third menu selected by the third user input and the fourth menu selected by the fourth user input. Here, the change rate (1) may be the reciprocal of the time difference (1 second). Also, the electronic device 100 may calculate an average change rate (0.45).
  • the electronic device 100 may calculate a difference (1 second) between reception times of the fourth user input and the fifth user input from the time at which the fifth user input is input. Also, the electronic device 100 may calculate an average time difference (4 seconds). Also, the electronic device 100 may calculate a change speed 1 of the fourth menu selected by the fourth user input and the fifth menu selected by the fifth user input.
  • the change rate (1) may be the reciprocal of the time difference (1 second). Also, the electronic device 100 may calculate an average change rate (0.59).
  • the electronic device 100 may identify occurrence of a preset event based on at least one of a time difference, an average time difference, a change rate, and an average change rate.
  • a preset event is determined based on the immediately preceding user input, the electronic device 100 may identify occurrence of the preset event based on at least one of a time difference or a change rate.
  • the electronic device 100 determines a preset event based on at least one of an average time difference and an average change rate. occurrence can be identified.
  • FIG. 9 is a diagram for explaining a menu change speed according to various embodiments.
  • the electronic device 100 may select a menu according to various embodiments.
  • the manipulation interface 120 of the electronic device 100 may include a dial 911.
  • the dial 911 may be a rotary type manipulation interface.
  • the electronic device 100 may select a menu according to a user input for rotating the dial 911 .
  • the electronic device 100 can change a currently selectable menu.
  • the electronic device 100 may acquire the speed at which the dial 911 rotates.
  • the electronic device 100 may identify the change speed of the menu based on the rotation speed of the dial 911 .
  • the dial 911 may be described as a knob .
  • the electronic device 100 may display a scroll UI 921 on the display 110 .
  • the scroll UI 921 may be a UI used to change a displayed menu.
  • the electronic device 100 may change selectable menus based on user input received through the scroll UI 921 . For example, when the user drags the scroll UI 921 downward or touches the lower portion of the scroll UI 921, the electronic device 100 displays a screen that does not include #01, #02, and #03. A screen including #04, #05, and #06 can be displayed.
  • the electronic device 100 may identify the speed at which the menu changes through the scroll UI 921 .
  • the electronic device 100 may display menu movement UIs 931 and 932 on the display 110.
  • the menu movement UI 931 may be a UI for changing a selectable menu in a first direction (eg, an upward direction).
  • the menu movement UI 932 may be a UI for changing selectable menus in a second direction (eg, a downward direction).
  • the electronic device 100 displays #02, #03, and #04 instead of screens including #01, #02, and #03. You can display a screen containing
  • the electronic device 100 may identify the speed at which the menu changes through the menu movement UIs 931 and 932 .
  • the electronic device 100 may display a different menu on the display 110 based on a swipe input 941.
  • the swipe input 941 may be input in up, down, left, and right directions.
  • the electronic device 100 may display a higher level menu.
  • the electronic device 100 may display a lower menu.
  • the electronic device 100 can display the next menu of the currently displayed menu.
  • the electronic device 100 may display a menu previous to the currently displayed menu.
  • the electronic device 100 may acquire the speed at which the menu changes based on the speed of the swipe input 941 .
  • the electronic device 100 may determine that the speed at which the menu is changed is fast. Conversely, if the swipe input is received for a long time, the electronic device 100 may determine that the speed at which the menu is changed is slow.
  • FIG. 10 is a flowchart for describing a preset event according to another embodiment.
  • a preset event may refer to an event in which a user input canceling a selected menu is received.
  • the electronic device 100 may receive a user input for selecting the first menu (S1005). And, the electronic device 100 may identify whether a user input for canceling the first menu is received (S1010). Meanwhile, according to an implementation example, the electronic device 100 may identify whether a user input for canceling the first menu is received within a threshold time after receiving a user input for selecting the first menu.
  • the electronic device 100 may repeat steps S1005 and S1010.
  • the electronic device 100 may provide guide information including a recommended menu (S1015). Since the operation of providing guide information may correspond to S515 of FIG. 5, redundant description will be omitted.
  • 11 is a diagram for explaining an operation of acquiring context information.
  • the electronic device 100 may obtain context information according to various embodiments. 11 assumes an embodiment in which food is present in the cooking chamber of the electronic device 100 . Food may be in the container, and the container may be placed on a stand.
  • the electronic device 100 may sense the temperature through the sensor unit 150.
  • the sensor unit 150 may include at least one of a non-contact temperature sensor 151 and a contact temperature sensor 152 .
  • the non-contact temperature sensor 151 may sense the temperature inside the cooking chamber.
  • the contact temperature sensor 152 may sense the surface temperature of the food or the temperature inside the food.
  • the contact temperature sensor 152 may be implemented as a temperature probe.
  • non-contact temperature sensor 151 or the contact temperature sensor 152 of FIG. 11 is described as a protruding form, it is implemented in a form disposed on the wall of the cooking chamber or inside the top plate of the cooking chamber to protect the sensor in actual implementation. It can be.
  • the camera 160 of the electronic device 100 may capture an image of at least one of a pedestal, a container, and food.
  • the camera 160 may be arranged to capture an image of the entire area inside the cooking chamber.
  • the camera 160 may be attached to the wall of the cooking chamber and may be disposed in a state of being inclined downward at a predetermined angle.
  • the camera 160 may be disposed inclined downward at 45 degrees while being attached to a wall surface of a cooking chamber.
  • the camera 160 may be attached to the top plate (or ceiling) of the cooking chamber and disposed downward at a predetermined angle.
  • the camera 160 may be disposed facing downward while being attached to the top plate of the cooking chamber.
  • the camera 160 of FIG. 11 is described as a protruding shape, it may be implemented in a form disposed on a wall surface of a cooking chamber or inside a top plate of the cooking chamber to protect the camera lens in actual implementation.
  • FIG. 12 is a diagram for explaining an operation of acquiring an artificial intelligence model for identifying a recommended menu.
  • the electronic device 100 may generate an artificial intelligence model 1210 identifying a recommended menu. Specifically, the electronic device 100 may learn the artificial intelligence model 1200 based on learning data.
  • the learning data may be context information, a menu selection history, and a menu selection result.
  • the electronic device 100 may learn the artificial intelligence model 1200 so that a menu selection result can be derived based on context information and menu selection history.
  • the electronic device 100 may analyze which menu was finally selected in a situation where specific context information is obtained. Based on the analysis result, the electronic device 100 may generate an artificial intelligence model 1210 that identifies a recommended menu by receiving a user input, context information, and menu selection history.
  • the artificial intelligence model 1200 is a model used in a learning process
  • the artificial intelligence model 1210 may mean a model for which learning has been completed.
  • the electronic device 100 may store the artificial intelligence model 1210 in the memory 130 .
  • the electronic device 100 may input the user input, context information, and menu selection history to the artificial intelligence model 1210 to identify a recommended menu corresponding to the user input.
  • input data of the artificial intelligence model 1210 may be a user input, context information, and menu selection history
  • output data of the artificial intelligence model 1210 may be a recommended menu corresponding to the user input.
  • the artificial intelligence model 1200 and the artificial intelligence model 1210 may be described as a neural network model.
  • 13 is a diagram for explaining menus of different depths.
  • the electronic device 100 may store menus of different depths.
  • the electronic device 100 may include a menu 1310 of a first category of a first depth and a menu 1320 of a second category of a second depth.
  • the menu 1310 of the first depth may be a higher category menu of the menu 1320 of the second depth.
  • the menu 1320 of the second depth may be a lower category menu of the menu 1310 of the first depth. The lower the number of the depth, the higher the menu may be.
  • submenus #01, #02, #03, #04, #05, and #06 may exist in menu A.
  • submenus #11, #12, #13, #14, #15, and #16 may exist in menu B.
  • submenus #21, #22, #01, #02, #11, and #12 may exist in menu C.
  • submenus #01 and #02 of menu C may be submenus of menu A.
  • submenus #11 and #12 of menu C may be submenus of menu A. That is, some menus may overlap.
  • FIG. 14 is a diagram for explaining a screen displayed when a specific menu is selected.
  • the electronic device 100 may display a screen 1400 related to a menu on the display 110 .
  • the screen 1400 includes a first area 1410 for displaying information related to a menu, a second area 1420 including a UI for selecting (or moving) a menu, or a selected (or moved) menu. It may include at least one of the third area 1430 including a UI for confirming or canceling.
  • the first area 1410 may include at least one of an area 1411 displaying at least one menu or an area 1412 displaying information related to a currently selected (or activated) menu.
  • the information related to the currently selected (or activated) menu may mean summary information related to a specific menu.
  • the summary information may include at least one of a thumbnail image corresponding to a specific menu or summary text corresponding to the specific menu.
  • Area 1412 of FIG. 14 may be an area displaying summary information related to the currently selected (or activated) menu #01.
  • the second area 1420 may include a UI for moving the selected (or activated) menu.
  • the UI for moving the selected (or activated) menu may be a UI for moving the menu up, down, left, or right.
  • the third region 1430 may include at least one of a UI for confirming a currently selected (or activated) menu or a UI for canceling a currently selected (or activated) menu.
  • the electronic device 100 may display a sub-menu of the currently selected (or activated) menu. That is, the electronic device 100 may display detailed information of the selected (or activated) menu.
  • the electronic device 100 may display a higher level menu of the currently selected (or activated) menu.
  • 15 is a diagram for explaining an operation of providing guide information based on a preset event, according to an embodiment.
  • the electronic device 100 may display a screen 1500 providing a recommendation menu on the display 110 .
  • the screen 1500 may include at least one of an area 1511 displaying at least one menu or an area 1512 displaying information related to a currently selected (or activated) menu.
  • the area 1511 may correspond to the area 1411 of FIG. 14
  • the area 1512 may correspond to the area 1412 of FIG. 14 .
  • the electronic device 100 may display guide information 1501 including a recommended menu on the area 1512 .
  • guide information 1501 including a recommended menu on the area 1512 .
  • previously displayed content may not be visible.
  • 16 is a diagram for explaining an operation of providing guide information based on a preset event according to another embodiment.
  • the electronic device 100 may display a screen 1600 providing a recommendation menu on the display 110 .
  • the screen 1600 may include at least one of an area 1611 displaying at least one menu or an area 1612 displaying information related to a currently selected (or activated) menu.
  • the area 1611 may correspond to the area 1411 of FIG. 14
  • the area 1612 may correspond to the area 1412 of FIG. 14 .
  • the electronic device 100 may display guide information 1601 including a recommended menu on the area 1612 .
  • the guide information 1601 may be displayed overlapping on previously displayed content. Accordingly, the user can intuitively grasp that a recommendation menu is provided separately from previously displayed content.
  • 17 is a diagram for explaining an operation of providing guide information based on a preset event according to another embodiment.
  • the electronic device 100 may display a screen 1700 providing a recommendation menu on the display 110 .
  • the screen 1700 may include at least one of an area 1711 displaying at least one menu or an area 1712 displaying information related to a currently selected (or activated) menu.
  • the area 1711 may correspond to the area 1411 of FIG. 14
  • the area 1712 may correspond to the area 1412 of FIG. 14 .
  • the electronic device 100 may additionally display an icon 1701 based on the location where the recommendation menu is displayed in the region 1711 .
  • the recommended menu is #03.
  • the electronic device 100 may display an icon 1701 at a position adjacent to a position where the recommendation menu #03 is displayed. The user can intuitively grasp the recommended menu through the icon 1701 .
  • 18 is a diagram for explaining an operation of displaying a recommendation menu.
  • the electronic device 100 may display a screen 1810 providing a recommendation menu on the display 110 .
  • the screen 1810 may correspond to the screen 1700 of FIG. 17 .
  • the electronic device 100 may change the currently activated menu #01 based on the swipe input 1811.
  • the electronic device 100 may identify the recommended menu #03 closest to the menu #01 activated through the swipe input 1811.
  • the electronic device 100 may display a screen 1820 including a recommendation menu #03 on the display 110 .
  • the electronic device 100 may display a menu (#02) located in the middle before displaying the screen 1820 including the recommendation menu (#03).
  • the swipe input 1811 may correspond to an input for changing an activated menu
  • the electronic device 100 sequentially #01, #02, #03, #04, #05, and #06. You can select (or activate) a menu.
  • the display time of each menu may be determined according to the input time of the swipe input 1811 . If the input time of the swipe input 1811 is short, the time each menu is displayed may also be short.
  • the electronic device 100 may display the recommended menu #03 fixedly while displaying a plurality of menus in order based on the swipe input 1811. That is, when the recommendation menu #03 is identified in a situation where #01, #02, #03, #04, #05, and #06 are to be displayed in order, the electronic device 100 displays the recommendation menu #03. It may be displayed fixedly and the next menus (#04, #05, #06) of the recommended menu (#03) may not be displayed.
  • the electronic device 100 may display at least one menu in order based on the swipe input 1811 and display the recommended menu #03 for a longer period of time than other menus.
  • the electronic device 100 provides the recommendation menu #03.
  • the previous menus (#01, #02) of ) are displayed for a first time (eg, 0.2 seconds)
  • the recommended menu (#03) is displayed for a second time (eg, 1 second)
  • the recommended menu (#03) is displayed for a second time (eg, 1 second).
  • Menus #04, #05, and #06 following the menu #03 may be displayed for a first time period (eg, 0.2 seconds).
  • the second time period may be greater than the first time period.
  • 19 is a block diagram illustrating an operation of the electronic device 100 generating a recommendation menu.
  • the electronic device 100 may include a manipulation interface 120, a memory 130, a processor 140, and a sensor unit 150.
  • the processor 140 may include at least one of a control module 141 , an input information determination module 142 , a context information acquisition module 143 , and a recommendation menu identification module 144 .
  • the recommendation menu identification module 144 may include a pattern similarity calculation module 144-1 and a recommendation menu determination module 144-2_.
  • the memory 130 may store menu structure information 131 and menu selection history 132 .
  • the menu structure information 131 may mean a structure of an upper or lower menu. A description related to the menu structure information 131 is described in FIG. 13 .
  • the electronic device 100 may receive a user input through the manipulation interface 120 .
  • the electronic device 100 may transmit the user input received through the manipulation interface 120 to the control module 141 .
  • the control module 141 may transmit the user input to the input information determination module 142 .
  • the input information determination module 142 may identify whether a predetermined event has occurred based on the user input. If it is identified that a preset event has occurred, the input information determination module 142 may transmit an event notification to the control module 141 .
  • control module 141 may receive an event notification from the input information determination module 142 .
  • the control module 141 may request context information from the sensor unit 150 .
  • context information acquired through the sensor unit 150 may be stored in the context information obtaining module 143 .
  • the control module 141 may request the menu structure information 131 and the menu selection history 132 from the memory 130 .
  • the recommendation menu identification module 144 When the event notification is received, the recommendation menu identification module 144 includes user input obtained from the manipulation interface 120, context information obtained through the sensor unit 150, and menu structure information 131 obtained through the memory 130. ) and a menu selection history 132 may be obtained. Also, the recommendation menu identification module 144 may calculate pattern similarity for each of a plurality of patterns stored in the menu selection history 132 using the pattern similarity calculation module 144-1.
  • the pattern similarity may mean a value indicating how similar a specific pattern stored in the menu selection history 132 is to a user input. Then, the pattern similarity calculated by the pattern similarity calculation module 144-1 may be transmitted to the recommendation menu determination module 144-2.
  • the pattern similarity may be described as a weight (or sum weight).
  • the recommendation menu determination module 144-2 may identify (or determine) at least one recommendation menu corresponding to the user input based on the pattern similarity.
  • control module 141 Specific operations of the control module 141, the input information determination module 142, the context information acquisition module 143, and the recommendation menu identification module 144 are described in FIGS. 22 to 24.
  • the context information acquisition module 143 may be omitted according to an implementation example.
  • the recommendation menu identification module 144 may directly obtain context information through the sensor unit 150 .
  • 20 is a flowchart illustrating an operation of identifying a recommendation menu.
  • the electronic device 100 may receive a user input for selecting a menu (S2005). And, the electronic device 100 may identify a preset event (S2010). If the preset event is not identified (S2010-N), the electronic device 100 may repeat steps S2005 and S2010.
  • the electronic device 100 may obtain context information (S2015). And, the electronic device 100 may obtain a menu selection history (S2020). Then, the electronic device 100 may identify a recommended menu based on the user input, context information, and menu selection history (S2025). Here, the electronic device 100 may identify a recommended menu by additionally considering menu structure information. And, the electronic device 100 may provide guide information including a recommendation menu (S2030). Since the operation of providing guide information may correspond to S515 of FIG. 5, redundant description will be omitted.
  • 21 is a flowchart illustrating an operation of identifying a recommended menu based on a food temperature.
  • steps S2105 and S2110 may correspond to steps S2005 and S2010 of FIG. 20 , so duplicate descriptions are omitted.
  • the electronic device 100 may sense the food temperature (S2115). Specifically, the electronic device 100 may sense the temperature of food through the contact temperature sensor 152 . And, the electronic device 100 may acquire the sensed food temperature as context information (S2120). Here, the context information may additionally include various types of information in addition to the food temperature. And, the electronic device 100 may obtain a menu selection history (S2125). Then, the electronic device 100 may identify a recommended menu based on a user input, context information including a food temperature, and menu selection history (S2130). And, the electronic device 100 may provide guide information including a recommendation menu (S2135). Since the operation of providing guide information may correspond to S515 of FIG. 5, redundant description will be omitted.
  • 22 is a flowchart illustrating an operation of providing guide information by a plurality of modules included in the electronic device 100 according to an embodiment.
  • the manipulation interface 120 may receive a first user input (S2201). And, the manipulation interface 120 may transmit the received first user input to the control module 141 (S2202). Then, the control module 141 may transmit the first user input received from the manipulation interface 120 to the input information determination module 142 (S2203).
  • the input information determination module 142 may receive a first user input from the control module 141 . Then, the input information determination module 142 may identify a preset event based on the first user input (S2204). When a preset event is identified based on the first user input, the input information determination module 142 may transmit an event notification to the control module 141 (S2205). Then, the input information determination module 142 may transmit the first user input to the recommendation menu identification module 144 (S2210).
  • the first user input transmitted in step S2210 may be the user input transmitted in step S2202. That is, the input information determination module 142 may transmit all information related to the received first user input to the recommendation menu identification module 144 .
  • the input information determination module 142 may transmit only some of the received first user input to the recommendation menu identification module 144 .
  • some information may refer to information related to a menu used for a recommendation menu.
  • the control module 141 may receive an event notification from the input information determination module 142 .
  • the control module 141 may request context information from the context information acquisition module 143 (S2220). Specifically, the control module 141 may transmit a control signal for requesting context information to the context information acquisition module 143 . Also, the context information acquisition module 143 may transmit a control signal to the sensor unit 150 and may receive context information from the sensor unit 150 . And, the context information acquisition module 143 may transmit the context information to the recommendation menu identification module 144 (S2221).
  • the control module 141 may request a menu selection history from the memory 130 (S2230). Specifically, the control module 141 may transmit a control signal for requesting a menu selection history to the memory 130 .
  • the memory 130 may receive a request for a menu selection history from the control module 141 . Then, the memory 130 may transmit the menu selection history to the recommendation menu identification module 144 (S2231).
  • the recommended menu identification module 144 may identify a recommended menu based on the first user input obtained through step S2210, the context information acquired through step S2221, and the menu selection history obtained through step S2231 (S2240). . Then, the recommendation menu identification module 144 may transmit the identified recommendation menu to the control module 141 (S2241).
  • the control module 141 may receive a recommended menu from the recommended menu identification module 144 . And, the control module 141 may provide guide information including a recommended menu (S2242).
  • the content of this disclosure is not limited to the operation sequence of FIG. 22 . According to another embodiment, an operation sequence may be different. According to another embodiment, one or more operations may be omitted or added.
  • context information and menu selection history may be transmitted to the recommended menu identification module 144 via the control module 141 .
  • a description related to this is described in FIG. 23 .
  • 23 is a flowchart illustrating an operation of providing guide information by a plurality of modules included in the electronic device 100 according to another embodiment.
  • steps S2301, S2302, S2303, S2304, S2305, S2341, and S2342 may correspond to steps S2201, S2202, S2203, S2204, S2205, S2241, and S2242 of FIG. 22, so duplicate descriptions are omitted.
  • the control module 141 may transmit a first user input to the recommendation menu identification module 144 (S2310). Unlike FIG. 22 , the first user input may be transmitted to the recommendation menu identification module 144 via the control module 141 .
  • the control module 141 may request context information from the context information acquisition module 143 (S2320). Also, the context information acquisition module 143 may obtain context information through the sensor unit 150 . And, the context information acquisition module 143 may transmit the context information to the control module 141 (S2321). Then, the control module 141 may transmit the context information acquired from the context information acquisition module 143 to the recommendation menu identification module 144 (S2322).
  • the control module 141 may request a menu selection history from the memory 130 (S2330). Then, the memory 130 may transmit the menu selection history to the control module 141 again (S2331). Then, the control module 141 may transmit the menu selection history to the recommendation menu identification module 144 (S2332).
  • the recommended menu identification module 144 may identify a recommended menu based on the first user input obtained through step S2310, the context information obtained through step S2322, and the menu selection history obtained through step S2332 (S2340). . Then, the recommended menu identification module 144 may transmit the recommended menu to the control module 141 (S2341). And, the control module 141 may provide guide information including a recommended menu (S2342).
  • 24 is a flowchart illustrating an operation of storing feedback information after guide information is provided.
  • the control module 141 may provide guide information including a recommended menu (S2442).
  • Step S2442 may correspond to step S2242 of FIG. 22 or step S2342 of FIG. 23 . That is, the operation of FIG. 24 describes operations after the operation of providing guide information.
  • the manipulation interface 120 may receive a second user input for selecting the recommended menu (S2450). Then, the manipulation interface 120 may transmit the second user input to the control module 141 (S2451).
  • the electronic device 100 may receive the second user input through the manipulation interface 120 .
  • the control module 141 may analyze which recommendation menu the user has selected based on the second user input. Then, the control module 141 may generate feedback information based on the second user input (S2460).
  • the feedback information may include information related to whether a recommended menu is selected.
  • the control module 141 may transmit feedback information to the memory 130 (S2461). And, the memory 130 may store the feedback information received from the control module 141 (S2462).
  • the control module 141 may identify a menu preferred by the user based on the feedback information, and may additionally use the feedback information in an operation of identifying the recommended menu.
  • FIG. 25 is a flowchart illustrating an operation of identifying a recommendation menu using the server 200. Referring to FIG.
  • the electronic device 100 may acquire a recommendation menu through the server 200 .
  • the server 200 may store menu structure information and menu selection history (S2505).
  • the electronic device 100 may receive a user input (S2510).
  • the electronic device 100 may transmit the user input to the server (S2515).
  • the server 200 may receive a user input from the electronic device 100 . Then, the server 200 may identify a preset event based on the user input (S2520). When a preset event is identified, the server 200 may transmit an event notification to the electronic device 100 (S2525).
  • the electronic device 100 may receive an event notification from the server 200 . And, when the event notification is received, the electronic device 100 may obtain context information (S2530). And, the electronic device 100 may transmit context information to the server 200 (S2535).
  • the server 200 may receive context information from the electronic device 100 . Then, the server 200 may identify a recommended menu based on the user input obtained in step S2515, the context information obtained in step S2535, the menu structure information obtained in step S2505, and the menu selection history (S2540). And, the server 200 may transmit the recommendation menu to the electronic device 100 (S2545).
  • the electronic device 100 may receive a recommendation menu from the server 200 . And, the electronic device 100 may provide guide information including a recommendation menu (S2550).
  • 26 is a table for explaining weight information corresponding to each of a plurality of dishes.
  • a table 2610 may include weight information for menus.
  • the menu may be classified by dish identification information.
  • Weight information may include weights corresponding to a plurality of items.
  • the plurality of items may include at least one of a category, a related category, (cooking room) internal temperature, probe temperature, whether function 1 is performed, whether function 2 is performed, time, date, or selection history.
  • the electronic device 100 may acquire a currently selected (or activated) menu based on a user input. In addition, the electronic device 100 may assign a weight to a category corresponding to the currently selected menu. In addition, the electronic device 100 may assign a weight to a related category corresponding to the currently selected menu.
  • the electronic device 100 may obtain context information.
  • the context information may include at least one of an internal temperature (of the cooking compartment), a temperature of the probe (of the food), whether function 1 is performed, whether function 2 is performed, the current time, or the current date.
  • the electronic device 100 may assign a weight corresponding to the context information.
  • the electronic device 100 may acquire a menu selection history.
  • the menu selection history may include information indicating which menu the user has selected.
  • the electronic device 100 may assign a weight to a menu having a user-selected history.
  • #01 may be included in menu A, when menu A is selected, the electronic device 100 may assign a weight corresponding to the category. Also, since the related category of #01 corresponds to the B menu, when the B menu is selected, the electronic device 100 may assign a weight corresponding to the related category. Also, #01 may be a menu operated in a situation where the temperature of the cooking chamber is higher than the critical temperature. Accordingly, when the temperature of the cooking compartment is equal to or higher than the critical temperature, the electronic device 100 may assign a weight corresponding to the internal temperature. Also, #01 may be a menu in which function 1 should be performed. Accordingly, when function 1 is performed, the electronic device 100 may assign a weight corresponding to function 1. Also, #01 may be a menu mainly used in the morning.
  • the electronic device 100 may assign a weight corresponding to the time.
  • #01 may be a menu mainly used on weekdays. Accordingly, if the current date is a weekday, the electronic device 100 may assign a weight corresponding to the date.
  • the weighting method related to #02 to #23 a method similar to that of #01 may be applied, and thus a description thereof is omitted.
  • weights corresponding to each of the plurality of items may be different.
  • the electronic device 100 has 60 categories, 30 associated categories, 5 internal temperatures, 5 probe temperatures, 5 functions 1, 5 functions 2, 5 time, 5 dates, and 5 selection history.
  • a weight of 40 can be assigned.
  • 27 is a diagram for explaining an operation of identifying a recommended menu based on weight information.
  • a table 2710 may include weighted results corresponding to a plurality of menus.
  • the electronic device 100 may acquire user input information 2701 , context information 2702 , and menu selection history 2703 .
  • the user input information 2701 may include information for selecting category A by the user.
  • the context information 2702 includes internal temperature not identified, probe temperature identified, function 1 performed, function 2 not performed, evening, weekend, and Christmas.
  • Unidentified internal temperature may mean a state in which the inside of the cooking chamber is not heated. If the internal temperature is less than the first threshold temperature, the electronic device 100 may determine that the internal temperature is not identified. Also, identification of the probe temperature may mean a state in which food is not heated. If the probe temperature is equal to or higher than the second threshold temperature, the electronic device 100 may determine “probe temperature identification”.
  • the menu selection history 2703 includes a history of the user selecting #03, #11, #12, and #13.
  • the electronic device 100 may determine that the currently selected menu is A based on the user input information 2701 . Accordingly, the electronic device 100 may assign weights 60 corresponding to categories to #01, #02, and #03. In addition, the electronic device 100 may assign a weight 30 corresponding to a related category of 30 to #11 and #21.
  • the electronic device 100 may assign a weight based on context information 2702 . Since the internal temperature is not identified, the electronic device 100 may not assign a weight 5 corresponding to the internal temperature. Also, since the probe temperature is identified, the electronic device 100 may assign weights 5 corresponding to the probe temperature to #21, #22, and #23. Also, since function 1 has been performed, the electronic device 100 may assign weights 5 with respect to function 1 to #01, #03, #11, #13, #21, and #23. Also, since function 2 has not been performed, the electronic device 100 may not assign a weight 5 to function 2. In addition, since the current time is evening, a weight (5) corresponding to the time can be assigned to #03, #13, and #23.
  • a weight (5) corresponding to the date may be assigned to #02, #03, #12, #13, #22, and #23.
  • the electronic device 100 may additionally assign a weight (5) to a specific public holiday separately from the weekend weight.
  • the electronic device 100 may additionally assign weights 5 corresponding to Christmas to #03, #13, and #23.
  • the electronic device 100 may assign a weight based on the menu selection history 2703.
  • the menu selection history 2703 may indicate that the user has selected #03, #11, #12, and #13. Accordingly, the electronic device 100 may assign weights 40 corresponding to selection histories to #03, #11, #12, and #13.
  • the electronic device 100 may calculate a weight corresponding to each of a plurality of menus according to the above-described method. And, the electronic device 100 may identify a recommendation menu based on the calculated weight.
  • the electronic device 100 may identify a menu (#03) having the highest weight as a recommendation menu.
  • the electronic device 100 may identify a threshold number (for example, 4) of menus in order of weights as the recommended menus #03, #11, #01, and #02.
  • a threshold number for example, 4
  • the electronic device 100 may identify the recommended menu according to the priority information. Priorities may be high in the order of category, selection history, related category, internal temperature, probe temperature, whether function 1 is performed, whether function 2 is performed, time, and date. Accordingly, the priority of #01 in table 2710 may be higher. Accordingly, when identifying three recommended menus, the electronic device 100 may identify #03, #11, and #01 as recommended menus.
  • FIG. 28 is a diagram for explaining a control method of the electronic device 100 according to an embodiment of the present disclosure.
  • the control method of the electronic device 100 includes storing a menu selection history including a first menu of a first depth and a second menu of a second depth subordinate to the first menu (S2805); If a user input for selecting any one menu is received, identifying whether guide information needs to be provided based on the user input (S2810), and if it is identified that guide information needs to be provided, for the selected at least one menu and displaying guide information including a recommended menu based on information, current context information of the electronic device 100, and stored menu selection history (S2815).
  • step of identifying whether guide information needs to be provided an event in which an additional user input for selecting a menu is not received for a critical time after a menu of a specific depth is selected, and the speed at which the menu changes according to the user input
  • at least one event is identified among an event exceeding a threshold speed or an event in which a user input canceling a menu selection is received after a menu of a specific depth is selected, it may be identified that guide information needs to be provided.
  • the context information may include at least one of internal temperature information of the electronic device 100, temperature information of an object to be cooked, information on whether a specific function is executed, image information of the electronic device 100, and date and time information. .
  • control method includes obtaining a weight corresponding to each of a plurality of menus stored in the electronic device 100 based on information about at least one menu, context information, and a menu selection history, and a weight corresponding to each of the plurality of menus. It may further include identifying a recommended menu based on.
  • the step of obtaining a weight corresponding to each of a plurality of menus includes identifying a selected menu based on information on at least one menu, assigning a first sub weight to a menu identical to the selected menu among the plurality of menus, and A weight corresponding to each of the plurality of menus may be obtained by assigning a second sub weight to a menu similar to the selected menu among the menus of , and adding the first sub weight and the second sub weight.
  • a third sub weight is assigned to a menu corresponding to context information among the plurality of menus
  • a fourth sub weight is assigned to a menu corresponding to a menu selection history among the plurality of menus.
  • a weight corresponding to each of a plurality of menus may be obtained by assigning , and summing the first sub weight, the second sub weight, the third sub weight, and the fourth sub weight.
  • control method includes identifying a recommended menu based on at least one menu information, context information, and menu selection history when it is identified that guide information needs to be provided, and a recommended menu based on a displayed position of the recommended menu.
  • a step of displaying an icon for identifying the may be further included.
  • control method further includes obtaining a recommended menu by inputting information and context information about at least one menu of the electronic device 100 into the learned neural network model when it is identified that the provision of guide information is necessary,
  • a neural network model may be learned based on context information and menu selection history.
  • the electronic device 100 is a cooking device including a heater for heating food
  • the control method includes performing a function corresponding to the selected menu when a user input for selecting a menu included in guide information is received.
  • the function corresponding to the selected menu includes a function of displaying text including the cooking process of the selected menu, a function of displaying an image including the cooking process of the selected menu, and a heater to perform the cooking process of the selected menu. It may include at least one function of setting a schedule.
  • the electronic device 100 includes a contact temperature sensor 152 for sensing the temperature of the food, and when it is identified that the provision of guide information is necessary, the control method uses the contact temperature sensor 152 to sense the temperature of the food.
  • the method may further include obtaining a temperature as context information and identifying a recommended menu based on information about at least one menu, context information including a temperature of a food, and menu selection history.
  • the method of controlling an electronic device as shown in FIG. 28 may be executed on an electronic device having the configuration of FIG. 3 or 4 and may also be executed on an electronic device having other configurations.
  • various embodiments of the present disclosure described above may be performed through an embedded server included in an electronic device or an external server of at least one of an electronic device and a display device.
  • a device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device according to the disclosed embodiments.
  • the processor may perform a function corresponding to the command directly or by using other components under the control of the processor.
  • An instruction may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play StoreTM).
  • CD-ROM compact disc read only memory
  • application store eg Play StoreTM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each of the components may be composed of a single object or a plurality of entities, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components may be executed sequentially, in parallel, repetitively, or heuristically, or at least some operations may be executed in a different order, may be omitted, or other operations may be added. can

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 전자 장치는 디스플레이, 조작 인터페이스, 제1 뎁스의 제1 메뉴 및 제1 메뉴에 종속된 제2 뎁스의 제2 메뉴를 포함하는 메뉴 선택 이력을 저장하는 메모리, 조작 인터페이스를 통해 적어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 사용자 입력에 기초하여 가이드 정보의 제공 여부를 식별하고, 가이드 정보가 제공되는 것으로 식별되면, 선택된 적어도 하나의 메뉴에 대한 정보, 전자 장치의 현재 컨텍스트(context) 정보 및 메모리에 저장된 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 가이드 정보를 표시하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 메뉴를 선택하는 사용자 입력에 기초하여 추천 메뉴를 제공하는 전자 장치 및 그 제어방법에 대한 것이다.
사용자가 다양한 메뉴 중에서 특정 메뉴를 선택하고자 탐색할 수 있다. 예를 들어, 전자 장치에 포함되는 버튼, 다이얼 또는 터치 스크린 등을 통하여 사용자가 특정 메뉴를 탐색할 수 있다.
여기서, 전자 장치에서 제공하는 메뉴가 많은 경우, 사용자가 자신이 원하는 메뉴를 찾는데 어려움이 있을 수 있다. 예를 들어, 피자를 조리하기 위한 메뉴를 찾는 경우 사용자가 어떤 카테고리의 메뉴를 선택해야 하는지 알기 어려울 수 있다.
또한, 특정 메뉴를 선택하는 과정에서 많은 사용자 입력이 필요하다면, 사용자가 불편함을 느낄 수 있다. 예를 들어, 피자를 조리하기 위한 메뉴를 자주 이용하는 사용자는 제1 뎁스의 메뉴, 제2 뎁스의 메뉴, 제3 뎁스의 메뉴를 최종적으로 선택해야 한다고 가정한다. 피자를 조리하기 위한 메뉴를 자주 이용하는 사용자는 총 3번의 메뉴를 반복적으로 선택하고 최종 시작 버튼을 또 입력해야 할 수 있다. 사용자가 반복적으로 해당 메뉴를 이용하는 경우, 4번의 입력에 시간이 오래 걸린다고 느낄 수 있다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 가이드 정보의 제공이 필요하다고 식별되면, 사용자 입력, 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 가이드 정보를 제공하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 디스플레이, 조작 인터페이스, 제1 뎁스의 제1 메뉴 및 상기 제1 메뉴에 종속된 제2 뎁스의 제2 메뉴를 포함하는 메뉴 선택 이력을 저장하는 메모리, 상기 조작 인터페이스를 통해 적어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 가이드 정보의 제공 여부를 식별하고, 상기 가이드 정보가 제공되는 것으로 식별되면, 상기 선택된 적어도 하나의 메뉴에 대한 정보, 상기 전자 장치의 현재 컨텍스트(context) 정보 및 상기 메모리에 저장된 상기 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 상기 가이드 정보를 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
한편, 상기 프로세서는 특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트 또는 특정 뎁스의 메뉴가 선택된 후 상기 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트 중 적어도 하나의 이벤트가 식별되면, 상기 가이드 정보가 제공되는 것으로 식별할 수 있다.
한편, 상기 컨텍스트 정보는 상기 전자 장치 내부의 온도 정보, 조리 대상의 온도 정보, 특정 기능의 실행 여부에 대한 정보, 상기 전자 장치 내부의 이미지 정보 및 일시 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 메모리는 복수의 메뉴를 저장하고, 상기 프로세서는 상기 적어도 하나의 메뉴에 대한 정보, 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 상기 메모리에 저장된 복수의 메뉴 각각에 대응되는 가중치를 획득하고, 상기 복수의 메뉴 각각에 대응되는 가중치에 기초하여 상기 추천 메뉴를 식별할 수 있다.
한편, 상기 프로세서는 상기 적어도 하나의 메뉴에 대한 정보에 기초하여 선택된 메뉴를 식별하고, 상기 복수의 메뉴 중 상기 선택된 메뉴와 동일한 메뉴에 제1 서브 가중치를 할당하고, 상기 복수의 메뉴 중 상기 선택된 메뉴와 유사한 메뉴에 제2 서브 가중치를 할당하고, 상기 제1 서브 가중치 및 상기 제2 서브 가중치를 합산하여 상기 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
한편, 상기 프로세서는 상기 복수의 메뉴 중 상기 컨텍스트 정보에 대응되는 메뉴에 제3 서브 가중치를 할당하고, 상기 복수의 메뉴 중 상기 메뉴 선택 이력에 대응되는 메뉴에 제4 서브 가중치를 할당하고, 상기 제1 서브 가중치, 상기 제2 서브 가중치, 상기 제3 서브 가중치 및 상기 제4 서브 가중치를 합산하여 상기 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
한편, 상기 프로세서는 상기 가이드 정보가 제공되는 것으로 식별되면, 상기 적어도 하나의 메뉴에 대한 정보, 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 상기 추천 메뉴를 식별하고, 상기 추천 메뉴가 표시되는 위치에 기초하여 상기 추천 메뉴를 식별하기 위한 아이콘을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는 상기 가이드 정보가 제공되는 것으로 식별되면, 학습된 신경망 모델에 상기 전자 장치의 상기 적어도 하나의 메뉴에 대한 정보 및 상기 컨텍스트 정보를 입력하여 상기 추천 메뉴를 획득하고, 상기 신경망 모델은 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 학습될 수 있다.
한편, 상기 전자 장치는 조리물을 가열하는 히터를 포함하고, 상기 프로세서는 상기 가이드 정보에 포함된 메뉴를 선택하는 사용자 입력이 수신되면, 상기 선택된 메뉴에 대응되는 기능을 수행하고, 상기 선택된 메뉴에 대응되는 기능은 상기 선택된 메뉴의 조리 과정을 포함하는 텍스트를 표시하는 기능, 상기 선택된 메뉴의 조리 과정을 포함하는 이미지를 표시하는 기능, 상기 선택된 메뉴의 조리 과정을 수행하기 위해 상기 히터의 스케쥴을 설정하는 기능 중 적어도 하나를 포함할 수 있다.
한편, 상기 전자 장치는 상기 조리물의 온도를 센싱하기 위한 접촉식 온도 센서를 포함하고, 상기 프로세서는 상기 가이드 정보가 제공되는 것으로 식별되면, 상기 접촉식 온도 센서를 통해 상기 조리물의 온도를 상기 컨텍스트 정보로서 획득하고, 상기 적어도 하나의 메뉴에 대한 정보, 상기 조리물의 온도를 포함하는 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 상기 추천 메뉴를 식별할 수 있다.
본 실시 예에 따른 전자 장치의 제어 방법은 제1 뎁스의 제1 메뉴 및 상기 제1 메뉴에 종속된 제2 뎁스의 제2 메뉴를 포함하는 메뉴 선택 이력을 저장하는 단계, 어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 가이드 정보의 제공 여부를 식별하는 단계 및 상기 가이드 정보가 제공되는 것으로 식별되면, 상기 선택된 적어도 하나의 메뉴에 대한 정보, 상기 전자 장치의 현재 컨텍스트(context) 정보 및 상기 저장된 상기 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 상기 가이드 정보를 표시하는 단계를 포함한다.
한편, 상기 가이드 정보의 제공 여부를 식별하는 단계는 특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트 또는 특정 뎁스의 메뉴가 선택된 후 상기 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트 중 적어도 하나의 이벤트가 식별되면, 상기 가이드 정보가 제공되는 것으로 식별할 수 있다.
한편, 상기 컨텍스트 정보는 상기 전자 장치 내부의 온도 정보, 조리 대상의 온도 정보, 특정 기능의 실행 여부에 대한 정보, 상기 전자 장치 내부의 이미지 정보 및 일시 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 제어 방법은 상기 적어도 하나의 메뉴에 대한 정보, 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 상기 전자 장치에 저장된 복수의 메뉴 각각에 대응되는 가중치를 획득하는 단계 및 상기 복수의 메뉴 각각에 대응되는 가중치에 기초하여 상기 추천 메뉴를 식별하는 단계를 더 포함할 수 있다.
한편, 상기 복수의 메뉴 각각에 대응되는 가중치를 획득하는 단계는 상기 적어도 하나의 메뉴에 대한 정보에 기초하여 선택된 메뉴를 식별하고, 상기 복수의 메뉴 중 상기 선택된 메뉴와 동일한 메뉴에 제1 서브 가중치를 할당하고, 상기 복수의 메뉴 중 상기 선택된 메뉴와 유사한 메뉴에 제2 서브 가중치를 할당하고, 상기 제1 서브 가중치 및 상기 제2 서브 가중치를 합산하여 상기 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
본 개시의 특정 실시 예의 상술한 내용 및 다른 내용, 특징, 이점은 아래의 도면과 함께 기재된 구체적인 설명으로부터 명백해질 수 있다.
도 1은 전자 장치의 구체적인 구성을 설명하기 위한 사시도이다.
도 2는 전자 장치 및 서버와의 통신 연결을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 4는 도 3의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 5는 사용자 입력에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 6은 일 실시 예의 기 설정된 이벤트를 설명하기 위한 흐름도이다.
도 7은 다른 실시 예의 기 설정된 이벤트를 설명하기 위한 흐름도이다.
도 8은 메뉴의 변경 속도를 계산하는 과정을 설명하기 위한 표이다.
도 9는 다양한 실시 예에 따른 메뉴의 변경 속도를 설명하기 위한 도면이다.
도 10은 또 다른 실시 예의 기 설정된 이벤트를 설명하기 위한 흐름도이다.
도 11은 컨텍스트 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 12는 추천 메뉴를 식별하는 인공 지능 모델을 획득하는 동작을 설명하기 위한 도면이다.
도 13은 상이한 뎁스의 메뉴를 설명하기 위한 도면이다.
도 14는 특정 메뉴가 선택되었을 때 표시되는 화면을 설명하기 위한 도면이다.
도 15는 일 실시 예에 따라, 기 설정된 이벤트에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 16은 다른 실시 예에 따라, 기 설정된 이벤트에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 17은 또 다른 실시 예에 따라, 기 설정된 이벤트에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 18은 추천 메뉴를 표시하는 동작을 설명하기 위한 도면이다.
도 19는 추천 메뉴를 생성하는 전자 장치의 동작을 설명하기 위한 블록도이다.
도 20은 추천 메뉴를 식별하는 동작을 설명하기 위한 흐름도이다.
도 21은 조리물 온도에 기초하여 추천 메뉴를 식별하는 동작을 설명하기 위한 흐름도이다.
도 22는 일 실시 예에 따라, 전자 장치에 포함된 복수의 모듈에 의하여 가이드 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 23은 다른 실시 예에 따라, 전자 장치에 포함된 복수의 모듈에 의하여 가이드 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 24는 가이드 정보가 제공된 후 피드백 정보를 저장하는 동작을 설명하기 위한 흐름도이다.
도 25는 서버를 이용하여 추천 메뉴를 식별하는 동작을 설명하기 위한 흐름도이다.
도 26은 복수의 요리 각각에 대응되는 가중치 정보를 설명하기 위한 표이다.
도 27은 가중치 정보에 기초하여 추천 메뉴를 식별하는 동작을 설명하기 위한 도면이다.
도 28은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 전자 장치(100)의 구체적인 구성을 설명하기 위한 사시도이다.
도 1을 참조하면, 전자 장치(100)는 일 예일뿐이고, 본 개시의 다양한 실시 예에 따르면 조리 장치는 다양한 형태로 구현될 수 있음은 물론이다. 예를 들어, 조리 장치는 오븐, 스토브 등일 수 있으나 이에 한정되는 것은 아니다. 한편, 본 개시는 조리 장치에 한정되지 않는다. 다른 실시 예에 따라, 메뉴 항목을 추천하기 위한 동작이 조리 기기가 아닌 다른 장치에서 구현될 수 있다.
도 1에 도시된 바와 같이, 전자 장치(100)는 외관을 형성하는 본체(10)를 포함한다.
또한, 전자 장치(100)는 일측을 향해 개방된 조리실(20)을 구비한다. 여기서, 조리실(20)은 조리물(또는 음식물)을 수용하는 공간(즉, 수용 공간)을 의미할 수 있다. 본체(10)의 조리실(20)은 조리물이 조리되는 조리실(20)일 수 있으며, 조리실(20)은 전자 장치(100)의 전방을 향해 개방될 수 있다.
조리실(20)은 박스 형상으로 형성되며, 조리물의 출납을 위해 전면이 개방된다. 이를 위해, 본체(10)의 전면은 조리실(20)과 연결되는 개구를 구비한다.
이 경우, 조리실(20)의 전면은 본체(10)에 연결된 도어(21)에 의해 개폐될 수 있다. 이를 위해, 도어(21)는 본체(10)에 대해 회전 가능하도록 본체(10)의 하부에 힌지 결합될 수 있다. 또한, 도어(21)의 전면 상부에는 사용자가 파지할 수 있는 도어 핸들(23)이 마련되며, 사용자는 도어 핸들(23)을 파지하여 조리실(20)을 개폐할 수 있다.
또한, 조리실(20)에는 조리물을 가열시키기 위한 히터가 마련될 수 있다. 이 경우, 히터는 전기 저항체를 포함하는 전기 히터일 수 있다. 다만, 히터는 전기 히터로 한정되는 것은 아니고 가스를 연소시켜 열을 발생시키는 가스 히터일 수도 있다.
한편, 본체(10)의 상부에는 컨트롤 패널(30)이 배치된다. 컨트롤 패널(30)은 전자 장치(100)의 각종 동작 정보를 표시하고 전자 장치(100)의 동작을 제어하기 위한 사용자 명령을 입력받는 디스플레이(31)를 포함할 수 있다. 또한, 컨트롤 패널(30)은 전자 장치(100)의 동작을 제어하기 위한 다양한 사용자 명령을 입력받는 버튼(32)을 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치(100)는 조리실에 투입된 조리물의 크기 및 조리 상태를 고려하여, 조리물에 대한 조리를 수행할 수 있다.
구체적으로, 전자 장치(100)는 사용자가 컨트롤 패널(30)을 통해 선택한 조리물의 종류에 따라 조리물에 대한 조리 시간을 결정할 수 있다. 이때, 전자 장치(100)는 조리물의 크기를 판단하고, 판단된 크기에 따라 조리 시간을 결정할 수 있다. 예를 들어, 동일한 종류의 조리물이라도, 조리물의 크기가 작을수록 상대적으로 짧게 조리 시간을 결정하고, 조리물의 크기가 클수록 상대적으로 길게 조리 시간을 결정할 수 있다.
그리고, 전자 장치(100)는 조리물에 대한 조리가 진행되는 동안에 조리물의 조리 상태를 판단하고, 조리 상태에 기초하여 조리의 진행을 제어할 수 있다.
구체적으로, 전자 장치(100)는 조리물이 익은 정도에 따라 조리물에 대한 조리가 완료된 것으로 판단되면, 설정된 조리 시간이 종료되기 전이라도 조리를 종료할 수 있다. 예를 들어, 전자 장치(100)는 조리물이 익은 정도를 판단하고, 조리물의 익은 정도에 따라 조리물에 대한 조리가 완료된 것으로 판단되면, 조리 시간이 종료되기 전이라도 조리를 종료할 수 있다.
이와 같이, 본 개시의 다양한 실시 예에 따르면, 조리물의 종류만을 고려하여 조리 시간을 결정하는 것이 아니라, 동일한 종류의 조리물이라도 조리물의 크기에 따라 서로 다른 조리 시간이 결정될 수 있으며, 조리가 수행되는 동안에 조리물의 조리 상태에 따라 조리가 종료되는 시간이 결정될 수 있다. 이에 따라, 사용자는 조리물의 크기 등의 차이로 인한 정확한 조리법을 모르는 경우라도, 자신이 조리하고자 하는 조리물의 종류만을 선택하면, 조리 과정에 대한 모니터링 없이도 최적으로 조리물을 조리할 수 있게 된다.
도 2는 전자 장치(100) 및 서버(200)와의 통신 연결을 수행하는 시스템(2000)을 설명하기 위한 도면이다.
도 2를 참조하면, 전자 장치(100)는 서버(200)와 통신을 수행할 수 있다. 구체적으로, 전자 장치(100)는 추천 메뉴를 식별하는데 필요한 정보를 서버(200)에 전송할 수 있다. 여기서, 추천 메뉴를 식별하는데 필요한 정보는 사용자 입력과 관련된 정보, 전자 장치(100)의 컨텍스트와 관련된 정보(또는 컨텍스트 정보) 또는 메뉴 선택 이력 중 적어도 하나를 포함할 수 있다. 여기서, 사용자 입력은 사용자가 선택한 메뉴 및 선택한 메뉴의 순서를 포함할 수 있다. 그리고, 서버(200)는 전자 장치(100)로부터 수신된 정보에 기초하여 추천 메뉴를 식별할 수 있으며, 추천 메뉴를 전자 장치(100)에 전송할 수 있다. 여기서, 전자 장치(100)는 서버(200)와의 통신을 위해 통신 인터페이스를 추가적으로 포함할 수 있다.
통신 인터페이스는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스는 무선 통신 모듈 또는 유선 통신 모듈을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
여기서, 무선 통신 모듈은 무선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 무선 통신 모듈은 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 또는 기타 통신 모듈 중 적어도 하나의 모듈을 포함할 수 있다.
여기서, 유선 통신 모듈은 유선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 유선 통신 모듈은 LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 중 적어도 하나를 포함할 수 있다.
서버(200)를 통해 추천 메뉴를 식별하는 구체적인 동작은 도 24에서 기재한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치(100)를 도시한 블록도이다.
도 3을 참조하면, 전자 장치(100)는 디스플레이(110), 조작 인터페이스(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.
본 명세서의 다양한 실시 예들에 따른 전자 장치(100)는 디스플레이(110) 및 조작 인터페이스(120)를 포함하는 장치일 수 있다.
한편, 본 명세서의 다양한 실시 예들에 따른 전자 장치(100)는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, PDA, PMP(portable multimedia player) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치(100)는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM)중 적어도 하나를 포함할 수 있다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110)내에는 a-si TFT(amorphous silicon thin film transistor), LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display, three-dimensional dispaly) 등으로 구현될 수 있다. 또한, 본 개시의 일 실시 예에 따른, 디스플레이(110)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서를 포함할 수 있다.
조작 인터페이스(120) (또는 사용자 입력 인터페이스)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다. 일 실시 예에 따라, 조작 인터페이스는 GUI(graphical user interface)일 수 있다.
메모리(130)는 프로세서(140)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(130)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
프로세서(140)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM(advanced reduced instruction set computer (RISC) machines) 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(140)는 메모리(130)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
전자 장치(100)는 제1 뎁스(또는 제1 카테고리)의 제1 메뉴(또는 제1 메뉴 항목) 및 제1 메뉴에 종속된 제2 뎁스(또는 제2 카테고리)의 제2 메뉴(제2 메뉴 항목)를 포함하는 메뉴 선택 이력을 메모리(130)에 저장할 수 있다.
전자 장치(100)조작 인터페이스(120)를 통해 적어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 사용자 입력에 기초하여 가이드 정보의 제공이 필요한지 여부를 식별하고, 가이드 정보의 제공이 필요한 것으로 식별되면, 선택된 적어도 하나의 메뉴에 대한 정보, 전자 장치(100)의 현재 컨텍스트(context) 정보 및 메모리(130)에 저장된 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 가이드 정보를 표시하도록 디스플레이(110)를 제어하는 프로세서(140)를 포함할 수 있다.
여기서, 프로세서(140)는 조작 인터페이스(120)를 통해 사용자 입력을 수신할 수 있다. 구체적으로, 사용자 입력은 적어도 하나의 메뉴를 선택하는 사용자 입력일 수 있다. 여기서, 메뉴를 선택하는 동작은 메뉴를 활성화시키는 동작, 메뉴를 상위 메뉴 또는 하위 메뉴로 이동시키는 동작 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(140)는 도 14의 A 카테고리를 선택하고 #01을 선택하는 사용자 입력을 수신할 수 있다.
여기서, 메뉴는 다양한 뎁스로 구성될 수 있다. 메뉴는 제1 뎁스의 제1 메뉴 및 제2 뎁스의 제2 메뉴로 구성될 수 있다. 여기서, 제1 메뉴는 제2 메뉴의 상위 메뉴일 수 있다. 또한, 제2 메뉴는 제1 메뉴의 하위 메뉴일 수 있다. 제1 메뉴를 선택하는 경우, 프로세서(140)는 디스플레이(110)에 제1 메뉴에 종속된 제2 메뉴를 표시할 수 있다. 메뉴의 구조와 관련된 설명은 도 13에서 기재한다.
여기서, 프로세서(140)는 조작 인터페이스(120)를 통해 획득한 사용자 입력에 기초하여 가이드 정보의 제공이 필요한지 여부를 식별할 수 있다. 가이드 정보의 제공이 필요한지 여부는 기 설정된 이벤트가 식별되는지 여부에 기초하여 결정될 수 있다. 구체적으로, 사용자 입력에 기초하여 기 설정된 이벤트가 식별되면, 프로세서(140)는 가이드 정보의 제공이 필요하다고 식별할 수 있다.
여기서, 기 설정된 이벤트는 특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트 또는 특정 뎁스의 메뉴가 선택된 후 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트 중 적어도 하나를 포함할 수 있다.
특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트는 사용자의 선택이 감지되지 않는 이벤트를 의미할 수 있다. 사용자가 특정 메뉴를 선택하지 않고 멈추는 상황에서, 추가 사용자 입력이 수신되지 않을 수 있다. 따라서, 임계 시간 동안 추가 사용자 입력이 수신되지 않는 이벤트가 식별되면, 프로세서(140)는 가이드 정보의 제공이 필요하다고 식별할 수 있다.
사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트는 디스플레이(110)에 표시되는 메뉴가 빠르게 변경되는 이벤트를 의미할 수 있다.
일 실시 예에 따라, 변경되는 메뉴는 상이한 뎁스일 수 있다. 즉, 변경된 메뉴는 다른 뎁스(또는 카테고리)에 해당할 수 있다. 프로세서(140)는 조작 인터페이스(120)를 통해 상이한 뎁스를 갖는 복수의 메뉴를 변경하는(또는 이동시키는) 사용자 입력을 수신할 수 있다. 그리고, 프로세서(140)는 복수의 메뉴가 변경되는(또는 이동되는) 속도를 획득할 수 있다. 그리고, 획득된 속도가 임계 속도 이상이면, 프로세서(140)는 가이드 정보의 제공이 필요하다고 식별할 수 있다.
다른 실시 예에 따라, 변경되는 메뉴는 동일한 뎁스일 수 있다. 프로세서(140)는 조작 인터페이스(120)를 통해 동일한 뎁스를 갖는 복수의 메뉴를 이동시키는 사용자 입력을 수신할 수 있다. 그리고, 프로세서(140)는 복수의 메뉴가 변경되는(또는 이동되는) 속도를 획득할 수 있다. 그리고, 획득된 속도가 임계 속도 이상이면, 프로세서(140)는 가이드 정보의 제공이 필요하다고 식별할 수 있다.
특정 뎁스의 메뉴가 선택된 후 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트는 사용자가 자신의 선택을 되돌리는 이벤트를 의미할 수 있다. 메뉴 선택을 취소하는 사용자 입력이 수신되면, 프로세서(140)는 가이드 정보의 제공이 필요하다고 식별할 수 있다.
기 설정된 이벤트가 식별되면, 프로세서(140)는 컨텍스트 정보를 획득할 수 있다. 여기서, 컨텍스트 정보는 전자 장치(100)에서 획득되는 다양한 정보를 의미할 수 있다. 여기서, 컨텍스트 정보는 센서부(150)를 통해 획득되는 센싱 데이터, 카메라(160)를 통해 획득되는 이미지 데이터 또는 현재 전자 장치(100)의 상태 정보를 포함할 수 있다. 여기서, 전자 장치(100)의 상태 정보는 전자 장치(100)가 어떤 기능을 수행하고 있는지 여부를 나타내는 정보일 수 있다.
컨텍스트 정보가 획득되면, 프로세서(140)는 사용자 입력, 컨텍스트 정보 및 메모리(130)에 저장된 메뉴 선택 이력에 기초하여 추천 메뉴를 식별할 수 있다. 그리고, 프로세서(140)는 식별된 추천 메뉴를 포함하는 가이드 정보를 생성할 수 있다. 여기서, 가이드 정보는 가이드 이미지 데이터 또는 가이드 오디오 데이터 중 적어도 하나를 포함할 수 있다. 그리고, 프로세서(140)는 추천 메뉴를 포함하는 가이드 정보를 사용자에게 제공할 수 있다. 여기서, 사용자에게 제공하는 동작은 가이드 이미지 데이터를 디스플레이(110)를 통해 표시하거나 가이드 오디오 데이터를 스피커(170)를 통해 출력하는 동작 중 적어도 하나를 포함할 수 있다.
한편, 프로세서(140)는 특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트 또는 특정 뎁스의 메뉴가 선택된 후 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트 중 적어도 하나의 이벤트가 식별되면, 가이드 정보의 제공이 필요한 것으로 식별할 수 있다.
여기서, 특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트와 관련된 설명은 도 6에서 기재한다.
여기서, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트는 도 7 내지 도9에서 기재한다.
여기서, 특정 뎁스의 메뉴가 선택된 후 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트는 도 10에서 기재한다.
한편, 전자 장치(100)의 현재 컨텍스트 정보는 전자 장치(100) 내부의 온도 정보, 조리 대상의 온도 정보, 특정 기능의 실행 여부에 대한 정보, 전자 장치(100) 내부의 이미지 정보 및 일시 정보 중 적어도 하나를 포함할 수 있다.
여기서, 전자 장치(100) 내부의 온도 정보는 조리실의 온도 정보를 의미할 수 있다. 여기서, 조리 대상의 온도 정보는 조리물의 온도 정보를 의미할 수 있다. 여기서, 특정 기능의 실행 여부에 대한 정보는 전자 장치(100)에서 특정 기능이 현재 실행되고 있는 상태(on 상태)인지 실행되고 있지 않은 상태(off 상태)인지를 나타내는 정보를 의미할 수 있다. 여기서, 전자 장치(100) 내부의 이미지 정보는 조리실을 촬상한 이미지를 의미할 수 있다. 여기서, 일시 정보는 시간 정보 또는 날짜 정보 중 적어도 하나를 포함할 수 있다.
컨텍스트 정보 중 온도와 관련된 정보는 센서부(150)를 통해 획득될 수 있다. 여기서, 센서부(150)를 통해 컨텍스트 정보를 획득하는 동작은 도 11의 실시 예(1110)에서 기재한다.
컨텍스트 정보 중 이미지와 관련된 정보는 카메라(160)를 통해 획득될 수 있다. 여기서, 카메라(160)를 통해 컨텍스트 정보를 획득하는 동작은 도 11의 실시 예(1120)에서 기재한다.
한편, 프로세서(140)는 후보 메뉴를 결정하고, 결정된 후보 메뉴에서 추천 메뉴를 결정할 수 있다.
구체적으로, 프로세서(140)는 메뉴 선택 이력에 포함된 정보 중 선택된 적어도 하나의 메뉴와 관련된 후보 메뉴를 식별하고, 후보 메뉴 및 전자 장치(100)의 현재 컨텍스트 정보에 기초하여 추천 메뉴를 식별할 수 있다.
여기서, 메뉴 선택 이력에 포함된 정보는 기 설정된 기간 동안 사용자가 선택한 메뉴에 대한 정보가 포함될 수 있다. 여기서, 선택된 적어도 하나의 메뉴는 현재 사용자가 선택한 메뉴를 의미할 수 있다. 여기서, 후보 메뉴는 현재 사용자가 선택한 메뉴에 종속되는 메뉴를 의미할 수 있다. 그리고, 프로세서(140)는 후보 메뉴 중 획득된 컨텍스트 정보에 기초하여 추천 메뉴를 식별할 수 있다.
예를 들어, 사용자가 도 13의 A 메뉴를 선택하였다고 가정한다. 또한, 메뉴 선택 이력에 A 메뉴에서 #01, #03, #05가 선택되고, B 메뉴에서 #11, #13, #15가 선택되고, C 메뉴에서 #21, #01, #11이 선택되었다고 가정한다. 여기서, 메뉴 선택 이력에 포함된 정보는 #01, #03, #05, #11, #13, #15, #21일 수 있다. 여기서, 선택된 적어도 하나의 메뉴는 A 메뉴일 수 있다. 여기서, 후보 메뉴는 A 메뉴의 종속되는 메뉴인 #01, #03, #05일 수 있다. 여기서, 프로세서(140)는 컨텍스트 정보에 기초하여 #01, #03, #05 중 적어도 하나의 메뉴를 추천 메뉴로 식별할 수 있다.
한편, 프로세서(140)는 복수의 메뉴 각각에 대응되는 가중치에 기초하여 추천 메뉴를 식별할 수 있다.
한편, 전자 장치(100)는 복수의 메뉴를 메모리(130)에 저장할 수 있다. 또한, 프로세서(140)는 적어도 하나의 메뉴에 대한 정보, 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 메모리(130)에 저장된 복수의 메뉴 각각에 대응되는 가중치를 획득하고, 복수의 메뉴 각각에 대응되는 가중치에 기초하여 추천 메뉴를 식별할 수 있다.
여기서, 복수의 메뉴는 추천 메뉴로 제공될 수 있는 적어도 하나의 메뉴를 의미할 수 있다. 기 설정된 이벤트가 식별되면, 프로세서(140)는 메모리(130)에 저장된 복수의 메뉴를 획득하고, 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다. 그리고, 프로세서(140)는 가중치에 기초하여 복수의 메뉴 중 추천 메뉴를 식별할 수 있다. 여기서, 프로세서(140)는 사용자 입력(적어도 하나의 메뉴에 대한 정보), 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 메뉴에 대한 가중치를 획득할 수 있다.
구체적으로, 프로세서(140)는 사용자 입력에 기초하여 특정 메뉴에 대하여 제1 서브 가중치를 획득하고, 컨텍스트 정보에 기초하여 특정 메뉴에 대한 제2 서브 가중치를 획득하고, 메뉴 선택 이력에 기초하여 특정 메뉴에 대한 제3 서브 가중치를 획득할 수 있다. 그리고, 프로세서(140)는 제1 서브 가중치, 제2 서브 가중치 및 제3 서브 가중치를 합산하여 특정 메뉴에 대한 가중치(또는 합산 가중치)를 획득할 수 있다. 그리고, 프로세서(140)는 복수의 메뉴 각각에 대한 가중치에 기초하여 추천 메뉴를 식별할 수 있다. 예를 들어, 복수의 메뉴 각각에 대한 가중치 중 가장 높은 가중치를 갖는 메뉴를 추천 메뉴로 식별할 수 있다.
한편, 프로세서(140)는 적어도 하나의 메뉴에 대한 정보에 기초하여 선택된 메뉴를 식별하고, 복수의 메뉴 중 선택된 메뉴와 동일한 메뉴에 제1 서브 가중치를 할당하고, 복수의 메뉴 중 선택된 메뉴와 유사한 메뉴에 제2 서브 가중치를 할당하고, 제1 서브 가중치 및 제2 서브 가중치를 합산하여 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
여기서, 프로세서(140)는 사용자 입력(적어도 하나의 메뉴에 대한 정보)에 기초하여 사용자에 의해 현재 선택된 메뉴를 식별할 수 있다. 여기서, 프로세서(140)는 선택된 메뉴에 기초하여 복수의 메뉴 각각에 대하여 서브 가중치를 할당할 수 있다. 구체적으로, 프로세서(140)는 선택된 메뉴와 동일한 메뉴에 제1 서브 가중치를 할당할 수 있다. 또한, 프로세서(140)는 선택된 메뉴와 유사한 메뉴에 제2 서브 가중치를 할당할 수 있다. 또한, 프로세서(140)는 선택된 메뉴와 동일 및 유사하지 않은 메뉴에 서브 가중치를 할당하지 않을 수 있다. 여기서, 동일한 메뉴는 도 26의 표(2610)에서 카테고리에 해당하는 메뉴를 의미할 수 있다. 여기서, 유사한 메뉴는 도 26의 표(2610)에서 연관 카테고리에 해당하는 메뉴를 의미할 수 있다. 여기서, 특정 메뉴와 유사한 메뉴는 메모리(130)에 저장될 수 있다.
그리고, 프로세서(140)는 제1 서브 가중치 및 제2 서브 가중치를 합산하여 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
예를 들어, 도 27의 표(2710)를 참조하면, 사용자가 A 메뉴를 선택한 후 기 설정된 이벤트가 식별되었다고 가정한다. 여기서, 선택된 메뉴는 A 메뉴일 수 있다. 프로세서(140)는 복수의 메뉴(#01, #02, #03, 쪋 , #11, #12, #13, 쪋 , #21, #22, #23) 중에서 선택된 A 메뉴와 동일한 메뉴에 해당하는 #01, #02, #03 등에 제1 서브 가중치(60)를 할당할 수 있다. 또한, 프로세서(140)는 복수의 메뉴 중에서 선택된 A 메뉴와 유사한 메뉴(연관 카테고리)에 해당하는 #11, #21 등에 제2 서브 가중치(30)를 할당할 수 있다. 그리고, 프로세서(140)는 선택된 A 메뉴와 동일 및 유사하지 않은 메뉴에 대하여 서브 가중치를 할당하지 않을 수 있다.
한편, 프로세서(140)는 복수의 메뉴 중 컨텍스트 정보에 대응되는 메뉴에 제3 서브 가중치를 할당하고, 복수의 메뉴 중 메뉴 선택 이력에 대응되는 메뉴에 제4 서브 가중치를 할당하고, 제1 서브 가중치, 제2 서브 가중치, 제3 서브 가중치 및 제4 서브 가중치를 합산하여 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
여기서, 프로세서(140)는 컨텍스트 정보에 기초하여 복수의 메뉴 각각에 대하여 제3 서브 가중치를 할당할 수 있다. 여기서, 프로세서(140)는 컨텍스트 정보를 획득할 수 있으며, 획득된 컨텍스트 정보에 대응되는 메뉴에 제3 서브 가중치를 할당할 수 있다.
예를 들어, 도 27의 표(2710)를 참조하면, 기 설정된 이벤트가 식별되고, 컨텍스트 정보가 저녁을 포함한다고 가정한다. 프로세서(140)는 복수의 메뉴 중에서 저녁에 대응되는 메뉴인 #03, #13, #23 등에 제3 서브 가중치를 할당할 수 있다.
여기서, 프로세서(140)는 메뉴 선택 이력에 기초하여 복수의 메뉴 각각에 대하여 제4 서브 가중치를 할당 할 수 있다. 여기서, 프로세서(140)는 메뉴 선택 이력을 획득할 수 있으며, 메뉴 선택 이력에 포함된 메뉴에 제4 서브 가중치를 할당할 수 있다.
예를 들어, 예를 들어, 도 27의 표(2710)를 참조하면, 기 설정된 이벤트가 식별되고, 메뉴 선택 이력에 #03, #11, #12, #13이 포함된다고 가정한다. 프로세서(140)는 복수의 메뉴 중 메뉴 선택 이력에 포함된 메뉴인 #03, #11, #12, #13에 제4 서브 가중치(40)를 할당할 수 있다.
가중치와 관련된 구체적인 동작은 도 26 및 도 27에서 기재한다.
한편, 프로세서(140)는 가이드 정보의 제공이 필요한 것으로 식별되면, 선택된 적어도 하나의 메뉴에 대한 정보, 전자 장치(100)의 현재 컨텍스트 정보, 및 메모리(130)에 저장된 메뉴 선택 이력에 기초하여 추천 메뉴를 식별하고, 추천 메뉴가 표시되는 위치에 기초하여 추천 메뉴를 식별하기 위한 아이콘을 표시하도록 디스플레이(110)를 제어할 수 있다.
한편, 아이콘을 표시하는 동작은 도 17에서 기재한다.
한편, 프로세서(140)는 가이드 정보의 제공이 필요한 것으로 식별되면, 학습된 신경망 모델에 전자 장치(100)의 선택된 적어도 하나의 메뉴에 대한 정보 및 현재 컨텍스트 정보를 입력하여 추천 메뉴를 획득할 수 있고, 신경망 모델은 전자 장치(100)의 현재 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 학습될 수 있다.
한편, 신경망 모델은 인공 지능 모델로 기재될 수 있다. 이와 관련된 구체적인 동작은 도12에서 기재한다.
한편, 전자 장치(100)는 조리물을 가열하는 히터를 포함하고, 프로세서(140)는 가이드 정보에 포함된 메뉴를 선택하는 사용자 입력이 수신되면, 선택된 메뉴에 대응되는 기능을 수행하고, 선택된 메뉴에 대응되는 기능은 선택된 메뉴의 조리 과정을 포함하는 텍스트를 표시하는 기능, 선택된 메뉴의 조리 과정을 포함하는 이미지를 표시하는 기능, 선택된 메뉴의 조리 과정을 수행하기 위해 히터의 스케쥴을 설정하는 기능 중 적어도 하나를 포함할 수 있다. 이와 같이, 조리 장치는 선택된 메뉴 항목에 기초하여 조리물을 조리할 수 있다. 그러나, 본 개시는 이에 한정되지 않는다. 다른 실시 예에 따라, 전자 장치는 선택 메뉴 항목에 기초하여 다른 동작을 수행할 수 있다.
여기서, 전자 장치(100)는 조리 장치로 구현될 수 있다. 여기서, 조리 장치는 조리물을 조리하는 장치를 의미할 수 있으며, 조리물을 가열하는 히터를 포함할 수 있다. 여기서, 프로세서(140)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있으며, 추천 메뉴는 조리물과 관련된 메뉴일 수 있다. 사용자가 추천 메뉴 중 하나의 메뉴를 선택하였다고 가정한다. 여기서, 프로세서(140)는 사용자에 의해 선택된 메뉴(이하 선택된 메뉴)에 대응되는 기능을 수행할 수 있다. 예를 들어, 사용자에 의해 피자 메뉴가 선택되면, 피자 메뉴에 대응되는 기능을 수행할 수 있다. 구체적으로, 프로세서(140)는 피자 조리 과정과 관련된 텍스트를 표시하는 기능을 수행하거나, 피자 메뉴의 조리 과정과 관련된 이미지를 표시하는 기능을 수행하거나, 피자 메뉴의 조리 과정을 수행하기 위한 히터의 스케쥴을 설정하는 기능 중 적어도 하나를 수행할 수 있다. 여기서, 히터의 스케쥴은 어느 시간 동안 어느 정도의 세기로 히터가 열 에너지를 공급하는지를 나타내는 작업 스케쥴을 의미할 수 있다.
한편, 전자 장치(100)는 조리물의 온도를 센싱하기 위한 접촉식 온도 센서(152)를 포함하고, 프로세서(140)는 가이드 정보의 제공이 필요한 것으로 식별되면, 접촉식 온도 센서(152)를 통해 조리물의 온도를 전자 장치(100)의 현재 컨텍스트 정보로서 획득하고, 선택된 적어도 하나의 메뉴에 대한 정보, 조리물의 온도를 포함하는 전자 장치(100)의 현재 컨텍스트 정보 및 메모리(130)에 저장된 메뉴 선택 이력에 기초하여 추천 메뉴를 식별할 수 있다.
접촉식 온도 센서를 이용하여 컨텍스트 정보를 획득하는 동작은 도 11의 실시 예(1110) 및 도 23에서 구체적으로 기재한다.
전자 장치(100)는 메뉴를 선택하는 사용자 입력을 분석하여 현재 사용자에게 추천 메뉴를 제공해야 하는 것인지 여부를 결정할 수 있다. 사용자가 자신이 원하는 메뉴를 찾지 못하는 경우 전자 장치(100)가 자동으로 추천 메뉴를 제공하는 경우, 편의성이 높아질 수 있다. 전자 장치(100)는 사용자에게 추천 메뉴를 제공해야 하는 것인지 여부를 기 설정된 이벤트로 판단할 수 있다. 여기서, 기 설정된 이벤트는 사용자의 설정에 따라 변경될 수 있다. 기 설정된 이벤트에 기초하여 추천 메뉴가 제공되는 경우 추천 메뉴를 결정하는 동작이 중요할 수 있다. 사용자에게 적합한 메뉴가 추천되어야 사용자의 만족감이 높기 때문이다. 전자 장치(100)는 사용자 입력(사용자가 현재 선택한 메뉴), 컨텍스트 정보 및 메뉴 선택 이력을 고려하여 추천 메뉴를 식별할 수 있다. 전자 장치(100)는 현재 선택된 메뉴 이외에도 컨텍스트 정보 및 메뉴 선택 이력을 추가로 고려하므로 추천 메뉴를 결정하는 정확도가 높아질 수 있다. 또한, 추천 메뉴를 제공하는 다양한 방식에 따라, 사용자는 기존의 메뉴 선택을 방해 받지 않을 수 있다.
한편, 이상에서는 전자 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 4를 참조하여 이하에서 설명한다.
도 4는 도 3의 전자 장치(100)의 구체적인 구성을 설명하기 위한 블록도이다.
도 4를 참조하면, 전자 장치(100)는 디스플레이(110), 조작 인터페이스(120), 메모리(130), 프로세서(140), 센서부(150), 카메라(160) 또는 스피커(170) 중 적어도 하나를 포함할 수 있다.
한편, 디스플레이(110), 조작 인터페이스(120), 메모리(130) 및 프로세서(140)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
센서부(150)는 적어도 하나의 센서를 통해 다양한 정보를 센싱할 수 있다. 여기서, 센서부(150)는 비접촉식 온도 센서(151) 또는 접촉식 온도 센서(152) 중 적어도 하나를 포함할 수 있다. 비접촉식 온도 센서(151)는 조리실 내부의 온도를 센싱할 수 있다. 또한, 접촉식 온도 센서(152)는 조리물의 표면 온도 또는 조리물 안의 온도를 센싱할 수 있다. 여기서, 접촉식 온도 센서(152)는 온도 프로브로 구현될 수 있다. 또한, 센서부(150)는 습도 센서를 포함할 수 있다.
카메라(160)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다. 카메라(160)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
카메라(160)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 전자 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.
스피커(170)는 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
도 5는 사용자 입력에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 전자 장치(100)는 메뉴를 선택하는 사용자 입력을 수신할 수 있다 (S505). 그리고, 전자 장치(100)는 사용자 입력에 기초하여 기 설정된 이벤트를 식별할 수 있다 (S510). 구체적으로, 전자 장치(100)는 사용자 입력에 기초하여 기 설정된 이벤트가 발생하였는지 여부를 식별할 수 있다. 여기서, 사용자 입력은 사용자가 선택한 메뉴의 순서를 의미할 수 있다. 여기서, 기 설정된 이벤트는 가이드 정보의 제공이 필요하다고 판단되는 이벤트를 의미할 수 있다. 기 설정된 이벤트와 관련된 설명은 도 6 내지 도 9에서 기재한다.
기 설정된 이벤트가 식별되지 않으면 (S510-N), 전자 장치(100)는 반복하여 사용자 입력을 수신하고 기 설정된 이벤트의 발생 여부를 식별할 수 있다.
기 설정된 이벤트가 식별되면 (S510-Y), 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S515). 구체적으로, 전자 장치(100)는 사용자 입력에 대응되는 추천 메뉴를 식별할 수 있고, 식별된 추천 메뉴를 포함하는 가이드 정보를 생성할 수 있다. 그리고, 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다. 여기서, 가이드 정보를 제공하는 동작은 전자 장치(100)의 디스플레이(110)를 통해 가이드 이미지가 표시되거나 전자 장치(100)의 스피커(170)를 통해 가이드 오디오가 출력되는 동작을 포함할 수 있다.
도 6은 일 실시 예의 기 설정된 이벤트를 설명하기 위한 흐름도이다.
도 6을 참조하면, 기 설정된 이벤트는 임계 시간 동안 추가 사용자 입력이 수신되지 않는 이벤트를 의미할 수 있다.
여기서, 전자 장치(100)는 제1 메뉴를 선택하는 사용자 입력을 수신할 수 있다 (S605). 그리고, 전자 장치(100)는 사용자가 제1 메뉴를 선택하는 시간을 획득할 수 있다 (S610). 그리고, 전자 장치(100)는 사용자가 제1 메뉴를 선택한 시간부터 임계 시간 동안 추가 사용자 입력이 수신되었는지 여부를 식별할 수 있다 (S615).
사용자가 제1 메뉴를 선택한 시간부터 임계 시간 안에 추가 사용자 입력이 수신되면, 전자 장치(100)는 반복적으로, S605, S610 및 S615 단계를 수행할 수 있다.
사용자가 제1 메뉴를 선택한 시간부터 임계 시간 안에 추가 사용자 입력이 수신되지 않으면, 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S620). 가이드 정보를 제공하는 동작은 도 5의 S515에 대응될 수 있으므로 중복 설명을 생략한다.
도 7은 다른 실시 예의 기 설정된 이벤트를 설명하기 위한 흐름도이다.
도 7을 참조하면, 기 설정된 이벤트는 메뉴의 변경 속도가 임계값 이상인 이벤트를 의미할 수 있다.
여기서, 전자 장치(100)는 복수의 메뉴를 선택하는 사용자 입력을 수신할 수 있다 (S705). 한편, 구현 예에 따라, 복수의 메뉴는 모두 동일한 뎁스를 갖는 메뉴일 수 있다. 그리고, 전자 장치(100)는 메뉴의 변경 속도를 획득할 수 있다 (S710). 구체적으로, 전자 장치(100)는 사용자에 의해 선택된 복수의 메뉴가 변경되는 속도를 획득할 수 있다. 여기서, 메뉴의 변경 속도는 사용자가 제1 메뉴를 선택한 시간과 사용자가 제2 메뉴를 선택한 시간의 차이에 기초하여 산출될 수 있다. 여기서, 변경 속도는 사용자가 제1 메뉴를 선택한 시간과 사용자가 제2 메뉴를 선택한 시간의 차이의 역수를 의미할 수 있다.
변경 속도가 크다는 것은 사용자가 제1 메뉴를 선택한 시간과 사용자가 제2 메뉴를 선택한 시간의 차이가 작다는 것을 의미할 수 있다. 사용자가 복수의 메뉴를 빠르게 선택하는 경우, 메뉴의 변경 속도가 클 수 있다.
변경 속도가 작다는 것은 사용자가 제1 메뉴를 선택한 시간과 사용자가 제2 메뉴를 선택한 시간의 차이가 크다는 것을 의미할 수 있다. 사용자가 복수의 메뉴를 천천히 선택하는 경우, 메뉴의 변경 속도가 작을 수 있다. 변경 속도와 관련된 구체적인 계산 과정은 도 8에서 기재한다.
한편, 메뉴의 변경 속도가 임계값 미만이면 (S715-N), 전자 장치(100)는 S705, S710 및 S715 단계를 반복할 수 있다.
한편, 메뉴의 변경 속도가 임계값 이상이면 (S715-Y), 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S720). 가이드 정보를 제공하는 동작은 도 5의 S515에 대응될 수 있으므로 중복 설명을 생략한다.
한편, 도 7에서 메뉴의 변경 속도는 사용자 입력의 시간 차이, 사용자 입력의 평균 시간 차이, 메뉴의 변경 속도 또는 메뉴의 평균 변경 속도 등으로 대체되어 기재될 수 있다. 또한, 메뉴의 변경 속도는 사용자 입력의 수신 속도 등으로 대체되어 기재될 수 있다.
도 8은 메뉴의 변경 속도를 계산하는 과정을 설명하기 위한 표이다.
도 8의 표(810)를 참조하면, 메뉴의 변경 속도가 사용자 입력이 수신된 시간에 기초하여 산출될 수 있다. 제1 사용자 입력 내지 제5 사용자 입력은 메뉴를 선택하는 사용자의 입력을 의미할 수 있다. 여기서, 제1 사용자 입력이 14:00:01(시간:분:초)에 수신되고, 제2 사용자 입력이 14:00:05에 수신되고, 제3 사용자 입력이 14:00:15에 수신되고, 제4 사용자 입력이 14:00:16에 수신되고, 제5 사용자 입력이 14:00:17에 수신되었다고 가정한다.
여기서, 전자 장치(100)는 제2 사용자 입력이 입력된 시간에서 제1 사용자 입력과 제2 사용자 입력의 수신 시간의 차이(4초)를 산출할 수 있다. 또한, 전자 장치(100)는 평균 시간 차이(4초)를 산출할 수 있다. 또한, 전자 장치(100)는 제1 사용자 입력에 의하여 선택된 제1 메뉴와 제2 사용자 입력에 의하여 선택된 제2 메뉴의 변경 속도(0.25)를 산출할 수 있다. 여기서, 변경 속도(0.25)는 시간 차이(4초)의 역수일 수 있다. 또한, 전자 장치(100)는 평균 변경 속도(0.25)를 산출할 수 있다.
여기서, 전자 장치(100)는 제3 사용자 입력이 입력된 시간에서 제2 사용자 입력과 제3 사용자 입력의 수신 시간의 차이(10초)를 산출할 수 있다. 또한, 전자 장치(100)는 평균 시간 차이(7초)를 산출할 수 있다. 또한, 전자 장치(100)는 제2 사용자 입력에 의하여 선택된 제2 메뉴와 제3 사용자 입력에 의하여 선택된 제3 메뉴의 변경 속도(0.1)를 산출할 수 있다. 여기서, 변경 속도(0.1)는 시간 차이(10초)의 역수일 수 있다. 또한, 전자 장치(100)는 평균 변경 속도(0.18)를 산출할 수 있다.
여기서, 전자 장치(100)는 제4 사용자 입력이 입력된 시간에서 제3 사용자 입력과 제4 사용자 입력의 수신 시간의 차이(1초)를 산출할 수 있다. 또한, 전자 장치(100)는 평균 시간 차이(5초)를 산출할 수 있다. 또한, 전자 장치(100)는 제3 사용자 입력에 의하여 선택된 제3 메뉴와 제4 사용자 입력에 의하여 선택된 제4 메뉴의 변경 속도(1)를 산출할 수 있다. 여기서, 변경 속도(1)는 시간 차이(1초)의 역수일 수 있다. 또한, 전자 장치(100)는 평균 변경 속도(0.45)를 산출할 수 있다.
여기서, 전자 장치(100)는 제5 사용자 입력이 입력된 시간에서 제4 사용자 입력과 제5 사용자 입력의 수신 시간의 차이(1초)를 산출할 수 있다. 또한, 전자 장치(100)는 평균 시간 차이(4초)를 산출할 수 있다. 또한, 전자 장치(100)는 제4 사용자 입력에 의하여 선택된 제4 메뉴와 제5 사용자 입력에 의하여 선택된 제5 메뉴의 변경 속도(1)를 산출할 수 있다. 여기서, 변경 속도(1)는 시간 차이(1초)의 역수일 수 있다. 또한, 전자 장치(100)는 평균 변경 속도(0.59)를 산출할 수 있다.
전자 장치(100)는 시간 차이, 평균 시간 차이, 변경 속도 또는 평균 변경 속도 중 적어도 하나에 기초하여 기 설정된 이벤트의 발생을 식별할 수 있다. 바로 직전의 사용자 입력에 기초하여 기 설정된 이벤트를 판단하는 경우, 전자 장치(100)는 시간 차이 또는 변경 속도 중 적어도 하나에 기초하여 기 설정된 이벤트의 발생을 식별할 수 있다. 다른 구현 예에 따라, 임계 시간 동안 입력된 평균적인 사용자 입력을 모두 고려하여 기 설정된 이벤트를 판단하는 경우, 전자 장치(100)는 평균 시간 차이 또는 평균 변경 속도 중 적어도 하나에 기초하여 기 설정된 이벤트의 발생을 식별할 수 있다.
도 9는 다양한 실시 예에 따른 메뉴의 변경 속도를 설명하기 위한 도면이다.
도 9를 참조하면, 전자 장치(100)는 다양한 실시 예에 따라 메뉴를 선택할 수 있다.
실시 예(910)를 참조하면, 전자 장치(100)의 조작 인터페이스(120)는 다이얼(911)을 포함할 수 있다. 여기서, 다이얼(911)은 회전형 조작 인터페이스일 수 있다. 전자 장치(100)는 다이얼(911)을 회전시키는 사용자 입력에 따라 메뉴를 선택할 수 있다. 예를 들어, 다이얼(911)을 회전시키는 사용자 입력이 수신되면, 전자 장치(100)는 현재 선택 가능한 메뉴를 변경할 수 있다. 여기서, 전자 장치(100)는 다이얼(911)이 회전되는 속도를 획득할 수 있다. 그리고, 전자 장치(100)는 다이얼(911)의 회전 속도에 기초하여 메뉴의 변경 속도를 식별할 수 있다. 여기서, 다이얼(911)은 손잡이(knob)로 기재될 수 있다.
실시 예(920)를 참조하면, 전자 장치(100)는 스크롤 UI(921)를 디스플레이(110)에 표시할 수 있다. 여기서, 스크롤 UI(921)는 표시되는 메뉴를 변경하는데 이용되는 UI일 수 있다. 전자 장치(100)는 스크롤 UI(921)를 통해 수신되는 사용자 입력에 기초하여 선택 가능한 메뉴를 변경할 수 있다. 예를 들어, 사용자가 스크롤 UI(921)를 아래로 드래그하거나, 스크롤 UI(921)의 아래 부분을 터치하는 경우, 전자 장치(100)는 #01, #02, #03을 포함하는 화면이 아닌 #04, #05, #06을 포함하는 화면을 표시할 수 있다. 여기서, 전자 장치(100)는 스크롤 UI(921)를 통해 메뉴가 변경되는 속도를 식별할 수 있다.
실시 예(930)를 참조하면, 전자 장치(100)는 메뉴 이동 UI(931, 932)를 디스플레이(110)에 표시할 수 있다. 여기서, 메뉴 이동 UI(931)는 제1 방향(예를 들어, 상측 방향)으로 선택 가능한 메뉴를 변경하기 위한 UI일 수 있다. 여기서, 메뉴 이동 UI(932)는 제2 방향(예를 들어, 아래 방향)으로 선택 가능한 메뉴를 변경하기 위한 UI일 수 있다. 예를 들어, 메뉴 이동 UI(932)가 1회 터치하는 사용자 입력이 수신되면, 전자 장치(100)는 #01, #02, #03을 포함하는 화면이 아닌 #02, #03, #04를 포함하는 화면을 표시할 수 있다. 여기서, 전자 장치(100)는 메뉴 이동 UI(931, 932)를 통해 메뉴가 변경되는 속도를 식별할 수 있다.
실시 예(940)를 참조하면, 전자 장치(100)는 스와이프(swipe) 입력(941)에 기초하여 상이한 메뉴를 디스플레이(110)에 표시할 수 있다. 스와이프 입력(941)은 상, 하, 좌, 우 방향으로 입력될 수 있다. 여기서, 상측 방향의 스와이프 입력이 수신되면, 전자 장치(100)는 상위 메뉴를 표시할 수 있다. 여기서, 하측 방향의 스와이프 입력이 수신되면, 전자 장치(100)는 하위 메뉴를 표시할 수 있다. 여기서, 우측 방향의 스와이프 입력이 수신되면, 전자 장치(100)는 현재 표시되는 메뉴의 다음 메뉴를 표시할 수 있다. 여기서, 좌측 방향의 스와이프 입력이 수신되면, 전자 장치(100)는 현재 표시되는 메뉴의 이전 메뉴를 표시할 수 있다. 여기서, 전자 장치(100)는 스와이프 입력(941)의 속도에 기초하여 메뉴가 변경되는 속도를 획득할 수 있다. 예를 들어, 스와이프 입력이 짧은 시간에 수신되면, 전자 장치(100)는 메뉴가 변경되는 속도가 빠르다고 판단할 수 있다. 반대로, 스와이프 입력이 긴 시간에 수신되면, 전자 장치(100)는 메뉴가 변경되는 속도가 느리다고 판단할 수 있다.
도 10은 또 다른 실시 예의 기 설정된 이벤트를 설명하기 위한 흐름도이다.
도 10을 참조하면, 기 설정된 이벤트는 선택된 메뉴를 취소하는 사용자 입력이 수신되는 이벤트를 의미할 수 있다.
전자 장치(100)는 제1 메뉴를 선택하는 사용자 입력을 수신할 수 있다 (S1005). 그리고, 전자 장치(100)는 제1 메뉴를 취소하는 사용자 입력의 수신 여부를 식별할 수 있다 (S1010). 한편, 구현 예에 따라, 전자 장치(100)는 제1 메뉴를 선택하는 사용자 입력이 수신된 이후 임계 시간 이내에 제1 메뉴를 취소하는 사용자 입력의 수신 여부를 식별할 수 있다.
여기서, 사용자가 선택한 제1 메뉴를 취소하는 사용자 입력이 수신되지 않으면 (S1010-N), 전자 장치(100)는 S1005 및 S1010 단계를 반복할 수 있다.
여기서, 사용자가 선택한 제1 메뉴를 취소하는 사용자 입력이 수신되면 (S1010-Y), 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S1015). 가이드 정보를 제공하는 동작은 도 5의 S515에 대응될 수 있으므로 중복 설명을 생략한다.
도 11은 컨텍스트 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 11을 참조하면, 전자 장치(100)는 다양한 실시 예에 따라 컨텍스트 정보를 획득할 수 있다. 도 11에서는 전자 장치(100)의 조리실안에 조리물이 존재하는 실시 예를 가정한다. 조리물은 용기 안에 있을 수 있으며, 용기는 받침대 위에 놓여질 수 있다.
실시 예(1110)를 참조하면, 전자 장치(100)는 센서부(150)를 통해 온도를 센싱할 수 있다. 여기서, 센서부(150)는 비접촉식 온도 센서(151) 또는 접촉식 온도 센서(152) 중 적어도 하나를 포함할 수 있다. 비접촉식 온도 센서(151)는 조리실 내부의 온도를 센싱할 수 있다. 또한, 접촉식 온도 센서(152)는 조리물의 표면 온도 또는 조리물 안의 온도를 센싱할 수 있다. 여기서, 접촉식 온도 센서(152)는 온도 프로브로 구현될 수 있다.
한편, 도 11의 비접촉식 온도 센서(151) 또는 접촉식 온도 센서(152)는 돌출된 형태로 기재되어 있지만, 실제 구현 시 센서를 보호하기 위하여 조리실의 벽면 또는 조리실의 상판 내부에 배치되는 형태로 구현될 수 있다.
실시 예(1120)를 참조하면, 전자 장치(100)의 카메라(160)는 받침대, 용기 또는 조리물 중 적어도 하나를 촬상할 수 있다.
카메라(160)의 종류에 따라 시야각이 상이할 수 있으나, 카메라(160)는 조리실 내부의 전체 영역을 모두 촬상할 수 있도록 배치될 수 있다.
일 실시 예에 따라, 도11에서 개시한 바와 같이 카메라(160)는 조리실의 벽면에 부착되고, 일정한 각도를 기준으로 하방으로 기울어진 상태로 배치될 수 있다. 예를 들어, 카메라(160)는 조리실의 벽면에 부착된 상태에서 하방 45도로 기울어진 상태로 배치될 수 있다.
다른 실시 예에 따라, 카메라(160)는 조리실의 상판(또는 천장)에 부착되고, 일정한 각도를 기준으로 하방을 향해 배치될 수 있다. 예를 들어, 카메라(160)는 조리실의 상판에 부착된 상태에서 하방을 향해 배치될 수 있다.
한편, 도 11의 카메라(160)는 돌출된 형태로 기재되어 있지만, 실제 구현 시 카메라 렌즈를 보호하기 위하여 조리실의 벽면 또는 조리실의 상판 내부에 배치되는 형태로 구현될 수 있다.
도 12는 추천 메뉴를 식별하는 인공 지능 모델을 획득하는 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 전자 장치(100)는 추천 메뉴를 식별하는 인공 지능 모델(1210)을 생성할 수 있다. 구체적으로, 전자 장치(100)는 학습 데이터에 기초하여 인공 지능 모델(1200)을 학습할 수 있다. 여기서, 학습 데이터는 컨텍스트 정보, 메뉴 선택 이력 및 메뉴 선택 결과일 수 있다. 전자 장치(100)는 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 메뉴 선택 결과가 도출될 수 있도록 인공 지능 모델(1200)을 학습할 수 있다.
예를 들어, 전자 장치(100)가 메뉴 선택 이력을 저장하고 있는 상태에서, 전자 장치(100)는 특정 컨텍스트 정보가 획득되는 상황에서 최종적으로 어떠한 메뉴가 선택되었는지 분석할 수 있다. 이러한 분석 결과에 기초하여, 전자 장치(100)는 사용자 입력, 컨텍스트 정보 및 메뉴 선택 이력을 입력 받아 추천 메뉴를 식별하는 인공 지능 모델(1210)을 생성할 수 있다.
여기서, 인공 지능 모델(1200)은 학습 수행 과정에서 이용되는 모델이고, 인공 지능 모델(1210)은 학습이 완료된 모델을 의미할 수 있다.
전자 장치(100)는 인공 지능 모델(1210)을 메모리(130)에 저장할 수 있다. 그리고, 전자 장치(100)는 사용자 입력, 컨텍스트 정보 및 메뉴 선택 이력을 인공 지능 모델(1210)에 입력하여 사용자 입력에 대응되는 추천 메뉴를 식별할 수 있다. 여기서, 인공 지능 모델(1210)의 입력 데이터는 사용자 입력, 컨텍스트 정보 및 메뉴 선택 이력이고, 인공 지능 모델(1210)의 출력 데이터는 사용자 입력에 대응되는 추천 메뉴일 수 있다.
한편, 인공 지능 모델(1200) 및 인공 지능 모델(1210)은 신경망 모델로 기재될 수 있다.
도 13은 상이한 뎁스의 메뉴를 설명하기 위한 도면이다.
도 13을 참조하면, 전자 장치(100)는 상이한 뎁스의 메뉴를 저장할 수 있다. 여기서, 전자 장치(100)는 제1 뎁스의 제1 카테고리의 메뉴(1310) 및 제2 뎁스의 제2 카테고리의 메뉴(1320)를 포함할 수 있다. 여기서, 제1 뎁스의 메뉴(1310)는 제2 뎁스의 메뉴(1320)의 상위 카테고리 메뉴일 수 있다. 여기서, 제2 뎁스의 메뉴(1320)는 제1 뎁스의 메뉴(1310)의 하위 카테고리 메뉴일 수 있다. 뎁스의 숫자가 낮을수록 상위 메뉴일 수 있다.
예를 들어, A 메뉴에는 #01, #02, #03, #04, #05, #06의 하위 메뉴가 존재할 수 있다. 또한, B 메뉴에는 #11, #12, #13, #14, #15, #16의 하위 메뉴가 존재할 수 있다. 또한, C 메뉴에는 #21, #22, #01, #02, #11, #12의 하위 메뉴가 존재할 수 있다.
여기서, C 메뉴의 하위 메뉴인 #01, #02는 A 메뉴의 하위 메뉴일 수 있다. 또한, C 메뉴의 하위 메뉴인 #11, #12는 A 메뉴의 하위 메뉴일 수 있다. 즉, 일부 메뉴가 중복되어 존재할 수 있다.
도 14는 특정 메뉴가 선택되었을 때 표시되는 화면을 설명하기 위한 도면이다.
도 14를 참조하면, 전자 장치(100)는 메뉴와 관련된 화면(1400)을 디스플레이(110)에 표시할 수 있다. 여기서, 화면(1400)은 메뉴와 관련된 정보를 표시하기 위한 제1 영역(1410), 메뉴를 선택(또는 이동)하기 위한 UI를 포함하는 제2 영역(1420) 또는 선택된(또는 이동된) 메뉴를 확인하거나 취소하기 위한 UI를 포함하는 제3 영역(1430) 중 적어도 하나를 포함할 수 있다.
여기서, 제1 영역(1410)은 적어도 하나의 메뉴를 표시하는 영역(1411) 또는 현재 선택된(또는 활성화된) 메뉴와 관련된 정보를 표시하는 영역(1412) 중 적어도 하나를 포함할 수 있다. 여기서, 현재 선택된(또는 활성화된) 메뉴와 관련된 정보는 특정 메뉴와 관련된 요약 정보를 의미할 수 있다. 여기서, 요약 정보는 특정 메뉴에 대응되는 썸네일 이미지 또는 특정 메뉴에 대응되는 요약 텍스트 중 적어도 하나를 포함할 수 있다. 도 14의 영역(1412)은 현재 선택된(또는 활성화된) 메뉴인 #01과 관련된 요약 정보가 표시되는 영역일 수 있다.
여기서, 제2 영역(1420)은 선택된(또는 활성화된) 메뉴를 이동시키기 위한 UI를 포함할 수 있다. 여기서, 선택된(또는 활성화된) 메뉴를 이동시키기 위한 UI는 상, 하, 좌, 우로 메뉴를 이동시키는 UI일 수 있다.
여기서, 제3 영역(1430)은 현재 선택된 (또는 활성화된) 메뉴를 확인하는 UI 또는 현재 선택된(또는 활성화된) 메뉴를 취소하는 UI 중 적어도 하나를 포함할 수 있다. 여기서, 현재 선택된 (또는 활성화된) 메뉴를 확인하는 UI를 통해 사용자 입력이 수신되면, 전자 장치(100)는 현재 선택된(또는 활성화된) 메뉴의 하위 메뉴를 표시할 수 있다. 즉, 전자 장치(100)는 선택된(또는 활성화된) 메뉴의 세부 정보를 표시할 수 있다. 또한, 현재 선택된(또는 활성화된) 메뉴를 취소하는 UI를 통해 사용자 입력이 수신되면, 전자 장치(100)는 현재 선택된(또는 활성화된) 메뉴의 상위 메뉴를 표시할 수 있다.
도 15는 일 실시 예에 따라, 기 설정된 이벤트에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 15를 참조하면, 전자 장치(100)는 추천 메뉴를 제공하는 화면(1500)을 디스플레이(110)에 표시할 수 있다.
여기서, 화면(1500)은 적어도 하나의 메뉴를 표시하는 영역(1511) 또는 현재 선택된(또는 활성화된) 메뉴와 관련된 정보를 표시하는 영역(1512) 중 적어도 하나를 포함할 수 있다. 여기서, 영역(1511)은 도 14의 영역(1411)에 대응될 수 있고, 영역(1512)은 도 14의 영역(1412)에 대응될 수 있다.
가이드 정보의 제공이 필요하다고 판단되면, 전자 장치(100)는 영역(1512)에 추천 메뉴를 포함하는 가이드 정보(1501)를 표시할 수 있다. 여기서, 가이드 정보(1501)가 표시됨에 따라 기존에 표시되었던 내용이 보이지 않을 수 있다.
도 16은 다른 실시 예에 따라, 기 설정된 이벤트에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 16을 참조하면, 전자 장치(100)는 추천 메뉴를 제공하는 화면(1600)을 디스플레이(110)에 표시할 수 있다.
여기서, 화면(1600)은 적어도 하나의 메뉴를 표시하는 영역(1611) 또는 현재 선택된(또는 활성화된) 메뉴와 관련된 정보를 표시하는 영역(1612) 중 적어도 하나를 포함할 수 있다. 여기서, 영역(1611)은 도 14의 영역(1411)에 대응될 수 있고, 영역(1612)은 도 14의 영역(1412)에 대응될 수 있다.
가이드 정보의 제공이 필요하다고 판단되면, 전자 장치(100)는 영역(1612)에 추천 메뉴를 포함하는 가이드 정보(1601)를 표시할 수 있다. 여기서, 가이드 정보(1601)는 기존에 표시되었던 내용 위에 중첩되게 표시될 수 있다. 따라서, 사용자는 기존에 표시된 내용과 별개로 추천 메뉴가 제공되고 있음을 직관적으로 파악할 수 있다.
도 17은 또 다른 실시 예에 따라, 기 설정된 이벤트에 기초하여 가이드 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 17을 참조하면, 전자 장치(100)는 추천 메뉴를 제공하는 화면(1700)을 디스플레이(110)에 표시할 수 있다.
여기서, 화면(1700)은 적어도 하나의 메뉴를 표시하는 영역(1711) 또는 현재 선택된(또는 활성화된) 메뉴와 관련된 정보를 표시하는 영역(1712) 중 적어도 하나를 포함할 수 있다. 여기서, 영역(1711)은 도 14의 영역(1411)에 대응될 수 있고, 영역(1712)은 도 14의 영역(1412)에 대응될 수 있다.
가이드 정보의 제공이 필요하다고 판단되면, 전자 장치(100)는 영역(1711)에 추천 메뉴가 표시된 위치에 기초하여 아이콘(1701)을 추가로 표시할 수 있다.
예를 들어, 추천 메뉴가 #03이라고 가정한다. 전자 장치(100)는 추천 메뉴인 #03이 표시되는 위치와 인접한 위치에 아이콘(1701)을 표시할 수 있다. 사용자는 아이콘(1701)을 통해 추천 메뉴를 직관적으로 파악할 수 있다.
도 18은 추천 메뉴를 표시하는 동작을 설명하기 위한 도면이다.
도 18을 참조하면, 전자 장치(100)는 추천 메뉴를 제공하는 화면(1810)을 디스플레이(110)에 표시할 수 있다. 여기서, 화면(1810)은 도 17의 화면(1700)에 대응될 수 있다.
화면(1810)이 디스플레이(110)에 표시된 상태에서, 사용자에 의해 아래 방향의 스와이프 입력(1811)이 수신되었다고 가정한다. 전자 장치(100)는 스와이프 입력(1811)에 기초하여 현재 활성화된 메뉴(#01)를 변경할 수 있다. 여기서, 전자 장치(100)는 스와이프 입력(1811)을 통해 활성화 되었던 메뉴(#01)와 가장 인접한 추천 메뉴(#03)를 식별할 수 있다.
그리고, 전자 장치(100)는 추천 메뉴(#03)를 포함하는 화면(1820)을 디스플레이(110)에 표시할 수 있다. 여기서, 전자 장치(100)는 추천 메뉴(#03)를 포함하는 화면(1820)을 표시하기 전에 중간에 위치하는 메뉴(#02)를 표시할 수 있다.
일반적인 실시 예에서, 스와이프 입력(1811)은 활성화된 메뉴를 변경하는 입력에 해당할 수 있으므로, 전자 장치(100)는 #01, #02, #03, #04, #05, #06 순서로 메뉴를 선택(또는 활성화)할 수 있다. 여기서 각각의 메뉴가 표시되는 시간은 스와이프 입력(1811)의 입력 시간에 따라 결정될 수 있다. 스와이프 입력(1811)의 입력 시간이 짧으면 각각의 메뉴가 표시되는 시간도 짧을 수 있다.
본 개시의 일 실시 예에서, 전자 장치(100)는 스와이프 입력(1811)에 기초하여 복수의 메뉴를 순서대로 표시하는 도중 추천 메뉴(#03)를 고정적으로 표시할 수 있다. 즉, #01, #02, #03, #04, #05, #06가 순서대로 표시되어야 하는 상황에서 추천 메뉴(#03)가 식별되면, 전자 장치(100)는 추천 메뉴(#03)를 고정적으로 표시하고 추천 메뉴(#03)의 다음 메뉴(#04, #05, #06)를 표시하지 않을 수 있다.
본 개시의 다른 실시 예에서, 전자 장치(100)는 스와이프 입력(1811)에 기초하여 적어도 하나의 메뉴를 순서대로 표시하고, 추천 메뉴(#03)를 다른 메뉴보다 더 오랜 시간 동안 표시할 수 있다. 즉, #01, #02, #03, #04, #05, #06가 순서대로 표시되어야 하는 상황에서 추천 메뉴(#03)가 중간에 식별되면, 전자 장치(100)는 추천 메뉴(#03)의 이전 메뉴(#01, #02)를 제1 시간(예를 들어, 0.2초) 동안 표시하고, 추천 메뉴(#03)를 제2 시간(예를 들어, 1초) 동안 표시하고, 추천 메뉴(#03)의 다음 메뉴(#04, #05, #06)를 제1 시간(예를 들어, 0.2초) 동안 표시할 수 있다. 여기서, 제2 시간은 제1 시간보다 클 수 있다.
도 19는 추천 메뉴를 생성하는 전자 장치(100)의 동작을 설명하기 위한 블록도이다.
도 19를 참조하면, 전자 장치(100)는 조작 인터페이스(120), 메모리(130) 및 프로세서(140), 센서부(150) 를 포함할 수 있다.
여기서, 프로세서(140)는 제어 모듈(141), 입력 정보 판단 모듈(142), 컨텍스트 정보 획득 모듈(143) 또는 추천 메뉴 식별 모듈(144) 중 적어도 하나를 포함할 수 있다. 여기서, 추천 메뉴 식별 모듈(144)은 패턴 유사도 계산 모듈(144-1) 및 추천 메뉴 결정 모듈(144-2_을 포함할 수 있다.
여기서, 메모리(130)는 메뉴 구조 정보(131) 및 메뉴 선택 이력(132)을 저장할 수 있다. 여기서, 메뉴 구조 정보(131)는 상위 또는 하위 메뉴의 구조를 의미할 수 있다. 메뉴 구조 정보(131)와 관련된 설명은 도 13에서 기재한다.
여기서, 전자 장치(100)는 조작 인터페이스(120)를 통해 사용자 입력을 수신할 수 있다. 전자 장치(100)는 조작 인터페이스(120)를 통해 수신된 사용자 입력을 제어 모듈(141)에 전송할 수 있다. 그리고, 제어 모듈(141)은 사용자 입력을 입력 정보 판단 모듈(142)에 전송할 수 있다.
여기서, 입력 정보 판단 모듈(142)은 사용자 입력에 기초하여 기 설정된 이벤트가 발생하였는지 여부를 식별할 수 있다. 기 설정된 이벤트가 발생된 것으로 식별되면, 입력 정보 판단 모듈(142)은 이벤트 알림을 제어 모듈(141)에 전송할 수 있다.
여기서, 제어 모듈(141)은 입력 정보 판단 모듈(142)로부터 이벤트 알림을 수신할 수 있다. 이벤트 알림이 수신되면, 제어 모듈(141)은 센서부(150)에 컨텍스트 정보를 요청할 수 있다. 그리고, 센서부(150)를 통해 획득한 컨텍스트 정보가 컨텍스트 정보 획득 모듈(143)에 저장될 수 있다. 또한, 이벤트 알림이 수신되면, 제어 모듈(141)은 메모리(130)에 메뉴 구조 정보(131) 및 메뉴 선택 이력(132)을 요청할 수 있다.
이벤트 알림이 수신되면, 추천 메뉴 식별 모듈(144)은 조작 인터페이스(120)로부터 획득된 사용자 입력, 센서부(150)를 통해 획득한 컨텍스트 정보 및 메모리(130)를 통해 획득한 메뉴 구조 정보(131) 및 메뉴 선택 이력(132)을 획득할 수 있다. 그리고, 추천 메뉴 식별 모듈(144)은 패턴 유사도 계산 모듈(144-1)을 이용하여 메뉴 선택 이력(132)에 저장된 복수의 패턴 각각에 대하여 패턴 유사도를 계산할 수 있다. 여기서, 패턴 유사도는 메뉴 선택 이력(132)에 저장된 특정 패턴 과 사용자 입력이 얼마나 유사한지를 나타내는 값을 의미할 수 있다. 그리고, 패턴 유사도 계산 모듈(144-1)에 의하여 계산된 패턴 유사도가 추천 메뉴 결정 모듈(144-2)에 전송될 수 있다. 여기서, 패턴 유사도는 가중치(또는 합산 가중치)로 기재될 수 있다.
여기서, 추천 메뉴 결정 모듈(144-2)은 패턴 유사도에 기초하여 사용자 입력에 대응되는 적어도 하나의 추천 메뉴를 식별(또는 결정)할 수 있다.
제어 모듈(141), 입력 정보 판단 모듈(142), 컨텍스트 정보 획득 모듈(143), 추천 메뉴 식별 모듈(144) 등의 구체적인 동작은 도 22 내지 도 24에서 기재한다.
한편, 도 19에서는 컨텍스트 정보 획득 모듈(143)을 기재하였지만, 구현 예에 따라 컨텍스트 정보 획득 모듈(143)이 생략될 수 있다. 컨텍스트 정보 획득 모듈(143)이 생략되는 경우, 추천 메뉴 식별 모듈(144)은 직접적으로 센서부(150)를 통해 컨텍스트 정보를 획득할 수 있다.
도 20은 추천 메뉴를 식별하는 동작을 설명하기 위한 흐름도이다.
도 20을 참조하면, 전자 장치(100)는 메뉴를 선택하는 사용자 입력을 수신할 수 있다 (S2005). 그리고, 전자 장치(100)는 기 설정된 이벤트를 식별할 수 있다 (S2010). 기 설정된 이벤트가 식별되지 않으면 (S2010-N), 전자 장치(100)는 S2005, S2010 단계를 반복할 수 있다.
기 설정된 이벤트가 식별되면 (S2010-Y), 전자 장치(100)는 컨텍스트 정보를 획득할 수 있다 (S2015). 그리고, 전자 장치(100)는 메뉴 선택 이력을 획득할 수 있다 (S2020). 그리고, 전자 장치(100)는 사용자 입력, 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 추천 메뉴를 식별할 수 있다 (S2025). 여기서, 전자 장치(100)는 메뉴 구조 정보를 추가적으로 고려하여 추천 메뉴를 식별할 수 있다. 그리고, 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S2030). 가이드 정보를 제공하는 동작은 도 5의 S515에 대응될 수 있으므로 중복 설명을 생략한다.
도 21은 조리물 온도에 기초하여 추천 메뉴를 식별하는 동작을 설명하기 위한 흐름도이다.
도 21을 참조하면, S2105, S2110 단계는 도 20의 S2005, S2010 단계에 대응될 수 있으므로 중복 설명을 생략한다.
여기서, 기 설정된 이벤트가 식별되면 (S2110-Y), 전자 장치(100)는 조리물 온도를 센싱할 수 있다 (S2115). 구체적으로, 전자 장치(100)는 접촉식 온도 센서(152)를 통해 조리물 온도를 센싱할 수 있다. 그리고, 전자 장치(100)는 센싱된 조리물 온도를 컨텍스트 정보로서 획득할 수 있다 (S2120). 여기서, 컨텍스트 정보는 조리물 온도 이외에 다양한 정보가 추가적으로 포함될 수 있다. 그리고, 전자 장치(100)는 메뉴 선택 이력을 획득할 수 있다 (S2125). 그리고, 전자 장치(100)는 사용자 입력, 조리물 온도를 포함하는 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 추천 메뉴를 식별할 수 있다 (S2130). 그리고, 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S2135). 가이드 정보를 제공하는 동작은 도 5의 S515에 대응될 수 있으므로 중복 설명을 생략한다.
도 22는 일 실시 예에 따라, 전자 장치(100)에 포함된 복수의 모듈에 의하여 가이드 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 22를 참조하면, 조작 인터페이스(120)는 제1 사용자 입력을 수신할 수 있다 (S2201). 그리고, 조작 인터페이스(120)는 수신된 제1 사용자 입력을 제어 모듈(141)에 전송할 수 있다 (S2202). 그리고, 제어 모듈(141)는 조작 인터페이스(120)로부터 수신한 제1 사용자 입력을 입력 정보 판단 모듈(142)에 전송할 수 있다 (S2203).
입력 정보 판단 모듈(142)은 제어 모듈(141)로부터 제1 사용자 입력을 수신할 수 있다. 그리고, 입력 정보 판단 모듈(142)은 제1 사용자 입력에 기초하여 기 설정된 이벤트를 식별할 수 있다 (S2204). 제1 사용자 입력에 기초하여 기 설정된 이벤트가 식별되면, 입력 정보 판단 모듈(142)은 이벤트 알림을 제어 모듈(141)에 전송할 수 있다 (S2205). 그리고, 입력 정보 판단 모듈(142)은 제1 사용자 입력을 추천 메뉴 식별 모듈(144)에 전송할 수 있다 (S2210).
일 실시 예에 따라, S2210 단계에서 전송되는 제1 사용자 입력은 S2202 단계에서 전송된 사용자 입력일 수 있다. 즉, 입력 정보 판단 모듈(142)은 수신된 제1 사용자 입력과 관련된 모든 정보를 추천 메뉴 식별 모듈(144)에 전송할 수 있다.
다른 실시 예에 따라, 입력 정보 판단 모듈(142)은 수신된 제1 사용자 입력 중 일부 정보만을 추천 메뉴 식별 모듈(144)에 전송할 수 있다. 여기서, 일부 정보는 추천 메뉴에 이용되는 메뉴와 관련된 정보를 의미할 수 있다.
제어 모듈(141)은 입력 정보 판단 모듈(142)로부터 이벤트 알림을 수신할 수 있다.
이벤트 알림이 수신되면, 제어 모듈(141)은 컨텍스트 정보를 컨텍스트 정보 획득 모듈(143)에 요청할 수 있다 (S2220). 구체적으로, 제어 모듈(141)은 컨텍스트 정보를 요청하기 위한 제어 신호를 컨텍스트 정보 획득 모듈(143)에 전송할 수 있다. 그리고, 컨텍스트 정보 획득 모듈(143)은 센서부(150)에 제어 신호를 전송할 수 있으며, 센서부(150)로부터 컨텍스트 정보를 수신할 수 있다. 그리고, 컨텍스트 정보 획득 모듈(143)은 컨텍스트 정보를 추천 메뉴 식별 모듈(144)에 전송할 수 있다 (S2221).
이벤트 알림이 수신되면, 제어 모듈(141)은 메뉴 선택 이력을 메모리(130)에 요청할 수 있다 (S2230). 구체적으로, 제어 모듈(141)은 메뉴 선택 이력을 요청하기 위한 제어 신호를 메모리(130)에 전송할 수 있다. 여기서, 메모리(130)는 제어 모듈(141)로부터 메뉴 선택 이력의 요청을 수신할 수 있다. 그리고, 메모리(130)는 메뉴 선택 이력을 추천 메뉴 식별 모듈(144)에 전송할 수 있다 (S2231).
추천 메뉴 식별 모듈(144)은 S2210 단계를 통해 획득한 제1 사용자 입력, S2221 단계를 통해 획득한 컨텍스트 정보 및 S2231 단계를 통해 획득한 메뉴 선택 이력에 기초하여 추천 메뉴를 식별할 수 있다 (S2240). 그리고, 추천 메뉴 식별 모듈(144)은 식별된 추천 메뉴를 제어 모듈(141)에 전송할 수 있다 (S2241).
제어 모듈(141)은 추천 메뉴 식별 모듈(144)로부터 추천 메뉴를 수신할 수 있다. 그리고, 제어 모듈(141)은 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S2242).
본 개시의 내용은 도 22의 동작 순서에 제한되지 않는다. 다른 실시 예에 따라, 동작 순서가 다를 수 있다. 또 다른 실시 예에 따라, 하나 이상의 동작이 생략되거나 추가될 수 있다.
한편, 도 22에서는 컨텍스트 정보 및 메뉴 선택 이력이 제어 모듈(141)을 거치지 않고 바로 추천 메뉴 식별 모듈(144)에 전송되는 동작을 기재하였다. 다른 구현 예에 따라, 컨텍스트 정보 및 메뉴 선택 이력이 제어 모듈(141)을 거쳐 추천 메뉴 식별 모듈(144)에 전송될 수 있다. 이와 관련된 설명은 도 23에서 기재한다.
도 23은 다른 실시 예에 따라, 전자 장치(100)에 포함된 복수의 모듈에 의하여 가이드 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 23을 참조하면, S2301, S2302, S2303, S2304, S2305, S2341, S2342 단계는 도 22의 S2201, S2202, S2203, S2204, S2205, S2241, S2242 단계에 대응될 수 있으므로 중복 설명을 생략한다.
여기서, 이벤트 알림이 수신되면, 제어 모듈(141)은 제1 사용자 입력을 추천 메뉴 식별 모듈(144)에 전송할 수 있다 (S2310). 도 22와 달리, 제1 사용자 입력이 제어 모듈(141)을 거쳐 추천 메뉴 식별 모듈(144)에 전송될 수 있다.
여기서, 이벤트 알림이 수신되면, 제어 모듈(141)은 컨텍스트 정보 획득 모듈(143)에 컨텍스트 정보를 요청할 수 있다 (S2320). 그리고, 컨텍스트 정보 획득 모듈(143)은 센서부(150)를 통해 컨텍스트 정보를 획득할 수 있다. 그리고, 컨텍스트 정보 획득 모듈(143)은 컨텍스트 정보를 제어 모듈(141)에 전송할 수 있다 (S2321). 그리고, 제어 모듈(141)은 컨텍스트 정보 획득 모듈(143)로부터 획득한 컨텍스트 정보를 추천 메뉴 식별 모듈(144)에 전송할 수 있다 (S2322).
여기서, 이벤트 알림이 수신되면, 제어 모듈(141)은 메모리(130)에 메뉴 선택 이력을 요청할 수 있다 (S2330). 그리고, 메모리(130)는 메뉴 선택 이력을 다시 제어 모듈(141)에 전송할 수 있다 (S2331). 그리고, 제어 모듈(141)은 메뉴 선택 이력을 추천 메뉴 식별 모듈(144)에 전송할 수 있다 (S2332).
추천 메뉴 식별 모듈(144)은 S2310 단계를 통해 획득한 제1 사용자 입력, S2322 단계를 통해 획득한 컨텍스트 정보 및 S2332 단계를 통해 획득한 메뉴 선택 이력에 기초하여 추천 메뉴를 식별할 수 있다 (S2340). 그리고, 추천 메뉴 식별 모듈(144)은 추천 메뉴를 제어 모듈(141)에 전송할 수 있다 (S2341). 그리고, 제어 모듈(141)은 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S2342).
도 24는 가이드 정보가 제공된 후 피드백 정보를 저장하는 동작을 설명하기 위한 흐름도이다.
도 24를 참조하면, 제어 모듈(141)은 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S2442). S2442 단계는 도 22의 S2242 단계 또는 도 23의 S2342 단계에 대응될 수 있다. 즉, 도 24의 동작은 가이드 정보를 제공하는 동작 이후의 동작을 기재한다.
추천 메뉴를 포함하는 가이드 정보가 제공된 이후, 조작 인터페이스(120)는 추천 메뉴를 선택하는 제2 사용자 입력을 수신할 수 있다 (S2450). 그리고, 조작 인터페이스(120)는 제2 사용자 입력을 제어 모듈(141)에 전송할 수 있다 (S2451).
여기서, 전자 장치(100)는 조작 인터페이스(120)를 통해 제2 사용자 입력을 수신할 수 있다. 그리고, 제어 모듈(141)은 제2 사용자 입력에 기초하여 사용자가 어느 추천 메뉴를 선택하였는지 분석할 수 있다. 그리고, 제어 모듈(141)은 제2 사용자 입력에 기초하여 피드백 정보를 생성할 수 있다 (S2460). 여기서, 피드백 정보는 추천 메뉴의 선택 여부와 관련된 정보를 포함할 수 있다. 제어 모듈(141)은 피드백 정보를 메모리(130)에 전송할 수 있다 (S2461). 그리고, 메모리(130)는 제어 모듈(141)로부터 수신한 피드백 정보를 저장할 수 있다 (S2462).
제어 모듈(141)는 피드백 정보에 기초하여 사용자가 선호하는 메뉴를 식별할 수 있고, 추천 메뉴를 식별하는 동작에 피드백 정보를 추가적으로 이용할 수 있다.
도 25는 서버(200)를 이용하여 추천 메뉴를 식별하는 동작을 설명하기 위한 흐름도이다.
도 25를 참조하면, 전자 장치(100)는 서버(200)를 통해 추천 메뉴를 획득할 수 있다. 서버(200)는 메뉴 구조 정보 및 메뉴 선택 이력을 저장할 수 있다 (S2505).
여기서, 전자 장치(100)는 사용자 입력을 수신할 수 있다 (S2510). 사용자 입력이 수신되면, 전자 장치(100)는 사용자 입력을 서버에 전송할 수 있다 (S2515).
여기서, 서버(200)는 전자 장치(100)로부터 사용자 입력을 수신할 수 있다. 그리고, 서버(200)는 사용자 입력에 기초하여 기 설정된 이벤트를 식별할 수 있다 (S2520). 기 설정된 이벤트가 식별되면, 서버(200)는 이벤트 알림을 전자 장치(100)에 전송할 수 있다 (S2525).
여기서, 전자 장치(100)는 서버(200)로부터 이벤트 알림을 수신할 수 있다. 그리고, 이벤트 알림이 수신되면, 전자 장치(100)는 컨텍스트 정보를 획득할 수 있다 (S2530). 그리고, 전자 장치(100)는 컨텍스트 정보를 서버(200)에 전송할 수 있다 (S2535).
여기서, 서버(200)는 전자 장치(100)로부터 컨텍스트 정보를 수신할 수 있다. 그리고, 서버(200)는 S2515 단계에서 획득한 사용자 입력, S2535 단계에서 획득한 컨텍스트 정보 및 S2505 단계에서 획득한 메뉴 구조 정보 및 메뉴 선택 이력에 기초하여 추천 메뉴를 식별할 수 있다 (S2540). 그리고, 서버(200)는 추천 메뉴를 전자 장치(100)에 전송할 수 있다 (S2545).
여기서, 전자 장치(100)는 추천 메뉴를 서버(200)로부터 수신할 수 있다. 그리고, 전자 장치(100)는 추천 메뉴를 포함하는 가이드 정보를 제공할 수 있다 (S2550).
도 26은 복수의 요리 각각에 대응되는 가중치 정보를 설명하기 위한 표이다.
도 26을 참조하면, 표(2610)는 메뉴에 대한 가중치 정보를 포함할 수 있다. 여기서, 메뉴는 요리 식별 정보로 구분될 수 있다. 가중치 정보는 복수의 항목에 대응되는 가중치를 포함할 수 있다. 여기서, 복수의 항목은 카테고리, 연관 카테고리, (조리실) 내부 온도, 프로브 온도, 기능 1의 수행 여부, 기능 2의 수행 여부, 시간, 날짜 또는 선택 이력 중 적어도 하나를 포함할 수 있다.
전자 장치(100)는 사용자 입력에 기초하여 현재 선택된(또는 활성화된) 메뉴를 획득할 수 있다. 그리고, 전자 장치(100)는 현재 선택된 메뉴에 대응되는 카테고리에 가중치를 부여할 수 있다. 또한, 전자 장치(100)는 현재 선택된 메뉴에 대응되는 연관 카테고리에 가중치를 부여할 수 있다.
전자 장치(100)는 컨텍스트 정보를 획득할 수 있다. 여기서, 컨텍스트 정보는 (조리실의) 내부 온도, (조리물의) 프로브 온도, 기능 1의 수행 여부, 기능 2의 수행 여부, 현재 시간 또는 현재 날짜 중 적어도 하나를 포함할 수 있다. 여기서, 전자 장치(100)는 컨텍스트 정보에 대응되는 가중치를 부여할 수 있다.
전자 장치(100)는 메뉴 선택 이력을 획득할 수 있다. 여기서, 메뉴 선택 이력은 사용자가 어떠한 메뉴를 선택하였는지를 나타내는 정보를 포함할 수 있다. 여기서, 전자 장치(100)는 사용자가 선택한 이력이 있는 메뉴에 가중치를 부여할 수 있다.
예를 들어, #01은 A 메뉴에 포함되므로, A 메뉴가 선택되었을 때 전자 장치(100)는 카테고리에 대응되는 가중치를 부여할 수 있다. 또한, #01은 연관 카테고리가 B 메뉴에 해당하므로, B 메뉴가 선택되었을 때 전자 장치(100)는 연관 카테고리에 대응되는 가중치를 부여할 수 있다. 또한, #01은 조리실의 온도가 임계 온도 이상인 상황에서 동작하는 메뉴일 수 있다. 따라서, 조리실의 온도가 임계 온도 이상이면, 전자 장치(100)는 내부 온도에 대응되는 가중치를 부여할 수 있다. 또한, #01은 기능 1이 수행되어야 하는 메뉴일 수 있다. 따라서, 기능 1이 수행된 상태이면, 전자 장치(100)는 기능 1에 대응되는 가중치를 부여할 수 있다. 또한, #01은 아침 시간에 주로 이용되는 메뉴일 수 있다. 따라서, 현재 시간이 아침이면, 전자 장치(100)는 시간에 대응되는 가중치를 부여할 수 있다. 또한, #01은 평일에 주로 이용되는 메뉴일 수 있다. 따라서, 현재 날짜가 평일이면, 전자 장치(100)는 날짜에 대응되는 가중치를 부여할 수 있다. #02 내지 #23과 관련된 가중치 부여 방법은 #01과 유사한 방식이 적용될 수 있으므로, 설명을 생략한다.
한편, 복수의 항목 각각에 대응되는 가중치가 상이할 수 있다. 예를 들어, 전자 장치(100)는 카테고리는 60, 연관 카테고리는 30, 내부 온도는 5, 프로브 온도는 5, 기능 1에는 5, 기능 2에는 5, 시간에는 5, 날짜에는 5, 선택 이력에는 40의 가중치를 부여할 수 있다.
한편, 복수의 항목 각각에 가중치를 부여하는 계산하는 과정은 도 27에서 기재한다.
도 27은 가중치 정보에 기초하여 추천 메뉴를 식별하는 동작을 설명하기 위한 도면이다.
도 27을 참조하면, 표(2710)는 복수의 메뉴에 대응되는 가중치 결과를 포함할 수 있다. 전자 장치(100)는 사용자 입력 정보(2701), 컨텍스트 정보(2702) 및 메뉴 선택 이력(2703)을 획득할 수 있다. 여기서, 사용자 입력 정보(2701)는 사용자가 A 카테고리를 선택한 정보를 포함할 수 있다. 여기서, 사용자가 A 카테고리를 선택한 후 기 설정된 이벤트가 식별되었다고 가정한다.
또한, 컨텍스트 정보(2702)는 내부 온도 미식별, 프로브 온도 식별, 기능1의 수행, 기능2의 미수행, 저녁, 주말, 크리스마스인 것으로 가정한다. 내부 온도 미식별은 조리실 내부가 가열되지 않은 상태를 의미할 수 있다. 내부 온도가 제1 임계 온도 미만이면, 전자 장치(100)는 "내부 온도 미식별"로 판단할 수 있다. 또한, 프로브 온도 식별은 조리물이 가열되지 않은 상태를 의미할 수 있다. 프로브 온도가 제2 임계 온도 이상이면, 전자 장치(100)는 "프로브 온도 식별"로 판단할 수 있다.
또한, 메뉴 선택 이력(2703)은 사용자가 #03, #11, #12, #13을 선택한 이력을 포함한다고 가정한다.
여기서, 전자 장치(100)는 사용자 입력 정보(2701)에 기초하여 현재 선택된 메뉴가 A인것으로 판단할 수 있다. 따라서, 전자 장치(100)는 #01, #02, #03 에 카테고리에 대응되는 가중치(60)를 부여할 수 있다. 또한, 전자 장치(100)는 #11, #21에 30의 연관 카테고리에 대응되는 가중치(30)를 부여할 수 있다.
여기서, 전자 장치(100)는 컨텍스트 정보(2702)에 기초하여 가중치를 부여할 수 있다. 내부 온도가 식별되지 않았으므로, 전자 장치(100)는 내부 온도에 대응되는 가중치(5)를 부여하지 않을 수 있다. 또한, 프로브 온도가 식별되었으므로, 전자 장치(100)는 #21, #22, #23에 프로브 온도에 대응되는 가중치(5)를 부여할 수 있다. 또한, 기능 1이 수행되었으므로, 전자 장치(100)는 #01, #03, #11, #13, #21, #23에 기능 1에 대한 가중치(5)를 부여할 수 있다. 또한, 기능 2가 수행되지 않았으므로, 전자 장치(100)는 기능 2에 대한 가중치(5)를 부여하지 않을 수 있다. 또한, 현재 시간이 저녁이므로, #03, #13, #23에 시간에 대응되는 가중치(5)를 부여할 수 있다. 또한, 현재 날짜가 주말이므로, #02, #03, #12, #13, #22, #23에 날짜에 대응되는 가중치(5)를 부여할 수 있다. 여기서, 현재 날짜가 크리스마스이므로 전자 장치(100)는 주말 가중치와 별개로 특정 공휴일에 대한 가중치(5)를 추가적으로 부여할 수 있다. 전자 장치(100)는 #03, #13, #23에 크리스마스에 대응되는 가중치(5)를 추가적으로 부여할 수 있다.
여기서, 전자 장치(100)는 메뉴 선택 이력(2703)에 기초하여 가중치를 부여할 수 있다. 메뉴 선택 이력(2703)은 사용자가 #03, #11, #12, #13를 선택하였음을 나타낼 수 있다. 따라서, 전자 장치(100)는 #03, #11, #12, #13에 선택 이력에 대응되는 가중치(40)를 부여할 수 있다.
전자 장치(100)는 상술한 방식에 따라 복수의 메뉴 각각에 대응되는 가중치를 산출할 수 있다. 그리고, 전자 장치(100)는 산출된 가중치에 기초하여 추천 메뉴를 식별할 수 있다.
일 예로, 전자 장치(100)는 가장 큰 가중치의 메뉴(#03)를 추천 메뉴로 식별할 수 있다.
다른 예로, 전자 장치(100)는 가중치가 큰 순서로 임계 개수(예를 들어 4개)의 메뉴를 추천 메뉴(#03, #11, #01, #02)로 식별할 수 있다. 여기서, 임계 개수가 3개이면, #01 및 #02가 동일 순위가 된다. 순위가 동일한 메뉴가 있는 경우, 전자 장치(100)는 우선 순위 정보에 따라 추천 메뉴를 식별할 수 있다. 카테고리, 선택 이력, 연관 카테고리, 내부 온도, 프로브 온도, 기능1의 수행 여부, 기능 2의 수행 여부, 시간, 날짜 순서로 우선 순위가 높을 수 있다. 따라서, 표(2710)에서 #01의 우선 순위가 더 높을 수 있다. 따라서, 3개의 추천 메뉴를 식별하는 경우, 전자 장치(100)는 #03, #11, #01을 추천 메뉴로 식별할 수 있다.
도 28은 본 개시의 일 실시 예에 따른 전자 장치(100)의 제어 방법을 설명하기 위한 도면이다.
도 28을 참조하면, 전자 장치(100)의 제어 방법은 제1 뎁스의 제1 메뉴 및 제1 메뉴에 종속된 제2 뎁스의 제2 메뉴를 포함하는 메뉴 선택 이력을 저장하는 단계 (S2805), 어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 사용자 입력에 기초하여 가이드 정보의 제공이 필요한지 여부를 식별하는 단계 (S2810)및 가이드 정보의 제공이 필요한 것으로 식별되면, 선택된 적어도 하나의 메뉴에 대한 정보, 전자 장치(100)의 현재 컨텍스트(context) 정보 및 저장된 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 가이드 정보를 표시하는 단계 (S2815)를 포함한다.
한편, 가이드 정보의 제공이 필요한지 여부를 식별하는 단계 (S2810)는 특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트 또는 특정 뎁스의 메뉴가 선택된 후 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트 중 적어도 하나의 이벤트가 식별되면, 가이드 정보의 제공이 필요한 것으로 식별할 수 있다.
한편, 컨텍스트 정보는 전자 장치(100) 내부의 온도 정보, 조리 대상의 온도 정보, 특정 기능의 실행 여부에 대한 정보, 전자 장치(100) 내부의 이미지 정보 및 일시 정보 중 적어도 하나를 포함할 수 있다.
한편, 제어 방법은 적어도 하나의 메뉴에 대한 정보, 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 전자 장치(100)에 저장된 복수의 메뉴 각각에 대응되는 가중치를 획득하는 단계 및 복수의 메뉴 각각에 대응되는 가중치에 기초하여 추천 메뉴를 식별하는 단계를 더 포함할 수 있다.
한편, 복수의 메뉴 각각에 대응되는 가중치를 획득하는 단계는 적어도 하나의 메뉴에 대한 정보에 기초하여 선택된 메뉴를 식별하고, 복수의 메뉴 중 선택된 메뉴와 동일한 메뉴에 제1 서브 가중치를 할당하고, 복수의 메뉴 중 선택된 메뉴와 유사한 메뉴에 제2 서브 가중치를 할당하고, 제1 서브 가중치 및 제2 서브 가중치를 합산하여 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
한편, 복수의 메뉴 각각에 대응되는 가중치를 획득하는 단계는 복수의 메뉴 중 컨텍스트 정보에 대응되는 메뉴에 제3 서브 가중치를 할당하고, 복수의 메뉴 중 메뉴 선택 이력에 대응되는 메뉴에 제4 서브 가중치를 할당하고, 제1 서브 가중치, 제2 서브 가중치, 제3 서브 가중치 및 제4 서브 가중치를 합산하여 복수의 메뉴 각각에 대응되는 가중치를 획득할 수 있다.
한편, 제어 방법은 가이드 정보의 제공이 필요한 것으로 식별되면, 적어도 하나의 메뉴에 대한 정보, 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 추천 메뉴를 식별하는 단계 및 추천 메뉴가 표시되는 위치에 기초하여 추천 메뉴를 식별하기 위한 아이콘을 표시하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 가이드 정보의 제공이 필요한 것으로 식별되면, 학습된 신경망 모델에 전자 장치(100)의 적어도 하나의 메뉴에 대한 정보 및 컨텍스트 정보를 입력하여 추천 메뉴를 획득하는 단계를 더 포함하고, 신경망 모델은 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 학습될 수 있다.
한편, 전자 장치(100)는 조리물을 가열하는 히터를 포함하는 조리 장치이고, 제어 방법은 가이드 정보에 포함된 메뉴를 선택하는 사용자 입력이 수신되면, 선택된 메뉴에 대응되는 기능을 수행하는 단계를 더 포함하고, 선택된 메뉴에 대응되는 기능은 선택된 메뉴의 조리 과정을 포함하는 텍스트를 표시하는 기능, 선택된 메뉴의 조리 과정을 포함하는 이미지를 표시하는 기능, 선택된 메뉴의 조리 과정을 수행하기 위해 히터의 스케쥴을 설정하는 기능 중 적어도 하나를 포함할 수 있다.
한편, 전자 장치(100)는 조리물의 온도를 센싱하기 위한 접촉식 온도 센서(152)를 포함하고, 제어 방법은 가이드 정보의 제공이 필요한 것으로 식별되면, 접촉식 온도 센서(152)를 통해 조리물의 온도를 컨텍스트 정보로서 획득하는 단계 및 적어도 하나의 메뉴에 대한 정보, 조리물의 온도를 포함하는 컨텍스트 정보 및 메뉴 선택 이력에 기초하여 추천 메뉴를 식별하는 단계를 더 포함할 수 있다.
한편, 도 28과 같은 전자 장치의 제어 방법은 도 3 또는 도 4의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    조작 인터페이스;
    제1 뎁스의 제1 메뉴 및 상기 제1 메뉴에 종속된 제2 뎁스의 제2 메뉴를 포함하는 메뉴 선택 이력을 저장하는 메모리;
    상기 조작 인터페이스를 통해 적어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 가이드 정보의 제공 여부를 식별하고,
    상기 가이드 정보가 제공되는 것으로 식별되면, 상기 선택된 적어도 하나의 메뉴에 대한 정보, 상기 전자 장치의 현재 컨텍스트(context) 정보 및 상기 메모리에 저장된 상기 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 상기 가이드 정보를 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트 또는 특정 뎁스의 메뉴가 선택된 후 상기 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트 중 적어도 하나의 이벤트가 식별되면, 상기 가이드 정보가 제공되는 것으로 식별하는, 전자 장치.
  3. 제1항에 있어서,
    상기 컨텍스트 정보는,
    상기 전자 장치 내부의 온도 정보, 조리 대상의 온도 정보, 특정 기능의 실행 여부에 대한 정보, 상기 전자 장치 내부의 이미지 정보 및 일시 정보 중 적어도 하나를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 메모리는,
    복수의 메뉴를 저장하고,
    상기 프로세서는,
    상기 적어도 하나의 메뉴에 대한 정보, 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 상기 메모리에 저장된 복수의 메뉴 각각에 대응되는 가중치를 획득하고,
    상기 복수의 메뉴 각각에 대응되는 가중치에 기초하여 상기 추천 메뉴를 식별하는, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 메뉴에 대한 정보에 기초하여 선택된 메뉴를 식별하고,
    상기 복수의 메뉴 중 상기 선택된 메뉴와 동일한 메뉴에 제1 서브 가중치를 할당하고,
    상기 복수의 메뉴 중 상기 선택된 메뉴와 유사한 메뉴에 제2 서브 가중치를 할당하고,
    상기 제1 서브 가중치 및 상기 제2 서브 가중치를 합산하여 상기 복수의 메뉴 각각에 대응되는 가중치를 획득하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 복수의 메뉴 중 상기 컨텍스트 정보에 대응되는 메뉴에 제3 서브 가중치를 할당하고,
    상기 복수의 메뉴 중 상기 메뉴 선택 이력에 대응되는 메뉴에 제4 서브 가중치를 할당하고,
    상기 제1 서브 가중치, 상기 제2 서브 가중치, 상기 제3 서브 가중치 및 상기 제4 서브 가중치를 합산하여 상기 복수의 메뉴 각각에 대응되는 가중치를 획득하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 가이드 정보가 제공되는 것으로 식별되면, 상기 적어도 하나의 메뉴에 대한 정보, 상기 컨텍스트 정보, 및 상기 메뉴 선택 이력에 기초하여 상기 추천 메뉴를 식별하고,
    상기 추천 메뉴가 표시되는 위치에 기초하여 상기 추천 메뉴를 식별하기 위한 아이콘을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 가이드 정보가 제공되는 것으로 식별되면, 학습된 신경망 모델에 상기 전자 장치의 상기 적어도 하나의 메뉴에 대한 정보 및 상기 컨텍스트 정보를 입력하여 상기 추천 메뉴를 획득하고,
    상기 신경망 모델은,
    상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 학습되는, 전자 장치.
  9. 제1항에 있어서,
    상기 전자 장치는,
    조리물을 가열하는 히터를 포함하고,
    상기 프로세서는,
    상기 가이드 정보에 포함된 메뉴를 선택하는 사용자 입력이 수신되면, 상기 선택된 메뉴에 대응되는 기능을 수행하고,
    상기 선택된 메뉴에 대응되는 기능은,
    상기 선택된 메뉴의 조리 과정을 포함하는 텍스트를 표시하는 기능, 상기 선택된 메뉴의 조리 과정을 포함하는 이미지를 표시하는 기능, 상기 선택된 메뉴의 조리 과정을 수행하기 위해 상기 히터의 스케쥴을 설정하는 기능 중 적어도 하나를 포함하는, 전자 장치.
  10. 제9항에 있어서,
    상기 전자 장치는,
    상기 조리물의 온도를 센싱하기 위한 접촉식 온도 센서;를 포함하고,
    상기 프로세서는,
    상기 가이드 정보가 제공되는 것으로 식별되면, 상기 접촉식 온도 센서를 통해 상기 조리물의 온도를 상기 컨텍스트 정보로서 획득하고,
    상기 적어도 하나의 메뉴에 대한 정보, 상기 조리물의 온도를 포함하는 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 상기 추천 메뉴를 식별하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    제1 뎁스의 제1 메뉴 및 상기 제1 메뉴에 종속된 제2 뎁스의 제2 메뉴를 포함하는 메뉴 선택 이력을 저장하는 단계;
    어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 가이드 정보의 제공 여부를 식별하는 단계; 및
    상기 가이드 정보가 제공되는 것으로 식별되면, 상기 선택된 적어도 하나의 메뉴에 대한 정보, 상기 전자 장치의 현재 컨텍스트(context) 정보 및 상기 저장된 상기 메뉴 선택 이력에 기초하여 추천 메뉴를 포함하는 상기 가이드 정보를 표시하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 가이드 정보의 제공 여부를 식별하는 단계는,
    특정 뎁스의 메뉴가 선택된 후 임계 시간 동안 메뉴를 선택하는 추가 사용자 입력이 수신되지 않는 이벤트, 사용자 입력에 따라 메뉴가 변경되는 속도가 임계 속도 이상인 이벤트 또는 특정 뎁스의 메뉴가 선택된 후 상기 메뉴 선택이 취소되는 사용자 입력이 수신되는 이벤트 중 적어도 하나의 이벤트가 식별되면, 상기 가이드 정보가 제공되는 것으로 식별하는, 제어 방법.
  13. 제11항에 있어서,
    상기 컨텍스트 정보는,
    상기 전자 장치 내부의 온도 정보, 조리 대상의 온도 정보, 특정 기능의 실행 여부에 대한 정보, 상기 전자 장치 내부의 이미지 정보 및 일시 정보 중 적어도 하나를 포함하는, 제어 방법.
  14. 제11항에 있어서,
    상기 제어 방법은,
    상기 적어도 하나의 메뉴에 대한 정보, 상기 컨텍스트 정보 및 상기 메뉴 선택 이력에 기초하여 상기 전자 장치에 저장된 복수의 메뉴 각각에 대응되는 가중치를 획득하는 단계; 및
    상기 복수의 메뉴 각각에 대응되는 가중치에 기초하여 상기 추천 메뉴를 식별하는 단계;를 더 포함하는, 제어 방법.
  15. 제14항에 있어서,
    상기 복수의 메뉴 각각에 대응되는 가중치를 획득하는 단계는,
    상기 적어도 하나의 메뉴에 대한 정보에 기초하여 선택된 메뉴를 식별하고,
    상기 복수의 메뉴 중 상기 선택된 메뉴와 동일한 메뉴에 제1 서브 가중치를 할당하고,
    상기 복수의 메뉴 중 상기 선택된 메뉴와 유사한 메뉴에 제2 서브 가중치를 할당하고,
    상기 제1 서브 가중치 및 상기 제2 서브 가중치를 합산하여 상기 복수의 메뉴 각각에 대응되는 가중치를 획득하는, 제어 방법.
PCT/KR2022/014342 2022-01-10 2022-09-26 전자 장치 및 그 제어 방법 Ceased WO2023132438A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280071928.1A CN118176478A (zh) 2022-01-10 2022-09-26 电子装置及其控制方法
EP22918975.8A EP4369162A4 (en) 2022-01-10 2022-09-26 ELECTRONIC DEVICE AND ITS CONTROL METHOD
US17/984,076 US12216883B2 (en) 2022-01-10 2022-11-09 Electronic apparatus and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220003454A KR20230108090A (ko) 2022-01-10 2022-01-10 전자 장치 및 그 제어 방법
KR10-2022-0003454 2022-01-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/984,076 Continuation US12216883B2 (en) 2022-01-10 2022-11-09 Electronic apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2023132438A1 true WO2023132438A1 (ko) 2023-07-13

Family

ID=87073886

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014342 Ceased WO2023132438A1 (ko) 2022-01-10 2022-09-26 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20230108090A (ko)
WO (1) WO2023132438A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250104842A (ko) * 2023-12-29 2025-07-08 삼성전자주식회사 추천 메뉴를 제공하는 방법 및 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132868A (ko) * 2009-06-10 2010-12-20 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
KR20190064042A (ko) * 2017-11-30 2019-06-10 삼성에스디에스 주식회사 상황 인식 기반 추천 방법 및 그 장치
KR20200104592A (ko) * 2019-02-27 2020-09-04 주식회사 포트럭테이블 큐레이션엔진을 이용한 추천음식콘텐츠 미디어 제공시스템
KR102242648B1 (ko) * 2019-11-06 2021-04-21 (주)코로닉스 인공지능 복합조리시스템
KR20210073512A (ko) * 2018-07-17 2021-06-18 메쏘디컬 마인드, 엘엘씨. 그래픽 사용자 인터페이스 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132868A (ko) * 2009-06-10 2010-12-20 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
KR20190064042A (ko) * 2017-11-30 2019-06-10 삼성에스디에스 주식회사 상황 인식 기반 추천 방법 및 그 장치
KR20210073512A (ko) * 2018-07-17 2021-06-18 메쏘디컬 마인드, 엘엘씨. 그래픽 사용자 인터페이스 시스템
KR20200104592A (ko) * 2019-02-27 2020-09-04 주식회사 포트럭테이블 큐레이션엔진을 이용한 추천음식콘텐츠 미디어 제공시스템
KR102242648B1 (ko) * 2019-11-06 2021-04-21 (주)코로닉스 인공지능 복합조리시스템

Also Published As

Publication number Publication date
KR20230108090A (ko) 2023-07-18

Similar Documents

Publication Publication Date Title
WO2016048102A1 (en) Image display method performed by device including switchable mirror and the device
WO2016108660A1 (en) Method and device for controlling home device
WO2014088342A1 (en) Display device and method of controlling the same
WO2015016628A1 (en) Method and apparatus for displaying application
WO2016137167A1 (en) Terminal
EP3198376A1 (en) Image display method performed by device including switchable mirror and the device
WO2019168380A1 (en) Electronic device
WO2021029529A1 (ko) 가상 피팅 제공 장치 및 그 제공 방법
WO2016190458A1 (ko) Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
WO2017095033A1 (ko) 마찰음을 이용하는 장치 및 방법
WO2016143962A1 (en) Terminal and operating method thereof
WO2016068578A1 (en) Method for controlling operation of electronic device and electronic device using the same
WO2016064132A1 (en) Wearable device and method of transmitting content
WO2015030445A1 (en) Method and apparatus for executing application using multiple input tools on touchscreen device
WO2017039125A1 (en) Electronic device and operating method of the same
WO2022065641A1 (ko) 조리 장치 및 그 제어 방법
WO2017034180A1 (ko) 애플리케이션 리스트를 제공하는 시스템 및 그 방법
WO2020017827A1 (ko) 전자 장치, 및 전자 장치의 제어 방법
WO2019203421A1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2020045858A1 (en) Electronic apparatus and method of controlling the same
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
WO2019066133A1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
WO2018034491A1 (en) A primary device, an accessory device, and methods for processing operations on the primary device and the accessory device
WO2023132438A1 (ko) 전자 장치 및 그 제어 방법
WO2020022571A1 (ko) 스마트 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22918975

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022918975

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022918975

Country of ref document: EP

Effective date: 20240208

WWE Wipo information: entry into national phase

Ref document number: 202280071928.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE