WO2023121041A1 - 외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법 - Google Patents

외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2023121041A1
WO2023121041A1 PCT/KR2022/019354 KR2022019354W WO2023121041A1 WO 2023121041 A1 WO2023121041 A1 WO 2023121041A1 KR 2022019354 W KR2022019354 W KR 2022019354W WO 2023121041 A1 WO2023121041 A1 WO 2023121041A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
external electronic
function
set button
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/019354
Other languages
English (en)
French (fr)
Inventor
명인식
문춘경
백지인
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220008102A external-priority patent/KR20230097919A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP22911674.4A priority Critical patent/EP4362398A4/en
Priority to US18/083,979 priority patent/US12596340B2/en
Publication of WO2023121041A1 publication Critical patent/WO2023121041A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • An embodiment relates to an electronic device for controlling an external electronic device and a control method thereof.
  • the Internet of Things refers to the connection of objects with a communication function to a network, and is widely used in real life.
  • a smart TV can be controlled with a remote control to control home appliances such as air conditioners, air purifiers, and robot vacuum cleaners that are connected to the same account as the smart TV.
  • home appliances such as air conditioners, air purifiers, and robot vacuum cleaners that are connected to the same account as the smart TV.
  • a specific embodiment relates to an electronic device and/or a control method thereof capable of intuitively controlling other nearby home appliances without interfering with content viewing.
  • an electronic device includes at least one communication circuit, a display, a memory, and at least one processor, and the at least one processor detects an external electronic device through the at least one communication circuit, Function information on the external electronic device is obtained, and based on the function information on the external electronic device, a plurality of functions of the external electronic device mapped to one set button included in a remote control communicating with the electronic device.
  • a method for controlling an electronic device includes, when an external electronic device is detected through at least one communication circuit, obtaining function information about the external electronic device, based on the function information about the external electronic device. , Obtaining an order of a plurality of functions of the external electronic device mapped to one set button included in a remote control communicating with the electronic device, controlling the external electronic device through the one set button of the remote control When a signal corresponding to the operation of controlling the display to display a user interface (user interface) representing a part of the display and the operation of the one set button of the remote control is received, based on the order of the plurality of functions and transmitting an execution command for the first function mapped to the one set button to the external electronic device through the at least one communication circuit.
  • a user interface user interface
  • An electronic device can be controlled through one set button included in a remote control without a user intentionally performing an operation such as executing a menu for controlling an external electronic device around the electronic device, and display Interference with content viewing may be minimized or reduced while displaying a user interface related to the control of an external electronic device on a part of the region.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to an embodiment.
  • FIG. 2 is a diagram for explaining a communication connection form of an electronic device according to an embodiment.
  • FIG. 3 is a flowchart illustrating an operation of controlling an external electronic device of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a diagram for explaining an operation of determining whether to control an external electronic device when an external electronic device is detected around the electronic device according to an embodiment.
  • FIG. 5 is a diagram for explaining an operation of determining a control target when a plurality of external electronic devices are detected around an electronic device according to an exemplary embodiment.
  • 6A is a diagram for explaining an operation of determining a control target when a plurality of external electronic devices are detected around an electronic device according to an exemplary embodiment.
  • 6B is a diagram for explaining an operation of determining a control target when a plurality of external electronic devices are detected around the electronic device according to an exemplary embodiment.
  • FIG. 7A is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • 7B is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • FIG. 8 is a diagram for explaining function information of an external electronic device acquired by an electronic device according to an exemplary embodiment.
  • 9A is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • 9B is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • 9C is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • FIG. 10 is a diagram for explaining a user interface related to control of an external electronic device displayed on a partial area of a display of an electronic device according to an exemplary embodiment.
  • FIG. 11 is a diagram for explaining a user interface that is changed according to control of an external electronic device of an electronic device according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating an operation of displaying a user interface related to controlling an external electronic device of an electronic device according to an exemplary embodiment.
  • FIG. 13 is a diagram for explaining an operation of controlling an external electronic device through one set button of a remote controller connected to the electronic device according to an embodiment.
  • FIG. 14 is a diagram for explaining an operation of controlling an external electronic device and changing a user interface through one set button of a remote control connected to the electronic device according to an embodiment.
  • 15A is a diagram for explaining an operation of displaying a user interface while displaying content of an electronic device according to an embodiment.
  • 15B is a diagram for explaining an operation of displaying a user interface while displaying content of an electronic device according to an embodiment.
  • 16A is a diagram for explaining an operation of displaying a user interface while content is not displayed in an electronic device according to an exemplary embodiment.
  • 16B is a diagram for explaining an operation of displaying a user interface while content is not displayed in an electronic device according to an exemplary embodiment.
  • 16C is a diagram for explaining an operation of displaying a user interface while content is not displayed in an electronic device according to an exemplary embodiment.
  • 17 is a diagram for explaining a location where a user interface is displayed based on a location of an external electronic device relative to an electronic device according to an exemplary embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to an embodiment.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , process commands or data stored in volatile memory 132 , and store resulting data in non-volatile memory 134 (including external memory 138 and/or internal memory 136).
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , process commands or data stored in volatile memory 132 , and store resulting data in non-volatile memory 134 (including external memory 138 and/or internal memory 136).
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 including at least one sensor detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and responds to the detected state. It can generate electrical signals or data values.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 including a communication circuit is a direct (eg, wired) communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Alternatively, it may support establishing a wireless communication channel and performing communication through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 including communication circuitry may support a 5G network after a 4G network and a next-generation communication technology, such as NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 including at least one antenna may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram for explaining a communication connection form of an electronic device according to an embodiment.
  • an electronic device 101 (eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG. 1 ) includes at least one communication circuit (eg, the communication module 190 of FIG. 1 ). Through this, it is possible to communicate with the server 108 (eg, the server 108 of FIG. 1 ) and the external electronic device 104 (eg, the electronic device 104 of FIG. 1 ).
  • electronic device 101 may connect server 108 and a long-distance wireless communications network (eg, Wi-Fi, legacy cellular networks, 5G networks, next-generation communications networks, the Internet, or a computer network (eg, LAN or WAN)).
  • a long-distance wireless communications network eg, Wi-Fi, legacy cellular networks, 5G networks, next-generation communications networks, the Internet, or a computer network (eg, LAN or WAN)
  • the electronic device 101 may be a fixed or movable smart TV
  • the external electronic device 104 may be a fixed or movable home appliance (eg, an air purifier, an air conditioner, a robot vacuum cleaner, a washing machine, a refrigerator).
  • a short-range wireless communication network eg, Bluetooth, wireless fidelity (WiFi) direct, ultra wide band (UWB), or infrared data association (IrDA)
  • the electronic device 101 may be a fixed or movable smart TV
  • the external electronic device 104 may be a fixed or movable home appliance (eg, an air purifier, an air conditioner, a robot vacuum cleaner, a washing machine, a refrigerator).
  • the electronic device 101 may measure a mutual distance and a relative direction with the external electronic device 104 through short-range wireless network communication.
  • the electronic device 101 may receive information about the external electronic device 104 from the server 108 .
  • the server 108 may store device names, model names, installation locations, remote controllable function lists, and/or connection status information of the connected electronic device 101 and the external electronic device 104. , The server 108 may transmit part of information about the external electronic device 104 among the stored information to the electronic device 101 based on a request of the electronic device 101 .
  • the external electronic device 104 may communicate with the server 108 through a long-distance wireless communication network.
  • the external electronic device 104 connectable to the electronic device 101 may be registered with the server 108 with the same account and connected directly or indirectly.
  • one external electronic device 104 is shown in FIG. 2 , two or more external electronic devices may be provided.
  • the electronic device 101 controls the remote control based on information on the external electronic device 104 received from the server 108 and/or information on the external electronic device 104 stored in the electronic device 101.
  • 102 e.g., the electronic device 102 of FIG. 1 in a circular manner (or A sequence of a plurality of functions of the external electronic device 104 mapped in a toggle manner) may be obtained.
  • the electronic device 101 displays a user interface indicating that the external electronic device 104 can be controlled using the remote controller 102 (eg, a part of the display module 160 of FIG. 1). area can be displayed.
  • the electronic device 101 may communicate with the remote control 102 through short-range wireless communication such as Bluetooth or infrared communication, and control the electronic device 101 through a signal received from the remote control 102.
  • short-range wireless communication such as Bluetooth or infrared communication
  • a control command for controlling the external electronic device 104 may be transmitted.
  • the electronic device 101 when the electronic device 101 receives a signal corresponding to the operation of one set button of the remote control 102, the command for executing the function of the external electronic device 104 mapped directly or to the server ( 108) to the external electronic device 104.
  • a function mapped to one set button of the remote control 102 is changed based on the type of the external electronic device 104 and a function executed by manipulating one set button of the remote control 102.
  • the electronic device 101 provides information related to the function mapped to one set button of the remote control 102 included in the user interface. can also be changed.
  • FIG. 3 is a flowchart illustrating an operation of controlling an external electronic device of an electronic device according to an exemplary embodiment.
  • an electronic device detects an external electronic device (eg, the electronic device 104 of FIG. 1 ) If so, function information on the external electronic device may be acquired.
  • the electronic device may detect the external electronic device as the electronic device or the external electronic device moves, the electronic device may be powered on, or controlled by a remote control (eg, the electronic device 102 of FIG. 1 ).
  • the electronic device may detect the external electronic device as a signal corresponding to the user manipulating one set button of the remote control in a set manner (eg, long press) in a state where the control target device is not selected is received.
  • the electronic device obtains function information about an external electronic device from a server (eg, the server 108 of FIG. 1) through at least one communication circuit (eg, the communication module 190 of FIG. 1). can do.
  • a server eg, the server 108 of FIG. 1
  • at least one communication circuit eg, the communication module 190 of FIG. 1.
  • the electronic device may obtain function information about an external electronic device stored in a memory (eg, the memory 130 of FIG. 1 ).
  • the function information on the external electronic device may include a device name, model name, installation location, remote controllable function list, and/or connection status information of the external electronic device. may be obtained from memory.
  • the electronic device may obtain the order of the plurality of external electronic devices mapped to one set button of the remote controller.
  • the electronic device displays a user interface including information related to a sequence of a plurality of external electronic devices and information related to an external electronic device mapped to a set button of a remote control among the plurality of external electronic devices, on a partial area of the display. can be displayed
  • the electronic device determines a control target device controlled by one set button of the remote control based on a sequence of a plurality of external electronic devices.
  • a signal corresponding to an operation of one set button of the remote control is received, the electronic device determines a control target device controlled by one set button of the remote control based on a sequence of a plurality of external electronic devices.
  • the electronic device may determine the nearest external electronic device as a control target.
  • the electronic device controls the second external electronic device as a remote control.
  • a message confirming whether or not to control may be displayed on the display. For example, after displaying a message confirming whether to control the second external electronic device with the remote control, the electronic device controls the first external electronic device or the second external electronic device with the remote control based on a signal received from the remote control. It can be identified as an external electronic device to be used.
  • the electronic device sets a sequence of a plurality of functions of the external electronic device mapped to one set button included in a remote control communicating with the electronic device based on function information of the external electronic device.
  • the plurality of functions include a function of turning on the power of an external electronic device and a function of turning off the power of the external electronic device, and a set number of functions included in function information about the external electronic device. It can contain higher functions.
  • the electronic device may acquire the order of the plurality of functions of the external electronic device in the order of a function of turning on the power of the external electronic device, a plurality of functions of the external electronic device, and a function of turning off the power of the external electronic device;
  • the function of turning off the power of the external electronic device The sequence of a plurality of functions of the external electronic device may be obtained such that the following sequence is a function of turning on the power of the external electronic device in a circular manner.
  • a plurality of functions are sequentially changed by manipulating one set button of the remote control, but the functions may be controlled through the up and down buttons of the remote control according to the function.
  • FIGS. 7A, 7B, 9A, to 9C A sequence of a plurality of functions according to an embodiment will be described below with reference to FIGS. 7A, 7B, 9A, to 9C.
  • the electronic device displays a user interface (eg, a simple control card or a pop-up card) indicating that the external electronic device can be controlled through one set button of the remote controller in a partial area of the display. can be displayed on a user interface (eg, a simple control card or a pop-up card) indicating that the external electronic device can be controlled through one set button of the remote controller in a partial area of the display. can be displayed on a user interface (eg, a simple control card or a pop-up card) indicating that the external electronic device can be controlled through one set button of the remote controller in a partial area of the display. can be displayed on a user interface (eg, a simple control card or a pop-up card) indicating that the external electronic device can be controlled through one set button of the remote controller in a partial area of the display. can be displayed on a user interface (eg, a simple control card or a pop-up card) indicating that the external electronic device can be controlled through one set button of the remote controller in a
  • the user interface may include information about the order of a plurality of functions and information about functions being executed in the external electronic device. According to an embodiment, a description of the user interface will be described below with reference to FIG. 10 .
  • the electronic device may display a user interface on a partial area of the display related to the position of the external electronic device relative to the electronic device.
  • the electronic device may display the user interface on an edge area of the display including a line connecting a central location of the electronic device and a location of an external electronic device.
  • a location of a user interface according to an embodiment will be described below with reference to FIG. 17 .
  • the electronic device determines whether to control the external electronic device with one set button of a remote controller (eg, the electronic device 102 of FIG. 1 ).
  • a message for confirmation may be displayed on a partial area of the display (eg, the display module 160 of FIG. 1 ).
  • a user interface may be displayed on a partial area of the display.
  • a message confirming whether to control the external electronic device with one set button of the remote control will be described with reference to FIG. 4 .
  • operation 340 when a signal corresponding to manipulation of one set button of the remote control is received, the electronic device executes a first function mapped to one set button based on a sequence of a plurality of functions.
  • a command may be transmitted to an external electronic device.
  • the electronic device when a signal corresponding to manipulation of one set button of a remote controller is received, the electronic device transmits an execution command for a first function mapped to one set button to an external electronic device directly or through a server.
  • the electronic device when an execution command for a first function of an external electronic device is transmitted through a server, the electronic device causes the server to transmit an execution command for the first function to the external electronic device.
  • the server may be transmitted to the server through at least one communication circuit.
  • the electronic device may display on the user interface that the external electronic device is executing the first function, based on receiving a signal corresponding to manipulation of one set button of the remote controller.
  • an operation of changing the user interface based on the reception of a signal corresponding to manipulation of one set button of the remote controller will be described with reference to FIGS. 11 and 14 .
  • the electronic device after receiving a signal corresponding to manipulation of one set button of the remote control, assigns the set button of the remote control a second function, which is the next function of the first function, based on a sequence of a plurality of functions. Functions can be mapped.
  • the electronic device may transmit an execution command for a set function of the external electronic device to the external electronic device directly or through a server.
  • the electronic device is assigned to a function of turning off the power of the external electronic device regardless of the order of a plurality of functions of the external electronic device.
  • An execution command may be transmitted to an external electronic device directly or through a server.
  • the electronic device may delete the user interface displayed on the display.
  • FIG. 4 is a diagram for explaining an operation of determining whether to control an external electronic device when an external electronic device is detected around the electronic device according to an embodiment.
  • an electronic device 101 communicates with a remote controller 102 (eg, the electronic device 102 of FIG. 1 ).
  • a remote controller 102 eg, the electronic device 102 of FIG. 1
  • the electronic device 101 and the remote controller 102 may transmit and receive communication signals (eg, Bluetooth signals, wi-fi signals, and infrared communication signals) within the control area 410 .
  • Each processor of this disclosure includes processing circuitry.
  • the electronic device 101 may transmit and receive a communication signal (eg, a UWB signal, a Bluetooth signal, a wi-fi signal) with the external electronic device 104, and the external electronic device It can be checked whether 104 is located within the control area 410 . For example, as the electronic device 101 is moved or the external electronic device 104 is moved, the location of the external electronic device 104 within the control area 410 is detected, or the electronic device 101 and the external electronic device 104 are moved. Even if the device 104 does not move, when the power of the electronic device 101 is turned on, the location of the external electronic device 104 within the control area 410 may be detected.
  • a communication signal eg, a UWB signal, a Bluetooth signal, a wi-fi signal
  • the electronic device 101 controls the external electronic device 104.
  • a message 420 confirming whether to operate with the remote controller 102 may be displayed on a partial area of the display (eg, the display module 160 of FIG. 1 ).
  • the electronic device 101 when the electronic device 101 receives a signal for operating the external electronic device 104 with the remote control 102 from the remote controller 102 after displaying the message 420, the electronic device 101 operates the external electronic device 104. It is identified as a control target and function information of the external electronic device 104 is obtained through a memory (eg, memory 130 in FIG. 1) and/or a server (eg, server 108 in FIG. 1), and the remote controller 102 ), a user interface indicating that the external electronic device 104 can be controlled may be displayed on a partial area of the display.
  • a memory eg, memory 130 in FIG. 1
  • a server eg, server 108 in FIG. 1
  • FIG. 5 is a diagram for explaining an operation of determining a control target when a plurality of external electronic devices are detected around an electronic device according to an exemplary embodiment.
  • FIG. 5 illustrates a case where a second external electronic device enters a control area in a state in which the external electronic device can be controlled with a remote controller as shown in FIG. 4 .
  • an electronic device 101 (eg, the electronic device 101 of FIG. 1 ) is placed in a control area 410 using a remote controller 102 (eg, the electronic device 102 of FIG. 1 ).
  • the second external electronic device 510 (eg, the electronic device 104 of FIG. 1) is in the control area.
  • the user interface 520 related to the control of the second external electronic device 510 may be displayed on a partial area of the display (eg, the display module 160 of FIG. 1).
  • the electronic device 101 when the second external electronic device 510 newly enters the control area 410, the electronic device 101 obtains information about the second external electronic device 510 and uses the remote controller 102 A user indicating that a sequence of a plurality of functions of the second external electronic device 510 that can be executed using one set button of is acquired and the second external electronic device 510 can be controlled with the remote control 102
  • the interface 520 may be displayed on a partial area of the display.
  • the electronic device 101 determines whether to control the second external electronic device 510 with the remote controller 102. After displaying a confirmation message, if a user input for controlling the second external electronic device 510 with the remote control 102 is received, it indicates that the second external electronic device 510 can be controlled with the remote control 102.
  • the indicated user interface 520 may be displayed on a partial area of the display.
  • FIG 5 shows that the second external electronic device 510 moves and enters the control area 410, but according to an embodiment, when the electronic device 101 is moved or the electronic device 101 is powered off. When turned on, the external electronic device 104 and the second external electronic device 510 may be detected.
  • the electronic device 101 detects a new second external electronic device 510 while a plurality of electronic devices are detected or one external electronic device 104 is controlled through the remote controller 102. If so, the order of the plurality of external electronic devices 104 and 510 mapped to one set button of the remote controller 102 can be obtained.
  • the electronic device 101 when a signal corresponding to an operation of one set button of the remote control 102 is received, the electronic device 101 performs the remote control 102 based on the order of the plurality of external electronic devices 104 and 510. ), it is possible to check the control target device controlled by one set button.
  • an operation of manipulating one set button of the remote control 102 to check a control target device to be controlled with one set button of the remote control 102 will be described with reference to FIGS. 6A and 6B below. do.
  • 6A is a diagram for explaining an operation of determining a control target when a plurality of external electronic devices are detected around an electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG. 1 .
  • detects a plurality of external electronic devices eg, the electronic device 104 of FIG. 1
  • An order of a plurality of external electronic devices mapped to one set button of a remote controller eg, the electronic device 102 of FIG. 1
  • the electronic device may acquire the order of the plurality of external electronic devices as shown in FIG. 6B based on the sensed distances to the plurality of external electronic devices or priorities of the plurality of external electronic devices.
  • 6B is a diagram for explaining an operation of determining a control target when a plurality of external electronic devices are detected around the electronic device according to an exemplary embodiment.
  • the electronic device may acquire the order of the plurality of external electronic devices based on the sensed distances to the plurality of external electronic devices or priorities of the plurality of external electronic devices. For example, the electronic device may acquire the order of a plurality of external electronic devices in the order of selection process description, air conditioner, air purifier, robot cleaner, and selection off.
  • the number, type, and order of external electronic devices shown in FIG. 6B are merely examples and are not limited thereto.
  • the electronic device has a user interface (eg, the electronic device 102 of FIG. 1 ) describing a process of selecting a control target device to be controlled using one set button of the remote controller (eg, the electronic device 102 of FIG. 1 ). 610) may be displayed on a partial area of a display (eg, the display module 160 of FIG. 1).
  • a user interface 610 describing a process of selecting a control target device to be controlled is displayed, the first external electronic device in the order of a plurality of external electronic devices is mapped to one set button of the remote control. It can be.
  • a user interface 610 describing a process of selecting a control target device when a signal corresponding to an operation of one set button of the remote control is received from the remote control, the electronic device receives a plurality of external devices. Based on the order of the electronic devices, a user interface 620 displaying an external electronic device to be controlled with one set button of the remote control may be displayed on a partial area of the display. For example, referring to the sequence of the plurality of external electronic devices shown in FIG. 6B, when a signal corresponding to manipulation of one set button of the remote control is received from the remote control, the electronic device is controlled by one set button of the remote control. A user interface 620 indicating that the external electronic device is an air conditioner may be displayed.
  • the electronic device may identify an external electronic device included in the user interface 620 as a control target device.
  • the electronic device may change a user interface to include information related to functions of the identified controlling device.
  • the electronic device may display a user interface including information related to the function of the identified controlling device on a partial area of the display based on the location of the identified controlling device with respect to the electronic device.
  • the electronic device in a state in which the user interface 620 including that an external electronic device to be controlled by one set button of the remote control is an air conditioner is displayed, the electronic device sends a signal corresponding to an operation of one set button of the remote control to the remote control.
  • the user interface may be changed to include that the external electronic device to be controlled with one set button of the remote control is an air purifier.
  • FIG. 7A is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG. 1 transmits acquired function information of an external electronic device (eg, the electronic device 104 of FIG. 1 ). Based on this, it is possible to obtain the order of a plurality of functions of an external electronic device to be controlled using one set button of a remote controller (eg, the electronic device 102 of FIG. 1 ).
  • the sequence of the plurality of functions of the external electronic device includes a function of turning on the external electronic device and a function of turning off the external electronic device, and between the function of turning on the external electronic device and the function of turning off the external electronic device, the external electronic device A plurality of functions may be included in sequence.
  • the order of a plurality of functions may be acquired to be changed to the order of a function for turning off the power of an external electronic device.
  • the electronic device may cyclically acquire the order of a plurality of functions so that the next function after the function of turning off the power of the external electronic device is the function of turning on the power of the external electronic device.
  • the electronic device responds to a set operation (eg, long press) of one set button of the remote control, regardless of which function is mapped to one set button of the remote control in the order of a plurality of functions.
  • a set operation eg, long press
  • an execution command of a set function may be transmitted to the external electronic device directly or through a server (eg, the server 108 of FIG. 1 ).
  • 7B is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • the external electronic device controls through up/down of numbers.
  • a function 710 eg, temperature control
  • the electronic device may execute an operation to change a number.
  • the currently executing function 710 is terminated. and can perform the following functions:
  • a plurality of functions of the external electronic device shown in FIGS. 7A and 7B may be obtained based on function information of the external electronic device shown in FIG. 8 .
  • FIG. 8 is a diagram for explaining function information of an external electronic device acquired by an electronic device according to an exemplary embodiment.
  • function information of an air purifier may be received.
  • capability information of an external electronic device may be "device name + mode" under a capabilities item of a component item of a device profile item.
  • function information of the air purifier may be “airPurifierFan+Mode”.
  • an electronic device eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG. 1
  • An order of a plurality of functions of the external electronic device may be obtained based on .
  • the electronic device may acquire the order of the set number of functions by prioritizing a priority set by a manufacturer or a function frequently used by a user.
  • the electronic device arranges a function of turning on an external electronic device at the beginning of a sequence of a plurality of functions, and a function of turning off the external electronic device at the end, and the function of the external electronic device acquired in the sequence of functions therebetween. It can be obtained based on information.
  • FIG. 9A is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • FIG. 9A illustrates a sequence of functions including only an on/off function of an external electronic device.
  • an external electronic device eg, the electronic device 104 of FIG. 1
  • the electronic device eg, the electronic device 104 of FIG. 1 or the electronic device 104 of FIG. 1 .
  • the processor 120 whenever a set button of the remote control (eg, the electronic device 102 of FIG. 1 ) is pressed, a function mapped to a set button of the remote control turns on the power of the external electronic device, an external
  • the order of a plurality of functions may be acquired to be changed to the order of turning off the power of the electronic device.
  • the electronic device may cyclically acquire the order of a plurality of functions so that the next function after the function of turning off the power of the external electronic device is the function of turning on the power of the external electronic device.
  • FIG. 9B is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an exemplary embodiment.
  • FIG. 9B illustrates a function sequence 910 including an on/off function of an external electronic device and a function not including numerical control.
  • the function of an external electronic device is a function of turning on/off the power and a function that does not include numerical control (eg, smart, strong wind, weak wind, When only light wind and no wind (sleeping) are included, the electronic device (eg, the electronic device of FIG. 1 or the processor 120 of FIG. 1 ) performs a main function (eg, smart, strong wind, no wind) among functions of an external electronic device.
  • a main function eg, smart, strong wind, no wind
  • a function mapped to a set button of the remote control turns on the power of the external electronic device.
  • the order of the plurality of functions may be acquired to be changed in the order of the function, the smart function, the strong wind function, the windless function, and the function of turning off the power of the external electronic device.
  • the electronic device may cyclically acquire the order of a plurality of functions so that the next function after the function of turning off the power of the external electronic device is the function of turning on the power of the external electronic device.
  • FIG. 9C is a diagram for explaining a sequence of a plurality of functions of an external electronic device according to an embodiment of the present disclosure.
  • FIG. 9C illustrates a sequence 920 of functions including an on/off function of an external electronic device, a function not including number control, and a function 921 including number control.
  • the function of an external electronic device such as an air conditioner is a function of turning on/off the power, a function that does not include numerical control (eg, dehumidification, ventilation, automatic, no wind, tropical night, off reservation) and function 921) with numerical control (eg cooling),
  • the electronic device eg electronic device in FIG. 1 and/or processor 120 in FIG. 1
  • the main functions eg, cooling, dehumidification, and ventilation of the 920
  • a function mapped to a set button of the remote control turns on the power of the external electronic device.
  • the order of a plurality of functions may be obtained so that they are changed in the order of a function, a cooling function 921, a dehumidifying function, a blowing function, and a function of turning off the power of an external electronic device.
  • the electronic device may cyclically acquire the order of a plurality of functions so that the next function after the function of turning off the power of the external electronic device is the function of turning on the power of the external electronic device.
  • an external electronic device when an external electronic device performs a numerically adjustable cooling function 921 and a signal corresponding to an operation of an up button or a down button of a remote controller is received, the electronic device responds to the cooling temperature.
  • the number can be raised or lowered to correspond to the received signal.
  • FIG. 10 is a diagram for explaining a user interface related to control of an external electronic device displayed on a partial area of a display of an electronic device according to an exemplary embodiment.
  • FIG. 10 may be displayed on a partial area of a display (eg, the display module 160 of FIG. 1 including the display) on which content is being displayed.
  • the user interface may include a status icon representing a state of an external electronic device, a device location, a device name, and information 1010 related to a sequence of a plurality of functions of the external electronic device.
  • a status icon representing a state of an external electronic device
  • a device location representing a state of an external electronic device
  • a device name representing a device that is a device that is a device that is adjusting numbers
  • information 1010 related to a sequence of a plurality of functions of the external electronic device.
  • numerical information may be further displayed.
  • the information 1010 related to the order of a plurality of functions of an external electronic device may be related to the number of functions that can be executed using one set button of a remote control (eg, the electronic device 102 of FIG. 1 ). information about the function being executed by the external electronic device, information about the function being executed by the external electronic device, and information about the location of the function being executed by the external electronic device among the order of a plurality of functions.
  • FIG. 11 is a diagram for explaining a user interface that is changed according to control of an external electronic device of an electronic device according to an exemplary embodiment.
  • FIG. 11 illustrates a case where the external electronic device is an air purifier.
  • an electronic device corresponds to an operation of one set button of a remote controller (eg, the electronic device 102 of FIG. 1 ).
  • a user interface shown in a partial area of a display eg, the display module 160 of FIG. 1 ) may be changed.
  • the external electronic device performs a smart function, strong wind function, windless function, or sleep function for the displayed user interface. can be changed sequentially.
  • FIG. 12 is a flowchart illustrating an operation of displaying a user interface related to controlling an external electronic device of an electronic device according to an exemplary embodiment.
  • the external electronic device 104 may register information with the server 108 (eg, the server 108 of FIG. 1). there is.
  • the external electronic device 104 may register information about the device name, model name, installation location, remote controllable function list, and/or connection status with the server 108 .
  • the server 108 may process registration of the external electronic device 104.
  • the server 108 may store device profile-based capability information of the external electronic device 104 .
  • the capability information may include function information of the external electronic device 104 .
  • the external electronic device 104 may transmit a communication signal and information to the electronic device 101 (eg, the electronic device 101 of FIG. 1).
  • the electronic device 101 may collect communication signals and information.
  • the electronic device 101 may receive communication signals and information from a peripheral device (eg, an external electronic device 104) or a remote control (eg, the electronic device 102 of FIG. 1).
  • the electronic device 101 may receive the communication signal and information transmitted by the external electronic device 104 in operation 1203 .
  • the electronic device 101 may check whether there is an external electronic device to be newly displayed. For example, the electronic device 101 controls the external electronic device 104 based on the strength of the collected communication signal (eg, a UWB signal, a Bluetooth signal, or a wi-fi signal) in a control area (eg, a control area of FIG. 4 ). (410)), it is possible to check whether it is located within. For example, the electronic device 101 may detect the external electronic device 104 based on the strength of a communication signal received from the external electronic device 104 .
  • the collected communication signal eg, a UWB signal, a Bluetooth signal, or a wi-fi signal
  • the electronic device 101 when there is no external electronic device to be newly displayed (Operation 1205 - No), the electronic device 101 returns to Operation 1204 to collect communication signals and information. For example, when the communication signal received from the external electronic device 104 is less than a set value, the electronic device 101 determines that the external electronic device 104 is not located within the control area, and the external electronic device 104 ) is not subject to control.
  • the electronic device 101 may read registration information in operation 1206.
  • the electronic device 101 may request registration information from the server 108 to read registration information.
  • the server 108 may request status information of the external electronic device 104.
  • the state information of the external electronic device 104 may include information about functions being executed by the external electronic device 104 .
  • the external electronic device 104 may transmit status information to the server 108.
  • the server 108 may transmit registration information stored in the server 108 and status information received from the external electronic device 104 to the electronic device 101.
  • the electronic device 101 may configure a user interface according to registration information.
  • the electronic device 101 uses one set button of a remote control (eg, the electronic device 102 of FIG. 1 ) based on the function information of the external electronic device 104 included in the registration information in order. It is possible to obtain the order of a plurality of functions to be performed as is.
  • the electronic device 101 may configure a user interface including a sequence of a plurality of functions.
  • the electronic device 101 may further include information on a function being executed by the external electronic device 104 in a user interface based on state information of the external electronic device 104 .
  • the electronic device 101 may map a function to one set button of the remote control based on the order of a plurality of functions and state information of the external electronic device 104 . For example, based on state information of the external electronic device 104, the electronic device 101 assigns a function following a function being executed by the external electronic device 104 to one set button of the remote control in order of a plurality of functions. can be mapped.
  • the electronic device 101 may display the user interface of the external electronic device 104 on a screen (eg, the display module 160 of FIG. 1) according to the direction.
  • FIG. 13 is a diagram for explaining an operation of controlling an external electronic device through one set button of a remote controller directly or indirectly connected to the electronic device according to an embodiment.
  • FIG. 13 illustrates an operation after a user interface is displayed on a partial area of a display (eg, the display module 160 of FIG. 1 ) through the process of FIG. 12 .
  • the electronic device 101 may collect communication signals and information.
  • the electronic device 101 receives a communication signal from a peripheral device (eg, an external electronic device 104 (eg, the electronic device 104 in FIG. 1) or a remote control (eg, the electronic device 102 in FIG. 1)). and receive information.
  • a peripheral device eg, an external electronic device 104 (eg, the electronic device 104 in FIG. 1) or a remote control (eg, the electronic device 102 in FIG. 1).
  • the electronic device 101 may check whether an input is provided to the remote control button. For example, the electronic device 101 may check whether a signal corresponding to manipulation of one set button of the remote controller is received.
  • the electronic device 101 when a signal corresponding to manipulation of one set button of the remote control is received (1302-Yes), in operation 1303, the electronic device 101 updates remote control button mapping and sends a corresponding execution command to the outside. It can be transmitted to the electronic device 104. For example, when a signal corresponding to manipulation of one set button is received from the remote control, the electronic device 101 updates a function mapped to one set button of the remote control to the next function based on a sequence of a plurality of functions, and , an execution command may be transmitted to the external electronic device 104 so that the external electronic device 104 executes the function mapped to the signal.
  • the electronic device 101 may transmit an execution command processing request to the server 108.
  • the electronic device 101 may request the server 108 to process an execution command obtained based on a signal received from a remote controller.
  • the server 108 may transmit the execution command processing request received from the electronic device 101 to the external electronic device 104.
  • the server 108 may transmit an execution command for executing a function of the external electronic device 104 to the external electronic device 104 .
  • the external electronic device 104 may execute a function corresponding to the execution command and transmit status information including a function being executed by the external electronic device 104 to the server 108. there is.
  • the server 108 may transmit state information of the external electronic device 104 received from the external electronic device 104 to the electronic device 101.
  • the electronic device 101 transmits an execution command to the external electronic device 104 through the server 108 and receives status information of the external electronic device 104.
  • the electronic device 101 may directly transmit an execution command to the external electronic device 104 and receive status information of the external electronic device 104 .
  • the electronic device 101 may update the display of the user interface according to the status information.
  • the electronic device 101 may update a user interface to include information about a function being executed by the external electronic device 104 .
  • the electronic device 101 may check whether an additional input is provided to the button. According to an embodiment, when a signal corresponding to manipulation of one set button of the remote control is additionally received (operation 1309-Yes), the electronic device 101 returns to operation 1303, and the external mapped to one set button of the remote control is received. An execution command is transmitted to execute a function of the electronic device, and a function of the external electronic device mapped to one set button of the remote control may be changed based on a sequence of a plurality of functions of the external electronic device.
  • the electronic device 101 may check whether a predetermined time has elapsed. .
  • the electronic device 101 when a predetermined time has not elapsed without an additional input to the button (Operation 1310 - No), the electronic device 101 returns to Operation 1309 to check whether an additional input is provided to the button.
  • the electronic device 101 when a certain amount of time elapses without additional input to the button (Operation 1310 - Yes), in Operation 1311, the electronic device 101 stores the final state of the user interface, and in Operation 1312, displays the user interface.
  • the electronic device may delete the displayed user interface.
  • the electronic device 101 may determine whether a predetermined period of time has elapsed without an input to the remote control button. there is.
  • the electronic device 101 may return to Operation 1301 and perform a communication signal and information collection operation. According to an embodiment, when a predetermined time elapses without input to the remote control button (Operation 1313 - Yes), the electronic device 101 proceeds to Operation 1311 to save the final state of the user interface and delete the user interface. .
  • FIG. 14 is a diagram for explaining an operation of controlling an external electronic device and changing a user interface through one set button of a remote control connected to the electronic device according to an embodiment.
  • the electronic device 101 transmits a control target device ID to the server 108 (eg, the server 108 of FIG. 1 ).
  • the electronic device 101 measures the strength of a communication signal (eg, a UWB signal, a Bluetooth signal, or a Wi-Fi signal) received from an external electronic device 104 (eg, the electronic device 104 of FIG. 1 ). Based on the distance to the external electronic device 104 is obtained, and when it is detected that the external electronic device 104 is located within the control area (eg, the control area 410 of FIG. 4), the remote control (eg, the electronic device 104 of FIG. 1) is detected.
  • device information of the external electronic device 104 may be transmitted to the server 108 and function information of the external electronic device 104 may be requested.
  • the server 108 may transmit profile and status information of the external electronic device 104 to the electronic device 101.
  • the profile of the external electronic device 104 includes function information of the external electronic device 104 that can be remotely controlled, and state information of the external electronic device 104 determines whether the external electronic device 104 is turned on. , whether it is off or on, it may include information about the function being performed.
  • the electronic device 101 may configure a sequence of functions.
  • the electronic device 101 may obtain an order of a plurality of functions of the external electronic device 104 based on function information of the external electronic device 104 received from the server 108 .
  • the order of a plurality of functions may include a change order of functions mapped to one set button of the remote control by manipulating one set button of the remote control connected to the electronic device 101 .
  • the order of a plurality of functions may include a function of turning on the external electronic device 104 at the beginning and a function of turning off the external electronic device 104 at the end, and one set button of the remote control includes the external electronic device 104 ) may be in a mapped state.
  • the electronic device 101 may display a user interface based on the state information of the external electronic device 104 received from the server 108 and the order of functions.
  • the user interface may indicate that the external electronic device 104 is an air conditioner located in a living room, that the external electronic device 104 has 5 functions that can be executed with a remote control, and that the external electronic device 104 is turned off. there is.
  • the electronic device 101 performs a function mapped to one set button of the remote control when a signal corresponding to manipulation of one set button (eg, extra button) of the remote control is received from the remote control.
  • a signal corresponding to manipulation of one set button (eg, extra button) of the remote control is received from the remote control.
  • the electronic device 101 sends an execution command (eg, power On command) for executing a function of turning on the external electronic device 104, which is a function mapped to one set button of the remote control, to the server. It can be transmitted to the external electronic device 104 through 108.
  • an execution command eg, power On command
  • the external electronic device 104 may execute a power-on function based on the received execution command.
  • the external electronic device 104 may transmit current state information to the electronic device 101 through the server 108.
  • the external electronic device 104 may transmit status information including that a cooling function is currently being performed and a desired temperature is 24 degrees to the electronic device 101 .
  • the electronic device 101 may change the user interface based on the state information of the external electronic device 104 received.
  • the user interface may be changed to include that the external electronic device 104 is currently in a cooling state and the desired temperature is 24 degrees.
  • operation 1410 when a signal corresponding to the operation of the down button is received from the remote control, in operation 1411, the electronic device 101 executes an operation to lower the desired temperature by 1 degree.
  • An execution command may be transmitted to the external electronic device 104 through the server 108 .
  • the external electronic device 104 may execute an operation to lower the desired temperature by 1 degree based on the received execution command.
  • the external electronic device 104 may transmit current state information to the electronic device 101 through the server 108.
  • the external electronic device 104 may transmit status information including that a cooling function is currently being performed and a desired temperature is 23 degrees to the electronic device 101 .
  • the electronic device 101 may change the user interface based on the state information of the external electronic device 104 received.
  • the user interface may be changed to include that the external electronic device 104 is currently in a cooling state and the desired temperature is 23 degrees.
  • the electronic device 101 performs a function mapped to one set button of the remote control when a signal corresponding to manipulation of one set button (eg, extra button) of the remote control is received from the remote control.
  • a signal corresponding to manipulation of one set button (eg, extra button) of the remote control is received from the remote control.
  • the electronic device 101 may transmit an execution command for executing a dehumidification function corresponding to a signal received from the remote controller to the server 108.
  • the server 108 may transmit an execution command for executing the dehumidification function to the external electronic device 104.
  • the external electronic device 104 may change the function being executed based on the received execution command. For example, the external electronic device 104 may terminate the cooling function that is being executed and execute the dehumidifying function. According to an embodiment, in operation 1419, the external electronic device 104 may transmit information about a current state in which the dehumidification function is being executed to the electronic device 101 through the server 108.
  • the electronic device 101 may change the user interface based on the state information of the external electronic device 104 received.
  • the external electronic device 104 may change the user interface to indicate that the dehumidification function is currently being executed.
  • the electronic device 101 when the electronic device 101 receives a signal corresponding to the manipulation of one set button (eg, extra button) of the remote control from the remote control, the electronic device 101 performs a function mapped to one set button of the remote control. can be mapped to the next function (e.g. power off function) based on the order of multiple functions.
  • one set button e.g. extra button
  • the electronic device 101 performs a function mapped to one set button of the remote control.
  • the next function e.g. power off function
  • the electronic device 101 may transmit an execution command for executing a blowing function corresponding to a signal received from the remote control to the server 108.
  • the server 108 may transmit an execution command for executing a blowing function to the external electronic device 104.
  • the external electronic device 104 may change the function being executed based on the received execution command. For example, the external electronic device 104 may terminate the dehumidification function being executed and execute the blowing function. According to an embodiment, in operation 1425, the external electronic device 104 may transmit information about a current state in which a blowing function is being executed to the electronic device 101 through the server 108.
  • the electronic device 101 may change the user interface based on the state information of the external electronic device 104 received.
  • the external electronic device 104 may change the user interface to indicate that a blowing function is currently being executed.
  • the electronic device 101 performs a function mapped to one set button of the remote control when a signal corresponding to manipulation of one set button (eg, extra button) of the remote control is received from the remote control.
  • a signal corresponding to manipulation of one set button (eg, extra button) of the remote control is received from the remote control.
  • the electronic device 101 may transmit an execution command for executing a power-off function corresponding to a signal received from the remote controller (eg, a power-off command) to the server 108.
  • the server 108 may transmit an execution command for executing a function of turning off the power of the external electronic device 104 to the external electronic device 104.
  • the external electronic device 104 may turn off power based on the received execution command.
  • the external electronic device 104 may transmit information about a current state in which a blowing function is being executed to the electronic device 101 through the server 108.
  • the electronic device 101 may change a user interface such as operation 1404.
  • the user interface may be changed to indicate that the power of the external electronic device 104 is currently turned off.
  • a signal corresponding to a set operation (eg, long press) of one set button (eg, extra button) of the remote control is received from the remote control
  • the electronic device 101 receives an external external Regardless of the state of the electronic device 104
  • an execution command of a set function eg, power off operation
  • the electronic device 101 maps a power-on function, which is the next function of the power-off function, to one set button of the remote control, and displays a user interface to indicate that the external electronic device 104 is off. can be changed
  • 15A is a diagram for explaining an operation of displaying a user interface while displaying content of an electronic device according to an embodiment.
  • an electronic device detects an external electronic device (eg, the electronic device 104 of FIG. 1 ) while watching content.
  • 1 displays a user interface 1510 indicating that an external electronic device can be controlled with one set button of a remote control (eg, the electronic device 102 of FIG. 1) (eg, the display module of FIG. 1 including a display) (160)) may be displayed in a partial area (eg, an edge area).
  • the user interface 1510 may include information about the type and state of the external electronic device (eg, running a smart function).
  • the electronic device may obtain an order of a plurality of functions of an external electronic device that can be controlled through one set button of a remote controller.
  • the electronic device upon receiving a signal corresponding to an operation of one set button of the remote control from the remote control, the electronic device sends an execution command of a function (eg, strong wind) mapped to one set button of the remote control to the external electronic device ( 104), and one set button of the remote control may be mapped to the next function based on the order of a plurality of functions of the external electronic device.
  • the electronic device may change the user interface to indicate that the state of the external electronic device has changed, as shown in FIG. 15B.
  • 15B is a diagram for explaining an operation of displaying a user interface while displaying content of an electronic device according to an embodiment.
  • the user interface 1510 of FIG. 15A may be changed to a user interface 1520 indicating that the strong wind function is being executed. there is.
  • the electronic device displays a user interface related to the external electronic device on a partial area of the display while content is being reproduced, thereby providing intuitive information about the control of the external electronic device while reducing interference with content viewing.
  • FIG. 16A is a diagram for explaining an operation of displaying a user interface while content is not displayed in an electronic device according to an exemplary embodiment.
  • FIG. 16A illustrates a case where the power of the electronic device is turned on, but content is not being reproduced, such as in a standby mode, magic screen, or art mode.
  • an electronic device (eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG. 1 ) operates an external electronic device (eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG.
  • an external electronic device eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG.
  • a user interface 1610 indicating that an external electronic device can be controlled with one set button of a remote control (eg, the electronic device 102 of FIG. 1) is displayed (eg, the electronic device 102 of FIG. 1).
  • the user interface 1610 may include type and state information (eg, air cleaning function being executed, air pollution level) of the external electronic device.
  • the electronic device may display state information of the external electronic device in more detail in a state in which content is not being reproduced.
  • status information of an external electronic device may be displayed in real time.
  • 16B is a diagram for explaining an operation of displaying a user interface while content is not displayed in an electronic device according to an exemplary embodiment.
  • the electronic device may change the user interface 1620 to display information related to function execution of the external electronic device in real time.
  • 16A and 16B show that a user interface related to an external electronic device is displayed on a partial area of the display. However, when content is not being reproduced, as shown in FIG. 16C , a user interface related to an external electronic device may be displayed on the entire display area.
  • 16C is a diagram for explaining an operation of displaying a user interface while content is not displayed in an electronic device according to an exemplary embodiment.
  • the electronic device may display a user interface 1630 related to the external electronic device on the entire area of the display when power is turned on, but content is not being reproduced, or when an external electronic device is detected.
  • the electronic device controls the external electronic device not only by operating one set button of the remote control but also by manipulating other buttons included in the remote control. You can control it.
  • 17 is a diagram for explaining a location where a user interface is displayed based on a location of an external electronic device relative to an electronic device according to an exemplary embodiment.
  • the electronic device 101 (eg, the electronic device 101 of FIG. 1 or the processor 120 of FIG. 1 ) external electronic devices 104-1, 104-2, and 104-3 ( Example: User interfaces 1710, 1720, and 1730 associated with external electronic devices 104-1, 104-2, and 104-3 based on the location of electronic device 104 in FIG. 1 relative to electronic device 101. You can decide where is displayed. For example, the electronic device 101 determines the center 1701 of the display (eg, the display module 160 of FIG. 1 ) of the electronic device 101 and the positions 104-1, 104-2, and 104 of the external electronic device. -3) The user interfaces 1710, 1720, and 1730 may be displayed on the edge area of the display including the line connecting them.
  • the display eg, the display module 160 of FIG. 1
  • the user interfaces 1710, 1720, and 1730 may be displayed on the edge area of the display including the line connecting them.
  • the electronic device 101 when the first external electronic device 104-1 is located at the top left of the electronic device 101, the electronic device 101 provides a user interface related to the first external electronic device 104-1. 1710 may be displayed in the upper left edge area of the display.
  • the electronic device 101 when the second external electronic device 104-2 is located at the bottom left of the electronic device 101, the electronic device 101 provides a user interface related to the second external electronic device 104-2. 1720 may be displayed in the lower left edge area of the display.
  • the electronic device 101 displays a user interface related to the third external electronic device 104-3. 1730 may be displayed in the lower right edge area of the display.
  • an electronic device eg, the electronic device 101 of FIG. 1
  • includes at least one communication circuit eg, the communication module 190 of FIG. 1
  • a display eg, the display module of FIG. 1 ( 160)
  • a memory eg, memory 130 of FIG. 1
  • at least one processor eg, processor 120 of FIG. 1
  • the at least one processor includes the at least one communication circuit.
  • a sequence of a plurality of functions of an external electronic device is obtained, and a user interface indicating that the external electronic device can be controlled through the one set button of the remote control is displayed on a partial area of the display.
  • control and when a signal corresponding to the operation of the one set button of the remote control is received, an execution command for a first function mapped to the one set button based on the order of the plurality of functions is transmitted to the at least one It can be transmitted to the external electronic device through a communication circuit.
  • based on includes at least based on.
  • the at least one processor after receiving a signal corresponding to the operation of the one set button of the remote control, based on the order of the plurality of functions, the one set button of the remote control A second function, which is a function following the first function, may be mapped.
  • the user interface may include information about an order of the plurality of functions and information about a function being executed by the external electronic device among the plurality of functions.
  • the plurality of functions include a function of turning on the power of the external electronic device and a function of turning off the power of the external electronic device
  • the at least one processor includes the one set button of the remote controller.
  • the at least one processor is configured to determine whether to control the external electronic device with the one set button of the remote controller when the external electronic device is detected through the at least one communication circuit.
  • a message is displayed on a partial area of the display, and when a user input for controlling the external electronic device is received with the one set button of the remote controller in response to the message, the user interface is displayed on a partial area of the display. can do.
  • the at least one processor determines the order of the plurality of external electronic devices mapped to the one set button of the remote controller. and, when a signal corresponding to the manipulation of the one set button of the remote control is received, based on the order of the plurality of external electronic devices, a control target device controlled by the one set button of the remote control is identified.
  • the at least one processor may display the user interface on a partial area of the display related to the location of the external electronic device relative to the electronic device.
  • the at least one processor may obtain function information about the external electronic device from a server through the at least one communication circuit.
  • the at least one processor may transmit an execution command for the first function to the external electronic device through the at least one communication circuit so that the server transmits an execution command for the first function to the server. can be sent to
  • the at least one processor may delete the user interface when a signal corresponding to manipulation of the one set button of the remote controller is not received for a set time after the user interface is displayed.
  • a method for controlling an electronic device includes, when an external electronic device is detected through at least one communication circuit, obtaining function information about the external electronic device, based on the function information about the external electronic device. , Obtaining an order of a plurality of functions of the external electronic device mapped to one set button included in a remote control communicating with the electronic device, controlling the external electronic device through the one set button of the remote control When a signal corresponding to the operation of controlling the display to display a user interface (user interface) representing a part of the display and the operation of the one set button of the remote control is received, based on the order of the plurality of functions and transmitting an execution command for the first function mapped to the one set button to the external electronic device through the at least one communication circuit.
  • a user interface user interface
  • the next function of the first function is assigned to the one set button of the remote control based on the order of the plurality of functions.
  • An operation of mapping the second function may be further included.
  • the user interface may include information about an order of the plurality of functions and information about a function being executed by the external electronic device among the plurality of functions.
  • the plurality of functions include a function of turning on the power of the external electronic device and a function of turning off the power of the external electronic device, and a signal corresponding to a long press of the one set button of the remote control
  • the method may further include transmitting an execution command for a function of turning off the power of the external electronic device to the external electronic device.
  • a message for confirming whether to control the external electronic device with the one set button of the remote control is sent to a partial area of the display.
  • the operation of controlling the display to display the user interface on a partial area of the display may include displaying the external electronic device with the one set button of the remote controller in response to the message.
  • the user interface may be displayed on a partial area of the display.
  • obtaining an order of the plurality of external electronic devices mapped to the one set button of the remote control and the remote control When a signal corresponding to the manipulation of the one set button is received, based on the order of the plurality of external electronic devices, an operation of confirming a control target device controlled by the one set button of the remote control may be further included.
  • the operation of controlling the display to display the user interface on a partial area of the display may include displaying the user interface in a partial area of the display related to the location of the external electronic device relative to the electronic device. interface can be displayed.
  • the operation of obtaining function information on the external electronic device may obtain function information on the external electronic device from a server through the at least one communication circuit.
  • the transmitting of the execution command for the first function to the external electronic device may cause the server to transmit the execution command for the first function to the external electronic device. may be transmitted to the server through the at least one communication circuit.
  • the method may further include deleting the user interface if a signal corresponding to manipulation of the one set button of the remote control is not received for a set time after the user interface is displayed.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or at least through a third component.
  • module used in various embodiments may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit. there is.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (eg, program 140).
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)

Abstract

전자 장치는 적어도 하나의 통신 회로, 디스플레이, 메모리 및 적어도 하나의 프로세서를 포함할 수 있고, 적어도 하나의 프로세서는, 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지되면, 외부 전자 장치에 대한 기능 정보를 획득하고, 외부 전자 장치에 대한 기능 정보를 기반으로, 전자 장치와 통신하는 리모컨에 포함된 하나의 설정된 버튼에 매핑되는 외부 전자 장치의 복수의 기능의 순서를 획득하고, 리모컨의 하나의 설정된 버튼을 통해 외부 전자 장치를 제어 가능함을 나타내는 사용자 인터페이스를 디스플레이의 일부 영역에 표시하도록 디스플레이를 제어하고, 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 복수의 기능의 순서에 기반하여 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 적어도 하나의 통신 회로를 통해 외부 전자 장치에 전송할 수 있다.

Description

외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법
일 실시 예는, 외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법에 관한 것이다.
최근 반도체 기술 및 무선 통신 기술의 발전으로 인하여 다양한 사물에 통신기능이 포함되어 네크워크를 형성함으로써 편리하게 사물을 제어할 수 있게 되었다. 이와 같이 사물에 통신 기능을 포함하여 네트워크로 연결하는 것을 사물 인터넷(IoT : Internet Of Things)이라 하며, 실생활에 폭넓게 사용되고 있다.
IoT 서버를 통해 가전들이 연동됨에 따라, 해당 가전을 직접 제어하지 않고, 다른 가전을 통해 제어할 수 있게 되었다.
예를 들어, 스마트 TV를 리모컨으로 제어하여 스마트 TV와 동일한 계정으로 연결된 에어컨, 공기 청정기, 로봇 청소기와 같은 가전을 제어할 수 있다.
그러나, 스마트 TV를 통해 다른 가전을 제어하려는 경우, 사용자가 의도적으로 다른 가전을 제어하기 위한 메뉴를 선택해 다른 가전과 관련된 사용자 인터페이스를 활성화하고, 사용자 인터페이스 내에 표시된 복수의 기능을 리모컨으로 선택하여 실행함으로써 다수의 리모컨 제어 동작이 필요하였다.
또한, 스마트 TV를 통해 컨텐트를 시청하는 도중 다른 가전과 관련된 사용자 인터페이스를 활성화하면, 사용자 인터페이스로 인해 컨텐트가 가려져 컨텐트 시청에 불편함이 있었다.
특정 실시 예는 컨텐트 시청을 방해하지 않으면서, 주변의 다른 가전을 직관적으로 제어할 수 있는 전자 장치 및/또는 이의 제어 방법과 관련된다.
일 실시 예에 따르면, 전자 장치는, 적어도 하나의 통신 회로, 디스플레이, 메모리 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지되면, 상기 외부 전자 장치에 대한 기능 정보를 획득하고, 상기 외부 전자 장치에 대한 기능 정보를 기반으로, 상기 전자 장치와 통신하는 리모컨에 포함된 하나의 설정된 버튼에 매핑되는 상기 외부 전자 장치의 복수의 기능의 순서를 획득하고, 상기 리모컨의 상기 하나의 설정된 버튼을 통해 상기 외부 전자 장치를 제어 가능함을 나타내는 사용자 인터페이스(user interface)를 상기 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하고, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 기능의 순서에 기반하여 상기 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치에 전송할 수 있다.
일 실시 예에 따르면, 전자 장치의 제어 방법은, 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지되면, 외부 전자 장치에 대한 기능 정보를 획득하는 동작, 상기 외부 전자 장치에 대한 기능 정보를 기반으로, 상기 전자 장치와 통신하는 리모컨에 포함된 하나의 설정된 버튼에 매핑되는 상기 외부 전자 장치의 복수의 기능의 순서를 획득하는 동작, 상기 리모컨의 상기 하나의 설정된 버튼을 통해 상기 외부 전자 장치를 제어 가능함을 나타내는 사용자 인터페이스(user interface)를 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하는 동작 및 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 기능의 순서에 기반하여 상기 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치에 전송하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치는, 사용자가 의도적으로 전자 장치의 주변의 외부 전자 장치를 제어하기 위한 메뉴 실행과 같은 동작을 수행하지 않아도 리모컨에 포함된 하나의 설정된 버튼을 통해 제어할 수 있으며, 디스플레이의 일부 영역에 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하면서 컨텐트 시청에 방해가 최소화 또는 축소될 수 있다.
특정 실시 예의 상기 및 기타 측면, 특징 및 이점은 첨부된 도면과 함께 취해진 다음의 상세한 설명으로부터 더욱 명백해질 것이다:
도 1은 일 실시 예에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 일 실시 예에 따른 전자 장치의 통신 연결 형태를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 전자 장치의 외부 전자 장치를 제어하는 동작을 설명하기 위한 흐름도이다.
도 4는 일 실시 예에 따른 전자 장치의 주변에 외부 전자 장치가 감지된 경우, 외부 전자 장치를 제어할지 여부를 확인하는 동작을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 전자 장치의 주변에 복수의 외부 전자 장치가 감지되는 경우의 제어 대상을 결정하는 동작을 설명하기 위한 도면이다.
도 6a는 일 실시 예에 따른 전자 장치의 주변에 복수의 외부 전자 장치가 감지되는 경우의 제어 대상을 결정하는 동작을 설명하기 위한 도면이다.
도 6b는 일 실시 예에 따른 전자 장치의 주변에 복수의 외부 전자 장치가 감지되는 경우의 제어 대상을 결정하는 동작을 설명하기 위한 도면이다.
도 7a는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다.
도 7b는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 전자 장치가 획득한 외부 전자 장치의 기능 정보를 설명하기 위한 도면이다.
도 9a는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다.
도 9b는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다.
도 9c는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 전자 장치의 디스플레이의 일부 영역에 표시되는 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치의 외부 전자 장치의 제어에 따라 변경되는 사용자 인터페이스를 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 전자 장치의 외부 전자 장치 제어와 관련된 사용자 인터페이스를 표시하는 동작을 설명하기 위한 흐름도이다.
도 13은 일 실시 예에 따른 전자 장치와 연결된 리모컨의 하나의 설정된 버튼을 통해 외부 전자 장치를 제어하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 전자 장치와 연결된 리모컨의 하나의 설정된 버튼을 통해 외부 전자 장치를 제어하고, 사용자 인터페이스를 변경하는 동작을 설명하기 위한 도면이다.
도 15a는 일 실시 예에 따른 전자 장치의 컨텐트 표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 15b는 일 실시 예에 따른 전자 장치의 컨텐트 표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 16a는 일 실시 예에 따른 전자 장치의 컨텐트 미표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 16b는 일 실시 예에 따른 전자 장치의 컨텐트 미표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 16c는 일 실시 예에 따른 전자 장치의 컨텐트 미표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 17은 일 실시 예에 따른 전자 장치에 대한 외부 전자 장치의 위치에 기반하여 사용자 인터페이스가 표시되는 위치를 설명하기 위한 도면이다.
도 1은, 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 (외장 메모리(138) 및/또는 내장 메모리(136)를 포함하는) 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
적어도 하나의 센서를 포함하는 센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 회로를 포함하는 통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
통신 회로를 포함하는 무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
적어도 하나의 안테나를 포함하는 안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 통신 연결 형태를 설명하기 위한 도면이다.
도 2를 참조하면, 전자 장치(101)(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는 적어도 하나의 통신 회로(예: 도 1의 통신 모듈(190))를 통해 서버(108)(예: 도 1의 서버(108)) 및 외부 전자 장치(104)(예: 도 1의 전자 장치(104))와 통신할 수 있다. 예를 들어, 전자 장치(101)는 서버(108)와 원거리 무선 통신 네트워크(예: Wi-Fi, 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN))를 통해 통신하고, 외부 전자 장치(104)와 근거리 무선 통신 네트워크(예: 블루투스, WiFi(wireless fidelity) direct, UWB(ultra wide band) 또는 IrDA(infrared data association))를 통해 통신할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 고정 또는 이동 가능한 스마트 TV일 수 있으며, 외부 전자 장치(104)는 고정 또는 이동 가능한 가전(예: 공기청정기, 에어컨, 로봇 청소기, 세탁기, 냉장고)일 수 있다.
일 실시 예에 따라, 전자 장치(101)는 근거리 무선 네트워크 통신을 통해 외부 전자 장치(104)와의 상호간 거리와 상대적 방향을 측정할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 근거리 무선 네트워크 통신을 통해 외부 전자 장치(104)가 감지되면, 서버(108)로부터 외부 전자 장치(104)에 대한 정보를 수신할 수 있다.
일 실시 예에 따라, 서버(108)에는 연결된 전자 장치(101) 및 외부 전자 장치(104)의 기기명, 모델명, 설치 위치, 원격 제어 가능한 기능 목록 및/또는 연결 상태에 대한 정보가 저장될 수 있으며, 서버(108)는 전자 장치(101)의 요청에 기반하여 저장된 정보 중 외부 전자 장치(104)에 대한 정보의 일부를 전자 장치(101)에 전송할 수 있다.
일 실시 예에 따라, 외부 전자 장치(104)는 서버(108)와 원거리 무선 통신 네트워크를 통해 통신을 수행할 수 있다. 예를 들어, 전자 장치(101)와 연결 가능한 외부 전자 장치(104)는 같은 계정으로 서버(108)에 등록 및 직접 또는 간접적으로 연결된 상태일 수 있다. 일 실시 예에 따라, 도 2에는 하나의 외부 전자 장치(104)가 도시되었으나, 외부 전자 장치는 2개 이상일 수 있다.
일 실시 예에 따라, 전자 장치(101)는 서버(108)로부터 수신된 외부 전자 장치(104)의 정보 및/또는 전자 장치(101)에 저장된 외부 전자 장치(104)의 정보를 기반으로, 리모컨(102)(예: 도 1의 전자 장치(102))으로부터 수신된 신호를 통해 외부 전자 장치(104)를 제어하도록 리모컨(102)의 설정된 하나의 버튼(예: extra 버튼)에 순환식(또는 토글식)으로 매핑되는 외부 전자 장치(104)의 복수의 기능의 순서를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 리모컨(102)을 이용하여 외부 전자 장치(104)를 제어할 수 있음을 나타내는 사용자 인터페이스를 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역에 표시할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 리모컨(102)과 블루투스 또는 적외선 통신과 같은 근거리 무선 통신을 통해 통신할 수 있으며, 리모컨(102)으로부터 수신되는 신호를 통해 전자 장치(101)를 제어하거나, 외부 전자 장치(104)를 제어하기 위한 제어 명령을 전송할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 리모컨(102)의 설정된 하나의 버튼의 조작과 대응되는 신호가 수신되면 매핑된 외부 전자 장치(104)의 기능을 실행하기 위한 명령을 직접 또는 서버(108)를 통해 외부 전자 장치(104)로 전송할 수 있다.
일 실시 예에 따라, 외부 전자 장치(104)의 종류 및 리모컨(102)의 설정된 하나의 버튼의 조작으로 인해 실행된 기능에 기반하여 리모컨(102)의 하나의 설정된 버튼에 매핑되는 기능이 변경될 수 있다. 일 실시 예에 따라, 리모컨(102)의 하나의 설정된 버튼에 매핑되는 기능이 변경되면, 전자 장치(101)는 사용자 인터페이스에 포함된 리모컨(102)의 하나의 설정된 버튼에 매핑되는 기능과 관련된 정보도 변경할 수 있다.
도 3은 일 실시 예에 따른 전자 장치의 외부 전자 장치를 제어하는 동작을 설명하기 위한 흐름도이다.
도 3을 참조하면, 310 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는 외부 전자 장치(예: 도 1의 전자 장치(104))가 감지되면, 외부 전자 장치에 대한 기능 정보를 획득할 수 있다. 예를 들어, 전자 장치 또는 외부 전자 장치의 이동에 따라 전자 장치가 외부 전자 장치를 감지할 수도 있고, 전자 장치의 전원이 켜지거나, 리모컨(예: 도 1의 전자 장치(102))으로 제어될 제어 대상 장치가 선정되지 않은 상태에서 사용자가 리모컨의 하나의 설정된 버튼을 설정된 방식(예: 롱프레스)으로 조작함에 대응하는 신호가 수신됨에 따라 전자 장치가 외부 전자 장치를 감지할 수도 있다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 통신 회로(예: 도 1의 통신 모듈(190))를 통해 서버(예: 도 1의 서버(108))로부터 외부 전자 장치에 대한 기능 정보를 획득할 수 있다.
일 실시 예에 따라, 전자 장치는 메모리(예: 도 1의 메모리(130))에 저장된 외부 전자 장치에 대한 기능 정보를 획득할 수도 있다.
일 실시 예에 따라, 외부 전자 장치에 대한 기능 정보는 외부 전자 장치의 기기명, 모델명, 설치 위치, 원격 제어 가능한 기능 목록 및/또는 연결 상태에 대한 정보를 포함할 수 있으며, 일부는 서버로부터, 일부는 메모리로부터 획득될 수도 있다.
일 실시 예에 따른 외부 전자 장치의 기능 정보에 대해서는 이하 도 8을 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 통신 회로를 통해, 복수의 외부 전자 장치가 감지되면, 리모컨의 하나의 설정된 버튼에 매핑되는 복수의 외부 전자 장치의 순서를 획득할 수 있다. 일 실시 예에 따라, 전자 장치는 복수의 외부 전자 장치의 순서와 관련된 정보 및 복수의 외부 전자 장치 중 리모컨의 설정된 버튼에 매핑된 외부 전자 장치와 관련된 정보를 포함하는 사용자 인터페이스를 디스플레이의 일부 영역에 표시할 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 복수의 외부 전자 장치의 순서에 기반하여, 리모컨의 하나의 설정된 버튼으로 제어되는 제어 대상 장치를 확인할 수 있다. 일 실시 예에 따라, 복수의 외부 전자 장치가 감지된 경우, 리모컨으로 제어될 외부 전자 장치를 선택하는 동작은 이하 도 5, 도 6a 및 도 6b를 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 통신 회로를 통해, 복수의 외부 전자 장치가 감지되면, 가장 가까운 외부 전자 장치를 제어 대상으로 결정할 수 있다.
일 실시 예에 따라, 리모컨으로 제1 외부 전자 장치를 제어 가능한 상태에서 제2 외부 전자 장치가 접근하여 전자 장치가 제2 외부 전자 장치를 감지한 경우, 전자 장치는 제2 외부 전자 장치를 리모컨으로 제어할지 여부를 확인하는 메시지를 디스플레이에 표시할 수 있다. 예를 들어, 제2 외부 전자 장치를 리모컨으로 제어할지 여부를 확인하는 메시지를 표시한 후, 리모컨으로부터 수신된 신호에 기반하여 전자 장치는 제1 외부 전자 장치 또는 제2 외부 전자 장치를 리모컨으로 제어할 외부 전자 장치로 식별할 수 있다.
일 실시 예에 따라, 320 동작에서, 전자 장치는 외부 전자 장치에 대한 기능 정보를 기반으로, 전자 장치와 통신하는 리모컨에 포함된 하나의 설정된 버튼에 매핑되는 외부 전자 장치의 복수의 기능의 순서를 획득할 수 있다.
일 실시 예에 따라, 복수의 기능은, 외부 전자 장치의 전원을 켜는 기능 및 상기 외부 전자 장치의 전원을 끄는 기능을 포함하고, 외부 전자 장치에 대한 기능 정보에 포함된 복수의 기능 중 설정된 개수의 상위 기능을 포함할 수 있다. 예를 들어, 전자 장치는, 외부 전자 장치의 전원을 켜는 기능, 외부 전자 장치의 복수의 기능, 외부 전자 장치의 전원을 끄는 기능 순으로 외부 전자 장치의 복수의 기능의 순서를 획득할 수 있으며, 외부 전자 장치의 전원을 끄는 기능 다음의 순서는 순환식으로 외부 전자 장치의 전원을 켜는 기능이 되도록 외부 전자 장치의 복수의 기능의 순서를 획득할 수 있다.
일 실시 예에 따라, 복수의 기능은 리모컨의 설정된 하나의 버튼의 조작을 통해 순서대로 변경되나, 기능에 따라 리모컨의 상하 버튼을 통해 기능을 제어할 수도 있다.
일 실시 예에 따른 복수의 기능의 순서는 이하 도 7a, 도 7b, 도 9a, 내지 도 9c를 참조하여 설명하기로 한다.
일 실시 예에 따라, 330 동작에서, 전자 장치는 리모컨의 하나의 설정된 버튼을 통해 외부 전자 장치를 제어 가능함을 나타내는 사용자 인터페이스(user interface)(예: 심플 컨트롤 카드 또는 팝업 카드)를 디스플레이의 일부 영역에 표시할 수 있다.
일 실시 예에 따라, 사용자 인터페이스는, 복수의 기능의 순서에 대한 정보 및 외부 전자 장치에서 실행 중인 기능에 대한 정보를 포함할 수 있다. 일 실시 예에 따라, 사용자 인터페이스에 대한 설명은 이하 도 10을 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 전자 장치에 대한 외부 전자 장치의 위치와 관련된 디스플레이의 일부 영역에 사용자 인터페이스를 표시할 수 있다. 예를 들어, 전자 장치는 전자 장치의 중심의 위치와 외부 전자 장치의 위치를 연결하는 선이 포함된 디스플레이의 에지 영역에 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따른 사용자 인터페이스의 위치에 대해서는 이하 도 17을 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지되면, 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼으로 외부 전자 장치를 제어할지 여부를 확인하기 위한 메시지를 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역에 표시할 수 있다. 일 실시 예에 따라, 표시된 메시지에 응답하여 리모컨의 하나의 설정된 버튼으로 외부 전자 장치를 제어하기 위한 사용자 입력이 수신되면, 사용자 인터페이스를 디스플레이의 일부 영역에 표시할 수 있다. 일 실시 예에 따라, 외부 전자 장치가 감지되면, 리모컨의 하나의 설정된 버튼으로 외부 전자 장치를 제어할지 여부를 확인하는 메시지는 이하 도 4를 참조하여 설명하기로 한다.
일 실시 예에 따라, 340 동작에서, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 복수의 기능의 순서에 기반하여 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 외부 전자 장치에 전송할 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 직접 또는 서버를 통해 외부 전자 장치에 전송할 수 있다.
예를 들어, 외부 전자 장치의 제1 기능에 대한 실행 명령을 서버를 통해 전송하는 경우, 전자 장치는 서버가 제1 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송하도록 제1기능에 대한 실행 명령을 적어도 하나의 통신 회로를 통해 서버에 전송할 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신됨에 기반하여, 외부 전자 장치가 제1 기능이 실행되고 있음을 사용자 인터페이스에 표시할 수 있다. 일 실시 예에 따라, 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신됨에 기반하여 사용자 인터페이스를 변경하는 동작은 이하 도 11 및 도 14를 참조하여 설명하기로 한다.
일 실시 예에 따라, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신된 후, 복수의 기능의 순서에 기반하여 리모컨의 상기 하나의 설정된 버튼에 제1 기능의 다음 기능인 제2 기능을 매핑할 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨의 하나의 설정된 버튼에 대한 설정된 조작에 대응되는 신호가 수신되면, 외부 전자 장치의 설정된 기능에 대한 실행 명령을 외부 전자 장치에 직접 또는 서버를 통해 전송할 수 있다. 예를 들어, 리모컨의 하나의 설정된 버튼의 롱프레스(또는 두번 선택)에 대응되는 신호가 수신되면, 전자 장치는 외부 전자 장치의 복수의 기능의 순서와 무관하게 외부 전자 장치의 전원을 끄는 기능에 대한 실행 명령을 직접 또는 서버를 통해 외부 전자 장치에 전송할 수 있다.
일 실시 예에 따라, 사용자 인터페이스가 디스플레이에 표시된 이후 설정된 시간 동안, 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되지 않으면, 전자 장치는 디스플레이에 표시된 사용자 인터페이스를 삭제할 수 있다.
이와 같이, 사용자가 의도적으로 전자 장치의 주변의 외부 전자 장치를 제어하기 위한 메뉴 실행과 같은 동작을 수행하지 않아도 리모컨에 포함된 하나의 설정된 버튼을 통해 제어할 수 있으며, 디스플레이의 일부 영역에 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하면서 컨텐트 시청에 방해가 최소화 또는 축소될 수 있다.
도 4는 일 실시 예에 따른 전자 장치의 주변에 외부 전자 장치가 감지된 경우, 외부 전자 장치를 제어할지 여부를 확인하는 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 전자 장치(101)(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는 리모컨(102)(예: 도 1의 전자 장치(102))과 통신을 수행할 수 있다. 예를 들어, 전자 장치(101)와 리모컨(102)은 제어 영역(410) 내에서 통신 신호(예: 블루투스 신호, wi-fi 신호, 적외선 통신 신호)를 송수신할 수 있다. 본 개시의 각 프로세서는 프로세싱 회로를 포함한다.
일 실시 예에 따라, 전자 장치(101)는 외부 전자 장치(104)와 통신 신호(예: UWB 신호, 블루투스 신호, wi-fi 신호)를 송수신할 수 있으며, 통신 신호의 세기를 통해 외부 전자 장치(104)가 제어 영역(410) 내에 위치하는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(101)가 이동되거나, 외부 전자 장치(104)가 이동됨에 따라 외부 전자 장치(104)가 제어 영역(410) 내에 위치함이 감지되거나, 전자 장치(101) 및 외부 전자 장치(104)의 이동이 없어도 전자 장치(101)의 전원이 켜지면 외부 전자 장치(104)가 제어 영역(410) 내에 위치함이 감지될 수 있다.
일 실시 예에 따라, 외부 전자 장치(104)(예: 도 1의 전자 장치(104))가 제어 영역(410) 내에 위치함이 감지되면, 전자 장치(101)는 외부 전자 장치(104)를 리모컨(102)으로 조작할지 여부를 확인하는 메시지(420)를 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역에 표시할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 메시지(420) 표시 후 리모컨(102)으로부터 외부 전자 장치(104)를 리모컨(102)으로 조작하기 위한 신호를 수신하면, 외부 전자 장치(104)를 제어 대상으로 식별하고 외부 전자 장치(104)의 기능 정보를 메모리(예: 도 1의 메모리(130)) 및/또는 서버(예: 도 1의 서버(108))를 통해 획득하고, 리모컨(102)으로 외부 전자 장치(104)를 제어할 수 있음을 나타내는 사용자 인터페이스를 디스플레이의 일부 영역에 표시할 수 있다.
도 5는 일 실시 예에 따른 전자 장치의 주변에 복수의 외부 전자 장치가 감지되는 경우의 제어 대상을 결정하는 동작을 설명하기 위한 도면이다. 예를 들어, 도 5는 도 4에 도시된 바와 같이 리모컨으로 외부 전자 장치를 제어할 수 있는 상태에서 제2 외부 전자 장치가 제어 영역으로 진입하는 경우를 도시한 것이다.
도 5를 참조하면, 전자 장치(101)(예: 도 1의 전자 장치(101))는 리모컨(102)(예: 도 1의 전자 장치(102))를 이용하여 제어 영역(410) 내에 배치된 외부 전자 장치(104)(예: 도 1의 전자 장치(104))를 제어할 수 있는 상태에서, 제2 외부 전자 장치(510)(예: 도 1의 전자 장치(104))가 제어 영역(410) 내로 진입하면, 제2 외부 전자 장치(510)의 제어와 관련된 사용자 인터페이스(520)를 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역에 표시할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 제어 영역(410)에 제2 외부 전자 장치(510)가 새로 진입하면, 제2 외부 전자 장치(510)에 대한 정보를 획득하고, 리모컨(102)의 하나의 설정된 버튼을 이용하여 실행될 수 있는 제2 외부 전자 장치(510)의 복수의 기능의 순서를 획득하고, 제2 외부 전자 장치(510)를 리모컨(102)으로 제어할 수 있음을 나타내는 사용자 인터페이스(520)를 디스플레이의 일부 영역에 표시할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 제어 영역(410)에 제2 외부 전자 장치(510)가 새로 진입하면, 제2 외부 전자 장치(510)를 리모컨(102)으로 제어할지 여부에 대해 확인하는 메시지를 표시한 후, 제2 외부 전자 장치(510)를 리모컨(102)으로 제어하기 위한 사용자 입력이 수신되면, 제2 외부 전자 장치(510)를 리모컨(102)으로 제어할 수 있음을 나타내는 사용자 인터페이스(520)를 디스플레이의 일부 영역에 표시할 수 있다.
도 5에서는 제2 외부 전자 장치(510)가 이동하여 제어 영역(410)에 진입하는 것으로 도시되었으나, 일 실시 예에 따라, 전자 장치(101)를 이동시킨 경우 또는 전자 장치(101)의 전원을 켠 경우 외부 전자 장치(104) 및 제2 외부 전자 장치(510)가 감지될 수도 있다.
일 실시 예에 따라, 전자 장치(101)는 복수의 전자 장치가 감지되거나, 하나의 외부 전자 장치(104)를 리모컨(102)을 통해 제어하는 상태에서 새로운 제2 외부 전자 장치(510)를 감지하면, 리모컨(102)의 하나의 설정된 버튼에 매핑되는 복수의 외부 전자 장치(104, 510)의 순서를 획득할 수 있다.
일 실시 예에 따라, 리모컨(102)의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 전자 장치(101)는 복수의 외부 전자 장치(104, 510)의 순서에 기반하여, 리모컨(102)의 하나의 설정된 버튼으로 제어되는 제어 대상 장치를 확인할 수 있다. 일 실시 예에 따라, 리모컨(102)의 하나의 설정된 버튼을 조작하여 리모컨(102)의 하나의 설정된 버튼으로 제어될 제어 대상 장치를 확인하는 동작은 이하 도 6a 및 도 6b를 참조하여 설명하기로 한다.
도 6a는 일 실시 예에 따른 전자 장치의 주변에 복수의 외부 전자 장치가 감지되는 경우의 제어 대상을 결정하는 동작을 설명하기 위한 도면이다.
도 6a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는 복수의 외부 전자 장치(예: 도 1의 전자 장치(104))가 감지되면, 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼에 매핑되는 복수의 외부 전자 장치의 순서를 획득할 수 있다. 예를 들어, 전자 장치는 감지된 복수의 외부 전자 장치와의 거리 또는 복수의 외부 전자 장치의 우선 순위를 기반으로, 도 6b에 도시된 바와 같은 복수의 외부 전자 장치의 순서를 획득할 수 있다.
도 6b는 일 실시 예에 따른 전자 장치의 주변에 복수의 외부 전자 장치가 감지되는 경우의 제어 대상을 결정하는 동작을 설명하기 위한 도면이다.
도 6b를 참조하면, 전자 장치는 감지된 복수의 외부 전자 장치와의 거리 또는 복수의 외부 전자 장치의 우선 순위를 기반으로 복수의 외부 전자 장치의 순서를 획득할 수 있다. 예를 들어, 전자 장치는 선정 과정 설명, 에어컨, 공기청정기, 로봇 청소기, 선정 off 순으로 복수의 외부 전자 장치의 순서를 획득할 수 있다. 도 6b에 도시된 외부 전자 장치의 개수, 종류 및 순서는 일 실시 예에 불과한 것으로, 이에 한정되지 않는다.
도 6a로 돌아가, 일 실시 예에 따라, 전자 장치는 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼을 이용하여 제어될 제어 대상 장치를 선정하는 과정을 설명하는 사용자 인터페이스(610)를 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역에 표시할 수 있다. 일 실시 예에 따라, 제어될 제어 대상 장치를 선정하는 과정을 설명하는 사용자 인터페이스(610)가 표시된 상태에서는 리모컨의 하나의 설정된 버튼에 복수의 외부 전자 장치의 순서에서 맨 처음의 외부 전자 장치가 매핑될 수 있다.
일 실시 예에 따라, 제어 대상 장치를 선정하는 과정을 설명하는 사용자 인터페이스(610)가 표시된 상태에서, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 리모컨으로부터 수신되면, 복수의 외부 전자 장치의 순서를 기반으로 리모컨의 설정된 하나의 버튼으로 제어될 외부 전자 장치를 표시한 사용자 인터페이스(620)를 디스플레이의 일부 영역에 표시할 수 있다. 예를 들어, 도 6b에 도시된 복수의 외부 전자 장치의 순서를 참조하면, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 리모컨으로부터 수신되면, 리모컨의 설정된 하나의 버튼으로 제어될 외부 전자 장치가 에어컨임을 포함하는 사용자 인터페이스(620)를 표시할 수 있다.
일 실시 예에 따라, 리모컨의 설정된 하나의 버튼으로 제어될 외부 전자 장치가 에어컨임을 포함하는 사용자 인터페이스(620)가 표시된 상태에서, 리모컨에 포함된 '확인'버튼을 조작하는 사용자 입력이 수신되거나, 설정된 시간 동안 리모컨의 하나의 설정된 버튼을 조작하는 사용자 입력이 수신되지 않으면, 전자 장치는 사용자 인터페이스(620)에 포함된 외부 전자 장치를 제어 대상 장치로 식별할 수 있다. 일 실시 예에 따라, 제어 대상 장치가 식별되면, 전자 장치는 식별된 제어 대상 장치의 기능과 관련된 정보를 포함하도록 사용자 인터페이스를 변경할 수 있다. 일 실시 예에 따라, 전자 장치는 식별된 제어 대상 장치의 기능과 관련된 정보를 포함하는 사용자 인터페이스를 식별된 제어 대상 장치의 전자 장치에 대한 위치를 기반으로 디스플레이의 일부 영역에 표시할 수 있다.
일 실시 예에 따라, 리모컨의 설정된 하나의 버튼으로 제어될 외부 전자 장치가 에어컨임을 포함하는 사용자 인터페이스(620)가 표시된 상태에서, 전자 장치는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 리모컨으로부터 수신되면, 리모컨의 설정된 하나의 버튼으로 제어될 외부 전자 장치가 공기 청정기임을 포함하도록 사용자 인터페이스를 변경할 수 있다.
도 7a는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다.
도 7a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는 획득된 외부 전자 장치(예: 도 1의 전자 장치(104))의 기능 정보를 기반으로 리모컨(예: 도 1의 전자 장치(102))의 설정된 하나의 버튼을 이용하여 제어될 외부 전자 장치의 복수의 기능의 순서를 획득할 수 있다. 예를 들어, 외부 전자 장치의 복수의 기능의 순서는 외부 전자 장치를 켜는 기능 및 외부 전자 장치를 끄는 기능을 포함하며, 외부 전자 장치를 켜는 기능과 외부 전자 장치를 끄는 기능 사이에 외부 전자 장치의 복수의 기능이 순서대로 포함될 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨의 하나의 설정된 버튼을 누를 때 마다, 리모컨의 하나의 설정된 버튼에 매핑되는 기능이 외부 전자 장치의 전원을 켜는 기능, 기능 1, 기능 2, 기능 3, 기능n, 외부 전자 장치의 전원을 끄는 기능 순으로 변경되도록 복수의 기능의 순서를 획득할 수 있다. 일 실시 예에 따라, 전자 장치는 외부 전자 장치의 전원을 끄는 기능의 다음 기능은 외부 전자 장치의 전원을 켜는 기능이 되도록 순환적으로 복수의 기능의 순서를 획득할 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨의 하나의 설정된 버튼에 매핑된 기능이 복수의 기능의 순서 중 어떤 기능인지와 무관하게, 리모컨의 하나의 설정된 버튼의 설정된 조작(예: 롱프레스)에 대응되는 신호가 리모컨으로부터 수신되면, 설정된 기능(예: 외부 전자 장치의 전원을 끄는 기능)의 실행 명령을 직접 또는 서버(예: 도 1의 서버(108))를 통해 외부 전자 장치로 전송할 수 있다.
도 7b는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다.
도 7b를 참조하면, 외부 전자 장치의 모드에 숫자의 업/다운을 통해 제어를 하는 기능(710)(예: 온도 조절)이 포함된 경우, 외부 전자 장치가 숫자의 업/다운을 통해 제어를 하는 기능(710)을 실행하고 있는 상태에서 리모컨의 상 버튼 또는 하 버튼의 조작에 대응되는 신호가 수신되면, 전자 장치는 숫자를 변경하는 동작을 실행할 수 있다. 일 실시 예에 따라, 숫자의 업/다운을 통해 제어를 하는 기능(710)을 실행하고 있는 상태에서 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 실행 중인 기능(710)을 종료하고, 다음 기능을 수행할 수 있다.
일 실시 예에 따라, 도 7a 및 도 7b에 도시된 외부 전자 장치의 복수의 기능은 도 8에 도시된 외부 전자 장치의 기능 정보를 기반으로 획득된 것일 수 있다.
도 8은 일 실시 예에 따른 전자 장치가 획득한 외부 전자 장치의 기능 정보를 설명하기 위한 도면이다. 예를 들어, 도 8은 공기 청정기의 기능 정보를 수신한 것일 수 있다.
도 8을 참조하면, 예를 들어, 외부 전자 장치의 기능 정보는, 디바이스 프로파일(device profile) 항목의 컴포넌트(component) 항목의 캐퍼빌리티(capabilities) 항목 아래에 "기기명 + 모드(mode)"일 수 있다. 예를 들어, 외부 전자 장치가 공기 청정기인 경우, 공기 청정기의 기능 정보는 "airPurifierFan+Mode"일 수 있다.
일 실시 예에 따라, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는 획득된 외부 전자 장치의 기능 정보에 포함된 values(810)에서 획득된 복수의 기능을 기반으로 외부 전자 장치의 복수의 기능의 순서를 획득할 수 있다. 예를 들어, 전자 장치는 외부 전자 장치의 복수의 기능 중 제조사에 의해 설정된 우선 순위 또는 사용자가 자주 사용하는 기능을 우선으로 하여 설정된 개수의 기능의 순서를 획득할 수 있다.
일 실시 예에 따라, 전자 장치는 복수의 기능의 순서의 맨 앞은 외부 전자 장치를 켜는 기능, 맨 뒤는 외부 전자 장치를 끄는 기능을 배치하고, 그 사이 기능의 순서를 획득된 외부 전자 장치의 기능 정보를 기반으로 획득할 수 있다.
도 9a는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다. 예를 들어, 도 9a는 외부 전자 장치의 온/오프 기능만을 포함하는 기능의 순서를 도시한 것이다.
도 9a를 참조하면, 스마트 램프와 같이 외부 전자 장치(예: 도 1의 전자 장치(104))의 기능이 전원을 켜고 끄는 기능 뿐인 경우, 전자 장치(예: 도 1의 전자 장치 또는 도 1의 프로세서(120))는 리모컨(예: 도 1의 전자 장치(102))의 설정된 하나의 버튼을 누를 때 마다, 리모컨의 하나의 설정된 버튼에 매핑되는 기능이 외부 전자 장치의 전원을 켜는 기능, 외부 전자 장치의 전원을 끄는 기능 순으로 변경되도록 복수의 기능의 순서를 획득할 수 있다. 일 실시 예에 따라, 전자 장치는 외부 전자 장치의 전원을 끄는 기능의 다음 기능은 외부 전자 장치의 전원을 켜는 기능이 되도록 순환적으로 복수의 기능의 순서를 획득할 수 있다.
도 9b는 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다. 예를 들어, 도 9b는 외부 전자 장치의 온/오프 기능 및 숫자 조절이 포함되지 않은 기능을 포함하는 기능의 순서(910)를 도시한 것이다.
도 9b를 참조하면, 공기 청정기와 같이 외부 전자 장치(예: 도 1의 전자 장치(104))의 기능이 전원을 켜고 끄는 기능 및 숫자 조절이 포함되지 않은 기능(예: 스마트, 강풍, 약풍, 미풍, 무풍(취침))만이 포함된 경우, 전자 장치(예: 도 1의 전자 장치 또는 도 1의 프로세서(120))는 외부 전자 장치의 기능 중 주요 기능(예: 스마트, 강풍, 무풍)을 획득할 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨(예: 도 1의 전자 장치(102))의 설정된 하나의 버튼을 누를 때 마다, 리모컨의 하나의 설정된 버튼에 매핑되는 기능이 외부 전자 장치의 전원을 켜는 기능, 스마트 기능, 강풍 기능, 무풍 기능, 외부 전자 장치의 전원을 끄는 기능 순으로 변경되도록 복수의 기능의 순서를 획득할 수 있다. 일 실시 예에 따라, 전자 장치는 외부 전자 장치의 전원을 끄는 기능의 다음 기능은 외부 전자 장치의 전원을 켜는 기능이 되도록 순환적으로 복수의 기능의 순서를 획득할 수 있다.
도 9c는 본 개시의 일 실시 예에 따른 외부 전자 장치의 복수의 기능의 순서를 설명하기 위한 도면이다. 예를 들어, 도 9c는 외부 전자 장치의 온/오프 기능, 숫자 조절이 포함되지 않은 기능 및 숫자 조절이 포함된 기능(921)을 포함하는 기능의 순서(920)를 도시한 것이다.
도 9c를 참조하면, 에어컨 같이 외부 전자 장치(예: 도 1의 전자 장치(104))의 기능이 전원을 켜고 끄는 기능, 숫자 조절이 포함되지 않은 기능(예: 제습, 송풍, 자동, 무풍, 열대야, 꺼짐 예약) 및 숫자 조절이 포함된 기능(921))(예:냉방)이 포함된 경우, 전자 장치(예: 도 1의 전자 장치 및/또는 도 1의 프로세서(120))는 외부 전자 장치의 기능 중 주요 기능(예: 920의 냉방, 제습, 송풍)을 획득할 수 있다.
일 실시 예에 따라, 전자 장치는 리모컨(예: 도 1의 전자 장치(102))의 설정된 하나의 버튼을 누를 때 마다, 리모컨의 하나의 설정된 버튼에 매핑되는 기능이 외부 전자 장치의 전원을 켜는 기능, 냉방 기능(921), 제습 기능, 송풍 기능, 외부 전자 장치의 전원을 끄는 기능 순으로 변경되도록 복수의 기능의 순서를 획득할 수 있다. 일 실시 예에 따라, 전자 장치는 외부 전자 장치의 전원을 끄는 기능의 다음 기능은 외부 전자 장치의 전원을 켜는 기능이 되도록 순환적으로 복수의 기능의 순서를 획득할 수 있다.
일 실시 예에 따라, 외부 전자 장치가 숫자 조절이 가능한 냉방 기능(921)을 수행하는 경우, 리모컨의 상 버튼 또는 하 버튼의 조작에 대응되는 신호가 수신되면, 전자 장치는 냉방의 온도에 대응되는 숫자를 수신된 신호에 대응되도록 올리거나 낮출 수 있다.
도 10은 일 실시 예에 따른 전자 장치의 디스플레이의 일부 영역에 표시되는 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 설명하기 위한 도면이다. 예를 들어, 도 10은 컨텐트가 표시 중인 디스플레이(예: 디스플레이를 포함하는 도 1의 디스플레이 모듈(160))의 일부 영역에 표시되는 것일 수 있다.
도 10을 참조하면, 사용자 인터페이스는 외부 전자 장치의 상태를 나타내는 상태 아이콘, 기기 위치, 기기명, 외부 전자 장치의 복수의 기능의 순서와 관련된 정보(1010)를 포함할 수 있다. 일 실시 예에 따라, 외부 전자 장치가 실행 중인 기능이 숫자 조절이 가능한 기능인 경우, 숫자 정보를 더 표시할 수 있다.
일 실시 예에 따라, 외부 전자 장치의 복수의 기능의 순서와 관련된 정보(1010)는 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼을 이용하여 실행할 수 있는 기능의 개수에 대한 정보, 외부 전자 장치가 실행 중인 기능에 대한 정보 및 복수의 기능의 순서 중 외부 전자 장치가 실행 중인 기능의 위치에 대한 정보를 포함할 수 있다.
도 11은 일 실시 예에 따른 전자 장치의 외부 전자 장치의 제어에 따라 변경되는 사용자 인터페이스를 설명하기 위한 도면이다. 예를 들어, 도 11은 외부 전자 장치가 공기 청정기인 경우를 도시한 것이다.
도 11을 참조하면, 전자 장치(예: 도 1의 전자 장치 및/또는 도 1의 프로세서(120))는 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신될 때마다, 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역에 도시된 사용자 인터페이스를 변경할 수 있다.
예를 들어, 외부 전자 장치가 꺼진 상태에서 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신될 때마다, 표시된 사용자 인터페이스를 스마트 기능, 강풍 기능, 무풍 기능, 취침 기능을 외부 전자 장치가 수행 중인 것으로 순차적으로 변경할 수 있다.
이와 같이, 본 개시에 따른 외부 전자 장치가 실행 중인 기능을 전자 장치의 디스플레이의 일부 영역에 표시함에 따라, 사용자가 컨텐트를 시청하면서 외부 전자 장치의 제어를 보다 용이하게 할 수 있게 할 수 있다.
도 12는 일 실시 예에 따른 전자 장치의 외부 전자 장치 제어와 관련된 사용자 인터페이스를 표시하는 동작을 설명하기 위한 흐름도이다.
도 12를 참조하면, 1201 동작에서, 외부 전자 장치(104)(예: 도 1의 전자 장치(104))는 정보를 서버(108)(예: 도 1의 서버(108))에 등록할 수 있다. 예를 들어, 외부 전자 장치(104)는 기기명, 모델명, 설치 위치, 원격 제어 가능한 기능 목록 및/또는 연결 상태에 대한 정보를 서버(108)에 등록할 수 있다.
일 실시 예에 따라, 1202 동작에서, 서버(108)는 외부 전자 장치(104)의 등록을 처리할 수 있다. 예를 들어, 서버(108)는 외부 전자 장치(104)의 디바이스 프로파일 기반 캐퍼빌리티 정보를 저장할 수 있다. 예를 들어, 캐퍼빌리티 정보는 외부 전자 장치(104)의 기능 정보를 포함할 수 있다.
일 실시 예에 따라, 1203 동작에서, 외부 전자 장치(104)는 전자 장치(101)(예: 도 1의 전자 장치(101))로 통신 신호 및 정보를 전달할 수 있다.
일 실시 예에 따라, 1204 동작에서, 전자 장치(101)는 통신 신호 및 정보를 수집할 수 있다. 예를 들어, 전자 장치(101)는 주변 장치(예: 외부 전자 장치(104) 또는 리모컨(예: 도 1의 전자 장치(102))로부터 통신 신호 및 정보를 수신할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(104)가 1203 동작에서 전송한 통신 신호 및 정보를 수신할 수 있다.
일 실시 예에 따라, 1205 동작에서, 전자 장치(101)는 새롭게 표시할 외부 전자 장치가 있는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(101)는 수집된 통신 신호(예: UWB 신호, 블루투스 신호, wi-fi 신호)의 세기를 기반으로 외부 전자 장치(104)가 제어 영역(예: 도 4의 제어 영역(410)) 내에 위치하는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(104)로부터 수신된 통신 신호의 세기를 기반으로 외부 전자 장치(104)를 감지할 수 있다.
일 실시 예에 따라, 새롭게 표시할 외부 전자 장치가 없는 경우(1205 동작-아니오), 전자 장치(101)는 1204 동작으로 돌아가 통신 신호 및 정보를 수집할 수 있다. 예를 들어, 외부 전자 장치(104)로부터 수신된 통신 신호가 설정된 값 미만인 경우, 전자 장치(101)는 외부 전자 장치(104)가 제어 영역 내에 위치하는 것이 아닌 것으로 확인하고, 외부 전자 장치(104)가 제어 대상이 아닌 것으로 확인할 수 있다.
일 실시 예에 따라, 새롭게 표시할 외부 전자 장치가 있는 경우(1205-예), 전자 장치(101)는 1206 동작에서, 등록 정보를 읽을 수 있다. 일 실시 예에 따라, 1207 동작에서, 전자 장치(101)는 서버(108)에 등록 정보를 읽기 위해 등록 정보를 요청할 수 있다.
일 실시 예에 따라, 1208 동작에서, 서버(108)는 외부 전자 장치(104)의 상태 정보를 요청할 수 있다. 예를 들어, 외부 전자 장치(104)의 상태 정보는 외부 전자 장치(104)가 실행 중인 기능에 대한 정보를 포함할 수 있다.
일 실시 예에 따라, 1209 동작에서, 외부 전자 장치(104)는 서버(108)에 상태 정보를 전달할 수 있다.
일 실시 예에 따라, 1210 동작에서, 서버(108)는 서버(108)에 저장된 등록 정보와 외부 전자 장치(104)로부터 수신된 상태 정보를 전자 장치(101)에 전송할 수 있다.
일 실시 예에 따라, 1211 동작에서, 전자 장치(101)는 등록 정보에 맞게 사용자 인터페이스를 구성할 수 있다. 예를 들어, 전자 장치(101)는 등록 정보에 포함된 외부 전자 장치(104)의 기능 정보를 기반으로, 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼을 이용하여 순서대로 수행될 복수의 기능의 순서를 획득할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 복수의 기능의 순서를 포함하는 사용자 인터페이스를 구성할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(104)의 상태 정보를 기반으로 외부 전자 장치(104)가 실행 중인 기능에 대한 정보를 사용자 인터페이스에 더 포함할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 복수의 기능의 순서 및 외부 전자 장치(104)의 상태 정보를 기반으로 리모컨의 하나의 설정된 버튼에 기능을 매핑할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(104)의 상태 정보를 기반으로, 복수의 기능의 순서에서 외부 전자 장치(104)가 실행 중인 기능 다음의 기능을 리모컨의 하나의 설정된 버튼에 매핑할 수 있다.
일 실시 예에 따라, 1212 동작에서, 전자 장치(101)는 방향에 맞게 스크린(예: 도 1의 디스플레이 모듈(160)) 상에 외부 전자 장치(104)의 사용자 인터페이스를 표시할 수 있다.
도 13은 일 실시 예에 따른 전자 장치와 직접 또는 간접적으로 연결된 리모컨의 하나의 설정된 버튼을 통해 외부 전자 장치를 제어하는 동작을 설명하기 위한 도면이다. 예를 들어, 도 13은 도 12의 과정을 통해 사용자 인터페이스가 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역에 표시된 이후의 동작을 도시한 것이다.
도 13을 참조하면, 1301 동작에서, 전자 장치(101)(예: 도 1의 전자 장치(101))는 통신 신호 및 정보를 수집할 수 있다. 예를 들어, 전자 장치(101)는 주변 장치(예: 외부 전자 장치(104)(예: 도 1의 전자 장치(104)) 또는 리모컨(예: 도 1의 전자 장치(102))로부터 통신 신호 및 정보를 수신할 수 있다.
일 실시 예에 따라, 1302 동작에서, 전자 장치(101)는 리모컨 버튼에 입력이 제공되었는지 여부를 확인할 수 있다. 예를 들어, 전자 장치(101)는 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되었는지 여부를 확인할 수 있다.
일 실시 예에 따라, 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면(1302-예), 1303 동작에서, 전자 장치(101)는 리모컨 버튼 매핑을 업데이트하고, 대응되는 실행 명령을 외부 전자 장치(104)에 전달할 수 있다. 예를 들어, 전자 장치(101)는 리모컨으로부터 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 복수의 기능의 순서에 기반하여 리모컨의 하나의 설정된 버튼에 매핑되는 기능을 다음 기능으로 업데이트하고, 외부 전자 장치(104)가 신호에 매핑된 기능을 실행하도록 실행 명령을 외부 전자 장치(104)로 전달할 수 있다.
일 실시 예에 따라, 1304 동작에서, 전자 장치(101)는 서버(108)에 실행 명령 처리 요청을 전송할 수 있다. 예를 들어, 전자 장치(101)는 리모컨으로부터 수신된 신호를 기반으로 획득된 실행 명령을 서버(108)에 처리 요청할 수 있다.
일 실시 예에 따라, 1305 동작에서, 서버(108)는 전자 장치(101)로부터 수신된 실행 명령 처리 요청을 외부 전자 장치(104)에 전송할 수 있다. 예를 들어, 서버(108)는 외부 전자 장치(104)의 기능 실행을 위한 실행 명령을 외부 전자 장치(104)에 전송할 수 있다.
일 실시 예에 따라, 1306 동작에서, 외부 전자 장치(104)는 실행 명령에 대응되는 기능을 실행하고, 외부 전자 장치(104)가 실행 중인 기능을 포함하는 상태 정보를 서버(108)로 전달할 수 있다.
일 실시 예에 따라, 1307 동작에서, 서버(108)는 외부 전자 장치(104)로부터 수신된 외부 전자 장치(104)의 상태 정보를 전자 장치(101)에 전송할 수 있다.
도 13의 1304 동작 내지 1307 동작에서는, 전자 장치(101)가 서버(108)를 통해, 외부 전자 장치(104)에 실행 명령을 전송하고, 외부 전자 장치(104)의 상태 정보를 수신하는 것으로 도시하였으나, 일 실시 예에 따라, 전자 장치(101)가 직접 외부 전자 장치(104)로 실행 명령을 전송하고, 외부 전자 장치(104)의 상태 정보를 수신할 수도 있다.
일 실시 예에 따라, 1308 동작에서, 전자 장치(101)는 상태 정보에 맞게 사용자 인터페이스의 표시를 업데이트할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(104)가 실행 중인 기능에 대한 정보를 포함하도록 사용자 인터페이스를 업데이트할 수 있다.
일 실시 예에 따라. 1309 동작에서, 전자 장치(101)는 버튼에 추가 입력이 제공되었는지 여부를 확인할 수 있다. 일 실시 예에 따라, 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 추가적으로 수신되면(1309 동작-예), 전자 장치(101)는 1303 동작으로 돌아가, 리모컨의 하나의 설정된 버튼에 매핑된 외부 전자 장치의 기능이 실행되도록 실행 명령을 전달하고, 외부 전자 장치의 복수의 기능의 순서에 기반하여, 리모컨의 하나의 설정된 버튼에 매핑된 외부 전자 장치의 기능을 변경할 수 있다.
일 실시 예에 따라, 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호가 추가적으로 수신되지 않으면(1309 동작-아니오), 1310 동작에서, 전자 장치(101)는 일정 시간이 경과하였는지 여부를 확인할 수 있다.
일 실시 예에 따라, 버튼에 추가 입력 없이 일정 시간이 경과하지 않은 경우(1310 동작-아니오), 전자 장치(101)는 1309 동작으로 돌아가 버튼에 추가 입력이 제공되는지 여부를 확인할 수 있다.
일 실시 예에 따라, 버튼에 추가 입력 없이 일정 시간이 경과한 경우(1310 동작-예), 1311 동작에서, 전자 장치(101)는 사용자 인터페이스 최종 상태를 저장하고, 1312 동작에서, 사용자 인터페이스 표시를 해제할 수 있다. 예를 들어, 디스플레이의 일부 영역에 외부 전자 장치(104)의 제어와 관련된 사용자 인터페이스가 표시된 상태에서, 리모컨으로부터 일정 시간 동안 외부 전자 장치(104)의 제어를 위한 신호가 수신되지 않으면, 전자 장치(101)는 표시된 사용자 인터페이스를 삭제할 수 있다.
일 실시 예에 따라, 1302 동작에서, 리모컨 버튼에 입력이 제공되지 않은 경우(1302 동작-아니오), 1313 동작에서, 전자 장치(101)는 리모컨 버튼에 입력 없이 일정 시간이 경과했는지 여부를 확인할 수 있다.
일 실시 예에 따라, 리모컨 버튼에 입력 없이 일정 시간이 경과하지 않은 경우(1313 동작-아니오), 전자 장치(101)는 1301 동작으로 돌아가 통신 신호 및 정보 수집 동작을 수행할 수 있다. 일 실시 예에 따라, 리모컨 버튼에 입력 없이 일정 시간이 경과한 경우(1313 동작-예), 전자 장치(101)는 1311 동작으로 진행하여 사용자 인터페이스의 최종 상태를 저장하고, 사용자 인터페이스를 삭제할 수 있다.
도 14는 일 실시 예에 따른 전자 장치와 연결된 리모컨의 하나의 설정된 버튼을 통해 외부 전자 장치를 제어하고, 사용자 인터페이스를 변경하는 동작을 설명하기 위한 도면이다.
도 14를 참조하면, 1401 동작에서, 전자 장치(101)(예: 도 1의 전자 장치(101))는 서버(108)(예: 도 1의 서버(108))에 제어 대상 기기 ID를 전송할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(104)(예: 도 1의 전자 장치(104))로부터 수신된 통신 신호(예: UWB 신호, 블루투스 신호, Wi-Fi 신호)의 세기를 기반으로 외부 전자 장치(104)와의 거리를 획득하고, 외부 전자 장치(104)가 제어 영역(예: 도 4의 제어 영역(410)) 내에 위치함이 감지되면, 리모컨(예: 도 1의 전자 장치(102))으로 외부 전자 장치(104)를 제어하기 위해 서버(108)에 외부 전자 장치(104)의 기기 정보를 전송하며 외부 전자 장치(104)의 기능 정보를 요청할 수 있다.
일 실시 예에 따라, 1402 동작에서, 서버(108)는 전자 장치(101)에 외부 전자 장치(104)의 프로파일(profile) 및 상태(status) 정보를 전송할 수 있다. 예를 들어, 외부 전자 장치(104)의 프로파일은 원격으로 제어할 수 있는 외부 전자 장치(104)의 기능 정보를 포함하고, 외부 전자 장치(104)의 상태 정보는 외부 전자 장치가 켜져 있는 상태인지, 꺼져 있는 상태인지, 또는 켜져 있는 상태라면 수행 중인 기능에 대한 정보를 포함할 수 있다.
일 실시 예에 따라, 1403 동작에서, 전자 장치(101)는 기능의 순서를 구성할 수 있다. 예를 들어, 전자 장치(101)는, 서버(108)로부터 수신한 외부 전자 장치(104)의 기능 정보를 기반으로 외부 전자 장치(104)의 복수의 기능의 순서를 획득할 수 있다. 일 실시 예에 따라, 복수의 기능의 순서는 전자 장치(101)와 연결된 리모컨의 하나의 설정된 버튼 조작을 통해 리모컨의 하나의 설정된 버튼에 매핑되는 기능의 변경 순서를 포함할 수 있다. 예를 들어, 복수의 기능의 순서는 맨 앞에 외부 전자 장치(104)를 켜는 기능, 맨 뒤에는 외부 전자 장치(104)를 끄는 기능이 포함될 수 있으며, 리모컨의 하나의 설정된 버튼에는 외부 전자 장치(104)를 켜는 기능이 매핑된 상태일 수 있다.
일 실시 예에 따라, 1404 동작에서, 전자 장치(101)는 서버(108)로부터 수신한 외부 전자 장치(104)의 상태 정보 및 기능의 순서를 기반으로 사용자 인터페이스를 표시할 수 있다. 예를 들어, 사용자 인터페이스는 외부 전자 장치(104)는 거실에 위치한 에어컨으로, 리모컨으로 실행할 수 있는 외부 전자 장치(104)의 기능은 5개이고, 외부 전자 장치(104)는 꺼져 있는 상태임을 나타낼 수 있다.
일 실시 예에 따라, 1405 동작에서, 전자 장치(101)는 리모컨으로부터 리모컨의 하나의 설정된 버튼(예: extra 버튼)의 조작에 대응되는 신호가 수신되면, 리모컨의 하나의 설정된 버튼에 매핑되는 기능을 복수의 기능의 순서에 기반하여 다음 기능(예: 제습)으로 매핑할 수 있다.
일 실시 예에 따라, 1406 동작에서, 전자 장치(101)는 리모컨의 하나의 설정된 버튼에 매핑된 기능인 외부 전자 장치(104)를 켜는 기능을 실행하기 위한 실행 명령(예: 전원 On command)을 서버(108)를 통해 외부 전자 장치(104)로 전송할 수 있다.
일 실시 예에 따라, 1407 동작에서, 외부 전자 장치(104)는 수신된 실행 명령에 기반하여 전원을 켜는 기능을 실행할 수 있다. 일 실시 예에 따라, 1408 동작에서, 외부 전자 장치(104)는 현재 상태 정보를 서버(108)를 통해 전자 장치(101)로 전송할 수 있다. 예를 들어, 외부 전자 장치(104)는 현재 냉방 기능이 수행 중이며, 희망 온도가 24도임을 포함하는 상태 정보를 전자 장치(101)로 전송할 수 있다.
일 실시 예에 따라, 1409 동작에서, 전자 장치(101)는 수신된 외부 전자 장치(104)의 상태 정보를 기반으로 사용자 인터페이스를 변경할 수 있다. 예를 들어, 현재 외부 전자 장치(104)는 냉방 상태이고, 희망 온도가 24도임을 포함하도록 사용자 인터페이스를 변경할 수 있다.
일 실시 예에 따라, 1410 동작에서, 리모컨으로부터 하 버튼의 조작에 대응되는 신호가 수신되면, 전자 장치(101)는 1411 동작에서, 전자 장치(101)는 희망 온도를 1도 낮추는 동작을 실행하기 위한 실행 명령을 서버(108)를 통해 외부 전자 장치(104)로 전송할 수 있다.
일 실시 예에 따라, 1412 동작에서, 외부 전자 장치(104)는 수신된 실행 명령에 기반하여 희망 온도를 1도 낮추는 동작을 실행할 수 있다. 일 실시 예에 따라, 1413 동작에서, 외부 전자 장치(104)는 현재 상태 정보를 서버(108)를 통해 전자 장치(101)로 전송할 수 있다. 예를 들어, 외부 전자 장치(104)는 현재 냉방 기능이 수행 중이며, 희망 온도가 23도임을 포함하는 상태 정보를 전자 장치(101)로 전송할 수 있다.
일 실시 예에 따라, 1414 동작에서, 전자 장치(101)는 수신된 외부 전자 장치(104)의 상태 정보를 기반으로 사용자 인터페이스를 변경할 수 있다. 예를 들어, 현재 외부 전자 장치(104)는 냉방 상태이고, 희망 온도가 23도임을 포함하도록 사용자 인터페이스를 변경할 수 있다.
일 실시 예에 따라, 1415 동작에서, 전자 장치(101)는 리모컨으로부터 리모컨의 하나의 설정된 버튼(예: extra 버튼)의 조작에 대응되는 신호가 수신되면, 리모컨의 하나의 설정된 버튼에 매핑되는 기능을 복수의 기능의 순서에 기반하여 다음 기능(예: 송풍)으로 매핑할 수 있다.
일 실시 예에 따라, 1416 동작에서, 전자 장치(101)는 리모컨으로부터 수신된 신호에 대응되는 제습 기능을 실행하기 위한 실행 명령을 서버(108)로 전송할 수 있다. 일 실시 예에 따라, 1417 동작에서, 서버(108)는 제습 기능을 실행하기 위한 실행 명령을 외부 전자 장치(104)에 전송할 수 있다.
일 실시 예에 따라, 1418 동작에서, 외부 전자 장치(104)는 수신된 실행 명령에 기반하여 실행 중인 기능을 변경할 수 있다. 예를 들어, 외부 전자 장치(104)는 실행 중이던 냉방 기능을 종료하고, 제습 기능을 실행할 수 있다. 일 실시 예에 따라, 1419 동작에서, 외부 전자 장치(104)는 외부 전자 장치(104)는 제습 기능이 실행 중인 현재 상태 정보를 서버(108)를 통해 전자 장치(101)로 전송할 수 있다.
일 실시 예에 따라, 1420 동작에서, 전자 장치(101)는 수신된 외부 전자 장치(104)의 상태 정보를 기반으로 사용자 인터페이스를 변경할 수 있다. 예를 들어, 현재 외부 전자 장치(104)는 제습 기능이 실행 중임을 나타내도록 사용자 인터페이스를 변경할 수 있다.
일 실시 예에 따라, 1421 동작에서, 전자 장치(101)는 리모컨으로부터 리모컨의 하나의 설정된 버튼(예: extra 버튼)의 조작에 대응되는 신호가 수신되면, 리모컨의 하나의 설정된 버튼에 매핑되는 기능을 복수의 기능의 순서에 기반하여 다음 기능(예: 전원을 끄는 기능)으로 매핑할 수 있다.
일 실시 예에 따라, 1422 동작에서, 전자 장치(101)는 리모컨으로부터 수신된 신호에 대응되는 기능인 송풍 기능을 실행하기 위한 실행 명령을 서버(108)로 전송할 수 있다. 일 실시 예에 따라, 1423 동작에서, 서버(108)는 송풍 기능을 실행하기 위한 실행 명령을 외부 전자 장치(104)에 전송할 수 있다.
일 실시 예에 따라, 1424 동작에서, 외부 전자 장치(104)는 수신된 실행 명령에 기반하여 실행 중인 기능을 변경할 수 있다. 예를 들어, 외부 전자 장치(104)는 실행 중이던 제습 기능을 종료하고, 송풍 기능을 실행할 수 있다. 일 실시 예에 따라, 1425 동작에서, 외부 전자 장치(104)는 외부 전자 장치(104)는 송풍 기능이 실행 중인 현재 상태 정보를 서버(108)를 통해 전자 장치(101)로 전송할 수 있다.
일 실시 예에 따라, 1426 동작에서, 전자 장치(101)는 수신된 외부 전자 장치(104)의 상태 정보를 기반으로 사용자 인터페이스를 변경할 수 있다. 예를 들어, 현재 외부 전자 장치(104)는 송풍 기능이 실행 중임을 나타내도록 사용자 인터페이스를 변경할 수 있다.
일 실시 예에 따라, 1427 동작에서, 전자 장치(101)는 리모컨으로부터 리모컨의 하나의 설정된 버튼(예: extra 버튼)의 조작에 대응되는 신호가 수신되면, 리모컨의 하나의 설정된 버튼에 매핑되는 기능을 복수의 기능의 순서에 기반하여 다음 기능(예: 전원을 켜는 기능)으로 매핑할 수 있다.
일 실시 예에 따라, 1428 동작에서, 전자 장치(101)는 리모컨으로부터 수신된 신호에 대응되는 기능인 전원을 끄는 기능(예: 전원 OFF Command)을 실행하기 위한 실행 명령을 서버(108)로 전송할 수 있다. 일 실시 예에 따라, 1429 동작에서, 서버(108)는 외부 전자 장치(104)의 전원을 끄는 기능을 실행하기 위한 실행 명령을 외부 전자 장치(104)에 전송할 수 있다.
일 실시 예에 따라, 1430 동작에서, 외부 전자 장치(104)는 수신된 실행 명령에 기반하여 전원을 끌 수 있다. 일 실시 예에 따라, 1425 동작에서, 외부 전자 장치(104)는 외부 전자 장치(104)는 송풍 기능이 실행 중인 현재 상태 정보를 서버(108)를 통해 전자 장치(101)로 전송할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 1404 동작과 같은 사용자 인터페이스를 변경할 수 있다. 예를 들어, 현재 외부 전자 장치(104)는 전원이 꺼져 있는 상태임을 나타내도록 사용자 인터페이스를 변경할 수 있다.
일 실시 예에 따라, 1431 동작을 참조하면, 전자 장치(101)는 리모컨으로부터 리모컨의 하나의 설정된 버튼(예: extra 버튼)의 설정된 조작(예: 롱프레스)에 대응되는 신호가 수신되면, 외부 전자 장치(104)의 상태와 무관하게 설정된 기능(예: 전원을 끄는 동작)의 실행 명령을 외부 전자 장치(104)에 전송할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 리모컨의 하나의 설정된 버튼에 전원을 끄는 기능의 다음 기능인 전원을 켜는 기능을 매핑하고, 외부 전자 장치(104)가 꺼져 있는 상태임을 나타낸도록 사용자 인터페이스를 변경할 수 있다.
도 15a는 일 실시 예에 따른 전자 장치의 컨텐트 표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 15a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는, 컨텐트 시청 중 외부 전자 장치(예: 도 1의 전자 장치(104))가 감지되면, 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼으로 외부 전자 장치를 제어할 수 있음을 나타내는 사용자 인터페이스(1510)를 디스플레이(예: 디스플레이를 포함하는 도 1의 디스플레이 모듈(160))의 일부 영역(예: 에지 영역)에 표시할 수 있다. 예를 들어, 사용자 인터페이스(1510)는 외부 전자 장치의 종류 및 상태 정보(예: 스마트 기능 실행 중)를 포함할 수 있다. 일 실시 예에 따라, 전자 장치는 리모컨의 설정된 하나의 버튼을 통해 제어할 수 있는 외부 전자 장치의 복수의 기능의 순서를 획득할 수 있다.
일 실시 예에 따라, 리모컨으로부터 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호를 수신하면, 전자 장치는 리모컨의 하나의 설정된 버튼에 매핑된 기능(예: 강풍)의 실행 명령을 외부 전자 장치(104)에 전송하고, 외부 전자 장치의 복수의 기능의 순서를 기반으로 리모컨의 하나의 설정된 버튼을 다음 기능으로 매핑할 수 있다. 일 실시 예에 따라, 전자 장치는 도 15b에 도시된 바와 같이, 외부 전자 장치의 상태가 변경되었음을 나타내도록 사용자 인터페이스를 변경할 수 있다.
도 15b는 일 실시 예에 따른 전자 장치의 컨텐트 표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 15b를 참조하면, 리모컨으로부터 리모컨의 하나의 설정된 버튼의 조작에 대응되는 신호를 수신함에 따라, 도 15a의 사용자 인터페이스(1510)를 강풍 기능이 실행되고 있음을 나타내는 사용자 인터페이스(1520)로 변경할 수 있다.
이와 같이, 일 실시 예에 따른 전자 장치는 컨텐트 재생 중에는 디스플레이의 일부 영역에 외부 전자 장치와 관련된 사용자 인터페이스를 표시하므로, 컨텐트 시청의 방해를 줄이면서 외부 전자 장치의 제어에 대한 직관적인 정보를 제공할 수 있다.
도 16a는 일 실시 예에 따른 전자 장치의 컨텐트 미표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다. 예를 들어, 도 16a는 전자 장치의 전원은 켜져 있으나, 대기모드, 매직 스크린 또는 아트 모드와 같이 컨텐트 재생 중이 아닌 경우를 도시한 것이다.
도 16a를 참조하면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는, 전자 장치의 전원은 켜져 있으나 컨텐트 재생 중이 아닌 상태에서 외부 전자 장치(예: 도 1의 전자 장치(104))가 감지되면, 리모컨(예: 도 1의 전자 장치(102))의 하나의 설정된 버튼으로 외부 전자 장치를 제어할 수 있음을 나타내는 사용자 인터페이스(1610)를 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부 영역(예: 중앙 영역)에 표시할 수 있다. 예를 들어, 사용자 인터페이스(1610)는 외부 전자 장치의 종류 및 상태 정보(예: 공기 청정 기능 실행 중, 공기 오염도)를 포함할 수 있다. 일 실시 예에 따라, 전자 장치는 컨텐트가 재생 중이 아닌 상태에서는 외부 전자 장치의 상태 정보를 보다 구체적으로 표시할 수 있다. 예를 들어, 도 16b에 도시된 바와 같이, 외부 전자 장치의 상태 정보를 실시간으로 표시할 수 있다.
도 16b는 일 실시 예에 따른 전자 장치의 컨텐트 미표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 16b를 참조하면, 전자 장치는 외부 전자 장치의 기능 실행과 관련된 정보를 실시간으로 표시하도록 사용자 인터페이스(1620)를 변경할 수 있다.
도 16a 및 도 16b에서는 디스플레이의 일부 영역에 외부 전자 장치와 관련된 사용자 인터페이스를 표시하는 것으로 도시하였다. 그러나, 컨텐트 재생 중이 아닌 경우에는 도 16c에 도시된 바와 같이, 디스플레이 전체 영역에 외부 전자 장치와 관련된 사용자 인터페이스를 표시할 수도 있다.
도 16c는 일 실시 예에 따른 전자 장치의 컨텐트 미표시 중 사용자 인터페이스를 표시하는 동작을 설명하기 위한 도면이다.
도 16c를 참조하면, 전자 장치는 전원이 켜져있는 상태이나, 컨텐트를 재생 중이 아니면, 외부 전자 장치가 감지되었을 때, 디스플레이의 전체 영역에 외부 전자 장치와 관련된 사용자 인터페이스(1630)를 표시할 수도 있다. 일 실시 예에 따라, 디스플레이 전체 영역에 외부 전자 장치와 관련된 사용자 인터페이스(1630)가 표시된 경우, 전자 장치는 리모컨의 하나의 설정된 버튼 뿐만 아니라, 리모컨에 포함된 다른 버튼의 조작에 의해서도 외부 전자 장치를 제어할 수 있다.
도 17은 일 실시 예에 따른 전자 장치에 대한 외부 전자 장치의 위치에 기반하여 사용자 인터페이스가 표시되는 위치를 설명하기 위한 도면이다.
도 17을 참조하면, 전자 장치(101)(예: 도 1의 전자 장치(101) 또는 도 1의 프로세서(120))는, 외부 전자 장치(104-1, 104-2, 104-3)(예: 도 1의 전자 장치(104))의 전자 장치(101)에 대한 위치를 기반으로 외부 전자 장치(104-1, 104-2, 104-3)와 관련된 사용자 인터페이스(1710, 1720, 1730)가 표시되는 위치를 결정할 수 있다. 예를 들어, 전자 장치(101)는 전자 장치(101)의 디스플레이(예: 도 1의 디스플레이 모듈(160))의 중심(1701)과 외부 전자 장치의 위치(104-1, 104-2, 104-3)를 연결하는 선이 포함된 디스플레이의 에지 영역에 사용자 인터페이스(1710, 1720, 1730)를 표시할 수 있다.
일 실시 예에 따라, 제1 외부 전자 장치(104-1)가 전자 장치(101)의 왼쪽 상단에 위치하는 경우, 전자 장치(101)는 제1 외부 전자 장치(104-1)와 관련된 사용자 인터페이스(1710)를 디스플레이의 왼쪽 상단 에지 영역에 표시할 수 있다.
일 실시 예에 따라, 제2 외부 전자 장치(104-2)가 전자 장치(101)의 왼쪽 하단에 위치하는 경우, 전자 장치(101)는 제2 외부 전자 장치(104-2)와 관련된 사용자 인터페이스(1720)를 디스플레이의 왼쪽 하단 에지 영역에 표시할 수 있다.
일 실시 예에 따라, 제3 외부 전자 장치(104-3)가 전자 장치(101)의 오른쪽 하단에 위치하는 경우, 전자 장치(101)는 제3 외부 전자 장치(104-3)와 관련된 사용자 인터페이스(1730)를 디스플레이의 오른쪽 하단 에지 영역에 표시할 수 있다.
이와 같이, 전자 장치에 대한 외부 전자 장치의 위치를 기반으로 외부 전자 장치와 관련된 사용자 인터페이스를 표시함으로써, 제어되고 있는 외부 전자 장치에 대한 정보를 사용자에게 보다 직관적으로 제공할 수 있다.
일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는, 적어도 하나의 통신 회로(예: 도 1의 통신 모듈(190)), 디스플레이(예: 도 1의 디스플레이 모듈(160)), 메모리(예: 도 1의 메모리(130)) 및 적어도 하나의 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지되면, 상기 외부 전자 장치에 대한 기능 정보를 획득하고, 상기 외부 전자 장치에 대한 기능 정보를 기반으로, 상기 전자 장치와 통신하는 리모컨에 포함된 하나의 설정된 버튼에 매핑되는 상기 외부 전자 장치의 복수의 기능의 순서를 획득하고, 상기 리모컨의 상기 하나의 설정된 버튼을 통해 상기 외부 전자 장치를 제어 가능함을 나타내는 사용자 인터페이스(user interface)를 상기 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하고, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 기능의 순서에 기반하여 상기 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치에 전송할 수 있다.
본 개시에 사용된 “기반하여”는 적어도 기반함을 포함한다.
일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신된 후, 상기 복수의 기능의 순서에 기반하여 상기 리모컨의 상기 하나의 설정된 버튼에 상기 제1 기능의 다음 기능인 제2 기능을 매핑할 수 있다.
일 실시 예에 따르면, 상기 사용자 인터페이스는, 상기 복수의 기능의 순서에 대한 정보 및 상기 복수의 기능 중 상기 외부 전자 장치가 실행 중인 기능에 대한 정보를 포함하는 것일 수 있다.
일 실시 예에 따르면, 상기 복수의 기능은, 상기 외부 전자 장치의 전원을 켜는 기능 및 상기 외부 전자 장치의 전원을 끄는 기능을 포함하고, 상기 적어도 하나의 프로세서는, 상기 리모컨의 상기 하나의 설정된 버튼의 롱프레스에 대응되는 신호가 수신되면, 상기 외부 전자 장치의 전원을 끄는 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치가 감지되면, 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어할지 여부를 확인하기 위한 메시지를 상기 디스플레이의 일부 영역에 표시하고, 상기 메시지에 응답하여 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어하기 위한 사용자 입력이 수신되면, 상기 사용자 인터페이스를 상기 디스플레이의 일부 영역에 표시할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 통신 회로를 통해, 복수의 외부 전자 장치가 감지되면, 상기 리모컨의상기 하나의 설정된 버튼에 매핑되는 상기 복수의 외부 전자 장치의 순서를 획득하고, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 외부 전자 장치의 순서에 기반하여, 상기 리모컨의 상기 하나의 설정된 버튼으로 제어되는 제어 대상 장치를 확인할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 전자 장치에 대한 상기 외부 전자 장치의 위치와 관련된 상기 디스플레이의 일부 영역에 상기 사용자 인터페이스를 표시할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 통신 회로를 통해 서버로부터 상기 외부 전자 장치에 대한 기능 정보를 획득할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 서버가 상기 제1 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송하도록 상기 제1기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 서버에 전송할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 사용자 인터페이스가 표시된 이후 설정된 시간 동안, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되지 않으면, 상기 사용자 인터페이스를 삭제할 수 있다.
일 실시 예에 따르면, 전자 장치의 제어 방법은, 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지되면, 외부 전자 장치에 대한 기능 정보를 획득하는 동작, 상기 외부 전자 장치에 대한 기능 정보를 기반으로, 상기 전자 장치와 통신하는 리모컨에 포함된 하나의 설정된 버튼에 매핑되는 상기 외부 전자 장치의 복수의 기능의 순서를 획득하는 동작, 상기 리모컨의 상기 하나의 설정된 버튼을 통해 상기 외부 전자 장치를 제어 가능함을 나타내는 사용자 인터페이스(user interface)를 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하는 동작 및 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 기능의 순서에 기반하여 상기 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치에 전송하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신된 후, 상기 복수의 기능의 순서에 기반하여 상기 리모컨의 상기 하나의 설정된 버튼에 상기 제1 기능의 다음 기능인 제2 기능을 매핑하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 사용자 인터페이스는, 상기 복수의 기능의 순서에 대한 정보 및 상기 복수의 기능 중 상기 외부 전자 장치가 실행 중인 기능에 대한 정보를 포함하는 것일 수 있다.
일 실시 예에 따르면, 상기 복수의 기능은, 상기 외부 전자 장치의 전원을 켜는 기능 및 상기 외부 전자 장치의 전원을 끄는 기능을 포함하고, 상기 리모컨의 상기 하나의 설정된 버튼의 롱프레스에 대응되는 신호가 수신되면, 상기 외부 전자 장치의 전원을 끄는 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치가 감지되면, 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어할지 여부를 확인하기 위한 메시지를 상기 디스플레이의 일부 영역에 표시하는 동작을 더 포함하고, 상기 사용자 인터페이스(user interface)를 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하는 동작은, 상기 메시지에 응답하여 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어하기 위한 사용자 입력이 수신되면, 상기 사용자 인터페이스를 상기 디스플레이의 일부 영역에 표시할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 통신 회로를 통해, 복수의 외부 전자 장치가 감지되면, 상기 리모컨의 상기 하나의 설정된 버튼에 매핑되는 상기 복수의 외부 전자 장치의 순서를 획득하는 동작 및 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 외부 전자 장치의 순서에 기반하여, 상기 리모컨의 상기 하나의 설정된 버튼으로 제어되는 제어 대상 장치를 확인하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 사용자 인터페이스(user interface)를 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하는 동작은, 상기 전자 장치에 대한 상기 외부 전자 장치의 위치와 관련된 상기 디스플레이의 일부 영역에 상기 사용자 인터페이스를 표시할 수 있다.
일 실시 예에 따르면, 상기 외부 전자 장치에 대한 기능 정보를 획득하는 동작은, 상기 적어도 하나의 통신 회로를 통해 서버로부터 상기 외부 전자 장치에 대한 기능 정보를 획득할 수 있다.
일 실시 예에 따르면, 상기 제1 기능에 대한 실행 명령을 외부 전자 장치에 전송하는 동작은, 서버가 상기 제1 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송하도록 상기 제1 기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 서버에 전송할 수 있다.
일 실시 예에 따르면, 상기 사용자 인터페이스가 표시된 이후 설정된 시간 동안, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되지 않으면, 상기 사용자 인터페이스를 삭제하는 동작을 더 포함할 수 있다.
본 개시의 각 실시 예는 본 개시에 기재된 임의의 다른 실시 예(들)와 조합하여 사용될 수 있다.
다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 일 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 적어도 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. 따라서, 본 개시의 각 “모듈”은 회로를 포함할 수 있다.
다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시는 다양한 실시예를 참조하여 예시 및 설명되었지만, 다양한 실시예는 제한이 아니라 예시를 위한 것임을 이해할 것이다. 첨부된 특허청구범위 및 그 등가물을 포함하는 본 개시의 진정한 사상 및 전체 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있음이 통상의 기술자에 의해 추가로 이해될 것이다. 또한, 본 개시에 기재된 임의의 실시예(들)는 본 개시에 기재된 임의의 다른 실시예(들)와 함께 사용될 수 있음을 이해할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 통신 회로;
    디스플레이;
    메모리; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지됨에 기반하여, 상기 외부 전자 장치에 대한 기능 정보를 획득하고,
    상기 외부 전자 장치에 대한 기능 정보를 기반으로, 상기 전자 장치와 통신하기 위한 리모컨에 포함된 설정된 버튼에 매핑되는 상기 외부 전자 장치의 복수의 기능의 순서를 획득하고,
    상기 리모컨의 상기 설정된 버튼을 통해 상기 외부 전자 장치를 제어 가능함을 적어도 나타내는 사용자 인터페이스(user interface)를 상기 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하고,
    상기 리모컨의 상기 설정된 버튼의 조작에 대응되는 신호가 수신됨에 기반하여, 상기 복수의 기능의 순서에 기반하여 상기 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치에 전송하도록 제어하는, 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 리모컨의 상기 설정된 버튼의 조작에 대응되는 신호가 수신된 후, 상기 복수의 기능의 순서에 기반하여 상기 리모컨의 상기 설정된 버튼에 상기 제1 기능의 다음 기능인 제2 기능을 매핑하는 전자 장치.
  3. 제1항에 있어서,
    상기 사용자 인터페이스는,
    상기 복수의 기능의 순서에 대한 정보 및 상기 복수의 기능 중 상기 외부 전자 장치가 실행 중인 기능에 대한 정보를 포함하는 것인, 전자 장치.
  4. 제1항에 있어서,
    상기 복수의 기능은,
    상기 외부 전자 장치의 전원을 켜는 기능 및 상기 외부 전자 장치의 전원을 끄는 기능을 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 리모컨의 상기 설정된 버튼의 롱프레스에 대응되는 신호가 수신됨에 기반하여, 상기 외부 전자 장치의 전원을 끄는 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송하도록 제어하는 전자 장치.
  5. 제1항에 있어서,
    상기 설정된 버튼은 하나의 설정된 버튼이고,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치가 감지됨에 기반하여, 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어할지 여부를 확인하기 위한 메시지를 상기 디스플레이의 일부 영역에 표시하도록 제어하고,
    상기 메시지에 응답하여 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어하기 위한 사용자 입력이 수신됨에 기반하여, 상기 사용자 인터페이스를 상기 디스플레이의 일부 영역에 표시하도록 제어하는 전자 장치.
  6. 제1항에 있어서,
    상기 설정된 버튼은 하나의 설정된 버튼이고,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 통신 회로를 통해, 복수의 외부 전자 장치가 감지되됨에 기반하여, 상기 리모컨의 상기 하나의 설정된 버튼에 매핑되는 상기 복수의 외부 전자 장치의 순서를 획득하고,
    상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 외부 전자 장치의 순서에 기반하여, 상기 리모컨의 상기 하나의 설정된 버튼으로 제어되는 제어 대상 장치를 확인하는 전자 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 장치에 대한 상기 외부 전자 장치의 위치와 관련된 상기 디스플레이의 일부 영역에 상기 사용자 인터페이스를 표시하도록 제어하는 전자 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 통신 회로를 통해 서버로부터 상기 외부 전자 장치에 대한 기능 정보를 획득하는 전자 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    서버가 상기 제1 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송할 수 있도록 상기 제1기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 서버에 전송하도록 제어하는 전자 장치.
  10. 제1항에 있어서,
    상기 설정된 버튼은 하나의 설정된 버튼이고,
    상기 적어도 하나의 프로세서는,
    상기 사용자 인터페이스가 표시된 이후 설정된 시간 동안, 상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되지 않으면, 상기 사용자 인터페이스를 삭제하는 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치의 적어도 하나의 통신 회로를 통해 외부 전자 장치가 감지되면, 외부 전자 장치에 대한 기능 정보를 획득하는 동작;
    상기 외부 전자 장치에 대한 기능 정보를 기반으로, 상기 전자 장치와 통신하기 위한 리모컨에 포함된 하나의 설정된 버튼에 매핑되는 상기 외부 전자 장치의 복수의 기능의 순서를 획득하는 동작;
    상기 리모컨의 상기 하나의 설정된 버튼을 통해 상기 외부 전자 장치를 제어 가능함을 나타내는 사용자 인터페이스(user interface)를 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하는 동작; 및
    상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신되면, 상기 복수의 기능의 순서에 기반하여 상기 하나의 설정된 버튼에 매핑된 제1 기능에 대한 실행 명령을 상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치에 전송하는 동작;을 포함하는 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 리모컨의 상기 하나의 설정된 버튼의 조작에 대응되는 신호가 수신된 후, 상기 복수의 기능의 순서에 기반하여 상기 리모컨의 상기 하나의 설정된 버튼에 상기 제1 기능의 다음 기능인 제2 기능을 매핑하는 동작;을 더 포함하는 전자 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 사용자 인터페이스는,
    상기 복수의 기능의 순서에 대한 정보 및 상기 복수의 기능 중 상기 외부 전자 장치가 실행 중인 기능에 대한 정보를 포함하는 것인, 전자 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 복수의 기능은,
    상기 외부 전자 장치의 전원을 켜는 기능 및 상기 외부 전자 장치의 전원을 끄는 기능을 포함하고,
    상기 리모컨의 상기 하나의 설정된 버튼의 롱프레스에 대응되는 신호가 수신되면, 상기 외부 전자 장치의 전원을 끄는 기능에 대한 실행 명령을 상기 외부 전자 장치에 전송하는 동작;을 더 포함하는 전자 장치의 제어 방법.
  15. 제11항에 있어서,
    상기 적어도 하나의 통신 회로를 통해 상기 외부 전자 장치가 감지되면, 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어할지 여부를 확인하기 위한 메시지를 상기 디스플레이의 일부 영역에 표시하는 동작;을 더 포함하고,
    상기 사용자 인터페이스(user interface)를 디스플레이의 일부 영역에 표시하도록 상기 디스플레이를 제어하는 동작은,
    상기 메시지에 응답하여 상기 리모컨의 상기 하나의 설정된 버튼으로 상기 외부 전자 장치를 제어하기 위한 사용자 입력이 수신되면, 상기 사용자 인터페이스를 상기 디스플레이의 일부 영역에 표시하는 전자 장치의 제어 방법.
PCT/KR2022/019354 2021-12-24 2022-12-01 외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법 Ceased WO2023121041A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22911674.4A EP4362398A4 (en) 2021-12-24 2022-12-01 ELECTRONIC DEVICE FOR CONTROLLING AN EXTERNAL ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE SAME
US18/083,979 US12596340B2 (en) 2021-12-24 2022-12-19 Electronic device controlling external device and method for controlling the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210186893 2021-12-24
KR10-2021-0186893 2021-12-24
KR1020220008102A KR20230097919A (ko) 2021-12-24 2022-01-19 외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법
KR10-2022-0008102 2022-01-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/083,979 Continuation US12596340B2 (en) 2021-12-24 2022-12-19 Electronic device controlling external device and method for controlling the same

Publications (1)

Publication Number Publication Date
WO2023121041A1 true WO2023121041A1 (ko) 2023-06-29

Family

ID=86903009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/019354 Ceased WO2023121041A1 (ko) 2021-12-24 2022-12-01 외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2023121041A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160165295A1 (en) * 2008-06-27 2016-06-09 Universal Electronics Inc. System and method for ubiquitous appliance control
KR20170083240A (ko) * 2016-01-08 2017-07-18 디노플러스 (주) 스마트 홈 구현을 위한 통합 게이트웨이장치
KR20170143406A (ko) * 2016-06-21 2017-12-29 삼성전자주식회사 리모컨신호를 수신하고 변환된 리모컨신호를 출력할 수 있는 디스플레이장치 및 그 제어방법
KR20200069060A (ko) * 2018-12-06 2020-06-16 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 이를 포함하는 원격 제어 시스템
KR20210032834A (ko) * 2019-09-17 2021-03-25 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160165295A1 (en) * 2008-06-27 2016-06-09 Universal Electronics Inc. System and method for ubiquitous appliance control
KR20170083240A (ko) * 2016-01-08 2017-07-18 디노플러스 (주) 스마트 홈 구현을 위한 통합 게이트웨이장치
KR20170143406A (ko) * 2016-06-21 2017-12-29 삼성전자주식회사 리모컨신호를 수신하고 변환된 리모컨신호를 출력할 수 있는 디스플레이장치 및 그 제어방법
KR20200069060A (ko) * 2018-12-06 2020-06-16 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 이를 포함하는 원격 제어 시스템
KR20210032834A (ko) * 2019-09-17 2021-03-25 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버

Similar Documents

Publication Publication Date Title
WO2022030990A1 (ko) 복수의 디스플레이를 통해 다양한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2022031047A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 화면 운용 방법
WO2022108110A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 그 운용 방법
WO2022108283A1 (ko) 확장 가능한 디스플레이 제어 방법 및 이를 지원하는 전자 장치
WO2022060046A1 (ko) 엣지 컴퓨팅 시스템 및 엣지 컴퓨팅 장치의 핸드오버 방법
WO2023008968A1 (ko) 카메라를 포함하는 전자 장치 및 전자 장치의 동작 방법
WO2023003425A1 (ko) 가전 기기를 제어하는 방법 및 장치
WO2022124846A1 (ko) Iot 환경의 허브 장치 및 로컬 네트워크 기반 이벤트 처리 방법
WO2022203238A1 (ko) 스토리지를 포함하는 전자 장치 및 그 방법
WO2023121041A1 (ko) 외부 전자 장치를 제어하는 전자 장치 및 이의 제어 방법
WO2023043161A1 (ko) 가전 장치를 제어하는 방법 및 시스템
WO2024085356A1 (ko) 장치 변경을 위한 전자 장치 및 그 동작 방법
WO2024034787A1 (ko) 피제어 장치를 관리하는 전자 장치 및 그 동작 방법
WO2022239989A1 (ko) 전자 장치, 시스템 및 그의 동작 방법
WO2022145820A1 (ko) 전자 장치 및 이를 이용한 외부 전자 장치의 식별 정보 송신 방법
WO2023101461A1 (ko) 외부 기기를 제어하는 전자 장치 및 전자 장치의 동작 방법
WO2024123042A1 (ko) 배터리 정보를 표시하는 전자 장치 및 전자 장치의 동작 방법
WO2024162558A1 (ko) 가전 기기를 디스플레이 및 제어하는 전자 장치 및 방법
WO2024172343A1 (ko) 위치 정보를 제공하는 전자 장치 및 이의 동작 방법
WO2025121669A1 (ko) 전자 장치 및 전자 장치에서 홈 화면의 편집을 위한 방법
WO2022092458A1 (ko) 전자 장치 및 전자 장치에서 태스크 수행을 위한 장치를 결정하는 방법
WO2024063564A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 동작 방법
WO2023018230A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2024034838A1 (ko) 복수의 디스플레이들을 통해 화면을 표시하기 위한 전자 장치 및 방법
WO2026054367A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911674

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022911674

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022911674

Country of ref document: EP

Effective date: 20240125

NENP Non-entry into the national phase

Ref country code: DE