WO2024253472A1 - 전자 장치 및 이를 이용한 외부 전자 장치 제어 방법 - Google Patents

전자 장치 및 이를 이용한 외부 전자 장치 제어 방법 Download PDF

Info

Publication number
WO2024253472A1
WO2024253472A1 PCT/KR2024/007829 KR2024007829W WO2024253472A1 WO 2024253472 A1 WO2024253472 A1 WO 2024253472A1 KR 2024007829 W KR2024007829 W KR 2024007829W WO 2024253472 A1 WO2024253472 A1 WO 2024253472A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
application
external electronic
display
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/007829
Other languages
English (en)
French (fr)
Inventor
문희경
나해리
박완제
안진완
조준희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230104065A external-priority patent/KR20240174019A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US18/784,031 priority Critical patent/US20240411417A1/en
Publication of WO2024253472A1 publication Critical patent/WO2024253472A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • Embodiments of the present disclosure relate to an electronic device and a method for controlling an external electronic device using the same.
  • various applications can be performed by using one or more electronic devices.
  • a user can connect two electronic devices with a wire or wirelessly to allow an application running on one electronic device to be run on another electronic device.
  • An electronic device may transmit attribute information related to a running application to another electronic device so that the application running on the electronic device may be executed on another electronic device connected to the electronic device.
  • an electronic device may display at least one object on a display for controlling a function of the application transmitted to the other electronic device.
  • one aspect of the present disclosure may provide a method for controlling an electronic device and an external electronic device using the same.
  • an electronic device may include a communication circuit, a display, a memory storing one or more computer programs, and one or more processors communicatively connected to the communication circuit, the display, and the memory.
  • the one or more computer programs including computer-executable instructions according to one embodiment may, when executed by the one or more processors, cause the electronic device to display a first set of rows of objects representing a plurality of applications executable by the electronic device in a task bar area of the display.
  • the one or more computer programs including computer-executable instructions according to one embodiment may, when executed by the one or more processors, cause the electronic device to detect an external electronic device proximate to the electronic device through the communication circuit.
  • the one or more computer programs including computer-executable instructions according to one embodiment may, when executed by the one or more processors, cause the electronic device to connect with the external electronic device through communication based on detecting the external electronic device.
  • the one or more computer programs including computer-executable instructions according to one embodiment, when executed by the one or more processors, may cause the electronic device to identify an application executable by the external electronic device.
  • the one or more computer programs including computer-executable instructions according to one embodiment, when executed by the one or more processors, may cause the electronic device to display a second object representing an application executable by the external electronic device in the task bar area of the display.
  • the one or more computer programs including computer-executable instructions when executed by the one or more processors, may cause the electronic device to receive an input for the second object and, based on the input, transmit information related to an application corresponding to the second object to the external electronic device through the communication circuit.
  • a method for controlling an external electronic device of an electronic device may include an operation of displaying a first set of rows of objects representing a plurality of applications executable by the electronic device in a task bar area of a display.
  • a method for controlling an external electronic device of an electronic device may include an operation of detecting an external electronic device approaching the electronic device via a communication circuit.
  • a method for controlling an external electronic device of an electronic device may include an operation of connecting with the external electronic device via communication based on detecting the external electronic device.
  • a method for controlling an external electronic device of an electronic device may include an operation of identifying an application executable by the external electronic device.
  • a method for controlling an external electronic device of an electronic device may include an operation of displaying a second object representing an application executable by the external electronic device in the task bar area of the display.
  • a method for controlling an external electronic device of an electronic device may include an operation of receiving an input for the second object.
  • a method for controlling an external electronic device of an electronic device may include an operation of transmitting information related to an application corresponding to the second object to the external electronic device through the communication circuit based on the input.
  • a non-transitory computer-readable storage medium (or, a computer program product) storing one or more programs may be described.
  • the one or more programs according to one embodiment may include instructions, when executed by a processor of an electronic device, to display a first set of rows of objects representing a plurality of applications executable by the electronic device in a task bar area of a display.
  • the one or more programs according to one embodiment may include instructions, when executed by the processor of the electronic device, to detect an external electronic device in proximity to the electronic device via a communication circuit.
  • the one or more programs according to one embodiment may include instructions, when executed by the processor of the electronic device, to connect with the external electronic device via communication based on detecting the external electronic device.
  • the one or more programs according to one embodiment may include instructions, when executed by the processor of the electronic device, to identify an application executable by the external electronic device.
  • One or more programs according to one embodiment may include a command, when executed by a processor of an electronic device, to display a second object representing an application executable by the external electronic device, in the task bar area of the display.
  • One or more programs according to one embodiment may include a command, when executed by a processor of the electronic device, to receive an input for the second object.
  • One or more programs according to one embodiment may include a command, when executed by a processor of the electronic device, to transmit information related to an application corresponding to the second object to the external electronic device through the communication circuit based on the input.
  • An electronic device can intuitively control a function of an application running on another electronic device by displaying at least one object on a display for controlling a function of an application transmitted to another electronic device.
  • FIG. 1 is a block diagram of an electronic device within a network environment according to one embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating an electronic device according to one embodiment of the present disclosure.
  • FIG. 3A is a flowchart illustrating a method for controlling an external electronic device of an electronic device according to one embodiment of the present disclosure.
  • FIG. 3b is a flowchart illustrating a method for controlling an external electronic device of an electronic device according to one embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating signal flow between an electronic device and an external electronic device according to one embodiment of the present disclosure.
  • FIG. 6A is a diagram illustrating a method for displaying at least one object representing at least one scanned external electronic device according to one embodiment of the present disclosure.
  • FIG. 6B is a diagram illustrating a method for displaying at least one object representing at least one scanned external electronic device according to one embodiment of the present disclosure.
  • FIG. 8 is a drawing for explaining a method of controlling an external electronic device of an electronic device according to one embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating signal flow between an electronic device and an external electronic device according to one embodiment of the present disclosure.
  • FIGS. 11A and 11B are diagrams for explaining a method of controlling a plurality of external electronic devices of an electronic device according to one embodiment of the present disclosure.
  • FIGS. 12A, 12B, and 12C are diagrams illustrating a method of controlling a plurality of external electronic devices of an electronic device according to one embodiment of the present disclosure.
  • FIGS. 13A and 13B are diagrams illustrating a method of displaying at least one object representing at least one application and at least one item for controlling at least one function of the application, according to one embodiment of the present disclosure.
  • FIG. 14A is a diagram for explaining a navigation area displayed in a task bar area according to one embodiment of the present disclosure.
  • FIG. 14b is a diagram illustrating a common controller item according to one embodiment of the present disclosure.
  • FIGS. 16A, 16B, 16C, and 16D are diagrams illustrating a method of controlling an external electronic device of an electronic device according to one embodiment of the present disclosure.
  • FIG. 17 is a diagram illustrating signal flow between an electronic device, a server, and an external electronic device according to one embodiment of the present disclosure.
  • FIGS. 18A, 18B, and 18C are diagrams illustrating a method of controlling an external electronic device of an electronic device according to one embodiment of the present disclosure.
  • component surface can include one or more expressions.
  • FIG. 1 is a block diagram of an electronic device (101) within a network environment (100) according to one embodiment of the present disclosure.
  • the electronic device (101) may include a processor (120), a memory (130), an input module (150), an audio output module (155), a display module (160), an audio module (170), a sensor module (176), an interface (177), a connection terminal (178), a haptic module (179), a camera module (180), a power management module (188), a battery (189), a communication module (190), a subscriber identification module (196), or an antenna module (197).
  • the electronic device (101) may omit at least one of these components (e.g., the connection terminal (178)), or may have one or more other components added.
  • some of these components e.g., the sensor module (176), the camera module (180), or the antenna module (197) may be integrated into one component (e.g., the display module (160)).
  • the processor (120) may control at least one other component (e.g., a hardware or software component) of the electronic device (101) connected to the processor (120) by executing, for example, software (e.g., a program (140)), and may perform various data processing or calculations. According to one embodiment, as at least a part of the data processing or calculations, the processor (120) may store a command or data received from another component (e.g., a sensor module (176) or a communication module (190)) in the volatile memory (132), process the command or data stored in the volatile memory (132), and store result data in the nonvolatile memory (134).
  • a command or data received from another component e.g., a sensor module (176) or a communication module (190)
  • the processor (120) may include a main processor (121) (e.g., a central processing unit or an application processor) or an auxiliary processor (123) (e.g., a graphic processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor) that can operate independently or together therewith.
  • a main processor (121) e.g., a central processing unit or an application processor
  • an auxiliary processor (123) e.g., a graphic processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor
  • the secondary processor (123) may be configured to use lower power than the main processor (121) or to be specialized for a given function.
  • the secondary processor (123) may be implemented separately from the main processor (121) or as a part thereof.
  • the auxiliary processor (123) may control at least a portion of functions or states associated with at least one of the components of the electronic device (101) (e.g., the display module (160), the sensor module (176), or the communication module (190)), for example, on behalf of the main processor (121) while the main processor (121) is in an inactive (e.g., sleep) state, or together with the main processor (121) while the main processor (121) is in an active (e.g., application execution) state.
  • the auxiliary processor (123) e.g., an image signal processor or a communication processor
  • the auxiliary processor (123) may include a hardware structure specialized for processing artificial intelligence models.
  • the artificial intelligence models may be generated through machine learning. Such learning may be performed, for example, in the electronic device (101) itself on which the artificial intelligence model is executed, or may be performed through a separate server (e.g., server (108)).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited to the examples described above.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • the artificial neural network may be one of a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, or a combination of two or more of the above, but is not limited to the examples described above.
  • the artificial intelligence model may additionally or alternatively include a software structure.
  • the memory (130) can store various data used by at least one component (e.g., processor (120) or sensor module (176)) of the electronic device (101).
  • the data can include, for example, software (e.g., program (140)) and input data or output data for commands related thereto.
  • the memory (130) can include volatile memory (132) or nonvolatile memory (134).
  • the program (140) may be stored as software in memory (130) and may include, for example, an operating system (142), middleware (144), or an application (146).
  • the input module (150) can receive commands or data to be used in a component of the electronic device (101) (e.g., a processor (120)) from an external source (e.g., a user) of the electronic device (101).
  • the input module (150) can include, for example, a microphone, a mouse, a keyboard, a key (e.g., a button), or a digital pen (e.g., a stylus pen).
  • the audio output module (155) can output an audio signal to the outside of the electronic device (101).
  • the audio output module (155) can include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive an incoming call. According to one embodiment, the receiver can be implemented separately from the speaker or as a part thereof.
  • the display module (160) can visually provide information to an external party (e.g., a user) of the electronic device (101).
  • the display module (160) can include, for example, a display, a holographic device, or a projector and a control circuit for controlling the device.
  • the display module (160) can include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module (170) can convert sound into an electrical signal, or vice versa, convert an electrical signal into sound. According to one embodiment, the audio module (170) can obtain sound through an input module (150), or output sound through an audio output module (155), or an external electronic device (e.g., an electronic device (102)) (e.g., a speaker or a headphone) directly or wirelessly connected to the electronic device (101).
  • an electronic device e.g., an electronic device (102)
  • a speaker or a headphone directly or wirelessly connected to the electronic device (101).
  • the sensor module (176) can detect an operating state (e.g., power or temperature) of the electronic device (101) or an external environmental state (e.g., user state) and generate an electric signal or data value corresponding to the detected state.
  • the sensor module (176) can include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • connection terminal (178) may include a connector through which the electronic device (101) may be physically connected to an external electronic device (e.g., the electronic device (102)).
  • the connection terminal (178) may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module (179) can convert an electrical signal into a mechanical stimulus (e.g., vibration or movement) or an electrical stimulus that a user can perceive through a tactile or kinesthetic sense.
  • the haptic module (179) can include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module (180) can capture still images and moving images.
  • the camera module (180) can include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module (188) can manage power supplied to the electronic device (101).
  • the power management module (188) can be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery (189) can power at least one component of the electronic device (101).
  • the battery (189) can include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module (190) may support establishment of a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device (101) and an external electronic device (e.g., the electronic device (102), the electronic device (104), or the server (108)), and performance of communication through the established communication channel.
  • the communication module (190) may operate independently from the processor (120) (e.g., the application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module (190) may include a wireless communication module (192) (e.g., a cellular communication module, a short-range wireless communication module, or a GNSS (global navigation satellite system) communication module) or a wired communication module (194) (e.g., a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module (192) e.g., a cellular communication module, a short-range wireless communication module, or a GNSS (global navigation satellite system) communication module
  • a wired communication module (194) e.g., a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module may communicate with an external electronic device (104) via a first network (198) (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (199) (e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a first network (198) e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network (199) e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)
  • a computer network e.g.,
  • the wireless communication module (192) may use subscriber information (e.g., international mobile subscriber identity (IMSI)) stored in the subscriber identification module (196) to identify or authenticate the electronic device (101) within a communication network such as the first network (198) or the second network (199).
  • subscriber information e.g., international mobile subscriber identity (IMSI)
  • IMSI international mobile subscriber identity
  • the wireless communication module (192) can support a 5G network and next-generation communication technology after a 4G network, for example, NR access technology (new radio access technology).
  • the NR access technology can support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), terminal power minimization and connection of multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency communications
  • the wireless communication module (192) can support, for example, a high-frequency band (e.g., mmWave band) to achieve a high data transmission rate.
  • a high-frequency band e.g., mmWave band
  • the wireless communication module (192) may support various technologies for securing performance in a high-frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module (192) may support various requirements specified in an electronic device (101), an external electronic device (e.g., electronic device (104)), or a network system (e.g., second network (199)).
  • the wireless communication module (192) may support a peak data rate (e.g., 20 Gbps or more) for eMBB realization, a loss coverage (e.g., 164 dB or less) for mMTC realization, or a U-plane latency (e.g., 0.5 ms or less for downlink (DL) and uplink (UL) each, or 1 ms or less for round trip) for URLLC realization.
  • a peak data rate e.g., 20 Gbps or more
  • a loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 0.5 ms or less for downlink (DL) and uplink (UL) each, or 1 ms or less for round trip
  • a signal or power can be transmitted or received between the communication module (190) and the external electronic device through the selected at least one antenna.
  • another component e.g., a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module (197) may form a mmWave antenna module.
  • the mmWave antenna module may include a printed circuit board, an RFIC positioned on or adjacent a first side (e.g., a bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., a mmWave band), and a plurality of antennas (e.g., an array antenna) positioned on or adjacent a second side (e.g., a top side or a side) of the printed circuit board and capable of transmitting or receiving signals in the designated high-frequency band.
  • a first side e.g., a bottom side
  • a plurality of antennas e.g., an array antenna
  • commands or data may be transmitted or received between the electronic device (101) and an external electronic device (104) via a server (108) connected to a second network (199).
  • Each of the external electronic devices (102, or 104) may be the same or a different type of device as the electronic device (101).
  • all or part of the operations executed in the electronic device (101) may be executed in one or more of the external electronic devices (102, 104, or 108). For example, when the electronic device (101) is to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device (101) may, instead of or in addition to executing the function or service itself, request one or more external electronic devices to perform at least a part of the function or service.
  • One or more external electronic devices that receive the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device (101).
  • the electronic device (101) may process the result as is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device (101) may provide an ultra-low latency service by using, for example, distributed computing or mobile edge computing.
  • the external electronic device (104) may include an IoT (Internet of Things) device.
  • the server (108) may be an intelligent server using machine learning and/or a neural network.
  • the external electronic device (104) or the server (108) may be included in the second network (199).
  • the electronic device (101) can be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram illustrating an electronic device (201) according to one embodiment of the present disclosure.
  • an electronic device (201) may include a communication circuit (210) (e.g., the communication module (190) of FIG. 1), a memory (220) (e.g., the memory (130) of FIG. 1), a touchscreen display (230) (e.g., the display module (160) of FIG. 1), and/or a processor (240) (e.g., the processor (120) of FIG. 1).
  • a communication circuit (210) e.g., the communication module (190) of FIG. 1
  • a memory e.g., the memory (130) of FIG. 1
  • a touchscreen display 230
  • a processor (240) e.g., the processor (120) of FIG. 1).
  • a communication circuit (210) may establish a communication channel with an external electronic device (e.g., an electronic device (102) of FIG. 1) and support transmitting and receiving various data with the external electronic device.
  • the communication circuit (210) may support establishing a wireless communication channel with the external electronic device and performing communication through the established communication channel.
  • the communication circuit (210) may support short-range wireless communication such as UWB, Bluetooth, and low-power Bluetooth.
  • the present invention is not limited thereto.
  • the memory (220) (e.g., the memory (130) of FIG. 1) performs a function of storing a program (e.g., the program (140) of FIG. 1) for processing and controlling the processor (240) of the electronic device (201), an operating system (OS) (e.g., the operating system (142) of FIG. 1), various applications, and/or input/output data, and may store a program that controls the overall operation of the electronic device (201).
  • the memory (220) may store various instructions that may be executed by the processor (240).
  • the memory (220) may store instructions for displaying, under the control of the processor (240), at least one first object representing at least one external electronic device positioned proximate to the electronic device (201) scanned (or searched) through a task bar area (e.g., at least a portion of the touchscreen display (230)), at least one second object representing at least one application executable on the external electronic device, and/or at least one item capable of controlling at least one function of the application.
  • a task bar area e.g., at least a portion of the touchscreen display (230)
  • at least one second object representing at least one application executable on the external electronic device, and/or at least one item capable of controlling at least one function of the application.
  • a touchscreen display (e.g., display module (160) of FIG. 1) is implemented as an integrated unit including a display (231) and a touch panel (233), and can display an image under the control of a processor (240).
  • a processor 240
  • the display (231) may be implemented as any one of a liquid crystal display (LCD), a light-emitting diode (LED) display, a micro LED ( ⁇ LED) display, an organic light-emitting diode (OLED) display, an active matrix organic light-emitting diode (AMOLED) display, a micro electro mechanical systems (MEMS) display, an electronic paper display, a flexible display, or a rollable display, but is not limited thereto.
  • LCD liquid crystal display
  • LED light-emitting diode
  • ⁇ LED micro LED
  • OLED organic light-emitting diode
  • AMOLED active matrix organic light-emitting diode
  • MEMS micro electro mechanical systems
  • the touch panel (233) may be a composite touch panel including a hand touch panel that detects hand gestures and a pen touch panel that detects pen gestures.
  • the touchscreen display (230) may, under the control of the processor (240), display, through a task bar area (e.g., at least a portion of the touchscreen display (230), at least one first object representing at least one external electronic device positioned in proximity to the scanned (or searched) electronic device (201), at least one second object representing at least one application executable on the external electronic device, and/or at least one item capable of controlling at least one function of the application.
  • a task bar area e.g., at least a portion of the touchscreen display (230)
  • at least one second object representing at least one application executable on the external electronic device
  • at least one item capable of controlling at least one function of the application e.g., at least a portion of the touchscreen display (230)
  • the touchscreen display (230) may display information (e.g., a screen) related to an application under the control of the processor (240).
  • information e.g., a screen
  • a processor (240) may include, for example, a micro controller unit (MCU) and may control a plurality of hardware components connected to the processor (240) by running an operating system (OS) or an embedded software program.
  • the processor (240) may control a plurality of hardware components according to, for example, instructions stored in a memory (220) (e.g., program (140) of FIG. 1).
  • the processor (240) may display a first set of rows of objects representing a plurality of applications executable by the electronic device (201) in a task bar area of the display (231).
  • the first objects representing a plurality of applications executable by the electronic device (201) may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an object representing an application with a highest number of executions on the electronic device (201), at least one object representing at least one application that has been executed on the electronic device (201) more than a specified number of times, and/or at least one object representing at least one application that is set as a frequently used application by a user of the electronic device (201).
  • the processor (240) can detect an external electronic device approaching the electronic device (201) through the communication circuit (210). For example, the processor (240) can detect an external electronic device approaching the electronic device (201) through short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth. The processor (240) can establish a communication connection with the external electronic device based on detecting the proximity of the external electronic device. The processor (240) can identify an application executable on the external electronic device based on being connected to the communication with the external electronic device, and display a second object representing the application in a task bar area of the display (231).
  • short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth.
  • the processor (240) can establish a communication connection with the external electronic device based on detecting the proximity of the external electronic device.
  • the processor (240) can identify an application executable on the external electronic device based on being connected to the communication with the external electronic device, and display a second object representing the application in a task bar area of the display (231).
  • the second object representing an application executable on the external electronic device may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an object representing an application with the highest number of executions on the electronic device (201), at least one object representing at least one application that has been executed more than a specified number of times on the electronic device (201), and/or at least one object representing at least one application that is set as a frequently used application by a user of the electronic device (201).
  • at least one object representing at least one application running on the electronic device (201) e.g., at least one application displayed on the display (231) and/or at least one application running in the background
  • an object representing an application with the highest number of executions on the electronic device (201) at least one object representing at least one application that has been executed more than a specified number of times on the electronic device (201)
  • the present invention is not limited thereto, and the second object representing an application executable on the external electronic device may also include at least one object representing at least one application that has been executed more than a specified number of times on the external electronic device and/or an object representing an application with the highest number of executions on the external electronic device.
  • the processor (240) when it receives an input for a second object, it may transmit information related to an application corresponding to the second object to an external electronic device via the communication circuit (210).
  • the information related to the application corresponding to the second object may include identification information for identifying the application, login information of the application (e.g., account information), and/or information related to execution of the application.
  • the present invention is not limited thereto.
  • the processor (240) may display at least one item adjacent to the second object for controlling at least one function of the application.
  • the processor (240) may transmit a signal requesting execution of a function corresponding to the selected item to the external electronic device.
  • the processor (240) may display information related to an application being output from an external electronic device on at least a portion of the display (231) based on detecting a first user input.
  • the processor (240) may display information related to the application being output from the external electronic device in a pop-up window, proximate to at least one item in which the first user input is detected.
  • the processor (240) may enter a multi-window arrangement mode based on detecting a second user input.
  • the processor (240) may receive information related to an application from the external electronic device based on detecting a third user input moving from a pop-up window for information related to an application being output from the external electronic device (401) to a specific area of the display (231).
  • the processor (240) may output information related to the application based on the information related to the application received from the external electronic device (401). For example, the processor (240) may output visual information (e.g., a screen) of the application to the display (231), and/or output auditory information (e.g., an audio signal) of the application through an audio output circuit.
  • visual information e.g., a screen
  • auditory information e.g., an audio signal
  • the processor (240) may display at least one object representing at least one application executable on the external electronic device (401) in a task bar area of the display (231). In one embodiment, the processor (240) may transmit attribute information related to a specific application to the external electronic device based on detecting a fourth user input moving from a screen of a specific application being displayed on the display (231) to a pop-up window for information related to an application being output on the external electronic device.
  • An electronic device (201) may include a communication circuit (210), a display (231), a memory (220) storing one or more computer programs, and one or more processors (240) communicatively connected to the communication circuit (210), the display (231), and the memory (220).
  • the one or more computer programs including computer-executable instructions when executed by the one or more processors (240), may cause the electronic device (201) to display a first set of rows of objects representing a plurality of applications executable by the electronic device (201) in a task bar area (520) of the display (231).
  • One or more computer programs including computer-executable instructions according to one embodiment, when executed by one or more processors (240), may cause the electronic device (201) to detect, via the communication circuitry (210), an external electronic device (401) in proximity to the electronic device (201).
  • One or more computer programs including computer-executable instructions according to one embodiment, when executed by one or more processors (240), may cause the electronic device (201) to connect with the external electronic device (401) via communication based on detecting the external electronic device (401).
  • One or more computer programs including computer-executable instructions according to one embodiment, when executed by one or more processors (240), may cause the electronic device (201) to identify an application executable by the external electronic device (401).
  • One or more computer programs including computer-executable instructions may store instructions that, when executed by one or more processors (240), cause the electronic device (201) to display an execution screen of a second application on the display (231).
  • the memory (220) may, when executed by the processor (240), cause the electronic device (201) to display a home button together with a first set of rows of objects and a second object in the task bar area (520).
  • the task bar area (520) may be located between the execution screen of the second application and the bottom edge of the display (231).
  • One or more computer programs comprising computer-executable instructions according to one embodiment, when executed by one or more processors (240), may cause the electronic device (201) to display at least one item adjacent to a second object for controlling at least one function of an application.
  • the second object represents a multimedia player application
  • one or more computer programs including computer-executable instructions when executed by one or more processors (240), may cause the electronic device (201) to display user interface items for controlling functions of the multimedia player application adjacent to the second object.
  • One or more computer programs including computer-executable instructions when executed by one or more processors (240), may cause the electronic device (201) to display a row of second objects representing the subset of the plurality of applications executable on the selected external electronic device (401) in a task bar area (520) of the display (231).
  • Predefined conditions for selecting a subset of multiple applications may include a type of information to be output from the external electronic device (401) depending on the type of the external electronic device (401).
  • One or more computer programs including computer-executable instructions when executed by one or more processors (240), may cause the electronic device (201) to display, in a task bar area (520) of the display (231), an object representing a second application and at least one item for controlling at least one function related to the second application.
  • An electronic device (201) may include a communication circuit (210), a display (231), a memory (220) storing one or more computer programs, and one or more processors (240) communicatively connected to the communication circuit (210), the display (231), and the memory (220).
  • the one or more computer programs including computer-executable instructions according to one embodiment, when executed by the one or more processors (240), may cause the electronic device (201) to display an execution screen of an application.
  • One or more computer programs including computer-executable instructions according to one embodiment, when executed by one or more processors (240), may cause the electronic device (201) to detect an external electronic device (401) in proximity to the electronic device (201) via the communication circuitry (210).
  • One or more computer programs including computer-executable instructions according to one embodiment, when executed by one or more processors (240), may cause the electronic device (201) to connect with the external electronic device (401) via communication based on the detection of the external electronic device (401).
  • One or more computer programs including computer-executable instructions according to one embodiment, when executed by one or more processors (240), may cause the electronic device (201) to determine a function that can be performed via an external electronic device (401).
  • the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • operations 305 to 335 may be understood to be performed in a processor (e.g., processor (240) of FIG. 2) of an electronic device (e.g., electronic device (201) of FIG. 2).
  • a processor e.g., processor (240) of FIG. 2
  • an electronic device e.g., electronic device (201) of FIG. 2.
  • the processor (240) may, in operation 305, display a first set of rows of objects representing a plurality of applications executable by the electronic device (201) in a task bar area of a display (e.g., display (231) of FIG. 2).
  • the objects representing a plurality of applications executable by the electronic device (201) may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an object representing an application with the highest number of executions on the electronic device (201), at least one object representing at least one application that has been executed on the electronic device (201) more than a specified number of times, and/or at least one object representing at least one application that is set as a frequently used application by a user of the electronic device (201).
  • at least one object representing at least one application running on the electronic device (201) e.g., at least one application displayed on the display (231) and/or at least one application running in the background
  • at least one object representing at least one application that has been executed on the electronic device (201) more than a specified number of times and/or at least one object representing at least one application that is set as
  • the task bar area may be displayed in at least a portion of the display (231).
  • the task bar area may be displayed in a lower area of the display (231) of the electronic device (201).
  • the task bar area may be positioned (or displayed) between the screen of the at least one application and the lower edge of the display (231).
  • the present invention is not limited thereto.
  • the task bar area may be displayed on at least a portion of the display (231), such as the bottom area, when a specific input is detected.
  • the specific input may include, but is not limited to, a swipe input.
  • the task bar area may be displayed on at least a portion of the display (231) under certain conditions.
  • the certain conditions may include, but are not limited to, a condition in which proximity of at least one external electronic device is detected to the electronic device (201) described below, or a condition in which communication is established with at least one external electronic device.
  • the processor (240) may temporarily display the task bar area in at least a portion of the display (231) (e.g., the bottom area). For example, the processor (240) may end the display of the task bar area when a specified time elapses while displaying the task bar area in at least a portion of the display (231) (e.g., the bottom area).
  • the present invention is not limited thereto, and the processor (240) may continuously display the task bar area in at least a portion of the display (231) (e.g., the bottom area).
  • the processor (240) may detect an external electronic device approaching the electronic device (201) through a communication circuit (e.g., the communication circuit (210) of FIG. 2) in operation 310.
  • the processor (240) may detect an external electronic device approaching the electronic device (201) using a designated communication (e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth).
  • the processor (240) may identify an external electronic device capable of a communication connection using the designated communication.
  • a user may move an external electronic device that is located beyond a specified range from the electronic device (201) to be located within a specified range from the electronic device (201).
  • a user may move the electronic device (201) closer to the external electronic device so that the electronic device (201) and the external electronic device are within a specified range.
  • the processor (240) may detect (e.g., detect that the external electronic device is within a specified range) (or confirm) the external electronic device approaching the electronic device (201) using a specified communication.
  • the external electronic device may be a device (e.g., a wireless audio wearable electronic device of the ear wearable type designed to be worn on a user's ear, an audio output device (e.g., a speaker), a smartphone, a tablet personal computer, a desktop personal computer, a laptop personal computer, a smart TV) having at least one output module (e.g., a display, audio output circuitry, and/or a haptic module).
  • a device e.g., a wireless audio wearable electronic device of the ear wearable type designed to be worn on a user's ear
  • an audio output device e.g., a speaker
  • smartphone e.g., a tablet personal computer, a desktop personal computer, a laptop personal computer, a smart TV
  • at least one output module e.g., a display, audio output circuitry, and/or a haptic module.
  • the processor (240) may provide a user interface indicating the proximity of an external electronic device when an external electronic device is detected in proximity to the electronic device (201).
  • the processor (240) may automatically activate short-range wireless communication (e.g., the first network (198) of FIG. 1) (e.g., Bluetooth or WiFi) based on the location information (e.g., home, work) of the electronic device (201), and when an external electronic device (e.g., an external electronic device capable of communication connection) is detected in proximity to the electronic device (201), the processor (240) may provide a user interface indicating the proximity of the external electronic device. As another example, the processor (240) may detect the proximity of the external electronic device based on WiFi Direct. Each of at least two devices existing in the same location (or within a specified range) may broadcast a signal indicating that a communication connection is possible using WiFi Direct.
  • short-range wireless communication e.g., the first network (198) of FIG. 1
  • WiFi wireless local area network
  • each of the electronic device (201) and the external electronic device may broadcast a signal indicating that a communication connection is possible using WiFi Direct.
  • the processor (240) may identify an external electronic device capable of communication connection based on a broadcast signal received from the external electronic device, and provide a user interface indicating the proximity of the external electronic device.
  • the processor (240) may provide a user interface indicating the proximity of the external electronic device.
  • the processor (240) may display an object representing an external electronic device positioned in proximity to the electronic device (201) in the task bar area of the display (231).
  • the processor (240) may provide a notification indicating that an external electronic device is detected in proximity to the electronic device (201) via a tactile signal (e.g., vibration) and/or an auditory signal (e.g., audio signal).
  • a tactile signal e.g., vibration
  • an auditory signal e.g., audio signal
  • the external electronic device positioned in proximity to the electronic device (201) may be a plurality of external electronic devices.
  • the processor (240) may display a first object representing a first external electronic device scanned first by a scan operation among the plurality of external electronic devices.
  • the processor (240) may then display at least one second object representing at least one other second external electronic device scanned, listed based on the first object (e.g., listed to the right).
  • the processor (240) may display a plurality of objects representing a plurality of external electronic devices located close to the electronic device (201) in the task bar area based on an external electronic device that is connected to the electronic device more than a specified number of times among the plurality of external electronic devices, an external electronic device logged in with the same account, an external electronic device set as a frequently used device by the user, an external electronic device with a stable communication connection status (e.g., an external electronic device whose communication signal quality (e.g., RSRP (reference signal received power), RSSI (received signal strength indicator), RSRQ (reference signal received quality), and/or SNR (signal to noise ratio)) satisfies a reference value).
  • RSRP reference signal received power
  • RSSI received signal strength indicator
  • RSRQ reference signal received quality
  • SNR signal to noise ratio
  • the processor (240) may set the external electronic device corresponding to the specific object as a frequently used external electronic device, or as an external electronic device that will not be displayed in the task bar area even if scanned.
  • the operation of scanning an external electronic device approaching the electronic device (201) may be performed for a specified time (e.g., about 30 seconds) at a specified interval (e.g., about 5 seconds).
  • a specified time e.g., about 30 seconds
  • a specified interval e.g., about 5 seconds.
  • the processor (240) may perform the operation of scanning the external electronic device, or may stop the operation of scanning the external electronic device.
  • the processor (240) may display a second object (e.g., a scroll object, a more view object) in the task bar area of the display (231).
  • the processor (240) may display at least one object representing at least one external electronic device that was scanned but not displayed in the task bar area in the task bar area, or may display it in the form of a list in proximity to the second object.
  • a plurality of objects representing a plurality of scanned external electronic devices may be displayed differently depending on the type of the external electronic device.
  • the type of the external electronic device may include a TV, a watch, a smartphone, a tablet PC, a desktop PC, a laptop PC, a wireless audio output device (e.g., a Bluetooth speaker), and a wireless audio wearable electronic device (e.g., a Bluetooth earphone).
  • the type of the external electronic device may include an external electronic device having a display and audio output circuits, and an external electronic device having only audio output circuits without a display.
  • the processor (240) may display guide information that guides the type of information that can be output based on the types of the plurality of external electronic devices. For example, if the external electronic device can output visual information and auditory information, the processor (240) may output guide information that guides that the external electronic device can output visual information and auditory information. For another example, if the external electronic device can output only auditory information, the processor (240) may output guide information that guides that the external electronic device can output only auditory information.
  • the processor (240) may provide a user interface that allows a user to select the type of information to be output to an external electronic device (e.g., visual information and/or auditory information).
  • an external electronic device e.g., visual information and/or auditory information
  • the processor (240) may, in operation 315, connect to the external electronic device via communication based on detecting proximity of the external electronic device.
  • the processor (240) may connect to the external electronic device via communication (e.g., short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth) when the distance between the electronic device (201) and the external electronic device is less than a specified distance.
  • communication e.g., short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth
  • the processor (240) may perform an operation for establishing an initial communication connection with the external electronic device if there is no history of communication connection with the external electronic device.
  • the processor (240) and the external electronic device may exchange information with each other through the operation for establishing an initial connection.
  • the processor (240) may receive identification information of the external electronic device and information related to an application (e.g., information on an application running on the external electronic device, information on an application installed on the external electronic device, information on the number of times the application was executed on the external electronic device, and information on the time the application was executed on the external electronic device) from the external electronic device.
  • the processor (240) may transmit identification information of the electronic device (201) to the external electronic device.
  • the processor (240) may, in operation 320, identify an application executable by an external electronic device.
  • the applications executable by the external electronic device may include at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an application with the highest number of executions on the electronic device (201), at least one application that has been executed a specified number of times or more on the electronic device (201), and/or a frequently used application set by a user of the electronic device (201).
  • the present invention is not limited thereto, and the applications executable by the external electronic device may also include at least one application that has been executed a specified number of times or more on the external electronic device and/or an application with the highest number of executions on the external electronic device.
  • the processor (240) may, in operation 325, display a second object representing an application executable on an external electronic device, in a task bar area of the display (231).
  • the processor (240) may, based on being communicatively connected with the external electronic device, display at least one object representing at least one application executable on the external electronic device, instead of displaying an object representing an external electronic device positioned proximate to the electronic device (201) described above, in the task bar area.
  • the processor (240) may, based on being communicatively connected with the external electronic device, display at least one object representing at least one application executable on the proximate external electronic device, together with an object representing an external electronic device positioned proximate to the electronic device (201) described above, in the task bar area.
  • an application executable on an external electronic device may be displayed based on the type of the external electronic device. For example, if the external electronic device connected to the communication has a display, the processor (240) may preferentially display an application related to multimedia content (e.g., an application related to video playback) in the task bar area. For another example, if the external electronic device connected to the communication does not have a display, the processor (240) may preferentially display an application related to outputting audio signals (e.g., a music application) in the task bar area.
  • an application related to multimedia content e.g., an application related to video playback
  • the processor (240) may preferentially display an application related to outputting audio signals (e.g., a music application) in the task bar area.
  • the processor (240) may preferentially display an application with the highest number of executions, an application executed more than a specified number of times, or an application set as an application frequently used by a user in the task bar area.
  • the processor (240) may not display at least one object representing at least one application in the task bar area.
  • the processor (240) may receive an input for a second object in operation 330.
  • the input for the second object may include, but is not limited to, an input for selecting the second object.
  • information related to an application corresponding to a second object may include identification information for identifying the application, login information (e.g., account information) of the application, and/or information related to execution of the application.
  • identification information for identifying the application e.g., login information (e.g., account information) of the application, and/or information related to execution of the application.
  • login information e.g., account information
  • information related to execution of the application may include playback time information of the multimedia content.
  • information related to execution of the application may be link information.
  • the processor (240) may transmit information related to an application corresponding to the second object to the external electronic device based on the type of the external electronic device. For example, the processor (240) may transmit information about a type of information selected from a user interface that allows selection of a type of information (e.g., visual information and/or auditory information) to be output to the external electronic device to the external electronic device. For another example, if the type of the external electronic device is determined to be an external electronic device having a display and an audio output circuit, the processor (240) may transmit information about the visual information and the auditory information to the external electronic device. For another example, if the type of the external electronic device is determined to be an external electronic device that does not have a display and has only an audio output circuit, the processor (240) may transmit only information about the auditory information to the external electronic device.
  • a type of information selected from a user interface that allows selection of a type of information (e.g., visual information and/or auditory information) to be output to the external electronic device to the external electronic
  • information related to an application corresponding to a second object is transmitted to an external electronic device based on an input, but is not limited thereto.
  • the processor (240) may transmit information of an application corresponding to an application with a large window size or an application related to an input interface (e.g., a keypad or keyboard displayed on the display (231) in a software manner) to the external electronic device based on being connected to the communication with the external electronic device.
  • an input interface e.g., a keypad or keyboard displayed on the display (231) in a software manner
  • the processor (240) may, after a certain period of time, display an indicator in the task bar area indicating that no input has been received for the second object and/or an indicator for inducing an input for the second object in the task bar area.
  • the processor (240) may display an object representing the electronic device (201) in a task bar area.
  • the processor (240) may perform a mirroring function.
  • the processor (240) may transmit information related to at least one application running on the electronic device (201) to the external electronic device.
  • the information related to at least one application may include display information (e.g., screen size information of the application) and/or audio information.
  • the processor (240) when communicating with an external electronic device, if it is determined that a specific application is being executed on the external electronic device, the processor (240) may omit operations 320 to 335. For example, if it is determined that a specific application is being executed on the external electronic device connected to the communication, the processor (240) may display an object representing the specific application being executed on the external electronic device and at least one item for controlling at least one function of the specific application in the task bar area.
  • FIG. 3b is a flowchart illustrating a method of controlling an external electronic device of an electronic device (201) according to one embodiment of the present disclosure.
  • operations 345 to 355 may be understood to be performed in a processor (e.g., processor (240) of FIG. 2) of an electronic device (e.g., electronic device (201) of FIG. 2).
  • a processor e.g., processor (240) of FIG. 2
  • an electronic device e.g., electronic device (201) of FIG. 2.
  • the processor (240) may, in operation 345, display at least one item for controlling at least one function of the application adjacent to the second object.
  • At least one function of the application may vary depending on the type of the application.
  • the at least one function of the application may include a function for manipulating playback of the multimedia content (e.g., pause playback, play, forward playback, and/or backward playback).
  • the at least one function of the application may include a function for manipulating the user interface (e.g., go forward, go back, and/or go home).
  • the at least one function of the application may include a function for displaying a previous photo, a function for displaying a next photo, and/or a function for displaying recommended photos.
  • this is not limited thereto.
  • the processor (240) may, in operation 350, detect an input selecting one of at least one item (e.g., at least one item for controlling at least one function of the application).
  • at least one item e.g., at least one item for controlling at least one function of the application.
  • the at least one item may include an item for stopping playback of the multimedia content, an item for playing the multimedia content, an item for playing the multimedia content from a point in time earlier than the current point in time, and/or an item for playing the content from a point in time later than the current point in time.
  • the at least one item may include an item for displaying a previous screen, an item for displaying a next screen, and/or an item for displaying a home screen.
  • the at least one item may include an item for displaying a previous photo, an item for displaying a next photo, and/or an item for displaying a recommended photo.
  • the present invention is not limited thereto.
  • the processor (240) may transmit a signal requesting execution of a function corresponding to a selected item to the external electronic device in operation 355.
  • the processor (240) may transmit a signal requesting playback of the multimedia content to the external electronic device.
  • the processor (240) may transmit a signal requesting playback of the multimedia content to the external electronic device.
  • the processor (240) may transmit a signal requesting playback of the multimedia content from a point in time earlier than the current point in time to the external electronic device. For another example, if an input for selecting an item for playing the multimedia content from a point in time later than the current point in time is detected, the processor (240) may transmit a signal requesting playback of the multimedia content from a point in time later than the current point in time to the external electronic device.
  • the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • operations 371 to 387 may be understood to be performed in a processor (e.g., processor (240) of FIG. 2) of an electronic device (e.g., electronic device (201) of FIG. 2).
  • a processor e.g., processor (240) of FIG. 2
  • an electronic device e.g., electronic device (201) of FIG. 2.
  • the processor (240) may display a home button for moving to a home screen in a task bar area located between the execution screen and the bottom edge of the display (231) in operation 373.
  • the processor (240) may display a navigation area (e.g., navigation area (1411) of FIG. 14A) within the task bar area, and may display a home button for moving to a home screen through the navigation area.
  • the present invention is not limited thereto, and the navigation area may be displayed in an area adjacent to the task bar area (e.g., an upper area of the task bar area or a lower area of the task bar area), and may display the home button through the navigation area.
  • the processor (240) may, at operation 375, display a first set of rows of objects representing a plurality of applications executable by the electronic device (201) in a task bar area of the display (231).
  • the processor (240) may detect an external electronic device in proximity to the electronic device (201) through a communication circuit (e.g., the communication circuit (210) of FIG. 2).
  • the processor (240) may connect to the external electronic device through communication based on the detection of the external electronic device.
  • the processor (240) may, in operation 381, determine a function that can be performed via the external electronic device.
  • the function that can be performed via the external electronic device may include a function of executing an application on the external electronic device, a function of controlling a function of an application executing on the external electronic device, and/or a function of causing the external electronic device to output visual information (e.g., a screen) and/or auditory information (e.g., an audio signal) being output from the electronic device (201).
  • the processor (240) may display a second object representing a function that can be performed via an external electronic device in a task bar area of the display (231) at operation 383.
  • the processor (240) may receive an input for the second object at operation 385.
  • the input for the second object may include an input for selecting the second object.
  • the present invention is not limited thereto.
  • the processor (240) may transmit information related to the function to the external electronic device via the communication circuit (210) based on the input at operation 387.
  • FIG. 4 is a diagram showing signal flow between an electronic device (201) and an external electronic device (401) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • operations 410, 415, 420, 430, 435, and 440 of FIG. 4 are identical to operations 315, 320, 325, 330, 335, 345, 350, and 355 of FIGS. 3a and 3b described above, the description related thereto may be replaced with the description of FIGS. 3a and 3b.
  • the electronic device (201) may be connected to an external electronic device (401) in operation 405.
  • the electronic device (201) may be connected to an external electronic device (401) that is close to the electronic device (201) by using a designated communication (e.g., short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth).
  • a designated communication e.g., short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth.
  • the electronic device (201) may, in operation 410, display at least one object representing at least one application executable on the external electronic device (401) in at least a portion (e.g., a bottom area) (e.g., a task bar area) of a display (e.g., the display (231) of FIG. 2).
  • the at least one object representing at least one application executable on the external electronic device (401) may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an object representing an application with the highest number of executions on the electronic device (201), at least one object representing at least one application that has been executed a specified number of times or more on the electronic device (201), and/or at least one object representing at least one application that is set as a frequently used application by a user of the electronic device (201).
  • at least one object representing at least one application running on the electronic device (201) e.g., at least one application displayed on the display (231) and/or at least one application running in the background
  • an object representing an application with the highest number of executions on the electronic device (201) at least one object representing at least one application that has been executed a specified number of times or more on the electronic device (201)
  • the present invention is not limited thereto, and the at least one object representing at least one application may include at least one object representing at least one application that has been executed a specified number of times or more on the external electronic device (401) and/or an object representing an application with the highest number of executions on the external electronic device (401).
  • the electronic device (201) may detect an input for selecting one of at least one object in operation 415.
  • the electronic device (201) may transmit information related to an application corresponding to the selected object to an external electronic device (401).
  • the information related to the application corresponding to the selected object may include identification information for identifying the application, login information of the application (e.g., account information), and/or information related to execution of the application.
  • the application is an application related to multimedia content
  • the information related to execution of the application may include playback time information of the multimedia content.
  • the application is a browser application
  • the information related to execution of the application may be link information.
  • the present invention is not limited thereto.
  • the external electronic device (401) may, in operation 425, output application-related information based on application-related information received from the electronic device (201).
  • the external electronic device (401) can output multimedia content from the playback time information based on information related to the execution of the application received from the electronic device (201), for example, playback time information of the multimedia content. Assuming that the multimedia content is being executed on the electronic device (201) or that playback of the multimedia content is stopped, the external electronic device (401) can output multimedia content based on the playback time information of the multimedia content received from the electronic device (201), thereby providing a seamless experience to the user.
  • the external electronic device (401) can determine whether the application is installed on the external electronic device (401) based on identification information for identifying the application received from the electronic device (201). If the application is installed on the external electronic device (401), the application can be executed and information related to the application can be output. For example, if the external electronic device (401) has a display and an audio output circuit, the external electronic device (401) can output information related to the application, for example, visual information and/or auditory information. For another example, if the external electronic device (401) does not have a display and only has an audio output circuit, the external electronic device (401) can output information related to the application, for example, auditory information.
  • the external electronic device (401) may output visual information and/or auditory information that induces installation of the application. After installing the application, the external electronic device (401) may execute the application and output information related to the application.
  • the external electronic device (401) may execute the replacement application and output information related to the application through the replacement application.
  • the electronic device (201) may, in operation 430, display at least one item adjacent to the selected object for controlling at least one function of the application.
  • the at least one function of the application may include a function for manipulating playback of the multimedia content (e.g., pause playback, play, play forward, and/or play backward).
  • the at least one function of the application may include a function for manipulating the user interface (e.g., go forward, go back, and/or go home).
  • the at least one function of the application may include a function for displaying a previous photo, a function for displaying a next photo, and/or a function for displaying a recommended photo.
  • the present invention is not limited thereto.
  • the electronic device (201) may detect an input for selecting one of at least one item in operation 435.
  • the electronic device (201) may transmit a signal requesting execution of a function corresponding to the selected item to an external electronic device (401) in operation 440.
  • the external electronic device (401) may output information about a changed application based on a signal received from the electronic device (201) in operation 445.
  • FIGS. 5A, 5B, 5C, and 5D are diagrams for explaining a method of controlling an external electronic device (401) of an electronic device (201) according to one embodiment of the present disclosure.
  • a processor e.g., the processor (240) of FIG. 2) of an electronic device (e.g., the electronic device (201) of FIG. 2) may display (e.g., in a multi-window format) screens (e.g., a first screen (505) of application A, a second screen (510) of application B, and a third screen (515) of application D) of a plurality of applications (e.g., application A, application B, and application D) on a display (e.g., the display (231) of FIG. 2)) as a plurality of applications (e.g., application A, application B, and application D) are executed.
  • screens e.g., a first screen (505) of application A, a second screen (510) of application B, and a third screen (515) of application D
  • a plurality of applications e.g., application A, application B, and application D
  • the screens of three applications are displayed on the display (231) as three applications are executed, and is not limited thereto.
  • the display (231) may display screens of less than three or more than three applications as less than three or more than three applications are executed under the control of the processor (240).
  • the display (231) may display the home screen.
  • the processor (240) may display at least one object representing at least one application related to the electronic device (201) on at least a portion of the display (231).
  • the processor (240) may display a task bar area (520) on at least a portion of the display (231) and display at least one object representing at least one application related to the electronic device (201) on the task bar area (520).
  • the task bar area may be displayed between the second screen (510) of application B and the third screen (515) of application D among the multiple applications being displayed on the display (231) and the bottom edge of the display (231).
  • the task bar area (520) may be displayed on at least a portion of the display (231) when a specific input is detected or under a specific condition.
  • the specific input may include, but is not limited to, a swipe input.
  • the specific condition according to one embodiment may include, but is not limited to, a condition in which proximity of at least one external electronic device is detected or a condition in which communication is connected with at least one external electronic device.
  • the processor (240) may temporarily display the task bar area (520) on at least a portion of the display (231). For example, the processor (240) may terminate the display of the task bar area (520) when a specified time elapses while displaying the task bar area (520) on at least a portion of the display (231).
  • the present invention is not limited thereto, and the processor (240) may continuously display the task bar area (520) on at least a portion of the display (231).
  • the at least one object representing at least one application associated with the electronic device (201) may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an object representing an application with the highest number of executions on the electronic device (201), at least one object representing at least one application that has been executed a specified number of times or more on the electronic device (201), and/or at least one object representing at least one application that is set as a frequently used application by a user of the electronic device (201).
  • at least one object representing at least one application running on the electronic device (201) e.g., at least one application displayed on the display (231) and/or at least one application running in the background
  • an object representing an application with the highest number of executions on the electronic device (201) at least one object representing at least one application that has been executed a specified number of times or more on the electronic device (201)
  • the processor (240) may detect an external electronic device (401) approaching the electronic device (201) using a communication circuit (e.g., the communication circuit (210) of FIG. 2). For example, the processor (240) may detect the proximity of the external electronic device (401) using a designated communication (e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth). When the external electronic device (401) approaching the electronic device (201) is detected, the processor (240) may provide a user interface indicating the proximity of the external electronic device (401). For example, the processor (240) may display an object indicating the external electronic device (401) positioned in proximity to the electronic device (201) in the task bar area (520).
  • a communication circuit e.g., the communication circuit (210) of FIG. 2 2).
  • a designated communication e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth.
  • the processor (240) may provide a user interface indicating the proximity of the external electronic device (401).
  • the task bar area (520) may display at least one object (525) representing at least one application related to the electronic device (201) and an object (527) representing an external electronic device (401) positioned proximate to the electronic device (201).
  • the task bar area (520) may include a first area for displaying objects related to the electronic device (201) and a second area for displaying objects related to the external electronic device (401).
  • the first area may display at least one object (525) representing at least one application related to the electronic device (201).
  • the second area may display an object (527) representing an external electronic device (401) positioned proximate to the electronic device (201).
  • the processor (240) may establish a communication connection (540) with the external electronic device (401) through a designated communication (e.g., short-range wireless communication) as illustrated in FIG. 5B .
  • a designated communication e.g., short-range wireless communication
  • the present invention is not limited thereto, and the processor (240) may establish a communication connection (540) with the external electronic device (401) through a designated communication (e.g., short-range wireless communication) based on the detection of an external electronic device (401) approaching the electronic device (201) without a separate input (e.g., an input (535) for selecting an object (527)).
  • the processor (240) may display at least one object (545) representing at least one application executable on the external electronic device (401) (e.g., Application H, Application I, and/or Application D) instead of an object (527) representing the external electronic device (401) positioned proximate to the electronic device (201) in the task bar area (520).
  • object (545) representing at least one application executable on the external electronic device (401) (e.g., Application H, Application I, and/or Application D) instead of an object (527) representing the external electronic device (401) positioned proximate to the electronic device (201) in the task bar area (520).
  • the processor (240) may display at least one object (545) representing at least one application (e.g., application H, application I, and/or application D) executable on the external electronic device (401) together with an object (527) representing the external electronic device (401) positioned proximate to the electronic device (201) in the task bar area (520).
  • at least one object (545) representing at least one application executable on the external electronic device (401) may be displayed adjacent to an object (527) representing the external electronic device (401).
  • the processor (240) may display at least one application executable on the external electronic device (401), namely, application H, application I, and/or application D.
  • application H For example, among at least one application related to the electronic device (201), for example, application A, application B, application C, application D, application E, and application F, only application D is displayed as an application executable on the external electronic device (401), so that application A, application B, application C, application E, and application F may mean applications that are not executable on the external electronic device (401).
  • the processor (240) may, based on being connected to an external electronic device (401) for communication, transmit information related to application D being displayed on the largest window among the screens of applications running on the electronic device (201), for example, the first screen (505) of application A, the second screen (510) of application B, and the third screen (515) of application D, which are displayed on the display (231) in the form of a multi-window, to the external electronic device (401) through the communication circuit (210).
  • the third screen (515) of application D is a screen displayed on the display (231) of the electronic device (201).
  • the processor (240) may remove the third screen (515) of application D from the display (231) (e.g., terminate the display of the third screen (515) of application D) and display only the first screen (505) of application A and the second screen (510) of application B on the display (231).
  • the present invention is not limited thereto.
  • the external electronic device (401) may output information related to the application D based on information related to the application D received from the electronic device (201). For example, the external electronic device (401) may output visual information related to the application D (e.g., a screen (515) of the application D) on a display, and/or output auditory information (e.g., an audio signal) of the application D through an audio output circuit.
  • visual information related to the application D e.g., a screen (515) of the application D
  • auditory information e.g., an audio signal
  • the processor (240) may display at least one item (555) capable of controlling a function related to application D in the task bar area (520) adjacent to an object (547) representing application D, as illustrated in FIG. 5c.
  • At least one item (555) capable of controlling a function related to application D may include a first item for playing previous multimedia content, a second item for stopping multimedia content, and/or a third item for playing subsequent multimedia content.
  • the present invention is not limited thereto.
  • At least one item (555) capable of controlling a function related to application D may include an item for playing back a previous audio signal, an item for playing back a next audio signal, and/or an item for stopping an audio signal.
  • this is not limited thereto.
  • At least one item (555) capable of controlling a function related to application D may include, but is not limited to, an item for displaying a previous photo, an item for displaying a next photo, and/or an item for displaying a recommended photo.
  • the processor (240) may change and display objects and/or items displayed in the task bar area (520) depending on the location where the user input is detected. For example, referring to FIG. 5D, when information related to application D is output from an external electronic device (401), the processor (240) may detect a user input (560) on a first screen (505) of application A. In this case, the processor (240) may remove the display of at least one item (555) capable of controlling a function related to application D from the task bar area (520).
  • the processor (240) may recognize that it is not necessary to control a function related to application D being output from the external electronic device (401), and may remove the display of at least one item (555) capable of controlling a function related to application D from the task bar area (520).
  • the processor (240) may detect an input (565) for selecting an object (547) representing application D in a state in which information related to application D is output from an external electronic device (401) and display of at least one item (555) capable of controlling a function related to application D is removed from a task bar area (520). In this case, the processor (240) may display at least one item (555) capable of controlling a function related to application D on the external electronic device (401) adjacent to the object (547) representing application D in the task bar area (520).
  • the processor (240) recognizes that a situation requires control of a function related to application D being output from an external electronic device (401), and may display at least one item (555) capable of controlling a function related to application D on the external electronic device (401) in the task bar area (520) adjacent to the object (547) representing application D.
  • FIGS. 5A to 5D it has been described that there is one external electronic device (401) that is close to the electronic device (201) and is communicatively connected, but this is only to help understanding of the invention and is not limited thereto.
  • the external electronic device (401) that is close to the electronic device (201) may include a plurality of external electronic devices, and the electronic device (201) may be communicatively connected to each of the plurality of external electronic devices to perform the operations disclosed in FIGS. 5A to 5D described above.
  • a processor e.g., a processor (240) of FIG. 2) of an electronic device (e.g., an electronic device (201) of FIG. 2) may detect at least one external electronic device approaching the electronic device (201) by using a communication circuit (e.g., a communication circuit (210) of FIG. 2).
  • the processor (240) may detect at least one external electronic device approaching the electronic device (201) by using a designated communication (e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth).
  • a designated communication e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth
  • a plurality of objects representing a plurality of scanned external electronic devices may be displayed differently depending on the type of the external electronic device.
  • the types of the external electronic devices may include a TV, a watch, a smartphone, a tablet PC, a desktop PC, a laptop PC, a wireless audio output device (e.g., a Bluetooth speaker), and a wireless audio wearable electronic device (e.g., a Bluetooth earphone).
  • the first external electronic device may be a wireless audio output device (e.g., a Bluetooth speaker), and the processor (240) may display a first object (615) representing the wireless audio output device (e.g., the Bluetooth speaker).
  • the second external electronic device may be a watch, and the processor (240) may display a second object (620) representing the watch.
  • the third external electronic device may be a wireless audio wearable electronic device (e.g., Bluetooth earphones), and the processor (240) may display a third object (625) representing the wireless audio wearable electronic device (e.g., Bluetooth earphones).
  • the fourth external electronic device may be a TV, and the processor (240) may display a fourth object (630) representing the TV.
  • the processor (240) may provide a user interface related to information (e.g., visual information and/or auditory information) that can be output based on a type of an external electronic device selected from among a plurality of external electronic devices.
  • the processor (240) may also provide a user interface that allows a user to select a type of information (e.g., visual information and/or auditory information) to be output to the external electronic device.
  • the processor (240) may provide a user interface (635) including a first item (637) that outputs only auditory information and a second item (639) that outputs both visual information and auditory information.
  • the processor (240) may transmit only information related to auditory information related to an application corresponding to the selected object among at least one object representing at least one application executable on the external electronic device (401) that is then displayed to the external electronic device (401).
  • the processor (240) may transmit information related to visual information and auditory information related to an application corresponding to the selected object among at least one object representing at least one application that can be executed on the external electronic device (401) displayed thereafter, to the external electronic device (401).
  • the processor (240) may provide a user interface (660) that includes a first item (637) that outputs only auditory information.
  • a processor e.g., processor (240) of FIG. 2) of an electronic device (e.g., electronic device (201) of FIG. 2) may display at least one object (530) representing at least one external electronic device positioned proximate to the electronic device (201) in a task bar area (520) of a display (e.g., display (231) of FIG. 2).
  • the processor (240) may display at least one object (525) representing at least one application related to the electronic device (201) and at least one object (530) representing at least one external electronic device (e.g., a first object (615) representing a wireless audio output device (e.g., a Bluetooth speaker), a second object (620) representing a watch, a third object (625) representing a wireless audio wearable electronic device (e.g., a Bluetooth earphone), and/or a fourth object (630) representing a TV) in the task bar area (520).
  • a first object (615) representing a wireless audio output device e.g., a Bluetooth speaker
  • a second object (620) representing a watch
  • a third object (625) representing a wireless audio wearable electronic device e.g., a Bluetooth earphone
  • a fourth object (630) representing a TV
  • the processor (240) may differently display items capable of controlling functions of an external electronic device based on a type of an external electronic device selected from among a plurality of external electronic devices (e.g., a TV, a watch, a smartphone, a tablet PC, a desktop PC, a laptop PC, a wireless audio output device (e.g., a Bluetooth speaker), and a wireless audio wearable electronic device (e.g., a Bluetooth earphone)).
  • a type of an external electronic device selected from among a plurality of external electronic devices (e.g., a TV, a watch, a smartphone, a tablet PC, a desktop PC, a laptop PC, a wireless audio output device (e.g., a Bluetooth speaker), and a wireless audio wearable electronic device (e.g., a Bluetooth earphone)).
  • a wireless audio output device e.g., a Bluetooth speaker
  • a wireless audio wearable electronic device e.g., a Bluetooth earphone
  • an item capable of controlling auditory information for example, an item capable of adjusting the volume (691), may be displayed in proximity to the first object (615) based on the fact that the selected first external electronic device is a device that outputs only auditory information.
  • FIGS. 7A and 7B are flowcharts illustrating a method of controlling an external electronic device (401) of an electronic device (201) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • FIGS. 7A and 7B may be additional operations of the aforementioned FIG. 3B.
  • the processor (240) may determine whether a first user input is detected in operation 705. For example, the processor (240) may determine whether a first user input is detected in at least one item for controlling at least one function of the application.
  • the first user input may include a long press input.
  • the present invention is not limited thereto.
  • the processor (240) may, in operation 710, output information related to an application being output from the external electronic device (401).
  • the electronic device (201) may output (or display) information related to an application being output from the external electronic device (401) in a pop-up window in proximity to at least one item in which the first user input is detected.
  • the processor (240) may transmit a signal requesting information related to an application currently being output from the external electronic device (401) to the external electronic device (401).
  • the processor (240) may output (or display) information related to an application received from the external electronic device (401) in a pop-up window.
  • the processor (240) may output (or display) a screen of the application being played on the external electronic device (401) (e.g., a video screen or a specific frame screen at the time of requesting information related to the currently output application) as a pop-up window based on information related to the application received from the external electronic device (401).
  • the processor (240) may output (or display) information related to the audio signal being played on the external electronic device (401) (e.g., a title, a singer name, and/or an album image) as a pop-up window based on information related to the application received from the external electronic device (401).
  • the processor (240) may branch to operation 320 of FIG. 3 to maintain a state in which at least one item for controlling at least one function of the application is displayed adjacent to the selected object.
  • the processor (240) may determine, in operation 715, whether a second user input is detected. For example, the processor (240) may determine whether a second user input is detected in a pop-up window for information related to an application being output from an external electronic device (401). In one embodiment, the second user input may include a long press input, but is not limited thereto.
  • the processor (240) may enter a multi-window arrangement mode in operation 720. After entering the multi-window arrangement mode, the processor (240) may determine whether a third user input is detected in operation 730.
  • the third user input may include a drag-and-drop input.
  • the processor (240) may determine whether a third user input (e.g., a drag-and-drop input) is detected to select a pop-up window for information related to an application being output from an external electronic device (401) and move and drop it to a specific area of a display (e.g., the display (231) of FIG. 2).
  • the processor (240) may, in operation 735, receive, from the external electronic device, information related to an application running on the external electronic device.
  • the information related to the application may include identification information for identifying the application, login information of the application (e.g., account information), and/or information related to the execution of the application.
  • the application is an application related to multimedia content
  • the information related to the execution of the application may include playback time information of the multimedia content.
  • the application is a browser application, the information related to the execution of the application may be link information.
  • the processor (240) may output information related to the application based on information related to the application received from the external electronic device (401) in operation 740.
  • the processor (240) may output visual information (e.g., a screen) of the application to the display (231), and/or output auditory information (e.g., an audio signal) of the application through an audio output circuit.
  • the processor (240) may display at least one object representing at least one application executable on the external electronic device (401) in the task bar area (520).
  • the processor (240) may determine whether a fourth user input is detected in operation 745.
  • the fourth user input may include a drag-and-drop input.
  • the present invention is not limited thereto.
  • the processor (240) may determine whether a fourth user input (e.g., drag-and-drop input) is detected to select a screen of a specific application being displayed on the display (231) and move and drop it to a pop-up window for information related to the application being output from the external electronic device (401).
  • the processor (240) may, in operation 750, transmit information related to a specific application to an external electronic device.
  • the processor (240) may display an object representing the specific application transmitted by the electronic device (201) and/or at least one object for controlling at least one function of the specific application in the task bar area (520).
  • the processor (240) may, in operation 755, disable the multi-window arrangement mode after a specified amount of time has elapsed.
  • the processor (240) may, in operation 725, terminate the output of information related to the application being output from the external electronic device (401) after a specified period of time has elapsed.
  • FIG. 8 is a drawing for explaining a method of controlling an external electronic device (401) of an electronic device (201) according to one embodiment of the present disclosure.
  • a processor e.g., a processor (240) of FIG. 2) of an electronic device (e.g., an electronic device (201) of FIG. 2) may display a first screen (505) of application A on a display (e.g., a display (231) of FIG. 2).
  • the processor (240) may be connected to an external electronic device (401) proximate to the electronic device (201) through a communication circuit (e.g., a communication circuit (210) of FIG. 2).
  • the processor (240) transmits information related to application I to an external electronic device (401) connected to a communication connection (540).
  • the external electronic device (401) may output information (e.g., visual information and/or auditory information) related to application I based on information related to application I received from the electronic device (201).
  • information e.g., visual information and/or auditory information
  • the processor (240) may display, in the task bar area (520), at least one object (525) representing at least one application running on the electronic device (201), at least one object representing at least one application executable on the external electronic device (401) (e.g., an object (801) representing application G), an object (805) representing application I running on the external electronic device (401), and/or at least one item (810) for controlling at least one function of application I.
  • at least one object (525) representing at least one application running on the electronic device (201) at least one object representing at least one application executable on the external electronic device (401) (e.g., an object (801) representing application G), an object (805) representing application I running on the external electronic device (401), and/or at least one item (810) for controlling at least one function of application I.
  • the processor (240) may detect a first user input (815) from at least one item (810) to control at least one function of an application I running on an external electronic device (401).
  • the first user input may include a long press input, but is not limited thereto.
  • the processor (240) may display information related to an application I being output from an external electronic device (401) in a pop-up window (820) adjacent to at least one item (810).
  • the processor (240) may detect a second user input (825).
  • the second user input (825) may include a long press input in a pop-up window (820).
  • the processor (240) may enter a multi-window arrangement mode. Various embodiments will be described in connection with this in FIGS. 9A, 9B, 9C, and 9D below.
  • FIG. 9a, FIG. 9b, FIG. 9c, and FIG. 9d are drawings for explaining a method of controlling an external electronic device (401) of an electronic device (201) according to one embodiment of the present disclosure.
  • a processor e.g., a processor (240) of FIG. 2) of an electronic device (e.g., an electronic device (201) of FIG. 2) may enter a multi-window arrangement mode when a second user input (not shown) (e.g., a long press input) is detected while displaying a first screen (505) of application A on a display (e.g., a display (231) of FIG. 2).
  • a second user input not shown
  • a second user input e.g., a long press input
  • the processor (240) may detect a third user input (905, 910) in a multi-window arrangement mode.
  • the third user input (905, 910) may include a drag-and-drop input of moving and dropping a pop-up window (820) for information related to an application I being output from an external electronic device (401) to a specific area of the display (231) while selecting the pop-up window.
  • the processor (240) may display an area (920) of the display (231) to output information related to an application I being output from an external electronic device (401).
  • the processor (240) may request information related to an application I running on the external electronic device (401) from the external electronic device (401).
  • the processor (240) may receive information related to the application I from the external electronic device (401).
  • the information related to the application I may include identification information for identifying the application I, login information (e.g., account information) of the application I, and/or information related to the execution of the application.
  • the application I is an application related to multimedia content
  • the information related to the execution of the application I may include playback time information of the multimedia content.
  • the information related to the execution of the application I may be link information.
  • the processor (240) may output information related to application I based on information related to application I received from the external electronic device (401). For example, when the processor (240) is displaying the first screen (505) of application A on the display, the processor (240) may display the first screen (505) of application A and the screen (920) of application I in a multi-window format based on detection of entry into the multi-window arrangement mode and a third user input (905, 910). In this case, although not shown, the external electronic device (401) may terminate the output of information related to application I.
  • the processor (240) may display at least one object (923) representing at least one application (e.g., application H and/or application I) executable on the external electronic device (401).
  • the processor (240) may detect a fourth user input (925, 930).
  • the fourth user input (925, 930) may include a drag-and-drop input for moving and dropping from the first screen (505) of application A being displayed on the display (231) to a pop-up window (820) (e.g., a pop-up window for information related to application I being output from an external electronic device (401).
  • the processor (240) may transmit (935) information related to application A to an external electronic device (401), as illustrated in FIG. 9c.
  • the processor (240) may remove the display of the first screen (505) of application A from the display (231) (or terminate the display of the first screen (505) of application A) based on transmitting (935) information related to application A to the external electronic device (401), but is not limited thereto.
  • the processor (240) may remove the display of the object representing application A in the task bar area (520).
  • application A may be an application that is not an application running in the background, an application with the highest number of executions, an application that is not executed more than a specified number of times on the electronic device (201), and an application that is not set as a frequently used application.
  • the processor (240) may remove the object representing application A from at least one object (525) representing at least one application related to the electronic device (201) displayed in the task bar area (520) based on transmitting (935) information related to application A to the external electronic device (401).
  • the external electronic device (401) may output information (505) related to application A instead of outputting information related to application I based on receiving information related to application A from the electronic device (201).
  • the task bar area (520) may display an object (940) representing application A running on the external electronic device (401) and at least one item (945) for controlling at least one function related to application A.
  • the processor (240) can output a screen of a specific application to the display (231) through a pop-up window (953).
  • the processor (240) can detect a user input (955, 957).
  • the user input (955, 957) can include a drag input moving in a specific direction while the pop-up window (953) is selected.
  • the user input can also be a touch input (955) for selecting the pop-up window (953).
  • the processor (240) may display a first item (959) to terminate display of the pop-up window (953) and a second item (961) to cancel movement of the pop-up window (953).
  • the processor (240) may terminate display of the pop-up window (953). If the user input (955, 957) is released (e.g., dropped) from the second item (961), the processor (240) may maintain display of the pop-up window (953).
  • the processor (240) can determine whether a specific application displayed on the display (231) is an application supported by the external electronic device (401) (e.g., whether the specific application is an application installed on the external electronic device (401) or whether an application that can replace the specific application is installed on the external electronic device (401). For example, the processor (240) can determine whether a specific application displayed on the display (231) is an application supported by the external electronic device (401) based on information received from the external electronic device (401) during a process of communicating with the external electronic device (401).
  • the processor (240) can transmit a request signal to the external electronic device (401) to determine whether a specific application displayed on the display (231) is an application supported by the external electronic device (401) based on the detection of user inputs (955, 957). Based on the request signal, the external electronic device (401) can determine whether a specific application displayed on the display (231) is an application supported by the external electronic device (401).
  • the processor (240) may output a first visual effect (951) (e.g., a shadow effect) to a pop-up window (952) for information related to the application being output from the external electronic device (401).
  • a first visual effect e.g., a shadow effect
  • the first visual effect may be a visual effect indicating that the specific application is an application not supported by the external electronic device (401).
  • an item (973) that can terminate the display of the pop-up window (953) can be displayed adjacent to the pop-up window (953).
  • the processor (240) can terminate the display of the pop-up window (953).
  • the processor (240) can determine whether a specific application displayed on the display (231) is an application supported by the external electronic device (401). In one embodiment, if it is determined that the specific application displayed on the display (231) is an application supported by the external electronic device (401), the processor (240) can output a second visual effect (971) (e.g., a highlight effect) to a pop-up window (952) for information related to the application being output from the external electronic device (401).
  • the second visual effect (971) e.g., a highlight effect
  • the second visual effect (971) can be a visual effect indicating that the specific application is an application supported by the external electronic device (401).
  • the processor (240) may display an item for terminating the output of information related to the application from the external electronic device (401).
  • the processor (240) may also display an item for terminating the output of information related to the application from the external electronic device (401). If an input for selecting an item for terminating the output of information related to the application from the external electronic device (401) is detected, the processor (240) may transmit a signal requesting termination of the output of information related to the application to the external electronic device (401).
  • FIG. 10 is a diagram showing signal flow between an electronic device (201) and an external electronic device (401) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • the operations 1010, 1015, 1020, 1030, 1040, 1045, and 1050 of FIG. 10 are identical to the operations 705, 710, 715, 720, 730, 735, 740, 745, and 750 of FIGS. 7a and 7b described above, and therefore, the description thereof may be replaced with the description of FIGS. 7a and 7b.
  • the external electronic device (401) may be in a state of outputting application information in operation 1005.
  • the electronic device (201) may, in operation 1010, display information related to an application being output from an external electronic device (401) in a task bar area (e.g., the task bar area (520) of FIG. 5A) based on detecting a first user input.
  • the electronic device (201) may detect the first user input in at least one item for controlling at least one function of an application being output from the external electronic device (401) that is being displayed in the task bar area (520).
  • the electronic device (201) may display information related to the application being output from the external electronic device (401) in a pop-up window, proximate to at least one item in which the first user input is detected.
  • the electronic device (201) may enter a multi-window arrangement mode based on detecting a second user input at operation 1015. For example, the electronic device (201) may detect the second user input in a pop-up window for information related to an application being output on an external electronic device (401). The electronic device (201) may detect a third user input at operation 1020. For example, the electronic device (201) may detect a third user input moving from a pop-up window for information related to an application being output on the external electronic device (401) to a specific area of the display (231).
  • the electronic device (201) may, in operation 1025, receive information related to the application from the external electronic device (401).
  • the information related to the application may include identification information for identifying the application, login information of the application (e.g., account information), and/or information related to execution of the application.
  • the application is an application related to multimedia content
  • the information related to execution of the application may include playback time information of the multimedia content.
  • the application is a browser application, the information related to execution of the application may be link information.
  • the electronic device (201) may further perform an action of transmitting a signal requesting information related to the running application to the external electronic device (401) based on detecting a third user input.
  • the electronic device (201) may output information related to an application based on information related to the application received from an external electronic device (401) in operation 1030.
  • the electronic device (201) may output visual information (e.g., a screen) of the application to the display (231), and/or output auditory information (e.g., an audio signal) of the application through an audio output circuit.
  • the external electronic device (401) may terminate the application at operation 1035.
  • the electronic device (201) may, in operation 1040, display at least one object representing at least one application executable on the external electronic device (401) in the task bar area (520).
  • the electronic device (201) may, in operation 1045, detect a fourth user input.
  • the electronic device (201) may detect a fourth user input moving from a screen of a specific application being displayed on the display (231) to a pop-up window for information related to the application being output on the external electronic device (401). Based on the detection of the fourth user input, the electronic device (201) may, in operation 1050, transmit information related to the specific application to the external electronic device (401).
  • the external electronic device (401) may output information related to a specific application based on information related to a specific application received from the electronic device (201) in operation 1055. For example, if the external electronic device (401) has a display and an audio output circuit, the external electronic device (401) may output information related to a specific application, for example, visual information and/or auditory information, based on the information related to the specific application. As another example, if the external electronic device (401) does not have a display and only has an audio output circuit, the external electronic device (401) may output information related to a specific application, for example, auditory information, based on the information related to the specific application.
  • a specific application for example, visual information and/or auditory information
  • FIGS. 3 to 10 it has been described that there is only one external electronic device (401) that is close to the electronic device (201) and is communicatively connected, but this is only to help understanding of the invention and is not limited thereto.
  • the external electronic device (401) that is close to the electronic device (201) may include a plurality of external electronic devices, and the electronic device (201) may be communicatively connected to each of the plurality of external electronic devices to perform the operations disclosed in FIGS. 3 to 10 described above.
  • FIGS. 11A to 12B various embodiments will be described in FIGS. 11A to 12B described below.
  • FIG. 11A and FIG. 11B are drawings for explaining a method of controlling a plurality of external electronic devices (401, 1101) of an electronic device (201) according to one embodiment of the present disclosure.
  • a processor e.g., processor (240) of FIG. 2 of an electronic device (e.g., electronic device (201) of FIG. 2 ) may display information (1109) related to application C as a pop-up window (1106) on a display (e.g., display (231) of FIG. 2 ) as application C is executed.
  • the processor (240) may display at least one object (525) representing at least one application related to the electronic device (201) in a task bar area (520).
  • At least one object (525) representing at least one application associated with the electronic device (201) may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an object representing an application with the highest number of executions on the electronic device (201), at least one object representing at least one application that has been executed a specified number of times or more on the electronic device (201), and/or at least one object representing at least one application set as a frequently used application by a user of the electronic device (201).
  • the present invention is not limited thereto.
  • the processor (240) may detect a first external electronic device (401) and a second external electronic device (1101) in proximity to the electronic device (201) using a communication circuit (e.g., the communication circuit (210) of FIG. 2).
  • a communication circuit e.g., the communication circuit (210) of FIG. 2.
  • the processor (240) may detect the first external electronic device (401) and the second external electronic device (1101) in proximity to the electronic device (201) using a designated communication (e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth).
  • a designated communication e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth.
  • the processor (240) may establish a communication connection (1103, 1105) with the first external electronic device (401) and the second external electronic device (1101) through the designated communication (e.g., a short-range wireless communication).
  • the designated communication e.g., a short-range wireless communication
  • FIG. 11A it is assumed that by transmitting information related to application A to a first external electronic device (401) that is communicatively connected with an electronic device (201), the first external electronic device (401) outputs information related to application A (1121), and by transmitting information related to application B to a second external electronic device (1101), the second external electronic device (1101) outputs information related to application B (1123).
  • the processor (240) may further display, in the task bar area (520), a first object (1131) representing application A running in the first external electronic device (401) that is communicatively connected (1103) with the electronic device (201), and a second object (1133) representing application B running in the second external electronic device (1101) that is communicatively connected (1105) with the electronic device (201).
  • the processor (240) may display at least one item (1132) for controlling at least one function related to application A adjacent to a first object (1131) representing application A, and at least one item (1134) for controlling at least one function related to application B adjacent to a second object (1133) representing application B.
  • the processor (240) may determine whether a user input (e.g., a long press input) is detected in at least one item (1132) for controlling at least one function of application A displayed in the task bar area (520) or at least one item (1134) for controlling at least one function related to application B. If a user input (e.g., a long press input) is detected, the processor (240) may display information (1117) related to application A being output from the first external electronic device (401) and information (1119) related to application B being output from the second external electronic device (1101) as a pop-up window (1115) on the display (231).
  • a user input e.g., a long press input
  • the processor (240) may display information (1117) related to application A being output from the first external electronic device (401) and information (1119) related to application B being output from the second external electronic device (1101) as a pop-up window (1115) on the display (231).
  • the processor (240) may transmit a signal requesting information related to application A currently being output from the first external electronic device (401) to the first external electronic device (401).
  • the processor (240) may display information (1117) related to application A received from the first external electronic device (401) in a pop-up window (1115).
  • the processor (240) may transmit a signal requesting information related to application B currently being output from the second external electronic device (1101) to the second external electronic device (1101).
  • the processor (240) may display information (1119) related to application B received from the second external electronic device (1101) in a pop-up window (1115).
  • the processor (240) may detect a drag-and-drop input (1111, 1113) for selecting a pop-up window (1106) for application C displayed on the display (231) and then moving and dropping information (1117) related to application A displayed on the pop-up window (1115). Based on the detection of the drag-and-drop input (1111, 1113), the processor (240) may transmit (1141) information related to application C to the first external electronic device (401), as illustrated in FIG. 11b.
  • the first external electronic device (401) may output information (1109) related to application C instead of outputting information (1121) related to application A based on receiving information related to application C from the electronic device (201).
  • the task bar area (520) may display a third object (1151) representing application C and at least one item (1153) for controlling at least one function related to application C instead of a first object (1131) representing application A and at least one item (1132) for controlling at least one function related to application A.
  • FIG. 12a, FIG. 12b, and FIG. 12c are drawings for explaining a method of controlling a plurality of external electronic devices (401, 1101) of an electronic device (201) according to one embodiment of the present disclosure.
  • a processor e.g., processor (240) of FIG. 2) of an electronic device (e.g., electronic device (201) of FIG. 2) can output the screen of application C to a display (e.g., display (231) of FIG. 2) through a pop-up window (1106).
  • the processor (240) may detect a first external electronic device (e.g., the first external electronic device (401) of FIGS. 11A and 11B) and a second external electronic device (e.g., the second external electronic device (1101) of FIGS. 11A and 11B) in proximity to the electronic device (201) using a communication circuit (e.g., the communication circuit (210) of FIG. 2). Based on the detection of the first external electronic device (401) and the second external electronic device (1101) in proximity to the electronic device (201), the processor (240) may communicate with the first external electronic device (401) and the second external electronic device (1101) through a designated communication (e.g., a short-range wireless communication).
  • a designated communication e.g., a short-range wireless communication
  • the processor (240) may detect a user input (e.g., a drag-and-drop input (1111, 1113)).
  • a user input e.g., a drag-and-drop input (1111, 1113)
  • the drag-and-drop input (1111, 1113) may include a drag-and-drop input of moving in a specific direction while selecting a pop-up window (1106).
  • the user input is not limited thereto, and the user input may also be a touch input (1111) for selecting a pop-up window (1106).
  • the processor (240) may display a first item (959) to terminate display of the pop-up window (1106) and a second item (961) to cancel movement of the pop-up window (1106).
  • the processor (240) can determine whether the application C displayed on the display (231) is an application supported by the first external electronic device (401) and/or the second external electronic device (1101) (e.g., whether a specific application is an application installed on the external electronic device (401) or whether an application that can replace the specific application is installed on the external electronic device (401).
  • the processor (240) can determine whether the application C displayed on the display (231) is an application supported by the first external electronic device (401) and/or the second external electronic device (1101) based on information received from the first external electronic device (401) and/or the second external electronic device (1101) during a process of communicating with the first external electronic device (401) and/or the second external electronic device (1101).
  • the processor (240) may transmit a request signal to the first external electronic device (401) and/or the second external electronic device (1101) to determine whether the application C displayed on the display (231) is an application supported by the first external electronic device (401) and/or the second external electronic device (1101) based on detection of a drag-and-drop input (1111, 1113). Based on the request signal, the processor (240) may determine whether the application C displayed on the display (231) is an application supported by the first external electronic device (401) and/or the second external electronic device (1101).
  • the processor (240) may output a first visual effect (1211) (e.g., a shade effect) to a portion of a pop-up window (1115) in which information (1117) related to application A being output from the first external electronic device (401) is displayed, as illustrated in reference numeral ⁇ 1210>, and output a second visual effect (1213) (e.g., a highlight effect) to another portion of a pop-up window (1115) in which information (1119) related to application B being output from the second external electronic device (1101) is displayed.
  • a first visual effect (1211) e.g., a shade effect
  • a second visual effect (1213) e.g., a highlight effect
  • the first visual effect (1211) may be a visual effect indicating that application C is an application not supported by the external electronic device (401).
  • the second visual effect (1213) e.g., highlight effect
  • the processor (240) can determine whether application C is an application supported by the first external electronic device (401). As described above, since application C is an application not supported by the first external electronic device (401), the processor (240) can output an icon (1221) (e.g., an “X” icon) indicating that application C is an application not supported by the first external electronic device (401), as illustrated in reference numeral ⁇ 1220>.
  • an icon (1221) e.g., an “X” icon
  • the processor (240) can determine whether the application C displayed on the display (231) is an application supported by the first external electronic device (401) and/or the second external electronic device (1101).
  • the processor (240) can output a second visual effect (1213) (e.g., a highlight effect) to a part of a pop-up window (1115) in which information (1117) related to application A being output from the first external electronic device (401) is displayed and to another part of a pop-up window (1115) in which information (1119) related to application B being output from the second external electronic device (1101) is displayed, as illustrated in reference numeral ⁇ 1230>.
  • a second visual effect (1213) e.g., a highlight effect
  • the processor (240) can determine whether application C is an application supported by the first external electronic device (401). As described above, since application C is an application supported by the first external electronic device (401), the processor (240) can output an icon (1241) (e.g., “O” icon) indicating that application C is an application supported by the first external electronic device (401), as illustrated in reference numeral ⁇ 1240>.
  • an icon (1241) e.g., “O” icon
  • the processor (240) may detect a user input (1251, 1253) (e.g., drag-and-drop input or swipe input) moving from a portion of a pop-up window (1115) displaying information (1117) related to application A being output from a first external electronic device (401) to another portion of a pop-up window (1115) displaying information (1119) related to application B being output from a second external electronic device (1101).
  • the processor (240) may receive information related to application B from the second external electronic device (1101) and transmit the same to the first external electronic device (401).
  • the processor (240) may receive information related to application A from the first external electronic device (401) and transmit the same to the second external electronic device (1101).
  • first external electronic device (401) and the second external electronic device (1101) may also be connected to each other through a short-range communication circuit.
  • first external electronic device (401) and the second external electronic device (1101) may exchange information related to application A and information related to application B.
  • FIGS. 13A and 13B are diagrams illustrating a method of displaying at least one object representing at least one application and at least one item for controlling at least one function of the application, according to one embodiment of the present disclosure.
  • a processor e.g., a processor (240) of FIG. 2 ) of an electronic device (e.g., an electronic device (201) of FIG. 2 ) may display an object representing an application running on at least one external electronic device that is communicatively connected via a communication circuit (e.g., a communication circuit (210) of FIG. 2 ) (e.g., a short-range communication circuit) in a task bar area (520) and at least one item for controlling at least one function of the application.
  • a communication circuit e.g., a communication circuit (210) of FIG. 2
  • a short-range communication circuit e.g., a short-range communication circuit
  • the processor (240) may display an object representing an application B running on the external electronic device and at least one item (1311) for controlling at least one function of the application B in the task bar area (520), as illustrated in reference numeral ⁇ 1310>.
  • the processor (240) may display, in the task bar area (520), an object representing an application B running on the first external electronic device and at least one item (1311) for controlling at least one function of the application B, and an object representing an application A running on the second external electronic device and at least one item (1321) for controlling at least one function of the application A, as illustrated in reference numeral ⁇ 1320>.
  • the processor (240) may display, in the form of tabs, an application running on each external electronic device and at least one item for controlling at least one function of the application, on the task bar area (520), as illustrated in reference numeral ⁇ 1330>.
  • each external electronic device for example, a first external electronic device, a second external electronic device, and a third external electronic device, may be provided in the form of tabs (1331, 1333, 1335).
  • the processor (240) may display, on the task bar area (520), an object representing an application B running on the first external electronic device and at least one item (1311) for controlling at least one function of the application B.
  • the processor (240) may display an object representing an application A running on the second external electronic device and at least one item (1321) for controlling at least one function of the application A in the task bar area (520).
  • the processor (240) may display an object representing an application C running on the third external electronic device and at least one item (not shown) for controlling at least one function of the application C in the task bar area (520).
  • the processor (240) may detect a touch input (1341) for selecting the object representing the application B. Based on detecting the touch input (1341) for selecting the object representing the application B, the processor (240) may display an object representing an application A running on a second external electronic device and at least one item (1311) for controlling at least one function of the application A in the task bar area (520) instead of displaying the object representing the application B and at least one item (1311) for controlling at least one function of the application B.
  • the processor (240) can detect a touch input (1342) for selecting the object representing the application A. Based on detecting the touch input (1342) for selecting the object representing the application A, the processor (240) can display an object representing an application C running on a third external electronic device and at least one item (1343) for controlling at least one function of the application C in the task bar area (520) instead of displaying the object representing the application A and at least one item (1321) for controlling at least one function of the application A.
  • the processor (240) may switch the display of an object representing an application running on another external electronic device and at least one item for controlling at least one function of the application by detecting a swipe input (e.g., up/down/left/right swipe input) from an object representing a specific application displayed in the task bar area (520) and/or at least one item for controlling at least one function of the application.
  • a swipe input e.g., up/down/left/right swipe input
  • the processor (240) may display a first indicator (1351) and a second indicator (1353) as illustrated in reference numeral ⁇ 1350>.
  • the processor (240) may display an object representing an application C running on a third external electronic device and at least one item (1343) for controlling at least one function of the application C in the task bar area (520) instead of displaying an object representing the application B and at least one item (1311) for controlling at least one function of the application B.
  • the processor (240) may display an object representing application A running on the second external electronic device and at least one item (1321) for controlling at least one function of application A in the task bar area (520) instead of displaying an object representing application B and at least one item (1311) for controlling at least one function of application B.
  • FIG. 14A is a drawing for explaining a navigation area (1411) displayed in a task bar area (520) according to one embodiment of the present disclosure.
  • a task bar area (520) may display a navigation area (1411) together with at least one object (525) representing at least one application related to an electronic device (e.g., electronic device (201) of FIG. 2).
  • the task bar area (520) and/or the navigation area (1411) may be displayed on the display (231) when a specific input is detected or under a specific condition.
  • the specific input may include, but is not limited to, a swipe input (e.g., a swipe input upward from a bottom edge of the display (231).
  • the specific condition according to one embodiment may include, but is not limited to, a condition in which proximity of at least one external electronic device is detected or a condition in which communication is connected with at least one external electronic device.
  • the navigation area (1411) may display, but is not limited to, an item (1411a) for executing a menu (e.g., a menu button), an item (1411b) for moving to a home screen (e.g., displaying the home screen) (e.g., a home button), and/or an item (1411c) for returning to and displaying a previous screen (e.g., a back button).
  • a menu button e.g., a menu button
  • an item (1411b) for moving to a home screen e.g., displaying the home screen
  • a home button e.g., a home button
  • an item (1411c) for returning to and displaying a previous screen e.g., a back button
  • a processor may detect execution of a specific application while displaying a home screen and navigation area (1411) in a task bar area (520). Based on detecting execution of the specific application, the processor (240) may adjust the size of the task bar area (520) (e.g., adjust it to a smaller size than a specified size) so that an area in which an execution screen of the specific application is displayed on the display (231) may be expanded.
  • the processor (240) may control the task bar area (520) to be displayed at a second length (e.g., a second length shorter than the first length) from a bottom edge of the display (231).
  • the processor (240) can also control the display of at least one object (525) displayed in the task bar area (520), the navigation area (1411), and at least one item (1411a, 1411b, and 1411c) displayed within the navigation area (1411) by adjusting their sizes (e.g., adjusting them to a size smaller than a preset size).
  • the processor (240) may display, in a task bar area (520), at least one object (525) representing at least one application related to the electronic device (201), a navigation area (1411), an object (1421) representing an application executable on the external electronic device, and/or an item (1423) for controlling a function of an application (1422) running on the external electronic device.
  • the navigation area (1411) is described as being displayed within the task bar area (520), but is not limited thereto.
  • the navigation area (1411) may be displayed adjacent to the task bar area (520).
  • the navigation area (1411) may be displayed in a lower area of the task bar area (520) (e.g., between the task bar area (520) and a lower edge of a display (e.g., the display (231) of FIG. 2)).
  • the navigation area (1411) may be displayed in an upper area of the task bar area (520).
  • a navigation area (1411) is displayed (e.g., a state of reference numeral ⁇ 1430>) in a lower area of a task bar area (520) (e.g., the task bar area (520) and a display (e.g., the display (231) of FIG. 2)
  • the processor (240) may further display, in the task bar area (520), an object (1421) representing an application executable on the external electronic device, and/or an item (1423) for controlling a function of an application (1422) running on the external electronic device.
  • the processor (240) may further display, in the task bar area (520), an object (1421) representing an application executable on the external electronic device, and/or an item (1423) for controlling a function of an application (1422) running on the external electronic device, as illustrated in reference number ⁇ 1460>.
  • the processor (240) may detect execution of a specific application. Based on detecting execution of the specific application, the processor (240) may display the navigation area (1411) in the task bar area (520) as illustrated in reference numeral ⁇ 1410> or ⁇ 1420> so that an area in which an execution screen of the specific application is displayed on the display (231) may be expanded. Additionally, the processor (240) may display at least one object (525) representing at least one application displayed in the task bar area (520) in a size smaller than a preset size.
  • the processor (240) may maintain a state in which the navigation area (1411) is displayed adjacent to the task bar area (520) (e.g., the lower area or the upper area of the task bar area (520)), as illustrated in reference numerals ⁇ 1430> (or ⁇ 1440>) and ⁇ 1450> (or ⁇ 1460>).
  • the processor (240) may control the sizes of the task bar area (520), at least one object (525) displayed in the task bar area (520), the navigation area (1411), and at least one item (1411a, 1411b, and 1411c) displayed in the navigation area (1411) to be displayed in a size smaller than a preset size.
  • the processor (240) may display only the navigation area (1411) without displaying at least one object (525) representing at least one application in the task bar area (520).
  • a processor may, based on being communicatively connected to an external electronic device, display in a task bar area (520) at least one object (525) representing at least one application related to the electronic device (201) and/or at least one object (1471, 1473) representing at least one application executable on the external electronic device (e.g., application I and/or application J).
  • application J is executed on the external electronic device by selecting an object (1473) representing application J from among at least one object (1471, 1473) representing at least one application (e.g., application I and/or application J) executable on the external electronic device.
  • the object (1473) representing application J that is running (or being output) on an external electronic device may be displayed differently from the object (1471) representing application I that is not running on the external electronic device.
  • the processor (240) may display the object (1473) representing application J that is running (or being output) on the external electronic device by applying a visual effect.
  • the visual effect may include a visual effect that displays the outline of an object in bold, a visual effect that displays the object with diagonal lines, and/or a visual effect that displays the object in a specific color.
  • the present invention is not limited thereto.
  • the processor (240) may provide common controller functions, which are functions that can be commonly used in the application, based on a gesture detected in the object (1473) representing the application J.
  • the common controller functions may include functions displayed in the navigation area as seen in FIG. 14A (e.g., a function for executing a menu, a function for moving to a home screen, and/or a function for displaying a previous screen), a function for re-executing a recently executed function, and/or a function for scrolling a screen of an application being displayed on an external electronic device.
  • the present invention is not limited thereto.
  • a gesture corresponding to each of the common controller functions described above may be mapped, and the processor (240) may cause an external electronic device to perform a function corresponding to the gesture based on a gesture detected in an object (1473) representing application J.
  • the gesture may include a swipe gesture (e.g., an up-down swipe gesture, a left-right swipe gesture) on the object (1473) representing application J.
  • the processor (240) may display a list of common controller functions based on a gesture detected in an object (1473) representing an application J. When a specific controller function is selected from the list, the processor (240) may cause an external electronic device to perform a function corresponding to the gesture.
  • the processor (240) may further display a gesture area (1481) in proximity to an object (1473) representing an application J running (or outputting) on an external electronic device, as illustrated in reference numeral ⁇ 1480>, in the task bar area (520).
  • the processor (240) may cause the external electronic device to perform a function corresponding to a swipe gesture (e.g., an up-down swipe gesture, a left-right swipe gesture) detected in the gesture area (1481).
  • a swipe gesture e.g., an up-down swipe gesture, a left-right swipe gesture
  • the processor (240) may display items representing common controller functions (e.g., an item (1491) representing a function to execute a menu and/or an item (1492) representing a function to return to a previous screen) adjacent to an object (1473) representing an application J, as illustrated in reference numeral ⁇ 1490>.
  • the items representing common controller functions adjacent to the object (1473) may further include an item representing a function to move to a home screen, an item representing a function to re-execute a recently executed function, and/or an item representing a function to scroll a screen of an application being displayed on an external electronic device.
  • the processor (240) may provide common controller functions capable of controlling the application J based on a gesture detected on the object (1473). Additionally, the processor (240) may further display items representing gesture area (1481) or common controller functions, together with at least one item for controlling at least one function of an application J running on an external electronic device. In this case, the processor (240) may also provide common controller functions capable of controlling the application based on a gesture detected in the gesture area (1481) or the items representing common controller functions.
  • FIG. 15 is a diagram showing signal flow between an electronic device (201), a server (1501), and an external electronic device (401) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • FIG. 15 is a drawing for explaining an embodiment in which an electronic device (201) transmits information related to an application corresponding to a selected object and information related to a function corresponding to a selected item to an external electronic device (401) through a server (1501), compared to the aforementioned FIG. 4.
  • FIG. 15 The operations illustrated in FIG. 15 according to various embodiments are similar to the operations of FIG. 4 described above, except that the aforementioned information is transmitted through the server (1501), and therefore, the description related thereto may be replaced with the description of FIG. 4.
  • the electronic device (201) may be connected to an external electronic device (401) for communication in operation 1505.
  • the electronic device (201) may be connected to an external electronic device (401) in proximity to the electronic device (201) for communication (e.g., a communication circuit (210) of FIG. 2) (e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth).
  • a communication circuit (210) of FIG. 2 e.g., a short-range wireless communication such as UWB, Bluetooth, or low-power Bluetooth.
  • the electronic device (201) may, in operation 1510, display at least one object representing at least one application executable on the external electronic device (401) in at least a portion of an area (e.g., a task bar area) of a display (e.g., the display (231) of FIG. 2).
  • an area e.g., a task bar area
  • a display e.g., the display (231) of FIG. 2.
  • the at least one object representing at least one application executable on the external electronic device (401) may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on a display (e.g., the display 231 of FIG. 2) and/or at least one application running in the background), an object representing an application with the highest number of executions on the electronic device (201), at least one object representing at least one application that has been executed a specified number of times or more on the electronic device (201), and/or at least one object representing at least one application that is set as a frequently used application by a user of the electronic device (201).
  • at least one object representing at least one application running on the electronic device (201) e.g., at least one application displayed on a display (e.g., the display 231 of FIG. 2) and/or at least one application running in the background
  • the present invention is not limited thereto, and the at least one object representing at least one application may also include at least one object representing at least one application that has been executed a specified number of times or more on the external electronic device (401) and/or an object representing an application with the highest number of executions on the external electronic device (401).
  • the electronic device (201) may detect an input for selecting one of at least one object in operation 1515.
  • the electronic device (201) may transmit information related to an application corresponding to the selected object to the server (1501).
  • the information related to the application corresponding to the selected object may include identification information for identifying the application, login information of the application (e.g., account information), and/or information related to execution of the application.
  • the application is an application related to multimedia content
  • the information related to execution of the application may include playback time information of the multimedia content.
  • the application is a browser application
  • the information related to execution of the application may be link information.
  • the present invention is not limited thereto.
  • the server (1501) may, in operation 1525, transmit information related to an application corresponding to a selected object received from the electronic device (201) to an external electronic device (401).
  • the external electronic device (401) may output information related to the application based on information related to the application received from the server (1501) in operation 1530. For example, if the application is an application related to multimedia content, the external electronic device (401) may output multimedia content starting from the playback time information based on information related to the execution of the application received from the server (1501), for example, playback time information of the multimedia content.
  • multimedia content is being output on the display of the electronic device (201) (e.g., the display (231) of FIG. 2), and the external electronic device (401) outputs information related to the application based on information related to the application received from the server (1501), the multimedia content may not be displayed on the display (231) of the electronic device (201).
  • the multimedia content may not be displayed on the display (231) of the electronic device (201).
  • this is not limited thereto.
  • the electronic device (201) may, in operation 1535, display at least one item adjacent to the selected object for controlling at least one function of the application.
  • the at least one function of the application may include a function for manipulating playback of the multimedia content (e.g., pause playback, play, play forward, and/or play backward).
  • the at least one function of the application may include a function for manipulating the user interface (e.g., go forward, go back, and/or go home).
  • the at least one function of the application may include a function for displaying a previous photo, a function for displaying a next photo, and/or a function for displaying a recommended photo.
  • the present invention is not limited thereto.
  • the electronic device (201) may detect an input for selecting one of at least one item in operation 1540.
  • the electronic device (201) may transmit information related to a function corresponding to the selected item to the server (1501) in operation 1545.
  • the server (1502) may, in operation 1550, transmit information related to a function corresponding to a selected item received from the electronic device (201) to the external electronic device (401).
  • the external electronic device (401) in operation 1555, may output information of a changed application based on the information related to a function corresponding to the selected item received from the server (1502).
  • FIG. 16a, FIG. 16b, FIG. 16c, and FIG. 16d are drawings for explaining a method of controlling an external electronic device (401) of an electronic device (201) according to one embodiment of the present disclosure.
  • a processor e.g., a processor (240) of FIG. 2) of an electronic device (e.g., an electronic device (201) of FIG. 2) may display (e.g., in a multi-window format) screens (e.g., a first screen (505) of application A, a second screen (510) of application B, and a third screen (515) of application D) of a plurality of applications (e.g., applications A, application B, and application D) on a display (e.g., a display (231) of FIG. 2)) as the plurality of applications (e.g., applications A, application B, and application D) are executed.
  • the processor (240) may divide the entire area of the display (231) into three areas and display the first screen (505) of application A, the second screen (510) of application B, and the third screen (515) of application D in each of the divided areas.
  • the windows on which the first screen (505) of application A, the second screen (510) of application B, and the third screen (515) of application D are displayed may include window handles (1601, 1602, 1603).
  • the handle (1603) of an activated window e.g., the window on which the third screen (515) of application D is displayed
  • the processor (240) can output a playback screen of multimedia content based on a user account logged into a server related to application D through a window in which the third screen (515) of application D is displayed.
  • information on a user account (1604) logged into the server can be displayed in an area (e.g., an upper area of the window) of the window in which the third screen (515) of application D is displayed.
  • the present invention is not limited thereto, and a progress bar (1657) including a current playback time of multimedia content can be further displayed in the window in which the third screen (515) of application D is displayed (e.g., see FIG. 16c).
  • the processor (240) may display at least one object (525) representing at least one application (e.g., application A, application B, application C, application D, application E, and/or application F) related to the electronic device (201) in the task bar area (520) of the display (231).
  • application e.g., application A, application B, application C, application D, application E, and/or application F
  • the at least one object (525) representing at least one application related to the electronic device (201) may include at least one object representing at least one application running on the electronic device (201) (e.g., at least one application displayed on the display (231) and/or at least one application running in the background), an object representing an application with the highest number of executions on the electronic device (201), at least one object representing at least one application that has been run a specified number of times or more on the electronic device (201), and/or at least one object representing at least one application that is set as a frequently used application by a user of the electronic device (201).
  • at least one object representing at least one application running on the electronic device (201) e.g., at least one application displayed on the display (231) and/or at least one application running in the background
  • an object representing an application with the highest number of executions on the electronic device (201) at least one object representing at least one application that has been run a specified number of times or more on the electronic device (201)
  • the display (not shown) of the external electronic device (401) may display the fourth screen (1605) of the application H.
  • the external electronic device (401) is assumed to be a smart TV.
  • the processor (240) may perform (1610) a BLE scan operation at a specified period (e.g., about 3 to 5 minutes) to check for a connectable external electronic device (401) (e.g., a smart TV).
  • the external electronic device (401) may broadcast (1615) a signal including user account information and/or identification (ID) information of the external electronic device (401).
  • the processor (240) may compare user account information received from the external electronic device (401) and/or ID information of the external electronic device (401) with ID information of the external electronic device (401) included in the same user account information stored in a memory (e.g., memory (220) of FIG. 2) to determine that the external electronic device (401) is a connectable external electronic device (401).
  • a memory e.g., memory (220) of FIG. 2
  • the processor (240) may display an object (1616) representing the external electronic device (401) in the task bar area (520) based on identifying a connectable external electronic device (401).
  • the task bar area (520) may include a first area (520a) related to the electronic device (201) and a second area (520b) related to the external electronic device (401).
  • the first area (520a) of the task bar area (520) may display at least one application related to the electronic device (201).
  • the second area (520b) of the task bar area (520) may display an object related to the external electronic device (401) (e.g., an object representing the external electronic device (401), an object representing an application executable on the external electronic device (401), and/or an item for controlling a function of an application running on the external electronic device (401).
  • the processor (240) may establish a BLE communication connection (e.g., BLE Connection establishment) with the external electronic device (401) based on a user input (1617) for an object (1616) related to the external electronic device (401). For example, the processor (240) may transmit (1620) a request signal for a BLE connection to the external electronic device (401) including information related to the electronic device (201) (e.g., information on the electronic device (201), OS compatibility information, application compatibility information).
  • a BLE communication connection e.g., BLE Connection establishment
  • the processor (240) may transmit (1620) a request signal for a BLE connection to the external electronic device (401) including information related to the electronic device (201) (e.g., information on the electronic device (201), OS compatibility information, application compatibility information).
  • the external electronic device (401) may transmit (1625) a response signal to the electronic device (201) including information related to the external electronic device (401) (e.g., information on whether to output display information and/or audio information, a list of compatible applications).
  • information related to the external electronic device (401) e.g., information on whether to output display information and/or audio information, a list of compatible applications.
  • the processor (240) may display, in the task bar area (520), objects representing applications executable on the external electronic device (401) (e.g., object (530a) representing application H, object (530b) representing application I, and/or object (530c) representing application D) based on a response signal received from the external electronic device (401) and establishment of a communication connection with the external electronic device (402), as illustrated in FIG. 16C.
  • the objects representing at least one application executable on the external electronic device (401) e.g., object (530a) representing application H, object (530b) representing application I, and/or object (530c) representing application D
  • the objects representing at least one application executable on the external electronic device (401) may be displayed adjacent to the object (1616) representing the external electronic device (401).
  • an object representing at least one application executable on an external electronic device (401) displayed in a task bar area (520) may also display information indicating whether at least one application executable on the external electronic device (401) is installed on the electronic device (201). For example, among an object (530a) representing an application H executable on the external electronic device (401), an object (530b) representing an application I, and/or an object (530c) representing an application D, an object representing an application not installed on the electronic device (201) may be displayed to be distinct from an object representing an application installed on the electronic device (201).
  • the processor (240) can display an object (530b) representing application I that is not installed in the electronic device (201) differently from an object (530a) representing application H that is installed in the electronic device (201) and an object (530c) representing application D by applying different visual effects.
  • the processor (240) can display an object (530b) representing application I as a dummy.
  • the processor (240) can install application I.
  • the processor (240) may receive (or detect) a user input (1630) selecting an object (530c) representing an application D. Based on the user input (1630), the processor (240) may transmit (1635) information and/or execution information (e.g., application ID information, application account information, and/or play information) related to the application D to a server (1501) (e.g., a cloud server). Based on receiving (1647) a response signal from the server (1501), the processor (240) may confirm that the server (1501) has received the information and/or execution information (e.g., application ID information, application account information, and/or play information) related to the application D.
  • a server 1501
  • the processor (240) may confirm that the server (1501) has received the information and/or execution information (e.g., application ID information, application account information, and/or play information) related to the application D.
  • the server (1501) may transmit (1645) information related to application D and/or execution information (e.g., application ID information, application account information, and/or playback information) received from the electronic device (201) to the external electronic device (401).
  • the server (1501) may confirm that the external electronic device (401) has received information related to application D and/or execution information (e.g., application ID information, application account information, and/or playback information) based on receiving (1640) a response signal from the external electronic device (401).
  • the external electronic device (401) may terminate the application H that was currently running and execute application D based on information related to application D, e.g., application ID information and/or application account information, received from the server (1501) based on the same user account (1604). Based on the playback information related to application D, the external electronic device (401) may display a playback screen (1655) of content including a progress bar (1657) including a playback point in time.
  • execution information e.g., application ID information, application account information, and/or playback information
  • the processor (240) may terminate display of the third screen (515) of the application D based on transmitting (1635) information related to the application D and/or execution information (e.g., application ID information, application account information, and/or playback information) to the server (1501) (e.g., a cloud server).
  • information related to the application D and/or execution information e.g., application ID information, application account information, and/or playback information
  • server (1501) e.g., a cloud server.
  • the processor (240) may reconfigure and display the first screen (505) of application A and the second screen (510) of application B as multiple windows, as illustrated in FIG. 16d.
  • the processor (240) may activate one of the windows displaying the first screen (505) of application A and the window displaying the second screen (510) of application B based on the priority.
  • the priority may be set based on the most recently executed application or the application whose number of executions exceeds a specified number.
  • the present invention is not limited thereto.
  • the processor (240) may display a controller (1660) for controlling at least one function of an application D being executed by an external electronic device (401) in the task bar area (520).
  • the processor (240) may display the controller (1660) for controlling at least one function of an application D adjacent to an object (530c) representing the application D in the task bar area (520).
  • the processor (240) may display a pop-up window (1670) (e.g., a preview screen including a current playback time (e.g., a progress bar)) for a playback screen (1655) of the content of the application D being output from the external electronic device (401) adjacent to the object (530c) representing the application D.
  • the processor (240) may further display another visual object (1665) for controlling at least one function for the application D being executed by the external electronic device (401) in the task bar area (520).
  • the another visual object (1665) may include an object for changing a screen ratio (e.g., changing a screen ratio of the application D being executed by the external electronic device (401), an object for displaying as a floating icon (e.g., providing a controller for controlling at least one function for the application D included in the task bar area (520) as a floating icon), and/or an object for terminating execution and connection (e.g., terminating the application D being executed by the external electronic device (401) and/or terminating a communication connection with the external electronic device (401).
  • the present invention is not limited thereto.
  • FIG. 17 is a diagram illustrating signal flow between an electronic device (201), a server (1501), and an external electronic device (401) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • FIG. 17 The operations illustrated in FIG. 17 according to various embodiments are similar to the operations of FIGS. 7A and 7B described above, except that the external electronic device (401) transmits information related to an application and information related to a specific application to the electronic device (201) through the server (1501), and therefore, the description related thereto may be replaced with the description of FIGS. 7A and 7B.
  • the external electronic device (401) may be in a state of outputting application information in operation 1705.
  • the electronic device (201) may, in operation 1710, display information related to an application being output from an external electronic device (401) based on detecting a first user input. For example, the electronic device (201) may detect a first user input (e.g., a long press input) in at least one item for controlling at least one function of an application being output from the external electronic device (401) displayed in a task bar area (520). When the first user input is detected, the electronic device (201) may display information related to the application being output from the external electronic device (401) in a pop-up window, proximate to at least one item in which the first user input is detected.
  • a first user input e.g., a long press input
  • the electronic device (201) may display information related to the application being output from the external electronic device (401) in a pop-up window, proximate to at least one item in which the first user input is detected.
  • the electronic device (201) may enter a multi-window arrangement mode based on detecting a second user input (e.g., a long press input) at operation 1715. For example, the electronic device (201) may detect the second user input in a pop-up window for information related to an application being output from the external electronic device (401). The electronic device (201) may detect a third user input at operation 1720. For example, the electronic device (201) may detect a third user input (e.g., a drag-and-drop input) moving from a pop-up window for information related to an application being output from the external electronic device (401) to a specific area of the display (231).
  • a third user input e.g., a drag-and-drop input
  • a signal requesting information related to an application running on the external electronic device (401) may be transmitted to the external electronic device (401) through the server (1501). Based on receiving the signal requesting information related to an application running on the external electronic device (401), the external electronic device (401) may, in operation 1725, transmit information related to the application to the server (1501).
  • the information related to the application may include identification information for identifying the application, login information of the application (e.g., account information), and/or information related to execution of the application.
  • the server (1501) may transmit, in operation 1730, information related to an application received from an external electronic device (401) to the electronic device (201).
  • the electronic device (201) may output information related to the application based on the information related to the application received from the server (1501). For example, the electronic device (201) may output visual information (e.g., a screen) of the application to the display (231), and/or output auditory information (e.g., an audio signal) of the application through an audio output circuit.
  • visual information e.g., a screen
  • auditory information e.g., an audio signal
  • the external electronic device (401) may terminate the application at operation 1740.
  • the electronic device (201) may display, in operation 1745, at least one object representing at least one application executable on the external electronic device (401), on at least a portion of the display (231) (e.g., the task bar area (520)).
  • the electronic device (201) may detect a fourth user input.
  • the electronic device (201) may detect a fourth user input (e.g., a drag-and-drop input) that moves from a screen of a specific application being displayed on the display (231) to a pop-up window for information related to the application being output on the external electronic device (401). Based on the detection of the fourth user input, the electronic device (201) may transmit information related to the specific application to the server (1501) in operation 1755.
  • a fourth user input e.g., a drag-and-drop input
  • the server (1501) may transmit information related to a specific application to the external electronic device (401) at operation 1760.
  • the external electronic device (401) may output information related to a specific application based on the information related to the specific application received from the electronic device (201) at operation 1765.
  • the external electronic device (401) may output information related to a specific application, for example, visual information and/or auditory information, based on the information related to the specific application.
  • the external electronic device (401) does not have a display and only has an audio output circuit, the external electronic device (401) may output information related to a specific application, for example, auditory information, based on the information related to the specific application.
  • FIG. 18a, FIG. 18b, and FIG. 18c are drawings for explaining a method of controlling an external electronic device (401) of an electronic device (201) according to one embodiment of the present disclosure.
  • a processor e.g., processor (240) of FIG. 2) of an electronic device (e.g., electronic device (201) of FIG. 2) can display a first screen (505) of application A and a screen (510) of application B in a multi-window format on a display (e.g., display (231) of FIG. 2).
  • an external electronic device (401) may be in a state of being ...
  • the processor (240) may display, in the task bar area (520), at least one object (525) representing at least one application running on the electronic device (201), at least one object representing at least one application executable on the external electronic device (401) (e.g., an object (530a) representing an application H and an object (530b) representing an application I), an object (530c) representing an application D running on the external electronic device (401), and/or a controller (1660) for controlling at least one function of the application D.
  • an object (530a) representing an application H and an object (530b) representing an application I an object (530c) representing an application D running on the external electronic device (401
  • a controller (1660) for controlling at least one function of the application D.
  • the processor (240) may detect a first user input from the controller (1660) to control at least one function of an application D running on an external electronic device (401).
  • the first user input may include a long press input, but is not limited thereto.
  • the processor (240) may display information related to application D being output from an external electronic device (401) (e.g., a preview screen including a current playback point (e.g., a progress bar)) in a pop-up window (1670) adjacent to an object (530c) representing application D.
  • an external electronic device e.g., a preview screen including a current playback point (e.g., a progress bar)
  • a pop-up window (1670) adjacent to an object (530c) representing application D e.g., a current playback point (e.g., a progress bar)
  • the processor (240) may detect a second user input (1810).
  • the second user input (1810) may include a drag-and-drop input of moving and dropping a pop-up window (1670) for information related to application D being output from an external electronic device (401) to a specific area of the display (231) while selecting the pop-up window.
  • the processor (240) may request (1815) information related to an application D running on an external electronic device (401) to the server (1501).
  • the server (1501) may request (1825) information related to an application D running on the external electronic device (401) to the external electronic device (401).
  • the external electronic device (401) may transmit (1820) information related to the running application D to the server (1501).
  • the information related to the application D may include identification information for identifying the application D, login information (e.g., account information) of the application D, and/or information related to the execution of the application.
  • the server (1501) may transmit (1830) information related to application D received from an external electronic device (401) to the electronic device (201).
  • the processor (240) may output information related to application D based on the information related to application D received from the server (1501).
  • the processor (240) may display a first screen (505) of application A and a second screen (510) of application B on the display (231), and may further display a third screen (515) of application D by reconfiguring them into a multi-window.
  • the processor (240) may divide the entire area of the display (231) into two areas and reconfigure them into three divided areas.
  • the processor (240) may display the first screen (505) of application A, the second screen (510) of application B, and the third screen (515) of application D on each of the three divided areas.
  • the external electronic device (401) may terminate the output of information related to application D. Additionally, instead of displaying at least one item capable of controlling a function related to application D in the task bar area (520), the processor (240) may display at least one object (530) representing at least one application executable on the external electronic device (401) (e.g., application H, application I, and/or application D).
  • the processor (240) may display at least one object (530) representing at least one application executable on the external electronic device (401) (e.g., application H, application I, and/or application D).
  • the electronic device (201) can intuitively control at least one function of the application running on the external electronic device (401, 1101) by displaying a controller (e.g., at least one item) for controlling at least one function of the application running on the external electronic device (401, 1101) on the task bar area (520) of the display (231). Accordingly, the user can eliminate the inconvenience of having to directly operate the external electronic device (401, 1101) in order to control at least one function of the application running on the external electronic device (401, 1101) while using the electronic device (201).
  • a controller e.g., at least one item
  • a method for controlling an external electronic device of an electronic device (201) may include an operation of displaying a first set of rows of objects representing a plurality of applications executable by the electronic device (201) in a task bar area (520) of a display (231).
  • a method for controlling an external electronic device of an electronic device (201) may include an operation of detecting an external electronic device (401) approaching the electronic device (201) through a communication circuit (210).
  • a method for controlling an external electronic device of an electronic device (201) according to one embodiment may include an operation of connecting with the external electronic device (401) through communication based on the detection of the external electronic device (401).
  • the task bar area (520) may be located between the execution screen of the second application and the bottom edge of the display (231).
  • a method for controlling an external electronic device of an electronic device (201) may include an operation of displaying at least one item for controlling at least one function of an application adjacent to a second object.
  • a method for controlling an external electronic device of an electronic device (201) may include an operation of checking a plurality of applications executable on an external electronic device (401).
  • a method for controlling an external electronic device of an electronic device (201) according to one embodiment may include an operation of selecting a subset of the plurality of applications executable on an external electronic device (401) based on a predefined condition.
  • a method for controlling an external electronic device of an electronic device (201) according to one embodiment may include an operation of displaying a row of second objects representing a subset of the plurality of applications executable on the selected external electronic device (401) in a task bar area (520) of a display (231).
  • the method for controlling an external electronic device of an electronic device (201) may include an operation of checking whether a first user input is detected in at least one item displayed in a task bar area (520) of a display (231).
  • the method for controlling an external electronic device of an electronic device (201) may include an operation of displaying information related to an application being output from an external electronic device (401) in a pop-up form on the display (231) when the first user input is detected.
  • the method for controlling an external electronic device of an electronic device (201) according to one embodiment may include an operation of checking whether a second user input is detected in information related to an application being output from an external electronic device (401) displayed in a pop-up form.
  • the method for controlling an external electronic device of an electronic device (201) may include an operation of entering a multi-window arrangement mode when the second user input is detected.
  • the method for controlling an external electronic device of an electronic device (201) may include an operation of checking whether a third user input is detected from information related to an application being output from an external electronic device (401) displayed in a pop-up form after entering a multi-window arrangement mode.
  • the method for controlling an external electronic device of an electronic device (201) according to one embodiment may include an operation of transmitting a signal requesting transmission of information related to an application being output from an external electronic device (401) to the external electronic device (401) when a third user input is detected.
  • the method for controlling an external electronic device of an electronic device (201) according to one embodiment may include an operation of receiving information related to an application being output from an external electronic device (401) through a communication circuit (210) in response to the signal requesting transmission.
  • the method for controlling an external electronic device of an electronic device (201) according to one embodiment may include an operation of outputting information related to an application based on the received information related to an application being output from an external electronic device (401).
  • the electronic devices according to various embodiments disclosed in this document may be devices of various forms.
  • the electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliance devices.
  • portable communication devices e.g., smartphones
  • computer devices portable multimedia devices
  • portable medical devices e.g., cameras
  • wearable devices e.g., smart watch devices
  • home appliance devices e.g., smartphones
  • the electronic devices according to embodiments of this document are not limited to the above-described devices.
  • module used in various embodiments of this document may include a unit implemented in hardware, software or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrally configured component or a minimum unit of the component or a portion thereof that performs one or more functions.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may be implemented as software (e.g., a program (140)) including one or more instructions stored in a storage medium (e.g., an internal memory (136) or an external memory (138)) readable by a machine (e.g., an electronic device (101)).
  • a processor e.g., a processor (120)
  • the machine e.g., an electronic device (101)
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the machine-readable storage medium may be provided in the form of a non-transitory storage medium.
  • ‘non-transitory’ simply means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and the term does not distinguish between cases where data is stored semi-permanently or temporarily on the storage medium.
  • the method according to various embodiments disclosed in the present document may be provided as included in a computer program product.
  • the computer program product may be traded between a seller and a buyer as a commodity.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., a compact disc read only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) via an application store (e.g., Play Store TM ) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play Store TM
  • at least a part of the computer program product may be at least temporarily stored or temporarily generated in a machine-readable storage medium, such as a memory of a manufacturer's server, a server of an application store, or an intermediary server.
  • each component e.g., a module or a program of the above-described components may include a single or multiple entities, and some of the multiple entities may be separately arranged in other components.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • the multiple components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the multiple components identically or similarly to those performed by the corresponding component of the multiple components before the integration.
  • the operations performed by the module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, omitted, or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시 예에 따르면, 전자 장치에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이의 태스크 바 영역에 표시하고, 통신 회로를 통해, 전자 장치에 근접하는 외부 전자 장치를 검출하고, 외부 전자 장치를 검출하는 것에 기반하여, 통신을 통해 외부 전자 장치와 연결하고, 외부 전자 장치에 의해 실행 가능한 어플리케이션을 확인하고, 외부 전자 장치에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 디스플레이의 태스크 바 영역에 표시하고, 제2 오브젝트에 대한 입력을 수신하고, 입력에 기반하여, 통신 회로를 통해 외부 전자 장치에 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 전송하도록 하는 전자 장치의 외부 전자 장치 제어 방법이 제공된다.

Description

전자 장치 및 이를 이용한 외부 전자 장치 제어 방법
본 개시의 실시예들은 전자 장치 및 이를 이용한 외부 전자 장치를 제어하는 방법에 관한 것이다.
디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰(smart phone), 태블릿(tablet) PC(personal computer), 웨어러블 디바이스(wearable device) 및/또는 랩탑(laptop) PC와 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 이러한, 전자 장치는 기능 지지 및 증대를 위해, 전자 장치의 하드웨어적인 부분 및/또는 소프트웨어적인 부분이 지속적으로 개발되고 있다.
한편, 하나 이상의 전자 장치를 이용함에 있어서, 다양한 어플리케이션들이 수행될 수 있다. 예를 들어, 사용자는 두 개의 전자 장치들을 유선 또는 무선으로 연결하여, 전자 장치에 실행 중인 어플리케이션을 다른 전자 장치에서 실행되도록 할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
상술한 정보는 단지 본 개시의 이해를 돕기 위한 배경 정보로서 제시될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련하여 종래 기술로 적용될 수 있는지 여부에 대해서는 어떠한 결정도 내려지지 않으며, 어떠한 주장도 이루어지지 않는다.
하지만, 사용자는 전자 장치를 사용하면서 다른 전자 장치에서 실행되도록 한 어플리케이션의 기능을 제어하기 위하여, 다른 전자 장치를 조작해야 하는 번거로움이 있을 수 있다.
본 개시의 일 실시예에 따른 전자 장치는 전자 장치에서 실행 중인 어플리케이션을 통신 연결된 다른 전자 장치에서 실행할 수 있도록, 실행 중인 어플리케이션과 관련된 속성 정보를 다른 전자 장치에 전송할 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치는, 다른 전자 장치에 전송한 어플리케이션의 기능을 제어하기 위한 적어도 하나의 오브젝트를 디스플레이에 표시할 수 있다.
본 개시의 측면들은 적어도 위에서 언급된 문제 및/또는 단점을 해결하고, 적어도 아래에서 설명되는 이점을 제공할 수 있다. 따라서, 본 개시의 일측면은 전자 장치 및 이를 이용한 외부 전자 장치를 제어하는 방법을 제공할 수 있다.
본 개시의 추가적인 측면들은 하기에서 부분적으로 설명될 것이며, 부분적으로는 설명으로부터 명백하거나, 또는 개시된 실시예들의 실무에 의해 학습될 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치는, 통신 회로, 디스플레이, 하나 이상의 컴퓨터 프로그램들을 저장하는 메모리, 및 상기 상기 통신 회로, 상기 디스플레이, 및 상기 메모리와 통신 가능하게 연결된 하나 이상의 프로세서를 포함할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 전자 장치에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 상기 디스플레이의 태스크 바 영역(task bar area)에 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 통신 회로를 통해, 전자 장치에 근접하는 외부 전자 장치를 검출하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 외부 전자 장치를 검출하는 것에 기반하여, 통신을 통해 상기 외부 전자 장치와 연결하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 외부 전자 장치에 의해 실행 가능한 어플리케이션을 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 외부 전자 장치에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 상기 디스플레이의 상기 태스크 바 영역에 표시하도록 하는 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치가, 상기 제2 오브젝트에 대한 입력을 수신하고, 상기 입력에 기반하여, 상기 통신 회로를 통해 상기 외부 전자 장치에 상기 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 전송하도록 할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치의 외부 전자 장치 제어 방법은, 상기 전자 장치에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이의 태스크 바 영역(task bar area)에 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 외부 전자 장치 제어 방법은, 통신 회로를 통해, 상기 전자 장치에 근접하는 외부 전자 장치를 검출하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 외부 전자 장치 제어 방법은, 상기 외부 전자 장치를 검출하는 것에 기반하여, 통신을 통해 상기 외부 전자 장치와 연결하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 외부 전자 장치 제어 방법은, 상기 외부 전자 장치에 의해 실행 가능한 어플리케이션을 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 외부 전자 장치 제어 방법은, 상기 외부 전자 장치에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 상기 디스플레이의 상기 태스크 바 영역에 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 외부 전자 장치 제어 방법은, 상기 제2 오브젝트에 대한 입력을 수신하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 외부 전자 장치 제어 방법은, 상기 입력에 기반하여, 상기 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 상기 통신 회로를 통해 상기 외부 전자 장치에 전송하는 동작을 포함할 수 있다.
본 개시의 일 실시예에 따르면, 하나 이상의 프로그램을 저장하는 비일시적인 컴퓨터 판독가능 저장 매체(또는, 컴퓨터 프로그램 제품(product))가 기술될 수 있다. 일 실시예에 따른 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 상기 전자 장치에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이의 태스크 바 영역(task bar area)에 표시하는 명령어를 포함할 수 있다. 일 실시예에 따른 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 통신 회로를 통해, 상기 전자 장치에 근접하는 외부 전자 장치를 검출하는 명령어를 포함할 수 있다. 일 실시예에 따른 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 상기 외부 전자 장치를 검출하는 것에 기반하여, 통신을 통해 상기 외부 전자 장치와 연결하는 명령어를 포함할 수 있다. 일 실시예에 따른 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 상기 외부 전자 장치에 의해 실행 가능한 어플리케이션을 확인하는 명령어를 포함할 수 있다. 일 실시예에 따른 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 상기 외부 전자 장치에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 상기 디스플레이의 상기 태스크 바 영역에 표시하는 명령어를 포함할 수 있다. 일 실시예에 따른 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 제2 오브젝트에 대한 입력을 수신하는 명령어를 포함할 수 있다. 일 실시예에 따른 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 상기 입력에 기반하여, 상기 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 상기 통신 회로를 통해 상기 외부 전자 장치에 전송하는 명령어를 포함할 수 있다.
본 개시의 일 실시예에 따른 전자 장치는, 다른 전자 장치에 전송한 어플리케이션의 기능을 제어하기 위한 적어도 하나의 오브젝트를 디스플레이에 표시함에 따라, 다른 전자 장치에서 실행 중인 어플리케이션의 기능을 직관적으로 제어할 수 있다.
본 개시의 일 실시예에 따른 전자 장치는, 다른 전자 장치에 전송한 어플리케이션의 기능을 제어하기 위한 적어도 하나의 오브젝트를 디스플레이에 표시함에 따라, 전자 장치를 사용하면서 다른 전자 장치에서 실행 중인 어플리케이션의 기능을 제어하기 위하여, 다른 전자 장치를 조작해야 하는 번거로움을 방지할 수 있다.
본 개시의 다른 측면들, 이점들, 및 현저한 특징들은 첨부되는 도면들과 함께 처리되는 하기의 상세한 설명으로부터 명백할 것이며, 이는 본 개시의 예시적인 실시예들을 개시한다.
본 개시의 특정 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들, 특징들, 및 이점들은 첨부되는 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은, 본 개시의 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 본 개시의 일 실시예에 따른, 전자 장치를 도시한 블록도이다.
도 3a는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3b는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3c는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 4는, 본 개시의 일 실시예에 따른, 전자 장치와 외부 전자 장치 간 신호 흐름을 나타내는 도면이다.
도 5a, 도 5b, 도 5c, 및 도 5d는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 6a는, 본 개시의 일 실시예에 따른, 스캔된 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트를 표시하는 방법을 설명하기 위한 도면이다.
도 6b는, 본 개시의 일 실시예에 따른, 스캔된 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트를 표시하는 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치(401)를 제어하는 방법을 설명하기 위한 흐름도이다.
도 8은, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 9a, 도 9b, 도 9c, 및 도 9d는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 10은, 본 개시의 일 실시예에 따른, 전자 장치와 외부 전자 장치 간 신호 흐름을 나타내는 도면이다.
도 11a 및 도 11b는, 본 개시의 일 실시예에 따른, 전자 장치의 복수의 외부 전자 장치들을 제어하는 방법을 설명하기 위한 도면이다.
도 12a, 도 12b, 및 도 12c는, 본 개시의 일 실시예에 따른, 전자 장치의 복수의 외부 전자 장치들을 제어하는 방법을 설명하기 위한 도면이다.
도 13a 및 도 13b는, 본 개시의 일 실시예에 따른, 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트 및 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하는 방법을 설명하기 위한 도면이다.
도 14a는, 본 개시의 일 실시예에 따른, 태스크 바 영역에 표시되는 네비게이션 영역을 설명하기 위한 도면이다.
도 14b는, 본 개시의 일 실시예에 따른, 공통 컨트롤러 아이템을 설명하기 위한 도면이다.
도 15는, 본 개시의 일 실시예에 따른, 전자 장치, 서버, 및 외부 전자 장치 간 신호 흐름을 나타내는 도면이다.
도 16a, 도 16b, 도 16c, 및 도 16d는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 17은, 본 개시의 일 실시예에 따른, 전자 장치, 서버, 및 외부 전자 장치 간 신호 흐름을 나타내는 도면이다.
도 18a, 도 18b, 및 도 18c는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 도면이다.
상기 도면 전체에 걸쳐 동일한 구성요소에 대해서는 동일한 참조번호를 사용하였다.
첨부 도면을 참조하는 다음의 설명은 청구 범위 및 그 등가물에 의해 정의된 바와 같은 본 개시의 다양한 실시들예의 포괄적인 이해를 돕기 위해 제공된다. 다음의 설명이 그 이해를 돕기 위해 다양한 특정 세부 사항들을 포함하지만, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 당업자는 본 개시의 범위 및 사상을 벗어나지 않고 본 명세서에 설명된 다양한 실시예들에 대한 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 공지의 기능 및 구성에 대한 설명은 명확성 및 간결성을 위해 생략될 수 있다.
하기의 상세한 설명 및 청구범위에서 사용되는 용어들 및 단어들은 문헌적 의미로 한정되는 것이 아니라, 본 개시의 명료하고 일관적인 이해를 가능하게 하도록 하기 위해 사용될 뿐이다. 따라서, 해당 기술분야의 당업자들에게는 본 개시의 다양한 실시예들에 대한 하기의 상세한 설명은 단지 예시 목적만을 위해 제공되는 것이며, 첨부되는 청구범위 및 그 균등물에 의해 정의되는 바와 같은 본 개시를 한정하기 위해 제공되는 것이 아니라는 것이 명백해야 할 것이다.
또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 “a”, “an”, 및 “the”와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 예를 들어, “컴포넌트 표면(component surface)”은 하나 또는 그 이상의 표현들을 포함할 수 있다.
각 흐름도의 블록들과 흐름도들의 조합은 컴퓨터 실행 가능한 명령들을 포함하는 하나 이상의 컴퓨터 프로그램들에 의해 수행될 수 있다는 것이 인식되어야 할 수 있다. 하나 이상의 컴퓨터 프로그램들 전체가 단일 메모리 장치에 저장될 수 있거나, 하나 이상의 컴퓨터 프로그램들이 서로 다른 다중 메모리 장치들에 저장된 서로 다른 부분으로 나누어질 수 있다.
본 명세서에 설명된 임의의 기능들 또는 동작들은 하나의 프로세서 또는 프로세서들의 조합에 의해 처리될 수 있다. 하나의 프로세서 또는 프로세서들의 조합은 처리를 수행하는 회로로서, 어플리케이션 프로세서(AP, application processor)(예: 중앙 처리 장치(CPU, central processing unit)), 통신 프로세서(CP, communication processor)(예: 모뎀(modem)), 그래픽 처리 장치(GPU, graphics processing unit), 신경 처리 장치(NPU, neural processing unit)(예: 인공 지능(AI, artificial intelligence) 칩(chip)), Wi-Fi 칩, Bluetooth® 칩, GPS(global positioning system) 칩, NFC(near field communication) 칩, 연결(connectivity) 칩, 센서 컨트롤러(sensor controller), 터치 컨트롤러(touch controller), 지문 센서 컨트롤러(finger-print sensor controller), 디스플레이 드라이브 집적 회로(display drive IC(integrated circuit)), 오디오 코덱(audio CODEC) 칩, 범용 직렬 버스(USB, universal serial bus) 컨트롤러, 카메라 컨트롤러(camera controller), 이미지 처리 IC(image processing IC), 마이크로프로세서 유닛(MPU, microprocessor unit), 시스템 온 칩(SoC, system on chip), 집적 회로(IC)와 같은 회로를 포함할 수 있다.
도 1은, 본 개시의 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB(printed circuit board)) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는, 본 개시의 일 실시예에 따른, 전자 장치(201)를 도시한 블록도이다.
도 2를 참조하면, 전자 장치(201)(예: 도 1의 전자 장치(101))는 통신 회로(210)(예: 도 1의 통신 모듈(190)), 메모리(220)(예: 도 1의 메모리(130)), 터치스크린 디스플레이(230)(예: 도 1의 디스플레이 모듈(160)), 및/또는 프로세서(240)(예: 도 1의 프로세서(120))를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 통신 회로(210)(예: 도 1의 통신 모듈(190))는 외부 전자 장치(예: 도 1의 전자 장치(102))와 통신 채널을 설립하고, 외부 전자 장치와 다양한 데이터를 송수신하도록 지원할 수 있다. 예를 들어, 통신 회로(210)는 외부 전자 장치와의 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 회로(210)는 UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신을 지원할 수 있다. 하지만 이에 한정하는 것은 아니다.
본 개시의 일 실시예에 따르면, 메모리(220)(예: 도 1의 메모리(130))는 전자 장치(201)의 프로세서(240)의 처리 및 제어를 위한 프로그램(예: 도 1의 프로그램(140)), 운영 체제(operating system, OS)(예: 도 1의 운영 체제(142)), 다양한 어플리케이션, 및/또는 입/출력 데이터를 저장하는 기능을 수행하며, 전자 장치(201)의 전반적인 동작을 제어하는 프로그램을 저장할 수 있다. 메모리(220)는 프로세서(240)에 의해 수행될 수 있는 다양한 인스트럭션들(instructions)을 저장할 수 있다.
일 실시예에서, 메모리(220)는 프로세서(240)의 제어 하에, 태스크 바 영역(task bar area)(예: 터치스크린 디스플레이(230)의 적어도 일부 영역)을 통해 스캔(또는 검색)된 전자 장치(201)에 근접하게 위치하는 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 제1 오브젝트, 외부 전자 장치에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 제2 오브젝트, 및/또는 어플리케이션의 적어도 하나의 기능을 제어할 수 있는 적어도 하나의 아이템을 표시하기 위한 인스트럭션들을 저장할 수 있다.
본 개시의 일 실시예에 따르면, 터치스크린 디스플레이(230)(예: 도 1의 디스플레이 모듈(160))는 디스플레이(231) 및 터치 패널(233)을 포함하는 일체형으로 구현되어, 프로세서(240)의 제어 하에 영상을 표시할 수 있다.
일 실시예에서, 디스플레이(231)는 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light-emitting diode, LED) 디스플레이, μLED(micro LED) 디스플레이, 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, AMOLED(active matrix organic light-emitting diode) 디스플레이, 마이크로 전자 기계 시스템(micro electro mechanical systems, MEMS) 디스플레이, 전자 종이(electronic paper) 디스플레이, 플렉서블 디스플레이(flexible display), 또는 롤러블 디스플레이(rollable display) 중 어느 하나로 구현될 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 터치 패널(233)은 손 제스처를 감지하는 손 터치 패널과 펜 제스처를 감지하는 펜 터치 패널을 포함하는 복합 터치 패널일 수 있다.
일 실시예에서, 터치스크린 디스플레이(230)는 프로세서(240)의 제어 하에, 스캔(또는 검색)된 전자 장치(201)에 근접하게 위치하는 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 제1 오브젝트, 외부 전자 장치에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 제2 오브젝트, 및/또는 어플리케이션의 적어도 하나의 기능을 제어할 수 있는 적어도 하나의 아이템을 태스크 바 영역(예: 터치스크린 디스플레이(230)의 적어도 일부 영역)을 통해 표시할 수 있다.
일 실시예에서, 터치스크린 디스플레이(230)는 프로세서(240)의 제어 하에, 어플리케이션과 관련된 정보(예: 화면)를 표시할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(240)(예: 도 1의 프로세서(120))는 예를 들어, 마이크로 컨트롤러 유닛(micro controller unit, MCU)을 포함할 수 있고, 운영 체제(OS) 또는 임베디드 소프트웨어 프로그램을 구동하여 프로세서(240)에 연결된 다수의 하드웨어 구성요소들을 제어할 수 있다. 프로세서(240)는, 예를 들어, 메모리(220)에 저장된 인스트럭션들(예: 도 1의 프로그램(140))에 따라 다수의 하드웨어 구성요소들을 제어할 수 있다.
일 실시예에서, 프로세서(240)는 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이(231)의 태스크 바 영역에 표시할 수 있다. 예를 들어, 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 제1 오브젝트들은, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수를 초과하는 횟수로 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다.
일 실시예에서, 프로세서(240)는 통신 회로(210)를 통해 전자 장치(201)에 근접하는 외부 전자 장치를 검출할 수 있다. 예를 들어, 프로세서(240)는 UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신을 통해 전자 장치(201)에 근접하는 외부 전자 장치를 검출할 수 있다. 프로세서(240)는 외부 전자 장치의 근접을 검출하는 것에 기반하여, 통신을 통해 외부 전자 장치와 통신 연결될 수 있다. 프로세서(240)는 외부 전자 장치와 통신 연결되는 것에 기반하여, 외부 전자 장치에서 실행할 수 있는 어플리케이션을 확인하고, 어플리케이션을 나타내는 제2 오브젝트를 디스플레이(231)의 태스크 바 영역에 표시할 수 있다. 일 실시예에서, 외부 전자 장치에서 실행할 수 있는 어플리케이션을 나타내는 제2 오브젝트는, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수를 초과하는 횟수로 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다. 하지만 이에 한정하는 것은 아니며, 외부 전자 장치에서 실행할 수 있는 어플리케이션을 나타내는 제2 오브젝트는, 외부 전자 장치에서 지정된 횟수를 초과하는 횟수로 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트 및/또는 외부 전자 장치에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트를 포함할 수도 있다.
일 실시예에서, 프로세서(240)는 제2 오브젝트에 대한 입력을 수신하면, 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 통신 회로(210)를 통해 외부 전자 장치에 전송할 수 있다. 예를 들어, 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보는, 어플리케이션을 식별하기 위한 식별 정보, 어플리케이션의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 외부 전자 장치에 전송한 후, 프로세서(240)는 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 제2 오브젝트에 인접하게 표시할 수 있다. 적어도 하나의 아이템 중 하나의 아이템을 선택하는 입력이 검출되면, 프로세서(240)는 선택된 아이템에 대응하는 기능의 실행을 요청하는 신호를 외부 전자 장치에 전송할 수 있다.
일 실시예에서, 프로세서(240)는 제1 사용자 입력을 검출하는 것에 기반하여, 외부 전자 장치에서 출력 중인 어플리케이션과 관련된 정보를 디스플레이(231)의 적어도 일부 영역에 표시할 수 있다. 제1 사용자 입력이 검출되면, 프로세서(240)는 외부 전자 장치에서 출력 중인 어플리케이션과 관련된 정보를 팝업창으로, 제1 사용자 입력이 검출된 적어도 하나의 아이템에 근접하게 표시할 수 있다. 프로세서(240)는 제2 사용자 입력을 검출하는 것에 기반하여, 멀티 윈도우 배치 모드에 진입할 수 있다. 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창으로부터 디스플레이(231)의 특정 영역으로 이동하는 제3 사용자 입력을 검출하는 것에 기반하여, 외부 전자 장치로부터 어플리케이션과 관련된 정보를 수신할 수 있다. 프로세서(240)는 외부 전자 장치(401)로부터 수신한 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션의 시각적 정보(예: 화면)를 디스플레이(231)에 출력하거나, 및/또는 어플리케이션의 청각적 정보(예: 오디오 신호)를 오디오 출력 회로를 통해 출력할 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 디스플레이(231)의 태스크 바 영역에 표시할 수 있다. 일 실시예에서, 프로세서(240)는 디스플레이(231)에 표시 중인 특정 어플리케이션의 화면으로부터 외부 전자 장치에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창으로 이동하는 제4 사용자 입력이 검출되는 것에 기반하여, 특정 어플리케이션과 관련된 속성 정보를 외부 전자 장치에 전송할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(201)는, 통신 회로(210), 디스플레이(231), 하나 이상의 컴퓨터 프로그램들을 저장하는 메모리(220), 상기 통신 회로(210), 디스플레이(231), 및 메모리(220)와 통신 가능하게 연결된 하나 이상의 프로세서(240)를를 포함할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이(231)의 태스크 바 영역(task bar area)(520)에 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 통신 회로(210)를 통해, 전자 장치(201)에 근접하는 외부 전자 장치(401)를 검출하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 외부 전자 장치(401)를 검출하는 것에 기반하여, 통신을 통해 외부 전자 장치(401)와 연결하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 디스플레이(231)의 태스크 바 영역(520)에 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 오브젝트에 대한 입력을 수신하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 오브젝트에 대한 입력에 기반하여, 통신 회로(210)를 통해 외부 전자 장치(401)에 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 전송하도록 할 수 있다.
일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 어플리케이션의 실행 화면을 디스플레이(231)에 표시하도록 하는 인스트럭션들을 저장할 수 있다. 일 실시예에 따른 메모리(220)는, 프로세서(240)에 의해 실행될 시, 전자 장치(201)가, 태스크 바 영역(520)에, 오브젝트들의 제1 세트의 행 및 제2 오브젝트의 표시와 함께 홈 버튼을 표시하도록 할 수 있다.
일 실시예에 따른 태스크 바 영역(520)은, 제2 어플리케이션의 실행 화면과 디스플레이(231)의 하단 엣지(bottom edge) 사이에 위치할 수 있다.
일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 제2 오브젝트에 인접하게 표시하도록 할 수 있다.
일 실시예에 따른 제2 오브젝트가 멀티미디어 플레이어 어플리케이션을 나타내는 경우, 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 멀티미디어 플레이어 어플리케이션의 기능들을 제어하기 위한 사용자 인터페이스 아이템들을 제2 오브젝트에 인접하게 표시하도록 할 수 있다.
일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들을 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 기 정의된 조건(a predefined condition)에 기반하여, 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋(subset)을 선택하도록 할 수 있다. 일 실시예에 따른컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 디스플레이(231)의 태스크 바 영역(520)에, 선택된 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋을 나타내는 제2 오브젝트들의 행을 표시하도록 할 수 있다.
일 실시예에 따른 복수의 어플리케이션들의 서브셋을 선택하기 위한 기 정의된 조건은, 외부 전자 장치(401)의 타입에 따른 외부 전자 장치(401)에서 출력할 정보의 타입을 포함할 수 있다.
일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 디스플레이(231)의 태스크 바 영역(520)에 표시된 적어도 하나의 아이템에서 제1 사용자 입력이 검출되는지 여부를 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제1 사용자 입력이 검출되는 경우, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 팝업 형태로 디스플레이(231)에 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에서 제2 사용자 입력이 검출되는지 여부를 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 사용자 입력이 검출되는 경우, 멀티 윈도우 배치 모드에 진입하도록 할 수 있다.
일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 멀티 윈도우 배치 모드에 진입한 후, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에서 제3 사용자 입력이 검출되는지 여부를 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제3 사용자 입력이 검출되는 경우, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보의 전송을 요청하는 신호를 외부 전자 장치(401)에 전송하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 전송을 요청하는 신호에 대한 응답으로, 통신 회로(210)를 통해, 외부 전자 장치(401)로부터 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 수신하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 수신한 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력하도록 할 수 있다.
일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 멀티 윈도우 배치 모드에 진입한 후, 디스플레이(231)에 표시 중인 제2 어플리케이션의 실행 화면에서 제4 사용자 입력이 검출되는지 여부를 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제4 사용자 입력이 검출되는 경우, 제2 어플리케이션과 관련된 정보를, 통신 회로(210)를 통해 외부 전자 장치(401)에 전송하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 디스플레이(231)의 태스크 바 영역(520)에, 제2 어플리케이션을 나타내는 오브젝트와 제2 어플리케이션과 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하도록 할 수 있다.
일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제4 사용자 입력이 검출되는 경우, 제2 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인 것으로 확인되면, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제1 시각적 효과를 적용하여 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 어플리케이션이 외부 전자 장치(401)에서 지원하지 않은 어플리케이션으로 확인되면, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제2 시각적 효과를 적용하여 표시하도록 할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(201)는, 통신 회로(210), 디스플레이(231), 하나 이상의 컴퓨터 프로그램들을 저장하는 메모리(220), 상기 통신 회로(210), 디스플레이(231), 및 메모리(220)와 통신 가능하게 연결된 하나 이상의 프로세서(240)를를 포함할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 어플리케이션의 실행 화면을 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 실행 화면과 디스플레이(231)의 하단 엣지(bottom edge) 사이에 위치한 태스크 바 영역(520)에 홈 화면으로 이동하기 위한 홈 버튼을 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 디스플레이(231)의 태스크 바 영역(520)에, 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 통신 회로(210)를 통해 전자 장치(201)에 근접한 외부 전자 장치(401)를 검출하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 외부 전자 장치(401)가 검출되는 것에 기반하여, 통신을 통해 외부 전자 장치(401)와 연결하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 외부 전자 장치(401)를 통해 수행할 수 있는 기능을 확인하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 외부 전자 장치(401)를 통해 수행할 수 있는 기능을 나타내는 제2 오브젝트를 디스플레이(231)의 태스크 바 영역(520)에 표시하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 오브젝트에 대한 입력을 수신하도록 할 수 있다. 일 실시예에 따른 컴퓨터 실행 가능한 인스트럭션들을 포함하는 하나 이상의 컴퓨터 프로그램들은, 하나 이상의 프로세서(240)에 의해 실행될 때, 전자 장치(201)가, 제2 오브젝트에 대한 입력에 기반하여, 통신 회로(210)를 통해 기능과 관련된 정보를 외부 전자 장치(401)에 전송하도록 할 수 있다.
도 3a는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시예에 따르면, 305동작 내지 335동작은 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))에서 수행되는 것으로 이해될 수 있다.
도 3a를 참조하면, 프로세서(240)는 305동작에서, 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이(예: 도 2의 디스플레이(231))의 태스크 바 영역에 표시할 수 있다.
일 실시예에서, 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들은, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수를 초과하는 횟수로 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다.
일 실시예에서, 태스크 바 영역(task bar area)은, 디스플레이(231)의 적어도 일부 영역에 표시될 수 있다. 예를 들어, 태스크 바 영역은, 전자 장치(201)의 디스플레이(231)의 하단 영역에 표시될 수 있다. 다른 예를 들어, 디스플레이(231)에 적어도 하나의 어플리케이션의 화면이 표시 중인 경우, 태스크 바 영역은, 적어도 하나의 어플리케이션의 화면과 디스플레이(231)의 하단 엣지(edge) 사이에 위치(또는 표시)될 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 태스크 바 영역은, 특정 입력이 검출되는 경우 디스플레이(231)의 적어도 일부 영역(예: 하단 영역)에 표시될 수 있다. 일 실시예에 따른 특정 입력은, 스와이프 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 태스크 바 영역은, 특정 조건에서 디스플레이(231)의 적어도 일부 영역에 표시될 수도 있다. 예를 들어, 일 실시예에 따른 특정 조건은, 후술하는 전자 장치(201)에 적어도 하나의 외부 전자 장치의 근접이 검출되는 조건 또는 적어도 하나의 외부 전자 장치와 통신 연결되는 조건을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(240)는 태스크 바 영역을 일시적으로 디스플레이(231)의 적어도 일부 영역(예: 하단 영역)에 표시할 수 있다. 예를 들어, 프로세서(240)는 태스크 바 영역을 디스플레이(231)의 적어도 일부 영역(예: 하단 영역)에 표시한 상태에서 지정된 시간이 경과되면, 태스크 바 영역의 표시를 종료할 수 있다. 이에 한정하는 것은 아니며, 프로세서(240)는 디스플레이(231)의 적어도 일부 영역(예: 하단 영역)에 태스크 바 영역을 계속해서 표시할 수도 있다.
일 실시예에서, 프로세서(240)는 310동작에서, 통신 회로(예: 도 2의 통신 회로(210))를 통해 전자 장치(201)에 근접하는 외부 전자 장치를 검출할 수 있다. 예를 들어, 프로세서(240)는 지정된 통신(예: UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신)을 이용하여, 전자 장치(201)에 근접하는 외부 전자 장치를 검출할 수 있다. 예를 들어, 프로세서(240)는 지정된 통신을 이용하여, 통신 연결이 가능한 외부 전자 장치를 확인할 수 있다.
일 실시예에서, 사용자는 전자 장치(201)로부터 지정된 범위를 초과하는 위치에 존재하는 외부 전자 장치를 전자 장치(201)로부터 지정된 범위 내 위치되도록 이동시킬 수 있다. 다른 예를 들어, 사용자는 전자 장치(201)와 외부 전자 장치가 지정된 범위 내 존재하도록, 전자 장치(201)를 외부 전자 장치에 근접하게 위치하도록 이동시킬 수 있다. 이 경우, 프로세서(240)는 지정된 통신을 이용하여 전자 장치(201)에 근접하는 외부 전자 장치를 검출(예: 지정된 범위 내 존재하는 것을 검출)(또는 확인)할 수 있다.
일 실시예에서, 외부 전자 장치는 적어도 하나의 출력 모듈(예: 디스플레이, 오디오 출력 회로, 및/또는 햅틱 모듈)을 구비하는 장치(예: 사용자의 귀에 착용되도록 설계된 이어 웨어러블 타입(ear wearable type)의 무선 오디오 웨어러블 전자 장치, 오디오 출력 장치(예: 스피커), 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 스마트 TV)일 수 있다.
일 실시예에서, 프로세서(240)는 전자 장치(201)에 근접하는 외부 전자 장치가 검출되면, 외부 전자 장치의 근접을 나타내는 사용자 인터페이스를 제공할 수 있다.
예를 들어, 프로세서(240)는 전자 장치(201)의 위치 정보(예: 집, 회사)를 기반으로 근거리 무선 통신(예: 도 1의 제1 네트워크(198))(예: 블루투스 또는 WiFi)을 자동으로 활성화할 수 있으며, 전자 장치(201)와 근접한 외부 전자 장치(예: 통신 연결 가능한 외부 전자 장치)가 검출되는 경우, 외부 전자 장치의 근접을 나타내는 사용자 인터페이스를 제공할 수 있다. 다른 예를 들어, 프로세서(240)는 WiFi 다이렉트(direct)를 기반으로 외부 전자 장치의 근접을 검출할 수 있다. 동일한 장소(또는 지정된 범위 내)에 존재하는 적어도 두 개의 장치들 각각은 WiFi 다이렉트를 이용하여 통신 연결이 가능하다는 신호를 브로드캐스트(broadcast) 할 수 있다. 예를 들어, 동일한 장소에 존재하는 장치가 전자 장치(201) 및 외부 전자 장치로 가정하면, 전자 장치(201)와 외부 전자 장치 각각은 WiFi 다이렉트를 이용하여 통신 연결이 가능하다는 신호를 브로드캐스트(broadcast) 할 수 있다. 프로세서(240)는 외부 전자 장치로부터 수신되는 브로드캐스트되는 신호에 기반하여, 통신 연결이 가능한 외부 전자 장치를 확인하고, 외부 전자 장치의 근접을 나타내는 사용자 인터페이스를 제공할 수 있다. 또 다른 예를 들어, 프로세서(240)는 지정된 시간 간격(예: 약 3분 내지 약 5분)으로 블루투스 스캔을 통해 전자 장치(201)에 근접하는 외부 전자 장치가 검출되면, 외부 전자 장치의 근접을 나타내는 사용자 인터페이스를 제공할 수 있다.
전술한 방법을 통해 전자 장치(201)에 근접하는 외부 전자 장치는 외부 전자 장치의 정보(예: 로그인 정보, 식별 정보(예: 장치 이름), 장치 타입, MAC 주소(medium access control (MAC) address))를 포함하는 신호를 브로드캐스팅 할 수 있다. 프로세서(240)는 일정 시간 동안(또는 일정 시간 간격) 스캔하여, 외부 전자 장치에 의해 브로드캐스팅되는 신호를 수신할 수 있다. 프로세서(240)는 수신된 브로드캐스팅 신호에 포함된 외부 전자 장치의 정보와 메모리(예: 도 2의 메모리(220))에 저장된 외부 전자 장치의 정보를 비교하고, 적어도 일부 일치된 정보에 기반하여 외부 전자 장치와의 통신 연결을 수립할 수 있다.
일 실시예에서, 프로세서(240)는 전자 장치(201)와 근접하게 위치하는 외부 전자 장치를 나타내는 오브젝트를 디스플레이(231)의 태스크 바 영역에 표시할 수 있다.
일 실시예에서, 프로세서(240)는 촉각적 신호(예: 진동) 및/또는 청각적 신호(예: 오디오 신호)를 통해 전자 장치(201)에 근접하는 외부 전자 장치가 검출됨을 나타내는 알림을 제공할 수도 있다.
일 실시예에서, 전자 장치(201)에 근접하게 위치하는 외부 전자 장치는 복수의 외부 전자 장치들일 수 있다. 이 경우, 프로세서(240)는 복수의 외부 전자 장치들 중 스캔 동작에 의해 먼저 스캔된 제1 외부 전자 장치를 나타내는 제1 오브젝트를 표시할 수 있다. 프로세서(240)는, 이후 스캔된 다른 적어도 하나의 제2 외부 전자 장치를 나타내는 적어도 하나의 제2 오브젝트를 제1 오브젝트를 기준으로 나열(예: 우측으로 나열)되게 표시할 수 있다. 이에 한정하는 것은 아니며, 프로세서(240)는 복수의 외부 전자 장치들 중 지정된 횟수 이상 통신 연결된 외부 전자 장치, 동일한 계정으로 로그인된 외부 전자 장치, 사용자에 의해 자주 사용하는 장치로 설정된 외부 전자 장치, 통신 연결 상태가 안정적인 외부 전자 장치(예: 통신 신호의 품질(예: RSRP(reference signal received power), RSSI(received signal strength indicator), RSRQ(reference signal received quality), 및/또는 SNR(signal to noise ratio))이 기준 값을 만족하는 외부 전자 장치)를 기준으로, 전자 장치(201)에 근접하게 위치하는 복수의 외부 전자 장치들을 나타내는 복수의 오브젝트들을 태스크 바 영역에 표시할 수 있다.
일 실시예에서, 태스크 바 영역에 표시된 복수의 외부 전자 장치들을 나타내는 복수의 오브젝트들 중 특정 오브젝트에서 특정 사용자 입력(예: 롱 프레스 입력)이 검출되면, 프로세서(240)는 특정 오브젝트에 대응하는 외부 전자 장치를 자주 사용하는 외부 전자 장치로 설정하거나, 또는 스캔되어도 태스크 바 영역에 표시하지 않을 외부 전자 장치로 설정할 수 있다.
일 실시예에서, 전자 장치(201)에 근접하는 외부 전자 장치를 스캔하는 동작은 지정된 간격(예: 약 5초)으로 지정된 시간(예: 약 30초) 동안 수행될 수 있다. 이에 한정하는 것은 아니며, 외부 전자 장치를 스캔하는 동작을 수행하기 위한 제1 오브젝트를 구비할 수 있다. 이 경우, 제1 오브젝트를 선택하는 입력이 검출되면, 프로세서(240)는 외부 전자 장치를 스캔하는 동작을 수행하거나, 또는 외부 전자 장치를 스캔하는 동작을 중지할 수 있다.
일 실시예에서, 스캔된 복수의 외부 전자 장치들이 지정된 개수를 초과함에 따라, 태스크 바 영역에 스캔된 복수의 외부 전자 장치들을 나타내는 복수의 오브젝트들을 표시 못하는 경우, 프로세서(240)는 제2 오브젝트(예: 스크롤 오브젝트, 더보기 오브젝트)를 디스플레이(231)의 태스크 바 영역에 표시할 수 있다. 제2 오브젝트를 선택하는 입력이 검출되면, 프로세서(240)는 스캔되었지만 태스크 바 영역에 표시되지 않았던 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트를 태스크 바 영역에 표시하거나, 또는 리스트 형태로 제2 오브젝트에 근접하게 표시할 수 있다.
일 실시예에서, 스캔된 복수의 외부 전자 장치들을 나타내는 복수의 오브젝트들은, 외부 전자 장치의 타입에 따라 상이하게 표시될 수 있다. 예를 들어, 외부 전자 장치의 타입은, TV, 와치(watch), 스마트 폰(smartphone), 태블릿 PC, 데스크탑 PC, 랩탑 PC, 무선 오디오 출력 장치(예: 블루투스 스피커), 및 무선 오디오 웨어러블 전자 장치(예: 블루투스 이어폰)를 포함할 수 있다. 이에 한정하는 것은 아니며, 외부 전자 장치의 타입은 디스플레이 및 오디오 출력 회로를 구비한 외부 전자 장치, 디스플레이를 구비하지 않고 오디오 출력 회로만을 구비한 외부 전자 장치를 포함할 수도 있다.
일 실시예에서, 프로세서(240)는 복수의 외부 전자 장치들의 타입에 기반하여, 출력할 수 있는 정보의 타입을 안내하는 가이드 정보를 표시할 수 있다. 예를 들어, 외부 전자 장치가 시각적 정보 및 청각적 정보를 출력할 수 있는 경우, 프로세서(240)는 해당 외부 전자 장치가 시각적 정보 및 청각적 정보의 출력이 가능함을 안내하는 가이드 정보를 출력할 수 있다. 다른 예를 들어, 외부 전자 장치가 청각적 정보만을 출력할 수 있는 경우, 프로세서(240)는 해당 외부 전자 장치가 청각적 정보만 출력이 가능함을 안내하는 가이드 정보를 출력할 수 있다.
일 실시예에서, 프로세서(240)는 사용자가 외부 전자 장치에 출력할 정보의 타입(예: 시각적 정보 및/또는 청각적 정보)을 선택 가능하도록 하는 사용자 인터페이스를 제공할 수도 있다.
일 실시예에서, 프로세서(240)는 315동작에서, 외부 전자 장치의 근접을 검출하는 것에 기반하여, 통신을 통해 외부 전자 장치와 연결될 수 있다. 예를 들어, 프로세서(240)는 전자 장치(201)와 외부 전자 장치 간의 거리가 지정된 거리 이하로 근접하는 경우, 통신(예: UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신)을 이용하여 외부 전자 장치와 통신 연결할 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치와 통신 연결된 이력이 없는 경우, 외부 전자 장치와 최초 통신 연결을 설정하는 동작을 수행할 수 있다. 예를 들어, 프로세서(240)와 외부 전자 장치는 최초 연결을 설정하는 동작을 통해 서로의 정보를 교환할 수 있다. 예를 들어, 프로세서(240)는 외부 전자 장치로부터 외부 전자 장치의 식별 정보, 어플리케이션과 관련된 정보(예: 외부 전자 장치에서 실행 중인 어플리케이션의 정보, 외부 전자 장치에 설치된 어플리케이션의 정보, 외부 전자 장치에서 어플리케이션이 실행된 횟수 정보, 외부 전자 장치에서 어플리케이션이 실행된 시간 정보)를 수신할 수 있다. 프로세서(240)는 전자 장치(201)의 식별 정보를 외부 전자 장치에 전송할 수 있다.
일 실시예에서, 프로세서(240)는 320동작에서, 외부 전자 장치에 의해 실행 가능한 어플리케이션을 확인할 수 있다.
일 실시예에서, 외부 전자 장치에 의해 실행 가능한 어플리케이션은, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션), 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션, 전자 장치(201)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션, 및/또는 전자 장치(201)의 사용자에 의해 설정된 자주 사용하는 어플리케이션을 포함할 수 있다. 하지만 이에 한정하는 것은 아니며, 외부 전자 장치에 의해 실행 가능한 어플리케이션은, 외부 전자 장치에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션 및/또는 외부 전자 장치에서 실행 횟수가 가장 높은 어플리케이션을 포함할 수도 있다.
일 실시예에서, 프로세서(240)는 325동작에서, 외부 전자 장치에서 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 디스플레이(231)의 태스크 바 영역에 표시할 수 있다. 예를 들어, 프로세서(240)는 외부 전자 장치와 통신 연결되는 것에 기반하여, 태스크 바 영역에, 전술한 전자 장치(201)와 근접하게 위치하는 외부 전자 장치를 나타내는 오브젝트를 표시하는 대신, 외부 전자 장치에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 표시할 수 있다. 이에 한정하는 것은 아니며, 외부 전자 장치와 통신 연결되는 것에 기반하여, 프로세서(240)는 전술한 전자 장치(201)와 근접하게 위치하는 외부 전자 장치를 나타내는 오브젝트와 함께, 근접하게 위치하는 외부 전자 장치에서 실행 가능한 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를, 태스크 바 영역에 표시할 수 있다.
일 실시예에서, 외부 전자 장치에서 실행 가능한 어플리케이션은, 외부 전자 장치의 타입에 기반하여 표시될 수 있다. 예를 들어, 통신 연결된 외부 전자 장치가 디스플레이를 구비하는 경우, 프로세서(240)는 태스크 바 영역에, 멀티미디어 컨텐츠와 관련된 어플리케이션(예: 영상 재생과 관련된 어플리케이션)을 우선적으로 표시할 수 있다. 다른 예를 들어, 통신 연결된 외부 전자 장치가 디스플레이를 구비하지 않는 경우, 프로세서(240)는 태스크 바 영역에, 오디오 신호의 출력과 관련된 어플리케이션(예: 음악 어플리케이션)을 우선적으로 표시할 수 있다.
이에 한정하는 것은 아니며, 프로세서(240)는 태스크 바 영역에, 실행 횟수가 가장 높은 어플리케이션, 지정된 횟수 이상 실행된 어플리케이션, 또는 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 어플리케이션을 우선적으로 표시할 수도 있다. 또는, 외부 전자 장치와 통신 연결 시, 외부 전자 장치에 특정 어플리케이션이 자동으로 실행되도록 설정된 경우, 프로세서(240)는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 태스크 바 영역에 표시하지 않을 수도 있다.
일 실시예에서, 프로세서(240)는 330동작에서, 제2 오브젝트에 대한 입력을 수신할 수 있다. 예를 들어, 제2 오브젝트에 대한 입력은, 제2 오브젝트를 선택하는 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(240)는 335동작에서, 입력에 기반하여, 통신 회로(210)를 통해 외부 전자 장치에 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 전송할 수 있다.
일 실시예에서, 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보는, 어플리케이션을 식별하기 위한 식별 정보, 어플리케이션의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 멀티미디어 컨텐츠의 재생 시간 정보를 포함할 수 있다. 어플리케이션이 브라우저 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 링크 정보일 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치의 타입에 기반하여, 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 외부 전자 장치에 전송할 수도 있다. 예를 들어, 프로세서(240)는 외부 전자 장치에 출력할 정보의 타입(예: 시각적 정보 및/또는 청각적 정보)을 선택 가능하도록 한 사용자 인터페이스에서 선택된 정보의 타입에 대한 정보를 외부 전자 장치에 전송할 수 있다. 다른 예를 들어, 외부 전자 장치의 타입이 디스플레이 및 오디오 출력 회로를 구비한 외부 전자 장치로 확인되면, 프로세서(240)는 시각적 정보 및 청각적 정보에 대한 정보를 외부 전자 장치에 전송할 수 있다. 또 다른 예를 들어, 외부 전자 장치의 타입이 디스플레이를 구비하지 않고 오디오 출력 회로만을 구비한 외부 전자 장치로 확인되면, 프로세서(240)는 청각적 정보에 대한 정보만을 외부 전자 장치에 전송할 수도 있다.
다양한 실시예들에 따른 335동작에서, 입력에 기반하여, 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 외부 전자 장치에 전송하는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 예를 들어, 프로세서(240)는 지정된 횟수 이상 실행된 어플리케이션, 최근 실행한 어플리케이션, 멀티미디어 어플리케이션, 멀티 윈도우 형태로 복수의 어플리케이션들의 화면들 디스플레이(231)에 표시 중인 상태인 경우, 외부 전자 장치와 통신 연결되는 것에 기반하여, 윈도우의 크기가 큰 어플리케이션 또는 입력 인터페이스(예: 소프트웨어적으로 디스플레이(231)에 표시되는 키패드 또는 키보드)와 관련된 어플리케이션에 해당하는 어플리케이션의 정보를 외부 전자 장치에 전송할 수도 있다.
일 실시예에서, 미도시 되었으나, 제2 오브젝트에 대한 입력이 수신되지 않으면, 프로세서(240)는 일정 시간을 경과한 후, 태스크 바 영역에서 제2 오브젝트에 대한 입력이 수신되지 않았음을 나타내는 인디케이터 및/또는 태스크 바 영역에서 제2 오브젝트에 대한 입력을 유도하기 위한 인디케이터를 표시할 수 있다.
다양한 실시예들에 따른 도 3a에서, 제2 오브젝트에 대한 입력을 수신하는 것에 기반하여, 외부 전자 장치의 타입에 따라 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 외부 전자 장치에 전송하는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 예를 들어, 프로세서(240)는 전자 장치(201)를 나타내는 오브젝트를 태스크 바 영역에 표시할 수 있다. 태스크 바 영역에 표시된 전자 장치(201)를 나타내는 오브젝트를 선택하는 입력이 검출되면, 프로세서(240)는 미러링(mirroring) 기능을 수행할 수 있다. 예를 들어, 프로세서(240)는 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션과 관련된 정보를 외부 전자 장치에 전송할 수 있다. 예를 들어, 적어도 하나의 어플리케이션과 관련된 정보는, 표시 정보(예: 어플리케이션의 화면의 크기 정보) 및/또는 오디오 정보를 포함할 수 있다.
다양한 실시예들에서, 미도시 되었으나, 외부 전자 장치와 통신 연결되는 경우, 외부 전자 장치에서 특정 어플리케이션을 실행 중인 것으로 확인되면, 프로세서(240)는 320동작 내지 335동작을 생략할 수 있다. 예를 들어, 통신 연결된 외부 전자 장치에서 특정 어플리케이션을 실행 중인 것으로 확인되면, 프로세서(240)는 외부 전자 장치에서 실행 중인 특정 어플리케이션을 나타내는 오브젝트와 특정 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 태스크 바 영역에 표시할 수 있다.
도 3b는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시예에 따르면, 345동작 내지 355동작은 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))에서 수행되는 것으로 이해될 수 있다.
다양한 실시예들에 따른 도 3b는, 전술한 도 3a의 추가적인 동작들일 수 있다.
도 3b를 참조하면, 프로세서(240)는 345동작에서, 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 제2 오브젝트에 인접하게 표시할 수 있다.
일 실시예에서, 어플리케이션의 적어도 하나의 기능은 어플리케이션의 타입에 따라 상이할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 멀티미디어 컨텐츠의 재생을 조작하기 위한 기능(예: 재생 중지, 재생, 앞으로 재생, 및/또는 뒤로 재생)을 포함할 수 있다. 다른 예를 들어, 어플리케이션이 사용자 인터페이스와 관련된 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 사용자 인터페이스를 조작하기 위한 기능(예: 앞으로 가기, 뒤로 가기, 및/또는 홈으로 가기)을 포함할 수 있다. 또 다른 예를 들어, 어플리케이션이 사진 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 이전 사진을 표시하는 기능, 다음 사진을 표시하는 기능, 및/또는 추천 사진을 표시하는 기능을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 어플리케이션의 적어도 하나의 기능은 어플리케이션을 종료하는 기능(예: 외부 전자 장치에서 어플리케이션과 관련된 정보의 출력을 종료하는 기능)을 포함할 수도 있다.
일 실시예에서, 프로세서(240)는 350동작에서, 적어도 하나의 아이템(예: 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템) 중 하나의 아이템을 선택하는 입력을 검출할 수 있다.
예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션으로 가정하여 설명하면, 적어도 하나의 아이템은, 멀티미디어 컨텐츠의 재생을 중지하기 위한 아이템, 멀티미디어 컨텐츠를 재생하기 위한 아이템, 멀티미디어 컨텐츠를 현재 시점보다 앞의 시점을 재생하기 위한 아이템, 및/또는 컨텐츠를 현재 시점보다 뒤의 시점을 재생하기 위한 아이템을 포함할 수 있다. 다른 예를 들어, 어플리케이션이 사용자 인터페이스와 관련된 어플리케이션으로 가정하여 설명하면, 적어도 하나의 아이템은, 이전 화면을 표시하기 위한 아이템, 이후 화면을 표시하기 위한 아이템, 및/또는 홈 화면을 표시하기 위한 아이템을 포함할 수 있다. 또 다른 예를 들어, 어플리케이션이 사진 어플리케이션으로 가정하여 설명하면, 적어도 하나의 아이템은, 이전 사진을 표시하기 위한 아이템, 다음 사진을 표시하기 위한 아이템, 및/또는 추천 사진을 표시하기 위한 아이템을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(240)는 355동작에서, 선택된 아이템에 대응하는 기능의 실행을 요청하는 신호를 외부 전자 장치에 전송할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션으로 가정하여 설명하면, 멀티미디어 컨텐츠의 재생을 중지하기 위한 아이템을 선택하는 입력이 검출되면, 프로세서(240)는 멀티미디어 컨텐츠의 재생 중지를 요청하는 신호를 외부 전자 장치에 전송할 수 있다. 다른 예를 들어, 멀티미디어 컨텐츠를 재생하기 위한 아이템을 선택하는 입력이 검출되면, 프로세서(240)는 멀티미디어 컨텐츠의 재생을 요청하는 신호를 외부 전자 장치에 전송할 수 있다. 또 다른 예를 들어, 멀티미디어 컨텐츠를 현재 시점보다 앞의 시점을 재생하기 위한 아이템을 선택하는 입력이 검출되면, 프로세서(240)는 멀티미디어 컨텐츠를 현재 시점보다 앞의 시점의 재생을 요청하는 신호를 외부 전자 장치에 전송할 수 있다. 또 다른 예를 들어, 멀티미디어 컨텐츠를 현재 시점보다 뒤의 시점을 재생하기 위한 아이템을 선택하는 입력이 검출되면, 멀티미디어 컨텐츠를 현재 시점보다 뒤의 시점의 재생을 요청하는 신호를 외부 전자 장치에 전송할 수 있다.
도 3c는, 본 개시의 일 실시예에 따른, 전자 장치의 외부 전자 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시예에 따르면, 371동작 내지 387동작은 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))에서 수행되는 것으로 이해될 수 있다.
다양한 실시예들에 따른 도 3c의 375동작, 377동작, 및 379동작은, 전술한 도 3a의 305동작, 310동작, 및 315동작과 동일하므로, 이에 대한 상세한 설명은 도 3a의 설명으로 대신할 수 있다.
도 3c를 참조하면, 프로세서(240)는 371동작에서, 어플리케이션의 실행 화면을 표시할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션을 실행하는 입력이 검출되는 것에 기반하여, 어플리케이션의 실행 화면을 디스플레이(예: 도 2의 디스플레이(231))에 표시할 수 있다. 일 실시예에서, 복수의 어플리케이션들이 실행된 경우, 복수의 어플리케이션들의 화면들을 멀티 윈도우 형태로, 디스플레이(231)에 표시할 수 있다.
일 실시예에서, 프로세서(240)는 373동작에서, 실행 화면과 디스플레이(231)의 하단 엣지 사이에 위치한 태스크 바 영역에 홈 화면으로 이동하기 위한 홈 버튼을 표시할 수 있다. 예를 들어, 프로세서(240)는 태스크 바 영역 내 네비게이션 영역(예: 도 14a의 네비게이션 영역(1411))을 표시할 수 있으며, 네비게이션 영역을 통해 홈 화면으로 이동하기 위한 홈 버튼을 표시할 수 있다. 이에 한정하는 것은 아니며, 네비게이션 영역은 태스크 바 영역에 인접한 영역(예: 태스크 바 영역의 상단 영역 또는 태스크 바 영역의 하단 영역)에 표시될 수도 있으며, 네비게이션 영역을 통해 홈 버튼을 표시할 수 있다.
일 실시예에서, 프로세서(240)는 375동작에서, 디스플레이(231)의 태스크 바 영역에, 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 표시할 수 있다. 프로세서(240)는 377동작에서, 통신 회로(예: 도 2의 통신 회로(210))를 통해 전자 장치(201)에 근접한 외부 전자 장치를 검출할 수 있다. 프로세서(240)는 379동작에서, 외부 전자 장치가 검출되는 것에 기반하여, 통신을 통해 외부 전자 장치와 연결할 수 있다.
일 실시예에서, 프로세서(240)는 381동작에서, 외부 전자 장치를 통해 수행할 수 있는 기능을 확인할 수 있다. 예를 들어, 외부 전자 장치를 통해 수행할 수 있는 기능은, 외부 전자 장치에서 어플리케이션을 실행하는 기능, 외부 전자 장치에서 실행 중인 어플리케이션의 기능을 제어하는 기능, 및/또는 외부 전자 장치에서 전자 장치(201)에서 출력 중인 시각적 정보(예: 화면) 및/또는 청각적 정보(예: 오디오 신호)를 출력하도록 하는 기능을 포함할 수 있다.
일 실시예에서, 프로세서(240)는 383동작에서, 외부 전자 장치를 통해 수행할 수 있는 기능을 나타내는 제2 오브젝트를 디스플레이(231)의 태스크 바 영역에 표시할 수 있다. 프로세서(240)는 385동작에서, 제2 오브젝트에 대한 입력을 수신할 수 있다. 예를 들어, 제2 오브젝트에 대한 입력은, 제2 오브젝트를 선택하는 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다. 프로세서(240)는 387동작에서, 입력에 기반하여, 통신 회로(210)를 통해 기능과 관련된 정보를 외부 전자 장치에 전송할 수 있다.
도 4는, 본 개시의 일 실시예에 따른, 전자 장치(201)와 외부 전자 장치(401) 간 신호 흐름을 나타내는 도면이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
다양한 실시예들에 따른 도 4의 410동작, 415동작, 420동작, 430동작, 435동작, 및 440동작은 전술한 도 3a 및 도 3b의 315동작, 320동작, 325동작, 330동작, 335동작, 345동작, 350동작, 및 355동작과 동일하므로, 이와 관련된 설명은 도 3a 및 도 3b의 설명으로 대신할 수 있다.
도 4를 참조하면, 전자 장치(201)는 405동작에서, 외부 전자 장치(401)와 통신 연결될 수 있다. 예를 들어, 전자 장치(201)는 지정된 통신(예: UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신)을 이용하여 전자 장치(201)에 근접하는 외부 전자 장치(401)와 통신 연결될 수 있다.
일 실시예에서, 전자 장치(201)는 410동작에서, 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 디스플레이(예: 도 2의 디스플레이(231))의 적어도 일부 영역(예: 하단 영역)(예: 태스크 바 영역)에 표시할 수 있다.
일 실시예에서, 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트는, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다. 하지만 이에 한정하는 것은 아니며, 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트는, 외부 전자 장치(401)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트 및/또는 외부 전자 장치(401)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트를 포함할 수도 있다.
일 실시예에서, 전자 장치(201)는 415동작에서, 적어도 하나의 오브젝트 중 하나의 오브젝트를 선택하는 입력을 검출할 수 있다. 전자 장치(201)는 420동작에서, 선택된 오브젝트에 대응하는 어플리케이션과 관련된 정보를 외부 전자 장치(401)에 전송할 수 있다. 예를 들어, 선택된 오브젝트에 대응하는 어플리케이션과 관련된 정보는, 어플리케이션을 식별하기 위한 식별 정보, 어플리케이션의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 멀티미디어 컨텐츠의 재생 시간 정보를 포함할 수 있다. 어플리케이션이 브라우저 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 링크 정보일 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 외부 전자 장치(401)는 425동작에서, 전자 장치(201)로부터 수신된 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력할 수 있다.
예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 외부 전자 장치(401)는 전자 장치(201)로부터 수신한 어플리케이션의 실행과 관련된 정보 예를 들어, 멀티미디어 컨텐츠의 재생 시간 정보에 기반하여, 재생 시간 정보부터 멀티미디어 컨텐츠가 출력되도록 할 수 있다. 멀티미디어 컨텐츠가 전자 장치(201)에서 실행 중이거나 또는 멀티미디어 컨텐츠의 재생이 중지된 상태로 가정하면, 외부 전자 장치(401)는 전자 장치(201)로부터 수신한 멀티미디어 컨텐츠의 재생 시간 정보에 기반하여 멀티미디어 컨텐츠가 출력되게 함으로써, 심리스(seamless)한 경험을 사용자에게 제공할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 전자 장치(201)로부터 수신된 어플리케이션을 식별하기 위한 식별 정보에 기반하여, 어플리케이션이 외부 전자 장치(401)에 설치되어 있는지 여부를 확인할 수 있다. 외부 전자 장치(401)에 어플리케이션이 설치된 경우 어플리케이션을 실행하고, 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 외부 전자 장치(401)가 디스플레이 및 오디오 출력 회로를 구비한 경우, 외부 전자 장치(401)는 어플리케이션과 관련된 정보, 예를 들어, 시각적 정보 및/또는 청각적 정보를 출력할 수 있다. 다른 예를 들어, 외부 전자 장치(401)가 디스플레이를 구비하지 않고, 오디오 출력 회로만을 구비한 경우, 외부 전자 장치(401)는 어플리케이션과 관련된 정보, 예를 들어, 청각적 정보를 출력할 수 있다.
일 실시예에서, 어플리케이션이 외부 전자 장치(401)에 설치되어 있지 않은 것으로 확인되면, 외부 전자 장치(401)는 어플리케이션의 설치를 유도하는 시각적 정보 및/또는 청각적 정보를 출력할 수 있다. 외부 전자 장치(401)는 어플리케이션을 설치한 후, 어플리케이션을 실행하고, 어플리케이션과 관련된 정보를 출력할 수 있다.
이에 한정하는 것은 아니며, 어플리케이션을 대체할 수 있는 어플리케이션(예: 카테고리가 동일 또는 유사한 어플리케이션)이 외부 전자 장치(401)에 설치된 경우, 외부 전자 장치(401)는 대체 어플리케이션을 실행하고, 대체 어플리케이션을 통해 어플리케이션과 관련된 정보를 출력할 수도 있다.
일 실시예에서, 전자 장치(201)는 430동작에서, 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 선택된 오브젝트에 인접하게 표시할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 멀티미디어 컨텐츠의 재생을 조작하기 위한 기능(예: 재생 중지, 재생, 앞으로 재생, 및/또는 뒤로 재생)을 포함할 수 있다. 다른 예를 들어, 어플리케이션이 사용자 인터페이스와 관련된 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 사용자 인터페이스를 조작하기 위한 기능(예: 앞으로 가기, 뒤로 가기, 및/또는 홈으로 가기)을 포함할 수 있다. 또 다른 예를 들어, 어플리케이션이 사진 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 이전 사진을 표시하는 기능, 다음 사진을 표시하는 기능, 및/또는 추천 사진을 표시하는 기능을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 전자 장치(201)는 435동작에서, 적어도 하나의 아이템 중 하나의 아이템을 선택하는 입력을 검출할 수 있다. 전자 장치(201)는 440동작에서, 선택된 아이템에 대응하는 기능의 실행을 요청하는 신호를 외부 전자 장치(401)에 전송할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 445동작에서, 전자 장치(201)로부터 수신된 신호에 기반하여, 변경된 어플리케이션의 정보를 출력할 수 있다.
도 5a, 도 5b, 도 5c, 및 도 5d는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치(401)를 제어하는 방법을 설명하기 위한 도면이다.
도 5a를 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 복수의 어플리케이션들(예: 어플리케이션A, 어플리케이션B, 및 어플리케이션D)이 실행됨에 따라, 복수의 어플리케이션들(예: 어플리케이션A, 어플리케이션B, 및 어플리케이션D)의 화면들(예: 어플리케이션A의 제1 화면(505), 어플리케이션B의 제2 화면(510), 및 어플리케이션D의 제3 화면(515))을 디스플레이(예: 도 2의 디스플레이(231))에 표시(예: 멀티 윈도우 형태로 표시)할 수 있다. 3개의 어플리케이션들이 실행됨에 따라 3개의 어플리케이션들의 화면들이 디스플레이(231)에 표시되는 것은 하나의 실시예로, 이에 한정하는 것은 아니다. 예를 들어, 디스플레이(231)는 프로세서(240)의 제어 하에, 3개 미만 또는 3개를 초과하는 어플리케이션들이 실행됨에 따라, 3개 미만 또는 3개를 초과하는 어플리케이션들의 화면들을 표시할 수 있다. 또는, 디스플레이(231)에는 홈 화면이 표시된 상태일 수도 있다.
일 실시예에서, 프로세서(240)는 디스플레이(231)의 적어도 일부 영역에 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 표시할 수 있다. 예를 들어, 프로세서(240)는 디스플레이(231)의 적어도 일부 영역에 태스크 바 영역(520)을 표시하고, 태스크 바 영역(520)에 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 표시할 수 있다. 예를 들어, 태스크 바 영역은, 디스플레이(231)에 표시 중인 복수의 어플리케이션들 중 어플리케이션B의 제2 화면(510)과 어플리케이션D의 제3 화면(515) 및 디스플레이(231)의 하단 엣지(edge) 사이에 표시될 수 있다.
일 실시예에서, 태스크 바 영역(520)은 특정 입력이 검출되거나, 또는 특정 조건에서 디스플레이(231)의 적어도 일부 영역에 표시될 수 있다. 일 실시예에 따른 특정 입력은, 스와이프 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다. 일 실시예에 따른 특정 조건은, 적어도 하나의 외부 전자 장치의 근접이 검출되는 조건 또는 적어도 하나의 외부 전자 장치와 통신 연결되는 조건을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(240)는 태스크 바 영역(520)을 일시적으로 디스플레이(231)의 적어도 일부 영역에 표시할 수 있다. 예를 들어, 프로세서(240)는 태스크 바 영역(520)을 디스플레이(231)의 적어도 일부 영역에 표시한 상태에서 지정된 시간이 경과되면, 태스크 바 영역(520)의 표시를 종료할 수 있다. 이에 한정하는 것은 아니며, 프로세서(240)는 디스플레이(231)의 적어도 일부 영역에 태스크 바 영역(520)을 계속해서 표시할 수도 있다.
일 실시예에서, 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트는, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션, 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다.
일 실시예에서, 프로세서(240)는 통신 회로(예: 도 2의 통신 회로(210))를 이용하여 전자 장치(201)에 근접하는 외부 전자 장치(401)를 검출할 수 있다. 예를 들어, 프로세서(240)는 지정된 통신(예: UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신)을 이용하여 외부 전자 장치(401)의 근접을 검출할 수 있다. 전자 장치(201)에 근접하는 외부 전자 장치(401)가 검출되면, 프로세서(240)는 외부 전자 장치(401)의 근접을 나타내는 사용자 인터페이스를 제공할 수 있다. 예를 들어, 프로세서(240)는 전자 장치(201)에 근접하게 위치하는 외부 전자 장치(401)를 나타내는 오브젝트를 태스크 바 영역(520)에 표시할 수 있다. 이에 따라, 태스크 바 영역(520)에는 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525) 및 전자 장치(201)와 근접하게 위치하는 외부 전자 장치(401)를 나타내는 오브젝트(527)가 표시될 수 있다. 예를 들어, 미도시 되었으나, 태스크 바 영역(520)은 전자 장치(201)와 관련된 오브젝트들을 표시하기 위한 제1 영역 및 외부 전자 장치(401)와 관련된 오브젝트들을 표시하기 위한 제2 영역을 포함할 수 있다. 이에 따라, 제1 영역에는 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)가 표시될 수 있다. 제2 영역에는 전자 장치(201)와 근접하게 위치하는 외부 전자 장치(401)를 나타내는 오브젝트(527)가 표시될 수 있다.
일 실시예에서, 외부 전자 장치(401)를 나타내는 오브젝트(527)를 선택하는 입력(535)이 검출되면, 프로세서(240)는 도 5b에 도시된 바와 같이, 지정된 통신(예: 근거리 무선 통신)을 통해 외부 전자 장치(401)와 통신 연결(540)될 수 있다. 이에 한정하는 것은 아니며, 프로세서(240)는 별도의 입력(예: 오브젝트(527)를 선택하는 입력(535)) 없이, 전자 장치(201)에 근접하는 외부 전자 장치(401)가 검출되는 것에 기반하여, 지정된 통신(예: 근거리 무선 통신)을 통해 외부 전자 장치(401)와 통신 연결(540)될 수도 있다.
일 실시예에서, 외부 전자 장치(401)와 통신 연결되는 것에 기반하여, 프로세서(240)는 태스크 바 영역(520)에 전자 장치(201)에 근접하게 위치하는 외부 전자 장치(401)를 나타내는 오브젝트(527) 대신 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션(예: 어플리케이션H, 어플리케이션I, 및/또는 어플리케이션D)을 나타내는 적어도 하나의 오브젝트(545)를 표시할 수 있다.
이에 한정하는 것은 아니며, 미도시 되었으나, 외부 전자 장치(401)와 통신 연결되는 것에 기반하여, 프로세서(240)는 태스크 바 영역(520)에 전자 장치(201)와 근접하게 위치하는 외부 전자 장치(401)를 나타내는 오브젝트(527)와 함께 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션(예: 어플리케이션H, 어플리케이션I, 및/또는 어플리케이션D)을 나타내는 적어도 하나의 오브젝트(545)를 표시할 수 있다. 예를 들어, 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(545)는 외부 전자 장치(401)를 나타내는 오브젝트(527)에 인접하게 표시할 수 있다.
일 실시예에 따르면, 프로세서(240)는 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션으로, 어플리케이션H, 어플리케이션I, 및/또는 어플리케이션D를 표시할 수 있다. 예를 들어, 전자 장치(201)와 관련된 적어도 하나의 어플리케이션 예를 들어, 어플리케이션A, 어플리케이션B, 어플리케이션C, 어플리케이션D, 어플리케이션E, 및 어플리케이션F 중 외부 전자 장치(401)에서 실행 가능한 어플리케이션으로 어플리케이션D만을 표시함에 따라, 어플리케이션A, 어플리케이션B, 어플리케이션C, 어플리케이션E, 및 어플리케이션F는 외부 전자 장치(401)에서 실행 가능하지 않은 어플리케이션을 의미할 수 있다.
일 실시예에서, 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션(예: 어플리케이션H, 어플리케이션I, 및/또는 어플리케이션D)을 나타내는 적어도 하나의 오브젝트(545) 중 하나의 오브젝트 예를 들어, 어플리케이션D를 나타내는 오브젝트(547)를 선택하는 입력(549)이 검출되면, 프로세서(240)는 선택된 오브젝트(547)에 대응하는 어플리케이션D와 관련된 정보를 외부 전자 장치(401)에 통신 회로(210)를 통해 전송(550)할 수 있다.
이에 한정하는 것은 아니며, 프로세서(240)는 외부 전자 장치(401)와 통신 연결되는 것에 기반하여, 전자 장치(201)에서 실행 중인 어플리케이션들의 화면 예를 들어, 멀티 윈도우 형태로 디스플레이(231)에 표시 중인 어플리케이션A의 제1 화면(505), 어플리케이션B의 제2 화면(510), 및 어플리케이션D의 제3 화면(515) 중 가장 큰 크기의 윈도우에 표시 중인 어플리케이션D와 관련된 정보를 외부 전자 장치(401)에 통신 회로(210)를 통해 전송할 수도 있다.
일 실시예에 따른 어플리케이션D의 제3 화면(515)은, 전자 장치(201)의 디스플레이(231)에 표시된 화면으로, 어플리케이션D와 관련된 정보를 외부 전자 장치(401)에 전송하는 경우, 프로세서(240)는 디스플레이(231)로부터 어플리케이션D의 제3 화면(515)을 제거(예: 어플리케이션D의 제3 화면(515)의 표시를 종료)하고, 어플리케이션A의 제1 화면(505) 및 어플리케이션B의 제2 화면(510)만을 디스플레이(231)에 표시할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 외부 전자 장치(401)는 전자 장치(201)로부터 수신한 어플리케이션D와 관련된 정보에 기반하여, 어플리케이션D와 관련된 정보를 출력할 수 있다. 예를 들어, 외부 전자 장치(401)는 어플리케이션D와 관련된 시각적 정보(예: 어플리케이션D의 화면(515))를 디스플레이에 출력하거나, 및/또는 어플리케이션D의 청각적 정보(예: 오디오 신호)를 오디오 출력 회로를 통해 출력할 수 있다.
일 실시예에서, 어플리케이션D와 관련된 정보를 외부 전자 장치(401)에 전송(550)하는 것에 기반하여, 프로세서(240)는 도 5c에 도시된 바와 같이, 태스크 바 영역(520)에 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)을 어플리케이션D를 나타내는 오브젝트(547)에 인접하게 표시할 수 있다.
일 실시예에 따른 어플리케이션D가 멀티미디어 컨텐츠와 관련된 어플리케이션으로 가정하면, 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)은, 이전 멀티미디어 컨텐츠를 재생하기 위한 제1 아이템, 멀티미디어 컨텐츠를 정지하기 위한 제2 아이템, 및/또는 이후 멀티미디어 컨텐츠를 재생하기 위한 제3 아이템을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
미도시 되었으나, 어플리케이션D가 오디오 신호의 재생과 관련된 어플리케이션이면, 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)은, 이전 오디오 신호를 재생하기 위한 아이템, 다음 오디오 신호를 재생하기 위한 아이템, 및/또는 오디오 신호를 정지하기 위한 아이템을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
미도시 되었으나, 어플리케이션D가 사진 어플리케이션이면, 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)은, 이전 사진을 표시하기 위한 아이템, 다음 사진을 표시하기 위한 아이템, 및/또는 추천 사진을 표시하기 위한 아이템을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(240)는 사용자 입력이 검출되는 위치에 따라 태스크 바 영역(520)에 표시되는 오브젝트 및/또는 아이템을 변경하여 표시할 수 있다. 예를 들어, 도 5d를 참조하면, 외부 전자 장치(401)에서 어플리케이션D와 관련된 정보를 출력하는 상태에서, 프로세서(240)는 어플리케이션A의 제1 화면(505)에서 사용자 입력(560)을 검출할 수 있다. 이 경우, 프로세서(240)는 태스크 바 영역(520)으로부터 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)의 표시를 제거할 수 있다. 예를 들어, 전자 장치(201)의 디스플레이(231)에서 사용자 입력(560)이 검출되는 경우, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션D와 관련된 기능을 제어하지 않아도 되는 상황으로 인식하고, 태스크 바 영역(520)에서 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)의 표시를 제거할 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치(401)에서 어플리케이션D와 관련된 정보를 출력하는 상태 및 태스크 바 영역(520)에서 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)의 표시를 제거한 상태에서, 어플리케이션D를 나타내는 오브젝트(547)를 선택하는 입력(565)을 검출할 수 있다. 이 경우, 프로세서(240)는 태스크 바 영역(520)에 외부 전자 장치(401)에 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)을 어플리케이션D를 나타내는 오브젝트(547)에 인접하게 표시할 수 있다. 예를 들어, 어플리케이션D를 나타내는 오브젝트(547)를 선택하는 입력(565)이 검출되는 경우, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션D와 관련된 기능의 제어가 필요한 상황으로 인식하고, 태스크 바 영역(520)에 외부 전자 장치(401)에 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템(555)을 어플리케이션D를 나타내는 오브젝트(547)에 인접하게 표시할 수 있다.
다양한 실시예들에 따른 도 5a 내지 도 5d에서, 전자 장치(201)에 근접하고, 통신 연결된 외부 전자 장치(401)가 하나인 것을 설명하였으나, 이는 발명의 이해를 돕기 위한 것일 뿐, 이에 한정하는 것은 아니다. 예를 들어, 전자 장치(201)에 근접하는 외부 전자 장치(401)는 복수의 외부 전자 장치들을 포함할 수 있고, 전자 장치(201)는 복수의 외부 전자 장치들 각각과 통신 연결되어, 전술한 도 5a 내지 도 5d에 개시된 동작을 수행할 수 있다.
도 6a는, 본 개시의 일 실시예에 따른, 스캔된 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트를 표시하는 방법을 설명하기 위한 도면이다.
도 6a를 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 통신 회로(예: 도 2의 통신 회로(210))를 이용하여, 전자 장치(201)에 근접하는 적어도 하나의 외부 전자 장치를 검출할 수 있다. 예를 들어, 프로세서(240)는 지정된 통신(예: UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신)을 이용하여, 전자 장치(201)에 근접하는 적어도 하나의 외부 전자 장치를 검출할 수 있다.
일 실시예에서, 프로세서(240)는 전자 장치(201)에 근접하게 위치하는 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트(530)를 디스플레이(231)의 태스크 바 영역(520)에 표시할 수 있다. 예를 들어, 프로세서(240)는 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525) 및 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트(530)를 태스크 바 영역(520)에 표시할 수 있다.
예를 들어, 적어도 하나의 오브젝트(530)는, 제1 외부 전자 장치를 나타내는 제1 오브젝트(615), 제2 외부 전자 장치를 나타내는 제2 오브젝트(620), 제3 외부 전자 장치를 나타내는 제3 오브젝트(625), 및/또는 제4 외부 전자 장치를 나타내는 제4 오브젝트(630)를 포함할 수 있다.
일 실시예에서, 스캔된 복수의 외부 전자 장치들을 나타내는 복수의 오브젝트들(예: 제1 오브젝트(615), 제2 오브젝트(620), 제3 오브젝트(625), 및/또는 제4 오브젝트(630))은, 외부 전자 장치의 타입에 따라 상이하게 표시될 수 있다. 일 실시예에서, 외부 전자 장치의 타입은, TV, 와치(watch), 스마트 폰(smartphone), 태블릿 PC, 데스크탑 PC, 랩탑 PC, 무선 오디오 출력 장치(예: 블루투스 스피커), 및 무선 오디오 웨어러블 전자 장치(예: 블루투스 이어폰)를 포함할 수 있다. 예를 들어, 제1 외부 전자 장치는 무선 오디오 출력 장치(예: 블루투스 스피커)일 수 있으며, 프로세서(240)는 무선 오디오 출력 장치(예: 블루투스 스피커)를 나타내는 제1 오브젝트(615)를 표시할 수 있다. 제2 외부 전자 장치는 와치일 수 있으며, 프로세서(240)는 와치를 나타내는 제2 오브젝트(620)를 표시할 수 있다. 제3 외부 전자 장치는 무선 오디오 웨어러블 전자 장치(예: 블루투스 이어폰)일 수 있으며, 프로세서(240)는 무선 오디오 웨어러블 전자 장치(예: 블루투스 이어폰)를 나타내는 제3 오브젝트(625)를 표시할 수 있다. 제4 외부 전자 장치는 TV일 수 있으며, 프로세서(240)는 TV를 나타내는 제4 오브젝트(630)를 표시할 수 있다.
일 실시예에서, 프로세서(240)는 복수의 외부 전자 장치들 중 선택된 외부 전자 장치의 타입에 기반하여, 출력할 수 있는 정보(예: 시각적 정보 및/또는 청각적 정보)와 관련된 사용자 인터페이스를 제공할 수 있다. 이 경우, 프로세서(240)는 사용자가 외부 전자 장치에 출력할 정보의 타입(예: 시각적 정보 및/또는 청각적 정보)을 선택 가능하도록 하는 사용자 인터페이스를 제공할 수도 있다.
예를 들어, 참조번호 <610>에 도시된 바와 같이, 선택된 외부 전자 장치(401)가 디스플레이를 구비하는 외부 전자 장치인 경우, 프로세서(240)는 청각적 정보만을 출력하는 제1 아이템(637)과 시각적 정보 및 청각적 정보를 출력하는 제2 아이템(639)을 포함하는 사용자 인터페이스(635)를 제공할 수 있다. 일 실시예에서, 청각적 정보만을 출력하는 제1 아이템(637)이 선택되는 경우, 프로세서(240)는 이후 표시되는 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트 중 선택된 오브젝트에 대응하는 어플리케이션과 관련된 청각적 정보와 관련된 정보만을 외부 전자 장치(401)에 전송할 수 있다. 일 실시예에서, 시각적 정보 및 청각적 정보를 출력하는 제2 아이템(639)이 선택되는 경우, 프로세서(240)는 이후 표시되는 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트 중 선택된 오브젝트에 대응하는 어플리케이션과 관련된 시각적 정보 및 청각적 정보와 관련된 정보를 외부 전자 장치(401)에 전송할 수 있다.
다른 예를 들어, 참조번호 <650>에 도시된 바와 같이, 선택된 외부 전자 장치(401)가 디스플레이를 구비하지 않고 오디오 출력 회로만을 포함하는 외부 전자 장치로 확인되는 경우, 프로세서(240)는 청각적 정보만을 출력하는 제1 아이템(637)을 포함하는 사용자 인터페이스(660)를 제공할 수 있다.
도 6b는, 본 개시의 일 실시예에 따른, 스캔된 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트를 표시하는 방법을 설명하기 위한 도면이다.
도 6b를 참조하면, 참조번호 <670>에 도시된 바와 같이, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 전자 장치(201)에 근접하게 위치하는 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트(530)를 디스플레이(예: 도 2의 디스플레이(231))의 태스크 바 영역(520)에 표시할 수 있다. 예를 들어, 외부 전자 장치의 근접이 검출되면, 프로세서(240)는 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525) 및 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 오브젝트(530)(예: 무선 오디오 출력 장치(예: 블루투스 스피커)를 나타내는 제1 오브젝트(615), 와치를 나타내는 제2 오브젝트(620), 무선 오디오 웨어러블 전자 장치(예: 블루투스 이어폰)를 나타내는 제3 오브젝트(625), 및/또는 TV를 나타내는 제4 오브젝트(630))를 태스크 바 영역(520)에 표시할 수 있다.
일 실시예에서, 프로세서(240)는 복수의 외부 전자 장치들 중 선택된 외부 전자 장치의 타입(예: TV, 와치(watch), 스마트 폰(smartphone), 태블릿 PC, 데스크탑 PC, 랩탑 PC, 무선 오디오 출력 장치(예: 블루투스 스피커), 및 무선 오디오 웨어러블 전자 장치(예: 블루투스 이어폰))에 기반하여, 외부 전자 장치의 기능을 제어할 수 있는 아이템을 상이하게 표시할 수 있다.
예를 들어, 복수의 외부 전자 장치들 중 무선 오디오 출력 장치(예: 블루투스 스피커)를 나타내는 제1 외부 전자 장치를 나타내는 제1 오브젝트(615)를 선택하는 입력(671)이 검출되면, 참조번호 <690>에 도시된 바와 같이, 선택된 제1 외부 전자 장치가 청각적 정보만을 출력하는 장치임에 기반하여, 청각적 정보를 제어할 수 있는 아이템 예를 들어, 볼륨을 조절할 수 있는 아이템(691)을 제1 오브젝트(615)에 근접하게 표시할 수 있다.
도 7a 및 도 7b는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치(401)를 제어하는 방법을 설명하기 위한 흐름도이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시예에 따르면, 705동작 내지 755동작은 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))에서 수행되는 것으로 이해될 수 있다.
다양한 실시예들에 따른 도 7a 및 도 7b는, 전술한 도 3b의 추가적인 동작들일 수 있다.
도 7a 및 도 7b를 참조하면, 프로세서(240)는 705동작에서, 제1 사용자 입력이 검출되는지 여부를 확인할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템에서 제1 사용자 입력이 검출되는지 여부를 확인할 수 있다. 일 실시예에서, 제1 사용자 입력은 롱 프레스(long press) 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 제1 사용자 입력이 검출되는 경우(예: 705동작의 YES), 프로세서(240)는 710동작에서, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 전자 장치(201)는 제1 사용자 입력이 검출된 적어도 하나의 아이템에 근접하게, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 팝업창으로 출력(또는 표시)할 수 있다. 예를 들어, 제1 사용자 입력이 검출되는 경우, 프로세서(240)는 외부 전자 장치(401)에 외부 전자 장치(401)에서 현재 출력 중인 어플리케이션과 관련된 정보를 요청하는 신호를 전송할 수 있다. 프로세서(240)는 외부 전자 장치(401)로부터 수신한 어플리케이션과 관련된 정보를 팝업창으로 출력(또는 표시)할 수 있다. 예를 들어, 어플리케이션이 동영상 재생과 관련된 어플리케이션인 경우, 프로세서(240)는 외부 전자 장치(401)로부터 수신한 어플리케이션과 관련된 정보에 기반하여, 외부 전자 장치(401)에서 재생 중인 어플리케이션의 화면(예: 동영상 화면 또는 현재 출력 중인 어플리케이션과 관련된 정보를 요청한 시점의 특정 프레임 화면)을 팝업창으로 출력(또는 표시)할 수 있다. 다른 예를 들어, 어플리케이션이 오디오 신호의 재생과 관련된 어플리케이션인 경우, 프로세서(240)는 외부 전자 장치(401)로부터 수신한 어플리케이션과 관련된 정보에 기반하여, 외부 전자 장치(401)에서 재생 중인 오디오 신호와 관련된 정보(예: 제목, 가수 이름, 및/또는 앨범 이미지)를 팝업창으로 출력(또는 표시)할 수 있다.
일 실시예에서, 제1 사용자 입력이 검출되지 않은 경우(예: 705동작의 NO), 프로세서(240)는 도 3의 320동작으로 분기하여, 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 선택된 오브젝트에 인접하게 표시하는 상태를 유지할 수 있다.
일 실시예에서, 프로세서(240)는 715동작에서, 제2 사용자 입력이 검출되는지 여부를 확인할 수 있다. 예를 들어, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창에서 제2 사용자 입력이 검출되는지 여부를 확인할 수 있다. 일 실시예에서, 제2 사용자 입력은 롱 프레스 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 제2 사용자 입력이 검출되는 경우(예: 715동작의 YES), 프로세서(240)는 720동작에서, 멀티 윈도우 배치 모드에 진입할 수 있다. 멀티 윈도우 배치 모드에 진입한 후, 프로세서(240)는 730동작에서, 제3 사용자 입력이 검출되는지 여부를 확인할 수 있다. 일 실시예에서, 제3 사용자 입력은 드래그 앤 드롭(drag&drop) 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다. 일 실시예에서, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창을 선택하여 디스플레이(예: 도 2의 디스플레이(231))의 특정 영역으로 이동 및 드롭하는 제3 사용자 입력(예: 드래그 앤 드롭 입력)이 검출되는지 여부를 확인할 수 있다.
일 실시예에서, 제3 사용자 입력이 검출되는 경우(예: 730동작의 YES), 프로세서(240)는 735동작에서, 외부 전자 장치에서 실행 중인 어플리케이션과 관련된 정보를 외부 전자 장치로부터 수신할 수 있다. 예를 들어, 어플리케이션과 관련된 정보는, 어플리케이션을 식별하기 위한 식별 정보, 어플리케이션의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다. 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 멀티미디어 컨텐츠의 재생 시간 정보를 포함할 수 있다. 어플리케이션이 브라우저 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 링크 정보일 수 있다.
일 실시예에서, 프로세서(240)는 740동작에서, 외부 전자 장치(401)로부터 수신한 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션의 시각적 정보(예: 화면)를 디스플레이(231)에 출력하거나, 및/또는 어플리케이션의 청각적 정보(예: 오디오 신호)를 오디오 출력 회로를 통해 출력할 수 있다. 이 경우, 프로세서(240)는 외부 전자 장치(401)에 출력 중인 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하는 대신, 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 태스크 바 영역(520)에 표시할 수 있다.
일 실시예에서, 제3 사용자 입력이 검출되지 않은 경우(예: 730동작의 NO), 프로세서(240)는 745동작에서, 제4 사용자 입력이 검출되는지 여부를 확인할 수 있다. 예를 들어, 제4 사용자 입력은 드래그 앤 드롭 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다. 일 실시예에서, 프로세서(240)는 제2 사용자 입력(예: 롱 프레스 입력)에 의해 멀티 윈도우 배치 모드에 진입한 후, 디스플레이(231)에 표시 중인 특정 어플리케이션의 화면을 선택하여 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창으로 이동 및 드롭하는 제4 사용자 입력(예: 드래그 앤 드롭 입력)이 검출되는지 여부를 확인할 수 있다.
일 실시예에서, 제4 사용자 입력이 검출되는 경우(예: 745동작의 YES), 프로세서(240)는 750동작에서, 특정 어플리케이션과 관련된 정보를 외부 전자 장치에 전송할 수 있다. 이 경우, 프로세서(240)는 외부 전자 장치(401)에 출력 중인 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하는 대신, 전자 장치(201)가 전송한 특정 어플리케이션을 나타내는 오브젝트 및/또는 특정 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 오브젝트를 태스크 바 영역(520)에 표시할 수 있다.
일 실시예에서, 제4 사용자 입력이 검출되지 않은 경우(예: 745동작의 NO), 프로세서(240)는 755동작에서, 지정된 시간을 경과한 후, 멀티 윈도우 배치 모드를 해제할 수 있다.
일 실시예에서, 제2 사용자 입력이 검출되지 않은 경우(예: 715동작의 NO), 프로세서(240)는 725동작에서, 지정된 시간을 경과한 후, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보의 출력을 종료할 수 있다.
도 8은, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치(401)를 제어하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 어플리케이션A의 제1 화면(505)을 디스플레이(예: 도 2의 디스플레이(231))에 표시할 수 있다. 프로세서(240)는 통신 회로(예: 도 2의 통신 회로(210))를 통해 전자 장치(201)에 근접한 외부 전자 장치(401)와 통신 연결(540)될 수 있다.
일 실시예에 따른 도 8에서, 프로세서(240)는 통신 연결(540)된 외부 전자 장치(401)에 어플리케이션I와 관련된 정보를 외부 전자 장치(401)에 전송하는 것으로 가정하여 설명하도록 한다.
일 실시예에서, 외부 전자 장치(401)는 전자 장치(201)로부터 수신한 어플리케이션I와 관련된 정보에 기반하여, 어플리케이션I와 관련된 정보(예: 시각적 정보 및/또는 청각적 정보)를 출력할 수 있다.
일 실시예에서, 프로세서(240)는 태스크 바 영역(520)에, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)와 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(예: 어플리케이션G를 나타내는 오브젝트(801)), 외부 전자 장치(401)에서 실행 중인 어플리케이션I를 나타내는 오브젝트(805), 및/또는 어플리케이션I의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(810)을 표시할 수 있다.
일 실시예에서, 프로세서(240)는, 외부 전자 장치(401)에서 실행 중인 어플리케이션I의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(810)에서 제1 사용자 입력(815)을 검출할 수 있다. 예를 들어, 제1 사용자 입력은, 롱 프레스 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 제1 사용자 입력(815)이 검출되는 것에 기반하여, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션I와 관련된 정보를 팝업창(820)으로 적어도 하나의 아이템(810)에 인접하게 표시할 수 있다.
일 실시예에서, 프로세서(240)는 제2 사용자 입력(825)을 검출할 수 있다. 예를 들어, 제2 사용자 입력(825)은, 팝업창(820)에서 롱 프레스 입력을 포함할 수 있다.
일 실시예에서, 제2 사용자 입력(825)이 검출되는 것에 기반하여, 프로세서(240)는 멀티 윈도우 배치 모드에 진입할 수 있다. 이와 관련하여 후술하는 도 9a, 도 9b, 도 9c, 및 도 9d에서 다양한 실시예들이 설명될 것이다.
도 9a, 도 9b, 도 9c, 및 도 9d는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치(401)를 제어하는 방법을 설명하기 위한 도면이다.
일 실시예에서, 미도시 되었으나, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 디스플레이(예: 도 2의 디스플레이(231))에 어플리케이션A의 제1 화면(505)을 표시하는 상태에서, 제2 사용자 입력(미도시)(예: 롱 프레스 입력)이 검출되면, 멀티 윈도우 배치 모드에 진입할 수 있다.
도 9a를 참조하면, 프로세서(240)는 멀티 윈도우 배치 모드에서, 제3 사용자 입력(905, 910)을 검출할 수 있다. 예를 들어, 제3 사용자 입력(905, 910)은, 외부 전자 장치(401)에서 출력 중인 어플리케이션I와 관련된 정보에 대한 팝업창(820)을 선택한 상태에서, 디스플레이(231)의 특정 영역으로 이동 및 드롭하는 드래그 앤 드롭 입력을 포함할 수 있다.
일 실시예에서, 팝업창(820)을 선택한 상태에서, 디스플레이(231)의 특정 영역으로 이동하는 입력이 검출되는 것에 기반하여, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션I과 관련된 정보를 출력할 디스플레이(231)의 영역(920)을 표시할 수 있다.
일 실시예에서, 팝업창(820)을 선택한 상태에서 디스플레이(231)의 특정 영역으로 이동한 후, 디스플레이(231)의 적어도 일부 영역에서 해제(예: 드롭)되면, 프로세서(240)는 외부 전자 장치(401)에서 실행 중인 어플리케이션I와 관련된 정보를 외부 전자 장치(401)에 요청할 수 있다. 외부 전자 장치(401)에서 실행 중인 어플리케이션I와 관련된 정보를 외부 전자 장치(401)에 요청한 것에 응답하여, 프로세서(240)는 외부 전자 장치(401)로부터 어플리케이션I와 관련된 정보를 수신할 수 있다. 예를 들어, 어플리케이션I과 관련된 정보는, 어플리케이션I를 식별하기 위한 식별 정보, 어플리케이션I의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다. 어플리케이션I가 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션I의 실행과 관련된 정보는, 멀티미디어 컨텐츠의 재생 시간 정보를 포함할 수 있다. 어플리케이션I가 브라우저 어플리케이션인 경우, 어플리케이션I의 실행과 관련된 정보는, 링크 정보일 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치(401)로부터 수신한 어플리케이션I와 관련된 정보에 기반하여, 어플리케이션I와 관련된 정보를 출력할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션A의 제1 화면(505)을 디스플레이에 표시하는 상태에서, 멀티 윈도우 배치 모드 진입 및 제3 사용자 입력(905, 910)이 검출되는 것에 기반하여, 어플리케이션A의 제1 화면(505)과 어플리케이션I의 화면(920)을 멀티 윈도우 형태로 표시할 수 있다. 이 경우, 미도시 되었으나, 외부 전자 장치(401)는 어플리케이션I와 관련된 정보의 출력을 종료할 수 있다. 또한, 프로세서(240)는 태스크 바 영역(520)에 어플리케이션I와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템을 표시하는 대신, 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션(예: 어플리케이션H 및/또는 어플리케이션I)을 나타내는 적어도 하나의 오브젝트(923)를 표시할 수 있다.
다른 실시예에서, 도 9b를 참조하면, 멀티 윈도우 배치 모드에서, 프로세서(240)는 제4 사용자 입력(925, 930)을 검출할 수 있다. 예를 들어, 제4 사용자 입력(925, 930)은, 디스플레이(231)에 표시 중인 어플리케이션A의 제1 화면(505)으로부터 팝업창(820)(예: 외부 전자 장치(401)에서 출력 중인 어플리케이션I와 관련된 정보에 대한 팝업창)으로 이동 및 드롭하는 드래그 앤 드롭 입력을 포함할 수 있다.
일 실시예에서, 제4 사용자 입력(925, 930)이 검출되는 것에 기반하여, 프로세서(240)는 도 9c에 도시된 바와 같이, 어플리케이션A와 관련된 정보를 외부 전자 장치(401)에 전송(935)할 수 있다.
일 실시예에서, 프로세서(240)는 어플리케이션A와 관련된 정보를 외부 전자 장치(401)에 전송(935)하는 것에 기반하여, 어플리케이션A의 제1 화면(505)의 표시를 디스플레이(231)로부터 제거(또는, 어플리케이션A의 제1 화면(505)의 표시를 종료)할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 어플리케이션A와 관련된 정보를 외부 전자 장치(401)에 전송(935)함에 따라 어플리케이션A의 제1 화면(505)의 표시가 디스플레이(231)로부터 제거되는 경우, 프로세서(240)는 태스크 바 영역(520)에서 어플리케이션A를 나타내는 오브젝트의 표시를 제거할 수 있다. 예를 들어, 어플리케이션A는 백그라운드에서 실행 중인 어플리케이션, 실행 횟수가 가장 높은 어플리케이션, 전자 장치(201)에서 지정된 횟수 이상 실행된 어플리케이션에 해당하지 않고, 자주 사용하는 어플리케이션으로 설정되지 않은 어플리케이션일 수 있다. 이 경우, 프로세서(240)는 어플리케이션A와 관련된 정보를 외부 전자 장치(401)에 전송(935)하는 것에 기반하여, 태스크 바 영역(520)에 표시된 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)에서 어플리케이션A를 나타내는 오브젝트를 제거할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 전자 장치(201)로부터 어플리케이션A와 관련된 정보를 수신하는 것에 기반하여, 어플리케이션I와 관련된 정보를 출력하는 대신 어플리케이션A와 관련된 정보(505)를 출력할 수 있다. 이 경우, 태스크 바 영역(520)에는 외부 전자 장치(401)에서 실행 중인 어플리케이션A를 나타내는 오브젝트(940)와 어플리케이션A와 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(945)이 표시될 수 있다.
도 9d의 참조번호 <950>을 참조하면, 프로세서(240)는 특정 어플리케이션의 화면을 팝업창(953)을 통해 디스플레이(231)에 출력할 수 있다. 프로세서(240)는 사용자 입력(955, 957)을 검출할 수 있다. 사용자 입력(955, 957)은, 팝업창(953)을 선택한 상태에서 특정 방향으로 이동하는 드래그 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니며, 사용자 입력은 팝업창(953)을 선택하는 터치 입력(955)일 수도 있다.
일 실시예에서, 사용자 입력(955, 957)이 검출되는 것에 기반하여, 프로세서(240)는 팝업창(953)의 표시를 종료하기 위한 제1 아이템(959)과 팝업창(953)의 이동을 취소하기 위한 제2 아이템(961)을 표시할 수 있다.
일 실시예에서, 사용자 입력(955, 957)이 제1 아이템(959)에서 해제(예: 드롭)되는 경우, 프로세서(240)는 팝업창(953)의 표시를 종료할 수 있다. 사용자 입력(955, 957)이 제2 아이템(961)에서 해제(예: 드롭)되는 경우, 프로세서(240)는 팝업창(953)의 표시를 유지할 수 있다.
일 실시예에서, 사용자 입력(955, 957)이 검출되는 것에 기반하여, 프로세서(240)는 디스플레이(231)에 표시 중인 특정 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부(예: 특정 어플리케이션이 외부 전자 장치(401)에 설치된 어플리케이션인지 여부 또는 특정 어플리케이션을 대체할 수 있는 어플리케이션이 외부 전자 장치(401)에 설치되었는지 여부)를 확인할 수 있다. 예를 들어, 프로세서(240)는 외부 전자 장치(401)와 통신 연결하는 과정에서 외부 전자 장치(401)로부터 수신한 정보에 기반하여, 디스플레이(231)에 표시 중인 특정 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다. 다른 예를 들어, 프로세서(240)는 사용자 입력(955, 957)이 검출되는 것에 기반하여, 디스플레이(231)에 표시 중인 특정 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인하는 요청 신호를 외부 전자 장치(401)에 전송할 수 있다. 요청 신호에 기반하여, 외부 전자 장치(401)는 디스플레이(231)에 표시 중인 특정 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다.
일 실시예에서, 디스플레이(231)에 표시 중인 특정 어플리케이션이 외부 전자 장치(401)에서 지원하지 않은 어플리케이션인 것으로 확인되면, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창(952)에 제1 시각적 효과(951)(예: 음영 효과)를 출력할 수 있다. 예를 들어, 제1 시각적 효과(951)(예: 음영 효과)는, 특정 어플리케이션이 외부 전자 장치(401)에서 지원하지 않은 어플리케이션인 것을 나타내는 시각적 효과일 수 있다.
일 실시예에서, 참조번호 <970>을 참조하면, 팝업창(953)을 선택하는 터치 입력(955)이 검출되면, 팝업창(953)에 인접하게 팝업창(953)의 표시를 종료할 수 있는 아이템(973)을 표시할 수 있다. 아이템(973)을 선택하는 입력이 검출되면, 프로세서(240)는 팝업창(953)의 표시를 종료할 수 있다.
일 실시예에서, 터치 입력(955)이 검출되는 것에 기반하여, 프로세서(240)는 디스플레이(231)에 표시 중인 특정 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다. 일 실시예에서, 디스플레이(231)에 표시 중인 특정 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인 것으로 확인되면, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창(952)에 제2 시각적 효과(971)(예: 하이라이트 효과)를 출력할 수 있다. 예를 들어, 제2 시각적 효과(971)(예: 하이라이트 효과)는, 특정 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인 것을 나타내는 시각적 효과일 수 있다.
일 실시예에서, 미도시 되었으나, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창(952)에서 사용자 입력(예: 터치 입력)이 검출되면, 프로세서(240)는 외부 전자 장치(401)에서 어플리케이션과 관련된 정보의 출력을 종료하기 위한 아이템을 표시할 수 있다. 이에 한정하는 것은 아니며, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창(952)에서 사용자 입력(예: 터치 입력)이 검출되면, 프로세서(240)는 외부 전자 장치(401)에서 어플리케이션과 관련된 정보의 출력을 종료하기 위한 아이템을 표시할 수도 있다. 외부 전자 장치(401)에서 어플리케이션과 관련된 정보의 출력을 종료하기 위한 아이템을 선택하는 입력이 검출되면, 프로세서(240)는 어플리케이션과 관련된 정보의 출력의 종료를 요청하는 신호를 외부 전자 장치(401)에 전송할 수 있다.
도 10은, 본 개시의 일 실시예에 따른, 전자 장치(201)와 외부 전자 장치(401) 간 신호 흐름을 나타내는 도면이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
다양한 실시예들에 따른 도 10의 1010동작, 1015동작, 1020동작, 1030동작, 1040동작, 1045동작, 및 1050동작은, 전술한 도 7a 및 도 7b의 705동작, 710동작, 715동작, 720동작, 730동작, 735동작, 740동작, 745동작, 및 750동작과 동일하므로, 이와 관련된 설명은 도 7a 및 도 7b의 설명으로 대신할 수 있다.
도 10을 참조하면, 외부 전자 장치(401)는 1005동작에서, 어플리케이션의 정보를 출력 중인 상태일 수 있다.
일 실시예에서, 전자 장치(201)는 1010동작에서, 제1 사용자 입력을 검출하는 것에 기반하여, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 태스크 바 영역(예: 도 5a의 태스크 바 영역(520))에 표시할 수 있다. 예를 들어, 전자 장치(201)는 태스크 바 영역(520)에 표시 중인 외부 전자 장치(401)에서 출력 중인 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템에서 제1 사용자 입력을 검출할 수 있다. 제1 사용자 입력이 검출되면, 전자 장치(201)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 팝업창으로, 제1 사용자 입력이 검출된 적어도 하나의 아이템에 근접하게 표시할 수 있다.
일 실시예에서, 전자 장치(201)는 1015동작에서, 제2 사용자 입력을 검출하는 것에 기반하여, 멀티 윈도우 배치 모드에 진입할 수 있다. 예를 들어, 전자 장치(201)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창에서 제2 사용자 입력을 검출할 수 있다. 전자 장치(201)는 1020동작에서, 제3 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(201)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창으로부터 디스플레이(231)의 특정 영역으로 이동하는 제3 사용자 입력을 검출할 수 있다.
일 실시예에서, 제3 사용자 입력을 검출하는 것에 기반하여, 전자 장치(201)는 1025동작에서, 외부 전자 장치(401)로부터 어플리케이션과 관련된 정보를 수신할 수 있다. 예를 들어, 어플리케이션과 관련된 정보는, 어플리케이션을 식별하기 위한 식별 정보, 어플리케이션의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다. 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 멀티미디어 컨텐츠의 재생 시간 정보를 포함할 수 있다. 어플리케이션이 브라우저 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 링크 정보일 수 있다.
일 실시예에서, 미도시 되었으나, 전자 장치(201)는 제3 사용자 입력을 검출하는 것에 기반하여, 외부 전자 장치(401)에 실행 중인 어플리케이션과 관련된 정보를 요청하는 신호를 전송하는 동작을 더 수행할 수 있다.
일 실시예에서, 전자 장치(201)는 1030동작에서, 외부 전자 장치(401)로부터 수신한 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 전자 장치(201)는 어플리케이션의 시각적 정보(예: 화면)을 디스플레이(231)에 출력하거나, 및/또는 어플리케이션의 청각적 정보(예: 오디오 신호)를 오디오 출력 회로를 통해 출력할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 1035동작에서, 어플리케이션을 종료할 수 있다.
일 실시예에서, 전자 장치(201)는 1040동작에서, 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 태스크 바 영역(520)에 표시할 수 있다. 전자 장치(201)는 1045동작에서, 제4 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(201)는 디스플레이(231)에 표시 중인 특정 어플리케이션의 화면으로부터 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창으로 이동하는 제4 사용자 입력을 검출할 수 있다. 제4 사용자 입력이 검출되는 것에 기반하여, 전자 장치(201)는 1050동작에서, 특정 어플리케이션과 관련된 정보를 외부 전자 장치(401)에 전송할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 1055동작에서, 전자 장치(201)로부터 수신된 특정 어플리케이션과 관련된 정보에 기반하여, 특정 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 외부 전자 장치(401)가 디스플레이 및 오디오 출력 회로를 구비한 경우, 외부 전자 장치(401)는 특정 어플리케이션과 관련된 정보에 기반하여, 특정 어플리케이션과 관련된 정보, 예를 들어, 시각적 정보 및/또는 청각적 정보를 출력할 수 있다. 다른 예를 들어, 외부 전자 장치(401)가 디스플레이를 구비하지 않고, 오디오 출력 회로만을 구비한 경우, 외부 전자 장치(401)는 특정 어플리케이션과 관련된 정보에 기반하여, 특정 어플리케이션과 관련된 정보, 예를 들어, 청각적 정보를 출력할 수 있다.
다양한 실시예들에 따른 도 3 내지 도 10에서, 전자 장치(201)에 근접하고, 통신 연결된 외부 전자 장치(401)가 하나인 것을 설명하였으나, 이는 발명의 이해를 돕기 위한 것일 뿐, 이에 한정하는 것은 아니다. 예를 들어, 전자 장치(201)에 근접하는 외부 전자 장치(401)는 복수의 외부 전자 장치들을 포함할 수 있고, 전자 장치(201)는 복수의 외부 전자 장치들 각각과 통신 연결되어, 전술한 도 3 내지 도 10에 개시된 동작들을 수행할 수 있다. 이와 관련하여, 후술하는 도 11a 내지 도 12b에서 다양한 실시예들에 설명될 것이다.
도 11a 및 도 11b는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 복수의 외부 전자 장치들(401, 1101)을 제어하는 방법을 설명하기 위한 도면이다.
도 11a 및 도 11b를 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 어플리케이션C가 실행됨에 따라, 어플리케이션C와 관련된 정보(1109)를 팝업창(1106)으로 디스플레이(예: 도 2의 디스플레이(231))에 표시할 수 있다. 일 실시예에서, 프로세서(240)는 태스크 바 영역(520)에 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)를 표시할 수 있다. 예를 들어, 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)는, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(240)는 통신 회로(예: 도 2의 통신 회로(210))를 이용하여, 전자 장치(201)에 근접하는 제1 외부 전자 장치(401) 및 제2 외부 전자 장치(1101)를 검출할 수 있다. 예를 들어, 프로세서(240)는 지정된 통신(예: UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신)을 이용하여, 전자 장치(201)에 근접하는 제1 외부 전자 장치(401) 및 제2 외부 전자 장치(1101)를 검출할 수 있다. 전자 장치(201)에 근접하는 제1 외부 전자 장치(401) 및 제2 외부 전자 장치(1101)가 검출되는 것에 기반하여, 프로세서(240)는 지정된 통신(예: 근거리 무선 통신)을 통해 제1 외부 전자 장치(401) 및 제2 외부 전자 장치(1101)와 통신 연결(1103, 1105)될 수 있다.
일 실시예에 따른 도 11a에서, 전자 장치(201)와 통신 연결된 제1 외부 전자 장치(401)에 어플리케이션A와 관련된 정보를 전송함으로써, 제1 외부 전자 장치(401)는 어플리케이션A와 관련된 정보(1121)를 출력하고, 제2 외부 전자 장치(1101)에 어플리케이션B와 관련된 정보를 전송함으로써, 제2 외부 전자 장치(1101)는 어플리케이션B와 관련된 정보(1123)를 출력하는 것으로 가정하여 설명한다. 이 경우, 프로세서(240)는 태스크 바 영역(520)에 전자 장치(201)와 통신 연결(1103)된 제1 외부 전자 장치(401)에서 실행 중인 어플리케이션A를 나타내는 제1 오브젝트(1131), 및 전자 장치(201)와 통신 연결(1105)된 제2 외부 전자 장치(1101)에서 실행 중인 어플리케이션B를 나타내는 제2 오브젝트(1133)를 더 표시할 수 있다. 이에 한정하는 것은 아니며, 프로세서(240)는 어플리케이션A와 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1132)을 어플리케이션A를 나타내는 제1 오브젝트(1131)에 인접하게 표시하고, 어플리케이션B와 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1134)을 어플리케이션B를 나타내는 제2 오브젝트(1133)에 인접하게 표시될 수 있다.
일 실시예에서, 프로세서(240)는 태스크 바 영역(520)에 표시된 어플리케이션A의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1132) 또는 어플리케이션B와 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1134)에서 사용자 입력(예: 롱 프레스 입력)이 검출되는지 여부를 확인할 수 있다. 사용자 입력(예: 롱 프레스 입력)이 검출되는 경우, 프로세서(240)는 제1 외부 전자 장치(401)에서 출력 중인 어플리케이션A과 관련된 정보(1117)와 제2 외부 전자 장치(1101)에서 출력 중인 어플리케이션B와 관련된 정보(1119)를 팝업창(1115)으로, 디스플레이(231)에 표시할 수 있다. 예를 들어, 사용자 입력(예: 롱 프레스 입력)이 검출되는 경우, 프로세서(240)는 제1 외부 전자 장치(401)에 제1 외부 전자 장치(401)에서 현재 출력 중인 어플리케이션A와 관련된 정보를 요청하는 신호를 전송할 수 있다. 프로세서(240)는 제1 외부 전자 장치(401)로부터 수신한 어플리케이션A와 관련된 정보(1117)를 팝업창(1115)으로 표시할 수 있다. 또한, 사용자 입력(예: 롱 프레스 입력)이 검출되는 경우, 프로세서(240)는 제2 외부 전자 장치(1101)에 제2 외부 전자 장치(1101)에서 현재 출력 중인 어플리케이션B와 관련된 정보를 요청하는 신호를 전송할 수 있다. 프로세서(240)는 제2 외부 전자 장치(1101)로부터 수신한 어플리케이션B와 관련된 정보(1119)를 팝업창(1115)으로 표시할 수 있다.
일 실시예에서, 프로세서(240)는 디스플레이(231)에 표시 중인 어플리케이션C에 대한 팝업창(1106)을 선택한 후, 팝업창(1115)에 표시된 어플리케이션A와 관련된 정보(1117)로 이동 및 드롭하는 드래그 앤 드롭 입력(1111, 1113)을 검출할 수 있다. 드래그 앤 드롭 입력(1111, 1113)이 검출되는 것에 기반하여, 프로세서(240)는 도 11b에 도시된 바와 같이, 어플리케이션C와 관련된 정보를 제1 외부 전자 장치(401)에 전송(1141)할 수 있다.
일 실시예에서, 제1 외부 전자 장치(401)는 전자 장치(201)로부터 어플리케이션C와 관련된 정보를 수신하는 것에 기반하여, 어플리케이션A와 관련된 정보(1121)를 출력하는 대신 어플리케이션C와 관련된 정보(1109)를 출력할 수 있다. 이 경우, 태스크 바 영역(520)에는 어플리케이션A를 나타내는 제1 오브젝트(1131)와 어플리케이션A와 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1132) 대신 어플리케이션C를 나타내는 제3 오브젝트(1151)와 어플리케이션C와 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1153)을 표시할 수 있다.
도 12a, 도 12b, 및 도 12c는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 복수의 외부 전자 장치들(401, 1101)을 제어하는 방법을 설명하기 위한 도면이다.
도 12a를 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 어플리케이션C의 화면이 팝업창(1106)을 통해 디스플레이(예: 도 2의 디스플레이(231))에 출력할 수 있다.
일 실시예에서, 프로세서(240)는 통신 회로(예: 도 2의 통신 회로(210))를 이용하여, 전자 장치(201)에 근접하는 제1 외부 전자 장치(예: 도 11a 및 도 11b의 제1 외부 전자 장치(401)) 및 제2 외부 전자 장치(예: 도 11a 및 도 11b의 제2 외부 전자 장치(1101))를 검출할 수 있다. 전자 장치(201)에 근접하는 제1 외부 전자 장치(401) 및 제2 외부 전자 장치(1101)가 검출되는 것에 기반하여, 프로세서(240)는 지정된 통신(예: 근거리 무선 통신)을 통해 제1 외부 전자 장치(401) 및 제2 외부 전자 장치(1101)와 통신 연결될 수 있다. 일 실시예에 따른 도 12a 및 도 12b에서, 전자 장치(201)와 통신 연결된 제1 외부 전자 장치(401)에 어플리케이션A와 관련된 정보를 전송함으로써, 제1 외부 전자 장치(401)는 어플리케이션A와 관련된 정보(1121)를 출력하고, 제2 외부 전자 장치(1101)에 어플리케이션B와 관련된 정보를 전송함으로써, 제2 외부 전자 장치(1101)는 어플리케이션B와 관련된 정보(1123)를 출력하는 것으로 가정하여 설명한다.
일 실시예에서, 프로세서(240)는 사용자 입력(예: 드래드 앤 드롭 입력(1111, 1113))을 검출할 수 있다. 예를 들어, 드래그 앤 드롭 입력(1111, 1113)은, 팝업창(1106)을 선택한 상태에서 특정 방향으로 이동하는 드래그 앤드롭 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니며, 사용자 입력은 팝업창(1106)을 선택하는 터치 입력(1111)일 수도 있다.
일 실시예에서, 드래그 앤 드롭 입력(1111, 1113)이 검출되는 것에 기반하여, 프로세서(240)는 팝업창(1106)의 표시를 종료하기 위한 제1 아이템(959)과 팝업창(1106)의 이동을 취소하기 위한 제2 아이템(961)을 표시할 수 있다.
일 실시예에서, 드래그 앤 드롭 입력(1111, 1113)이 검출되는 것에 기반하여, 프로세서(240)는 디스플레이(231)에 표시 중인 어플리케이션C가 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)에서 지원하는 어플리케이션인지 여부(예: 특정 어플리케이션이 외부 전자 장치(401)에 설치된 어플리케이션인지 여부 또는 특정 어플리케이션을 대체할 수 있는 어플리케이션이 외부 전자 장치(401)에 설치되었는지 여부)를 확인할 수 있다. 예를 들어, 프로세서(240)는 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)와 통신 연결하는 과정에서 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)로부터 수신한 정보에 기반하여, 디스플레이(231)에 표시 중인 어플리케이션C가 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다. 다른 예를 들어, 프로세서(240)는 드래그 앤 드롭 입력(1111, 1113)이 검출되는 것에 기반하여, 디스플레이(231)에 표시 중인 어플리케이션C가 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)에서 지원하는 어플리케이션인지 여부를 확인하는 요청 신호를 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)에 전송할 수 있다. 요청 신호에 기반하여, 프로세서(240)는 디스플레이(231)에 표시 중인 어플리케이션C가 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다.
일 실시예에서, 디스플레이(231)에 표시 중인 어플리케이션C가 제1 외부 전자 장치(401)에서 지원하지 않은 어플리케이션이고, 제2 외부 전자 장치(1101)에서 지원하는 어플리케이션인 것으로 확인되면, 프로세서(240)는 참조번호 <1210>에 도시된 바와 같이, 제1 외부 전자 장치(401)에서 출력 중인 어플리케이션A과 관련된 정보(1117)가 표시된 팝업창(1115)의 일부 영역에 제1 시각적 효과(1211)(예: 음영 효과)를 출력하고, 제2 외부 전자 장치(1101)에서 출력 중인 어플리케이션B와 관련된 정보(1119)가 표시된 팝업창(1115)의 다른 일부 영역에 제2 시각적 효과(1213)(예: 하이라이트 효과)를 출력할 수 있다.
예를 들어, 제1 시각적 효과(1211)(예: 음영 효과)는, 어플리케이션C가 외부 전자 장치(401)에서 지원하지 않은 어플리케이션인 것을 나타내는 시각적 효과일 수 있다. 제2 시각적 효과(1213)(예: 하이라이트 효과)는, 어플리케이션C가 외부 전자 장치(401)에서 지원하는 어플리케이션인 것을 나타내는 시각적 효과일 수 있다.
이에 한정하는 것은 아니며, 드래그 앤 드롭 입력(1111, 1113)이 팝업창(1115)의 어플리케이션A와 관련된 정보(1117)가 표시된 영역에서 검출되는 것에 기반하여, 프로세서(240)는 어플리케이션C가 제1 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다. 전술한 바와 같이, 어플리케이션C는 제1 외부 전자 장치(401)에서 지원하지 않은 어플리케이션이기 때문에, 프로세서(240)는 참조번호 <1220>에 도시된 바와 같이, 어플리케이션C가 제1 외부 전자 장치(401)에서 지원하지 않은 어플리케이션인 것을 나타내는 아이콘(1221)(예: “X” 아이콘)을 출력할 수 있다.
도 12b를 참조하면, 드래그 앤 드롭 입력(1111, 1113)이 검출되는 것에 기반하여, 프로세서(240)는 디스플레이(231)에 표시 중인 어플리케이션C가 제1 외부 전자 장치(401) 및/또는 제2 외부 전자 장치(1101)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다. 어플리케이션C가 제1 외부 전자 장치(401) 및 제2 외부 전자 장치(1101)에서 지원하는 어플리케이션으로 가정하여 설명하면, 프로세서(240)는 참조번호 <1230>에 도시된 바와 같이, 제1 외부 전자 장치(401)에서 출력 중인 어플리케이션A와 관련된 정보(1117)가 표시된 팝업창(1115)의 일부 영역과 제2 외부 전자 장치(1101)에서 출력 중인 어플리케이션B와 관련된 정보(1119)가 표시된 팝업창(1115)의 다른 일부 영역에 제2 시각적 효과(1213)(예: 하이라이트 효과)를 출력할 수 있다.
이에 한정하는 것은 아니며, 드래그 앤 드롭 입력(1111, 1113)이 팝업창(1115)의 어플리케이션A와 관련된 정보(1117)가 표시된 영역에서 검출되는 것에 기반하여, 프로세서(240)는 어플리케이션C가 제1 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인할 수 있다. 전술한 바와 같이, 어플리케이션C는 제1 외부 전자 장치(401)에서 지원하는 어플리케이션이기 때문에, 프로세서(240)는 참조번호 <1240>에 도시된 바와 같이, 어플리케이션C가 제1 외부 전자 장치(401)에서 지원하는 어플리케이션인 것을 나타내는 아이콘(1241)(예: “O” 아이콘)을 출력할 수 있다.
도 12c를 참조하면, 프로세서(240)는 제1 외부 전자 장치(401)에서 출력 중인 어플리케이션A와 관련된 정보(1117)가 표시된 팝업창(1115)의 일부 영역으로부터 제2 외부 전자 장치(1101)에서 출력 중인 어플리케이션B와 관련된 정보(1119)가 표시된 팝업창(1115)의 다른 일부 영역으로 이동하는 사용자 입력(1251, 1253)(예: 드래그 앤 드롭 입력 또는 스와이프 입력)을 검출할 수 있다. 이 경우, 프로세서(240)는 제2 외부 전자 장치(1101)로부터 어플리케이션B와 관련된 정보를 수신하고, 이를 제1 외부 전자 장치(401)에 전송할 수 있다. 또한, 프로세서(240)는 제1 외부 전자 장치(401)로부터 어플리케이션A와 관련된 정보를 수신하고, 이를 제2 외부 전자 장치(1101)에 전송할 수 있다. 이에 한정하는 것은 아니며, 제1 외부 전자 장치(401)와 제2 외부 전자 장치(1101)는 근거리 통신 회로를 통해 통신 연결될 수도 있다. 이 경우, 제1 외부 전자 장치(401)와 제2 외부 전자 장치(1101)는 어플리케이션A와 관련된 정보와 어플리케이션B와 관련된 정보를 교환할 수 있다.
도 13a 및 도 13b는, 본 개시의 일 실시예에 따른, 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트 및 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하는 방법을 설명하기 위한 도면이다.
도 13a 및 도 13b를 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 태스크 바 영역(520)에 통신 회로(예: 도 2의 통신 회로(210))(예: 근거리 통신 회로)를 통해 통신 연결된 적어도 하나의 외부 전자 장치에서 실행 중인 어플리케이션을 나타내는 오브젝트와 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시할 수 있다.
예를 들어, 전자 장치(201)에 하나의 외부 전자 장치가 통신 연결된 경우, 프로세서(240)는 참조번호 <1310>에 도시된 바와 같이, 외부 전자 장치에서 실행 중인 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 태스크 바 영역(520)에 표시할 수 있다.
다른 예를 들어, 전자 장치(201)에 두 개의 외부 전자 장치들이 통신 연결된 경우, 프로세서(240)는 참조번호 <1320>에 도시된 바와 같이, 제1 외부 전자 장치에서 실행 중인 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311), 제2 외부 전자 장치에서 실행 중인 어플리케이션A를 나타내는 오브젝트와 어플리케이션A의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1321)을 태스크 바 영역(520)에 표시할 수 있다.
또 다른 예를 들어, 전자 장치(201)에 세 개의 외부 전자 장치들이 통신 연결된 경우, 프로세서(240)는 참조번호 <1330>에 도시된 바와 같이, 탭 형태로, 각 외부 전자 장치에서 실행 중인 어플리케이션과 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 태스크 바 영역(520)에 표시할 수 있다. 예를 들어, 각 외부 전자 장치 예를 들어, 제1 외부 전자 장치, 제2 외부 전자 장치, 및 제3 외부 전자 장치 각각은 탭 형태(1331, 1333, 1335)로 제공될 수 있다. 예를 들어, 제1 외부 전자 장치를 나타내는 제1 탭(1331)을 선택하는 입력이 검출되면, 프로세서(240)는 제1 외부 전자 장치에서 실행 중인 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 태스크 바 영역(520)에 표시할 수 있다. 다른 예를 들어, 제2 외부 전자 장치를 나타내는 제2 탭(1333)을 선택하는 입력이 검출되면, 프로세서(240)는 제2 외부 전자 장치에서 실행 중인 어플리케이션A를 나타내는 오브젝트와 어플리케이션A의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1321)을 태스크 바 영역(520)에 표시할 수 있다. 또 다른 예를 들어, 제3 외부 전자 장치를 나타내는 제3 탭(1335)을 선택하는 입력이 검출되면, 프로세서(240)는 제3 외부 전자 장치에서 실행 중인 어플리케이션C를 나타내는 오브젝트와 어플리케이션C의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(미도시)을 태스크 바 영역(520)에 표시할 수 있다.
또 다른 예를 들어, 참조번호 <1340>을 참조하면, 제1 외부 전자 장치에서 실행 중인 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 태스크 바 영역(520)에 표시한 상태에서, 프로세서(240)는 어플리케이션B를 나타내는 오브젝트를 선택하는 터치 입력(1341)을 검출할 수 있다. 어플리케이션B를 나타내는 오브젝트를 선택하는 터치 입력(1341)을 검출하는 것에 기반하여, 프로세서(240)는 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 표시하는 대신 제2 외부 전자 장치에서 실행 중인 어플리케이션A를 나타내는 오 브젝트와 어플리케이션A의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 태스크 바 영역(520)에 표시할 수 있다. 제2 외부 전자 장치에서 실행 중인 어플리케이션A를 나타내는 오브젝트와 어플리케이션A의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1321)을 태스크 바 영역(520)에 표시한 상태에서, 프로세서(240)는 어플리케이션A를 나타내는 오브젝트를 선택하는 터치 입력(1342)을 검출할 수 있다. 어플리케이션A를 나타내는 오브젝트를 선택하는 터치 입력(1342)을 검출하는 것에 기반하여, 프로세서(240)는 어플리케이션A를 나타내는 오브젝트와 어플리케이션A의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1321)을 표시하는 대신 제3 외부 전자 장치에서 실행 중인 어플리케이션C를 나타내는 오브젝트와 어플리케이션C의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1343)을 태스크 바 영역(520)에 표시할 수 있다.
일 실시예에 따른 참조번호 <1340>에서, 특정 어플리케이션을 나타내는 오브젝트를 선택하는 터치 입력으로, 다른 외부 전자 장치에서 실행 중인 어플리케이션을 나타내는 오브젝트와 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템의 표시를 전환하여 표시하는 것으로 설명하였으나, 이에 한정하는 것은 아니다.
예를 들어, 프로세서(240)는 태스크 바 영역(520)에 표시된 특정 어플리케이션을 나타내는 오브젝트 및/또는 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템에서 검출되는 스와이프 입력(예: 상/하/좌/우 스와이프 입력)으로, 다른 외부 전자 장치에서 실행 중인 어플리케이션을 나타내는 오브젝트와 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템의 표시를 전환하여 표시할 수도 있다.
또 다른 예를 들어, 제1 외부 전자 장치에서 실행 중인 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 태스크 바 영역(520)에 표시한 상태에서, 프로세서(240)는 참조번호 <1350>에 도시된 바와 같이, 제1 인디케이터(1351) 및 제2 인디케이터(1353)를 표시할 수 있다. 예를 들어, 제1 인디케이터(1351)를 선택하는 입력이 검출되면, 프로세서(240)는 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 표시하는 대신 제3 외부 전자 장치에서 실행 중인 어플리케이션C를 나타내는 오브젝트와 어플리케이션C의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1343)을 태스크 바 영역(520)에 표시할 수 있다. 또는, 제2 인디케이터(1353)를 선택하는 입력이 검출되면, 프로세서(240)는 어플리케이션B를 나타내는 오브젝트와 어플리케이션B의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1311)을 표시하는 대신 제2 외부 전자 장치에서 실행 중인 어플리케이션A를 나타내는 오브젝트와 어플리케이션A의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템(1321)을 태스크 바 영역(520)에 표시할 수 있다.
도 14a는, 본 개시의 일 실시예에 따른, 태스크 바 영역(520)에 표시되는 네비게이션 영역(1411)을 설명하기 위한 도면이다.
도 14a를 참조하면, 일 실시예에 따른 참조번호 <1410>에 도시된 바와 같이, 태스크 바 영역(520)은 전자 장치(예: 도 2의 전자 장치(201))와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)와 함께 네비게이션(navigation) 영역(1411)을 표시할 수 있다.
일 실시예에서, 태스크 바 영역(520) 및/또는 네비게이션 영역(1411)은 특정 입력이 검출되거나, 또는 특정 조건에서 디스플레이(231)에 표시될 수 있다. 일 실시예에 따른 특정 입력은, 스와이프 입력(예: 디스플레이(231)의 하단 엣지로부터 위로의 스와이프 입력)을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다. 일 실시예에 따른 특정 조건은, 적어도 하나의 외부 전자 장치의 근접이 검출되는 조건 또는 적어도 하나의 외부 전자 장치와 통신 연결되는 조건을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 네비게이션 영역(1411)에는, 메뉴를 실행하기 위한 아이템(1411a)(예: 메뉴 버튼), 홈 화면으로 이동(예: 홈 화면을 표시)하기 위한 아이템(1411b)(예: 홈 버튼), 및/또는 이전 화면으로 돌아가서 표시하기 위한 아이템(1411c)(예: 돌아가기 버튼)이 표시될 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(예: 도 2의 프로세서(240))는 홈 화면 및 네비게이션 영역(1411)을 태스크 바 영역(520) 내 표시하는 중에, 특정 어플리케이션의 실행을 검출할 수 있다. 특정 어플리케이션의 실행을 검출하는 것에 기반하여, 프로세서(240)는 디스플레이(231)에서 특정 어플리케이션의 실행 화면이 표시되는 영역이 넓어질 수 있도록, 태스크 바 영역(520)의 크기를 조정(예: 지정된 크기보다 작게 조정)하여 표시할 수 있다. 예를 들어, 태스크 바 영역(520)이 디스플레이(231)의 하단 엣지(bottom edge)로부터 제1 길이로 표시된 상태에서 특정 어플리케이션의 실행이 검출되는 경우, 프로세서(240)는 디스플레이(231)의 하단 엣지(bottom edge)로부터 제2 길이(예: 제1 길이보다 짧은 제2 길이)로 태스크 바 영역(520)이 표시되도록 제어할 수 있다. 이 경우, 프로세서(240)는 태스크 바 영역(520)에 표시 중인 적어도 하나의 오브젝트(525), 네비게이션 영역(1411), 및 네비게이션 영역(1411) 내 표시 중인 적어도 하나의 아이템(1411a, 1411b, 및 1411c)의 크기 또한 조정(예: 기 설정된 크기보다 작은 크기로 조정)하여 표시되도록 제어할 수 있다.
일 실시예에서, 적어도 하나의 외부 전자 장치와 통신 연결된 경우, 참조번호 <1420>에 도시된 바와 같이, 프로세서(240)는 태스크 바 영역(520)에, 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525), 네비게이션 영역(1411), 및 외부 전자 장치에서 실행 가능한 어플리케이션을 나타내는 오브젝트(1421), 및/또는 외부 전자 장치에서 실행 중인 어플리케이션(1422)의 기능을 제어하기 위한 아이템(1423)을 표시할 수 있다.
일 실시예에 따른 참조번호 <1410> 및 <1420>에서, 네비게이션 영역(1411)이 태스크 바 영역(520) 내 표시되는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 예를 들어, 네비게이션 영역(1411)은, 태스크 바 영역(520)에 인접하게 표시될 수도 있다. 예를 들어, 참조번호 <1430> 및 <1440>에 도시된 바와 같이, 네비게이션 영역(1411)은, 태스크 바 영역(520)의 하단 영역(예: 태스크 바 영역(520)과 디스플레이(예: 도 2의 디스플레이(231))의 하단 엣지 사이)에 표시될 수 있다. 다른 예를 들어, 참조번호 <1450> 및 <1460>에 도시된 바와 같이, 네비게이션 영역(1411)은, 태스크 바 영역(520)의 상단 영역에 표시될 수 있다.
일 실시예에서, 태스크 바 영역(520)의 하단 영역(예: 태스크 바 영역(520)과 디스플레이(예: 도 2의 디스플레이(231))에 네비게이션 영역(1411)이 표시된 상태(예: 참조번호 <1430>의 상태)에서, 적어도 하나의 외부 전자 장치와 통신 연결된 경우, 프로세서(240)는 참조번호 <1440>에 도시된 바와 같이, 태스크 바 영역(520)에, 외부 전자 장치에서 실행 가능한 어플리케이션을 나타내는 오브젝트(1421), 및/또는 외부 전자 장치에서 실행 중인 어플리케이션(1422)의 기능을 제어하기 위한 아이템(1423)을 더 표시할 수 있다.
일 실시예에서, 태스크 바 영역(520)의 상단 영역에 네비게이션 영역(1411)이 표시된 상태(예: 참조번호 <1450>의 상태)에서, 적어도 하나의 외부 전자 장치와 통신 연결된 경우, 프로세서(240)는 참조번호 <1460>에 도시된 바와 같이, 태스크 바 영역(520)에, 외부 전자 장치에서 실행 가능한 어플리케이션을 나타내는 오브젝트(1421), 및/또는 외부 전자 장치에서 실행 중인 어플리케이션(1422)의 기능을 제어하기 위한 아이템(1423)을 더 표시할 수 있다.
일 실시예에서, 홈 화면 및 참조번호 <1430>, <1440, <1450>, 또는 <1460>에 도시된 바와 같이, 네비게이션 영역(1411)을 태스크 바 영역(520)에 인접한 영역(예: 태스크 바 영역(520)의 상단 영역 또는 태스크 바 영역(520)의 하단 영역)에 표시하는 중에, 프로세서(240)는 특정 어플리케이션의 실행을 검출할 수 있다. 특정 어플리케이션의 실행을 검출하는 것에 기반하여, 프로세서(240)는 디스플레이(231)에서 특정 어플리케이션의 실행 화면이 표시되는 영역이 넓어질 수 있도록, 참조번호 <1410> 또는 <1420>에 도시된 바와 같이, 태스크 바 영역(520) 내 네비게이션 영역(1411)을 표시할 수 있다. 또한, 프로세서(240)는 태스크 바 영역(520)에 표시되는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)는, 기 설정된 크기보다 작은 크기로 태스크 바 영역(520)에 표시될 수 있다.
이에 한정하는 것은 아니며, 예를 들어, 특정 어플리케이션이 실행된 경우, 프로세서(240)는 참조번호 <1430>(또는 <1440>) 및 <1450>(또는 <1460>에 도시된 바와 같이, 네비게이션 영역(1411)이 태스크 바 영역(520)에 인접하게 표시(예: 태스크 바 영역(520)의 하단 영역 또는 상단 영역)되는 상태를 유지할 수도 있다. 이 경우, 프로세서(240)는 태스크 바 영역(520), 태스크 바 영역(520)에 표시 중인 적어도 하나의 오브젝트(525), 네비게이션 영역(1411), 및 네비게이션 영역(1411) 내 표시 중인 적어도 하나의 아이템(1411a, 1411b, 및 1411c)의 크기가 기 설정된 크기보다 작은 크기로 표시되도록 제어할 수 있다.
다른 예를 들어, 특정 어플리케이션이 실행된 경우, 프로세서(240)는, 태스크 바 영역(520)에 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)는 표시하지 않고, 네비게이션 영역(1411)만을 표시할 수도 있다.
도 14b는, 본 개시의 일 실시예에 따른, 공통 컨트롤러 아이템을 설명하기 위한 도면이다.
일 실시예에서, 프로세서(예: 도 2의 프로세서(240))는 외부 전자 장치와 통신 연결되는 것에 기반하여, 태스크 바 영역(520)에 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525) 및/또는 외부 전자 장치에서 실행 가능한 적어도 하나의 어플리케이션(예: 어플리케이션I 및/또는 어플리케이션J)을 나타내는 적어도 하나의 오브젝트(1471, 1473)를 표시할 수 있다.
일 실시예에 따른 도 14b에서는, 외부 전자 장치에서 실행 가능한 적어도 하나의 어플리케이션(예: 어플리케이션I 및/또는 어플리케이션J)을 나타내는 적어도 하나의 오브젝트(1471, 1473) 중 어플리케이션J를 나타내는 오브젝트(1473)를 선택함에 따라, 외부 전자 장치에서 어플리케이션J를 실행하는 것으로 가정하여 설명하도록 한다.
일 실시예에서, 적어도 하나의 어플리케이션(예: 어플리케이션I 및/또는 어플리케이션J)을 나타내는 적어도 하나의 오브젝트(1471, 1473) 중 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J를 나타내는 오브젝트(1473)는, 외부 전자 장치에서 실행 중이 아닌 어플리케이션I를 나타내는 오브젝트(1471)와 상이하게 표시될 수 있다. 예를 들어, 프로세서(240)는 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J를 나타내는 오브젝트(1473)에 시각적 효과를 적용하여 표시할 수 있다. 예를 들어, 시각적 효과는, 오브젝트의 외곽을 진하게 표시하는 시각적 효과, 오브젝트를 빗금으로 표시하는 시각적 효과, 및/또는 오브젝트를 특정 색상으로 표시하는 시각적 효과를 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J을 제어하기 위한 제어 정보를, 외부 전자 장치로부터 전달받지 못하거나, 또는 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J을 제어하기 위한 제어 정보가 식별되지 않을 수 있다. 이 경우, 프로세서(240)는 참조번호 <1470>에 도시된 바와 같이, 외부 전자 장치에서 실행 가능한 어플리케이션I를 나타내는 오브젝트(1471)와 외부 전자 장치에서 실행 중인 어플리케이션J를 나타내는 오브젝트(1473)를 표시할 수 있다. 다시 말해, 프로세서(240)는 외부 전자 장치에서 실행 중인 어플리케이션J의 기능을 제어하기 위한 아이템(예: 도 14a의 아이템(1423))을 표시하지 않을 수 있다.
이 경우, 프로세서(240)는 어플리케이션J를 나타내는 오브젝트(1473)에서 검출되는 제스처에 기반하여, 어플리케이션에서 공통으로 사용될 수 있는 기능들인 공통 컨트롤러 기능들을 제공할 수 있다. 예를 들어, 공통 컨트롤러 기능들은, 도 14a에서 살펴본 네비게이션 영역에 표시되는 기능들(예: 메뉴를 실행하는 기능, 홈 화면으로 이동하는 기능, 및/또는 이전 화면을 표시하는 기능), 최신 실행한 기능을 재실행하는 기능, 및/또는 외부 전자 장치에 표시 중인 어플리케이션의 화면을 스크롤하는 기능을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 전술한 공통 컨트롤러 기능들 각각에 대응하는 제스처는 매핑되어 있을 수 있으며, 프로세서(240)는 어플리케이션J를 나타내는 오브젝트(1473)에서 검출되는 제스처에 기반하여, 외부 전자 장치가 제스처에 대응하는 기능을 수행하도록 할 수 있다. 일 실시예에서, 제스처는, 어플리케이션J를 나타내는 오브젝트(1473) 상에서의 스와이프 제스처(예: 상하 스와이프 제스처, 좌우 스와이프 제스처)를 포함할 수 있다.
이에 한정하는 것은 아니며, 프로세서(240)는 어플리케이션J를 나타내는 오브젝트(1473)에서 검출되는 제스처에 기반하여, 공통 컨트롤러 기능들의 리스트를 표시할 수 있다. 리스트에서 특정 컨트롤러 기능이 선택되는 경우, 프로세서(240)는 외부 전자 장치가 제스처에 대응하는 기능을 수행하도록 할 수 있다.
이에 한정하는 것은 아니며, 예를 들어, 프로세서(240)는 참조번호 <1480>에 도시된 바와 같이, 태스크 바 영역(520)에서, 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J를 나타내는 오브젝트(1473)에 근접하게 제스처 영역(1481)을 더 표시할 수 있다. 프로세서(240)는, 제스처 영역(1481)에서 검출되는 스와이프 제스처(예: 상하 스와이프 제스처, 좌우 스와이프 제스처)에 기반하여, 외부 전자 장치가 제스처에 대응하는 기능을 수행하도록 할 수 있다.
다른 예를 들어, 프로세서(240)는 참조번호 <1490>에 도시된 바와 같이, 어플리케이션J를 나타내는 오브젝트(1473)에 인접하게 공통 컨트롤러 기능들을 나타내는 아이템들(예: 메뉴를 실행하는 기능을 나타내는 아이템(1491) 및/또는 이전 화면으로 돌아가는 기능을 나타내는 아이템(1492))을 표시할 수 있다. 미도시 되었으나, 오브젝트(1473)에 인접하게 공통 컨트롤러 기능들을 나타내는 아이템은, 홈 화면으로 이동하는 기능을 나타내는 아이템, 최신 실행한 기능을 재실행하는 기능을 나타내는 아이템, 및/또는 외부 전자 장치에 표시 중인 어플리케이션의 화면을 스크롤하는 기능을 나타내는 아이템을 더 포함할 수 있다.
다양한 실시예들에 따른 도 14b에서, 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J을 제어하기 위한 제어 정보를, 외부 전자 장치로부터 전달받지 못하거나, 또는 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J을 제어하기 위한 제어 정보가 식별되지 않은 경우, 오브젝트(1473), 제스처 영역(1481), 및/또는 공통 컨트롤러 기능들을 나타내는 아이템들에서 검출되는 제스처에 기반하여, 공용 컨트롤러 기능들을 제공하는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J을 제어하기 위한 제어 정보가 존재하는 경우(예: 외부 전자 장치에서 실행 중(또는 출력 중)인 어플리케이션J을 제어하기 위한 제어 정보를 외부 전자 장치로부터 수신하거나, 또는 어플리케이션J을 제어하기 위한 제어 정보가 식별된 경우)에도, 프로세서(240)는 오브젝트(1473) 상에서 검출되는 제스처에 기반하여, 어플리케이션J을 제어할 수 있는 공용 컨트롤러 기능들을 제공할 수도 있다. 또한, 프로세서(240)는 외부 전자 장치에서 실행 중인 어플리케이션J의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템과 함께, 제스처 영역(1481) 또는 공통 컨트롤러 기능들을 나타내는 아이템들 더 표시할 수 있다. 이 경우, 프로세서(240)는 제스처 영역(1481) 또는 공통 컨트롤러 기능들을 나타내는 아이템들에서 검출되는 제스처에 기반하여, 어플리케이션를 제어할 수 있는 공용 컨트롤러 기능들을 제공할 수도 있다.
도 15는, 본 개시의 일 실시예에 따른, 전자 장치(201), 서버(1501), 및 외부 전자 장치(401) 간 신호 흐름을 나타내는 도면이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
다양한 실시예들에 따른 도 15는, 전술한 도 4와 비교하여, 전자 장치(201)가 선택된 오브젝트에 대응하는 어플리케이션과 관련된 정보와 선택된 아이템에 대응하는 기능과 관련된 정보를 서버(1501)를 통해 외부 전자 장치(401)에 전송하는 실시예를 설명하기 위한 도면이다.
다양한 실시예들에 따른 도 15에 도시된 동작들은, 전술한 정보들을 서버(1501)를 통해 전송하는 것 외, 전술한 도 4의 동작들과 유사하므로, 이와 관련된 설명은 도 4의 설명으로 대신할 수 있다.
도 15를 참조하면, 전자 장치(201)는 1505동작에서, 외부 전자 장치(401)와 통신 연결될 수 있다. 예를 들어, 전자 장치(201)는 통신(예: 도 2의 통신 회로(210))(예: UWB, 블루투스, 저전력 블루투스와 같은 근거리 무선 통신)을 이용하여, 전자 장치(201)에 근접하는 외부 전자 장치(401)와 통신 연결될 수 있다.
일 실시예에서, 전자 장치(201)는 1510동작에서, 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 디스플레이(예: 도 2의 디스플레이(231))의 적어도 일부 영역(예: 태스크 바 영역)에 표시할 수 있다.
일 실시예에서, 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트는, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(예: 도 2의 디스플레이(231))에 표시 중인 적어도 하나의 어플리케이션 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다. 하지만 이에 한정하는 것은 아니며, 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트는, 외부 전자 장치(401)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트 및/또는 외부 전자 장치(401)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트를 포함할 수도 있다.
일 실시예에서, 전자 장치(201)는 1515동작에서, 적어도 하나의 오브젝트 중 하나의 오브젝트를 선택하는 입력을 검출할 수 있다. 전자 장치(201)는 1520동작에서, 선택된 오브젝트에 대응하는 어플리케이션과 관련된 정보를 서버(1501)에 전송할 수 있다. 예를 들어, 선택된 오브젝트에 대응하는 어플리케이션과 관련된 정보는, 어플리케이션을 식별하기 위한 식별 정보, 어플리케이션의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 멀티미디어 컨텐츠의 재생 시간 정보를 포함할 수 있다. 어플리케이션이 브라우저 어플리케이션인 경우, 어플리케이션의 실행과 관련된 정보는, 링크 정보일 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 서버(1501)는 1525동작에서, 전자 장치(201)로부터 수신한 선택된 오브젝트에 대응하는 어플리케이션과 관련된 정보를 외부 전자 장치(401)에 전송할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 1530동작에서, 서버(1501)로부터 수신된 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 외부 전자 장치(401)는 서버(1501)로부터 수신한 어플리케이션의 실행과 관련된 정보 예를 들어, 멀티미디어 컨텐츠의 재생 시간 정보에 기반하여, 재생 시간 정보부터 멀티미디어 컨텐츠가 출력되도록 할 수 있다.
일 실시예에서, 멀티미디어 컨텐츠가 전자 장치(201)의 디스플레이(예: 도 2의 디스플레이(231))에 출력 중인 상태였다면, 외부 전자 장치(401)가 서버(1501)로부터 수신된 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력하는 경우, 멀티미디어 컨텐츠는 전자 장치(201)의 디스플레이(231)에 표시되지 않을 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 전자 장치(201)는 1535동작에서, 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 선택된 오브젝트에 인접하게 표시할 수 있다. 예를 들어, 어플리케이션이 멀티미디어 컨텐츠와 관련된 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 멀티미디어 컨텐츠의 재생을 조작하기 위한 기능(예: 재생 중지, 재생, 앞으로 재생, 및/또는 뒤로 재생)을 포함할 수 있다. 다른 예를 들어, 어플리케이션이 사용자 인터페이스와 관련된 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 사용자 인터페이스를 조작하기 위한 기능(예: 앞으로 가기, 뒤로 가기, 및/또는 홈으로 가기)을 포함할 수 있다. 또 다른 예를 들어, 어플리케이션이 사진 어플리케이션인 경우, 어플리케이션의 적어도 하나의 기능은, 이전 사진을 표시하는 기능, 다음 사진을 표시하는 기능, 및/또는 추천 사진을 표시하는 기능을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 전자 장치(201)는 1540동작에서, 적어도 하나의 아이템 중 하나의 아이템을 선택하는 입력을 검출할 수 있다. 전자 장치(201)는 1545동작에서, 선택된 아이템에 대응하는 기능과 관련된 정보를 서버(1501)에 전송할 수 있다.
일 실시예에서, 서버(1502)는 1550동작에서, 전자 장치(201)로부터 수신한 선택된 아이템에 대응하는 기능과 관련된 정보를 외부 전자 장치(401)에 전송할 수 있다. 외부 전자 장치(401)는 1555동작에서, 서버(1502)로부터 수신한 선택된 아이템에 대응하는 기능과 관련된 정보에 기반하여, 변경된 어플리케이션의 정보를 출력할 수 있다.
도 16a, 도 16b, 도 16c, 및 도 16d는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치(401)를 제어하는 방법을 설명하기 위한 도면이다.
도 16a를 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 복수의 어플리케이션들(예: 어플리케이션A, 어플리케이션B, 및 어플리케이션D)이 실행됨에 따라, 복수의 어플리케이션들(예: 어플리케이션A, 어플리케이션B, 및 어플리케이션D)의 화면들(예: 어플리케이션A의 제1 화면(505), 어플리케이션B의 제2 화면(510), 및 어플리케이션D의 제3 화면(515))을 디스플레이(예: 도 2의 디스플레이(231))에 표시(예: 멀티 윈도우 형태로 표시)할 수 있다. 예를 들어, 프로세서(240)는 디스플레이(231)의 전체 영역을 3개의 영역으로 분할하여, 분할된 각 영역에 어플리케이션A의 제1 화면(505), 어플리케이션B의 제2 화면(510), 및 어플리케이션D의 제3 화면(515)을 표시할 수 있다.
일 실시예에서, 어플리케이션A의 제1 화면(505), 어플리케이션B의 제2 화면(510), 및 어플리케이션D의 제3 화면(515) 각각이 표시된 윈도우는, 윈도우 핸들(1601, 1602, 1603)을 포함할 수 있다. 멀티 윈도우 중, 활성화된 윈도우(예: 어플리케이션D의 제3 화면(515)이 표시된 윈도우)의 핸들(1603)은 비활성화된 윈도우 핸들(예: 어플리케이션A의 제1 화면(505)이 표시된 윈도우의 핸들(1601), 어플리케이션B의 제2 화면(510)이 표시된 윈도우의 핸들(1602))과 구별되는 형태(예: 구별된 색상, 음영, 및/또는 모양)를 가질 수 있다.
일 실시예에 따른 어플리케이션D의 제3 화면(515)이 멀티미디어 컨텐츠를 재생하는 화면으로 가정하여 설명하면, 프로세서(240)는 어플리케이션D의 제3 화면(515)이 표시된 윈도우를 통해 어플리케이션D와 관련된 서버에 로그인된 사용자 계정을 기반으로, 멀티미디어 컨텐츠의 재생 화면을 출력할 수 있다. 이 경우, 어플리케이션D의 제3 화면(515)이 표시된 윈도우의 일 영역(예: 윈도우의 상단 영역)에는, 서버에 로그인된 사용자 계정 정보(1604)가 표시될 수 있다. 이에 한정하는 것은 아니며, 어플리케이션D의 제3 화면(515)이 표시된 윈도우에는, 멀티미디어 컨텐츠의 현재 재생 시점을 포함하는 프로그레스 바(progress bar)(1657)가 더 표시될 수 있다(예: 도 16c 참조).
일 실시예에서 프로세서(240)는 디스플레이(231)의 태스크 바 영역(520)에 전자 장치(201)와 관련된 적어도 하나의 어플리케이션(예: 어플리케이션A, 어플리케이션B, 어플리케이션C, 어플리케이션D, 어플리케이션E, 및/또는 어플리케이션F)을 나타내는 적어도 하나의 오브젝트(525)를 표시할 수 있다. 예를 들어, 전자 장치(201)와 관련된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)는, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션(예: 디스플레이(231)에 표시 중인 적어도 하나의 어플리케이션, 및/또는 백그라운드에서 실행 중인 적어도 하나의 어플리케이션)을 나타내는 적어도 하나의 오브젝트, 전자 장치(201)에서 실행 횟수가 가장 높은 어플리케이션을 나타내는 오브젝트, 전자 장치(201)에서 지정된 횟수 이상 실행된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트, 및/또는 전자 장치(201)의 사용자에 의해 자주 사용하는 어플리케이션으로 설정된 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 포함할 수 있다.
일 실시예에서, 외부 전자 장치(401)의 디스플레이(미도시)에는, 어플리케이션H의 제4 화면(1605)이 표시된 상태일 수 있다. 이하 실시예에서, 외부 전자 장치(401)는 스마트 TV로 가정하여 설명하도록 한다.
일 실시예에서, 프로세서(240)는 연결 가능한 외부 전자 장치(401)(예: 스마트 TV)를 확인하기 위하여, BLE 스캔 동작을 지정된 주기(예: 약 3~5분)로 수행(1610)할 수 있다. 외부 전자 장치(401)는 사용자 계정(user account) 정보 및/또는 외부 전자 장치(401)의 ID(identification) 정보를 포함하는 신호를 브로드캐스팅(1615)할 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치(401)로부터 수신한 사용자 계정 정보 및/또는 외부 전자 장치(401)의 ID 정보와 메모리(예: 도 2의 메모리(220)) 내 저장된 동일한 사용자 계정 정보 내에 포함된 외부 전자 장치(401)의 ID 정보를 비교하여, 외부 전자 장치(401)를 연결 가능한 외부 전자 장치(401)로 확인할 수 있다.
도 16b를 참조하면, 프로세서(240)는 연결 가능한 외부 전자 장치(401)를 확인함에 기반하여, 태스크 바 영역(520)에 외부 전자 장치(401)를 나타내는 오브젝트(1616)를 표시할 수 있다.
일 실시예에서, 태스크 바 영역(520)은 전자 장치(201)와 관련된 제1 영역(520a) 및 외부 전자 장치(401)와 관련된 제2 영역(520b)을 포함할 수 있다. 예를 들어, 태스크 바 영역(520)의 제1 영역(520a)에는, 전자 장치(201)와 관련된 적어도 하나의 어플리케이션이 표시될 수 있다. 태스크 바 영역(520)의 제2 영역(520b)에는, 외부 전자 장치(401)와 관련된 오브젝트(예: 외부 전자 장치(401)를 나타내는 오브젝트, 외부 전자 장치(401)에서 실행 가능한 어플리케이션을 나타내는 오브젝트, 및/또는 외부 전자 장치(401)에서 실행 중인 어플리케이션의 기능을 제어하기 위한 아이템)를 표시할 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치(401)와 관련된 오브젝트(1616)에 대한 사용자 입력(1617)에 기반하여, 외부 전자 장치(401)와 BLE 통신 연결을 수립(예: BLE Connection establishment)할 수 있다. 예를 들어, 프로세서(240)는 전자 장치(201)와 관련된 정보(예: 전자 장치(201)의 정보, OS 호환 정보, 어플리케이션 호환 정보)를 포함하여 BLE 연결을 위한 요청 신호를 외부 전자 장치(401)에 전송(1620)할 수 있다. 전자 장치(201)로부터 수신되는 BLE 연결을 위한 요청 신호에 대한 응답으로, 외부 전자 장치(401)는 외부 전자 장치(401)와 관련된 정보(예: 외부 전자 장치(401)의 정보(예: 시각적 정보(display information) 및/또는 청각적 정보(audio information)의 출력 여부에 대한 정보), 호환 가능한 어플리케이션의 리스트)를 포함하여, 응답 신호를 전자 장치(201)에 전송(1625)할 수 있다.
일 실시예에서, 프로세서(240)는 외부 전자 장치(401)로부터 수신한 응답 신호 및 외부 전자 장치(402)와 통신 연결이 수립되는 것에 기반하여, 도 16c에 도시된 바와 같이, 태스크 바 영역(520)에 외부 전자 장치(401)에서 실행 가능한 어플리케이션을 나타내는 오브젝트(예: 어플리케이션H를 나타내는 오브젝트(530a), 어플리케이션I를 나타내는 오브젝트(530b), 및/또는 어플리케이션D를 나타내는 오브젝트(530c))를 표시할 수 있다. 일 실시예에서, 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션을 나타내는 오브젝트(예: 어플리케이션H를 나타내는 오브젝트(530a), 어플리케이션I를 나타내는 오브젝트(530b), 및/또는 어플리케이션D를 나타내는 오브젝트(530c))를, 외부 전자 장치(401)를 나타내는 오브젝트(1616)에 인접하게 표시할 수 있다.
일 실시예에서, 태스크 바 영역(520)에 표시된 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션을 나타내는 오브젝트는, 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션이 전자 장치(201)에 설치되었는지 여부를 나타내는 정보를 표시할 수도 있다. 예를 들어, 외부 전자 장치(401)에서 실행 가능한 어플리케이션H를 나타내는 오브젝트(530a), 어플리케이션I를 나타내는 오브젝트(530b), 및/또는 어플리케이션D를 나타내는 오브젝트(530c) 중 전자 장치(201)에 설치되지 않은 어플리케이션을 나타내는 오브젝트를 전자 장치(201)에 설치된 어플리케이션을 나타내는 오브젝트와 구별되게 표시할 수 있다.
예를 들어, 전자 장치(201)에 설치되지 않은 어플리케이션을 어플리케이션I로 가정하여 설명하면, 프로세서(240)는 전자 장치(201)에 설치되지 않은 어플리케이션I를 나타내는 오브젝트(530b)를 전자 장치(201)에 설치된 어플리케이션H를 나타내는 오브젝트(530a) 및 어플리케이션D를 나타내는 오브젝트(530c)와 시각적 효과를 달리 적용하여 구별되게 표시할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션I를 나타내는 오브젝트(530b)를 더미(dummy)로 표시할 수 있다. 더미로 표시된 어플리케이션I를 나타내는 오브젝트(530b)를 선택하는 입력이 검출되면, 프로세서(240)는 어플리케이션I를 설치할 수 있다.
일 실시예에서, 프로세서(240)는 어플리케이션D를 나타내는 오브젝트(530c)를 선택하는 사용자 입력(1630)을 수신(또는 검출)할 수 있다. 프로세서(240)는 사용자 입력(1630)에 기반하여, 어플리케이션D와 관련된 정보 및/또는 실행 정보(예: 어플리케이션 ID 정보, 어플리케이션 계정 정보, 및/또는 재생 정보(play information))를 서버(1501)(예: 클라우드 서버)에 전송(1635)할 수 있다. 프로세서(240)는 서버(1501)로부터 응답 신호를 수신(1647)하는 것에 기반하여, 서버(1501)가 어플리케이션D와 관련된 정보 및/또는 실행 정보(예: 어플리케이션 ID 정보, 어플리케이션 계정 정보, 및/또는 재생 정보(play information))를 수신하였음을 확인할 수 있다.
일 실시예에서, 서버(1501)는 전자 장치(201)로부터 수신한 어플리케이션D와 관련된 정보 및/또는 실행 정보(예: 어플리케이션 ID 정보, 어플리케이션 계정 정보, 및/또는 재생 정보)를 외부 전자 장치(401)에 전송(1645)할 수 있다. 서버(1501)는 외부 전자 장치(401)로부터 응답 신호를 수신(1640)하는 것에 기반하여, 외부 전자 장치(401)가 어플리케이션D와 관련된 정보 및/또는 실행 정보(예: 어플리케이션 ID 정보, 어플리케이션 계정 정보, 및/또는 재생 정보)를 수신하였음을 확인할 수 있다.
일 실시예에서, 서버(1501)로부터 어플리케이션D와 관련된 정보 및/또는 실행 정보(예: 어플리케이션 ID 정보, 어플리케이션 계정 정보, 및/또는 재생 정보)를 수신한 것에 기반하여, 외부 전자 장치(401)는 기 실행 중이었던 어플리케이션H를 종료하고, 동일한 사용자 계정(1604)에 기반하여 서버(1501)로부터 수신한 어플리케이션D와 관련된 정보 예를 들어, 어플리케이션 ID 정보 및/또는 어플리케이션 계정 정보에 기반하여 어플리케이션D를 실행할 수 있다. 외부 전자 장치(401)는 어플리케이션D와 관련된 재생 정보에 기반하여, 재생 시점을 포함하는 프로그레스 바(progress bar)(1657)를 포함하는 컨텐츠의 재생 화면(1655)을 표시할 수 있다.
일 실시예에서, 프로세서(240)는, 어플리케이션D와 관련된 정보 및/또는 실행 정보(예: 어플리케이션 ID 정보, 어플리케이션 계정 정보, 및/또는 재생 정보)를 서버(1501)(예: 클라우드 서버)에 전송(1635)하는 것에 기반하여, 어플리케이션D의 제3 화면(515)의 표시를 종료할 수 있다.
일 실시예에서, 프로세서(240)는 도 16d에 도시된 바와 같이, 어플리케이션A의 제1 화면(505) 및 어플리케이션B의 제2 화면(510)을 멀티 윈도우로 재구성하여 표시할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션A의 제1 화면(505)이 표시된 윈도우 및 어플리케이션B의 제2 화면(510)이 표시된 윈도우 중 어느 하나의 윈도우를 우선순위에 기반하여 활성화할 수 있다. 예를 들어, 우선순위는 가장 최근에 실행된 어플리케이션, 실행 횟수가 지정된 횟수를 초과한 어플리케이션에 기반하여 설정될 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(240)는 태스크 바 영역(520)에 외부 전자 장치(401)에 의해 실행 중인 어플리케이션D에 대한 적어도 하나의 기능을 제어하기 위한 컨트롤러(1660)를 표시할 수 있다. 예를 들어, 프로세서(240)는 태스크 바 영역(520)에 어플리케이션D를 나타내는 오브젝트(530c)에 인접하게 어플리케이션D에 대한 적어도 하나의 기능을 제어하기 위한 컨트롤러(1660)를 표시할 수 있다. 프로세서(240)는 컨트롤러(1660)를 선택하는 입력을 수신하면, 외부 전자 장치(401)에서 출력 중인 어플리케이션D의 컨텐츠의 재생 화면(1655)에 대한 팝업창(1670)(예: 현재 재생 시점(예: 프로그레스 바)을 포함하는 프리뷰 화면)을, 어플리케이션D를 나타내는 오브젝트(530c)에 인접하게 표시할 수 있다.
일 실시예에서, 프로세서(240)는 태스크 바 영역(520)에 외부 전자 장치(401)에 의해 실행 중인 어플리케이션D에 대한 적어도 하나의 기능을 제어하기 위한 다른 시각적 오브젝트(1665)를 더 표시할 수 있다. 예를 들어, 다른 시각적 오브젝트(1665)는, 화면 비율을 변경하기 위한 오브젝트(예: 외부 전자 장치(401)에 의해 실행 중인 어플리케이션D의 화면의 비율 변경), 플로팅 아이콘으로 표시하기 위한 오브젝트(예: 태스크 바 영역(520)에 포함된 어플리케이션D에 대한 적어도 하나의 기능을 제어하기 위한 컨트롤러를 플로팅 아이콘으로 제공), 및/또는 실행 종료 및 연결 종료하기 위한 오브젝트(예: 외부 전자 장치(401)에 의해 실행 중인 어플리케이션D를 종료 및/또는 외부 전자 장치(401)와의 통신 연결을 종료)를 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
도 17은, 본 개시의 일 실시예에 따른, 전자 장치(201), 서버(1501), 및 외부 전자 장치(401) 간 신호 흐름을 나타내는 도면이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
다양한 실시예들에 따른 도 17에 도시된 동작들은, 외부 전자 장치(401)가 어플리케이션과 관련된 정보 및 특정 어플리케이션과 관련된 정보를 서버(1501)를 통해 전자 장치(201)에 전송하는 것 외, 전술한 도 7a 및 도 7b의 동작들과 유사하므로, 이와 관련된 설명은 도 7a 및도 7b의 설명으로 대신할 수 있다.
도 17을 참조하면, 외부 전자 장치(401)는 1705동작에서, 어플리케이션의 정보를 출력 중인 상태일 수 있다.
일 실시예에서, 전자 장치(201)는 1710동작에서, 제1 사용자 입력을 검출하는 것에 기반하여, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 표시할 수 있다. 예를 들어, 전자 장치(201)는 태스크 바 영역(520)에 표시 중인 외부 전자 장치(401)에서 출력 중인 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템에서 제1 사용자 입력(예: 롱 프레스 입력)을 검출할 수 있다. 제1 사용자 입력이 검출되면, 전자 장치(201)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 팝업창으로, 제1 사용자 입력이 검출된 적어도 하나의 아이템에 근접하게 표시할 수 있다.
일 실시예에서, 전자 장치(201)는 1715동작에서, 제2 사용자 입력(예: 롱 프레스 입력)을 검출하는 것에 기반하여, 멀티 윈도우 배치 모드에 진입할 수 있다. 예를 들어, 전자 장치(201)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창에서 제2 사용자 입력을 검출할 수 있다. 전자 장치(201)는 1720동작에서, 제3 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(201)는 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창으로부터 디스플레이(231)의 특정 영역으로 이동하는 제3 사용자 입력(예: 드래그 앤 드롭 입력)을 검출할 수 있다.
일 실시예에서, 미도시 되었으나, 제3 사용자 입력을 검출하는 것에 기반하여, 외부 전자 장치(401)에 실행 중인 어플리케이션과 관련된 정보를 요청하는 신호를 전송하는 서버(1501)를 통해 외부 전자 장치(401)에 전송할 수 있다. 외부 전자 장치(401)에 실행 중인 어플리케이션과 관련된 정보를 요청하는 신호를 수신하는 것에 기반하여, 외부 전자 장치(401)는 1725동작에서, 어플리케이션과 관련된 정보를 서버(1501)에 전송할 수 있다. 예를 들어, 어플리케이션과 관련된 정보는, 어플리케이션을 식별하기 위한 식별 정보, 어플리케이션의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다.
일 실시예에서, 서버(1501)는 1730동작에서, 외부 전자 장치(401)로부터 수신한 어플리케이션과 관련된 정보를 전자 장치(201)에 전송할 수 있다. 전자 장치(201)는 1735동작에서, 서버(1501)로부터 수신한 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 전자 장치(201)는 어플리케이션의 시각적 정보(예: 화면)을 디스플레이(231)에 출력하거나, 및/또는 어플리케이션의 청각적 정보(예: 오디오 신호)를 오디오 출력 회로를 통해 출력할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 1740동작에서, 어플리케이션을 종료할 수 있다.
일 실시예에서, 전자 장치(201)는 1745동작에서, 외부 전자 장치(401)에서 실행할 수 있는 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트를 디스플레이(231)의 적어도 일부 영역(예: 태스크 바 영역(520))에 표시할 수 있다. 전자 장치(201)는 1750동작에서, 제4 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(201)는 디스플레이(231)에 표시 중인 특정 어플리케이션의 화면으로부터 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 대한 팝업창으로 이동하는 제4 사용자 입력(예: 드래그 앤 드롭 입력)을 검출할 수 있다. 제4 사용자 입력이 검출되는 것에 기반하여, 전자 장치(201)는 1755동작에서, 특정 어플리케이션과 관련된 정보를 서버(1501)에 전송할 수 있다.
일 실시예에서, 서버(1501)는 1760동작에서, 특정 어플리케이션과 관련된 정보를 외부 전자 장치(401)에 전송할 수 있다. 외부 전자 장치(401)는 1765동작에서, 전자 장치(201)로부터 수신된 특정 어플리케이션과 관련된 정보에 기반하여, 특정 어플리케이션과 관련된 정보를 출력할 수 있다. 예를 들어, 외부 전자 장치(401)가 디스플레이 및 오디오 출력 회로를 구비한 경우, 외부 전자 장치(401)는 특정 어플리케이션과 관련된 정보에 기반하여, 특정 어플리케이션과 관련된 정보, 예를 들어, 시각적 정보 및/또는 청각적 정보를 출력할 수 있다. 다른 예를 들어, 외부 전자 장치(401)가 디스플레이를 구비하지 않고, 오디오 출력 회로만을 구비한 경우, 외부 전자 장치(401)는 특정 어플리케이션과 관련된 정보에 기반하여, 특정 어플리케이션과 관련된 정보, 예를 들어, 청각적 정보를 출력할 수 있다.
도 18a, 도 18b, 및 도 18c는, 본 개시의 일 실시예에 따른, 전자 장치(201)의 외부 전자 장치(401)를 제어하는 방법을 설명하기 위한 도면이다.
도 18a를 참조하면, 전자 장치(예: 도 2의 전자 장치(201))의 프로세서(예: 도 2의 프로세서(240))는 어플리케이션A의 제1 화면(505)과 어플리케이션B의 화면(510)을 멀티 윈도우 형태로 디스플레이(예: 도 2의 디스플레이(231))에 표시할 수 있다.
일 실시예에 따른 전술한 도 16d에서 살펴본 바와 같이, 외부 전자 장치(401)는 전자 장치(201)와 통신 연결(1805)되어, 서버(1501)를 통해 수신한 어플리케이션D와 관련된 정보에 기반하여, 어플리케이션D와 관련된 정보(1655)(예: 시각적 정보 및/또는 청각적 정보)를 출력 중인 상태일 수 있다.
일 실시예에서, 프로세서(240)는 태스크 바 영역(520)에, 전자 장치(201)에서 실행 중인 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(525)와 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션을 나타내는 적어도 하나의 오브젝트(예: 어플리케이션H를 나타내는 오브젝트(530a) 및 어플리케이션I를 나타내는 오브젝트(530b)), 외부 전자 장치(401)에서 실행 중인 어플리케이션D를 나타내는 오브젝트(530c), 및/또는 어플리케이션D의 적어도 하나의 기능을 제어하기 위한 컨트롤러(1660)를 표시할 수 있다.
일 실시예에서, 프로세서(240)는, 외부 전자 장치(401)에서 실행 중인 어플리케이션D의 적어도 하나의 기능을 제어하기 위한 컨트롤러(1660)에서 제1 사용자 입력을 검출할 수 있다. 예를 들어, 제1 사용자 입력은, 롱 프레스 입력을 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 제1 사용자 입력이 검출되는 것에 기반하여, 프로세서(240)는 외부 전자 장치(401)에서 출력 중인 어플리케이션D와 관련된 정보(예: 현재 재생 시점(예: 프로그레스 바)을 포함하는 프리뷰 화면)를 팝업창(1670)으로 어플리케이션D를 나타내는 오브젝트(530c)에 인접하게 표시할 수 있다.
도 18b를 참조하면, 프로세서(240)는 제2 사용자 입력(1810)을 검출할 수 있다. 예를 들어, 제2 사용자 입력(1810)은, 외부 전자 장치(401)에서 출력 중인 어플리케이션D와 관련된 정보에 대한 팝업창(1670)을 선택한 상태에서, 디스플레이(231)의 특정 영역으로 이동 및 드롭하는 드래그 앤 드롭 입력을 포함할 수 있다.
도 18c를 참조하면, 팝업창(1670)을 선택한 상태에서, 디스플레이(231)의 특정 영역으로 이동하는 입력(1810)이 검출되는 것에 기반하여, 프로세서(240)는 외부 전자 장치(401)에서 실행 중인 어플리케이션D와 관련된 정보를 서버(1501)에 요청(1815)할 수 있다. 서버(1501)는 외부 전자 장치(401)에서 실행 중인 어플리케이션D와 관련된 정보를 외부 전자 장치(401)에 요청(1825)할 수 있다. 외부 전자 장치(401)는 실행 중인 어플리케이션D와 관련된 정보를 서버(1501)에 전송(1820)할 수 있다. 예를 들어, 어플리케이션D과 관련된 정보는, 어플리케이션D를 식별하기 위한 식별 정보, 어플리케이션D의 로그인 정보(예: 계정 정보), 및/또는 어플리케이션의 실행과 관련된 정보를 포함할 수 있다.
일 실시예에서, 서버(1501)는 외부 전자 장치(401)로부터 수신한 어플리케이션D와 관련된 정보를 전자 장치(201)에 전송(1830)할 수 있다. 프로세서(240)는 서버(1501)로부터 수신한 어플리케이션D와 관련된 정보에 기반하여, 어플리케이션D와 관련된 정보를 출력할 수 있다. 예를 들어, 프로세서(240)는 어플리케이션A의 제1 화면(505) 및 어플리케이션B의 제2 화면(510)을 디스플레이(231)에 표시하는 상태에서, 어플리케이션D의 제3 화면(515)을 더 표시하는 상태로 멀티 윈도우로 재구성하여 표시할 수 있다. 예를 들어, 프로세서(240)는 디스플레이(231)의 전체 영역을 2개의 영역으로 분할한 상태에서, 3개의 분할 영역으로 재구성할 수 있다. 프로세서(240)는 분할된 3개의 영역 각각에 어플리케이션A의 제1 화면(505), 어플리케이션B의 제2 화면(510), 및 어플리케이션D의 제3 화면(515)을 표시할 수 있다.
일 실시예에서, 외부 전자 장치(401)는 어플리케이션D와 관련된 정보의 출력을 종료할 수 있다. 또한, 프로세서(240)는 태스크 바 영역(520)에 어플리케이션D와 관련된 기능을 제어할 수 있는 적어도 하나의 아이템을 표시하는 대신, 외부 전자 장치(401)에서 실행 가능한 적어도 하나의 어플리케이션(예: 어플리케이션H, 어플리케이션I, 및/또는 어플리케이션D)을 나타내는 적어도 하나의 오브젝트(530)를 표시할 수 있다.
다양한 실시예들에 따른 도 2 내지 도 18c에서 살펴본 바와 같이, 전자 장치(201)는, 외부 전자 장치(401, 1101)에서 실행 중인 어플리케이션의 적어도 하나의 기능을 제어하기 위한 컨트롤러(예: 적어도 하나의 아이템)을 디스플레이(231)의 태스크 바 영역(520)에 표시함으로써, 외부 전자 장치(401, 1101)에서 실행 중인 어플리케이션의 적어도 하나의 기능을 직관적으로 제어할 수 있다. 이에 따라, 사용자는 전자 장치(201)를 사용하면서 외부 전자 장치(401, 1101)에서 실행 중인 어플리케이션의 적어도 하나의 기능을 제어하기 위하여, 외부 전자 장치(401, 1101)에서 직접 조작해야 하는 번거로움을 해소할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이(231)의 태스크 바 영역(task bar area)(520)에 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 통신 회로(210)를 통해, 전자 장치(201)에 근접하는 외부 전자 장치(401)를 검출하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 외부 전자 장치(401)를 검출하는 것에 기반하여, 통신을 통해 외부 전자 장치(401)와 연결하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 디스플레이(231)의 태스크 바 영역(520)에 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제2 오브젝트에 대한 입력을 수신하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제2 오브젝트에 대한 입력에 기반하여, 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 통신 회로(210)를 통해 외부 전자 장치(401)에 전송하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제2 어플리케이션의 실행 화면을 디스플레이(231)에 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 태스크 바 영역(520)에, 오브젝트들의 제1 세트의 행 및 제2 오브젝트의 표시와 함께 홈 버튼을 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 태스크 바 영역(520)은, 제2 어플리케이션의 실행 화면과 디스플레이(231)의 하단 엣지(bottom edge) 사이에 위치할 수 있다.
일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 제2 오브젝트에 인접하게 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 적어도 하나의 아이템을 제2 오브젝트에 인접하게 표시하는 동작은, 제2 오브젝트가 멀티미디어 플레이어 어플리케이션을 나타내는 경우, 멀티미디어 플레이어 어플리케이션의 기능들을 제어하기 위한 사용자 인터페이스 아이템들을 제2 오브젝트에 인접하게 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들을 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 기 정의된 조건(a predefined condition)에 기반하여, 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋(subset)을 선택하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 디스플레이(231)의 태스크 바 영역(520)에, 선택된 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋을 나타내는 제2 오브젝트들의 행을 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 복수의 어플리케이션들의 서브셋을 선택하기 위한 기 정의된 조건은, 외부 전자 장치(401)의 타입에 따른 외부 전자 장치(401)에서 출력할 정보의 타입을 포함할 수 있다.
일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 디스플레이(231)의 태스크 바 영역(520)에 표시된 적어도 하나의 아이템에서 제1 사용자 입력이 검출되는지 여부를 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제1 사용자 입력이 검출되는 경우, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 팝업 형태로 디스플레이(231)에 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에서 제2 사용자 입력이 검출되는지 여부를 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제2 사용자 입력이 검출되는 경우, 멀티 윈도우 배치 모드에 진입하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 멀티 윈도우 배치 모드에 진입한 후, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에서 제3 사용자 입력이 검출되는지 여부를 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제3 사용자 입력이 검출되는 경우, 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보의 전송을 요청하는 신호를 외부 전자 장치(401)에 전송하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 전송을 요청하는 신호에 대한 응답으로, 통신 회로(210)를 통해, 외부 전자 장치(401)로부터 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 수신하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 수신한 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 기반하여, 어플리케이션과 관련된 정보를 출력하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 멀티 윈도우 배치 모드에 진입한 후, 디스플레이(231)에 표시 중인 제2 어플리케이션의 실행 화면에서 제4 사용자 입력이 검출되는지 여부를 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제4 사용자 입력이 검출되는 경우, 제2 어플리케이션과 관련된 정보를, 통신 회로(210)를 통해 외부 전자 장치(401)에 전송하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 디스플레이(231)의 태스크 바 영역(520)에, 제2 어플리케이션을 나타내는 오브젝트와 제2 어플리케이션과 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제4 사용자 입력이 검출되는 경우, 제2 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제2 어플리케이션이 외부 전자 장치(401)에서 지원하는 어플리케이션인 것으로 확인되면, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제1 시각적 효과를 적용하여 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치(201)의 외부 전자 장치 제어 방법은, 제2 어플리케이션이 외부 전자 장치(401)에서 지원하지 않은 어플리케이션으로 확인되면, 팝업 형태로 표시된 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제2 시각적 효과를 적용하여 표시하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 명세서의 청구범위 및 상세한 설명에 따른 본 개시의 다양한 실시예들은 하드웨어, 소프트웨어의 형태, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다는 것이 인식될 것이다.
임의의 이러한 소프트웨어는 비일시적 컴퓨터 판독가능 저장매체에 저장될 수 있다. 비일시적 컴퓨터 판독가능 저장매체는 하나 이상의 컴퓨터 프로그램들(소프트웨어 모듈들)을 저장하며, 이러한 하나 이상의 컴퓨터 프로그램들은 전자 장치의 하나 이상의 프로세서들에 의해 실행될 때, 전자 장치가 본 발명의 방법을 수행하게 하는 인스트럭션들을 포함할 수 있다.
임의의 이러한 소프트웨어는, 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM(read only memory)의 저장소와 같은 휘발성 또는 비휘발성 저장소의 형태, 또는 예를 들어, RAM(random access memory), 메모리 칩(memory chips), 장치 또는 집적 회로와 같은 메모리의 형태, 또는 예를 들어, 콤팩트 디스크(CD), DVD(digital versatile disc), 자기 디스크(magnetic disk) 또는 자기 테이프(magnetic tape)와 같은 광학 또는 자기적으로 기록 가능한 매체 상에서 저장될 수 있다. 저장 장치들 및 저장 매체는 실행될 시에 본 개시의 다양한 실시예들을 구현하는 것을 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램들을 저장하는데 적합한 비일시적 머신-판독가능 저장소에 대한 다양한 실시예들이라는 것이 인식될 것이다. 따라서, 다양한 실시예들은 본 명세서의 청구범위들 중 어느 것에서 청구된 바와 같은 장치나 방법을 구현하기 위한 코드를 포함하는 프로그램 및 상기 프로그램을 저장하는 비일시적 머신-판독가능 저장소를 제공할 수 있다.
한편 본 개시의 상세한 설명에서는 다양한 실시예들에 대해 설명하였으나, 당업자는 본 개시의 범위 및 사상을 벗어나지 않고 형태 및 세부 사항의 다양한 변경들이 가능함은 물론이며, 본 개시의 범위는 설명된 실시들예에 한정되어서는 안되며 후술하는 청구범위 및 그 균등물에 의해 정의되어야 한다.

Claims (15)

  1. 전자 장치(201)에 있어서,
    통신 회로(210);
    디스플레이(231);
    하나 이상의 컴퓨터 프로그램들을 저장하는 메모리(220); 및
    상기 통신 회로(210), 상기 디스플레이(231), 및 상기 메모리(220)와 통신 가능하게 연결된 하나 이상의 프로세서(240)를 포함하고,
    컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    상기 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 상기 디스플레이(231)의 태스크 바 영역(task bar area)(520)에 표시하고,
    상기 통신 회로(210)를 통해, 전자 장치(201)에 근접하는 외부 전자 장치(401)를 검출하고,
    상기 외부 전자 장치(401)를 검출하는 것에 기반하여, 통신을 통해 상기 외부 전자 장치(401)와 연결하고,
    상기 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 확인하고,
    상기 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 상기 디스플레이(231)의 상기 태스크 바 영역(520)에 표시하고,
    상기 제2 오브젝트에 대한 입력을 수신하고, 및
    상기 입력에 기반하여, 상기 통신 회로(210)를 통해 상기 외부 전자 장치(401)에 상기 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 전송하도록 하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    제2 어플리케이션의 실행 화면을 상기 디스플레이(231)에 표시하고,
    상기 태스크 바 영역(520)에, 상기 오브젝트들의 제1 세트의 행 및 상기 제2 오브젝트의 표시와 함께 홈 버튼을 표시하고, 및
    상기 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 상기 제2 오브젝트에 인접하게 표시하도록 하고,
    상기 태스크 바 영역(520)은, 상기 제2 어플리케이션의 실행 화면과 상기 디스플레이(231)의 하단 엣지(bottom edge) 사이에 위치하는 전자 장치.
  3. 제 2 항에 있어서,
    상기 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    상기 제2 오브젝트가 멀티미디어 플레이어 어플리케이션을 나타내는 경우, 상기 멀티미디어 플레이어 어플리케이션의 기능들을 제어하기 위한 사용자 인터페이스 아이템들을 상기 제2 오브젝트에 인접하게 표시하도록 하는 전자 장치.
  4. 제 1 항에 있어서,
    상기 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    상기 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들을 확인하고,
    기 정의된 조건(a predefined condition)에 기반하여, 상기 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋(subset)을 선택하고, 및
    상기 디스플레이(231)의 태스크 바 영역(520)에, 상기 선택된 상기 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋을 나타내는 제2 오브젝트들의 행을 표시하도록 하고,
    상기 복수의 어플리케이션들의 서브셋을 선택하기 위한 상기 기 정의된 조건은, 상기 외부 전자 장치(401)의 타입에 따른 상기 외부 전자 장치(401)에서 출력할 정보의 타입을 포함하는 전자 장치.
  5. 제 2 항에 있어서,
    상기 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    상기 디스플레이(231)의 태스크 바 영역(520)에 표시된 상기 적어도 하나의 아이템에서 제1 사용자 입력이 검출되는지 여부를 확인하고,
    상기 제1 사용자 입력이 검출되는 경우, 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보를 팝업 형태로 상기 디스플레이(231)에 표시하고,
    상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보에서 제2 사용자 입력이 검출되는지 여부를 확인하고, 및
    상기 제2 사용자 입력이 검출되는 경우, 멀티 윈도우 배치 모드에 진입하도록 하는 전자 장치.
  6. 제 5 항에 있어서,
    상기 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    상기 멀티 윈도우 배치 모드에 진입한 후, 상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보에서 제3 사용자 입력이 검출되는지 여부를 확인하고,
    상기 제3 사용자 입력이 검출되는 경우, 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보의 전송을 요청하는 신호를 상기 외부 전자 장치(401)에 전송하고,
    상기 전송을 요청하는 신호에 대한 응답으로, 상기 통신 회로(210)를 통해, 상기 외부 전자 장치(401)로부터 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보를 수신하고, 및
    상기 수신한 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보에 기반하여, 상기 어플리케이션과 관련된 정보를 출력하도록 하는 전자 장치.
  7. 제 5 항에 있어서,
    상기 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    상기 멀티 윈도우 배치 모드에 진입한 후, 상기 디스플레이(231)에 표시 중인 상기 제2 어플리케이션의 실행 화면에서 제4 사용자 입력이 검출되는지 여부를 확인하고,
    상기 제4 사용자 입력이 검출되는 경우, 상기 제2 어플리케이션과 관련된 정보를, 상기 통신 회로(210)를 통해 상기 외부 전자 장치(401)에 전송하고, 및
    상기 디스플레이(231)의 태스크 바 영역(520)에, 상기 제2 어플리케이션을 나타내는 오브젝트와 상기 제2 어플리케이션과 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하고, 하는 전자 장치.
  8. 제 7 항에 있어서,
    상기 컴퓨터 실행 가능한 인스트럭션들을 포함하는 상기 하나 이상의 컴퓨터 프로그램들은, 상기 하나 이상의 프로세서(240)에 의해 실행될 때, 상기 전자 장치(201)가,
    상기 제4 사용자 입력이 검출되는 경우, 상기 제2 어플리케이션이 상기 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인하고,
    상기 제2 어플리케이션이 상기 외부 전자 장치(401)에서 지원하는 어플리케이션인 것으로 확인되면, 상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제1 시각적 효과를 적용하여 표시하고, 및
    상기 제2 어플리케이션이 상기 외부 전자 장치(401)에서 지원하지 않은 어플리케이션으로 확인되면, 상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제2 시각적 효과를 적용하여 표시하도록 하는 전자 장치.
  9. 전자 장치(201)의 외부 전자 장치(401) 제어 방법은,
    상기 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이(231)의 태스크 바 영역(task bar area)(520)에 표시하는 동작;
    통신 회로(210)를 통해, 상기 전자 장치(201)에 근접하는 외부 전자 장치(401)를 검출하는 동작;
    상기 외부 전자 장치(401)를 검출하는 것에 기반하여, 통신을 통해 상기 외부 전자 장치(401)와 연결하는 동작;
    상기 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 확인하는 동작;
    상기 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 상기 디스플레이(231)의 상기 태스크 바 영역(520)에 표시하는 동작;
    상기 제2 오브젝트에 대한 입력을 수신하는 동작; 및
    상기 입력에 기반하여, 상기 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 상기 통신 회로(210)를 통해 상기 외부 전자 장치(401)에 전송하는 동작을 포함하는 방법.
  10. 제 9 항에 있어서,
    제2 어플리케이션의 실행 화면을 상기 디스플레이(231)에 표시하는 동작; 및
    상기 태스크 바 영역(520)에, 상기 오브젝트들의 제1 세트의 행 및 상기 제2 오브젝트의 표시와 함께 홈 버튼을 표시하는 동작;
    상기 어플리케이션의 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 상기 제2 오브젝트에 인접하게 표시하는 동작을 더 포함하고,
    상기 태스크 바 영역(520)은, 상기 제2 어플리케이션의 실행 화면과 상기 디스플레이(231)의 하단 엣지(bottom edge) 사이에 위치하는 방법.
  11. 제 9 항에 있어서,
    상기 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들을 확인하는 동작;
    기 정의된 조건(a predefined condition)에 기반하여, 상기 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋(subset)을 선택하는 동작; 및
    상기 디스플레이(231)의 태스크 바 영역(520)에, 상기 선택된 상기 외부 전자 장치(401)에서 실행 가능한 복수의 어플리케이션들의 서브셋을 나타내는 제2 오브젝트들의 행을 표시하는 동작을 더 포함하고,
    상기 복수의 어플리케이션들의 서브셋을 선택하기 위한 상기 기 정의된 조건은, 상기 외부 전자 장치(401)의 타입에 따른 상기 외부 전자 장치(401)에서 출력할 정보의 타입을 포함하는 방법.
  12. 제 10 항에 있어서,
    상기 디스플레이(231)의 태스크 바 영역(520)에 표시된 상기 적어도 하나의 아이템에서 제1 사용자 입력이 검출되는지 여부를 확인하는 동작;
    상기 제1 사용자 입력이 검출되는 경우, 상기 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보를 팝업 형태로 상기 디스플레이(231)에 표시하는 동작;
    상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에서 제2 사용자 입력이 검출되는지 여부를 확인하는 동작; 및
    상기 제2 사용자 입력이 검출되는 경우, 멀티 윈도우 배치 모드에 진입하는 동작을 더 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 멀티 윈도우 배치 모드에 진입한 후, 상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보에서 제3 사용자 입력이 검출되는지 여부를 확인하는 동작;
    상기 제3 사용자 입력이 검출되는 경우, 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보의 전송을 요청하는 신호를 상기 외부 전자 장치(401)에 전송하는 동작;
    상기 전송을 요청하는 신호에 대한 응답으로, 상기 통신 회로(210)를 통해, 상기 외부 전자 장치(401)로부터 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보를 수신하는 동작; 및
    상기 수신한 상기 외부 전자 장치(401)에서 출력 중인 상기 어플리케이션과 관련된 정보에 기반하여, 상기 어플리케이션과 관련된 정보를 출력하는 동작을 더 포함하는 방법.
  14. 제 12 항에 있어서,
    상기 멀티 윈도우 배치 모드에 진입한 후, 상기 디스플레이(231)에 표시 중인 상기 제2 어플리케이션의 실행 화면에서 제4 사용자 입력이 검출되는지 여부를 확인하는 동작;
    상기 제4 사용자 입력이 검출되는 경우, 상기 제2 어플리케이션과 관련된 정보를, 상기 통신 회로(210)를 통해 상기 외부 전자 장치(401)에 전송하는 동작;
    상기 디스플레이(231)의 태스크 바 영역(520)에, 상기 제2 어플리케이션을 나타내는 오브젝트와 상기 제2 어플리케이션과 관련된 적어도 하나의 기능을 제어하기 위한 적어도 하나의 아이템을 표시하는 동작;
    상기 제2 어플리케이션이 상기 외부 전자 장치(401)에서 지원하는 어플리케이션인지 여부를 확인하는 동작;
    상기 제2 어플리케이션이 상기 외부 전자 장치(401)에서 지원하는 어플리케이션인 것으로 확인되면, 상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제1 시각적 효과를 적용하여 표시하는 동작; 및
    상기 제2 어플리케이션이 상기 외부 전자 장치(401)에서 지원하지 않은 어플리케이션으로 확인되면, 상기 팝업 형태로 표시된 상기 외부 전자 장치(401)에서 출력 중인 어플리케이션과 관련된 정보에 제2 시각적 효과를 적용하여 표시하는 동작을 더 포함하는 방법.
  15. 전자 장치(201)의 하나 이상의 프로세서(240)에 의해 실행될 때 시, 상기 프로세서(240)가 동작들을 수행하도록 하는 컴퓨터 실행 가능한 인스트럭션들(instructions)을 포함하는 컴퓨터 프로그램들을 저장하는 비 일시적인(non-transitory) 컴퓨터로 읽을 수 있는 기록 매체(computer-readable medium)에 있어서,
    상기 전자 장치(201)에 의해 실행 가능한 복수의 어플리케이션들을 나타내는 오브젝트들의 제1 세트의 행을 디스플레이(231)의 태스크 바 영역(task bar area)(520)에 표시하는 동작;
    통신 회로(210)를 통해, 상기 전자 장치(201)에 근접하는 외부 전자 장치(401)를 검출하는 동작;
    상기 외부 전자 장치(401)를 검출하는 것에 기반하여, 통신을 통해 상기 외부 전자 장치(401)와 연결하는 동작;
    상기 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 확인하는 동작;
    상기 외부 전자 장치(401)에 의해 실행 가능한 어플리케이션을 나타내는 제2 오브젝트를 상기 디스플레이(231)의 상기 태스크 바 영역(520)에 표시하는 동작;
    상기 제2 오브젝트에 대한 입력을 수신하는 동작; 및
    상기 입력에 기반하여, 상기 제2 오브젝트에 대응하는 어플리케이션과 관련된 정보를 상기 통신 회로(210)를 통해 상기 외부 전자 장치(401)에 전송하는 동작을 실행하도록 하는 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2024/007829 2023-06-07 2024-06-07 전자 장치 및 이를 이용한 외부 전자 장치 제어 방법 Ceased WO2024253472A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/784,031 US20240411417A1 (en) 2023-06-07 2024-07-25 Electronic device and method for controlling external electronic device using the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20230073107 2023-06-07
KR10-2023-0073107 2023-06-07
KR10-2023-0104065 2023-08-09
KR1020230104065A KR20240174019A (ko) 2023-06-07 2023-08-09 전자 장치 및 이를 이용한 외부 전자 장치 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/784,031 Continuation US20240411417A1 (en) 2023-06-07 2024-07-25 Electronic device and method for controlling external electronic device using the same

Publications (1)

Publication Number Publication Date
WO2024253472A1 true WO2024253472A1 (ko) 2024-12-12

Family

ID=93796286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/007829 Ceased WO2024253472A1 (ko) 2023-06-07 2024-06-07 전자 장치 및 이를 이용한 외부 전자 장치 제어 방법

Country Status (1)

Country Link
WO (1) WO2024253472A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120055007A (ko) * 2010-11-22 2012-05-31 엘지전자 주식회사 홈 네트워크에서의 정보 표시 방법 및 이를 이용하는 이동 단말기
KR20140080141A (ko) * 2012-12-20 2014-06-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20180095399A (ko) * 2017-02-17 2018-08-27 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법
KR102383103B1 (ko) * 2014-08-13 2022-04-06 삼성전자 주식회사 전자 장치 및 이의 화면 표시 방법
JP2023506936A (ja) * 2019-12-17 2023-02-20 華為技術有限公司 マルチ画面共働方法およびシステム、ならびに電子デバイス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120055007A (ko) * 2010-11-22 2012-05-31 엘지전자 주식회사 홈 네트워크에서의 정보 표시 방법 및 이를 이용하는 이동 단말기
KR20140080141A (ko) * 2012-12-20 2014-06-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR102383103B1 (ko) * 2014-08-13 2022-04-06 삼성전자 주식회사 전자 장치 및 이의 화면 표시 방법
KR20180095399A (ko) * 2017-02-17 2018-08-27 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법
JP2023506936A (ja) * 2019-12-17 2023-02-20 華為技術有限公司 マルチ画面共働方法およびシステム、ならびに電子デバイス

Similar Documents

Publication Publication Date Title
WO2019172658A1 (en) Electronic device with flexible display and method for operating same
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2021256890A1 (ko) 아이콘을 통해 정보 및/또는 기능을 제공하는 전자 장치 및 그 제어 방법
WO2021162320A1 (en) Electronic device and method for operating high speed screen of electronic device
WO2022030970A1 (ko) 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 정보를 표시하는 방법
WO2022019484A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 디스플레이 제어 방법
WO2022025451A1 (ko) 슬라이딩 가능한 전자 장치 및 이의 제어 방법
WO2022025720A1 (ko) 플렉서블한 디스플레이 모듈을 포함하는 전자 장치와 이의 동작 방법
WO2025075398A1 (ko) 오브젝트를 표시하는 전자 장치 및 이의 제어 방법
WO2022119388A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치
WO2024080666A1 (ko) 미러링 장치 및 그 운영 방법
WO2022186578A1 (ko) 외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법
WO2022158740A1 (ko) 통신을 수행하는 전자 장치 및 그 동작 방법
WO2024262795A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2024005615A1 (ko) 전자 장치 및 전자 장치의 디스플레이 제어 방법
WO2024039165A1 (ko) 외부 전자 장치의 설정 정보를 결정하는 전자 장치 및 전자 장치의 동작 방법
WO2025058354A1 (ko) 사용자 입력에 기반하여 어플리케이션의 실행 화면을 표시하는 전자 장치, 및 이의 동작 방법
WO2024158198A1 (ko) 이미지를 처리하는 전자 장치 및 이의 동작 방법
WO2023113425A1 (ko) 전자 장치 및 이의 동작 방법
WO2025258823A1 (ko) 분할 화면 내의 인디케이터를 이용하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2026029482A1 (ko) 슬라이더블 전자 장치 및 이의 동작 방법
WO2024038999A1 (ko) 플렉서블 전자 장치 및 그의 동작 방법
WO2025127483A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2025192898A1 (ko) 전자 장치 및 이를 이용한 음성 어시스턴트 기능과 관련된 사용자 인터페이스 표시 방법
WO2025146924A1 (ko) 동작 상태의 전환에 따른 배경 이미지 표시 방법 및 그 방법을 수행하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24819623

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE