WO2024090728A1 - 전자 장치 및 그 ui 제공 방법 - Google Patents

전자 장치 및 그 ui 제공 방법 Download PDF

Info

Publication number
WO2024090728A1
WO2024090728A1 PCT/KR2023/010618 KR2023010618W WO2024090728A1 WO 2024090728 A1 WO2024090728 A1 WO 2024090728A1 KR 2023010618 W KR2023010618 W KR 2023010618W WO 2024090728 A1 WO2024090728 A1 WO 2024090728A1
Authority
WO
WIPO (PCT)
Prior art keywords
feedback
focus indicator
electronic device
identified
user input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/010618
Other languages
English (en)
French (fr)
Inventor
홍준표
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202380076251.5A priority Critical patent/CN120129888A/zh
Priority to EP23882836.2A priority patent/EP4524707A4/en
Priority to US18/236,769 priority patent/US12105934B2/en
Publication of WO2024090728A1 publication Critical patent/WO2024090728A1/ko
Priority to US18/811,424 priority patent/US20240411428A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • This disclosure relates to an electronic device and a method of providing the UI, and more specifically, to an electronic device that controls a UI screen that navigates GUI items using a focus indicator and a method of providing the UI.
  • display devices such as TVs provide a variety of content to meet the needs of users who want newer and more diverse functions.
  • An electronic device includes a display, a memory storing at least one command, and one or more processors connected to the display and the memory to control the electronic device, wherein the one or more processors include the at least one By executing one command, the display is controlled to display a UI (User Interface) screen including a plurality of Graphic User Interface (GUI) items and a focus indicator located on one of the plurality of GUI items, If the user input to the UI screen is not identified for more than a threshold time, the display is controlled to provide UI feedback for the focus indicator, and as the time for which the user input is not identified continues, the UI for the focus indicator is gradually displayed. The display can be controlled to change the feedback.
  • GUI Graphic User Interface
  • the one or more processors may change the UI feedback for the focus indicator by gradually providing individual UI feedback for the focus indicator overlapping as the time during which the user input is not identified continues. can be controlled.
  • the individual UI feedback includes UI feedback corresponding to the focus indicator, UI feedback corresponding to an area adjacent to the GUI item where the focus indicator is located, a GUI item where the focus indicator is located, and a GUI where the focus indicator is located.
  • UI feedback corresponding to the remaining areas excluding the area adjacent to the item may be included.
  • the one or more processors may provide first UI feedback for the focus indicator when a user input to the UI screen is not identified for more than a first threshold time. If the user input to the UI screen is not identified for more than a second threshold time, the first UI feedback and the second UI feedback for the focus indicator may be provided in an overlapping manner. If the user input to the UI screen is not identified for more than a third threshold time, the first UI feedback, the second UI feedback, and the third UI feedback for the focus indicator may be provided in an overlapping manner. The second threshold time may exceed the first threshold time and be less than the third threshold time.
  • the first UI feedback includes UI feedback that emphasizes the focus indicator
  • the second UI feedback includes UI feedback that emphasizes an area adjacent to the GUI item where the focus indicator is located
  • the third UI feedback may include UI feedback that adjusts the luminance of the remaining area excluding the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located.
  • the first UI feedback may include UI feedback that alternately changes the transparency of the focus indicator.
  • the second UI feedback may include UI feedback that highlights an area adjacent to the GUI item where the focus indicator is located.
  • the third UI feedback may include UI feedback that reduces the luminance of the remaining area except for the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located.
  • the display includes a display panel and a backlight that provides light to the display panel, and the one or more processors local dim the backlight to display the remaining area excluding the GUI item where the focus indicator is located. Brightness can be adjusted.
  • the first UI feedback may include UI feedback that alternately changes the size of the GUI item where the focus indicator is located.
  • the second UI feedback may include UI feedback that highlights an area adjacent to the GUI item where the focus indicator is located, UI feedback that alternately changes the brightness of the GUI item where the focus indicator is located, or transparency of the GUI item where the focus indicator is located. It may include at least one of UI feedback that alternately changes.
  • the third UI feedback may include UI feedback that adjusts the luminance of the remaining area excluding the GUI item where the focus indicator is located.
  • the one or more processors may control the display to temporarily provide UI feedback for the focus indicator that changes step by step within a threshold time.
  • the one or more processors are configured to not provide UI feedback for the focus indicator when a user input context for the UI screen is identified while UI feedback for the focus indicator that changes step by step is provided.
  • the display can be controlled.
  • a method of providing a UI of an electronic device includes displaying a UI (User Interface) screen including a plurality of Graphic User Interface (GUI) items and a focus indicator located in one of the plurality of GUI items.
  • UI User Interface
  • GUI Graphic User Interface
  • the step of changing the UI feedback includes changing the UI feedback for the focus indicator by gradually providing individual UI feedback for the focus indicator overlapping as the time during which the user input is not identified continues. It may include steps.
  • the individual UI feedback includes UI feedback corresponding to the focus indicator, UI feedback corresponding to an area adjacent to the GUI item where the focus indicator is located, a GUI item where the focus indicator is located, and a GUI where the focus indicator is located.
  • UI feedback corresponding to the remaining areas excluding the area adjacent to the item may be included.
  • changing the UI feedback includes providing first UI feedback for the focus indicator when a user input for the UI screen is not identified for more than a first threshold time, and providing first UI feedback for the focus indicator to the UI screen. If the user input for the UI screen is not identified for more than a second threshold time, providing overlapping the first UI feedback and the second UI feedback for the focus indicator, and providing the user input for the UI screen for more than a third threshold time If not identified, it may include providing overlapping the first UI feedback, the second UI feedback, and the third UI feedback for the focus indicator. The second threshold time may exceed the first threshold time and be less than the third threshold time.
  • the first UI feedback may include UI feedback emphasizing the focus indicator.
  • the second UI feedback may include UI feedback that emphasizes an area adjacent to the GUI item where the focus indicator is located.
  • the third UI feedback may include UI feedback that adjusts the luminance of the remaining area excluding the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located.
  • the first UI feedback may include UI feedback that alternately changes the transparency of the focus indicator.
  • the second UI feedback may include UI feedback that highlights an area adjacent to the GUI item where the focus indicator is located.
  • the third UI feedback may include UI feedback that reduces the luminance of the remaining area except for the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located.
  • the display includes a display panel and a backlight that provides light to the display panel
  • the UI providing method includes local dimming of the backlight to display the area remaining except for the GUI item where the focus indicator is located.
  • the method may further include providing the third UI feedback by adjusting luminance.
  • the first UI feedback may include UI feedback that alternately changes the size of the GUI item where the focus indicator is located.
  • the second UI feedback may include UI feedback that highlights an area adjacent to the GUI item where the focus indicator is located, UI feedback that alternately changes the brightness of the GUI item where the focus indicator is located, or transparency of the GUI item where the focus indicator is located. It may include at least one of UI feedback that alternately changes.
  • the third UI feedback may include UI feedback that adjusts the luminance of the remaining area excluding the GUI item where the focus indicator is located.
  • the one or more processors when a user command for emphasizing the focus indicator is identified, temporarily provide UI feedback for the focus indicator that changes step by step within a threshold time, and the step of changing the step indicator. If a user input context for the UI screen is identified while UI feedback for the focus indicator is provided, the method may further include not providing UI feedback for the focus indicator.
  • the operation may include a plurality of graphic user interfaces (GUIs). Displaying a UI (User Interface) screen including an Interface) item and a focus indicator located on any one GUI item among the plurality of GUI items, if a user input to the UI screen is not identified for more than a threshold time, the focus indicator It may include providing UI feedback for and gradually changing UI feedback for the focus indicator as the time for which the user input is not identified continues.
  • GUIs graphic user interfaces
  • FIG. 1 is a diagram for explaining an implementation example of an electronic device according to one or more embodiments of the present disclosure.
  • FIG. 2A is a block diagram showing the configuration of an electronic device according to one or more embodiments.
  • FIG. 2B is a block diagram specifically illustrating the configuration of an electronic device according to one or more embodiments.
  • FIG. 3 is a diagram illustrating a method of providing a UI screen of an electronic device according to one or more embodiments.
  • Figure 4 is a diagram for explaining a method of providing a UI screen according to one or more embodiments.
  • FIG. 5 is a diagram illustrating a method of providing a UI screen of an electronic device according to one or more embodiments.
  • FIG. 6 is a diagram for explaining an example of first UI feedback according to an example.
  • FIG. 7 is a diagram illustrating an embodiment in which UI feedback is changed step by step according to an example.
  • FIG. 8 is a diagram illustrating an example in which first UI feedback and second UI feedback are provided in an overlapping manner according to an example.
  • FIG. 9 is a diagram illustrating an example in which first UI feedback, second UI feedback, and third UI feedback are provided in an overlapping manner according to an example.
  • FIG. 10 is a diagram for explaining an example of first UI feedback according to an example.
  • FIG. 11 is a diagram illustrating an example in which first UI feedback and second UI feedback are provided in an overlapping manner according to an example.
  • FIG. 12 is a diagram illustrating an example in which first UI feedback, second UI feedback, and third UI feedback are provided in an overlapping manner according to an example.
  • FIG. 13 is a diagram for explaining a third UI feedback providing method according to an example.
  • 14 and 15 are diagrams for explaining a method of providing a maximum focus emphasis effect according to one or more embodiments.
  • FIGS. 16 and 17 are diagrams for explaining a method of canceling a focus emphasis effect according to one or more embodiments.
  • Terms used in the present disclosure may be terms that take into account the functions in the present disclosure. This may vary depending on the intention or precedent of a technician working in the field, the emergence of new technology, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description part of the relevant disclosure. Therefore, the terms used in this disclosure should be defined based on the meaning of the term and the overall content of this disclosure, rather than simply the name of the term.
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of “modules” or a plurality of “units” may be integrated into at least one module and implemented with one or more processors (not shown), except for “modules” or “units” that need to be implemented with specific hardware. You can.
  • FIG. 1 is a diagram for explaining an implementation example of an electronic device according to one or more embodiments of the present disclosure.
  • the electronic device 100 may be implemented as a display device that can be remotely controlled by the remote control device 200.
  • the electronic device 100 may include a TV, a desktop PC, a laptop PC, a large format display (LFD), a digital signage, a digital information display (DID), a video wall, a projector, a refrigerator, Any device with a display function, such as an air conditioner, air purifier, medical device, etc., can be applied without limitation.
  • the remote control device 200 may be implemented as a remote control, but is not necessarily limited to this and may also be implemented as a device capable of remote control using an application, such as a smartphone.
  • the processor 120 displays various types of screens that can be controlled by the remote control device 200, such as a UI screen including a plurality of Graphic User Interface (GUI) items and a content playback screen. 110) can be controlled.
  • a UI screen including a plurality of Graphic User Interface (GUI) items and a content playback screen. 110
  • GUI Graphic User Interface
  • the electronic device 100 displays a UI screen including a plurality of GUI items having various sizes and/or various ratios and a focus item 20 located in one of the GUI items 10.
  • the GUI item 10 where the focus indicator is located may be referred to as a focused GUI item.
  • a preset navigation input for example, a press operation on a specific button provided in the remote control device 200 (e.g., long press input), a touch scroll operation, a scroll button operation, or a wheel input device
  • Navigation operations between a plurality of GUI items can be controlled based on various types of focus control methods depending on the implementation type of the electronic device 100, such as continuous key input.
  • the focus control method may include various types such as a moving focus method and a fixed focus method.
  • a user command for focus control for a certain period of time for example, when a control signal from the remote control device 200 is not received, when the focus can no longer be moved according to the direction limit of the UI element, etc.
  • FIG. 2A is a block diagram showing the configuration of an electronic device according to one or more embodiments.
  • the electronic device 100 includes a display 110, a memory 120, and one or more processors 130.
  • the electronic device 100 is implemented as an input panel such as a touch panel or touch screen, or is a laptop, laptop, mobile phone, smartphone, electronic whiteboard, digital signage, PMP, MP3 player, game console, etc. equipped with a touch panel or touch screen. It may include electronic devices such as kiosks, monitors, etc.
  • the display 110 may include a display including a self-luminous device or a display including a non-light-emitting device and a backlight.
  • a display including a self-luminous device For example, Liquid Crystal Display (LCD), Organic Light Emitting Diodes (OLED) display, Light Emitting Diodes (LED), micro LED, Mini LED, Plasma Display Panel (PDP), and Quantum dot (QD) display.
  • QLED Quantum dot light-emitting diodes
  • the display 110 may also include a driving circuit and a backlight unit that can be implemented in the form of amorphous silicon (a-si) TFT, low temperature poly silicon (LTPS) TFT, organic TFT (OTFT), etc.
  • the display 110 may be a touch screen combined with a touch sensor, a flexible display, a rollable display, a 3D display, or a display in which a plurality of display modules are physically connected. It can be implemented as follows.
  • the memory 120 may store data necessary for various embodiments.
  • the memory 120 may be embedded in the electronic device 100 or may be detachable from the electronic device 100 depending on the data storage purpose. For example, in the case of data for driving the electronic device 100, it is stored in the memory embedded in the electronic device 100, and in the case of data for the expansion function of the electronic device 100, it is detachable from the electronic device 100. It can be stored in available memory. According to one example, in the case of memory embedded in the electronic device 100, volatile memory (e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.), non-volatile memory (non-volatile memory) Memory) (e.g.
  • DRAM dynamic RAM
  • SRAM static RAM
  • SDRAM synchronous dynamic RAM
  • OTPROM programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM mask ROM
  • flash ROM flash memory
  • flash memory e.g. NAND flash or
  • a memory card e.g., a NOR flash, etc.
  • hard drive e.g., a hard drive, or a solid state drive (SSD).
  • SSD solid state drive
  • CF compact flash
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • USB port It may be implemented in a form such as possible external memory (for example, USB memory).
  • One or more processors 130 generally control the operation of the electronic device 100. Specifically, one or more processors 130 may be connected to each component of the electronic device 100 and generally control the operation of the electronic device 100. For example, one or more processors 130 may be electrically connected to the display 110 and the memory 120 to control the overall operation of the electronic device 100. At least one processor 130 may be comprised of one or a plurality of processors that perform one or more operations sequentially or in parallel.
  • One or more processors 130 may perform operations of the electronic device 100 according to various embodiments by executing at least one instruction stored in the memory 120.
  • one or more processors 130 may be electrically connected to the display 110 and the memory 120 to control the overall operation of the electronic device 100.
  • One or more processors 130 may be comprised of one or multiple processors.
  • One or more processors 130 may perform operations of the electronic device 100 according to various embodiments by executing at least one instruction stored in the memory 130.
  • One or more processors 130 include a CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), and hardware. It may include one or more of an accelerator or machine learning accelerator. One or more processors 130 may control one or any combination of other components of the electronic device and may perform operations related to communication or data processing. One or more processors 130 may execute one or more programs or instructions stored in memory. For example, one or more processors 130 may execute one or more instructions stored in the memory 130 to perform a method according to one or more embodiments of the present disclosure.
  • the plurality of operations may be performed by one processor or by a plurality of processors.
  • the first operation, the second operation, and the third operation may all be performed by the first processor.
  • the first and second operations may be performed by a first processor (e.g., a general-purpose processor) and the third operation may be performed by a second processor (e.g., an artificial intelligence-specific processor).
  • the one or more processors 130 may be implemented as a single core processor including one core, or one or more multi-cores including a plurality of cores (e.g., homogeneous multi-core or heterogeneous multi-core). It may also be implemented as a processor (multicore processor). When one or more processors 130 are implemented as multi-core processors, each of the plurality of cores included in the multi-core processor may include processor internal memory such as cache memory and on-chip memory, and may include a plurality of cores. A common cache shared by cores may be included in multi-core processors.
  • each of the plurality of cores (or some of the plurality of cores) included in the multi-core processor may independently read and perform program instructions for implementing the method according to one or more embodiments of the present disclosure, and the plurality of cores may Program instructions for implementing a method according to one or more embodiments of the present disclosure may be read and performed in conjunction with all (or part of) the present disclosure.
  • the plurality of operations may be performed by one core among a plurality of cores included in a multi-core processor, or may be performed by a plurality of cores. It may be possible.
  • the first operation, the second operation, and the third operation are performed by the method according to one or more embodiments, the first operation, the second operation, and the third operation are all included in the multi-core processor. It may be performed by one core, and the first operation and the second operation may be performed by the first core included in the multi-core processor, and the third operation may be performed by the second core included in the multi-core processor.
  • a processor may mean a system-on-chip (SoC) in which one or more processors and other electronic components are integrated, a single-core processor, a multi-core processor, or a core included in a single-core processor or a multi-core processor.
  • the core may be implemented as a CPU, GPU, APU, MIC, DSP, NPU, hardware accelerator, or machine learning accelerator, but embodiments of the present disclosure are not limited thereto.
  • processor 130 may mean at least one processor 130. For example, operations described in this specification as being performed by the processor 130 may be performed by one processor 130 or by a plurality of processors 130, depending on the embodiment.
  • FIG. 2B is a block diagram specifically illustrating the configuration of an electronic device according to one or more embodiments.
  • the electronic device 100' includes a display 110, a memory 120, one or more processors 130, a communication interface 140, a user interface 150, a speaker 160, and a sensor 170. , may include a camera 180 and a microphone 190.
  • a display 110 the electronic device 100' includes a display 110, a memory 120, one or more processors 130, a communication interface 140, a user interface 150, a speaker 160, and a sensor 170.
  • a camera 180 and a microphone 190 may be included in FIG. 2B.
  • the communication interface 140 may be implemented as various interfaces depending on the implementation example of the electronic device 100'.
  • the communication interface 140 includes Bluetooth, AP-based Wi-Fi (Wireless LAN network), Zigbee, wired/wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/ European Broadcasting Union), Optical , Communication can be performed with external devices, external storage media (e.g., USB memory), external servers (e.g., web hard drives), etc. through communication protocols or standards such as Coaxial.
  • the communication interface 140 may communicate with a remote control device (not shown) or/and a user terminal (not shown) having a remote control function.
  • the user interface 150 may include devices such as buttons, a touch pad, a mouse, and a keyboard, or may include a touch screen that can also perform the display function and manipulation input function described above.
  • the speaker 160 may be configured to output not only various audio data but also various notification sounds or voice messages.
  • the processor 130 may control the speaker to output information corresponding to the UI screen or various notifications in audio format according to various embodiments of the present disclosure.
  • the camera 170 may be turned on and perform photography according to a preset event.
  • the camera 180 can convert the captured image into an electrical signal and generate image data based on the converted signal.
  • a subject is converted into an electrical image signal through a semiconductor optical device (CCD; Charge Coupled Device), and the converted image signal can be amplified and converted into a digital signal and then processed.
  • CCD semiconductor optical device
  • the electronic device 100' may additionally include a microphone, a tuner, and a demodulator depending on the implementation.
  • a microphone (not shown) may be implemented to receive a user's voice or other sounds and convert them into audio data.
  • the electronic device 100' may receive a user's voice input through an external device through the communication interface 140.
  • the tuner can receive RF broadcast signals by tuning a channel selected by the user or all previously stored channels among RF (Radio Frequency) broadcast signals received through an antenna.
  • the demodulator may receive and demodulate the digital IF signal (DIF) converted from the tuner and perform channel decoding, etc.
  • DIF digital IF signal
  • FIG. 3 is a diagram illustrating a method of providing a UI screen of an electronic device according to one or more embodiments.
  • the processor 130 controls the display 110 to display a UI screen including a plurality of GUI items and a focus indicator located on one of the plurality of GUI items. (S310).
  • GUI item may include various types of images or/and text corresponding to various types of content, such as image content, video content, applications, and advertising content.
  • a GUI item may be a thumbnail, representative image, title, description, etc. that represents the content, but may also include an image or/and text that can identify the content.
  • GUI items may be arranged in a specific direction, such as horizontally, vertically, or diagonally, and may have a specific shape (eg, square, round square, circle, diamond, etc.).
  • the focus item may be highlighted on the border of the GUI item, but is not necessarily limited to this and may be highlighted on the entire GUI item or on some borders.
  • the processor 130 may determine whether the user input has not been received for a period of time longer than the threshold time (S320). If user input to the UI screen is not received for more than a threshold time (S320:Y), the processor 130 may control the display 110 to provide UI feedback for the focus indicator (S330).
  • the UI feedback may be UI feedback that emphasizes the focus indicator. For example, it may include UI feedback that alternately changes the transparency of the focus indicator.
  • alternating the transparency of the focus indicator includes, for example, displaying the focus indicator at a first transparency, then displaying the focus indicator at a second transparency, then displaying the focus indicator at a first transparency, etc.
  • UI feedback that alternately changes the transparency of the focus indicator
  • UI feedback that alternately changes the luminance (or brightness) of the focus indicator
  • GUI item where the focus indicator is located. It may also include at least one of UI feedback that alternately changes the size of .
  • the processor 130 may determine whether the time for which no user input is received continues (S340).
  • the processor 130 may control the display 110 to change the UI feedback for the focus indicator in stages (S350).
  • the processor 230 may change the UI feedback for the focus indicator by gradually providing individual UI feedback for the focus indicator in an overlapping manner as the time for which the user input is not identified continues.
  • individual UI feedback includes UI feedback corresponding to the focus indicator, UI feedback corresponding to the area adjacent to the GUI item where the focus indicator is located, and the remaining area excluding the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located. May include UI feedback corresponding to .
  • the processor 230 may control the display 110 to change the UI feedback by increasing the number of overlapping UI feedback as the time for which the user input is not identified continues. For example, over time, 1st UI feedback > 1st UI feedback + 2nd UI feedback (combination of 1st UI feedback and 2nd UI feedback) > 1st UI feedback + 2nd UI feedback + 3rd UI.
  • UI feedback can be changed in the order of feedback (a combination of first UI feedback, second UI feedback, and third UI feedback).
  • the display 110 may be controlled to change the UI feedback by overlapping different UI feedback as the time during which the user input is not identified continues. For example, as time passes, 1st UI feedback > 1st UI feedback + 2nd UI feedback (combination of 1st UI feedback, 2nd UI feedback) > 1st UI feedback + 3rd UI feedback (1st UI Change the UI feedback in the following order (combination of feedback and 3rd UI feedback), or 1st UI feedback > 1st UI feedback + 2nd UI feedback (combination of 1st UI feedback and 2nd UI feedback) > 2nd UI feedback + UI feedback can be changed with third UI feedback (a combination of second UI feedback and third UI feedback).
  • Figure 4 is a diagram for explaining a method of providing a UI screen according to one or more embodiments.
  • the processor 130 may determine whether a user input to the UI screen is not received for more than a first threshold time (S410). If the user input to the UI screen is not received for more than a first threshold time (S410:Y), the processor 130 may provide first UI feedback for the focus indicator (S420).
  • the first UI feedback may include UI feedback that emphasizes the focus indicator.
  • the processor 130 may determine whether user input for the UI screen is not received for more than a second threshold time (S430). If the user input to the UI screen is not received for more than a second threshold time (S430:Y), the processor 130 may provide overlapping first UI feedback and second UI feedback for the focus indicator (S440). .
  • the second critical time may be longer than the first critical time.
  • the second UI feedback may include UI feedback that emphasizes an area adjacent to the GUI item where the focus indicator is located.
  • the processor 130 may determine whether user input on the UI screen is not received for more than a third threshold time (S450). If the user input to the UI screen is not identified for more than a third threshold time (S450:Y), the processor 130 may provide overlapping first UI feedback, second UI feedback, and third UI feedback for the focus indicator. (S460).
  • the third threshold time may be longer than the second threshold time. That is, the second critical time of step S430 may exceed the first critical time of step S410 and be less than the third critical time of step S450.
  • the third UI feedback may include UI feedback that adjusts the luminance of the remaining area excluding the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located.
  • FIG. 5 is a diagram illustrating a method of providing a UI screen of an electronic device according to one or more embodiments.
  • the processor 130 may determine whether a user input to the UI screen is not received for more than a first threshold time (S510). If the user input to the UI screen is not received for more than a first threshold time (S510:Y), the processor 130 may provide UI feedback that alternately changes the transparency of the focus indicator (S520). In this case, the focus indicator may be recognized by the user as blinking and the focus indicator may be emphasized.
  • the processor 130 may determine whether user input for the UI screen is not received for more than a second threshold time (S530). If the user input to the UI screen is not received for more than a second threshold time (S530:Y), the processor 130 may overlap and provide the first UI feedback and the second UI feedback of step S520 (S540).
  • the second UI feedback may include UI feedback that highlights an area adjacent to the GUI item where the focus indicator is located.
  • the highlight may include various effects such as an illumination effect, a gradient effect, and a ray effect in which adjacent areas are emphasized.
  • the processor 130 may determine whether user input on the UI screen is not received for more than a third threshold time (S550).
  • a third threshold time S550:Y
  • the processor 130 overlaps and provides the first UI feedback in step S520, the second UI feedback in step S530, and the third UI feedback. You can do it (S560).
  • the third UI feedback may include UI feedback that reduces the luminance of the remaining area except for the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located.
  • FIG. 6 is a diagram for explaining an example of first UI feedback according to an example.
  • the first UI feedback may be UI feedback in which the transparency of the focus indicator 20 is alternately changed, as shown in FIG. 6 .
  • the transparency of the focus indicator 20 located on the GUI item 10 may be changed alternately.
  • the transparency of the focus indicator 20 may be changed alternately in the following order: third transparency, 3rd UI 630 > 1st UI 610 > 2nd UI 620 > 3rd UI 630.
  • the transparency is changed in the following order: 1st UI (610) > 2nd UI (620) > 3rd UI (630) > 2nd UI (620) > 1st UI (610).
  • transparency may increase in the order of first transparency > second transparency > third transparency.
  • UI feedback that alternately changes the transparency of the focus indicator may be provided using alpha blending.
  • alpha blending refers to mixing the background RGB value and the RGB value above it by assigning a new value called A (Alpha) to the color value RGB to create a transparent effect when overlapping another image on top of the image.
  • A Alpha
  • Alpha values are divided into values 0 ⁇ 255 or 0.0 ⁇ 1.0, where 0 is completely transparent, and vice versa, 255 (or 1.0, etc., the highest value) is completely opaque. It can mean.
  • 0 can mean completely opaque, and vice versa, 255 (or the highest value, such as 1.0) can mean completely transparent.
  • the mixing operation is focus A*Alpha + B*(1-Alpah)
  • it can be expressed as a formula such as B*(1-Alapha)+A*alpha or B*Alpah+G.
  • graphic image B may be maintained and a plurality of graphic images A in which the transparency of the area corresponding to the focus indicator may be changed may be continuously mixed and provided.
  • FIG. 7 is a diagram illustrating an embodiment in which UI feedback is changed step by step according to an example.
  • the processor 130 may provide the first UI feedback 600 if a user input to the UI screen is not identified for more than a first threshold time.
  • the first UI feedback 610 is feedback (610>620>630) provided by alternately changing the transparency of the focus indicator 20 located on the GUI item 10, as described in FIG. 6. You can.
  • the processor 130 provides the first UI feedback 600 and the second UI feedback 710 when time elapses and the user input to the UI screen is not identified for more than a second threshold time, which is longer than the first threshold time. Can be provided by overlapping.
  • the second UI feedback 710 may be an effect that highlights an external area adjacent to the focus indicator.
  • the second UI feedback may include at least one of various effects such as an illumination effect, a gradient effect, a light effect, etc., in which an external area adjacent to the focus indicator is emphasized.
  • Such an emphasis effect on adjacent areas may also be provided using blending (alpha blending), but is not necessarily limited thereto.
  • graphic image A including a focus indicator, graphic image C including an emphasis effect for an adjacent area, and the remaining graphic images (for example, images including a plurality of GUI items) may be mixed and provided.
  • third UI feedback 720 can be additionally provided.
  • the third UI feedback 720 may be UI feedback that reduces the luminance of the remaining areas excluding the GUI item where the focus indicator is located and the area adjacent to the GUI item where the focus indicator is located.
  • FIG. 8 is a diagram illustrating an example in which first UI feedback and second UI feedback are provided in an overlapping manner according to an example.
  • the processor 130 if the user input to the UI screen is not identified for more than a second threshold time that is longer (or longer) than the first threshold time, the processor 130 provides the first UI feedback 600 and the second UI feedback 710. ) can be provided by overlapping.
  • first UI feedback 600 may be provided in which the transparency of the focus indicator 20 located on the GUI item 10 is alternately changed.
  • the second UI feedback 710 may be provided overlapping with the first UI feedback 610, 620, and 630.
  • the second UI feedback 710 may include at least one of various effects such as an illumination effect, a gradient effect, a light effect, etc., in which an adjacent external area of the focus indicator 20 is emphasized.
  • the transparency of the focus indicator 20 may be changed alternately in the following order: third transparency, 3rd UI 830 > 1st UI 810 > 2nd UI 820 > 3rd UI 830.
  • FIG. 9 is a diagram illustrating an example in which first UI feedback, second UI feedback, and third UI feedback are provided in an overlapping manner according to an example.
  • the processor 130 if the user input to the UI screen is not identified for more than a third threshold time that is longer than the second threshold time, the processor 130 generates the first UI feedback 600, the second UI feedback 710, and the third UI feedback.
  • UI feedback 720 can be provided by overlapping it.
  • first UI feedback 600 may be provided in which the transparency of the focus indicator 20 located on the GUI item 10 is alternately changed.
  • the second UI feedback 710 may be provided overlapping with the first UI feedback 610, 620, and 630.
  • the second UI feedback 710 may include at least one of various effects such as an illumination effect, a gradient effect, a light effect, etc., in which an adjacent external area of the focus indicator 20 is emphasized.
  • the third UI feedback 720 may be provided in an overlapping manner along with the first UI feedback and the second UI feedback 710.
  • the third UI feedback may be feedback in which the luminance of the remaining areas excluding the GUI item 10, the focus indicator 20, and the area where the second UI feedback is provided is reduced, as shown in FIG. 9 .
  • the transparency of the focus indicator 20 may be alternately changed in the following order: third transparency, 3rd UI 930 > 1st UI 910 > 2nd UI 920 > 3rd UI 930.
  • FIG. 10 is a diagram for explaining an example of first UI feedback according to an example.
  • the first UI feedback 1000 may be UI feedback in which the size of the GUI item where the focus indicator 20 is located is alternately changed, as shown in FIG. 10 .
  • the size of the GUI item 10 may be changed alternately by repeating reduction/enlargement.
  • the size of the GUI items 10 may be changed alternately in the order of 2 UIs 1012.
  • the size of the GUI item 10 may be alternately changed to three or more sizes instead of two sizes.
  • the size of the GUI item 10 changes in the following order: first size > second size > third size > first size > second size, or first size > second size > third size > second size > The first size can be changed in that order.
  • FIG. 11 is a diagram illustrating an example in which first UI feedback and second UI feedback are provided in an overlapping manner according to an example.
  • the processor 130 if the user input to the UI screen is not identified for more than a second threshold time that is longer than the first threshold time, the processor 130 provides first UI feedback (1011, 1012) and second UI feedback (1111, 1112). ) can be provided by overlapping.
  • the first UI feedback may be UI feedback in which the size of the GUI item where the focus indicator 20 is located is alternately changed, as shown in FIG. 11 .
  • the size of the GUI item 10 may be changed alternately by repeating reduction/enlargement.
  • the second UI feedback (1111, 1112) may be provided overlapping with the first UI feedback (1011, 1012).
  • the second UI feedback 1111 and 1112 may be feedback that provides an emphasis effect to the GUI item 10.
  • the second UI feedback 1111 and 1112 may provide an illumination effect to the GUI item 10 or may be provided by alternately changing the transparency, luminance, etc. of the GUI item 10. Since the method of changing the transparency of the GUI item 10 is the same/similar to the method of changing the transparency of the focus indicator 20, detailed description will be omitted.
  • the size of the GUI items 10 may be changed alternately in the order of 2 UIs 1112.
  • FIG. 12 is a diagram illustrating an example in which first UI feedback, second UI feedback, and third UI feedback are provided in an overlapping manner according to an example.
  • the processor 130 sends the first UI feedback 1000, the second UI feedback 1111, and the third UI feedback 1211 can be provided by overlapping.
  • the third UI feedback may be feedback in which the luminance of the remaining areas excluding the area where the GUI item 10 and the focus indicator 20 are provided is reduced.
  • the size of the GUI item 10 is the first size, which is the first UI 1210 > the size of the GUI item 10.
  • the size of the GUI item 10 may be changed alternately in the order of the second size, the second UI 1220 > the first UI 1210 > the second UI 1220.
  • FIG. 13 is a diagram for explaining a third UI feedback providing method according to an example.
  • the processor 130 may provide the third UI feedback through local dimming that individually controls the brightness of the backlight for each region. In this case, power consumption can be reduced while providing third UI feedback.
  • the processor 130 divides the UI screen into a first area including the GUI item 10, an area where the focus indicator 20 is provided, and an area where the second UI feedback is provided, and a second area including the remaining area. It can be identified by area.
  • the processor 130 identifies at least one first backlight block corresponding to the first area and at least one second backlight block corresponding to the second area, and sets a current dimming value and a second backlight corresponding to the first backlight block.
  • Each of the plurality of backlight blocks can be individually controlled by obtaining the current dimming value corresponding to the block.
  • the processor 130 controls the brightness of light sources included in the backlight unit 120 using pulse width modulation (PWM) with a variable duty ratio, or changes the intensity of the current to control the backlight unit 120.
  • PWM pulse width modulation
  • the pulse width modulation signal (PWM) controls the rate of turning on and off the light sources, and its duty ratio (duty ratio %) may be determined according to the dimming value input from the processor 130.
  • third UI feedback may be provided by adjusting the pixel value of the pixel.
  • 14 and 15 are diagrams for explaining a method of providing a maximum focus emphasis effect according to one or more embodiments.
  • the processor 130 may determine whether a user command for emphasizing the focus indicator is received (S1410).
  • the processor 130 may control the display 110 to temporarily provide UI feedback for the focus indicator that changes step by step within a threshold time. For example, when the user loses focus and wants to find the focus position, the above-described graduated focus emphasis effect can be temporarily provided.
  • the focus indicator 20 is located on the GUI items 1510 and 1520 that are not easily visible to the user.
  • the button mapped to the focus search operation is pressed (for example, the play button is pressed three times), or a preset gesture is used on the remote control 200 or the smart phone 300 capable of remote control (for example, The above-described step-by-step focus emphasis effect can be temporarily provided, such as when a quick shake) is recognized.
  • the remote control 200 or the smart phone 300 capable of a remote control function may be equipped with a sensor (eg, a gyro sensor, an acceleration sensor, etc.) for recognizing a preset gesture.
  • FIGS. 16 and 17 are diagrams for explaining a method of canceling a focus emphasis effect according to one or more embodiments.
  • the processor 130 may determine whether the user input context for the UI screen is identified while UI feedback for the focus indicator that changes step by step is provided (S1610). If the user input context for the UI screen is identified while UI feedback for the focus indicator that changes step by step is provided (S1610:Y), the processor 130 configures the display 110 to not provide UI feedback for the focus indicator. You can control it. For example, if the context in which the user returns to the operation situation for the UI screen is identified, the focus highlight effect can be naturally released to provide a smooth UX experience.
  • the remote control 200 or the smart phone 300 capable of remote control function may be equipped with a sensor (eg, a gyro sensor, an acceleration sensor, etc.) for recognizing a preset gesture.
  • a sensor eg, a gyro sensor, an acceleration sensor, etc.
  • recovery delay due to loss of focus by the user can be minimized by increasing the visual intensity of the emphasis effect as the non-operation time on the UI screen increases.
  • the focus highlight effect function operates naturally according to the user's context, thereby improving user convenience.
  • the methods according to various embodiments of the present disclosure described above may be implemented in the form of applications that can be installed on existing electronic devices.
  • the methods according to various embodiments of the present disclosure described above may be performed using a deep learning-based artificial neural network (or deep artificial neural network), that is, a learning network model.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored from a storage medium and operating according to the called instructions, and may include an electronic device (eg, electronic device A) according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • the methods according to the various embodiments described above may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play StoreTM).
  • an application store e.g. Play StoreTM
  • at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component e.g., module or program
  • each component may be composed of a single or multiple entities, and some of the sub-components described above may be omitted, or other sub-components may be omitted. Additional components may be included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 디스플레이, 적어도 하나의 명령어를 저장하는 메모리 및, 디스플레이 및 메모리와 연결되어 전자 장치를 제어하는 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는, 적어도 하나의 명령어를 실행함으로써, 복수의 GUI 아이템 및 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI 화면을 표시하도록 디스플레이를 제어하고, UI 화면에 대한 사용자 입력이 임계 시간 이상 식별되지 않으면 포커스 인디케이터에 대한 UI 피드백을 제공하도록 디스플레이를 제어하고, 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 포커스 인디케이터에 대한 UI 피드백을 변경하도록 디스플레이를 제어할 수 있다.

Description

전자 장치 및 그 UI 제공 방법
본 개시는 전자 장치 및 그 UI 제공 방법에 관한 것으로, 더욱 상세하게는 포커스 인디케이터를 이용하여 GUI 아이템들을 네비게이션하는 UI 화면을 제어하는 전자 장치 및 그 UI 제공 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치가 개발되고 있다. 특히, 더 새롭고 다양한 기능을 원하는 사용자의 니즈(needs)에 부합하기 위하여 TV와 같은 디스플레이 장치는 다양한 컨텐츠를 제공하고 있다.
TV에서 제공되는 컨텐츠의 타입이 다양해지고 컨텐츠의 수가 점점 증가함에 따라 사용자가 원하는 컨텐츠를 탐색하기 위한 네비게이션 기능의 중요성이 증대되고 있다.
하나 이상의 실시 예에 따른 전자 장치는, 디스플레이, 적어도 하나의 명령어를 저장하는 메모리 및 상기 디스플레이 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령어를 실행함으로써, 복수의 GUI(Graphic User Interface) 아이템 및 상기 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI(User Interface) 화면을 표시하도록 상기 디스플레이를 제어하고, 상기 UI 화면에 대한 사용자 입력이 임계 시간 이상 식별되지 않으면 상기 포커스 인디케이터에 대한 UI 피드백을 제공하도록 상기 디스플레이를 제어하고, 상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 UI 피드백을 변경하도록 상기 디스플레이를 제어할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 개별 UI 피드백을 중첩하여 제공함으로써 상기 포커스 인디케이터에 대한 UI 피드백을 변경하도록 상기 디스플레이를 제어할 수 있다.
일 예에 따르면, 상기 개별 UI 피드백은, 상기 포커스 인디케이터에 대응되는 UI 피드백, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역에 대응되는 UI 피드백 및 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역에 대응되는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 제1 UI 피드백을 제공할 수 있다. 상기 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백 및 제2 UI 피드백을 중첩하여 제공할 수 있다. 상기 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백, 상기 제2 UI 피드백 및 제3 UI 피드백을 중첩하여 제공할 수 있다. 상기 제2 임계 시간은, 상기 제1 임계 시간을 초과하고 상기 제3 임계 시간 미만일 수 있다.
일 예에 따르면, 상기 제1 UI 피드백은, 상기 포커스 인디케이터를 강조하는 UI 피드백을 포함하고, 상기 제2 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 강조하는 UI 피드백을 포함하고, 상기 제3 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 조정하는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 제1 UI 피드백은, 상기 포커스 인디케이터의 투명도를 교번적으로 변경하는 UI 피드백을 포함할 수 있다. 상기 제2 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 하이라이트하는 UI 피드백을 포함할 수 있다. 상기 제3 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 감소시키는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 디스플레이는,디스플레이 패널 및 상기 디스플레이 패널로 광을 제공하는 백라이트를 포함하며, 상기 하나 이상의 프로세서는, 상기 백라이트의 로컬 디밍을 통해 상기 포커스 인디케이터가 위치한 GUI 아이템을 제외한 나머지 영역의 휘도를 조정할 수 있다.
일 예에 따르면, 상기 제1 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템의 크기를 교번적으로 변경하는 UI 피드백을 포함할 수 있다. 상기 제2 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 하이라이트하는 UI 피드백, 상기 포커스 인디케이터가 위치한 GUI 아이템의 휘도를 교번적으로 변경하는 UI 피드백 또는 상기 포커스 인디케이터가 위치한 GUI 아이템의 투명도를 교번적으로 변경하는 UI 피드백 중 적어도 하나를 포함할 수 있다. 상기 제3 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템을 제외한 나머지 영역의 휘도를 조정하는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 포커스 인디케이터를 강조하기 위한 사용자 명령이 식별되면, 단계적으로 변경되는 상기 포커스 인디케이터에 대한 UI 피드백을 임계 시간 내에 일시적으로 제공하도록 상기 디스플레이를 제어할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 단계적으로 변경되는 상기 포커스 인디케이터에 대한 UI 피드백이 제공되는 동안 상기 UI 화면에 대한 사용자 입력 컨텍스트가 식별되면, 상기 포커스 인디케이터에 대한 UI 피드백을 제공하지 않도록 상기 디스플레이를 제어할 수 있다.
하나 이상의 실시 예에 따른 전자 장치의 UI 제공 방법은, 복수의 GUI(Graphic User Interface) 아이템 및 상기 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI(User Interface) 화면을 표시하는 단계, 상기 UI 화면에 대한 사용자 입력이 임계 시간 이상 식별되지 않으면 상기 포커스 인디케이터에 대한 UI 피드백을 제공하는 단계 및, 상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 UI 피드백을 변경하는 단계를 포함할 수 있다.
일 예에 따르면, 상기 UI 피드백을 변경하는 단계는, 상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 개별 UI 피드백을 중첩하여 제공함으로써 상기 포커스 인디케이터에 대한 UI 피드백을 변경하는 단계를 포함할 수 있다.
일 예에 따르면, 상기 개별 UI 피드백은, 상기 포커스 인디케이터에 대응되는 UI 피드백, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역에 대응되는 UI 피드백 및 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역에 대응되는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 UI 피드백을 변경하는 단계는, 상기 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 제1 UI 피드백을 제공하는 단계, 상기 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백 및 제2 UI 피드백을 중첩하여 제공하는 단계 및, 상기 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백, 상기 제2 UI 피드백 및 제3 UI 피드백을 중첩하여 제공하는 단계를 포함할 수 있다. 상기 제2 임계 시간은, 상기 제1 임계 시간을 초과하고 상기 제3 임계 시간 미만일 수 있다.
일 예에 따르면, 상기 제1 UI 피드백은, 상기 포커스 인디케이터를 강조하는 UI 피드백을 포함할 수 있다. 상기 제2 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 강조하는 UI 피드백을 포함할 수 있다. 상기 제3 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 조정하는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 제1 UI 피드백은, 상기 포커스 인디케이터의 투명도를 교번적으로 변경하는 UI 피드백을 포함할 수 있다. 상기 제2 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 하이라이트하는 UI 피드백을 포함할 수 있다. 상기 제3 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 감소시키는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 디스플레이는, 디스플레이 패널 및 상기 디스플레이 패널로 광을 제공하는 백라이트를 포함하며, 상기 UI 제공 방법은, 상기 백라이트의 로컬 디밍을 통해 상기 포커스 인디케이터가 위치한 GUI 아이템을 제외한 나머지 영역의 휘도를 조정하여 상기 제3 UI 피드백을 제공하는 단계를 더 포함할 수 있다.
일 예에 따르면, 상기 제1 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템의 크기를 교번적으로 변경하는 UI 피드백을 포함할 수 있다. 상기 제2 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 하이라이트하는 UI 피드백, 상기 포커스 인디케이터가 위치한 GUI 아이템의 휘도를 교번적으로 변경하는 UI 피드백 또는 상기 포커스 인디케이터가 위치한 GUI 아이템의 투명도를 교번적으로 변경하는 UI 피드백 중 적어도 하나를 포함할 수 있다. 상기 제3 UI 피드백은, 상기 포커스 인디케이터가 위치한 GUI 아이템을 제외한 나머지 영역의 휘도를 조정하는 UI 피드백을 포함할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 포커스 인디케이터를 강조하기 위한 사용자 명령이 식별되면, 단계적으로 변경되는 상기 포커스 인디케이터에 대한 UI 피드백을 임계 시간 내에 일시적으로 제공하는 단계 및, 상기 단계적으로 변경되는 상기 포커스 인디케이터에 대한 UI 피드백이 제공되는 동안 상기 UI 화면에 대한 사용자 입력 컨텍스트가 식별되면, 상기 포커스 인디케이터에 대한 UI 피드백을 제공하지 않는 단계를 더 포함할 수 있다.
하나 이상의 실시 예에 따른 전자 장치의 하나 이상의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 복수의 GUI(Graphic User Interface) 아이템 및 상기 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI(User Interface) 화면을 표시하는 단계, 상기 UI 화면에 대한 사용자 입력이 임계 시간 이상 식별되지 않으면 상기 포커스 인디케이터에 대한 UI 피드백을 제공하는 단계 및, 상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 UI 피드백을 변경하는 단계를 포함할 수 있다.
본 발명의 특정 실시 예의 상기 및 다른 측면, 특징 및 이점은 첨부된 도면과 함께 취해진 다음의 설명으로부터 더욱 명백해질 것이다.
도 1은 본 개시의 하나 이상의 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
도 2a는 하나 이상의 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2b는 하나 이상의 실시 예에 따른 전자 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 3은 하나 이상의 실시 예에 따른 전자 장치의 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 4는 하나 이상의 실시 예에 따른 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 5는 하나 이상의 실시 예에 따른 전자 장치의 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 6은 일 예에 따른 제1 UI 피드백의 예시를 설명하기 위한 도면이다.
도 7은 일 예에 따라 UI 피드백이 단계적으로 변경되는 실시 예를 설명하기 위한 도면이다.
도 8은 일 예에 따른 제1 UI 피드백 및 제2 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
도 9는 일 예에 따른 제1 UI 피드백, 제2 UI 피드백 및 제3 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
도 10은 일 예에 따른 제1 UI 피드백의 예시를 설명하기 위한 도면이다.
도 11은 일 예에 따른 제1 UI 피드백 및 제2 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
도 12는 일 예에 따른 제1 UI 피드백, 제2 UI 피드백 및 제3 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
도 13은 일 예에 따른 제3 UI 피드백 제공 방법을 설명하기 위한 도면이다.
도 14 및 도 15는 하나 이상의 실시 예에 따른 최대 포커스 강조 효과 제공 방법을 설명하기 위한 도면들이다.
도 16 및 도 17은 하나 이상의 실시 예에 따른 포커스 강조 효과 해제 방법을 설명하기 위한 도면들이다.
이하에서는 첨부 도면을 참조하여 실시 예들을 상세히 설명한다.
본 명세서에서 이용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 이용되는 용어는 본 개시에서의 기능을 고려한 용어들일 수 있다., 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 이용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 이용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 또는 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 하나 이상의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시에 대해 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 하나 이상의 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
도 1에 따르면, 전자 장치(100)는 원격 제어 장치(200)에 의해 원격 제어 가능한 디스플레이 장치로 구현될 수 있다. 일 예에 따라 전자 장치(100)는 TV, 데스크탑 PC, 랩탑 PC, LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터, 냉장고, 에어컨, 공기 청정기, 의료 기기 등과 같이 디스플레이 기능을 가지는 장치라면 한정되지 않고 적용 가능하다. 여기서, 원격 제어 장치(200)는 리모컨으로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니며 스마트폰 등과 같이 어플리케이션을 이용하여 원격 제어가 가능한 장치로 구현될 수도 있다.
하나 이상의 실시 예에 따르면, 프로세서(120)는 복수의 GUI(Graphic User Interface) 아이템을 포함하는 UI 화면, 컨텐츠 재생 화면 등 원격 제어 장치(200)에 의해 제어 가능한 다양한 타입의 화면을 표시하도록 디스플레이(110)를 제어할 수 있다.
하나 이상의 실시 예에 따르면, 전자 장치(100)는 다양한 크기 및/또는 다양한 비율을 가지는 복수의 GUI 아이템 및 이들 중 어느 하나의 GUI 아이템(10)에 위치한 포커스 아이템(20)을 포함하는 UI 화면을 제공할 수 있다. 실시 예에서, 포커스 인디케이터가 위치하는 GUI 아이템(10)은 포커스된 GUI 아이템으로 지칭될 수 있다. 일 예에 따르면 기 설정된 네비게이션 입력, 예를 들어, 원격 제어 장치(200)에 구비된 특정 버튼에 대한 누름 조작(예를 들어, 롱 프레스 입력), 터치 스크롤 조작, 스크롤 버튼 조작, 휠 입력 장치에서의 연속키 입력 등 전자 장치(100)의 구현 형태에 따라 다양한 형태의 포커스 제어 방식에 기초하여 복수의 GUI 아이템 간의 네비게이션 동작을 제어할 수 있다. 여기서, 포커스 제어 방식은 이동형 포커스 방식, 고정형 포커스 방식 등 다양한 타입을 포함할 수 있다.
일 예에 따라 일정 시간 동안 포커스 제어를 위한 사용자 명령, 예를 들어, 원격 제어 장치(200)로부터의 제어 신호가 수신되지 않는 경우, UI 요소의 방향 한계에 따라 포커스를 더 이상 이동할 수 없는 경우 등 다양한 경우에 사용자가 포커스를 유실하게 된다는 문제점이 있었다.
이에 따라 이하에서는 사용자의 포커스 유실 상황에서 복수의 단계로 세분화된 포커스 강조 효과를 제공하여 사용자의 UX 경험을 향상시킬 수 있는 실시 예에 대해 설명하도록 한다.
도 2a는 하나 이상의 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2a에 따르면 전자 장치(100)은 디스플레이(110), 메모리(120) 및 하나 이상의 프로세서(130)를 포함한다.
전자 장치(100)는 터치 패널, 터치 스크린과 같은 입력 패널로 구현되거나, 터치 패널 또는 터치 스크린을 구비하는 노트북, 랩탑, 휴대폰, 스마트폰, 전자칠판, 디지털 사이니지, PMP, MP3 player, 게임기, 키오스크, 모니터 등과 같은 전자 기기를 포함할 수 있다.
디스플레이(110)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이를 포함할 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si(amorphous silicon) TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 일 예에 따르면, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다.
메모리(120)는 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드되거나, 전자 장치(100)에 탈부착이 가능할 수 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 일 예에 따르면, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함수 있다. 또한, 전자 장치(100')에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
하나 이상의 프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 하나 이상의 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 하나 이상의 프로세서(130)는 디스플레이(110) 및 메모리(120)와 전기적으로 연결되어 전자 장치(100))의 전반적인 동작을 제어할 수 있다. 적어도 하나의 프로세서(130)는 하나 또는 연속적 또는 병렬적으로 하나 이상의 동작을 수행하는 복수의 프로세서로 구성될 수 있다.
하나 이상의 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다. 예를 들어, 하나 이상의 프로세서(130)는 디스플레이(110) 및 메모리(120)와 전기적으로 연결되어 전자 장치(100))의 전반적인 동작을 제어할 수 있다. 하나 이상의 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다.
하나 이상의 프로세서(130)는 메모리(130)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
하나 이상의 프로세서(130)는 CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 하나 이상의 프로세서(130)는 전자 장치의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 하나 이상의 프로세서(130)는 메모리에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 하나 이상의 프로세서(130)는 메모리(130)에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 하나 이상의 실시 예에 따른 방법을 수행할 수 있다.
본 개시의 하나 이상의 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다. 예를 들어, 하나 이상의 실시 예에 따른 방법에 의해 제 1 동작, 제 2 동작, 제 3 동작이 수행될 때, 제 1 동작, 제 2 동작, 및 제 3 동작 모두 제 1 프로세서에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 제 1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제 3 동작은 제 2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.
하나 이상의 프로세서(130)는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 하나 이상의 프로세서(130)가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 하나 이상의 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 하나 이상의 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
본 개시의 하나 이상의 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 멀티 코어 프로세서에 포함된 복수의 코어 중 하나의 코어에 의해 수행될 수도 있고, 복수의 코어에 의해 수행될 수도 있다. 예를 들어, 하나 이상의 실시 예에 따른 방법에 의해 제1 동작, 제2 동작, 및 제3 동작이 수행될 때, 제1 동작, 제2 동작, 및 제3 동작 모두 멀티 코어 프로세서에 포함된 제1 코어에 의해 수행될 수도 있고, 제1 동작 및 제2 동작은 멀티 코어 프로세서에 포함된 제1 코어에 의해 수행되고 제3 동작은 멀티 코어 프로세서에 포함된 제2 코어에 의해 수행될 수도 있다.
본 개시의 실시 예들에서, 프로세서는 하나 이상의 프로세서 및 기타 전자 부품들이 집적된 시스템 온 칩(SoC), 단일 코어 프로세서, 멀티 코어 프로세서, 또는 단일 코어 프로세서 또는 멀티 코어 프로세서에 포함된 코어를 의미할 수 있으며, 여기서 코어는 CPU, GPU, APU, MIC, DSP, NPU, 하드웨어 가속기 또는 기계 학습 가속기 등으로 구현될 수 있으나, 본 개시의 실시 예들이 이에 한정되는 것은 아니다. 본 명세서에서 프로세서(130)는 적어도 하나의 프로세서(130)를 의미할 수 있다. 예를 들어, 프로세서(130)에 의해 수행되는 것으로 본 명세서에서 설명되는 동작들은 실시 예에 따라 하나의 프로세서(130)에 의해 수행될 수도 있고, 복수의 프로세서(130)에 의해 수행될 수도 있다.
도 2b는 하나 이상의 실시 예에 따른 전자 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 2b에 따르면, 전자 장치(100')은 디스플레이(110), 메모리(120), 하나 이상의 프로세서(130), 통신 인터페이스(140), 사용자 인터페이스(150), 스피커(160), 센서(170), 카메라(180) 및 마이크(190)를 포함할 수 있다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(140)는 전자 장치(100')의 구현 예에 따라 다양한 인터페이스로 구현될 수 있다. 예를 들어 통신 인터페이스(140)는 블루투스(Bluetooth), AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 프로토콜 또는 표준을 통해 외부 장치, 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등과 통신을 수행할 수 있다. 일 예에 따라 통신 인터페이스(140)는 원격 제어 장치(미도시) 또는/및 원격 제어 기능을 가지는 사용자 단말(미도시)과 통신을 수행할 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치를 포함하거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린을 포함할 수 있다.
스피커(160)는 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성일 수 있다. 프로세서(130)는 본 개시의 다양한 실시 예에 따른 UI 화면에 대응되는 정보 또는 각종 알림을 오디오 형태로 출력하도록 스피커를 제어할 수 있다.
카메라(170)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(180)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다.
전자 장치 (100')는 구현 예에 따라 마이크, 튜너 및 복조부를 추가적으로 포함할 수 있다. 마이크(미도시)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환도록 구현될 수 있다. 다만, 다른 실시 예에 따라 전자 장치(100')는 외부 장치를 통해 입력된 사용자 음성을 통신 인터페이스(140)를 통해 수신할 수 있다.
튜너는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다. 복조부는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 3은 하나 이상의 실시 예에 따른 전자 장치의 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 3에 도시된 실시 예에 따르면, 프로세서(130)는 복수의 GUI 아이템 및 상기 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI 화면을 표시하도록 디스플레이(110)를 제어할 수 있다(S310).
여기서, GUI 아이템은 이미지 컨텐츠, 동영상 컨텐츠, 어플리케이션, 광고 컨텐츠 등 다양한 타입의 컨텐츠에 대응되는 다양한 형태의 이미지 또는/및 텍스트를 포함할 수 있다. 예를 들어, GUI 아이템은 해당 컨텐츠를 대표하는 썸네일, 대표 이미지, 타이틀, 디스크립션 등일 수 있으나, 해당 컨텐츠를 식별할 수 있는 이미지 또는/및 텍스트를 포함할 수 있다.
일 예에 따라 GUI 아이템은 수평 방향, 수직 방향, 대각선 방향 등 특정 방향으로 배열되며 특정 형상(예를 들어, 사각형, 둥근 사각형, 원형, 마름모 등)일 수 있다. 포커스 아이템는 GUI 아이템의 테두리에 하이라이트된 형태일 수 있으나, 반드시 이에 한정되는 것은 아니며 GUI 아이템 전체에 하이라이트되거나 일부 테두리에 하이라이트될 수도 있다.
프로세서(130)는 사용자 입력이 임계 시간 이상인 시간 동안 수신되지 않았는지 판단할 수 있다(S320). UI 화면에 대한 사용자 입력이 임계 시간 이상(S320:Y) 이상 수신되지 않은 경우, 프로세서(130)는 포커스 인디케이터에 대한 UI 피드백을 제공하도록 디스플레이(110)를 제어할 수 있다(S330). 여기서, UI 피드백은 포커스 인디케이터를 강조하는 UI 피드백일 수 있다. 예를 들어, 포커스 인디케이터의 투명도를 교번적으로 변경하는 UI 피드백을 포함할 수 있다. 실시 예들에서, 포커스 인디케이터의 투명도를 교번적으로 변경하는 것은 예를 들어 포커스 인디케이터를 제1 투명도로 표시한 다음 포커스 인디케이터를 제2 투명도로 표시한 다음 포커스 인디케이터를 제1 투명도로 표시하는 등을 포함할 수 있다., 하지만, 반드시 이에 한정되는 것은 아니며, 포커스 인디케이터의 투명도를 교번적으로 변경하는 UI 피드백, 포커스 인디케이터의 휘도(또는 밝기)를 교번적으로 변경하는 UI 피드백 또는 포커스 인디케이터가 위치한 GUI 아이템의 크기를 교번적으로 변경하는 UI 피드백 중 적어도 하나를 포함할 수도 있다.
프로세서(130)는 사용자 입력이 수신되지 않은 시간이 지속되는지 판단할 수 있다(S340).
프로세서(130)는 사용자 입력이 지속적으로 수신되지 않은 것으로 판단되면(S340:Y), 단계적으로 포커스 인디케이터에 대한 UI 피드백을 변경하도록 디스플레이(110)를 제어할 수 있다(S350).
구체적으로, 프로세서(230)는 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 포커스 인디케이터에 대한 개별 UI 피드백을 중첩하여 제공함으로써 포커스 인디케이터에 대한 UI 피드백을 변경할 수 있다. 여기서, 개별 UI 피드백은, 포커스 인디케이터에 대응되는 UI 피드백, 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역에 대응되는 UI 피드백 및 포커스 인디케이터가 위치한 GUI 아이템 및 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역에 대응되는 UI 피드백을 포함할 수 있다.
일 예에 따라 프로세서(230)는 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 중첩되는 UI 피드백의 개수를 증가시켜 UI 피드백을 변경하도록 디스플레이(110)를 제어할 수 있다. 예를 들어, 시간이 경과함에 따라 제1 UI 피드백 > 제1 UI 피드백 + 제2 UI 피드백(제1 UI 피드백 및 제2 UI 피드백의 조합) > 제1 UI 피드백 + 제2 UI 피드백 + 제3 UI 피드백(제1 UI 피드백, 제2 UI 피드백, 제3 UI 피드백의 조합) 순으로 UI 피드백을 변경할 수 있다.
다른 예에 따라 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 상이한 UI 피드백을 중첩시키 UI 피드백을 변경하도록 디스플레이(110)를 제어할 수 있다. 예를 들어, 시간이 경과함에 따라 제1 UI 피드백 > 제1 UI 피드백 + 제2 UI 피드백(제1 UI 피드백, 제2 UI 피드백의 조합) > 제1 UI 피드백 + 제3 UI 피드백(제1 UI 피드백, 제3 UI 피드백의 조합) 순으로 UI 피드백을 변경하거나, 제1 UI 피드백 > 제1 UI 피드백 + 제2 UI 피드백(제1 UI 피드백, 제2 UI 피드백의 조합)> 제2 UI 피드백 + 제3 UI 피드백(제2 UI 피드백, 제3 UI 피드백의 조합) 으로 UI 피드백을 변경할 수 있다.
도 4는 하나 이상의 실시 예에 따른 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 4에 도시된 실시 예에 따르면, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 수신되지 않는지 판단할 수 있다(S410). 프로세서(130)는 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 수신되지 않는 경우(S410:Y), 포커스 인디케이터에 대한 제1 UI 피드백을 제공할 수 있다(S420). 일 예에 따라 제1 UI 피드백은 포커스 인디케이터를 강조하는 UI 피드백을 포함할 수 있다.
이어서, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 수신되지 않는지 판단할 수 있다(S430). 프로세서(130)는 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 수신되지 않는 경우(S430:Y), 포커스 인디케이터에 대한 제1 UI 피드백 및 제2 UI 피드백을 중첩하여 제공할 수 있다(S440). 여기서, 제2 임계 시간은 제1 임계 시간보다 긴 시간일 수 있다. 일 예에 따라 제2 UI 피드백은, 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 강조하는 UI 피드백을 포함할 수 있다.
이 후, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 수신되지 않는지 판단할 수 있다(S450). 프로세서(130)는 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 식별되지 않는 경우(S450:Y), 포커스 인디케이터에 대한 제1 UI 피드백, 제2 UI 피드백 및 제3 UI 피드백을 중첩하여 제공할 수 있다(S460). 여기서, 제3 임계 시간은 제2 임계 시간보다 길 수 있다. 즉, S430 단계의 제2 임계 시간은, S410 단계의 제1 임계 시간을 초과하고 S450 단계의 제3 임계 시간 미만일 수 있다. 일 예에 따라 제3 UI 피드백은, 포커스 인디케이터가 위치한 GUI 아이템 및 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 조정하는 UI 피드백을 포함할 수 있다.
도 5는 하나 이상의 실시 예에 따른 전자 장치의 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 5에 도시된 실시 예에 따르면, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 수신되지 않는지 판단할 수 있다(S510). 프로세서(130)는 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 수신되지 않는 경우(S510:Y), 포커스 인디케이터의 투명도를 교번적으로 변경하는 UI 피드백을 제공할 수 있다(S520). 이 경우, 사용자에게 포커스 인디케이터가 점멸되는 것으로 인식되어 포커스 인디케이터가 강조될 수 있다.
이어서, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 수신되지 않는지 판단할 수 있다(S530). 프로세서(130)는 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 수신되지 않는 경우(S530:Y), S520 단계의 제1 UI 피드백 및 제2 UI 피드백을 중첩하여 제공할 수 있다(S540). 여기서, 제2 UI 피드백은, 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 하이라이트하는 UI 피드백을 포함할 수 있다. 여기서, 하이라이트는 인접한 영역이 강조되는 일루미네이션 효과, 그라데이션 효과, 광선 효과 등 다양한 효과를 포함할 수 있다.
이 후, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 수신되지 않는지 판단할 수 있다(S550). 프로세서(130)는 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 수신되지 않는 경우(S550:Y), S520 단계의 제1 UI 피드백, S530의 제2 UI 피드백 및 제3 UI 피드백을 중첩하여 제공할 수 있다(S560). 여기서, 제3 UI 피드백은, 포커스 인디케이터가 위치한 GUI 아이템 및 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 감소시키는 UI 피드백을 포함할 수 있다.
도 6은 일 예에 따른 제1 UI 피드백의 예시를 설명하기 위한 도면이다.
일 예에 따르면, 제1 UI 피드백은 도 6에 도시된 바와 같이 포커스 인디케이터(20)의 투명도가 교번적으로 변경되는 UI 피드백일 수 있다.
예를 들어, 도 6에 도시된 바와 같이 GUI 아이템(10) 상에 위치한 포커스 인디케이터(20)의 투명도가 교번적으로 변경될 수 있다. 예를 들어, 포커스 인디케이터(20)의 투명도가 제1 투명도인 제1 UI(610) > 포커스 인디케이터(20)의 투명도가 제2 투명도인 제2 UI(620) > 포커스 인디케이터(20)의 투명도가 제3 투명도인 제3 UI(630) > 제1 UI(610) > 제2 UI(620) > 제3 UI(630) 순서로 포커스 인디케이터(20)의 투명도가 교번적으로 변경될 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 UI(610) > 제2 UI(620) > 제3 UI(630) > 제2 UI(620) >제1 UI(610).. 순으로 투명도가 변경되는 것도 가능하다. 예를 들어, 도 6에 도시된 바와 같이 제1 투명도 > 제2 투명도 > 제3 투명도 순으로 투명도가 증가할 수 있다.
일 예에 따라 포커스 인디케이터의 투명도를 교번적으로 변경하는 UI 피드백은 파 블렌딩(alpha blending)을 이용하여 제공될 수 있다. 여기서, 알파 블렌딩이란 이미지 위에 또 다른 이미지를 오버랩할 때 마치 투명하게 비치는 효과를 내기 위해 색상 값 RGB에 A(Alpha)라는 새로운 값을 할당하여 백그라운드 RGB 값과 그 위의 RGB 값을 혼합하여 표시하는 방법을 의미한다. 예를 들어, Alpha 값은 0~255 값 또는 0.0~1.0 값으로 구분되며, 0은 완전 투명(completely transparent), 그 반대인 255(또는 1.0 등 제일 높은 값)은 완전 불투명(fully opaque)한 것을 의미할 수 있다. 또는 0은 완전 불투명, 그 반대인 255(또는 1.0 등 제일 높은 값)은 완전 투명한 것을 의미할 수 있다. 예를 들어, Alpha 값에 8비트가 할당되어 0~255 까지 값을 표현할 수 있다고 할 때 해당 값이 클수록 해당 픽셀의 비율이 높아지고 낮을수록 비율이 낮아질 수 있다. 일 예에 따라 포커스 인디케이터를 포함하는 그래픽 이미지 A 및 나머지 그래픽 이미지(예를 들어 복수의 GUI 아이템을 포함하는 이미지) B를 믹싱하는 경우, 믹싱 동작은 포커스 A*Alpha + B*(1-Alpah) 혹은 B*(1-Alapha)+A*alpha 혹은 B*Alpah+G 등의 수식으로 표현될 수 있다. 예를 들어, 그래픽 이미지 B는 유지되고 포커스 인디케이터에 대응되는 영역의 투명도가 변경되는 복수의 그래픽 이미지 A가 연속적으로 믹싱되어 제공될 수 있다.
도 7은 일 예에 따라 UI 피드백이 단계적으로 변경되는 실시 예를 설명하기 위한 도면이다.
도 7에 도시된 예시에 따르면, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 식별되지 않으면, 제1 UI 피드백(600)을 제공할 수 있다. 예를 들어, 제1 UI 피드백(610)은 도 6에서 설명한 바와 같이 GUI 아이템(10) 상에 위치한 포커스 인디케이터(20)의 투명도를 교번적으로 변경하여 제공하는 피드백(610>620>630)일 수 있다.
이이서, 프로세서(130)는 시간이 경과되어 UI 화면에 대한 사용자 입력이 제1 임계 시간 보다 긴 제2 임계 시간 이상 식별되지 않으면, 제1 UI 피드백(600) 및 제2 UI 피드백(710)를 중첩하여 제공할 수 있다. 여기서, 제2 UI 피드백(710)는 포커스 인디케이터에 인접한 외부 영역을 하이라이트하는 효과일 일 수 있다. 예를 들어, 제2 UI 피드백는 포커스 인디케이터에 인접한 외부 영역이 강조되는 일루미네이션 효과, 그라데이션 효과, 광선 효과 등과 같이 다양한 효과 중 적어도 하나를 포함할 수 있다. 이러한 인접 영역에 대한 강조 효과 또한, 블렌딩(alpha blending)을 이용하여 제공될 수 있으나 반드시 이에 한정되는 것은 아니다. 일 예에 따라 포커스 인디케이터를 포함하는 그래픽 이미지 A, 인접 영역에 대한 강조 효과를 포함하는 그래픽 이미지 C 및 나머지 그래픽 이미지(예를 들어 복수의 GUI 아이템을 포함하는 이미지)가 믹싱되어 제공될 수 있다.
이 후, 프로세서(130)는 시간이 경과되어 UI 화면에 대한 사용자 입력이 제2 임계 시간 보다 긴 제3 임계 시간 이상 식별되지 않으면, 제1 UI 피드백(600) 및 제2 UI 피드백를 중첩(710)하여 제공하면서 제3 UI 피드백(720)을 추가로 제공할 수 있다. 여기서, 제3 UI 피드백(720)은, 포커스 인디케이터가 위치한 GUI 아이템 및 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 감소시키는 UI 피드백일 수 있다.
도 8은 일 예에 따른 제1 UI 피드백 및 제2 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
일 예에 따르면, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제1 임계 시간 보다 긴(또는 이상인) 제2 임계 시간 이상 식별되지 않으면, 제1 UI 피드백(600) 및 제2 UI 피드백(710)을 중첩하여 제공할 수 있다.
일 예에 따르면, 도 8에 도시된 바와 같이 GUI 아이템(10) 상에 위치한 포커스 인디케이터(20)의 투명도가 교번적으로 변경되는 제1 UI 피드백(600) 이 제공될 수 있다.. 또한, 도 8에 도시된 바와 같이 제1 UI 피드백(610, 620, 630)과 함께 제2 UI 피드백(710)이 중첩적으로 제공될 수 있다. 예를 들어, 제2 UI 피드백(710)는 포커스 인디케이터(20)의 인접한 외부 영역이 강조되는 일루미네이션 효과, 그라데이션 효과, 광선 효과 등과 같이 다양한 효과 중 적어도 하나를 포함할 수 있다.
예를 들어, 포커스 인디케이터(20)의 투명도가 제1 투명도인 제1 UI(810) > 포커스 인디케이터(20)의 투명도가 제2 투명도인 제2 UI(820) > 포커스 인디케이터(20)의 투명도가 제3 투명도인 제3 UI(830) > 제1 UI(810) > 제2 UI(820) > 제3 UI(830) 순서로 포커스 인디케이터(20)의 투명도가 교번적으로 변경될 수 있다.
도 9는 일 예에 따른 제1 UI 피드백, 제2 UI 피드백 및 제3 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
일 예에 따르면, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제2 임계 시간 보다 긴 제3 임계 시간 이상 식별되지 않으면, 제1 UI 피드백(600), 제2 UI 피드백(710) 및 제3 UI 피드백(720)을 중첩하여 제공할 수 있다.
일 예에 따르면, 도 9에 도시된 바와 같이 GUI 아이템(10) 상에 위치한 포커스 인디케이터(20)의 투명도가 교번적으로 변경되는 제1 UI 피드백(600) 이 제공될 수 있다.
또한, 도 9에 도시된 바와 같이 제1 UI 피드백(610, 620, 630)과 함께 제2 UI 피드백(710)이 중첩적으로 제공될 수 있다. 예를 들어, 제2 UI 피드백(710)는 포커스 인디케이터(20)의 인접한 외부 영역이 강조되는 일루미네이션 효과, 그라데이션 효과, 광선 효과 등과 같이 다양한 효과 중 적어도 하나를 포함할 수 있다. 또한, 도 9에 도시된 바와 같이 제1 UI 피드백, 제2 UI 피드백(710)과 함께 제3 UI 피드백(720)이 중첩적으로 제공될 수 있다. 예를 들어, 제3 UI 피드백은 도 9에 도시된 바와 같이 GUI 아이템(10), 포커스 인디케이터(20) 및 제2 UI 피드백이 제공되는 영역을 제외한 나머지 영역의 휘도가 감소되는 피드백일 수 있다.
예를 들어, 포커스 인디케이터(20)의 투명도가 제1 투명도인 제1 UI(910) > 포커스 인디케이터(20)의 투명도가 제2 투명도인 제2 UI(920) > 포커스 인디케이터(20)의 투명도가 제3 투명도인 제3 UI(930) > 제1 UI(910) > 제2 UI(920) > 제3 UI(930) 순서로 포커스 인디케이터(20)의 투명도가 교번적으로 변경될 수 있다.
도 10은 일 예에 따른 제1 UI 피드백의 예시를 설명하기 위한 도면이다.
일 예에 따르면, 제1 UI 피드백(1000)에 따라, 도 10에 도시된 바와 같이 포커스 인디케이터(20)가 위치된 GUI 아이템의 크기가 교번적으로 변경되는 UI 피드백일 수 있다.
예를 들어, 도 10에 도시된 바와 같이 GUI 아이템(10)의 크기가 축소/확대를 반복하며 교번적으로 변경될 수 있다. 예를 들어, GUI 아이템(10)의 크기가 제1 크기인 제1 UI(1011) > GUI 아이템(10)의 크기가 제2 크기인 제2 UI(1012) > 제1 UI(1011) > 제2 UI(1012) 순서로 GUI 아이템(10)의 크기가 교번적으로 변경될 수 있다. GUI 아이템(10)의 크기는 2 가지 크기가 아닌 3 가지 이상의 크기로 교번적으로 변경될 수도 있다. GUI 아이템(10)의 크기는 제1 크기 > 제2 크기 > 제3 크기 > 제1 크기 > 제2 크기.. 순으로 변경되거나, 제1 크기 > 제2 크기 > 제3 크기 > 제2 크기 > 제1 크기.. 순으로 변경될 수 있다.
도 11은 일 예에 따른 제1 UI 피드백 및 제2 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
일 예에 따르면, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제1 임계 시간 보다 긴 제2 임계 시간 이상 식별되지 않으면, 제1 UI 피드백(1011, 1012) 및 제2 UI 피드백(1111, 1112)을 중첩하여 제공할 수 있다. 일 예에 따르면, 제1 UI 피드백은 도 11에 도시된 바와 같이 포커스 인디케이터(20)가 위치된 GUI 아이템의 크기가 교번적으로 변경되는 UI 피드백일 수 있다.
예를 들어, 도 11에 도시된 바와 같이 GUI 아이템(10)의 크기가 축소/확대를 반복하며 교번적으로 변경될 수 있다. 또한, 도 11에 도시된 바와 같이 제1 UI 피드백(1011, 1012)과 함께 제2 UI 피드백(1111, 1112)이 중첩적으로 제공될 수 있다. 예를 들어, 제2 UI 피드백(1111, 1112)은 GUI 아이템(10)에 강조 효과를 제공하는 피드백일 수 있다. 예를 들어, 제2 UI 피드백(1111, 1112)은 GUI 아이템(10)에 일루미네이션 효과를 제공하거나, GUI 아이템(10)의 투명도, 휘도 등을 교변적으로 변경하여 제공할 수 있다. GUI 아이템(10)의 투명도를 변경하는 방법은 포커스 인디케이터(20)의 투명도를 변경하는 방법과 동일/유사하므로 자세한 설명을 생략하도록 한다.
예를 들어, GUI 아이템(10)의 크기가 제1 크기인 제1 UI(1111) > GUI 아이템(10)의 크기가 제2 크기인 제2 UI(1112) > 제1 UI(1111) > 제2 UI(1112) 순서로 GUI 아이템(10)의 크기가 교번적으로 변경될 수 있다.
도 12는 일 예에 따른 제1 UI 피드백, 제2 UI 피드백 및 제3 UI 피드백이 중첩 제공되는 예시를 설명하기 위한 도면이다.
일 예에 따르면, 프로세서(130)는 UI 화면에 대한 사용자 입력이 제2 임계 시간 보다 긴 제3 임계 시간 이상 식별되지 않으면, 제1 UI 피드백(1000) 및 제2 UI 피드백(1111) 및 제3 UI 피드백(1211)을 중첩하여 제공할 수 있다.
제3 UI 피드백은 도 9에서 설명한 바와 같이 GUI 아이템(10), 포커스 인디케이터(20)이 제공되는 영역을 제외한 나머지 영역의 휘도가 감소되는 피드백일 수 있다.
예를 들어, 제2 UI 피드백(1111) 및 제3 UI 피드백(1211)이 제공되는 동안, GUI 아이템(10)의 크기는 제1 크기인 제1 UI(1210)>GUI 아이템(10)의 크기가 제2 크기인 제2 UI(1220) > 제1 UI(1210) > 제2 UI(1220) 순서로 GUI 아이템(10)의 크기가 교번적으로 변경될 수 있다.
도 13은 일 예에 따른 제3 UI 피드백 제공 방법을 설명하기 위한 도면이다.
일 예에 따라 디스플레이(110)가 OLED 또는 LCD 등과 같이 백라이트를 구비하는 경우 프로세서(130)는 영역 별로 백라이트 밝기를 개별 제어하는 로컬 디밍을 통해 제3 UI 피드백을 제공할 수 있다. 이 경우 제3 UI 피드백을 제공하는 동안 전력 소모를 감소시킬 수 있게 된다.
예를 들어, 프로세서(130)는 UI 화면을 GUI 아이템(10), 포커스 인디케이터(20)이 제공되는 영역 및 제2 UI 피드백이 제공되는 영역을 포함하는 제1 영역 및 나머지 영역을 포함하는 제2 영역으로 식별할 수 있다. 프로세서(130)는 제1 영역에 대응되는 적어도 하나의 제1 백라이트 블럭 및 제2 영역에 대응되는 적어도 하나의 제2 백라이트 블럭을 식별하고, 제1 백라이트 블럭에 대응되는 전류 디밍 값 및 제2 백라이트 블럭에 대응되는 전류 디밍 값을 획득하여 복수의 백라이트 블럭 각각을 개별적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 듀티비가 가변되는 펄스폭 변조(Pulse Width Modulation, PWM)로 백라이트 유닛(120)에 포함된 광원들의 밝기를 제어하거나, 전류의 세기를 가변하여 백라이트 유닛(120)의 광원들의 밝기를 제어할 수 있다. 여기서, 펄스폭 변조 신호(PWM)는 광원들의 점등 및 소등의 비율을 제어하며, 그 듀티비(duty ratio %)는 프로세서(130)로부터 입력되는 디밍값에 따라 결정될 수 있다.
다만, 백라이트를 구비하지 않는 디스플레이의 경우 픽셀의 픽셀 값을 조정하는 방식으로 제3 UI 피드백을 제공할 수도 있다.
도 14 및 도 15는 하나 이상의 실시 예에 따른 최대 포커스 강조 효과 제공 방법을 설명하기 위한 도면들이다.
도 14에 도시된 실시 예에 따르면, 프로세서(130)는 포커스 인디케이터를 강조하기 위한 사용자 명령이 수신되는지 판단할 수 있EK(S1410). 프로세서(130)는 포커스 인디케이터를 강조하기 위한 사용자 명령이 수신되면(S1410:Y), 단계적으로 변경되는 포커스 인디케이터에 대한 UI 피드백을 임계 시간 내에 일시적으로 제공하도록 디스플레이(110)를 제어할 수 있다. 예를 들어, 사용자가 포커스를 유실하여 포커스 위치를 찾고 싶을 때 상술한 단계적 포커스 강조 효과를 일시적으로 제공할 수 있다.
예를 들어, 도 15에 도시된 바와 같이 포커스 인디케이터(20)가 사용자의 눈에 잘 띄지 않는 GUI 아이템(1510, 1520) 상에 위치한 경우가 있을 수 있다. 예를 들어, 포커스 인디케이터(20)의 색상 및 GUI 아이템(1510, 1520)의 색상이 유사한 경우 사용자는 포커스 위치를 잘 식별하지 못할 수 있다. 이 경우, 포커스 찾기에 맵핑된 버튼을 누름 조작(예를 들어, 재생 버튼 3번 누름 조작)하거나, 리모콘(200) 또는 원격 제어 기능이 가능한 스마트 폰(300)에서 기 설정된 제스처(예를 들어, 빠르게 흔들기)가 인식되는 경우 등에 상술한 단계적 포커스 강조 효과를 일시적으로 제공할 수 있다. 이 경우, 리모콘(200) 또는 원격 제어 기능이 가능한 스마트 폰(300) 등에는 기 설정된 제스처를 인식하기 위한 센서(예를 들어, 자이로 센서, 가속도 센서 등) 등이 구비될 수 있다.
도 16 및 도 17은 하나 이상의 실시 예에 따른 포커스 강조 효과 해제 방법을 설명하기 위한 도면들이다.
도 16에 도시된 실시 예에 따르면, 프로세서(130)는 단계적으로 변경되는 포커스 인디케이터에 대한 UI 피드백이 제공되는 동안 UI 화면에 대한 사용자 입력 컨텍스트가 식별되는지 판단할 수 있다(S1610). 프로세서(130)는 단계적으로 변경되는 포커스 인디케이터에 대한 UI 피드백이 제공되는 동안 UI 화면에 대한 사용자 입력 컨텍스트가 식별되면(S1610:Y), 포커스 인디케이터에 대한 UI 피드백을 제공하지 않도록 디스플레이(110)를 제어할 수 있다. 예를 들어, 사용자가 UI 화면에 대한 조작 상황으로 복귀하는 컨텍스트가 식별되면, 포커스 강조 효과를 자연스럽게 해제하여 매끄러운 UX 경험을 제공할 수 있다.
예를 들어, 도 17에 도시된 바와 같이 단계적으로 변경되는 포커스 인디케이터에 대한 UI 피드백이 제공(1710)되는 동안 리모콘(200)에 대한 임의의 버튼(단, 전원 버튼 제외) 누름 조작이 식별되거나, 리모콘(200) 또는 원격 제어 기능이 가능한 스마트 폰(300)에서 기 설정된 제스처(예를 들어, 들어올리기)가 인식되는 경우, 카메라(170)에서 사용자의 얼굴 및 시선이 인식되는 경우(예를 들어, 시선 추적 기능이 트리거 된 경우 등) 등에 포커스 강조 효과를 해제할 수 있다. 이 경우, 리모콘(200) 또는 원격 제어 기능이 가능한 스마트 폰(300) 등에는 기 설정된 제스처를 인식하기 위한 센서(예를 들어, 자이로 센서, 가속도 센서 등) 등이 구비될 수 있다.
상술한 다양한 실시 예들에 따르면, UI 화면에서 미조작 시간이 길어짐에 따른 강조 효과의 시각적 강도를 늘려 사용자의 포커스 유실에 따른 회복 지연을 최소화할 수 있게 된다. 또한, 포커스를 찾기 위해 강조 효과에 수동으로 접근하거나 조작 복귀 시 자연스럽게 퇴장하는 등의 진입점을 제공하여 포커스 강조 효과 기능이 사용자의 컨텍스트에 알맞게 자연스럽게 작용하게 되므로 사용자의 편의성이 향상된다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들은 딥 러닝 기반의 인공 신경망(또는 심층 인공 신경망) 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 하나 이상의 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 디스플레이 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서;를 포함하며,
    상기 하나 이상의 프로세서는,
    상기 적어도 하나의 명령어를 실행함으로써,
    복수의 GUI(Graphic User Interface) 아이템 및 상기 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI(User Interface) 화면을 표시하도록 상기 디스플레이를 제어하고,
    상기 UI 화면에 대한 사용자 입력이 임계 시간 이상 식별되지 않으면 상기 포커스 인디케이터에 대한 UI 피드백을 제공하도록 상기 디스플레이를 제어하고,
    상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 UI 피드백을 변경하도록 상기 디스플레이를 제어하는, 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 개별 UI 피드백을 중첩하여 제공함으로써 상기 포커스 인디케이터에 대한 UI 피드백을 변경하도록 상기 디스플레이를 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 개별 UI 피드백은,
    상기 포커스 인디케이터에 대응되는 UI 피드백, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역에 대응되는 UI 피드백 및 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역에 대응되는 UI 피드백을 포함하는, 전자 장치.
  4. 제2항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 제1 UI 피드백을 제공하고,
    상기 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백 및 제2 UI 피드백을 중첩하여 제공하고,
    상기 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백, 상기 제2 UI 피드백 및 제3 UI 피드백을 중첩하여 제공하며,
    상기 제2 임계 시간은,
    상기 제1 임계 시간을 초과하고 상기 제3 임계 시간 미만인, 전자 장치.
  5. 제4항에 있어서,
    상기 제1 UI 피드백은,
    상기 포커스 인디케이터를 강조하는 UI 피드백을 포함하고,
    상기 제2 UI 피드백은,
    상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 강조하는 UI 피드백을 포함하고,
    상기 제3 UI 피드백은,
    상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 조정하는 UI 피드백을 포함하는, 전자 장치.
  6. 제5항에 있어서,
    상기 제1 UI 피드백은,
    상기 포커스 인디케이터의 투명도를 교번적으로 변경하는 UI 피드백을 포함하고,
    상기 제3 UI 피드백은,
    상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역의 휘도를 감소시키는 UI 피드백을 포함하는, 전자 장치.
  7. 제5항에 있어서,
    상기 디스플레이는,
    디스플레이 패널 및 상기 디스플레이 패널로 광을 제공하는 백라이트를 포함하며,
    상기 하나 이상의 프로세서는,
    상기 백라이트의 로컬 디밍을 통해 상기 포커스 인디케이터가 위치한 GUI 아이템을 제외한 나머지 영역의 휘도를 조정하는, 전자 장치.
  8. 제4항에 있어서,
    상기 제1 UI 피드백은,
    상기 포커스 인디케이터가 위치한 GUI 아이템의 크기를 교번적으로 변경하는 UI 피드백을 포함하고,
    상기 제2 UI 피드백은,
    상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 하이라이트하는 UI 피드백, 상기 포커스 인디케이터가 위치한 GUI 아이템의 휘도를 교번적으로 변경하는 UI 피드백 또는 상기 포커스 인디케이터가 위치한 GUI 아이템의 투명도를 교번적으로 변경하는 UI 피드백 중 적어도 하나를 포함하고,
    상기 제3 UI 피드백은,
    상기 포커스 인디케이터가 위치한 GUI 아이템을 제외한 나머지 영역의 휘도를 조정하는 UI 피드백을 포함하는, 전자 장치.
  9. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 포커스 인디케이터를 강조하기 위한 사용자 명령이 식별되면, 단계적으로 변경되는 상기 포커스 인디케이터에 대한 UI 피드백을 임계 시간 내에 일시적으로 제공하도록 상기 디스플레이를 제어하는, 전자 장치.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 단계적으로 변경되는 상기 포커스 인디케이터에 대한 UI 피드백이 제공되는 동안 상기 UI 화면에 대한 사용자 입력 컨텍스트가 식별되면, 상기 포커스 인디케이터에 대한 UI 피드백을 제공하지 않도록 상기 디스플레이를 제어하는, 전자 장치.
  11. 전자 장치의 UI 제공 방법에 있어서,
    복수의 GUI(Graphic User Interface) 아이템 및 상기 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI(User Interface) 화면을 표시하는 단계;
    상기 UI 화면에 대한 사용자 입력이 임계 시간 이상 식별되지 않으면 상기 포커스 인디케이터에 대한 UI 피드백을 제공하는 단계; 및
    상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 UI 피드백을 변경하는 단계;를 포함하는 UI 제공 방법.
  12. 제11항에 있어서,
    상기 UI 피드백을 변경하는 단계는,
    상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 개별 UI 피드백을 중첩하여 제공함으로써 상기 포커스 인디케이터에 대한 UI 피드백을 변경하는 단계;를 포함하는, UI 제공 방법.
  13. 제2항에 있어서,
    상기 개별 UI 피드백은,
    상기 포커스 인디케이터에 대응되는 UI 피드백, 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역에 대응되는 UI 피드백 및 상기 포커스 인디케이터가 위치한 GUI 아이템 및 상기 포커스 인디케이터가 위치한 GUI 아이템에 인접한 영역을 제외한 나머지 영역에 대응되는 UI 피드백을 포함하는, UI 제공 방법.
  14. 제12항에 있어서,
    상기 UI 피드백을 변경하는 단계는,
    상기 UI 화면에 대한 사용자 입력이 제1 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 제1 UI 피드백을 제공하는 단계;
    상기 UI 화면에 대한 사용자 입력이 제2 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백 및 제2 UI 피드백을 중첩하여 제공하는 단계; 및
    상기 UI 화면에 대한 사용자 입력이 제3 임계 시간 이상 식별되지 않는 경우, 상기 포커스 인디케이터에 대한 상기 제1 UI 피드백, 상기 제2 UI 피드백 및 제3 UI 피드백을 중첩하여 제공하는 단계;를 포함하며,
    상기 제2 임계 시간은,
    상기 제1 임계 시간을 초과하고 상기 제3 임계 시간 미만인, UI 제공 방법.
  15. 전자 장치의 하나 이상의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서,
    상기 동작은,
    복수의 GUI(Graphic User Interface) 아이템 및 상기 복수의 GUI 아이템 중 어느 하나의 GUI 아이템에 위치한 포커스 인디케이터를 포함하는 UI(User Interface) 화면을 표시하는 단계;
    상기 UI 화면에 대한 사용자 입력이 임계 시간 이상 식별되지 않으면 상기 포커스 인디케이터에 대한 UI 피드백을 제공하는 단계; 및
    상기 사용자 입력이 식별되지 않는 시간이 지속됨에 따라 단계적으로 상기 포커스 인디케이터에 대한 UI 피드백을 변경하는 단계;를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
PCT/KR2023/010618 2022-10-28 2023-07-21 전자 장치 및 그 ui 제공 방법 Ceased WO2024090728A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380076251.5A CN120129888A (zh) 2022-10-28 2023-07-21 电子装置及其ui提供方法
EP23882836.2A EP4524707A4 (en) 2022-10-28 2023-07-21 ELECTRONIC DEVICE AND METHOD FOR PROVIDING UI THEREOF
US18/236,769 US12105934B2 (en) 2022-10-28 2023-08-22 Electronic apparatus and UI providing method thereof
US18/811,424 US20240411428A1 (en) 2022-10-28 2024-08-21 Electronic apparatus and ui providing method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0141297 2022-10-28
KR1020220141297A KR20240060067A (ko) 2022-10-28 2022-10-28 전자 장치 및 그 ui 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/236,769 Continuation US12105934B2 (en) 2022-10-28 2023-08-22 Electronic apparatus and UI providing method thereof

Publications (1)

Publication Number Publication Date
WO2024090728A1 true WO2024090728A1 (ko) 2024-05-02

Family

ID=90831302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010618 Ceased WO2024090728A1 (ko) 2022-10-28 2023-07-21 전자 장치 및 그 ui 제공 방법

Country Status (5)

Country Link
US (2) US12105934B2 (ko)
EP (1) EP4524707A4 (ko)
KR (1) KR20240060067A (ko)
CN (1) CN120129888A (ko)
WO (1) WO2024090728A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1075834S1 (en) * 2023-02-08 2025-05-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD1075835S1 (en) * 2023-02-08 2025-05-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089881A (ja) * 1998-09-10 2000-03-31 Toshiba Corp オブジェクト強調表示方法及びその装置並びに記憶媒体
JP2006340356A (ja) * 2005-05-31 2006-12-14 Scientific-Atlanta Inc 対話型プログラムガイド内において選択されたセルのグラフィック表示
JP2007066081A (ja) * 2005-08-31 2007-03-15 Casio Comput Co Ltd 電子会議装置及び電子会議装置制御プログラム
KR20100086573A (ko) * 2009-01-23 2010-08-02 나종화 대상 물체의 움직임에 따라 입력신호를 제어하는 이동통신 단말기 및 이동통신 단말기의 입력신호를 제어하는 방법
KR102354328B1 (ko) * 2015-09-22 2022-01-21 삼성전자주식회사 영상 표시 장치 및 그 동작 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155675B2 (en) 2001-08-29 2006-12-26 Digeo, Inc. System and method for focused navigation within a user interface
JP2008090454A (ja) 2006-09-29 2008-04-17 Victor Co Of Japan Ltd Ｇｕｉ生成装置
NL2004780C2 (nl) 2010-05-28 2012-01-23 Activevideo Networks B V Visueel element werkwijze en systeem.
US9807462B2 (en) * 2011-04-07 2017-10-31 Roku, Inc. Apparatus and method for aggregating media content
US9552376B2 (en) * 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
US20130055119A1 (en) * 2011-08-23 2013-02-28 Anh Luong Device, Method, and Graphical User Interface for Variable Speed Navigation
KR20130069041A (ko) * 2011-12-16 2013-06-26 삼성전자주식회사 디스플레이 장치 및 방법
US9747019B2 (en) * 2012-02-24 2017-08-29 Lg Electronics Inc. Mobile terminal and control method thereof
US9652125B2 (en) * 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US10671253B2 (en) * 2015-08-26 2020-06-02 Caavo Inc Systems and methods for guided user interface navigation
US11079995B1 (en) * 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
CN108600796B (zh) 2018-03-09 2019-11-26 百度在线网络技术（北京）有限公司 智能电视的控制模式切换方法、设备及计算机可读介质
KR102417257B1 (ko) 2020-04-03 2022-07-06 주식회사 포시에스 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법
US11669194B2 (en) * 2021-04-19 2023-06-06 Apple Inc. Navigating user interfaces with multiple navigation modes
US12449907B2 (en) * 2021-05-19 2025-10-21 Apple Inc. Navigating user interfaces using a cursor
US11743548B1 (en) * 2022-07-01 2023-08-29 Google Llc Network-connected television devices with knowledge-based media content recommendations and unified user interfaces that present upcoming media content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089881A (ja) * 1998-09-10 2000-03-31 Toshiba Corp オブジェクト強調表示方法及びその装置並びに記憶媒体
JP2006340356A (ja) * 2005-05-31 2006-12-14 Scientific-Atlanta Inc 対話型プログラムガイド内において選択されたセルのグラフィック表示
JP2007066081A (ja) * 2005-08-31 2007-03-15 Casio Comput Co Ltd 電子会議装置及び電子会議装置制御プログラム
KR20100086573A (ko) * 2009-01-23 2010-08-02 나종화 대상 물체의 움직임에 따라 입력신호를 제어하는 이동통신 단말기 및 이동통신 단말기의 입력신호를 제어하는 방법
KR102354328B1 (ko) * 2015-09-22 2022-01-21 삼성전자주식회사 영상 표시 장치 및 그 동작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4524707A4 *

Also Published As

Publication number Publication date
EP4524707A4 (en) 2025-08-27
US20240411428A1 (en) 2024-12-12
EP4524707A1 (en) 2025-03-19
KR20240060067A (ko) 2024-05-08
CN120129888A (zh) 2025-06-10
US20240143130A1 (en) 2024-05-02
US12105934B2 (en) 2024-10-01

Similar Documents

Publication Publication Date Title
WO2015105345A1 (en) Method and apparatus for screen sharing
WO2018155824A1 (en) Display apparatus and control method thereof
WO2018084480A1 (en) Display device and displaying method
WO2015167158A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
WO2020197012A1 (en) Display apparatus and control method thereof
WO2024090728A1 (ko) 전자 장치 및 그 ui 제공 방법
WO2018034479A1 (en) Display apparatus and recording medium
WO2014027773A1 (ko) 반응형 사용자 인터페이스 제공 장치, 방법, 및 그에 대한 전자장치에서 판독 가능한 기록매체
WO2020241975A1 (en) Electronic device and method for controlling the same
WO2015102458A1 (en) Image data output control method and electronic device supporting the same
WO2016099186A1 (en) Display apparatus and controlling method
WO2016072678A1 (en) User terminal device and method for controlling user terminal device thereof
WO2019132268A1 (ko) 전자 장치 및 이의 디스플레이 방법
WO2021118267A1 (ko) 전자 장치 및 그 제어 방법
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
WO2024258035A1 (ko) 전자 장치 및 그 화질 설정 방법
WO2022092599A1 (ko) 전자 장치, 시스템 및 그 제어 방법
WO2023121265A1 (ko) 디스플레이 장치, 모듈러 디스플레이 장치 및 그 제어 방법
WO2023033496A1 (ko) 전자장치 및 그 제어방법
WO2020105993A1 (en) Display apparatus, server, electronic apparatus and control methods thereof
WO2015105215A1 (ko) 터치입력을 이용한 미디어 편집 방법 및 장치
WO2024071641A1 (ko) 전자 장치 및 그 ui 제공 방법
WO2025110510A1 (ko) 전자 장치 및 그 제어 방법
WO2024106688A1 (ko) 전자 장치 및 그 캡쳐 이미지 획득 방법
WO2024043439A1 (ko) 전자 장치 및 그 ui 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882836

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023882836

Country of ref document: EP

Ref document number: 23882836.2

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023882836

Country of ref document: EP

Effective date: 20241210

WWE Wipo information: entry into national phase

Ref document number: 202380076251.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380076251.5

Country of ref document: CN