WO2020209520A1 - 명령 메뉴 출력 방법 - Google Patents

명령 메뉴 출력 방법 Download PDF

Info

Publication number
WO2020209520A1
WO2020209520A1 PCT/KR2020/003877 KR2020003877W WO2020209520A1 WO 2020209520 A1 WO2020209520 A1 WO 2020209520A1 KR 2020003877 W KR2020003877 W KR 2020003877W WO 2020209520 A1 WO2020209520 A1 WO 2020209520A1
Authority
WO
WIPO (PCT)
Prior art keywords
item
touch
menu
graphic object
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/003877
Other languages
English (en)
French (fr)
Inventor
김효준
서지혜
김혜인
김예인
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to EP20787642.6A priority Critical patent/EP3955100A4/en
Priority to CN202080027268.8A priority patent/CN113678097B/zh
Priority to US17/602,978 priority patent/US11513662B2/en
Priority to JP2021560642A priority patent/JP2022528771A/ja
Publication of WO2020209520A1 publication Critical patent/WO2020209520A1/ko
Anticipated expiration legal-status Critical
Priority to US17/971,083 priority patent/US20230043168A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Definitions

  • a process of finding and executing a desired command involves a plurality of touch inputs and a touch input cancellation. Therefore, the process of outputting and executing the command menu is complicated, and many processes have to be passed to process the command.
  • a process of executing a command after a user wakes up an electronic device in a power saving mode using fingerprint or facial recognition requires an additional operation of applying a touch input.
  • the command menu output method in response to a user's touch input being detected, outputting a higher graphic object indicating an upper layer menu of the command menu to a touch point where the touch input is detected, the While the user's touch input is maintained, in response to a touch movement input to which the touch point is moved, detecting a point to which the touch point is moved, corresponding to the moved point among candidate higher items of the upper layer menu Selecting a target upper item, outputting a lower graphic object indicating a lower layer menu corresponding to the selected target higher item while extending from the upper graphic object, drop input at which the touch point is released from the lower layer menu Detecting, and in response to detecting the drop input at a point corresponding to a target sub-item of one of the candidate sub-items of the sub-level menu, executing an operation corresponding to the target sub-item.
  • the step of executing the operation corresponding to the target sub-item includes outputting a graphic object requesting approval of the user in response to whether to execute the operation before executing the operation corresponding to the target sub-item. It may include steps.
  • the step of detecting a drop input includes selecting a target sub-item corresponding to a moved point among candidate sub-items of the lower-level menu, and semi-transparently visualizing information on the target sub-item, and It may further include the step of overlaying and outputting the graphic object related to the layer menu on the information on the lower item.
  • the step of rotating the graphic object based on the movement trajectory may be further included.
  • the step of detecting an external touch of a graphic object at at least one point in an area outside the graphic object related to the hierarchical menu, detecting a movement trajectory of the external touch input, and based on the external touch input may further include moving at least a part of the graphic object in the identified direction.
  • a graphic object indicating some of the candidate lower items of the lower layer menu is output to the display, and the touch input and In response to a distinguished user input, at least some of the remaining items other than the some items may be exposed, and output of at least some of the some items may be excluded.
  • the item arrangement combination of the lower graphic object may be output around one item of the upper layer menu based on the execution history of the user.
  • the upper graphic object in response to detecting the user's touch input, outputting a higher graphic object indicating a higher layer menu among the layered command menus at a reference point where the touch input is detected, Detecting a touch point moved from the reference point in response to a touch movement input to which the touch input is moved while the user's touch input is maintained, wherein the touch point is a target among candidate higher items of the upper layer menu
  • the touch point is a target among candidate higher items of the upper layer menu
  • the upper graphic object may be replaced with a lower graphic object indicating a lower layer menu corresponding to the target higher item and output.
  • the command menu output method includes outputting a manipulation indicator to a portion of the display indicating a touch point where the touch input is detected. , Outputting an upper graphic object indicating an upper layer menu among the layered command menus on the display based on the manipulation indicator, while the user's touch input is maintained, the touch movement input to which the touch point is moved Correspondingly, detecting a point at which the operation indicator has moved, selecting a target upper item corresponding to the point at which the operation indicator has moved from among candidate higher items of the upper layer menu, and a lower level corresponding to the target higher item Outputting a lower graphic object indicating a hierarchical menu while expanding from the upper graphic object, detecting a drop input in which the touch point is released from a point corresponding to one target lower item among candidate lower items of the lower layer menu And in response to detecting the drop input, executing an operation corresponding to the target sub-item.
  • FIG. 1 is a flowchart of a method of outputting a large screen command menu according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating a high-level graphic object for explaining a method of outputting a command menu on a large screen according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating a lower graphic object for explaining a method of outputting a command menu on a large screen according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a graphic object indicating only some items of a command menu on a large screen according to an exemplary embodiment.
  • FIG. 5 illustrates rotating a graphic object according to an exemplary embodiment.
  • FIG. 6 illustrates moving a graphic object according to an embodiment.
  • FIG. 7 is a flowchart of a method for outputting a small screen command menu according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating a high-level graphic object for explaining a method of outputting a command menu on a small screen according to an exemplary embodiment.
  • FIG. 9 is a diagram illustrating a lower graphic object for explaining a method of outputting a command menu on a small screen according to an embodiment.
  • FIG. 10 illustrates a graphic object indicating only some items of a command menu on a small screen according to an exemplary embodiment.
  • FIG. 11 is a diagram illustrating a method of outputting a command menu when the touch sensing unit and the display are separated according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating a method of outputting a command menu in virtual reality according to an embodiment.
  • FIG. 13 is a block diagram showing the general configuration of an apparatus for outputting a command menu according to an embodiment.
  • first or second may be used to describe various components, these terms should be interpreted only for the purpose of distinguishing one component from other components.
  • a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
  • the processor In response to detecting a user's touch input, the processor according to an embodiment wakes up a device in a power-saving mode state and a power-off state, or calls a command menu for executing a command in a device that is already turned on.
  • the user's touch input may be that the device senses the contact of a user's body part, but is not limited thereto, and may include a case where the input device senses the contact of the user's body part through the input device.
  • the input device may be a mouse or a sensor mounted on a display, and in response when the mouse or sensor detects a user's touch input, an electrical signal may be transmitted to the processor.
  • FIG. 1 is a flowchart of a method of outputting a large screen command menu according to an exemplary embodiment.
  • step 100 in response to detecting a user's touch input, the processor may output a higher graphic object indicating a higher layer menu among the layered command menus at the touch point where the touch input is detected.
  • the layered menu may be a set of menus consisting of at least two layers.
  • the upper layer menu and the lower layer menu may be relatively determined according to the layer level.
  • the hierarchical menu may be a first hierarchical menu, a second hierarchical menu, and a third hierarchical menu in order from the top level to the bottom level menu. Since the first layer menu is a higher layer than the second layer menu, the first layer menu may be a higher layer menu and the second layer menu may be a lower layer between the first layer menu and the second layer menu. In contrast, since the second layer menu is a higher layer than the third layer menu, the second layer menu may be an upper layer menu and the third layer menu may be a lower layer menu between the second layer menu and the third layer menu. .
  • the processor may detect the point at which the touch point is moved in response to the touch movement input at which the touch point is moved.
  • the touch movement input may represent an input at which a point at which the touch input is sensed is moved.
  • the touch movement input may be an input in which a touch point is dragged while the touch input is maintained.
  • the processor may select a target higher item corresponding to the moved touch point among candidate higher items of the higher layer menu.
  • the hierarchical menu may include a plurality of candidate items, and the target item may be an item selected from among the candidate items by a touch movement input. For example, in response to a touch point entering an item graphic object indicating a certain item among candidate items, the processor may select the item as a target item. The processor may determine that the touch point has entered the item graphic object in response to a case where a predetermined ratio or more of the touched regions is detected by the item graphic object.
  • the upper layer menu may include at least one higher item, and a lower layer menu may be mapped to each of the at least one higher item. Further, the lower layer menu may include at least one lower item, and a next lower layer menu may be mapped to each of the at least one lower item. For reference, in FIGS. 2, 3, 5, and 6 below, it is shown that the number of items included in each upper layer menu and each lower layer menu is 8, but is not limited thereto and may vary according to design. .
  • the processor may output a lower graphic object indicating a lower layer menu corresponding to the selected higher item while expanding from the upper graphic object indicating the higher layer menu.
  • the processor may output a lower graphic object in a form surrounding an outer boundary of the upper graphic object in an outward direction from the upper graphic object.
  • the present invention is not limited thereto, and the processor may output a lower graphic object in a form that covers a part of the outer boundary of the upper graphic object.
  • the processor may extend the lower graphic object in a direction corresponding to the direction of the touch movement input.
  • the touch movement input can be consistently directed in one direction.
  • the processor may detect a drop input at which the touch point is released from the lower layer menu.
  • the drop input is an input in which a touch point is released, and may represent an input for terminating the touch input at an arbitrary point.
  • the processor may execute an operation corresponding to the target sub-item in response to detecting a drop input at a point corresponding to one of the candidate sub-items of the lower-level menu.
  • the target sub-item may be an item selected from among sub-candidate items by a touch movement input.
  • the operation corresponding to the sub-item is an operation previously stored by the memory, and various operations, such as application execution, preview display, and device function execution, may be assigned to each sub-item.
  • the memory in which the operation is pre-stored may be included in a device including a processor, but is not limited thereto, and may be included in an external cloud device, and the processor may receive an operation by communicating with the external cloud device. For example, if "Execute Application A" is allocated to the selected target sub-item, the processor may execute Application A by loading an operation process related to "Execute Application A" from the memory.
  • the command menu output method may include executing a command operation by outputting a graphic object indicating a three or more level menu. I can.
  • the command menu output device may provide a command menu according to authority while authenticating a user.
  • the processor may obtain the user's biometric information in response to the user's touch input.
  • the user's biometric information may be data related to the user's fingerprint.
  • Data related to the user's fingerprint may include a pattern of a fingerprint and an interval between curves of the fingerprint.
  • data related to a user's fingerprint may include a rate of change with respect to time of an interval between curves of the fingerprint. If the rate of change of the interval between the fingerprint curves over time does not change, the processor may determine that the user's finger is not moving. On the other hand, when the rate of change of the interval between the fingerprint curves is greater than or equal to the threshold value, the processor may determine that the touch input is unstable and skip the matching operation between the user's biometric information and the registered user information, which will be described later.
  • the processor may match the user's biometric information and the registered user information.
  • the processor may match registered user information matching biometric information from the registration database.
  • the registration database may be stored in a memory interlocked with the processor, and the registration database may include user information about a plurality of users (eg, information about a registered fingerprint of each user).
  • the processor may calculate a matching similarity between the plurality of registered user information and user biometric information.
  • the processor may determine that the user biometric information matches the registered user information in response to a case in which the matching similarity calculated for any registered user information exceeds the threshold similarity.
  • the processor may determine that matching is successful if there is information matching the user biometric information among a plurality of registered user information.
  • the processor may allow the user to access at least one of an application, a device, and a menu.
  • access rights for at least one of an application, a device, and a menu may be individually set differently for each user.
  • the registered user information may include information on access rights permitted to the registered user, and, for example, may store information on applications, devices, and menus that the registered user can access.
  • the processor may identify applications, devices, and menus allowed to the matched user while loading the matched registered user information from the memory. For example, when the first user is a minor, the processor may load stored information about an application, a device, and a menu that the first user can access. Since the first user is a minor, applications, devices, and menus that the first user can access may be limited.
  • the processor may output at least one of an upper graphic object and a lower graphic object based on the allowed access right.
  • the processor may output a graphic object for a hierarchical menu (eg, a higher-level menu or a lower-level menu) composed of items indicating an operation permitted to access an arbitrary user.
  • the processor may output a hierarchical menu of the guest mode.
  • FIG. 2 is a diagram illustrating a high-level graphic object for explaining a method of outputting a command menu on a large screen according to an exemplary embodiment.
  • a method of outputting a command menu may be implemented in the device 200 including a large screen display.
  • the apparatus 200 including a large screen display a portion capable of outputting graphic objects related to command menus may be relatively wide.
  • the device 200 including a large screen display may be implemented in various types of products, such as a TV, a personal computer, a laptop computer, an intelligent car, and a kiosk.
  • embodiments may output a graphic object indicating a layer menu in response to a user's touch input sensed on the display of the TV. After the graphic object is called, in response to a touch movement input, a graphic object indicating lower layer menus may be output toward a blank space of a large screen display.
  • the device 200 including a large screen display is not limited to the above-described embodiment, and may include a device including a display that is difficult to grip with one hand.
  • the processor of the device 200 including a large screen display is a higher graphic object indicating a higher layer menu among the layered command menus based on the touch point 220 at which the touch input is detected. (210) can be output.
  • the touch point 220 from which the touch input is detected may be output on the display.
  • FIG. 2 illustrates the touch point 220 for convenience of description, and the touch point 220 may not be output on the display.
  • the processor may detect a point where the touch point is moved in response to the touch movement input 230 from the detected touch point 220.
  • a point at which the touch point is moved in response to the touch movement input 230 may be located in one item among upper graphic objects.
  • the processor may determine that the corresponding item is selected. Accordingly, the processor may select the target higher item 211 corresponding to the moved point from among the candidate higher items of the higher layer menu. For example, the processor may select the target upper item 211 according to whether the touch area occupies more than a threshold ratio of the graphic object corresponding to the target higher item 211. For example, in response to a case in which the touch area detected on the display occupies 50% or more of the graphic object indicated by the target high item 211, the processor may select the target high item 211.
  • FIG. 3 is a diagram illustrating a lower graphic object for explaining a method of outputting a command menu on a large screen according to an exemplary embodiment.
  • the processor of the apparatus 300 may output a lower graphic object 320 indicating a lower layer menu corresponding to the selected higher item while expanding from the upper graphic object 310.
  • the upper graphic object 310 has a shape of an empty circle, and may be, for example, a donut shape.
  • the shape of the lower graphic object 320 may be a circular shape that contacts the outer circumference of the upper graphic object 310 and accommodates the upper graphic object 310.
  • the shapes of the upper graphic object 310 and the lower graphic object are not limited thereto, and for another example, the shape of the lower graphic object may be a fan shape, and the processor may use the upper graphic object ( It is also possible to output a fan-shaped lower graphic object in the direction extending from 310).
  • the processor may detect the point where the touch point is moved in response to the detection of the touch movement input 330.
  • the processor may select the target sub-item 321.
  • the processor in response to the target sub-item 321 being selected, the processor semitransparently visualizes the information on the target sub-item 321, and displays the information on the target sub-item 321 in a hierarchical menu.
  • the information on the target sub-item 321 may be preview information (eg, preview image) of an operation related to the target sub-item 321.
  • the information on the target sub-item 321 is not limited thereto, and may include various information that a user can refer to to execute an operation related to the target sub-item 321. For example, when the target sub-item 321 is "missed call", the information on the target sub-item 321 may be a missed call list.
  • the processor when a lower layer menu of the target lower item 321 further exists, the processor indicates a lower layer item of the target lower item 321 in a direction extending from the lower graphic object 320 Can be printed.
  • the processor may detect a drop input at which the touch point is released from a point corresponding to one of the target sub-items 321 among the candidate sub-items 322 of the lower layer menu. In response to detecting the drop input, the processor may execute an operation corresponding to the target sub-item 321.
  • the target sub-item ( 321) can be popped up.
  • the pop-up operation may be, for example, an operation for visualizing while expanding a graphic representation corresponding to the lower layer menu to the entire screen starting from the target sub item 321.
  • the processor may output a graphic object requesting the user's approval of whether to execute the operation.
  • the graphic object requesting user approval may include a graphic object (eg, a message window) asking the user whether to perform an operation.
  • a graphic object for allowing the user to select whether to execute the operation may be output.
  • the processor may determine whether to execute the corresponding operation.
  • the processor may execute the corresponding operation in response to receiving an approval operation (eg, activation of an approval button) for execution of the corresponding operation from the user.
  • a rejection operation eg, activation of a rejection button
  • the processor may exclude execution of the corresponding operation.
  • the processor when a touch input is detected at a point corresponding to the target sub-item within a predetermined time after the user's drop input is detected at a point corresponding to the target sub-item, the processor operates corresponding to the target sub-item. Can run. In response to a drop input being detected from the target sub-item, the processor does not immediately execute the action corresponding to the target sub-item, but waits and executes the action only when a touch input to the target sub-item is detected. It is possible to prevent a malfunction in which the operation is executed differently from the intention of.
  • the processor may determine the item arrangement combination of the lower graphic object 320 based on the execution history of the user, and output the determined item arrangement combination around one item of the upper layer menu.
  • the execution history may be an operation execution frequency, an item selection frequency, and the like, and is not limited thereto, and may be a recent execution order.
  • the processor may output the output around the target upper item in the order of the lower candidate items having the highest priority. For example, the processor may arrange'A1', which is the most selected or executed lower candidate item, with respect to the upper item'A', adjacent to the upper item'A'.
  • FIG. 4 is a diagram illustrating a graphic object indicating only some items of a command menu on a large screen according to an exemplary embodiment.
  • the processor may output a graphic object 410 indicating some items 430 of candidate lower items of the lower layer menu to the display 400. Thereafter, the processor may expose at least some of the remaining items excluding some items 430 in response to the user input 420 distinguished from the touch input, and exclude output of at least some of the some items 430. have.
  • the processor may output only some items 430 of the candidate sub-items to the graphic object 410.
  • the graphic object 410 may be a graphic object in which candidate sub-items are listed and arranged.
  • the user input 420 may be a scroll input, and the scroll input may be a touch movement input in which a touch point is moved along a direction in which candidate sub-items are listed (eg, a vertical direction in FIG. 4 ).
  • the processor exposes some of the remaining items except for some items 430, and outputs some of the some items 430 in response thereto. Can be excluded.
  • the processor may expose only some items 430 of candidate sub-items related to the phone number and output them as a graphic object 410, and may exclude output of other items except for some items 430. .
  • the processor may expose some of the remaining items.
  • the processor may exclude output of some of the items 430 exposed in the graphic object 410 in response to a part of the graphic object 410 that is additionally exposed.
  • FIG. 5 illustrates rotating a graphic object according to an exemplary embodiment.
  • the processor may detect external touch inputs 521 and 522 for at least one point in an area outside the graphic object related to the hierarchical menu.
  • the processor may detect the movement trajectory 530 of the external touch input.
  • the processor may rotate the graphic object based on the movement trajectory 530.
  • the area outside the graphic object may be the remaining area of the display except for a portion occupied by the graphic object.
  • the movement trajectory 530 of the external touch input may be formed as, for example, a curve, and the processor may determine whether the movement trajectory 530 is clockwise or counterclockwise. For example, when the movement trajectory 530 is detected in a clockwise direction, the processor may rotate the graphic object clockwise. As the processor rotates the graphic object, the direction in which the lower layer menu is output may be adjusted. Accordingly, the user can position the item covered by his/her finger into his/her field of view through rotation of the graphic object. In addition, it can be helpful in utilizing the margin of the display.
  • the processor may gradually rearrange the graphic objects corresponding to the items in a clockwise or counterclockwise direction based on a reference point (eg, centrifugal).
  • the processor can rearrange only the positions while maintaining the shape of each graphic object without rotating it.
  • FIG. 6 illustrates moving a graphic object according to an embodiment.
  • the processor may detect an external touch input 621 for at least one point in an area outside the graphic object related to the hierarchical menu.
  • the processor may detect the movement trajectory of the external touch input 621.
  • the processor may move the graphic object based on the movement trajectory 630.
  • the processor may move at least a part of the graphic object in the identified directions 630 and 631 based on the external touch input 621.
  • the processor may detect a touch movement input direction of the external touch input 621.
  • the processor may move at least a part of the graphic object in the identified directions 630 and 631 based on the external touch input 621.
  • At least a part of the graphic object moved may be a graphic object other than a graphic object related to the top layer menu, but is not limited thereto, and the entire graphic object may be moved. If there is no margin of the display remaining in the direction in which the sub-layer menu to be added can no longer be displayed in the direction in which the sub-layer menu is output, the processor may output the added sub-layer menu by moving the graphic object according to user input. have.
  • FIG. 7 is a flowchart of a method for outputting a small screen command menu according to an exemplary embodiment.
  • the step of selecting the target higher item includes steps 100 to 120 of FIG. Since it has been described above, detailed description will be omitted.
  • the processor may detect a touch return movement input in which the touch point returns to the reference point after the target higher item is selected.
  • the reference point may be a point corresponding to a touch point generated by a user's display touch input.
  • the processor may detect a touch return movement input returning to a reference point from a touch point sensed in response to the touch movement input.
  • the processor may replace and output the graphic object indicating the upper layer menu with the graphic object indicating the lower layer menu corresponding to the target higher item.
  • the portion occupied by the graphic object on the display may not increase, and it may be easier to output the command menu on a small screen with a small margin of the display compared to a large screen.
  • a device with a small screen is often held by one hand, it may be shorter than a case of outputting a command menu on a screen having a large movement line of the touch movement input.
  • a command menu from the uppermost layer menu to the lowermost layer menu may be output with a relatively short movement of the touch movement input.
  • the top level menu and the bottom level menu may correspond to the top level menu and the bottom level level menu of the level menu according to an embodiment.
  • Steps 750 and 760 have been described above through steps 140 and 150 of FIG. 1, and thus detailed descriptions thereof will be omitted.
  • FIG. 8 is a diagram illustrating a high-level graphic object for explaining a method of outputting a command menu on a small screen according to an exemplary embodiment.
  • the method of outputting a command menu may be implemented in the device 800 including a small screen display.
  • the display of the device 800 including a small screen display may have a smaller portion capable of outputting graphic objects related to command menus compared to a large screen display.
  • the device 800 including a small screen display may be implemented in various types of products such as a smart phone, a tablet PC, a smart home appliance, an intelligent vehicle, and a wearable device.
  • embodiments may output a graphic object indicating a hierarchical menu in response to a user's touch input sensed on the display of the smartphone.
  • the graphic object indicating lower layer menus may be output while replacing the graphic object indicating higher layer menus.
  • the device 800 including a small screen display is not limited to the above embodiment, and may be a device including a display that can be held by one hand.
  • the processor of the device 800 including a small screen display is an upper graphic object indicating an upper layer menu among the layered command menus based on the reference point 820 where the touch input is detected. 810 can be output.
  • the reference point 820 from which the touch input is detected may be output on the display, but FIG. 8 is shown to describe the reference point 820 and according to another embodiment According to, the reference point 820 may not be output on the display.
  • the processor may detect the point at which the touch point is moved in response to the touch movement input 830 from the detected reference point 820. Referring to FIG. 8, the point where the touch point is moved in response to the touch movement input 830 may be located in one item among upper graphic objects.
  • the processor may determine that the positioned item is selected. Accordingly, the processor may select the target higher item 811 corresponding to the moved point from among the candidate higher items of the higher layer menu.
  • the selection of the target upper item may be determined according to whether the touch point occupies more than a threshold ratio of the graphic object indicated by the target higher item. For example, in response to a case where the touch point detected by the processor is 50% or more of the graphic object indicated by the target higher item, the processor may determine that the higher item has been selected.
  • the processor may detect a touch return movement input 831 in which the touch point returns to the reference point 820 after the target higher item 811 is selected.
  • the touch return movement input 831 may be an input in a direction corresponding to the touch movement input.
  • the trajectory of the touch movement input may be formed in a direction opposite to the movement direction of the touch movement input, but is not limited thereto, and a trajectory in which the touch point is moved from the target upper item to the reference point may be formed.
  • a graphic object related to a menu may have a fan shape, but may have a circular shape radiating from a reference point.
  • the shape of the graphic object is not limited thereto, and may be a shape configured to allow a user to select a menu item.
  • FIG. 9 is a diagram illustrating a lower graphic object for explaining a method of outputting a command menu on a small screen according to an embodiment.
  • the processor of the device 900 replaces the graphic object indicating the upper layer menu with the graphic object 910 indicating the lower layer menu corresponding to the target higher item in response to the detection of the touch return movement input 931 Can be printed.
  • the processor may detect a drop input whose touch point is released from a point corresponding to one target sub-item 911 among candidate sub-items of the lower-level menu. In response to detecting the drop input, the processor may execute an operation corresponding to the target sub-item 911.
  • the processor may execute an operation corresponding to the target sub-item 911.
  • the processor in response to a case where the touch point is moved from the target sub-item 911 to an external point of the graphic object 910 of the hierarchical menu, the processor is the movement acceleration of the touch point from the target sub-item 911 to the external point. Can be calculated.
  • the processor may execute an operation corresponding to the target sub-item 911 in response to a case where the movement acceleration of the touch point from the target sub-item 911 to the external point exceeds the threshold acceleration.
  • execution of the operation by a touch movement input having acceleration may prevent the operation from being executed differently from the user's intention.
  • the processor Before executing the operation corresponding to the target sub-item 911, the processor may output a graphic object requesting the user's approval in response to whether to execute the operation. According to another embodiment, when a user's drop input is detected in the target sub-item 911 and a touch input is detected again at a point corresponding to the target sub-item, the processor may execute an operation corresponding to the target sub-item. .
  • the processor may detect the touch return movement input 931 in which the touch point returns to the reference point 920 after the target sub-item 911 is selected according to the touch movement input 930. In response to the detection of the touch return movement input 931, the processor may replace the lower graphic object 910 with a graphic object indicating an additional lower layer menu corresponding to the target sub item 911 and output it.
  • FIG. 10 illustrates a graphic object indicating only some items of a command menu on a small screen according to an exemplary embodiment.
  • the processor of the device 1000 may output a graphic object 1010 indicating some items 1020 among candidate sub-items of the lower-level menu on the display when the number of items of the lower-level menu is greater than a predetermined number. Thereafter, the processor may expose at least some of the remaining items except for some items 1020 and exclude output of at least some of the some items 1020 in response to a user input distinguished from the touch input.
  • the processor may output only some items 1020 of the candidate sub-items as the graphic object 1010.
  • the graphic object 1010 may be a graphic object in which candidate sub-items are listed and arranged.
  • the user input may be a touch input and a touch return movement input and two touch reciprocating movement inputs 1030 corresponding to a direction to be scrolled.
  • the touch reciprocating movement input may include a touch movement input and a touch return movement input in a direction corresponding to the touch movement direction.
  • the one-touch reciprocating movement input and the two-touch reciprocating movement input 1030 may be distinguished according to the number of reciprocating movement inputs sensed for a predetermined time.
  • the processor exposes some of the remaining items except for some of the items 1020, and outputs some of the some items 1020 in response. Can be excluded.
  • the processor may list only some items 1020 among candidate sub-items related to the phone number and output them as a graphic object 1010.
  • the processor may expose an item corresponding to the top of the graphic object 1010 among other items except for some items 1020. have.
  • some of the items 1020 exposed at the bottom of the graphic object 1010 may be excluded from output.
  • FIG. 11 is a diagram illustrating a method of outputting a command menu when the touch sensing unit and the display are separated according to an exemplary embodiment.
  • the manipulation detection unit for detecting a user's manipulation may be physically separated from the display 1100, and an electrical signal detected by the touch detection unit through a communication unit between the manipulation detection unit and the display 1100 Can be passed to the processor.
  • the manipulation detection unit may include a touch detection unit 1120 as an example, but is not limited thereto.
  • the processor may output a manipulation indicator to a portion on the display 1100 indicating the touch point where the touch input 1130 is detected.
  • the manipulation indicator may be a graphic object displayed on the display 1100 corresponding to the point where the touch input is detected.
  • FIG. 12 is a diagram illustrating a method of outputting a command menu in virtual reality according to an embodiment.
  • a manipulation detection unit for detecting a user's input and a display may be physically separated, and an electrical signal detected by the manipulation detection unit may be transmitted to the processor through a communication unit between the manipulation detection unit and the display.
  • the manipulation detection unit is a sensor capable of detecting a motion of a part of the user's body, and may include, for example, a sensor detecting a motion of a finger joint.
  • the manipulation sensing unit may include a sensor implemented in the form of a glove capable of sensing bending and spreading of a user's finger joint.
  • a sensor capable of sensing the bending and spreading of the user's finger joint may be located at a portion of the glove corresponding to the user's finger joint.
  • the sensor includes a piezoelectric signal, and in response to a piezoelectric signal generated due to a user's bending, may detect a joint motion of a finger.
  • the present invention is not limited thereto, and the sensor, including a pressure sensor, may detect whether the finger is bent in response to sensing pressure due to the bending of the user's finger.
  • the motion of a part of the body is not limited to detection of a motion of a finger joint, and may include blinking of an eye, a motion of a leg and an arm, and a motion of a joint of a part of the body.
  • the manipulation detection unit is a sensor that detects a movement of a user's body part, and may include an image sensor that detects a movement of a hand. Sensing data of an image sensor including a camera may be transmitted to a processor, and the camera may photograph a user's hand.
  • the above embodiments are only examples of detecting the movement of the user's hand, and methods of detecting whether the user's finger is stretched are not limited to the above embodiments, and the angle or distance between joints, electrical resistance, etc. All methods at the level of a person skilled in the art that can detect the movement of the user's hand, such as a wearable device measuring
  • the display may be a virtual display implemented through virtual reality, and the virtual reality may be implemented by connecting a virtual reality device 1220 in contact with a user's face to a processor.
  • the virtual reality device 1220 limits the user's field of view, and may implement only a virtual reality display by a processor.
  • the virtual reality device 1220 provides, for example, a right eye image to the user's right eye, a left eye image to the user's left eye, and the right eye image and the left eye image may have a disparity from each other.
  • the virtual reality device 1220 may visualize and provide three-dimensional content to the user by providing the above-described left eye image and right eye image to the user.
  • the virtual reality device 1220 does not limit the user's field of view, and the user may execute an operation on a command item while viewing a screen in which the virtual reality overlaps with the real reality.
  • the processor detects the open state of the user's finger (1210), and a graphic object indicating a higher layer menu among the layered command menus with an operation indicator at a portion indicating a touch point corresponding to one end of the finger in the virtual reality display. (1230) can be output.
  • the processor may detect a touch movement input to which a touch point corresponding to one end of the finger is moved, and detect a point where the manipulation indicator is moved as the touch point is moved. can do.
  • the processor may select a target upper item from the upper layer menu and output a lower graphic object indicating a lower layer menu corresponding to the target higher item.
  • the processor may detect the bent state 1200 of a user's finger from a point corresponding to one target sub-item among the candidate sub-items of the lower-level menu, and execute an operation corresponding to the target sub-item.
  • FIG. 13 is a block diagram showing the general configuration of an apparatus 1300 for outputting a command menu according to an embodiment.
  • the apparatus 1300 for outputting a command menu may include a processor 1310, a display 1320, and a touch sensing unit 1330.
  • the processor 1310 may receive an electrical signal converted from a touch input sensed by the touch sensing unit 1330.
  • the processor 1310 may find a point on the display 1320 corresponding to a touch point at which a touch input is sensed based on the received electrical signal.
  • the processor 1310 may output a graphic object to a point corresponding to the display 1320 and then perform a series of processes for executing an operation. Since the process of executing the operation after outputting the graphic object has been described with reference to FIGS. 1 to 12, detailed descriptions will be omitted.
  • the display 1320 and the touch sensing unit 1330 are illustrated as separate configurations in FIG. 13, the present invention is not limited thereto.
  • the display 1320 and the touch sensing unit 1330 may be implemented as a touch-sensitive display as a unit.
  • the apparatus 1300 for outputting a command menu may further include a memory of a registration database storing registered user information matched with user biometric information.
  • the processor 1310 may allow access rights to the user based on registered user information stored in the memory.
  • the embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the devices, methods, and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers.
  • the processing device may execute an operating system (OS) and one or more software applications executed on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as a parallel processor.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device.
  • Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

프로세서에 의해 수행되며, 사용자의 입력에 따라 계층화된 명령 메뉴를 디스플레이에 출력시키는 방법에 관한 발명을 개시한다.

Description

명령 메뉴 출력 방법
이하, 터치 입력과 터치 해제를 인식하여 명령 메뉴를 출력하고, 실행하는 방법에 관한 기술이 제공된다.
터치 입력을 이용하여 명령을 실행하는 전자기기에 있어서, 원하는 명령을 찾고 실행하는 과정은 복수 번의 터치 입력 및 터치 입력 해제가 수반된다. 따라서, 명령 메뉴 출력 및 실행 과정은 복잡하고, 명령 처리에 많은 프로세스를 거쳐야 한다.
또한, 사용자가 지문 또는 안면 인식을 이용하여 절전 모드 상태의 전자기기를 깨운 후, 명령을 실행하는 과정은 추가로 터치 입력을 가하는 추가 동작이 필요하다.
일실시예에 따른 명령 메뉴 출력 방법은 사용자의 터치 입력이 감지되는 경우에 응답하여, 상기 터치 입력이 검출된 터치 지점에 상기 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키는 단계, 상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 지점이 이동되는 터치 이동 입력에 대응하여, 상기 터치 지점이 이동된 지점을 검출하는 단계, 상기 상위 계층 메뉴의 후보 상위 항목 중 상기 이동된 지점에 대응하는 대상 상위 항목을 선택하는 단계, 상기 선택된 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 상기 상위 그래픽 오브젝트로부터 확장하면서 출력시키는 단계, 상기 하위 계층 메뉴로부터 상기 터치 지점이 해제되는 드랍 입력을 감지하는 단계, 및 상기 하위 계층 메뉴의 후보 하위 항목들 중 하나의 대상 하위 항목에 대응하는 지점에서 상기 드랍 입력이 감지되는 경우에 응답하여, 상기 대상 하위 항목에 대응하는 동작을 실행하는 단계를 포함할 수 있다.
일실시예에 따른 대상 하위 항목에 대응하는 동작을 실행하는 단계는 상기 대상 하위 항목에 대응하는 동작을 실행하기 전, 상기 동작을 실행할지 여부에 대응하여 사용자의 승인을 요청하는 그래픽 오브젝트를 출력시키는 단계를 포함할 수 있다.
또한, 상기 사용자의 터치 입력에 응답하여 상기 사용자의 생체 정보를 획득하는 단계, 등록 데이터베이스로부터 상기 생체 정보와 등록 사용자 정보를 매칭하는 단계, 상기 매칭이 성공한 경우에 응답하여, 상기 사용자에게 어플리케이션, 장치, 및 메뉴 중 적어도 하나에 대한 억세스 권한을 허용하는 단계, 상기 허용된 억세스 권한에 기초하여 상위 그래픽 오브젝트 및 하위 그래픽 오브젝트 중 적어도 하나를 출력시키는 단계를 포함할 수 있다.
일실시예에 따른 드랍 입력을 감지하는 단계는 상기 하위 계층 메뉴의 후보 하위 항목 중 이동된 지점에 대응하는 대상 하위 항목을 선택하는 단계 및 상기 대상 하위 항목에 대한 정보를 반투명하게 시각화하고, 상기 대상 하위 항목에 대한 정보 상에 상기 계층 메뉴에 관한 그래픽 오브젝트를 오버레이하여 출력시키는 단계를 더 포함할 수 있다.
다른 일실시예에 따르면, 상기 계층 메뉴에 관한 그래픽 오브젝트 외부 영역에서 적어도 한 지점에 대한 외부 터치 입력을 감지하는 단계, 상기 외부 터치 입력의 이동 궤적을 검출하는 단계, 및 상기 계층 메뉴에 관한 그래픽 오브젝트 내부 영역 내에서 상기 터치 입력이 유지된 경우, 상기 이동 궤적에 기초하여 상기 그래픽 오브젝트를 회전시키는 단계를 더 포함할 수 있다.
또 다른 일실시예에 따르면, 상기 계층 메뉴에 관한 그래픽 오브젝트 외부 영역에 적어도 한 지점의 그래픽 오브젝트 외부 터치를 감지하는 단계, 상기 외부 터치 입력의 이동 궤적을 검출하는 단계, 및 상기 외부 터치 입력에 기초하여 식별된 방향으로 상기 그래픽 오브젝트의 적어도 일부를 이동시키는 단계를 더 포함할 수 있다.
또한, 명령 메뉴 출력방법은 상기 하위 계층 메뉴의 항목의 개수가 미리 지정된 개수보다 많은 경우, 상기 하위 계층 메뉴의 상기 후보 하위 항목 중 일부 항목을 지시하는 그래픽 오브젝트를 디스플레이에 출력시키고, 상기 터치 입력과 구별되는 사용자 입력에 대응하여, 상기 일부 항목을 제외한 나머지 항목들 중 적어도 일부를 노출시키고, 상기 일부 항목 중 적어도 일부의 출력을 배제시킬 수 있다.
일실시예에 따른 명령 메뉴 출력방법은 상기 하위 그래픽 오브젝트의 항목 배열 조합은 사용자의 실행 이력에 기초하여, 상기 상위 계층 메뉴 중 하나의 항목 주변에 출력될 수 있다.
또다른 일실시예에 따르면, 상기 사용자의 터치 입력을 감지하는 경우에 응답하여, 상기 터치 입력이 검출된 기준 지점에 상기 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키는 단계, 상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 입력이 이동되는 터치 이동 입력에 대응하여, 상기 기준 지점으로부터 이동된 터치 지점을 검출하는 단계, 상기 터치 지점이 상기 상위 계층 메뉴의 후보 상위 항목 중 대상 상위 항목을 지시하는 지점으로 이동되는 경우에 응답하여, 상기 대상 상위 항목을 선택하는 단계, 상기 대상 상위 항목이 선택된 후 상기 터치 지점이 상기 기준 지점으로 되돌아오는 터치 복귀 이동 입력을 검출하는 단계, 및 상기 터치 복귀 이동 입력이 검출되는 경우에 응답하여, 상기 상위 그래픽 오브젝트를 상기 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트로 대체하여 출력시킬 수 있다.
또 다른 일실시예에 따른 명령 메뉴 출력 방법은 조작 감지부가 상기 사용자의 터치 입력을 감지하는 경우에 응답하여, 상기 디스플레이에서 상기 터치 입력이 검출된 터치 지점을 지시하는 부분에 조작지시자를 출력시키는 단계, 상기 조작지시자에 기초하여 상기 디스플레이에 상기 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키는 단계, 상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 지점이 이동되는 터치 이동 입력에 대응하여, 상기 조작지시자가 이동된 지점을 검출하는 단계, 상기 상위 계층 메뉴의 후보 상위 항목 중 상기 조작지시자가 이동된 지점에 대응하는 대상 상위 항목을 선택하는 단계, 상기 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 상기 상위 그래픽 오브젝트로부터 확장하면서 출력시키는 단계, 상기 터치 지점이 상기 하위 계층 메뉴의 후보 하위 항목들 중 한 대상 하위 항목에 대응하는 지점으로부터 해제되는 드랍 입력을 감지하는 단계, 및 상기 드랍 입력이 감지되는 경우에 응답하여, 상기 대상 하위 항목에 대응하는 동작을 실행하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 큰 화면 명령 메뉴 출력 방법의 흐름도이다.
도 2는 일실시예에 따른 큰 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 상위 그래픽 오브젝트를 도시한 것이다.
도 3은 일실시예에 따른 큰 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 하위 그래픽 오브젝트를 도시한 것이다.
도 4는 일실시예에 따른 큰 화면에서 명령 메뉴 중 일부 항목만 지시하는 그래픽 오브젝트를 도시한 것이다.
도 5는 일실시예에 따른 그래픽 오브젝트를 회전시키는 것을 도시한 것이다.
도 6은 일실시예에 따른 그래픽 오브젝트를 이동시키는 것을 도시한 것이다.
도 7은 일실시예에 따른 작은 화면 명령 메뉴 출력 방법의 흐름도이다.
도 8은 일실시예에 따른 작은 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 상위 그래픽 오브젝트를 도시한 것이다.
도 9는 일실시예에 따른 작은 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 하위 그래픽 오브젝트를 도시한 것이다.
도 10은 일실시예에 따른 작은 화면에서 명령 메뉴 중 일부 항목만 지시하는 그래픽 오브젝트를 도시한 것이다.
도 11은 일실시예에 따른 터치 감지부와 디스플레이가 떨어져 있는 경우 명령 메뉴를 출력하는 방법을 설명하기 위해 도시한 것이다.
도 12는 일실시예에 따른 가상 현실에서 명령 메뉴를 출력하는 방법을 설명하기 위해 도시한 것이다.
도 13은 일실시예에 따른 명령 메뉴를 출력하는 장치의 개괄적인 구성을 도시한 블록도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
일실시예에 따른 프로세서는 사용자의 터치 입력이 감지되는 경우에 응답하여, 절전 모드 상태 및 전원 오프(off) 상태의 장치를 깨우거나, 이미 켜져 있는 장치에서 명령을 실행하기 위한 명령 메뉴를 호출할 수 있다. 사용자의 터치 입력은 사용자의 신체 일부분의 접촉을 장치가 감지하는 것일 수 있으나, 이에 국한되지 않고, 입력 장치를 매개로 하여 입력 장치가 사용자의 신체 일부분의 접촉을 감지하는 경우도 포함할 수 있다. 예시적으로, 입력 장치는 마우스 또는 디스플레이에 탑재된 센서일 수 있고, 마우스 또는 센서가 사용자의 터치 입력을 감지한 경우 응답하여, 전기 신호를 프로세서로 전송할 수 있다.
도 1은 일실시예에 따른 큰 화면 명령 메뉴 출력 방법의 흐름도이다.
단계(100)에서, 프로세서는 사용자의 터치 입력이 감지되는 경우에 응답하여, 터치 입력이 검출된 터치 지점에 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시킬 수 있다.
계층 메뉴는 적어도 두개의 계층으로 이루어진 메뉴들의 집합일 수 있다. 상위 계층 메뉴와 하위 계층 메뉴는 계층 단계에 따라 상대적으로 결정될 수 있다. 예를 들면, 계층 메뉴가 3개의 계층으로 구성되는 경우, 최상위 단계의 계층부터 최하위 계층 메뉴까지 순서대로 제1 계층 메뉴, 제2 계층 메뉴, 제3 계층 메뉴일 수 있다. 제1 계층 메뉴는 제2 계층 메뉴보다 상위의 계층이므로, 제1 계층 메뉴와 제2 계층 메뉴의 사이에서 제1 계층 메뉴가 상위 계층 메뉴이고, 제2 계층 메뉴가 하위 계층일 수 있다. 이에 반해, 제2 계층 메뉴는 제3 계층 메뉴 보다 상위의 계층이므로, 제2 계층 메뉴와 제3 계층 메뉴 사이에서 제2 계층 메뉴가 상위 계층 메뉴이고, 제3 계층 메뉴가 하위 계층 메뉴일 수 있다.
단계(110)에서, 프로세서는 사용자의 터치 입력이 유지되는 동안, 터치 지점이 이동되는 터치 이동 입력에 대응하여, 터치 지점이 이동된 지점을 검출할 수 있다.
터치 이동 입력은 터치 입력이 감지되는 지점이 이동되는 입력을 나타낼 수 있다. 예시적으로, 터치 이동 입력은 터치 입력이 유지된 채 터치 지점이 드래그되는 입력일 수 있다.
단계(120)에서, 프로세서는 상위 계층 메뉴의 후보 상위 항목 중 이동된 터치 지점에 대응하는 대상 상위 항목을 선택할 수 있다. 계층 메뉴는 복수 개의 후보 항목을 포함할 수 있고, 대상 항목은 후보 항목 중 터치 이동 입력에 의해 선택되는 항목일 수 있다. 예를 들어, 프로세서는 후보 항목 중 임의의 항목을 지시하는 항목 그래픽 오브젝트로 터치 지점이 진입하는 경우에 응답하여, 해당 항목을 대상 항목으로 선택할 수 있다. 프로세서는, 터치가 형성된 영역 중 일정 비율 이상의 영역이 항목 그래픽 오브젝트에서 감지되는 경우에 응답하여, 항목 그래픽 오브젝트에 터치 지점이 진입한 것으로 결정할 수 있다.
상위 계층 메뉴는 적어도 하나의 상위 항목을 포함할 수 있고, 적어도 하나의 상위 항목의 각각마다 하위 계층 메뉴가 매핑될 수 있다. 또한, 하위 계층 메뉴는 적어도 하나의 하위 항목을 포함할 수 있고, 적어도 하나의 하위 항목의 각각마다 다음 하위 계층 메뉴가 매핑될 수 있다. 참고로, 아래 도 2, 도 3, 도 5, 및 도 6에서는 각 상위 계층 메뉴 및 각 하위 계층 메뉴에 포함되는 항목의 개수가 8개인 것으로 도시되었으나, 이로 한정하는 것은 아니고 설계에 따라 달라질 수 있다.
단계(130)에서, 프로세서는 선택된 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트로부터 확장하면서 출력할 수 있다. 예를 들어, 프로세서는, 상위 그래픽 오브젝트로부터 바깥 방향으로, 상위 그래픽 오브젝트의 외곽 경계를 둘러싸는 형태의 하위 그래픽 오브젝트를 출력할 수 있다. 다만, 이로 한정하는 것은 아니고, 프로세서는 상위 그래픽 오브젝트의 외곽 경계 중 일부를 커버하는 형태의 하위 그래픽 오브젝트를 출력할 수도 있다. 이 때, 프로세서는 터치 이동 입력의 방향에 대응되는 방향으로 하위 그래픽 오브젝트를 확장할 수 있다. 따라서, 프로세서가 상위 그래픽 오브젝트로부터 하위 그래픽 오브젝트를 확장하는 동안, 터치 이동 입력은 일관성 있게 한 방향으로 향할 수 있다.
단계(140)에서, 프로세서는 하위 계층 메뉴로부터 터치 지점이 해제되는 드랍 입력을 감지할 수 있다. 드랍 입력은 터치 지점이 해제되는 입력으로서, 임의의 지점에서 터치 입력을 종료하는 입력을 나타낼 수 있다.
단계(150)에서, 프로세서는 하위 계층 메뉴의 후보 하위 항목들 중 하나의 대상 하위 항목에 대응하는 지점에서 드랍 입력이 감지되는 경우에 응답하여, 대상 하위 항목에 대응하는 동작을 실행할 수 있다. 대상 하위 항목은 하위 후보 항목 중 터치 이동 입력에 의해 선택되는 항목일 수 있다. 하위 항목에 대응하는 동작은 메모리에 의해 미리 저장된 동작으로서, 예를 들어, 어플리케이션 실행, 프리뷰 표시 및 장치의 기능 수행과 같은 다양한 동작이 각 하위 항목에 할당될 수 있다. 동작이 미리 저장된 메모리는 프로세서가 포함된 장치에 포함될 수도 있으나, 이에 국한되지 않고, 외부 클라우드 장치에 포함되고, 프로세서는 외부 클라우드 장치와 통신하여 동작을 수신할 수 있다. 예를 들면, 선택된 대상 하위 항목에 "A어플리케이션 실행"이 할당된 경우, 프로세서는 메모리로부터 "A 어플리케이션 실행"에 관련된 동작 프로세스를 로드함으로써 A 어플리케이션을 실행할 수 있다.
도 1에는 상위 계층 메뉴 및 하위 계층 메뉴로 구성된 그래픽 오브젝트만 도시되어 있으나, 이에 국한되지 않고, 명령 메뉴 출력 방법은 3단계 이상의 계층 메뉴를 지시하는 그래픽 오브젝트를 출력하여 명령 동작을 실행하는 것도 포함할 수 있다.
일실시예에 따른 명령 메뉴 출력 장치는 사용자를 인증하면서 권한에 따른 명령 메뉴를 제공할 수도 있다.
예를 들어, 프로세서는 사용자의 터치 입력에 응답하여 사용자의 생체 정보를 획득할 수 있다. 사용자의 생체 정보는 사용자의 지문과 관련된 데이터일 수 있다. 사용자의 지문과 관련된 데이터는 지문의 패턴, 지문의 곡선 사이의 간격을 포함할 수 있다. 일실시예에 따르면, 사용자의 지문과 관련된 데이터는 지문의 곡선 사이 간격의 시간에 대한 변화율을 포함할 수 있다. 시간에 대한 지문 곡선 사이 간격의 변화율이 변하지 않는 경우, 프로세서는 사용자의 손가락이 움직이지 않고 있다고 판별할 수 있다. 이에 반해, 지문 곡선 사이 간격의 변화율이 임계 값 이상인 경우, 프로세서는 터치 입력이 불안정하다고 판별하여 후술하는 사용자의 생체 정보와 등록 사용자 정보의 매칭 동작을 스킵(skip)할 수 있다.
프로세서는 사용자의 생체 정보와 등록 사용자 정보를 매칭시킬 수 있다. 프로세서는 등록 데이터베이스로부터 생체 정보에 매칭하는 등록 사용자 정보를 매칭할 수 있다. 등록 데이터베이스는 프로세서와 연동되는 메모리에 저장될 수 있고, 등록 데이터베이스는 복수 명의 사용자에 관한 사용자 정보(예를 들어, 각 사용자의 등록 지문에 관한 정보)를 포함할 수 있다. 등록 데이터베이스에 복수 명의 사용자와 관련된 등록 사용자 정보가 저장되어 있는 경우, 프로세서는 복수 개의 등록 사용자 정보 및 사용자 생체 정보 간의 매칭 유사도를 산출할 수 있다. 프로세서는 임의의 등록 사용자 정보에 대해 산출된 매칭 유사도가 임계 유사도를 초과하는 경우에 응답하여 해당 등록 사용자 정보에 사용자 생체 정보가 매칭하는 것으로 결정할 수 있다. 프로세서는 복수 개의 등록 사용자 정보 중 사용자 생체 정보에 일치되는 정보가 있으면 매칭이 성공하였다고 판단할 수 있다.
프로세서는 매칭이 성공한 경우에 응답하여, 사용자에게 어플리케이션, 장치, 및 메뉴 중 적어도 하나에 대한 억세스 권한을 허용할 수 있다. 일실시예에 따르면, 어플리케이션, 장치, 및 메뉴 중 적어도 하나에 대한 억세스 권한은 사용자마다 개별적으로 다르게 설정될 수 있다. 등록 사용자 정보는 등록 사용자에게 허용되는 억세스 권한에 관한 정보를 포함할 수 있고, 예를 들어, 해당 등록 사용자가 억세스할 수 있는 어플리케이션, 장치, 및 메뉴에 관한 정보를 저장할 수 있다. 프로세서는 매칭이 성공한 경우, 매칭된 등록 사용자 정보를 메모리로부터 로드하면서 매칭된 사용자에게 허용된 어플리케이션, 장치, 및 메뉴를 식별할 수 있다. 예를 들면, 제1 사용자가 미성년자인 경우, 프로세서는 저장된 제1 사용자가 억세스할 수 있는 어플리케이션, 장치, 및 메뉴에 관한 정보를 로드할 수 있다. 제1 사용자가 미성년자이므로, 제1 사용자가 억세스할 수 있는 어플리케이션, 장치, 및 메뉴가 한정될 수 있다.
프로세서는 허용된 억세스 권한에 기초하여 상위 그래픽 오브젝트 및 하위 그래픽 오브젝트 중 적어도 하나를 출력시킬 수 있다. 예를 들어, 프로세서는 임의의 사용자에게 억세스가 허용된 동작을 지시하는 항목들로 구성되는 계층 메뉴(예를 들어, 상위 계층 메뉴 또는 하위 계층 메뉴)에 대한 그래픽 오브젝트를 출력할 수 있다. 권한이 허용되지 않은 사용자에 의한 억세스가 시도되는 경우에 응답하여, 프로세서는 게스트 모드의 계층 메뉴를 출력할 수도 있다.
도 2는 일실시예에 따른 큰 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 상위 그래픽 오브젝트를 도시한 것이다.
일실시예에 따른 명령 메뉴 출력 방법은 큰 화면 디스플레이를 포함하는 장치(200)에서 실시될 수 있다. 큰 화면 디스플레이를 포함하는 장치(200)에서 명령 메뉴들과 관련된 그래픽 오브젝트를 출력할 수 있는 부분이 비교적 넓을 수 있다. 큰 화면 디스플레이를 포함하는 장치(200)는 TV, 퍼스널 컴퓨터, 랩탑 컴퓨터, 지능형 자동차, 키오스크 등 다양한 형태의 제품으로 구현될 수 있다. 예시적으로, 실시예들은 TV의 디스플레이에 감지된 사용자의 터치 입력에 응답하여, 계층 메뉴를 지시하는 그래픽 오브젝트를 출력할 수 있다. 그래픽 오브젝트가 호출된 후, 터치 이동 입력에 응답하여, 하위 계층 메뉴들을 지시하는 그래픽 오브젝트가 큰 화면 디스플레이의 여백 공간을 향해 출력될 수 있다. 그러나, 큰 화면 디스플레이를 포함하는 장치(200)는 상술한 실시예에만 국한되는 것이 아니라, 한손으로 파지하기 힘든 디스플레이를 포함하는 장치를 포함할 수 있다.
사용자에 의한 터치 입력이 감지된 경우, 큰 화면 디스플레이를 포함하는 장치(200)의 프로세서는 터치 입력이 검출된 터치 지점(220)을 기준으로 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트(210)를 출력시킬 수 있다.
일실시예에 따르면, 도 2에 도시된 바와 같이 터치 입력이 검출된 터치 지점(220)은 디스플레이에 출력될 수 있다. 다만, 도 2는 설명의 편의를 위해 터치 지점(220)을 도시한 것으로, 터치 지점(220)은 디스플레이에 출력되지 않을 수도 있다.
터치 입력이 유지되는 동안, 프로세서는 검출된 터치 지점(220)으로부터 터치 이동 입력(230)에 대응하여 터치 지점이 이동된 지점을 검출할 수 있다. 도 2에 따르면, 터치 이동 입력(230)에 대응하여 터치 지점이 이동된 지점은 상위 그래픽 오브젝트 중 하나의 항목에 위치할 수 있다.
프로세서는 터치 지점이 상위 그래픽 오브젝트 중 하나의 항목에 위치하는 경우, 해당 항목이 선택된 것으로 판별할 수 있다. 이에 따라, 프로세서는 상위 계층 메뉴의 후보 상위 항목 중 이동된 지점에 대응하는 대상 상위 항목(211)을 선택할 수 있다. 예를 들어, 프로세서는 터치 영역이 대상 상위 항목(211)에 대응하는 그래픽 오브젝트의 임계 비율 이상 차지하고 있는지 여부에 따라 대상 상위 항목(211)을 선택할 수 있다. 예시적으로, 디스플레이에서 검출된 터치 영역이 대상 상위 항목(211)이 지시하는 그래픽 오브젝트의 50% 이상을 차지하는 경우에 응답하여, 프로세서는 대상 상위 항목(211)을 선택할 수 있다.
도 3은 일실시예에 따른 큰 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 하위 그래픽 오브젝트를 도시한 것이다.
장치(300)의 프로세서는 선택된 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트(320)를 상위 그래픽 오브젝트(310)로부터 확장하면서 출력시킬 수 있다.
도3에 도시된 바와 같이 상위 그래픽 오브젝트(310)의 형태는 내부가 빈 원의 형태로서, 예를 들어 도넛 형태일 수 있다. 하위 그래픽 오브젝트(320)의 형태는 상위 그래픽 오브젝트(310)의 외부 원주에 접촉하며 상위 그래픽 오브젝트(310)를 수용하는 원형일 수 있다. 그러나 상위 그래픽 오브젝트(310) 및 하위 그래픽 오브젝트의 형태는 이에 한정되지 않고, 다른 예를 들어, 하위 그래픽 오브젝트의 형태가 부채꼴일 수 있고, 프로세서는 대상 상위 항목(311)를 기준으로 상위 그래픽 오브젝트(310)로부터 확장되는 방향으로 부채꼴 형태의 하위 그래픽 오브젝트를 출력할 수도 있다.
하위 그래픽 오브젝트(320)가 출력된 후, 프로세서는 터치 이동 입력(330) 감지에 응답하여, 터치 지점이 이동된 지점을 검출할 수 있다. 터치 지점이 이동된 지점이 하위 계층 메뉴의 후보 하위 항목들중 하나의 대상 하위 항목(321)에 대응하는 지점인 경우, 프로세서는 대상 하위 항목(321)을 선택할 수 있다.
일실시예에 따르면, 프로세서는 대상 하위 항목(321)이 선택된 경우에 응답하여, 대상 하위 항목(321)에 대한 정보를 반투명하게 시각화하고, 대상 하위 항목(321)에 대한 정보 상에 계층 메뉴에 관한 그래픽 오브젝트를 오버레이하여 출력시킬 수 있다. 대상 하위 항목(321)에 대한 정보는 대상 하위 항목(321)과 관련된 동작의 프리뷰 정보(예를 들어, 프리뷰 이미지)일 수 있다. 그러나, 대상 하위 항목(321)에 대한 정보는 이에 한정되지 않고, 사용자가 대상 하위 항목(321)과 관련된 동작을 실행하기 위해 참고할 수 있는 다양한 정보를 포함할 수 있다. 예를 들어, 대상 하위 항목(321)이 "부재중 전화"인 경우, 대상 하위 항목(321)에 대한 정보는 부재중 전화 리스트일 수 있다.
일실시예에 따르면, 대상 하위 항목(321)의 하위 계층 메뉴가 더 존재하는 경우, 프로세서는 하위 그래픽 오브젝트(320)로부터 확장되는 방향으로 대상 하위 항목(321)의 하위 계층 항목을 지시하는 그래픽 오브젝트를 출력할 수 있다.
프로세서는 하위 계층 메뉴의 후보 하위 항목들(322) 중 하나의 대상 하위 항목(321)에 대응하는 지점으로부터 터치 지점이 해제되는 드랍 입력을 감지할 수 있다. 프로세서는 드랍 입력이 감지되는 경우에 응답하여, 대상 하위 항목(321)에 대응하는 동작을 실행할 수 있다.
일실시예에 따르면, 대상 하위 항목(321)의 하위 계층 메뉴가 더 존재하는 경우라도, 프로세서가 대상 하위 항목(321)에 대응하는 터치 지점이 해제되는 드랍 입력을 감지하는 경우, 대상 하위 항목(321)의 하위 계층 메뉴를 팝업시킬 수 있다. 팝업 동작은 예시적으로, 대상 하위 항목(321)으로부터 시작하여 화면 전체까지 하위 계층 메뉴에 대응하는 그래픽 표현을 확장하면서 시각화하는 동작일 수 있다.
일 실시예에 따르면 프로세서는 대상 하위 항목(321)에 대응하는 동작을 실행하기 전, 동작을 실행할지 여부에 대한 사용자의 승인을 요청하는 그래픽 오브젝트를 출력시킬 수 있다. 사용자 승인을 요청하는 그래픽 오브젝트는 사용자에게 동작을 실행할지를 물어보는 그래픽 오브젝트(예를 들어, 메시지 창)를 포함할 수 있다. 동작을 실행할지를 물어보는 그래픽 오브젝트에 대응하여, 사용자가 동작을 실행할지를 선택하게 하는 그래픽 오브젝트가 출력될 수 있다. 프로세서는 동작을 실행할지 여부에 관한 터치 입력을 감지하는 경우, 해당 동작을 실행할지 여부를 결정할 수 있다. 프로세서는 사용자로부터 해당 동작의 실행에 대한 승인 조작(예를 들어, 승인 버튼 활성화)이 수신되는 경우에 응답하여, 해당 동작을 실행할 수 있다. 프로세서는 사용자로부터 해당 동작의 실행에 대한 거절 조작(예를 들어, 거절 버튼 활성화)이 수신되는 경우에 응답하여, 해당 동작의 실행을 배제할 수 있다.
다른 일실시예에 따르면, 대상 하위 항목에 대응하는 지점에서 사용자의 드랍 입력이 감지된 후 소정 시간 내에 대상 하위 항목에 대응하는 지점에서 터치 입력이 감지되는 경우, 프로세서는 대상 하위 항목에 대응하는 동작을 실행할 수 있다. 프로세서가 대상 하위 항목으로부터 드랍 입력이 감지되는 경우에 응답하여, 바로 대상 하위 항목에 대응하는 동작을 실행하지 않고, 대기하다가 다시 한번 해당 대상 하위 항목에 대한 터치 입력이 감지되어야 동작을 실행하므로, 사용자의 의도와 다르게 동작이 실행되는 오동작을 방지할 수 있다.
일실시예에 따르면, 프로세서는 하위 그래픽 오브젝트(320)의 항목 배열 조합을 사용자의 실행 이력에 기초하여 결정하고, 결정된 항목 배열 조합을 상위 계층 메뉴 중 하나의 항목 주변에 출력할 수 있다. 실행 이력은 동작 실행 빈도, 항목 선택 빈도 등일 수 있으며, 이에 국한되지 않고, 최근 실행 순서일 수 있다. 프로세서는 실행 이력에 따라, 최우선순위의 하위 후보 항목 순서로 대상 상위 항목 주변에 출력시킬 수 있다. 예시적으로, 프로세서는 'A' 대상 상위 항목에 대하여, 가장 많이 선택 또는 실행된 하위 후보 항목인 'A1'을, 'A' 대상 상위 항목 주변에 인접하여 배치시킬 수 있다.
도 4는 일실시예에 따른 큰 화면에서 명령 메뉴 중 일부 항목만 지시하는 그래픽 오브젝트를 도시한 것이다.
프로세서는 하위 계층 메뉴의 항목의 개수가 미리 지정된 개수보다 많은 경우, 하위 계층 메뉴의 후보 하위 항목 중 일부 항목(430)을 지시하는 그래픽 오브젝트(410)를 디스플레이(400)에 출력시킬 수 있다. 그 후, 프로세서는 터치 입력과 구별되는 사용자 입력(420)에 대응하여, 일부 항목(430)을 제외한 나머지 항목들 중 적어도 일부를 노출시키고, 일부 항목(430) 중 적어도 일부의 출력을 배제시킬 수 있다.
프로세서는 후보 하위 항목 중 일부 항목(430)만 그래픽 오브젝트(410)로 출력시킬 수 있다. 그래픽 오브젝트(410)는 후보 하위 항목들을 리스트화 하여 나열한 그래픽 오브젝트일 수 있다. 사용자 입력(420)은 스크롤 입력일 수 있고, 스크롤 입력은 후보 하위 항목들이 나열된 방향(예를 들어, 도 4에서는 세로 방향)을 따라 터치 지점이 이동되는 터치 이동 입력일 수 있다. 후보 하위 항목들이 나열된 방향에 대한 터치 이동 입력을 감지하는 경우에 응답하여, 프로세서는 일부 항목(430)을 제외한 나머지 항목들 중 일부를 노출시키고, 이에 대응하여 일부 항목(430) 중 일부의 출력을 배제시킬 수 있다.
도 4의 예시에 따르면, 프로세서는 전화번호와 관련된 후보 하위 항목 중 일부 항목(430)만 노출하여 그래픽 오브젝트(410)로 출력하고, 일부 항목(430)을 제외한 나머지 항목의 출력을 배제할 수 있다. 후보 하위 항목들이 나열된 방향을 따라 그래픽 오브젝트(410)의 하단으로부터 상단을 향하는 터치 이동 입력이 감지되는 경우에 응답하여, 프로세서는 나머지 항목 중 일부를 노출시킬 수 있다. 프로세서는, 그래픽 오브젝트(410) 중 추가로 노출되는 일부에 대응하여, 그래픽 오브젝트(410)에서 노출되었던 일부 항목(430) 중 일부의 출력을 배제할 수 있다.
도 5는 일실시예에 따른 그래픽 오브젝트를 회전시키는 것을 도시한 것이다.
프로세서는 계층 메뉴에 관한 그래픽 오브젝트 외부 영역의 적어도 한 지점에 대한 외부 터치 입력(521, 522)을 감지할 수 있다. 프로세서는 외부 터치 입력의 이동 궤적(530)을 검출할 수 있다. 프로세서는 그래픽 오브젝트 내부 영역(510) 내에 터치 입력(520)이 유지된 경우, 이동 궤적(530)에 기초하여 그래픽 오브젝트를 회전시킬 수 있다.
그래픽 오브젝트 외부 영역은 디스플레이에서 그래픽 오브젝트가 차지하고 있는 부분을 제외한 나머지 영역일 수 있다. 외부 터치 입력의 이동 궤적(530)은 예를 들어, 곡선으로 형성될 수 있고, 프로세서는 이동 궤적(530)이 시계 방향인지 반시계 방향인지 판별할 수 있다. 예시적으로, 이동 궤적(530)이 시계 방향으로 감지된 경우, 프로세서는 그래픽 오브젝트를 시계방향으로 회전시킬 수 있다. 프로세서가 그래픽 오브젝트를 회전시킴으로써, 하위 계층 메뉴를 출력하는 방향이 조정될 수 있다. 따라서 사용자는 자신의 손가락에 의해 가려진 항목을 그래픽 오브젝트의 회전을 통해 자신의 시야 내로 위치시킬 수 있다. 또한, 디스플레이의 여백 활용에 도움이 될 수 있다. 참고로 그래픽 오브젝트가 회전될 때, 프로세서는 항목들에 대응하는 그래픽 오브젝트들을 기준 지점(예를 들어, 원심)을 기준으로 시계 방향 또는 반시계 방향으로 점진적으로 재배치할 수 있다. 프로세서는 각 그래픽 오브젝트의 형태를 회전시키지 않고 유지하면서, 위치만 재배열할 수 있다.
도 6은 일실시예에 따른 그래픽 오브젝트를 이동시키는 것을 도시한 것이다.
프로세서는, 계층 메뉴에 관한 그래픽 오브젝트 외부 영역에 적어도 한 지점에 대한 외부 터치 입력(621)을 감지할 수 있다. 프로세서는 외부 터치 입력(621)의 이동 궤적을 검출할 수 있다. 프로세서는 그래픽 오브젝트 내부 영역(610) 내에 터치 입력(620)이 유지된 경우, 이동 궤적(630)에 기초하여 그래픽 오브젝트를 이동시킬 수 있다. 프로세서는 외부 터치 입력(621)에 기초하여 식별된 방향(630, 631)으로 그래픽 오브젝트의 적어도 일부를 이동시킬 수 있다.
외부 터치 입력(621)의 이동 궤적이 직선으로 식별되는 경우에 응답하여, 프로세서는 외부 터치 입력(621)의 터치 이동 입력 방향을 검출할 수 있다. 프로세서는 그래픽 오브젝트의 적어도 일부는 외부 터치 입력(621)에 기초하여 식별된 방향(630, 631)으로 이동시킬 수 있다. 그래픽 오브젝트에서 이동되는 적어도 일부는 최상위 계층 메뉴에 관한 그래픽 오브젝트를 제외한 그래픽 오브젝트일 수 있으나, 이에 한정되지 않고, 그래픽 오브젝트 전체가 이동될 수도 있다. 하위 계층 메뉴가 출력되는 방향으로 더 이상 추가되는 하위 계층 메뉴가 출력될 수 없을 정도로 디스플레이의 여백이 남아 있지 않은 경우, 사용자 입력에 따라 프로세서는 그래픽 오브젝트를 이동시켜 추가되는 하위 계층 메뉴를 출력시킬 수 있다.
도 7은 일실시예에 따른 작은 화면 명령 메뉴 출력 방법의 흐름도이다.
단계(700)부터 단계(720)까지의 터치 입력이 검출된 기준 지점에 그래픽 오브젝트를 출력된 후, 대상 상위 항목을 선택하는 단계는 도1의 단계(100)부터 단계(120)까지의 단계를 통해 선술하였으므로, 자세한 설명은 생략하도록 한다.
단계(730)에서, 프로세서는 대상 상위 항목이 선택된 후 터치 지점이 기준 지점으로 되돌아오는 터치 복귀 이동 입력을 검출할 수 있다. 기준 지점은 사용자의 디스플레이 터치 입력으로 생성되는 터치 지점에 대응되는 지점일 수 있다. 프로세서는 대상 상위 항목을 선택한 후, 터치 이동 입력에 대응하여 감지되는 터치 지점으로부터 기준 지점으로 되돌아오는 터치 복귀 이동 입력을 검출할 수 있다.
단계(740)에서, 프로세서는 터치 복귀 이동 입력이 검출되는 경우에 응답하여, 상위 계층 메뉴를 지시하는 그래픽 오브젝트를 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 그래픽 오브젝트로 대체하여 출력시킬 수 있다. 상위 계층 메뉴가 하위 계층 메뉴로 대체됨에 따라, 디스플레이에 그래픽 오브젝트가 차지하는 부분이 늘어나지 않을 수 있어, 큰 화면과 비교하여 디스플레이의 여백이 크지 않은 작은 화면에서 명령 메뉴를 출력하기 용이할 수 있다. 또한, 작은 화면의 장치는 한 손으로 파지하는 경우가 많으므로, 터치 이동 입력의 동선이 큰 화면에서 명령 메뉴를 출력하는 경우와 비교하여 짧을 수 있다. 터치 복귀 이동 입력에 응답하여, 하위 계층 메뉴를 지시하는 그래픽 오브젝트가 대체되어 출력되므로, 비교적 짧은 터치 이동 입력의 동선으로 최상위 계층 메뉴부터 최하위 계층 메뉴까지의 명령 메뉴가 출력될 수 있다. 여기서, 최상위 계층 메뉴 및 최하위 계층 메뉴는, 일실시예에 따른 계층 메뉴의 최상위 단계 및 최하위 단계의 계층 메뉴에 대응할 수 있다.
단계(750) 및 단계(760)는 도1의 단계(140) 및 단계(150)까지의 단계를 통해 선술하였으므로, 자세한 설명은 생략하도록 한다.
도 8은 일실시예에 따른 작은 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 상위 그래픽 오브젝트를 도시한 것이다.
일실시예에 따른 명령 메뉴 출력 방법은 작은 화면 디스플레이를 포함하는 장치(800)에서 실시될 수 있다. 작은 화면 디스플레이를 포함하는 장치(800)의 디스플레이는 큰 화면 디스플레이와 비교하여 명령 메뉴들과 관련된 그래픽 오브젝트를 출력할 수 있는 부분이 작을 수 있다. 작은 화면 디스플레이를 포함하는 장치(800)는 스마트폰, 태블릿 PC, 스마트 가전기기, 지능형 자동차, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예시적으로, 실시예들은 스마트폰의 디스플레이에서 감지된 사용자의 터치 입력에 응답하여, 계층 메뉴를 지시하는 그래픽 오브젝트를 출력할 수 있다. 그래픽 오브젝트가 호출된 후 터치 복귀 이동 입력(831)에 응답하여, 하위 계층 메뉴들을 지시하는 그래픽 오브젝트는 상위 계층 메뉴들을 지시하는 그래픽 오브젝트를 대체하면서 출력될 수 있다. 그러나, 작은 화면 디스플레이를 포함하는 장치(800)는 상기 실시예에만 국한되는 것이 아니라, 한 손으로 파지할 수 있는 디스플레이를 포함하는 장치일 수 있다.
사용자에 의한 터치 입력이 감지된 경우, 작은 화면 디스플레이를 포함하는 장치(800)의 프로세서는 터치 입력이 검출된 기준 지점(820)을 기준으로 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트(810)를 출력시킬 수 있다.
일실시예에 따르면, 도 8에 도시된 바와 같이 터치 입력이 검출된 기준 지점(820)은 디스플레이에 출력될 수 있지만, 도 8은 기준 지점(820)을 설명하기 위해 도시된 것으로 다른 일실시예에 따르면, 기준 지점(820)은 디스플레이에 출력되지 않을 수도 있다.
터치 입력이 유지되는 동안, 프로세서는 검출된 기준 지점(820)으로부터 터치 이동 입력(830)에 대응하여 터치 지점이 이동된 지점을 검출할 수 있다. 도 8에 따르면, 터치 이동 입력(830)에 대응하여 터치 지점이 이동된 지점은 상위 그래픽 오브젝트 중 하나의 항목에 위치할 수 있다.
프로세서는 터치 지점이 상위 그래픽 오브젝트 중 하나의 항목에 위치하는 경우, 위치된 항목이 선택된 것으로 판별할 수 있다. 이에 따라, 프로세서는 상위 계층 메뉴의 후보 상위 항목 중 이동된 지점에 대응하는 대상 상위 항목(811)을 선택할 수 있다. 대상 상위 항목이 선택되는 것은 터치 지점이 대상 상위 항목이 지시하는 그래픽 오브젝트의 임계 비율 이상 차지하고 있는지 여부에 따라 결정될 수 있다. 예시적으로, 프로세서에 의해 검출된 터치 지점이 대상 상위 항목이 지시하는 그래픽 오브젝트의 50% 이상이 되는 경우에 응답하여, 프로세서는 상위 항목이 선택되었다고 판별할 수 있다.
프로세서는 대상 상위 항목(811)이 선택된 후 터치 지점이 기준 지점(820)으로 되돌아오는 터치 복귀 이동 입력(831)을 검출할 수 있다. 터치 복귀 이동 입력(831)은 터치 이동 입력에 대응되는 방향의 입력일 수 있다. 터치 이동 입력의 궤적은 터치 이동 입력의 이동 방향의 반대 방향으로 형성될 수 있으나, 이에 국한되지 않고, 대상 상위 항목으로부터 기준 지점까지 터치 지점이 이동되는 궤적을 형성할 수 있다.
일실시예에 따른 메뉴와 관련된 그래픽 오브젝트는 부채꼴 형상일 수도 있으나, 기준 지점을 기준으로 방사되는 원형의 형상일 수도 있다. 그래픽 오브젝트의 형태는 이에 국한되지 않고, 사용자가 메뉴 항목을 선택할 수 있도록 구성되는 형태일 수 있다.
도 9는 일실시예에 따른 작은 화면에서 명령 메뉴를 출력하는 방법을 설명하기 위한 하위 그래픽 오브젝트를 도시한 것이다.
장치(900)의 프로세서는 터치 복귀 이동 입력(931)이 검출되는 경우에 응답하여, 상위 계층 메뉴를 지시하는 그래픽 오브젝트를 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 그래픽 오브젝트(910)로 대체하여 출력시킬 수 있다.
일실시예에 의하면, 프로세서는 터치 지점이 하위 계층 메뉴의 후보 하위 항목들 중 한 대상 하위 항목(911)에 대응하는 지점으로부터 해제되는 드랍 입력을 감지할 수 있다. 프로세서는 드랍 입력이 감지되는 경우에 응답하여, 대상 하위 항목(911)에 대응하는 동작을 실행할 수 있다.
다른 일실시예에 의하면, 대상 하위 항목(911)에 대응하는 지점으로부터 임계 가속도 이상의 가속도를 갖는 터치 이동 입력에 의하여 터치 지점이 벗어나는 경우, 프로세서는 대상 하위 항목(911)에 대응하는 동작을 실행할 수 있다. 예를 들어, 터치 지점이 대상 하위 항목(911)으로부터 계층 메뉴의 그래픽 오브젝트(910)의 외부 지점으로 이동된 경우에 응답하여, 프로세서는 대상 하위 항목(911)으로부터 외부 지점까지 터치 지점의 이동 가속도를 산출할 수 있다. 프로세서는 대상 하위 항목(911)으로부터 외부 지점까지 터치 지점의 이동 가속도가 임계 가속도를 초과한 경우에 응답하여, 대상 하위 항목(911)에 대응하는 동작을 실행할 수 있다. 터치 지점이 해제되는 드랍 입력에 응답하여 동작이 실행되는 것과 비교하여, 가속도를 갖는 터치 이동 입력으로 동작이 실행되는 것은 사용자의 의도와 다르게 동작이 실행되는 것을 방지할 수 있다.
프로세서는 대상 하위 항목(911)에 대응하는 동작을 실행하기 전, 동작을 실행할지 여부에 대응하여 사용자의 승인을 요청하는 그래픽 오브젝트를 출력시킬 수 있다. 다른 일실시예에 의하면, 대상 하위 항목(911)에서 사용자의 드랍 입력이 감지되고 다시 대상 하위 항목에 대응하는 지점에 터치 입력이 감지되는 경우, 프로세서는 대상 하위 항목에 대응하는 동작을 실행할 수 있다.
다른 일실시예에 따르면, 프로세서는 터치 이동 입력(930)에 따라 대상 하위 항목(911)이 선택된 후 터치 지점이 기준 지점(920)으로 되돌아오는 터치 복귀 이동 입력(931)을 검출할 수 있다. 터치 복귀 이동 입력(931)이 검출된 경우에 응답하여, 프로세서는 하위 그래픽 오브젝트(910)를 대상 하위 항목(911)에 대응하는 추가 하위 계층 메뉴를 지시하는 그래픽 오브젝트로 대체하여 출력시킬 수 있다.
도 10은 일실시예에 따른 작은 화면에서 명령 메뉴 중 일부 항목만 지시하는 그래픽 오브젝트를 도시한 것이다.
장치(1000)의 프로세서는 하위 계층 메뉴의 항목의 개수가 미리 지정된 개수보다 많은 경우, 하위 계층 메뉴의 후보 하위 항목 중 일부 항목(1020)을 지시하는 그래픽 오브젝트(1010)를 디스플레이에 출력시킬 수 있다. 그 후, 프로세서는 터치 입력과 구별되는 사용자 입력에 대응하여, 일부 항목(1020)을 제외한 나머지 항목들 중 적어도 일부를 노출시키고, 일부 항목(1020) 중 적어도 일부의 출력을 배제시킬 수 있다.
프로세서는 후보 하위 항목 중 일부 항목(1020)만 그래픽 오브젝트(1010)로 출력시킬 수 있다. 그래픽 오브젝트(1010)는 후보 하위 항목들을 리스트화 하여 나열한 그래픽 오브젝트일 수 있다. 사용자 입력은 터치 입력 및 터치 복귀 이동 입력과 구별되는 스크롤하고자 하는 방향에 대응하는 두번의 터치 왕복 이동 입력(1030)일 수 있다. 터치 왕복 이동 입력은 터치 이동 입력과 터치 이동 방향에 대응되는 방향의 터치 복귀 이동 입력을 포함할 수 있다. 한번의 터치 왕복 이동 입력과 두번의 터치 왕복 이동 입력(1030)은 일정 시간동안 감지되는 왕복 이동 입력의 횟수에 따라 구별될 수 있다. 스크롤하고자 하는 방향에 대응하는 두번의 터치 왕복 이동 입력(1030)에 응답하여, 프로세서는 일부 항목(1020)을 제외한 나머지 항목들 중 일부를 노출시키고, 이에 대응하여 일부 항목(1020) 중 일부의 출력을 배제시킬 수 있다.
도 10의 예시에 따르면, 프로세서는 전화번호와 관련된 후보 하위 항목 중 일부 항목(1020)만 리스트화 하여 그래픽 오브젝트(1010)로 출력시킬 수 있다. 기준 지점으로부터 위쪽 방향에 대응되는 두번의 터치 이동 입력(1030)이 감지되는 경우에 응답하여, 프로세서는 일부 항목(1020)을 제외한 나머지 항목 중 그래픽 오브젝트(1010) 상단에 대응하는 항목을 노출시킬 수 있다. 그래픽 오브젝트(1010)의 상단에 노출되는 항목에 대응하여, 그래픽 오브젝트(1010) 하단에 노출되었던 일부 항목(1020) 중 일부는 출력이 배제될 수 있다.
도 11은 일실시예에 따른 터치 감지부와 디스플레이가 떨어져 있는 경우 명령 메뉴를 출력하는 방법을 설명하기 위해 도시한 것이다.
일실시예에 따르면, 사용자의 조작을 감지하는 조작 감지부는 디스플레이(1100)로부터 물리적으로 분리되어 있을 수 있고, 조작 감지부와 디스플레이(1100) 사이의 통신부를 통해 터치 감지부에 감지된 전기적 신호가 프로세서로 전달될 수 있다. 도 11에서 조작 감지부는 예시적으로 터치 감지부(1120)를 포함할 수 있으나, 이로 한정하는 것은 아니다.
터치 감지부(1120)가 사용자의 터치 입력(1130)을 감지하는 경우에 응답하여, 프로세서는 터치 입력(1130)이 검출된 터치 지점을 지시하는 디스플레이(1100) 상의 부분에 조작지시자를 출력시킬 수 있다. 조작지시자는 터치 입력이 검출된 지점에 대응되어 디스플레이(1100)에 표시되는 그래픽 오브젝트일 수 있다.
터치 지점에 대응하여 계층화된 메뉴와 관련된 그래픽 오브젝트(1110)를 출력하고, 하위 메뉴 중 대상 하위 항목에 대응하는 동작을 실행하는 것에 대해서는 도1 내지 도10을 통해 선술하였으므로, 자세한 설명은 생략하도록 한다.
도 12는 일실시예에 따른 가상 현실에서 명령 메뉴를 출력하는 방법을 설명하기 위해 도시한 것이다.
일실시예에 따르면, 사용자의 입력을 감지하는 조작 감지부와 디스플레이가 물리적으로 분리되어 있을 수 있고, 조작 감지부와 디스플레이사이의 통신부를 통해 조작 감지부에 감지된 전기적 신호가 프로세서로 전달될 수 있다.
조작 감지부는 사용자의 신체 일부의 동작을 감지할 수 있는 센서로서, 예를 들어, 손가락 관절 동작을 감지하는 센서를 포함할 수 있다. 조작 감지부는 사용자의 손가락 마디의 구부러짐과 펴짐을 센싱할 수 있는 장갑 형태로 구현되는 센서를 포함할 수 있다. 사용자 손가락 마디의 구부러짐과 펴짐을 센싱할 수 있는 센서는 장갑의 사용자 손가락 마디에 대응되는 부분에 위치할 수 있다. 센서는 압전 신호를 포함하고, 사용자의 구부러짐으로 인해 발생하는 압전 신호에 응답하여, 손가락의 관절 동작을 감지할 수 있다. 다만 이로 한정하는 것은 아니고, 센서는 압력 센서를 포함하여, 사용자의 손가락이 구부러짐으로 인해 압력을 센싱하는 경우에 응답하여 손가락이 구부려졌는지 여부를 감지할 수 있다. 그러나, 신체 일부의 동작은 손가락 관절 동작의 감지에 국한되지 않고, 눈의 깜빡임, 다리 및 팔의 움직임 및 신체 일부의 관절 동작이 포함될 수 있다.
다른 일실시예에 의하면 조작 감지부는 사용자의 신체 부위의 움직임을 감지하는 센서로서, 손의 움직임을 감지하는 영상 센서를 포함할 수 있다. 카메라를 포함하는 영상 센서의 센싱 데이터는 프로세서로 전송될 수 있으며, 카메라는 사용자의 손을 촬영할 수 있다.
상기 실시예들은 사용자 손의 움직임을 감지하는 일실시예들에 불과하며, 사용자의 손가락이 펴지는지 여부를 감지하는 방법들은 상기 실시예들에 국한되지 않고, 관절 사이의 각도나 거리, 전기저항등을 측정하는 착용기기 등 사용자 손의 움직임을 감지할 수 있는 통상의 기술자 수준의 모든 방법을 이용할 수 있다.
디스플레이는 가상 현실을 통해 구현되는 가상의 디스플레이일 수 있고, 가상 현실은 사용자의 안면에 접촉된 가상 현실 기기(1220)가 프로세서와 연결되어 구현될 수 있다. 가상 현실 기기(1220)는 사용자의 시야를 제한하고, 프로세서에 의해 가상 현실의 디스플레이만 구현될 수 있다. 가상 현실 기기(1220)는 예를 들어, 사용자의 우안에 우안 영상을 제공하고, 사용자의 좌안에 좌안 영상을 제공하며, 우안 영상 및 좌안 영상은 서로 시차(disparity)를 가질 수 있다. 가상 현실 기기(1220)는 상술한 좌안 영상 및 우안 영상을 사용자에게 제공함으로써, 사용자에게 입체감 있는 컨텐츠를 시각화하여 제공할 수 있다. 다른 일실시예에 따르면, 가상 현실 기기(1220)는 사용자의 시야를 제한하지 않고, 사용자는 실제 현실에 가상 현실이 오버랩된 화면을 보면서 명령 항목에 관한 동작을 실행할 수 있다.
프로세서는 사용자의 손가락이 펴진 상태(1210)를 감지하여, 가상 현실의 디스플레이에서 손가락의 일단에 대응되는 터치 지점을 지시하는 부분에 조작지시자와 함께 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 그래픽 오브젝트(1230)를 출력시킬 수 있다.
프로세서는 사용자의 손가락이 펴진 상태(1210)가 유지되는 동안, 손가락의 일단에 대응되는 터치 지점이 이동되는 터치 이동 입력을 감지할 수 있고, 터치 지점이 이동됨에 따라 조작지시자가 이동된 지점을 검출할 수 있다. 프로세서는 조작지시자의 이동 지점 검출에 응답하여, 상위 계층 메뉴 중 대상 상위 항목을 선택하고, 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 출력시킬 수 있다. 프로세서는 하위 계층 메뉴의 후보 하위 항목들 중 하나의 대상 하위 항목에 대응하는 지점으로부터 사용자의 손가락이 구부러진 상태(1200)를 감지하여, 대상 하위 항목에 대응되는 동작을 실행할 수 있다.
도 13은 일실시예에 따른 명령 메뉴를 출력하는 장치(1300)의 개괄적인 구성을 도시한 블록도이다.
명령 메뉴를 출력하는 장치(1300)는 프로세서(1310), 디스플레이(1320), 터치 감지부(1330)를 포함할 수 있다. 프로세서(1310)는 터치 감지부(1330)가 감지한 터치 입력으로부터 변환된 전기적 신호를 전달 받을 수 있다. 프로세서(1310)는 전달 받은 전기적 신호에 기초하여, 터치 입력이 감지된 터치 지점에 대응하는 디스플레이(1320) 상의 지점을 찾을 수 있다. 프로세서(1310)는 디스플레이(1320)에 대응되는 지점에 그래픽 오브젝트를 출력시킨 후, 동작을 실행하기 위한 일련의 프로세스를 수행할 수 있다. 그래픽 오브젝트를 출력시킨 후, 동작을 실행하는 프로세스는 도1 내지 도12를 통해 선술하였으므로, 자세한 설명은 생략하도록 한다. 참고로, 도 13에서 디스플레이(1320) 및 터치 감지부(1330)가 별개의 구성으로 도시되었으나, 이로 한정하는 것은 아니다. 디스플레이(1320) 및 터치 감지부(1330)는 일체로서 터치 감응 디스플레이로 구현될 수도 있다.
일실시예에 따르면, 명령 메뉴를 출력하는 장치(1300)는 사용자 생체 정보와 매칭되는 등록 사용자 정보를 저장하고 있는 등록 데이터베이스의 메모리를 더 포함할 수 있다. 프로세서(1310)는 메모리에 저장된 등록 사용자 정보에 기초하여, 사용자에게 억세스 권한을 허용할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (14)

  1. 프로세서에 의해 수행되며, 사용자의 입력에 따라 계층화된 명령 메뉴를 디스플레이에 출력시키는 방법에 있어서,
    상기 사용자의 터치 입력을 감지하는 경우에 응답하여, 상기 터치 입력이 검출된 기준 지점에 상기 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키는 단계;
    상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 입력이 이동되는 터치 이동 입력에 대응하여, 상기 기준 지점으로부터 이동된 터치 지점을 검출하는 단계;
    상기 터치 지점이 상기 상위 계층 메뉴의 후보 상위 항목 중 대상 상위 항목을 지시하는 지점으로 이동되는 경우에 응답하여, 상기 대상 상위 항목을 선택하는 단계;
    상기 대상 상위 항목이 선택된 후 상기 터치 지점이 상기 기준 지점으로 되돌아오는 터치 복귀 이동 입력을 검출하는 단계; 및
    상기 터치 복귀 이동 입력이 검출되는 경우에 응답하여, 상기 상위 그래픽 오브젝트를 상기 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트로 대체하여 출력시키는 단계
    를 포함하는 명령 메뉴 출력 방법.
  2. 제1항에 있어서,
    상기 하위 계층 메뉴로부터 상기 터치 지점이 드랍 입력을 감지하는 단계; 및
    상기 하위 계층 메뉴의 후보 하위 항목들 중 하나의 대상 하위 항목에 대응하는 지점에서 상기 드랍 입력이 감지되는 경우에 응답하여, 상기 대상 하위 항목에 대응하는 동작을 실행하는 단계
    를 더 포함하는 명령 메뉴 출력 방법.
  3. 제2항에 있어서,
    대상 하위 항목에 대응하는 동작을 실행하는 단계는,
    상기 대상 하위 항목에 대응하는 동작을 실행하기 전, 상기 동작을 실행할지 여부에 대응하여 사용자의 승인을 요청하는 그래픽 오브젝트를 출력시키는 단계
    를 포함하는 명령 메뉴 출력 방법.
  4. 제1항에 있어서,
    상기 사용자의 터치 입력에 응답하여 상기 사용자의 생체 정보를 획득하는 단계;
    등록 데이터베이스로부터 상기 생체 정보와 등록 사용자 정보를 매칭하는 단계;
    상기 매칭이 성공한 경우에 응답하여, 상기 사용자에게 어플리케이션, 장치, 및 메뉴 중 적어도 하나에 대한 억세스 권한을 허용하는 단계;
    상기 허용된 억세스 권한에 기초하여 상위 그래픽 오브젝트 및 하위 그래픽 오브젝트 중 적어도 하나를 출력시키는 단계;
    를 더 포함하는 명령 메뉴 출력 방법.
  5. 제2항에 있어서,
    상기 드랍 입력을 감지하는 단계는,
    상기 하위 계층 메뉴의 후보 하위 항목 중 이동된 지점에 대응하는 대상 하위 항목을 선택하는 단계; 및
    상기 대상 하위 항목에 대한 정보를 반투명하게 시각화하고, 상기 대상 하위 항목에 대한 정보 상에 상기 계층 메뉴에 관한 그래픽 오브젝트를 오버레이하여 출력시키는 단계
    를 더 포함하는 명령 메뉴 출력 방법.
  6. 제1항에 있어서,
    상기 계층 메뉴에 관한 그래픽 오브젝트 외부 영역에서 적어도 한 지점에 대한 외부 터치 입력을 감지하는 단계;
    상기 외부 터치 입력의 이동 궤적을 검출하는 단계; 및
    상기 계층 메뉴에 관한 그래픽 오브젝트 내부 영역 내에서 상기 터치 입력이 유지된 경우, 상기 이동 궤적에 기초하여 상기 그래픽 오브젝트를 회전시키는 단계
    를 더 포함하는 명령 메뉴 출력 방법.
  7. 제1항에 있어서,
    상기 그래픽 오브젝트 내부 영역 내에 상기 터치 입력이 유지된 경우, 상기 계층 메뉴에 관한 그래픽 오브젝트 외부 영역에 적어도 한 지점에 대한 외부 터치 입력을 감지하는 단계;
    상기 외부 터치 입력의 이동 궤적을 검출하는 단계; 및
    상기 외부 터치 입력에 기초하여 식별된 방향으로 상기 그래픽 오브젝트의 적어도 일부를 이동시키는 단계
    를 더 포함하는 명령 메뉴 출력 방법.
  8. 제1항에 있어서,
    상기 하위 계층 메뉴의 항목의 개수가 미리 지정된 개수보다 많은 경우, 상기 하위 계층 메뉴의 상기 후보 하위 항목 중 일부 항목을 지시하는 그래픽 오브젝트를 디스플레이에 출력시키고,
    상기 터치 입력과 구별되는 사용자 입력에 대응하여, 상기 일부 항목을 제외한 나머지 항목들 중 적어도 일부를 노출시키고, 상기 일부 항목 중 적어도 일부의 출력을 배제시키는,
    명령 메뉴 출력 방법.
  9. 제1항에 있어서,
    상기 하위 그래픽 오브젝트의 항목 배열 조합은 사용자의 실행 이력에 기초하여 출력되는,
    명령 메뉴 출력 방법.
  10. 프로세서에 의해 수행되며, 계층화된 명령 메뉴를 디스플레이에 출력시키는 방법에 있어서,
    사용자의 터치 입력이 감지되는 경우에 응답하여, 상기 터치 입력이 검출된 터치 지점에 상기 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키는 단계;
    상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 지점이 이동되는 터치 이동 입력에 대응하여, 상기 터치 지점이 이동된 지점을 검출하는 단계;
    상기 상위 계층 메뉴의 후보 상위 항목 중 상기 이동된 지점에 대응하는 대상 상위 항목을 선택하는 단계;
    상기 선택된 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 상기 상위 그래픽 오브젝트로부터 확장하면서 출력시키는 단계;
    상기 대상 상위 항목으로부터의 터치 이동 입력에 의해 상기 하위 계층 메뉴의 후보 하위 항목들 중 대상 하위 항목을 선택하는 단계;
    상기 대상 하위 항목에 다음 하위 계층 메뉴가 매핑된 경우, 상기 다음 하위 계층 항목을 지시하는 그래픽 오브젝트를 출력하는 단계; 및
    상기 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 지점에서 드랍 입력이 감지되는 경우에 응답하여, 상기 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 동작을 실행하는 단계
    를 포함하는 명령 메뉴 출력 방법.
  11. 프로세서에 의해 수행되며, 사용자의 입력에 따라 계층화된 명령 메뉴를 디스플레이에 출력시키는 방법에 있어서,
    조작 감지부가 상기 사용자의 터치 입력을 감지하는 경우에 응답하여, 상기 디스플레이에서 상기 터치 입력이 검출된 터치 지점을 지시하는 부분에 조작지시자를 출력시키는 단계;
    상기 조작지시자에 기초하여 상기 디스플레이에 상기 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키는 단계;
    상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 지점이 이동되는 터치 이동 입력에 대응하여, 상기 조작지시자가 이동된 지점을 검출하는 단계;
    상기 상위 계층 메뉴의 후보 상위 항목 중 상기 조작지시자가 이동된 지점에 대응하는 대상 상위 항목을 선택하는 단계;
    상기 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 상기 상위 그래픽 오브젝트로부터 확장하면서 출력시키는 단계;
    상기 대상 상위 항목으로부터의 터치 이동 입력에 의해 상기 하위 계층 메뉴의 후보 하위 항목들 중 대상 하위 항목을 선택하는 단계;
    상기 대상 하위 항목에 다음 하위 계층 메뉴가 매핑된 경우, 상기 다음 하위 계층 항목을 지시하는 그래픽 오브젝트를 출력하는 단계; 및
    상기 터치 지점이 상기 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 지점으로부터 해제되는 드랍 입력을 감지하는 단계; 및
    상기 드랍 입력이 감지되는 경우에 응답하여, 상기 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 동작을 실행하는 단계
    를 포함하는 명령 메뉴 출력 방법.
  12. 프로세서를 포함하는 명령 메뉴 출력 장치에 있어서,
    상기 프로세서는:
    사용자의 터치 입력을 감지하는 경우에 응답하여, 상기 터치 입력이 검출된 터치 지점에 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키고,
    상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 지점이 이동되는 터치 이동 입력에 대응하여, 상기 터치 지점이 이동된 지점을 검출하며,
    상기 상위 계층 메뉴의 후보 상위 항목 중 상기 이동된 지점에 대응하는 대상 상위 항목을 선택하고,
    상기 선택된 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 상기 상위 그래픽 오브젝트로부터 확장하면서 출력시키고,
    상기 대상 상위 항목으로부터의 터치 이동 입력에 의해 상기 하위 계층 메뉴의 후보 하위 항목들 중 대상 하위 항목을 선택하고,
    상기 대상 하위 항목에 다음 하위 계층 메뉴가 매핑된 경우, 상기 다음 하위 계층 항목을 지시하는 그래픽 오브젝트를 출력하며,
    상기 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 지점에서 드랍 입력이 감지되는 경우에 응답하여, 상기 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 동작을 실행하는,
    명령 메뉴 출력 장치.
  13. 프로세서를 포함하는 명령 메뉴 출력 장치에 있어서,
    상기 프로세서는,
    사용자의 터치 입력을 감지하는 경우에 응답하여, 상기 터치 입력이 검출된 기준 지점에 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키고,
    상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 입력이 이동되는 터치 이동 입력에 대응하여, 상기 기준 지점으로부터 이동된 터치 지점을 검출하며,
    상기 터치 지점이 상기 상위 계층 메뉴의 후보 상위 항목 중 대상 상위 항목을 지시하는 지점으로 이동되는 경우에 응답하여, 상기 대상 상위 항목을 선택하고,
    상기 대상 상위 항목이 선택된 후 상기 터치 지점이 상기 기준 지점으로 되돌아오는 터치 복귀 이동 입력을 검출하며,
    상기 터치 복귀 이동 입력이 검출되는 경우에 응답하여, 상기 상위 계층 메뉴를 지시하는 그래픽 오브젝트를 상기 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 그래픽 오브젝트로 대체하여 출력시키는,
    명령 메뉴 출력 장치.
  14. 프로세서를 포함하는 명령 메뉴 출력 장치에 있어서,
    상기 프로세서는:
    조작 감지부가 사용자의 터치 입력을 감지하는 경우에 응답하여, 디스플레이에서 상기 터치 입력이 검출된 터치 지점을 지시하는 부분에 조작지시자를 출력시키고,
    상기 조작지시자에 기초하여 상기 디스플레이에 계층화된 명령 메뉴 중 상위 계층 메뉴를 지시하는 상위 그래픽 오브젝트를 출력시키며,
    상기 사용자의 터치 입력이 유지되는 동안, 상기 터치 지점이 이동되는 터치 이동 입력에 대응하여, 상기 조작지시자가 이동된 지점을 검출하고,
    상기 상위 계층 메뉴의 후보 상위 항목 중 상기 조작지시자가 이동된 지점에 대응하는 대상 상위 항목을 선택하며,
    상기 대상 상위 항목에 대응하는 하위 계층 메뉴를 지시하는 하위 그래픽 오브젝트를 상기 상위 그래픽 오브젝트로부터 확장하면서 출력시키고,
    상기 대상 상위 항목으로부터의 터치 이동 입력에 의해 상기 하위 계층 메뉴의 후보 하위 항목들 중 대상 하위 항목을 선택하며,
    상기 대상 하위 항목에 다음 하위 계층 메뉴가 매핑된 경우, 상기 다음 하위 계층 항목을 지시하는 그래픽 오브젝트를 출력하고,
    상기 터치 지점이 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 지점으로부터 해제되는 드랍 입력을 감지하며,
    상기 드랍 입력이 감지되는 경우에 응답하여, 상기 대상 하위 항목 및 상기 다음 하위 계층 항목 중 하나에 대응하는 동작을 실행하는,
    명령 메뉴 출력 장치.
PCT/KR2020/003877 2019-04-09 2020-03-20 명령 메뉴 출력 방법 Ceased WO2020209520A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20787642.6A EP3955100A4 (en) 2019-04-09 2020-03-20 METHOD OF EXITING A COMMAND MENU
CN202080027268.8A CN113678097B (zh) 2019-04-09 2020-03-20 命令菜单输出方法
US17/602,978 US11513662B2 (en) 2019-04-09 2020-03-20 Method for outputting command method
JP2021560642A JP2022528771A (ja) 2019-04-09 2020-03-20 命令メニュー出力方法
US17/971,083 US20230043168A1 (en) 2019-04-09 2022-10-21 Method for outputting command method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190041341 2019-04-09
KR10-2019-0041341 2019-04-09
KR1020190083089A KR102086578B1 (ko) 2019-04-09 2019-07-10 명령 메뉴 출력 방법
KR10-2019-0083089 2019-07-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/602,978 A-371-Of-International US11513662B2 (en) 2019-04-09 2020-03-20 Method for outputting command method
US17/971,083 Division US20230043168A1 (en) 2019-04-09 2022-10-21 Method for outputting command method

Publications (1)

Publication Number Publication Date
WO2020209520A1 true WO2020209520A1 (ko) 2020-10-15

Family

ID=70911958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003877 Ceased WO2020209520A1 (ko) 2019-04-09 2020-03-20 명령 메뉴 출력 방법

Country Status (6)

Country Link
US (2) US11513662B2 (ko)
EP (1) EP3955100A4 (ko)
JP (1) JP2022528771A (ko)
KR (1) KR102086578B1 (ko)
CN (1) CN113678097B (ko)
WO (1) WO2020209520A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114780195B (zh) * 2022-04-29 2024-02-13 济南浪潮数据技术有限公司 一种操作可视化方法、装置、设备及存储介质
GB202209690D0 (en) * 2022-07-01 2022-08-17 Kasekende Wilfred Menu navigation arrangement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
KR20090077597A (ko) * 2008-01-11 2009-07-15 성균관대학교산학협력단 메뉴 유저 인터페이스 제공 장치 및 방법
KR20140072731A (ko) * 2012-12-05 2014-06-13 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR101529886B1 (ko) * 2013-11-06 2015-06-18 김소훈 제스처 기반 3ｄ 그래픽 사용자 인터페이스 제공방법
KR20160038413A (ko) * 2014-09-30 2016-04-07 삼성전자주식회사 콘텐츠 탐색 장치 및 콘텐츠 탐색 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0201074D0 (en) * 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
EP1510911A3 (en) 2003-08-28 2006-03-22 Sony Corporation Information processing apparatus, information processing method, information processing program and storage medium containing information processing program
US7509348B2 (en) * 2006-08-31 2009-03-24 Microsoft Corporation Radially expanding and context-dependent navigation dial
WO2009158549A2 (en) * 2008-06-28 2009-12-30 Apple Inc. Radial menu selection
JP4632102B2 (ja) * 2008-07-17 2011-02-16 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR101004463B1 (ko) 2008-12-09 2010-12-31 성균관대학교산학협력단 터치 스크린의 드래그를 이용한 메뉴 선택을 지원하는 휴대용 단말 및 그 제어 방법
US20100185985A1 (en) * 2009-01-19 2010-07-22 International Business Machines Corporation Managing radial menus in a computer system
US8375329B2 (en) * 2009-09-01 2013-02-12 Maxon Computer Gmbh Method of providing a graphical user interface using a concentric menu
JP2011107823A (ja) * 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
US20130014053A1 (en) * 2011-07-07 2013-01-10 Microsoft Corporation Menu Gestures
US8707211B2 (en) * 2011-10-21 2014-04-22 Hewlett-Packard Development Company, L.P. Radial graphical user interface
US9875023B2 (en) * 2011-11-23 2018-01-23 Microsoft Technology Licensing, Llc Dial-based user interfaces
CN102541445A (zh) * 2011-12-08 2012-07-04 华为技术有限公司 交互方法及交互设备
KR102073601B1 (ko) * 2012-07-25 2020-02-06 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
HK1213661A1 (zh) * 2012-12-07 2016-07-08 优特设备有限公司 在多显示屏上应用工作流的协调
KR102107810B1 (ko) * 2013-03-19 2020-05-28 삼성전자주식회사 디스플레이 장치 및 그의 액티비티에 대한 정보 디스플레이 방법
US10037130B2 (en) * 2013-09-13 2018-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for improving visibility of the same
EP3074849A4 (en) * 2013-11-28 2017-05-10 Samsung Electronics Co., Ltd. A method and device for organizing a plurality of items on an electronic device
TWI530886B (zh) * 2015-01-29 2016-04-21 茂丞科技股份有限公司 具有操作於向量模式下的指紋感測器的電子設備
KR20160128739A (ko) * 2015-04-29 2016-11-08 삼성전자주식회사 디스플레이 장치 및 그의 유저 인터페이스 제공 방법
KR20170040706A (ko) * 2015-10-05 2017-04-13 삼성전자주식회사 한 손 조작 ui를 제공하는 전자 장치 및 방법
CN106648330B (zh) * 2016-10-12 2019-12-17 广州视源电子科技股份有限公司 人机交互的方法及装置
EP3385831A1 (en) * 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal
CN108399042B (zh) * 2018-01-31 2020-09-01 歌尔科技有限公司 一种触控识别方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
KR20090077597A (ko) * 2008-01-11 2009-07-15 성균관대학교산학협력단 메뉴 유저 인터페이스 제공 장치 및 방법
KR20140072731A (ko) * 2012-12-05 2014-06-13 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR101529886B1 (ko) * 2013-11-06 2015-06-18 김소훈 제스처 기반 3ｄ 그래픽 사용자 인터페이스 제공방법
KR20160038413A (ko) * 2014-09-30 2016-04-07 삼성전자주식회사 콘텐츠 탐색 장치 및 콘텐츠 탐색 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3955100A4 *

Also Published As

Publication number Publication date
US20230043168A1 (en) 2023-02-09
JP2022528771A (ja) 2022-06-15
CN113678097A (zh) 2021-11-19
US11513662B2 (en) 2022-11-29
KR102086578B1 (ko) 2020-05-29
EP3955100A1 (en) 2022-02-16
CN113678097B (zh) 2024-08-27
EP3955100A4 (en) 2023-01-25
US20220113848A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
WO2016171467A1 (en) Electronic device including rotary member and display method thereof
WO2019098797A1 (en) Apparatus and method for providing haptic feedback through wearable device
WO2015152487A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020017730A1 (ko) 분할 화면을 제공하기 위한 전자 장치 및 방법
WO2019103396A1 (en) Method for configuring input interface and electronic device using same
US20100026649A1 (en) Information processing apparatus and control method thereof
WO2018151449A1 (en) Electronic device and methods for determining orientation of the device
WO2019182403A1 (en) Method for supporting user input and electronic device supporting the same
WO2015088263A1 (ko) 터치 입력의 압력 상태에 따라 동작하는 전자 장치 및 그 방법
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2018004140A1 (ko) 전자 장치 및 그의 동작 방법
WO2016036135A1 (en) Method and apparatus for processing touch input
WO2016080596A1 (ko) 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
EP3000016A1 (en) User input using hovering input
CN104035722A (zh) 移动终端及其防止虚拟按键误操作的方法
WO2018084613A1 (en) Display operating method and electronic device supporting the same
WO2017091039A1 (ko) 사용자 입력을 획득하기 위한 방법 및 전자장치
WO2017150815A1 (ko) 디스플레이의 밝기를 제어하는 방법, 전자 장치 및 컴퓨터 판독가능 기록매체
WO2019054796A1 (en) INTERACTION ACTIVATION METHOD USING A DIGITAL FOOTPRINT ON A DISPLAY AND ASSOCIATED ELECTRONIC DEVICE
WO2018093053A1 (ko) 전자 장치 및 전자 장치의 화면 제공 방법
WO2020209520A1 (ko) 명령 메뉴 출력 방법
WO2020130688A1 (ko) 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
WO2018056715A1 (ko) 터치 패드 운용 방법 및 이를 지원하는 전자 장치
EP4370999A1 (en) Method and electronic device for providing control functionality of display
WO2023033570A1 (ko) 리모컨 및 그 리모컨의 키를 설정하는 디스플레이 장치와 그 방법들

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20787642

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021560642

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020787642

Country of ref document: EP

Effective date: 20211109