WO2022075644A1 - 리모트컨트롤 시스템 - Google Patents

리모트컨트롤 시스템 Download PDF

Info

Publication number
WO2022075644A1
WO2022075644A1 PCT/KR2021/013106 KR2021013106W WO2022075644A1 WO 2022075644 A1 WO2022075644 A1 WO 2022075644A1 KR 2021013106 W KR2021013106 W KR 2021013106W WO 2022075644 A1 WO2022075644 A1 WO 2022075644A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
unit
input
output
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/013106
Other languages
English (en)
French (fr)
Inventor
김병수
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to EP21877896.7A priority Critical patent/EP4227772A4/en
Priority to JP2022562133A priority patent/JP7457834B2/ja
Priority to MX2022016200A priority patent/MX2022016200A/es
Priority to CA3184971A priority patent/CA3184971A1/en
Priority to CN202180028762.0A priority patent/CN115398378A/zh
Priority to AU2021355988A priority patent/AU2021355988B2/en
Priority to US17/918,276 priority patent/US12399570B2/en
Publication of WO2022075644A1 publication Critical patent/WO2022075644A1/ko
Priority to ZA2023/00203A priority patent/ZA202300203B/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Definitions

  • the present invention relates to a remote control system, and more particularly, to a remote control system capable of executing or controlling an operation or function through a gesture.
  • the remote control method for conveniently operating these functions from a distance has not developed significantly compared to the number of various electronic devices and their functions are greatly increased.
  • the most used remote control method still has a button corresponding to each function on the remote controller, and when the button of the desired function is pressed, the electronic device receives the corresponding signal and the control unit recognizes it and executes the corresponding function. is executed with The method of using this button-type remote controller provides the best convenience when the remote controller has as many buttons as the number of functions provided, and the user easily selects and presses the button of the corresponding function.
  • buttons it was possible a long time ago when it had only a small number of functions, but in the time of technological development at the current rate, the method of using a button-type remote controller requires many buttons, so it becomes large and heavy, making it difficult to carry. In addition, it is difficult for the user to find and execute a desired function from among the numerous buttons, and convenience is lost. Judging from the current situation, it seems that the remote controller of the karaoke machine is the remote controller with the largest number of buttons that the user understands and can use commercially.
  • buttons and an OK button are introduced from the method of using a button-type remote controller, and to show the functions to be executed on the screen and to select and execute them.
  • buttons and an OK button are no buttons that directly responds to selecting and running a specific app from among multiple apps on the screen, playing or stopping a specific video, or making a purchase on TV home shopping, so there are four directions.
  • Korean Patent Laid-Open No. 10-2010-0131213 discloses a gesture-based remote control system.
  • the gesture-based remote control system includes a camera module 300 , an image recognition module 100 , a wireless transmitter 400 , and a main control electronic device 200 .
  • the image recognition module 100 is electrically connected to the camera module 300 .
  • the wireless transmitter 400 is electrically connected to the image recognition module 100 .
  • the main control electronic device 200 is detachably connected to the image recognition module 100 .
  • the main control electronics 200 includes a monitor 202 .
  • the motion control command is obtained by recognizing the user's image in the camera module 300 having the image recognition module 100 .
  • the key control command is obtained from the motion control command and key code information by the image recognition module 100 .
  • the key control command is transmitted to the wireless transmitter 400 by the image recognition module 100 .
  • the key control command is transmitted to the controlled electronic device by the wireless transmitter to control the controlled electronic device.
  • Patent Document 1 Korean Patent Publication No. 10-2010-0131213 (published on December 15, 2010)
  • an input unit and an output unit a storage unit for storing gesture information to be matched with respect to an input gesture
  • the input unit, the output unit or the storage unit and a control unit electrically connected to at least one of at least one to recognize and control the gesture operation, wherein the control unit recognizes a gesture input by the input unit, and stores the recognized gesture with the gesture information stored in the storage unit. They are matched with each other, and an operation corresponding to the matched gesture information is executed and outputted to an output unit.
  • control unit outputs information about a gesture to be input by the user to the output unit.
  • the control unit designates each gesture graphic for graphic objects for the purpose of executing a function output through the output unit, and receives information about the specified graphic objects and gesture graphics.
  • Gesture information to be matched with respect to the gesture input to the input unit is stored in the storage unit, and the graphic object includes each menu item output through the output unit, an app execution icon, a specific object or person in a streaming video, Targets all objects output on the output unit, including a character string, a part of the slide bar, a specific object or person in a picture or photo, and with respect to the gesture graphic, one gesture graphic consists of only one or more gestures, or It is characterized in that it consists of a combination of more than one number and one or more gestures.
  • control unit designates each gesture graphic for execution functions that are not specified through graphic objects for the purpose of executing the function output to the output unit, and includes the specified execution functions and It is characterized in that the information on the gesture graphics is stored in the storage unit as gesture information to be matched with the gesture input to the input unit.
  • control unit when a specific gesture is input, the control unit outputs all of the gesture graphics specified for all graphic objects for the purpose of executing a function currently output to the output unit to the output unit. characterized in that
  • the controller when a specific gesture is input, the controller includes all functions executable in the output situation of the current output unit among gesture graphics specified for execution functions not specified using a graphic object.
  • the mapping list for the designated gesture graphics is outputted to the output unit.
  • control unit outputs all of the gesture graphics designated for the graphic objects that are currently output to the output unit for the purpose of executing the function, together with the graphic objects, to the output unit. do.
  • control unit the graphic objects for the purpose of executing the function output through the output unit, gesture information for the gesture graphics designated thereto, and an execution function not specified using the graphic object It is characterized in that it installs, deletes, modifies, and updates gesture information for gestures and gesture graphics designated for them in real time through a server and a network, and stores the information in the storage unit.
  • control unit outputs the trajectory of each gesture operation input to the input unit to the output unit.
  • the gesture information stored in the storage unit includes an app gesture library that each app has and that is used to match recognized gestures when an app function is executed, and a system function that the system has.
  • an app gesture library that is used to match recognized gestures
  • each gesture library includes graphic objects for the purpose of executing a function output to the output unit and gesture graphics designated for it.
  • Visible gesture library for storing information about the gesture information as gesture information, and information about execution functions not specified through graphic objects for the purpose of executing functions outputted to the output unit and gesture graphics designated therefor It is characterized in that it consists of a hidden (Hidden) gesture library for storing the gesture information.
  • the control unit when the app is installed, the app execution icon output to the output unit and the gesture graphic designated next are registered in the system gesture library, and the app execution icon is designated
  • the gesture graphic is characterized by using the one specified by the app creator, the one recommended by the controller, or the one the user wants.
  • the controller uses the selected app gesture library when matching recognized gestures with each other, It is characterized in that the system gesture library is used when matching recognized gestures when not running or when one or more apps are running and none of them are selected.
  • the controller installs, deletes, modifies, and updates the app gesture library and the system gesture library in real time through a server and a network, and stores it in the storage unit.
  • the controller waits for a signal indicating that the multiple gesture input state is input to the output unit and a gesture input. After outputting the signal, the process of receiving input gestures one by one and continuously storing them in the storage unit is repeated. It is characterized in that it determines matching with the stored gesture information and executes an action.
  • the control unit when a specific gesture is designated as a plurality of gestures that are repeated two or more times with respect to the gesture graphic, the control unit outputs as many gestures as the number of gestures when outputting the specific gesture to the output unit. It is characterized by repeatedly outputting to the output unit or outputting only one gesture and outputting the number of repeated gestures as a subscript.
  • a transmitter located in the input unit for transmitting ON and OFF signals to a control unit, wherein the control unit is configured such that the transmitting device of the input unit is turned on without a gesture ) when the signal is transmitted, all of the gesture graphics specified for the graphic objects for the purpose of executing the function currently output to the output unit are outputted to the output unit, and the transmitting device continuously maintains the On signal without a gesture.
  • the control unit is configured such that the transmitting device of the input unit is turned on without a gesture ) when the signal is transmitted, all of the gesture graphics specified for the graphic objects for the purpose of executing the function currently output to the output unit are outputted to the output unit, and the transmitting device continuously maintains the On signal without a gesture.
  • a transmitting device located in the input unit and transmitting an On and Off signal to a control unit, wherein the control unit, the transmitting device of the input unit within a predetermined time without a gesture
  • the output unit outputs a signal notifying that a multiple gesture input state and a signal waiting for a gesture input are output, then receives the input gestures one by one and continues it in the storage unit
  • the process of storing is repeated, and when the transmitting device of the input unit transmits two on and off signals within a predetermined time again without a gesture, the plurality of gestures stored so far in the storage unit are stored in the stored gesture information and It is characterized by determining matching and executing an action.
  • a transmitter located in the input unit for transmitting on and off signals to the control unit, and a specific gesture with respect to the gesture graphic is turned on two or more times within a predetermined time.
  • the control unit turns on within a predetermined time before the specific gesture when outputting to the output unit It is characterized in that the number of times the and off signal is repeated is output as a number.
  • the controller determines the number of times the On and Off signals are repeated within the input predetermined time and the gesture to match the stored gesture information and executes the operation characterized in that
  • an app execution icon for the purpose of executing a function on the screen Gestures are designated for graphic objects such as a play button of a screening player, a purchase button of a home shopping broadcast, and the like. And, when the user makes a specific gesture, the gestures specified for the graphic objects, such as those exemplified above, are displayed on the screen. Through this, the user can know the gesture assigned to the graphic object on the screen to be executed. And, when the user takes one gesture among them, the function designated for the graphic object is executed. Through this, the present invention has the advantage of being able to select and execute a desired function on the screen more intuitively, easily and quickly than a PC mouse.
  • the function is improved once it is manufactured.
  • the remote control system that is fixed and cannot add new functions, it has the advantage of being able to assign new gestures to new functions at any time.
  • FIG. 1 is a block diagram of a remote control system according to an embodiment of the present invention.
  • Figure 2 is a configuration diagram showing that in the remote control system according to an embodiment of the present invention, the input unit is composed of a transmitter and a receiver.
  • FIG. 3 is a diagram showing information about a gesture to be input by a user is displayed on a screen in the remote control system according to an embodiment of the present invention
  • FIG. 4 is a diagram showing that gesture graphics are designated and displayed on graphic objects displayed on a screen in the remote control system according to an embodiment of the present invention
  • mapping list of gesture graphics designated for execution functions that are not designated using a graphic object on the screen in the remote control system according to an embodiment of the present invention.
  • FIG. 6 is a configuration diagram for installing, deleting, modifying, and updating gesture information through a server and a network in a remote control system according to an embodiment of the present invention
  • each gesture library is composed of a visible library unit and a hidden library unit. picture of being.
  • each app gesture library and system gesture library are installed, deleted, modified, and updated through respective servers and networks in the remote control system according to an embodiment of the present invention.
  • FIG. 1 is a conceptual block diagram of a remote control system 100 operated by a gesture according to an embodiment of the present invention.
  • the gesture information stored in the storage unit 130 is matched with each other, and an operation corresponding to the matched gesture information is executed and output to the output unit 120 .
  • the input unit 110 may be configured as a camera for receiving a gesture operation in the camera-based remote control system 100 according to an embodiment of the present disclosure, and when a person makes a gesture using a hand gesture, It captures this and receives the gesture input.
  • the input unit 110 may include a transmitter 111 for transmitting a gesture and a receiver 112 for receiving a transmitted signal.
  • the output unit 120 is a device for outputting after executing an operation corresponding to the matched gesture information to be described later, and any configuration is possible as long as it includes a device capable of outputting an image or an image.
  • the storage unit 130 is a device for storing gesture information to be matched with respect to an input gesture.
  • the controller 140 recognizes a gesture input to the input unit 110, matches the recognized gesture with the gesture information stored in the storage unit 130, determines and executes a corresponding operation, and performs a corresponding operation on the output unit It serves to control the overall process of outputting to 120.
  • control unit 140 outputs information about a gesture to be input by the user to the output unit 120 .
  • the biggest problem with the existing gesture-based remote control system is that the user must memorize all the gestures to execute the desired function. As the number of functions increases, the number of gestures to be remembered increases, and gestures are used for the convenience of the user. Therefore, the gesture-based remote control system has been used only to the extent that a gesture can be designated and used only for a small number of specific functions in an auxiliary manner.
  • the present invention proposes a solution by displaying information about a gesture for executing a desired function on the screen without the need for the user to memorize the gesture.
  • a gesture for executing a desired function on the screen without the need for the user to memorize the gesture.
  • apps there are many apps on the screen, and 1, 2, 3, a, b, c, A, B, and C are separately designated and displayed for each app.
  • 1, 2, 3, a, b, c, A, B, and C are examples of different gestures designated to run each app.
  • a gesture for executing a function desired by the user is provided on the screen, and when the user takes one of the gestures, a function corresponding to the gesture is executed. For example, in order to execute app2(310) in the figure of FIG. 3, if the user takes gesture 2(320), app2(310) is executed.
  • the controller 140 designates each gesture graphic for graphic objects for the purpose of executing a function output through the output unit 120, Information on gesture graphics is stored in the storage unit 130 as gesture information to be matched with a gesture input to the input unit 110, and the graphic object is each outputted through the output unit 120. All objects output on the output unit 120, including menu items, app execution icons, specific objects or people in the streaming video, character strings, a part of the slide bar, and specific objects or people in pictures or photos And, with respect to the gesture graphic, one gesture graphic is composed of only one or more gestures or a combination of one or more numbers and one or more gestures.
  • FIG. 4 numerous objects made of graphics such as pictures, app execution icons, texts, slide bars, directories, and people or things in a video are displayed on the screen.
  • execution functions corresponding to specific graphic objects among these graphic objects are determined.
  • a system maker, an app maker, or a content provider can designate a desired gesture to each of the graphic objects that execute this function. 4, numbers, Hangul letters, English alphabets, symbols, or a combination thereof are displayed as examples of respective gestures next to each graphic object. The user may execute a function corresponding to the corresponding graphic object by taking the corresponding gesture.
  • Another big problem in the existing remote control system is that it is not easy to select and execute a desired function from among numerous functions displayed on the screen as in the example of FIG. 4 .
  • the button-type remote control system which is the most used, is slow and user convenience is low because it is necessary to find and execute the desired function using the 4-way button and the OK button in order to respond to many functions.
  • the voice recognition method it is difficult to name and call each of the numerous functions on the screen first, and the accuracy and responsiveness have not yet reached a satisfactory level, and it is cumbersome to speak.
  • executing a function on the screen by moving the pointer on the screen in the same way as a 3D space mouse does not yet reach the user's desired responsiveness.
  • the gestures assigned to each graphic object are not just one gesture 410 and 420 for each graphic object.
  • a plurality of gestures 430 and 450 may be designated as necessary.
  • a multi-on-off gesture 440 in which a signal and a gesture are input together may be designated.
  • the gesture-based remote control system is intended to allow a user to easily and conveniently execute a function using a gesture. Due to this complex gesture, it may be difficult for the user to take a gesture or a situation in which the gesture recognition rate of the controller 140 decreases.
  • the present invention provides a combination of a plurality of simple and easy gestures using the plurality of gestures and Multi-On Off gestures described above, or a combination of Multi-On Off and gestures. It allows you to cover many functions with a small number of gestures.
  • the gesture graphic for displaying a designated gesture graphically on the screen is displayed as only one or more gestures (410, 420, 430) or a combination of one or more numbers and one or more gestures (440, 450). , so that multiple gestures and multi-on-off gestures can be displayed.
  • control unit 140 designates each gesture graphic for execution functions that are not specified through graphic objects for the purpose of executing the function output to the output unit 120, It is characterized in that the information on the specified execution functions and gesture graphics is stored in the storage unit 130 as gesture information to be matched with the gesture inputted to the input unit 110 .
  • the present invention does not use graphic objects on the screen, but designates each gesture graphic for necessary execution functions, and stores information on the specified execution functions and gesture graphics as gesture information in the storage unit 130 do
  • the user can directly designate the gesture graphics 530 and 540 without a graphic object for the function 510 for raising the sound or the function 520 for raising the TV channel.
  • the controller 140 controls all of the gesture graphics designated for the graphic objects that are currently output to the output unit 120 for the purpose of executing a function. It is characterized in that output to the output unit (120).
  • the present invention shows all gesture graphics designated for graphic objects for the purpose of executing a function on the current screen only when the user makes a specific gesture. That is, the user's convenience is enhanced by allowing the user to view the gesture graphics specified in the graphic objects on the screen only when the user wants them.
  • control unit 140 when a specific gesture is input, the control unit 140, among gesture graphics specified for execution functions that are not specified using a graphic object,
  • mapping list for functions executable in the output situation of the current output unit 120 and gesture graphics designated therefor is output to the output unit 120 .
  • the desired function may not be found among them.
  • the sound control function is a necessary function, but for this function, the app creator may not want to execute the graphic object by putting a graphic object on the screen and designating the gesture graphic.
  • the user takes a specific gesture as in the example of FIG. 5
  • all functions executable on the current screen standard and gestures designated respectively A list of mappings for graphics is displayed on the screen. For example, the user may see this mapping list, check the desired function and gesture, and then take the rightward gesture 530 to increase the sound.
  • control unit 140 graphically outputs to the output unit 120 all of the gesture graphics designated for graphic objects for the purpose of executing a function currently output to the output unit 120 . It is characterized in that it is output together with objects.
  • the control unit 140 generates the graphic objects for the purpose of executing the function output through the output unit 120 and the gesture information for the gesture graphics designated thereto and the graphic object. It installs, deletes, modifies, updates, and stores in the storage unit 130 in real time through the server 150 and the network 160 , gesture information for the execution functions not specified by using and the gesture graphics specified for it. characterized in that
  • the present invention enables installation, deletion, modification, and update of the gesture information in real time through the server 150 and the network 160, as shown in the example of FIG. 6, so that if a new function is added to the system If it is, a new gesture graphic is designated accordingly and information about it is stored in the storage unit 130 .
  • control unit 140 outputs the trajectory of each gesture operation input to the input unit 110 to the output unit 120 .
  • the control unit 140 may display the trajectory display of the gesture operation input to the input unit 110 on the output unit 120 as an overlay. The user can view this trajectory display and adjust it by estimating the sensitivity of the gesture action.
  • the gesture information stored in the storage unit 130 includes an app gesture library 710 that each app has and is used to match recognized gestures when the function of the app is executed;
  • the system has and consists of a system gesture library 720 that is used to match recognized gestures when the system functions are executed, and each of the gesture libraries 710 and 720 is output to the output unit 120 Visible gesture library units 711 and 721 for storing information on graphic objects for the purpose of executing a function and gesture graphics designated therefor as gesture information, and a function outputted to the output unit 120
  • It is characterized in that it is composed of hidden gesture library units 712 and 722 that store information about execution functions that are not specified through graphic objects for execution and gesture graphics designated for this as gesture information.
  • the app gesture library 710 of each app and the system It is divided into a gesture library 720, and each of the gesture libraries 710 and 720 uses the visible gesture library units 711 and 721 based on the graphic object shown on the screen and the graphic object shown on the screen. It is composed of hidden gesture library units 712 and 722 based on non-executive functions.
  • the controller 140 registers the app execution icon output to the output unit 120 and the gesture graphic designated next to the system gesture library 720 .
  • the gesture graphic designated for the app launch icon is characterized by using the one designated by the app creator, the one recommended by the controller 140, or the one the user wants.
  • the installed app itself is an app on the system, and when the app is installed, the app execution icon displayed on the system screen is only a graphic object for the purpose of executing a function on the system screen. Therefore, when the app is installed, the graphic object and gesture graphic accompanying it are registered in the system gesture library 720, and the designated gesture graphic means that the app creator uses its own gesture in the case of a famous brand producer or broadcaster. you may want For example, CNN, a famous broadcaster, can create a news app and make its app's gesture graphics look similar to English CNN with its own multiple gestures. However, in a specific case, a plurality of gestures having a shape similar to the CNN may already be registered in the user's system gesture library 720 . In this way, when a new gesture graphic is installed and designation becomes impossible because there is a predefined gesture graphic, the controller 140 may recommend another gesture. And, also, the user can designate and use the gesture graphic he or she wants.
  • the controller 140 selects the selected app gesture library 710 when matching recognized gestures with each other. and when no app is executed or no app is selected among them even when one or more apps are executed, the system gesture library 720 is used to match recognized gestures with each other.
  • the present invention consists of an app gesture library 710 created, executed, and managed by each app creator for gesture information management, and a system gesture library 720 created, executed, and managed by a system creator.
  • the present invention has increased the user's convenience by showing and selecting many gestures on the screen so that functions can be executed quickly, easily, and conveniently. Conflict) occurs.
  • Each of the app gesture library 710 and the system gesture library 720 will be able to manage the occurrence of gesture conflicts while the respective app makers and system makers develop their own SW programs. If a gesture conflict occurs inside the gesture libraries 710 and 720, it is discovered through the same steps as compiling during SW development, and since this is a bug, it can be corrected. However, if a single gesture exists in the app gesture library 710 and the system gesture library 720 at the same time, this may be a problem. In addition, convenient and easy gestures are frequently used in any of the gesture libraries 710 and 720, so the probability that a gesture conflict will occur will be higher.
  • the present invention divides a case in which each app is executed and a case in which the system is executed, and when mutual matching for an input gesture, each gesture library 710, 720 is an app or a system It prevents gesture conflict by allowing its own gesture libraries 710 and 720 to be used only when its own function is executed.
  • the controller 140 installs, deletes, modifies, updates the app gesture library 710 and the system gesture library 720 in real time through the server 150 and the network 160 . And it is characterized in that it is stored in the storage unit (130).
  • each app maker and system maker install, delete, modify, and update their gesture libraries 710 and 720 in real time using each server 150 and network 160 , respectively. It may be stored in the storage unit 130 .
  • an app creator can independently operate an app with their own functions using their own gesture library 710 .
  • the app gesture library 710 can be updated in real time to specify a gesture graphic to say that there is a surprise special discount on a product that appears on the screen during real-time broadcasting, and the viewer can watch the real-time broadcast. If you simply take a specific gesture while watching, as described above, all gesture graphics currently available on the screen are displayed. information can be viewed.
  • a news company when a news company conducts a real-time survey during broadcasting in real time, it updates the app gesture library 710 in real-time to show various options that can be selected from the real-time survey on the screen and gesture graphics designated for it, and You can choose an option, and even in a situation where you exchange with viewers in real time, you can use various gesture graphics to conduct interactive broadcasts with viewers easily and conveniently.
  • the controller 140 when a specific gesture is input to the input unit 110 and the gesture is determined to be a multiple gesture input signal, the controller 140 inputs multiple gestures to the output unit 120 . After outputting a signal indicating a state and a signal waiting for a gesture input, the process of receiving input gestures one by one and continuously storing them in the storage unit 130 is repeated. , it is characterized in that the plurality of gestures stored so far in the storage unit 130 are determined to match the stored gesture information, and the operation is executed.
  • the present invention can receive not only a single gesture, but also a plurality of gestures.
  • a specific gesture graphic is composed of a plurality of gestures and assigned to a specific graphic object
  • the user must input a plurality of gestures to the input unit 110 to execute a function corresponding to the graphic object, and the control unit 140 ) should be able to receive, recognize, and match a plurality of gestures with stored gesture information.
  • the controller 140 In order to receive a plurality of gestures, the controller 140 does not immediately execute a gesture as soon as it receives one gesture as in a normal situation, but must wait for more incoming gestures. To this end, when a specific gesture is taken, a plurality of gesture inputs can be received, displayed step by step on the screen, and the user has to wait until the user finishes inputting a plurality of gestures one by one. When the user makes a specific gesture to inform that there is no additional gesture input, the controller 140 adds up all gestures stored up to now to match the stored gesture information.
  • the controller 140 when a specific gesture is designated as a plurality of gestures repeated two or more times with respect to the gesture graphic, the controller 140 outputs the specific gesture to the output unit 120 . , it is characterized in that it is possible to repeatedly output as many gestures as the number of gestures to the output unit 120, or output only one gesture and output the number of times repeated as a subscript.
  • the gesture graphic When the gesture graphic is displayed on the screen, if all gestures are displayed one by one in order to display a plurality of gestures, the gesture graphic display becomes long and may appear overlapping with a nearby graphic object.
  • the gesture graphic The mark may be a short mark, and it may be an interesting point.
  • the control unit 140 includes the input unit 110 .
  • the transmitter of the transmitter transmits an On signal without a gesture
  • all of the gesture graphics specified for the graphic objects that are currently output to the output unit 120 for the purpose of executing the function are outputted to the output unit 120
  • the transmitter continuously maintains the On signal without a gesture the gesture graphics are maintained on the output unit
  • the transmitter transmits the Off signal the output gesture graphics are displayed on the output unit It is characterized in that it disappears at (120).
  • the transmitter located in the input unit 110 and transmitting on and off signals to the control unit 140 is a button, a switch, an optical type button, a magnetic field type button, and a touch button. Any device that can generate On and Off signals, such as a touchpad, joystick, touch panel, and touch screen, can be used.
  • the input unit 110 may be composed of a transmitter 111 including a button and a receiver 112 for receiving the content to be transmitted.
  • gestures may also be cumbersome.
  • the button is pressed once without a gesture (On)
  • all gesture graphics assigned to all graphic objects for the purpose of executing a function in the current screen situation are displayed on the screen.
  • all gesture graphics are continuously displayed on the screen while the button is kept pressed (On), and when the button is released (Off), all gesture graphics on the screen disappear.
  • the graphic object on the screen and the gesture graphic display function designated for it will be a very frequently used function.
  • the single button press which is the simplest operation, to this function, the user's convenience can be maximized. This will be more convenient and faster than voice recognition using words.
  • the transmitter transmits the On and Off signals twice within a certain period of time without a gesture, it outputs to the output unit 120 a signal indicating that the multiple gesture input state and a signal waiting for a gesture input, and then input
  • the process of receiving the gestures to be input one by one and continuously storing them in the storage unit 130 is repeated. It is characterized in that the plurality of gestures stored so far in the storage unit 130 are determined to match the stored gesture information, and the operation is executed.
  • the input unit 110 may be composed of a transmitter 111 including a button and a receiver 112 for receiving the content to be transmitted. From the user's point of view, gestures may also be cumbersome. The start and end of the plurality of gesture inputs are notified to the controller 140 by double-clicking. If multiple gesture designation becomes a lot of gesture graphics, it will be a very convenient function for users.
  • the input unit 110 includes a transmitting device that transmits ON and OFF signals to the control unit, and a specific gesture with respect to the gesture graphic is performed 2 within a predetermined time.
  • a transmitting device that transmits ON and OFF signals to the control unit, and a specific gesture with respect to the gesture graphic is performed 2 within a predetermined time.
  • the control unit 140 when outputting to the output unit 120, the specific gesture It is characterized in that the number of times the on and off signals are repeated within a predetermined time in front is output as a number.
  • a number is displayed in front of the gesture (440).
  • the controller 140 stores the number of times the On and Off signals are repeated within the input predetermined time and the gesture stored therein. It is characterized by determining matching information and executing an action.
  • a specific gesture graphic is designated as a multi-on-off gesture
  • the user must input this multi-on-off gesture to the input unit 110, and the control unit 140 It should be able to receive input, recognize it, and determine whether it is mutually matching with the stored gesture information. The number of times the on and off signals are repeated within the input predetermined time and the gesture are determined to match the stored gesture information, and the operation is executed.
  • control unit 140 control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)

Abstract

본 발명은 리모트컨트롤 시스템에 관한 것으로, 보다 상세하게는 제스처를 통해 동작이나 기능을 실행하거나 제어할 수 있는 리모트컨트롤 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 제스처에 의해 작동하는 리모트컨트롤 시스템에 있어서, 입력부 및 출력부와, 입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부와, 상기 입력부, 출력부 또는 저장부 중 적어도 하나와 전기적으로 연결되어, 상기 제스처 동작을 인식하고 제어하는 제어부를 포함하며, 상기 제어부는, 상기 입력부에 의해 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부에 저장된 제스처 정보와 상호 매칭하고, 상기 매칭된 제스처 정보에 대응되는 동작을 실행하고 출력부로 출력한다. {대표도} 도 1

Description

리모트컨트롤 시스템
본 발명은 리모트컨트롤 시스템에 관한 것으로, 보다 상세하게는 제스처를 통해 동작이나 기능을 실행하거나 제어할 수 있는 리모트컨트롤 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
최근 기술이 발전하면서 스마트 TV, 스마트폰, AR, VR기기와 양방향 게임기, 스마트가전, 스마트 홈 오토메이션, 자동차의 스마트화와 전장화 등 열거하기 힘들 정도로 다양한 분야에서 수 많은 전자기기들이 나오고 있고, 또한 그와 더불어 매우 다양하고 수 많은 기능들을 제공하고 있다.
그러나, 다양하고 수 많은 전자기기들과 그들의 기능들이 매우 많이 늘어나는 것에 비해서 이 기능들을 원거리에서 편하게 작동을 시키는 리모트콘트롤 방식은 크게 발전하지 못하고 있다. 아직까지도 가장 많이 이용되는 리모트컨트롤 방식은 리모트콘트롤러에 각 기능에 대응되는 버튼이 있고, 원하는 기능의 버튼을 누르게 되면, 그에 대응되는 신호를 전자기기가 수신하고 제어부가 인지하여 해당 기능을 실행시키는 방식으로 실행된다. 이 버튼식 리모트콘트롤러를 이용하는 방식은 제공하는 기능 수만큼의 버튼을 리모트콘트롤러에 구비하고 사용자가 쉽게 해당 기능의 버튼을 선택해서 누를 때 가장 좋은 편의성을 제공하게 된다. 그러나, 오래 전 옛날 적은 수의 기능만을 가졌을 때는 그것이 가능했지만, 지금과 같은 속도의 기술발전의 시기에서는 버튼식 리모트콘트롤러를 이용하는 방식은 수 많은 버튼을 구비해야 하므로 커지고 무거워지면서 휴대하기가 어려워지고, 또한, 사용자가 수 많은 버튼 속에서 원하는 기능을 찾아서 실행시키는 것은 어려운 일이 되어 편의성을 잃게 된다. 현재까지의 상황으로 보면, 그나마 노래방기계의 리모트콘트롤러가 사용자가 이해하고 상업적으로 이용할 수 있는 가장 많은 수의 버튼을 가지는 리모트콘트롤러로 보인다.
그래서, 이를 극복하기 위해서 버튼식 리모트콘트롤러를 이용하는 방식에서 도입한 것이 4방향의 버튼과 확인버튼을 도입하고, 실행할 기능들을 화면에 보여주고 선택과 실행하게 하는 것이다. 예를 들자면, 현재 스마트 TV의 경우, 화면상의 여러 앱 중에서 특정 앱을 선택해서 실행시키거나, 특정 동영상을 재생, 정지시키거나, TV 홈쇼핑에서 구매를 하는 경우에 바로 대응되는 버튼이 없으므로, 4방향의 버튼으로 화면상에 표시된 기능을 찾아가서 선택하고 확인버튼을 눌러서 실행을 시키는 것이다.
그러나, 이 4방향 버튼을 많이 계속해서 누르고, 최종적으로 선택하고 확인버튼을 누르는 자체가 이미 사용자의 편의성을 낮추고 있는 것이다. 게다가, 앞으로 기능이 더 추가가 될수록 화면상의 기능을 찾아가기 위해서 사용자는 더욱 더 4방향 화살표버튼과 확인버튼을 많이 누르게 될 것이고, 이에 따라 사용자 편의성은 더 낮아질 것이다.
최근에는 리모트콘트롤러 대신에, 음성인식이나 3차원 공간마우스와 같은 방식도 시도되고 있으나, 음성인식의 경우 아직까지도 원하는 만큼의 인식률과 빠른 응답성이 보이지 않고 있으며, 사실, 음성으로 명령해서 실행을 시키는 것 자체도 귀찮은 것이기도 하다. 그리고, 3차원 공간마우스와 같은 경우, PC 마우스와 같이 빠르고 정확하게 선택하고 실행하는 응답성을 보여주지 못하고 있어서 크게 상용화가 되지 못하고 있다.
따라서, 현재 뿐만 아니라 앞으로 기술발전을 통해서 만들어질 수 많은 기능들을 원거리에서 편하고 쉽게 실행하면서도 동시에 빠른 반응성을 가지는 사용자의 편의성이 증대된 새로운 리모트콘트롤 시스템의 필요성이 대두되고 있다.
이에 관련하여, 대한민국 공개특허 제10-2010-0131213호에서는, 제스쳐-기반의 리모트콘트롤 시스템을 개시한다. 상기 제스쳐-기반의 리모컨 시스템은 카메라 모듈(300), 이미지 인식 모듈(100), 무선 송신기(400) 및 메인 제어 전자기기(200)를 포함한다. 이미지 인식 모듈(100)은 카메라 모듈(300)에 전기적으로 연결된다. 무선 송신기(400)는 이미지 인식 모듈(100)에 전기적으로 연결된다. 메인 제어 전자 기기(200)는 이미지 인식 모듈(100)에 분리 가능하도록 연결된다. 메인 제어 전자 기기(200)는 모니터(202)를 포함한다. 모션 제어 명령은 이미지 인식 모듈(100)을 갖는 카메라 모듈(300) 내에서 사용자의 이미지를 인식함에 의하여 얻어진다. 키 제어 명령은 이미지 인식 모듈(100)에 의하여, 상기 모션 제어 명령 및 키 코드 정보로부터 얻어진다. 상기 키 제어 명령은 이미지 인식 모듈(100)에 의하여 무선 송신기(400)로 전송된다. 상기 키 제어 명령은 상기 피제어 전자 기기를 제어하기 위하여, 상기 무선 송신기에 의해 피제어 전자 기기로 전송된다.
{선행기술문헌}
[특허문헌]
(특허문헌 1) 1. 한국 특허공개 제10-2010-0131213호(2010.12.15 공개)
제스처를 이용하여 전자기기의 수 많은 기능을 원거리에서 편하고 쉽게 실행하면서도 동시에 빠른 반응성을 가지는 사용자의 편의성이 증대된 새로운 리모트콘트롤시스템을 제공하고자 한다.
또한, 상술한 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있음은 자명하다.
본 발명의 일 실시예에 따른 제스처에 의해 작동하는 리모트컨트롤 시스템에 있어서, 입력부 및 출력부와, 입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부와, 상기 입력부, 출력부 또는 저장부 중 적어도 하나와 전기적으로 연결되어, 상기 제스처 동작을 인식하고 제어하는 제어부를 포함하며, 상기 제어부는, 상기 입력부에 의해 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부에 저장된 제스처 정보와 상호 매칭하고, 상기 매칭된 제스처 정보에 대응되는 동작을 실행하고 출력부로 출력한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 사용자가 입력할 제스처에 대한 정보를 상기 출력부에 출력하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 출력부를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 그래픽객체들과 제스처그래픽들에 대한 정보를 상기 입력부에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부에 저장하며, 상기 그래픽객체는, 상기 출력부를 통해 출력되는 각각의 메뉴항목, 앱 실행아이콘, 스트리밍되고 있는 동영상속의 특정 사물이나 사람, 문자열, 슬라이드 바의 한 부분, 그림이나 사진 속의 특정 사물이나 사람을 포함하며 출력부상에 출력되는 모든 객체들을 대상으로 하고, 상기 제스처그래픽에 대하여, 하나의 제스처그래픽은 하나 이상의 제스처만으로 구성되거나 혹은 하나 이상의 숫자와 하나 이상의 제스처의 조합으로 구성되는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 출력부에 출력된 기능 실행을 목적으로 하는 그래픽객체들을 통해서 지정되지 않는 실행 기능들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 실행기능들과 제스처그래픽들에 대한 정보를 상기 입력부에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부에 저장하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정 제스처가 입력이 되면, 현재 출력부에 출력되어 있는 기능 실행을 목적으로 하는 모든 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부에 출력하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정 제스처가 입력이 되면, 그래픽객체를 이용해서 지정되지 않는 실행 기능들에 대해 지정된 제스처그래픽들 중에서, 현재 출력부의 출력상황에서 실행 가능한 모든 기능들과 이에 대해 지정된 제스처그래픽들에 대한 맵핑 리스트를 출력부에 출력하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 현재 출력부에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부에 그래픽객체들과 같이 출력하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 출력부를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들과 이에 대해 지정된 제스처그래픽들에 대한 제스처 정보와 상기 그래픽객체를 이용해서 지정되지 않는 실행기능들과 이에 대해 지정된 제스처그래픽들에 대한 제스처 정보를 서버와 네트워크를 통해서 실시간으로 설치, 삭제, 수정, 업데이트 하고 상기 저장부에 저장하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 입력부에 입력되는 각각의 제스처 동작의 궤적을 상기 출력부에 출력을 하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 저장부에 저장되는 제스처 정보는, 각각의 앱이 가지며 앱의 기능이 실행될 때, 인식된 제스처를 상호 매칭할 때 이용하는 앱 제스처라이브러리와, 시스템이 가지며 시스템의 기능이 실행될 때, 인식된 제스처를 상호 매칭할 때 이용하는 시스템 제스처라이브러리로 구성되며, 상기 각각의 제스처라이브러리는, 상기 출력부에 출력되는 기능 실행을 목적으로 하는 그래픽객체들과 이에 대해 지정된 제스처그래픽들에 대한 정보를 제스처 정보로 저장하는 비지블(Visible) 제스처라이브러리부와, 상기 출력부에 출력되는 기능 실행을 목적으로 하는 그래픽객체들을 통해서 지정되지 않는 실행 기능들과 이에 대해 지정된 제스처그래픽들에 대한 정보를 제스처 정보로 저장하는 히든(Hidden) 제스처라이브러리부로 구성되는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 앱이 설치될 때, 상기 출력부에 출력되는 앱 실행아이콘과 이어 지정되는 제스처그래픽은 시스템 제스처라이브러리에 등록이 되며, 이 앱 실행아이콘에 지정되는 제스처그래픽은 앱 제작자가 지정한 것을 사용하거나 제어부가 추천하는 것을 사용하거나 혹은 사용자가 원하는 것을 사용하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 하나 이상의 앱이 실행되고 그 중에서 현재 하나의 앱이 선택이 되어 있는 경우, 인식된 제스처를 상호 매칭할 때 선택된 앱 제스처라이브러리를 이용하고, 앱이 하나도 실행되지 않거나 하나 이상의 앱이 실행 되었어도 그 중에서 아무 앱도 선택이 되지 않은 경우, 인식된 제스처를 상호 매칭할 때 시스템 제스처라이브러리를 이용하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 앱 제스처라이브러리와 시스템 제스처라이브러리를 서버와 네트워크를 통해서 실시간으로 설치, 삭제, 수정, 업데이트 하고 상기 저장부에 저장하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 입력부에 특정 제스처가 입력이 되고, 이 제스처가 복수제스처 입력신호로 판단이 되면, 상기 출력부에 복수제스처 입력상태임을 알리는 신호와 제스처 입력을 기다리는 신호를 출력한 후, 입력되는 제스처를 하나씩 입력받아 상기 저장부에 계속 저장하는 과정을 반복하며, 입력된 제스처가 복수제스처 입력종료 신호로 판단이 되면, 상기 저장부에 지금까지 저장된 복수개의 제스처를 저장된 제스처 정보와 매칭판단하고 동작을 실행하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제스처그래픽에 대하여 특정 제스처가 2회 이상 반복되는 복수의 제스처들로 지정된 경우, 상기 제어부는, 상기 특정 제스처를 상기 출력부에 출력할 때, 제스처 숫자만큼 제스처들을 반복해서 출력부에 출력하거나 혹은 하나의 제스처만 출력하고 반복되는 제스처 횟수 숫자를 첨자로 출력하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 제어부는, 상기 입력부의 송신장치가 제스처 없이 온(On)신호를 송신하면 현재 출력부에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부에 출력하고, 상기 송신장치가 계속 제스처 없이 온(On)신호를 유지하면, 상기 제스처그래픽들이 출력부에 출력된 상태를 유지하며, 송신장치가 오프(Off)신호를 송신하면, 상기 출력된 제스처그래픽들이 출력부에서 사라지는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 제어부는, 상기 입력부의 송신장치가 제스처 없이 일정 시간 이내에 2회의 온(On)과 오프(Off) 신호를 송신하면, 상기 출력부에 복수제스처 입력상태임을 알리는 신호와 제스처 입력을 기다리는 신호를 출력한 후, 입력되는 제스처를 하나씩 입력받아 상기 저장부에 계속 저장하는 과정을 반복하며, 상기 입력부의 송신장치가 제스처 없이 다시 일정 시간 이내에 2회의 온(On)과 오프(Off) 신호를 송신하면, 상기 저장부에 지금까지 저장된 복수개의 제스처를 저장된 제스처 정보와 매칭 판단하고 동작을 실행하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 제스처그래픽에 대하여 특정제스처가 일정 시간 이내에 2회 이상의 온(On)과 오프(Off) 신호와 함께 송신되는 멀티온오프(Multi-On Off) 제스처로 지정된 경우, 상기 제어부는, 상기 출력부에 출력할 때, 상기 특정제스처 앞에 일정 시간 이내에 온(On)과 오프(Off) 신호가 반복되는 횟수를 숫자로 출력하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 입력부에 일정시간 이내에 2회 이상의 온(On)과 오프(Off) 신호와 함께 제스처가 입력되는 경우, 상기 제어부는, 상기 입력된 일정시간 이내에 온(On)과 오프(Off) 신호가 반복된 횟수와 제스처를 저장된 제스처 정보와 매칭 판단하고 동작을 실행하는 것을 특징으로 한다.
본 발명의 실시 예에 의하면, 종래의 리모트컨트롤 시스템에서와 달리, 사용자가 원하는 기능에 대해서 직관적이면서도 쉽고 빠른 선택과 실행이 가능하게 하기 위해서 화면상에 있는 기능 실행을 목적으로 하는 앱 실행아이콘, 동상영 플레이어의 플레이 버튼, 홈쇼핑방송의 구매하기 버튼등과 같은 그래픽객체들에 대하여 각각의 제스처들을 지정한다. 그리고, 사용자가 특정 제스처를 취하면, 상기 예를 든 것과 같은 그래픽객체들에 지정된 제스처들을 화면상에 표시를 해준다. 이를 통해서 사용자는 실행하려는 화면상의 그래픽객체에 지정된 제스처를 알 수 있다. 그리고, 사용자가 그 중에서 하나의 제스처를 취하면 해당 그래픽객체에 지정이 되어 있는 기능이 실행이 된다. 이를 통해서 본 발명은 PC 마우스보다 더 직관적이면서 쉽고 빠르게 화면상의 원하는 기능을 선택하고 실행을 할 수 있는 장점을 가진다.
그리고, 추가적으로, 앱 제작자나 콘텐트 공급자(Content Provider)나 시스템 제작자등이 서버와 네트워크를 통해서 지정되는 제스처들을 실시간으로 설치, 삭제, 추가, 업데이트등을 가능하게 함으로써, 기존의 한 번 제조되면 기능이 고정되어 새로 기능을 추가 시킬 수 없는 리모트콘트롤 시스템과 달리, 언제든지 새로운 기능에 새로운 제스처 지정을 할 수 있는 장점을 가진다.
또한, 버튼을 포함하는 송신기를 구성하는 경우, 수많은 제스처를 각 상황마다 유연하게 사용할 수 있으므로 최소의 버튼으로 구성해도 사용자의 편의성을 잃지 않는 장점이 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 리모트컨트롤 시스템의 구성도.
도 2는 본 발명의 일 실시예에 따른 리모트컨트롤 시스템에 있어서, 입력부가 송신기와 수신기로 이루어지는 것을 보여주는 구성도.
도 3은 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 사용자가 입력할 제스처에 대한 정보를 화면상에 표시한 것을 보여주는 그림.
도 4는 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 화면상에 표시된 그래픽객체들에 제스처그래픽들이 지정되고 표시되어 있는 것을 보여주는 그림.
도 5는 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 화면상의 그래픽객체를 이용해서 지정되지 않는 실행 기능들에 대해서 지정된 제스처그래픽들의 맵핑리스트.
도 6은 본 발명의 일 실시예에 따른 리모트컨트롤 시스템에 있어서, 제스처 정보를 서버와 네트워크를 통해서 설치, 삭제, 수정, 업데이트 하는 것에 대한 구성도.
도 7은 본 발명의 일 실시예에 따른 리모트컨트롤 시스템에 있어서, 앱과 시스템이 각각의 제스처라이브러리를 가지며, 또한, 각각의 제스처라이브러리는 비지블(Visible) 라이브러리부와 히든(Hidden) 라이브러리부로 구성되는 것에 대한 그림.
도 8은 본 발명의 일 실시예에 따른 리모트컨트롤 시스템에 있어서, 각각의 앱 제스처라이브러리와 시스템 제스처라이브러리가 각각의 서버와 네트워크를 통해서 설치, 삭제, 수정, 업데이트하는 상황을 도시한 그림.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 리모트컨트롤 시스템의 구성, 동작 및 작용효과에 대하여 살펴본다. 참고로, 이하 도면에서, 각 구성요소는 편의 및 명확성을 위하여 생략되거나 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 반영하는 것은 아니다. 또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭하며 개별 도면에서 동일 구성에 대한 도면 부호는 생략하기로 한다.
도1은 본 발명의 일 실시 예에 따른 제스처에 의해 작동하는 리모트컨트롤 시스템(100)의 개념적인 구성도이다. 입력부(110) 및 출력부(120)와, 입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부(130)와, 상기 입력부(110), 출력부(120) 또는 저장부(130) 중 적어도 하나와 전기적으로 연결되어, 상기 제스처 동작을 인식하고 제어하는 제어부(140)를 포함하며, 상기 제어부(140)는, 상기 입력부(110)에 의해 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부(130)에 저장된 제스처 정보와 상호 매칭하고, 상기 매칭된 제스처 정보에 대응되는 동작을 실행하고 출력부(120)로 출력한다.
상기 입력부(110)는 본 개시 내용의 일 실시 예에 따른 카메라 기반의 리모트콘트롤 시스템(100)에서 제스처 동작을 입력 받기 위한 카메라로 구성이 될 수 있으며, 사람이 손동작을 이용해서 제스처를 취하면, 이를 캡쳐해서 제스처를 입력 받는다.
또 다른 실시 예에 따른 리모트콘트롤 시스템(100)에서 도2와 같이 상기 입력부(110)는 제스처를 송신하는 송신기(111)와 송신한 신호를 수신하는 수신기(112)로 구성될 수 있다.
상기 출력부(120)는 후술하는 매칭된 제스처 정보에 대응되는 동작을 실행하한 후 출력하기 위한 장치로서, 이미지나 영상을 출력할 수 있는 장치를 포함하는 구성이면 그 어떤 구성도 가능하다.
상기 저장부(130)는 입력되는 제스처에 대해 상호 매칭할 제스처 정보를 저장하는 장치이다.
그리고, 제어부(140)는 입력부(110)에 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부(130)에 저장되어 있는 제스처 정보와 상호 매칭하고 판단하여 대응되는 동작을 실행하고 출력부(120)에 출력하는 전체적인 과정을 제어하는 역할을 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 사용자가 입력할 제스처에 대한 정보를 상기 출력부(120)에 출력하는 것을 특징으로 한다.
기존의 제스처 기반의 리모트콘트롤 시스템의 가장 큰 문제는 사용자가 원하는 기능을 실행시키기 위한 제스처를 모두 기억하고 있어야만 하는 것이다. 기능이 많아지면 더 많아질수록 기억해야 할 제스처는 더욱 더 늘어날 수 밖에 없고, 사용자의 편의를 위해서 제스처를 이용하는 것인데 오히려 기능이 많아질수록, 사용자의 편의성은 더 떨어지게 된다. 따라서, 그 동안 제스처 기반의 리모트콘트롤 시스템은 보조적인 방식으로 적은 수의 특정한 기능들에 대해서만 제스처를 지정해서 이용할 수 있는 정도로만 이용되어 왔다.
이러한 문제점에 대하여 본 발명은 사용자가 제스처를 기억할 필요 없이 원하는 기능을 실행시키기 위한 제스처에 대한 정보를 화면상에 표시를 해줌으로써 해결책을 제시한다. 도3의 예시를 보면, 화면상에 많은 앱들이 있고, 각 앱마다 1, 2, 3, ㄱ, ㄴ, ㄷ, A, B, C 가 별도로 지정되고 표시되어 있다. 이 1, 2, 3, ㄱ, ㄴ, ㄷ, A, B, C는 각각의 앱을 실행시키기 위해서 지정된 각각의 서로 다른 제스처 예시들이다.
사용자가 원하는 기능을 실행할 수 있는 제스처를 화면상에 제공하고 사용자가 그 중의 한 제스처를 취하면 그 제스처에 대응되는 기능을 실행하게 하는 것이다. 예를 들면, 도3 그림 속의 app2(310)를 실행시키기 위해서 사용자는 제스처 2(320)를 취하면 app2(310)가 실행이 된다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 출력부(120)를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 그래픽객체들과 제스처그래픽들에 대한 정보를 상기 입력부(110)에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부(130)에 저장하며, 상기 그래픽객체는, 상기 출력부(120)를 통해 출력되는 각각의 메뉴항목, 앱 실행아이콘, 스트리밍되고 있는 동영상속의 특정 사물이나 사람, 문자열, 슬라이드 바의 한 부분, 그림이나 사진 속의 특정 사물이나 사람을 포함하며 출력부(120)상에 출력되는 모든 객체들을 대상으로 하고, 상기 제스처그래픽에 대하여, 하나의 제스처그래픽은 하나 이상의 제스처만으로 구성되거나 혹은 하나 이상의 숫자와 하나 이상의 제스처의 조합으로 구성되는 것을 특징으로 한다.
도4의 예시와 같이, 화면상에 그림, 앱 실행아이콘, 텍스트, 슬라이드 바, 디렉토리, 동영상 속의 사람이나 사물 등의 그래픽으로 만들어진 수 많은 객체들이 표시되어 있다. 그리고, 이 그래픽객체들 중 특정 그래픽객체들은 각각 대응되는 실행기능들이 정해져 있다. 본 발명은 시스템 제작자나 앱 제작자 혹은 콘텐트 공급자(Content Provider)는 이 기능을 실행을 시키는 그래픽객체들 각각에게 원하는 제스처를 지정해줄 수 있다. 도4에 숫자나 한글자모나 영어알파벳, 기호나 혹은 그들의 조합으로 각각의 그래픽객체 옆에 각각의 제스처의 예시로써 표시되어 있다. 사용자는 해당 제스처를 취함으로써 해당 그래픽객체에 대응되는 기능을 실행시킬 수 있다.
기존 리모트콘트롤 시스템에서의 또 다른 큰 문제는 상기 도4의 예시와 같이 화면상에 표시된 수 많은 기능들 중에서 원하는 기능을 선택하고 실행하는 것이 쉽지 않다는 것이다. 가장 많이 사용하고 있는 버튼 방식의 리모트콘트롤 시스템은 앞서 언급한 바와 같이 많은 기능에 대응을 하기 위해서 4방향 버튼과 확인 버튼을 이용해서 원하는 기능을 찾아서 실행을 해야 하므로 느리고 사용자의 편의성이 떨어진다. 그리고, 음성인식 방법은 우선적으로 화면상에 있는 수 많은 기능들 각각에 대해서 명명하고 부르는 것도 어렵고, 아직 정확성과 반응성이 만족할 만한 수준에 이르지 못했으며 말로 하는 것이 귀찮기도 하다. 또한, 3차원 공간마우스와 같은 방식으로 화면상에서 포인터를 움직여서 화면상의 기능을 실행시키는 것은 아직까지 사용자가 원하는 반응성에 미치지 못하고 있다.
이에 대하여 본 발명은 상기 설명한 바와 같이, 사용자가 화면상에 표시된 그래픽객체에 지정되고 표시된 제스처를 직관적으로 보고 그 제스처를 취하면 바로 기능이 실행이 된다. 이 장점은 PC상의 마우스 시스템에서 마우스 포인터를 원하는 그래픽객체로 옮겨서 더블버튼 클릭을 눌러서 실행을 시키는 방식보다 더 빠르고 편하다. 심지어, 사용자가 자주 사용하다 보면 특정 그래픽객체의 제스처는 저절로 기억이 된다. 이러한 경우, 사용자는 화면상의 그래픽객체에 지정된 제스처를 찾기 위해 화면을 볼 필요 없이 기억된 제스처를 취해서 기능을 실행시키므로 더욱 더 빠르고 편하게 원하는 기능을 실행시킬 수 있어서 사용자의 편의성은 매우 증대될 수 있다.
한편, 여기서 각 그래픽객체에 지정되는 제스처는 도4의 예시와 같이 단순히 그래픽객체 하나당 제스처 하나씩(410, 420)만 지정되는 것만이 아니다. 필요에 따라서 복수의 제스처(430, 450)가 지정이 될 수 있다.
그리고, 후술하는 상기 입력부(110)에 온(On)과 오프(Off)신호를 상기 제어부(140)로 송신하는 송신장치를 가지는 경우, 일정 시간 이내에 2회 이상의 온(On)과 오프(Off)신호와 제스처가 함께 입력되는 멀티온오프(Multi-On Off) 제스처(440)가 지정이 될 수도 있다.
화면상에 기능 실행을 위한 그래픽객체가 매우 많아지면, 그에 따라서 많은 수의 제스처가 필요하게 될 것이고, 이에 따라, 단순하고 쉬운 제스처의 숫자가 한계가 있을 테니, 복잡한 제스처들이 많이 요구가 될 것이다. 그러나, 제스처 기반의 리모트콘트롤 시스템은 사용자가 쉽고 편하게 제스처를 이용해서 기능을 실행하게 하기 위한 것인데, 이 복잡한 제스처로 인해서 사용자가 제스처를 취하기 어려워지거나 상기 제어부(140)의 제스처 인식률이 떨어지는 상황이 발생할 수 있다.
이에 대해서 본 발명은, 상기 설명한 복수의 제스처와 멀티온오프(Multi-On Off) 제스처를 이용하여 간단하고 쉬운 제스처를 복수 개로 조합해서 사용하거나 멀티온오프(Multi-On Off)와 제스처를 조합하여 적은 수의 제스처로도 많은 기능을 커버할 수 있게 한다.
그리고, 도4에서와 같이 지정된 제스처를 그래픽으로 화면상에 표시하는 제스처그래픽은 하나 이상의 제스처만(410, 420, 430)으로 표시가 되거나 혹은 하나 이상의 숫자와 하나 이상의 제스처의 조합(440, 450)으로 구성되어 복수 제스처와 멀티온오프(Multi-On Off) 제스처가 표시가 될 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 출력부(120)에 출력된 기능 실행을 목적으로 하는 그래픽객체들을 통해서 지정되지 않는 실행 기능들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 실행기능들과 제스처그래픽들에 대한 정보를 상기 입력부(110)에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부(130)에 저장하는 것을 특징으로 한다.
앞서 설명한 바와 같이 화면상에 표시된 그래픽객체에 지정된 제스처그래픽을 통해서 앱을 실행을 시키고, 메뉴를 선택하고, 슬라이드 바를 위나 아래로 움직일 수 있다. 그러나, 모든 실행 기능을 화면상에 표시된 그래픽객체와 이에 지정된 제스처그래픽만을 이용해서 시스템을 운영하려면 화면 속에 그래픽객체들을 필요 이상으로 많이 만들어서 복잡해 질 수 있고, 오히려 사용자의 편의성을 떨어뜨릴 수가 있다.
이에 대하여 본 발명은, 화면상의 그래픽객체들을 이용하지 않지만 필요한 실행기능들에 대해서도 각각의 제스처그래픽을 지정하고, 상기 지정된 실행기능들과 제스처그래픽들의 정보를 제스처 정보로 상기 저장부(130)에 저장을 한다. 도5의 예시와 같이, 사용자가 소리를 키우는 기능(510)이나 TV채널을 올리는 기능(520)에 대해서, 그래픽객체 없이 제스처그래픽(530,540)을 바로 지정을 할 수가 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정 제스처가 입력이 되면, 현재 출력부(120)에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부(120)에 출력하는 것을 특징으로 한다.
화면상에 출력되어 있는 기능 실행을 목적으로 하는 모든 그래픽객체들에 지정된 각각의 제스처그래픽들을 사용자가 모두 기억하고 있을 수는 없다. 그러나, 사용자가 기억을 못한다고 해서 모든 제스처그래픽들을 화면상에 계속해서 표시를 해주면 화면은 그래픽객체들과 함께 표시가 되어서 복잡하게 보일 것이다. 결국, 사용자의 집중도와 편의성을 떨어뜨리게 될 것이다.
이에 대하여 본 발명은, 사용자가 특정한 제스처를 취할 때만, 현재 화면에서 기능 실행을 목적으로 하는 그래픽객체들에 지정된 모든 제스처그래픽들을 보여준다. 즉, 사용자가 원하는 때에만 화면상의 그래픽객체들에 지정된 제스처그래픽들을 보게 함으로써 사용자의 편의성을 높여준다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정 제스처가 입력이 되면, 그래픽객체를 이용해서 지정되지 않는 실행 기능들에 대해 지정된 제스처그래픽들 중에서,
현재 출력부(120)의 출력상황에서 실행 가능한 기능들과 이에 대해 지정된 제스처그래픽들에 대한 맵핑 리스트를 출력부(120)에 출력하는 것을 것을 특징으로 한다.
사용자가 화면상에 현재 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들을 찾아봐도 그 중에서 원하는 기능이 없을 수가 있다. 예를 들어, 소리 조절 기능 같은 경우 꼭 필요한 기능이지만, 이 기능에 대해 앱 제작자가 그래픽객체를 화면상에 넣고 제스처그래픽을 지정해서 실행을 시키고 싶지 않을 수가 있다. 이러한 경우, 사용자는 특정한 제스처를 취하면, 도5의 예시와 같이, 그래픽객체를 이용해서 지정되지 않는 실행 기능들에 대해 지정된 제스처그래픽들 중에서, 현재 화면 기준에서 실행 가능한 모든 기능들과 각각 지정된 제스처그래픽들에 대한 맵핑 리스트를 화면상에 보여준다. 예를 들어, 사용자는 이 맵핑 리스트를 보고 원하는 기능과 제스처를 확인 후, 오른쪽방향 제스처(530)을 취하여 소리를 키울 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 현재 출력부(120)에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부(120)에 그래픽객체들과 같이 출력하는 것을 특징으로 한다.
디스플레이 기술이 발전하면서 많은 전자기기들이 가능하면 큰 화면을 이용해서 제조를 하고 있다. 이런 상황에서 특정한 기기는 실행기능이 많지 않아서 상대적으로 큰 화면에 그래픽객체들이 모두 표시가 되어도 화면의 영역이 넉넉한 경우가 있을 수 있다. 이러한 경우, 화면상에 기능 실행을 목적으로 하는 그래픽객체들과 이에 지정된 제스처그래픽들 모두가 같이 표시되어도 복잡하게 보이지 않는다. 이 기능은 사용자가 제스처를 취하지 않아도 화면상에 제스처그래픽들이 보이는 것이다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 출력부(120)를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들과 이에 대해 지정된 제스처그래픽들에 대한 제스처 정보와 상기 그래픽객체를 이용해서 지정되지 않는 실행기능들과 이에 대해 지정된 제스처그래픽들에 대한 제스처 정보를 서버(150)와 네트워크(160)를 통해서 실시간으로 설치, 삭제, 수정, 업데이트 하고 상기 저장부(130)에 저장하는 것을 특징으로 한다.
기존의 리모트콘트롤 시스템의 큰 단점중의 하나는 이미 생산된 제품은 수정이나 업그레이드가 될 수가 없다. 공장에서 생산 돼서 출시되면 그 이후에는 그 기능 그대로 사용할 수 밖에 없다. 예를 들면, 버튼방식의 리모트 콘트롤러의 경우 이미 버튼이 물리적으로 고정 되어 생산되므로 당연히 수정은 불가능하다. 그러나, 스마트 TV와 같은 경우 기능이 늘어나도 계속해서 사용할 수 있는 이유는 화면상에 실행기능들을 표시해 주고 4개의 방향버튼을 이용해서 원하는 기능을 찾아가서 선택하고 확인버튼을 눌러서 실행을 하는 방법으로 이용을 할 수 있기 때문이다. 그러나, 이 방법은 화면상의 원하는 기능을 찾아가기 위해서 4개의 방향버튼을 많이 눌러서 원하는 기능을 찾은 후에 확인버튼을 또 눌러야 하므로 사용자의 편의성은 많이 떨어진다.
이에 대해서, 본 발명은 도6의 예시와 같이, 상기 제스처 정보를 서버(150)와 네트워크(160)를 통해서 실시간으로 설치, 삭제, 수정, 업데이트가 가능하게 해서 만약 시스템상에 새로운 기능이 추가가 되면 이에 따르는 새로운 제스처그래픽을 지정하고 이에 대한 정보를 상기 저장부(130)에 저장한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 입력부(110)에 입력되는 각각의 제스처 동작의 궤적을 상기 출력부(120)에 출력을 하는 것을 특징으로 하는 한다.
사용자가 처음에 상기 입력부(110)에 제스처를 입력할 때, 사용자 자신이 만드는 제스처가 어느 정도 감도의 속도나 크기로 동작을 해야 하는 지 모른다. 이에 대해서, 바람직한 예시로서 상기 제어부(140)는 상기 출력부(120)에 상기 입력부(110)에 입력되는 제스처 동작의 궤적 표시를 오버레이로 보여줄 수 있다. 사용자는 이 궤적 표시를 보고서 제스처 동작의 감도를 추정해서 조정할 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 저장부(130)에 저장되는 제스처 정보는, 각각의 앱이 가지며 앱의 기능이 실행될 때, 인식된 제스처를 상호 매칭할 때 이용하는 앱 제스처라이브러리(710)와, 시스템이 가지며 시스템의 기능이 실행될 때, 인식된 제스처를 상호 매칭할 때 이용하는 시스템 제스처라이브러리(720)로 구성되며, 상기 각각의 제스처라이브러리(710, 720)는, 상기 출력부(120)에 출력되는 기능 실행을 목적으로 하는 그래픽객체들과 이에 대해 지정된 제스처그래픽들에 대한 정보를 제스처 정보로 저장하는 비지블(Visible) 제스처라이브러리부(711, 721)와, 상기 출력부(120)에 출력되는 기능 실행을 목적으로 하는 그래픽객체들을 통해서 지정되지 않는 실행 기능들과 이에 대해 지정된 제스처그래픽들에 대한 정보를 제스처 정보로 저장하는 히든(Hidden) 제스처라이브러리부(712,722)로 구성되는 것을 특징으로 한다.
앱 제작자와 시스템 제작자가 각각 자기 자신만의 생태계에서 상기 지정된 제스처그래픽들을 제스처 정보로 저장하고 관리를 하기 위해서 도7의 예시와 같이, 각각의 앱이 가지는 앱 제스처라이브러리(710)와 시스템이 가지는 시스템 제스처라이브러리(720)로 나뉘고, 각각의 제스처라이브러리(710, 720)는 화면상에 보이는 그래픽객체를 기반으로 하는 비지블(Visible) 제스처라이브러리부(711, 721)와 화면상에 보이는 그래픽객체를 이용하지 않는 실행기능들을 기반으로 하는 히든(Hidden) 제스처라이브러리부(712, 722)로 구성을 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 앱이 설치될 때, 상기 출력부(120)에 출력되는 앱 실행아이콘과 이어 지정되는 제스처그래픽은 시스템 제스처라이브러리(720)에 등록이 되며, 이 앱 실행아이콘에 지정되는 제스처그래픽은 앱 제작자가 지정한 것을 사용하거나 제어부(140)가 추천하는 것을 사용하거나 혹은 사용자가 원하는 것을 사용하는 것을 특징으로 한다.
상기 설치되는 앱 자체는 시스템 상의 하나의 앱이고, 앱이 설치가 되면 시스템 화면에 표시되는 앱 실행아이콘은 시스템 화면상의 기능실행을 목적으로 하는 하나의 그래픽객체일 뿐이다. 따라서, 앱이 설치가 되면 그에 따르는 그래픽객체와 제스처그래픽이 시스템 제스처라이브러리(720)에 등록이 되고, 지정되는 제스처그래픽은 앱 제작자가 유명한 브랜드 제작사나 방송사 같은 경우, 앱 자기만의 제스처를 이용하는 것을 원할 수 있다. 예를 들어, 유명 방송사인 CNN이 뉴스 앱을 제작하고 자신의 앱의 제스처그래픽을 자신만의 고유의 복수의 제스처로 영어 CNN과 비슷한 모양으로 만들 수 가 있다. 그러나, 특정한 경우에, 이미 사용자의 시스템 제스처라이브러리(720)에는 이미 상기 CNN과 비슷한 모양의 복수의 제스처가 등록이 되어 있을 수 있다. 이렇게 새 제스처그래픽을 설치할 때 기 지정된 제스처그래픽이 있어서 지정이 불가능하게 되는 경우, 상기 제어부(140)는 다른 제스처를 추천을 할 수 있다. 그리고, 또한, 사용자는 자신이 원하는 제스처그래픽을 지정해서 사용할 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 하나 이상의 앱이 실행되고 그 중에서 현재 하나의 앱이 선택이 되어 있는 경우, 인식된 제스처를 상호 매칭할 때 선택된 앱 제스처라이브러리(710)를 이용하고, 앱이 하나도 실행되지 않거나 하나 이상의 앱이 실행 되었어도 그 중에서 아무 앱도 선택이 되지 않은 경우, 인식된 제스처를 상호 매칭할 때 시스템 제스처라이브러리(720)를 이용하는 것을 특징으로 한다.
본 발명은 상기 설명한 바와 같이 제스처 정보 관리를 위해서 각각의 앱 제작자가 만들고 실행하고 관리하는 앱 제스처라이브러리(710)와 시스템 제작자가 만들고 실행하고 관리하는 시스템 제스처라이브러리(720)로 구성이 되어 있다. 본 발명은 많은 제스처를 화면상에 보여주고 선택하게 함으로써 빠르고, 쉽고, 편리하게 기능 실행을 시킬 수 있게 함으로써 사용자의 편의성을 증대 시켰는데, 이렇게 많은 제스처를 사용하게 되면서 오는 가장 큰 문제점은 제스처 컨플릭트(Conflict)가 발생되는 경우이다.
각각의 앱 제스처라이브러리(710)와 시스템 제스처라이브러리(720)는 각각의 앱 제작자와 시스템 제작자가 스스로 SW 프로그램 개발을 하면서 제스처 콘플릭트(Conflict)가 생기는 것을 관리할 수 가 있을 것이다. 만약, 자기 제스처라이브러리(710, 720) 내부에서 제스처 콘플릭트(Conflict)가 발생을 한다면 이는 SW 개발중의 컴파일과 같은 단계를 거치면서 발견이 되고, 이것은 버그이므로 수정을 할 수 있을 것이다. 그러나, 하나의 제스처가 앱 제스처라이브러리(710)와 시스템 제스처라이브러리(720)에 동시에 존재한다면 이는 문제가 될 수 있을 것이다. 게다가 편하고 쉬운 제스처는 어느 제스처라이브러리(710, 720)나 자주 이용을 하게 되므로, 제스처 콘플릭트가 발생할 확률은 더욱 높아질 것이다.
이 문제를 해결하기 위해서, 본 발명은 각각의 앱이 실행되는 경우와 시스템이 실행이 되는 경우를 나누어서 입력되는 제스처에 대해 상호 매칭을 할 때, 각각의 제스처라이브러리(710, 720)가 앱이든 시스템이든 자신의 기능이 실행되는 경우에만 자신의 제스처라이브러리(710, 720)를 이용 되도록 해서 제스처 콘플릭트(Conflict)을 막아준다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 앱 제스처라이브러리(710)와 시스템 제스처라이브러리(720)를 서버(150)와 네트워크(160)를 통해서 실시간으로 설치, 삭제, 수정, 업데이트 하고 상기 저장부(130)에 저장하는 것을 특징으로 한다.
도8의 예시와 같이, 각각의 앱 제작자와 시스템 제작자는 각각 자기의 제스처라이브러리(710, 720)를 각각의 서버(150)와 네트워크(160)를 이용해서 실시간으로 설치, 삭제, 수정, 업데이트하고 상기 저장부(130)에 저장할 수 있다. 기존의 리모트콘트롤 시스템에서는 앱이 실행된 상황에서도 사실상 시스템 제작자가 정해놓은 범위 내에서의 기능만을 사용할 수 밖에 없었다. 그러나, 이 발명에 의하면, 앱 제작자가 자기만의 제스처라이브러리(710)를 이용해서 자기만의 기능을 가지고 독자적으로 앱을 운영할 수 있게 해준다.
예를 들어, 홈쇼핑 업체가 앱 제작자인 경우 실시간 방송 중에 화면상에 나오는 제품에 깜짝 특별한 할인이 있다고 실시간으로 앱 제스처라이브러리(710)를 업데이트하여 제스처그래픽을 지정해서 보낼 수 있고, 시청자는 실시간 방송을 보고 있다가 간단하게, 앞서 기술했듯이 특정제스처를 취하면, 화면상에 현재 가능한 모든 제스처그래픽들이 표시가 되고, 이 중에서 화면상에 나오는 제품에 지정된 제스처그래픽을 따라서 제스처를 취하면 홈쇼핑 업체가 제공하는 정보를 볼 수 가 있다.
또한, 뉴스업체가 실시간으로 방송 중에 실시간 조사를 하는 경우 실시간으로 앱 제스처라이브러리(710)를 업데이트 하여 화면상에 실시간 조사에서 선택할 수 있는 여러 가지 선택지들과 이에 대해 지정된 제스처그래픽을 보여주고 시청자가 원하는 선택지를 선택하게 할 수 있고, 실시간으로 시청자와 주고 받는 상황에서도 여러 가지 제스처그래픽들을 사용하여 쉽고 편하게 시청자와 인터액티브(Interactive) 한 방송을 진행할 수 있다.
이 외에도 앱과 시스템 제스처라이브러리(710, 720)를 각각의 제작자가 실시간으로 설치, 삭제, 수정, 업데이트하고 상기 저장부(130)에 저장을 할 수 있으면 이를 활용해서 적용할 수 있는 분야는 무궁무진할 것이다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 입력부(110)에 특정 제스처가 입력이 되고, 이 제스처가 복수제스처 입력신호로 판단이 되면, 상기 출력부(120)에 복수제스처 입력상태임을 알리는 신호와 제스처 입력을 기다리는 신호를 출력한 후, 입력되는 제스처를 하나씩 입력받아 상기 저장부(130)에 계속 저장하는 과정을 반복하며, 입력된 제스처가 복수제스처 입력종료 신호로 판단이 되면, 상기 저장부(130)에 지금까지 저장된 복수개의 제스처를 저장된 제스처 정보와 매칭판단하고 동작을 실행하는 것을 특징으로 한다.
앞서 기술 하였듯이, 이전의 제스처기반 리모트콘트롤 시스템과 달리, 본 발명은 기존의 단수 제스처만을 입력 받는 것이 아니라, 복수의 제스처까지 입력을 받을 수 있다. 특정 제스처그래픽을 복수의 제스처로 구성을 하고 특정한 그래픽객체에 지정을 하면, 그 그래픽객체에 대응된 기능을 실행하기 위해서 사용자는 상기 입력부(110)에 복수의 제스처를 입력하여야 하고, 상기 제어부(140)는 복수의 제스처를 입력 받고, 인식하고, 저장된 제스처 정보와 상호 매칭 판단할 수 있어야 한다.
복수의 제스처를 입력 받기 위해서는 상기 제어부(140)가 보통의 상황에서처럼 하나의 제스처를 받자마자 바로 제스처를 실행시키지 말고, 더 들어오는 제스처들을 기다려야 한다. 이를 위해서 특정의 제스처를 취하면 복수의 제스처 입력을 받을 수 있게 하고, 화면상에 이를 단계 별로 표시를 해주고 사용자가 원하는 복수의 제스처를 하나하나 입력을 다 마칠 때까지 기다려야 한다. 사용자가 특정의 제스처를 취해서 추가 제스처 입력이 없음을 알리면, 상기 제어부(140)는 현재까지 저장된 제스처들을 모두 합하여 저장된 제스처 정보와 상호 매칭을 한다.
본 발명의 바람직한 특징에 따르면, 상기 제스처그래픽에 대하여 특정 제스처가 2회 이상의 반복되는 복수의 제스처들로 지정된 경우, 상기 제어부(140)는, 상기 특정 제스처를 상기 출력부(120)에 출력할 때, 제스처 숫자만큼 제스처들을 반복해서 출력부(120)에 출력하거나 혹은 하나의 제스처만 출력하고 반복되는 횟수 숫자를 첨자로 출력할 수 있는 것을 특징으로 한다.
제스처그래픽이 화면상에 표시가 될 때, 복수의 제스처를 표시하기 위해서 하나하나 제스처를 모두 표시하면 제스처그래픽 표시가 길게 표현이 되어서 부근의 그래픽객체와 겹치게 보일 수도 있을 것이다.
이에 대하여, 본 발명은 도4에 표시된 예시(450)과 같이, 특정 제스처가 2회 이상 반복이 되면 화면상에 표시를 할 때 수학에서의 지수표기와 같이 그 제스처에 첨자로 표시를 해주면 제스처그래픽 표시가 짧게 표시가 될 수 있을 것이고, 재미있는 포인트가 될 수도 있을 것이다.
본 발명의 바람직한 특징에 따르면, 상기 입력부(110)에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 제어부(140)는, 상기 입력부(110)의 송신장치가 제스처 없이 온(On)신호를 송신하면 현재 출력부(120)에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부(120)에 출력하고, 송신장치가 계속 제스처 없이 온(On)신호를 유지하면, 상기 제스처그래픽들이 출력부에 출력된 상태를 유지하며, 송신장치가 오프(Off)신호를 송신하면, 상기 출력된 제스처그래픽들이 출력부(120)에서 사라지는 것을 특징으로 한다.
상기의 입력부(110)에 위치하고, 온(On)과 오프(Off) 신호를 제어부(140)로 송신하는 송신장치는 버튼, 스위치, 광학방식의 버튼, 자기장 방식의 버튼, 터치버튼. 터치패드, 조이스틱, 터치패널, 터치스크린과 같이 온(On)과 오프(Off) 신호를 생성할 수 있는 장치면 모두 사용 가능하다.
바람직한 한 실시 예로서, 도2의 예시와 같이 상기 입력부(110)가 버튼을 포함하는 송신기(111)와 송신하는 내용을 수신하는 수신기(112)로 구성이 될 수 있다. 사용자의 입장에서는 제스처도 귀찮을 수 있다. 이 경우에 제스처 없이 버튼을 한 번 누르면(On), 화면상에 현재의 화면 상황에서 기능실행을 목적으로 하는 모든 그래픽객체들에 지정된 모든 제스처그래픽들을 보여준다. 그리고, 버튼 누름(On)을 유지하고 있는 동안은 상기 모든 제스처그래픽들을 화면상에 계속 표시하고, 버튼을 놓으면(Off) 화면상의 모든 제스처그래픽들이 사라진다.
사용자의 입장에서 화면상의 그래픽객체와 이에 대해 지정된 제스처그래픽 표시 기능은 매우 자주 사용하는 기능일 것이다. 가장 단순한 동작인 버튼 한 번 누름을 이 기능에 지정을 함으로써, 사용자의 편의성을 극대화 해줄 수 있다. 이는 말을 이용하는 음성인식 보다 더 편하고 빠를 것이다.
본 발명의 바람직한 특징에 따르면, 상기 입력부(110)에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 제어부(140)는 상기 입력부(110)의 송신장치가 제스처 없이 일정 시간 이내에 2회의 온(On)과 오프(Off) 신호를 송신하면, 상기 출력부(120)에 복수제스처 입력상태임을 알리는 신호와 제스처 입력을 기다리는 신호를 출력한 후, 입력되는 제스처를 하나씩 입력받아 상기 저장부(130)에 계속 저장하는 과정을 반복하며, 상기 입력부의 송신장치가 제스처 없이 다시 일정 시간 이내에 2회의 온(On)과 오프(Off) 신호를 송신하면, 상기 저장부(130)에 지금까지 저장된 복수개의 제스처를 저장된 제스처 정보와 매칭 판단하고 동작을 실행하는 것을 특징으로 한다.
바람직한 한 실시 예로서, 도2의 예시와 같이 상기 입력부(110)가 버튼을 포함하는 송신기(111)와 송신하는 내용을 수신하는 수신기(112)로 구성이 될 수 있다. 사용자의 입장에서는 제스처도 귀찮을 수 있다. 복수 제스처입력의 시작과 끝을 더블클릭을 이용해서 상기 제어부(140)에 알린다. 실제 복수제스처 지정이 제스처그래픽에 많은 상황이 되면, 사용자에게 매우 편의성이 높은 기능이 될 것이다.
본 발명의 바람직한 특징에 따르면, 상기 입력부(110)에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 제스처그래픽에 대하여 특정제스처가 일정 시간 이내에 2회 이상의 온(On)과 오프(Off) 신호와 함께 송신되는 멀티온오프(Multi-On Off) 제스처로 지정된 경우, 상기 제어부(140)는, 상기 출력부(120)에 출력할 때 상기 특정제스처 앞에 일정 시간 이내에 온(On)과 오프(Off) 신호가 반복되는 횟수를 숫자로 출력하는 것을 특징으로 한다.
바람직한 한 실시 예로서, 도4의 예시와 같이, 일정 시간 이내에 2회 이상의 온(On)과 오프(Off) 신호를 이용한 멀티온오프(Multi-On Off) 제스처를 화면상에 표시를 할 때, 제스처 앞에 숫자를 표시(440)해준다.
본 발명의 바람직한 특징에 따르면, 상기 입력부(110)에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고, 상기 입력부(110)에 일정시간 이내에 2회 이상의 온(On)과 오프(Off) 신호와 함께 제스처가 입력되는 경우, 상기 제어부(140)는, 상기 입력된 일정시간 이내에 온(On)과 오프(Off) 신호가 반복된 횟수와 제스처를 저장된 제스처 정보와 매칭 판단하고 동작을 실행하는 것을 특징으로 한다.
특정 제스처그래픽이 멀티온오프(Multi-On Off) 제스처로 지정이 되어 있으면, 사용자는 상기 입력부(110)에 이 멀티온오프(Multi-On Off) 제스처를 입력하여야 하고, 상기 제어부(140)는 이를 입력받고, 인식하고, 저장된 제스처 정보와 상호 매칭판단 할 수 있어야 한다. 상기 입력된 일정시간 이내에 온(On)과 오프(Off) 신호가 반복된 횟수와 제스처를 가지고 저장된 제스처 정보와 매칭 판단하고 동작을 실행한다.
이상 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명하였지만, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
{부호의 설명}
100 : 리모트컨트롤시스템
110 : 입력부
111 : 송신기
112 : 수신기
120 : 출력부
130 : 저장부
140 : 제어부
150 : 서버
160 : 네트워크
310 : 앱 실행아이콘
320 : 사용자가 취할 제스처
410 : 단수의 제스처
420 : 단수의 제스처
430 : 복수의 제스처
440 : 멀티온오프(Multi-On Off) 제스처
450 : 복수의 제스처
510 : 그래픽객체로 지정되지 않은 실행기능(볼륨 업)
520 : 그래픽객체로 지정되지 않은 실행기능(채널 업)
530 : 볼륨 업에 지정된 제스처그래픽
540 : 채널 업에 지정된 제스처그래픽
710 : 앱 제스처라이브러리
711 : 앱 제스처라이브러리의 비지블(Visible) 제스처라이브러리부
712 : 앱 제스처라이브러리의 히든(Hidden) 제스처라이브러리부
720 : 시스템 제스처라이브러리
721 : 시스템 제스처라이브러리의 비지블(Visible) 제스처라이브러리부
722 : 시스템 제스처라이브러리의 히든(Hidden) 제스처라이브러리부

Claims (19)

  1. 제스처에 의해 작동하는 리모트컨트롤 시스템에 있어서,
    입력부 및 출력부;
    입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부;
    상기 입력부, 출력부 또는 저장부 중 적어도 하나와 전기적으로 연결되어, 상기 제스처 동작을 인식하고 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 입력부에 의해 입력되는 제스처를 인식하고,
    상기 인식된 제스처를 상기 저장부에 저장된 제스처 정보와 상호 매칭하고,
    상기 매칭된 제스처 정보에 대응되는 동작을 실행하고 출력부로 출력하는 리모트컨트롤 시스템.
  2. 제1항에 있어서,
    상기 제어부는,
    사용자가 입력할 제스처에 대한 정보를 상기 출력부에 출력하는 것을 특징으로 하는 리모트콘트롤 시스템.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 출력부를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 그래픽객체들과 제스처그래픽들에 대한 정보를 상기 입력부에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부에 저장하며,
    상기 그래픽객체는,
    상기 출력부를 통해 출력되는 각각의 메뉴항목, 앱 실행아이콘, 스트리밍되고 있는 동영상속의 특정 사물이나 사람, 문자열, 슬라이드 바의 한 부분, 그림이나 사진 속의 특정 사물이나 사람을 포함하며 출력부상에 출력되는 모든 객체들을 대상으로 하고,
    상기 제스처그래픽에 대하여,
    하나의 제스처그래픽은 하나 이상의 제스처만으로 구성되거나 혹은 하나 이상의 숫자와 하나 이상의 제스처의 조합으로 구성되는 것을 특징으로 하는 리모트콘트롤 시스템.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 출력부에 출력된 기능 실행을 목적으로 하는 그래픽객체들을 통해서 지정되지 않는 실행 기능들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 실행기능들과 제스처그래픽들에 대한 정보를 상기 입력부에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부에 저장하는 것을 특징으로 하는 리모트콘트롤 시스템.
  5. 제3항에 있어서,
    상기 제어부는,
    특정 제스처가 입력이 되면, 현재 출력부에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부에 출력하는 것을 특징으로 하는 리모트콘트롤 시스템.
  6. 제4항에 있어서,
    상기 제어부는,
    특정 제스처가 입력이 되면, 그래픽객체를 이용해서 지정되지 않는 실행 기능들에 대해 지정된 제스처그래픽들 중에서,
    현재 출력부의 출력상황에서 실행 가능한 기능들과 이에 대해 지정된 제스처그래픽들에 대한 맵핑 리스트를 출력부에 출력하는 것을 특징으로 하는 리모트콘트롤 시스템.
  7. 제3항에 있어서,
    상기 제어부는,
    현재 출력부에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부에 그래픽객체들과 같이 출력하는 것을 특징으로 하는 리모트콘트롤 시스템.
  8. 제3항 또는 제4항에 있어서,
    상기 제어부는,
    상기 출력부를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들과 이에 대해 지정된 제스처그래픽들에 대한 제스처 정보와 상기 그래픽객체를 이용해서 지정되지 않는 실행기능들과 이에 대해 지정된 제스처그래픽들에 대한 제스처 정보를 서버와 네트워크를 통해서 실시간으로 설치, 삭제, 수정, 업데이트 하고 상기 저장부에 저장하는 것을 특징으로 하는 리모트콘트롤 시스템.
  9. 제3 또는 제4항에 있어서,
    상기 제어부는,
    상기 입력부에 입력되는 각각의 제스처 동작의 궤적을 상기 출력부에 출력하는 것을 특징으로 하는 리모트콘트롤 시스템.
  10. 제3항 또는 제4항에 있어서,
    상기 저장부에 저장되는 제스처 정보는,
    각각의 앱이 가지며 앱의 기능이 실행될 때, 인식된 제스처를 상호 매칭할 때 이용하는 앱 제스처라이브러리와,
    시스템이 가지며 시스템의 기능이 실행될 때, 인식된 제스처를 상호 매칭할 때 이용하는 시스템 제스처라이브러리로 구성되며,
    상기 각각의 제스처라이브러리는,
    상기 출력부에 출력되는 기능 실행을 목적으로 하는 그래픽객체들과 이에 대해 지정된 제스처그래픽들에 대한 정보를 제스처 정보로 저장하는 비지블(Visible) 제스처라이브러리부와,
    상기 출력부에 출력되는 기능 실행을 목적으로 하는 그래픽객체들을 통해서 지정되지 않는 실행 기능들과 이에 대해 지정된 제스처그래픽들에 대한 정보를 제스처 정보로 저장하는 히든(Hidden) 제스처라이브러리부로 구성되는 것을 특징으로 하는 리모트콘트롤 시스템.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 앱이 설치될 때, 상기 출력부에 출력되는 앱 실행아이콘과 이어 지정되는 제스처그래픽은 시스템 제스처라이브러리에 등록이 되며, 이 앱 실행아이콘에 지정되는 제스처그래픽은 앱 제작자가 지정한 것을 사용하거나 제어부가 추천하는 것을 사용하거나 혹은 사용자가 원하는 것을 사용하는 것을 특징으로 하는 리모트콘트롤 시스템.
  12. 제10항에 있어서,
    상기 제어부는,
    하나 이상의 앱이 실행되고 그 중에서 현재 하나의 앱이 선택이 되어 있는 경우, 인식된 제스처를 상호 매칭할 때 선택된 앱 제스처라이브러리를 이용하고,
    앱이 하나도 실행되지 않거나 하나 이상의 앱이 실행 되었어도 그 중에서 아무 앱도 선택이 되지 않은 경우, 인식된 제스처를 상호 매칭할 때 시스템 제스처라이브러리를 이용하는 것을 특징으로 하는 리모트콘트롤 시스템.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 앱 제스처라이브러리와 시스템 제스처라이브러리를 서버와 네트워크를 통해서 실시간으로 설치, 삭제, 수정, 업데이트 하고 상기 저장부에 저장하는 것을 특징으로 하는 리모트콘트롤 시스템.
  14. 제3항 또는 제4항에 있어서,
    상기 제어부는,
    상기 입력부에 특정 제스처가 입력이 되고, 이 제스처가 복수제스처 입력신호로 판단이 되면,
    상기 출력부에 복수제스처 입력상태임을 알리는 신호와 제스처 입력을 기다리는 신호를 출력한 후,
    입력되는 제스처를 하나씩 입력받아 상기 저장부에 계속 저장하는 과정을 반복하며,
    입력된 제스처가 복수제스처 입력종료 신호로 판단이 되면,
    상기 저장부에 지금까지 저장된 복수개의 제스처를 저장된 제스처 정보와 매칭판단하고 동작을 실행하는 것을 특징으로 하는 리모트컨트롤 시스템.
  15. 제3항 또는 제4항에 있어서,
    상기 제스처그래픽에 대하여 특정 제스처가 2회 이상 반복되는 복수의 제스처들로 지정된 경우,
    상기 제어부는,
    상기 특정 제스처를 상기 출력부에 출력할 때, 제스처 숫자만큼 제스처들을 반복해서 출력부에 출력하거나 혹은 하나의 제스처만 출력하고 반복되는 제스처 횟수 숫자를 첨자로 출력하는 것을 특징으로 하는 리모트콘트롤 시스템.
  16. 제3항 또는 제4항에 있어서,
    상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고,
    상기 제어부는,
    상기 입력부의 송신장치가 제스처 없이 온(On)신호를 송신하면 현재 출력부에 출력되어 있는 기능 실행을 목적으로 하는 그래픽객체들에 대해 지정된 각각의 제스처그래픽 모두를 출력부에 출력하고,
    상기 송신장치가 계속 제스처 없이 온(On)신호를 유지하면, 상기 제스처그래픽들이 출력부에 출력된 상태를 유지하며, 상기 송신장치가 오프(Off)신호를 송신하면, 상기 출력된 제스처그래픽들이 출력부에서 사라지는 것을 특징으로 하는 리모트컨트롤 시스템.
  17. 제3항 또는 제4항에 있어서,
    상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 송신하는 송신장치를 구비하고,
    상기 제어부는,
    상기 입력부의 송신장치가 제스처 없이 일정 시간 이내에 2회의 온(On)과 오프(Off) 신호를 송신하면,
    상기 출력부에 복수제스처 입력상태임을 알리는 신호와 제스처 입력을 기다리는 신호를 출력한 후,
    입력되는 제스처를 하나씩 입력받아 상기 저장부에 계속 저장하는 과정을 반복하며,
    상기 입력부의 송신장치가 제스처 없이 다시 일정 시간 이내에 2회의 온(On)과 오프(Off) 신호를 송신하면,
    상기 저장부에 지금까지 저장된 복수개의 제스처를 저장된 제스처 정보와 매칭 판단하고 동작을 실행하는 것을 특징으로 하는 리모트컨트롤 시스템.
  18. 제3항 또는 제4항에 있어서,
    상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 전달하는 송신장치를 구비하고,
    상기 제스처그래픽에 대하여 특정제스처가 일정 시간 이내에 2회 이상의 온(On)과 오프(Off) 신호와 함께 송신되는 멀티온오프(Multi-On Off) 제스처로 지정된 경우,
    상기 제어부는,
    상기 출력부에 출력할 때, 상기 특정제스처 앞에 일정 시간 이내에 온(On)과 오프(Off) 신호가 반복되는 횟수를 숫자로 출력하는 것을 특징으로 하는 리모트콘트롤 시스템.
  19. 제3항 또는 제4항에 있어서,
    상기 입력부에 위치하며, 온(On)과 오프(Off) 신호를 제어부로 전달하는 송신장치를 구비하고,
    상기 입력부에 일정 시간 이내에 2회 이상의 온(On)과 오프(Off) 신호와 함께 제스처가 입력되는 경우,
    상기 제어부는,
    상기 입력된 일정시간 이내에 온(On)과 오프(Off) 신호가 반복된 횟수와 제스처를 저장된 제스처 정보와 매칭 판단하고 동작을 실행하는 것을 특징으로 하는 리모트컨트롤 시스템.
PCT/KR2021/013106 2020-10-07 2021-09-27 리모트컨트롤 시스템 Ceased WO2022075644A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
EP21877896.7A EP4227772A4 (en) 2020-10-07 2021-09-27 REMOTE CONTROL SYSTEM
JP2022562133A JP7457834B2 (ja) 2020-10-07 2021-09-27 リモートコントロールシステム
MX2022016200A MX2022016200A (es) 2020-10-07 2021-09-27 Sistema de control remoto.
CA3184971A CA3184971A1 (en) 2020-10-07 2021-09-27 Remote control system
CN202180028762.0A CN115398378A (zh) 2020-10-07 2021-09-27 远程控制系统
AU2021355988A AU2021355988B2 (en) 2020-10-07 2021-09-27 Remote control system
US17/918,276 US12399570B2 (en) 2020-10-07 2021-09-27 Remote control system
ZA2023/00203A ZA202300203B (en) 2020-10-07 2023-01-03 A remote control system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200129696A KR102203951B1 (ko) 2020-10-07 2020-10-07 리모트컨트롤 시스템
KR10-2020-0129696 2020-10-07

Publications (1)

Publication Number Publication Date
WO2022075644A1 true WO2022075644A1 (ko) 2022-04-14

Family

ID=74236764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013106 Ceased WO2022075644A1 (ko) 2020-10-07 2021-09-27 리모트컨트롤 시스템

Country Status (10)

Country Link
US (1) US12399570B2 (ko)
EP (1) EP4227772A4 (ko)
JP (1) JP7457834B2 (ko)
KR (1) KR102203951B1 (ko)
CN (1) CN115398378A (ko)
AU (1) AU2021355988B2 (ko)
CA (1) CA3184971A1 (ko)
MX (1) MX2022016200A (ko)
WO (1) WO2022075644A1 (ko)
ZA (1) ZA202300203B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203951B1 (ko) * 2020-10-07 2021-01-18 김병수 리모트컨트롤 시스템
KR102707254B1 (ko) * 2022-09-16 2024-09-13 주식회사 티빙 컨텐츠 스트리밍 시스템에서 영상 플레이어를 모션 제어 모드에 따라 제어하는 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100131213A (ko) 2009-06-05 2010-12-15 탑시드 테크놀로지 코포레이션 제스쳐-기반의 리모컨 시스템
JP2011253493A (ja) * 2010-06-04 2011-12-15 Sony Corp 操作端末装置、電子機器、および電子機器システム
KR20120045528A (ko) * 2010-10-29 2012-05-09 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20150032101A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치 및 영상표시방법
KR20150061328A (ko) * 2013-11-27 2015-06-04 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 서비스 처리 방법
KR101718070B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 제스처 조합 기반의 이벤트 실행이 가능한 터치스크린 장치 및 그 동작 방법
KR102203951B1 (ko) * 2020-10-07 2021-01-18 김병수 리모트컨트롤 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790818B1 (ko) * 2006-12-06 2008-01-03 한국과학기술연구원 손 동작을 이용한 전자기기 제어장치 및 방법
JP5494483B2 (ja) * 2008-09-03 2014-05-14 日本電気株式会社 ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
CN102906671B (zh) * 2010-07-20 2016-03-02 松下电器（美国）知识产权公司 手势输入装置及手势输入方法
JP2014116768A (ja) * 2012-12-10 2014-06-26 Panasonic Corp 操作装置、電子装置、及び電子装置システム
KR20140085061A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
EP2879398B1 (en) * 2013-11-27 2020-05-20 LG Electronics, Inc. Digital device and method of processing a service thereof
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
KR20160089619A (ko) * 2015-01-20 2016-07-28 현대자동차주식회사 입력 장치 및 이를 포함하는 차량
JP2016164725A (ja) * 2015-03-06 2016-09-08 株式会社リコー 情報処理装置、情報処理システム及び情報処理プログラム
KR20170014353A (ko) * 2015-07-29 2017-02-08 삼성전자주식회사 음성 기반의 화면 내비게이션 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100131213A (ko) 2009-06-05 2010-12-15 탑시드 테크놀로지 코포레이션 제스쳐-기반의 리모컨 시스템
JP2011253493A (ja) * 2010-06-04 2011-12-15 Sony Corp 操作端末装置、電子機器、および電子機器システム
KR20120045528A (ko) * 2010-10-29 2012-05-09 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20150032101A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치 및 영상표시방법
KR20150061328A (ko) * 2013-11-27 2015-06-04 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 서비스 처리 방법
KR101718070B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 제스처 조합 기반의 이벤트 실행이 가능한 터치스크린 장치 및 그 동작 방법
KR102203951B1 (ko) * 2020-10-07 2021-01-18 김병수 리모트컨트롤 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4227772A4

Also Published As

Publication number Publication date
CN115398378A (zh) 2022-11-25
US12399570B2 (en) 2025-08-26
MX2022016200A (es) 2023-02-01
AU2021355988A1 (en) 2023-02-09
KR102203951B1 (ko) 2021-01-18
EP4227772A1 (en) 2023-08-16
ZA202300203B (en) 2023-10-25
JP7457834B2 (ja) 2024-03-28
JP2023529529A (ja) 2023-07-11
CA3184971A1 (en) 2022-04-14
EP4227772A4 (en) 2024-10-02
US20240211049A1 (en) 2024-06-27
AU2021355988B2 (en) 2024-08-08

Similar Documents

Publication Publication Date Title
WO2018080162A1 (ko) 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
WO2014092476A1 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
WO2012161411A1 (en) Display device and method for remotely controlling display device
WO2017074062A1 (en) Adapting user interface of display apparatus according to remote control device
WO2013103224A1 (en) Image display apparatus and method for operating the same
WO2010143843A2 (ko) 컨텐츠 브로드캐스트 방법 및 이를 적용한 디바이스
EP2502412A1 (en) Provinding contents information for network television
WO2014137176A1 (en) Input apparatus, display apparatus, and control methods thereof
WO2016129841A1 (en) Display apparatus and ui displaying method thereof
WO2015182811A1 (ko) 사용자 인터페이스 제공 장치 및 방법
WO2015194697A1 (en) Video display device and operating method thereof
WO2022075644A1 (ko) 리모트컨트롤 시스템
EP3087752A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
WO2014042474A2 (en) Method and system for executing application, and device and recording medium thereof
WO2016068645A1 (en) Display apparatus, system, and controlling method thereof
WO2017191875A1 (ko) 전자 장치가 외부 장치를 제어하는 방법 및 그 전자 장치
WO2015186857A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2016129843A1 (en) Display apparatus and display method
WO2015142031A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
WO2017105033A1 (en) Display apparatus, remote control apparatus, and control method thereof
WO2021132868A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2020101215A1 (ko) 전자 펜에 의한 터치 입력을 수신하는 터치 스크린을 포함하는 디바이스 및 그 동작 방법
WO2020262732A1 (ko) 디스플레이 장치
WO2023090493A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2024025157A1 (ko) 디스플레이 제어를 위한 전자 장치 및 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877896

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022562133

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202217057987

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 17918276

Country of ref document: US

ENP Entry into the national phase

Ref document number: 3184971

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2021355988

Country of ref document: AU

Date of ref document: 20210927

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023006415

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021877896

Country of ref document: EP

Effective date: 20230508

ENP Entry into the national phase

Ref document number: 112023006415

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230405

WWE Wipo information: entry into national phase

Ref document number: 523440203

Country of ref document: SA

WWE Wipo information: entry into national phase

Ref document number: 523440203

Country of ref document: SA

WWE Wipo information: entry into national phase

Ref document number: 523440203

Country of ref document: SA

WWG Wipo information: grant in national office

Ref document number: 523440203

Country of ref document: SA

WWG Wipo information: grant in national office

Ref document number: 17918276

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 2023110739

Country of ref document: RU