WO2017171204A1 - 단말장치 및 그 제어방법 - Google Patents

단말장치 및 그 제어방법 Download PDF

Info

Publication number
WO2017171204A1
WO2017171204A1 PCT/KR2016/015143 KR2016015143W WO2017171204A1 WO 2017171204 A1 WO2017171204 A1 WO 2017171204A1 KR 2016015143 W KR2016015143 W KR 2016015143W WO 2017171204 A1 WO2017171204 A1 WO 2017171204A1
Authority
WO
WIPO (PCT)
Prior art keywords
command
user input
user
messenger
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/015143
Other languages
English (en)
French (fr)
Inventor
냐 딘투이
칸스 란카마단
프라사드 다야마드와르카
융마커스
바부 차나아쇽
아쇽 바부 잠파니나가
하지훈
윤소영
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US16/088,178 priority Critical patent/US11329938B2/en
Priority to EP16897224.8A priority patent/EP3425889A4/en
Publication of WO2017171204A1 publication Critical patent/WO2017171204A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • H04L12/2834—Switching of information between an external network and a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface

Definitions

  • the present invention relates to a terminal apparatus and a control method thereof, and more particularly, to a terminal apparatus for controlling the operation of a device by a command corresponding to a user input in the terminal apparatus and a control method thereof.
  • terminal devices such as smart phones, smart pads (tablets), PDAs, and the like are gradually expanding.
  • the terminal device is not limited in its function, and its function can be changed and / or expanded through various applications.
  • IoT The Internet of Things
  • IoT refers to technologies and services that share information by connecting various things, such as home appliances and electronic devices, to devices through a network.
  • Terminal device capable of communicating with at least one device through a hub device;
  • a display unit capable of displaying an image;
  • a user input unit capable of receiving a user input;
  • a messenger chat window having a hub device or at least one device as a dialog is displayed on the display unit, and a user input corresponding to a command for controlling a predetermined device is received by the user input unit in the displayed messenger chat window.
  • controlling the communication unit to transmit a control signal including a command to the device under control via the hub device so that the device under control is operated by a command corresponding to a user input, and display a message corresponding to the command in the messenger dialog.
  • At least one processor for controlling the display unit to include.
  • the messenger chat window displays a plurality of selectable icons corresponding to a command for controlling at least one device
  • the processor includes a control including a command corresponding to the selected icon in response to a user input of selecting at least one of the plurality of icons.
  • the signal can be sent. Accordingly, the types of commands can be easily visually identified, so that the device can be controlled by a simple input of selecting an icon without the user inputting a complicated command.
  • the plurality of icons may be displayed in response to the selection of the IOT tab provided in the input area of the messenger chat window, and the IOT tab may be included in a keypad displayed for user input in the input area.
  • a keypad including an icon corresponding to a command is provided.
  • the IOT tab may be activated in response to a user input for interactively registering the hub device or at least one device.
  • the IoT service can be automatically provided, thereby improving user convenience.
  • the processor may control the display unit to automatically register the hub device or the at least one device in a messenger program or to display the recommendation list in the chat partner. Thus, an unnecessary process of searching for the conversation partner may be omitted.
  • At least one of the plurality of icons corresponds to a predetermined device to be controlled
  • the user input unit includes a first user input for selecting one of the plurality of icons and a second user corresponding to a command for controlling a device corresponding to the selected icon An input can be received. Accordingly, since the type of commands that can be input is not limited to the icon, various user inputs can be received.
  • the second user input may include at least one of text, a drawing, and voice spoken by the user. Accordingly, the user can input a command without restriction in a user input method that is convenient for the user.
  • the user input unit further receives a third user input for generating a group including a plurality of devices, and the processor includes a control signal including a command such that the plurality of devices included in the group are operated by a command input by the user.
  • the control unit may control the communication unit to be transmitted to the plurality of devices through the hub device. Thus, a command may be sent to a plurality of devices at one time without repeatedly performing a user input for each device.
  • the control signal including the command may be transmitted to the hub device via a communication network or a mobile communication network of the service provider of the messenger program. Accordingly, the user can easily input a command from outside the range of the local area network provided by the home network.
  • the terminal device capable of communicating with the outside;
  • a display unit capable of displaying an image;
  • a user input unit capable of receiving a user input;
  • At least one processor configured to display a second user interface on which a device is interactive, on a display unit, and control the communication unit to transmit a command to the device under control according to a user input using the second user interface through a hub device.
  • the second user interface includes a messenger chat window corresponding to a command for controlling at least one device and displaying a plurality of selectable icons, wherein the processor is further configured to respond to a user input for selecting at least one of the plurality of icons.
  • Corresponding commands can be sent.
  • the type of command can be easily visually identified, so that the device can be controlled by a simple input of selecting an icon without the user inputting a complicated command.
  • At least one of the plurality of icons corresponds to a predetermined device to be controlled
  • the user input unit includes a first user input for selecting one of the plurality of icons and a second user corresponding to a command for controlling a device corresponding to the selected icon An input can be received. Accordingly, since the type of commands that can be input is not limited to the icon, various user inputs can be received.
  • the control method of the terminal device comprises the steps of: displaying a messenger chat window to the hub device or at least one device in response to the execution of the messenger program; Receiving a user input corresponding to a command for controlling a predetermined device in the displayed messenger chat window; Transmitting a control signal including a command to the device to be controlled via the hub device such that the device to be controlled is operated by a command corresponding to the user input; And displaying a message corresponding to the transmitted command in a messenger chat window.
  • a messenger service can be used to control the operation of a home device in the home that operates as an IoT device, the user can be provided with convenience.
  • the messenger chat window corresponds to a command for controlling at least one device and displays a plurality of selectable icons, wherein receiving a user input includes receiving a user input of selecting one of the plurality of icons, and transmitting the selected icon.
  • the control signal including the command corresponding to the can be transmitted. Accordingly, the types of commands can be easily visually identified, so that the device can be controlled by a simple input of selecting an icon without the user inputting a complicated command.
  • the method may further include displaying a plurality of icons in response to the selection of the IOT tab provided in the input area of the messenger chat window.
  • the method may further include activating the IOT tab in response to a user input of registering the hub device or the at least one device interactively.
  • the IoT service can be automatically provided, thereby improving user convenience.
  • the method may further include automatically registering the hub device or at least one device in a messenger program or displaying the hub device or at least one device in the chat recommendation list. Thus, an unnecessary process of searching for the conversation partner may be omitted.
  • At least one of the plurality of icons corresponds to a predetermined device to be controlled, and receiving a user input includes: receiving a first user input of selecting at least one of the plurality of icons; And receiving a second user input corresponding to a command for controlling a device corresponding to the selected icon. Accordingly, since the type of commands that can be input is not limited to the icon, various user inputs can be received.
  • the second user input may include at least one of text, a drawing, and voice spoken by the user. Accordingly, the user can input a command without restriction in a user input method that is convenient for the user.
  • the control signal can be transmitted to the plurality of devices through the hub device.
  • a command may be sent to a plurality of devices at one time without repeatedly performing a user input for each device.
  • the user can easily input a desired command without inputting a complicated command.
  • a user can input a command without restriction in a user input method that is convenient for the user.
  • the IoT service can be used in a simple manner of registering a hub device or a device to be controlled as a conversation and inputting a message to the registered conversation partner, the service is more easily expanded.
  • commands can be input in group units in the messenger chat window, commands can be sent to a plurality of devices at once without repeatedly performing user input for each device.
  • FIG. 1 is a diagram illustrating an example of a home network system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a terminal apparatus according to an embodiment of the present invention.
  • 3 to 5 are views for explaining the registration process of the conversation partner in the terminal device according to an embodiment of the present invention.
  • 6 to 10 are diagrams for explaining a process of inputting a command for controlling a device using a messenger chat window in a terminal device according to an embodiment of the present invention
  • FIG. 11 is a diagram illustrating an example of transmitting a command using a terminal device from outside according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a control method of a terminal device according to an embodiment of the present invention.
  • control unit 120 communication unit
  • part refers to a hardware component such as software, FPGA, or ASIC, and “part” plays a role. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • FIG. 1 is a diagram showing an example of a home network system 1 according to an embodiment of the present invention.
  • a home network system (hereinafter also referred to as a home automation system) 1 according to an embodiment of the present invention 1 is a terminal device 100, a hub device 200, and at least one of a control target.
  • the home network system 1 may further include a server 400 for providing data related to a messenger service.
  • the terminal device 100 communicates with at least one device 301, 302, 303, 304 through the hub device 200. Specifically, the terminal device 100 transmits a control signal for controlling the operation of at least one device 301, 302, 303, 304 to the hub device 200, and the transmitted control signal is controlled through the hub device. Can be delivered to the device as a target.
  • the terminal device 100 may include a smart phone or a smart pad such as a tablet, a personal digital assistant, a personal digital assistant, and the like. It can be implemented with a variety of mobile digital devices such as terminals).
  • the terminal device 100 may be referred to as a wearable device (hereinafter, referred to as a digital accessory, a smart accessory, or an accessory) that can be worn on a user's body, such as a smart watch or a smart band.
  • a wearable device hereinafter, referred to as a digital accessory, a smart accessory, or an accessory
  • a user's body such as a smart watch or a smart band.
  • the terminal device 100 is not limited to a portable mobile device, and in one embodiment, the terminal device 100 may be a computer implemented as a laptop or desktop, or may be implemented as a smart TV. have.
  • the terminal device 100 is provided with at least one program that provides a messenger service, that is, a messenger application or a chat application.
  • the messenger program includes various programs used by a large number of users, for example, Kakao Talk, Line, Google Talk, Skype, WhatsApp, etc. Can be.
  • the user uses a messenger program installed in the terminal device 100 to communicate with, or communicate with, a message (transmission and reception of a message) with a counterpart (another user) including a user of another terminal device, such as a family, a friend, or a colleague. can do.
  • a counterpart another user
  • the user may add the other party to the conversation of the messenger program using account information for identifying another user, for example, a phone number, an email, a user ID used in a predetermined community, and the like.
  • a user includes a control signal including a command for controlling the operation of a predetermined device (301, 302, 303, 304) to the sub-device 200 by using the installed messenger program
  • the user input may be transmitted to transmit the control signal, and the transmitted control signal is transmitted to at least one of the devices 301, 302, 303, and 304 to be controlled through the sub-device 200.
  • a messenger chat window displayed for communication with a user of another terminal device while the messenger program is executed is referred to as a first user interface (hereinafter referred to as a first UI).
  • the messenger chat window displayed to input a command for controlling the predetermined devices 301, 302, 303, and 304 through the sub-device 200 is defined as a second user interface (hereinafter, also referred to as a second UI).
  • the messenger program may be distributed by a messenger service provider including a manufacturer, a communication company, and a portal service provider of the terminal device 100, and may be embedded in a manufacturing process of the terminal device 100, such as a market server such as a launch or an app store. From the terminal device 100 can be downloaded and installed.
  • a messenger service provider including a manufacturer, a communication company, and a portal service provider of the terminal device 100
  • a manufacturing process of the terminal device 100 such as a market server such as a launch or an app store. From the terminal device 100 can be downloaded and installed.
  • the messenger program may be a program installed in the terminal device 100 in a manufacturing step to provide a short message service (SMS).
  • SMS short message service
  • a plurality of messenger programs may be installed.
  • the hub device 200 is provided to perform communication relay between the terminal device 100 and the devices 301, 302, 303, and 304 to be controlled.
  • the hub device 200 may be connected to a home network and a public communication network, and may be a comprehensive network device that serves as a gateway, a router, or a router assigned an address.
  • the hub device 200 may include its own processor and memory, and may be provided to enable protocol conversion or bandwidth conversion.
  • the hub device 200 receives a control signal including a command for controlling at least one device 301, 302, 303, 304 from the terminal device 100, and transmits the received control signal to a device to be controlled. .
  • the hub device 200 receives data (for example, an icon corresponding to a command) for controlling the operation of the devices 301, 302, 303, and 304 from the server 400 provided for the messenger service. It can be downloaded and provided to the terminal device 100.
  • data for example, an icon corresponding to a command
  • the at least one device 301, 302, 303, 304 performs a control operation to correspond to a command included in the control signal received through the hub device 200.
  • the devices 301, 302, 303, 304 include various electronic devices connectable by the home network system 1 and may be, for example, home appliances such as washing machines, refrigerators, air conditioners, televisions (TVs), and the like.
  • the devices 301, 302, 303, and 304 are various kinds of electronic devices that are provided as things or smarthings that operate based on Internet of Things (IoT) technologies such as healthcare, remote meter reading, smart home, and smart car. It may include.
  • IoT Internet of Things
  • the devices 301, 302, 303, and 304 may be provided with a sensor for performing an operation of each device and sensing a surrounding environment.
  • the server 400 may be operated by a service provider that provides a messenger program, and includes a cloud server.
  • the server 400 may provide information about the devices 301, 302, 303, and 304 that can be controlled by the terminal device 100, and command-related information for controlling the devices 301, 302, 303, and 304.
  • the hub device 200 may be provided to the terminal device 100.
  • FIG. 2 is a block diagram showing the configuration of a terminal device 100 according to an embodiment of the present invention.
  • the terminal device 100 of the present embodiment may be wirelessly connected to other devices including the hub device 200 by using the communication unit 130 to be described later, and may transmit / receive a control signal.
  • the terminal device 100 has a touch screen 141 and is defined as a device capable of transmitting / receiving data through the communication unit 130.
  • the user input unit 150 including a physical button 151, a keypad displayed on the touch screen 141, and a separate input device (pointing device) capable of a user's touch input are provided.
  • the user input unit 150 may receive a touch of a user's body (for example, a finger) on the touch screen 141.
  • the user input unit 150 transmits various preset control commands or information to the controller 110 according to a user input including a touch input.
  • the terminal device 100 includes a display unit 140 including a touch screen 141 and a touch screen controller 145.
  • the terminal device 100 includes a control unit 110, a communication unit 120, an image processing unit 130, a display unit 140, a user input unit 150, a detection unit 160, an image input unit 180, and a storage unit 190. ) And a power supply unit 195.
  • the communication unit 120 includes at least one of the wireless LAN unit 121 and the short-range communication unit 122, and the image processing unit 130 includes the broadcast communication unit 131, the audio reproduction unit 132, and the video reproduction unit 133. At least one of the.
  • the user input unit 150 includes at least one of a button 151, a microphone 152, a keypad 163, and an input device 164.
  • the sensing unit 170 includes at least one of the proximity sensor 171, the illumination sensor 172, and the attitude sensor 173.
  • the image input unit 180 includes at least one of the first camera 181 and the second camera 182.
  • the terminal device 100 may further include at least one of the mobile communication unit 125, the speaker 171, the vibration motor 172, the GPS unit 173, and the connector 175. have.
  • the controller 110 stores at least one processor 111, a ROM (ROM) 112 in which a control program for controlling the terminal device 100 is stored, and a signal or data input from the outside of the terminal device 100, or It may include a RAM 113 used as a storage area for various tasks performed in the terminal device 100.
  • ROM read-only memory
  • the controller 110 controls the overall operation of the terminal device 100 and the signal flow between the internal components 120 to 195 of the terminal device 100, and performs data processing.
  • the controller 110 controls power supply from the power supply 195 to the internal components 120 to 190.
  • the controller 110 may execute an operating system (OS) and various programs / applications / software stored in the storage 190.
  • OS operating system
  • the processor 111 includes at least one general purpose processor such as a central processing unit (CPU), an application processor (AP), a microcomputer (MICOM), and, for example, according to a predetermined algorithm stored in the ROM 112. By loading and executing a corresponding program in the RAM 113, it may be implemented to perform various operations of the terminal device 100.
  • a general purpose processor such as a central processing unit (CPU), an application processor (AP), a microcomputer (MICOM), and, for example, according to a predetermined algorithm stored in the ROM 112.
  • CPU central processing unit
  • AP application processor
  • MICOM microcomputer
  • the processor 111 may include a single core, dual core, triple core, quad core, and multiple cores thereof.
  • the processor may include a plurality of processors, for example, a main processor and a sub processor.
  • the subprocessor is provided to operate in a standby mode (hereinafter, also referred to as a sleep mode) in which only standby power is supplied and does not operate as the terminal device 100.
  • the processor 111, the ROM 112, and the RAM 113 as described above may be interconnected through an internal bus.
  • the processor 111 may include a GPU (Graphic Processing Unit, not shown) for graphics processing.
  • the processor 111 may include a system (SoC) in which a core (core, not shown) and a GPU (not shown) are combined. Chip) can be implemented.
  • the controller 110 may further include a separate GPU for graphic processing.
  • control unit 110 is a program for performing a specific function supported by the terminal device 100, for example, a function for detecting the occurrence of an error in a predetermined configuration including a main processor;
  • a chip provided as a dedicated processor for executing the program may be further included, for example, an integrated circuit (IC) chip.
  • the control unit 110 includes a communication unit 120, a mobile communication unit 125, an image processing unit 130, a display unit 140 including a touch screen 141, a touch screen controller 145, a user input unit 150, and a detection unit.
  • the unit 160, the speaker 171, the vibration motor 172, the GPS unit 173, the image input unit 180, the storage unit 190, and the power supply unit 195 may be controlled.
  • the terminal device 100 may include only the wireless LAN unit 121 as the communication unit 120, or include both the wireless LAN unit 121 and the short range communication unit 132.
  • the wireless LAN unit 131 may be connected to an access point (AP) using wireless at a place where an access point (AP) is installed under the control of the controller 110.
  • the wireless LAN unit 131 supports the wireless LAN standard (IEEE802.11x) of the Institute of Electrical and Electronics Engineers (IEEE).
  • an access point may be provided in the hub device 200.
  • the terminal device 100 may access the home network including the hub device 200 and at least one device 301, 302, 303, 304 by the wireless LAN unit 131.
  • the local area communication unit 132 may be provided to support local area communication between other devices wirelessly without an access point (AP) under the control of the controller 110.
  • AP access point
  • Local area communication includes Bluetooth, Bluetooth low energy, infrared data association (IrDA), Wi-Fi, Wi-Fi Direct, Zigbee, UWB (Ultra). It may include at least one of a short range communication module, such as wideband (Near Field Communication).
  • the mobile communication unit 125 may be connected to an external device, that is, another device by mobile communication using one or more antennas (not shown) under the control of the controller 110.
  • the mobile communication unit 125 has a voice call, a video call, a text message (SMS), a multimedia message (MMS) with a mobile phone, a smartphone, a tablet, or another terminal device (mobile device) having a phone number that can be connected to the terminal device 100.
  • SMS text message
  • MMS multimedia message
  • the wireless signal transmitted through the mobile communication unit 125 is transmitted to the receiving counterpart through a mobile communication network such as LTE, 3G, and 4G.
  • the terminal device 100 may include a combination of two or more of the mobile communication unit 125, the wireless LAN unit 121, and the short range communication unit 122 according to performance.
  • the communication unit 120 is provided to communicate with the devices 301, 302, 303, and 304 through the hub device 200 under the control of the control unit 110. Sending and receiving commands for controlling the devices 301, 302, 303, 304.
  • the term communicator basically refers to the communicator 120, but is defined as including both the communicator 120 and the mobile communicator 125 in some cases.
  • the image processor 130 may include a broadcast communication unit 131, an audio playback unit 132, or a video playback unit 133.
  • the broadcast communication unit 131 is a broadcast signal (for example, a TV broadcast signal, a radio broadcast signal or a data broadcast signal transmitted from an external broadcast station through a broadcast communication antenna (not shown) under the control 110 of the controller).
  • broadcast additional information for example, an electric program guide (EPS) or an electric service guide (ESG)
  • the controller 110 may process the received broadcast signal and the broadcast additional information to be reproduced by the display unit 140 and / or the speaker 171 using a video codec unit and / or an audio codec unit. Can be.
  • the audio playback unit 132 is an audio source (for example, the file extension is mp3, wma, ogg or wav) previously stored in the control unit 110 or the storage unit 190 of the terminal device 100 or received from the outside. Audio file) can be processed to be reproduced by the speaker 171.
  • the file extension is mp3, wma, ogg or wav
  • Audio file can be processed to be reproduced by the speaker 171.
  • the audio reproducing unit 132 transmits to the auditory feedback (for example, the storage 190) corresponding to the touch or the continuous movement of the touch detected by the touch screen 141 under the control of the controller 110. Output of the stored audio source, etc.) may be reproduced through the audio codec unit.
  • the auditory feedback for example, the storage 190
  • Output of the stored audio source, etc. may be reproduced through the audio codec unit.
  • the video reproducing unit 133 is stored in the storage 190 of the terminal device 100 under the control of the controller 110 or received from a digital video source (for example, the file extension mpeg, mpg, mp4, avi, mov, or mkv files) can be played using the video codec unit.
  • a digital video source for example, the file extension mpeg, mpg, mp4, avi, mov, or mkv files
  • Most applications that can be installed in the terminal device 100 can play an audio source and / or a video file using an audio codec unit and / or a video codec unit.
  • the video playback unit 133 may be configured to provide visual feedback (for example, a storage unit) corresponding to a touch or continuous movement of a touch detected by the touch screen 141 under the control of the controller 110.
  • Output video source, etc. stored at 190) can be played through the video codec unit.
  • the image processor 130 may include an audio playback unit 132 and a video playback unit 133 except for the broadcast communication unit 131 according to the performance or structure of the terminal device 100.
  • the audio playback unit 132 and / or the video playback unit 133 of the image processor 130 may be included in the controller 110.
  • the term video codec unit may include one or more video codec units.
  • the term audio codec unit may include one or more audio codec units.
  • the display 140 displays an image based on the image signal processed by the image processor 130.
  • the implementation manner of the display unit 140 is not limited.
  • a liquid crystal, a plasma, a light-emitting diode, an organic light-emitting diode, a surface conduction electron gun It can be implemented in various display methods such as -conduction electron-emitter, carbon nano-tube, and nano-crystal.
  • the display unit 140 may further include additional components according to its implementation. For example, when the display unit 140 is a liquid crystal system, the display unit 140 drives a liquid crystal display panel (not shown), a backlight unit (not shown) that supplies light thereto, and a panel (not shown). And a panel driving substrate (not shown).
  • the display 140 may include a touch screen 141 through which an input according to a user's touch is received.
  • the touch screen 141 may be implemented by, for example, a resistive method, a capacitive method, an infrared method, or an ultrasonic wave method.
  • the touch screen 141 may display an object including a menu item of the display apparatus 100 as a user interface (UI), for example, a menu, text, an image, a video, a figure, an icon, and a shortcut icon. have.
  • UI user interface
  • the user may touch the object displayed on the touch screen 141 with a user's body (for example, a finger) or a separate input device 154 such as a star illustration or a pointing device to perform user input.
  • the touch screen 141 may provide a user with a graphical user interface (GUI) corresponding to various services (eg, a call, data transmission, broadcasting, photography, video, or application).
  • GUI graphical user interface
  • the touch screen 141 transmits an analog signal corresponding to a single touch or multi touch input through the GUI to the controller 110.
  • the touch is not limited to the contact between the touch screen 141 and the user's body or the touchable pointing device, and is non-contact (for example, the touch screen 141 and the user's body or the touch screen 121 are pointing).
  • the detectable distance from the device may comprise hovering up to 30 mm. It will be readily understood by those skilled in the art that the non-contact distance detectable in the touch screen 141 may be changed according to the performance or structure of the terminal device 100.
  • the touch input includes drag, flick, drag & drop, tap, long tap, and the like.
  • the display 140 displays a messenger chat window provided to enable input of a command for controlling an operation of at least one device 301, 302, 303, 304 in response to execution of a program providing a messenger service. Can be.
  • the user input unit 150 may include at least one of one or more buttons 151, a microphone 152, a keypad 153, and an input device 154.
  • the button 151 includes at least one of a menu button, a home button, and a back button provided at a lower portion of the front surface.
  • the button 151 may include a power / lock button and / or a volume button on the side.
  • the button 151 may be implemented as a touch button provided on the touch screen 141 instead of a physical button.
  • the button 151 may be displayed as text or an icon in the touch screen 141.
  • the user input unit 150 of the terminal device 100 may receive an interaction with respect to the content displayed on the touch screen 141, that is, a user input according to a touch or a touch gesture.
  • the microphone 152 generates an electrical signal by receiving a voice or sound from the outside under the control of the controller 110.
  • the electrical signal generated by the microphone 152 may be converted by the audio codec unit and stored in the storage 190 or output through the speaker 171.
  • One or more microphones 152 may be located on the front, side, and back of the terminal device 100.
  • the keypad 153 may receive a key input from the user for the control of the terminal device 100.
  • the keypad 153 is a physical keypad (not shown) formed on the front of the terminal device 100, a virtual keypad displayed on the display unit 140 including the touch screen 141 (610 of FIG. 6) and a wired terminal. Or at least one of an external keypad (eg, a keyboard dock (not shown)) that can be wirelessly connected, and when the keypad 153 is an external keypad, a user's key input signal is transmitted to the communication unit 120. Or via the connector 175.
  • an external keypad eg, a keyboard dock (not shown)
  • the virtual keypad is displayed in an input area of a messenger chat window displayed on the display unit 140 and includes a plurality of icons corresponding to commands for controlling the operation of the devices 301, 302, 303, and 304. can do.
  • the user may cause a command corresponding to the selected icon to be transmitted to the device to be controlled according to a user input of selecting at least one of the plurality of icons.
  • a physical keypad formed on the front of the terminal device 100 may be excluded depending on the performance or structure of the terminal device 100.
  • the input device 154 may touch an object (eg, a menu, text, an image, a video, a figure, an icon, and a shortcut icon) displayed on a screen displayed on the touch screen 141 of the terminal device 100. You can choose.
  • an object eg, a menu, text, an image, a video, a figure, an icon, and a shortcut icon
  • the object may correspond to content.
  • the content can be transmitted and received with other devices such as an application installed in the terminal device 100, image data photographed through the cameras 161 and 162, media data stored in the storage unit 190, text data such as documents or contacts, and the like. Include all data.
  • the input device 154 may touch a capacitive, resistive, and electromagnetic induction touch screen or input characters, icons, or the like using a virtual keypad.
  • the input device 154 is, for example, a pen device (for example, a vibration motor or an actuator) built in using a pointing device, a stylus, and control information received from the communication unit 120 of the terminal device 100. May include a haptic pen vibrating.
  • the vibrating element may vibrate using the sensing information detected by a sensor (for example, an acceleration sensor, not shown) embedded in the input device 154 instead of the control information received from the terminal device 100.
  • the input device 154 may be provided to be inserted into the insertion hole of the terminal device 100, it can be excluded according to the performance or structure of the terminal device 100 is easy for those of ordinary skill in the art. Will be understood.
  • the sensing unit 160 includes at least one sensor for detecting a state of the terminal device 100.
  • the sensing unit 160 is located on one side of the front of the terminal device 100 of the user, and the proximity sensor 161 for detecting access to the terminal device 100, the light around the terminal device 100.
  • the illuminance sensor 162 for detecting the amount of light
  • the attitude sensor 163 for detecting the attitude and direction of the terminal device 100
  • the gravity sensor for detecting the direction of action of gravity
  • the atmospheric pressure It may include at least one of the altimeter for detecting the altitude.
  • the posture sensor 163 may include a gyro sensor using rotational inertia, an acceleration sensor for detecting an inclination of three axes (for example, x-axis, y-axis, and z-axis) applied to the terminal device 100. .
  • the sensing unit 160 may measure an acceleration in which the movement acceleration and the gravity acceleration of the terminal apparatus 100 are added. When the terminal apparatus 100 is not moving, the sensing unit 160 may measure only the gravity acceleration. For example, when the front surface of the terminal device 100 faces upward, the gravity acceleration may be in the positive direction, and when the rear surface of the terminal device 100 faces upward, the gravity acceleration may be in the negative direction. .
  • At least one sensor included in the sensing unit 160 detects a state of the terminal device 100, generates a signal corresponding to the detection, and transmits the signal to the control unit 110. It will be readily understood by those skilled in the art that the sensor of the sensing unit 160 may be added or deleted according to the performance of the terminal device 100.
  • the speaker 171 may control various signals (eg, wireless) of the communication unit 120, the mobile communication unit 125, the image processing unit 130, or the image input unit 180 using the audio codec unit under the control of the controller 110. Sound corresponding to a signal, a broadcast signal, an audio source, a video file, or a photo capture) may be output to the outside of the terminal device 100.
  • signals eg, wireless
  • the speaker 171 may output a sound (for example, a touch operation sound corresponding to a phone number input, a photo shooting button operation sound, etc.) corresponding to a function performed by the terminal device 100.
  • a sound for example, a touch operation sound corresponding to a phone number input, a photo shooting button operation sound, etc.
  • At least one speaker 171 may be located on the front, side, and rear surfaces of the terminal device 100.
  • the speaker 171 may output auditory feedback corresponding to a touch or continuous movement of the touch detected by the touch screen 141 under the control of the controller 110.
  • the vibration motor 172 may convert the electrical signal into mechanical vibration under the control of the controller 110.
  • the vibration motor 172 may include a linear vibration motor, a bar type vibration motor, a coin type vibration motor, or a piezoelectric element vibration motor.
  • the vibration motor 166 of the terminal device 100 in the vibration mode is operated under the control of the controller 110.
  • the vibration motor 166 may be located in one or more than one terminal device (100).
  • the vibration motor 166 may vibrate the entire terminal device 100 or may cause only a part of the terminal device 100 to vibrate.
  • the GPS unit 173 may be configured to periodically correct information and time of a GPS satellite (not shown) that can be received by the terminal device 100 from a plurality of GPS satellites (not shown) on earth orbit. Information).
  • the terminal device 100 may know the location, speed, and / or time of the terminal device 100 using information received from a plurality of GPS satellites.
  • the connector 175 may be used as an interface for connecting the terminal device 100 to an external device (not shown) or a power source (not shown). Under the control of the controller 110, the terminal device 100 may transmit data stored in the storage 190 to an external device or receive data from the external device through a wired cable connected to the connector 175. The terminal device 100 may charge a battery that is input from a power source or provided as a power supply unit 195 through a wired cable connected to the connector 175. In addition, the terminal device 100 may be connected to an external accessory (eg, a photo printer, not shown) through the connector 175.
  • an external accessory eg, a photo printer, not shown
  • the image input unit 180 may include at least one of a first camera 181 on the front and a second camera 182 on the rear which capture a still image or a video under the control of the controller 110.
  • the image input unit 180 may include one or both of the first camera 181 and the second camera 182.
  • the image input unit 180 may further include an auxiliary light source (eg, a flash 183) that provides an amount of light required for capturing the first camera 181 or the second camera 182.
  • the storage unit 190 may control the communication unit 120, the mobile communication unit 125, the image processing unit 130, the display unit 140, the user input unit 150, the detection unit 160, and the speaker under the control of the controller 110. 171, the vibration motor 172, the GPS unit 173, the connector 175, and / or the input / output signal or data corresponding to the operation of the image input unit 180 may be stored.
  • the storage unit 190 is a control program for controlling the terminal device 100 and a graphical user interface (GUI) related to an application provided by a manufacturer or downloaded from the outside, images for providing a GUI, user information, documents, and data. Bases or related data can be stored.
  • GUI graphical user interface
  • the terminal device 100 may store a messenger program and related data (for example, an icon corresponding to a command) in the storage 190.
  • a messenger program and related data for example, an icon corresponding to a command
  • the storage unit 190 may store touch information (for example, X and Y coordinates of the detected touch position, touch detection time, etc.) corresponding to the touch and / or the continuous movement of the touch.
  • the storage unit 190 may also store the type of continuous movement of the touch (for example, flick, drag, or drag and drop), and the controller 110 compares the input user touch with information of the storage unit 190.
  • the type of touch can be identified.
  • the storage unit 190 may recognize a visual feedback (for example, a video source) and a user output from the speaker 171 that can be recognized by the user output to the display 140 in response to an input touch or touch gesture.
  • Hearing feedback eg, sound source, etc.
  • the tactile feedback eg, haptic pattern, etc.
  • the terminal device 100 can be used with the same user account as the hub device 200 and / or the server 400. That is, a user of the terminal device 100 downloads and installs a messenger program that can send commands to the devices 301, 302, 303, and 304, that is, an application to the terminal device 100, and uses his user account. To log in to the application.
  • the hub device 200 and / or the server 400 may operate to be accessible from a plurality of terminal devices 100 using different user accounts. For example, in the case of a family of four, some or all of the four members of the family for each hub device 200 installed in the home log in to a messenger program installed in the terminal device 100 owned by each user using their own user account. And, it may be implemented to transmit a command to the devices (301, 302, 303, 304) via the hub device (200).
  • the hub device 200 may be stored in advance at least one user account information available.
  • the home network system 1 according to an embodiment of the present invention as described above is provided to at least one device 301, 302, 303, 304 through the hub device 200 in response to a user input using the terminal device 100. It provides an IoT environment for sending control signals.
  • the terminal device 100 is installed with at least one program for providing a messenger service
  • the messenger chat window displayed on the display unit 140 according to the execution of the installed messenger program (described above) 2 corresponds to the user interface, which controls the operation of devices 301, 302, 303, and 304 (hereinafter also referred to as IoT devices, IoT devices, or home devices) in chat rooms, chat windows, or chatrooms.
  • IoT devices IoT devices, IoT devices, or home devices
  • a control signal can be transmitted to at least one device 301, 302, 303, 304 through the hub apparatus 200. Accordingly, it is possible to interact with the IoT device using the terminal device 100.
  • the hub device 200 may be added as a chat partner (hereinafter, referred to as a friend or chat user) in a messenger program executed by the terminal apparatus 100.
  • the display unit 140 of the terminal device 100 displays a messenger chat window having the hub device 200 as a conversation, and the user can communicate with the hub device 200 in the displayed messenger chat window 301, 302, 303, 304. You can choose to enter a command for).
  • the devices 301, 302, 303, and 304 included in the home network system 1 may be added to each other in a messenger program executed in the terminal apparatus 100.
  • the display unit 140 of the terminal device 100 displays a messenger chat window having a specific device (for example, 301) as a conversation, and a user may select to input a command for the device 301 in the displayed messenger chat window. have.
  • a chat group including two or more devices (for example, 301 and 302) added to a conversation by a user's selection in a messenger program executed in the terminal device 100 may be set.
  • the display unit 140 of the terminal apparatus 100 displays a chat room capable of interacting with the devices 301 and 302 included in the set group, and a user simultaneously transmits a command to two or more devices 301 and 302 in the chat room.
  • User input can be as possible.
  • the subsystem 200 or devices 301, 302, 303, 304 are identifiable in the home network system 1 by an address assigned to each, and each device 200, 301, 302, 303 , 304 can be registered as a conversation in the messenger program using the identification information.
  • the control unit 110 of the terminal device 100 searches for the IP address of the hub device 200 in the home network system 1 supporting Wi-Fi, and communicates with the hub device 200 in response to the search result. You can add it against.
  • the messenger chat window may include an input area (610 of FIG. 6) on which a receivable virtual keypad (or a virtual keyboard) (hereinafter, also referred to as a keypad) of a user input is displayed, and a message input window displaying a current input content of the user. 620, a message display area 630 for displaying a message for which input is completed may be included.
  • a receivable virtual keypad or a virtual keyboard
  • a message input window displaying a current input content of the user.
  • a message display area 630 for displaying a message for which input is completed may be included.
  • the virtual keypad includes an IoT tab or standard tab (611 in FIG. 6) provided as a button that can be selected by a touch input, and the IOT tab 611 is a hub device 200 or a control.
  • the at least one device 301, 302, 303, or 304 as an object may be activated in response to a user input for registering a conversation.
  • the keypad including the IOT tab 611 may be released in a built-in state during the manufacturing process of the terminal device 100. That is, the terminal device 100 released from a specific manufacturer supports a keypad including an IOT tab 611 without a separate installation process.
  • a user may download and install a keyboard program (keypad program) that includes an IOT tab 611 from the App Store.
  • a keyboard program keyboard program
  • 3 to 5 are views for explaining the registration process of the conversation partner in the terminal device 100 according to an embodiment of the present invention.
  • the server 400 may store data 501 including a command for controlling the devices 301, 302, 303, and 304.
  • FIG. 3A illustrates a case where a plurality of commands for controlling the devices 301, 302, 303, and 304 are defined as icons corresponding to the commands.
  • the hub device 200 may download and store data 502 for a command for controlling the devices 301, 302, 303, and 304 from the server 400. . Accordingly, the command is synchronized between the server 400 and the hub device 200.
  • the hub device 100 may be registered as the conversation partner 503 in the executed messenger program.
  • the user may add the hub device 200 to the conversation by searching in the conversation partner list (or friend list) of the messenger program.
  • the identification information of the terminal apparatus 100 or the devices 301, 302, 303, and 304 may be used in the searching process.
  • control unit 110 of the terminal device 100 automatically registers (adds) the hub device 100 or at least one device 301, 302, 303, 304 to a conversation in an executed messenger program, or performs a conversation.
  • the display unit 140 may be controlled to be displayed on the relative recommendation list.
  • the user can confirm that the hub device 200 is registered as a dialog in the friend list shown in FIG. 3 (c), and the display unit 140 is selected by selecting the corresponding tab 503 by a touch input. ), A messenger chat window having the hub device 200 as a dialog can be displayed.
  • the hub device 200 from the terminal device 100 is accordingly performed.
  • data about a command for controlling the devices 301, 302, 303, and 304 may be transmitted.
  • the command is synchronized between the terminal device 100 and the hub device 200.
  • the hub device 200 operates as an IoT hub in the home network, and the terminal device 100 is set up to transmit various commands to the hub device 200 using the corresponding messenger program.
  • the hub service 200 is authorized from the messenger service provider to the hub device 200 to receive the command directly from the terminal device 100 and to control the devices 301, 302, 303, and 304. Can be.
  • the terminal device 100 may download data about a command for controlling the devices 301, 302, 303, and 304 from the server 400.
  • remote control using a communication network 410 (eg, messaging infra or third party infra) provided by a messenger service provider (eg, a communication service provider, a portal service provider, etc.) operating the server 400 ( remote control) can be performed.
  • a communication network 410 eg, messaging infra or third party infra
  • a messenger service provider eg, a communication service provider, a portal service provider, etc.
  • a plurality of messenger programs may be installed in the terminal device 100.
  • the user may install and execute each application in the terminal device 100 to register the hub device 200 interactively.
  • the terminal device 100 may execute one of a plurality of messenger programs installed by a user's selection, and input a command through a dialog window of the executed program, and the command may be transferred to a communication network 410 of a corresponding service provider or a communication company. It may be transmitted to the hub device 200 via a communication network.
  • FIGS. 2 to 5 a case in which the hub device 200 is registered as a dialog and a command is transmitted to the devices 301, 302, 303, and 304 is described. ) Can be easily understood in the same manner in the case of individually registering conversationally) as a person having ordinary knowledge in the art.
  • 6 to 10 are views for explaining a process of inputting a command to control a device using a messenger chat window in the terminal device 100 according to an embodiment of the present invention.
  • the control unit 110 of the terminal device 100 receives a user's selection for the tab 503 of the hub device 200 from the contact list shown in FIG. 3 (c).
  • the display unit 140 is controlled to display a chat window.
  • a messenger chat window may include an input area 610 in which a virtual keypad capable of receiving user input is displayed, a message input window 620 displaying a current input content of a user, and a message in which input is completed.
  • the message display area 630 may be included.
  • a message 631 previously received from the past partner that is, a message 631 received from the hub apparatus 200 and / or a message transmitted from the terminal apparatus 100 to the hub apparatus 200 as the chat partner ( 632 may be displayed in the form of, for example, a speech bubble.
  • the input area 610 displays various icons selectable by the user, and the icons may be classified according to their type. A plurality of tabs for selecting the type of icon may be displayed on the icon.
  • the plurality of tabs include an IoT tab 611.
  • the IOT tab 611 may be activated in response to the registration (addition) of the contact described with reference to FIG. 3.
  • the terminal device 100 is provided to receive various types of user inputs.
  • the user input may include a voice spoken by the user
  • the messenger dialog may further display a voice input icon 640 selectable by the user to activate a voice input function in one region.
  • the control unit 110 responds to the reception of a user input for selecting the OT tab 611 in a messenger dialog as shown in FIG. 6A, and as shown in FIG. 6B, the devices 301, 302, and 303.
  • the controller 140 may control the display 140 to display a plurality of icons 612, 613, 614, and 615 corresponding to a command for controlling 304, in the input area 610 of the messenger chat window.
  • the user may make a touch input for selecting one of the icons displayed in the messenger dialog of FIG. 6 (b), and the controller 110 transmits the communication unit 120 to transmit a command corresponding to the selected icon to the hub device 200.
  • the controller 110 transmits the communication unit 120 to transmit a command corresponding to the selected icon to the hub device 200.
  • a control signal including a command for operating the fan is transmitted to the hub device 200 through the communication unit 120.
  • the control signal is transmitted to the corresponding device, that is, the fan, through the hub device 200.
  • the ventilator performs an operation based on the received control signal.
  • the controller 110 may control the display 140 to display a message 633 corresponding to the transmitted command in the message display area 630.
  • the user may verify that the command is normally transmitted by selecting the fan operation icon 614 at 14:12 (14:12) through the transmission message 633 of FIG. 6 (b).
  • the message display area 630 further displays a message 634 corresponding to the status information of the device received from the devices 301, 302, 303, and 304 through the hub device 200.
  • the user may check the current state of the device 301, 302, 303, 304 through the status information message 634.
  • a message for notifying the user may be displayed in the message display area 630.
  • the user may determine whether to resend the command in response to the displayed message.
  • the user input received in the messenger chat window displayed on the terminal device 100 according to the present invention is not limited to the icon described with reference to FIG. 6, and may further include text, drawing, and voice input.
  • a plurality of icons displayed in the input area 610 of the messenger chat window may correspond to the plurality of devices 301, 302, 303, and 304, respectively. That is, icons 712, 713, 714, and 715 corresponding to a washing machine, a refrigerator, an air conditioner, and a television that operate as IoT devices are displayed to be selectable by the user.
  • the terminal device 100 selects an icon selected in the input area 610 of the messenger chat window. 714 may further receive a second user input as a specific command for the device (303 of FIG. 1).
  • FIG. 8B illustrates an example in which a drawing input is received as a second user input.
  • the drawing input is defined as being included in a gesture input received as a touch input to the touch screen 141, and the drawing object corresponds to the movement path of the gesture input, and the drawing object is included in the drawing area 716 in the input area 610. May be displayed.
  • the controller 110 may determine the second user input based on the shape of the drawing object corresponding to the received input. For example, as illustrated in FIG. 8B, when a drawing input having a shape of number 19 is received, the controller 110 determines that the number is 19 and maintains a set temperature of the air conditioner at 19 degrees.
  • the communication unit 120 is controlled to transmit to 200.
  • the controller 110 controls the display 140 to display a message 731 corresponding to the transmission command in the message display area 630. Accordingly, the user can check the command input and transmitted through the updated message display area 630.
  • a drawing input to the drawing area 716 is received as the second user input, for example.
  • the terminal device 100 may further receive various types of user inputs. .
  • the input area 610 when the user selects the message input window 620, the input area 610 includes a keypad for selecting text, that is, letters, numbers, special characters, etc. as a second user input. Keyboard) can be displayed. For example, the user may sequentially select the numbers 1 and 9, and in response, the controller 110 transmits a command to the sub-device 200 to maintain the set temperature of the air conditioner at 19 degrees. Will be controlled.
  • the controller 110 activates the microphone 152 to detect the voice spoken by the user.
  • the controller 110 determines the number 19 and transmits a command to the sub-device 200 to maintain the set temperature of the air conditioner at 19 degrees. 120).
  • the command input through text, voice, etc. includes natural language.
  • the controller 110 may interpret a command corresponding to a user input by using various natural language processing (NLP) algorithms.
  • NLP natural language processing
  • FIG. 6 and 7 illustrate embodiments in which an icon is input by selecting an icon, but an embodiment in which a command is transmitted to a predetermined device without selecting an icon is included in the present invention.
  • the controller 110 divides it into word units (TURN, AIR, and 25), and each word is used.
  • the control unit 120 may be controlled to map a pre-stored table to turn on the air conditioner and transmit a command for maintaining the set temperature at 25 degrees.
  • the terminal apparatus 100 may set a group including a plurality of devices, and allow a command to be sent to all or part of the plurality of devices included in the group.
  • the user input for setting the group is defined as the third user input.
  • the group may be divided into areas in the home, for example, a garage, a living room, a front entry, a media room, a kitchen, and the like. It doesn't happen. For example, setting a group of lights installed in a living room, a front door, a kitchen, and one or more bedrooms may be included in the rights of the present invention.
  • the group information thus set is transmitted to the hub device 200 and / or the server 400 so that the information is shared, i.e., synchronized.
  • group information may be received from server 400. That is, the hub device 200 receives group information from the server 400, and the received information is transmitted to the terminal device 100 via the hub device 200. Thus, information is shared, that is, synchronized between the server 400, the hub device 200, and the terminal device 100.
  • a group icon 810 may be included in an input area 610 of a messenger chat window displayed on the terminal device 100 according to an exemplary embodiment.
  • the user may set the group by selecting the group icon 810 and selecting two or more devices included in a predetermined group among the devices that can be communicated by the hub device 200.
  • the add group icon 813 may be displayed in the input area 610 of the messenger dialog as shown in FIG. 8B, and the user may add the group add icon 813. Select to enter user input for group setting.
  • the terminal device 100 may further receive a group name (eg, garage, etc.) including the selected devices from the user.
  • FIG. 8B illustrates a case in which icons 811 and 812 corresponding to groups whose settings are completed are displayed on the input area 610.
  • the terminal device 100 may selectively receive a command from one or more devices included in the group by using the set group.
  • the terminal apparatus 100 includes a device for transmitting a command among icons 811 and 812 corresponding to the set groups displayed in response to selection of the group icon 810 in FIG. 8A. For example, as shown in FIG. 9A, a user input for selecting the garage icon 811 may be received.
  • the controller 110 may include the devices included in the group, for example, a front light and a garage door installed at the entrance of the garage, as shown in FIG. 9B. Icons 815 and 816 corresponding to the garage door) may be displayed on the input area 610.
  • the controller 110 detects the touch input and transmits the touch input to the corresponding device as shown in FIG.
  • the display unit 140 may be controlled to further display icons 817 and 818 for selecting a specific command on the input area 610 of the messenger chat window.
  • the user may select a power off icon 818, and thus a command for turning off the front lighting of the garage is provided from the terminal device 100 to the sub device 200. Is sent to the controller for the front lighting of the device, the garage.
  • the terminal device 100 may be implemented to simultaneously send a command to two or more devices included in a predetermined group.
  • the terminal apparatus 100 receives a user input of selecting a group including a device to which a command is to be transmitted from the user, for example, a media room icon 812. can do.
  • FIG. 10A illustrates, for example, icons 613 corresponding to a command for controlling a predetermined device in the input area 610 of the messenger chat window in response to the selection of the OT tab 611 in FIG. 6A.
  • 614, 615, icons 714 and 715 corresponding to devices (Iot devices) to be controlled, and icons 812 corresponding to a predetermined group are shown as an example.
  • icons corresponding to commands, devices (IoT devices), groups, and the like that are frequently used by the user may be displayed in the input area 610 in the form of favorites or shortcuts. It may be displayed.
  • the terminal device 100 may further receive a user input for selecting a device included in the media room. For example, as illustrated in FIG. 10 (b), checkboxes 911, 912, 913, 914, 915, 916, and 917 that allow selection of icons of each device in the input area 610 may be activated. In response, a user input for selecting checkboxes 912, 916, and 917 for icons of a fan, an air conditioner, and a television may be received from the user as shown in FIG. 10C.
  • the controller 110 displays the icons 1001 and 1002 corresponding to commands of operations of the selected devices in the input area 610. Can be controlled.
  • the user may select a command 1001 for turning on an operation, and the controller 110 of the terminal apparatus 100 responds to the user's selection.
  • the communication unit 120 is controlled to transmit a command for immediately operating the fan, the air conditioner, and the television to the controller of each device through the hub device 200.
  • the user inputs a set temperature for controlling the air conditioner by selecting various user inputs including the method described in FIG. 7 or another method using the terminal apparatus 100, selecting a channel number of the television, adjusting the volume, or the like. You will be able to enter additional commands.
  • the user may allow the command to be transmitted to the devices (301, 302, 303, 304) installed in the house using the terminal device 100 from the outside.
  • FIG. 11 is a diagram illustrating an example of transmitting a command from the outside using the terminal device 100 according to an embodiment of the present invention.
  • a user located outside of the terminal apparatus 100 executes a messenger program (application 1) in which the sub-device 200 or at least one device 301 or 302 is registered as a conversation.
  • a command (command 1) for controlling an operation of a predetermined device, for example, the washing machine 301 may be input in a program, that is, a chat window of an application 1.
  • the input command 1 is transmitted to the sub-device 200 in the home through the communication network 401 of the corresponding application 1.
  • the command 1 is transmitted from the sub-device 200 to the washing machine 301 which is the corresponding device, and in response thereto, the washing machine 301 is controlled to perform an operation corresponding to the command 1.
  • a user located outside transmits a command by using a different messenger program (application 2) in which a sub-device 200 or at least one device 301 or 302 is registered in a conversation. You can do that.
  • the user may input a command (command 2) for controlling an operation of a predetermined device, for example, the refrigerator 302, in a program executed in the terminal device 100, that is, in a dialog window of an application 2.
  • the input command (command 2) is transmitted to the sub-device 200 in the home via the communication network 402 of the corresponding application (application 2).
  • the command 2 is transmitted from the sub-device 200 to the refrigerator 302 which is the corresponding device, and in response thereto, the refrigerator 302 is controlled to perform an operation corresponding to the command 2.
  • FIG. 12 is a flowchart illustrating a control method of the terminal device 100 according to an embodiment of the present invention.
  • the terminal device 100 may receive a user input for executing a messenger program through the user input unit 150 (S1202).
  • the messenger program is provided to support communication between users through other terminal devices, and can be downloaded by the user through an app store or released in the terminal device 100 in some cases.
  • the terminal device 100 may receive a user input of interactively adding the hub device 100 or at least one device 301, 302, 303, 304 from the messenger program executed in step S1202 through the user input unit 150. It may be (S1204).
  • the terminal device 100 receives a user input corresponding to a command for controlling a predetermined device in the conversation partner added in step S1204, for example, in a messenger chat window with the sub-device 200 (S1206).
  • the user may input a user to send a command to one or more devices, and may select to send a command to one or more devices included in a predetermined group.
  • the terminal device 100 may receive a user input in various ways, such as selecting an icon corresponding to a command, receiving a text, a drawing, or a voice spoken by a user.
  • User input received as text, voice, or the like includes natural language.
  • the terminal device 100 may receive a command for controlling the device even by a combination of two or more of the above user inputs. For example, when the conversation partner is the sub device 200, the user may select an icon for a specific device and input a command for controlling the selected device in a drawing or text.
  • the control unit 110 of the terminal device 100 controls the communication unit 120 to transmit a control signal including the command received in step S1206 to the control target device through the hub device 200 (S1208). That is, a control signal including a command is transmitted from the terminal device 100 to the hub device 200, and the hub device 200 identifies the control target device with respect to the command, and transmits the control signal to at least one device corresponding to the command. The control signal is transmitted.
  • controller 110 may control the display 140 to display a message corresponding to the transmitted command in the messenger chat window (S1210).
  • each of the features of the various embodiments of the present invention may be combined or combined with each other in part or in whole, various technically interlocking and driving as can be understood by those skilled in the art, each of the embodiments may be implemented independently of each other It may be possible to carry out together in an association.
  • the user can easily input a desired command without inputting a complicated command.
  • a user can input a command without restriction in a user input method that is convenient for the user.
  • the IoT service can be used in a simple manner of registering a hub device or a device to be controlled as a conversation and inputting a message to the registered conversation partner, the service is more easily expanded.
  • commands can be input in group units in the messenger chat window, commands can be sent to a plurality of devices at once without repeatedly performing user input for each device.
  • various embodiments of the present invention as described above may be implemented in a recording medium in which a computer-readable program is recorded.
  • the recording medium includes a storage medium which stores data readable by a computer system. Programs recorded on the recording medium may be transmitted and received through the transmission medium.
  • the transmission medium may be implemented through a wired or wireless network in which computer systems are interconnected.
  • the processor 110 may include a nonvolatile memory in which a computer program, which is software, is stored, a RAM in which the computer program stored in the nonvolatile memory is loaded, and a CPU that executes a computer program loaded in the RAM.
  • Nonvolatile memories include, but are not limited to, hard disk drives, flash memory, ROMs, CD-ROMs, magnetic tapes, floppy disks, optical storage, data transfer devices using the Internet, and the like.
  • the nonvolatile memory is an example of a computer-readable recording medium in which a computer-readable program of the present invention is recorded.
  • the computer program is code that the CPU can read and execute, and includes code for performing an operation of the control unit 110 such as steps S1202 to S1210 shown in FIG. 12.
  • the computer program may be implemented by being included in software including an operating system or a program / application included in the terminal device 100 and / or software for interfacing with an external device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 단말장치 및 그 제어방법에 관한 것으로서, 단말장치는, 허브장치를 통하여 적어도 하나의 디바이스와 통신 가능한 통신부와; 영상을 표시할 수 있는 디스플레이부와; 사용자 입력을 수신할 수 있는 사용자 입력부와; 메신저 프로그램의 실행에 응답하여 허브장치 또는 적어도 하나의 디바이스를 대화상대로 하는 메신저 대화창을 디스플레이부에 표시하도록 하고, 표시된 메신저 대화창에서 사용자 입력부에 의해 소정 디바이스를 제어하는 커맨드에 대응하는 사용자 입력이 수신되면, 사용자 입력에 대응하는 커맨드에 의해 제어 대상인 디바이스가 동작되도록, 커맨드를 포함하는 제어신호가 허브장치를 통하여 제어 대상인 디바이스에 송신되도록 통신부를 제어하고, 송신된 커맨드에 대응하는 메시지를 메신저 대화창에 표시하도록 디스플레이부를 제어하는 적어도 하나의 프로세서를 포함한다. 이에 의하여, 메신저 프로그램을 이용하여 가정 내 홈 디바이스에 커맨드를 송부함으로써, 사용자가 보다 편리하게 IoT 서비스를 이용할 수 있다.

Description

단말장치 및 그 제어방법
본 발명은 단말장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 단말장치에서의 사용자 입력에 대응하는 커맨드에 의해 디바이스의 동작을 제어하는 단말장치 및 그 제어방법을 제공한다.
전자기술의 발달에 힘입어 다양한 유형의 전자제품들이 개발 및 보급되고 있다. 예를 들어, 스마트 폰, 스마트 패드(태블릿), PDA 등과 같은 다양한 단말장치의 사용이 점차 확대되고 있다. 단말장치는 그 기능이 제한되지 않으며, 다양한 어플리케이션을 통해 기능의 변경 및/또는 확장이 가능하다.
사물인터넷(Internet of Things, 이하 IoT 라고도 한다)은 가전제품, 전자기기를 포함한 다양한 사물 즉, 디바이스(device)를 네트워크로 연결해 정보를 공유하는 기술 및 서비스를 말한다.
이에 따라, 사물인터넷 기술을 이용하여 가정 내 각 디바이스의 동작을 제어하는 서비스에 대한 수요가 존재하며, 이 과정에서 사용자가 보다 편리하게 각 디바이스를 제어할 수 있도록 도와주는 수단이 마련될 필요가 있다.
본 발명 일실시예에 따른 단말장치는, 허브장치를 통하여 적어도 하나의 디바이스와 통신 가능한 통신부와; 영상을 표시할 수 있는 디스플레이부와; 사용자 입력을 수신할 수 있는 사용자 입력부와; 메신저 프로그램의 실행에 응답하여 허브장치 또는 적어도 하나의 디바이스를 대화상대로 하는 메신저 대화창을 디스플레이부에 표시하도록 하고, 표시된 메신저 대화창에서 사용자 입력부에 의해 소정 디바이스를 제어하는 커맨드에 대응하는 사용자 입력이 수신되면, 사용자 입력에 대응하는 커맨드에 의해 제어 대상인 디바이스가 동작되도록, 커맨드를 포함하는 제어신호가 허브장치를 통하여 제어 대상인 디바이스에 송신되도록 통신부를 제어하고, 송신된 커맨드에 대응하는 메시지를 메신저 대화창에 표시하도록 디스플레이부를 제어하는 적어도 하나의 프로세서를 포함할 수 있다. 이에 의해, 메신저 서비스를 이용하여 IoT 기기로서 동작하는 가정 내 홈 디바이스의 동작을 제어할 수 있으므로, 사용자에게 편의를 제공할 수 있다.
메신저 대화창은 적어도 하나의 디바이스를 제어하는 커맨드에 대응하며 선택 가능한 복수의 아이콘을 표시하며, 프로세서는, 복수의 아이콘 중에서 적어도 하나를 선택하는 사용자 입력에 응답하여 선택된 아이콘에 대응하는 커맨드를 포함하는 제어신호가 송신되도록 하 수 있다. 이에, 시각적으로 커맨드의 종류를 용이하게 식별할 수 있으므로, 사용자가 복잡한 커맨드를 입력하지 않고 아이콘을 선택하는 간단한 입력으로 디바이스 제어가 가능하게 된다.
복수의 아이콘은 메신저 대화창의 입력 영역에 마련된 아이오티 탭의 선택에 응답하여 표시되며, 아이오티 탭은 입력 영역에서 사용자 입력을 위해 표시되는 키패드에 포함될 수 있다. 이에, 사용자가 별도의 프로그램을 설치하지 않아도, 자체적으로 커맨드에 대응하는 아이콘을 포함하는 키패드가 제공된다.
아이오티 탭은 허브장치 또는 적어도 하나의 디바이스를 대화상대로 등록하는 사용자 입력에 응답하여 활성화될 수 있다. 이에, 기기가 대화상대로 등록되면 자동으로 IoT 서비스를 제공받을 수 있으므로, 사용자 편의가 향상된다.
프로세서는, 메신저 프로그램에서 허브장치 또는 적어도 하나의 디바이스를 대화상대로 자동 등록하거나, 대화상대 추천 리스트에 표시하도록 디스플레이부를 제어할 수 있다. 이에, 사용자가 대화상대를 검색하는 불필요한 과정을 생략할 수 있다.
복수의 아이콘 중 적어도 하나는 제어 대상인 소정 디바이스에 대응하며, 사용자 입력부는, 복수의 아이콘 중 하나를 선택하는 제1 사용자 입력과, 선택된 아이콘에 대응하는 디바이스를 제어하기 위한 커맨드에 대응하는 제2 사용자 입력을 수신할 수 있다. 이에, 입력 가능한 커맨드의 종류가 아이콘에 한정되지 않으므로, 다양한 사용자 입력이 수신 가능하다.
제2 사용자 입력은 텍스트, 드로잉, 사용자로부터 발화된 음성 중 적어도 하나를 포함할 수 있다. 이에, 사용자는 본인에게 편리한 사용자 입력 방식으로 제한없이 커맨드를 입력할 수 있다.
사용자 입력부는 복수의 디바이스를 포함하는 그룹을 생성하는 제3 사용자 입력을 더 수신하며, 프로세서는, 그룹에 포함된 복수의 디바이스가 사용자에 의해 입력된 커맨드에 의해 동작되도록, 커맨드를 포함하는 제어신호가 허브장치를 통하여 복수의 디바이스로 송신되도록 통신부를 제어할 수 있다. 이에, 디바이스 별로 사용자 입력을 반복적으로 수행하지 않고, 한번에 복수의 디바이스에 커맨드를 송부할 수 있다.
커맨드를 포함하는 제어신호는 메신저 프로그램의 서비스 제공자의 통신망 또는 이동통신망을 경유하여 허브장치로 송신될 수 있다. 이에, 사용자가 홈 네트워크에서 제공되는 근거리 통신망의 범위를 벗어난 외부에서도 용이하게 커맨드를 입력할 수 있게 된다.
한편, 본 발명 다른 실시예에 따른 단말장치는, 외부와 통신 가능한 통신부와; 영상을 표시할 수 있는 디스플레이부와; 사용자 입력을 수신할 수 있는 사용자 입력부와; 메신저 프로그램을 실행하여 표시되는 제1 사용자 인터페이스를 이용한 사용자 입력에 따라 메신저 상대방의 다른 단말장치와 메시지를 송수신하도록 통신부를 제어하고, 사용자 입력부에 의한 메신저 프로그램의 실행에 응답하여 허브장치 또는 적어도 하나의 디바이스를 대화상대로 하는 제2 사용자 인터페이스를 디스플레이부에 표시하고, 제2 사용자 인터페이스를 이용한 사용자 입력에 따라 제어 대상인 디바이스에 허브장치를 통하여 커맨드를 송신하도록 통신부를 제어하는 적어도 하나의 프로세서를 포함할 수 있다. 이에 의해, 메신저 서비스를 이용하여 IoT 기기로서 동작하는 가정 내 홈 디바이스의 동작을 제어할 수 있으므로, 사용자에게 편의를 제공할 수 있다.
제2 사용자 인터페이스는 적어도 하나의 디바이스를 제어하는 커맨드에 대응하며 선택 가능한 복수의 아이콘을 표시하는 메신저 대화창을 포함하며, 프로세서는, 복수의 아이콘 중에서 적어도 하나를 선택하는 사용자 입력에 응답하여 선택된 아이콘에 대응하는 커맨드가 송신되도록 할 수 있다. 이에, 시각적으로 커맨드의 종류를 용이하게 식별할 수 있으므로, 사용자가 복잡한 커맨드를 입력하지 않고 아이콘을 선택하는 간단한 입력으로 디바이스 제어가 가능하게 된다.하는
복수의 아이콘 중 적어도 하나는 제어 대상인 소정 디바이스에 대응하며, 사용자 입력부는, 복수의 아이콘 중 하나를 선택하는 제1 사용자 입력과, 선택된 아이콘에 대응하는 디바이스를 제어하기 위한 커맨드에 대응하는 제2 사용자 입력을 수신할 수 있다. 이에, 입력 가능한 커맨드의 종류가 아이콘에 한정되지 않으므로, 다양한 사용자 입력이 수신 가능하다.
한편, 본 발명 일실시예에 따른 단말장치의 제어방법은, 메신저 프로그램의 실행에 응답하여 허브장치 또는 적어도 하나의 디바이스를 대화상대로 하는 메신저 대화창을 표시하는 단계와; 표시된 메신저 대화창에서 소정 디바이스를 제어하는 커맨드에 대응하는 사용자 입력을 수신하는 단계와; 사용자 입력에 대응하는 커맨드에 의해 제어 대상인 디바이스가 동작되도록, 커맨드를 포함하는 제어신호를 허브장치를 통해 제어 대상인 디바이스에 송신하는 단계와; 송신된 커맨드에 대응하는 메시지를 메신저 대화창에 표시하는 단계를 포함할 수 있다. 이에 의해, 메신저 서비스를 이용하여 IoT 기기로서 동작하는 가정 내 홈 디바이스의 동작을 제어할 수 있으므로, 사용자에게 편의를 제공할 수 있다.
메신저 대화창은 적어도 하나의 디바이스를 제어하는 커맨드에 대응하며 선택 가능한 복수의 아이콘을 표시하며, 사용자 입력을 수신하는 단계는 복수의 아이콘 중에서 하나를 선택하는 사용자 입력을 수신하고, 송신하는 단계는 선택된 아이콘에 대응하는 커맨드를 포함하는 제어신호가 송신되도록 할 수 있다. 이에, 시각적으로 커맨드의 종류를 용이하게 식별할 수 있으므로, 사용자가 복잡한 커맨드를 입력하지 않고 아이콘을 선택하는 간단한 입력으로 디바이스 제어가 가능하게 된다.
메신저 대화창의 입력 영역에 마련된 아이오티 탭의 선택에 응답하여 복수의 아이콘을 표시하는 단계를 더 포함할 수 있다. 이에, 사용자가 별도의 프로그램을 설치하지 않아도, 자체적으로 커맨드에 대응하는 아이콘을 포함하는 키패드가 제공된다.
허브장치 또는 적어도 하나의 디바이스를 대화상대로 등록하는 사용자 입력에 응답하여 아이오티 탭을 활성화하는 단계를 더 포함할 수 있다. 이에, 기기가 대화상대로 등록되면 자동으로 IoT 서비스를 제공받을 수 있으므로, 사용자 편의가 향상된다.
메신저 프로그램에서 허브장치 또는 적어도 하나의 디바이스를 대화상대로 자동 등록하거나, 대화상대 추천 리스트에 표시하는 단계를 더 포함할 수 있다. 이에, 사용자가 대화상대를 검색하는 불필요한 과정을 생략할 수 있다.
복수의 아이콘 중 적어도 하나는 제어 대상인 소정 디바이스에 대응하며, 사용자 입력을 수신하는 단계는, 복수의 아이콘 중 적어도 하나를 선택하는 제1 사용자 입력을 수신하는 단계와; 선택된 아이콘에 대응하는 디바이스를 제어하기 위한 커맨드에 대응하는 제2 사용자 입력을 수신하는 단계를 포함할 수 있다. 이에, 입력 가능한 커맨드의 종류가 아이콘에 한정되지 않으므로, 다양한 사용자 입력이 수신 가능하다.
제2 사용자 입력은 텍스트, 드로잉, 사용자로부터 발화된 음성 중 적어도 하나를 포함할 수 있다. 이에, 사용자는 본인에게 편리한 사용자 입력 방식으로 제한없이 커맨드를 입력할 수 있다.
복수의 디바이스를 포함하는 그룹을 생성하는 제3 사용자 입력을 수신하는 단계를 더 포함하며, 송신하는 단계는, 그룹에 포함된 복수의 디바이스가 사용자에 의해 입력된 커맨드에 의해 동작되도록, 커맨드를 포함하는 제어신호가 허브장치를 통하여 복수의 디바이스로 송신되도록 할 수 있다. 이에, 디바이스 별로 사용자 입력을 반복적으로 수행하지 않고, 한번에 복수의 디바이스에 커맨드를 송부할 수 있다.
상기한 본 발명의 실시예에 의하면, 메신저 서비스를 제공하는 프로그램을 이용하여 IoT 기기로서 동작하는 가정 내 홈 디바이스의 동작에 커맨드를 송부함으로써, 사용자가 보다 편리하게 IoT 서비스를 이용할 수 있는 장점이 있다.
또한, 시각적으로 커맨드의 종류를 용이하게 식별할 수 있는 아이콘을 메신저 대화창에서 제공함으로써, 사용자가 복잡한 커맨드를 입력하지 않고도 원하는 커맨드를 쉽게 입력할 수 있게 된다.
뿐만 아니라, 텍스트, 드로잉, 음성 등의 다양한 사용자 입력도 지원되므로, 사용자는 본인에게 편리한 사용자 입력 방식으로 제한없이 커맨드를 입력할 수 있다.
또한, 허브장치 또는 제어 대상 디바이스를 대화상대로 등록하고 등록된 대화상대에 메시지를 입력하는 간단한 방식으로 IoT 서비스를 이용할 수 있으므로, 서비스의 확대가 보다 용이하다.
또한, 메신저 대화창에서 그룹 단위로 커맨드 입력이 가능하므로, 디바이스 별로 사용자 입력을 반복적으로 수행하지 않고, 한번에 복수의 디바이스에 커맨드를 송부할 수 있다.
도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템의 일례를 도시한 도면이며,
도 2는 본 발명 일실시예에 따른 단말장치의 구성을 도시한 블록도이며,
도 3 내지 도 5는 본 발명 일실시예에 따른 단말장치에서 대화상대의 등록 과정을 설명하기 위한 도면이며,
도 6 내지 도 10은 본 발명 일실시예에 따른 단말장치에서 메신저 대화창을 이용하여 디바이스를 제어하는 커맨드를 입력하는 과정을 설명하기 위한 도면이며,
도 11은 본 발명 실시예에 따라 외부에서 단말장치를 이용하여 커맨드를 송신하는 일례를 도시한 도면이며,
도 12는 본 발명 일실시예에 의한 단말장치의 제어방법을 도시한 흐름도이다.
* 부호의 설명 *
1: 홈 네트워크 시스템 100: 단말장치
110: 제어부 120: 통신부
130: 영상처리부 140: 디스플레이부
150: 사용자 입력부 160: 감지부
171: 스피커 180: 영상입력부
190: 저장부 195: 전원공급부
301, 302, 303, 304: 디바이스 400: 서버
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여기에서 설명하는 실시예들에 한정되지 않으며, 여러 가지 상이한 형태로 구현될 수 있다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
또한, 실시예에서 “포함하다” 또는 “가지다”와 같은 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소 또는 이들의 조합이 존재함을 지정하기 위한 것이며, 하나 이상의 다른 특징, 숫자, 단계, 동작, 구성요소 또는 이들의 조합이 존재하거나 부가되는 가능성을 배제하는 것은 아니다.
명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
이하에서는 도면과 관련하여 본 발명을 명확하게 설명하기 위해서 본 발명의 구성과 직접적으로 관련되지 않은 부분은 설명을 생략할 수 있으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 부여하기로 한다.
도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템(1)의 일례를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명 일 실시예의 홈 네트워크 시스템(이하, 홈 자동화 시스템(home automation system) 이라고도 한다)(1)은 단말장치(100), 허브장치(200) 및 제어 대상인 적어도 하나의 디바이스(301, 302, 303, 304)를 포함한다.
일실시예에서 홈 네트워크 시스템(1)은 메신저 서비스와 관련된 데이터를 제공하는 서버(400)를 더 포함할 수 있다.
단말장치(100)는 허브장치(200)를 통해 적어도 하나의 디바이스(301, 302, 303, 304)와 통신을 수행한다. 구체적으로, 단말장치(100)는 적어도 하나의 디바이스(301, 302, 303, 304)의 동작을 제어하기 위한 제어신호를 허브장치(200)에 송신하며, 송신된 제어신호는 허브장치를 통해 제어 대상인 디바이스로 전달될 수 있다.
본 발명에 따른 일실시예에서 단말장치(100)는, 도 1에 도시된 스마트폰(smart phone), 또는 태블릿(tablet)과 같은 스마트 패드(smart pad), PDA(personal digital assistant, 개인 휴대용 정보 단말기)등의 이동 가능한 다양한 디지털 기기로 구현 가능하다.
일실시예에서 단말장치(100)는 스마트 워치(smart watch), 스마트 밴드(smart band) 등의 사용자의 신체에 착용 가능한 웨어러블 장치(이하, 디지털 액세서리, 스마트 액세서리, 또는 앱세서리(Appcessory) 라고도 한다)가 될 수 있다.
본 발명에서 단말장치(100)는 이동 가능한 휴대기기에 한정되는 것은 아니며, 일실시예에서 랩탑(lap top) 또는 데스크탑(desk top)으로 구현되는 컴퓨터가 될 수 있으며, 또한 스마트 TV로 구현될 수도 있다.
본 발명에 따른 일실시예에 따른 단말장치(100)에는 메신저(messenger) 서비스를 제공하는 적어도 하나의 프로그램 즉, 메신저 어플리케이션(messenger application 또는 chat application)이 설치된다. 메신저 프로그램은 다수의 사용자가 사용하는 다양한 프로그램을 포함하며, 예를 들어 카카오톡(Kakao Talk), 라인(line), 구글 토크(Google Talk), 스카이프(skype), 와츠앱(WhatsApp) 등이 될 수 있다.
사용자는 단말장치(100)에 설치된 메신저 프로그램을 이용하여 다른 단말장치의 사용자인 가족, 친구, 동료 등을 포함한 상대방(다른 사용자)과 메시지를 주고받는 방식(메시지의 송수신)으로 대화 즉, 커뮤니케이션을 할 수 있다. 여기서, 사용자는 다른 사용자를 식별하기 위한 계정 정보 예를 들어, 전화번호, 이메일, 소정 커뮤니티에서 사용되는 사용자 아이디 등을 이용하여 상대방을 메신저 프로그램의 대화상대로 추가할 수 있다.
이하에서 설명하는 본 발명 실시예에 따르면, 사용자는 설치된 메신저 프로그램을 이용하여 서브장치(200)에 소정 디바이스(301, 302, 303, 304 중 적어도 하나)의 동작을 제어하는 커맨드를 포함하는 제어신호를 송신하도록 사용자 입력을 할 수 있으며, 송신된 제어신호는 서브장치(200)를 통해 제어 대상인 디바이스(301, 302, 303, 304 중 적어도 하나)로 전달된다.
본 발명 실시예에 따른 단말장치(100)에서는 메신저 프로그램이 실행된 상태에서, 다른 단말장치의 사용자와의 커뮤니케이션을 위해 표시되는 메신저 대화창을 제1 사용자 인터페이스(이하, 제1 UI 라고도 한다)로, 서브장치(200)를 통해 소정 디바이스(301, 302, 303, 304)를 제어하기 위한 커맨드를 입력하도록 표시되는 메신저 대화창을 제2 사용자 인터페이스(이하, 제2 UI 라고도 한다)로 각각 정의하도록 한다.
일 실시예에서 메신저 프로그램은 단말장치(100)의 제조사, 통신사, 포털 사업자를 포함한 메신저 서비스 제공자에 의해 배포될 수 있으며, 단말장치(100)의 제조 과정에서 내장되어 출시 또는 앱스토어와 같은 마켓 서버로부터 단말장치(100)로 다운로드 및 설치될 수 있다.
다른 실시예에서 메신저 프로그램은 단문 메시지 서비스(SMS)를 제공하도록 제조 단계에서 단말장치(100)에 설치된 프로그램이 될 수 있다.
본 발명 실시예에 따른 단말장치(100)에는 복수의 메신저 프로그램이 설치될 수 있다.
허브장치(200)는 단말장치(100) 및 제어 대상인 디바이스(301, 302, 303, 304)의 통신중계를 수행하도록 마련된다. 일실시예에서 허브장치(200)는 홈 네트워크 및 공중 통신망에 접속 가능하며, 어드레스가 할당된 게이트웨이(gateway), 라우터(router)또는 공유기의 역할을 수행하는 종합 네트워크 장비가 될 수 있다. 또한, 허브장치(200)는 자체 프로세서와 메모리를 포함하며, 프로토콜 변환이나 대역폭 변환이 가능하도록 제공될 수 있다.
허브장치(200)는 단말장치(100)로부터 적어도 하나의 디바이스(301, 302, 303, 304)를 제어하기 위한 커맨드를 포함하는 제어신호를 수신하고, 수신된 제어신호를 제어 대상인 디바이스로 송신한다.
일실시예에서 허브장치(200)는 메신저 서비스를 위해 마련되는 서버(400)로부터 디바이스(301, 302, 303, 304)의 동작을 제어하기 위한 데이터(예를 들어, 커맨드에 대응하는 아이콘)를 다운로드하여 단말장치(100)로 제공할 수 있다.
적어도 하나의 디바이스(301, 302, 303, 304)는 허브장치(200)를 통해 수신된 제어신호에 포함된 커맨드에 대응하도록 제어 동작을 수행한다.
디바이스(301, 302, 303, 304)는 홈 네트워크 시스템(1)에 의해 접속 가능한 다양한 전자기기를 포함하며, 예를 들어 세탁기, 냉장고, 에어컨, 텔레비전(TV) 등의 가전제품이 될 수 있다. 또한, 디바이스(301, 302, 303, 304)는 헬스케어, 원격검침, 스마트홈, 스마트카 등 사물인터넷(IoT) 기술을 기반으로 동작하는 사물(things 또는 smarthings)로서 마련되는 다양한 종류의 전자기기를 포함할 수 있다. 디바이스(301, 302, 303, 304)에는 각 기기의 동작을 수행하고 주변 환경을 감지하기 위한 센서가 구비될 수 있다.
서버(400)는 메신저 프로그램을 제공하는 서비스 사업자에 의해 운영될 수 있으며, 클라우드 서버를 포함한다. 일실시예에서 서버(400)는 단말장치(100)에 의해 제어 가능한 디바이스(301, 302, 303, 304)에 대한 정보,디바이스(301, 302, 303, 304)를 제어하기 위한 커맨드 관련 정보를 허브장치(200)를 통해 단말장치(100)로 제공할 수 있다.
이하, 도 2를 참조하여 단말장치(100)의 구성에 대하여 설명한다.
도 2는 본 발명 일실시예에 따른 단말장치(100)의 구성을 도시한 블록도이다.
본 실시예의 단말장치(100)는 후술하는 통신부(130)를 이용하여 허브장치(200)를 포함하는 타 기기와 무선으로 연결되어, 제어신호를 송/수신할 수 있다. 일 실시예에서 단말장치(100)는 터치스크린(141)을 가지고, 통신부(130)를 통해 데이터를 송/수신가능한 장치로서 정의된다.
일 실시예의 단말장치(100)에서는, 물리적인 버튼(151), 터치스크린(141)에 표시되는 키패드, 사용자의 터치 입력이 가능한 별도의 입력장치(포인팅 디바이스)를 포함하는 사용자 입력부(150)를 정의할 수 있으며, 사용자 입력부(150)는 터치스크린(141)에 대한 사용자의 신체(예를 들어, 손가락)에 의한 터치를 수신할 수 있다. 사용자 입력부(150)는 터치 입력을 포함한 사용자의 입력에 따라, 기 설정된 다양한 제어 커맨드 또는 정보를 제어부(110)에 전달한다.
도 2에 도시된 바와 같이, 단말장치(100)는 터치스크린(141)을 포함하는 디스플레이부(140)와, 터치스크린컨트롤러(145)를 포함한다. 단말장치(100)는 제어부(110), 통신부(120), 영상처리부(130), 디스플레이부(140), 사용자 입력부(150), 감지부(160), 영상입력부(180), 저장부(190) 및 전원공급부(195)를 포함한다.
통신부(120)는 무선랜유닛(121) 및 근거리 통신부(122) 중 적어도 하나를 포함하고, 영상처리부(130)는 방송통신유닛(131), 오디오재생유닛(132) 및 동영상재생유닛(133) 중 적어도 하나를 포함한다. 사용자 입력부(150)는 버튼(151), 마이크(152), 키패드(163) 및 입력장치(164) 중 적어도 하나를 포함한다. 감지부(170)는 근접센서(171), 조도센서(172) 및 자세센서(173) 중 적어도 하나를 포함한다. 영상입력부(180)는 제1카메라(181) 및 제2카메라(182)중 적어도 하나를 포함한다.
또한, 본 발명 일실시예에 따른 단말장치(100)는 이동통신부(125), 스피커(171), 진동모터(172), GPS 유닛(173), 커넥터(175) 중 적어도 하나를 더 포함할 수 있다.
제어부(110)는 적어도 하나의 프로세서(111), 단말장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 단말장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 단말장치(100)에서 수행되는 다양한 작업에 대한 저장영역으로 사용되는 램(RAM, 113)을 포함할 수 있다.
제어부(110)는 단말장치(100)의 전반적인 동작 및 단말장치(100)의 내부구성요소들(120 내지 195) 간의 신호흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원공급부(195)로부터 내부구성요소들(120 내지 190)로의 전원공급을 제어한다. 또한, 사용자의 입력 또는 설정되어 저장된 조건을 만족하는 경우, 제어부(110)는 저장부(190)에 저장된 OS(Operation System) 및 다양한 프로그램/어플리케이션/소프트웨어를 실행할 수 있다.
프로세서(111)는 CPU(Central Processing Unit), AP(Application Processor), 마이컴(Micro Computer, MICOM)과 같은 적어도 하나의 범용 프로세서를 포함하여, 예를 들어, 롬(112)에 저장된 소정 알고리즘에 따라 대응하는 프로그램을 램(113)에 로드하여 실행함으로써 단말장치(100)의 다양한 동작들을 수행하도록 구현 가능하다.
프로세서(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor) 및 서브 프로세서(sub processor)를 포함할 수 있다. 서브 프로세서는 대기전원만 공급되고 단말장치(100)로서 동작하지 않는 대기모드(standby mode, 이하, 슬립모드(sleep mode) 라고도 한다)에서 동작하도록 마련된다.
상기와 같은 프로세서(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
일 실시예에서 프로세서(111)는 그래픽처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 예를 들어, 단말장치(100)가 스마트폰, 스마트 패드 또는 스마트 TV로 구현되는 경우, 프로세서(111)는 코어(core, 도시되지 아니함) 및 GPU(도시되지 아니함)가 결합된 SoC(System On Chip)의 형태로 구현될 수 있다.
다른 실시예에서, 단말장치(100)가 컴퓨터로 구현되는 경우 제어부(110)는 그래픽 처리를 위한 별도의 GPU를 더 포함할 수 있다.
한편, 본 발명의 또 다른 실시예에서 제어부(110)는 단말장치(100)에서 지원되는 특정 기능, 예를 들어, 메인 프로세서를 포함한 소정 구성에서의 오류 발생을 감지하는 기능을 수행하기 위한 프로그램과 해당 프로그램을 실행하는 전용 프로세서로서 마련되는 칩(chip) 예를 들어, IC(integrated circuit) 칩을 더 포함할 수 있다.
제어부(110)는 통신부(120), 이동통신부(125), 영상처리부(130), 터치스크린(141)을 포함하는 디스플레이부(140), 터치스크린컨트롤러(145), 사용자 입력부(150), 감지부(160), 스피커(171), 진동모터(172), GPS 유닛(173), 영상입력부(180), 저장부(190) 및 전원공급부(195)를 제어할 수 있다.
본 발명 실시예에 따른 단말장치(100)는 통신부(120)로서, 무선랜유닛(121)만 포함하거나, 또는 무선랜유닛(121)과 근거리 통신부(132)를 모두 포함할 수 있다.
무선랜유닛(131)은 제어부(110)의 제어에 따라, AP(access point)가 설치된 장소에서 무선을 이용하여 AP(access point)와 연결될 수 있다. 무선랜유닛(131)은 미국전기전자학회(IEEE)의 무선랜규격(IEEE802.11x)을지 원한다.
일실시예에서 AP(access point)는 허브장치(200)에 구비될 수 있다. 단말장치(100)는 무선랜유닛(131)에 의해 허브장치(200) 및 적어도 하나의 디바이스(301, 302, 303, 304)를 포함하는 홈 네트워크에 접속할 수 있다.
근거리 통신부(132)는 제어부(110)의 제어에 따라, AP(access point)없이 무선으로 타 기기와 사이에 근거리 통신을 지원하도록 마련될 수도 있다.
근거리통신은 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), 적외선통신(IrDA, infrared data association), 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 등의 근거리 통신모듈 중 적어도 하나를 포함할 수 있다.
이동통신부(125)는 제어부(110)의 제어에 따라, 하나 또는 둘 이상의 안테나(도시되지 아니함)를 이용하여 이동통신에 의해 외부장치 즉, 타 기기와 연결할 수 있다. 이동통신부(125)은 단말장치(100)와 연결 가능한 전화번호를 가지는 휴대폰, 스마트폰, 태블릿 또는 다른 단말장치(휴대장치)와 음성통화, 화상통화, 문자메시지(SMS), 멀티미디어메시지(MMS) 및 데이터 통신을 위한 무선신호를 송/수신한다. 이동통신부(125)를 통해 발신되는 무선신호는 LTE, 3G, 4G와 같은 이동통신망을 통해 수신 상대방에게 전달된다.
단말장치(100)는 성능에 따라 이동통신부(125), 무선랜유닛(121), 및 근거리 통신부(122)의 2 이상의 조합을 포함할 수 있다.
본 발명의 일 실시에에 따른 통신부(120)는 제어부(110)의 제어에 의해 허브장치(200)를 통해 디바이스(301, 302, 303, 304)와 통신을 수행 가능하도록 마련되며, 이러한 통신은 디바이스(301, 302, 303, 304)를 제어하기 위한 커맨드의 송수신을 포함한다.
본 실시예에서 통신부라는 용어는 기본적으로 통신부(120)를 나타내지만, 경우에 따라 통신부(120)와 이동통신부(125)를 모두 포함하는 것으로 정의된다.
영상처리부(130)는 방송통신유닛(131), 오디오재생유닛(132) 또는 동영상재생유닛(133)을 포함할 수 있다. 방송통신유닛(131)은 제어부의 제어(110)에 따라, 방송통신안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송신호(예를 들어, TV방송신호, 라디오 방송신호 또는 데이터 방송신호) 및 방송 부가정보(예를 들어, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 또한, 제어부(110)는 수신된 방송신호 및 방송 부가정보를 비디오 코덱유닛(Codec unit) 및/또는 오디오 코덱유닛을 이용하여 디스플레이부(140) 및/또는 스피커(171)에서 재생 가능하도록 처리할 수 있다.
오디오 재생유닛(132)은 제어부(110), 단말장치(100)의 저장부(190)에 기저장되거나 또는 외부에서부터 수신되는 오디오소스(예를 들어, 파일확장자가 mp3, wma, ogg 또는 wav인 오디오 파일)를 스피커(171)에서 재생 가능하도록 처리할 수 있다.
본 빌명 실시예의 오디오재생유닛(132)은 제어부(110)의 제어에 따라 터치스크린(141)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백(예를 들어, 저장부(190)에 저장된 오디오소스의 출력 등)을 오디오 코덱유닛을 통해 재생할 수도 있다.
동영상 재생유닛(133)은 제어부(110)의 제어에 따라 단말장치(100)의 저장부(190)에 기저장되거나 또는 외부에서부터 수신되는 디지털 동영상소스(예를 들어, 파일확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 비디오 코덱유닛을 이용하여 재생할 수 있다. 단말장치(100)에 설치 가능한 대부분의 어플리케이션은 오디오 코덱유닛 및/또는 비디오 코덱유닛을 이용하여 오디오 소스 및/또는 동영상 파일을 재생할 수 있다.
본 빌명의 실시예에 따라 동영상 재생유닛(133)은 제어부(110)의 제어에 따라 터치스크린(141)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 시각 피드백(예를 들어, 저장부(190)에 저장된 동영상 소스의 출력 등)을 비디오 코덱유닛을 통해 재생할 수 있다.
아울러, 많은 종류의 비디오 및 오디오 코덱유닛이 생산 및 판매되고 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
일실시예에서 영상처리부(130)는 단말장치(100)의 성능 또는 구조에 대응하여 방송통신 유닛(131)을 제외하고 오디오재생 유닛(132)과 동영상재생 유닛(133)을 포함할 수 있다. 또한, 다른 실시예에서 영상처리부(130)의 오디오재생 유닛(132) 및/또는 동영상재생 유닛(133)은 제어부(110)에 포함될 수 있다. 본 빌명의 실시예에서 비디오 코덱 유닛 이라는 용어는 하나 또는 둘 이상의 비디오 코덱 유닛을 포함할 수 있다. 또한, 본 빌명의 실시예에서 오디오 코덱 유닛 이라는 용어는 하나 또는 둘 이상의 오디오 코덱 유닛을 포함할 수 있다.
디스플레이부(140)는 영상처리부(130)에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(140)의 구현 방식은 한정되지 않으며, 예컨대 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(140)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(140)가 액정 방식인 경우, 디스플레이부(140)는 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함한다.
일실시예에서 디스플레이부(140)는 사용자의 터치에 따른 입력이 수신되는 터치스크린(touch-screen)(141)을 포함할 수 있다. 터치스크린(141)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
터치스크린(141)은 사용자 인터페이스(UI)로서 디스플레이장치(100)의 메뉴항목을 포함하는 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축아이콘)를 표시할 수 있다. 사용자는 터치스크린(141)에 표시된 오브젝트를 사용자의 신체(예를 들어, 손가락) 또는 스타일러스트나포인팅 디바이스와 같은 별도의 입력장치(154)로 터치하여, 사용자 입력을 할 수 있다.
터치스크린(141)은 사용자에게 다양한 서비스(예를 들어, 통화, 데이터 전송, 방송, 사진촬영, 동영상, 또는 어플리케이션)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 터치스크린(141)은 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 제어부(110)로 전송한다.
일실시예에서 터치는 터치스크린(141)과 사용자의 신체 또는 터치가능한 포인팅 디바이스의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 스크린(141)과 사용자의 신체 또는 터치스크린(121)과 포인팅 디바이스와의 검출가능한 간격이 30 mm 이하의 호버링(hovering))을 포함할 수 있다. 터치 스크린(141)에서 검출가능한 비접촉 간격은 단말장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다. 본 실시예에서 터치입력은 드래그(drag), 플릭(flick), 드래그 앤 드롭(drag & drop), 탭(tap), 롱 탭(long tap) 등을 포함한다.
일실시예에서 디스플레이부(140)에는 메신저 서비스를 제공하는 프로그램의 실행에 응답하여 적어도 하나의 디바이스(301, 302, 303, 304)의 동작을 제어하는 커맨드를 입력 가능하도록 제공되는 메신저 대화창이 표시될 수 있다.
사용자 입력부(150)는 하나 또는 둘 이상의 버튼(151), 마이크(152), 키패드(153) 및 입력장치(154)중 적어도 하나를 포함할 수 있다.
버튼(151)은 전면의 하부에 마련되는 메뉴버튼, 홈버튼, 및 돌아가기 버튼(back button) 중 적어도 하나를 포함한다. 버튼(151)은 측면의 전원/잠금버튼 및/또는 볼륨버튼을 포함할 수 있다. 여기서, 단말장치(100)에서 버튼(151)은 물리적 버튼이 아니라 터치스크린(141)에 마련된 터치버튼으로 구현될 수 있다. 또한, 단말장치(100)에서 버튼(151)은 터치스크린(141)내에 텍스트 또는 아이콘으로 표시될 수 있다.
일실시예에서 단말장치(100)의 사용자 입력부(150)는 터치스크린(141)에 표시된 컨텐츠에 대한 인터랙션 즉, 터치 또는 터치 제스처(gesture)에 따른 사용자 입력을 수신할 수 있다.
마이크(microphone)(152)는 제어부(110)의 제어에 따라, 외부에서부터 음성(voice) 또는 사운드(sound)를 입력받아 전기적인 신호를 생성한다. 마이크(152)에서 생성된 전기적인 신호는 오디오 코덱유닛에서 변환되어 저장부(190)에 저장되거나 또는 스피커(171)를 통해 출력될 수 있다. 마이크(152)는 단말장치(100)의 전면, 측면 및 후면에 하나 또는 둘 이상 위치할 수 있다.
키패드(153)는 단말장치(100)의 제어를 위해 사용자로부터 키입력을 수신할 수 있다. 키패드(153)는 단말장치(100)의 전면에 형성되는 물리적인 키패드(도시되지 아니함), 터치스크린(141)을 포함하는 디스플레이부(140)에 표시되는 가상키패드(도 6의 610) 및 유선 또는 무선으로 연결 가능한 외부키패드(예를 들어, 키보드 도크(keyboard dock)(도시되지 아니함) 중 적어도 하나를 포함한다. 키패드(153)가 외부 키패드인 경우, 사용자의 키 입력 신호는 통신부(120) 또는 커넥터(175)를 통해 수신될 수 있다.
일실시예에서 가상 키패드는 디스플레이부(140)에 표시되는 메신저 대화창의 입력영역에 표시되며, 디바이스(301, 302, 303, 304)의 동작을 제어할 수 있는 커맨드에 대응하는 복수의 아이콘을 포함할 수 있다. 사용자는 복수의 아이콘 중 적어도 하나를 선택하는 사용자 입력에 따라 제어 대상인 디바이스에 선택된 아이콘에 대응하는 커맨드가 송신되도록 할 수 있다.
단말장치(100)의 전면에 형성되는 물리적인 키패드는 단말장치(100)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
입력장치(154)는 단말장치(100)의 터치스크린(141)에 표시되는 화면에 표시되는 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축 아이콘)를 터치하거나 선택할 수 있다.
일실시예에서 오브젝트는 컨텐츠에 대응할 수 있다. 컨텐츠는 단말장치(100)에 설치된 어플리케이션, 카메라(161, 162)를 통해 촬영된 영상 데이터, 저장부(190)에 저장된 미디어 데이터, 문서나 연락처 등의 텍스트 데이터 등의 타 기기와 송수신이 가능한 다양한 데이터를 모두 포함한다.
입력장치(154)는예를 들어, 정전용량방식, 저항방식 및 전자기유도(electromagnetic induction) 방식의 터치스크린을 터치하거나 가상 키패드를 이용하여 문자, 아이콘 등을 입력할 수 있다. 입력장치(154)는 예를 들어 포인팅 디바이스, 스타일러스, 단말장치(100)의 통신부(120)로부터 수신된 제어정보를 이용하여 내장된 펜 진동소자(예를 들어, 진동모터 또는 액추에이터(actuator))가 진동하는 햅틱펜(haptic pen) 등을 포함할 수 있다. 또한, 단말장치(100)에서부터 수신되는 제어정보가 아니라 입력장치(154)에 내장된 센서(예를 들어, 가속도센서, 도시되지 아니함)에서 검출된 센싱정보를 이용하여 진동소자가 진동할 수 있다. 입력장치(154)는 단말장치(100)의 삽입구에 삽입가능하게 마련될 수 있으며, 단말장치(100)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
감지부(160)는 단말장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 감지부(160)는 사용자의 단말장치(100)의 전면 상부 일측에 위치하고, 단말장치(100)에 대한 접근여부를 검출하는 근접센서(161), 단말장치(100) 주변의 빛의 양을 검출하는 조도 센서(162), 단말장치(100)의 자세 및 방향을 검출하는 자세 센서(163), 중력의 작용방향을 검출하는 중력센서(Gravity Sensor), 또는 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter) 중 적어도 하나를 포함할 수 있다. 자세 센서(163)는 회전관성 을이용하는 자이로 센서, 단말장치(100)에가해지는 3축(예를 들어, x축, y축, z축)의 기울기를 검출하는 가속도센서 등을 포함할 수 있다.
감지부(160)는 단말장치(100)의 운동가속도와 중력가속도가 더해진 가속도를 측정가능하며, 단말장치(100)가 움직이지 않는 경우, 중력가속도만을 측정할 수 있다. 예를 들어, 단말장치(100)의 전면이 위로 향하는 경우, 중력가속도는 양(+)방향이고, 단말장치(100)의 후면이 위로 향하는 경우, 중력가속도는 음(-)의 방향일 수 있다.
감지부(160)에 포함되는 적어도 하나의 센서는 단말장치(100)의 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송한다. 감지부(160)의 센서는 단말장치(100)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
스피커(171)는 제어부(110)의 제어에 따라 오디오 코덱유닛을 이용하여 통신부(120), 이동통신부(125), 영상처리부(130) 또는 영상입력부(180)의 다양한 신호(예를 들어, 무선신호, 방송신호, 오디오 소스, 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 단말장치(100) 외부로 출력할 수 있다.
스피커(171)는 단말장치(100)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 번호 입력에 대응되는 터치 조작음, 사진촬영 버튼 조작음 등)를 출력할 수 있다. 단말장치(100)의 전면, 측면 및 후면에 적어도 하나의 스피커(171)가 위치할 수 있다.
본 발명의 일실시예에서, 스피커(171)는 제어부(110)의 제어에 따라 터치스크린(141)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백을 출력할 수 있다.
진동 모터(172)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모터(172)는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 다른 단말장치에서부터 음성통화 요청이 수신되는 경우, 제어부(110)의 제어에 따라 진동 모드인 단말장치(100)의 진동모터(166)가 동작한다. 진동모터(166)는 단말장치(100)에 하나 또는 둘 이상으로 위치할 수 있다. 또한, 진동모터(166)는 단말장치(100) 전체를 진동되게 하거나 또는 단말장치(100)의 일부분만 진동되게 할 수 있다.
GPS 유닛(173)은 지구 궤도상에 있는 복수의 GPS 위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 단말장치(100)에 수신가능한 GPS위성(도시되지 아니함)의 정확한 위치 정보와 시간 정보)를 수신한다. 단말장치(100)는 복수의 GPS위성에서부터 수신되는 정보를 이용하여 단말장치(100)의 위치, 속도 및/또는 시간을 알 수 있다.
커넥터(175)는 단말장치(100)와 외부 장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라, 단말장치(100)는 커넥터(175)에 연결된 유선 케이블을 통해 저장부(190)에 저장된 데이터를 외부 장치로 전송하거나 또는 외부 장치로부터 데이터를 수신할 수 있다. 단말장치(100)는 커넥터(175)에 연결된 유선 케이블을 통해 전원소스에서부터 전원이 입력되거나 전원공급부(195)로서 마련되는 배터리를 충전할 수 있다. 또한, 단말장치(100)는 커넥터(175)를 통해 외부의 액세서리(예를 들어, 포토 프린터, 도시되지 아니함)와 연결될 수 있다.
영상입력부(180)는 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 전면의 제1카메라(181) 및 후면의 제2카메라(182)중 적어도 하나를 포함할 수 있다. 영상입력부(180)는 제1카메라(181)와 제2카메라(182)중 하나 또는 양자를 모두 포함할 수 있다. 또한, 영상 입력부(180)는 제1카메라(181) 또는 제2카메라(182)의 촬영에 필요한 광량을 제공하는 보조광원(예를 들어, 플래시(183))을더 포함할 수 있다.
저장부(190)는 제어부(110)의 제어에 따라 통신부(120), 이동통신부(125), 영상처리부(130), 디스플레이부(140), 사용자 입력부(150), 감지부(160), 스피커(171), 진동 모터(172), GPS 유닛(173), 커넥터(175) 및/또는 영상입력부(180)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(190)는 단말장치(100)의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자정보, 문서, 데이터 베이스들 또는 관련 데이터들을 저장할 수 있다.
일실시예에서 단말장치(100)에는 메신저 프로그램 및 관련 데이터(예를 들어, 커맨드에 대응하는 아이콘)가 저장부(190)에 저장될 수 있다.
일실시예에서 저장부(190)는 터치 및/또는 터치의 연속적인 움직임에 대응되는 터치정보(예를 들어, 검출된 터치위치의 X와 Y좌표, 터치 검출시간 등)를 저장할 수 있다. 저장부(190)는 터치의 연속적인 움직임의 종류(예를 들어, 플릭, 드래그 또는 드래그 앤 드롭)도 저장할 수 있으며, 제어부(110)는 입력된 사용자 터치를 저장부(190)의 정보와 비교하여, 터치의 종류를 식별할 수 있다. 저장부(190)는 입력되는 터치 또는 터치 제스처에 대응되어 디스플레이부(140)에 출력되는 사용자가 인지 가능한 시각피드백(예를 들어, 비디오소스 등), 스피커(171)에서 출력되는 사용자가 인지 가능한 청각피드백(예를 들어, 사운드소스 등) 및 진동모터(172)에서 출력되는 사용자가 인지 가능한 촉각 피드백(예를 들어, 햅틱 패턴 등)을 더 저장할 수 있다.
본 발명의 일실시예에서 단말장치(100)는 허브장치(200) 및/또는 서버(400)와 동일한 사용자 계정으로 이용 가능하도록 한다. 즉, 단말장치(100)의 사용자는 디바이스(301, 302, 303, 304)에 커맨드를 송신할 수 있는 메신저 프로그램 즉, 어플리케이션을 단말장치(100)에 다운로드 하여 설치하고, 자신의 사용자 계정을 이용하여 해당 어플리케이션에 로그인할 수 있다.
다른 실시예에서 허브장치(200) 및/또는 서버(400)는 서로 다른 사용자 계정을 사용하는 복수의 단말장치(100)로부터 접속 가능하도록 동작할 수 있다. 예를 들어, 4인 가족의 경우 댁 내에 설치된 허브장치(200)에 대해 가족 구성원 4인 중 일부 또는 전부가 각각 자신의 사용자 계정을 사용하여 본인 소유의 단말장치(100)에 설치된 메신저 프로그램에 로그인하고, 허브장치(200)를 통해 디바이스(301, 302, 303, 304)에 커맨드를 송신하도록 구현될 수도 있을 것이다.
이를 위해, 허브장치(200)는 사용 가능한 적어도 하나의 사용자 계정 정보가 미리 저장될 수 있을 것이다.
상기와 같은 본 발명 일실시예에 따른 홈 네트워크 시스템(1)은 단말장치(100)를 이용한 사용자 입력에 응답하여 허브장치(200)를 통해 적어도 하나의 디바이스(301, 302, 303, 304)에 제어신호를 송부하는 사물인터넷 환경을 제공하게 된다.
이를 위해, 본 발명 일실시예에 따른 단말장치(100)에는 메신저 서비스를 제공하는 적어도 하나의 프로그램이 설치되고, 설치된 메신저 프로그램의 실행에 따라 디스플레이부(140)에 표시되는 메신저 대화창(전술한 제2 사용자 인터페이스에 해당되며, 대화방, 채팅창 또는 채팅룸(chatroom) 이라고도 한다)에서 디바이스(301, 302, 303, 304)(이하, IoT 기기, 아이오티 기기 또는 홈 디바이스 라고도 한다)의 동작을 제어하는 커맨드를 입력함으로써, 허브장치(200)를 통해 적어도 하나의 디바이스(301, 302, 303, 304)에 제어신호를 송신할 수 있다. 그에 따라, 단말장치(100)를 이용한 IoT 기기와의 인터랙션이 가능하게 된다.
여기서, 일실시예에에 따르면 단말장치(100)에서 실행된 메신저 프로그램에서 허브장치(200)가 대화상대(이하, 친구 또는 채팅상대(chat user) 라고도 한다)로 추가될 수 있다. 단말장치(100)의 디스플레이부(140)는 허브장치(200)를 대화상대로 하는 메신저 대화창을 표시하며, 사용자는 표시된 메신저 대화창에서 허브장치(200)와 통신 가능한 디바이스(301, 302, 303, 304)에 대한 커맨드를 입력하도록 선택할 수 있다.
다른 실시예에 따르면, 단말장치(100)에서 실행된 메신저 프로그램에서 홈 네트워크 시스템(1)에 포함된 디바이스(301, 302, 303, 304)가 각각 대화상대로 추가될 수 있다. 단말장치(100)의 디스플레이부(140)는 특정 디바이스(예를 들어, 301)를 대화상대로 하는 메신저 대화창을 표시하며, 사용자는 표시된 메신저 대화창에서 해당 디바이스(301)에 대한 커맨드를 입력하도록 선택할 수 있다.
또 다른 실시예에 따르면, 단말장치(100)에서 실행된 메신저 프로그램에서 사용자의 선택에 의해 대화상대로 추가된 2 이상의 디바이스(예를 들어, 301, 302)를 포함하는 대화 그룹을 설정할 수 있다. 단말장치(100)의 디스플레이부(140)는 설정된 그룹에 포함된 디바이스(301, 302)와의 인터랙션이 가능한 대화방을 표시하며, 사용자는 해당 대화방에서 2 이상의 디바이스(301, 302)에 동시에 커맨드가 송신되도록 사용자 입력을 할 수 있다.
일 실시예에서, 서브장치(200) 또는 디바이스(301, 302, 303, 304)는 각각에 할당된 어드레스에 의해 홈 네트워크 시스템(1)에서 식별 가능하며, 각 기기(200, 301, 302, 303, 304)의 식별정보를 이용하여 메신저 프로그램에서 대화상대로 등록될 수 있다. 예를 들어, 단말장치(100)의 제어부(110)는 와이파이를 지원하는 홈 네트워크 시스템(1)에서 허브장치(200)의 IP 어드레스를 검색하고, 검색 결과에 대응하여 허브장치(200)를 대화상대로 추가할 수 있을 것이다.
일 실시예에서 메신저 대화창은 사용자 입력의 수신 가능한 가상 키패드(또는, 가상 키보드)(이하, 키패드 라고도 한다)가 표시되는 입력영역(도 6의 610), 사용자의 현재 입력 내용을 표시하는 메시지 입력창(620), 입력이 완료된 메시지를 표시하는 메시지 표시영역(630)을 포함할 수 있다.
여기서, 가상 키패드는 터치 입력에 의한 선택이 가능한 버튼으로서 마련되는 아이오티 탭(IoT tab 또는 standard tab)(도 6의 611)을 포함하며, 아이오티 탭(611)은 허브장치(200) 또는 제어 대상인 적어도 하나의 디바이스(301, 302, 303, 304)를 대화상대로 등록하는 사용자 입력에 응답하여 활성화될 수 있다.
일 실시예에서 아이오티 탭(611)을 포함하는 키패드는 단말장치(100)의 제조 과정에서 내장된 상태로 출시될 수 있다. 즉, 특정 제조사에서 출시되는 단말장치(100)는 별도의 설치 과정 없이 아이오티 탭(611)을 포함하는 키패드를 지원한다.
다른 실시예에서, 사용자는 앱스토어로부터 아이오티 탭(611)을 포함하는 키보드 프로그램(키패드 프로그램)을 다운로드하여 설치할 수 있다.
이하, 메신저 프로그램을 실행하여 대화상대를 등록하여, 적어도 하나의 디바이스(301, 302, 303, 304)를 제어하기 위한 커맨드가 전송되도록 설정되는 실시예들에 관해 설명하기로 한다.
도 3 내지 도 5는 본 발명 일실시예에 따른 단말장치(100)에서 대화상대의 등록 과정을 설명하기 위한 도면이다.
도 3(a)를 참조하면, 서버(400)에는 디바이스(301, 302, 303, 304)를 제어할 수 있는 커맨드를 포함하는 데이터(501)가 저장될 수 있다. 도 3(a)는 디바이스(301, 302, 303, 304)를 제어하기 위한 복수의 커맨드가 각 커맨드에 대응하는 아이콘으로 정의된 경우를 예로 들어 도시한 것이다.
도 3(b)에 도시된 바와 같이, 허브장치(200)는 서버(400)로부터 디바이스(301, 302, 303, 304)를 제어할 수 있는 커맨드에 대한 데이터(502)를 다운로드하여 저장할 수 있다. 이에 따라, 서버(400)와 허브장치(200) 간에 커맨드가 동기화된다.
그리고, 단말장치(100)에서, 사용자의 입력에 의해, 소정 메신저 프로그램이 실행되고, 도 3(c)와 같이, 실행된 메신저 프로그램에서 허브장치(100)가 대화상대(503)로 등록될 수 있다. 여기서, 사용자는 메신저 프로그램의 대화상대 리스트(또는, 친구 리스트)에서 검색을 통해 허브장치(200)를 대화상대로 추가할 수 있다. 일실시예에서, 검색 과정에는 단말장치(100) 또는 디바이스(301, 302, 303, 304)의 식별정보가 이용될 수 있다.
다른 실시예에서 단말장치(100)의 제어부(110)는 실행된 메신저 프로그램에서 허브장치(100) 또는 적어도 하나의 디바이스(301, 302, 303, 304)를 대화상대로 자동 등록(추가)하거나, 대화상대 추천 리스트에 표시하도록 디스플레이부(140)를 제어할 수 있다.
사용자는 도 3(c)와 같이 도시되는 친구 리스트에서 허브장치(200)가 대화상대로 등록된 것(503)을 확인할 수 있으며, 해당 탭(503)을 터치입력에 의해 선택함으로써, 디스플레이부(140)에 허브장치(200)를 대화상대로 하는 메신저 대화창이 표시되도록 할 수 있다.
도 4를 참조하면, 일실시예에서 단말장치(100)에서 허브장치(200)를 대화상대로 하는 최초의 등록(first time registration)이 수행되면, 그에 따라 단말장치(100)로부터 허브장치(200)로 디바이스(301, 302, 303, 304)를 제어할 수 있는 커맨드에 대한 데이터가 전송될 수 있다. 이에, 단말장치(100)와 허브장치(200)간에 커맨드가 동기화 된다.
여기서, 허브장치(200)는 홈 네트워크에서 IoT 허브로서 동작하게 되며, 단말장치(100)는 해당 메신저 프로그램을 이용하여 허브장치(200)에 각종 커맨드를 송신할 수 있도록 셋업(setup)된다. 이 과정에서 메신저 서비스 제공자로부터 허브장치(200)로, 허브장치(200)가 단말장치(100)로부터 직접 커맨드를 수신 및 디바이스(301, 302, 303, 304)를 제어할 수 있는 권한이 부여될 수 있다.
한편, 다른 실시예에서 단말장치(100)는, 도 5에 도시된 바와 같이, 서버(400)로부터 디바이스(301, 302, 303, 304)를 제어할 수 있는 커맨드에 대한 데이터를 다운로드 할 수 있다. 이 경우, 서버(400)를 운영하는 메신저 서비스 제공자(예를 들어, 통신 사업자, 포털 사업자 등)에 의해 제공되는 통신망(410)(예를 들어, messaging infra 또는 third party infra)을 이용한 원격제어(remote control)가 수행될 수 있다.
도 5를 참조하면, 또 다른 실시예에서, 단말장치(100)에는 복수의 메신저 프로그램이 설치될 수 있다. 사용자는 단말장치(100)에서 각각의 어플리케이션을 설치 및 실행하여 허브장치(200)를 대화상대로 등록할 수 있다.
단말장치(100)는 사용자의 선택에 의해 설치된 복수의 메신저 프로그램 중 하나를 실행할 수 있으며, 실행된 프로그램의 대화창을 통해 커맨드를 입력하고, 그 커맨드는 해당 서비스 제공자의 통신망(410) 또는 통신사의 이동통신망을 거쳐 허브장치(200)로 송신될 수 있을 것이다.
도 2 내지 도 5에서는 허브장치(200)를 대화상대로 등록하여 디바이스(301, 302, 303, 304)에 커맨드가 전송되도록 설정하는 경우를 예로 들어 설명하였지만, 각 디바이스(301, 302, 303, 304)를 개별적으로 대화상대로 등록하는 경우에도 같은 방식으로 적용 가능함은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다
이하, 메신저 대화창을 이용하여 디바이스(301, 302, 303, 304)를 제어하는 커맨드를 입력하는 실시예들에 관해 설명하기로 한다.
도 6 내지 도 10은 본 발명 일실시예에 따른 단말장치(100)에서 메신저 대화창을 이용하여 디바이스를 제어하는 커맨드를 입력하는 과정을 설명하기 위한 도면이다.
단말장치(100)의 제어부(110)는, 도 3(c)와 같이 도시되는 대화상대 리스트에서 허브장치(200) 탭(503)에 대한 사용자 선택이 수신되면, 도 6(a)와 같은 메신저 대화창을 표시하도록 디스플레이부(140)를 제어한다.
도 6(a)를 참조하면, 메신저 대화창은 사용자 입력의 수신 가능한 가상 키패드가 표시되는 입력영역(610), 사용자의 현재 입력 내용을 표시하는 메시지 입력창(620), 입력이 완료된 메시지를 표시하는 메시지 표시영역(630)을 포함할 수 있다.
메시지 표시영역(630)에는 이전(과거)에 대화상대 즉, 허브장치(200)로부터 수신된 메시지(631) 및/또는 단말장치(100)로부터 대화상대인 허브장치(200)로 송신된 메시지(632)가 예를 들어, 말풍선과 같은 형태로 표시될 수 있다.
입력영역(610)는 사용자에 의해 선택 가능한 다양한 아이콘들이 표시되며, 아이콘들은 그 종류에 따라 분류될 수 있다. 아이콘의 상부에는 아이콘의 종류를 선택하기 위한 복수의 탭이 표시될 수 있다.
일실시예에서 복수의 탭에는 아이오티 탭(IoT tab)(611)이 포함된다. 아이오티 탭(611)은 도 3에서 설명한 대화상대 등록(추가)에 응답하여 활성화될 수 있다.
단말장치(100)는 다양한 형태의 사용자 입력을 수신할 수 있도록 마련된다. 예를 들어,사용자 입력은 사용자로부터 발화되는 음성을 포함할 수 있으며,메신저 대화창은 일 영역에 음성입력 기능을 활성화하도록 사용자에 의해 선택 가능한 음성입력 아이콘(640)을 더 표시할 수 있다.
제어부(110)는, 도 6(a)과 같은 메신저 대화창에서 아이오티 탭(611)을 선택하는 사용자 입력의 수신에 응답하여, 도 6(b)에 도시된 바와 같이 디바이스(301, 302, 303, 304)를 제어하는 커맨드에 대응하는 복수의 아이콘(612, 613, 614, 615)을 메신저 대화창의 입력영역(610)에 표시하도록 디스플레이부(140)를 제어할 수 있다.
사용자는 도 6(b)의 메신저 대화창에서 표시된 아이콘 중 하나를 선택하는 터치입력을 할 수 있으며, 제어부(110)는 선택된 아이콘에 대응하는 커맨드를 허브장치(200)로 송신하도록 통신부(120)를 제어한다. 예를 들어, 공기 정화를 위한 환풍기에 대한 동작(ON) 아이콘(614)이 선택되는 경우, 환풍기를 동작 시키는 커맨드를 포함하는 제어신호가 통신부(120)를 통해 허브장치(200)로 송신되고, 해당 제어신호는 허브장치(200)를 통해 대응하는 디바이스 즉, 환풍기로 전달된다.
환풍기는 수신된 제어신호에 기초하여 동작을 수행하게 된다.
제어부(110)는 송신된 커맨드에 대응하는 메시지(633)를 메시지 표시영역(630)에 표시하도록 디스플레이부(140)를 제어할 수 있다. 사용자는 도 6(b)의 송신 메시지(633)를 통해 14시12분(14:12)에 환풍기 동작 아이콘(614)이 선택되어 정상적으로 해당 커맨드가 송신되었음을 확인할 수 있다.
메시지 표시영역(630)에는 허브장치(200)를 통해 디바이스(301, 302, 303, 304)로부터 수신된 디바이스의 상태정보에 대응하는 메시지(634)가 더 표시된다. 사용자는 상태정보 메시지(634)를 통해 디바이스(301, 302, 303, 304)의 현재 상태를 확인할 수 있다.
일실시예에서, 커맨드 송신이 실패한 경우, 메시지 표시영역(630)에는 이를 사용자에게 통지하는 메시지가 표시될 수 있다. 사용자는 표시된 메시지에 응답하여 해당 커맨드의 재송신 여부를 결정할 수 있다.
본 발명에 따른 단말장치(100)에 표시된 메신저 대화창에서 수신되는 사용자 입력은 도 6에서 설명한 아이콘에 한정되지 않으며, 텍스트, 드로잉, 음성 입력 등을 더 포함할 수 있다.
도 7을 참조하면, 메신저 대화창의 입력영역(610)에 표시되는 복수의 아이콘은 복수의 디바이스(301, 302, 303, 304)에 각각 대응할 수 있다. 즉, IoT 기기로서 동작하는 세탁기, 냉장고, 에어컨, 텔레비전에 각각 대응하는 아이콘들(712, 713, 714, 715)이 사용자에 의해 선택 가능하도록 표시된다.
예를 들어, 제1 사용자 입력으로서, 도 8(a)와 같이, 에어컨 아이콘(714)을 선택하는 터치 입력이 수신되면, 단말장치(100)는 메신저 대화창의 입력영역(610)에 선택된 아이콘(714)에 대응하는 디바이스(도 1의 303)에 대한 구체적인 커맨드로서의 제2 사용자 입력을 더 수신할 수 있다.
도 8(b)는 제2 사용자 입력으로서 드로잉(drawing) 입력이 수신되는 경우를 예로 들어 도시한 것이다. 본 실시예에서 드로잉 입력은 터치 스크린(141)에 대한 터치 입력으로서 수신되는 제스처 입력에 포함되는 것으로 정의되며, 제스처 입력의 움직임 경로에 대응하여 드로잉 오브젝트가 입력 영역(610) 내 드로잉 영역(716)에 표시될 수 있다.
터치스크린 컨트롤러(145)에 의해 사용자로부터의 드로잉 입력이 감지되면, 제어부(110)는 수신된 입력에 대응하는 드로잉 오브젝트의 모양에 기초하여 제2 사용자 입력을 결정할 수 있다. 예를 들어, 도 8(b)와 같이, 숫자 19 의 모양을 가진 드로잉 입력이 수신되면, 제어부(110)는 이를 숫자 19로 결정하고 에어컨의 설정 온도를 19도로 유지하도록 하는 커맨드를 서브장치(200)로 송신하도록 통신부(120)를 제어하게 된다.
그리고, 제어부(110)는 메시지 표시영역(630)에 송신 커맨드에 대응하는 메시지(731)를 표시하도록 디스플레이부(140)를 제어한다. 그에 따라, 사용자는 업데이트된 메시지 표시영역(630)을 통해 입력 및 송신된 커맨드를 확인할 수 있게 된다.
도 7에서는 제2 사용자 입력으로서 드로잉 영역(716)에 대한 드로잉 입력이 수신되는 경우를 예로 들어 설명하지만, 본 발명 실시예에 따른 단말장치(100)는 다양한 종류의 사용자 입력을 더 수신할 수 있다.
다른 실시예로서, 도 7(b)에서, 사용자가 메시지 입력창(620)을 선택하면, 입력영역(610)에는 제2 사용자 입력으로 텍스트 즉, 문자, 숫자, 특수문자 등을 선택 가능한 키패드(기보드)가 표시될 수 있다. 사용자는, 예를 들어, 숫자 1과 9를 순차적으로 선택할 수 있으며, 그에 응답하여 제어부(110)는 에어컨의 설정 온도를 19도로 유지하도록 하는 커맨드를 서브장치(200)로 송신하도록 통신부(120)를 제어하게 된다.
또 다른 실시예로서, 도 7(b)에서 사용자가 음성입력 아이콘(640)을 선택하면, 제어부(110)는 사용자로부터 발화된 음성을 감지할 수 있도록 마이크(152)를 활성화한다. 사용자가, 예를 들어, "19"라고 음성으로 발화하면, 제어부(110)는 이를 숫자 19로 결정하고 에어컨의 설정 온도가 19도가 되게 유지하도록 하는 커맨드를 서브장치(200)로 송신하도록 통신부(120)를 제어하게 된다.
여기서, 텍스트, 음성 등을 통해 입력되는 커맨드는 자연어를 포함한다. 제어부(110)는 다양한 자연어 처리(Natural Language Processing, NLP) 알고리즘을 이용하여 사용자 입력에 대응하는 커맨드를 해석할 수 있다.
한편, 도 6 및 도 7에서는 아이콘을 선택하여 커맨드를 입력받는 실시예를 예로 들어 설명하였으나, 아이콘 선택 없이 소정 디바이스에 커맨드가 송신되는 실시예도 본 발명에 포함된다. 예를 들면, 사용자가 메신저 대화창의 메시지 입력창(620)에 “TURN AIR 25”와 같은 텍스트를 입력하면, 제어부(110)는 이를 단어 단위(TURN, AIR, 및 25)로 분할하고, 각 단어를 기저장된 테이블에 매핑시켜 에어컨을 턴 온하고, 설정온도를 25도로 유지하는 커맨드를 송신하도록 통신부(120)를 제어할 수 있다.
따라서, 본 발명의 실시예에 따르면, 제1 사용자 입력 및/또는 제2 사용자 입력으로서 단말장치(100)에서 감지 가능한 아이콘, 텍스트, 드로잉, 음성 등 다양한 방식의 사용자 입력이 수신될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
일 실시예에서, 단말장치(100)는 복수의 디바이스를 포함하는 그룹을 설정하고, 그룹에 포함된 복수의 디바이스의 전부 또는 일부에 커맨드가 송부되도록 할 수 있다. 여기서, 그룹을 설정하는 사용자 입력은 제3 사용자 입력으로서 정의된다.
일실시예에서 그룹은 가정 내 영역, 예를 들어 차고(garage), 거실(living room), 현관(front entry), 미디어룸(media room), 주방(kitchen) 등으로 구분될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 거실, 현관, 주방, 하나 이상의 침실(bedroom)에 설치된 조명들을 하나의 그룹을 설정하는 것도 본 발명의 권리에 포함될 수 있다. 이렇게 설정된 그룹 정보는 허브장치(200) 및/또는 서버(400)로 송신되어 그 정보가 공유 즉, 동기화된다.
다른 실시예에서 그룹 정보는 서버(400)로부터 수신될 수 있다. 즉, 허브장치(200)는 서버(400)로부터 그룹 정보를 수신하고, 수신된 정보는 허브장치(200)를 거쳐 단말장치(100)로 전달된다. 이에, 서버(400), 허브장치(200) 및 단말장치(100) 간에 정보가 공유 즉, 동기화된다.
이하에서는 가정 내 영역 별로 그룹이 설정된 경우를 예로 들어 설명하지만, 다양한 방식의 그룹 설정이 가능하다는 점은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 8(a)를 참조하면, 일 실시예에 따른 단말장치(100)에 표시되는 메신저 대화창의 입력영역(610)에는 그룹 아이콘(810)이 포함될 수 있다. 사용자는 그룹 아이콘(810)을 선택하고, 허브장치(200)에 의해 통신 가능한 디바이스들 중에서 소정 그룹에 포함되는 둘 이상의 디바이스를 선택하는 방식으로 그룹을 설정할 수 있다.
예를 들어, 그룹 아이콘(810)의 선택에 응답하여 메신저 대화창의 입력영역(610)에는 도 8(b)와 같이 그룹 추가 아이콘(813)이 표시될 수 있으며, 사용자는 그룹 추가 아이콘(813)을 선택하여 그룹 설정에 대한 사용자 입력을 할 수 있다. 단말장치(100)는 그룹에 포함되는 디바이스들의 선택이 완료되면, 사용자로부터 선택된 디바이스들을 포함하는 그룹 명(예를 들어, garage 등)을 더 입력 받을 수 있다.
도 8(b)는 설정이 완료된 그룹들에 대응하는 아이콘(811, 812)이 입력영역(610)에 표시된 경우를 도시한 것이다.
일 실시예에서 단말장치(100)는 설정된 그룹을 이용하여 해당 그룹에 포함된 하나 또는 둘 이상의 디바이스들에 선택적으로 커맨드를 수신하도록 할 수 있다.
구체적으로, 단말장치(100)는 사용자로부터 도 8(a)에서 그룹 아이콘(810)의 선택에 응답하여 표시된 설정된 그룹들에 대응하는 아이콘(811, 812) 중에서 커맨드를 송신하고자 하는 디바이스가 포함된 그룹 예를 들어, 도 9(a)에 도시된 바와 같이, 차고 아이콘(811)을 선택하는 사용자 입력을 수신할 수 있다.
제어부(110)는 차고 아이콘(811)의 선택에 응답하여, 도 9(b)와 같이 해당 그룹에 포함된 디바이스들, 예를 들어, 차고의 입구에 설치된 프런트 조명(front light), 차고 문(garage door) 등에 대응하는 아이콘(815, 816)을 입력영역(610)에 표시할 수 있다.
도 9(c)와 같이, 사용자로부터 프런트 조명 아이콘(815)을 선택하는 터치 입력이 수신되면, 제어부(110)는 이를 감지하여 도 9(d)에 도시된 바와 같은 해당 디바이스 즉, 프런트 조명에 대한 구체적인 커맨드를 선택 가능한 아이콘(817, 818)을 메신저 대화창의 입력영역(610)에 더 표시하도록 디스플레이부(140)를 제어할 수 있다. 그리고, 도 9(d)의 경우를 예로 들면, 사용자는 전원 오프(OFF) 아이콘(818)을 선택할 수 있으며, 그에 따라 차고의 프런트 조명을 오프시키는 커맨드가 단말장치(100)로부터 서브장치(200)를 거쳐 해당 디바이스인 차고의 프런트 조명에 대한 컨트롤러로 송신된다.
여기서, 본 발명 일실시예에 따른 단말장치(100)는 소정 그룹에 포함된 2 이상의 디바이스에 동시에 커맨드를 송부하도록 구현될 수 있다.
구체적으로, 단말장치(100)는, 도 10(a)에 도시된 바와 같이, 사용자로부터 커맨드를 송신하고자 하는 디바이스가 포함된 그룹 예를 들어, 미디어룸 아이콘(812)을 선택하는 사용자 입력을 수신할 수 있다.
도 10(a)는 예를 들어, 도 6(a)에서의 아이오티 탭(611) 선택에 응답하여, 메신저 대화창의 입력영역(610)에 소정 디바이스를 제어하는 커맨드에 대응하는 아이콘들(613, 614, 615), 제어 대상인 디바이스들(Iot 기기들)에 해당하는 아이콘들(714, 715) 및 기설정된 그룹에 대응하는 아이콘(812)가 표시되는 실시예를 예로 들어 도시한 것이다.
다른 실시예로서, 아이오티 탭(611)의 선택에 응답하여 사용자가 자주 사용하는 커맨드, 디바이스(IoT 기기), 그룹 등에 대응하는 아이콘들이 즐겨찾기 또는 바로가기와 같은 형태로 입력영역(610)에 표시될 수도 있을 것이다.
도 10(a)와 같은 미디어룸 아이콘(812)의 선택에 이어, 단말장치(100)는 사용자로부터 미디어룸에 포함된 디바이스를 선택하는 사용자 입력을 더 수신할 수 있다. 예를 들어, 도 10(b)와 같이, 입력영역(610)에서 각 디바이스의 아이콘들의 선택이 가능한 체크박스(911, 912, 913, 914, 915, 916, 917)가 활성화될 수 있으며, 그에 응답하여 사용자로부터 도 10(c)와 같이 환풍기, 에어컨 및 텔레비전의 아이콘들에 대한 체크박스(912, 916, 917)를 선택하는 사용자 입력이 수신될 수 있다.
그리고, 제어부(110)는, 도 10(d)에 도시된 바와 같이, 선택된 디바이스들의 동작에 대한 커맨드에 대응하는 아이콘들(1001, 1002)을 입력영역(610)에 표시하도록 디스플레이부(140)를 제어할 수 있다. 사용자는, 예를 들어 도 10(d)와 같이, 동작을 온(ON) 시키는 커맨드(1001)를 선택할 수 있으며, 단말장치(100)의 제어부(110)는 사용자의 선택에 응답하여 미디어룸 내의 환풍기, 에어컨, 텔레비전이 즉시 동작되도록 하는 커맨드를 허브장치(200)를 통해 각 디바이스의 컨트롤러로 송신하도록 통신부(120)를 제어한다. 여기서, 사용자는 단말장치(100)를 이용하여, 도 7에서 설명한 방식 또는 다른 방식을 포함하는 다양한 사용자 입력에 의해 에어컨 제어를 위한 설정온도를 입력하거나, 텔레비전의 채널 번호, 볼륨 조절을 선택하는 등의 추가적인 커맨드를 더 입력할 수 있을 것이다.
한편, 사용자는 외부에서 단말장치(100)를 이용하여 댁 내에 설치된 디바이스(301, 302, 303, 304)에 커맨드가 송신되도록 할 수 있다.
도 11은 본 발명 실시예에 따라 외부에서 단말장치(100)를 이용하여 커맨드를 송신하는 일례를 도시한 도면이다.
도 11에 도시된 바와 같이, 외부에 위치한 사용자는 단말장치(100)에서 서브장치(200) 또는 적어도 하나의 디바이스(301, 302)가 대화상대로 등록된 메신저 프로그램(application 1)을 실행하고, 해당 프로그램 즉 어플리케이션(application 1)의 대화창에서 소정 디바이스 예를 들어 세탁기(301)의 동작을 제어하기 위한 커맨드(command 1)을 입력할 수 있다. 입력된 커맨드(command 1)은 대응되는 어플리케이션(application 1)의 통신망(401)을 통해 댁 내의 서브장치(200)로 송신된다. 그리고, 서브장치(200)로부터 해당 디바이스인 세탁기(301)로 커맨드(command 1)가 전달되며, 그에 응답하여 세탁기(301)가 커맨드(command 1)에 대응하는 동작을 수행하도록 제어된다.
도 11을 참조하면, 외부에 위치한 사용자는 단말장치(100)에서 서브장치(200) 또는 적어도 하나의 디바이스(301, 302)가 대화상대로 등록된 다른 메신저 프로그램(application 2)을 이용하여 커맨드가 송신되도록 할 수 있다. 구체적으로, 사용자는 단말장치(100)에서 실행된 프로그램 즉, 어플리케이션(application 2)의 대화창에서 소정 디바이스 예를 들어 냉장고(302)의 동작을 제어하기 위한 커맨드(command 2)를 입력할 수 있다. 입력된 커맨드(command 2)는 대응되는 어플리케이션(application 2)의 통신망(402)을 통해 댁 내의 서브장치(200)로 송신된다. 그리고, 서브장치(200)로부터 해당 디바이스인 냉장고(302)로 커맨드(command 2)가 전달되며, 그에 응답하여 냉장고(302)가 커맨드(command 2)에 대응하는 동작을 수행하도록 제어된다.
이하, 본 발명의 실시예에 따른 단말장치(100)를 이용하여 IoT 기기로서 동작하는 디바이스(301, 302, 303, 304)에 커맨드를 송부하도록 제어하는 방법에 관해 도면을 참조하여 설명한다.
도 12는 본 발명 일실시예에 의한 단말장치(100)의 제어방법을 도시한 흐름도이다.
도 12에 도시된 바와 같이, 단말장치(100)는 사용자 입력부(150)를 통해 메신저 프로그램을 실행하는 사용자 입력을 수신할 수 있다(S1202). 여기서, 메신저 프로그램은 다른 단말장치를 통해 사용자들 간 커뮤니케이션을 지원 가능하도록 마련되는 것으로, 사용자가 앱스토어를 통해 다운로드 하거나, 경우에 따라 단말장치(100)에 내장된 상태로 출시될 수 있다.
단말장치(100)는 사용자 입력부(150)를 통해 단계 S1202에서 실행된 메신저 프로그램에서 허브장치(100) 또는 적어도 하나의 디바이스(301, 302, 303, 304)를 대화상대로 추가하는 사용자 입력을 수신할 수 있다(S1204).
단말장치(100)는 단계 S1204에서 추가된 대화상대 예를 들어, 서브장치(200)와의 메신저 대화창에서 소정 디바이스를 제어하는 커맨드에 대응하는 사용자 입력을 수신한다(S1206). 여기서, 사용자는 하나 또는 둘 이상의 디바이스에 커맨드를 송부하도록 사용자 입력을 할 수 있으며, 소정 그룹에 포함된 하나 또는 둘 이상의 디바이스에 커맨드를 송부하도록 선택할 수도 있다.
단계 S1206에서 단말장치(100)는 커맨드에 대응하는 아이콘을 선택받거나, 텍스트, 드로잉 또는 사용자로부터 발화되는 음성의 수신 등의 다양한 방식으로 사용자 입력을 수신할 수 있다. 텍스트, 음성 등으로 수신되는 사용자 입력은 자연어를 포함한다. 또한, 단말장치(100)는 상기와 같은 사용자 입력의 둘 이상의 조합에 의해서도 디바이스를 제어할 수 있는 커맨드를 입력 받을 수 있다. 예를 들어, 대화상대가 서브장치(200)인 경우, 사용자는 특정 디바이스에 대한 아이콘을 선택하고, 선택된 디바이스를 제어하는 커맨드를 드로잉 또는 텍스트로 입력할 수 있을 것이다.
단말장치(100)의 제어부(110)는 단계 S1206에서 수신된 커맨드를 포함하는 제어신호를 허브장치(200)를 통해 제어대상 디바이스로 송신하도록 통신부(120)를 제어한다(S1208). 즉, 커맨드를 포함하는 제어신호는 단말장치(100)로부터 허브장치(200)로 송신되고, 허브장치(200)는 커맨드에 대해 제어 대상 디바이스를 식별하여, 해당 커맨드에 대응되는 적어도 하나의 디바이스로 제어신호를 송신하게 된다.
그리고, 제어부(110)는 송신된 커맨드에 대응하는 메시지를 메신저 대화창에 표시하도록 디스플레이부(140)를 제어할 수 있다(S1210).
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이와 같이, 본 발명의 실시예에 의하면, 메신저 서비스를 제공하는 프로그램을 이용하여 IoT 기기로서 동작하는 가정 내 홈 디바이스의 동작에 커맨드를 송부함으로써, 사용자가 보다 편리하게 IoT 서비스를 이용할 수 있는 장점이 있다.
또한, 시각적으로 커맨드의 종류를 용이하게 식별할 수 있는 아이콘을 메신저 대화창에서 제공함으로써, 사용자가 복잡한 커맨드를 입력하지 않고도 원하는 커맨드를 쉽게 입력할 수 있게 된다.
뿐만 아니라, 텍스트, 드로잉, 음성 등의 다양한 사용자 입력도 지원되므로, 사용자는 본인에게 편리한 사용자 입력 방식으로 제한없이 커맨드를 입력할 수 있다.
또한, 허브장치 또는 제어 대상 디바이스를 대화상대로 등록하고 등록된 대화상대에 메시지를 입력하는 간단한 방식으로 IoT 서비스를 이용할 수 있으므로, 서비스의 확대가 보다 용이하다.
또한, 메신저 대화창에서 그룹 단위로 커맨드 입력이 가능하므로, 디바이스 별로 사용자 입력을 반복적으로 수행하지 않고, 한번에 복수의 디바이스에 커맨드를 송부할 수 있다.
한편, 상기와 같은 본 발명의 다양한 실시예들은 컴퓨터가 판독 가능한 프로그램이 기록된 기록매체로 실시될 수 있다. 기록매체는 컴퓨터 시스템에 의해 판독 가능한 데이터를 저장하는 저장매체를 포함한다. 기록매체에 기록된 프로그램은 전송매체를 통해 송수신 가능하다. 전송매체는 컴퓨터 시스템이 상호 결합된 유무선 네트워크를 통해 구현 가능하다.
본 발명의 다양한 실시예들은 하드웨어와 하드웨어 및 소프트웨어의 결합에 의해 구현될 수 있다. 하드웨어로서, 프로세서(110)는 소프트웨어인 컴퓨터프로그램이 저장되는 비휘발성메모리와, 비휘발성메모리에 저장된 컴퓨터프로그램이 로딩되는 RAM과, RAM에 로딩된 컴퓨터프로그램을 실행하는 CPU를 포함할 수 있다. 비휘발성메모리는 하드디스크드라이브, 플래쉬메모리, ROM, CD-ROMs, 자기테이프(magnetic tapes), 플로피 디스크, 광기억 장치(optical storage), 인터넷을 이용한 데이터 전송장치 등을 포함하며, 이에 한정되지 않는다. 비휘발성메모리는 본 발명의 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체(computer-readable recording medium)의 일례이다.
컴퓨터프로그램은 CPU가 읽고 실행할 수 있는 코드로서, 도 12에 도시된 단계 S1202 내지 S1210과 같은 제어부(110)의 동작을 수행하도록 하는 코드를 포함한다.
컴퓨터프로그램은 단말장치(100)에 구비된 운영체제(operating system) 또는 프로그램/어플리케이션을 포함하는 소프트웨어 및/또는 외부장치와 인터페이스하는 소프트웨어에 포함되어 구현될 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

Claims (15)

  1. 단말장치에 있어서,
    허브장치를 통하여 적어도 하나의 디바이스와 통신 가능한 통신부와;
    영상을 표시할 수 있는 디스플레이부와;
    사용자 입력을 수신할 수 있는 사용자 입력부와;
    메신저 프로그램의 실행에 응답하여 상기 허브장치 또는 상기 적어도 하나의 디바이스를 대화상대로 하는 메신저 대화창을 상기 디스플레이부에 표시하도록 하고, 상기 표시된 메신저 대화창에서 상기 사용자 입력부에 의해 소정 디바이스를 제어하는 커맨드에 대응하는 사용자 입력이 수신되면, 상기 사용자 입력에 대응하는 커맨드에 의해 제어 대상인 디바이스가 동작되도록, 상기 커맨드를 포함하는 제어신호가 상기 허브장치를 통하여 상기 제어 대상인 디바이스에 송신되도록 상기 통신부를 제어하고, 상기 송신된 커맨드에 대응하는 메시지를 상기 메신저 대화창에 표시하도록 상기 디스플레이부를 제어하는 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는 단말장치.
  2. 제1항에 있어서,
    상기 메신저 대화창은 상기 적어도 하나의 디바이스를 제어하는 커맨드에 대응하며 선택 가능한 복수의 아이콘을 표시하며,
    상기 프로세서는, 상기 복수의 아이콘 중에서 적어도 하나를 선택하는 사용자 입력에 응답하여 상기 선택된 아이콘에 대응하는 커맨드를 포함하는 제어신호가 송신되도록 하는 것을 특징으로 하는 단말장치.
  3. 제2항에 있어서,
    상기 복수의 아이콘은 상기 메신저 대화창의 입력 영역에 마련된 아이오티 탭의 선택에 응답하여 표시되며, 상기 아이오티 탭은 상기 입력 영역에서 사용자 입력을 위해 표시되는 키패드에 포함되는 것을 특징으로 하는 단말장치.
  4. 제3항에 있어서,
    상기 아이오티 탭은 상기 허브장치 또는 상기 적어도 하나의 디바이스를 대화상대로 등록하는 사용자 입력에 응답하여 활성화되는 것을 특징으로 하는 단말장치.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 메신저 프로그램에서 상기 허브장치 또는 상기 적어도 하나의 디바이스를 대화상대로 자동 등록하거나, 대화상대 추천 리스트에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 단말장치.
  6. 제2항에 있어서,
    상기 복수의 아이콘 중 적어도 하나는 제어 대상인 소정 디바이스에 대응하며,
    상기 사용자 입력부는, 상기 복수의 아이콘 중 하나를 선택하는 제1 사용자 입력과, 상기 선택된 아이콘에 대응하는 디바이스를 제어하기 위한 커맨드에 대응하는 제2 사용자 입력을 수신하는 것을 특징으로 하는 단말장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 사용자 입력부는 복수의 디바이스를 포함하는 그룹을 생성하는 제3 사용자 입력을 더 수신하며,
    상기 프로세서는, 상기 그룹에 포함된 복수의 디바이스가 사용자에 의해 입력된 커맨드에 의해 동작되도록, 상기 커맨드를 포함하는 제어신호가 상기 허브장치를 통하여 상기 복수의 디바이스로 송신되도록 상기 통신부를 제어하는 것을 특징으로 하는 단말장치.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 커맨드를 포함하는 제어신호는 상기 메신저 프로그램의 서비스 제공자의 통신망 또는 이동통신망을 경유하여 상기 허브장치로 송신되는 것을 특징으로 하는 단말장치.
  9. 단말장치의 제어방법에 있어서,
    메신저 프로그램의 실행에 응답하여 허브장치 또는 적어도 하나의 디바이스를 대화상대로 하는 메신저 대화창을 표시하는 단계와;
    상기 표시된 메신저 대화창에서 소정 디바이스를 제어하는 커맨드에 대응하는 사용자 입력을 수신하는 단계와;
    상기 사용자 입력에 대응하는 커맨드에 의해 제어 대상인 디바이스가 동작되도록, 상기 커맨드를 포함하는 제어신호를 상기 허브장치를 통해 상기 제어 대상인 디바이스에 송신하는 단계와;
    상기 송신된 커맨드에 대응하는 메시지를 상기 메신저 대화창에 표시하는 단계를 포함하는 것을 특징으로 하는 제어방법.
  10. 제9항에 있어서,
    상기 메신저 대화창은 상기 적어도 하나의 디바이스를 제어하는 커맨드에 대응하며 선택 가능한 복수의 아이콘을 표시하며,
    상기 사용자 입력을 수신하는 단계는 상기 복수의 아이콘 중에서 하나를 선택하는 사용자 입력을 수신하고, 상기 송신하는 단계는 상기 선택된 아이콘에 대응하는 커맨드를 포함하는 제어신호가 송신되도록 하는 것을 특징으로 하는 제어방법.
  11. 제10항에 있어서,
    상기 메신저 대화창의 입력 영역에 마련된 아이오티 탭의 선택에 응답하여 상기 복수의 아이콘을 표시하는 단계를 더 포함하는 것을 특징으로 하는 제어방법.
  12. 제11항에 있어서,
    상기 허브장치 또는 상기 적어도 하나의 디바이스를 대화상대로 등록하는 사용자 입력에 응답하여 상기 아이오티 탭을 활성화하는 단계를 더 포함하는 것을 특징으로 하는 제어방법.
  13. 제12항에 있어서,
    상기 메신저 프로그램에서 상기 허브장치 또는 상기 적어도 하나의 디바이스를 대화상대로 자동 등록하거나, 대화상대 추천 리스트에 표시하는 단계를 더 포함하는 것을 특징으로 하는 제어방법.
  14. 제10항에 있어서,
    상기 복수의 아이콘 중 적어도 하나는 제어 대상인 소정 디바이스에 대응하며,
    상기 사용자 입력을 수신하는 단계는,
    상기 복수의 아이콘 중 적어도 하나를 선택하는 제1 사용자 입력을 수신하는 단계와; 상기 선택된 아이콘에 대응하는 디바이스를 제어하기 위한 커맨드에 대응하는 제2 사용자 입력을 수신하는 단계를 포함하는 것을 특징으로 하는 제어방법.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서,
    복수의 디바이스를 포함하는 그룹을 생성하는 제3 사용자 입력을 수신하는 단계를 더 포함하며,
    상기 송신하는 단계는, 상기 그룹에 포함된 복수의 디바이스가 사용자에 의해 입력된 커맨드에 의해 동작되도록, 상기 커맨드를 포함하는 제어신호가 상기 허브장치를 통하여 상기 복수의 디바이스로 송신되도록 하는 것을 특징으로 하는 제어방법.
PCT/KR2016/015143 2016-03-31 2016-12-23 단말장치 및 그 제어방법 Ceased WO2017171204A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/088,178 US11329938B2 (en) 2016-03-31 2016-12-23 Terminal apparatus and method for controlling internet of things (IoT) devices
EP16897224.8A EP3425889A4 (en) 2016-03-31 2016-12-23 DEVICE DEVICE AND CONTROL METHOD THEREFOR

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160039720A KR102522150B1 (ko) 2016-03-31 2016-03-31 단말장치 및 그 제어방법
KR10-2016-0039720 2016-03-31

Publications (1)

Publication Number Publication Date
WO2017171204A1 true WO2017171204A1 (ko) 2017-10-05

Family

ID=59964875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/015143 Ceased WO2017171204A1 (ko) 2016-03-31 2016-12-23 단말장치 및 그 제어방법

Country Status (4)

Country Link
US (1) US11329938B2 (ko)
EP (1) EP3425889A4 (ko)
KR (1) KR102522150B1 (ko)
WO (1) WO2017171204A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019121136A1 (en) * 2017-12-20 2019-06-27 Dts Iot B.V. Devices, methods and systems to augment the security environment of internet-capable consumer devices
WO2019151661A1 (ko) * 2018-02-02 2019-08-08 삼성전자주식회사 사용자 단말 장치 및 그를 제어하는 제어 방법
WO2020113298A1 (en) * 2018-12-05 2020-06-11 Electrolux Do Brasil S.A. Method for controlling the functioning of two or more smart home appliances
WO2020113299A1 (en) * 2018-12-05 2020-06-11 Electrolux Do Brasil S.A. Method for controlling the functioning of at least one smart home appliance
WO2020113297A1 (en) * 2018-12-05 2020-06-11 Electrolux Do Brasil S.A. Method for controlling the functioning of at least one smart home appliance and network system
US11580988B2 (en) 2019-01-07 2023-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US12417764B2 (en) 2020-02-10 2025-09-16 Samsung Electronics Co., Ltd. Method and apparatus for providing voice assistant service

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10530865B2 (en) * 2017-04-19 2020-01-07 Vmware, Inc. Offline sideloading for enrollment of devices in a mobile device management system
US20190258747A1 (en) * 2018-02-22 2019-08-22 General Electric Company Interactive digital twin
KR102264797B1 (ko) * 2018-05-29 2021-06-15 주식회사 아이오 허브 장치, 제어 장치 및 제어 장치의 제어 방법
KR102111787B1 (ko) * 2018-05-29 2020-05-15 주식회사 아이오 허브 장치 및 허브 장치의 제어 방법
KR102614445B1 (ko) * 2018-10-04 2023-12-15 라인플러스 주식회사 메신저 봇을 이용하여 ＩｏＴ 기기를 제어하기 위한 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
US11082402B2 (en) 2019-04-25 2021-08-03 Motorola Mobility Llc Controlling computing device virtual private network usage with a wearable device
US11455411B2 (en) 2019-04-25 2022-09-27 Motorola Mobility Llc Controlling content visibility on a computing device based on computing device location
US11562051B2 (en) 2019-04-25 2023-01-24 Motorola Mobility Llc Varying computing device behavior for different authenticators
US11093659B2 (en) * 2019-04-25 2021-08-17 Motorola Mobility Llc Controlling content visibility on a computing device based on wearable device proximity
KR102295859B1 (ko) * 2019-09-09 2021-08-31 주식회사 코맥스 5g 또는 lte를 이용하는 전세대의 통신 단말기를 통해 월패드를 제어하는 장치 및 방법
CN110851036A (zh) * 2019-11-18 2020-02-28 珠海格力电器股份有限公司 电器设备的参数调节方法、装置及存储介质
CN111125762B (zh) * 2019-12-24 2023-04-25 维沃移动通信有限公司 一种共享应用控制方法及电子设备
US11652891B2 (en) * 2020-04-22 2023-05-16 At&T Mobility Ii Llc Dynamic and optimal selection of Internet of things (IoT) hubs in cellular networks
US11600126B2 (en) 2020-05-08 2023-03-07 The Chamberlain Group Llc Movable barrier operator system and methods of installation and use
US12276427B2 (en) * 2020-07-10 2025-04-15 Hestan Commercial Corporation Cooking appliance and control knob with integrated display
KR20220049901A (ko) 2020-10-15 2022-04-22 삼성전자주식회사 패턴을 제공하는 방법 및 이를 지원하는 전자 장치
US11496790B2 (en) * 2021-02-17 2022-11-08 Meta Platforms Technologies, Llc Ultra-wideband control of smart streaming devices
US11363500B1 (en) 2021-02-17 2022-06-14 Facebook Technologies Ultra-wideband control of smart streaming devices
CN117043737A (zh) * 2021-03-31 2023-11-10 索尼集团公司 信息处理终端、信息处理方法及程序
EP4321986A4 (en) 2021-08-12 2024-10-23 Samsung Electronics Co., Ltd. Display apparatus and operation method thereof
WO2023053242A1 (ja) * 2021-09-29 2023-04-06 三菱電機株式会社 機器制御システム、表示器、機器制御方法及びプログラム
KR102805599B1 (ko) 2022-03-15 2025-05-09 국립한밭대학교 산학협력단 전자제품 관리를 위한 통합형 IoT 허브 시스템
KR102924765B1 (ko) * 2023-04-10 2026-02-09 엘지전자 주식회사 디스플레이 장치 및 디스플레이 시스템
WO2025173283A1 (ja) * 2024-02-13 2025-08-21 パナソニックＩｐマネジメント株式会社 情報処理方法、プログラム、情報処理システム、及び情報処理端末

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040079449A (ko) * 2003-03-07 2004-09-16 주식회사 알파비전텍 메신저를 이용한 원격제어 시스템 및 그 방법
KR20040094244A (ko) * 2003-05-02 2004-11-09 위즈정보기술주식회사 메신저를 이용한 홈 네트워킹 제어 시스템
US20060142880A1 (en) * 2004-12-16 2006-06-29 Deen Damon M Messaging system based building control
US20130254315A1 (en) * 2006-12-07 2013-09-26 Microsoft Corporation Remote control using instant messaging
KR20150028008A (ko) * 2013-09-05 2015-03-13 삼성전자주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1825233A (zh) 2005-02-23 2006-08-30 朗迅科技公司 利用即时消息发送监视和控制设备的方法
US9614964B2 (en) * 2005-08-19 2017-04-04 Nextstep, Inc. Consumer electronic registration, control and support concierge device and method
KR20070075142A (ko) 2006-01-12 2007-07-18 주식회사 텔로드 휴대폰, 이를 이용한 홈 오토메이션 시스템 및 이의 제어방법
EP2148307B1 (en) 2008-07-21 2011-09-14 Somfy SAS Method for controlling a group of wirelessly controlled appliances
US20120096085A1 (en) * 2010-10-14 2012-04-19 Province of Ontario, Canada) Communications system including instant message device control and related methods
US20140156028A1 (en) * 2012-11-30 2014-06-05 General Electric Company Cloud-based bi-directional messaging system for home appliance control
KR101579367B1 (ko) * 2014-02-10 2015-12-22 한국과학기술원 공간 기반 서비스 제공 방법 및 시스템
US9876652B2 (en) * 2014-05-20 2018-01-23 Savant Systems, Llc Automatic configuration of control device user interface in a home automation system
US9696815B2 (en) * 2014-10-02 2017-07-04 Futureplay Inc. Method, device, system and non-transitory computer-readable recording medium for providing user interface
KR101662396B1 (ko) * 2014-10-13 2016-10-05 한국과학기술원 IoT 장치를 제어하기 위한 방법 및 시스템
US20160162654A1 (en) * 2014-12-04 2016-06-09 Vinay Dattaprabhakar Gokhale Systems and methods for ovulation status and pregnancy detection
CN107155363A (zh) * 2015-01-05 2017-09-12 （株）未来机器人 利用社交网络服务的机器人服务方法及机器人装置
CA2974968C (en) * 2015-01-30 2020-04-21 Arris Enterprises Llc Consolidated management of home network elements
US20170024589A1 (en) * 2015-07-22 2017-01-26 Robert Schumacher Smart Beauty Delivery System Linking Smart Products
US10007710B2 (en) * 2015-09-21 2018-06-26 Splunk Inc. Adaptive control of data collection requests sent to external data sources
WO2017049439A1 (en) * 2015-09-21 2017-03-30 Splunk Inc. Topology map displays of cloud computing resources
US10459819B2 (en) * 2015-09-21 2019-10-29 Splunk Inc. Circular timeline displays of timestamped event data
US10536356B2 (en) * 2015-09-21 2020-01-14 Splunk Inc. Generating and displaying topology map time-lapses of cloud computing resources
US9917903B2 (en) * 2015-12-28 2018-03-13 Verizon Patent And Licensing Inc. Internet of things provisioning
US10534791B1 (en) * 2016-01-31 2020-01-14 Splunk Inc. Analysis of tokenized HTTP event collector
US10394802B1 (en) * 2016-01-31 2019-08-27 Splunk, Inc. Interactive location queries for raw machine data
US10169434B1 (en) * 2016-01-31 2019-01-01 Splunk Inc. Tokenized HTTP event collector
TWI631507B (zh) * 2016-03-04 2018-08-01 德凡特未來股份有限公司 動作判識裝置及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040079449A (ko) * 2003-03-07 2004-09-16 주식회사 알파비전텍 메신저를 이용한 원격제어 시스템 및 그 방법
KR20040094244A (ko) * 2003-05-02 2004-11-09 위즈정보기술주식회사 메신저를 이용한 홈 네트워킹 제어 시스템
US20060142880A1 (en) * 2004-12-16 2006-06-29 Deen Damon M Messaging system based building control
US20130254315A1 (en) * 2006-12-07 2013-09-26 Microsoft Corporation Remote control using instant messaging
KR20150028008A (ko) * 2013-09-05 2015-03-13 삼성전자주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3425889A4 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019121136A1 (en) * 2017-12-20 2019-06-27 Dts Iot B.V. Devices, methods and systems to augment the security environment of internet-capable consumer devices
US12015599B2 (en) 2017-12-20 2024-06-18 Dts Iot B.V. Devices, methods and systems to augment the security environment of internet-capable consumer devices
US11552934B2 (en) 2017-12-20 2023-01-10 Dts Iot B.V. Devices, methods and systems to augment the security environment of internet-capable consumer devices
WO2019151661A1 (ko) * 2018-02-02 2019-08-08 삼성전자주식회사 사용자 단말 장치 및 그를 제어하는 제어 방법
KR20190093997A (ko) * 2018-02-02 2019-08-12 삼성전자주식회사 사용자 단말 장치 및 그를 제어하는 제어 방법
KR102366699B1 (ko) 2018-02-02 2022-02-23 삼성전자주식회사 사용자 단말 장치 및 그를 제어하는 제어 방법
CN113169909A (zh) * 2018-12-05 2021-07-23 伊莱克斯巴西股份有限公司 用于控制两个或更多个智能家用电器的运行的方法
CN113169910A (zh) * 2018-12-05 2021-07-23 伊莱克斯巴西股份有限公司 用于控制至少一个智能家用电器的运行的方法
CN113169912A (zh) * 2018-12-05 2021-07-23 伊莱克斯巴西股份有限公司 用于控制至少一个智能家用电器的运行的方法和网络系统
WO2020113297A1 (en) * 2018-12-05 2020-06-11 Electrolux Do Brasil S.A. Method for controlling the functioning of at least one smart home appliance and network system
WO2020113299A1 (en) * 2018-12-05 2020-06-11 Electrolux Do Brasil S.A. Method for controlling the functioning of at least one smart home appliance
CN113169912B (zh) * 2018-12-05 2023-12-05 伊莱克斯巴西股份有限公司 用于控制至少一个智能家用电器的运行的方法和网络系统
CN113169909B (zh) * 2018-12-05 2023-12-05 伊莱克斯巴西股份有限公司 用于控制两个或更多个智能家用电器的运行的方法
WO2020113298A1 (en) * 2018-12-05 2020-06-11 Electrolux Do Brasil S.A. Method for controlling the functioning of two or more smart home appliances
US12057962B2 (en) 2018-12-05 2024-08-06 Electrolux Do Brasil S.A. Method for controlling the functioning of two or more smart home appliances
US12273214B2 (en) 2018-12-05 2025-04-08 Electrolux Do Brasil S.A. Method for controlling the functioning of at least one smart home appliance and network system
US12500791B2 (en) 2018-12-05 2025-12-16 Electrolux Do Brasil S.A. Method for controlling the functioning of at least one smart home appliance
US11580988B2 (en) 2019-01-07 2023-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US12417764B2 (en) 2020-02-10 2025-09-16 Samsung Electronics Co., Ltd. Method and apparatus for providing voice assistant service

Also Published As

Publication number Publication date
KR102522150B1 (ko) 2023-04-14
EP3425889A1 (en) 2019-01-09
US20200304445A1 (en) 2020-09-24
KR20170112556A (ko) 2017-10-12
EP3425889A4 (en) 2019-03-13
US11329938B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
WO2017171204A1 (ko) 단말장치 및 그 제어방법
WO2015002380A1 (en) Electronic device and method for controlling multi-windows in the electronic device
WO2017014403A1 (en) Portable apparatus, display apparatus, and method for displaying photo thereof
WO2016137167A1 (en) Terminal
WO2015102284A1 (en) User terminal apparatus and control method thereof
WO2017052143A1 (en) Image display device and method of operating the same
WO2016129784A1 (en) Image display apparatus and method
WO2014157846A1 (en) Portable terminal, hearing aid, and method of indicating positions of sound sources in the portable terminal
WO2015102250A1 (en) User terminal apparatus and control method thereof
WO2017159941A1 (en) Display device and method of operating the same
WO2014104658A1 (en) Method and system for executing an application
EP3685588A1 (en) Display device and terminal for controlling the same
WO2013151397A1 (en) Method and system for reproducing contents, and computer-readable recording medium thereof
WO2016122240A1 (en) Electronic apparatus and method of setting network of audio device
WO2017146438A1 (en) Display apparatus and method of setting operating channel of the same
WO2018026059A1 (ko) 이동 단말기 및 그 제어방법
WO2012020863A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2016114444A1 (ko) 이동 단말기 및 이의 제어방법
WO2014017784A1 (en) Content transmission method and system, device and computer-readable recording medium that uses the same
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2016204357A1 (ko) 이동 단말기 및 그 제어 방법
WO2016111455A1 (en) Image display apparatus and method
WO2020153766A1 (en) Method for displaying visual information associated with voice input and electronic device supporting the same
WO2017014453A1 (en) Apparatus for displaying an image and method of operating the same
WO2014042474A2 (en) Method and system for executing application, and device and recording medium thereof

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2016897224

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016897224

Country of ref document: EP

Effective date: 20181001

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16897224

Country of ref document: EP

Kind code of ref document: A1