WO2017183803A1 - 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 - Google Patents

사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 Download PDF

Info

Publication number
WO2017183803A1
WO2017183803A1 PCT/KR2017/001189 KR2017001189W WO2017183803A1 WO 2017183803 A1 WO2017183803 A1 WO 2017183803A1 KR 2017001189 W KR2017001189 W KR 2017001189W WO 2017183803 A1 WO2017183803 A1 WO 2017183803A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
tactile
interface device
information
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/001189
Other languages
English (en)
French (fr)
Inventor
조진수
이혜림
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Gachon University
Original Assignee
Industry Academic Cooperation Foundation of Gachon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Gachon University filed Critical Industry Academic Cooperation Foundation of Gachon University
Publication of WO2017183803A1 publication Critical patent/WO2017183803A1/ko
Priority to US16/163,973 priority Critical patent/US10845880B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004—Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers

Definitions

  • the present invention relates to a method, an apparatus and a non-transitory computer-readable medium for controlling a tactile interface device, and more particularly, to the visually impaired person by using the tactile sense in a manner similar to that of a computer user.
  • a method, apparatus, and non-transitory computer-readable medium for controlling a new concept of tactile interface device to enable interaction with a computer is a method, apparatus, and non-transitory computer-readable medium for controlling a new concept of tactile interface device to enable interaction with a computer.
  • the current method of using a computer generally uses a method of recognizing visual information output through a monitor and inputting information using an input tool such as a keyboard, a mouse, or a touch pad. Therefore, the visually impaired people who cannot use the visual perception have a great limitation in interacting with the computer at the same level as the general public and promptly inputting the information. As a result, visual impairments significantly reduce the efficiency of computer use, greatly depriving the computer of the opportunity to acquire and use information.
  • a representative technology is a screen reader that assists the visually impaired to use a computer through hearing. This is a device or software that helps to use the computer by outputting the audio output on the computer screen and the keyboard information input by the user.
  • GUI Graphic User Interface
  • the screen reader searches for Graphic User Interface (GUI) elements of the output screen with only one linearized information without two-dimensional spatial position information on the output screen, which makes it difficult to recognize the screen output information. The more information, the greater the difficulty.
  • GUI Graphic User Interface
  • the screen reader provides only text-based, descriptive explanations such as pictures and diagrams, so that visually impaired people can understand and interact with graphic information. You will have great difficulty.
  • braille information terminal that delivers text information through a braille cell.
  • This is used as an independent device by providing some functions of computer useful to the visually impaired and as a display output device that outputs text information of computer screen in Braille by screen reader.
  • Both methods serve as an alternative device for performing some limited functions of the computer, instead of acting as an interface for efficient interaction with the computer, or as an output auxiliary device for printing text information in Braille. do.
  • a braille information terminal specialized for braille output has a problem in that it cannot express graphic information like a screen reader.
  • Patent Document 1 Korean Patent Publication No. 10-2012-0063982
  • An object of the present invention is a method, apparatus and non-transitory method for controlling a new concept of a tactile interface device that enables a visually impaired person to interact with a computer more intuitively and efficiently using a sense of touch in a manner similar to that of a general computer use. It is to provide a computer-readable medium.
  • the present invention is implemented as a computing device including a processor, a method for controlling a tactile interface device that is connected to the computing device can interact with the user, in the tactile interface device An input information generation step of generating input information to an application running on the computing device based on an input of the input; And an output information generation step of generating output information to the tactile interface device based on an output of a focus area among the outputs from the application executed in the computing device, wherein the output information includes a plurality of two-dimensional images.
  • the present invention provides a method for controlling a tactile interface device including data capable of realizing tactile graphics consisting of tactile pixels, wherein an input from the tactile interface device includes a user's touch input.
  • the input information generating step the input category classification step of classifying the category of the input in the tactile interface device; And an application input generation step of generating input information in a form that can be input to the application based on the input, according to the category of the input.
  • the category of the input may include a key input and a touch input.
  • the application input generating step determines whether the touch input is matched with one of a plurality of preset gestures, and the application corresponding to the gesture to be matched You can generate input.
  • the application input generating step determines whether the touch input corresponds to the input of the input coordinates, not the gesture input, and the touch input of the input coordinates If the input corresponds to an input, the input coordinate input by the tactile interface device may be converted into the input coordinate in the application.
  • the application input generation step it is possible to convert the key input into an input that can be input to the application.
  • the output information generating step may generate tactile graphic data based on a display screen displayed in a focus area in the application, and the tactile graphic may be implemented based on the tactile graphic data.
  • the output information generation step the change determination step of determining whether the display screen displayed in the focus area in the application is changed; And a tactile graphic conversion step of generating tactile graphic data for the display screen when it is determined that the display screen is changed in the changing determination step.
  • the tactile graphic converting step includes: a focus part area separating step of dividing the focus area into a focus part area on a display screen output from the application; And a tactile graphic element conversion step of converting the display elements of the respective focus portion regions into tactile graphic elements according to a preset conversion rule.
  • the tactile graphic includes a plurality of layers, and one or more of the plurality of layers display a tactile icon corresponding to an icon for executing a command for changing a display screen of a focus area during output from the application. Can be.
  • the tactile graphic may include a plurality of layers, and the focus portion area may correspond to the plurality of layers.
  • the focus area may be determined by one or more of a user's previous input.
  • the tactile graphic converting step includes: a focus area determining step of determining a portion of a graphic display output from the application as a focus area;
  • the output information generating step is based on the detailed information of the tactile graphic element corresponding to the input coordinates by the user's touch input, the braille information that can be expressed in the tactile pixel in the haptic interface device or in the tactile interface device Generate playable sound information, and the output information to the tactile interface device may include the braille information or the sound information.
  • the visually impaired may have an effect of intuitively recognizing the tactilely displayed items in real time.
  • the visually impaired may recognize the information tactilely and at the same time have an effect of promptly inputting based on the recognized information.
  • the visually impaired person may recognize the screen output information of the computer in the form of braille, voice, and tactile graphic, and immediately and intuitively input the information. This allows the computer to be used efficiently in a manner very similar to that of the general public.
  • the visually impaired may have an effect of providing a significantly improved task execution speed and convenience as compared with a device such as a conventional screen reader.
  • the visually impaired person can conveniently perform graphics-related tasks that are difficult to perform with a screen reader.
  • WINDOWS TM Programs such as 'Paint', which are subsidiary programs, are also available to the visually impaired.
  • the visually impaired person may input a picture including a line through the second layer, recognize a picture drawn by using a tactile sense in real time, and continuously complete the picture based on the recognized picture information. .
  • FIG. 1 is a view schematically illustrating the internal structure of a tactile interface device and a user terminal according to an embodiment of the present invention.
  • FIG. 2 is a view schematically showing the internal structure of the tactile interface device according to an embodiment of the present invention.
  • FIG. 3 is a three-dimensional view of the tactile interface device according to an embodiment of the present invention.
  • FIG. 4 is a view three-dimensionally showing the tactile display unit according to an embodiment of the present invention.
  • 5A, 5B, 5C, and 5D are exemplary views illustrating pin driving modules according to an embodiment of the present invention.
  • FIG. 6 is a cross-sectional view of an example of a pin drive module according to an embodiment of the present invention.
  • FIG. 7 is a diagram schematically illustrating a plane of an input sensing unit according to an embodiment of the present invention.
  • FIG. 8 is a diagram schematically illustrating a side of an input sensing unit according to an embodiment of the present invention.
  • FIG. 9 is a view schematically showing the steps of the tactile interface method according to an embodiment of the present invention.
  • FIG. 10 is a view schematically showing the detailed steps of the tactile display step according to an embodiment of the present invention.
  • FIG. 11 is a diagram schematically showing the detailed steps of the input sensing step according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of use of a tactile interface device according to an embodiment of the present invention.
  • FIG. 13 is a diagram schematically illustrating an example of a connection between a computing device and a tactile interface device that controls a tactile interface device according to an embodiment of the present invention.
  • FIG. 14 is a diagram schematically illustrating a computing device for controlling a tactile interface device according to an embodiment of the present invention.
  • FIG. 15 is a diagram schematically illustrating an internal structure of some components of a computing device for controlling a tactile interface device according to an embodiment of the present invention.
  • FIG. 16 is a view schematically showing the steps of a method for controlling a tactile interface device according to an embodiment of the present invention.
  • 17 is a diagram schematically showing the processes of the input information generation step according to an embodiment of the present invention.
  • FIG. 18 is a diagram schematically showing the processes of the output information generation step according to an embodiment of the present invention.
  • 19 is a view schematically showing the processes of the tactile graphic conversion step according to an embodiment of the present invention.
  • 20 is a diagram schematically illustrating a tactile graphic according to an embodiment of the present invention.
  • 21 illustrates a table of tactile icons according to an embodiment of the present invention.
  • 22 is a diagram illustrating a first example of a display screen of the computing device.
  • FIG. 23 is a diagram illustrating a tactile graphic obtained by converting a first example of the display screen illustrated in FIG. 22 into a tactile graphic according to an embodiment of the present invention.
  • 24 is a diagram illustrating a second example of the display screen of the computing device.
  • FIG. 25 is a diagram illustrating a tactile graphic obtained by converting a second example of the display screen illustrated in FIG. 24 into a tactile graphic according to an embodiment of the present invention.
  • FIG. 26 is a diagram schematically illustrating a process of drawing a visually impaired person with a tactile interface device according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.
  • FIG. 1 is a view schematically showing the internal structure of the tactile interface device 1000 and the user terminal according to an embodiment of the present invention.
  • the tactile interface device 1000 is connected to the user terminal A in a wired or wireless manner and configured to transmit and receive data.
  • the tactile interface device 1000 may be a user.
  • the graphic signal from the terminal A may be received to provide tactile information.
  • the tactile interface device 1000 unlike in FIG. 1, the tactile interface device 1000 itself operates without an external user terminal by an independent operating system, and the tactile interface device is operated by an operation based on a program and an internal memory inside the tactile interface device 1000. 1000 may operate. However, even in this case, the tactile interface device 1000 may be provided with a communication function.
  • the user terminal A may be a smart phone, a tablet personal computer (PC), a mobile phone, a video phone, an e-book. E-book reader, desktop PC, laptop PC, netbook PC, personal digital assistant (PDA), hereinafter referred to as 'PDA' A portable multimedia player (PMP, hereinafter referred to as PMP), an mp3 player, a mobile medical device, a camera, a wearable device (e.g., Head-mounted devices (HMDs, for example referred to as 'HMD'), electronic clothing, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos or smart watches (smart watch) and the like.
  • PMP portable multimedia player
  • PMP portable multimedia player
  • PMP mp3 player
  • a mobile medical device e.g., a wearable device
  • HMDs Head-mounted devices
  • 'HMD' electronic clothing
  • electronic bracelets electronic necklaces
  • electronic accessories electronic tattoos or smart watches
  • the tactile interface device 1000 includes an external device connection unit 1100, a tactile display unit 1200, an input sensing unit 1300, and a keyboard unit ( 1400, a controller 1500, and a speaker 1600.
  • the tactile display unit 1200 converts the visual graphic that the computer outputs to the monitor into the tactile graphic and outputs it.
  • the input sensing unit 1300 may be coupled to the tactile display unit 1200.
  • the input sensing unit 1300 recognizes a finger touch of a visually handicapped person and a variety of predetermined gestures for tactile information or tactile graphics output from the tactile display unit 1200 and transmits an input signal to a computer.
  • the keyboard unit 1400 is preferably a braille keyboard that transmits a character input signal to a computer by converting the braille commonly used by the visually-impaired to general characters.
  • the braille keyboard receives the braille like the braille keyboard which is widely used and transmits it to the tactile interface device 1000 or the user terminal connected to the tactile interface device 1000.
  • the braille keyboard consists of 1 ⁇ 6 points, backspace, space, and enter button, and because the braille consists of several dots to form a single letter, the braille keyboard can transmit the information of the pressed button at the same time.
  • the transmitted braille information is interpreted as a general character through software inside the tactile interface device 1000 or software of the user terminal.
  • the tactile display unit 1200 performs a role like a monitor of a general computer
  • the input sensing unit 1300 performs a role like a touch screen of a mouse or a tablet PC.
  • the keyboard unit 1400 or preferably, the braille keyboard serves as a keyboard of a general computer.
  • FIG. 2 is a view schematically showing the internal structure of the tactile interface device 1000 according to an embodiment of the present invention.
  • the tactile interface device 1000 provides tactile information to a user through a plurality of pins based on data received from a connected external device or data generated inside the tactile interface device 1000.
  • the tactile display unit 1200 provides tactile information in tactile pixels of one or more dimensions, and the tactile pixels are constituted by a plurality of pins which move up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body. .
  • the tactile pixel provides tactile information in two dimensions.
  • the tactile display unit 1200 may include a display data receiver 1210 based on data received from an external user terminal or receiving data generated in the tactile interface device 1000; A tactile data converter 1220 for converting the data into tactile display data; And a plurality of pin drive modules 1230 driven by the tactile display data. And a driving power supply unit 1240 supplied with power for driving the tactile display unit 1200, and provides tactile information or tactile graphics based on the received data.
  • the input sensing unit 1300 emits a plurality of lights, senses the plurality of emitted light, and changes the sensing value when the sensing value of the light emitted by physical blocking is changed. Sensing a user input from position information of light having
  • the input sensing unit 1300 includes a position sensing module 1310; And a positioning unit 1320, wherein the position detecting module 1310 includes a plurality of light emitters and a plurality of light receiving sensors, and the positioning unit 1320 is provided from sensing data of the plurality of light receiving sensors. Sensing user input
  • the light used in the input sensing unit 1300 is infrared rays, and the light is preferably emitted in a form of irradiating a predetermined cross section.
  • the input sensing unit 1300 is disposed adjacent to, or more preferably, coupled to, the tactile display unit 1200 or the pin driving module 1230 of the tactile display unit 1200. Accordingly, the user may recognize the tactile information or the tactile graphic provided from the tactile display unit 1200 as a tactile sense and immediately perform an input or a gesture on the tactile display.
  • the position sensing module 1310 of the input sensing unit 1300 is preferably spaced apart from the pin driving module 1230.
  • an area in which the user may input the input sensing unit 1300 may be spaced apart from an operating area of the pin driving module 1230.
  • an area in which the user can input the input sensing unit 1300 may be disposed at a height higher than the height when the pin driving module 1230 is raised.
  • the plurality of light emitters are disposed along a first axis and a second axis
  • the plurality of light receiving sensors are disposed along a first axis and a second axis
  • the plurality of light receiving sensors are the plurality of light receiving sensors. More preferably, it is arranged to correspond to the light emitter.
  • the external device connection unit 1100 includes at least one of a communication module unit 1110 capable of performing wireless communication and a wired connection unit 1120 that can be connected to the external device in a wired manner.
  • the communication module unit 1110 may include a Bluetooth communication module, a Zigbee communication module, an infrared communication module, a Bluetooth low energy (BLE) communication module, an audio communication module, a long term evolution (LTE) communication module, and WiFi.
  • a communication module an IrDA based infrared communication module, a wireless LAN (WLAN), a WiBro module, and a wireless USB module.
  • the wired connection unit 1120 preferably includes a connection module using a USB (Universal Serial Bus) interface, this is a wired connection module capable of transmitting and receiving data other than this.
  • USB Universal Serial Bus
  • the speaker 1600 has a function of reading the information output in response to the information displayed by the tactile interface device 1000, the text information, or the information input by the input sensing unit 1300 as a voice. Can be done.
  • the controller 1500 may be a general operation of the tactile interface device or the external device connection unit 1100; The keyboard unit 1400; Alternatively, the operation of the speaker unit 1600 is controlled. For example, when data is received from an external user terminal, the data is transmitted to the display data receiver 1210 of the tactile display unit 1200, and commands the operation of the tactile display unit 1200. Alternatively, when a user input is input from the input sensing unit 1300, the controller 1500 processes the input or transmits an input signal to the user terminal A connected through the external device connection unit 1100.
  • the tactile display device may include a CPU and a memory device capable of performing its own operation and may operate independently. Even when it is independently operable, the tactile display may communicate with the outside.
  • 3 is a three-dimensional view of the tactile interface device 1000 according to an embodiment of the present invention.
  • the tactile interface device 1000 is a tactile display in the form of a pixel with components of the tactile display unit 1200 exposed to the outside, specifically, a plurality of pin driving modules 1230. To provide. By the tactile display unit 1200 as described above, the user may tactilely recognize the plurality of pin driving modules 1230 of the tactile display unit 1200.
  • the user may tactilely recognize the tactile display and simultaneously input a command through a touch input through the input sensing unit 1300.
  • the 'touch input' is not interpreted as a consultation, and includes both an input of touching the uppermost pin of the pin driving module of the tactile display unit and an input of not touching the uppermost pin of the pin driving module. do.
  • the input sensing unit 1300 is preferably used in the tactile pins unlike the capacitive type sensing the electric capacity change of the surface of the tactile pins used in the general touch display.
  • a non-contact recognition method based on light sensing, more preferably based on infrared sensing, has been introduced. That is, preferably, the input sensing unit is performed in a non-contact manner.
  • the non-contact sensing or non-contact recognition refers to a sensing method in which a sensing element or sensor can recognize a physical operation or a physical form, even though no physical contact is made to the sensing element or sensor.
  • an embodiment of the present invention uses an infrared sensing based recognition scheme.
  • the position sensing module 1310 of the input sensing unit 1300 may be spaced apart from the pin driving module 1230.
  • an area in which the user may input the input sensing unit 1300 may be spaced apart from an operating area of the pin driving module 1230.
  • an area in which the user can input the input sensing unit 1300 may be disposed at a height higher than the height when the pin driving module 1230 is raised.
  • the user may input information to the tactile interface device 1000 through the keyboard unit 1400, for example, to input text information.
  • the tactile interface device 1000 may output voice information to the user through the speaker unit 1600.
  • the tactile interface device 1000 may be connected to an external user terminal through a wired connection unit 1120 or may be connected to an external user terminal through wireless communication through a communication module unit 1110.
  • the GUI elements in the user terminal are tactilely displayed by the tactile interface device 1000, and the user may input a response or an input to the GUI elements through the input sensing unit 1300 or the keyboard.
  • the tactile interface device 1000 may output according to the tactile display unit 1200 or the speaker unit 1600, In the case of a disabled person, a user terminal such as a graphic screen-based PC can be used more intuitively.
  • such a tactile interface device 1000 is not limited to simply recognize the tactile information by the visually impaired person, and can recognize the tactile information and thereby intuitively input a command or the like to the tactile interface device 1000.
  • a user terminal such as a graphic screen-based PC can be used for convenience as a general public.
  • FIG. 4 is a three-dimensional view of the tactile display unit 1200 according to an embodiment of the present invention.
  • the tactile display unit 1200 may display or provide tactile pixels of one or more dimensions. 4 illustrates an example of the tactile display unit 1200 capable of providing two-dimensional tactile pixels.
  • the tactile pixel is constituted by a plurality of pins moving up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile pixel is represented by a plurality of pin driving module groups, and each of the pin driving module groups includes a plurality of pin driving modules 1230.
  • the entire pin drive module may constitute one pin drive module group.
  • the tactile display unit 1200 includes a master board 1250; A display data receiver 1210 electrically connected to the master board 1250 and receiving primary data for a tactile display; A tactile data converter 1220 for converting the primary data received from the display data receiver 1210 into data for a tactile display; A plurality of slave boards 1260 electrically connected to the master board 1250; And a plurality of pin driving modules 1230 disposed on an outer surface of each of the plurality of slave boards 1260. And a driving power supply unit 1240 for supplying driving power to the above components through the master board 1250.
  • the driving power supply 1240 is preferably in the form of inputting the power supplied from the outside to the master board 1250.
  • the tactile data converter 1220 may include a first tactile data converter 1221 disposed on the master board 1250; And a second tactile data converter 1222 disposed on the slave board 1260, wherein the first tactile data converter 1221 is configured to convert the primary data into tactile data for each slave board 1260.
  • the second tactile data converter 1222 converts the secondary data into secondary data, and drives the group of the plurality of pin driving modules 1230 disposed on the respective slave boards 1260. Convert to data.
  • the tactile display unit 1200 is a device for converting and transmitting visual graphics into tactile graphics through vertical movement of the pins of the pin driving module 1230 configured in a multiple arrangement. Since the tactile display unit 1200 according to the present invention does not require the configuration of an additional module, as compared to the relay mechanism of the piezoelectric bimorph, which is a structure in which a pin rises when a voltage is applied and a pin falls when a voltage is not applied. It has a structure that can be miniaturized and can be easily arranged in multiples.
  • the tactile display unit 1200 as in the present invention can achieve the effect of miniaturizing the device and at the same time providing a high resolution tactile display.
  • the master board 1250 receives the tactile graphic data input through the display data receiver 1210 and transmits the tactile graphic data to the first tactile data converter 1221.
  • the display data receiver 1210 may be a universal asynchronous receiver / transmitter (UART), and the first tactile data converter 1221 may be a micro controller unit (MCU).
  • UART universal asynchronous receiver / transmitter
  • MCU micro controller unit
  • the first tactile data converter 1221 analyzes the tactile graphic data input through the display data receiver 1210 and transmits the tactile graphic data to the plurality of slave boards 1260.
  • the first tactile data converter 1221 may convert the data based on the information of the plurality of slave boards 1260, and then transfer the data to the slave boards 1260.
  • the first tactile data converter 1221 may convert the tactile graphic data into data corresponding to each slave board 1260, and transfer each converted data to each slave board 1260. It may be.
  • the tactile graphic data transmitted through the display data receiver 1210 may be directly transmitted to the slave board 1260 without the first tactile data converter 1221.
  • the second tactile data converter 1222 embedded in the slave board 1260 may use the data or the data received from the first tactile data converter 1221 using a preprogrammed CPLD (Complex Programmable Logic Device).
  • the data received through the display data receiver 1210 is separated according to each pin drive module array composed of each pin drive module 1230 or a plurality of pin drive modules 1230, and each pin drive module 1230.
  • the operation signal is transmitted to a pin drive module array including a plurality of pin drive modules 1230.
  • the pin of the pin driving module 1230 can move up and down, and preferably, the pin spacing and the rising height are in the range of 1 mm to 10 mm.
  • FIG 5 is a diagram illustrating examples of the pin driving module 1230 according to an embodiment of the present invention.
  • pin driving module 1230 illustrated in FIGS. 5A and 5B will be described.
  • the pin drive module 1230 includes a transducer 1231 which converts vibrational motion into linear motion, respectively; A shaft 1232 connected to the transducer; A movable body 1233 capable of vertically moving in the axial direction of the shaft 1232 on the shaft 1232; And a pin 1234 that can move according to the movement of the movable body 1233.
  • the transducer 1231 includes a plurality of piezoceramic and elastic bodies, and when the power is applied, linearly converts vibration caused by expansion / contraction of the piezoelectric ceramic to move the movable body 1233 up and down.
  • the movement of the movable body 1233 may be controlled.
  • pin driving module 1230 illustrated in FIGS. 5C and 5D will be described.
  • the pin drive module 1230 includes a transducer 1231 for converting the vibration motion into the linear motion, respectively; A shaft 1232 connected to the transducer; A movable body 1233 capable of vertically moving in the axial direction of the shaft 1232 on the shaft 1232; And a pin 1234 that can move according to the movement of the movable body 1233. And a casing part 1235 surrounding the shaft 1232 and having one end of the pin 1234 inserted therein.
  • the transducer 1231 includes a plurality of piezoceramic and elastic bodies, and when the power is applied, linearly converts vibration caused by expansion / contraction of the piezoelectric ceramic to move the movable body 1233 up and down.
  • the movement of the movable body 1233 may be controlled.
  • FIG. 6 is a cross-sectional view of an example of a pin drive module 1230 according to an embodiment of the present invention.
  • the transducer 1231 of the pin driving module 1230 includes a housing 1231.1; a first piezoelectric ceramic 1231.2 and a second piezoelectric ceramic 1231.4 disposed inside the housing 1231.1; And an elastic member 1231.3 disposed between the first piezoelectric ceramic and the second piezoelectric ceramic.
  • the movable body 1233 includes a movable body 1233.1 and a rubber ring 1233.2 disposed inside the movable body 1233.1.
  • the vertical motion of the movable body 1233 can be efficiently controlled by controlling the voltages applied to the first piezoelectric ceramic 121.2 and the second piezoelectric ceramic 121.4.
  • FIG. 7 is a diagram schematically illustrating a plane of an input sensing unit 1300 according to an embodiment of the present invention.
  • the input sensing unit 1300 may perform intuitive interactions and various information inputs of the visually impaired to the tactile graphics output by the tactile display unit 1200.
  • the input sensing unit 1300 may add a finger touch and a finger gesture recognition function by coupling a finger touch recognition device to the tactile display unit 1200.
  • the tactile interface device 1000 expresses tactile graphics by physically raising the tactile pins, and excessive pressure exceeding a force gauge on the tactile pins. When the touch operation of the touched tactile graphic or tactile information output is damaged, it may confuse the information.
  • the input sensing unit 1300 has a relationship with the touch on the tactile pins, unlike the capacitive method for detecting a change in the capacitance of the tactile pin surface used in a general touch display.
  • the input sensing unit is performed in a non-contact manner.
  • the non-contact sensing or non-contact recognition refers to a sensing method in which a sensing element or sensor can recognize a physical operation or a physical form, even though no physical contact is made to the sensing element or sensor.
  • an embodiment of the present invention uses an infrared sensing based recognition scheme.
  • the input sensing unit 1300 of the present invention is designed so that the infrared beams can be projected slightly higher than the maximum height of the raised tactile cell pins, so that a light touch on the output tactile graphics regardless of the vertical movement of the tactile pins Only the touch operation can be recognized at high speed without damaging the rising state of the pins.
  • various touch-based gestures such as swipe and rotation
  • swipe and rotation can be recognized without physical jamming of the tactile pins, thereby further diversifying the interaction between the blind and the computer.
  • Another advantage of such an input sensing unit 1300 is that it is designed in a detachable manner and can be easily combined with other existing tactile displays, thereby achieving an effect of increasing scalability.
  • the input sensing unit 1300 emits a plurality of lights, senses a plurality of emitted lights, and has a changed sensing value when a sensing value of light emitted by physical blocking is changed.
  • the user input is sensed from the position information of the light.
  • the change in the sensing value of the emitted light includes not only the case where the emitted light is blocked and thus the light cannot be sensed, but also the case where the intensity of the emitted light is weakened.
  • the light used in the input sensing unit 1300 is infrared rays, and the light is emitted in a form of irradiating the light to a predetermined cross section.
  • the input sensing unit 1300, the input sensing unit 1300 is a position sensing module 1310; And a positioning unit 1320, wherein the position detecting module 1310 includes a plurality of light emitters and a plurality of light receiving sensors, and the positioning unit 1320 is provided from sensing data of the plurality of light receiving sensors. Sensing user input
  • the position detecting module 1310 includes a first axis light emitter 1311, a second axis light emitter 1312, a first axis light receiving sensor 1313, and a second axis light receiving sensor 1314. It is preferable to include. With the configuration of the optical emitter and the light receiving sensor, two-dimensional tactile display or tactile pixel can be realized.
  • the first axis light receiving sensor 1313 is disposed at a position spaced apart from the position of the first axis light emitter 1311 by a predetermined distance in the direction of being emitted, and the second axis light receiving sensor 1314 is formed of a first axis light receiving sensor 1314.
  • the biaxial optical emitter 1312 is disposed at a position spaced apart by a predetermined distance in a direction that emits.
  • the plurality of first axis light receiving sensors 1313 may be disposed to correspond to the plurality of first axis light emitters 1311, respectively.
  • the first light receiving sensor corresponding to the first optical emitter and the second corresponding to the second optical emitter
  • a light receiving sensor, a light receiving sensor 3 corresponding to a light emitter 3, and a light receiving sensor 4 corresponding to a light emitter 4 are provided, and one light receiving sensor emits light from a corresponding light emitter. It is desirable to be able to sense the light to be.
  • the number of first axis optical emitters 1311 x the number of second axis optical emitters 1312 is the resolution of the tactile pixel that can be sensed.
  • FIG. 8 is a diagram schematically illustrating a side of the input sensing unit 1300 according to an embodiment of the present invention.
  • the optical emitter and the light receiving sensor of the input sensing unit 1300 are disposed adjacent to, or more preferably, coupled to, the tactile display unit 1200 or the pin driving module 1230 of the tactile display unit 1200. do. Accordingly, the user may recognize the tactile information or the tactile graphic provided from the tactile display unit 1200 as a tactile sense and immediately perform an input or a gesture on the tactile display.
  • the position sensing module 1310 of the input sensing unit 1300 is preferably spaced apart from the pin driving module 1230.
  • an area in which the user may input the input sensing unit 1300 may be spaced apart from an operating area of the pin driving module 1230.
  • an area in which the user can input the input sensing unit 1300 may be disposed at a height higher than the height when the pin driving module 1230 is raised.
  • the maximum ascending height H1 of the pin from the cap layer 1201 having a plurality of holes in which the pins of the pin driving module 1230 are capable of vertical movement is determined from the cap layer 1201.
  • the height more preferably lower than the height H2 from the cap layer to the lowest region of the light irradiated from the light emitter, is preferred.
  • FIG. 9 is a view schematically showing the steps of the tactile interface method according to an embodiment of the present invention.
  • a tactile interface method capable of interacting with a user may be based on a plurality of primary data received from a connected external device or based on primary data generated inside the tactile interface device 1000.
  • the tactile display step and the input sensing step are performed in real time, so that the visually impaired person is not limited to recognizing the tactile information. 1000) can be input such as a command, which can result in an effect that a user terminal, such as a graphic screen-based PC can be used for convenience as a general public.
  • a user terminal such as a graphic screen-based PC can be used for convenience as a general public.
  • FIG. 10 is a view schematically showing the detailed steps of the tactile display step according to an embodiment of the present invention.
  • the tactile display step S10 provides tactile information by means of tactile pixels represented by a plurality of pins moving up and down by applying power to a transducer including a piezoelectric ceramic and an elastic body.
  • the tactile display step includes receiving primary data received from the connected external device or primary data generated inside the tactile interface device 1000 (S11);
  • Slave board transmission step (S14) for transmitting the converted secondary data to each slave board (1260);
  • each slave board 1260 converts the secondary data into tertiary data as a drive signal of a pin drive module array composed of each pin drive module 1230 or a plurality of pin drive modules 1230.
  • the tactile display step is a step of converting and transmitting the visual graphic into a tactile graphic form through the vertical movement of the pins of the pin drive module 1230 configured in a multi-array.
  • the tactile display step as in the present invention, since the pin is raised when the voltage is applied and the pin is lowered when the voltage is not applied, since the configuration of the module does not require an additional module, a miniaturization is required. It can be implemented in a structure that can be easily and multi-array.
  • the tactile display step as in the present invention can achieve the effect of miniaturizing the device and at the same time providing a tactile display of high resolution.
  • the primary data reception step S11 is performed by the master board 1250, receives tactile graphic data input from the outside, and is performed through a universal asynchronous receiver / transmitter (UART) module.
  • UART universal asynchronous receiver / transmitter
  • the slave board information loading step (S12) and the secondary data conversion step (S13) is preferably performed by a MCU (Micro Controller Unit) electrically connected to the master board (1250).
  • MCU Micro Controller Unit
  • the secondary data conversion step S13 analyzes the tactile graphic data input through the primary data receiving step S11. Subsequently, the slave board transmission step S14 transfers the analyzed tactile graphic data to the slave board 1260.
  • the secondary data conversion step S13 may convert the tactile graphic data into data corresponding to each slave board 1260 and transfer each converted data to each slave board 1260. have.
  • the tactile graphic data transmitted through the primary data receiving step S11 may be directly transmitted to the slave board 1260 without the secondary data converting step S13.
  • each of the pin drive module 1230 or the plurality of pin drive modules 1230 includes data received through the data received using a preprogrammed CPLD (Complex Programmable Logic Device). Separated according to the pin drive module array, and transmits the operation signal to the pin drive module array consisting of each pin drive module 1230 or a plurality of pin drive module 1230.
  • CPLD Complex Programmable Logic Device
  • the plurality of slave boards 1260 may be disposed on a single master board 1250 and electrically connected to the master board 1250.
  • FIG. 11 is a diagram schematically showing the detailed steps of the input sensing step according to an embodiment of the present invention.
  • the input sensing step is a method for sensing a user's input in an interfacing device that provides tactile information, and emits a plurality of lights, senses a plurality of the emitted lights, and emits a physical block.
  • the sensing value of the light changes, the user input is sensed from the position information of the light having the changed sensing value.
  • Such an input sensing method can perform intuitive interactions and various information inputs of the visually impaired to the tactile graphics output by the tactile display unit 1200.
  • the input sensing unit 1300 may add a finger touch and a finger gesture recognition function by coupling a finger touch recognition device to the tactile display unit 1200.
  • the photo-emitting step is to emit a plurality of light from a plurality of first axis optical emitter 1311 disposed along a first axis and a plurality of second axis optical emitter 1312 disposed along a second axis
  • the light sensing step may include a first axis light receiving sensor 1313 corresponding to a plurality of first axis light emitters 1311 and a second axis light reception corresponding to a plurality of second axis light emitters 1312. A plurality of light is sensed by the sensor 1314.
  • the user input calculation step the user's input to calculate the user's input based on the change value of the received light amount of the plurality of first axis light receiving sensor 1313 and the plurality of second axis light receiving sensor 1314 Sensing.
  • the tactile interface device 1000 expresses tactile graphics by physically raising the tactile pins, and excessive pressure exceeding a force gauge on the tactile pins. When the touch operation of the touched tactile graphic or tactile information output is damaged, it may confuse the information.
  • the input sensing step in the present invention is based on the light sensing, so that the touch operation can be recognized on the tactile pins, unlike the capacitive method of detecting a change in the capacitance of the tactile pin surface used in a general touch display. More preferably, a non-contact recognition method based on infrared sensing is introduced.
  • the infrared beams are projected to be projected slightly higher than the maximum height of the raised tactile cell pins, so that the pins are only touched on the tactile graphic output regardless of the vertical motion of the tactile pins.
  • the touch operation can be recognized at high speed without compromising the rising state.
  • various touch-based gestures such as swipe and rotation
  • swipe and rotation can be recognized without physical jamming of the tactile pins, thereby further diversifying the interaction between the blind and the computer.
  • FIG. 12 is a diagram illustrating an example of use of the tactile interface device 1000 according to an embodiment of the present invention.
  • a pin may be raised in real time according to a finger movement, and a free drawing function may be performed to draw a graphic freely, and a tactile display or tactile information may be checked in real time. In doing so, the user can easily draw the graphic while recognizing the graphic he has previously drawn.
  • the tactile display device is very similar to a general computer usage method in which ordinary people of normal vision recognize visual information through a monitor and input information through a mouse (or a touch screen of a tablet PC) and a keyboard.
  • a mouse or a touch screen of a tablet PC
  • a keyboard or a touch screen of a tablet PC
  • the above-described tactile interface device is described as a tactile interface device that can be used as an example in a method, a device, and a non-transitory computer-readable medium for controlling the tactile interface device described later.
  • the description of the method, apparatus and non-transitory computer-readable medium for controlling is not limited to the above description but should be construed broadly in accordance with the teachings of the invention itself.
  • FIG. 13 is a diagram schematically illustrating a configuration of a computing device and a tactile interface device controlling a tactile interface device according to an embodiment of the present invention.
  • the tactile interface device 1000 connected to the computing device B is illustrated as having the same components as the above-described tactile interface device in FIG. 13, this is merely an example and is not limited thereto.
  • the tactile interface device connected to the computing device B for controlling the tactile interface device of the present invention described below is any interface device capable of providing tactile graphics, a tactile interface device capable of interacting with a user, and tactile It includes all computing devices B capable of outputting graphics.
  • the computing device B is connected to a tactile interface device, and such a connection is a connection including both a wired connection and a wireless connection.
  • the computing device B may correspond to the above-described user terminal A shown in FIG. 1.
  • the computing device B comprises a smart phone, a tablet personal computer (PC), a mobile phone, a video phone, and an e-book reader (e-book readers, desktop PCs, laptop PCs, netbook PCs, personal digital assistants (PDAs), Portable multimedia player (PMP, hereinafter referred to as 'PMP'), MP3 player, mobile medical device, camera, wearable device (e.g. head- Head-mounted device (HMD), for example referred to as 'HMD', electronic clothing, electronic bracelet, electronic necklace, electronic accessory, electronic tattoo, or smart watch watch).
  • HMD head- Head-mounted device
  • Such a computing device (B) includes one or more processors and memory, optionally connected to a display device such as a monitor or may be provided with its own display module.
  • the computing device B may be combined with the tactile interface device.
  • the user may recognize the tactile interface device and the computing device B controlling the same as one device.
  • the computing device B and the tactile interface device may share a memory with a processor.
  • FIG. 14 is a diagram schematically illustrating an internal structure of a computing device for controlling a tactile interface device according to an embodiment of the present invention.
  • the computing device controlling the tactile interface device may include a processor, a bus (corresponding to a double-way arrow between the processor, the memory, and the network interface unit), the network interface, and the memory.
  • the memory may include an operating system 5100, an input / output control routine 5200, and an application 5300.
  • the processor may include an input / output control unit 2000 and an application execution unit 3000.
  • the computing device controlling the tactile interface device may include more components than the components of FIG. 14.
  • the memory is a computer-readable recording medium, and may include a permanent mass storage device such as random access memory (RAM), read only memory (ROM), and a disk drive. Also, program codes for the operating system 5100, the input / output control routine 5200, and the application 5300 may be stored in the memory. Such software components may be loaded from a computer readable recording medium separate from the memory using a drive mechanism (not shown). Such a separate computer-readable recording medium may include a computer-readable recording medium (not shown) such as a floppy drive, a disk, a tape, a DVD / CD-ROM drive, a memory card, and the like. In other embodiments, the software components may be loaded into the memory through the network interface unit 4000 rather than the computer readable recording medium.
  • the bus may enable communication and data transfer between components of the computing device that controls the tactile interface device.
  • the bus may be configured using a high-speed serial bus, a parallel bus, a storage area network and / or other suitable communication technology.
  • the network interface 4000 may be a computer hardware component for connecting a computing device controlling the tactile interface device to a computer network.
  • the network interface 4000 may connect the computing device controlling the tactile interface device to the computer network through a wireless or wired connection.
  • the computing device for controlling the tactile interface device through the network interface 4000 may be wirelessly or wiredly connected to the tactile interface device.
  • the processor may be configured to process instructions of a computer program by performing input / output operations of a computing device that controls basic arithmetic, logic, and tactile interface devices.
  • the instructions may be provided to the processor by the memory or network interface 4000 and via the bus.
  • the processor may be configured to execute program code for the input / output control unit 2000 and the application execution unit 3000.
  • Such program code may be stored in a recording device such as a memory.
  • the input / output control unit 2000 and the application execution unit 3000 may be configured to perform a method of controlling the tactile interface device to be described below.
  • the processor may omit some components, further include additional components not shown, or combine two or more components according to a method of controlling the tactile interface device.
  • FIG. 15 is a diagram schematically illustrating an internal structure of some components of a computing device for controlling a tactile interface device according to an embodiment of the present invention.
  • the computing device B includes an input / output controller 2000 for controlling input and output between the application execution unit 3000 and the tactile interface device.
  • the application execution unit 3000 is an application for performing a function basically provided in the OS (for example, a explorer in WINDOWS TM ), an application for performing a function provided in the OS, etc. (for example, Notepad in the WINDOWS TM, Paint), is installed as an OS and a separate ever, for the application (e.g., to perform its own function, MS WORD TM) application to perform its own functions performed on the web, a smart phone app, or certain
  • the term refers to a module that runs an application that can only run on a device. That is, the application execution unit 3000 generically refers to a module that executes programs having executable instructions.
  • a general user may execute the application in the computing device B and interact with the application using a mouse, a keyboard, a monitor or a touch pad, but such general devices may have graphic information that is difficult for the visually impaired to recognize. Interaction takes place around.
  • an interface or input / output of an application executed by the application execution unit 3000 may be used. Control conversion to the available format.
  • control method of the tactile interface device of the present invention is not only for the visually impaired, but also the input and output system that can be utilized in the use of the input and output system and the PC using the tactile information from other devices such as vehicles, flight devices, etc. Applicable to
  • the input / output control unit 2000 converts the input / output of the application executed in the application execution unit 3000 into a form that can be used by the visually impaired, and implements it in the tactile interface device, and the user Through the tactile interface device, the application can be used more intuitively and conveniently.
  • the tactile interface device 1000 is a device capable of transmitting information to the user using tactile information and receiving information or commands from the user through tactile input or touch input, it is inconvenient for the visually impaired.
  • the application can be made available without.
  • the input / output controller 2000 includes an input converter 2100 for converting an input from the tactile interface device into an input to the application execution unit 3000; And an output converter 2200 for converting the output from the application execution unit 3000 to the output of the tactile interface device.
  • the information received from the tactile interface device is added to the application.
  • the operation may be converted into a form usable by the execution unit 3000 and input to the application execution unit 3000.
  • the user inputs the information based on the recognized information instead of receiving the information manually, and the input / output controller 2000 can input the input information to the application execution unit 3000.
  • the visually impaired user can use an application executed in the application execution unit 3000 at a level similar to that of a general user.
  • the operation of the input / output control unit 2000 as described above may enable the visually impaired to use an application that draws pictures by tactile input as shown in FIG. 12.
  • the input converting unit 2100 may include a key converting unit 2110 for converting a key input input from the tactile interface device into a form that can be input to the application executing unit 3000; A gesture discriminating unit 2120 for converting a touch input input from the tactile interface device into a form that can be input to the application executing unit 3000; And a coordinate mapping unit 2130 for converting input coordinates input by a touch input from the tactile interface device into input coordinates in the application execution unit 3000.
  • a key converting unit 2110 for converting a key input input from the tactile interface device into a form that can be input to the application executing unit 3000
  • a gesture discriminating unit 2120 for converting a touch input input from the tactile interface device into a form that can be input to the application executing unit 3000
  • a coordinate mapping unit 2130 for converting input coordinates input by a touch input from the tactile interface device into input coordinates in the application execution unit 3000.
  • the input converted by the key converting unit 2110 received from the tactile interface device is information input by braille, a direction key, a shortcut key, or the like.
  • the input converted by the key converting unit 2110 is an input by a braille keyboard that transmits a character input signal to a computer by converting braille commonly used by the visually-impaired person into general characters.
  • the braille keyboard receives the braille and delivers it to the tactile interface device or the user terminal connected to the tactile interface device.
  • the braille keyboard consists of 1 ⁇ 6 points, backspace, space, and enter button, and because the braille consists of several dots to form a single letter, the braille keyboard can transmit the information of the pressed button at the same time.
  • the key converting unit 2110 occupies a braille keyboard input as a general character.
  • the gesture determination unit 2120 determines whether the touch input corresponds to one of preset gestures, and converts the touch input into a command corresponding to the determined gesture when it is determined as a gesture.
  • the command is input to the application execution unit 3000.
  • the touch input refers to an input form including all inputs by touch recognition due to capacitive change generally used in the non-contact light-based sensing shown in FIGS. 7 and 8, tablet PCs, and smart phones. do.
  • the touch input includes all types of inputs that are directly input to the user's body rather than a key input form.
  • the interaction between the tactile interface device and the electronic device is primarily performed through the gesture recognition function of the touch input, and various touch operations as shown in Table 1 above are defined for the familiar and intuitive computer operation for the visually impaired.
  • After the recognition it is preferably transmitted to the application execution unit 3000 of the computing device as an input signal.
  • a single tap gesture outputs the type of GUI (Graphic User Interface) element and corresponding text in braille and voice for the tactile icon at the touched position.
  • GUI Graphic User Interface
  • the visually impaired person recognizes a tactile icon recognized by a tactile graphic through a swiping motion and performs a single tap gesture on the tactile icon to shift focus to the corresponding GUI element.
  • the tap gesture may output the detailed information of the GUI element to be selected, for example, text information, in braille on one of the layers displaying the tactile graphic of the tactile interface device as well as a TTS-based voice.
  • Double tap, Long tap after tap, Panning after tap, and Drawing circle after tap which correspond to the remaining gestures in Table 1 perform tap, long tap, panning, and drawing the circle gestures after performing tap operation once. It is defined as. This is defined as described above so that the swipe gesture for recognizing the tactile graphic of the visually impaired and the defined gesture are not confused and recognized.
  • the double tap gesture is a quick double-touch operation at the same position, which has the same function as the left double-click of the mouse to execute the default action of the GUI element.
  • Long tap after tap gesture is the action of tapping at the same position and tapping at the same position to keep touching for a certain time.
  • the Panning after tap gesture performs a panning operation by tapping again at the same position after tapping once.
  • Drawing circle after tap gesture is a motion to draw a circle by touching it again quickly at the same position after tapping once. It has a screen enlargement function in the clockwise direction and a screen reduction function in the counterclockwise direction.
  • the coordinate mapping unit 2130 is for converting the position of the input coordinate or the cursor to the input coordinate in the application execution unit 3000 by a touch input or a key input of the direction key in the tactile interface device.
  • the position of the input coordinate or the cursor may be generated or changed by an input or a touch input of a direction key of the tactile interface device.
  • tactile icons are embodied in the tactile graphics that are output by reconfiguring GUI elements of the monitor display screen of the PC. Since the tactile icon does not have 1: 1 spatial matching with the monitor display screen, the tactile interface device is focused in detail (focusing in more detail in the focusing region described later) or the cursor is positioned. If the input coordinates are used as they are, the application execution unit 3000 of the computing device cannot determine which GUI element has occurred.
  • the coordinate mapping function of the coordinate mapping unit 2130 is a function for mapping a tactile icon object currently output as a tactile graphic and a GUI element output on a monitor display screen when driving the actual application execution unit 3000. Configure the mapping table to map the recognized coordinates.
  • the tactile graphic displayed on the tactile interface device and the display screen when the application execution unit 3000 is generally executed may be different in resolution, configuration, and position.
  • the command input from the tactile interface device is not limited.
  • input coordinates of the tactile interface must be converted or mapped to input coordinates of the application execution unit 3000, which is performed by the coordinate mapping unit 2130.
  • the coordinate mapping unit 2130 allows a user to use the functions of the application execution unit 3000 at a general user level without reducing or simplifying the functions of the application execution unit 3000.
  • the tactile interface device corresponds to 'A'.
  • the coordinate mapping unit 2130 connects the coordinates of the point in the tactile interface device to the application execution unit 3000. Mapping to the coordinates of the 'A' icon of, 'A' command from the application execution unit 3000 may be executed accordingly.
  • the input converter 2100 may include a touch gesture recognition function for recognizing a gesture for a touch input of the tactile interface device, a coordinate mapping function for informing a GUI element corresponding to the touch coordinates input from the touch recognition device, and a braille It can perform the inverse point function which converts braille information input from the keyboard into general characters.
  • the output converting unit 2200 may include a tactile graphic converting unit 2210 for converting a focus area corresponding to a part or all of the display screen output from the application executing unit 3000 into tactile graphic data.
  • the tactile graphic provided by the tactile interface device may be implemented from the tactile graphic data.
  • the “display screen” refers to a concept including a visual screen output by the application to a general visual display device such as a monitor and a visual element included in the visual screen.
  • the output converter 2200 further includes a TTS converter 2220 for converting information output from the application execution unit 3000 into voice information.
  • the TTS converter 2220 converts the detailed information in the form of text about the tactile element referred to by the input from the tactile interface device or on which the input coordinate is located to speech.
  • the user when driving the actual application execution unit 3000 when converting all the GUI elements output on the monitor display screen to the tactile graphics and output them to the tactile interface device, the user may have difficulty in understanding the tactile graphics. .
  • the focus area of the display screen output from the application execution unit 3000 is converted into tactile graphic data.
  • the user can quickly and conveniently recognize only the current focusing area. Eliminate errors in input.
  • the focus area is determined by one or more of previous inputs by the user. For example, when the user moves the input coordinates in the tactile interface device by touch input and focuses on the area of the input coordinates by a gesture such as a tap, the focusing area is determined by the user inputs. . Alternatively, when the user moves the input coordinates in the application by inputting the direction key of the tactile interface device, or when the area indicated by the input coordinates is focused by a key input such as an execution key input, the focusing area is determined. .
  • the tactile graphic converter 2210 divides the focus area into a plurality of focus part areas, and converts the display elements of the focus part areas into tactile graphic elements according to a predetermined conversion rule. Generate tactile graphic data.
  • 21 shows an example of a predetermined conversion rule for converting such display elements into tactile graphic elements.
  • GUI element corresponds to 'Button' in FIG. 21
  • the form displayed on the display screen of the computing device by the application execution unit 3000 is the form indicated by the item Visual Design in FIG. 21. Is the GUI.
  • the display element for 'Button' is converted into a tactile icon which is a tactile graphic element that can be expressed as a tactile graphic according to the conversion rule shown in FIG. 21, and the converted tactile icon is converted into a tactile graphic by the tactile interface device.
  • the user inputs a shortcut key or gesture input for outputting the text information of the display element or the tactile icon indicated by the input coordinate in the user's tactile interface device in sound form, or the text information of the display element indicated by the input coordinate in braille form.
  • the display element or the detailed information on the tactile icon may be output as a braille type tactile graphic of the tactile interface device or a voice by the TTS conversion.
  • the tactile graphic includes a plurality of layers, and in the embodiment illustrated in FIG. 16, the plurality of layers include a first layer 4100, a second layer 4200, and a third layer 4300.
  • the plurality of focus portion areas respectively correspond to the plurality of layers. That is, the focus area including a part of the display screen output from the application execution unit 3000 is composed of a plurality of focus part areas, and each of the plurality of focus part areas corresponds to each of the plurality of layers. . Accordingly, the tactile graphic converter 2210 converts the display screen into a tactile graphic for each focus area or layer.
  • the first layer 4100 is a screen control area and is used to change a screen such as an icon representing a title of a tactile graphic currently output from the tactile interface device, 'previous', 'confirm', 'cancel', or 'close'. It may consist of one or more of the tactile icons of the buttons. That is, the first layer 4100 includes a tactile icon for executing a command for changing a screen of the display screen output from the application execution unit 3000.
  • the second layer 4200 is a layer that provides tactile graphics for buttons, menus, folders, graphic information, and the like as a main screen area.
  • the user may perform text input, recognize graphic information, recognize GUI elements, or control input of the user through the second layer 4200.
  • the third layer 4300 is a layer that displays detailed information about the tactile graphic element output from the application execution unit 3000 in a braille form.
  • the user may check detailed information about the tactile elements by recognizing the braille output to the third layer 4300.
  • the confirmation of such detailed information may also be performed by the voice converted by the TTS converter 2220.
  • a program such as 'paint' corresponding to the auxiliary program of WINDOWS TM can be used by the visually impaired.
  • the visually impaired person may input a picture including a line through the second layer 4200, recognize a picture drawn by using a tactile sense in real time, and continuously complete the picture based on the recognized picture information. I can go out.
  • tactile interface device capable of outputting and inputting and a control thereof
  • the present invention is not limited thereto, and the tactile interface device or input capable of outputting only is provided. It also includes inventions on control methods, devices, and non-transitory computer-readable storage media for only tactile interface devices.
  • FIG. 16 is a view schematically showing the steps of a method for controlling a tactile interface device according to an embodiment of the present invention.
  • the method of controlling the tactile interface device is implemented as a computing device, and is a method of controlling the tactile interface device that is connected to the computing device to interact with a user.
  • the output information includes data capable of implementing a tactile graphic consisting of a plurality of two-dimensional tactile pixels.
  • the tactile interface device may provide a tactile graphic by tactile sense, and the input information generation step S100 and the output information generation step S200 may be performed in real-time. Specifically, the user recognizes the tactile graphic output by the output information generation step (S200), performs input accordingly, and generates the input information in a form in which the user's input can be input to the application execution unit 3000. In step S100, it is preferable to generate the conversion or input information.
  • FIG. 17 is a diagram schematically showing the processes of the input information generation step (S100) according to an embodiment of the present invention.
  • the category of the input may include at least one of a key input and a touch input, and in the case of a key input, braille information, input coordinate movement information by direction key input, and command information by command key input may be input.
  • the touch input may input input coordinate movement information and gesture information.
  • the input information converting step (S130) determines whether the touch input corresponds to an input of an input coordinate, and when the touch input corresponds to an input coordinate, a tactile interface
  • the input coordinates input by the device are converted into input coordinates by the application execution unit 3000.
  • Input information conversion step (S130) for the coordinates as described above is to convert the input coordinates or coordinates in the tactile interface device to the coordinates in the application execution unit 3000.
  • the touch input refers to an input form including all of inputs by touchless sensing based on the contactless optical sensing shown in FIGS. 7 and 8, and inputs by touch recognition due to capacitive changes generally used in tablet PCs and smart phones.
  • the touch input includes all types of inputs not directly in the form of key input but directly in the user's body.
  • the application input generation step determines whether the touch input matches one of a plurality of preset gestures, and determines an application input corresponding to the matched gesture. Create
  • the application input generation step determines whether the touch input corresponds to an input of input coordinates instead of a gesture input, and the touch input is an input of input coordinates. In this case, the input coordinates input by the tactile interface device are converted into input coordinates in the application.
  • the interaction between the tactile interface device and the computing device is primarily performed through a gesture recognition function and an input coordinate recognition function of a touch input, and various touches as shown in Table 1 above are used for visually handicapped people and intuitive computer operation. After defining the operations and recognizing the specific operations, it is preferable to transmit the input signals to the application execution unit 3000 of the computing device.
  • the electronic device is a PC
  • tactile icons are embodied in the tactile graphics that are output by reconfiguring GUI elements of the monitor display screen of the PC. Since the tactile icon does not match 1: 1 spatially with the monitor display screen, when using the input coordinate where the touch input is generated in the tactile interface device as it is, it is determined that the GUI element event is generated.
  • the application execution unit 3000 cannot determine this.
  • the application input generation step (S130) for a key input having input coordinate movement information or a touch input for inputting an input coordinate substantially corresponds to a coordinate mapping function.
  • the mapping table is configured as a function to map the recognized touch coordinates. Map it.
  • one or more of the tactile cells included in the tactile pixel region in which the tactile input coordinates are located may periodically move up or down.
  • the vertical movement or vibration of the tactile pixel enables the user to grasp which display element he or she is in by a tactile position or where the tactile input coordinate is located.
  • the output information generation step (S200) is a step of converting a focus area including a part of the display screen output from the application execution unit 3000 into tactile graphic data.
  • the output information generating step (S200) may include receiving output information of an application executed by the application execution unit 3000 (S210); A change determination step (S220) of determining whether a display screen displayed in the focus area of the application executed by the application execution unit 3000 is changed; A tactile graphic generation step (S230) of generating tactile graphic data based on a display screen displayed in a focus area of the application executed by the application execution unit 3000; And transmitting the tactile graphic data to the tactile interface device (S240).
  • the tactile graphic conversion step is performed.
  • 19 is a view schematically showing the processes of the tactile graphic conversion step S230 according to an embodiment of the present invention.
  • the tactile graphic generation step S230 may preferably convert a focus area including a part of the display screen output from the application execution unit 3000 into tactile graphic data. That is, by converting only the focus area corresponding to the area focused by the user or the focus area into tactile graphic data and displaying it as tactile graphic, the user can quickly and conveniently recognize only the current focusing area. And errors in the input can be eliminated.
  • the focus area is determined by one or more of previous inputs by the user. For example, when the user moves the input coordinates in the tactile interface device by touch input and focuses on the area of the input coordinates by a gesture such as a tap, the focusing area is determined by the user inputs. .
  • the user moves the input coordinates in the application or the tactile input coordinates in the tactile graphic by using the directional key input of the tactile interface device, or moves the input coordinates or the tactile input coordinates by key input such as execution key input.
  • the focusing area is determined.
  • the tactile graphic generating step (S230) divides the focus area into a plurality of focus part areas, and converts the display elements of each focus part area into tactile graphic elements according to a preset conversion rule. By performing the conversion operation, tactile graphic data is generated.
  • the tactile graphic element may represent a tactile icon.
  • the tactile graphic generation step (S230) of converting the display screen displayed by the application execution unit 3000 into tactile graphic data may include a focus area including a part of the display screen output from the application execution unit 3000. Determining or receiving a focus area determining / receiving step (S231);
  • a tactile graphic data generation step (S234) of generating tactile graphic data including the tactile graphic element S234.
  • 21 shows an example of a predetermined conversion rule for converting such display elements into tactile graphic elements.
  • the form displayed on the actual screen of the application execution unit 3000 is a GUI displayed on the item Visual Design in FIG. 21.
  • the display element for 'Button' is converted into a tactile icon according to the conversion rule shown in FIG. 21, and the converted tactile icon is implemented as a tactile graphic in the tactile interface device.
  • the user can recognize the detailed information on the tactile icon by the input from the user's tactile interface device, preferably in the form of a gesture, in braille type tactile graphic of the tactile interface device or voice by the TTS conversion. have.
  • the tactile graphic includes a plurality of layers, and in FIG. 20, the plurality of layers include a first layer 4100, a second layer 4200, and a third layer 4300.
  • the plurality of focus portion areas respectively correspond to the plurality of layers. That is, a focus region including a part of the graphic display output from the application execution unit 3000 is composed of a plurality of focus portion regions, and each of the plurality of focus portion regions corresponds to each of the plurality of layers. . Accordingly, the tactile graphic converter 2210 converts the graphic display into a tactile graphic for each focus portion area or layer.
  • the first layer 4100 is a screen control area and is used to change a screen such as an icon representing a title of a tactile graphic currently output from the tactile interface device, 'previous', 'confirm', 'cancel', or 'close'. It may consist of one or more of the tactile icons of the buttons. That is, the first layer 4100 includes a tactile icon for executing a command to change the screen of the graphic display output from the application executing unit 3000.
  • the second layer 4200 is a layer that provides tactile graphics for buttons, menus, folders, graphic information, and the like as a main screen area.
  • the user may perform drawing input, recognize graphic information, recognize GUI elements, or control input of the user through the second layer 4200.
  • the third layer 4300 is a layer that displays detailed information about the tactile graphic element output from the application execution unit 3000 in the form of braille.
  • the user may check detailed information about the tactile elements by recognizing the braille output to the third layer 4300.
  • the confirmation of such detailed information may also be performed by the voice converted by the TTS converter 2220.
  • a program such as 'Paint' corresponding to the WINDOWS TM auxiliary program can be used by the visually impaired.
  • the visually impaired person may input a picture including a line through the second layer 4200, recognize a picture drawn by using a tactile sense in real time, and continuously complete the picture based on the recognized picture information. I can go out.
  • the above-described method for controlling the tactile interface device has been described in terms of the tactile interface device capable of outputting and inputting and the control thereof, but the present invention is not limited thereto, and only the tactile interface device capable of outputting or only inputting is possible. And a control method for the tactile interface device.
  • FIG. 22 is a diagram showing a first example of a display screen (graphic display) of the computing device B.
  • FIG. 22 is a diagram showing a first example of a display screen (graphic display) of the computing device B.
  • the focus area corresponds to a window in which the application is executed, and the focus part area includes a first focus part area including (1), (2), (3), and (4), and (5). It may be divided into a second focus portion area.
  • (1) corresponds to the title of the application
  • (2) corresponds to the menu bar of the application
  • (3) corresponds to the 'minimize' button of the application
  • (4) corresponds to Corresponds to the "close” button
  • (5) corresponds to a window for displaying the objects displayed by the application.
  • FIG. 23 is a diagram illustrating a tactile graphic obtained by converting a first example of the display screen illustrated in FIG. 22 into a tactile graphic according to an embodiment of the present invention.
  • the first focus portion region including the above (1), (2), (3), and (4) is converted or mapped to a layer (first layer 4100) at the top of the tactile graphic (5).
  • the second focus portion area including the transform is mapped or mapped to the middle layer of the tactile graphic (second layer 4200).
  • the conversion rule at the time of mapping follows the rule shown in FIG. 21.
  • the lower layer of the tactile graphic corresponds to a layer representing text information of a tactile icon touched or referred to by the user in the first layer 4100 and the second layer 4200 in a braille form.
  • area (1) corresponds to a title, which is converted into a tactile icon preset by the conversion rule shown in FIG. 21 and implemented in the first layer 4100 of the tactile graphic.
  • the third layer 4300 outputs a “Haptic Editor” corresponding to the detailed information of the title in braille form.
  • FIG. 24 is a diagram illustrating a second example of the display screen (graphic display) of the computing device B.
  • FIG. 24 is a diagram illustrating a second example of the display screen (graphic display) of the computing device B.
  • the graphic display of FIG. 24 is a graphic display when a menu bar corresponding to area (2) is selected in the application of FIG. 22 and 'Page Control' is input or selected.
  • the focus area corresponds to an area referred to as “Focused area” in FIG. 24, and the focus part area includes a first focus part area including (1) and a second area including (2) to (6). It can be divided into focus area.
  • (1) corresponds to the title selected from the menu bar, and (2) to (6) correspond to submenus selectable within the title.
  • FIG. 25 is a diagram illustrating a tactile graphic obtained by converting a second example of the display screen illustrated in FIG. 24 into a tactile graphic according to an embodiment of the present invention.
  • the first focus portion area including the above (1) and (7) is converted or mapped to the upper layer of the tactile graphic (the first layer 4100), and the second including the above (2) to (6).
  • the focus portion area is converted or mapped to the middle layer (second layer 4200) of the tactile graphic.
  • the conversion rule at the time of mapping follows the rule shown in FIG. 21.
  • (7) is a tactile icon for the 'back' button, which is not actually included in the graphic display of the application, but corresponds to an icon generated by itself in order to expand the user's convenience in the control method according to the present invention.
  • the lower layer of the tactile graphic corresponds to a layer representing text information of a tactile icon touched or referred to by the user in the first layer 4100 and the second layer 4200 in a braille form.
  • area (1) corresponds to a title, which is converted into a tactile icon preset by the conversion rule shown in FIG. 21 and implemented in the first layer 4100 of the tactile graphic.
  • the third layer 4300 outputs “Page Control” corresponding to the detailed information of the title in braille form.
  • FIG. 26 is a diagram schematically illustrating a process of drawing a visually impaired person with a tactile interface device according to an embodiment of the present invention.
  • a program such as 'paint' corresponding to an auxiliary program of WINDOWS TM can be used by the visually impaired. That is, when the application is an application capable of performing functions of graphic input, editing, and storing, the visually impaired may utilize graphic input and related functions executed on a computing device that the visually impaired cannot use. .
  • the visually impaired person may input a picture including a line through the second layer 4200, recognize a picture drawn by using a tactile sense in real time, and continue drawing based on the recognized picture information. You can finish it. That is, according to an embodiment of the present invention, the visually impaired may easily perform graphic input, editing, and storing by a computer.
  • FIG. 27 is a block diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.
  • the computing device 11000 may include at least one processor 11100, a memory 11200, a peripheral interface 11300, and an input / output subsystem ( I / Osubsystem 11400, power circuit 11500, and communication circuit 11600.
  • the computing device 11000 may correspond to the user terminal A connected to the tactile interface device or the computing device B described above.
  • the memory 11200 may include, for example, high-speed random access memory, magnetic disk, SRAM, DRAM, ROM, flash memory, or nonvolatile memory. have.
  • the memory 11200 may include a software module, an instruction set, or other various data necessary for the operation of the computing device 11000.
  • accessing the memory 11200 from another component such as the processor 11100 or the peripheral device interface 11300 may be controlled by the processor 11100.
  • the peripheral interface 11300 may couple the input and / or output peripherals of the computing device 11000 to the processor 11100 and the memory 11200.
  • the processor 11100 may execute a software module or an instruction set stored in the memory 11200 to perform various functions for the computing device 11000 and process data.
  • Input / output subsystem 11400 may couple various input / output peripherals to peripheral interface 11300.
  • the input / output subsystem 11400 may include a controller for coupling a peripheral device such as a monitor or keyboard, a mouse, a printer, or a touch screen or a sensor, as necessary, to the peripheral interface 11300.
  • the input / output peripherals may be coupled to the peripheral interface 11300 without passing through the input / output subsystem 11400.
  • the power circuit 11500 may supply power to all or part of the components of the terminal.
  • power circuit 11500 may include a power management system, one or more power sources such as batteries or alternating current (AC), charging systems, power failure detection circuits, power converters or inverters, power status indicators or power sources. It can include any other components for creation, management, distribution.
  • power sources such as batteries or alternating current (AC)
  • AC alternating current
  • charging systems power failure detection circuits
  • power converters or inverters power status indicators or power sources. It can include any other components for creation, management, distribution.
  • the communication circuit 11600 may enable communication with another computing device using at least one external port.
  • the communication circuit 11600 may include an RF circuit to transmit and receive an RF signal, also known as an electromagnetic signal, to enable communication with other computing devices.
  • an RF signal also known as an electromagnetic signal
  • FIG. 27 is merely an example of the computing device 11000, and the computing device 11000 may include some components shown in FIG. 27, or may further include additional components not shown in FIG. 27, or 2. It may have a configuration or arrangement that combines two or more components.
  • the computing device for a communication terminal in a mobile environment may further include a touch screen or a sensor, in addition to the components illustrated in FIG. 19, and various communication schemes (WiFi, 3G, LTE) in the communication circuit 1160. , Bluetooth, NFC, Zigbee, etc.) may include a circuit for RF communication.
  • Components that may be included in the computing device 11000 may be implemented in hardware, software, or a combination of both hardware and software, including integrated circuits specialized for one or more signal processing or applications.
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that may be executed by various computing devices and may be recorded in a computer readable medium.
  • the program according to the present embodiment may be configured as a PC-based program or an application dedicated to a mobile terminal.
  • An application to which the present invention is applied may be installed in a user terminal through a file provided by a file distribution system.
  • the file distribution system may include a file transmitter (not shown) for transmitting the file at the request of the user terminal.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments are, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable gate arrays (FPGAs). May be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, and configure the processing device to operate as desired, or process it independently or in combination. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device for the purpose of interpreting or providing instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computing devices so that they are stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 관한 것으로서, 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하기 위한 방법은 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함한다.

Description

사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
본 발명은 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 관한 것이다.
정보화 사회에서는 컴퓨터를 이용한 정보습득 및 활용이 필수적이며, 이러한 추세는 일반인 뿐만 아니라 시각장애인에게도 마찬가지이다.
시각장애인의 정보화 수준을 향상시키기 위해서는 그들도 정상인과 유사한 수준으로 정보를 습득하고 활용할 수 있도록 해줘야 하는데, 이는 시각장애인의 일상생활을 보다 편리하게 하고 스스로 정보를 습득하고 활용할 수 있게 해준다는 점에서 중요하다. 또한 이를 통하여 궁극적으로는 시각장애인에게 다양한 교육기회를 제공하여 사회진출 및 참여의 기회를 확대시킴으로써 그들의 복지를 한층 향상시킬 수 있다는 점에서 매우 중요하다고 할 수 있다.
하지만, 현재의 컴퓨터를 사용하는 일반적 방식은 주로 모니터를 통해 출력되는 시각적 정보를 눈으로 인지하고 이에 대하여 키보드, 마우스, 혹은 터치패드 등의 입력도구를 이용하여 정보를 입력하는 방식을 사용하고 있다. 따라서, 시각을 쓸 수 없는 시각장애인이 일반인과 동일한 수준으로 컴퓨터의 출력정보를 인지하고 이에 대한 즉각적인 정보입력과 같은 상호작용을 하는 데에는 큰 한계가 있을 수 밖에 없다. 결과적으로 시각적 장애는 컴퓨터 사용에 있어서의 효율성을 현저히 저하시켜 컴퓨터를 통한 정보습득 및 활용의 기회를 크게 빼앗게 된다.
이러한 시각장애인의 컴퓨터 사용에 있어서의 어려움을 해결하기 위하여 청각, 촉각 등을 사용해 시각적 정보를 인지하고 이를 통해 컴퓨터와 상호작용을 할 수 있도록 다양한 기술들이 개발되어 왔다. 그 대표적인 기술로서, 청각을 통해 시각장애인의 컴퓨터 사용을 보조하는 스크린 리더가 있다. 이는 컴퓨터 화면에 출력되는 내용과 자신이 입력한 키보드 정보를 음성으로 출력하여 컴퓨터를 사용할 수 있도록 도와주는 장치 혹은 소프트웨어이다.
하지만 스크린 리더는 출력화면에 대한 2차원의 공간적 위치정보 없이 한 줄로 이어진 선형화된 정보만으로 출력화면의 Graphic User Interface (GUI) 요소들을 탐색하므로 화면 출력정보 인지에 어려움이 따르며, 특히 출력화면에 포함된 정보가 많으면 많을수록 그 어려움은 현저히 증가하게 된다. 또한 문자나 GUI 요소들 이외에 그림, 도표 등과 같은 다양한 그래픽 정보들에 대해서는 스크린 리더가 텍스트 기반의 간단한 묘사적 설명만을 음성으로 제공하기 때문에 시각장애인이 그래픽 정보를 이해하고 이에 대한 상호작용을 하는 데에 큰 어려움을 가지게 된다.
또 다른 관련 기술로는 점자셀을 통하여 문자정보를 촉각으로 전달해주는 점자정보단말기가 있다. 이는 시각장애인에게 유용한 컴퓨터의 몇몇 기능들을 제공하여 독립적인 장치로 사용되는 방식과 스크린 리더가 분석하는 컴퓨터 화면의 텍스트 정보를 점자로 출력해주는 화면출력 보조장치로 사용하는 방식이 있다. 두 가지 방식 모두 컴퓨터와의 효율적 상호작용을 위한 인터페이스 역할 보다는, 컴퓨터 대용으로 컴퓨터의 몇 몇 제한된 기능들만을 수행하는 대체 기기의 역할을 하거나 혹은 문자정보를 점자로 출력해주는 출력보조 장치의 역할 만을 하게 된다. 특히, 점자 출력에 특화된 점자정보단말기는 스크린 리더와 마찬가지로 그래픽 정보를 표현할 수 없다는 문제점을 가지고 있다.
선행기술문헌: (특허문헌 1) 한국공개특허번호 10-2012-0063982
본 발명의 목적은 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체를 제공하는 것이다.
상기와 같은 과제를 해결하기 위하여 본 발명은, 프로세서를 포함하는 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고, 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하고, 상기 촉각인터페이스장치에서의 입력은 사용자의 터치입력을 포함하는, 촉각 인터페이스장치를 제어하는 방법을 제공한다.
본 발명에서는, 상기 입력정보생성단계는, 상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하는 입력카테고리구분단계; 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는 어플리케이션입력생성단계;를 포함할 수 있다.
본 발명에서는, 상기 입력의 카테고리는 키입력 및 터치입력을 포함할 수 있다.
본 발명에서는, 상기 입력의 카테고리가 터치입력인 경우, 상기 어플리케이션입력생성단계는 상기 터치입력이 기설정된 복수의 제스처 중 어느 하나와 매칭이 되는 지 여부를 판단하고, 매칭이 되는 제스처에 상응하는 어플리케이션입력을 생성할 수 있다.
본 발명에서는, 상기 입력의 카테고리가 터치입력인 경우, 상기 어플리케이션입력생성단계는 상기 터치입력이 제스처 입력에 해당하지 않고 입력좌표의 입력에 해당하는 지 여부를 판단하고, 상기 터치입력이 입력좌표의 입력에 해당하는 경우, 촉각 인터페이스장치에서 입력된 입력좌표를 상기 어플리케이션에서의 입력좌표로 변환할 수 있다.
본 발명에서는, 상기 입력의 카테고리가 키입력인 경우, 상기 어플리케이션입력생성단계는, 상기 키입력을 상기 어플리케이션으로 입력할 수 있는 형태의 입력으로 변환할 수 있다.
본 발명에서는, 상기 출력정보생성단계는, 상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하고, 상기 촉각 그래픽은 상기 촉각 그래픽데이터에 기초하여 구현될 수 있다.
본 발명에서는, 상기 출력정보생성단계는, 상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지 판단하는 변경판단단계; 및 상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 상기 표시화면에 대한 촉각그래픽데이터를 생성하는 촉각그래픽변환단계를 포함할 수 있다.
본 발명에서는, 상기 촉각그래픽변환단계는, 상기 어플리케이션으로부터 출력되는 표시화면에서의 상기 포커스영역을 포커스부분영역으로 구분하는 포커스부분영역구분단계; 및 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계;를 포함할 수 있다.
본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 레이어 중 1 이상은 상기 어플리케이션으로부터의 출력 중 포커스영역의 표시화면을 변경시키는 명령을 실행하는 아이콘에 대응하는 촉각 아이콘을 표시할 수 있다.
본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 포커스부분영역은 상기 복수의 레이어에 대응할 수도 있다.
본 발명에서는, 상기 포커스영역은 사용자의 이전의 입력 중 1 이상에 의하여 결정될 수 있다.
본 발명에서는, 상기 촉각그래픽변환단계는, 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포커스영역으로 결정하는 포커스영역결정단계;
상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계; 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 촉각그래픽엘리먼트변환단계; 및 상기 촉각인터페이스장치에서 상기 촉각그래픽엘리먼트를 구현할 수 있는 촉각그래픽데이터를 생성하는 촉각그래픽데이터생성단계;를 포함할 수 있다.
본 발명에서는, 상기 출력정보생성단계는 사용자의 터치입력에 의한 입력좌표에 대응하는 촉각 그래픽엘리먼트의 세부정보에 기초하여, 상기 촉각 인터페이스장치에서 촉각픽셀로 표현할 수 있는 점자정보 혹은 상기 촉각 인터페이스장치에서 재생할 수 있는 사운드정보를 생성하고, 상기 촉각 인터페이스장치로의 출력정보는 상기 점자정보 혹은 상기 사운드정보를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인들로 하여금 실시간으로 촉각적으로 디스플레이되는 사항들을 직관적으로 인지할 수 있게 하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인들로 하여금 촉각적으로 정보를 인지하면서 동시에 인지된 정보에 기반하여 즉각적으로 입력을 할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 터치 및 제스처 인식이 가능한 촉각 디스플레이를 기반으로 시각장애인이 컴퓨터의 화면출력 정보를 점자, 음성 및 촉각 그래픽의 형태로 인지하고 이에 대한 즉각적이고 직관적 정보입력을 할 수 있게 하여 일반인과 매우 유사한 방식으로 컴퓨터를 효율적으로 사용할 수 있게 하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, OS의 다양한 기능들과 다양한 어플리케이션 소프트웨어 들을 사용할 수 있도록 쉽게 확장이 가능하다는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인들에게 종래의 스크린리더 등의 장치와 비교시 현저히 향상된 작업 수행속도 및 편의성을 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인들이 스크린리더로는 수행하기 어려운 그래픽 관련 작업들을 편리하게 수행할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, WINDOWSTM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 시각장애인은 상기 제2 레이어를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해나갈 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인의 컴퓨터 활용능력을 크게 향상시키고, 시각장애인용 컴퓨터 하드웨어 및 소프트웨어 시장을 확대할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 내부 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 입체적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부를 입체적으로 도시한 도면이다.
도 5A, 5B, 5C, 및 5D는 본 발명의 일 실시예에 따른 핀구동모듈들을 예시적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈의 예의 단면을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 입력센싱부의 평면을 개략적으로 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 입력센싱부의 측면을 개략적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 촉각 인터페이스방법의 단계를 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 입력센싱단계의 세부단계를 개략적으로 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 사용예를 도시하는 도면이다.
도 13는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅장치와 촉각 인터페이스장치의 연결예를 개략적으로 도시하는 도면이다.
도 14는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치를 개략적으로 도시하는 도면이다.
도 15은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 일부 구성의 내부 구조를 개략적으로 도시하는 도면이다.
도 16는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.
도 17는 본 발명의 일 실시예에 따른 입력정보생성단계의 과정들을 개략적으로 도시하는 도면이다.
도 18은 본 발명의 일 실시예에 따른 출력정보생성단계의 과정들을 개략적으로 도시하는 도면이다.
도 19은 본 발명의 일 실시예에 따른 촉각 그래픽변환단계의 과정들을 개략적으로 도시하는 도면이다.
도 20는 본 발명의 일 실시예에 따른 촉각그래픽을 개략적으로 도시하는 도면이다.
도 21은 본 발명의 일 실시예에 따른 촉각아이콘들의 테이블을 도시하는 도면이다.
도 22은 컴퓨팅장치의 표시화면의 제1 예를 도시하는 도면이다.
도 23는 도 22에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.
도 24은 컴퓨팅장치의 표시화면의 제2 예를 도시하는 도면이다.
도 25는 도 24에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.
도 26는 본 발명의 일 실시예에 따른 촉각 인터페이스장치로 시각장애인이 그림을 그리는 과정을 개략적으로 도시하는 도면이다.
도 27은 본 발명의 일 실시예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하는 도면이다.
본원의 양상들, 특징들 및 이점들은 하기의 실시예들 및 첨부된 도면들을 참고함으로써 이해될 것이다. 다른 도면들의 동일한 참조 번호들은 동일 또는 유사한 요소들을 나타낼 수 있다. 또한, 하기의 서술은 본 발명을 제한하지 않고, 오히려 본 발명의 범위는 첨부된 청구항들 및 등가물들에 의해 정의된다.
촉각 인터페이스장치
이하에서는 본 발명에 따른 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에서 제어 대상이 되는 촉각 인터페이스장치의 일예에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 1에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 사용자단말기(A)와 유선적 혹은 무선적으로 접속되어, 데이터를 송수신할 수 있게 구성되고, 예를 들어 촉각 인터페이스장치(1000)는 사용자단말기(A)로부터의 그래픽 신호를 전송받아 촉각정보를 제공할 수 있다. 다만, 본 발명은 도 1과 달리 외부의 사용자 단말기 없이 촉각 인터페이스장치(1000) 자체가 독자적인 운영체제에 의하여 동작하고, 촉각 인터페이스장치(1000) 내부의 프로그램 및 내부의 메모리에 기초한 동작에 의하여 촉각 인터페이스장치(1000)가 작동할 수도 있다. 다만, 이 경우에도, 촉각 인터페이스장치(1000)에 통신기능이 구비될 수도 있다.
한편, 상기 사용자단말기(A)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등이 될 수 있다.
본 발명의 일실시예에 따른 촉각 인터페이스장치(1000)는 도 1 혹은 도 3에 도시된 바와 같이, 외부장치접속부(1100), 촉각디스플레이부(1200), 입력센싱부(1300), 키보드부(1400), 제어부(1500), 및 스피커부(1600)를 포함한다. 촉각디스플레이부(1200)는 컴퓨터가 모니터로 출력하는 시각 그래픽을 촉각 그래픽으로 변환하여 출력한다.
한편, 상기 입력센싱부(1300)는 촉각디스플레이부(1200)와 결합되는 형태가 바람직하다. 이와 같은 입력센싱부(1300)는 촉각디스플레이부(1200)에서 출력된 촉각정보 혹은 촉각 그래픽 에 대한 시각장애인의 손가락 터치와 미리 정해진 다양한 제스처들을 인식하여 컴퓨터에 입력신호를 전달한다. 한편 키보드부(1400)는, 바람직하게는 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드임이 바람직하다.
점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치(1000) 혹은 촉각 인터페이스장치(1000)에 연결된 사용자 단말기에 전달한다. 점자키보드는 1~6점, 백스페이스, 스페이스, 엔터 버튼으로 구성되며, 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다. 전송된 점자정보는 촉각 인터페이스장치(1000) 내부의 소프트웨어 혹은 사용자단말기의 소프트웨어를 통하여 일반문자(general character)로 점역된다.
따라서, 시각장애인을 위한 컴퓨터 입출력 기능을 위하여, 촉각디스플레이부(1200)는 일반 컴퓨터의 모니터와 같은 역할을 수행하고, 입력센싱부(1300)는 마우스 혹은 태블릿 PC의 터치스크린과 같은 역할을 수행하며, 키보드부(1400), 혹은 바람직하게는 점자키보드는 일반 컴퓨터의 키보드의 역할을 수행하게 된다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 내부 구조를 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)는 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치(1000) 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부(1200); 사용자 입력을 센싱하는 입력센싱부(1300); 외부장치와 접속할 수 있는 외부장치접속부(1100); 사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부(1400); 외부로 사운드 출력을 할 수 있는 스피커부(1600); 및 상기 촉각디스플레이부(1200), 상기 입력센싱부(1300), 상기 외부장치접속부(1100), 상기 키보드부(1400), 및 상기 스피커부(1600)의 작동을 제어하는 제어부(1500);를 포함한다.
상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀로 촉각정보를 제공하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다. 바람직하게는 상기 촉각픽셀은 2차원으로 촉각정보를 제공한다.
이와 같은 촉각디스플레이부(1200)는, 외부의 사용자단말기로부터 전송받은 데이터에 기초거나 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 데이터를 입력받는 표시데이터수신부(1210); 상기 데이터를 촉각디스플레이데이터로 변환하는 촉각데이터변환부(1220); 및 상기 촉각디스플레이데이터에 의하여 구동하는 복수의 핀구동모듈(1230); 및 촉각디스플레이부(1200)를 구동하는 전원을 공급받는 구동전원공급부(1240);를 포함하고, 입력받은 데이터에 기초하여 촉각정보 혹은 촉각 그래픽을 제공한다.
한편, 상기 입력센싱부(1300)는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다.
구체적으로, 상기 입력센싱부(1300)는 위치감지모듈(1310); 및 위치결정부(1320)를 포함하고, 상기 위치감지모듈(1310)은 복수의 광에미터 및 복수의 수광센서를 포함하고, 상기 위치결정부(1320)는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱한다.
바람직하게는 상기 입력센싱부(1300)에서 사용되는 광은 적외선이고, 상기 광은 일정 단면에 조사하는 형태로 에미팅됨이 바람직하다.
이와 같은 입력센싱부(1300)는 상기 촉각디스플레이부(1200) 혹은 상기 촉각디스플레이부(1200)의 핀구동모듈(1230)에 인접하게, 혹은 더욱 바람직하게는 결합되어 배치된다. 따라서, 사용자는 촉각디스플레이부(1200)로부터 제공되는 촉각정보 혹은 촉각 그래픽을 촉각으로서 인지하고 바로 촉각디스플레이 상에서 입력 혹은 제스처 등을 수행할 수 있다.
다만, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.
한편, 상기 복수의 광에미터는 제1축 및 제2축을 따라 배치되어 있고, 상기 복수의 수광센서는 제1축 및 제2축을 따라 배치되어 있는 것이 바람직하고, 상기 복수의 수광센서는 상기 복수의 광에미터에 대응되도록 배치됨이 더욱 바람직하다.
상기 외부장치접속부(1100)는 무선통신을 수행할 수 있는 통신모듈부(1110) 및 유선적으로 상기 외부장치와 접속할 수 있는 유선연결부(1120) 중 1 이상을 포함한다. 상기 통신모듈부(1110)는 블루투스(bluetooth) 통신 모듈, 지그비(zigbee) 통신 모듈, 적외선 통신 모듈, BLE(bluetooth low energy) 통신 모듈, 오디오 통신 모듈, LTE(long term evolution) 통신 모듈, 및 WiFi 통신 모듈, IrDA 기반의 적외선 통신 모듈, 무선 랜(WLAN), 와이브로(WiBro) 모듈, 무선 USB(Wireless USB) 모듈, 중 적어도 하나를 포함한다. 한편, 상기 유선연결부(1120)는 USB(Universal Serial Bus) 인터페이스를 이용한 연결모듈을 포함하는 것이 바람직하고, 이외의 데이터의 송수신을 수행할 수 있는 유선연결모듈이 이에 해당한다.
한편, 상기 스피커부(1600)는 촉각 인터페이스장치(1000)에서 촉각 디스플레이되는 정보, 문자정보, 혹은 상기 입력센싱부(1300)에 의하여 입력된 정보에 반응하여 출력되는 정보를 음성으로 읽어주는 기능을 수행할 수 있다.
상기 제어부(1500)는 상기 촉각 인터페이스장치의 전체적인 작동이나, 상기 외부장치접속부(1100); 상기 키보드부(1400); 혹은 상기 스피커부(1600)의 작동을 제어한다. 예를 들어, 외부의 사용자 단말기로부터 데이터가 수신되는 경우 이를 촉각디스플레이부(1200)의 표시데이터수신부(1210)로 송신하고, 촉각디스플레이부(1200)의 작동을 명령한다. 혹은, 상기 입력센싱부(1300)로부터 사용자의 입력이 입력되는 경우, 제어부(1500)에서 입력을 처리하거나 혹은 상기 외부장치접속부(1100)를 통하여 연결된 사용자 단말기(A)로 입력신호를 전송한다.
만약, 상기 촉각 디스플레이장치가 외부의 사용자 단말기와 접속되는 경우가 아니라, 자체적인 OS 와 어플리케이션으로 작동되는 경우, 자체적인 연산이 가능한 수준의 CPU 및 메모리 장치를 포함하고, 독립적으로 작동할 수 있다. 독립적으로 작동가능한 경우에도, 상기 촉각 디스플레이장치는 외부와 통신을 수행할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)를 입체적으로 도시한 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따른 촉각 인터페이스장치(1000)는 외부로 노출된 촉각디스플레이부(1200)의 구성요소, 구체적으로는 복수의 핀구동모듈(1230)로 픽셀형태의 촉각디스플레이를 제공한다. 이와 같은 촉각디스플레이부(1200)에 의하여 사용자는 촉각디스플레이부(1200)의 복수의 핀구동모듈(1230)을 촉각적으로 인지할 수 있다.
한편, 사용자는 촉각적으로 촉각디스플레이를 인지하면서 동시에 상기 입력센싱부(1300)를 통하여 터치입력으로 명령 등을 입력할 수 있다. 여기서 '터치입력'은 협의로 해석되지 않고, 촉각디스플레이부의 핀구동모듈의 최상측의 핀을 살짝 터치하면서 입력하는 입력 및 상기 핀구동모듈의 최상측의 핀을 터치하지 않는 형태의 입력을 모두 포함한다.
바람직하게는, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 바람직하게는, 본 발명에서의 입력센싱부(1300)는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들에 대한 터치와 관련없이 동작, 입력, 제스처 등이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다. 즉, 바람직하게는, 상기 입력센싱부는 비접촉방식으로 수행된다.
본 명세서에서 비접촉방식의 센싱, 혹은 비접촉방식의 인식은 센싱을 하는 요소 혹은 센서에 물리적인 접촉을 하지 않더라도, 센싱을 하는 요소 혹은 센서가 물리적 동작 혹은 물리적 형태를 인식할 수 센싱방법을 지칭하고, 이러한 예로서 본 발명의 일 실시예에서는 적외선 센싱기반의 인식 방식을 사용한다.
또한, 도 3에 도시된 바와 같이 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.
한편, 사용자는 구체적인 정보를 입력하기 위하여, 예를 들어 텍스트 정보를 입력하기 위하여 키보드부(1400)를 통하여, 상기 촉각 인터페이스장치(1000)에 정보 입력을 수행할 수 있다.
또한, 텍스트의 음성 혹은 사운드 정보를 사용자에게 출력하기 위하여, 상기 촉각 인터페이스장치(1000)는 스피커부(1600)를 통하여 사용자에게 음성정보를 출력할 수 있다.
도 3에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 유선연결부(1120)를 통하여 외부의 사용자단말기에 접속하거나 혹은 통신모듈부(1110)를 통하여 무선통신으로 외부의 사용자단말기에 접속할 수 있다. 이 경우, 사용자단말기에서의 GUI 요소들을 촉각 인터페이스장치(1000)에서 촉각적으로 표시하고, 사용자는 GUI 요소들에 대한 반응 혹은 입력을 상기 입력센싱부(1300) 혹은 키보드를 통하여 입력할 수 있다. 또한, 사용자가 상기 입력센싱부(1300)를 통하여 입력한 명령에 따라서, 상기 촉각 인터페이스장치(1000)는 상기 촉각디스플레이부(1200) 혹은 스피커부(1600)에 따라 출력을 할 수도 있기 때문에, 시각장애인의 경우 그래픽 화면 기반의 PC 등의 사용자 단말기를 보다 직관적으로 이용할 수 있다.
또한, 이와 같은 촉각 인터페이스장치(1000)는 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 그에 따라 직관적으로 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부(1200)를 입체적으로 도시한 도면이다.
상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀을 표시 혹은 제공할 수 있다. 도 4에서는 2차원의 촉각픽셀을 제공할 수 있는 촉각디스플레이부(1200)의 일예를 도시한다. 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다.
구체적으로, 상기 촉각픽셀은 복수의 핀구동모듈 그룹에 의하여 표시되고, 각각의 상기 핀구동모듈 그룹은 복수의 핀구동모듈(1230)로 이루어진다. 혹은 전체의 핀구동모듈이 하나의 핀구동모듈 그룹을 구성할 수도 있다.
구체적으로, 상기 촉각디스플레이부(1200)는 마스터보드(1250); 상기 마스터보드(1250)에 전기적으로 접속되고, 촉각디스플레이를 위한 1차데이터를 수신하는 표시데이터수신부(1210); 상기 표시데이터수신부(1210)로부터 전송받은 상기 1차데이터를 촉각디스플레이를 위한 데이터로 변환하는, 촉각데이터변환부(1220); 상기 마스터보드(1250)에 전기적으로 접속되는 복수의 슬레이브보드(1260); 및 상기 복수의 슬레이브보드(1260) 각각의 외면에 배치된 복수의 핀구동모듈(1230); 및 상기 마스터보드(1250)를 통하여 위의 구성요소들에게 구동전원을 공급하는 구동전원공급부(1240)를 포함한다.
상기 구동전원공급부(1240)는 외부로부터 공급받은 전원을 상기 마스터보드(1250)에 입력하는 형태임이 바람직하다.
한편, 상기 촉각데이터변환부(1220)는 상기 마스터보드(1250)에 배치되는 제1 촉각데이터변환부(1221); 및 상기 슬레이브보드(1260)에 배치되는 제2 촉각데이터변환부(1222)를 포함하고, 상기 제1 촉각데이터변환부(1221)는 상기 1차데이터를 각각의 슬레이브보드(1260)에 대한 촉각데이터로서의 2차데이터로 변환하고, 상기 제2 촉각데이터변환부(1222)는 상기 2차데이터를 각각의 슬레이브보드(1260)에 배치된 복수의 핀구동모듈(1230)의 그룹을 구동하기 위한 3차데이터로 변환한다.
상기 촉각디스플레이부(1200)는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 장치이다. 본 발명과 같은 촉각디스플레이부(1200)는, 전압을 인가하면 핀이 상승하고 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조를 가진다.
따라서, 본 발명에서와 같은 촉각디스플레이부(1200)는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.
상기 마스터보드(1250)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 수신하고, 이를 제1 촉각데이터변환부(1221)로 전달한다. 상기 표시데이터수신부(1210)는 UART (universal asynchronous receiver/transmitter)임이 바람직하고, 상기 제1 촉각데이터변환부(1221)는 MCU (Micro Controller Unit)임이 바람직하다.
바람직하게는, 상기 제1 촉각데이터변환부(1221)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 분석하고, 이를 복수의 슬레이브보드(1260)로 전달한다. 이와 같은 전달에 있어서, 상기 제1 촉각데이터변환부(1221)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.
혹은, 상기 제1 촉각데이터변환부(1221)는 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.
혹은 상기 제1 촉각데이터변환부(1221) 없이, 상기 표시데이터수신부(1210)를 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.
이후, 슬레이브보드(1260)에 내장된 제2 촉각데이터변환부(1222)는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 상기 제1 촉각데이터변환부(1221)로부터 전달받은 데이터 혹은 상기 표시데이터수신부(1210)를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.
이와 같은 동작신호에 따라 핀구동모듈(1230)의 핀은 상하 운동을 할 수 있고, 바람직하게는 핀 간격 및 상승 높이는 1 mm ~ 10 mm의 범위에 있다.
도 5는 본 발명의 일 실시예에 따른 핀구동모듈(1230)을 예들을 도시한 도면이다.
이하에서는, 도 5A 및 도 5B에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.
도 5A에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234);을 포함한다.
바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.
이하에서는, 도 5C 및 도 5D에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.
도 5C에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234); 및 상기 샤프트(1232)를 감싸고 상기 핀(1234)의 일단이 삽입되는 케이싱부(1235)를 포함한다.
바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈(1230)의 예의 단면을 도시한 도면이다.
도 6에 도시된 바와 같이, 핀구동모듈(1230)의 트랜스듀서(1231)는 하우징(1231.1);하우징(1231.1) 내부에 배치되는 제1 압전세라믹(1231.2), 제2 압전세라믹(1231.4); 및 상기 제1 압전세라믹 및 제2 압전세라믹 사이에 배치된 탄성부재(1231.3)를 포함한다.
한편, 이동체(1233)는 이동체본체(1233.1) 및 상기 이동체본체(1233.1)의 내부에 배치되는 고무링(1233.2)을 포함한다.
이와 같은 구조에서 트랜스듀서(1231)의 제1 압전세라믹(1231.2) 및 제2 압전세라믹(1231.4)에 인가되는 전압을 제어함으로써 상기 이동체(1233)의 상하운동을 효율적으로 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른 입력센싱부(1300)의 평면을 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 입력센싱부(1300)는 촉각디스플레이부(1200)에 의하여 출력된 촉각 그래픽에 대한 시각장애인들의 직관적인 상호작용 및 다양한 정보입력을 수행할 수 있다. 또한, 입력센싱부(1300)는 촉각디스플레이부(1200)에 손가락 터치인식장치를 결합하여 손가락 터치 및 손가락 제스처 인식 기능을 추가할 수 있다.
본 발명에 따른 촉각 인터페이스장치(1000)는 태블릿 PC 등에서와 같은 일반적인 터치 디스플레이와는 달리 촉각핀들의 물리적인 상승에 의해 촉각 그래픽을 표현하고, 촉각핀들에 자기유지력(force gauge)을 초과하는 과도한 압력의 터치 동작이 가해지는 경우 출력된 촉각 그래픽 혹은 촉각정보가 훼손되어 정보인지에 혼란을 줄 수 있다.
따라서, 바람직하게는, 본 발명에서의 입력센싱부(1300)는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들에 대한 터치와 관계없이 동작, 입력, 제스처 등이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다. 즉, 바람직하게는, 상기 입력센싱부는 비접촉방식으로 수행된다.
본 명세서에서 비접촉방식의 센싱, 혹은 비접촉방식의 인식은 센싱을 하는 요소 혹은 센서에 물리적인 접촉을 하지 않더라도, 센싱을 하는 요소 혹은 센서가 물리적 동작 혹은 물리적 형태를 인식할 수 센싱방법을 지칭하고, 이러한 예로서 본 발명의 일 실시예에서는 적외선 센싱기반의 인식 방식을 사용한다.
이와 같은 본 발명의 입력센싱부(1300)에 따르면, 상승된 촉각셀 핀들의 최대 높이보다 약간 높게 적외선 빔들이 투사될 수 있도록 설계하여, 촉각핀들의 상하운동과 관계 없이 출력된 촉각 그래픽 위에 가벼운 터치만으로 핀들의 상승상태를 훼손하지 않고 빠른 속도로 터치동작을 인식할 수 있는 효과를 발휘할 수 있다.
또한, 촉각 핀들의 물리적인 걸림 없이 쓸기 (Swipe), 회전 등 다양한 터치기반 제스처들을 인식할 수 있어 시각장애인과 컴퓨터간의 상호작용을 한층 더 다양화 시킬 수 있다. 이와 같은 입력센싱부(1300)의 또 다른 장점으로는 분리가능한 방식으로 설계되어 기존의 다른 촉각 디스플레이들과도 쉽게 결합될 수 있어 확장성이 높아질 수 있는 효과를 발휘할 수 있다.
상기 입력센싱부(1300)는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다.
여기서, 에미팅된 광의 센싱값이 변화하는 경우는 에미팅되는 광이 차단되어 광을 센싱하지 못하는 경우뿐만 아니라, 에미팅되는 광의 세기가 약해지는 것을 센싱하는 경우를 모두 포함한다.
바람직하게는 상기 입력센싱부(1300)에서 사용되는 광은 적외선이고, 광을 광을 일정 단면에 조사하는 형태로 광을 에미팅함이 바람직하다.
상기 입력센싱부(1300)는 상기 입력센싱부(1300)는 위치감지모듈(1310); 및 위치결정부(1320)를 포함하고, 상기 위치감지모듈(1310)은 복수의 광에미터 및 복수의 수광센서를 포함하고, 상기 위치결정부(1320)는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱한다.
구체적으로, 상기 위치감지모듈(1310)은 제1축 광에미터(1311), 제2축 광에미터(1312), 제1축 수광센서(1313), 및 제2축 수광센서(1314)를 포함함이 바람직하다. 이와 같은 광에미터 및 수광센서의 구성으로 2차원의 촉각디스플레이 혹은 촉각픽셀을 구현할 수 있다.
상기 제1축 수광센서(1313)는 제1축 광에미터(1311)의 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 배치되어 있고, 상기 제2축 수광센서(1314)는 제2축 광에미터(1312)의 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 배치되어 있다.
바람직하게는, 상기 복수의 제1축 수광센서(1313)는 각각 복수의 제1축 광에미터(1311)에 대응되도록 배치됨이 바람직하다. 예를들어, 제1축에 있어서 1번, 2번 3번, 4번 광에미터가 구비되는 경우, 1번 광에미터에 대응하는 1번 수광센서, 2번 광에미터에 대응하는 2번 수광센서, 3번 광에미터에 대응하는 3번 수광센서, 4번 광에미터에 대응하는 4번 수광센서를 구비함이 바람직하고, 하나의 수광센서는 대응되는 하나의 광에미터에서 에미팅되는 광을 센싱할 수 있음이 바람직하다. 이와 같은 배치에서는 제1축 광에미터(1311)의 개수 x 제2축 광에미터(1312)의 개수가 센싱할 수 있는 촉각픽셀의 해상도가 된다.
도 8은 본 발명의 일 실시예에 따른 입력센싱부(1300)의 측면을 개략적으로 도시한 도면이다.
도 8에 도시된 바와 같이, 사용자의 손가락에 의하여 광에미터에 의하여 에미팅되는 광이 차단되는 경우, 대응하는 수광 센서에는 수신되는 광의 센싱값에 변화가 생기게 되고, 이를 기초로 사용자의 입력을 계산한다.
이와 같은 입력센싱부(1300)의 광에미터 및 수광센서는 상기 촉각디스플레이부(1200) 혹은 상기 촉각디스플레이부(1200)의 핀구동모듈(1230)에 인접하게, 혹은 더욱 바람직하게는 결합되어 배치된다. 따라서, 사용자는 촉각디스플레이부(1200)로부터 제공되는 촉각정보 혹은 촉각 그래픽을 촉각으로서 인지하고 바로 촉각디스플레이 상에서 입력 혹은 제스처 등을 수행할 수 있다.
다만, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.
구체적으로, 상기 핀구동모듈(1230)의 핀들이 상하 운동을 할 수 있는 홀을 복수로 구비하는 캡레이어(1201)로부터 핀의 최대상승 높이(H1)는 캡레이어(1201)로부터 광에미터의 높이, 더욱 바람직하게는 캡레이어로부터 광에미터로부터 조사되는 광의 최하단 영역까지의 높이(H2)보다 낮음이 바람직하다.
도 9는 본 발명의 일 실시예에 따른 촉각 인터페이스방법의 단계를 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에 따른 사용자와 상호작용을 할 수 있는 촉각 인터페이스방법은 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터에 기초하여, 복수의 핀에 의하여 사용자에게 촉각정보를 제공하는 디스플레이를 정보를 제공하는 촉각디스플레이단계(S10); 및 비접촉 방식으로 사용자 입력을 센싱하는 입력센싱단계(S20);를 포함한다.
바람직하게는, 상기 촉각디스플레이단계 및 상기 입력센싱단계는 실시간으로 수행됨으로써, 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 이에 반응하여 실시간으로 직관적으로 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.
도 10은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
상기 촉각디스플레이단계(S10)는, 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀으로 표시되는 촉각픽셀에 의하여 촉각정보를 제공한다.
구체적으로 촉각디스플레이단계는 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터를 수신하는 1차데이터수신단계(S11);
슬레이브보드(1260)의 개수, 각 슬레이브보드(1260)에서 표현할 수 있는 촉각픽셀의 개수 등의 슬레이브보드(1260) 정보를 로드하는 슬레이브보드정보로드단계(S12);
로드된 상기 슬레이브보드(1260) 정보에 따라 상기 1차 데이터를 2차 데이터로 변환하는 2차데이터변환단계(S13);
변환된 상기 2차 데이터를 각각의 슬레이브보드(1260)로 전송하는 슬레이브보드전송단계(S14);
각각의 슬레이브보드(1260)에서 상기 2차 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이의 구동신호로서의 3차 데이터로 변환하는 3차데이터변환단계(S15);
생성된 상기 구동신호로 각각의 핀구동모듈(1230)을 구동하는 핀구동단계(S16)을 포함한다.
상기 촉각디스플레이단계는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 단계이다. 본 발명에서와 같은 촉각디스플레이단계는 전압을 인가하면 핀이 상승하고, 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조로 구현할 수 있다.
따라서, 본 발명에서와 같은 촉각디스플레이단계는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.
상기 1차데이터수신단계(S11)은 마스터보드(1250)에서 수행되고, 외부로부터 입력된 촉각 그래픽 데이터를 수신하고, UART (universal asynchronous receiver/transmitter) 모듈을 통하여 수행됨이 바람직하다.
한편, 상기 슬레이브보드정보로드단계(S12) 및 상기 2차데이터변환단계(S13)은 상기 마스터보드(1250)에 전기적으로 접속되는 MCU (Micro Controller Unit)에 의하여 수행됨이 바람직하다.
바람직하게는, 상기 2차데이터변환단계(S13)는 상기 1차데이터수신단계(S11)을 통해 입력된 촉각 그래픽 데이터를 분석한다. 이후 슬레이브보드전송단계(S14)는 분석된 상기 촉각 그래픽 데이터를 슬레이브보드(1260)로 전달한다.
이와 같은 상기 2차데이터변환단계(S13) 및 슬레이브보드전송단계(S14)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.
혹은, 상기 2차데이터변환단계(S13)은 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.
혹은 상기 2차데이터변환단계(S13) 없이, 상기 1차데이터수신단계(S11)을 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.
이후, 슬레이브보드(1260)에 내장된 처리장치에 의하여, 3차데이터변환단계(S15)가 수행된다. 3차데이터변환단계는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 전달받은 데이터를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.
상기 복수의 슬레이브보드(1260)는 단일의 마스터보드(1250) 상에 배치되어 있고, 상기 마스터보드(1250)에 전기적으로 접속되어 있는 것이 바람직하다.
도 11은 본 발명의 일 실시예에 따른 입력센싱단계의 세부단계를 개략적으로 도시하는 도면이다.
상기 입력센싱단계는 촉각정보를 제공하는 인터페이싱장치에서 사용자의 입력을 센싱하는 방법으로서, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다. 이와 같은 입력센싱방법은 촉각디스플레이부(1200)에 의하여 출력된 촉각 그래픽에 대한 시각장애인들의 직관적인 상호작용 및 다양한 정보입력를 수행할 수 있다. 또한, 입력센싱부(1300)는 촉각디스플레이부(1200)에 손가락 터치인식장치를 결합하여 손가락 터치 및 손가락 제스처 인식 기능을 추가할 수 있다.
구체적으로, 상기 입력센싱단계는,
복수의 광을 에미팅(emitting)하는 광에미팅단계(S21);
각각의 복수의 광에 대하여, 광이 에미팅되는 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 광을 센싱하는 광센싱단계(S22);
센싱값에 변화가 있는 수광센서의 정보를 로드하는 광센서정보로드단계(S23); 및
상기 광센싱단계에서 센싱된 결과를 기초로 사용자의 입력을 계산하는 사용자입력계산단계(S24);를 포함한다.
한편, 상기 광에미팅단계는 제1축을 따라 배치된 복수의 제1축 광에미터(1311) 및 제2축을 따라 배치된 복수의 제2축 광에미터(1312)로부터 복수의 광을 에미팅하고, 상기 광센싱단계는 복수의 상기 제1축 광에미터(1311)에 대응하는 제1축 수광센서(1313) 및 복수의 상기 제2축 광에미터(1312)에 대응하는 제2축 수광센서(1314)에 의하여 복수의 광을 센싱한다.
또한, 상기 사용자입력계산단계는 복수의 상기 제1축 수광센서(1313) 및 복수의 상기 제2축 수광센서(1314)의 수신광량의 변화값을 기초로 사용자의 입력을 계산하는, 사용자의 입력을 센싱한다.
본 발명에 따른 촉각 인터페이스장치(1000)는 태블릿 PC 등에서와 같은 일반적인 터치 디스플레이와는 달리 촉각핀들의 물리적인 상승에 의해 촉각 그래픽을 표현하고, 촉각핀들에 자기유지력(force gauge)을 초과하는 과도한 압력의 터치 동작이 가해지는 경우 출력된 촉각 그래픽 혹은 촉각정보가 훼손되어 정보인지에 혼란을 줄 수 있다.
따라서, 본 발명에서의 입력센싱단계는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들 위에서 터치동작이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다.
이와 같은 본 발명의 입력센싱단계에 따르면, 상승된 촉각셀 핀들의 최대 높이보다 약간 높게 적외선 빔들이 투사될 수 있도록 설계하여, 촉각핀들의 상하운동과 관계 없이 출력된 촉각 그래픽 위에 가벼운 터치만으로 핀들의 상승상태를 훼손하지 않고 빠른 속도로 터치동작을 인식할 수 있는 효과를 발휘할 수 있다.
또한, 촉각 핀들의 물리적인 걸림 없이 쓸기 (Swipe), 회전 등 다양한 터치기반 제스처들을 인식할 수 있어 시각장애인과 컴퓨터간의 상호작용을 한층 더 다양화 시킬 수 있다.
도 12는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 사용예를 도시하는 도면이다.
도 12에 도시된 바와 같이, 본 발명의 일 실시예에 따르면 손가락 움직임에 따라 실시간으로 핀이 상승하며 자유롭게 그래픽을 그릴 수 있는 자유 그리기 기능을 수행할 수 있고, 실시간으로 촉각디스플레이 혹은 촉각정보를 확인하면서 사용자는 자신이 이전에 그린 그래픽을 쉽게 인지하면서 그래픽을 그릴 수 있다.
따라서, 본 발명의 일 실시예에 따른 촉각 디스플레이장치는 정상시력의 일반인들이 모니터를 통해 시각정보를 인지하고 마우스(혹은 tablet PC의 터치스크린)와 키보드를 통하여 정보를 입력하는 일반적인 컴퓨터 사용방식과 매우 유사한 방식으로 시각장애인들이 촉각을 이용하여 보다 쉽고 직관적으로 컴퓨터와 상호작용(interaction) 할 수 있다.
위와 같이 전술한 촉각 인터페이스 장치는 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 있어서 일 예로 이용될 수 있는 촉각 인터페이스장치로서 설명된 것이고, 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 대한 설명에서는 위에서 상술한 내용에 한정되지 않고, 그 자체의 발명의 내용에 따라서 최광의로 해석되어야 할 것이다.
촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
이하에서는 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 대하여 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치와 촉각 인터페이스장치의 구성을 개략적으로 도시하는 도면이다.
컴퓨팅 장치(B)에 연결된 촉각 인터페이스장치(1000)는 도 13에서는 전술한 촉각 인터페이스장치와 동일한 구성요소를 갖는 것으로 도시되었지만, 이는 하나의 예에 불과할 뿐, 본 발명에서는 이에 한정되지 않는다. 이하에서 서술하는 본 발명의 촉각 인터페이스장치를 제어하는 컴퓨팅 장치(B)에 연결된 촉각 인터페이스장치는 촉각 그래픽을 제공할 수 있는 임의의 인터페이스장치, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치, 및 촉각 그래픽을 출력할 수 있는 컴퓨팅 장치(B)를 모두 포함한다.
도 13에 도시된 바와 같이 컴퓨팅 장치(B)는 촉각 인터페이스장치와 연결되어 있고, 이와 같은 연결은 유선적 연결 혹은 무선적 연결을 모두 포함하는 연결이다.
상기 컴퓨팅 장치(B)는 도 1에서 도시된 전술한 사용자단말기(A)에 상응할 수 있다. 상기 컴퓨팅 장치(B)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있다.
이와 같은 컴퓨팅 장치(B)는 1 이상의 프로세서 및 메모리를 포함하고, 선택적으로 모니터 등의 디스플레이장치에 연결되어 있거나 자체적인 디스플레이모듈이 구비될 수도 있다.
혹은, 상기 컴퓨팅 장치(B)는 상기 촉각 인터페이스장치와 결합된 형태일 수도 있다. 이 경우, 사용자의 입장에서는 촉각인터페이스장치와 이를 제어하는 컴퓨팅 장치(B)를 하나의 장치로 인식할 수도 있다. 이와 같이 결합된 형태의 장치의 경우 상기 컴퓨팅 장치(B)와 상기 촉각 인터페이스장치는 프로세서와 메모리를 공유하는 형태일 수도 있다.
도 14은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 내부 구조를 개략적으로 도시하는 도면이다.
본 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치는 프로세서, 버스(프로세서, 메모리, 네트워크인터페이스부 사이의 양방향 화살표에 해당), 네트워크 인터페이스 및 메모리를 포함할 수 있다. 메모리는 운영체제(5100), 입출력제어루틴(5200), 어플리케이션(5300)을 포함할 수 있다. 프로세서는 입출력제어부(2000), 및 어플리케이션실행부(3000)를 포함할 수 있다. 다른 실시예들에서 촉각 인터페이스장치를 제어하는 컴퓨팅 장치는 도 14의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.
메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리에는 운영체제(5100), 입출력제어루틴(5200), 및 어플리케이션(5300)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스부(4000)를 통해 메모리에 로딩될 수도 있다.
버스는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스부(4000)는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 네트워크 인터페이스(4000)는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치를 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다. 이와 같은 네트워크 인터페이스부(4000)를 통하여 촉각 인터페이스장치를 제어하는 컴퓨팅 장치가 촉각 인터페이스장치에 무선적 혹은 유선적으로 접속될 수 있다.
프로세서는 기본적인 산술, 로직 및 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 네트워크 인터페이스부(4000)에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다. 프로세서는 입출력제어부(2000), 및 어플리케이션실행부(3000)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.
상기 입출력제어부(2000), 및 어플리케이션실행부(3000)는 이하에서 설명하게 될 촉각 인터페이스장치를 제어하는 방법을 수행하기 위해 구성될 수 있다. 상기한 프로세서는 촉각 인터페이스장치를 제어하는 방법에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.
도 15은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 일부 구성의 내부 구조를 개략적으로 도시하는 도면이다.
본 발명에 따른 상기 컴퓨팅 장치(B)는 어플리케이션실행부(3000)과 상기 촉각 인터페이스장치의 상호간의 입출력을 제어하는 입출력제어부(2000)를 포함한다.
상기 어플리케이션실행부(3000)은 OS에서 기본적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어 WINDOWSTM 에서의 탐색기), OS에서 보조적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어, WINDOWSTM 에서의 메모장, 그림판), OS와 별도적으로 설치되어 독자적인 기능을 수행하는 어플리케이션 (예를들어, MS WORDTM), 웹상으로 실행되는 독자적인 기능을 수행하는 어플리케이션, 스마트폰의 앱, 혹은 특정 기기에서만 작동할 수 있는 어플리케이션을 실행하는 모듈을 지칭하는 용어이다. 즉, 상기 어플리케이션실행부(3000)은 실행가능한 명령어들을 가지는 프로그램들을 실행하는 모듈을 포괄적으로 지칭한다.
일반적인 사용자라면 상기 컴퓨팅 장치(B)에서 상기 어플리케이션을 실행시키고, 상기 어플리케이션과 마우스, 키보드, 및 모니터 혹은 터치패드 등으로 상호작용을 할 수 있지만, 이와 같은 일반적인 장치들은 시각장애인이 인식하기 어려운 그래픽 정보를 중심으로 상호작용이 이루어진다.
본 발명에서는, 상기 컴퓨팅 장치(B)의 어플리케이션실행부(3000)에 의하여 실행되는 어플리케이션을 시각장애인이 이용하기 위하여, 상기 어플리케이션실행부(3000)에 의해 실행되는 어플리케이션의 인터페이스 혹은 입출력을 시각장애인이 이용할 수 있는 형태로 변환 제어한다.
또한, 본 발명의 촉각 인터페이스장치의 제어방법은 시각장애인에 대한 목적 뿐만 아니라 차량, 비행장치 등의 다른 장치에서의 촉각정보를 활용한 입출력 시스템 및 PC 등의 사용에 있어서 보조적으로 활용할 수 있는 입출력 시스템에도 적용될 수 있다.
본 발명의 일 실시예에 따르면, 상기 입출력제어부(2000)는 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션의 입출력을 시각장애인이 이용할 수 있는 형태로 변환하고, 이를 촉각 인터페이스장치에서 구현하고, 사용자는 상기 촉각 인터페이스장치를 통하여 상기 어플리케이션을 보다 직관적이고 편리하게 이용할 수 있다.
특히, 촉각 인터페이스장치(1000)는 촉각정보를 이용하여 사용자에게 정보를 전달하고, 또한 촉각적인 입력 또는 터치입력을 통하여 사용자로부터 정보 혹은 명령을 입력 받을 수 있는 장치이기 때문에, 시각장애인으로 하여금 불편함 없이 상기 어플리케이션을 이용할 수 있도록 할 수 있다.
도 15에 도시된 바와 같이, 상기 입출력제어부(2000)는 상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션실행부(3000)으로의 입력으로 변환하는 입력변환부(2100); 및 상기 어플리케이션실행부(3000)로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환부(2200)를 포함한다.
바람직하게는, 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 장치에서는 어플리케이션실행부(3000)로부터의 출력정보를 촉각 디스플레이 형태로 표시하는 동작에 추가적으로 촉각 인터페이스장치로부터 입력받은 정보를 상기 어플리케이션실행부(3000)에서 이용할 수 있는 형태로 변환하여 상기 어플리케이션실행부(3000)에 입력하는 동작을 수행할 수 있다.
즉, 본 발명에 따르면 사용자는 수동적으로 정보를 받는 것이 아니라 인지한 정보에 기초하여 정보를 입력하고, 상기 입출력제어부(2000)는 이와 같이 입력된 정보를 상기 어플리케이션실행부(3000)에 입력가능한 형태로 변환함으로써, 시각장애인인 사용자도 일반적인 사용자와 유사한 수준으로 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션을 이용할 수 있도록 한다. 본 발명에서는 이와 같은 입출력제어부(2000)의 동작에 의하여 상기 도 12에서와 같이 시각장애인도 촉각적으로 입력을 하여 그림을 그리는 어플리케이션을 이용하게 할 수 있다.
한편, 상기 입력변환부(2100)는, 상기 촉각 인터페이스장치로부터 입력되는 키입력을 상기 어플리케이션실행부(3000)로 입력할 수 있는 형태로 변환하는 키변환부(2110); 상기 촉각 인터페이스장치로부터 입력되는 터치입력을 상기 어플리케이션실행부(3000)로 입력할 수 있는 형태로 변환하는 제스처판별부(2120); 및 상기 촉각 인터페이스장치에서 터치입력 등에 의하여 입력되는 입력좌표를 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환하는 좌표매핑부(2130);를 포함한다.
바람직하게는, 상기 촉각 인터페이스장치로부터 수신된 상기 키변환부(2110)에서 변환되는 입력은 점자, 방향키, 단축키 등에 의하여 입력되는 정보이다.
바람직하게는, 상기 키변환부(2110)에서 변환되는 입력은 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드에 의한 입력이다.
점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치 혹은 촉각 인터페이스장치에 연결된 사용자 단말기에 전달한다. 점자키보드는 1~6점, 백스페이스, 스페이스, 엔터 버튼으로 구성되며, 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다.
이 경우, 상기 키변환부(2110)는 점자키보드 입력을 일반문자(general character)로 점역한다.
한편, 상기 제스처판별부(2120)는 상기 터치입력이 기설정된 제스처 중 어느 하나에 해당하는 지 여부를 판별하고, 제스처로 판별되는 경우 판별된 제스처에 해당하는 명령어로 상기 터치입력을 변환한다. 상기 명령어는 상기 어플리케이션실행부(3000)에 입력된다.
여기서, 상기 터치입력은 도 7 및 도 8에 도시된 비접촉식 광기반 센싱에 의한 입력, 태블릿PC, 스마트폰 등에서 일반적으로 이용되는 정전용량 변화에 의한 터치인식에 의한 입력을 모두 포함하는 입력형태를 지칭한다. 바꾸어 말해, 상기 터치입력은 키입력 형태가 아니라 사용자의 신체로 직접 입력하는 형태의 입력을 모두 포함한다.
여기서, 상기 기설정된 제스처의 예는 하기의 표 1과 같다.
[표 1]
제스처 종류 어플리케이션 입력
Single tap 터치한 위치에 있는 GUI element의 종류와 텍스트를 점자와 음성으로 출력
Double tap 마우스의 더블클릭과 같은 기능
Long tap after tap 마우스의 우클릭과 같은 기능
Panning after tap 상/하/좌/우 스크롤
Drawing circle after tap 확대(시계방향)/축소(반시계방향)
촉각 인터페이스장치와 전자기기 간의 상호작용은 1차적으로 터치입력의 제스처 인식 기능을 통해 이루어지며, 시각장애인들에게 익숙하고 직관적인 컴퓨터 조작을 위해 상기 표 1 과 같은 다양한 터치 동작들을 정의하여 특정 동작을 인식한 후 컴퓨팅장치의 어플리케이션실행부(3000)에 입력신호로 전달하는 것이 바람직하다.
예를들어, 싱글 탭 (single tap) 제스처는 터치한 위치에 있는 촉각 아이콘에 대하여 GUI (Graphic User Interface) 엘리먼트의 종류와 해당 텍스트를 점자와 음성으로 출력한다. 예를들어, 시각장애인이 촉각 그래픽에 의하여 인지되는 촉각 아이콘을 손가락을 쓰는 (swipe) 동작을 통해 인지하고 상기 촉각 아이콘에 대해 싱글 탭 제스처를 수행함으로써 해당 GUI 엘리먼트에 포커스를 이동시킨다. 또한, 이러한 탭 제스처는 선택하는 GUI 엘리먼트의 세부정보, 예를들어 텍스트 정보를 촉각 인터페이스장치의 촉각 그래픽을 표시하는 레이어 중 하나에 점자로 출력함과 동시에 TTS 기반의 음성으로도 출력할 수도 있다.
표 1에서의 나머지 제스처들에 해당하는 Double tap, Long tap after tap, Panning after tap, Drawing circle after tap 모두 tap 동작을 한 번 수행한 후 연이어 tap, long tap, panning, drawing the circle 제스처를 수행하는 것으로 정의된다. 이는 시각장애인의 촉각 그래픽을 인지를 위한 손가락 쓸기 동작과 정의된 제스처가 혼동되어 인식되지 않기 위해 이와 같이 정의된 것이다. Double tap 제스처는 같은 위치에서 빠르게 두 번 터치하는 동작으로 GUI 엘리먼트의 디폴트 동작(default action)을 실행시키는 마우스의 좌 더블클릭과 같은 기능을 가진다. Long tap after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 탭하여 일정한 시간 동안 계속 터치하고 있는 동작으로 마우스의 우 클릭과 같은 기능을 가진다. Panning after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 다시 터치하여 Panning 동작을 수행하는 동작으로 Panning 방향에 따라 상/하/좌/우 스크롤 기능을 가진다. Drawing circle after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 빠르게 다시 터치하여 원을 그리는 동작으로 시계방향일 경우 화면 확대기능, 반 시계 방향일 경우 화면 축소기능을 가진다.
한편, 상기 좌표매핑부(2130)는 상기 촉각 인터페이스장치에서의 터치입력 혹은 방향키의 키입력에 의하여 입력좌표 혹은 커서의 위치를 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환하기 위함이다. 상기 입력좌표 혹은 커서의 위치는 상기 촉각 인터페이스장치의 방향키의 입력 혹은 터치입력에 의하여 생성 혹은 변경될 수 있다.
후술하는 바와 같이, 컴퓨팅장치가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서 세부적으로 포커싱이 이루어지는(후술하는 포커싱 영역에서 더욱 세부적으로 포커싱이 이루어지는), 혹은 커서가 위치하는 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 컴퓨팅장치의 어플리케이션실행부(3000)에서는 판별할 수 없다.
바람직하게는, 좌표매핑부(2130)의 좌표매핑 기능은 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 좌표를 매핑한다.
촉각 인터페이스장치에서 표시되는 촉각 그래픽과 상기 어플리케이션실행부(3000)이 일반적으로 실행될 때의 표시화면은 해상도, 구성, 위치에 있어서 상이할 수 있고, 이 경우 촉각 인터페이스장치에서 입력한 명령이 제한없이 상기 어플리케이션실행부(3000)에 입력되기 위해서는 상기 촉각 인터페이스에서의 입력좌표가 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환 혹은 매핑되어야 하고, 이는 상기 좌표매핑부(2130)에 의하여 수행된다. 이와 같은 좌표매핑부(2130)에 의하여 사용자는 어플리케이션실행부(3000)의 기능의 축소 혹은 간략화 없이 어플리케이션실행부(3000)의 기능을 일반적인 사용자 수준으로 사용할 수 있다.
예를들어, 사용자가 어플리케이션실행부(3000)에서 'A'라는 명령을 실행하기 위하여(예를들어 윈도우 바탕화면에서 내문서 폴더를 여는 경우), 상기 촉각 인터페이스장치에서 상기 'A'에 해당하는 지점에서 실행과 관련된 제스처(Double Tap) 혹은 키입력 을 수행하는 경우(상기 표1 참조), 상기 좌표매핑부(2130)는 상기 촉각 인터페이스장치에서의 상기 지점의 좌표를 연결된 어플리케이션실행부(3000)의 'A' 아이콘의 좌표에 매핑하고, 이에 따라 상기 어플리케이션실행부(3000)에서의 'A' 명령이 실행될 수 있다.
이와 같이, 상기 입력변환부(2100)는 촉각 인터페이스장치의 터치입력에 대한 제스처를 인식하는 터치 제스처 인식 기능, 터치인식 장치에서 입력된 터치좌표에 해당하는 GUI 엘리먼트를 알려주는 좌표매핑 기능, 그리고 점자키보드로부터 입력되는 점자정보를 일반 문자로 변환하는 역 점역 기능을 수행할 수 있다.
한편, 상기 출력변환부(2200)는, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부 혹은 전체에 해당하는 포커스영역을 촉각 그래픽데이터로 변환하는 촉각 그래픽변환부(2210)를 포함하고, 상기 촉각 인터페이스장치에 의해 제공되는 상기 촉각 그래픽은 상기 촉각 그래픽데이터로부터 구현될 수 있다.
본 명세서에서, 상기 “표시화면”는 상기 어플리케이션이 모니터 등의 일반적인 시각적 디스플레이 장치로 출력하는 시각적화면, 시각적화면에 포함되는 시각적요소를 포함하는 개념을 지칭한다.
한편, 상기 출력변환부(2200)는, 상기 어플리케이션실행부(3000)에서 출력되는 정보를 음성정보로 변환하는 TTS변환부(2220)를 더 포함한다. 바람직하게는, 상기 TTS변환부(2220)는 상기 촉각 인터페이스장치로부터의 입력에 의하여 지칭되는, 혹은 입력좌표가 위치하는 촉각 엘리먼트에 대한 텍스트 형태의 세부정보를 음성으로 변환하는 것을 수행한다.
한편, 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.
따라서 본 발명의 일 실시예에 따르면, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 포커스영역을 촉각 그래픽데이터로 변환한다. 즉 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각 그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.
한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 터치입력으로 촉각 인터페이스장치에서의 입력좌표를 이동시키고 탭 등의 제스처에 의하여 해당 입력좌표의 영역에 포커싱이 되는 경우, 이와 같은 사용자의 입력들에 의하여 상기 포커싱영역이 결정된다. 혹은, 사용자가 촉각 인터페이스장치의 방향키 입력으로 어플리케이션에서의 입력좌표를 이동시키거나, 또는 실행키 입력 등의 키입력에 의하여 해당 입력좌표가 지칭하는 영역이 포커싱이 되는 경우, 상기 포커싱영역이 결정된다.
한편, 상기 촉각 그래픽변환부(2210)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각 그래픽데이터를 생성한다.
도 21은 이와 같은 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 기설정된 변환규칙의 예를 도시한다.
예를들어, 도 21에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션실행부(3000)에 의하여 컴퓨팅장치의 표시화면에 출력되는 형태는 도 21에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 21에 도시된 변환규칙에 따라서, 촉각그래픽으로 표현할 수 있는 촉각그래픽엘리먼트인 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다.
한편, 사용자의 촉각 인터페이스장치에서의 입력좌표가 지칭하는 표시엘리먼트 혹은 촉각 아이콘의 텍스트 정보를 사운드 형태로 출력하는 단축키입력 혹은 제스쳐입력을 하거나 혹은 입력좌표가 지칭하는 표시엘리먼트의 텍스트 정보를 점자 형태로 출력하는 단축기입력 혹은 제스처에 의하여, 표시엘리먼트 혹은 상기 촉각 아이콘에 대한 세부 정보를 촉각 인터페이스장치의 점자형태의 촉각 그래픽 혹은 상기 TTS변환에 의한 음성으로 출력할 수도 있다.
도 20는 본 발명의 일 실시예에 따른 촉각 그래픽(4000)을 개략적으로 도시하는 도면이다. 상기 촉각 그래픽은 복수의 레이어를 포함하고, 도 16에 도시된 실시예에서는 상기 복수의 레이어는 제1 레이어(4100), 제2 레이어(4200), 및 제3 레이어(4300)를 포함한다.
상기 복수의 포커스부분영역은 각각 상기 복수의 레이어에 대응한다. 즉, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역은 복수의 포커스부분영역으로 구성되어 있고, 이와 같은 복수의 포커스부분영역의 각각은 상기 복수의 레이어 각각에 대응한다. 따라서, 상기 촉각 그래픽변환부(2210)는 포커스부분영역 혹은 레이어 별로 표시화면을 촉각 그래픽으로 변환한다.
상기 제1 레이어(4100)는 화면 컨트롤 영역으로서, 현재 촉각 인터페이스장치에서 출력되는 촉각 그래픽의 타이틀을 지칭하는 아이콘, '이전', '확인', '취소', '닫기'와 같은 화면전환을 위한 버튼들의 촉각 아이콘 중 1 이상으로 구성될 수 있다. 즉, 제1 레이어(4100)는 상기 어플리케이션실행부(3000)로부터 출력되는 상기 표시화면의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 포함한다.
상기 제2 레이어(4200)는 메인 화면 영역으로 버튼, 메뉴, 폴더, 그래픽 정보 등에 대한 촉각 그래픽이 제공되는 레이어이다. 사용자는 제2 레이어(4200)를 통하여 텍스트 입력을 수행하거나, 그래픽 정보를 인지하거나, GUI 요소들을 인지하거나, 사용자의 컨트롤 입력을 수행할 수 있다.
상기 제3 레이어(4300)는 상기 어플리케이션실행부(3000)로부터 출력되는 촉각 그래픽엘리먼트에 대한 세부정보를 점자형태로 표시하는 레이어이다. 사용자는 상기 제3 레이어(4300)로 출력되는 점자를 인지함으로써 촉각 엘리먼트들에 대한 세부 정보를 확인할 수 있다. 전술한 바와 같이, 이와 같은 세부정보의 확인은 상기 TTS변환부(2220)에 의하여 변환된 음성에 의하여도 이루어질 수 있다.
이상과 같은 촉각 인터페이스장치 및 이를 제어하는 컴퓨팅장치(B)에 의하면, WINDOWSTM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 시각장애인은 상기 제2 레이어(4200)를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해나갈 수 있다.
한편, 전술한 촉각 인터페이스장치 및 이를 제어하는 컴퓨팅 장치는 출력 및 입력이 가능한 촉각 인터페이스장치 및 이에 대한 제어의 양상에서 실시예가 서술되었으나, 본 발명은 이에 한정되지 않고, 출력만 가능한 촉각 인터페이스장치 혹은 입력만 가능한 촉각인터페이스 장치에 대한 제어방법, 장치, 및 비일시적 컴퓨터-판독가능 저장매체에 대한 발명도 포함한다.
도 16은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.
도 16에 도시된 바와 같이, 본 실시예의 촉각 인터페이스장치를 제어하는 방법은 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계(S100); 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계(S200)을 포함한다. 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함한다.
상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있고, 상기 입력정보생성단계(S100) 및 상기 출력정보생성단계(S200)는 리얼-타임으로 수행될 수 있다. 구체적으로 사용자는 상기 출력정보생성단계(S200)에 의하여 출력된 촉각 그래픽을 인지하고, 이에 따라 입력을 수행하고, 사용자의 입력을 어플리케이션실행부(3000)에 입력할 수 있는 형태로 상기 입력정보생성단계(S100)에서 변환 혹은 입력정보를 생성함이 바람직하다.
도 17은 본 발명의 일 실시예에 따른 입력정보생성단계(S100)의 과정들을 개략적으로 도시하는 도면이다.
상기 입력정보생성단계(S100)는, 촉각 인터페이스장치에서의 입력을 수신하는 입력수신단계(S110); 상기 입력정보의 카테고리를 구분하는 입력카테고리구분단계(S120); 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성 혹은 상기 입력을 상기 어플리케이션에 입력할 수 있는 형태의 입력정보로 변환하는 어플리케이션입력생성단계(S130)를 포함한다.
상기 입력의 카테고리는 키입력 및 터치입력 중 1 이상을 포함하고, 키입력의 경우 점자정보, 방향키 입력에 의한 입력좌표이동정보, 및 명령어키 입력에 의한 명령정보를 입력할 수 있다. 한편, 터치입력은 입력좌표이동정보 및 제스처정보를 입력할 수 있다.
상기 입력정보의 카테고리가 터치입력인 경우, 상기 입력정보변환단계(S130)는 상기 터치입력이 입력좌표의 입력에 해당하는 지 여부를 판단하고, 상기 터치입력이 입력좌표에 해당하는 경우, 촉각 인터페이스장치에서 입력되는 입력좌표를 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환한다.
상기와 같은 좌표에 대한 입력정보변환단계(S130)는 상기 촉각 인터페이스장치에서의 좌표 혹은 입력좌표를 입력좌표를 상기 어플리케이션실행부(3000)에서의 좌표로 변환하기 위함이다.
상기 터치입력은 도 7 및 도 8에 도시된 비접촉식 광기반 센싱에 의한 입력, 태블릿PC, 스마트폰 등에서 일반적으로 이용되는 정전용량 변화에 의한 터치인식에 의한 입력을 모두 포함하는 입력형태를 지칭한다. 바꾸어말해, 상기 터치입력은 키입력 형태가 아니라 사용자의 신체로 직접 입력하는 형태의 입력을 모두 포함한다.
상기 입력의 카테고리가 터치입력인 경우, 상기 어플리케이션입력생성단계(S130)는 상기 터치입력이 기설정된 복수의 제스처 중 어느 하나와 매칭이 되는 지 여부를 판단하고, 매칭이 되는 제스처에 상응하는 어플리케이션입력을 생성한다.
여기서, 상기 기설정된 제스처의 예로서는 전술한 표 1과 같다.
상기 입력의 카테고리가 터치입력인 경우, 상기 어플리케이션입력생성단계(S130)은 상기 터치입력이 제스처 입력에 해당하지 않고 입력좌표의 입력에 해당하는 지 여부를 판단하고, 상기 터치입력이 입력좌표의 입력에 해당하는 경우, 촉각 인터페이스장치에서 입력된 입력좌표를 상기 어플리케이션에서의 입력좌표로 변환한다.
이와 같은 촉각 인터페이스장치와 컴퓨팅 장치 간의 상호작용은 1차적으로 터치입력의 제스처 인식 기능 및 입력좌표 인식기능을 통해 이루어지며, 시각장애인들에게 익숙하고 직관적인 컴퓨터 조작을 위해 상기 표 1 과 같은 다양한 터치 동작들을 정의하여 특정 동작을 인식한 후 검퓨팅장치의 어플리케이션실행부(3000)에 입력신호로 전달하는 것이 바람직하다.
전자기기가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서의 터치입력이 발생한 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 전자기기의 어플리케이션실행부(3000)에서는 판별할 수 없다. 입력좌표이동정보를 갖는 키입력 혹은 입력좌표를 입력하는 터치입력에 대한 어플리케이션입력생성단계(S130)는 실질적으로 좌표매핑 기능에 해당한다. 바람직하게는, 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 터치좌표를 매핑한다.
바람직하게는 상기 촉각입력좌표가 위치하고 있는 촉각픽셀의 영역에 포함되는 1 이상의 촉각셀이 주기적으로 상하운동 혹은 진동을 할 수 있다. 이와 같은 촉각픽셀의 상하운동 혹은 진동은 사용자로 하여금 자신이 촉각으로 어떤 표시엘리먼트에 커서가 놓여 있는지 혹은 촉각입력좌표가 어디에 있는지를 파악할 수 있다.
도 18은 본 발명의 일 실시예에 따른 출력정보생성단계(S200)의 과정들을 개략적으로 도시하는 도면이다. 상기 출력정보생성단계(S200)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 촉각 그래픽데이터로 변환하는 단계이다.
상기 출력정보생성단계(S200)는, 상기 어플리케이션실행부(3000)에 의해 실행되는 어플리케이션의 출력정보를 수신하는 단계(S210); 상기 어플리케이션실행부(3000)에 의하여 실행되는 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지를 판단하는 변경판단단계(S220); 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계(S230); 및 상기 촉각 그래픽데이터를 촉각 인터페이스장치로 전송하는 단계(S240)를 포함한다.
바람직하게는, 상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 촉각 그래픽변환단계를 수행한다.
도 19은 본 발명의 일 실시예에 따른 촉각 그래픽변환단계(S230)의 과정들을 개략적으로 도시하는 도면이다.
실제 어플리케이션실행부(3000)에 의하여 어플리케이션을 실행 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.
따라서 본 발명의 일 실시예에 따르면, 상기 촉각 그래픽생성단계(S230)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 촉각 그래픽데이터로 변환함이 바람직하다. 즉, 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각 그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.
한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 터치입력으로 촉각 인터페이스장치에서의 입력좌표를 이동시키고 탭 등의 제스처에 의하여 해당 입력좌표의 영역에 포커싱이 되는 경우, 이와 같은 사용자의 입력들에 의하여 상기 포커싱영역이 결정된다.
혹은, 사용자가 촉각 인터페이스장치의 방향키 입력으로 어플리케이션에서의 입력좌표 혹은 촉각그래픽에서의 촉각입력좌표를 이동시키거나, 또는 입력좌표 혹은 촉각입력좌표를 이동시키고 실행키 입력 등의 키입력에 의하여 해당 입력좌표 혹은 촉각입력좌표가 지칭하는 영역이 포커싱이 되는 경우, 상기 포커싱영역이 결정된다.
본 발명의 일 실시예에 따르면 상기 촉각 그래픽생성단계(S230)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각 그래픽데이터를 생성한다. 상기 촉각 그래픽엘리먼트는 촉각 아이콘을 표현할 수 있다.
즉, 상기 어플리케이션실행부(3000)에 의하여 표시되는 표시화면을 촉각 그래픽데이터로 변환하는 촉각 그래픽생성단계(S230)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 결정 혹은 수신하는 포커스영역결정/수신단계(S231);
상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계(S232);
기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계(S233); 및
상기 촉각 그래픽엘리먼트를 포함하는 촉각 그래픽데이터를 생성하는 촉각 그래픽데이터생성단계(S234);를 포함한다.
도 21은 이와 같은 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 기설정된 변환규칙의 예를 도시한다.
예를들어, 도 21에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션실행부(3000)의 실제 화면에 출력되는 형태는 도 21에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 21에 도시된 변환규칙에 따라서, 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다. 한편, 사용자의 촉각 인터페이스장치에서의 입력, 바람직하게는 제스처 형태의 입력에 의하여 상기 촉각 아이콘에 대한 세부 정보를 촉각 인터페이스장치의 점자형태의 촉각 그래픽 혹은 상기 TTS변환에 의한 음성으로 사용자가 인식할 수도 있다.
도 20는 본 발명의 일 실시예에 따른 촉각그래픽을 개략적으로 도시하는 도면이다. 상기 촉각 그래픽은 복수의 레이어를 포함하고, 도 20에서는 상기 복수의 레이어는 제1 레이어(4100), 제2 레이어(4200), 및 제3 레이어(4300)를 포함한다.
상기 복수의 포커스부분영역은 각각 상기 복수의 레이어에 대응한다. 즉, 상기 어플리케이션실행부(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역은 복수의 포커스부분영역으로 구성되어 있고, 이와 같은 복수의 포커스부분영역의 각각은 상기 복수의 레이어 각각에 대응한다. 따라서, 상기 촉각그래픽변환부(2210)는 포커스부분영역 혹은 레이어 별로 그래픽디스플레이를 촉각 그래픽으로 변환한다.
상기 제1 레이어(4100)는 화면 컨트롤 영역으로서, 현재 촉각 인터페이스장치에서 출력되는 촉각 그래픽의 타이틀을 지칭하는 아이콘, '이전', '확인', '취소', '닫기'와 같은 화면전환을 위한 버튼들의 촉각 아이콘 중 1 이상으로 구성될 수 있다. 즉, 제1 레이어(4100)는 상기 어플리케이션실행부(3000)으로부터 출력되는 상기 그래픽디스플레이의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 포함한다.
상기 제2 레이어(4200)는 메인 화면 영역으로 버튼, 메뉴, 폴더, 그래픽 정보 등에 대한 촉각 그래픽이 제공되는 레이어이다. 사용자는 제2 레이어(4200)를 통하여 그리기 입력을 수행하거나, 그래픽 정보를 인지하거나, GUI 요소들을 인지하거나, 사용자의 컨트롤 입력을 수행할 수 있다.
상기 제3 레이어(4300)는 상기 어플리케이션실행부(3000)으로부터 출력되는 촉각그래픽엘리먼트에 대한 세부정보를 점자형태로 표시하는 레이어이다. 사용자는 상기 제3 레이어(4300)로 출력되는 점자를 인지함으로써 촉각 엘리먼트들에 대한 세부 정보를 확인할 수 있다. 전술한 바와 같이, 이와 같은 세부정보의 확인은 상기 TTS변환부(2220)에 의하여 변환된 음성에 의하여도 이루어질 수 있다.
이상과 같은 촉각 인터페이스장치를 제어하는 방법에 의하면, WINDOWSTM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 시각장애인은 상기 제2 레이어(4200)를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해나갈 수 있다.
한편, 전술한 촉각 인터페이스장치를 제어하는 방법은 출력 및 입력이 가능한 촉각 인터페이스장치 및 이에 대한 제어의 양상에서 실시예가 서술되었으나, 본 발명은 이에 한정되지 않고, 출력만 가능한 촉각 인터페이스장치 혹은 입력만 가능한 촉각인터페이스 장치에 대한 제어방법을 포함한다.
이하에서는, 본 발명에 의한 촉각 인터페이스장치를 제어하는 방법에 의하여 변환되는 어플리케이션실행부(3000)에서 출력되는 그래픽디스플레이에 대한 실시예들에 대하여 설명하도록 한다. 이하에서의 설명에서는 도 21에 도시된 그래픽디스플레이의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 기설정된 변환규칙을 적용하도록 한다.
도 22은 컴퓨팅장치(B)의 표시화면(그래픽디스플레이)의 제1 예를 도시하는 도면이다.
도 22에서 포커스영역은 상기 어플리케이션이 실행되는 창에 해당하고, 포커스부분영역은 (1), (2), (3), (4)를 포함하는 제1 포커스부분영역 및 (5)를 포함하는 제2 포커스부분영역으로 나누어질 수 있다.
상기 (1)은 본 어플리케이션의 타이틀에 해당하고, 상기 (2)는 본 어플리케이션의 메뉴바에 해당하고, 상기 (3)은 본 어플리케이션의 '최소화'버튼에 해당하고, 상기 (4)는 본 어플리케이션의 '닫기'버튼에 해당하고, 상기 (5)는 본 어플리케이션에서 표시하는 객체들을 표시하는 창에 해당한다.
도 23는 도 22에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.
상기 (1), (2), (3), 및 (4)를 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(4100))로 변환 혹은 매핑되고, 상기 (5)를 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(4200))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 21에 도시된 규칙에 따른다.
한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(4100) 및 제2 레이어(4200)에서 사용자가 터치입력 혹은 지칭한 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.
예를들어 (1) 영역은 타이틀에 해당하고, 이는 도 21에 도시된 변환규칙에 의하여 기설정된 촉각 아이콘으로 변환되어, 촉각 그래픽의 제1 레이어(4100)에 구현된다. 이에 대해 사용자가 상기 (1) 영역에 해당하는 촉각 아이콘에 탭 등의 제스처를 취하는 경우, 상기 제3 레이어(4300)에서는 상기 타이틀의 세부정보에 해당하는 “Haptic Editor”를 점자형태로 출력한다.
도 24은 컴퓨팅장치(B)의 표시화면(그래픽디스플레이)의 제2 예를 도시하는 도면이다.
도 24의 그래픽디스플레이는 상기 도 22에 도시된 어플리케이션에서 (2) 영역에 해당하는 메뉴바를 선택하고, 이 중 'Page Control'을 입력 혹은 선택 했을 때의 그래픽디스플레이이다.
이 경우, 포커스영역은 상기 도 24에서 “Focused area”로 지칭되는 영역에 해당하고, 포커스부분영역은 (1)을 포함하는 제1 포커스부분영역 및 (2) 내지 (6)을 포함하는 제2 포커스부분영역으로 나누어질 수 있다.
상기 (1)은 메뉴바에서 선택한 타이틀에 해당하고, 상기 (2) 내지 (6)은 해당 타이틀 내에서 선택할 수 있는 서브메뉴에 해당한다.
도 25는 도 24에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.
상기 (1), (7)을 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(4100))로 변환 혹은 매핑되고, 상기 (2) 내지 (6)을 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(4200))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 21에 도시된 규칙에 따른다. 한편 (7)은 '뒤로가기'버튼에 대한 촉각 아이콘으로서, 실제로 어플리케이션의 그래픽디스플레이에는 포함되어 있지 않지만, 본 발명에 따른 제어방법에서 사용자의 편의성을 확대시키기 위하여 자체적으로 생성한 아이콘에 해당한다.
한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(4100) 및 제2 레이어(4200)에서 사용자가 터치입력 혹은 지칭한 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.
예를들어 (1) 영역은 타이틀에 해당하고, 이는 도 21에 도시된 변환규칙에 의하여 기설정된 촉각 아이콘으로 변환되어, 촉각 그래픽의 제1 레이어(4100)에 구현된다. 이에 대해 사용자가 상기 (1) 영역에 해당하는 촉각 아이콘에 탭 등의 제스처를 취하는 경우, 상기 제3 레이어(4300)에서는 상기 타이틀의 세부정보에 해당하는 “Page Control”을 점자형태로 출력한다.
도 26는 본 발명의 일 실시예에 따른 촉각 인터페이스장치로 시각장애인이 그림을 그리는 과정을 개략적으로 도시하는 도면이다.
본 발명에서와 같은 촉각 인터페이스장치 및 이를 제어하는 컴퓨팅장치(B)에 의하면, WINDOWSTM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 즉, 상기 어플리케이션이 그래픽 입력, 편집, 및 저장의 기능을 수행할 수 있는 어플리케이션인 경우, 기존의 시각장애인들이 활용하지 못하였던 컴퓨팅 장치에서 실행되는 그래픽 입력 및 이와 관련된 기능을 시각장애인이 활용할 수 있다. 구체적으로, 시각장애인은 상기 제2 레이어(4200)를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해 나갈 수 있다. 즉, 본 발명의 일 실시예에 따르면 시각장애인도 그래픽 입력, 편집, 및 저장을 용이하게 컴퓨터로 수행할 수 있다.
도 27은 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 27에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 촉각 인터페이스 장치에 연결된 사용자단말기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 27의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 27에 도시된 일부 컴포넌트가 생략되거나, 도 27에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 19에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 프로세서를 포함하는 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서,
    상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및
    상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고,
    상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하고,
    상기 촉각인터페이스장치에서의 입력은 사용자의 터치입력을 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  2. 청구항 1에 있어서,
    상기 입력정보생성단계는,
    상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하는 입력카테고리구분단계;
    상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는 어플리케이션입력생성단계;를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  3. 청구항 2에 있어서,
    상기 입력의 카테고리는 키입력 및 터치입력을 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  4. 청구항 3에 있어서,
    상기 입력의 카테고리가 터치입력인 경우, 상기 어플리케이션입력생성단계는 상기 터치입력이 기설정된 복수의 제스처 중 어느 하나와 매칭이 되는 지 여부를 판단하고, 매칭이 되는 제스처에 상응하는 어플리케이션입력을 생성하는, 촉각 인터페이스장치를 제어하는 방법.
  5. 청구항 4에 있어서,
    상기 입력의 카테고리가 터치입력인 경우, 상기 어플리케이션입력생성단계는 상기 터치입력이 제스처 입력에 해당하지 않고 입력좌표의 입력에 해당하는 지 여부를 판단하고,
    상기 터치입력이 입력좌표의 입력에 해당하는 경우, 촉각 인터페이스장치에서 입력된 입력좌표를 상기 어플리케이션에서의 입력좌표로 변환하는, 촉각 인터페이스장치를 제어하는 방법.
  6. 청구항 5에 있어서,
    상기 입력의 카테고리가 키입력인 경우, 상기 어플리케이션입력생성단계는,
    상기 키입력을 상기 어플리케이션으로 입력할 수 있는 형태의 입력으로 변환하는, 촉각 인터페이스장치를 제어하는 방법.
  7. 청구항 1에 있어서,
    상기 출력정보생성단계는,
    상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하고,
    상기 촉각 그래픽은 상기 촉각 그래픽데이터에 기초하여 구현되는, 촉각 인터페이스장치를 제어하는 방법.
  8. 청구항 7에 있어서,
    상기 출력정보생성단계는,
    상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지 판단하는 변경판단단계; 및
    상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 상기 표시화면에 대한 촉각그래픽데이터를 생성하는 촉각그래픽변환단계를 포함하는 촉각 인터페이스장치를 제어하는 방법.
  9. 청구항 8에 있어서,
    상기 촉각그래픽변환단계는,
    상기 어플리케이션으로부터 출력되는 표시화면에서의 상기 포커스영역을 포커스부분영역으로 구분하는 포커스부분영역구분단계; 및
    기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계;를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  10. 청구항 9에 있어서
    상기 촉각 그래픽은 복수의 레이어를 포함하고,
    상기 복수의 레이어 중 1 이상은 상기 어플리케이션으로부터의 출력 중 포커스영역의 표시화면을 변경시키는 명령을 실행하는 아이콘에 대응하는 촉각 아이콘을 표시하는, 촉각 인터페이스장치를 제어하는 방법.
  11. 청구항 9에 있어서,
    상기 촉각 그래픽은 복수의 레이어를 포함하고,
    상기 포커스부분영역은 상기 복수의 레이어에 대응하는, 촉각 인터페이스장치를 제어하는 방법.
  12. 청구항 7에 있어서,
    상기 포커스영역은 사용자의 이전의 입력 중 1 이상에 의하여 결정되는, 촉각 인터페이스장치를 제어하는 방법.
  13. 청구항 7에 있어서,
    상기 촉각그래픽변환단계는
    상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포커스영역으로 결정하는 포커스영역결정단계;
    상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계;
    기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 촉각그래픽엘리먼트변환단계; 및
    상기 촉각인터페이스장치에서 상기 촉각그래픽엘리먼트를 구현할 수 있는 촉각그래픽데이터를 생성하는 촉각그래픽데이터생성단계;를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  14. 청구항 13에 있어서,
    상기 출력정보생성단계는 사용자의 터치입력에 의한 입력좌표에 대응하는 촉각 그래픽엘리먼트의 세부정보에 기초하여, 상기 촉각 인터페이스장치에서 촉각픽셀로 표현할 수 있는 점자정보 혹은 상기 촉각 인터페이스장치에서 재생할 수 있는 사운드정보를 생성하고, 상기 촉각 인터페이스장치로의 출력정보는 상기 점자정보 혹은 상기 사운드정보를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  15. 비일시적 컴퓨터-판독가능 매체로서,
    상기 비일시적 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
    사용자와 상호작용을 할 수 있는 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및
    상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고,
    상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하고,
    상기 촉각인터페이스장치에서의 입력은 사용자의 터치입력을 포함하는, 비일시적 컴퓨터-판독가능 매체.
  16. 청구항 15에 있어서,
    상기 입력정보생성단계는,
    상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하는 입력카테고리구분단계;
    상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는 어플리케이션입력생성단계;를 포함하는, 비일시적 컴퓨터-판독가능 매체.
  17. 청구항 16에 있어서,
    상기 입력의 카테고리는 키입력 및 터치입력을 포함하는, 비일시적 컴퓨터-판독가능 매체.
  18. 1 이상의 프로세서 및 1 이상의 메모리를 포함하고, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치로서,
    촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력변환부;
    상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력변환부를 포함하고,
    상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하고,
    상기 촉각인터페이스장치에서의 입력은 사용자의 터치입력을 포함하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
  19. 청구항 18에 있어서,
    상기 입력변환부는 ,
    상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하는 입력카테고리구분단계; 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는 어플리케이션입력생성단계;를 수행하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
  20. 청구항 19에 있어서,
    상기 입력의 카테고리는 키입력 및 터치입력을 포함하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
PCT/KR2017/001189 2016-04-20 2017-02-03 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 Ceased WO2017183803A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/163,973 US10845880B2 (en) 2016-04-20 2018-10-18 Method, device, and computer-readable medium for controlling tactile interface device interacting with user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160048345A KR101800178B1 (ko) 2016-04-20 2016-04-20 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체
KR10-2016-0048345 2016-04-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/163,973 Continuation US10845880B2 (en) 2016-04-20 2018-10-18 Method, device, and computer-readable medium for controlling tactile interface device interacting with user

Publications (1)

Publication Number Publication Date
WO2017183803A1 true WO2017183803A1 (ko) 2017-10-26

Family

ID=60116847

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/001189 Ceased WO2017183803A1 (ko) 2016-04-20 2017-02-03 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체

Country Status (3)

Country Link
US (1) US10845880B2 (ko)
KR (1) KR101800178B1 (ko)
WO (1) WO2017183803A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
KR102066123B1 (ko) * 2018-05-25 2020-02-11 가천대학교 산학협력단 촉각인터페이스장치를 통하여 도서정보를 제공하는 시스템, 방법, 및 비일시적 컴퓨터-판독가능 매체
KR102108998B1 (ko) * 2018-05-25 2020-05-11 가천대학교 산학협력단 촉각인터페이스장치를 통하여 워드프로세서를 제공하는 시스템, 방법, 및 비일시적 컴퓨터-판독가능 매체
KR20210092296A (ko) * 2018-11-20 2021-07-23 택타일 엔지니어링, 엘엘씨 전자기 리프레시가능한 점자 판독기
US11373547B2 (en) * 2019-03-25 2022-06-28 Power Contents Technology Co., Ltd. Tactile display tablet
KR102270011B1 (ko) * 2019-12-02 2021-06-28 가톨릭관동대학교산학협력단 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법
KR102466488B1 (ko) 2020-07-31 2022-11-15 주식회사 닷 돌출형 기반 스마트 태블릿
KR102454604B1 (ko) * 2021-01-06 2022-10-14 주식회사 셀바스헬스케어 동작감지형 점자 디스플레이 장치의 제스처 명령 수행 방법 및 장치
KR102523368B1 (ko) 2022-11-25 2023-04-19 구민수 손목시계 형태의 터치 기반 웨어러블 점자 장치
WO2024136159A1 (ko) * 2022-12-21 2024-06-27 주식회사 닷 인터렉티브 정보 처리 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325688A (ja) * 1996-06-04 1997-12-16 Nec Corp 触覚ディスプレイ装置
JPH1069218A (ja) * 1996-08-29 1998-03-10 Yuseisho Tsushin Sogo Kenkyusho 視覚障害者用グラフィカルユーザーインターフェース方式
JPH11232024A (ja) * 1998-02-13 1999-08-27 Alpine Electron Inc 光学式位置検出装置
KR20120065779A (ko) * 2010-12-13 2012-06-21 가천대학교 산학협력단 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법
KR20140010756A (ko) * 2012-07-17 2014-01-27 주식회사 인프라웨어 문자/이미지/동영상 구현 기능을 구비한 시각장애인용 모바일 단말

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110020771A1 (en) 2009-07-23 2011-01-27 Rea Ryan M Electronic braille typing interface
KR20110063600A (ko) 2009-12-05 2011-06-13 이영익 시각장애우용 점자 입출력장치
KR20120063982A (ko) 2010-12-08 2012-06-18 한국전자통신연구원 시각장애 사용자를 위한 인터페이스 장치 및 방법
KR101861318B1 (ko) 2011-06-09 2018-05-28 삼성전자주식회사 터치 스크린을 구비한 기기의 인터페이스 제공 장치 및 방법
KR20120136900A (ko) * 2011-06-10 2012-12-20 삼성전자주식회사 터치 스크린을 구비한 기기에서 점자 입력을 위한 장치 및 방법
US20130029297A1 (en) * 2011-07-25 2013-01-31 Yu Jie Tsai Haptic graphic computer for blind people
US10444836B2 (en) * 2012-06-07 2019-10-15 Nook Digital, Llc Accessibility aids for users of electronic devices
US9142143B2 (en) 2013-03-06 2015-09-22 Venkatesh R. Chari Tactile graphic display
US9812033B2 (en) 2013-03-06 2017-11-07 Venkatesh R. Chari Tactile graphic display
US9965974B2 (en) * 2014-03-11 2018-05-08 Technologies Humanware Inc. Portable device with virtual tactile keyboard and refreshable Braille display
US10121335B2 (en) * 2014-07-18 2018-11-06 Google Technology Holdings LLC Wearable haptic device for the visually impaired
KR20160097414A (ko) 2015-02-06 2016-08-18 이강우 시각 장애인을 위한 터치 디바이스 입력 시스템 및 입력 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325688A (ja) * 1996-06-04 1997-12-16 Nec Corp 触覚ディスプレイ装置
JPH1069218A (ja) * 1996-08-29 1998-03-10 Yuseisho Tsushin Sogo Kenkyusho 視覚障害者用グラフィカルユーザーインターフェース方式
JPH11232024A (ja) * 1998-02-13 1999-08-27 Alpine Electron Inc 光学式位置検出装置
KR20120065779A (ko) * 2010-12-13 2012-06-21 가천대학교 산학협력단 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법
KR20140010756A (ko) * 2012-07-17 2014-01-27 주식회사 인프라웨어 문자/이미지/동영상 구현 기능을 구비한 시각장애인용 모바일 단말

Also Published As

Publication number Publication date
KR20170119970A (ko) 2017-10-30
KR101800178B1 (ko) 2017-12-20
US10845880B2 (en) 2020-11-24
US20190050057A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
WO2017183803A1 (ko) 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
WO2015016628A1 (en) Method and apparatus for displaying application
WO2019172658A1 (en) Electronic device with flexible display and method for operating same
WO2015199453A1 (en) Foldable electronic apparatus and interfacing method thereof
WO2020171287A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2018034400A1 (ko) 촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
WO2015037932A1 (en) Display apparatus and method for performing function of the same
WO2017082508A1 (ko) 와치형 단말기 및 그 제어방법
WO2017222346A1 (ko) 복합 휴먼 인터페이스가 구비된 전자기기
WO2017119529A1 (ko) 이동 단말기
WO2016032045A1 (ko) 이동 단말기 및 이의 제어 방법
WO2009145455A2 (ko) 데이터 입력장치
WO2017047854A1 (ko) 이동 단말기 및 그 제어방법
WO2018080006A1 (ko) 복합 휴먼 인터페이스가 구비된 전자기기 및 그 제어 방법
WO2016125962A1 (ko) 스타일러스 펜 및 터치 패널을 포함하는 이동 단말기 및 그 제어방법
WO2022025451A1 (ko) 슬라이딩 가능한 전자 장치 및 이의 제어 방법
WO2022005018A1 (ko) 디스플레이 장치 및 그의 제어 방법
WO2018008863A1 (ko) 휴대 장치 및 휴대 장치의 커서 제어방법
WO2022025720A1 (ko) 플렉서블한 디스플레이 모듈을 포함하는 전자 장치와 이의 동작 방법
EP3646155A1 (en) Electronic apparatus comprising force sensor and method for controlling electronic apparatus thereof
WO2015093666A1 (ko) 전자기기 및 전자기기의 제어방법
WO2023204439A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 전자 장치의 동작 방법
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2015160231A1 (ko) 복합휴먼 인터페이스 장치
WO2017111192A1 (ko) 롤러블 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17786072

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17786072

Country of ref document: EP

Kind code of ref document: A1