WO2013162236A1 - 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 - Google Patents

포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 Download PDF

Info

Publication number
WO2013162236A1
WO2013162236A1 PCT/KR2013/003421 KR2013003421W WO2013162236A1 WO 2013162236 A1 WO2013162236 A1 WO 2013162236A1 KR 2013003421 W KR2013003421 W KR 2013003421W WO 2013162236 A1 WO2013162236 A1 WO 2013162236A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
transparent display
virtual touch
image acquisition
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/003421
Other languages
English (en)
French (fr)
Inventor
김석중
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to US14/396,385 priority Critical patent/US20150116204A1/en
Priority to CN201380021497.9A priority patent/CN104246664B/zh
Publication of WO2013162236A1 publication Critical patent/WO2013162236A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention recognizes a part of the user's body using the image taken by the camera, calculates the contact point with the transparent display worn on the user's body from the virtual touch the content displayed on the contact point of the display interface of the electronic device
  • the present invention relates to a transparent display virtual touch device capable of manipulating information or obtaining content related information.
  • the present invention starts from a comparison of the conventional touch panel technology (no pointers) and the display pointer technology (dip pointers).
  • electronic devices having a touch panel such as a smart phone are widely used.
  • This touch panel technology has the advantage of not needing to display a pointer on the display, compared to electronic devices such as computers, smart TVs that can be operated with a conventional mouse. That is, the user does not need to move the pointer (cursor of the computer) to a corresponding position (for example, a program icon) in order to operate the electronic device. Instead, the user directly moves a finger over the icon and touches it.
  • the "pointer generation and movement step" which is essential for the existing electronic device control means, is omitted, and thus, the electronic device can be quickly and intuitively operated.
  • the touch panel technology cannot be used remotely because the user needs to touch the display surface directly. Therefore, even electronic devices employing touch panel technology have no choice but to rely on devices such as a conventional remote control for remote operation.
  • a device capable of generating a pointer at an accurate point such as touch panel technology, that is, a straight line of the user's eyes and fingers is displayed from the captured image after photographing the front of the display using two cameras.
  • a technique for generating a pointer at a contact point of a part has been disclosed in a published patent application document (Korean Patent Publication No. 2010-0129629 2010.12.09).
  • an object of the present invention is to provide a virtual touch device that enables a user to precisely operate a display unit that can be worn close to a face.
  • another object of the present invention is to provide a content that can be identified at any time on the user transparent display irrespective of the direction or position facing the user by using a transparent display wearable by the user.
  • Still another object of the present invention is to provide a transparent display virtual touch device capable of operating an electronic device or a related information not having a display unit.
  • a transparent display unit configured to be worn on the user's face and positioned in front of the eyes, and to display content on the screen, and one side of the transparent display unit
  • a first image acquisition unit attached to the first image acquisition unit for photographing the position of the user's eyes
  • a second image acquisition unit attached to one side of the transparent display unit to photograph the user's body
  • the first spatial coordinates and the second spatial coordinates are detected using three-dimensional coordinate data calculated using the photographed image, and a straight line connecting the first spatial coordinates and the second spatial coordinates is a display surface of the transparent display.
  • a virtual touch processing unit that calculates contact coordinate data meeting with.
  • the virtual touch processing unit may be integrated with the transparent display unit and the first and second image acquisition units, or separately configured as a portable terminal.
  • the virtual touch processing unit calculates three-dimensional coordinate data using the images captured by the first image acquisition unit and the second image acquisition unit, and extracts the first spatial coordinates and the second spatial coordinates, respectively.
  • a touch position calculation unit for calculating contact coordinate data where a calculation unit and a straight line connecting the first spatial coordinates and the second spatial coordinates extracted from the three-dimensional coordinate calculation unit meet with the transparent display unit, and the touch position calculation
  • a matching processing unit for selecting content displayed on the transparent display unit matching the contact coordinate data calculated by the unit, and outputting a command code for performing the selected content related service.
  • the virtual processor calculates the 3D coordinate data using a time of flight measurement method.
  • the command code is a command code for operating an interface of a specific electronic device, or by providing at least one of a building name, a house number, a trade name, a promotional text, and a service text according to a specific article (building) to display on the transparent display unit. Characterized in that the command code for.
  • the 3D coordinate calculator calculates a second spatial coordinate using a 3D coordinate extraction method based on the eye image of the user captured by the first image acquirer, and the user captured by the second image acquirer.
  • a first spatial coordinate is calculated using a three-dimensional coordinate extraction method based on a body image.
  • the three-dimensional coordinate calculation unit is composed of two or more image sensors disposed at different positions to capture the user's body at different angles, and images taken at different angles received from the image acquisition unit It characterized in that it comprises a spatial coordinate calculation unit for calculating the three-dimensional coordinate data of the user's body using an optical triangulation method based on.
  • the three-dimensional coordinate calculation unit is configured to obtain the three-dimensional coordinate data by projecting a coded pattern image to a user and processing an image of a scene in which structured light is projected.
  • the three-dimensional coordinate calculation unit is composed of a light source and a diffuser, an illumination assembly for projecting a speckle pattern on the user's body, an image sensor and a lens, the speckle on the user's body projected by the illumination assembly And a spatial coordinate calculator configured to calculate 3D coordinate data of the user's body based on the speckle pattern captured by the image acquirer.
  • the three-dimensional coordinate calculation unit is configured to be arranged in two or more different positions.
  • the first spatial coordinate is a three-dimensional coordinate of any one of the end of one finger of the user's finger, the end of the pointer held by the user with the finger, and the second spatial coordinate is one eye of the user. Characterized in that consisting of the three-dimensional coordinates of the center point.
  • the first spatial coordinates are three-dimensional coordinates of two or more fingertips of the user's fingers
  • the second spatial coordinates comprise three-dimensional coordinates of a center point of one eye of the user.
  • the transparent display virtual touch device has the following effects.
  • the transparent display virtual touch device since the transparent display virtual touch device according to the present invention has a structure of "user's eyes-a display-a user's finger", the display is located directly in front of the user's eyes so that the user accurately points to clearly displayed content on the display. There is an effect that can be done precisely.
  • the transparent display virtual touch device can be naturally moved according to the movement of the user's head by wearing the transparent display in front of the user's eyes. Accordingly, since the user's gaze points in any direction, the contents displayed on the transparent display can be viewed, and thus, the electronic device can be manipulated or selected at any time.
  • the present invention can also be used for the operation of the electronic device without a display unit. That is, in the present invention, since the transparent display unit attached to the front of the user's eyes can perform the same role as the display unit of the electronic device, the electronic device can be operated without the display unit.
  • various electronic devices such as lighting devices, refrigerators, air conditioners, printers, etc. are not provided with a display unit which can be viewed remotely by the user, but when using the transparent display virtual touch device according to the present invention, the operation of the various electronic devices This is possible.
  • FIG. 1 is a block diagram showing a virtual touch device using a transparent display according to an embodiment of the present invention
  • FIG. 2 is a block diagram illustrating a virtual touch device using a transparent display according to a preferred embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a three-dimensional coordinate calculator for optical triangulation in the three-dimensional coordinate extraction method in FIG. 2.
  • FIG. 4 is a block diagram illustrating a configuration of a 3D coordinate calculation unit for a structured light method among the 3D coordinate extraction methods in FIG. 2.
  • FIG. 5 is a flowchart illustrating a virtual touch method using a transparent display according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing a virtual touch device using a transparent display according to a preferred embodiment of the present invention
  • Figure 2 is a block diagram showing a virtual touch device using a transparent display according to a preferred embodiment of the present invention.
  • the virtual touch device is configured to be worn on a user's face and positioned in front of the eyes, and is attached to one side of the transparent display unit 20 and a transparent display unit 20 displaying content on a screen.
  • the first spatial coordinates and the second spatial coordinates are detected using three-dimensional coordinate data calculated using the images captured by the unit 30 and the second image acquisition unit 40, respectively.
  • a virtual touch processor 100 that calculates contact coordinate data where a straight line connecting the second spatial coordinates meets the display surface of the transparent display 20.
  • the virtual touch processing unit 100 may be integrated with the transparent display unit 20 and the first and second image acquisition units 30 and 40, or other components 20, 30 and 40. In addition, it may be configured as an independent portable terminal.
  • the virtual touch processing unit 100 calculates three-dimensional coordinate data using the images captured by the first image acquisition unit 30 and the second image acquisition unit 40, respectively, and includes first and second spatial coordinates.
  • the three-dimensional coordinate calculation unit 110 for extracting the spatial coordinates and a straight line connecting the first spatial coordinates (B) and the second spatial coordinates (A) extracted from the three-dimensional coordinate calculation unit 110 are transparent.
  • a matching processor 130 for outputting a command code for performing the selected content related service.
  • the content includes at least one of an image, a video, a text, an image, and 3D.
  • the command code is a command code for interface operation of a specific electronic device, or various information such as a building name, a house number, a trade name, a promotional text, a service text, etc. according to a specific article (building), the transparent display unit 20.
  • Command code to provide to and display.
  • various information such as a building name, a house number, a trade name, a promotional phrase, a service phrase, etc. according to the command code and a specific item (building) are stored in advance in a storage unit (not shown) of the virtual touch processing unit 100.
  • various information such as the building name may be previously stored outside the virtual touch device and then transmitted through a network such as the Internet.
  • the 3D coordinate calculation unit 110 performs 3D coordinates based on the eye image of the user captured by the first image acquisition unit 30.
  • the second spatial coordinate A is calculated by using an extraction method
  • the first spatial coordinate B is obtained by using a three-dimensional coordinate extraction method based on a user's body (finger) image captured by the second image acquisition unit 40. ) Is calculated.
  • the three-dimensional coordinate extraction methods include optical triangulation, structured light, time of flight (Time of Flight), etc. (Currently, the exact classification method is not established in relation to the three-dimensional coordinate calculation method overlapping each other May be included), any method or apparatus capable of extracting three-dimensional coordinates of the user's body is applicable.
  • FIG. 3 is a block diagram illustrating a configuration of a three-dimensional coordinate calculator for optical triangulation in the three-dimensional coordinate extraction method in FIG. 2.
  • the 3D coordinate calculation unit 110 for the optical triangulation method includes an image acquisition unit 111 and a spatial coordinate calculation unit 112.
  • the image acquisition unit 111 is a kind of camera module, and is composed of two or more image sensors 111a and 111b disposed at different positions such as CCD or CMOS for detecting an image and converting the image into an electrical image signal. Shoot your body from different angles.
  • the spatial coordinate calculating unit 112 calculates three-dimensional coordinate data of the user's body by using optical triangulation based on images captured at different angles received from the image obtaining unit 111.
  • the optical triangulation method can obtain three-dimensional information by applying optical triangulation to the feature points corresponding to the captured image.
  • Various methods of extracting three-dimensional coordinates by applying trigonometric methods are commonly used camera self calibration, Harris corner extraction, SIFT, RANSAC, and Tsai.
  • FIG. 4 is a block diagram illustrating a configuration of a three-dimensional coordinate calculator for a structured light method among the three-dimensional coordinate extraction methods in FIG. 2.
  • the 3D coordinate calculation unit 110 is configured to obtain the 3D coordinate data by projecting a coded pattern image to a user and processing an image of a scene in which structured light is projected.
  • an diffuser (113b) an illumination assembly (113) for projecting a speckle pattern on the user's body, an image sensor (114a) and a lens (114b), and projected by the illumination assembly (113).
  • the 3D coordinate data of the user's body is calculated using a structured light method based on the image acquisition unit 114 and the speckle pattern captured by the image acquisition unit 114.
  • a spatial coordinate calculator 115 is configured to obtain the 3D coordinate data by projecting a coded pattern image to a user and processing an image of a scene in which structured light is projected.
  • an diffuser 113b
  • an illumination assembly (113) for projecting a speckle pattern on the user's body an image sensor (114a) and a lens (114b), and projected by the illumination assembly (113).
  • a method of calculating three-dimensional coordinate data using a time of flight (TOF) method may be used.
  • TOF time of flight
  • the three-dimensional coordinate calculation techniques are variously existing, and those skilled in the art to which the present invention pertains may be easily understood and implemented, and thus description thereof will be omitted.
  • the patent documents related to the method of calculating three-dimensional coordinate data using two-dimensional images are disclosed in Korean Patent Publication Nos. 10-0021803, 10-2004-0004135, 10-2007-0066382, and 10-2007. There are many such as -0117877.
  • the touch position calculator 120 uses the first spatial coordinates (finger) and the second spatial coordinates (eye) extracted by the 3D coordinate calculator 110 to calculate the first spatial coordinates and the second spatial coordinates.
  • a straight line to connect serves to calculate contact coordinate data that meets the transparent display unit 20.
  • a finger is used as the first spatial coordinate (B).
  • the finger is the only part of the human body that allows sophisticated and delicate manipulation.
  • the precise pointing can be performed.
  • it is very effective to use the tip of the thumb and / or forefinger as the first spatial coordinate B in the present invention.
  • a pointed tip eg, a pen tip held by the finger may be used instead of the tip of the finger serving as the first spatial coordinate B.
  • the second spatial coordinate A uses a center point of one eye of the user. For example, if a user places an index finger in front of both eyes, the index finger will appear as two. This occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes). However, if you look at your index finger with only one eye, your index finger will be clearly visible. Also, even if you do not sense one eye, you can see the forefinger clearly even if you look consciously with only one eye. Most sports events that require a high degree of accuracy in aiming, such as shooting and archery, follow this principle.
  • the present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to accurately view the first spatial coordinate (B) to point the contact coordinate data of the content displayed on the transparent display unit 20 that matches the first spatial coordinate (B).
  • the first spatial coordinate is a three-dimensional coordinate of any one of the end of the finger of the user finger, the end of the pointer held by the user with the finger
  • the second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
  • the first spatial coordinates may be three-dimensional coordinates of the ends of two or more of the fingers of the user.
  • the matching processor 130 may include a transparent display unit that matches the contact coordinate data calculated by the touch position calculator 120 when there is no change in the contact coordinate data from a time at which initial contact coordinate data is calculated. 20) Select the content displayed on.
  • the matching processor 130 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the first spatial coordinate and the second Contents displayed on the transparent display unit 20 that match the contact coordinate data calculated by the touch position calculator 120 when the distance change by the predetermined distance is greater than or equal to the distance determined between the spatial coordinates. Select.
  • the variation of the contact coordinate data is within the range of a setting area, it may be formed to be considered that there is no variation of the contact coordinate data. That is, when the user points to the tip of the finger or the tip of the pointer, it is very difficult for the user to keep the contact coordinates as there is a slight movement or trembling of the body or the finger due to the physical characteristics. Therefore, when the contact coordinate data value is within a predefined setting range, it is considered that there is no change in the contact coordinate data.
  • FIGS. 1 to 3 refer to the same members performing the same functions.
  • FIG. 5 is a flowchart illustrating a virtual touch method using a transparent display according to an embodiment of the present invention.
  • the 3D coordinate calculation unit 110 is based on the eye image of the user captured by the first image acquisition unit 30.
  • the second spatial coordinate A is calculated using the three-dimensional coordinate extraction method
  • the first spatial coordinate is calculated using the three-dimensional coordinate extraction method based on the user's body image photographed by the second image acquisition unit 40.
  • (B) is calculated (S10).
  • the three-dimensional coordinate extraction methods include optical triangulation, structured light, time of flight (Time of Flight), etc. (Currently, the exact classification method is not established in relation to the three-dimensional coordinate calculation method overlapping each other May be included), any method or apparatus capable of extracting three-dimensional coordinates of the user's body is applicable.
  • the first spatial coordinate is a three-dimensional coordinate of any one of the end of a finger of the user finger, the end of the pointer held by the user with the finger, and the second spatial coordinate is a three-dimensional coordinate of the center point of one eye of the user. It is preferable that it is a coordinate.
  • the touch position calculator 120 has a straight line connecting the first spatial coordinates B and the second spatial coordinates A extracted from the three-dimensional coordinate calculator 110 with the transparent display unit 20.
  • the contact point coordinate data that is met is calculated (S20).
  • the absolute coordinate method, the relative coordinate method, and the method of calculating the contact coordinate data where a straight line connecting the first spatial coordinate B and the second spatial coordinate A to each other meet the transparent display unit 20. Can be obtained by operator selection.
  • the absolute coordinate method is a method of obtaining an absolute coordinate of a spatial coordinate by inverting a viewpoint that matches a 3D map and a projected screen.
  • this method can obtain fast results by limiting objects to match the camera screen through the position data of various paths such as GPS, gyro sensor, compass, or base station information.
  • the second method is a method in which a camera having a fixed absolute coordinate in space helps the operator convert the relative coordinate to the absolute coordinate.
  • this method corresponds to a spatial type when the camera with absolute coordinates reads hands and eyes, and the technique here refers to a form in which the spatial type provides a point that becomes the absolute coordinate of the personal type.
  • the third, operator selection method displays the contents of the corresponding range based on the information that can be obtained, such as the current smartphone AR service, and includes a range of errors without accurate absolute coordinates through the selection method by the user. Display the menu and select it so that the user can eliminate the error himself and get the result.
  • the matching processing unit 130 selects the content displayed on the transparent display unit 20 matching the contact coordinate data calculated by the touch position calculating unit 120 (S30).
  • the content displayed on the transparent display unit 20 includes at least one of an image, a video, a text, an image, and 3D.
  • the matching processor 130 outputs a command code for performing the selected content related service to operate an interface of the electronic device according to the selected content related service, or to display information about the article (building) on the display unit 20.
  • the content-related service may include a menu for information such as a building name, branch number, trade name, promotional text, service text, or description of works such as a work of art or collectibles, etc. through 3D map information, or specific information. It may also include an operation menu for operating the interface of the electronic device.
  • the present invention recognizes a part of the user's body using the image taken by the camera, calculates the contact point with the transparent display worn on the user's body from the virtual touch the content displayed on the contact point of the display interface of the electronic device There is industrial applicability by manipulating.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
본 발명은 카메라에서 촬영된 영상을 이용하여 사용자 신체의 일부분을 인식한 후 이로부터 사용자 신체에 착용한 투명 디스플레이와의 접점을 계산한 후 디스플레이의 접점에 표시되는 컨텐츠를 가상 터치하여 전자기기의 인터페이스를 조작 또는 컨텐츠 관련 정보를 획득할 수 있는 투명 디스플레이 가상 터치 장치에 관한 것이다.
본 발명은 종래 터치패널 기술(무포인터)과 디스플레이의 포인터 기술(유포인터)의 비교에서 출발한다. 최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 널리 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터, 스마트TV 등의 전자기기와 비교할 때, 디스플레이에 포인터를 표시할 필요가 없다는 장점이 있다. 즉, 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 직접 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 "포인터 생성 및 이동단계"가 생략되어 전자기기의 빠르고 직관적인 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야 하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이부와 만나는 접점에 포인터를 생성시키는 기술이 공개된 특허출원 문헌(국내공개특허 제2010-0129629호 2010.12.09)에서 공개된 바 있다.
그러나 이러한 종래기술들은 전자기기의 조작 또는 정보 획득을 위한 디스플레이부가 사용자의 자리로부터 원격에 위치하므로 상대적으로 정교한 조작이 어려운 문제점이 있다.
또한, 전자기기의 조작 또는 정보 획득을 위한 가상 터치를 위해서 반드시 디스플레이 방향으로 사용자의 시선을 고정한 후 가상 터치 동작을 수행하여야만 하는 불편함이 있다.
아울러, 디스플레이부가 구비되어 있지 않은 전자기기의 경우에는 조작 자체가 불가능한 문제점이 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 얼굴에 근접 착용 가능한 디스플레이부를 통해 사용자가 정교한 조작이 가능하게 하는 가상 터치 장치를 제공하는데 목적이 있다.
또한, 본 발명의 다른 목적은 사용자가 착용 가능한 투명 디스플레이를 사용함으로써 사용자가 향하고 있는 방향이나 위치에 상관없이 사용자 투명 디스플레이상에서 언제나 컨텐츠가 식별 가능하도록 제공하는데 목적이 있다.
본 발명의 또 다른 목적은 디스플레이부를 가지지 않는 전자기기의 조작 또는 관련 정보의 획득이 가능한 투명 디스플레이 가상 터치 장치를 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 투명 디스플레이를 이용한 가상 터치 장치의 특징은 사용자 얼굴에 착용되도록 구성되어 눈앞에 위치되고, 화면에 컨텐츠를 표시하는 투명 디스플레이부와, 상기 투명 디스플레이부의 일측에 부착되어 사용자 눈의 위치를 촬영하는 제 1 영상 획득부와, 상기 투명 디스플레이부의 일측에 부착되어 사용자 신체를 촬영하는 제 2 영상 획득부와, 상기 제 1 영상 획득부 및 제 2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 산출된 3차원 좌표 데이터를 이용하여 제1 공간좌표 및 제2 공간좌표를 검출하고, 상기 제1 공간좌표 및 제2 공간좌표를 연결하는 직선이 상기 투명 디스플레이의 표시면과 만나는 접점 좌표 데이터를 산출하는 가상 터치 처리부를 포함하여 구성되는데 있다.
바람직하게 상기 가상 터치 처리부는 투명 디스플레이부 및 제 1, 2 영상 획득부와 일체형으로 구성되거나, 또는 별도로 독립적인 휴대 가능한 단말기로 구성되는 것을 특징으로 한다.
바람직하게 상기 가상 터치 처리부는 상기 제 1 영상 획득부 및 제 2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 3차원 좌표 데이터를 산출하고, 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부로부터 추출한 상기 제 1 공간좌표 및 제 2 공간좌표를 서로 연결하는 직선이 상기 투명 디스플레이부와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부에 표시되는 컨텐츠를 선택하고, 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하는 매칭 처리부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 가상 처리부는 시간지연측정법(Time of Flight)을 이용하여 상기 3차원 좌표 데이터를 산출하는 것을 특징으로 한다.
바람직하게 상기 명령코드는 특정 전자기기의 인터페이스 조작을 위한 명령코드이거나, 또는 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구 중 적어도 하나를 상기 투명 디스플레이부에 제공하여 표시하기 위한 명령코드인 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 상기 제 1 영상 획득부에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표를 산출하고, 상기 제 2 영상 획득부에서 촬영한 사용자 신체 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표를 산출하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와, 이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 투명 디스플레이 가상 터치 장치는 다음과 같은 효과가 있다.
첫째, 본 발명에 따른 투명 디스플레이 가상 터치 장치는 "사용자의 눈 - 디스플레이 - 사용자의 손가락"의 구조를 가지기 때문에, 사용자의 눈 바로 전면에 디스플레이가 위치하여 사용자는 디스플레이에 선명하게 표시된 컨텐츠를 정확하게 포인팅할 수 있어 정교한 조작이 가능한 효과가 있다.
둘째, 본 발명에 따른 투명 디스플레이 가상 터치 장치는 사용자의 눈 바로 앞에 투명 디스플레이를 착용함으로써 사용자의 머리 움직임에 따라 투명 디스플레이도 자연스럽게 이동이 가능하다. 이에 따라 사용자의 시선이 어느 방향을 가리키든지 투명 디스플레이에 표시된 컨텐츠를 볼 수 있어서 언제든지 전자기기의 조작 또는 정보 선택이 가능한 장점이 있다.
셋째, 본 발명에서는 디스플레이부가 없는 전자기기의 조작에도 사용될 수 있다. 즉, 본 발명에서는 사용자의 눈 바로 앞에 부착되어 있는 투명 디스플레이부가 전자기기의 디스플레이부와 같은 역할 수행이 가능하므로 디스플레이부가 없는 전자기기의 조작이 가능하다. 예를 들면, 조명기기, 냉장고, 에어컨, 프린터 등 다양한 전자기기의 경우 원격에서 사용자가 볼 수 있는 디스플레이부를 별도로 구비하고 있지 않지만 본 발명에 따른 투명 디스플레이 가상 터치 장치를 사용할 경우 이러한 각종 전자기기의 조작이 가능하다.
도 1 은 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 구성도
도 2 는 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 블록도
도 3 은 도 2에서 3차원 좌표 추출 방법 중 광학식 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 4 는 도 2에서 3차원 좌표 추출 방법 중 구조광 방식을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 5 는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 가상 터치 방법을 설명하기 위한 흐름도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 투명 디스플레이를 이용한 가상 터치 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 구성도이고, 도 2 는 본 발명의 바람직한 실시예에 따른 투명 디스플레이를 이용한 가상 터치 장치를 나타낸 블록도이다.
도 1 및 도 2와 같이, 가상 터치 장치는 사용자 얼굴에 착용되도록 구성되어 눈앞에 위치되고, 화면에 컨텐츠를 표시하는 투명 디스플레이부(20)와, 상기 투명 디스플레이부(20)의 일측에 부착되어 사용자 눈의 위치를 촬영하는 제 1 영상 획득부(30)와, 상기 투명 디스플레이부(20)의 일 측에 부착되어 사용자 신체를 촬영하는 제 2 영상 획득부(40)와, 상기 제 1 영상 획득부(30) 및 제 2 영상 획득부(40)를 통해 촬영된 영상을 이용하여 각각 산출된 3차원 좌표 데이터를 이용하여 제 1 공간좌표 및 제 2 공간좌표를 검출하고, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 투명 디스플레이(20)의 표시면과 만나는 접점 좌표 데이터를 산출하는 가상 터치 처리부(100)를 포함한다. 이때, 상기 가상 터치 처리부(100)는 투명 디스플레이부(20) 및 제 1, 2 영상 획득부(30)(40)와 일체형으로 구성되거나, 또는 다른 구성요소들(20)(30)(40)과는 별도로 독립적인 휴대 가능한 단말기로 구성될 수 있다.
상기 가상 터치 처리부(100)는 상기 제 1 영상 획득부(30) 및 제 2 영상 획득부(40)를 통해 촬영된 영상을 이용하여 각각 3차원 좌표 데이터를 산출하고, 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부(110)와, 상기 3차원 좌표 산출부(110)로부터 추출한 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부(120)와, 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택하고, 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하는 매칭 처리부(130)를 포함한다. 상기 컨텐츠는 영상, 동영상, 텍스트, 이미지, 3D 중 적어도 하나 이상을 포함한다.
이때, 상기 명령코드는 특정 전자기기의 인터페이스 조작을 위한 명령코드이거나, 또는 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구등과 같은 다양한 정보를 상기 투명 디스플레이부(20)에 제공하여 표시하기 위한 명령코드이다. 한편, 상기 명령코드 및 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구등과 같은 다양한 정보는 상기 가상 터치 처리부(100)의 저장부(미도시)에 미리 저장되어 있다. 또한, 상기 건물명 등 다양한 정보는 가상 터치 장치 외부에서 미리 저장된 후 인터넷 등 네트워크를 통하여 전송될 수도 있다.
상기 3차원 좌표 산출부(110)는 사용자가 원격에서 손 등을 통한 가상 터치를 이용하여 선택 조작을 수행하면, 제 1 영상 획득부(30)에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표(A)를 산출하고, 제 2 영상 획득부(40)에서 촬영한 사용자 신체(손가락) 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표(B)를 산출한다. 이때, 상기 3차원 좌표 추출 방법으로는 광학적 삼각측량법, 구조광방식, 시간지연측정법(Time of Flight) 등 다수 있으며(현재 3차원 좌표 산출방식과 관련하여 정확한 분류 방식이 확립되어 있지 않아 서로 중복되어 포함되는 방식이 있을 수 있음), 사용자 신체의 3차원 좌표를 추출할 수 있는 어떠한 방식 또는 장치도 적용이 가능하다.
도 3 은 도 2에서 3차원 좌표 추출 방법 중 광학식 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도이다.
도 3과 같이, 광학식 삼각측량법을 위한 3차원 좌표 산출부(110)는 영상 획득부(111)와, 공간좌표 산출부(112)를 포함한다.
상기 영상 획득부(111)는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 서로 다른 위치에 배치되는 2개 이상의 이미지 센서(111a)(111b)로 구성되어 각기 다른 각도에서 사용자 신체를 촬영한다. 그리고 상기 공간좌표 산출부(112)는 영상 획득부(111)로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출한다.
이처럼, 광학식 삼각측량법은 촬영한 영상 간에 대응되는 특징점들에게 광학적인 삼각 측량법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법을 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다.
도 4 는 도 2에서 3차원 좌표 추출 방법 중 구조광 방식을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도이다.
도 4에서 3차원 좌표 산출부(110)는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 방법으로, 광원(113a)과 산광기(113b)로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리(113)와, 이미지센서(114a) 및 렌즈(114b)로 구성되어, 상기 조명어셈블리(113)에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부(114)와, 상기 영상 획득부(114)에서 캡처한 스페클 패턴을 기반으로 구조광 방식을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부(115)를 포함한다.
또한, 본 발명의 또 다른 실시예로서 시간지연측정법(Time of Flight : TOF) 방식을 활용한 3차원 좌표 데이터 산출방법도 활용될 수도 있을 것이다.
위와 같이 3차원 좌표 산출 기법들은 기존에 다양하게 존재하고 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
한편, 상기 터치 위치 산출부(120)는 3차원 좌표 산출부(110)에서 추출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
이때, 상기 제 1 공간좌표(B)로는 손가락을 이용한다. 즉, 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라, 본 발명에서 제 1 공간좌표(B)로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것이 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표(B)의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜끝)를 사용할 수도 있다.
또한 상기 제 2 공간좌표(A)로는 사용자의 한쪽 눈의 중심점을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표(B)를 정확히 볼 수 있어야 제 1 공간좌표(B)와 일치되는 상기 투명 디스플레이부(20)에 표시되는 컨텐츠의 접점 좌표 데이터를 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝이 3차원 좌표들이 될 것이다.
그리고 상기 매칭 처리부(130)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택한다.
또한 상기 매칭 처리부(130)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택한다.
한편, 상기 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 포인팅 할 때, 신체 특성상 신체 또는 손가락의 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 미리 정의된 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
이와 같이 구성된 본 발명에 따른 투명 디스플레이를 이용한 가상 터치 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 3과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 5 는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 가상 터치 방법을 설명하기 위한 흐름도이다.
도 5를 참조하여 설명하면, 먼저 사용자가 원격에서 가상터치를 이용하여 선택 조작을 수행하면, 3차원 좌표 산출부(110)는 제 1 영상 획득부(30)에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표(A)를 산출하고, 또한 제 2 영상 획득부(40)에서 촬영한 사용자 신체 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표(B)를 산출한다(S10). 이때, 상기 3차원 좌표 추출 방법으로는 광학적 삼각측량법, 구조광방식, 시간지연측정법(Time of Flight) 등 다수 있으며(현재 3차원 좌표 산출방식과 관련하여 정확한 분류 방식이 확립되어 있지 않아 서로 중복되어 포함되는 방식이 있을 수 있음), 사용자 신체의 3차원 좌표를 추출할 수 있는 어떠한 방식 또는 장치도 적용이 가능하다.
상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 한쪽 눈의 중심점의 3차원 좌표인 것이 바람직하다.
이어 터치 위치 산출부(120)는 상기 3차원 좌표 산출부(110)로부터 추출한 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출한다(S20).
한편, 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 투명 디스플레이부(20)와 만나는 접점 좌표 데이터를 산출하는 방법으로는 절대좌표방법, 상대 좌표방법 및 조작자 선택방법으로 구할 수 있다.
첫 번째인 절대좌표방법은 3차원 맵(map)과 투영된 화면을 매칭하는 시점을 역산하여 공간 좌표의 절대좌표를 얻는 방식이다. 즉, 이 방법은 GPS, 자이로센서, 나침반, 또는 기지국 정보 등 취득 가능한 다양한 경로의 위치 데이터를 통하여 카메라 화면과 매칭할 대상을 한정하여 빠른 결과물을 얻어낼 수 있다.
두 번째인 상대좌표 방법은 공간에 고정된 절대좌표를 가진 카메라가 조작자의 상대좌표의 절대좌표로의 전환을 돕는 방식이다. 즉, 이 방법은 절대좌표를 가진 카메라가 손과 눈을 읽는 경우는 공간형에 해당하며, 여기서의 기술은 개인형의 절대 좌표가 되는 한 점을 공간형이 제공하는 형태를 말한다.
마지막 세 번째인 조작자 선택방법은 현재의 스마트폰 AR 서비스와 같이 취득 가능한 정보를 기반으로 해당 범위의 컨텐츠를 디스플레이하고, 사용자에 의한 선택의 방식을 통하여 정확한 절대좌표 없이 오차범위를 포함할 수 있는 선택 메뉴를 디스플레이 한 뒤 선택하여 사용자가 스스로 오차를 배제하도록 하여 결과물을 얻게 된다.
다음으로, 매칭 처리부(130)는 상기 터치 위치 산출부(120)에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부(20)에 표시되는 컨텐츠를 선택한다(S30). 이때, 상기 투명 디스플레이부(20)에 표시되는 컨텐츠는 영상, 동영상, 텍스트, 이미지, 3D 중 적어도 하나 이상을 포함한다.
그리고 상기 매칭 처리부(130)는 상기 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하여 선택된 컨텐츠 관련 서비스에 따른 전자기기의 인터페이스를 조작하거나, 또는 물품(건물)에 따른 정보를 디스플레이부(20)에 제공하여 표시한다(S40). 상기 컨텐츠 관련 서비스는 3차원 지도정보를 통해 건물이나 위치의 건물명, 지번, 상호, 홍보 문구, 서비스 문구 등의 정보 또는 미술품이나 수집품 등과 같은 작품들의 설명 등을 위한 메뉴를 포함할 수도 있으며, 또는 특정 전자기기의 인터페이스 조작을 위한 조작 메뉴를 포함할 수도 있다. 그러나 이는 바람직한 일 실시예일 뿐, 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 카메라에서 촬영된 영상을 이용하여 사용자 신체의 일부분을 인식한 후 이로부터 사용자 신체에 착용한 투명 디스플레이와의 접점을 계산한 후 디스플레이의 접점에 표시되는 컨텐츠를 가상 터치하여 전자기기의 인터페이스를 조작하는 것으로 산업상 이용가능성이 있다.

Claims (12)

  1. 사용자 얼굴에 착용되도록 구성되어 눈앞에 위치되고, 화면에 컨텐츠를 표시하는 투명 디스플레이부와,
    상기 투명 디스플레이부의 일측에 부착되어 사용자 눈의 위치를 촬영하는 제 1 영상 획득부와,
    상기 투명 디스플레이부의 일측에 부착되어 사용자 신체를 촬영하는 제 2 영상 획득부와,
    상기 제 1 영상 획득부 및 제2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 산출된 3차원 좌표 데이터를 이용하여 제 1 공간좌표 및 제 2 공간좌표를 검출하고, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 투명 디스플레이의 표시면과 만나는 접점 좌표 데이터를 산출하는 가상 터치 처리부를 포함하여 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치.
  2. 제 1 항에 있어서,
    상기 가상 터치 처리부는 투명 디스플레이부 및 제 1, 2 영상 획득부와 일체형으로 구성되거나, 또는 별도로 독립적인 휴대 가능한 단말기로 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  3. 제 1 항에 있어서, 상기 가상 터치 처리부는
    상기 제 1 영상 획득부 및 제 2 영상 획득부를 통해 촬영된 영상을 이용하여 각각 3차원 좌표 데이터를 산출하고, 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와,
    상기 3차원 좌표 산출부로부터 추출한 상기 제 1 공간좌표 및 제 2 공간좌표를 서로 연결하는 직선이 상기 투명 디스플레이부와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 접점 좌표 데이터와 매칭되는 투명 디스플레이부에 표시되는 컨텐츠를 선택하고, 선택된 컨텐츠 관련 서비스를 수행하는 명령코드를 출력하는 매칭 처리부를 포함하여 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  4. 제 1 항에 있어서,
    상기 가상 터치 처리부는 시간지연측정법(Time of Flight)을 이용하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  5. 제 3 항에 있어서,
    상기 명령코드는 특정 전자기기의 인터페이스 조작을 위한 명령코드이거나, 또는 특정 물품(건물)에 따른 건물명, 지번, 상호, 홍보 문구, 서비스 문구 중 적어도 하나를 상기 투명 디스플레이부에 제공하여 표시하기 위한 명령코드인 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  6. 제 3 항에 있어서, 상기 3차원 좌표 산출부는
    상기 제 1 영상 획득부에서 촬영한 사용자의 눈 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 2 공간좌표를 산출하고, 상기 제 2 영상 획득부에서 촬영한 사용자 신체 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 제 1 공간좌표를 산출하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  7. 제 6 항에 있어서, 상기 3차원 좌표 산출부는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  8. 제 6 항에 있어서,
    상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  9. 제 8 항에 있어서, 상기 3차원 좌표 산출부는
    광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와,
    이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와,
    상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  10. 제 8 항에 있어서,
    상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  11. 제 1 항 또는 제 3 항에 있어서,
    상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고,
    상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
  12. 제 1 항 또는 제 3 항에 있어서,
    상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 포인터를 표시하지 않는 투명 디스플레이를 이용한 가상 터치 장치.
PCT/KR2013/003421 2012-04-23 2013-04-22 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 Ceased WO2013162236A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/396,385 US20150116204A1 (en) 2012-04-23 2013-04-22 Transparent display virtual touch apparatus not displaying pointer
CN201380021497.9A CN104246664B (zh) 2012-04-23 2013-04-22 不显示指针的透明显示器虚拟触摸装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120041985A KR101343748B1 (ko) 2012-04-23 2012-04-23 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR10-2012-0041985 2012-04-23

Publications (1)

Publication Number Publication Date
WO2013162236A1 true WO2013162236A1 (ko) 2013-10-31

Family

ID=49483467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003421 Ceased WO2013162236A1 (ko) 2012-04-23 2013-04-22 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치

Country Status (4)

Country Link
US (1) US20150116204A1 (ko)
KR (1) KR101343748B1 (ko)
CN (1) CN104246664B (ko)
WO (1) WO2013162236A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630155A (zh) * 2014-11-25 2016-06-01 三星电子株式会社 用于提供三维（3d）交互的计算设备和方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609581B2 (en) * 2014-01-21 2017-03-28 Qualcomm Incorporated Parameters for device to device discovery
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
KR102279681B1 (ko) * 2014-05-26 2021-07-20 에스케이플래닛 주식회사 동공인식을 이용한 광고 제공 장치 및 방법
KR101709611B1 (ko) * 2014-10-22 2017-03-08 윤영기 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
AU2018257776A1 (en) * 2017-04-24 2019-10-31 Magic Leap, Inc. Tracking optical flow of backscattered laser speckle patterns
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
CN108388347B (zh) * 2018-03-15 2021-05-25 网易（杭州）网络有限公司 虚拟现实中的交互控制方法和装置及存储介质、终端
TWI691870B (zh) 2018-09-17 2020-04-21 財團法人工業技術研究院 虛實影像的互動方法及裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021988A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 원격 손가락 조종기
KR20100075281A (ko) * 2008-12-24 2010-07-02 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
KR101141087B1 (ko) * 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
JP2010107685A (ja) * 2008-10-30 2010-05-13 Fujifilm Corp ３次元表示装置および方法並びにプログラム
CN101866235B (zh) * 2010-02-10 2014-06-18 张强 一种三维空间的多点触控或多笔书写屏
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
WO2012054063A1 (en) * 2010-10-22 2012-04-26 Hewlett-Packard Development Company L.P. An augmented reality display system and method of display
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021988A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 원격 손가락 조종기
KR20100075281A (ko) * 2008-12-24 2010-07-02 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630155A (zh) * 2014-11-25 2016-06-01 三星电子株式会社 用于提供三维（3d）交互的计算设备和方法
CN105630155B (zh) * 2014-11-25 2020-03-17 三星电子株式会社 用于提供三维(3d)交互的计算设备和方法

Also Published As

Publication number Publication date
US20150116204A1 (en) 2015-04-30
KR101343748B1 (ko) 2014-01-08
CN104246664B (zh) 2017-03-15
KR20130119094A (ko) 2013-10-31
CN104246664A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
US10261595B1 (en) High resolution tracking and response to hand gestures through three dimensions
EP3469457B1 (en) Modular extension of inertial controller for six dof mixed reality input
WO2012111998A2 (ko) 포인터를 사용하지 않는 가상 터치 장치
US9651782B2 (en) Wearable tracking device
WO2013162235A1 (ko) 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
US8836768B1 (en) Method and system enabling natural user interface gestures with user wearable glasses
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
WO2013009040A2 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
WO2013180446A1 (ko) 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
WO2012173373A2 (ko) 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
WO2016064073A1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
WO2015126197A1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
WO2020184890A1 (ko) 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
KR20130085094A (ko) 유저 인터페이스 장치 및 유저 인터페이스 제공 방법
TW201913298A (zh) 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法
TWI471757B (zh) 懸浮及點擊手勢偵測裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13782003

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14396385

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/02/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13782003

Country of ref document: EP

Kind code of ref document: A1