WO2013162235A1 - 포인터가 불필요한 3차원 가상 객체 정보 획득 장치 - Google Patents

포인터가 불필요한 3차원 가상 객체 정보 획득 장치 Download PDF

Info

Publication number
WO2013162235A1
WO2013162235A1 PCT/KR2013/003420 KR2013003420W WO2013162235A1 WO 2013162235 A1 WO2013162235 A1 WO 2013162235A1 KR 2013003420 W KR2013003420 W KR 2013003420W WO 2013162235 A1 WO2013162235 A1 WO 2013162235A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
dimensional
virtual object
information
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/003420
Other languages
English (en)
French (fr)
Inventor
김석중
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to US14/396,384 priority Critical patent/US20150135144A1/en
Priority to CN201380021523.8A priority patent/CN104620201A/zh
Publication of WO2013162235A1 publication Critical patent/WO2013162235A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Definitions

  • the present invention relates to an apparatus for acquiring three-dimensional virtual object information matched to coordinates in a three-dimensional space, and more particularly, to an apparatus capable of acquiring three-dimensional virtual object information by using a virtual touch method requiring no pointer.
  • FIG. 3 is a block diagram illustrating a configuration of a 3D coordinate calculator for a structured light method among the 3D coordinate extraction methods in FIG. 1.
  • FIG. 4 is a flowchart illustrating a method of obtaining 3D virtual object information for which a pointer is unnecessary according to an embodiment of the present invention.
  • the apparatus for acquiring three-dimensional object information calculates three-dimensional coordinate data by using a user's body of an image captured by the camera 10 and calculates three-dimensional coordinates for extracting first and second spatial coordinates.
  • the unit 100 and the 3D map information and the position information through the GPS (Global Positioning System) are matched with the first spatial coordinates (B) and the second spatial coordinates (A) extracted from the 3D coordinate calculation unit 100.
  • virtual object related information refers to information given to "virtual object”.
  • the method for providing the virtual object related information to the virtual object is a general database related technology and can be easily understood and implemented by those skilled in the art to which the present invention pertains, and a description thereof will be omitted.
  • the virtual object related information may be a company name, a company address, an industry, or the like, and a company advertisement may be displayed. Therefore, the 3D virtual object information obtaining apparatus according to the present invention can be used as an advertisement system.
  • the optical triangulation method can obtain three-dimensional information by applying an optical triangulation method to the corresponding feature points between the captured image.
  • Various methods of extracting three-dimensional coordinates by applying trigonometric methods are commonly used camera self calibration, Harris corner extraction, SIFT, RANSAC, and Tsai.
  • the 3D coordinate calculation unit 100 for the structured light method is configured to obtain the 3D coordinate data by projecting a coded pattern image to a user and processing an image of a scene in which the structured light is projected.
  • the 3D coordinate data of the user's body is captured based on the image acquisition unit 140 capturing the speckle pattern on the user's body projected by the assembly 130 and the speckle pattern captured by the image acquisition unit 140. It includes a spatial coordinate calculation unit 150 to calculate.
  • a three-dimensional coordinate data calculation method using a time of flight (TOF) method may be used.
  • the second spatial coordinate A uses a center point of one eye of the user. For example, if a user places an index finger in front of both eyes, the index finger will appear as two. This occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes). However, if you look at your index finger with only one eye, your index finger will be clearly visible. Also, even if you do not sense one eye, you can see the forefinger clearly even if you look consciously with only one eye. Most sports events that require a high degree of accuracy in aiming, such as shooting and archery, follow this principle.
  • the present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to see the first spatial coordinates accurately to point the virtual object contact coordinate data of the face of the building facing through the three-dimensional map information corresponding to the first spatial coordinates.
  • the touch position calculator 200 may determine a virtual surface of a surface that faces the building facing through the 3D map information when there is no change in the virtual object contact coordinate data for more than a predetermined time from the time when the initial virtual object contact coordinate data is calculated. Calculate object contact coordinate data.
  • the touch position calculator 200 determines whether there is a change in the virtual object contact coordinate data for a set time or more from a time at which initial virtual object contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, Determines whether there is a distance change over the set distance between the spatial coordinates and the second spatial coordinates, and calculates virtual object contact coordinate data of the face of the building facing through the 3D map information when the distance change over the set distance occurs. do.
  • the 3D coordinate calculating unit 100 uses at least two or more parts of the user's body by using image information captured by a camera. Extract the spatial coordinates respectively.
  • the three-dimensional coordinate data is a first space based on the three-dimensional spatial coordinates of the user's body by using a three-dimensional coordinate calculation method (optical triangulation, structured light, time delay measurement (TOF), etc.)
  • a straight line connecting the first spatial coordinates and the second spatial coordinates calculated by calculating the coordinates and the second spatial coordinates is extracted (S10).
  • the second method is a method in which a camera having a fixed absolute coordinate in space helps the operator convert the relative coordinate to the absolute coordinate.
  • this method corresponds to a spatial type when the camera with absolute coordinates reads hands and eyes, and the technique here refers to a form in which the spatial type provides a point that becomes the absolute coordinate of the personal type.
  • the third, operator selection method displays a selection menu of a corresponding range based on information that can be obtained, such as a current smartphone AR service, and can include an error range without accurate absolute coordinates through a selection method by a user. Display the selection menu and make a selection so that the user can eliminate the error himself and get the result.
  • the spatial position matching unit 300 extracts a virtual object (position) belonging to the calculated virtual object contact coordinate data (S30), and the building name, branch number, trade name, promotional phrase, and service phrase related to the extracted virtual object. And detects and stores the virtual object related information such as a link (a link for moving to another network or site) and the like (S40).
  • the spatial location matching unit 300 displays the virtual object related information such as a building name, a branch number, a trade name, a promotional text, a service text, and the like related to the extracted virtual object on the user terminal 20 or the virtual object information obtaining apparatus.
  • the data is transmitted to the display unit (not shown) (S50).
  • the present invention will be said to have industrial applicability as a device capable of acquiring 3D virtual object information using a virtual touch method without using a pointer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

포인터가 불필요한 3차원 가상 객체 정보 획득 장치
본 발명은 3차원 공간상의 좌표에 매칭되어 있는 3차원 가상 객체 정보를 획득하는 장치에 관한 것으로, 특히 포인터가 불필요한 가상 터치 방식을 이용하여 3차원 가상 객체 정보를 획득할 수 있는 장치에 관한 것이다.
본 발명은 종래 터치패널 기술(무포인터)과 디스플레이의 포인터 기술(유포인터)의 비교에서 출발한다. 일반적으로 사용되는 전자기기의 사용수단중의 하나로 터치패널 기술이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터, 스마트TV 등의 전자기기와 비교할 때, 디스플레이에 포인터를 표시할 필요가 없다는 장점이 있다. 즉, 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 직접 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 즉, 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 "포인터 생성 및 이동단계"가 생략되어 전자기기의 빠르고 직관적인 조작이 가능하다.
본 발명은 위와 같은 터치패널 기술의 효과(직관적인 인터페이스)를 원격에서도 구현할 수 있는 "눈과 손끝을 이용한 터치(이하 "가상터치"라고 함)" 방식에 기반을 두고 있으며, "눈과 손끝을 이용한 터치" 방식을 채택하여 3차원 가상 객체 정보를 획득하는 장치에 대한 것이다. 최근 통신기술과 IT기술의 발달로 고속 및 대용량의 데이터 전송이 유선 뿐만 아니라 무선통신에서도 가능해지고 있다.
이와 같은 이동통신 단말기는 세대를 거듭할수록 많은 정보량을 더 짧은 시간에 송수신할 수 있고, 다양한 기능이 부가되고 있다. 더욱이 UI(User Interface) 기능은 사용자 중심의 편의성을 향상시키고 있다. 또한, 스마트폰(Smart Phone)이나 태블릿 PC(휴대용 단말기)가 대세로 자리매김하고 있어 더더욱 사용자 중심의 편의성 위주로 다가가고 있는 실정이다. 따라서 이러한 휴대용 단말기의 다양한 콘텐츠(Contents)의 제공은 사용자 요구 및 수요에 부합하여 많은 개발과 적용이 이루어지고 있다. 그리고 최근에는 휴대용 단말기를 통해 지역의 정보를 얻을 수 있는 주변 상점정보 모바일 서비스를 개발하여 적용되고 있다. 이는 휴대용 단말기 등 다양한 모바일 기기들을 통해 받을 수 있는 서비스이다. 그 대표적으로는 지역 상점을 대상으로 상점 입구에 태그를 설치하고, 사용자들은 태그에 휴대전화를 대면 상점의 판매 물품 및 음식, 가격 등 다양한 정보를 모바일 서비스 받을 수 있도록 제공하거나, 또는 사용자가 거리를 이동하면서 상점의 간판이나 건물 등을 촬영하면, 촬영된 영상 정보 및 휴대용 단말기에 구성된 GPS를 통한 현재의 위치정보를 통해 해당 건물이나 상점을 파악하여 이에 따른 다양한 정보를 받을 수 있도록 제공한다.
그러나 이러한 모바일 서비스의 경우는 사용자가 반드시 해당 상점이나 건물로 이동하여야만 하며, 또한 상점에 설치되어 있는 태그를 읽거나, 또는 해당 상점이나 건물을 촬영하여야만 이에 상응하는 다양한 정보를 제공하는 모바일 서비스를 제공받을 수 있게 된다. 따라서 사용자는 자신이 원하는 상점이나 건물의 정보를 획득하기 위해서는 반드시 그 상점이나 건물의 근처까지 접근해야만 할 뿐만 아니라 태그를 읽거나 카메라를 통해 촬영을 해야만 하는 번거로움이 발생되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 눈과 손끝을 이용한 터치 장치가 구비된 장소에서 원격에 떨어져 있는 3차원 입체건물과 닿는 면에 위치한 공간상의 좌표에 매칭되어 있는 가상 객체 정보를 획득할 수 있는 눈과 손끝을 이용한 터치를 이용한 3차원 가상 객체 정보의 획득 장치를 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 가상 객체 정보의 획득 장치의 특징은 3차원 지도 정보와 GPS를 통한 위치 정보를 이용하는 3차원 가상 객체 정보 획득 장치에 있어서, 사용자 신체의 3차원 좌표 데이터를 산출하여 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와, 상기 3차원 지도 정보 및 상기 GPS를 통한 위치 정보를 상기 3차원 좌표 산출부로부터 추출한 제 1 공간좌표 및 제 2 공간좌표와 매칭시켜, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 가상 객체 접점 좌표 데이터에 속하는 가상 객체(위치)을 추출하고, 추출된 가상 객체 관련 정보를 사용자 단말기 또는 상기 3차원 가상 객체 정보 획득장치의 디스플레이부로 제공하는 공간 위치 매칭부를 포함하여 구성되는데 있다.
바람직하게 상기 3차원 지도 정보는 유, 무선 네트워크로 연결되는 외부의 3차원 지리 정보 제공 서버로부터 제공되는 것을 특징으로 한다.
바람직하게 상기 3차원 지도 정보는 3차원 가상 객체 정보 획득 장치 내부에 저장되어 있는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 시간지연측정법(Time of Flight)을 이용하여 상기 3차원 좌표 데이터를 산출하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와, 이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 포인터가 불필요한 3차원 객체정보 획득 장치는 다음과 같은 효과가 있다.
첫째, 가상 터치 장치 설치 장소로부터 원격에 떨어져 있는 3차원 공간에 위치하는 물건, 건물 및 상점의 선택이 가능하다. 이에 따라 사용자는 해당 상점이나 건물에 접근할 필요 없이 원격에서 편리하게 해당 상점이나 건물 관련 가상 객체 정보를 획득할 수 있는 효과가 있다.
둘째, 가상터치 장치가 구비된 가상 터치 장치 설치 장소라면 실내외를 막론하고 3차원 가상 객체 정보 획득 장치의 사용이 가능하다. 도 1에서는 가상 터치 장치 설치 장소로서 실내의 공간을 도시하고 있으나 본 발명의 3차원 가상 객체 정보 획득 장치는 놀이공원, 동물원, 식물원 등 실외에서도 가상터치 장치를 설치할 수 있는 곳이라면 어디에서든 구현이 가능하다.
셋째, 본 발명은 광고분야 및 교육분야에 적용이 가능하다. 본 발명에서 3차원 지도 정보의 3차원 좌표에 대응되는 3차원 가상 객체 정보의 내용은 광고가 될 수 있다. 따라서 가상 객체에 대응되도록 해당 상점의 광고를 게재하는 방법으로 사용자에게 광고를 제공할 수 있다. 또한, 본 발명은 교육분야에 적용할 수도 있다. 예를 들어 가상 터치 장치가 구비된 박물관의 전시실에 전시중인 3차원 좌표를 가지는 유물(가상 객체)을 사용자가 선택할 경우 해당 유물 관련 정보(가상 객체 정보)를 사용자 단말기 또는 3차원 가상 객체 정보 획득 장치의 디스플레이에 표시할 수 있어 교육적 효과를 가져올 수 있다. 이외에도 다양한 분야에서의 적용이 가능하다.
도 1 은 본 발명의 실시예에 따른 가상터치를 이용한 3차원 가상 객체 정보 획득 장치를 나타낸 구성도
도 2 는 도 1에서 3차원 좌표 추출 방법 중 광학식 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 3 은 도 1에서 3차원 좌표 추출 방법 중 구조광 방식을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 4 는 본 발명의 실시예에 따른 포인터가 불필요한 3차원 가상 객체 정보 획득 방법을 설명하기 위한 흐름도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 포인터가 불필요한 3차원 객체정보 획득 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 포인터가 불필요한 3차원 가상 객체 정보 획득 장치를 나타낸 구성도이다.
도 1과 같이, 3차원 객체정보 획득 장치는 카메라(10)를 통해 촬영된 영상의 사용자 신체를 이용하여 3차원 좌표 데이터를 산출하고 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부(100)와, 3차원 지도 정보 및 GPS(Global Positioning System)를 통한 위치 정보를 3차원 좌표 산출부(100)로부터 추출한 제 1 공간좌표(B) 및 제 2 공간좌표(A)와 매칭시켜, 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터(C)를 산출하는 터치 위치 산출부(200)와, 터치 위치 산출부(200)에서 산출된 가상 객체 접점 좌표 데이터(C)가 속하는 가상 객체(예: A건물 301호에 입주한 업체)을 추출하고, 추출된 가상 객체에 부여된 해당 가상 객체 관련 정보를 사용자 단말기(20) 또는 상기 3차원 객체정보 획득장치의 디스플레이부(미도시)로 제공하는 공간 위치 매칭부(300)를 포함한다. 즉, 상기 사용자 단말기(20)로는 사용자가 소지하는 휴대전화가 일반적이다. 본 발명의 일 실시예에서는 상기 3차원 가상 객체 정보 획득 장치 자체에 구비된 디스플레이부(미도시)로 관련 정보를 제공할 수도 있다.
아울러 본 발명은 GPS 위성을 기반으로 실시되는 것이나 GPS 신호가 미치지 못하는 실내 공간에서 다수 개의 와이파이를 설치하여 이를 통하여 위치정보를 제공하는 방식에서도 충분히 적용이 가능할 것이다.
여기서 "가상 객체"으로는 건물 전체, 건물에 위치한 회사나 상점 등이 될 것이나 특정한 공간을 차지하는 물건도 가상 객체의 대상이 될 수 있다. 예를 들면 미리 입력된 3차원 지도 정보 및 GPS 위치 정보를 가지는 물건으로 박물관의 유물이나 전시실의 작품들은 가상 객체이 될 수 있다. 따라서 사용자가 포인팅하는 유물이나 작품들에 대한 가상 객체 관련 정보를 사용자에게 제공할 수 있다.
또한, "가상 객체 관련 정보"는 "가상 객체"에 부여된 정보를 말한다. 가상 객체에 가상 객체 관련 정보를 부여하는 방법은 일반적인 데이터베이스 관련 기술로 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 가상 객체 관련 정보는 회사의 상호, 회사 주소, 업종 등이 될 수도 있고, 회사의 광고가 실릴 수 있다. 따라서 본 발명에 따르는 3차원 가상 객체 정보 획득 장치는 광고 시스템으로 사용될 수 있는 것이다.
이때, 3차원 지도 정보는 유, 무선 네트워크로 연결되는 외부의 3차원 지도 정보 제공 서버(400)로부터 제공되거나, 또는 3차원 객체정보 획득 장치 내부의 저장부(미도시)에 저장되어 있다. 또한 상기 저장부(미도시)는 3차원 지도 및 가상 객체 관련 정보와, 카메라를 통해 촬영된 촬영영상 정보와, GPS를 통해 검출된 위치정보와, 사용자 단말기(20) 정보 등을 저장한다.
상기 3차원 좌표 산출부(100)는 사용자가 원격에서 가상터치를 이용하여 선택 조작을 수행하면, 카메라에서 촬영된 사용자의 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 사용자 신체의 적어도 2개의 공간 좌표(A, B)를 산출한다. 이때, 상기 3차원 좌표 추출 방법으로는 광학적 삼각측량법, 구조광 방식, 시간지연측정법(Time of Flight) 등 다수 있으며(현재 3차원 좌표 산출방식과 관련하여 정확한 분류 방식이 확립되어 있지 않아 서로 중복되어 포함되는 방식이 있을 수 있음), 사용자 신체의 3차원 좌표를 추출할 수 있는 어떠한 방식 또는 장치도 적용이 가능하다.
도 2 는 도 1에서 3차원 좌표 추출 방법 중 광학적 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도이다. 도 2와 같이, 광학적 삼각측량법을 위한 3차원 좌표 산출부(100)는 영상 획득부(110)와, 공간좌표 산출부(120)를 포함한다.
상기 영상 획득부(110)는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 서로 다른 위치에 배치되는 2개 이상의 이미지 센서(111)(112)로 구성되어 각기 다른 각도에서 사용자 신체를 촬영한다. 그리고 상기 공간좌표 산출부(120)는 영상 획득부(110)로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출한다.
이처럼, 광학식 삼각측량법은 촬영한 영상 간에 대응되는 특징점들에 광학적인 삼각 측량법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법을 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다.
도 3 은 또 다른 실시예로서 구조광 방식을 채용하는 3차원 좌표 산출부의 구성을 나타낸 블록도이다. 도 3과 같이, 구조광 방식을 위한 3차원 좌표 산출부(100)는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 방법으로, 광원(131)과 산광기(132)로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리(130)와, 이미지센서(121) 및 렌즈(122)로 구성되어, 상기 조명어셈블리(130)에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부(140)와, 상기 영상 획득부(140)에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부(150)를 포함한다.
또한 본 발명의 또 다른 실시예로서 시간지연측정법(Time of Flight : TOF) 방식을 활용한 3차원 좌표 데이터 산출방법도 활용될 수도 있을 것이다.
위와 같이 3차원 좌표 산출 기법들은 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
한편, 상기 터치 위치 산출부(200)는 3차원 좌표 산출부(100)에서 추출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출하는 역할을 수행한다.
이때, 상기 제 1 공간좌표(B)로는 손가락을 이용한다. 즉, 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라, 본 발명에서 제 1 공간좌표(B)로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것이 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표(B)의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜끝)를 사용할 수도 있다.
또한 상기 제 2 공간좌표(A)로는 사용자의 한쪽 눈의 중심점을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝이 3차원 좌표들이 될 것이다.
그리고 상기 터치 위치 산출부(200)는 초기 가상 객체 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 가상 객체 접점 좌표 데이터의 변동이 없으면, 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출한다.
또한 상기 터치 위치 산출부(200)는 초기 가상 객체 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 가상 객체 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출한다.
한편, 상기 가상 객체 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 가상 객체 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 포인팅 할 때, 신체 특성상 신체 또는 손가락의 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 가상 객체 접점 좌표 데이터 값이 미리 정의된 설정영역 범위 안에 존재할 때는 상기 가상 객체 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
이와 같이 구성된 본 발명에 따른 3차원 객체정보의 획득 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 3과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 4는 본 발명의 실시예에 따른 3차원 가상 객체 정보의 획득 방법을 설명하기 위한 흐름도이다.
도 4를 참조하여 설명하면, 먼저 사용자가 원격에서 가상터치를 이용하여 선택 조작을 수행하면, 3차원 좌표 산출부(100)는 카메라를 통해 촬영된 영상 정보를 이용하여 사용자 신체의 적어도 2개 이상의 공간 좌표를 각각 추출한다. 이때, 상기 3차원 좌표 데이터는 3차원 좌표 산출 방법(광학식 삼각측량 기법, 구조광방식, 시간지연측정법(TOF) 등 다수 존재함)을 이용하여 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선을 추출한다(S10). 상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것이 바람직하다.
이어 터치 위치 산출부(200)는 GPS를 통한 현재 위치정보 및 3차원 지도정보 제공서버(400)로부터 건물 또는 위치 등이 3차원으로 제공되는 3차원 지도정보를 제공받아 저장부(310)에 저장한다. 이어 상기 저장부(310)에 저장되어 있는 위치정보 및 3차원 지도정보를 상기 3차원 좌표 추출부(100)에서 추출된 적어도 2개의 공간 좌표(A, B)와 결합하여, 상기 공간 좌표(A, B)의 직선을 연장하였을 때, 첫 번째로 마주하는 건물 및 위치와 닿는 면(C)의 접점 좌표 데이터를 산출한다(S20). 이때, 마주하는 건물 및 위치의 정의는 사용자에 의해 임의로 설정될 수 있으나, 통상적으로 첫 번째로 마주하는 건물 및 위치로 정의하는 것이 바람직하다.
한편, 상기 건물 및 위치와 닿는 면(C)의 접점 좌표 데이터를 산출하는 방법으로는 절대좌표방법, 상대 좌표방법 및 조작자 선택방법으로 구할 수 있다.
첫 번째인 절대좌표방법은 3차원 지도정보와 투영된 화면을 매칭하는 시점을 역산하여 공간 좌표의 절대좌표를 얻는 방식이다. 즉, 이 방법은 GPS, 자이로센서, 나침반, 또는 기지국 정보 등 취득 가능한 다양한 경로의 위치 데이터를 통하여 카메라 화면과 매칭할 대상을 한정하여 빠른 결과물을 얻어낼 수 있다.
두 번째인 상대좌표 방법은 공간에 고정된 절대좌표를 가진 카메라가 조작자의 상대좌표의 절대좌표로의 전환을 돕는 방식이다. 즉, 이 방법은 절대좌표를 가진 카메라가 손과 눈을 읽는 경우는 공간형에 해당하며, 여기서의 기술은 개인형의 절대 좌표가 되는 한 점을 공간형이 제공하는 형태를 말한다.
마지막 세 번째인 조작자 선택방법은 현재의 스마트폰 AR 서비스와 같이 취득 가능한 정보를 기반으로 해당 범위의 선택메뉴를 디스플레이하고, 사용자에 의한 선택의 방식을 통하여 정확한 절대좌표 없이 오차범위를 포함할 수 있는 선택 메뉴를 디스플레이 한 뒤 선택하여 사용자가 스스로 오차를 배제하도록 하여 결과물을 얻게 된다.
참고로, 상기 공간 좌표(A, B)와 닿는 면을 여기서는 3차원 지도정보를 통해 건물이나 위치로 한정하여 설명하고 있으나, 이는 바람직한 일 실시예일 뿐 저장되는 3차원 지도정보가 박물관이나 미술관 등과 같이 특정 영역에 한정되는 경우에는 미술품이나 수집품 등과 같은 작품으로 정의될 수 있다. 이처럼, 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
다음으로, 공간 위치 매칭부(300)는 상기 산출된 가상 객체 접점 좌표 데이터에 속하는 가상 객체(위치)을 추출하고(S30), 추출된 가상 객체에 관련된 건물명, 지번, 상호, 홍보 문구, 서비스 문구, 링크(다른 네트워크 또는 사이트로의 이동을 가능하게 하는 링크) 등과 같은 가상 객체 관련 정보를 검출하여 저장한다(S40).
그리고 공간 위치 매칭부(300)는 상기 저장되어 있는 추출된 가상 객체에 관련된 건물명, 지번, 상호, 홍보 문구, 서비스 문구 등과 같은 가상 객체 관련 정보를 사용자 단말기(20) 또는 가상 객체 정보 획득 장치의 디스플레이부(미도시)로 전송하여 표시한다(S50).
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 포인터를 사용하지 않고 가상 터치 방식을 이용하여 3차원 가상 객체 정보를 획득할 수 있는 장치로서 산업상 이용가능성이 있다고 할 것입니다..

Claims (10)

  1. 3차원 지도 정보와 GPS를 통한 위치 정보를 이용하는 3차원 객체정보 획득 장치에 있어서,
    사용자 신체의 3차원 좌표 데이터를 산출하여 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와,
    상기 3차원 지도 정보 및 상기 GPS를 통한 위치 정보를 상기 3차원 좌표 산출부로부터 추출한 제 1 공간좌표 및 제 2 공간좌표와 매칭시켜, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 가상 객체 접점 좌표 데이터에 속하는 가상 객체(위치)을 추출하고, 추출된 가상 객체 관련 정보를 사용자 단말기 또는 상기 3차원 객체정보 획득장치의 디스플레이부로 제공하는 공간 위치 매칭부를 포함하여 구성되는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
  2. 제 1 항에 있어서,
    상기 3차원 지도 정보는 유, 무선 네트워크로 연결되는 외부의 3차원 지리 정보 제공 서버로부터 제공되는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
  3. 제 1 항에 있어서,
    상기 3차원 지도 정보는 3차원 가상 객체 정보 획득 장치 내부에 저장되어 있는 것을 특징으로 하는 가상터치를 이용한 3차원 가상 객체 정보의 획득 장치.
  4. 제 1 항에 있어서,
    상기 3차원 좌표 산출부는 시간지연측정법(Time of Flight)을 이용하여 상기 3차원 좌표 데이터를 산출하는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
  5. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
  6. 제 1 항에 있어서,
    상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 하는 포인터가 불필요한 3차원 객체정보 획득 장치.
  7. 제 6 항에 있어서, 상기 3차원 좌표 산출부는
    광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와,
    이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와,
    상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
  8. 제 6 항에 있어서,
    상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
  9. 제 1 항에 있어서,
    상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고,
    상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
  10. 제 1 항에 있어서,
    상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 포인터가 불필요한 3차원 가상 객체 정보 획득 장치.
PCT/KR2013/003420 2012-04-23 2013-04-22 포인터가 불필요한 3차원 가상 객체 정보 획득 장치 Ceased WO2013162235A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/396,384 US20150135144A1 (en) 2012-04-23 2013-04-22 Apparatus for obtaining virtual 3d object information without requiring pointer
CN201380021523.8A CN104620201A (zh) 2012-04-23 2013-04-22 不需要指针的三维虚拟对象信息获得装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120042232A KR101533320B1 (ko) 2012-04-23 2012-04-23 포인터가 불필요한 3차원 객체 정보 획득 장치
KR10-2012-0042232 2012-04-23

Publications (1)

Publication Number Publication Date
WO2013162235A1 true WO2013162235A1 (ko) 2013-10-31

Family

ID=49483466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003420 Ceased WO2013162235A1 (ko) 2012-04-23 2013-04-22 포인터가 불필요한 3차원 가상 객체 정보 획득 장치

Country Status (4)

Country Link
US (1) US20150135144A1 (ko)
KR (1) KR101533320B1 (ko)
CN (1) CN104620201A (ko)
WO (1) WO2013162235A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003165A1 (ko) * 2014-07-01 2016-01-07 엘지전자 주식회사 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
US10679511B2 (en) 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US10410320B2 (en) 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US11125561B2 (en) 2016-09-30 2021-09-21 Sony Interactive Entertainment Inc. Steering assist
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
RU2675057C1 (ru) * 2017-08-15 2018-12-14 Общество с ограниченной ответственностью "Инжиниринговая Компания "Пульсар Ойл" Способ идентификации и визуализации инженерных коммуникаций в пространстве
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
US10706300B2 (en) * 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
CN114442888B (zh) * 2022-02-08 2024-07-23 联想(北京)有限公司 对象确定方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060038476A (ko) * 2003-05-01 2006-05-03 톰슨 라이센싱 멀티미디어 유저 인터페이스
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR20110038980A (ko) * 2009-10-09 2011-04-15 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6173239B1 (en) * 1998-09-30 2001-01-09 Geo Vector Corporation Apparatus and methods for presentation of information relating to objects being addressed
JP2002132806A (ja) * 2000-10-18 2002-05-10 Fujitsu Ltd サーバシステム及び情報提供サービスシステム並びに情報提供サービス方法
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7031875B2 (en) * 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US7885145B2 (en) * 2007-10-26 2011-02-08 Samsung Electronics Co. Ltd. System and method for selection of an object of interest during physical browsing by finger pointing and snapping
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US9525964B2 (en) * 2012-02-02 2016-12-20 Nokia Technologies Oy Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060038476A (ko) * 2003-05-01 2006-05-03 톰슨 라이센싱 멀티미디어 유저 인터페이스
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR20110038980A (ko) * 2009-10-09 2011-04-15 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
KR20130119233A (ko) 2013-10-31
US20150135144A1 (en) 2015-05-14
KR101533320B1 (ko) 2015-07-03
CN104620201A (zh) 2015-05-13

Similar Documents

Publication Publication Date Title
WO2013162235A1 (ko) 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
US9268410B2 (en) Image processing device, image processing method, and program
Arth et al. The history of mobile augmented reality
US10677596B2 (en) Image processing device, image processing method, and program
US9715743B2 (en) Image processing apparatus, image processing method, and program
CN100461212C (zh) 显示控制方法及装置以及便携设备
KR101817452B1 (ko) 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
WO2010027193A2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US20130208005A1 (en) Image processing device, image processing method, and program
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
US20130176337A1 (en) Device and Method For Information Processing
WO2012111998A2 (ko) 포인터를 사용하지 않는 가상 터치 장치
WO2011096668A2 (ko) 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR20210146770A (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
US20140292636A1 (en) Head-Worn Infrared-Based Mobile User-Interface
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
WO2020184890A1 (ko) 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP7723754B2 (ja) 情報処理装置
CN112565597A (zh) 显示方法和装置
JP7727835B2 (ja) ガイド画像管理装置
US9354791B2 (en) Apparatus, methods and computer programs for displaying images
WO2015182967A1 (ko) 매칭시스템 및 매칭방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13780880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14396384

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC, FORM 1205A DATED 23-02-2015

122 Ep: pct application non-entry in european phase

Ref document number: 13780880

Country of ref document: EP

Kind code of ref document: A1