WO2013048221A2 - 스테레오 영상 기반 영상처리 시스템 - Google Patents

스테레오 영상 기반 영상처리 시스템 Download PDF

Info

Publication number
WO2013048221A2
WO2013048221A2 PCT/KR2012/007973 KR2012007973W WO2013048221A2 WO 2013048221 A2 WO2013048221 A2 WO 2013048221A2 KR 2012007973 W KR2012007973 W KR 2012007973W WO 2013048221 A2 WO2013048221 A2 WO 2013048221A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
mark
camera
image processing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2012/007973
Other languages
English (en)
French (fr)
Other versions
WO2013048221A3 (ko
Inventor
이문기
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2014533221A priority Critical patent/JP5905585B2/ja
Priority to US14/347,315 priority patent/US9648301B2/en
Priority to CN201280047284.9A priority patent/CN103828357B/zh
Publication of WO2013048221A2 publication Critical patent/WO2013048221A2/ko
Publication of WO2013048221A3 publication Critical patent/WO2013048221A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Definitions

  • the present invention relates to an image processing system that selectively photographs an image of a stereo image output to a 3D display by using a camera, detects a mark in the image processing means, and uses the detected mark information in a pointing work or an augmented reality work. .
  • the present invention relates to an image processing system using a 3D display that can be used in a pointing device and an augmented reality device.
  • the technology of which the inventor of the present invention previously applied for the patent application No. 10-2011-0050980 and the name of the invention 'monitor-based augmented reality system' is an image processing means in the image of the mouse cursor icon or mark displayed on the screen
  • the present invention relates to an augmented reality image synthesizing system that calculates a three-dimensional relative position between a camera photographed by recognizing a mouse cursor icon or a mark and a mouse cursor icon or mark to synthesize graphic objects in a photographed image.
  • this technique also has a disadvantage in that it is difficult to detect the mark if the mark is similar in color or shape to the background image.
  • the image and the right eye of the stereoscopic image are shown in the left eye of the stereo image
  • the image to be output to the 3D display and the camera is characterized in that it is easy to detect the mark by analyzing only the image including the mark of the stereo image output to the 3D display by the image processing means.
  • the stereo image-based image processing system according to the present invention, even if the color or shape of the background image is similar to the mark, it is possible to quickly and easily detect the mark in the captured image.
  • 3D displays include shutter glasses, polarized glasses, active retarder, and red-blue glasses. Each explanation is as follows.
  • stereo images images to be seen by the left eye and images to be seen by the right eye
  • the left and right shutters of the shutter glasses synchronized to the output time of each frame of the stereo image output to such a display are alternately opened and closed so that the user wearing the shutter glasses sees the left and right images with their left and right eyes, respectively. It is being commercialized and released as an electronic 3d TV.
  • Such shutter eyeglass displays may be in the form of LCD displays or in the form of beam projectors.
  • the shutter eyeglass type 3D display outputs a background image and a mark image as an image for the left eye and an image for the right eye, respectively, and attaches a shutter that opens only at the moment when the image for the right eye including the mark is output in front of the camera.
  • the image may be analyzed by image processing means to detect a mark, and a pointing operation or an augmented reality image may be synthesized using the relative position between the detected mark and the camera.
  • the image processing means adjusts the mark position and moves it toward the first camera line of sight so that the first camera is at the center of the captured image. In this way, the mark can be stably detected even if the first camera moves.
  • the image processing unit preferably detects the mark size and adjusts the mark size to be proportional to the distance between the camera and the mark so that the mark size is constant in the image photographed by the first camera. That is, it is preferable to reduce and adjust the mark when the first camera approaches the mark and to enlarge and adjust the mark when the first camera moves away from the mark. By doing this, the mark size is kept constant in the captured image, so that the mark can be stably detected.
  • the first background image, the second background image, and the mark image will be shown to the left eye and the right eye
  • the image can be output as an image to be used for pointing or augmented reality, and the camera can synthesize the pointing or augmented reality image by capturing only a mark image.
  • the first background image and the second background image are a shutter-type stereo image, and the user can see a pointing work or an augmented reality image while viewing a three-dimensional image by wearing shutter glasses.
  • the polarized glasses type 3d display divides the display screen into a plurality of horizontal band regions, and outputs an image to be seen in the left eye to an even band region and an image to be displayed to the right eye in an odd band region.
  • phase delay films in different directions are attached in front of the even and odd band regions so that the images of the odd band region and the even band region are circularly polarized in opposite directions. This is called a patterned retarder method.
  • a user wearing polarized glasses having circular polarization films in the same direction as the circular polarization direction in front of the left and right lenses may view the left and right images with their left and right eyes, respectively.
  • the polarized glasses 3D display may be in the form of an LCD display or may be in the form of a beam projector.
  • two beam projectors may project images to be seen by the left and right eyes of each other so as to overlap each other on one screen with different polarizations.
  • the screen should use a silver screen that can be reflected while maintaining polarization.
  • the background image and the mark image are output as the image to be shown to the left eye and the image to be shown to the right eye, respectively, and the image to be seen to the left eye is passed through the image to the right eye including the mark in front of the camera.
  • the image may be analyzed by image processing means to detect a mark, and a pointing operation or an augmented reality image may be synthesized using the relative position between the detected mark and the camera.
  • a technology that selects only the advantages of the shutter glasses method and the polarization glasses method is an active retarder 3d display.
  • the active retarder 3d display eliminates the inconvenience of charging the battery with the shutter glasses using polarized glasses instead of the conventional shutter glasses.
  • the resolution of the conventional patterned retarder display resolution problem can be solved.
  • the active retarder type display alternately outputs the images to be seen by the left and right eyes like a shutter eyeglass display, but in front of the display is provided with a retarder that can change the direction of circularly polarized light.
  • the polarization direction of the image and the image to be shown in the right eye are made different. The user can see the left and right images with each eye by wearing polarized glasses.
  • the polarized glasses 3D display may be in the form of an LCD display or may be in the form of a beam projector.
  • one beam projector may alternately project images on the left and right eyes on one screen with different polarizations.
  • the screen should use a silver screen that can be reflected while maintaining polarization.
  • the background image and the mark image are output as the image to be seen by the left eye and the image to be seen by the right eye, respectively.
  • the image to be shown in the image is attached to block the polarizing film is attached to shoot only the mark on the black background.
  • the image may be analyzed by image processing means to detect a mark, and a pointing operation or an augmented reality image may be synthesized using the relative position between the detected mark and the camera.
  • the red and blue glasses type 3d display outputs images to be shown to the left and right eyes in red and blue, respectively, so that the user can view stereoscopic images by wearing glasses with red and blue filters attached to the left and right sides, respectively.
  • the background image and the mark image are output as the image to be shown to the left eye and the image to the right eye, respectively, and the image to be seen to the left eye is passed in front of the camera.
  • the image may be analyzed by image processing means to detect a mark, and a pointing operation or an augmented reality image may be synthesized using the relative position between the detected mark and the camera.
  • Dolby glasses method similar to the red and blue glasses method.
  • the 3D display of Dolby type outputs the left and right images in three different primary colors, and attaches a filter that passes only the colors to the left and right eyes of the glasses.
  • the difference between the red and blue glasses method is that the red and blue glasses show red and blue images in the left and right eyes, respectively, while the Dolby method shows color images in the left and right eyes.
  • the augmented reality system can be configured by adding a second camera as shown in FIG. 1 to the configuration of Embodiments 1 to 4. That is, an image including a mark in the camera (first camera) used in Embodiments 1 to 4 By attaching a shutter or a filter so that only the image can be taken, only the mark can be taken, and the relative position between the first camera and the mark can be calculated by the image processing means.
  • the newly added second camera attaches a shutter or a filter so as to capture only a background image not including a mark, and photographs only a background image not including a mark, and between the camera and the mark calculated by the image processing means.
  • the relative position information can be used to synthesize graphic objects in a perspective manner.
  • the synthesized image has no mark, which is more natural.
  • the first and second cameras fix the relative position and measure the relative position in advance. It is preferable to use it to synthesize graphic objects.
  • the first camera and the second camera may be included in the smartphone or may be included in the head mounted display (HMD). In particular, when included in the head mounted display, it is preferable to install a camera so as to photograph the line of sight of the person wearing the head mounted display like glasses.
  • These headmount displays are available in a product called the WRAP 920AR + (http://www.vuzix.com/consumer/products_wrap920ar.html).
  • One of the stereo cameras installed in front of both eyes of these headmount displays shoots only the mark.
  • the 3D relative position between the mark and the mark may be calculated by the image processing means, and the remaining camera may photograph the background image not including the mark, synthesize the graphic objects with perspective, and output the synthesized image to the head mounted display.
  • the user holding the camera as a remote controller or a pistol and shooting the screen by wearing a shutter or a filter that passes only the image that does not include the mark wears glasses attached to both the left and right eyes. It is possible to make the mark invisible in the image output on the display. For example, if you play a shooting game while pointing the camera in the form of a gun. If a shooting game image is displayed on the 3D display, the mark should be shot on the camera for the pointing work, but it is desirable to be invisible to humans. It is preferable to wear a filter or shutter glasses to block the image containing and pass the background image (game image) that does not include the mark.
  • a transparent eyeglass-type augmented reality headmount display may be used instead of the video-through augmented reality headmount display described in Embodiment 5, a transparent eyeglass-type augmented reality headmount display may be used.
  • the second camera of the fifth embodiment may be omitted.
  • This transparent glasses-type augmented reality head mounted display has a product called STAR 1200 (http://www.vuzix.com/ar/products_star1200.html).
  • the camera detects a mark from the captured image, calculates the relative position between the camera and the mark, creates a graphic object in perspective, and projects the graphic object on a transparent display in the form of glasses, allowing the object to float in the air.
  • a shutter or a filter may be attached in front of or behind the transparent display to pass only an image that does not include the mark of Embodiment 6 (or a transparent display and a shutter or a filter may be integrally formed). You can see the graphic object appearing in perspective on the background image without marks.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 스테레오 영상 중 한 영상에 마크를 포함하고 카메라로 마크가 포함된 영상만 촬영하여 용이하게 마크를 검출하여 포인팅 작업이나 증강현실 영상을 합성할 수 있는 영상처리 시스템에 관한 것이다.

Description

스테레오 영상 기반 영상처리 시스템
본 발명은 3D 디스플레이에 출력되는 스테레오 영상 중 한 영상을 선택적으로 카메라로 촬영하여 그 영상에서 영상처리수단으로 마크를 검출하여 검출된 마크 정보를 포인팅 작업이나 증강 현실 작업에 이용하는 영상처리 시스템에 관한 것이다.
본 발명은 포인팅 장치와 증강현실 장치에 사용할 수 있는 3D 디스플레이를 사용한 영상처리 시스템에 관한 것이다.
본 발명의 발명인이 이전에 출원한 특허 등록 번호가 10-0936816이고 발명의 명칭이 '카메라와 마크 출력에의한 포인팅 장치'인 특허는 화면에 출력된 마우스 커서 아이콘을 카메라로 촬영하여 포인팅 작업을 하는 기술이다. 이 기술에서는 화면에 출력된 마우스 커서 아이콘이나 기타 패턴의 마크를 촬영한 영상을 영상처리 수단으로 분석하여 마크를 인식하여 포인팅 작업을 하는 것이다. 이 기술은 배경 이미지와 마크의 색이 비슷하거나 배경 이미지에 마크와 유사한 형상이 있다면 마크를 영상처리 수단이 검출하기 어렵다는 단점이 있다.
본 발명의 발명인이 이전에 출원한 특허 출원번호가 10-2011-0050980이고 발명의 명칭이 '모니터 기반 증강현실 시스템'인 기술은 화면에 표시된 마우스 커서 아이콘이나 마크를 촬영한 영상에서 영상처리 수단으로 마우스 커서 아이콘이나 마크를 인식하여 촬영한 카메라와 마우스 커서 아이콘이나 마크 사이의 3차원 상대 위치를 산출하여 촬영된 영상에 그래픽 객체를 원근감 있게 합성하는 증강 현실 영상 합성 시스템에 관한 것이다. 이 기술도 상기 포인팅 기술과 마찬가지로 마크가 배경 이미지와 색이나 형태가 비슷하면 마크를 검출하기 어렵다는 단점이 있다.
본 발명은 촬영된 영상에서 배경 이미지로부터 마우스 커서 아이콘이나 기타 패턴의 마크를 영상처리수단으로 빠르고 용이하고 안정적으로 검출하기 위하여 배경 이미지와 마크 이미지를 각각 스테레오 영상의 왼쪽 눈에 보여질 영상과 오른쪽 눈에 보여질 영상으로 3D디스플레이에 출력하고 카메라는 3D디스플레이에 출력되는 상기 스테레오 영상 중 마크가 포함된 영상만 촬영하여 영상처리수단으로 분석함으로써 마크 검출을 용이하게 하는 것을 특징으로 한다.
본 발명에 의한 스테레오 영상기반 영상처리 시스템을 사용하면 배경 이미지의 색이나 형태가 마크와 유사해도 촬영된 이미지에서 마크를 빠르고 용이하고 안정적으로 검출할 수 있다.
도1은 본 발명의 구성도
3d 디스플레이에는 셔터 안경방식, 편광 안경방식,액티브리타더 방식,적청 안경방식 등이 있다. 이에 대한 각각의 설명은 다음과 같다.
실시예1
셔터 안경(shutter glasses)방식은 스테레오 영상(좌측 눈에 보여질 영상과 우측 눈에 보여질 영상)을 각각 순차적으로 번갈아 화면에 빠르게 번갈아 출력하는 방식이다. 이러한 디스플레이에 출력되는 스테레오 영상의 매 프레임의 출력 시간에 동기화된 셔터 안경의 좌우측 셔터가 번갈아 열리고 닫혀서 셔터 안경을 착용한 사용자는 좌우측 눈으로 각각 좌우측 영상을 보게 된다.이러한 3d 디스플레이와 셔터 안경은 삼성전자의 3d TV 로 상품화 되어 출시되고 있다. 이러한 셔터 안경식 디스플레이는 LCD디스플레이형태가 될 수도 있고 빔 프로젝터 형태가 될 수도 있다.
이러한 셔터 안경식 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상이 출력되는 순간에만 열리는 셔터를 부착하여 촬영하면 검정 배경에 마크만 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다.
영상처리수단은 마크 위치를 조정하여 제1 카메라 시선(line of sight) 쪽으로 이동시켜서 제1 카메라가 촬영한 영상의 중심에 오도록 하는 것이 바람직하다. 이렇게 함으로써 제1카메라가 움직여도 안정적으로 마크를 검출할 수 있다. 또한 영상처리수단은 마크 크기를 검출하여 카메라와 마크 사이의 거리에 비례하도록 마크 크기를 조정하여 제1카메라가 촬영한 영상에서 마크 크기가 일정한 크기가 되도록 하는 것이 바람직하다. 즉 제1 카메라가 마크에 접근하면 마크를 축소 조정하고 제1카메라가 마크로부터 멀어지면 마크를 확대 조정하는 것이 바람직하다. 이렇게 함으로써 촬영된 영상에서 마크 크기가 일정하게 유지되어 마크를 안정적으로 검출할 수 있다.
배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하는 대신 제1배경 이미지,제2배경 이미지 그리고 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상 그리고 포인팅이나 증강현실에 사용될 영상으로 출력하고 카메라는 마크 이미지만 촬영하여 포인팅이나 증강현실 영상을 합성할 수도 있다. 이때 제1배경 이미지와 제2배경 이미지를 셔터 방식의 스테레오 영상이고 사용자는 셔터 안경을 착용하면 입체 이미지를 보면서 포인팅 작업이나 증강현실 영상을 볼 수 있다.
실시예2
편광 안경 방식의 3d 디스플레이는 디스플레이 화면을 다수의 수평선 띠 영역으로 분할 하여 좌측 눈에 보여질 영상은 짝수 번째 띠 영역에 출력하고 우측 눈에 보여질 영상은 홀수 번째 띠 영역에 출력하는 방식이다. 여기서 짝수 번째 띠 영역과 홀수 번째 띠 영역 앞에는 각각 서로 다른 방향의 위상 지연 필름이 부착되어있어서 홀수번째 띠 영역의 영상과 짝수번째 띠 영역의 영상이 서로 반대방향의 원편광이 되게 해준다. 이를 패턴드 리타더(patterned retarder) 방식이라 한다. 그리고 그 원편광 방향과 각각 같은 방향의 원편광 필름이 좌우측 렌즈 앞에 부착된 편광 안경을 착용한 사용자는 좌우측 눈으로 각각 좌우측 영상을 볼 수 있다. 이러한 편광 안경식 3D디스플레이는 LCD디스플레이 형태가 될 수도 있고 빔프로젝터 형태가 될 수 도 있다. 빔 프로젝터인 경우는 두 개의 빔 프로젝터로 각각 좌우측 눈에 보여질 영상을 서로 다른 편광으로 하나의 스크린에 서로 겹치게 투사하면 된다. 여기서 스크린은 편광을 유지한 채로 반사할 수 있는 실버 스크린을 사용해야 한다.
이러한 편광 안경식 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상을 통과시키고 좌측 눈에 보여질 영상은 차단하는 편광 필름을 부착하여 촬영하면 검정 배경에 마크만 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다.
실시예3
상기 셔터 안경 방식과 편광 안경 방식의 장점만 선택한 기술로 액티브 리타더 방식(active retarder)의 3d 디스플레이가 있다. 액티브 리타더 방식(active retarder)의 3d 디스플레이는 기존의 셔터 안경대신 편광 안경을 사용하여 셔터 안경에 배터리를 충전하는 불편함을 해소할 수 있는 구성이다. 또한 기존의 패턴드 리타더 방식의 디스플레이의 해상도 저하 문제를 해결할 수 있는 방식이다. 액티브 리타더 방식의 디스플레이는 셔터 안경식 디스플레이와와 같이 순차적으로 좌우측 눈에 보여질 영상을 번갈아 출력하되 디스플레이 앞에는 전기적으로 원편광 방향을 바꿀 수 있는 위상지연판(retarder)을 설치하여 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상의 원편광 방향이 서로 다르게 만들어 준다.사용자는 편광 안경을 착용하여 좌우측 영상을 각각의 눈으로 볼 수 있다.
이러한 편광 안경식 3D디스플레이는 LCD디스플레이 형태가 될 수도 있고 빔프로젝터 형태가 될 수 도 있다. 빔 프로젝터인 경우는 하나의 빔 프로젝터로 각각 좌우측 눈에 보여질 영상을 번갈아 서로 다른 편광으로 하나의 스크린에 투사하면 된다. 여기서 스크린은 편광을 유지한 채로 반사할 수 있는 실버 스크린을 사용해야 한다.
이러한 편광 액티브 리타더방식의 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상을 통과시키고 좌측 눈에 보여질 영상은 차단하는 편광 필름을 부착하여 촬영하면 검정 배경에 마크만 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다.
실시예4
적청 안경방식의 3d 디스플레이는 좌우측 눈에 보여질 영상을 각각 적색과 청색으로 출력하는 방식으로 사용자는 좌우측에 각각 적색 필터와 청색 필터가 부착된 안경을 착용하여 입체 영상을 볼 수 있다.
이러한 적청 안경식 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상을 통과시키고 좌측 눈에 보여질 영상은 차단하는 필름(적색 또는 청색 필터)을 부착하여 촬영하면 검정 배경에 마크만 적색 또는 청색으로 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다. 적청 안경방식과 유사한 돌비 안경 방식도 있다. 돌비 방식의 3d디스플레이는 좌우측 영상을 각각 약간씩 다른 3원색으로 출력하고 그 색만 통과시키는 필터를 안경의 좌우측 눈에 부착하는 방식이다. 적청 안경방식과 차이점은 적청 안경 방식은 좌우측 눈에 각각 적색과 청색 영상이 보이지만 돌비 방식은 좌우측 눈에 칼라 영상이 보인다는 점이다.
실시예5
상기 실시예1~4의 구성에 도1과 같이 제2카메라를 추가하여 증강현실 시스템을 구성 할 수 있다.즉 상기 실시예1~4에서 사용된 카메라(제1카메라)에 마크가 포함된 영상만 촬영할 수 있게 셔터나 필터를 부착하여 마크만 촬영하여 영상처리 수단으로 제1 카메라와 마크 사이의 상대위치를 산출 할 수 있다. 그리고 새로 추가되는 제2카메라에는 마크가 포함되지 않은 배경 영상만 촬영할 수 있게 셔터나 필터를 부착하여 마크가 포함되지 않은 배경 영상만 촬영하여 그 영상에 상기 영상처리 수단으로 산출한 카메라와 마크 사이의 상대 위치 정보를 이용하여 그래픽 객체를 원근감 있게 합성할 수 있다.이렇게 합성된 영상에는 마크가 없어서 더 자연스럽다는 장점이 있다.제1 카메라와 제2 카메라는 상대위치를 고정하고 미리 그 상대 위치를 측정하여 그래픽 객체를 합성하는 데 사용하는 것이 바람직하다. 이러한 제1 카메라와 제2 카메라는 스마트폰에 포함 될 수 도 있고 헤드마운트 디스플레이(HMD) 에 포함될 수도 있다. 특히 헤드마운트 디스플레이에 포함되는 경우 헤드마운트 디스플레를 안경처럼 착용한 사람의 시선 방향을 촬영하도록 카메라를 설치하는 것이 바람직하다. 이러한 헤드마운트 디스플레이는 WRAP 920AR+ 라는 제품으로 출시되고 있다( http://www.vuzix.com/consumer/products_wrap920ar.html) 이러한 헤드마운트 디스플레의 양 눈 앞에 설치된 스테레오 카메라 중 한 카메라는 마크만 촬영하여 카메라와 마크 사이의 3차원 상대 위치를 영상처리수단으로 산출하고 나머지 카메라는 마크가 포함되지 않은 배경 이미지를 촬영하여 그래픽 객체를 원근감 있게 합성하여 그 합성된 영상을 헤드마운트 디스플레이에 출력할 수 있다.
실시예6
상기 실시예1~4의 구성으로 카메라를 리모컨이나 권총처럼 쥐고 화면을 촬영하여 포인팅 작업을 하는 사용자가 마크가 포함되지 않은 영상만 통과시키는 셔터나 필터가 좌우측 눈 앞에 모두 부착된 안경을 착용함으로써 3D 디스플레이에 출력되는 영상에서 마크가 보이지 않게 할 수 있다. 예를 들어서 카메라를 총 형태로 하여 포인팅 작업을 하면서 사격 게임을 하는 경우 3D디스플레이에 사격 게임 영상이 출력되는 경우 마크는 포인팅 작업을 하기 위해서는 카메라에 촬영되어야 하지만 사람에게는 보이지 않는 것이 바람직하므로 사람은 마크가 포함된 영상은 차단하고 마크가 포함되지 않은 배경 영상(게임 영상)은 통과시키는 필터나 셔터안경을 착용하는 것이 바람직하다.
실시예7
상기 실시예5에서 설명한 비디오 방식(video-through)의 증강현실용 헤드마운트 디스플레이 대신 투명한 안경 방식의 증강현실용 헤드마운트 디스플레이(See-Thru Augmented Reality Display)를 사용할 수도 있다. 이 경우 상기 실시예5의 제2 카메라는 생략될 수 있다. 이러한 투명한 안경 방식의 증강현실용 헤드마운트 디스플레이는 STAR 1200 이라는 제품이 출시되어있다.( http://www.vuzix.com/ar/products_star1200.html) 이 제품에는 시선 방향을 촬영하는 카메라가 부착된 안경을 착용하면 카메라가 촬영한 영상에서 마크를 검출하여 카메라와 마크 사이의 상대위치를 산출하여 그래픽 객체를 원근감 있게 생성하고 그 그래픽 객체를 안경형태의 투명한 디스플레이에 투사하여 공중에 그 객체가 떠 있는 것처럼 보이게 해준다. 이러한 투명한 디스플레이 앞 또는 뒤에 상기 실시예6의 마크가 포함되지 않은 영상만 통과시키는 셔터나 필터를 부착할 수 있다.(또는 투명한 디스플레이와 셔터나 필터를 일체형으로 형성 할 수 도 있다.) 그러면 사용자는 마크가 없는 배경 영상 위에 그래픽 객체가 원근감 있게 표시되는 것을 볼 수 있다.

Claims (11)

  1. 영상처리 시스템에 있어서
    특정 영상에만 마크를 출력하는 디스플레이를 포함하는 디스플레이부;
    상기 특정 영상만 촬영하는 제1카메라를 포함하는 카메라부;
    상기 제1카메라에서 촬영한 영상을 분석하여 마크를 검출하는 영상 처리부
    를 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템.
  2. 상기 1항에 있어서
    영상처리부는 마크를 검출하여 포인팅 신호를 출력하거나 투명 디스플레이 방식(optical see through,See-Thru)의 증강 현실 영상을 생성하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템.
  3. 상기 1항에 있어서
    카메라부는 마크가 포함되지 않은 영상만 촬영하는 제2카메라를 더 포함하고
    영상처리부는 제1카메라로 촬영한 영상을 분석하여 검출한 마크 정보를 이용하여 상기 제2카메라로 촬영한 영상에 증강현실 영상을 합성하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
  4. 2항 내지 3항 중 어느 한 항에 있어서
    영상처리부는 검출된 마크 위치를 제1카메라 시선 방향쪽으로 이동시켜서 제1 카메라로 촬영된 이미지에서 마크가 이미지 중앙의 일정 영역안에 위치하도록하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
  5. 2항 내지 3항 중 어느 한 항에 있어서
    영상처리부는 검출된 마크의 크기를 카메라와 카메라와 마크 사이의 거리에 비례하게 조정하여 제1카메라로 촬영한 영상에서 마크 크기가 일정 범위 안에 있도록 하는것을 특징으로하는 스테레오 영상기반 영상처리 시스템
  6. 1항에 있어서
    마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 순간에 출력되고
    제1카메라는 마크가 포함된 영상이 출력되는 순간에만 촬영하는 셔터수단을 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
  7. 1항에 있어서
    마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 편광으로 출력되고
    제1카메라는 마크가 포함된 영상의 편광과 동일한 편광의 영상만 촬영하는 필터수단을 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
  8. 1항에 있어서
    마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 색으로 출력되고
    제1카메라는 마크가 포함된 영상의 색과 동일한 색의 영상만 촬영하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
  9. 1항에 있어서
    마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 색으로 출력되고
    제1카메라는 마크가 포함된 영상을 칼라로 촬영하는 칼라 카메라 이고;
    영상처리부는 상기 칼라 카메라에서 촬영한 영상에서 마크를 포함한 영상의 색 성분만 분석하여 마크를 검출하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
  10. 특정 영상에만 마크를 출력하는 단계;
    상기 특정 영상만 촬영하는 단계;
    상기 촬영된 영상을 분석하여 마크를 검출하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 방법.
  11. 특정 영상에만 마크를 출력하는 단계;
    상기 특정 영상만 촬영하는 단계;
    상기 촬영된 영상을 분석하여 마크를 검출하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2012/007973 2011-09-30 2012-09-29 스테레오 영상 기반 영상처리 시스템 Ceased WO2013048221A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014533221A JP5905585B2 (ja) 2011-09-30 2012-09-29 ステレオ映像に基づく映像処理システム
US14/347,315 US9648301B2 (en) 2011-09-30 2012-09-29 Image processing system based on stereo image
CN201280047284.9A CN103828357B (zh) 2011-09-30 2012-09-29 图像处理系统以及图像处理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2011-0100381 2011-09-30
KR20110100381 2011-09-30
KR10-2011-0114866 2011-11-06
KR20110114866 2011-11-06

Publications (2)

Publication Number Publication Date
WO2013048221A2 true WO2013048221A2 (ko) 2013-04-04
WO2013048221A3 WO2013048221A3 (ko) 2013-05-23

Family

ID=47996669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/007973 Ceased WO2013048221A2 (ko) 2011-09-30 2012-09-29 스테레오 영상 기반 영상처리 시스템

Country Status (5)

Country Link
US (1) US9648301B2 (ko)
JP (1) JP5905585B2 (ko)
KR (1) KR101371831B1 (ko)
CN (1) CN103828357B (ko)
WO (1) WO2013048221A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017034886A1 (en) 2015-08-24 2017-03-02 Pcms Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
CN113190111B (zh) * 2015-10-08 2024-12-20 交互数字Vc控股公司 一种方法和设备
US10033991B2 (en) * 2016-02-24 2018-07-24 Arris Enterprises Llc Video display for viewing through polarized active shutter glasses
KR101859197B1 (ko) * 2018-01-22 2018-05-21 주식회사 연시스템즈 실시간 입체 현미경
CN119766984A (zh) 2018-11-30 2025-04-04 Pcms控股公司 显示3d对象的方法和系统
JP7137743B2 (ja) * 2018-12-26 2022-09-15 株式会社Ｊｖｃケンウッド 映像表示システム、映像表示装置、及び映像表示方法
EP4013050A4 (en) * 2019-08-05 2022-12-21 Sony Group Corporation SURGICAL IMAGING SYSTEM, SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING METHOD
WO2021111779A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63214095A (ja) 1987-03-02 1988-09-06 Sharp Corp 立体表示装置
JP2002222043A (ja) 2001-01-29 2002-08-09 Nissan Motor Co Ltd カーソル制御装置
JP3849645B2 (ja) * 2003-01-20 2006-11-22 ソニー株式会社 監視装置
US7256772B2 (en) 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
DE102004018182B4 (de) * 2003-09-20 2008-04-24 Diehl Bgt Defence Gmbh & Co. Kg Vorrichtung und Verfahren zur Erzeugung einer Abbildung einer Objektszene
JP2006106457A (ja) * 2004-10-07 2006-04-20 Pentax Corp ストロボ撮影が可能なカメラ
KR101086068B1 (ko) * 2004-12-10 2011-11-22 한국문화콘텐츠진흥원 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
JP4926817B2 (ja) * 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
KR100936816B1 (ko) 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
US20130187854A1 (en) 2007-05-26 2013-07-25 Moon Key Lee Pointing Device Using Camera and Outputting Mark
KR20090040839A (ko) * 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
JP2009302770A (ja) 2008-06-11 2009-12-24 Olympus Visual Communications Corp 立体映像表示システム及び記憶媒体
US8204340B2 (en) * 2008-09-29 2012-06-19 Two Pic Mc Llc Methods and apparatus for dot marker matching
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
KR101171660B1 (ko) 2010-03-01 2012-08-09 이문기 증강현실의 포인팅 장치
KR101227237B1 (ko) * 2010-03-17 2013-01-28 에스케이플래닛 주식회사 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법
WO2011152634A2 (ko) 2010-05-29 2011-12-08 Lee Moon Key 모니터 기반 증강현실 시스템

Also Published As

Publication number Publication date
WO2013048221A3 (ko) 2013-05-23
JP5905585B2 (ja) 2016-04-20
US20140232829A1 (en) 2014-08-21
JP2015501560A (ja) 2015-01-15
US9648301B2 (en) 2017-05-09
CN103828357B (zh) 2016-01-20
KR101371831B1 (ko) 2014-03-26
CN103828357A (zh) 2014-05-28
KR20130035984A (ko) 2013-04-09

Similar Documents

Publication Publication Date Title
KR101371831B1 (ko) 스테레오 영상 기반 영상처리 시스템
JP4291862B2 (ja) 立体テレビジョンシステム及び立体テレビジョン受像機
EP2389003B1 (en) Three-dimensional video image pick-up and display system
WO2014197109A3 (en) Infrared video display eyewear
WO2010050158A1 (en) Three-dimensional display device and method as well as program
US10582184B2 (en) Instantaneous 180-degree 3D recording and playback systems
JP2010004511A (ja) 立体映像撮像表示システム
US20140218478A1 (en) Method and apparatus for stereoscopic imaging
US20240251069A1 (en) Display device and display method therefor
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
CN101854485A (zh) 一种自动调节手持立体拍摄设备抖动的方法及装置
CN104584075B (zh) 用于描述对象空间的对象点以及用于其执行的连接方法
JP2016197816A (ja) ヘッドマウントディスプレイ及び制御方法
CN113467612B (zh) 一种应用于基于ue4全息沙盘的交互方法及装置
US9185399B2 (en) Stereoscopic video receiver
JP2002344998A (ja) 立体画像表示装置
CN114755839A (zh) 一种全息沙盘显示系统
JP2006267767A (ja) 画像表示装置
KR102724897B1 (ko) 증강 현실 제공 시스템
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
WO2019225774A1 (ko) 듀얼뷰반사형 집적영상시스템
JP4496122B2 (ja) 立体映像撮影再生装置
CN102158723A (zh) 3d双投影仪自动同步方法及自动同步的3d播放系统
KR20250129425A (ko) 가상증강현실 구현을 위한 ３ｄ 영상 촬영 및 시청기기
JP2009017541A (ja) 立体映像観賞用メガネ

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14347315

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014533221

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12834942

Country of ref document: EP

Kind code of ref document: A2