WO2017179938A1 - 눈 촬영 장치 - Google Patents

눈 촬영 장치 Download PDF

Info

Publication number
WO2017179938A1
WO2017179938A1 PCT/KR2017/004055 KR2017004055W WO2017179938A1 WO 2017179938 A1 WO2017179938 A1 WO 2017179938A1 KR 2017004055 W KR2017004055 W KR 2017004055W WO 2017179938 A1 WO2017179938 A1 WO 2017179938A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
light
mirror
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/004055
Other languages
English (en)
French (fr)
Inventor
이문기
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of WO2017179938A1 publication Critical patent/WO2017179938A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/0095—Relay lenses or rod lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/02—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors
    • G02B23/04—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors for the purpose of beam splitting or combining, e.g. fitted with eyepieces for more than one observer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/0025—Diffusing sheet or layer; Prismatic sheet or layer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/1805—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for prisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic

Definitions

  • the present invention relates to a camera for capturing eyes in order to track the gaze, characterized by capturing both eyes with one camera or capturing the eye and the eye facing with one camera.
  • Eye tracking is a technique of determining which direction the user is staring by analyzing an image of the user's eyes photographed by a camera.
  • Such cameras are usually attached to glasses or included in a virtual reality head mounted display (HMD).
  • HMD virtual reality head mounted display
  • Patent Literatures 1 and 2 are proposed as conventional eye tracking apparatuses for HMD.
  • the wearable gaze tracking device of the goggle form of Patent Document 1 includes a first camera 110 for capturing a gaze direction and a second camera 140 for capturing the eyes of a user, as shown in FIG. 7.
  • a second camera 140 for capturing the eyes of a user, as shown in FIG. 7.
  • an infrared light source 120 illuminating infrared rays toward the user's eyes and an infrared reflective hot mirror 130 reflecting infrared rays of the light source toward the eyes are included.
  • Such a mirror is known as a hot mirror.
  • a camera for photographing eyes may be installed on the left and right eyes, respectively, to photograph both eyes.
  • the communication channel e.g. USB
  • the communication channel that transfers camera images to the eye tracking software is twice as heavy as using one camera.
  • the heat generated inside the HMD may be increased due to the double heat generation and the load of the communication channel.
  • the first embodiment of the present invention has been made to solve the above-described problem, and an object of the present invention is to provide a binocular photographing apparatus using a single camera in which the layout of the optical apparatus is arranged to capture the eyes of both eyes with one camera. have.
  • a second embodiment of the present invention is to provide an apparatus for photographing the eye and the front with a single camera.
  • the first embodiment is characterized in that it comprises an optical module for reflecting the infrared light reflected from both eyes toward the camera in front of one camera.
  • optical modules include mirrors and lenses.
  • the lens of the optical module is a convex lens having a short focal length, and the camera photographs an image formed on the convex lens, and the camera is installed away from the convex lens so that heat generated from the camera is easily discharged to the outside.
  • the second embodiment includes an optical module that reflects infrared light reflected from the eye and light reflected from an object in a gaze direction in front of one camera toward the camera.
  • the optical module is characterized in that the infrared light reflected from the eye is reflected toward the camera and the visible light is blocked so that an external object is not overlaid on the eye image.
  • visible light or infrared light reflected from an external object is reflected toward the camera, so that the camera captures an infrared or visible light image of an external object.
  • both eyes can be photographed with a single camera.
  • a single camera can photograph one eye and an external object in the eye direction of the eye.
  • the eyeball photographing apparatus of the present invention having such a configuration has low power consumption, less load on the communication channel, less heat load, low cost, less circuit complexity, and light weight.
  • the light collecting means captures left and right eyes or objects in eye and eye directions respectively in two regions of the image sensor divided by a straight line passing through the center of the long side of the rectangular image sensor, respectively.
  • the light is collected so that the length of the rectangle of this image sensor is parallel to the short side, and the eyeball can be enlarged and photographed as much as possible by eliminating wasted pixel areas.
  • Patent Document 3 has a camera installed on the eyeglass frame under the eye
  • the camera is installed near the eyeglass nose support to the outside
  • the camera can not be exposed, so it looks good. For example, if you make your eyeglass lenses dark like sunglass, you won't see the camera at all.
  • FIG. 1A is a perspective view showing a schematic configuration of a binocular photographing apparatus using a single camera according to a preferred embodiment of the present invention.
  • 1b is a photographed eye image.
  • 1C is another example of a photographed eye image.
  • 1D is another example of a photographed eye image.
  • FIG. 2A is a side view of FIG. 1;
  • Figure 2b is a view of photographing the eye with a convex relay lens.
  • Figure 2c is a view of photographing the eye with a concave relay lens.
  • FIG. 3A is a front view of FIG. 1.
  • FIG. 3B is a modification of FIG. 3A.
  • FIG. 4 is a plan view of FIG.
  • FIG. 5 is a side view illustrating a schematic configuration of a binocular photographing apparatus using a single camera in which a 45 degree reflective mirror is omitted in FIG. 2A;
  • FIG. 5 is a side view illustrating a schematic configuration of a binocular photographing apparatus using a single camera in which a 45 degree reflective mirror is omitted in FIG. 2A;
  • FIG. 6A is a perspective view illustrating a schematic configuration of a binocular photographing apparatus using a single camera in which a relay lens is omitted in FIG. 5.
  • 6B is a view of reflecting light toward a single camera with two rectangular prisms.
  • 6C is a view in which a lens is integrally formed on a right prism.
  • 6D is a view in which a lens is integrally formed on a mirror.
  • Figure 7 is a block diagram showing the configuration of a wearable gaze tracking device having a conventional goggles form.
  • FIG. 8 is a configuration diagram showing the configuration of another conventional gaze tracking device.
  • 9 is a perspective view of photographing one eye with two cameras
  • 10 is a block diagram of photographing the eyeballs with four lenses
  • Figure 11 is a side view of Figure 10
  • Figure 12 is a plan view of Figure 10
  • FIG. 13 is an image photographed by the configuration of FIG. 10.
  • 15A is a detailed view of the camera and optical module of FIG.
  • 15B is a detailed view of the camera and optical module of FIG.
  • Figure 16 is a plan view of Figure 14
  • Figure 17 is a side view of Figure 14
  • Figure 18 is a removable 3d polarized glasses lens module
  • 19 is a front view of a conventional eye photographing device
  • 20 is a rear view of an existing eye photographing apparatus
  • 21 is a side view of a conventional eye photographing device
  • FIG. 22 is a view showing a mirror image of the camera in the configuration of FIG.
  • Figure 23 is a side view of Figure 22
  • Figure 24 shows the camera attached to the glasses leg
  • Patent Document 1 Korean Patent Registration No. 10-0949743
  • Patent Document 2 Korean Patent Registration No. 10-1471488
  • Patent Document 3 PCT / US2014 / 038651 (Korean Publication 19-2016-0111019)
  • the term 'light gathering' used in the present invention collects the first and second light in both directions from the first mirror and the second mirror, which are the first reflection mirrors, and proceeds them toward a single camera. Means that.
  • the binocular photographing apparatus using a single camera relates to a form included in a head mount display (hmd) for virtual reality.
  • the binocular photographing apparatus includes a first and second infrared reflection visible light passing mirror that reflects the first light (infrared rays) reflected from the first eye and the second light (infrared rays) reflected from the second eye to an intermediate point between the two eyes. hot mirror), light collecting means for advancing the light reflected by the first and second mirrors toward the camera, and a camera for photographing light incident by the light collecting means.
  • the gist of the present invention is the one-way light reflecting the first and second light from the first and second eye through the first and second mirrors (the middle point between the two eyes, for example, passing through the center of the face). It has a layout of an optical path that is collected on a vertical line and advances the first and second lights in one direction to a single camera, so that the light of both eyes can be taken with one camera.
  • the first and second mirrors are first and second hot mirrors in the case of primary (primary) reflection of the infrared rays reflected and reflected by both eyes.
  • Hot mirrors are optical modules that reflect infrared light and allow visible light to pass through.
  • the light collecting means may be implemented by the first optical module and the second optical module, wherein the first and second optical modules may be mirrors (e.g., mountain or V-shaped reflecting mirrors of the present embodiment) or prisms (e.g., right angle prism of the present embodiment). Can be configured.
  • first and second optical modules may be mirrors (e.g., mountain or V-shaped reflecting mirrors of the present embodiment) or prisms (e.g., right angle prism of the present embodiment). Can be configured.
  • the binocular photographing apparatus 1 using a single camera has a head between both eyes.
  • a single camera 10 disposed upward (fixed side), the first and second infrared illumination unit 30 for illuminating infrared light with both eyes staring at the screen of the display, and the infrared rays of the first and second infrared illumination unit 30
  • a first and second infrared reflecting mirror 50 reflecting an image of both eyes illuminated, and a third reflecting infrared rays reflected through the first and second reflecting mirror 50 to a single camera 10.
  • And 4 reflective mirrors 70 are examples of the first and second infrared illumination unit 30 for illuminating infrared light with both eyes staring at the screen of the display.
  • a first and second infrared reflecting mirror 50 reflecting an image of both eyes illuminated, and a third reflecting infrared rays reflected through the first and second reflecting mirror 50 to a single camera 10.
  • the third and fourth reflection mirrors 70 correspond to the light collecting means.
  • the binocular photographing apparatus 1 using the single camera according to the first embodiment is applied to a virtual reality (VR) HMD
  • an image processor which detects the eyeball by analyzing the image photographed by the single camera 10 ( Not shown) is further included.
  • the single camera 10 is disposed near the center (both points of equal distance between the two eyes or at or near the point where the distance is the shortest is most preferred) between both eyes.
  • the single camera 10 is composed of a lens 11 which receives the binocular image reflected through the first and second reflection mirrors 70, a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS). 11) an image sensor 13 for acquiring a binocular image input to the lens, and an infrared transmission filter attached to the front surface of the lens 11 or the front surface of the image sensor 13 to transmit only infrared wavelengths.
  • the infrared transmission filter may be omitted.
  • the single camera 10 photographs the light reflected from the eyes to different regions of the image sensor 13 as shown in FIG. 1B.
  • the image sensor 13 has a rectangular shape in which the horizontal length is longer than the vertical length.
  • the number of pixels in width * length may be 640 * 480.
  • the method of photographing the left and right eyes in each area by dividing the rectangular area into two may be performed in the same manner as in FIG. 1C or 1D according to the method of arranging the mirror and the camera. Of these three methods, the method of FIG. 1B is most preferred. The reason for this is that in Fig. 1C and Fig. 1D, there is no wasted pixel area 13a that is not used for imaging. That is, as shown in FIG. 1B, the eye can be enlarged and photographed as much as possible without wasting pixels.
  • the direction and position of the camera and the mirror are adjusted as shown in FIG. 1A to draw a straight line so that the length of the rectangle of the image sensor 13 passes through the centers 640a and 640b of the long horizontal 640. It is preferable to photograph the eyeballs each other so that the left and right directions (arrows 480a) of the eyeballs are parallel to the shorter vertical length 480 of the rectangle.
  • the first and second infrared illuminators 30 illuminate infrared rays with both eyes, and may include an infrared light emitting diode (LED) 30.
  • LED infrared light emitting diode
  • the infrared LED 30 is disposed on the left and right sides of both eyes to illuminate the eyes.
  • the infrared LED 30 is preferably disposed along the periphery of the edge of the HMD lens 40 focusing the display.
  • the first and second infrared reflecting mirrors 50 are composed of hot mirrors having a property of transmitting visible light and reflecting infrared rays, as shown in FIG. 45 degrees inclined toward the center between both eyes from the outside of the HMD lens 40 (just like a funnel shape) so that an infrared-illuminated user's eye image is 45 degrees refracted and input to the third and fourth reflection mirrors 70. do.
  • first and second infrared reflecting mirrors 50 have a bell shape in which the width thereof becomes wider toward the front side as shown in FIG. 2A.
  • the third and fourth reflection mirrors 70 serve to relay the infrared rays reflected by the first and second infrared reflection mirrors 50 to be input to the single camera 10.
  • the third and fourth reflection mirrors 70 are arranged in a vertical shape (that is, a vertically inverted V-shape) with respect to the first and second infrared reflection mirrors 50, as shown in the front view of FIG. 3A. .
  • the mountain reflection mirror 70 is disposed to be inclined in a direction to be spaced from each other as it goes from top to bottom.
  • the space between the two eyes to install the single camera 10 is narrow, close to the user's forehead or forehead side when placed (mounted on the hmd lens line)
  • the reflective mirror 70 is also disposed in a direction perpendicular to the mirror.
  • the distance between the mountain reflecting mirror 70 and the single camera 10 is increased so that an image relay means such as the convex relay lens 80 or the concave relay lens 80f is disposed on the mountain reflecting mirror 70. Is preferred.
  • the convex relay lens 80 of FIG. 3B illustrates a modified example disposed between the first and second infrared mirrors 50 and the mountain reflection mirror 70.
  • the convex relay lens 80 or the concave relay lens 80f constituting the image relay means has a focal length and a lens diameter. It is desirable to be about equal or shorter.
  • the lens 11 of the single camera 10 uses a telephoto lens having a long focal length so that the small-diameter convex or concave relay lens of the remote image relay means can be enlarged and photographed.
  • FIG. 2B is a view of photographing the eyeball using the convex relay lens 80 and FIG. 2C is a view of photographing the eyeball using the concave relay lens 80f. (The mirror is not shown in the drawing).
  • the light reflected from the eyeball forms an image 80b through an convex relay lens 80 on an image plane (a portion where light reflected from a subject gathers and focuses on a lens) 80c.
  • the lens 11 of the single camera 10 photographs the eyeball image 80b on the image sensor 13. Since the single camera 10 needs to enlarge and photograph the small eye image 80b formed by the convex relay lens 80 on the screen, it is preferable to use a telephoto lens having a narrow viewing angle.
  • FIG. 2C shows an image relay means composed of a concave relay lens 80f, in which light reflected from the eyeball forms an image 80g on an image forming surface 80e between the eyeball and the concave relay lens 80f.
  • the camera 10 photographs an image 80g by the concave relay lens 80f.
  • the image relay means may include a first imaging means for forming an image of the first eye and a second imaging means for forming an image of the second eye, wherein the first and second imaging means are first and second convex relays.
  • the lens 80 or the first and second concave relay lenses 80f may be further limited.
  • the lens 11 of the micro camera 10 can capture both eyes and whites on one screen. It is preferable to use a lens having a viewing angle as large as possible (approximately a standard lens).
  • the image relay means transmits the light reflected from the mountain reflection mirror 70 to form an image close to the single camera 10, thereby photographing the eyes of both eyes with the single camera 10.
  • a single camera 10 and a mountain reflecting mirror 70 / image relay means are arranged at right angles to each other, such that a 45 degree reflecting mirror 90 is further added on the optical path to reflect light to the single camera 10. It is arranged.
  • the mountain reflection mirror 70 / image relay means is disposed between the first and second infrared reflection mirrors 50.
  • the 45 degree reflection mirror 90 may be omitted.
  • the heat of the camera 10 may be easily discharged to the outside through the case 1a.
  • a single camera 10 may be positioned directly on the mountain reflection mirror 70 to directly track the eyes of both eyes.
  • FIG. 6B is a modified example in which the mountain reflection mirror 70 is replaced with two rectangular prisms 70a. The first and second lights incident from the left and right sides are totally reflected toward the camera 10 in the rectangular prism 70a.
  • Fig. 6C is a modification of the light collecting means 70b in which the convex or concave Fresnel lens is formed on the surface where the light ray of the right angle prism passes, and the relay lens is integrally formed on the prism.
  • FIG. 6D is a modified example of the light collecting means 70c in which the mirror surface is formed into a convex or concave curved surface so that the concave lens or the convex lens is integrally formed in the mirror.
  • the image processor may detect the center of the pupil using the binocular image of the user captured by the single camera 10 and extract the center coordinate value of the detected pupil.
  • the camera when the optical apparatus according to the present embodiment is used, the camera may be installed between the two eyes as shown in FIG. 6A when the camera is small.
  • the smaller the camera the lower the resolution and the slower the shooting problem.
  • the camera becomes large and the space between the eyes is narrow, making it difficult to install the camera.
  • the camera if the camera is installed in hmd, the camera may be large and may obstruct the field of view. If the camera is large, it is preferable to use the relay lenses 80 and 80f to capture the eye at a high resolution, instead of installing the camera far away from the eye and installing the upper space of the hmd as shown in FIG. 5 or 2A. .
  • the relay lens 80 is omitted in the configuration of FIG. 5, the third and fourth mirrors 70 need to be large in order to photograph the entire eyeball (the pupil and the surrounding area). It can also mask. However, if you make the relay lens very small, you can make the mirror very small. Even if the relay lens is very small, if the camera lens is a telephoto lens, the eyeball image formed on the small relay lens can be enlarged to fill the image sensor screen.
  • a large-sized high-speed camera can be easily installed inside the hmd to capture eyeballs, calculate eyeball directions, and use a technique called foveated rendering used in hmd for virtual reality. It can be easily implemented.
  • Forbidden rendering is a technology that reduces the burden on the graphics card by generating a graphic image of the virtual world of the part where the hmd wearer of virtual reality faces in high resolution and the surrounding image in low resolution.
  • an eye tracking device performs position calibration immediately after wearing the eye tracking device to track the eye.
  • This position adjustment means to obtain a correlation between the image of the eyeball, the gaze direction calculated from the image, and the mouse cursor coordinates corresponding to the gaze direction. For example, it prints blinking marks or marks at specific points on the screen (for example, four corners of a square), and shoots the eye when the hmd wearer with a gaze tracker looks at the mark. Detects the coordinates of the eyeball and the position of the mark displayed on the screen.
  • a paper is used to calculate a three-dimensional relative position between the eye and the camera by analyzing a stereo image taken by shooting one eye with two cameras in stereo (Calibration-free eye tracking by reconstruction of the pupil ellipse in 3D space) is introduced at https://www.researchgate.net/publication/220810955_Calibration-free_eye_tracking_by_reconstruction_of_the_pupil_ellipse_in_3D_space
  • FIG. 9 is an eye tracking device included in the above paper, in which two cameras are configured to photograph one eye reflected through a hot mirror in stereo.
  • the eye tracking apparatus of the present invention of FIG. 1A may be modified as shown in FIG. 10 to photograph both eyes in stereo.
  • two relay lenses 80 are arranged to the left and right (that is, two relay lenses are arranged in one row and two columns. These are called first and second imaging means.) So that each lens photographs left and right eyes. It is.
  • four relay lenses are provided in a matrix of two rows and two columns in FIG. 10 (this is called first, second, third, and fourth imaging means).
  • FIG. 11 is a side view of such a device
  • Fig. 13 is an example of an image photographed with a relay lens of two rows and two columns.
  • Stereo matching between the left two images (L1, L2) in the captured image yields a three-dimensional relative position between the left eye and the camera, and stereo matching between the right two images (R1, R2) results in three between the right eye and the camera.
  • Dimensional relative position can be obtained. This three-dimensional relative position can be used for positioning (calibration) of eye tracking.
  • the spectacle lens may include a spectacle-type display 502 to output an augmented reality image.
  • the camera may analyze the image of the eye and move the mouse cursor 503 of the computer screen displayed on the spectacle display.
  • the virtual object 504 of the augmented reality may be manipulated by recognizing the shape of the hand and the gesture motion in the image of the wearer's hand photographed by the camera.
  • Light incident from the eyeline direction is incident to the camera through the first optical module, and light reflected from the eye travels to the camera through the second optical module.
  • Optical modules include optical elements such as mirrors, prisms, diffraction plates, holograms, lenses, etc. to change the direction of light by reflecting, diffracting, or refracting light.
  • Existing spectacle-type displays are equipped with a camera that photographs the front and a camera that photographs the eyes (that is, one or more cameras are installed), which causes the device to be heavy and power-consuming.
  • a problem can be solved by photographing the eye and the front with one camera.
  • FIG. 15A is an enlarged detailed view of the camera and the optical module 501a of FIG. This configuration is symmetrical to each of the left and right nose support of the glasses.
  • v-shaped third and fourth mirrors 601 and 602 are installed in front of the camera 600.
  • First and second mirrors are installed on the upper 603 and the lower 604 of the V-shaped third and fourth mirrors 601 and 602.
  • the first and second mirrors may be configured as convex mirrors or concave mirrors to widen the photographing viewing angle of the camera. Similar to the first embodiment before or after the first and second mirrors, a concave relay lens or a convex relay lens (first and second imaging means) may be added.
  • the first and second mirrors may be divided into two convex mirrors or two concave mirrors 601a, 601b, 602a, and 602b as shown in FIG. 15B so that the external object in the eye and the eye direction may be photographed in stereo.
  • the concave relay lens or the convex relay lens is placed side by side in front of the first and second mirrors (in one row, two rows, or two rows and one column) so that external objects in the eye and gaze directions can be taken in stereo. It is also possible to add pieces (first, second, third and fourth imaging means).
  • the camera reflects the upper image reflected in the upper third mirror 601 and upper upper mirror 603 of the v-shaped mirror and the lower fourth mirror 602 and lower second mirror 604 of the v-shaped mirror.
  • Divided images on one screen and take pictures. For example, dividing two images on one screen means taking one screen by dividing one screen vertically or horizontally as shown in FIG.
  • the third mirror 601 and the upper first mirror 603 correspond to the first optical module
  • the lower fourth mirror 602 and the lower second mirror 604 correspond to the second optical module. .
  • the light reflected by the eyeball 605 is reflected by the spectacle lens 505 and then reflected by the lower second mirror 604 and the lower third mirror 602 of the v-shaped mirror to reach the camera.
  • the light reflected from the front object (for example, the wearer's hand) 606 passes through the spectacle lens 505 and then reflects to the upper first mirror 603 and the upper third mirror 603 of the v-mirror in order. After it reaches the camera.
  • Some of these mirrors may be omitted by appropriately adjusting the camera's shooting direction (optical axis, straight line perpendicular to the camera lens).
  • the first mirror 603 and the third mirror 601 may be integrated into one mirror
  • the second mirror 604 and the fourth mirror 602 may be integrated into one mirror.
  • a relay lens image relay means
  • the eyeball 605 is irradiated with an infrared light such as an infrared led to reflect the infrared region 505a of the spectacle lens (reflected infrared light reflected from the eye toward the camera so that the infrared light is reflected from the eye and then reflected onto the spectacle lens 505).
  • Region is preferably subjected to an infrared reflecting visible light transmitting coating (hot mirror coating).
  • a visible light blocking filter 608 is installed between the camera mirror and the lower fourth mirror 602 of the v-mirror so that the objects 607 in front of the spectacle lens do not overlap with the eye in the field of view of the camera photographing the eye. It is desirable to. The reason for shooting the eyeball through the lower fourth mirror instead of the upper third mirror is that if the eye is photographed from the lower side, there is less risk of the eye being covered by the eyelids.
  • Figure 16 is a plan view of the configuration of Figure 15A and Figure 17 is a front view of the configuration of Figure 15A.
  • a small hot mirror coated lens module may be sandwiched between the existing spectacles and the wearer's eyes as shown in FIG.
  • This removable lens module is used in the existing polarized 3d glasses module.
  • a camera and an optical module may be included in or near the nose of the hot mirror coated lens module.
  • the user may wear eyeglasses by applying more of the hot mirror-coated lens module while wearing his or her existing glasses to track the eyes.
  • the configuration of the present embodiment is characterized by taking a hot mirror coating on the spectacle lens and photographing the eyeball image reflected on the coating surface with a camera.
  • the spectacle-type eyeball photographing apparatus of Patent Document 3 photographs the eyeball with the camera, but does not photograph the eyeball image reflected by the lens, but directly photographs the eyeball.
  • FIG. 19 is a front view of an eyeball photographing apparatus posted on the homepage of Tobii, an applicant of Patent Document 3, and FIG. 20 shows FIG. 2b of Patent Document 3.
  • FIG. 22 shows the effect of the camera 600 having the configuration shown in FIG. 16 reflected on the lens 505 as if outside the lens. 22, 801 shows a mirror image of the camera 600 reflected by the spectacle lens, and 800 shows a distance between the camera and the eye of the mirror image.
  • FIG. 23 shows a side view of the apparatus of this embodiment for comparison with FIG. Referring to FIG. 23, the lens of the glasses of the present embodiment does not need to protrude unsightly, unlike the existing apparatus of FIG.
  • Such a camera may be attached to the spectacles leg 901 as shown in FIG. 24 to photograph the eye reflected by the spectacle lens.
  • the glasses leg 901 is generally above the nose rest 501a. Therefore, the camera attached to the glasses leg 901 has to be taken while looking down the eyes from the top, there is a risk that the eyes are covered by the eyelids.
  • the camera is installed on the nose pad below the leg of the eyeglasses, the eye can be taken while looking upward from the bottom, so there is an advantage that the eyelids are not covered by the eyelids.

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 양안의 시선을 한대의 카메라로 촬영 가능하도록 광학기구를 배치한 단일 카메라를 이용한 양안 촬영 장치와 이를 이용한 안구 추적 장치에 관한 것이다.

Description

눈 촬영 장치
본 발명은 시선을 추적하기 위하여 눈을 촬영하는 카메라에 관한 것으로 하나의 카메라로 양쪽 눈을 촬영하거나 하나의 카메라로 눈과 눈이 바라보는 전방을 촬영하는 것을 특징으로 한다.
시선 추적(eye tracking)이란 카메라로 사용자의 눈을 촬영한 영상을 분석하여 사용자가 어느 방향을 응시하고 있는지를 파악하는 기술이다. 이러한 카메라는 보통 안경에 부착되거나 가상현실용 헤드 마운트 디스플레이(HMD)에 포함된다.
이중 종래 HMD용 시선 추적 장치로서, 특허문헌 1,2에 공지된 것이 제안되어 있다.
특허문헌 1의 고글 형태의 착용형 시선 추적 장치는 도 7과 같이, 시선 방향을 촬영하는 제 1 카메라(110)와 사용자의 눈을 촬영하는 제 2 카메라(140)를 포함한다. 제2카메라 옆에는 사용자 눈 쪽으로 적외선을 조명하는 적외선 광원(120)과, 상기 광원의 적외선을 눈 쪽으로 반사시키는 적외선 반사 가시광 투과 거울(hot mirror)(130)을 포함한다. 이러한 거울은 핫 미러(hot mirror)라고 알려져 있다.
또한 눈을 촬영하는 카메라를 좌우측 눈에 각각 설치하여 양쪽 눈을 각각 촬영할 수 도 있다.
이와 같이, 특허문헌 1,2의 시선 추적 장치에서는 2개의 카메라로 눈과 전방을 촬영하기 때문에, 다음과 같은 문제가 있다.
첫째, 소비전력이 카메라를 1개 사용하는 경우보다 2배 늘어난다.
둘째, 카메라 1개를 사용하는 경우보다 시선 추적 장치 소프트웨어에 카메라 영상을 전달하는 통신채널(예 : USB)에 2배의 부하가 걸린다.
셋째, 카메라에서 발생하는 열이 1개의 카메라를 사용하는 경우보다 2배 더 많기 때문에, 이러한 2배의 열 발생과 통신채널의 부하 등으로 HMD 내부에선 더 큰 열부하를 받아 작동 오류가 생길 수 있다.
넷째, 카메라를 2개 사용하므로 1개 사용하는 경우보다 제조 원가가 더 비싸고 회로가 더 복잡하여, HMD의 소형화 추세에 역행한다.
본 발명의 제1실시예는 전술한 문제를 해결하기 위하여 안출된 것으로, 하나 의 카메라로 양안의 시선을 촬영할 수 있도록 광학기구의 레이아웃을 배치한 단일 카메라를 이용한 양안 촬영 장치를 제공함에 그 목적이 있다.
또한 본 발명의 제2 실시예는 하나의 카메라로 눈과 전방을 촬영하는 장치를 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위하여, 제 1 실시예는 하나의 카메라 앞에 양 쪽 눈에서 반사된 적외선을 카메라 쪽으로 반사 시키는 광학 모듈을 포함하는 것을 특징으로 한다. 이러한 광학 모듈은 거울과 렌즈를 포함한다. 이러한 광학 모듈의 렌즈는 초점거리가 짧은 볼록렌즈이고 카메라는 이러한 볼록렌즈에 맺힌 상을 촬영하고 카메라는 이러한 볼록렌즈로부터 떨어져 설치되어 카메라에서 발생되는 열이 외부로 쉽게 방출되는 것을 특징으로 한다.
제2 실시예는 하나의 카메라 앞에 눈에서 반사된 적외선과 시선 방향의 사물에서 반사된 빛을 카메라 쪽으로 반사시키는 광학 모듈을 포함한다. 이러한 광학 모듈은 눈에서 반사된 적외선은 카메라쪽으로 반사시키고 가시광은 차단하여 눈 영상에 외부 사물이 겹쳐 촬영되지 않는 것을 특징으로 한다. 또한 외부사물에서 반사된 가시광 또는 적외선은 카메라 쪽으로 반사하여 카메라는 외부 사물의 적외선 또는 가시광 영상을 촬영하는 것을 특징으로 한다.
본 발명에 의하면 다음과 같은 효과가 있다.
양안에서 반사되는 빛 또는 눈과 시선 방향 사물에서 반사되는 빛을 반사거울을 포함하는 광학 모듈(광 취합 수단)로 카메라 앞의 공통지점에 반사시킴으로써, 제1 실시예의 경우 단일의 카메라로 양안을 촬영할 수 있다. 그리고 제2 실시예의 경우 단일 카메라로 한 쪽 눈과 그 눈의 시선 방향의 외부 사물을 촬영할 수 있다. 이러한 구성에 의한 본 발명의 안구 촬영 장치는 소비전력이 낮고, 통신채널의 부하가 덜 걸리고, 열 부하가 적으며, 염가이고 회로도 덜 복잡하고 무게도 가볍다.
광 취합 수단은 직사각형 이미지 센서의 길이가 긴 변의 중심을 지나는 직선에 의해 나누어진 이미지 센서의 두 영역에 각각 좌우측 안구 또는 안구와 시선 방향의 사물이 각각 촬영되되, 안구의 좌우측 방향(즉 수평선 방향)이 이미지 센서의 사각형의 길이가 짧은 변에 평행이 되도록 광을 취합하여, 낭비되는 픽셀 영역을 없애 안구를 최대한 확대하여 촬영할 수 있다.
제1 실시예의 경우 단일 카메라를 hmd의 케이스 쪽에 치우쳐 위치함으로써, 단일 카메라의 열을 외부로 배출하기 용이하다.
제2 실시예의 경우 눈에 거슬리게 안경 테에 카메라를 설치하는 다른 안구 추적장치(예를 들면 특허문헌3에는 눈 아래쪽 안경테에 카메라가 설치되어있음)와 달리 카메라가 안경 코 받침 근방에 설치되어 외부에 카메라가 노출되지 않게 할 수 있어서 미관상 보기 좋다. 예를 들면 안경 렌즈를 선그라스처럼 어둡게 하면 외부에서 카메라를 전혀 볼 수 없다.
도 1a는 본 발명의 바람직한 실시예에 따른 단일 카메라를 이용한 양안 촬영 장치의 개략적인 구성을 나타낸 사시도.
도 1b는 촬영된 눈 영상.
도 1c는 촬영된 눈 영상의 다른 예.
도 1d는 촬영된 눈 영상의 또 다른 예.
도 2a는 도 1의 측면도.
도 2b는 볼록 릴레이 렌즈로 안구를 촬영하는 모습.
도 2c는 오목 릴레이 렌즈로 안구를 촬영하는 모습.
도 3a는 도 1의 정면도.
도 3b는 도 3a의 변형 예.
도 4는 도 1의 평면도.
도 5는 도 2a에서 45도 반사거울이 생략된 단일 카메라를 이용한 양안 촬영 장치의 개략적인 구성을 나타낸 측면도.
도 6a는 도 5에서 릴레이 렌즈가 생략된 단일 카메라를 이용한 양안 촬영 장치의 개략적인 구성을 나타낸 사시도.
도 6b는 두 개의 직각프리즘으로 빛을 단일 카메라 쪽으로 반사시키는 모습.
도 6c는 직각 프리즘에 렌즈를 일체형으로 형성한 모습.
도 6d는 거울에 렌즈를 일체형으로 형성한 모습.
도 7은 종래 고글 형태를 갖는 착용형 시선 추적 장치의 구성을 나타낸 구성도.
도 8은 다른 종래의 시선 추적 장치의 구성을 나타낸 구성도.
도9는 하나의 안구를 두 개의 카메라로 촬영하는 사시도
도10은 4개의 렌즈로 안구를 촬영하는 구성도
도11은 도10의 측면도
도12는 도10의 평면도
도13은 도10의 구성에 의해 촬영된 영상
도14는 실시예2의 구성의 사시도
도15a는 도14의 카메라와 광학 모듈의 상세도
도15b는 도14의 카메라와 광학 모듈의 상세도
도16은 도14의 평면도
도17은 도14의 측면도
도18은 착탈식 3d 편광 안경 렌즈 모듈
도19는 기존 안구 촬영 장치 정면도
도20은 기존 안구 촬영 장치 후면도
도21은 기존 안구 촬영 장치 측면도
도22는 도16의 구성에 카메라의 거울 영상을 나타낸 모습
도23은 도22의 측면도
도24는 카메라를 안경 다리에 부착한 모습
본 발명의 선행 기술 문헌은 다음과 같다.
특허문헌 1 : 한국등록특허 제10-0949743호
특허문헌 2 : 한국등록특허 제10-1471488호
특허 문헌 3 : PCT/US2014/038651 (한국 공개 특허19-2016-0111019)
실시예1
이하 본 발명의 바람직한 실시예를 첨부한 도면에 따라 설명하는데, 종래의 것과 동일한 부분에 대해서는 동일한 참조부호를 부여하고 상세한 설명은 생략한다.
또한, 본 발명에서 사용되는 '광 취합(light gathering)'이란 용어는 제1차 반사거울인 제1거울과 제2거울 양쪽에서 나오는 양방향의 제1빛 및 제2빛을 모아서 단일 카메라 쪽으로 진행시키는 것을 의미한다.
도1a와 같은 본 실시예에 따른 단일 카메라를 이용한 양안 촬영 장치는 가상현실용 머리 착용형 디스플레이(hmd,head mount display)에 포함된 형태에 관한 것이다. 이러한 양안 촬영 장치는 제1안구에서 반사된 제1빛(적외선)과 제2안구에서 반사된 제2빛(적외선)을 두 눈 사이 중간 지점으로 반사하는 제1,제2 적외선 반사 가시광 통과 거울(hot mirror),상기 제1,2 거울에 반사된 빛을 카메라 쪽으로 진행시키는 광 취합 수단,상기 광 취합 수단에 의해 입사되는 빛을 촬영하는 카메라를 포함한다.
즉, 본 발명의 요지는 제1,2안구에서 나오는 제1,2빛을 제1,2거울을 통해 일차 반사한 양방향 빛을 한 곳(두 눈 사이의 중간 지점,예를 들면 얼굴 중심을 지나는 수직선 위)으로 취합하여 한 방향으로 제1,2빛을 단일 카메라로 진행시키는 광학 경로의 레이아웃을 갖기 때문에, 카메라 한 대로 양안의 빛을 모두 촬영할 수 있는 것이다.
제1,2거울은 양안에 조명되어 반사된 적외선을 일차(1차) 반사하는 경우 제1,2핫 미러(hot mirror)이다. 핫 미러는 적외선은 반사하고 가시광은 통과시키는 광학 모듈이다.
또한, 광 취합 수단은 제1광학모듈과 제2광학모듈로 구현 가능한데, 제1,2광학모듈은 거울(예컨대 본 실시예의 산형 또는 V자형 반사거울) 또는 프리즘(예컨대 본 실시예의 직각 프리즘)으로 구성될 수 있다.
본 제1실시예에 따른 단일 카메라를 이용한 양안 촬영 장치(1)는 도 1a, 도 2a, 도 3a 및 도 4에 도시한 바와 같이, 단일 카메라를 이용한 양안 촬영 장치(1)는 양안 사이에서 머리 위쪽(정수리쪽)으로 배치된 단일 카메라(10)와, 디스플레이의 화면을 응시하는 양안으로 적외선을 조명하는 제1,2 적외선 조명부(30)와, 제1,2 적외선 조명부(30)의 적외선으로 조명된 양안의 영상을 반사시키는 제1,2 적외선 반사거울(hot mirror)(50)과, 제1,2 적외선 반사거울(50)을 통해 반사된 적외선을 단일 카메라(10)로 반사시키는 제3,4 반사거울(70)을 포함한다.
여기서, 제3,4 반사거울(70)은 광 취합 수단에 해당된다.
또한, 본 제1실시예에 따른 단일 카메라를 이용한 양안 촬영 장치(1)가 가상현실(VR) HMD에 적용되는 경우엔 단일 카메라(10)가 촬영한 영상을 분석하여 안구를 검출하는 영상처리부(미도시)가 더 포함된다.
단일 카메라(10)는 양안 사이의 중심부 근처(두 눈 사이의 동일 거리인 지점이거나 그 거리가 가장 짧은 지점 또는 그 근방이 가장 바람직하다)에 배치되어 있다.
단일 카메라(10)는 제1,2 반사거울(70)을 통해 반사된 양안 영상을 입력받는 렌즈(11)와, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-oxide Semiconductor)로 구성되어 렌즈(11)로 입력되는 양안 영상을 획득하는 이미지 센서(13)와, 렌즈(11) 전면 또는 이미지 센서(13) 전면에 부착되어 적외선 파장만을 투과시키는 적외선 투과필터를 포함한다. 상기 적외선 투과 필터는 생략될 수 있다.
단일 카메라(10)는 눈에서 반사된 빛을 도 1b와 같이 이미지 센서(13)의 서로 다른 영역에 각각 촬영한다. 보통 이미지 센서(13)는 가로 길이가 세로 길이보다 긴 직 사각형 형태이다. 예를 들면 가로*세로의 픽셀 수가 640*480 일 수 있다.
이러한 직사각형의 영역을 둘로 나눠 각 영역에 좌우측 눈을 각각 촬영하는 방식은 거울과 카메라를 배치하는 방법에 따라 도 1b 이외에 도 1c 또는 도 1d와 같은 방법도 가능하다. 이러한 세 가지 방법 중에서 도 1b의 방법이 가장 바람직하다. 그 이유는 도 1c 및 도 1d에는 촬영에 사용되지 않는 낭비되는 픽셀 영역(13a)이 도 1b에는 존재하지 않기 때문이다. 즉 도 1b와 같이 촬영하면 낭비되는 픽셀 없이 안구를 최대한 확대해서 촬영할 수 있다. 이렇게 촬영하기 위해서는 카메라와 거울의 방향과 위치를 도 1a과 같이 조절하여 이미지 센서(13)의 직사각형의 길이가 긴 쪽 가로(640)의 중심(640a,640b)을 지나도록 직선을 그려 그 좌우측 영역에 각각 안구를 촬영하되 안구의 좌우측 방향(화살표 480a)이 직사각형의 짧은 쪽 세로(480)와 평행하게 되도록 하는 것이 바람직하다.
제1,2 적외선 조명부(30)는 양안으로 적외선을 조명하는 것으로서, 적외선 LED(Light Emitting Diode)(30)로 구성될 수 있다.
적외선 LED(30)는 도 2a 및 도 4에 도시한 바와 같이, 양안 각각의 좌우에 배치되어 안구로 조명을 한다.
특히 적외선 LED(30)는 디스플레이를 포커싱 하는 HMD렌즈(40)의 가장자리 둘레를 따라 배치 설치되는 게 바람직하다.
제1,2 적외선 반사거울(50)은 가시광선은 투과하고 적외선을 반사하는 성질을 갖는 핫 미러(hot mirror)로 구성되어, 도 4와 같이 평면에서 볼 때 사용자 양안의 바깥쪽, 더욱 상세하게는 HMD렌즈(40)의 바깥쪽에서 양안 사이의 중심부를 향해 45˚경사(마치 깔때기 형상처럼)져 적외선으로 조명된 사용자 눈 영상이 45˚ 굴절 반사되어 제3,4 반사거울(70)에 입력되도록 한다.
또한, 제1,2 적외선 반사거울(50)은 도 2a에 도시한 바와 같이 측면에서 볼 때, 앞쪽으로 갈수록 폭이 넓어지는 종 모양이다.
제3,4 반사거울(70)은 제1,2 적외선 반사거울(50)에서 반사된 적외선을 다시 반사시켜 단일 카메라(10)에 입력되도록 중계 역할을 한다.
즉, 제3,4 반사거울(70)은 도 3a의 정면도에 도시한 바와 같이, 제1,2 적외선 반사거울(50)에 대해 수직방향인 산형(즉 상하 반전된 V자형)으로 배치되어 있다.
산형 반사거울(70)은 위에서 아래로 내려갈수록 서로 벌어지는 방향으로 경사지게 배치되어 있다.
한편, 도 2a와 같이, 단일 카메라(10)가 큰 경우 양안 사이에 단일 카메라(10)가 설치될 공간이 협소하여 사용자의 이마 쪽 또는 이마 쪽에 가깝게 붙여 배치(hmd렌즈 선상에 배치) 될 때 산형 반사거울(70)과도 직각 방향으로 배치되게 된다.
이에 따라 산형 반사거울(70)과 단일 카메라(10) 사이의 거리가 멀어져서 볼록 릴레이 렌즈(80) 또는 오목 릴레이 렌즈(80f)와 같은 영상 릴레이 수단이 산형 반사거울(70)의 상부에 배치되는 게 바람직하다.
도 3b의 볼록 릴레이 렌즈(80)는 제1,2적외선 거울(50)과 산형 반사 거울(70) 사이에 배치된 변형 예를 나타낸 것이다.
이 경우 영상 릴레이 수단을 구성하는 렌즈의 초점 거리가 렌즈 지름보다 길면(즉 망원 렌즈이면) 눈동자의 일부만 확대되어 촬영될 수도 있다. 촬영된 영상에서 안구를 안정적으로 추적하려면 눈동자와 그 주변 흰자위 영역도 한 화면에 촬영되어야 하므로 영상 릴레이 수단을 구성하는 볼록 릴레이 렌즈(80) 또는 오목 릴레이 렌즈(80f)는 그 초점 거리가 렌즈 지름과 거의 같거나 더 짧도록 하는 것이 바람직하다. 또한, 단일 카메라(10)의 렌즈(11)는 멀리 있는 영상 릴레이 수단의 작은 지름의 볼록 또는 오목 릴레이 렌즈를 화면 가득히 확대해 촬영할 수 있도록 초점 거리가 긴 망원 렌즈를 사용하는 것이 바람직하다.
도 2b는 볼록 릴레이 렌즈(80)를 사용하여 안구를 촬영하는 모습이고 도 2c는 오목 릴레이 렌즈(80f)를 사용하여 안구를 촬영하는 모습이다.(거울은 도면에 표시하지 않았음)
도 2b에서 안구에서 반사된 빛은 볼록 릴레이 렌즈(80)를 통해 결상면(피사체에서 반사된 빛이 렌즈에 모여 초점을 맞는 부분)(80c)에 상(80b)이 맺힌다. 단일 카메라(10)의 렌즈(11)는 그 안구 영상(80b)을 이미지 센서(13) 위에 촬영한다. 단일 카메라(10)는 볼록 릴레이 렌즈(80)가 맺은 작은 안구 영상(80b)을 화면에 가득 차게 확대해서 촬영해야 하므로 시야각은 좁은 망원렌즈를 사용하는 것이 바람직하다.
도 2c는 영상 릴레이 수단을 오목 릴레이 렌즈(80f)로 구성한 것으로, 안구에서 반사된 빛은 안구와 오목 릴레이 렌즈(80f) 사이의 결상면(80e)에 상(80g)이 맺힌다. 카메라(10)는 오목 릴레이 렌즈(80f)에 의한 상(80g)을 촬영한다.
상기 영상 릴레이 수단은 상기 제1안구의 영상을 맺는 제1결상수단과, 상기 제2안구의 영상을 맺는 제2결상수단을 포함할 수 있으며, 제1,2결상수단은 제1,2볼록 릴레이 렌즈(80) 또는 제1,2오목 릴레이 렌즈(80f)로 더 한정시킬 수 있다.
이에 비해 도 6a과 같이 영상 릴레이 수단을 제거하고 초소형 카메라(10)를 산형 반사거울(70)에 근접하게 설치하는 경우 초소형 카메라(10)의 렌즈(11)는 눈동자와 흰자위를 한 화면에 모두 촬영할 수 있을 만큼의 시야각의 렌즈(대략 표준렌즈)로 하는 것이 바람직하다.
영상 릴레이 수단은 산형 반사거울(70)에서 반사되는 빛을 투과시켜 단일 카메라(10)에 가깝게 상을 맺게 하여, 단일 카메라(10)로 양안의 시선을 촬영하게 한다.
또한, 단일 카메라(10)와 산형 반사거울(70)/영상 릴레이 수단이 서로 직각으로 배치되어 있어, 빛을 단일 카메라(10)로 반사시키도록 광학 경로 상에 45도 반사거울(90)이 더 배치되어 있다.
산형 반사거울(70)/영상 릴레이 수단은 제1,2 적외선 반사거울(50) 사이의 내부에 배치되어 있다.
다른 한편, 도 5와 같이 단일 카메라(10)가 산형 반사거울(70)/영상 릴레이 수단과 같은 선상인 위쪽에 배치되면 45도 반사거울(90)은 생략될 수 있다.
도 5와 같이 카메라(10)를 hmd의 케이스(1a) 쪽에 치우치게 위치시키면 카메라(10)의 열을 케이스(1a)를 통해 외부로 배출하기 용이하다.
또 다른 한편, 카메라가 소형인 경우에는 도 6a와 같이 단일 카메라(10)를 산형 반사거울(70) 바로 위에 위치시켜 직접 양안의 시선을 추적할 수도 있다.
도 6b는 산형 반사거울(70)을 두 개의 직각프리즘(70a)으로 대체한 변형 예이다. 좌우측에서 입사된 제1,2빛은 직각프리즘(70a) 안에서 카메라(10) 쪽으로 전반사 된다.
도 6c는 직각 프리즘의 광선이 통과하는 면에 볼록 또는 오목 프레넬 렌즈를 형성하여 릴레이 렌즈를 프리즘에 일체형으로 형성한 광 취합 수단(70b)의 변형 예이다.
도 6d는 거울 면을 볼록하거나 오목한 곡면으로 형성하여 오목 렌즈 또는 볼록 렌즈를 거울에 일체형으로 형성한 광 취합 수단(70c)의 변형 예이다.
영상처리부(미도시)는 단일 카메라(10)에서 촬영된 사용자의 양안 영상을 이용하여 동공의 중심을 검출하고, 검출된 동공의 중심 좌표값을 추출할 수 있다.
이상과 같이, 본 실시예에 따른 광학기구를 사용하면 카메라가 작은 경우라면 도6a와 같이 두 눈 사이에 카메라를 설치할 수 있다. 그러나 카메라가 작을수록 해상도가 낮고 촬영 속도가 느려지는 문제가 있다. 이러한 문제를 해결하기 위하여 고 해상도 또는 고속 카메라를 사용하면 카메라가 커져서 두 눈 사이에 공간이 좁아서 카메라를 설치하기 어려워진다. 특히 hmd에 카메라를 설치하는 경우 카메라가 크면 시야를 가릴 수 도 있다. 카메라가 큰 경우에는 도5 또는 도2a와 같이 카메라를 눈 사이에서 멀리 떨어지고 공간이 넓은 hmd의 위쪽에 설치하는 대신 고해상도로 눈을 촬영 할 수 있게 릴레이 렌즈(80,80f)를 사용하는 것이 바람직하다. 만약에 도5의 구성에서 릴레이 렌즈(80)를 생략하면 안구 전체(눈동자와 그 주변 영역)를 촬영하기 위하여 제3,4거울(70)이 커야 하지만 큰 3,4거울을 설치하면 거울이 시야를 가릴 수도 있다. 그러나 릴레이 렌즈를 매우 작게 하면 거울도 매우 작게 만들 수 있다. 릴레이 렌즈가 매우 작더라도 카메라 렌즈를 망원 렌즈로 하면 작은 릴레이 렌즈에 맺힌 안구 영상을 이미지 센서 화면에 가득 차게 크게 확대해서 촬영할 수 있다.
이러한 릴레이 렌즈 방식의 촬영 장치를 사용하면 크기가 큰 고속 카메라도 hmd내부에 용이하게 설치하여 안구를 촬영하고 시선 방향을 산출하여 가상현실용 hmd에 사용되는 포비에티드 렌더링(foveated render)이라는 기술을 용이하게 구현할 수 있다. 포비에티드 렌더링은 가상현실용 hmd착용자의 서선이 향하는 부분의 가상 세계의 그래픽 영상을 고해상도로 생성하고 그 주변 영상은 저해상도로 생성하여 그래픽카드의 부담을 줄이는 기술이다.
보통 안구 추적 장치는 안구를 추적하기 위하여 안구 추적 장치를 착용한 직후에 위치 조정(캘리브레이션,calibration)을 수행한다. 이러한 위치 조정은 안구를 촬영한 영상,그 영상에서 산출한 시선 방향,그리고 그 시선 방향에 대응하는 마우스 커서 좌표 사이의 상관 관계를 구하는 것을 의미한다. 예를 들면 화면의 특정 지점(예를 들면 사각형의 네 꼭지점)에 차례로 깜빡이는 표시나 마크를 출력하고 시선 추적기가 포함된 hmd 착용자가 그 마크를 바라보는 순간 안구를 촬영하여 그 촬영된 영상에서 안구를 검출하여 이미지에서 검출된 안구의 좌표와 화면에 표시된 마크의 위치를 대응시키는 작업을 수행한다.
그런데 Hmd를 오래 착용하면 불편하므로 hmd를 벗은 후 다시 착용할 수 도 있다. 이 경우 다시 착용하면 원래 착용했던 위치와 다를 수도 있다. 그러면 카메라와 눈 사이의 상대위치가 바뀌게 되고 그러면 안구 추적을 위한 위치 조정(캘리브레이션)을 다시 수행해야 한다. 이러한 불편함을 해소하기 위하여 두 개의 카메라로 하나의 안구를 스테레오로 촬영하여 촬영된 스테레오 영상을 분석하여 안구와 카메라 사이의 3차원 상대 위치를 계산하는 논문(Calibration-free eye tracking by reconstruction of the pupil ellipse in 3D space )이 (https://www.researchgate.net/publication/220810955_Calibration-free_eye_tracking_by_reconstruction_of_the_pupil_ellipse_in_3D_space)에 소개되어있다.
도9는 상기 논문에 수록된 안구 추적 장치로 두개의 카메라가 핫 미러를 통해 반사된 한쪽 눈을 스테레오로 촬영하도록 구성된 것이다.
도1a의 본 발명의 안구 추적 장치를 도10과 같이 변형하여 양 쪽 눈을 각각 스테레오로 촬영할 수 있다. 도1a에는 릴레이 렌즈(80)가 좌우로 2개(즉 두 릴레이 렌즈가 1행 2열로 설치되어있다.이를 제1,제2 결상 수단이라한다.) 설치되어 각각의 렌즈가 좌우측 안구를 촬영하게 되어있다. 이에 비해 도10에는 4개의 릴레이 렌즈가 2행 2열의 매트릭스 형태로 설치되어있다.(이를 제1,제2,제3,제4 결상 수단이라 한다.) 도11은 이러한 장치의 측면도이고 도 12는 평면도이다. 도13은 이러한 2행2열의 릴레이 렌즈로 촬영한 영상의 예이다. 이렇게 촬영된 영상에서 좌측 두 영상(L1,L2)를 스테레오 매칭하면 좌측 눈과 카메라 사이의 3차원 상대위치를 구할 수 있고 우측 두 영상(R1,R2)를 스테레오 매칭하면 우측 눈과 카메라 사이의 3차원 상대위치를 구할 수 있다.이렇한 3차원 상대위치는 안구 추적의 위치 설정(캘리브레이션)에 사용될 수 있다.
실시예2
본 실시예는 도14와 같이 보통의 안경의 한 쪽 또는 양쪽의 코 받침(500a,500b)에 카메라와 광학 모듈(501a,501b)를 설치하여 눈과 시선 방향을 동시에 촬영하는 구성에 관한 것이다. 이 경우 안경렌즈에는 안경형 디스플레이(502)가 포함되어 증강현실 영상이 출력될 수 있다. 이러한 카메라로 눈을 촬영한 영상을 분석해서 안경형 디스플레이에 표시된 컴퓨터 화면의 마우스 커서(503)를 이동시킬 수 있다. 또한 카메라로 촬영된 시선 방향에 있는 착용자의 손을 촬영한 영상에서 손의 형태와 제스처 동작을 인식하여 증강현실의 가상 객체(504)를 조작할 수 있다. 시선 방향에서 입사된 빛은 제1광학 모듈을 통해 카메라로 입사되고 눈에서 반사된 빛은 제2광학 모듈을 통해 카메라로 진행한다. 광학 모듈은 거울, 프리즘, 회절판, 홀로그램, 렌즈 등의 광학 소자를 포함하여 빛을 반사,회절, 또는 굴절시킴으로서 빛의 진행 방향을 바꿔준다.
기존의 안경형 디스플레이에는 전방을 촬영하는 카메라와 눈을 촬영하는 카메라가 각각 설치되어있어서(즉 1개 이상의 카메라가 설치되어있다) 장치가 무겁고 전력 소모가 많다는 문제가 있다. 본 실시예의 구성을 사용하면 하나의 카메라로 눈과 전방을 촬영하여 그러한 문제를 해결할 수 있다.
도15a는 도14의 카메라와 광학 모듈(501a)을 확대한 상세도이다. 이러한 구성은 안경의 좌우측 코 받침에 각각 좌우 대칭으로 구성된다. 도15a에서 카메라(600)앞에는 v자 형태의 제3,제4거울(601,602) 이 설치된다. 그러한 v자 제3,제4 거울(601,602) 위쪽(603)과 아래쪽(604)에 제1,제2거울이 설치된다. 제1,제2 거울은 카메라의 촬영 시야각을 넓게 만들기 위하여 볼록 거울 또는 오목 거울로 구성할 수도 있다. 제1,제2 거울 앞 또는 뒤에 실시예1과 유사하게 오목릴레이 렌즈 또는 볼록 릴레이 렌즈(제1,제2 결상 수단)를 추가할 수도 있다.
눈과 시선 방향의 외부 사물을 스테레오로 촬영할 수 있도록 제1,제2 거울은 도15b와 같이 볼록 거울 2개 또는 오목 거울 2개(601a, 601b,602a,602b)로 분할하여 구성할 수도 있다. 또는 상기 실시예1의 경우와 마찬가지로 눈과 시선 방향의 외부 사물을 스테레오로 촬영할 수 있도록 제1,제2 거울 앞에 오목릴레이 렌즈 또는 볼록 릴레이 렌즈를 나란히(1행 2열 또는 2행 1열로) 2개씩(제1,제2,제3,제4 결상 수단) 추가할 수도 있다.
카메라는 v자 거울의 위쪽 제3거울(601)과 그 위쪽 제1거울(603)에 반사된 위쪽 영상과 v자 거울의 아래쪽 제4거울(602)과 그 아래쪽 제2거울(604)에 반사된 아래쪽 영상을 한 화면에 나눠 촬영한다. 예를 들어서 한 화면에 두 영상을 나눠 촬영한다는 것은 한 화면을 도25와 같이 상하 또는 좌우로 나눠 촬영함을 의미한다. 이 경우 제3거울(601)과 그 위쪽 제1거울(603)은 제1 광학 모듈에 해당하고 아래쪽 제4거울(602)과 그 아래쪽 제2거울(604)은 제2광 학 모듈에 해당한다.
안구(605)에서 반사된 빛은 안경 렌즈(505)에서 반사된 후 아래쪽 제2거울(604)과 v자 거울의 아래쪽 제3거울(602)에 차례로 반사된 후 카메라에 도달한다. 전방의 사물(예를 들면 착용자의 손)(606)에서 반사된 빛은 안경 렌즈(505)를 통과한 후 위쪽 제1거울(603)과 v자 거울의 위쪽 제3거울(603)에 차례로 반사된 후 카메라에 도달한다. 카메라의 촬영 방향(광축,카메라 렌즈에 수직인 직선)을 적당히 조정해서 이러한 거울 중 일부를 생략할 수 도 있다. 그리고 제1거울(603)과 제3거울(601)을 하나의 거울로 통합할 수도 있고 제2거울(604)과 제4거울(602)을 하나의 거울로 통합할 수도 있다.
이러한 거울 대신 반사형 프리즘,회절 소자,홀로그램 등으로 대체할 수도 있다. 또한 카메라와 거울 사이 거리가 멀면 상기 실시예1의 도2b,2c와 같이 광 경로 위에 릴레이 렌즈(영상 릴레이 수단)를 추가할 수도 있다. 안구(605)에는 적외선 led와 같은 적외선 조명을 해서 적외선이 눈에서 반사된 후 안경렌즈(505)에 반사될 수 있도록 안경 렌즈의 눈 근처 영역(505a)(안구에서 반사된 적외선을 카메라 쪽으로 반사시키는 영역)에는 적외선 반사 가시광 투과 코팅(핫미러 코팅)을 하는 것이 바람직하다. 또한 전방의 사물(606)(예를 들면 착용자의 손)에서 반사된 빛이 안경 렌즈(505)를 통과해 카메라에 도달 할 수 있도록 안경 렌즈의 코받침 근방(505b)(즉 전방 사물에서 반사 또는 방사된 빛이 카메라에 도달하기 위하여 통과하는 렌즈 영역)에는 핫미러 코팅을 하지 않는 것이 바람직하다. 또한 안구를 촬영하는 카메라의 시야에 안경 렌즈 밖의 전방의 사물들(607)이 안구와 겹쳐 촬영되지 않도록 v자 거울의 아래쪽 제4거울(602)과 카메라 렌즈 사이에는 가시광 차단 필터(608)를 설치하는 것이 바람직하다. 안구를 위쪽 제3거울이 아니라 아래쪽 제4거울을 통해 촬영하는 이유는 안구를 아래쪽에서 촬영하면 눈꺼풀에 의해 안구가 가려질 위험이 적기 때문이다.
도16은 도15a의 구성의 평면도이고 도17은 도15a의 구성의 정면도이다.
안경 렌즈에 핫 미러 코팅을 하는 대신 도18과 같이 작은 핫미러 코팅 렌즈 모듈을 기존 안경과 착용자의 눈 사이에 끼워 넣을 수도 있다. 이러한 착탈식 렌즈 모듈은 기존의 편광방식의 3d안경모듈에 사용되고 있다. 이러한 핫미러 코팅 렌즈 모듈의 코 받침 또는 그 근방에 카메라와 광학 모듈을 포함할 수도 있다. 이 경우 사용자는 자신의 기존 안경을 착용한 상태에서 이러한 핫미러 코팅 렌즈 모듈을 더 착용하면 안구를 촬영하여 추적을 할 수 있다.
본 실시예의 구성은 안경 렌즈에 핫 미러 코팅을 해서 그 코팅면에 반사된 안구 영상을 카메라로 촬영하는 것이 특징이다. 이에 비해 특허문헌3의 안경형 안구 촬영 장치는 카메라로 안구를 촬영하되 렌즈에 반사된 안구 영상을 촬영하는 것이 아니라 직접 안구를 촬영하는 방식이다. 도19는 특허문헌3의 출원인인 토비(tobii)사의 홈페이지에 게시된 안구 촬영 장치의 정면 모습이고 도20은 특허문헌3의 도면2b를 나타낸 것이다. 정면도에는 카메라가 보이지 않고 도20d(후면도)에는 카메라(611)가 보임을 주의하면 이 장치의 측면도는 도21과 같음을 알 수 있다. 즉 안경 렌즈(700)가 가장 밖에 있고 안경 렌즈(700)와 눈(703) 사이에 카메라(611)가 존재한다. 도21처럼 카메라로 안구를 직접 촬영(즉,렌즈에 반사된 안구를 촬영하는 것이 아니라 직접 촬영하는 것)하려면 카메라를 안구로부터 약간 앞쪽(얼굴 피부로부터 멀리)으로 일정 간격(702)만큼 돌출시켜야 하는 문제가 있다. 그러나 본 실시예의 구성의 장치는 도22와 같이 안경 렌즈에 반사된 안구를 촬영하므로 카메라가 마치 안경 렌즈 밖에 위치하는 효과가 있어서 그러한 간격이 훨씬 적어도 안구를 촬영할 수 있다. 도22는 도16의 구성의 카메라(600)가 렌즈(505)에 반사되어 마치 렌즈 밖에 존재하는 것과 같은 효과를 나타낸 것이다. 도22의 801은 카메라(600)가 안경 렌즈에 반사된 거울 영상을 나타낸 것이고 800은 그 거울 영상의 카메라와 눈 사이 간격을 나타낸 것이다. 이러한 간격은 도20의 702에 해당한다. 즉 핫 미러 코팅 렌즈에 반사된 안구를 촬영함으로써 카메라는 안구에 가깝게 밀착시키더라도 먼 거리에서 촬영한 효과(즉 촬영된 영상에서 안구가 덜 왜곡되는 장점)가 있다. 또한 이러한 카메라를 안경테가 아니라 코받침에 설치함으로써 카메라가 외부에서 거의 보이지 않는 장점이 있고 무테 안경에도 카메라를 설치할 수 있다. 이에 비해 도19와 같은 기존 안구 촬영 장치는 반드시 카메라를 설치할 안경 테(610)(테두리)가 존재해야만 하고 그 안경 테가 피부로부터 앞으로 돌출되는 단점이 있다. 즉 기존의 특허 문헌3의 안구 촬영 장치는 무테 안경에는 설치할 수 없다. 도23은 도21과 비교할 수 있도록 본 실시예의 장치의 측면도를 나타낸 것이다. 도23을 보면 본 실시예의 안경의 렌즈는 도21의 기존 장치와 달리 보기 흉하게 돌출될 필요가 없다.
이러한 카메라는 도24와 같이 안경 다리(901)에 부착하여 안경 렌즈에 반사된 눈을 촬영할 수도 있다. 그런데 안경 다리(901)는 코받침(501a)보다 대체로 위쪽에 존재한다. 따라서 안경 다리(901)에 부착한 카메라는 눈을 위쪽에서 아래쪽으로 내려다보면서 촬영해야 하므로 눈꺼풀에 의해 눈동자가 가려질 위험이 있다. 그러나 카메라를 안경 다리보다 아래쪽에 있는 코받침에 설치하면 눈을 아래쪽에서 위쪽으로 올려다보며 촬영할 수 있으므로 눈꺼풀에 의해 눈동자가 가려질 위험이 적다는 장점이 있다.
전술한 바와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당기술분야의 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.

Claims (25)

  1. 제1안구에서 반사된 제1빛과 제2안구에서 반사된 제2빛을 촬영하는 단일 카메라;
    상기 제1빛을 반사시키는 제1핫미러;
    상기 제2빛을 반사시키는 제2핫미러;
    상기 제1핫미러 및 제2핫미러 에서 반사된 상기 제1빛 및 제2빛을 취합시켜 상기 단일 카메라 쪽으로 진행시키는 광 취합 수단;
    을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  2. 제1항에 있어서,
    상기 광 취합 수단은 상기 제1안구와 제2안구에서 반사된 빛의 영상이 상기 단일 카메라에서 서로 다른 영역에 각각 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  3. 제1항에 있어서,
    상기 광 취합 수단은 상기 제1안구와 제2안구 사이의 중간 지점에 배치되는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  4. 제1항에 있어서,
    상기 광 취합 수단은, 상기 제1핫미러에서 반사된 제1빛을 상기 단일 카메라 쪽으로 진행시키는 제1광학모듈과, 상기 제2핫미러에서 반사된 제2빛을 상기 단일 카메라 쪽으로 진행시키는 제2광학모듈을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  5. 제4항에 있어서,
    상기 제1,2광학모듈은 거울,프리즘,홀로그램,또는 회절 소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  6. 제5항에 있어서,
    상기 광학모듈은 표면이 V자 또는 산형인 광학 소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  7. 제4항에 있어서,
    상기 광 취합 수단에는 안구 영상을 결상하는 영상 릴레이 수단을 포함하고 카메라는 그 결상된 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  8. 제 7항에 있어서,
    상기 영상 릴레이 수단은 상기 제1안구의 영상을 맺는 제1결상수단과, 상기 제2안구의 영상을 맺는 제2결상수단을 포함하고 카메라는 상기 제1,2 결상 수단이 맺은 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  9. 제 7항에 있어서,
    상기 영상 릴레이 수단은 상기 제1안구의 스테레오영상을 맺는 제1결상수단 과 제3결상 수단, 상기 제2안구의 스테레오 영상을 맺는 제2결상수단과 제 4 결상 수단을 포함하고 카메라는 상기 제1,2,3,4 결상 수단이 맺은 스테레오 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  10. 제8항내 지 9항의 어느 한 항에 있어서,
    상기 결상수단은 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  11. 제10항에 있어서,
    상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울의 초점거리는 상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울 에 의해 결상된 영상을 상기 단일 카메라로 촬영한 영상 안에 안구 전체 영역이 포함될 수 있는 거리인 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  12. 제2항에 있어서,
    상기 광 취합 수단은 직사각형 이미지 센서의 길이가 긴 변의 중심을 지나는 직선에 의해 나누어진 이미지 센서의 두 영역에 각각 좌우측 안구가 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  13. 제7항에 있어서,
    상기 단일 카메라는 열 배출이 용이하도록 헤드 마운트 디스플레이(hmd) 케이스 쪽에 가깝게 위치하는 것을 특징으로 하는 단일 카메라를 이용한 양안 촬영 장치.
  14. 시선 방향에서 입사되는 제1빛과 안구에서 반사된 제2빛을 촬영하는 단일 카메라;
    상기 제1빛을 카메라 쪽으로 진행시키는 제1 광학 모듈;
    상기 제2빛을 반사시키고 가시광을 투과시키는 핫미러;
    상기 핫 미러에의해 반사된 제2 빛을 카메라 쪽으로 진행시키는 제2 광학 모듈;
    을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  15. 제14항에 있어서,
    상기 제1,제2 광학 모듈은 제1,제2 빛의 영상이 상기 단일 카메라에서 서로 다른 영역에 각각 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  16. 제15항에 있어서 상기 제1,제2 광학 모듈 또는 카메라는 안경의 테두리,안경의 다리, 코받침, 또는 그 근방에 설치되는 것을 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  17. 제14항에 있어서 제2 빛을 촬영하는 카메라의 시야에는 가시광 차단 필터가 포함되는 것을 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  18. 제14항에 있어서 제1,제2 광학 모듈은 제1,제2 빛의 진행 경로를 바꿔주는 거울,프리즘,홀로그램,또는 회절소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  19. 제18항에 있어서,
    상기 광학모듈은 표면이 V자 또는 산형인 광학 소자를 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  20. 제14항에 있어서 제1,제2 광학 모듈은 제1,제2 빛의 영상을 결상하는 영상 릴레이 수단을 포함하고 카메라는 그 결상된 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  21. 제 20항에 있어서,
    상기 영상 릴레이 수단은 상기 제1빛의 영상을 맺는 제1결상수단과, 상기 제2빛의 영상을 맺는 제2결상수단을 포함하고 카메라는 상기 제1,2 결상 수단이 맺은 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  22. 제 20항에 있어서,
    상기 영상 릴레이 수단은 상기 제1빛의 스테레오 영상을 맺는 제1결상수단 과 제3결상 수단, 상기 제2빛의 스테레오 영상을 맺는 제2결상수단과 제 4 결상 수단을 포함하고 카메라는 상기 제1,2,3,4 결상 수단이 맺은 스테레오 영상을 촬영하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  23. 제21항내 지 21항의 어느 한 항에 있어서,
    상기 결상수단은 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울을 포함하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  24. 제23항에 있어서,
    상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울의 초점거리는 상기 볼록 렌즈,오목 렌즈,볼록 거울,또는 오목 거울 에 의해 결상된 영상을 상기 단일 카메라로 촬영한 영상 안에 안구 전체 영역이 포함될 수 있는 거리인 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
  25. 제15항에 있어서,
    상기 제1,제2 광학 모듈은 직사각형 이미지 센서의 길이가 긴 변의 중심을 지나는 직선에 의해 나누어진 이미지 센서의 두 영역에 각각 시선 방향의 사물과 안구가 촬영되도록 광을 취합하는 것을 특징으로 하는 단일 카메라를 이용한 안구 촬영 장치.
PCT/KR2017/004055 2016-04-15 2017-04-14 눈 촬영 장치 Ceased WO2017179938A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2016-0046467 2016-04-15
KR20160046467 2016-04-15
KR20160052467 2016-04-28
KR10-2016-0052467 2016-04-28
KR10-2017-0000015 2017-01-01
KR20170000015 2017-01-01

Publications (1)

Publication Number Publication Date
WO2017179938A1 true WO2017179938A1 (ko) 2017-10-19

Family

ID=60041750

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/004055 Ceased WO2017179938A1 (ko) 2016-04-15 2017-04-14 눈 촬영 장치

Country Status (2)

Country Link
KR (1) KR20170118618A (ko)
WO (1) WO2017179938A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985291A (zh) * 2018-08-07 2018-12-11 东北大学 一种基于单摄像头的双眼追踪系统
CN109662685A (zh) * 2018-12-19 2019-04-23 王建仓 一种眼球突出计及其测量方法
WO2019085487A1 (zh) * 2017-10-30 2019-05-09 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
US11300784B2 (en) * 2020-02-21 2022-04-12 Fotonation Limited Multi-perspective eye acquisition
CN114509872A (zh) * 2022-04-07 2022-05-17 南昌虚拟现实研究院股份有限公司 同面导线结构的光学镜片及眼球追踪系统
JP2023032250A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 映像表示装置およびその制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021150055A1 (ko) * 2020-01-23 2021-07-29 주식회사 씨엠랩 양안 촬영 장치
KR102940191B1 (ko) * 2020-11-24 2026-03-18 삼성전자 주식회사 카메라를 포함하는 증강 현실 웨어러블 전자 장치
EP4202531A4 (en) 2020-11-24 2024-03-20 Samsung Electronics Co., Ltd. AUGMENTED REALITY PORTABLE ELECTRONIC DEVICE WITH CAMERA

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0576497A (ja) * 1991-06-25 1993-03-30 Shimadzu Corp アイカメラ
JP2006167256A (ja) * 2004-12-17 2006-06-29 National Univ Corp Shizuoka Univ 瞳孔検出装置
KR200450417Y1 (ko) * 2008-10-27 2010-10-01 서울대학교산학협력단 검안장치
US20120038884A1 (en) * 2009-03-04 2012-02-16 Fernandez Martinez Enrique J Method for the binocular measurement and control of eye aberrations, simultaneously providing visual stimulants, and ophthalmic instrument implementing said method
WO2015075894A1 (ja) * 2013-11-19 2015-05-28 日本電気株式会社 撮像装置、瞳孔撮像装置、瞳孔径測定装置、瞳孔状態検出装置、及び瞳孔撮像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0576497A (ja) * 1991-06-25 1993-03-30 Shimadzu Corp アイカメラ
JP2006167256A (ja) * 2004-12-17 2006-06-29 National Univ Corp Shizuoka Univ 瞳孔検出装置
KR200450417Y1 (ko) * 2008-10-27 2010-10-01 서울대학교산학협력단 검안장치
US20120038884A1 (en) * 2009-03-04 2012-02-16 Fernandez Martinez Enrique J Method for the binocular measurement and control of eye aberrations, simultaneously providing visual stimulants, and ophthalmic instrument implementing said method
WO2015075894A1 (ja) * 2013-11-19 2015-05-28 日本電気株式会社 撮像装置、瞳孔撮像装置、瞳孔径測定装置、瞳孔状態検出装置、及び瞳孔撮像方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019085487A1 (zh) * 2017-10-30 2019-05-09 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
US11115648B2 (en) 2017-10-30 2021-09-07 Huawei Technologies Co., Ltd. Display device, and method and apparatus for adjusting image presence on display device
CN108985291A (zh) * 2018-08-07 2018-12-11 东北大学 一种基于单摄像头的双眼追踪系统
WO2020029658A1 (zh) * 2018-08-07 2020-02-13 东北大学 一种基于单摄像头的双眼追踪系统
CN108985291B (zh) * 2018-08-07 2021-02-19 东北大学 一种基于单摄像头的双眼追踪系统
CN109662685A (zh) * 2018-12-19 2019-04-23 王建仓 一种眼球突出计及其测量方法
US11300784B2 (en) * 2020-02-21 2022-04-12 Fotonation Limited Multi-perspective eye acquisition
JP2023032250A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 映像表示装置およびその制御方法
JP7753000B2 (ja) 2021-08-26 2025-10-14 キヤノン株式会社 映像表示装置およびその制御方法
CN114509872A (zh) * 2022-04-07 2022-05-17 南昌虚拟现实研究院股份有限公司 同面导线结构的光学镜片及眼球追踪系统

Also Published As

Publication number Publication date
KR20170118618A (ko) 2017-10-25

Similar Documents

Publication Publication Date Title
WO2017179938A1 (ko) 눈 촬영 장치
JP4529263B2 (ja) アイリス認識装置
CN106797423B (zh) 视线检测装置
CN103458770B (zh) 照射特性能够调节的用于捕获至少一个眼睛的至少一个参数的光学测量装置和方法
US9500866B2 (en) Near display and imaging
CN110446965A (zh) 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
KR20160075571A (ko) 재구성 가능한 프로젝트된 증강/가상 현실 기기를 위한 시스템 및 방법
US20220179207A1 (en) Holographic Eye Imaging Device
WO2022196869A1 (ko) 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
CN116437180A (zh) 显示设备、取景器设备和摄像设备
KR101780669B1 (ko) 단일 카메라를 이용한 양안 촬영 장치
WO2022014967A1 (ko) 증강 현실 표시 장치
WO2020197134A1 (ko) 복수개의 증강 현실용 화상을 이용한 증강 현실용 광학 장치
CN114252998B (zh) 近眼显示装置
JP3428920B2 (ja) 視点位置検出装置、方法及び立体画像表示システム
WO2021066335A1 (ko) 헤드 마운티드 디스플레이
US10718949B1 (en) Display apparatus and method of displaying
JP2000132329A (ja) 面認識装置、面認識方法及び仮想画像立体合成装置
WO2023080362A1 (ko) 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치
CN117310977A (zh) 一种眼球追踪光学装置、系统和虚拟现实设备
JPH11249588A (ja) 頭部装着型表示装置
JP2001108933A (ja) ヘッドマウントディスプレイ装置
WO2022124638A1 (ko) 사용자 렌즈가 삽입되는 렌즈 클립 및 렌즈 클립에 사용자 렌즈의 삽입 여부를 검출하는 머리 장착형 전자 장치
US12248148B2 (en) Smart eyeglasses

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782693

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17782693

Country of ref document: EP

Kind code of ref document: A1