WO2015190204A1 - 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム - Google Patents

瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム Download PDF

Info

Publication number
WO2015190204A1
WO2015190204A1 PCT/JP2015/063586 JP2015063586W WO2015190204A1 WO 2015190204 A1 WO2015190204 A1 WO 2015190204A1 JP 2015063586 W JP2015063586 W JP 2015063586W WO 2015190204 A1 WO2015190204 A1 WO 2015190204A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
center
vector
camera
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/063586
Other languages
English (en)
French (fr)
Inventor
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to US15/316,971 priority Critical patent/US10499808B2/en
Priority to EP15807498.9A priority patent/EP3153092B1/en
Priority to JP2016527698A priority patent/JP6548171B2/ja
Publication of WO2015190204A1 publication Critical patent/WO2015190204A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • One aspect of the present invention relates to a pupil detection system, a gaze detection system, a pupil detection method, and a pupil detection program.
  • a technique for detecting a pupil of a subject is known. This technology can be applied to detection of looking away, detection of driver drowsiness, investigation of the degree of interest in products, data input to a computer, and the like.
  • Patent Document 1 describes a method for detecting a pupil based on a difference between a bright pupil image and a dark pupil image.
  • this method by detecting the shift amount of the corneal reflection position in the two images obtained by photographing the bright pupil and the dark pupil, and performing position correction to move one image by an amount corresponding to the shift amount of the corneal reflection position, The pupil portions of both images are substantially matched. Then, the difference between both images is taken.
  • a pupil detection system is based on a first pupil image of a subject photographed by a first camera and a second pupil image of the subject photographed by a second camera.
  • a vector calculation unit that calculates a plurality of candidate vectors connecting the center and the pupil center by a stereo method, wherein the corneal sphere center passes through the first camera and a corneal reflection point obtained from the first pupil image;
  • the vector calculation unit which is an intersection of an axis passing through two cameras and a corneal reflection point obtained from the second pupil image, and a pupil center, and at least one of the first camera and the second camera among the plurality of candidate vectors.
  • a candidate vector that satisfies the vector condition that an angle formed with a reference line set based on one position is equal to or less than a predetermined threshold is selected, and the pupil is positioned at the center of the pupil corresponding to the selected candidate vector And a determination unit and.
  • a pupil detection method is a pupil detection method executed by a pupil detection system including a processor, and is captured by a first pupil image of a subject photographed by a first camera and a second camera.
  • a vector calculation step that is an intersection of an axis passing through the corneal reflection point obtained from the first pupil image and an axis passing through the second camera and the corneal reflection point obtained from the second pupil image; and a plurality of candidate vectors Satisfying the vector condition that the angle between the pupil center and the reference line set based on the position of at least one of the first camera and the second camera is not more than a predetermined threshold value.
  • a pupil detection program is based on a first pupil image of a subject photographed by a first camera and a second pupil image of the subject photographed by a second camera.
  • a vector calculation unit that calculates a plurality of candidate vectors connecting the center and the pupil center by a stereo method, wherein the corneal sphere center passes through the first camera and a corneal reflection point obtained from the first pupil image; At least one of the pupil center, the first camera, and the second camera among the vector calculation unit and a plurality of candidate vectors, which is an intersection of the axis passing through the two cameras and the corneal reflection point obtained from the second pupil image And selecting a candidate vector that satisfies the vector condition that the angle between the reference line and the reference line set based on the position is equal to or less than a predetermined threshold, and the pupil is positioned at the center of the pupil corresponding to the selected candidate vector Causing a computer to function as a determination unit and.
  • a plurality of candidate vectors connecting the corneal sphere center and the pupil center are calculated, and a candidate vector whose orientation is estimated to be correct is selected, and the pupil center corresponding to the selected vector is selected. It is determined that the pupil is located at.
  • the pupil can be correctly detected even when the pupil image includes noise.
  • the pupil can be correctly detected even when the pupil image includes noise.
  • the pupil detection system 1 is a computer system that detects the position of the pupil of the subject, and the pupil detection method according to the present embodiment is implemented by this system.
  • the target person is a person who detects the pupil position and can also be called a subject.
  • the purpose of use of the pupil detection system 1 and the pupil detection method is not limited at all.
  • the pupil detection system 1 is used for detecting looking away, detecting drowsiness of a driver, investigating the degree of interest of a product, inputting data to a computer, and the like. Can be used.
  • the pupil detection system 1 includes a pair of cameras (a first camera and a second camera) 10 that function as a stereo camera and an image processing device 20.
  • the pupil detection system 1 further includes a display device 30 that is an object to be viewed by the subject A.
  • the display apparatus 30 since the purpose of use of the pupil detection system 1 is not limited as described above, The thing in is not limited to the display apparatus 30, For example, it can also be a windshield of a motor vehicle. Therefore, the display device 30 is not an essential element in the pupil detection system 1.
  • Each camera 10 is connected to the image processing apparatus 20 by wireless or wired, and various data or commands are transmitted and received between the camera 10 and the image processing apparatus 20. Camera calibration is performed on each camera 10 in advance.
  • the camera 10 is used for photographing the pupil of the subject A and its surroundings.
  • the pair of cameras 10 are arranged at predetermined intervals along the horizontal direction, and the face of the subject A is prevented for the purpose of preventing reflection of reflected light in the face image when the subject A is wearing glasses. It is provided at a lower position.
  • the elevation angle of the camera 10 with respect to the horizontal direction is set to a range of, for example, 20 to 35 degrees in consideration of both reliable detection of the pupil and avoidance of obstruction of the visual field range of the subject A.
  • Camera calibration is performed on each camera 10 in advance.
  • the camera 10 is an NTSC camera, which is one of interlace scan systems.
  • NTSC NTSC system
  • 30 frames of image data obtained per second is composed of an odd field composed of odd-numbered horizontal pixel lines and an even field composed of even-numbered horizontal pixel lines.
  • even field images are alternately captured at 1/60 second intervals. Therefore, one frame corresponds to a pair of odd and even fields.
  • the camera 10 captures the subject A in response to a command from the image processing apparatus 20 and outputs image data to the image processing apparatus 20.
  • the lens part of the camera 10 is schematically shown in FIG.
  • the objective lens 11 is accommodated in a circular opening 12, and a light source 13 is provided outside the opening 12.
  • the light source 13 is a device for irradiating illumination light toward the face of the subject A, and includes a plurality of light emitting elements 13a and a plurality of light emitting elements 13b.
  • the light emitting elements 13 a are semiconductor light emitting elements (LEDs) having a center wavelength of output light of 850 nm, and are arranged in a ring shape at equal intervals along the edge of the opening 12.
  • the light emitting element 13b is a semiconductor light emitting element having a center wavelength of output light of 940 nm, and is arranged in a ring shape at equal intervals outside the light emitting element 13a. Therefore, the distance from the optical axis of the camera 10 to the light emitting element 13b is larger than the distance from the optical axis to the light emitting element 13a.
  • Each of the light emitting elements 13 a and 13 b is provided so as to emit illumination light along the optical axis of the camera 10. Note that the arrangement of the light source 13 is not limited to the configuration shown in FIG. 2, and other arrangements may be used as long as the camera can be regarded as a pinhole model.
  • the image processing apparatus 20 is a computer that executes control of the camera 10 and detection of the pupil of the subject A.
  • the image processing apparatus 20 may be constructed by a stationary or portable personal computer (PC), may be constructed by a workstation, or may be constructed by another type of computer.
  • the image processing apparatus 20 may be constructed by combining a plurality of arbitrary types of computers. When a plurality of computers are used, these computers are connected via a communication network such as the Internet or an intranet.
  • FIG. 3 shows a general hardware configuration of the image processing apparatus 20.
  • the image processing apparatus 20 includes a CPU (processor) 101 that executes an operating system, application programs, and the like, a main storage unit 102 that includes a ROM and a RAM, and an auxiliary storage unit 103 that includes a hard disk, a flash memory, and the like.
  • the communication control unit 104 includes a network card or a wireless communication module, an input device 105 such as a keyboard and a mouse, and an output device 106 such as a display and a printer.
  • Each functional element of the image processing apparatus 20 described later reads predetermined software on the CPU 101 or the main storage unit 102, and operates the communication control unit 104, the input device 105, the output device 106, and the like under the control of the CPU 101. This is realized by reading and writing data in the main storage unit 102 or the auxiliary storage unit 103. Data and a database necessary for processing are stored in the main storage unit 102 or the auxiliary storage unit 103.
  • the image processing apparatus 20 includes an image acquisition unit 21, a first determination unit (vector calculation unit and determination unit) 22, and a second determination unit (determination unit) 23 as functional components.
  • the image acquisition unit 21 is a functional element that acquires image data from the camera 10 by controlling the shooting timing of the camera 10 and the light emission timing of the light source 13 of the camera 10.
  • the first determination unit 22 is a functional element that determines the pupil position based on a candidate vector obtained from image data.
  • the second determination unit 23 is a functional element that calculates the line of sight based on the pupil position determined to be correct by the first determination unit 22 and further determines the pupil position based on the line of sight.
  • the line of sight is a line connecting the center of the subject's pupil and the gaze point of the subject (the point the subject is looking at).
  • the term “line of sight” includes the meaning (concept) of the starting point, the ending point, and the direction.
  • the image processing apparatus 20 determines (estimates) the correct pupil position through two-step determination.
  • the output destination of the determination result of the pupil position is not limited at all.
  • the image processing apparatus 20 may display the determination result as an image, graphic, or text on a monitor, store it in a storage device such as a memory or database, or send it to another computer system via a communication network. You may send it.
  • the “candidate vector” in this specification is a vector (for example, a vector extending from the corneal sphere center to the pupil center) that connects the corneal sphere center and the pupil center, and is also referred to as a “corneal sphere center-pupil vector”. Can do. However, since the corneal sphere center and the pupil center, which are the end points of the candidate vector, are coordinates obtained by calculation, they may be different from the actual corneal sphere center and pupil center positions of the subject A.
  • the image acquisition unit 21 acquires a bright pupil image and a dark pupil image from each camera 10 (step S11).
  • the first determination unit 22 calculates a plurality of candidate vectors based on the bright pupil image and the dark pupil image (step S12, vector calculation step).
  • the first determination unit 22 selects a candidate vector that satisfies a condition including the following two items (in the present embodiment, this is a “vector condition”) from among a plurality of candidate vectors, whereby one or more pupil candidates ( The pupil position estimated to be correct) is specified (step S13, determination step).
  • Vector condition (1) The angle between the candidate vector and the reference line is not more than a predetermined threshold.
  • Vector condition (2) The length of the candidate vector is within a predetermined range.
  • the 1st determination part 22 pinpoints the pupil position which satisfy
  • the second determination unit 23 performs further determination based on one or more left pupil candidates (left pupil candidate group) and one or more right pupil candidates (right pupil candidate group). Specifically, the second determination unit 23 calculates the left line of sight based on one left pupil candidate selected from the left pupil candidate group and the right line of sight based on one right pupil candidate selected from the right pupil candidate group. Is calculated (step S15). Then, the second determination unit 23 selects a left line of sight and a right line of sight that satisfy the following condition (this is referred to as “line of sight condition” in this specification) (step S16).
  • Line-of-sight condition The deviation between the left line of sight and the right line of sight in the height direction of the subject is not more than a predetermined threshold.
  • the second determination unit 23 executes the processing of steps S15 and S16 for all combinations of the left pupil candidate and the right pupil position (see step S17), and outputs the final determination result (step S18).
  • the i-th field (image) is shifted so that the positions of the corneal reflection points R detected from the i-th field (image) and the (i + 1) -th field (image) coincide with each other. (See the arrow in FIG. 7), the difference between the two images is taken.
  • the pupil P can be detected from this difference image shown in the lower part of FIG.
  • the pupil detection system 1 is to specify the correct pupil position even when such noise appears in the pupil image.
  • a light emitting element 13a that emits light having a high transmittance (center wavelength is 850 nm) is provided at a position adjacent to the opening 12, and light having a low eye transmittance (central wavelength is 940 nm).
  • the light emitting element 13b that emits light is provided at a position away from the opening 12.
  • the image acquisition unit 21 shoots a bright pupil image by turning on the light emitting elements 13 a according to the odd field of the camera 10, and shoots a dark pupil image by turning on the light emitting elements 13 a according to the even field of the camera 10.
  • the image acquisition unit 21 slightly shifts the operation timing between the two cameras 10, and the exposure time of each camera 10 is set to be equal to or shorter than the shift time.
  • the image acquisition unit 21 causes the corresponding light emitting element 13a and light emitting element 13b to emit light alternately during the exposure time of each camera 10 so that the light from the light source 13 of one camera 10 becomes an image of the other camera 10. Do not influence (do not cause crosstalk).
  • the image acquisition unit 21 acquires a bright pupil image and a dark pupil image obtained by a series of these controls.
  • the bright pupil image or dark pupil image obtained from one camera 10 corresponds to the first pupil image
  • the bright pupil image or dark pupil image obtained from the other camera 10 corresponds to the second pupil image. Since the obtained image data has effective pixels only in the odd field or even field, the image acquisition unit 21 embeds the luminance average of the pixel lines of adjacent effective pixels in the pixel value between the lines, A bright pupil image or a dark pupil image is generated.
  • the image acquisition unit 21 outputs the bright pupil image and the dark pupil image to the first determination unit 22.
  • the first determination unit 22 detects one or more corneal reflection point candidates (corneal reflection candidate points) from each of the bright pupil image and the dark pupil image input from the image acquisition unit 21. Specifically, the first determination unit 22 performs binarization and labeling on a single image using the P-tile method, and based on information such as shape and luminance average, one or more corneal reflection candidates from the image Select a point. By such processing, the first determination unit 22 obtains one or more (for example, a plurality of) corneal reflection candidate points from each of the bright pupil image and the dark pupil image. The maximum number of corneal reflection candidate points (for example, 2, 3, 5, etc.) acquired from one pupil image may be set in advance. For example, the first determination unit 22 detects three corneal reflection candidate points indicated by symbols R and Rf from the image shown in FIG.
  • the first determination unit 22 selects corneal reflection candidate points one by one from the bright pupil image and the dark pupil image, and determines the movement amount of corneal reflection between the two images based on the two selected corneal reflection candidate points. Calculate as the position correction amount. Subsequently, the first determination unit 22 converts the image of the previous field (i-th field) into the image of the next field ((i + 1) -th field) so that the two corneal reflection candidate points coincide with each other. A difference image is generated from these two images after being shifted by a certain amount. And the 1st determination part 22 acquires the position of the matched corneal reflection candidate point.
  • the first determination unit 22 specifies pupil position candidates from the difference image. Specifically, the first determination unit 22 uses the luminance average of the pupil detected in the previous frame by using the fact that the luminance does not change greatly from the previous frame, and sets the half value of the average luminance as a threshold value. As a result, the difference image is binarized and labeled. Subsequently, the first determination unit 22 selects a pupil candidate from among the connected components of the labeled pixels based on shape parameters such as the area, size, area ratio, squareness, and pupil feature amount that are likely to be pupils. The center coordinates of each pupil candidate are calculated. Therefore, one or more pupil candidate coordinates may be obtained with respect to the coordinates of the matched corneal reflection candidate points.
  • the first determination unit 22 may exclude the matched corneal reflection candidate points. By excluding corneal reflection candidate points estimated to be fake corneal reflections before executing a stereo method (stereo matching) described later, the subsequent calculation time can be shortened.
  • the first determination unit 22 obtains the three-dimensional coordinates of each pupil candidate. Specifically, the first determination unit 22 calculates the three-dimensional positions of the left and right pupils from the calculated pupil center coordinates using a stereo method.
  • the stereo method measures internal parameters such as the focal length of the camera lens, image center, and pixel size, and external parameters such as the camera position and orientation, and shoots an object using multiple stereo cameras. In this case, based on the coordinates of the point in the image, the position of the point in the space is determined using the internal parameter and the external parameter.
  • the figure shows the world coordinate system (X W, Y W, Z W) is the origin O W where two cameras 10 share, for example, the coordinate system is located in the center of the screen of the display device 30.
  • the camera coordinate system (X, Y, Z) is a coordinate system in which the origin C is the optical center of the camera 10 and the Z axis is parallel to the optical axis drawn perpendicularly to the image plane from the optical center.
  • the image coordinate system (X G , Y G ) is a coordinate system that is parallel to the XY plane along the image plane on which the image sensor is placed, and has an intersection C (image center) between the optical axis and the image plane as an origin C i. .
  • the projection point in the image coordinate system at the time of using the camera 10 (X d, Y d) is the ideal projected point by image distortion (X u, Y u) from It will shift. Therefore, in order to accurately perform the three-dimensional position measurement using the stereo method, it is necessary to previously acquire calibration data that records the correspondence between the world coordinates of the target point P and the image coordinates.
  • the translation vector of the camera coordinate system with respect to the world coordinates as external parameters and the rotation matrix of the camera coordinate system with respect to the world coordinate system, the focal length, the image center coordinates, the scale coefficient, the lens distortion coefficient, the image sensor interval as internal parameters Are acquired in advance as calibration data and stored in the first determination unit 22.
  • the first determination unit 22 refers to the relational expression between the pupil center coordinates in the image coordinate system and the pupil center coordinates in the world coordinate system detected based on the output data from the two cameras 10 while referring to the calibration data. get.
  • the 1st determination part 22 calculates
  • the first determination unit 22 can obtain the three-dimensional coordinates of the left and right pupils of the subject A.
  • the first determination unit 22 uses the same method as the calculation of the three-dimensional coordinates of the pupil candidate, corresponding to the left camera 10 L (obtained from the left camera 10 L image) corneal reflection point (corneal reflection candidate points ) and corresponding to the right camera 10 R (obtained from the right camera 10 R image) is calculated center coordinates of the cornea reflection point (corneal reflection candidate points).
  • the first determination unit 22 is centered only on the corneal reflection points (corneal reflection candidate points) that remain without being excluded. Coordinates may be calculated.
  • the first determination unit 22 obtains candidate vectors. This calculation will be described with reference to FIGS.
  • the first determination unit 22 the corneal reflection point corresponding left camera 10 L lens center of (the lens may in terms other than the center) and the left camera 10 L (corneal reflection candidate points) straight line passing through the R L (axis) L L and, intersection of the right camera 10 lens center of R (lens may be a point other than the center) and the corneal reflection point corresponding to the right camera 10 R (corneal reflection candidate points) straight line passing through the R R (axis) L R
  • the three-dimensional coordinates of C are set as the three-dimensional coordinates of the corneal sphere center.
  • the first determination unit 22 obtains a candidate vector V based on the three-dimensional coordinates of the corneal sphere center C and the pupil center P.
  • the first determination unit 22 can detect one or more pupil candidates from a set of corneal reflection candidate points selected from the bright pupil image and the dark pupil image.
  • the first determination unit 22 can detect the set of corneal reflection candidate points. To obtain one or more candidate vectors.
  • the first determination unit 22 does not generate candidate vectors corresponding to the excluded corneal reflection candidate points. That is, the first determination unit 22 only needs to calculate the candidate vectors corresponding to the corneal reflection candidate points that are not excluded, so that the calculation time can be reduced accordingly.
  • the first determination unit 22 determines whether each candidate vector satisfies a vector condition, and selects only candidate vectors that satisfy the vector condition.
  • the vector condition is a condition that the angle between the candidate vector and the reference line is equal to or smaller than a predetermined threshold, and the length of the candidate vector is within a predetermined range.
  • the reference line used in the vector condition is a line OmP connecting the midpoint (center of gravity) Om between the lens centers of the two cameras 10 and the pupil center P.
  • the threshold ⁇ used in the vector condition may be 30 degrees, 40 degrees, 50 degrees, or another value.
  • the first determination unit 22 selects the candidate vector V if the angle formed by the candidate vector V and the reference line OmP is less than or equal to the threshold value ⁇ , and excludes the candidate vector V if the angle exceeds the threshold value ⁇ . To do.
  • the candidate vector V is shown extending in the direction of the camera 10 for explanation.
  • the reference line may be a line connecting the lens center of one of the cameras 10 and the pupil center P. In any case, the reference line is set based on the pupil center and the position of at least one camera 10.
  • the first determination unit 22 determines whether the length of the candidate vector V, that is, the distance between the pupil center and the corneal sphere center is within a predetermined range.
  • the lower limit value and the upper limit value of the range are d ⁇ 1.5 (mm) and d + 1.5 (mm), respectively.
  • the value d is the distance between the center of the corneal sphere and the center of the pupil, measured for one or more users in an environment where no spectacle reflection or false corneal reflection occurs.
  • the lower limit value of the range may be d-1.0 (mm) or d-2.0 (mm)
  • the upper limit value of the range may be d + 1.0 (mm) or d + 2.0 (mm).
  • the first determination unit 22 selects the candidate vector V if the length of the candidate vector V is within the range, and excludes the candidate vector V when the length is not within the range.
  • 1st determination part 22 specifies the three-dimensional coordinate of the pupil center corresponding to the candidate vector V which satisfy
  • the first determination unit 22 specifies a pupil candidate (hereinafter also referred to as a left pupil candidate and a right pupil candidate) for each of the left and right pupils, and outputs the pupil candidate data to the second determination unit 23.
  • Specifying the pupil center corresponding to the candidate vector satisfying the vector condition means that it is determined that the pupil is located at the pupil center.
  • the second determination unit 23 detects the line of sight based on the three-dimensional coordinates of the left and right pupils. As shown in FIG. 13, based on the three-dimensional position P of the pupil, the virtual viewpoint plane having the center of the opening 12 of the camera 10 as the origin O and the reference line OP connecting the origin O and the pupil center P as the normal.
  • the X ′ axis corresponds to the intersection of the X W -Z W plane of the world coordinate system and the virtual viewpoint plane.
  • the second determination unit 23 calculates the vector r G from the corneal reflection point G in the image plane S G to the pupil center P, and the vector r G, the actual size with the magnification of the camera obtained from the distance OP It converts into the converted vector r.
  • each camera 10 is considered as a pinhole model, and it is assumed that the corneal reflection point G and the pupil center P are on a plane parallel to the virtual viewpoint plane X′-Y ′.
  • the second determination unit 23 calculates the relative coordinate between the pupil center P and the corneal reflection point G as a vector r on a plane parallel to the virtual viewpoint plane and including the three-dimensional coordinates of the pupil P, and this vector r Represents the actual distance from the corneal reflection point G to the pupil center P.
  • Such calculation of the angles ⁇ and ⁇ is performed by assuming that the vector r on the plane where the pupil center P exists is enlarged on the virtual viewpoint plane and corresponds to the gazing point of the subject A as it is. More specifically, it is assumed that the angle ⁇ of the subject A's line of sight PT with respect to the reference line OP has a linear relationship between the pupil center and the corneal reflection distance
  • the second determination unit 23 obtains a vector OT connecting the origin O set at the center of the opening 12 of the camera 10 and the gazing point T on the virtual viewpoint plane by the following equation (2).
  • the vector OP is obtained from the camera 10.
  • the second determination unit 23 obtains a gazing point Q that is an intersection of the line-of-sight vector PT and the viewing plane (display device 30) by the following equation (3).
  • Q nPT + P (3)
  • of the corneal reflection distance. Note that the origin correction vector r 0 included in the function f 1 includes the cornea reflection-pupil center vector when the subject A looks at the camera ( ⁇ 0) because the vector is not zero.
  • a vector r 0 is set as a vector between the reflection and the pupil center.
  • the gain value k and the origin correction vector r 0 need to be calibrated because they differ depending on each subject A and the left and right eyeballs. Therefore, the gain value k and the origin correction vector r 0 are values corrected by a parameter correction process described later with respect to preset initial values.
  • the distance between the center of the pupil and the center of the corneal sphere and the visual axis (reference value) are obtained during one-point calibration of gazing point detection.
  • the second determination unit 23 the angle was calculated to correspond to an image of the two cameras 10 phi, phi 1 is theta, phi 2, theta 1, with reference to the theta 2, the subject A display A gazing point on the screen of the device 30 is detected.
  • a coordinate system as shown in FIG. 14 is defined.
  • Two virtual viewpoint planes H 1 and H 2 having origins O 1 ′ and O 2 ′ corresponding to the positions of the two stereo cameras 10, and a virtual viewpoint spherical surface S having an arbitrary radius around the pupil center P Define.
  • the two virtual viewpoint planes H 1 and H 2 are planes perpendicular to the straight lines PO 1 ′ and PO 2 ′, respectively.
  • intersection of the intersection of the virtual viewpoint sphere S and a straight line (line of sight) passing through the fixation point Q on the pupil center P and the display screen and a straight line passing through the G S, pupil center P and the origin O 1 'and the virtual viewpoint sphere S O 1 , and the intersection of the virtual viewpoint spherical surface S and the straight line passing through the pupil center P and the origin O 2 ′ is O 2 . If the intersection of the line of sight PQ and the virtual viewpoint plane H 1 is G 1 , the angle formed by the horizontal axis of the straight line O 1 ′ G 1 and the virtual viewpoint plane H 1 is ⁇ 1 .
  • angle between the horizontal axis and the straight line O 2 'G 2 and the virtual viewpoint plane H 2 is phi 2.
  • the line of intersection between the horizontal plane and the sphere S passing through the point O 1 at the point O 1 (curve), the angle between the curve O 1 G S, equal to the angle phi 1.
  • the line of intersection between the horizontal plane passing through the point O 2 at the point O 2 and the virtual viewpoint sphere S (curve), angle between the curve O 2 G S is the aforementioned angle phi 2 Will be equal.
  • the point P, O 1, O 1 ' is present on the same straight line L 1
  • the point P, O 2, O 2' so are present on the same straight line L 2
  • the straight line L 1 The angle formed by the line of sight is ⁇ 1
  • the angle formed by the straight line L 2 and the line of sight is ⁇ 2 .
  • the second determination unit 23 refers to the previously known position coordinates of the origins O 1 ′ and O 2 ′ and the position and orientation data of the display device 30 on the screen. Can be calculated. That is, the relative positional relationship between the points G S , O 1 , and O 2 on the virtual viewpoint spherical surface S is acquired from the angles ⁇ 1 , ⁇ 2 , ⁇ 1 , and ⁇ 2 calculated from the camera images of the two cameras 10. can do.
  • the second determination unit 23 is a known origin O 1 ', O 2' and coordinates, from an already calculated pupil center P of coordinates, can be uniquely determined gaze PG S, the line of sight PG S
  • the gazing point Q can be detected by calculating the intersection of the display device 30 and the screen of the display device 30.
  • the function f 1 used by the second determination unit 23 to calculate the line of sight includes a gain value k and an origin correction vector r 0 as parameters.
  • 0.
  • the visual axis (line of sight) of the eyeball does not coincide with the optical axis, and the vector
  • ⁇ 0 when the angle ⁇ 0.
  • the visual axis of the eyeball is a straight line that connects the fovea of the subject's eyeball and the subject's gaze point.
  • the coefficient k can be calculated from the vector r ′ actually measured in each camera without the subject looking at a specific position.
  • the second determination unit 23 obtains an origin correction vector r 0 by a one-point calibration method.
  • the method for obtaining the origin correction vector r 0 by the one-point calibration method is specifically as follows. First, the second determination unit 23 displays one target (prescribed point) at an arbitrary position on the display screen of the display device 30 and causes the subject A to gaze at the target. In this state, the second determination unit 23 detects a gazing point on the projection virtual viewpoint plane. Next, the second determination unit 23 calculates, as a correction amount, a difference between the detected gazing point and a point obtained by projecting the coordinates of the target on the projection virtual viewpoint plane. The second determination unit 23 determines the origin correction vector r 0 on the basis of the correction amount. Thereby, the 2nd determination part 23 can perform the highly accurate fixation point detection by Formula (4).
  • the second determination unit 23 can detect the line of sight of the subject A by detecting the gazing point.
  • the second determination unit 23 may output the detection result when the line of sight of the subject A is detected in this way.
  • the second determination unit 23 also functions as a line-of-sight detection unit
  • the pupil detection system 1 also functions as a line-of-sight detection system.
  • the second determination unit 23 may determine whether the left and right gazes are correctly detected, and whether the pupil center coordinates that are the premise thereof are correct.
  • the two lines of sight of the human may be slightly shifted, and an error in the apparatus may also occur.
  • FIG. It shifts along the height direction of A.
  • the right pupil center and the left pupil center are P R and P L , respectively, and the unit direction vectors of the line of sight extending from the right eye and the left eye are i RG and i LG , respectively.
  • a unit direction vector extending from the right pupil center to the left pupil center is i RL, and a unit direction vector extending from the left pupil center to the right pupil center is i LR .
  • each G R points on each visual line when the two lines of sight closest to each other, and G L.
  • three points P R, P L, the normal unit vector i R of a plane passing through the G R can be expressed by the following equation showing the outer product (9).
  • i R i RG ⁇ i RL (9)
  • i L i LG ⁇ i LR (10)
  • the second determination unit 23 two unit normal vector i R, when the angle [delta] formed by the i L is within a predetermined range (threshold as ⁇ 0,
  • ⁇ ⁇ 0 means that the deviation between the left line of sight and the right line of sight in the height direction of the subject is equal to or less than a predetermined threshold value.
  • the second determination unit 23 selects the combination of left and right pupil positions that is estimated to be correct by executing the above-described processing for all combinations of the left pupil candidate and the right pupil candidate. This process means that it is determined that the left pupil and the right pupil are positioned at the left pupil center and the right pupil center corresponding to the left gaze and the right gaze determined to be correct, respectively.
  • the second determination unit may output only the left gaze and right gaze determined to be correct as the final determination result without outputting the determination result for the pupil position.
  • the second determination unit 23 also functions as a line-of-sight detection unit, and the pupil detection system 1 also functions as a line-of-sight detection system.
  • the second determination unit 23 may determine whether the line of sight (and the pupil position) is correct based on the distance between the left and right gazing points when the gazing point on the display device 30 is detected. . Specifically, the second determination unit 23 obtains, as a gazing point, an intersection point between the left and right gazes obtained before calculating the angle ⁇ and the screen plane, and the gazing point of each right eye and each left eye. Find the brute force distance to the viewpoint. And the 2nd determination part 23 determines with the right and left eyes
  • the pupil detection program P1 includes a main module P10, an image acquisition module P11, a first determination module P12, and a second determination module P13.
  • the main module P10 is a part that comprehensively controls the pupil detection function.
  • the functions realized by executing the image acquisition module P11, the first determination module P12, and the second determination module P13 are the functions of the image acquisition unit 21, the first determination unit 22, and the second determination unit 23, respectively. It is the same.
  • the pupil detection program P1 may be provided after being fixedly recorded on a tangible recording medium such as a CD-ROM, DVD-ROM, or semiconductor memory.
  • the pupil detection program P1 may be provided as a data signal superimposed on a carrier wave via a communication network.
  • the pupil detection system includes the first pupil image of the subject photographed by the first camera, and the second pupil image of the subject photographed by the second camera.
  • a vector calculation unit for calculating a plurality of candidate vectors connecting the corneal sphere center and the pupil center by a stereo method, wherein the corneal sphere center is a corneal reflection point obtained from the first camera and the first pupil image.
  • the vector calculation unit that is an intersection of the axis passing through the second camera and the corneal reflection point obtained from the second pupil image, the pupil center, and the first camera among the plurality of candidate vectors And a candidate vector that satisfies a vector condition that an angle formed with a reference line that is set based on at least one position of the second camera is equal to or less than a predetermined threshold, and a pupil corresponding to the selected candidate vector Center and a determination unit and the pupil are located.
  • a pupil detection method is a pupil detection method executed by a pupil detection system including a processor, and is captured by a first pupil image of a subject photographed by a first camera and a second camera.
  • a vector calculation step that is an intersection of an axis passing through the corneal reflection point obtained from the first pupil image and an axis passing through the second camera and the corneal reflection point obtained from the second pupil image; and a plurality of candidate vectors Satisfying the vector condition that the angle between the pupil center and the reference line set based on the position of at least one of the first camera and the second camera is not more than a predetermined threshold value.
  • a pupil detection program is based on a first pupil image of a subject photographed by a first camera and a second pupil image of the subject photographed by a second camera.
  • a vector calculation unit that calculates a plurality of candidate vectors connecting the center and the pupil center by a stereo method, wherein the corneal sphere center passes through the first camera and a corneal reflection point obtained from the first pupil image; At least one of the pupil center, the first camera, and the second camera among the vector calculation unit and a plurality of candidate vectors, which is an intersection of the axis passing through the two cameras and the corneal reflection point obtained from the second pupil image And selecting a candidate vector that satisfies the vector condition that the angle between the reference line and the reference line set based on the position is equal to or less than a predetermined threshold, and the pupil is positioned at the center of the pupil corresponding to the selected candidate vector Causing a computer to function as a determination unit and.
  • a plurality of candidate vectors connecting the corneal sphere center and the pupil center are calculated, and a candidate vector whose orientation is estimated to be correct is selected, and the pupil center corresponding to the selected vector is selected. It is determined that the pupil is located at.
  • the pupil can be correctly detected even when the pupil image includes noise.
  • the determination unit may select a candidate vector that satisfies the vector condition that the angle formed with the reference line is equal to or smaller than a predetermined threshold and the length is within a predetermined range. Good.
  • the pupil can be detected more correctly even when noise is included in the pupil image.
  • the vector calculation unit performs a process of calculating the pupil center using the corneal reflection candidate point before calculating the candidate vector, and uses the corneal reflection candidate point to determine the pupil center. If the corneal reflection candidate point cannot be calculated, only the candidate vector corresponding to the corneal reflection candidate point that is not excluded may be calculated.
  • corneal reflection candidate points for which the pupil center could not be calculated that is, corneal reflection candidate points that are estimated to be incorrect
  • No candidate vector is calculated. Since the number of candidate vectors can be suppressed by this processing, the time required for pupil detection can be shortened accordingly.
  • the vector calculation unit calculates a plurality of candidate vectors for each of the left pupil and the right pupil of the subject, and the determination unit sets the vector condition for each of the left pupil and the right pupil.
  • the left and right pupil centers are determined, and the left gaze and right gaze are calculated based on the left and right pupil centers, respectively.
  • the left line of sight when the line of sight satisfies the line of sight condition that the normal of the plane defined by the line of sight and the normal of the plane defined by the left pupil center, the right pupil center, and the right line of sight is below a predetermined threshold. It may also be determined that the right line of sight is the correct line of sight.
  • the angle formed by the above two normals corresponds to the shift of the left and right line of sight in the height direction of the subject. By examining this shift, it is possible to correctly detect the line of sight even when the pupil image includes noise.
  • the determination unit may determine that the left pupil and the right pupil are respectively located at the left pupil center and the right pupil center corresponding to the left visual line and the right visual line determined to be correct. .
  • the pupil can be detected correctly in consideration of the correctness of the line of sight.
  • the line-of-sight detection system includes a line-of-sight detection unit that detects the line of sight of the subject based on the pupil center determined by the pupil detection system.
  • the subject's gaze is detected based on the pupil center corresponding to the candidate vector whose direction is estimated to be correct, it is possible to correctly identify the gaze even when the pupil image includes noise. it can.
  • the first determination unit 22 may select only the left and right pupil positions where the distance between the pupil centers (interpupillary distance) is within a predetermined range. This process can be executed before or after the determination of the vector condition.
  • the first determination unit 22 selects one of the extracted left pupil center candidates and selects one of the right pupil center candidates, and the distance between the selected two pupil centers. (Distance between pupils) is calculated.
  • the interpupillary distance l is expressed by the following formula (12).
  • the first determination unit 22 selects a pair of pupil centers that satisfies the distance condition that the inter-pupil distance is within a predetermined range, and excludes pairs that do not satisfy the distance condition. The first determination unit 22 performs this process for all combinations of the left pupil center and the right pupil center.
  • the range set for the distance condition may be a range including 65 mm.
  • the lower limit of the range may be 50 mm, 55 mm, or 60 mm
  • the upper limit of the range may be 70 mm, 75 mm, or 80 mm.
  • the vector calculation unit calculates a plurality of candidate vectors for each of the left pupil and the right pupil of the subject, and the determination unit determines the left pupil for each of the left pupil and the right pupil.
  • Determine the center and right pupil center correspond to candidate vectors that satisfy the vector condition, and satisfy the distance condition that the distance between the pupils based on the left pupil center and the right pupil center is within a predetermined range. It may be determined that the left pupil and the right pupil are respectively located at the center of the pupil.
  • the pupil can be correctly detected even when the pupil image contains noise.
  • the determination using the distance condition may be performed based on the distance between the cornea centers (intercorneal distance) instead of the interpupillary distance.
  • the first determination unit 22 may perform determination using the vector condition with respect to the visual axis obtained from the pupil center.
  • the pupil detection system may include three or more cameras.
  • three cameras may be arranged at the positions of the vertices of the equilateral triangle on the virtual viewpoint plane, or four cameras may be arranged at the positions of the four vertices of the square on the virtual viewpoint plane.
  • the pupil position and line of sight can be obtained according to the above-described embodiment using the images taken by the two cameras that can capture the pupil or corneal reflection. Can be requested.
  • the pupil detection system 1 includes the second determination unit 23, but the second determination unit 23 may be omitted. That is, the pupil detection system 1 may output a pupil position that satisfies the above vector condition as a final determination result.
  • the vector condition is defined as “the angle between the candidate vector and the reference line is equal to or smaller than a predetermined threshold, and the length of the candidate vector is within a predetermined range”, but the length of the candidate vector is considered. You don't have to. That is, the vector condition may be defined as “the angle between the candidate vector and the reference line is equal to or smaller than a predetermined threshold”. This means that only the vector condition (1) in the above embodiment is used.
  • the first determination unit 22 generates a difference image from the bright pupil image and the dark pupil image, and obtains the pupil coordinates from the difference image. However, the first determination unit 22 does not generate the difference image.
  • the pupil position and the corneal reflection position may be obtained from a single pupil coordinate (bright pupil image or dark pupil image) input from the image acquisition unit 31.
  • the first determination unit 22 performs binarization and labeling on one pupil image, and the area, size, area ratio, squareness, feature amount, and the like that are likely to be pupils (or corneal reflection points) Based on the shape parameter, a candidate pupil (or corneal reflection candidate point) is selected from the connected components of the labeled pixels. And the 1st determination part 22 acquires the position of each pupil candidate (or each corneal reflection candidate point).
  • SYMBOLS 1 Pupil detection system, 10 ... Camera (1st camera or 2nd camera), 20 ... Image processing apparatus, 21 ... Image acquisition part, 22 ... 1st determination part, 23 ... 2nd determination part, P1 ... Pupil detection program , P10 ... main module, P11 ... image acquisition module, P12 ... first determination module, P13 ... second determination module.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　一実施形態に係る瞳孔検出システムは、第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出部と、基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定部とを備える。角膜球中心は、第１カメラと第１瞳孔画像から得られる角膜反射点とを通る軸と、第２カメラと第２瞳孔画像から得られる角膜反射点とを通る軸との交点である。

Description

瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
　本発明の一側面は、瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラムに関する。
　従来から、対象者の瞳孔を検出する技術が知られている。この技術は、よそ見運転の検出、運転者の眠気の検出、商品の興味の度合いの調査、コンピュータへのデータ入力などに応用することが可能である。
　このような瞳孔検出技術に関し、下記特許文献１には、明瞳孔画像と暗瞳孔画像との差分により瞳孔を検出するための方法が記載されている。この方法では、明瞳孔および暗瞳孔を撮影した２つの画像における角膜反射位置のずれ量を検出し、一方の画像を角膜反射位置のずれ量に対応する分だけ移動する位置補正を行うことで、両画像の瞳孔部を実質的に一致させる。その上で、両画像の差分が取られる。
特許第４４５２８３６号明細書
　しかしながら、明瞳孔画像および暗瞳孔画像には様々なノイズが載りやすい。ノイズの一例として光源から発する光の眼鏡反射がある。眼鏡反射の中には、角膜反射と区別が付きにくいくらいに小さなものがある。また、眼鏡反射の位置はヒトの頭部の動きにより大きく移動するので、眼鏡反射と角膜反射とを画像の特徴だけから区別するのは困難である。また、涙が多い人の場合には下まぶたと白目との境界が光ったり目頭の突起部が光ったりすることがあり、これらは角膜反射と酷似する。このようなノイズを角膜反射として誤検出してしまうと、角膜反射に基づく位置補正が正しく機能しなくなり、その結果、瞳孔を正確に検出することができない。そこで、瞳孔画像にノイズが含まれる場合でも瞳孔を正しく検出することが望まれている。
　本発明の一側面に係る瞳孔検出システムは、第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出部であって、角膜球中心が、第１カメラと第１瞳孔画像から得られる角膜反射点とを通る軸と、第２カメラと第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出部と、複数の候補ベクトルの中から、瞳孔中心と、第１カメラおよび第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定部とを備える。
　本発明の一側面に係る瞳孔検出方法は、プロセッサを備える瞳孔検出システムにより実行される瞳孔検出方法であって、第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出ステップであって、角膜球中心が、第１カメラと第１瞳孔画像から得られる角膜反射点とを通る軸と、第２カメラと第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出ステップと、複数の候補ベクトルの中から、瞳孔中心と第１カメラおよび第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定ステップとを含む。
　本発明の一側面に係る瞳孔検出プログラムは、第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出部であって、角膜球中心が、第１カメラと第１瞳孔画像から得られる角膜反射点とを通る軸と、第２カメラと第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出部と、複数の候補ベクトルの中から、瞳孔中心と第１カメラおよび第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定部としてコンピュータを機能させる。
　このような側面においては、角膜球中心と瞳孔中心とを結ぶ候補ベクトルが複数個算出され、その中から、向きが正しいと推定される候補ベクトルが選択され、選択されたベクトルに対応する瞳孔中心に瞳孔が位置すると判定される。このように、複数の候補ベクトルのそれぞれについて方向を検査することで、瞳孔画像にノイズが含まれる場合でも瞳孔を正しく検出することができる。
　本発明の一側面によれば、瞳孔画像にノイズが含まれる場合でも瞳孔を正しく検出することができる。
実施形態に係る瞳孔検出システムを示す斜視図である。 カメラのレンズ部分を示す平面図である。 実施形態に係る画像処理装置のハードウェア構成を示す図である。 実施形態に係る瞳孔検出システムの機能構成を示すブロック図である。 実施形態に係る瞳孔検出システムの動作を示すフローチャートである。 差分画像の生成を示す図である。 角膜反射に基づく位置補正を説明するための図である。 角膜反射のノイズを示す図である。 実施形態に係る瞳孔検出システムで設定される座標系の位置関係を示す図である。 候補ベクトル（角膜球中心－瞳孔ベクトル）の一例を示す図である。 候補ベクトル（角膜球中心－瞳孔ベクトル）の別の例を示す図である。 ベクトル条件を説明するための図である。 視線の検出を説明するための図である。 注視点検出のメカニズムを説明するための図である。 視線のずれを説明するための図である。 実施形態に係る瞳孔検出プログラムの構成を示す図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
　［瞳孔検出システムの構成］
　まず、図１～４を用いて、実施形態に係る瞳孔検出システム１の構成を説明する。瞳孔検出システム１は、対象者の瞳孔の位置を検出するコンピュータシステムであり、このシステムにより、本実施形態に係る瞳孔検出方法が実施される。対象者とは、瞳孔位置を検出する対象となる人であり、被験者ともいうことができる。瞳孔検出システム１および瞳孔検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者の眠気の検出、商品の興味の度合いの調査、コンピュータへのデータ入力などに瞳孔検出システム１を利用することができる。
　図１に模式的に示すように、瞳孔検出システム１は、ステレオカメラとして機能する一対のカメラ（第１カメラおよび第２カメラ）１０と画像処理装置２０とを備える。以下では、必要に応じて、一対のカメラ１０を、対象者Ａの左側にある左カメラ１０Ｌと、対象者Ａの右側にある右カメラ１０Ｒとに区別する。本実施形態では、瞳孔検出システム１は、対象者Ａが見る対象であるディスプレイ装置３０をさらに備えるが、瞳孔検出システム１の利用目的は上記のように限定されないので、対象者Ａの視線の先にある物はディスプレイ装置３０に限定されず、例えば自動車のフロントガラスでもあり得る。したがって、ディスプレイ装置３０は瞳孔検出システム１における必須の要素ではない。それぞれのカメラ１０は画像処理装置２０と無線または有線により接続され、カメラ１０と画像処理装置２０との間で各種のデータまたは命令が送受信される。各カメラ１０に対しては予めカメラ較正が行われる。
　カメラ１０は対象者Ａの瞳孔およびその周辺を撮影するために用いられる。一対のカメラ１０は水平方向に沿って所定の間隔をおいて配され、かつ、対象者Ａが眼鏡をかけているときの顔画像における反射光の写り込みを防止する目的で対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラ１０の仰角は、瞳孔の確実な検出と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０～３５度の範囲に設定される。個々のカメラ１０に対しては予めカメラ較正が行われる。
　本実施形態では、カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。カメラ１０は、画像処理装置２０からの命令に応じて対象者Ａを撮像し、画像データを画像処理装置２０に出力する。
　カメラ１０のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２の外側に光源１３が設けられる。光源１３は、対象者Ａの顔に向けて照明光を照射するための機器であり、複数の発光素子１３ａと複数の発光素子１３ｂとから成る。発光素子１３ａは、出力光の中心波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の中心波長が９４０ｎｍの半導体発光素子であり、発光素子１３ａの外側に等間隔でリング状に配される。したがって、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。
　画像処理装置２０は、カメラ１０の制御と、対象者Ａの瞳孔の検出とを実行するコンピュータである。画像処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
　画像処理装置２０の一般的なハードウェア構成を図３に示す。画像処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。
　後述する画像処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
　図４に示すように、画像処理装置２０は機能的構成要素として画像取得部２１、第１判定部（ベクトル算出部および判定部）２２、および第２判定部（判定部）２３を備える。画像取得部２１は、カメラ１０の撮影タイミングとカメラ１０の光源１３の発光タイミングとを制御することで、カメラ１０から画像データを取得する機能要素である。第１判定部２２は、画像データから得られる候補ベクトルに基づいて瞳孔位置を判定する機能要素である。第２判定部２３は、第１判定部２２で正しいと判定された瞳孔位置に基づいて視線を算出し、その視線に基づいて瞳孔位置をさらに判定する機能要素である。視線とは、対象者の瞳孔中心と該対象者の注視点（対象者が見ている点）とを結ぶ線である。なお、「視線」という用語は、起点、終点、および方向の意味（概念）を含む。画像処理装置２０は、２段階の判定を通して正しい瞳孔位置を判定（推定）する。瞳孔位置の判定結果の出力先は何ら限定されない。例えば、画像処理装置２０は判定結果を画像、図形、またはテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
　本明細書における「候補ベクトル」とは、角膜球中心と瞳孔中心とを結ぶベクトル（例えば、角膜球中心から瞳孔中心に至るベクトル）であり、したがって、「角膜球中心－瞳孔ベクトル」ともいうことができる。ただし、この候補ベクトルの端点である角膜球中心および瞳孔中心は計算により得られる座標であるので、対象者Ａの実際の角膜球中心および瞳孔中心の位置とは異なり得る。
　［瞳孔検出方法］
　次に、図５～１５を用いて、瞳孔検出システム１の動作について説明するとともに、本実施形態に係る瞳孔検出方法について説明する。
　（処理の概要）
　瞳孔検出方法の概要を図５に示す。まず、画像取得部２１がそれぞれのカメラ１０から明瞳孔画像および暗瞳孔画像を取得する（ステップＳ１１）。続いて、第１判定部２２が明瞳孔画像および暗瞳孔画像に基づいて複数の候補ベクトルを算出する（ステップＳ１２、ベクトル算出ステップ）。第１判定部２２は、複数の候補ベクトルの中から、下記２項目から成る条件（本実施形態ではこれが「ベクトル条件」である）を満たす候補ベクトルを選択することで、１以上の瞳孔候補（正しいと推定される瞳孔位置）を特定する（ステップＳ１３、判定ステップ）。
・ベクトル条件（１）…候補ベクトルと基準線との角度が所定の閾値以下である。
・ベクトル条件（２）…候補ベクトルの長さが所定の範囲内である。
　第１判定部２２は、両方の瞳孔について、ベクトル条件を満たす瞳孔位置を特定する（ステップＳ１４参照）。
　続いて、第２判定部２３が１以上の左瞳孔候補（左瞳孔候補群）と１以上の右瞳孔候補（右瞳孔候補群）とに基づいて更なる判定を行う。具体的には、第２判定部２３は、左瞳孔候補群から選択した一つの左瞳孔候補に基づいて左視線を算出すると共に、右瞳孔候補群から選択した一つの右瞳孔候補に基づく右視線を算出する（ステップＳ１５）。そして、第２判定部２３は下記条件（本明細書ではこれを「視線条件」という）を満たす左視線および右視線を選択する（ステップＳ１６）。
・視線条件…対象者の高さ方向における左視線と右視線とのずれが所定の閾値以下である。
　第２判定部２３は、左瞳孔候補と右瞳孔位置とのすべての組合せについてステップＳ１５，Ｓ１６の処理を実行し（ステップＳ１７参照）、最終的な判定結果を出力する（ステップＳ１８）。
　ｉ番目のフィールドの画像が撮影されてから（ｉ＋１）番目のフィールドの画像が撮影されるまでの間に対象者Ａの頭部が動かなければ、図６に示すように、単純に明瞳孔画像および暗瞳孔画像の差を取ることで、瞳孔部分（図６における符号Ｐ）が浮かび上がった差分画像を生成することができる。しかし、ｉ番目のフィールドの画像が撮影されてから（ｉ＋１）番目のフィールドの画像が撮影されるまでの間のわずかな時間に対象者Ａの頭部が動くと、これら２画像の間で瞳孔の位置にずれが生じ、その結果、良好な差分画像を得ることができない。そこで、差分画像を得る前に、明瞳孔画像および暗瞳孔画像に対して角膜反射に基づく位置補正が行われる。
　角膜反射に基づく位置補正では、ｉ番目のフィールド（画像）と（ｉ＋１）番目のフィールド（画像）のそれぞれから検出した角膜反射点Ｒの位置が一致するようにｉ番目のフィールド（画像）をずらしてから（図７の矢印を参照）、２画像の差分が取られる。図７の下段に示すこの差分画像から瞳孔Ｐを検出することができる。
　しかし、明瞳孔画像および暗瞳孔画像には、光の眼鏡反射などの様々なノイズが載りやすい。例えば図８に示すように、真の角膜反射点Ｒと区別が付きにくいくらいに小さなノイズＲｆが瞳孔画像に写り得る。そのノイズＲｆの一つを正しい角膜反射点として位置補正が為されると、正しい瞳孔位置を求めることができない。瞳孔検出システム１の目的は、このようなノイズが瞳孔画像に写った場合でも正しい瞳孔位置を特定することである。
　（瞳孔画像の取得）
　眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。
　本実施形態では、透過率が高い波長の光（中心波長が８５０ｎｍ）を発する発光素子１３ａが開口部１２に隣接した位置に設けられ、眼の透過率が低い波長の光（中心波長が９４０ｎｍ）を発する発光素子１３ｂを開口部１２から離れた位置に設けられる。画像取得部２１は、カメラ１０の奇数フィールドに合わせて発光素子１３ａを点灯させて明瞳孔画像を撮影し、カメラ１０の偶数フィールドに合わせて発光素子１３ａを点灯させて暗瞳孔画像を撮影する。画像取得部２１は二つのカメラ１０の間で作動タイミングをわずかにずらし、個々のカメラ１０の露光時間はそのずらし時間以下に設定される。画像取得部２１は、各カメラ１０の露光時間中に、対応する発光素子１３ａおよび発光素子１３ｂを交互に発光させることで、一方のカメラ１０の光源１３からの光が他方のカメラ１０の画像に影響を与えないようにする（クロストークが起こらないようにする）。
　画像取得部２１は、これらの一連の制御により得られる明瞳孔画像および暗瞳孔画像を取得する。一方のカメラ１０から得られる明瞳孔画像または暗瞳孔画像は第１瞳孔画像に相当し、他方のカメラ１０から得られる明瞳孔画像または暗瞳孔画像は第２瞳孔画像に相当する。得られる画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像取得部２１は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像または暗瞳孔画像を生成する。画像取得部２１は明瞳孔画像および暗瞳孔画像を第１判定部２２に出力する。
　（角膜反射に基づく位置補正）
　第１判定部２２は、画像取得部２１から入力された明瞳孔画像および暗瞳孔画像のそれぞれから角膜反射点の１以上の候補（角膜反射候補点）を検出する。具体的には、第１判定部２２は１枚の画像に対してＰタイル法による２値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から１以上の角膜反射候補点を選択する。このような処理により、第１判定部２２は明瞳孔画像および暗瞳孔画像のそれぞれから、１以上の（例えば複数の）角膜反射候補点を得る。一つの瞳孔画像から取得する角膜反射候補点の最大数（例えば２、３、５など）が予め設定されていてもよい。例えば、第１判定部２２は図８に示す画像から、符号ＲおよびＲｆで示される三つの角膜反射候補点を検出する。
　続いて、第１判定部２２は明瞳孔画像および暗瞳孔画像から角膜反射候補点を一つずつ選択し、選択した二つの角膜反射候補点に基づいて２画像間での角膜反射の移動量を位置補正量として計算する。続いて、第１判定部２２はそれら二つの角膜反射候補点が一致するように、前フィールド（ｉ番目のフィールド）の画像を、次フィールド（（ｉ＋１）番目のフィールド）の画像に位置補正量だけずらした上で、これら２画像から差分画像を生成する。そして、第１判定部２２は一致させた角膜反射候補点の位置を取得する。
　（瞳孔位置および角膜反射位置の算出）
　続いて、第１判定部２２は差分画像から瞳孔位置の候補を特定する。具体的には、第１判定部２２は、前フレームと輝度が大きく変化しないことを利用して、前フレームで検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を２値化し、ラベリングを行う。続いて、第１判定部２２は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔候補を選択し、各瞳孔候補の中心座標を算出する。したがって、一致させた角膜反射候補点の座標に対して１以上の瞳孔候補の座標が得られる場合がある。
　一方、一致させた角膜反射候補点の座標に対して瞳孔候補の座標が一つも得られない場合もあり得る。それは、対応させた一方もしくは両方の角膜反射候補点が偽の角膜反射点であった場合に特に起こり得る。この場合には、第１判定部２２は、一致させた角膜反射候補点を除外してもよい。後述するステレオ法（ステレオマッチング）を実行する前に、偽の角膜反射と推定される角膜反射候補点を除外することで、後続の計算時間を短縮することができる。
　続いて、第１判定部２２は各瞳孔候補の３次元座標を求める。具体的には、第１判定部２２はステレオ法を用いて、算出した瞳孔中心座標から左右の瞳孔の３次元位置を計算する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。
　第１判定部２２がステレオ法を用いて瞳孔の３次元座標を計算する際には、図９に示すような座標系を用いる。同図に示す世界座標系（ＸＷ，ＹＷ，ＺＷ）は、２台のカメラ１０が共有する原点ＯＷが例えばディスプレイ装置３０の画面中央に位置する座標系である。カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点Ｃがカメラ１０の光学中心とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系である。画像座標系（ＸＧ，ＹＧ）は、撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃｉとする座標系である。点Ｐが目標点の座標とすると、カメラ１０を用いた際の画像座標系への投影点（Ｘｄ，Ｙｄ）は、画像のゆがみにより理想的な投影点（Ｘｕ，Ｙｕ）からずれることになる。したがって、ステレオ法を用いた３次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標との対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトルおよび世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等がキャリブレーションデータとして予め取得され、第１判定部２２に記憶される。
　第１判定部２２は、２台のカメラ１０からの出力データを基に検出した画像座標系における瞳孔中心座標と、世界座標系における瞳孔中心座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、第１判定部２２は、２つの関係式から世界座標系における対象者Ａの瞳孔の３次元座標を求める。同様にして、第１判定部２２は、対象者Ａの左右の瞳孔の３次元座標を求めることができる。
　また、第１判定部２２は瞳孔候補の３次元座標の算出と同様の手法を用いて、左カメラ１０Ｌに対応する（左カメラ１０Ｌの画像から得られる）角膜反射点（角膜反射候補点）と右カメラ１０Ｒに対応する（右カメラ１０Ｒの画像から得られる）角膜反射点（角膜反射候補点）との中心座標を算出する。偽の角膜反射と推定される角膜反射候補点を予め除外する処理を行った場合には、第１判定部２２は、除外されることなく残った角膜反射点（角膜反射候補点）についてのみ中心座標を算出すればよい。
　（候補ベクトルの算出）
　続いて、第１判定部２２は候補ベクトルを求める。図１０，１１を参照しながらこの計算について説明する。第１判定部２２は、左カメラ１０Ｌのレンズ中心（レンズ中心以外の点でもよい）と左カメラ１０Ｌに対応する角膜反射点（角膜反射候補点）ＲＬとを通る直線（軸）ＬＬと、右カメラ１０Ｒのレンズ中心（レンズ中心以外の点でもよい）と右カメラ１０Ｒに対応する角膜反射点（角膜反射候補点）ＲＲとを通る直線（軸）ＬＲとの交点Ｃの３次元座標を角膜球中心の３次元座標として設定する。そして、第１判定部２２は、角膜球中心Ｃおよび瞳孔中心Ｐの３次元座標に基づいて候補ベクトルＶを求める。
　第１判定部２２は、明瞳孔画像および暗瞳孔画像から選択した一組の角膜反射候補点から１以上の瞳孔候補を検出し得るので、第１判定部２２は当該一組の角膜反射候補点から１以上の候補ベクトルを得る。一方、第１判定部２２は、除外した角膜反射候補点に対応する候補ベクトルは生成しない。すなわち、第１判定部２２は、除外されなかった角膜反射候補点に対応する候補ベクトルのみを算出すればよいので、その分だけ計算時間を短縮することができる。第１判定部２２は、明瞳孔画像の角膜反射候補点と暗瞳孔画像の角膜反射候補点とのすべての組合せについて上記の処理を実行することで、複数の候補ベクトルを求める。例えば、左カメラ１０Ｌに関して、明瞳孔画像から２個の角膜反射候補点を検出し、暗瞳孔画像から３個の角膜反射候補点を検出したとする。この場合に、明瞳孔画像と暗瞳孔画像との双方に真の角膜反射点が含まれているとすると、第１判定部２２は左カメラ１０Ｌに関して、６個（＝２×３）の差分画像に基づいて最多で６個、最少で１個の候補ベクトルを算出し得る。また、右カメラ１０Ｒに関して、明瞳孔画像および暗瞳孔画像のそれぞれから２個ずつ角膜反射候補点を検出したとする。この場合には、明瞳孔画像と暗瞳孔画像との双方に真の角膜反射点が含まれているとすると、第１判定部２２は右カメラ１０Ｒに関して、４個（＝２×２）の差分画像に基づいて最多で４個、最少で１個の候補ベクトルを算出し得る。この場合には結局、ステレオマッチングにより最多で２４（＝６×４）通り、最少で１（＝１×１）通りの候補ベクトルが得られる。
　（候補ベクトルの判定）
　得られる候補ベクトルの中には、図１０に示すように正しいと思われる候補ベクトルＶもあれば、図１１に示すように、外乱光源ＤＬによる角膜反射を基に算出される候補ベクトル（正しいとはいえない候補ベクトル）Ｖもある。第１判定部２２は各候補ベクトルがベクトル条件を満たすか否かを判定し、ベクトル条件を満たす候補ベクトルのみを選択する。上述した通り、ベクトル条件は、候補ベクトルと基準線との角度が所定の閾値以下であり、かつ、候補ベクトルの長さが所定の範囲内である、という条件である。
　図１２の例では、ベクトル条件で用いる基準線は、２台のカメラ１０のレンズ中心間の中点（重心）Ｏｍと瞳孔中心Ｐとを結ぶ線ＯｍＰである。ベクトル条件で用いる閾値αは、３０度、４０度、または５０度でもよいし、他の値でもよい。第１判定部２２は、候補ベクトルＶと基準線ＯｍＰとの成す角度が閾値α以下であればその候補ベクトルＶを選択し、当該角度が閾値αを超える場合には、その候補ベクトルＶを除外する。なお、図１２では説明のために候補ベクトルＶをカメラ１０の方向に延ばして示している。
　なお、基準線はどちらか一方のカメラ１０のレンズ中心と瞳孔中心Ｐとを結ぶ線であってもよい。いずれにしても、基準線は、瞳孔中心と少なくとも１台のカメラ１０の位置とに基づいて設定される。
　また、第１判定部２２は候補ベクトルＶの長さ、すなわち瞳孔中心と角膜球中心との距離が所定の範囲にあるか否かを判定する。例えば、範囲の下限値および上限値はそれぞれｄ－１．５（ｍｍ）、ｄ＋１．５（ｍｍ）である。ここで、値ｄは、眼鏡反射や偽の角膜反射が生じない環境下で１以上のユーザについて計測した、角膜球中心と瞳孔中心との距離である。なお、範囲の下限値はｄ－１．０（ｍｍ）またはｄ－２．０（ｍｍ）でもよく、範囲の上限値はｄ＋１．０（ｍｍ）またはｄ＋２．０（ｍｍ）でもよい。第１判定部２２は、候補ベクトルＶの長さがその範囲内であればその候補ベクトルＶを選択し、当該長さがその範囲内でない場合には、その候補ベクトルＶを除外する。
　第１判定部２２は、ベクトル条件を満たす候補ベクトルＶに対応する瞳孔中心の３次元座標を瞳孔候補として特定する。第１判定部２２は左右の瞳孔のそれぞれについて瞳孔候補（以下では、左瞳孔候補および右瞳孔候補ともいう）を特定し、その瞳孔候補のデータを第２判定部２３に出力する。ベクトル条件を満たす候補ベクトルに対応する瞳孔中心を特定するということは、その瞳孔中心に瞳孔が位置すると判定することを意味する。
　（視線の検出）
　第２判定部２３は左右の瞳孔の３次元座標に基づいて視線を検出する。図１３に示すように、瞳孔の３次元位置Ｐに基づいて、カメラ１０の開口部１２の中心を原点Ｏとし、その原点Ｏと瞳孔中心Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’－Ｙ’を考える。ここで、Ｘ’軸は、世界座標系のＸＷ－ＺＷ平面と仮想視点平面との交線に相当する。
　第２判定部２３は、画像面ＳＧにおける角膜反射点Ｇから瞳孔中心ＰまでのベクトルｒＧを算出し、そのベクトルｒＧを、距離ＯＰから求められたカメラの拡大率を用いて実寸に換算したベクトルｒに変換する。このとき、各カメラ１０をピンホールモデルと考え、角膜反射点Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’－Ｙ’と平行な平面上にあると仮定する。つまり、第２判定部２３は、仮想視点平面と平行であって瞳孔Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標をベクトルｒとして算出し、このベクトルｒは角膜反射点Ｇから瞳孔中心Ｐまでの実距離を表す。
　続いて、第２判定部２３は、対象者Ａの仮想視点平面上の注視点Ｔに関して、直線ＯＴの水平軸Ｘ’に対する傾きφが、ベクトルｒの画像面上の水平軸ＸＧに対する傾きφ’と等しいと仮定する。さらに、第２判定部２３は、対象者Ａの視線ベクトル、すなわち、瞳孔中心Ｐと注視点Ｔとを結ぶベクトルＰＴと、基準線ＯＰとの成す角θを、ゲイン値ｋを含むパラメータを使った下記式（１）により計算する。
θ＝ｆ１（ｒ）＝ｋ×｜ｒ｜　　…（１）
　このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒを仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われる。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離｜ｒ｜との間で線形関係を有すると仮定する。
　角度θと距離｜ｒ｜とは線形近似できるという仮定、および二つの傾きφ，φ’が等しいという仮定を利用することで、（θ，φ）と（｜ｒ｜，φ’）とを１対１に対応させることができる。このとき、第２判定部２３は、カメラ１０の開口部１２の中心に設定された原点Ｏと、仮想視点平面上の注視点Ｔとを結ぶベクトルＯＴを次式（２）により得る。なお、ベクトルＯＰはカメラ１０から得られる。
Figure JPOXMLDOC01-appb-M000001
　最後に、第２判定部２３は視線ベクトルＰＴと視対象平面（ディスプレイ装置３０）との交点である注視点Ｑを次式（３）で求める。
Ｑ＝ｎＰＴ＋Ｐ　　…（３）
　しかし、一般的にヒトの視軸（瞳孔中心および中心窩を通る軸）と光軸（角膜からレンズの中心へと延びる法線）との間にはずれがあり、対象者Ａがカメラを注視した際にも角膜反射と瞳孔中心とは一致しない。そこで、これを補正する原点補正ベクトルｒ０を定義し、カメラ画像から実測した角膜反射－瞳孔中心ベクトルをｒ’とすると、ベクトルｒはｒ＝ｒ’－ｒ０で表されるので、式（１）は下記式（４）のように書き換えられる。
θ＝ｋ×｜ｒ’－ｒ０｜　　…（４）
計測されたｒ’に対して原点補正を行うことで、（θ，φ）と（｜ｒ｜，φ’）とを１対１に対応させることができ、精度の高い注視点検出を行うことができる。
　このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒ（＝ｒ’－ｒ０）を仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われている。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離の修正値｜ｒ’－ｒ０｜との間で線形関係を有すると仮定している。なお、関数ｆ１に含まれる原点補正ベクトルｒ０には、対象者Ａがカメラを見たとき（θ＝０）の実寸の角膜反射－瞳孔中心間のベクトルが零ではないために、この角膜反射－瞳孔中心間のベクトルとして、ベクトルｒ０が設定される。ここで、上記ゲイン値ｋ及び原点補正ベクトルｒ０は、各対象者Ａや左右の眼球によって異なるため較正を行う必要がある。そこで、ゲイン値ｋ及び原点補正ベクトルｒ０には、予め設定された初期値に対して後述するパラメータ補正処理によって補正された値が使用される。瞳孔中心と角膜球中心の距離と視軸（基準値）は、注視点検出の一点較正時に求める。
　さらに、第２判定部２３は、２台のカメラ１０の画像に対応して計算された角度φ，θであるφ１，φ２，θ１，θ２を参照して、対象者Ａのディスプレイ装置３０の画面上の注視点を検出する。ここで、注視点検出のメカニズムを説明するために図１４に示すような座標系を定義する。２台のステレオカメラ１０の位置に対応した原点Ｏ１’，Ｏ２’を有する２つの仮想視点平面Ｈ１，Ｈ２と、瞳孔中心Ｐを中心とした半径を任意とした仮想視点球面Ｓを定義する。２つの仮想視点平面Ｈ１，Ｈ２は、それぞれ、直線ＰＯ１’，ＰＯ２’に対して垂直な平面である。そして、瞳孔中心Ｐとディスプレイ画面上の注視点Ｑを通る直線（視線）と仮想視点球面Ｓとの交点をＧＳ、瞳孔中心Ｐと原点Ｏ１’を通る直線と仮想視点球面Ｓとの交点をＯ１、瞳孔中心Ｐと原点Ｏ２’を通る直線と仮想視点球面Ｓとの交点をＯ２とする。なお、視線ＰＱと仮想視点平面Ｈ１との交点をＧ１とすると、直線Ｏ１’Ｇ１と仮想視点平面Ｈ１との水平軸の成す角がφ１となる。同様に、視線ＰＱと仮想視点平面Ｈ２との交点をＧ２とすると、直線Ｏ２’Ｇ２と仮想視点平面Ｈ２との水平軸の成す角がφ２となる。さらに、仮想視点球面Ｓ上において、点Ｏ１における点Ｏ１を通る水平面と球面Ｓとの交線（曲線）と、曲線Ｏ１ＧＳとの成す角は、上記角度φ１と等しくなる。同様に、仮想視点球面Ｓ上において、点Ｏ２における点Ｏ２を通る水平面と仮想視点球面Ｓとの交線（曲線）と、曲線Ｏ２ＧＳとの成す角は、上記角度φ２と等しくなる。また、上述したように、点Ｐ，Ｏ１，Ｏ１’は同じ直線Ｌ１上に存在し、点Ｐ，Ｏ２，Ｏ２’は同じ直線Ｌ２上に存在するので、直線Ｌ１と視線の成す角がθ１となり、直線Ｌ２と視線の成す角がθ２となる。
　第２判定部２３は、上記のような関係を用いることにより、予め既知である原点Ｏ１’，Ｏ２’の位置座標、及びディスプレイ装置３０の位置及び向きのデータを参照しながら、画面上の注視点を算出することができる。すなわち、２台のカメラ１０のカメラ画像によって計算された角度φ１，φ２，θ１，θ２から、仮想視点球面Ｓ上の点ＧＳ，Ｏ１，Ｏ２の相対的位置関係を取得することができる。従って、第２判定部２３は、既知である原点Ｏ１’，Ｏ２’の座標と、既に計算された瞳孔中心Ｐの座標から、一意に視線ＰＧＳを求めることができ、その視線ＰＧＳとディスプレイ装置３０の画面との交点を計算することにより注視点Ｑを検出することができる。なお、角度φ１，θ１から求められる視線ＰＧＳと、角度φ２，θ２から求められる視線ＰＧＳがずれている場合にはそれらを平均したものを最終的な視線ベクトルとして計算することもできる。
　ここで、第２判定部２３が視線の計算に用いる関数ｆ１には、パラメータとしてゲイン値ｋ及び原点補正ベクトルｒ０が含まれている。このゲイン値ｋは、上記式（４）を見ても分かるように、角膜反射－瞳孔中心ベクトルｒ’を調整後のベクトルｒ＝ｒ’－ｒ０の大きさと視線を示す角度θが線形関係にあると仮定して、そのベクトルｒから角度θを求める時に使用する倍率である。理想的には、角度θとベクトル｜ｒ’｜とが線形関係にあれば、ゲイン値ｋさえ求まれば角度θが計算できるはずである。言い換えれば角度θ＝０のとき、つまり対象者Ａがカメラを注視したときはベクトル｜ｒ’｜＝０になるはずである。しかしながら、実際には眼球の視軸（視線）と光軸とは一致せず、角度θ＝０のときベクトル｜ｒ’｜≠０となる。さらに、対象者Ａが変われば角度θ＝０のときのベクトル｜ｒ｜は異なる。なお、眼球の視軸とは、対象者の眼球の中心窩と対象者の注視点とを結ぶ直線である。
　以下、ｋ及びベクトルｒ０の求め方について説明する。式（４）より、ベクトルθ１，θ２は、以下の式（５），（６）でそれぞれ表される。
θ１＝ｋｒ１＝ｋ×（ｒ´１―ｒ０）　　…（５）
θ２＝ｋｒ２＝ｋ×（ｒ´２―ｒ０）　　…（６）
　なお、これらの式において原点補正ベクトルｒ０は個々の眼球において一意に決定されるため、カメラに関係なくｒ０とした。また、２台のカメラの間隔は角度で表され、次式（７）で定義できる。
Figure JPOXMLDOC01-appb-M000002
　式（５）～（７）から、次式（８）が得られ、この式（８）から係数ｋ（較正値）が算出される。
Figure JPOXMLDOC01-appb-M000003
　２台のカメラの位置は既知であるから、∠Ｏ１ＰＯ２は常に既知である。したがって、対象者が特定の位置を注視しなくても、各カメラにおいて実測されるベクトルｒ’から係数ｋを算出することができる。
　さらに、第２判定部２３は、１点較正法により、原点補正ベクトルｒ０を求める。１点較正法による原点補正ベクトルｒ０の求め方は、具体的には次の通りである。まず、第２判定部２３は、ディスプレイ装置３０の表示画面上の任意の位置に１点の視標（規定点）を表示させて、対象者Ａに当該視標を注視させる。この状態で、第２判定部２３は、投影仮想視点平面上の注視点を検出する。次に、第２判定部２３は、検出した注視点と視標の座標を投影仮想視点平面上に投影した点との差分を補正量として算出する。そして、第２判定部２３は、この補正量に基づいて原点補正ベクトルｒ０を決定する。これにより、第２判定部２３は、式（４）による高精度な注視点検出を行うことができる。
　このように注視点を検出することで、第２判定部２３は対象者Ａの視線を検出することができる。第２判定部２３は、このように対象者Ａの視線を検出した時点で、その検出結果を出力してもよい。この場合には、第２判定部２３は視線検出部としても機能し、瞳孔検出システム１は視線検出システムとしても機能する。
　ヒトが両眼で一点を見ている時、両眼の視線は一点で重なるのが理想である。このとき、左右の視線の交点と右眼の瞳孔中心（右瞳孔中心）と左眼の瞳孔中心（左瞳孔中心）の３点により平面が構成される。この性質を利用して、第２判定部２３は、左右の視線が正しく検出されているか、さらに、その前提である瞳孔中心座標が正しかったかを判定してもよい。しかし、実際にはヒトの２本の視線がわずかにずれていることもあり得るし、装置の誤差も起こりえるので、一般的には、図１５に示すように２本の視線は、対象者Ａの高さ方向に沿ってずれる。右瞳孔中心および左瞳孔中心をそれぞれＰＲ，ＰＬとし、右眼および左眼から延びる視線の単位方向ベクトルをそれぞれｉＲＧ，ｉＬＧとする。また、右瞳孔中心から左瞳孔中心へ延びる単位方向ベクトルをｉＲＬとし、左瞳孔中心から右瞳孔中心へ延びる単位方向ベクトルをｉＬＲとする。さらに、２本の視線が互いに最も接近するときの各視線上の点をそれぞれＧＲ，ＧＬとする。このとき、３点ＰＲ，ＰＬ，ＧＲを通る平面の法線単位ベクトルｉＲは、外積を示す下記式（９）で表される。
ｉＲ＝ｉＲＧ×ｉＲＬ　　…（９）
また、３点ＰＲ，ＰＬ，ＧＬが通る平面の法線単位ベクトルｉＬは同様に下記式（１０）で求まる。
ｉＬ＝ｉＬＧ×ｉＬＲ　　…（１０）
　両眼の視線が交わる場合には二つの法線単位ベクトルｉＲ，ｉＬは一致するので、下記式（１１）により得られる角度δは零になる。
Figure JPOXMLDOC01-appb-M000004
　この理論を利用して、第２判定部２３は、二つの法線単位ベクトルｉＲ，ｉＬの成す角度δが所定の範囲にある場合に（閾値をδ０として、｜δ｜≦δ０である場合に）左右の視線が正しいと判定し、さらに、その視線に対応する左右の瞳孔位置の組合せを選択する。一方、その角度δが閾値δ０を超える場合には、第２判定部２３は左右の視線が正しくないと判定し、その視線に対応する左右の瞳孔位置の組合せを除外する。｜δ｜≦δ０であるということは、対象者の高さ方向における左視線と右視線とのずれが所定の閾値以下であることを意味する。
　第２判定部２３は、左瞳孔候補と右瞳孔候補のすべての組合せについて上記の処理を実行することで、正しいと推定される左右の瞳孔位置の組合せを選択する。この処理は、正しいと判定された左視線および右視線に対応する左瞳孔中心および右瞳孔中心に、左瞳孔および右瞳孔がそれぞれ位置すると判定することを意味する。なお、第２判定部は、瞳孔位置について判定結果を出力することなく、正しいと判定した左視線および右視線のみを最終の判定結果として出力してもよい。この場合も、第２判定部２３は視線検出部としても機能し、瞳孔検出システム１は視線検出システムとしても機能する。
　あるいは、第２判定部２３は、ディスプレイ装置３０上の注視点を検出した場合に、左右の注視点の間の距離に基づいて視線（および瞳孔位置）が正しいか否かを判定してもよい。具体的には、第２判定部２３は、角度δを計算する前に求まった左右の視線と画面平面との交点を注視点として求め、個々の右眼の注視点と個々の左眼の注視点との間の距離を総当たりで求める。そして、第２判定部２３は、双方の距離が所定の閾値以下であれば左右の視線が正しいと判定する。
　［瞳孔検出プログラム］
　次に、図１６を用いて、画像処理装置２０を実現するための瞳孔検出プログラムＰ１を説明する。
　瞳孔検出プログラムＰ１は、メインモジュールＰ１０、画像取得モジュールＰ１１、第１判定モジュールＰ１２、および第２判定モジュールＰ１３を備える。
　メインモジュールＰ１０は、瞳孔検出機能を統括的に制御する部分である。画像取得モジュールＰ１１、第１判定モジュールＰ１２、および第２判定モジュールＰ１３を実行することにより実現される機能はそれぞれ、上記の画像取得部２１、第１判定部２２、および第２判定部２３の機能と同様である。
　瞳孔検出プログラムＰ１は、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、瞳孔検出プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
　以上説明したように、本発明の一側面に係る瞳孔検出システムは、第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出部であって、角膜球中心が、第１カメラと第１瞳孔画像から得られる角膜反射点とを通る軸と、第２カメラと第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出部と、複数の候補ベクトルの中から、瞳孔中心と、第１カメラおよび第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定部とを備える。
　本発明の一側面に係る瞳孔検出方法は、プロセッサを備える瞳孔検出システムにより実行される瞳孔検出方法であって、第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出ステップであって、角膜球中心が、第１カメラと第１瞳孔画像から得られる角膜反射点とを通る軸と、第２カメラと第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出ステップと、複数の候補ベクトルの中から、瞳孔中心と第１カメラおよび第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定ステップとを含む。
　本発明の一側面に係る瞳孔検出プログラムは、第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出部であって、角膜球中心が、第１カメラと第１瞳孔画像から得られる角膜反射点とを通る軸と、第２カメラと第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出部と、複数の候補ベクトルの中から、瞳孔中心と第１カメラおよび第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定部としてコンピュータを機能させる。
　このような側面においては、角膜球中心と瞳孔中心とを結ぶ候補ベクトルが複数個算出され、その中から、向きが正しいと推定される候補ベクトルが選択され、選択されたベクトルに対応する瞳孔中心に瞳孔が位置すると判定される。このように、複数の候補ベクトルのそれぞれについて方向を検査することで、瞳孔画像にノイズが含まれる場合でも瞳孔を正しく検出することができる。
　このような効果についてさらに説明する。第１瞳孔画像および第２瞳孔画像の少なくとも一方で複数の角膜反射点が検出された場合、すなわち瞳孔画像内にノイズが生じた場合には、まずは双方の画像における角膜反射点を総当たりで組み合わせて複数の候補ベクトルを求め、各候補ベクトルの方向および長さを検査することで、ベクトル条件を満たす候補ベクトルのみを選択する。この選択は、ベクトル条件を満たさない候補ベクトルを除外することを意味するから、結果として瞳孔位置の誤検出が少なくなる。すなわち、瞳孔を正しく検出することができる。
　また、上記側面においては、カメラに取り付けられた光源による角膜反射と、カメラから離れた位置に取り付けられた光源による角膜反射とを区別することができる。
　他の側面に係る瞳孔検出システムでは、判定部が、基準線との成す角度が所定の閾値以下であり、かつ長さが所定の範囲内であるというベクトル条件を満たす候補ベクトルを選択してもよい。
　このように、複数の候補ベクトルのそれぞれについて向きおよび長さの双方を検査することで、瞳孔画像にノイズが含まれる場合でも瞳孔をより正しく検出することができる。
　他の側面に係る瞳孔検出システムでは、ベクトル算出部が、角膜反射候補点を用いて瞳孔中心を算出する処理を、候補ベクトルを算出する前に実行し、角膜反射候補点を用いて瞳孔中心を算出できなかった場合には、該角膜反射候補点を除外し、除外されなかった角膜反射候補点に対応する候補ベクトルのみを算出してもよい。
　この場合には、候補ベクトルを求める前に、瞳孔中心を算出できなかった角膜反射候補点（すなわち、正しくないと推定される角膜反射候補点）が除外されるので、明らかに誤りであると予想される候補ベクトルが算出されない。この処理により候補ベクトルの個数を抑えることができるので、その分だけ瞳孔検出に要する時間を短縮することができる。
　他の側面に係る瞳孔検出システムでは、ベクトル算出部が、対象者の左瞳孔および右瞳孔のそれぞれについて複数の候補ベクトルを算出し、判定部が、左瞳孔および右瞳孔のそれぞれについて、ベクトル条件を満たす候補ベクトルを選択することで、左瞳孔中心および右瞳孔中心を判定し、左瞳孔中心および右瞳孔中心に基づいて左視線および右視線をそれぞれ算出し、左瞳孔中心、右瞳孔中心、および左視線により規定される平面の法線と、左瞳孔中心、右瞳孔中心、および右視線により規定される平面の法線との角度が所定の閾値以下であるという視線条件を満たす場合に、左視線および右視線が正しい視線であると判定してもよい。
　上記二つの法線が成す角度は、対象者の高さ方向における左右の視線のずれに相当する。このずれについても検査することで、瞳孔画像にノイズが含まれる場合でも視線を正しく検出することができる。
　他の側面に係る瞳孔検出システムでは、判定部が、正しいと判定された左視線および右視線に対応する左瞳孔中心および右瞳孔中心に、左瞳孔および右瞳孔がそれぞれ位置すると判定してもよい。
　この場合には、視線の正しさも考慮した上で瞳孔を正しく検出することができる。
　本発明の一側面に係る視線検出システムは、上記瞳孔検出システムにより判定された瞳孔中心に基づいて対象者の視線を検出する視線検出部を備える。
　このような側面においては、方向が正しいと推定される候補ベクトルに対応する瞳孔中心に基づいて対象者の視線が検出されるので、瞳孔画像にノイズが含まれる場合でも視線を正しく特定することができる。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　左右の瞳孔位置の候補が得られた際に、第１判定部２２は瞳孔中心間の距離（瞳孔間距離）が所定の範囲内にある左右の瞳孔位置のみを選択してもよい。この処理は、上記ベクトル条件の判定を行う前または後に実行可能である。
　具体的には、第１判定部２２は抽出された左瞳孔中心の候補から一つを選択すると共に、右瞳孔中心の候補から一つを選択し、選択された２個の瞳孔中心間の距離（瞳孔間距離）を算出する。瞳孔間距離ｌは下記式（１２）で表される。ここで、Ｐ１およびＰ２は左右の瞳孔中心の３次元座標である。
ｌ＝｜Ｐ１－Ｐ２｜　　…（１２）
　そして、第１判定部２２は、瞳孔間距離が所定範囲内にあるという距離条件を満たす瞳孔中心のペアを選択し、その距離条件を満たさないペアを除外する。第１判定部２２は、左瞳孔中心と右瞳孔中心とのすべての組合せについてこの処理を行う。
　一般に、人間の瞳孔間距離は約６５ｍｍである。したがって、個人差や輻輳による瞳孔間距離の変化等を考慮すると、距離条件のために設定する範囲は、６５ｍｍを含む範囲であってもよい。例えば、範囲の下限は５０ｍｍ、５５ｍｍ、または６０ｍｍでもよく、範囲の上限は７０ｍｍ、７５ｍｍ、または８０ｍｍでもよい。
　すなわち、他の側面に係る瞳孔検出システムでは、ベクトル算出部が、対象者の左瞳孔および右瞳孔のそれぞれについて複数の候補ベクトルを算出し、判定部が、左瞳孔および右瞳孔のそれぞれについて左瞳孔中心および右瞳孔中心を判定し、ベクトル条件を満たす候補ベクトルに対応し、かつ、左瞳孔中心および右瞳孔中心に基づく瞳孔間距離が所定の範囲内にあるという距離条件を満たす左瞳孔中心および右瞳孔中心に左瞳孔および右瞳孔がそれぞれ位置すると判定してもよい。
　このように、瞳孔間距離についても検査することで、瞳孔画像にノイズが含まれる場合でも瞳孔を正しく検出することができる。
　なお、距離条件を用いる判定は、瞳孔間距離ではなく角膜中心間の距離（角膜間距離）に基づいて行われてもよい。
　第１判定部２２は、瞳孔中心から得られる視軸に対して上記ベクトル条件を用いた判定を行ってもよい。
　瞳孔検出システムは３台以上のカメラを備えてもよい。例えば、３個のカメラを仮想視点平面上で正三角形の各頂点の位置に配置したり、４個のカメラを仮想視点平面上で正方形の４頂点の位置に配置したりしてもよい。このような場合には、瞳孔または角膜反射を捉えることができた２個のカメラで撮影された画像を用いて上記実施形態により瞳孔位置および視線を求めることができるので、より確実に瞳孔および視線を求めることができる。
　上記実施形態では瞳孔検出システム１が第２判定部２３を備えたが、この第２判定部２３を省略してもよい。すなわち、瞳孔検出システム１は上記ベクトル条件を満たす瞳孔位置を最終的な判定結果として出力してもよい。
　上記実施形態ではベクトル条件を「候補ベクトルと基準線との角度が所定の閾値以下であり、かつ候補ベクトルの長さが所定の範囲内である」と規定したが、候補ベクトルの長さを考慮しなくてもよい。すなわち、ベクトル条件が、「候補ベクトルと基準線との角度が所定の閾値以下である」と規定されてもよい。これは、上記実施形態におけるベクトル条件（１）のみを用いることを意味する。
　上記実施形態では、第１判定部２２が明瞳孔画像および暗瞳孔画像から差分画像を生成し、その差分画像から瞳孔座標を求めたが、第１判定部２２は差分画像を生成することなく、画像取得部３１から入力された１枚の瞳孔座標（明瞳孔画像または暗瞳孔画像）から瞳孔位置および角膜反射位置を求めてもよい。具体的には、第１判定部２２は１枚の瞳孔画像に対して２値化およびラベリングを実行し、瞳孔（または角膜反射点）らしい面積、サイズ、面積比、正方形度、および特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔候補（または角膜反射候補点）を選択する。そして、第１判定部２２は各瞳孔候補（または各角膜反射候補点）の位置を取得する。
　１…瞳孔検出システム、１０…カメラ（第１カメラまたは第２カメラ）、２０…画像処理装置、２１…画像取得部、２２…第１判定部、２３…第２判定部、Ｐ１…瞳孔検出プログラム、Ｐ１０…メインモジュール、Ｐ１１…画像取得モジュール、Ｐ１２…第１判定モジュール、Ｐ１３…第２判定モジュール。

Claims (10)

  1. 　第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出部であって、前記角膜球中心が、前記第１カメラと前記第１瞳孔画像から得られる角膜反射点とを通る軸と、前記第２カメラと前記第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出部と、
    　前記複数の候補ベクトルの中から、瞳孔中心と、前記第１カメラおよび前記第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定部と
    を備える瞳孔検出システム。
  2. 　前記判定部が、前記基準線との成す角度が前記所定の閾値以下であり、かつ長さが所定の範囲内であるという前記ベクトル条件を満たす前記候補ベクトルを選択する、
    請求項１に記載の瞳孔検出システム。
  3. 　前記ベクトル算出部が、
    　　角膜反射候補点を用いて前記瞳孔中心を算出する処理を、前記候補ベクトルを算出する前に実行し、
    　　前記角膜反射候補点を用いて前記瞳孔中心を算出できなかった場合には、該角膜反射候補点を除外し、
    　　除外されなかった前記角膜反射候補点に対応する前記候補ベクトルのみを算出する、
    請求項１または２に記載の瞳孔検出システム。
  4. 　前記ベクトル算出部が、前記対象者の左瞳孔および右瞳孔のそれぞれについて複数の候補ベクトルを算出し、
    　前記判定部が、
    　　前記左瞳孔および前記右瞳孔のそれぞれについて左瞳孔中心および右瞳孔中心を判定し、
    　　前記ベクトル条件を満たす前記候補ベクトルに対応し、かつ、前記左瞳孔中心および前記右瞳孔中心に基づく瞳孔間距離が所定の範囲内にあるという距離条件を満たす前記左瞳孔中心および前記右瞳孔中心に前記左瞳孔および前記右瞳孔がそれぞれ位置すると判定する、
    請求項１～３のいずれか一項に記載の瞳孔検出システム。
  5. 　前記ベクトル算出部が、前記対象者の左瞳孔および右瞳孔のそれぞれについて複数の候補ベクトルを算出し、
    　前記判定部が、
    　　前記左瞳孔および前記右瞳孔のそれぞれについて、前記ベクトル条件を満たす候補ベクトルを選択することで、左瞳孔中心および右瞳孔中心を判定し、
    　　前記左瞳孔中心および前記右瞳孔中心に基づいて左視線および右視線をそれぞれ算出し、
    　　前記左瞳孔中心、前記右瞳孔中心、および前記左視線により規定される平面の法線と、前記左瞳孔中心、前記右瞳孔中心、および前記右視線により規定される平面の法線との成す角度が所定の閾値以下であるという視線条件を満たす場合に、前記左視線および前記右視線が正しい視線であると判定する、
    請求項１～４のいずれか一項に記載の瞳孔検出システム。
  6. 　前記判定部が、正しいと判定された前記左視線および前記右視線に対応する前記左瞳孔中心および前記右瞳孔中心に、前記左瞳孔および前記右瞳孔がそれぞれ位置すると判定する、
    請求項５に記載の瞳孔検出システム。
  7. 　請求項１～３のいずれか一項に記載の瞳孔検出システムにより判定された前記瞳孔中心に基づいて前記対象者の視線を検出する視線検出部を備える視線検出システム。
  8. 　請求項４または６に記載の瞳孔検出システムにより判定された前記左瞳孔中心および前記右瞳孔中心に基づいて前記対象者の左視線および右視線を検出する視線検出部を備える視線検出システム。
  9. 　プロセッサを備える瞳孔検出システムにより実行される瞳孔検出方法であって、
    　第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出ステップであって、前記角膜球中心が、前記第１カメラと前記第１瞳孔画像から得られる角膜反射点とを通る軸と、前記第２カメラと前記第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出ステップと、
    　前記複数の候補ベクトルの中から、瞳孔中心と前記第１カメラおよび前記第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定ステップと
    を含む瞳孔検出方法。
  10. 　第１カメラにより撮影された対象者の第１瞳孔画像と、第２カメラにより撮影された該対象者の第２瞳孔画像とに基づいて、角膜球中心と瞳孔中心とを結ぶ候補ベクトルをステレオ法により複数個算出するベクトル算出部であって、前記角膜球中心が、前記第１カメラと前記第１瞳孔画像から得られる角膜反射点とを通る軸と、前記第２カメラと前記第２瞳孔画像から得られる角膜反射点とを通る軸との交点である、該ベクトル算出部と、
    　前記複数の候補ベクトルの中から、瞳孔中心と前記第１カメラおよび前記第２カメラの少なくとも一方の位置とに基づいて設定される基準線との成す角度が所定の閾値以下であるというベクトル条件を満たす候補ベクトルを選択し、選択した候補ベクトルに対応する瞳孔中心に瞳孔が位置すると判定する判定部と
    してコンピュータを機能させるための瞳孔検出プログラム。
PCT/JP2015/063586 2014-06-09 2015-05-12 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム Ceased WO2015190204A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/316,971 US10499808B2 (en) 2014-06-09 2015-05-12 Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
EP15807498.9A EP3153092B1 (en) 2014-06-09 2015-05-12 Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
JP2016527698A JP6548171B2 (ja) 2014-06-09 2015-05-12 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014118846 2014-06-09
JP2014-118846 2014-06-09

Publications (1)

Publication Number Publication Date
WO2015190204A1 true WO2015190204A1 (ja) 2015-12-17

Family

ID=54833309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/063586 Ceased WO2015190204A1 (ja) 2014-06-09 2015-05-12 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム

Country Status (4)

Country Link
US (1) US10499808B2 (ja)
EP (1) EP3153092B1 (ja)
JP (1) JP6548171B2 (ja)
WO (1) WO2015190204A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026330A1 (ja) * 2017-08-02 2019-02-07 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
JP2019017491A (ja) * 2017-07-12 2019-02-07 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
CN110533775A (zh) * 2019-09-18 2019-12-03 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
JP2020024750A (ja) * 2019-11-11 2020-02-13 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法、及びコンピュータプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム
JP6776970B2 (ja) * 2017-03-24 2020-10-28 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10820796B2 (en) 2017-09-08 2020-11-03 Tobii Ab Pupil radius compensation
US10867252B2 (en) 2017-09-08 2020-12-15 Tobii Ab Continuous calibration based on pupil characteristics
JP2019095892A (ja) * 2017-11-20 2019-06-20 シャープ株式会社 車両用運転支援装置、および車両用運転支援プログラム
WO2019161200A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree
WO2019161229A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for reconstructing unoccupied 3d space
WO2019161241A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for identifying a point of interest based on intersecting visual trajectories
CA3057507C (en) * 2018-10-03 2023-08-22 Khaled Shariff Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
CN110537897B (zh) * 2019-09-10 2022-04-05 北京未动科技有限公司 视线追踪方法和装置、计算机可读存储介质、电子设备
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
US12271519B2 (en) * 2021-06-08 2025-04-08 Huawei Technologies Co., Ltd. Systems, methods, and media for eye tracking using statistically derived linear functions
US12014577B2 (en) * 2021-09-10 2024-06-18 Jumio Corporation Spoof detection using catadioptric spatiotemporal corneal reflection dynamics

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06125874A (ja) * 1992-10-16 1994-05-10 Canon Inc 視線検出装置
WO2013176265A1 (ja) * 2012-05-25 2013-11-28 国立大学法人静岡大学 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005063114A1 (ja) 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
JP4452836B2 (ja) 2006-07-31 2010-04-21 国立大学法人静岡大学 瞳孔を検出する方法及び装置
NL2003372C2 (en) 2009-08-20 2011-02-22 Univ Delft Tech Apparatus and method for automatically determining a strabismus angle.
US9135708B2 (en) 2010-08-09 2015-09-15 National University Corporation Shizuoka University Gaze point detection method and gaze point detection device
WO2012077713A1 (ja) * 2010-12-08 2012-06-14 国立大学法人静岡大学 注視点検出方法及び注視点検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06125874A (ja) * 1992-10-16 1994-05-10 Canon Inc 視線検出装置
WO2013176265A1 (ja) * 2012-05-25 2013-11-28 国立大学法人静岡大学 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIROKI YAMAKAWA ET AL.: "Improved 3-Camera Pupil Detection of Targets Wearing Eyeglasses", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 68, no. 6, 23 May 2014 (2014-05-23), pages J232 - J237, XP055244771 *
KIYOTAKA FUKUMOTO ET AL.: "Improvement of Robustness in Pupil Detection Assuming a Constant Interpupillary Distance in a Video-Based Eye-Gaze Detection System:-A Solution of Glasses Reflection Problem", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 66, no. 12, 2012, pages J504 - J509, XP055244774 *
See also references of EP3153092A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019017491A (ja) * 2017-07-12 2019-02-07 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
JP7116978B2 (ja) 2017-07-12 2022-08-12 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
WO2019026330A1 (ja) * 2017-08-02 2019-02-07 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
JP2019025195A (ja) * 2017-08-02 2019-02-21 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US11061470B2 (en) 2017-08-02 2021-07-13 Jvckenwood Corporation Eye tracking device and eye tracking method
CN110533775A (zh) * 2019-09-18 2019-12-03 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
CN110533775B (zh) * 2019-09-18 2023-04-18 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
JP2020024750A (ja) * 2019-11-11 2020-02-13 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
US20170105619A1 (en) 2017-04-20
JPWO2015190204A1 (ja) 2017-04-20
JP6548171B2 (ja) 2019-07-24
US10499808B2 (en) 2019-12-10
EP3153092B1 (en) 2021-08-04
EP3153092A1 (en) 2017-04-12
EP3153092A4 (en) 2018-01-24

Similar Documents

Publication Publication Date Title
JP6548171B2 (ja) 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
CN113808160B (zh) 视线方向追踪方法和装置
JP5858433B2 (ja) 注視点検出方法及び注視点検出装置
JP6963820B2 (ja) 視線検出装置
CN104244807B (zh) 注视点检测装置以及注视点检测方法
JP5915981B2 (ja) 注視点検出方法及び注視点検出装置
JP6631951B2 (ja) 視線検出装置及び視線検出方法
JP6596678B2 (ja) 視線測定装置および視線測定方法
JP2020034919A (ja) 構造化光を用いた視線追跡
JP2010259605A (ja) 視線測定装置および視線測定プログラム
JP6948688B2 (ja) 視線計測装置、視線計測方法および視線計測プログラム
US11624907B2 (en) Method and device for eye metric acquisition
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
JP7046347B2 (ja) 画像処理装置及び画像処理方法
JP6346018B2 (ja) 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
US20130321608A1 (en) Eye direction detecting apparatus and eye direction detecting method
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
JP2017102731A (ja) 視線検出装置及び視線検出方法
JP6496917B2 (ja) 視線測定装置および視線測定方法
JP2016045707A (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム
JP2013037591A (ja) 目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15807498

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016527698

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15316971

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015807498

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015807498

Country of ref document: EP