WO2010035472A1 - 視線方向判定装置及び視線方向判定方法 - Google Patents

視線方向判定装置及び視線方向判定方法 Download PDF

Info

Publication number
WO2010035472A1
WO2010035472A1 PCT/JP2009/004853 JP2009004853W WO2010035472A1 WO 2010035472 A1 WO2010035472 A1 WO 2010035472A1 JP 2009004853 W JP2009004853 W JP 2009004853W WO 2010035472 A1 WO2010035472 A1 WO 2010035472A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
coordinate
unit
gaze direction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/004853
Other languages
English (en)
French (fr)
Inventor
宗太郎 築澤
健介 丸谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010530731A priority Critical patent/JP5230748B2/ja
Priority to US13/121,220 priority patent/US8538044B2/en
Priority to EP09815894.2A priority patent/EP2338416B1/en
Priority to CN2009801354621A priority patent/CN102149325B/zh
Publication of WO2010035472A1 publication Critical patent/WO2010035472A1/ja
Anticipated expiration legal-status Critical
Priority to US14/027,501 priority patent/US20140043459A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a gaze direction determination device and a gaze direction determination method for determining that a gaze direction of a subject is a predetermined direction.
  • the detected direction needs to be expressed in an external coordinate system.
  • Patent Document 1 discloses a gaze detection device that detects a state of an eyeball when a specific direction is viewed in advance and determines whether or not the specific direction is viewed from the result.
  • the device described in Patent Document 1 gazes at an index in the finder and corrects a deviation between the visual axis and the eyeball axis at that time.
  • Patent Document 2 discloses a driving state detection device that observes the direction of the line of sight during driving for a long time and defines the reference direction of the line of sight based on the distribution. The device described in Patent Document 2 estimates the reference position of the line of sight from time series data.
  • Patent Document 1 there are two methods for the conventional gaze direction determination.
  • One is to indicate or detect a gaze target and detect a gaze state (an example of an apparatus described in Patent Document 1), and the other defines the center of the gaze direction from a long-time gaze distribution (Patent Document 2).
  • Patent Document 2 Device example
  • Patent Document 1 requires a gaze target instruction, which is a cumbersome operation. In automatic determination, it is difficult to determine whether the user is actually looking. In any case, since measurement work in advance is necessary, the convenience cannot be improved.
  • the present invention has been made in view of the above points, and can be determined immediately after the start of measurement without instructing a gaze target and prior adjustment work, and can determine the line-of-sight direction with high accuracy and accuracy.
  • An object of the present invention is to provide a gaze direction determination device and a gaze direction determination method.
  • the gaze direction determining apparatus of the present invention includes an imaging unit that captures a face image including both eyes, an irradiation unit that irradiates the corneas of both eyes with a light source, and a pupil of one eye of both eyes from the face image.
  • a pupil detection unit that detects a first coordinate that is a central coordinate and a second coordinate that is a central coordinate of the pupil of the other eye, and a cornea reflection image of the light source in the cornea of the one eye from the face image
  • a corneal reflection image detection unit that detects a third coordinate that is a central coordinate and a fourth coordinate that is a central coordinate of a corneal reflection image of the light source in the cornea of the other eye; the first coordinate and the second coordinate;
  • a line symmetric position calculation is performed to calculate a vertical bisector of a first line segment connecting the line and a line symmetric position coordinate which is a position coordinate line symmetric with the third coordinate with respect to the vertical bisector.
  • the coordinate distance between the fourth coordinate and the line symmetry position coordinate is calculated.
  • it employs a configuration and a determining line-of-sight direction determination unit gaze direction of the both eyes.
  • the gaze direction determination method of the present invention captures a face image including both eyes, irradiates the corneas of both eyes with a light source, and the first coordinates that are the center coordinates of the pupil of one eye of the both eyes from the face image. Detecting a coordinate and a second coordinate which is a central coordinate of the pupil of the other eye, and from the face image, a third coordinate which is a central coordinate of a cornea reflection image of the light source in the cornea of the one eye; The fourth coordinate which is the center coordinate of the cornea reflection image of the light source in the cornea of the other eye is detected, and the perpendicular bisector of the first line segment connecting the first coordinate and the second coordinate is calculated.
  • the corneal reflection image of the left eye or the right eye is in a line-symmetric position with respect to the center line of the left and right eye pupils, and the line-of-sight direction at a specific position is determined from the determination result.
  • the determination result is highly reliable, and the gaze direction can be determined with higher accuracy compared to a method of performing statistical processing. For the same reason, it is possible to guarantee that the determined line-of-sight direction is an accurate line-of-sight direction, so that it is not necessary to measure for a long time as in the conventional example.
  • the determination can be made immediately from the captured image, the determination can be made immediately after the measurement is started.
  • FIG. 1 The block diagram which shows the structure of the gaze direction determination apparatus which concerns on Embodiment 1 of this invention.
  • FIG. The flowchart which shows the gaze direction determination process of the gaze direction determination apparatus which concerns on the said Embodiment 1.
  • FIG. The figure which shows the example of the input image input into the gaze direction determination apparatus which concerns on the said Embodiment 1.
  • FIG. The figure which shows the example of the image feature used with the gaze direction determination apparatus which concerns on the said Embodiment 1.
  • FIG. The block diagram which shows the structure of the gaze direction determination apparatus which concerns on Embodiment 2 of this invention.
  • the flowchart which shows the gaze direction determination process of the gaze direction determination apparatus which concerns on the said Embodiment 2.
  • FIG. The block diagram which shows the structure of the gaze direction determination apparatus with an automatic calibration function which concerns on Embodiment 3 of this invention.
  • FIG. The figure explaining that the gaze direction offset of the gaze direction determination apparatus with an automatic calibration function according to the third embodiment can be automatically corrected.
  • FIG. 4 The block diagram which shows the structure of the gaze direction determination apparatus which concerns on Embodiment 4 of this invention.
  • FIG. The figure which shows the positional relationship of the cornea reflection image and cornea projection image of the gaze direction determination apparatus which concerns on the said Embodiment 4.
  • the present invention detects a pupil or the center of a pupil and a cornea reflection image of illumination from a face image acquired by an imaging device including an illuminating unit, and determines a gaze direction of a subject from their line symmetry
  • the present invention relates to a determination device.
  • the line-of-sight direction determination means determining whether or not the subject's line of sight faces a specific direction.
  • the specific direction is not necessarily one, and may be a plurality of directions.
  • the pupil or the center of the pupil and the corneal reflection image of the illumination are detected from the face image acquired by the imaging device including the illumination means, and the line of sight of the subject is determined based on their line symmetry.
  • a line-of-sight direction determination apparatus for determining a direction will be described.
  • FIG. 1 is a block diagram showing a configuration of a gaze direction determining apparatus according to Embodiment 1 of the present invention.
  • This embodiment is provided in the interior of an automobile, detects the direction of the driver's line of sight, and gives a warning when the front is not turned for a long time. This is an example of applying.
  • the line-of-sight direction determination apparatus 100 is, for example, an information presentation device such as a car navigation system, a television, or a speaker, a safety state monitoring device such as a driver support camera or a monitoring camera, a video image such as a still camera or a video camera
  • an information presentation device such as a car navigation system, a television, or a speaker
  • a safety state monitoring device such as a driver support camera or a monitoring camera
  • a video image such as a still camera or a video camera
  • the present invention can be applied to devices that require information on where an operator or a non-photographer is looking, such as a recording device or a life assist device such as a robot.
  • the gaze direction determination apparatus 100 includes an image input unit 110, a face detection unit 120, a face part detection unit 130, an image feature detection unit 140, a line symmetry position calculation unit 150, an evaluation value calculation unit 160, and a gaze direction determination unit 170. Configured.
  • the image input unit 110 outputs the image captured by the imaging unit 111 to the face detection unit 120 described later.
  • the image input unit 110 is installed in front of the driver's seat, such as on the steering wheel of a car or on the dashboard, and is installed at a position where the driver can shoot, and an irradiation unit that irradiates the driver's face 112, and a synchronization unit 113 that synchronizes the imaging unit 111 and the irradiation unit 112.
  • the imaging unit 111 includes an image sensor such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor), and acquires an image in accordance with a synchronization signal input from the synchronization unit 113.
  • an image sensor such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor), and acquires an image in accordance with a synchronization signal input from the synchronization unit 113.
  • the captured face image will be described below assuming that one pixel is one coordinate point with the horizontal direction of the image as the X axis and the vertical direction of the image as the Y axis.
  • the irradiation unit 112 is invisible, but the imaging unit 111 includes a near-infrared LED having sensitivity, and emits light in accordance with a synchronization signal from the synchronization unit 113.
  • the synchronization unit 113 outputs a synchronization signal to the imaging unit 111 and the irradiation unit 112 for a time corresponding to the time from the start to the end of exposure of the imaging unit 111.
  • the face detection unit 120 detects a face image, which is a human face image, from the image input from the image input unit 110, and outputs the face image to the face part detection unit 130.
  • the face part detection unit 130 detects face parts such as the corners of the eyes, the eyes, the center of the eyes, the nostrils, the corners of the mouth, and both ends of the eyebrows from the face image input from the face detection unit 120, and forms a plurality of contours of each face part.
  • the coordinates of the point are output to the image feature detection unit 140.
  • the image feature detection unit 140 includes a pupil detection unit 141 that detects a pupil from a face image, and a corneal reflection image detection unit 142 that detects a reflection image of the irradiation unit 112 on the cornea from the face image.
  • the cornea reflection image represents a reflection image of the cornea surface called a Purkinje image.
  • the pupil detection unit 141 detects the left and right eye pupils from the face image input by the image input unit 110 and the face component coordinates input by the face component detection unit 130, and the center coordinates of the left and right pupils are line-symmetrical positions. The result is output to the calculation unit 150.
  • the cornea reflection image detection unit 142 detects a cornea reflection image of the irradiation unit 112 of the left and right eyes from the face image input by the image input unit 110 and the face component coordinates input by the face component detection unit 130.
  • the center coordinates of the left and right corneal reflection images are output to the line symmetry position calculation unit 150.
  • the line symmetry position calculation unit 150 calculates the line symmetry position of the left and right eye cornea reflection image center from the pupil center coordinates of the left and right eyes input from the image feature detection unit 140 and the cornea reflection image center coordinates, The line symmetric position coordinates and the corneal reflection image center coordinates of the other eye are output to the evaluation value calculation unit 160, respectively.
  • Line symmetry means line symmetry with respect to a vertical bisector with a line segment having the left and right pupil centers as endpoints.
  • the evaluation value calculation unit 160 determines the line symmetry of the corneal reflection image from the projection coordinates input from the line symmetry position calculation unit 150, the corneal reflection image center coordinates and the line symmetry position coordinates input from the image feature detection unit 140. A line symmetry evaluation value to be evaluated is calculated and output to the line-of-sight direction determination unit 170.
  • the line-of-sight direction determination unit 170 determines the line symmetry of the left-right corneal reflection image from the line-symmetry evaluation value input from the evaluation value calculation unit 160. If it is determined that the camera is facing, or if there is no line symmetry, it is determined that the camera is not facing, and the determination result is output to an alarm device (not shown). An alarm device (not shown) issues an alarm when the result of the determination is that the camera is not facing the camera for a long time.
  • This warning is a display including a warning message, a voice message by a voice synthesis LSI, LED light emission, sound emission by a speaker, or a combination thereof.
  • the line-of-sight direction determination apparatus 100 includes a CPU that is a control unit, a ROM that stores a control program, a RAM for executing a program, a camera that is an imaging device, and a display unit that is a display / alarm device.
  • the control unit controls the operation of each unit of the line-of-sight direction determination apparatus 100.
  • Each unit in FIG. 1 is clearly shown as a block for performing a gaze direction determination process executed by the control unit.
  • FIG. 2 to 4 are diagrams for explaining a gaze direction determination method of the gaze direction determination apparatus 100.
  • FIG. 2 to 4 are diagrams for explaining a gaze direction determination method of the gaze direction determination apparatus 100.
  • the projector 201 in FIG. 1, the irradiation unit 112 irradiates the eyeball 203 of the face 202.
  • the camera 206 (the imaging unit 111 in FIG. 1) acquires a cornea reflection image 205 reflected from the cornea 203a of the eyeball 203.
  • a cornea reflection image 205 appears on the cornea 203 a of the eyeball 203 by light irradiation from the projector 201.
  • the gaze direction determination apparatus 100 detects the cornea reflection images 205 of the left and right eyes using the left-right symmetry of the face. That is, the positions of the corneal reflection images 205 of the left and right eyes are calculated, and it is determined whether or not the obtained corneal reflection image position is a line-symmetric position between the left and right eyes.
  • the cornea reflection image 205 of the projector 201 is acquired by the left and right eyes, and the time when the projector 201 is viewed from the symmetry of the reflected image position 205 with respect to the pupil 204 is detected. Further, by verifying the left-right symmetry of the corneal reflection image position of the projector 201, it is determined whether or not the camera 206 is viewed.
  • the position of the cornea reflection image 205 is symmetrical.
  • the position of the corneal reflection image 205 is asymmetrical.
  • FIG. 5 is a diagram for explaining a gaze direction determination algorithm
  • FIG. 5A shows a face image
  • FIG. 5B is calculated based on the face image and the face image. 2 shows a perpendicular bisector of a line segment connecting the pupils of both eyes.
  • the eyeball 203 is detected from the face image 202, and the pupil 204 and the corneal reflection image 205 of both eyes are detected.
  • this algorithm projects one reflection image at a position symmetrical with respect to the vertical bisector 211 of the left and right pupils.
  • the other cornea reflection image 205 projected on one eyeball 203 is referred to as a cornea projection image 215.
  • the cornea reflection image 205 of the right eye is projected to the left eye, and the cornea reflection image 205 of the left eye and the projected cornea projection image 215 are arranged close to each other on the left eye.
  • This algorithm detects a deviation between the cornea reflection image 205 of the left eye and the projected cornea projection image 215. If this deviation amount is less than or equal to the threshold, the direction of the line of sight at that time is determined as the camera direction.
  • the means for realizing this algorithm will be described later with reference to the gaze direction determination processing flow of FIG.
  • the direction of the line of sight can be determined by verifying whether or not the coordinate positions of the cornea reflection images of both eyes are line-symmetric with respect to the vertical bisector 211.
  • FIG. 6 is a flowchart showing the gaze direction determination process of the gaze direction determination device 100.
  • FIG. 7 is a diagram illustrating a face image input to the line-of-sight direction determination apparatus 100.
  • the image input unit 110 starts photographing work by the start of this program.
  • the start of the photographing operation may be performed manually, or may be performed by the visual line direction determination device 100 using an external signal as a trigger.
  • step S ⁇ b> 1 the image input unit 110 acquires the face image 300 of FIG. 7 from the imaging unit 111 synchronized with the irradiation unit 112 by the synchronization unit 113 at regular intervals, and uses the face image 300 as the face detection unit 120. Output to.
  • the image input unit 110 is assumed to be a sensor composed of a digital camera equipped with a CMOS image sensor and a lens and a projector equipped with a near-infrared LED, whereby a PPM (Portable Pix) photographed in synchronization with the projector.
  • An image or the like in the “Map file format” format is temporarily stored in an image storage unit (for example, a memory space of a PC) existing in the image input unit 110.
  • the temporarily stored image is input to the face detection unit 120 in the PPM format.
  • the irradiation unit 112 is a synchronous pulse-driven near-infrared LED projector that lights up in synchronization with the exposure time of the imaging unit 111.
  • the irradiation unit 112 may be always lit instead of synchronous pulse drive.
  • step S ⁇ b> 2 the face detection unit 120 performs a face area 301 detection process from the face image 300 input by the image input unit 110.
  • an image that is a feature is extracted from an input image, and the extracted image that is a feature is compared with a feature image that represents a face area that is prepared in advance. Is detected.
  • the Gabor feature amount of the average face acquired in advance is compared with the Gabor feature amount extracted by scanning the input image, and the reciprocal of the absolute value of the difference is used.
  • the face area is searched from the image for the area having the highest correlation in the face area 301 of FIG. 7 as compared with the template prepared in advance.
  • the face area 301 may be detected by detecting a skin color area from the image, performing ellipse detection, or using a statistical pattern identification method. In addition, any method may be used as long as it can perform the face detection.
  • step S3 the face part detection unit 130 uses the face region 301 of the face image 300 input by the face detection unit 120 as a search region, and performs a process of detecting a face part group 302 such as a mouth corner, an eye corner, and an eye.
  • a face part group 302 such as a mouth corner, an eye corner, and an eye.
  • Face part group detection uses, for example, a separability filter to detect two-dimensional coordinates such as the end points of facial parts such as the corners of the mouth, the corners of the eyes, and the eyes and the nostrils.
  • the learning device learns the relationship between a plurality of face images and the position of the facial part corresponding to the facial image in advance, and the facial image 300 is input to the learning device, the place with the highest likelihood is used as the facial part. It may be detected, or a facial part may be searched from the facial image 300 using a standard facial part template.
  • step S4 the pupil detection unit 141 detects the center coordinates of the pupil 303 in FIG. 3 from the eye region detected by the face part group detection in step S3.
  • the center coordinate of the pupil is, for example, a circle having the highest luminance separation degree by applying a circular separation degree filter to the eye area including the corners of the eyes and the eyes detected by the face part group detection in step S3.
  • the center coordinates are extracted as the center coordinates of the pupil.
  • the luminance sum may be taken in the horizontal and vertical directions, and the center of the pupil may be the point where the luminance sum taken in the vertical direction and the luminance sum taken in the horizontal direction are small.
  • the detection target may be not the pupil but the center of the iris or the center of the cornea.
  • Any other detection method may be employed as long as it can detect the center coordinates of the pupil.
  • step S5 the corneal reflection image detection unit 142 detects the center coordinates of the corneal reflection image 304 in FIG. 7 from the eye area detected by the face part group detection in step S3.
  • a luminance histogram is calculated for the peripheral region around the center of the pupil detected in step S4, and the center of gravity of the coordinates of the maximum luminance pixel is detected as the central coordinate of the corneal reflection image. Is done.
  • the centroids of pixels in the upper few% (for example, 1%) of the histogram may be acquired.
  • the determination process is stopped, and the process returns to step S1.
  • the number of pixels having the maximum luminance is larger than a predetermined threshold, it is assumed that the reflection of the object other than the irradiation unit 112 is included in the cornea reflection image, and the process is stopped and the process returns to step S1. .
  • step S ⁇ b> 6 the line symmetry position calculation unit 150 calculates a vertical bisector that connects the center coordinates of the pupil 303 input from the image feature detection unit 140 and the center coordinates of the cornea reflection image 304. The center coordinates of the line symmetry position of the left and right corneal reflection image with respect to the calculated vertical bisector are calculated.
  • FIG. 8A and 8B are diagrams illustrating examples of image features used in the line-of-sight direction determination apparatus 100.
  • FIG. 8A illustrates an image 410 when the line of sight faces the direction of the camera 206, and
  • FIG. The image 420 when not facing the direction of is shown.
  • the pupil 411 is the same as the pupil 303 in FIG. 7, and the corneal reflection image 412 is the same as the corneal reflection image 304 in FIG.
  • the line symmetry position calculation unit 150 calculates a vertical bisector 414 that connects the center coordinates of the pupils 411 of both eyes according to the following equation (1).
  • the coordinates of the right eye pupil are (xr, yr), and the coordinates of the right eye pupil are (xl, yl).
  • Expression (2) is an expression representing the line symmetry position of the center coordinates of the cornea reflection image of the right eye, and the coordinates of the line symmetry position are represented by (xs, ys).
  • a and b shall be respectively represented by following Formula (3).
  • step S ⁇ b> 7 the evaluation value calculation unit 160 calculates the left and right corneal reflection image position from the center coordinates of the corneal reflection image 304 input from the image feature detection unit 140 and the line symmetry position input from the line symmetry position calculation unit 150.
  • the line symmetry is calculated as a line symmetry evaluation value V expressed by the following equation (4).
  • the line symmetry position 424 of the left and right corneal reflection images is the other side. Since the position is close to the cornea reflection image, the line symmetry evaluation value V takes a large value.
  • the line symmetric position 422 of the left and right corneal reflection images is the other corneal reflection image. Since the position is far from 421, the line symmetry evaluation value takes a small value.
  • the line symmetry evaluation value V is not necessarily a value represented by the formula (4), and is higher as the line symmetry position 422 of the left and right corneal reflection images and the other corneal reflection image 421 are closer. Any evaluation value that returns a value may be used.
  • step S8 the line-of-sight direction determination unit 170 determines whether the line-of-sight direction is a specific direction from the line symmetry evaluation value input from the evaluation value calculation unit 160. For example, if the line symmetry evaluation value is equal to or greater than a predetermined threshold, it is determined that the user is facing a specific direction.
  • an evaluation value for a certain time may be recorded, and when the average value is equal to or greater than a threshold value, it may be determined that the user is facing a specific direction.
  • the specific direction represents the direction of the image input unit 110.
  • Any other determination method may be adopted as long as it is a technique capable of performing the above-described line-of-sight direction determination.
  • step S9 when it is determined by the line-of-sight direction determination unit 170 that the line-of-sight determination unit 170 determines that the line of sight does not face the front direction, the alarm count that indicates the number of times that the line-of-sight is determined not to face the front is increased by one. At this time, if N exceeds a predetermined threshold, it is assumed that the front is not seen for a long time and an alarm is issued.
  • the alarm count is set to zero. Note that the alarm count is zero in the initial state.
  • step S10 end determination is performed.
  • the end determination may be performed by manually inputting an end command, or may be performed by the line-of-sight direction determination device 100 using an external signal as a trigger.
  • step S10 the process returns to step S1.
  • the line-of-sight direction determination apparatus 100 determines that the corneal reflection image of the left eye or the right eye is in a line-symmetric position with respect to the center line of the left and right eye pupils.
  • the calculation is performed with only one eye. Also, when both eyes are used, they are only used for stabilizing the line of sight, and there is no example used for detecting the line of sight in a specific direction as in this embodiment. Furthermore, in the conventional example, when it is attempted to detect the gaze direction in a specific direction, it is necessary to instruct or detect the gaze target and to estimate from the statistics of the detection results for a long time. With this, it is possible to determine the line-of-sight direction accurately and accurately.
  • the corneal reflection image of the left eye or the right eye is in a line-symmetric position with respect to the center line of the left and right pupils.
  • a pupil and a cornea reflection image have the characteristic which can be detected stably also from a low-resolution picked-up image, and can determine a gaze direction stably.
  • the left-right symmetry of the cornea reflection image exists without individual differences, no prior adjustment work is required and it can be easily used.
  • the determination can be made with only one image, the determination can be made immediately after the start of measurement, and the determination can be made even in a situation where a specific direction is viewed for a moment.
  • an evaluation value calculation 160 that calculates an evaluation value that represents the line symmetry of the left and right corneal reflection images is provided, and the line-of-sight direction determination unit 170 first determines the left and right corneal reflection images based on the evaluation values. Is determined, and then a specific gaze direction is determined. Therefore, it is possible to determine the gaze direction with higher accuracy.
  • FIG. 9 is a block diagram showing the configuration of the gaze direction determining apparatus according to Embodiment 2 of the present invention. In the description of the present embodiment, the same components as those in FIG.
  • This embodiment is provided in the interior of an automobile, detects the direction of the driver's line of sight, and gives a warning when the front is not turned for a long time. This is an example of applying.
  • the line-of-sight direction determination apparatus 500 takes an example of a case where it is determined whether or not the line of sight faces the midpoint of the camera and the projector when the face faces the midpoint direction of the camera and the projector.
  • the line-of-sight direction determination apparatus 500 includes an image input unit 110, a face detection unit 120, a face part detection unit 130, an image feature detection unit 140, a line symmetry position calculation unit 150, an evaluation value calculation unit 160, a face direction calculation unit 501, and a face A line-of-sight direction determination unit 502 is provided.
  • the face direction calculation unit 501 calculates face direction information from the face part position input from the face part detection unit 130 and outputs the face direction information to the face gaze direction determination unit 502.
  • the face line-of-sight direction determination unit 502 determines the line symmetry of the left-right corneal reflection image from the line symmetry evaluation value input from the evaluation value calculation unit 160. It is determined that the line-of-sight direction is facing the midpoint direction of the camera and the projector, and if there is no line symmetry, it is determined that the camera and the projector are not facing the midpoint direction, and an alarm (not shown) is shown. Output to the device.
  • FIG. 10 is a flowchart showing the gaze direction determination process of the gaze direction determination device 500. Portions that perform the same processing as the flow shown in FIG. 6 are assigned the same step numbers, and descriptions of overlapping portions are omitted.
  • step S7 when the evaluation value calculation unit 160 calculates the line symmetry evaluation value, the process proceeds to step S21.
  • step S ⁇ b> 21 the face direction calculation unit 501 calculates face direction information from the face part group 302 input from the face part detection unit 130.
  • the face direction information when the face part position is input in three dimensions, for example, the normal vector of the plane on which the left and right corners of the eye and the midpoint of the mouth corner are obtained as the face direction vector. Further, when the face part position is input in two dimensions, for example, the posture of a standard head three-dimensional model is estimated from the distribution of the face part group 302. The normal vector of the plane to be placed is acquired as the face direction vector.
  • the face line-of-sight direction determination unit 502 first determines from the face direction information input from the face direction calculation unit 501 whether or not the face direction faces the midpoint between the camera and the projector.
  • the determination method for example, a vector connecting the center of the camera and the center of the projector is calculated from the center of the camera measured in advance and the center of the projector, and an inner product of the horizontal component of the face direction vector is obtained.
  • the inner product value is 0, it is determined that the face direction is facing the midpoint between the camera and the projector. However, the inner product value may include an error, and is not necessarily exactly 0. At this time, if it is not determined that the face direction is facing the midpoint between the camera and the projector, it is determined that the line-of-sight direction is not a specific direction.
  • the face gaze direction determination unit 502 determines whether the gaze direction is a specific direction from the line symmetry evaluation value input from the evaluation value calculation unit 160. For example, if the line symmetry evaluation value is equal to or greater than a predetermined threshold, it is determined that the user is facing a specific direction. Alternatively, an evaluation value for a predetermined time may be recorded, and when the average value is equal to or greater than a threshold value, it may be determined that the user is facing a specific direction.
  • the specific direction represents, for example, the middle point direction of the camera and the projector.
  • Any other determination method may be adopted as long as it is a technique capable of performing the above-described line-of-sight direction determination.
  • the gaze direction determination device 500 includes the face direction calculation unit 501 that calculates the face direction information, and the face gaze direction determination unit 502 first determines that the face is between the camera and the projector. If it is pointing to a point (it is only an example and may be at an arbitrary position), the same gaze direction determination process as in the first embodiment is continued, and if it is not facing, the process ends. Thereby, not only the line-of-sight direction but also the face direction can be included in the determination operation. For example, it can be detected that the driver's face is facing the front. This information can be output to the alarm device when the driver does not face the front for a long time, and the alarm device can issue an alarm.
  • Embodiment 3 is an application example of a gaze direction detection device with an automatic calibration function, which has a function of automatically correcting a detection error of the gaze direction detection device.
  • the gaze direction is calculated using the positions of facial parts such as the corners of the eyes, the eyes, the eyebrows, and the nostrils, and the position of the pupil.
  • the face part is detected by deviating from the true value, or the eye model necessary for calculating the eye direction has an error with respect to the actual eye shape.
  • a quantitative deviation occurs.
  • Embodiment 3 enables this calibration work to be performed automatically.
  • the line-of-sight detection devices 100 and 500 of the first and second embodiments detect when the line of sight is facing the camera direction, and compare with the detection results of the line-of-sight direction detection devices 100 and 500 at that time. , Correct the deviation.
  • FIG. 11 is a block diagram showing a configuration of a gaze direction determining apparatus with an automatic calibration function according to Embodiment 3 of the present invention.
  • the gaze direction detection device 600 with the automatic calibration function includes a gaze direction determination device 100, a gaze direction calculation unit 610 that calculates the gaze direction from the face image, and the detection result of the gaze direction calculation unit 610.
  • a line-of-sight detection calibration unit 620 that calibrates (corrects) the deviation from the value
  • a calibration parameter storage unit 630 that stores parameters of the calibration result
  • an output unit 640 that outputs the result of the line-of-sight detection.
  • the line-of-sight direction determining apparatus 100 of the first embodiment is used, but the line-of-sight direction determining apparatus 500 of the second embodiment may be used instead of the line-of-sight direction determining apparatus 100.
  • the gaze direction determination apparatus 100 determines that the gaze direction is facing the camera direction, and acquires the determination result as gaze direction determination information. Further, the image input unit 110 (see FIG. 1) of the gaze direction determination apparatus 100 outputs the face image to the gaze direction calculation unit 610 and outputs the gaze direction determination information to the gaze direction calibration unit 620.
  • the gaze direction calculation unit 610 calculates the gaze direction from the face image input from the image input unit 110 of the gaze direction determination device 100 and outputs the gaze direction information to the gaze detection calibration unit 620 as gaze direction information.
  • the line-of-sight detection calibration unit 620 calculates a calibration parameter P from the line-of-sight direction determination information input from the line-of-sight direction determination device 100 and the line-of-sight direction information input from the line-of-sight direction calculation unit 610, and the calibration parameter is stored in the calibration parameter storage unit. Input to 630. Further, the line-of-sight detection calibration unit 620 acquires calibrated line-of-sight direction information from the line-of-sight direction information input from the line-of-sight direction calculation unit 610 and the calibration parameter P.
  • the calibration parameter P will be described later with reference to the flowchart of FIG.
  • the calibration parameter storage unit 630 stores the calibration parameter P input from the line-of-sight detection calibration unit 620, and outputs the calibration parameter P to the line-of-sight direction calculation unit 610 via the line-of-sight detection calibration unit 620.
  • the output unit 640 outputs the calibrated gaze direction information input from the gaze detection calibration unit 620 using sound, video, symbols, characters, and the like.
  • FIG. 12 is a flowchart showing the operation of the gaze direction detecting device 600 with an automatic calibration function.
  • the line-of-sight direction determination apparatus 100 starts photographing work.
  • the start of the photographing operation may be performed manually, or may be performed by the visual line direction determination device 100 using an external signal as a trigger.
  • the gaze direction calculation unit 610 calculates the gaze direction.
  • the gaze direction information is acquired as the gaze direction vector Ve.
  • the gaze detection method employs the following method. a. In the gaze direction detection, the gaze direction is calculated from the corner of the eye and the eye detected by the face component detection unit 190 and the center of the pupil detected by the pupil detection unit 141 as follows. b. First, the center position of the eyeball is estimated from the positions of the corners of the eyes and the eyes. For example, it is assumed that the center of the eyeball is located at a predetermined distance in the normal direction of a line segment connecting the corners of the eyes and the eyes. c.
  • a statistical method may be adopted in which the positions of the center of the eyeball with respect to the corners of the eyes and the eyes are measured in advance for a large number of subjects and the average is taken. d. Next, a straight line connecting the estimated eyeball center and pupil center is calculated. e. Finally, a direction vector of the straight line is calculated, and this is acquired as a line-of-sight direction vector.
  • any calculation method may be employed as long as it is a technique capable of performing the above gaze direction calculation.
  • step S32 the line-of-sight direction determination apparatus 100 determines whether or not the line-of-sight direction faces the camera direction by the method described in the first embodiment.
  • step S33 When it is determined that the line-of-sight direction is facing the camera direction, the process proceeds to step S33.
  • step S35 When it is determined that the line-of-sight direction does not face the camera direction, the process proceeds to step S35.
  • the gaze detection calibration unit 620 calculates a calibration parameter P for gaze direction calculation.
  • the calibration parameter P is represented by, for example, an angle between the line-of-sight direction vector Ve calculated in step S31 and the line-of-sight direction vector Vc when the line of sight faces the camera direction.
  • the calibration parameter P is calculated by the following equation (5).
  • step S34 the calibration parameter storage unit 630 stores the calibration parameter P. At this time, the past calibration parameter P is discarded, and only the newest calibration parameter P is stored.
  • step S35 the line-of-sight direction calibration unit 620 calibrates the line-of-sight direction information from the calibration parameter P, and obtains it as calibrated line-of-sight direction information.
  • the calibrated gaze direction information is expressed by a calibrated gaze direction vector Vf.
  • the gaze direction information is calibrated by the following equation (6).
  • Rot (P) is a rotation matrix that is rotated by an angle corresponding to the calibration parameter P.
  • step S36 the output unit 640 outputs corrected gaze direction information.
  • step S37 end determination is performed.
  • the end determination may be performed manually or by some automatic trigger.
  • step S37 the process returns to step S31.
  • FIG. 13 is a diagram for explaining that the gaze direction offset (quantitative deviation from the true value) can be automatically corrected.
  • the gaze direction determining apparatus 100 can acquire a cornea reflection image of the projector 201 with the left and right eyes, and can detect in real time when the projector direction is viewed from the symmetry of the reflected image position 205 with respect to the pupil 204. As a result, as shown in FIG. 13B, it is possible to automatically correct the offset in the line-of-sight direction and realize high-precision line-of-sight detection.
  • FIG. 14 is a block diagram showing a configuration of a gaze direction determining apparatus according to Embodiment 4 of the present invention.
  • the face image will be described assuming that one pixel is one coordinate point with the horizontal direction of the image as the X axis and the vertical direction of the image as the Y axis.
  • the gaze direction determination device 1400 includes an irradiation unit 112, an imaging unit 1401, a pupil detection unit 1402, a cornea reflection image detection unit 1403, a line symmetry position calculation unit 1404, and a gaze direction determination unit. 1405.
  • the irradiation unit 112 irradiates the cornea of both eyes of the driver with a light source, and the imaging unit 1401 captures a face image including both eyes irradiated with the light source.
  • the irradiation unit 112 has a light source as described in the first embodiment.
  • the irradiation unit 112 emits light at least from the start to the end of exposure of the imaging unit 1401. The positional relationship between the irradiation unit 112 and the imaging unit 1401 will be described later.
  • the imaging unit 1401 includes an image sensor such as a CCD or a CMOS, and acquires a face image including both eyes. Note that the imaging unit 1401 is installed on the front upper side or the lower front side with respect to the center point of the line segment that connects the pupils of both eyes when the driver's line of sight faces the traveling direction of the vehicle. In other words, when the driver's line of sight faces the traveling direction of the car, the driver's line of sight is facing the vertical direction of the imaging unit 1401.
  • an image sensor such as a CCD or a CMOS
  • the pupil detection unit 1402 calculates the center coordinates of the pupil based on the face image captured by the imaging unit 1401, and the corneal reflection image detection unit 1403 has the irradiation unit 112 based on the face image acquired by the imaging unit 1401. The center coordinates of the cornea reflection image in the cornea of the light source are calculated.
  • the line symmetric position calculation unit 1404 is based on the center coordinates of the pupils of both eyes and the center coordinates of the cornea reflection images of both eyes, and the vertical bisection of the line segment connecting the center coordinates of the left eye pupil and the center coordinates of the right eye pupil. The coordinates of the line symmetry position of the cornea reflection image of one of the eyes with respect to the segment are calculated.
  • the line-of-sight direction determination unit 1405 determines the line-of-sight direction of the driver based on the distance between the center coordinates of the cornea reflection image of the other eye of both eyes and the coordinates of the line symmetry position.
  • FIG. 15 is a diagram illustrating a positional relationship between both eyes, the irradiation unit 112, and the imaging unit 1401
  • FIG. 15A shows a bird's-eye view of both eyes
  • FIG. 15B shows a front view of both eyes
  • 15C shows a side view of both eyes, the irradiation unit 112, and the imaging unit 1401.
  • the imaging unit 1401 is a position where both eyes can be imaged
  • the irradiation unit 112 is premised on a position where the corneas of both eyes can be irradiated by a light source.
  • a line segment 1505 connecting the center of the right eye pupil 1501 and the center of the left eye pupil 1502 is obtained.
  • the orientation of the imaging unit 1401 and the irradiation unit 112 is perpendicular to the line segment 1505 that connects the center of the right eye pupil 1501 and the center of the left eye pupil 1502.
  • FIG. 15B As shown in C, a line segment 1509 that connects the foot 1511 of the perpendicular 1508 of the imaging unit 1401 to the plane 1506 including the line segment 1505 and the foot 1510 of the perpendicular 1507 of the irradiation unit 112 to the plane 1506 is perpendicular to the line 1507.
  • a bisector As shown in C, a line segment 1509 that connects the foot 1511 of the perpendicular 1508 of the imaging unit 1401 to the plane 1506 including the line segment 1505 and the foot 1510 of the perpendicular 1507 of the irradiation unit 112 to the plane 1506 is perpendicular to the line 1507.
  • a bisector As shown in C, a line segment 1509 that connects the foot 1511 of the perpendicular 1508 of the imaging unit 1401 to the plane 1506 including the line segment 1505 and the foot 1510 of the perpendicular 1507 of the irradiation unit 112 to the plane 1506 is perpendicular
  • the plane 1506 has been described as being perpendicular to the pupil 1501 of the right eye, but this is not restrictive. That is, even when the plane 1506 has an arbitrary angle with respect to a plane perpendicular to the pupil 1501 of the right eye, the relationship between the perpendicular line 1507 and the perpendicular line 1509 may be as described above.
  • the distance from the imaging unit 1401 to the line segment 1505 has been described as being closer than the distance from the irradiation unit 112 to the line segment 1505, but is not limited thereto. That is, in the bird's eye view, the distance from the imaging unit 1401 to the line segment 1505 may be longer than or the same as the distance from the irradiation unit 112 to the line segment 1505.
  • the imaging unit 1401 and the irradiation unit 112 are described as being positioned below the line-of-sight direction of the right eye pupil 1501, but one or both of the imaging unit 1401 and the irradiation unit 112 are positioned above. May be.
  • the irradiating unit 112 has a line segment connecting a leg of a perpendicular line to a plane including a line segment connecting the pupils of both eyes from the imaging unit 1401 and a leg of a perpendicular line from the irradiating unit 112 to the plane. It is installed so as to be perpendicular to the line connecting the pupils.
  • the pupil detection unit 1402 detects the pupils of both eyes from the face image acquired by the imaging unit 1401, and calculates the center coordinates of the pupils of both eyes. Specifically, the pupil detection unit 1402 applies a circular separability filter to both eyes included in the face image to detect a circle with the highest luminance segregation as a pupil, and the center of the pupil in the face image Calculate the coordinates.
  • the cornea reflection image detection unit 1403 detects a cornea reflection image in the cornea of the light source of the irradiation unit 112 from the face image acquired by the imaging unit 1401, and calculates center coordinates of the left and right cornea reflection images.
  • the cornea reflection image is a reflection image of the light source generated in the cornea when the light source is reflected on the cornea.
  • the cornea reflection image detection unit 1403 calculates a luminance histogram for the face image, detects the center of gravity of the pixel having the maximum luminance, and calculates it as the center coordinates of the cornea reflection image.
  • the center of gravity of the pixel having the maximum luminance is a pixel having the maximum luminance or a pixel having a luminance equal to or higher than a predetermined value extracted from the face image, and the coordinates of the pixel are the center of gravity.
  • the predetermined value may be dynamically determined such that the number of pixels having a luminance equal to or higher than the predetermined value in the luminance histogram is equal to or higher than the predetermined number, or may be a predetermined value.
  • the coordinate average when calculating the center of gravity may be a simple average or a weighted average with luminance as a weight.
  • the line symmetry position calculation unit 1404 receives the center coordinates of the pupils of both eyes from the pupil detection unit 1403, and receives the center coordinates of the cornea reflection images of both eyes from the cornea reflection image detection unit 1404. Then, the line symmetry position calculation unit 1404 calculates a perpendicular bisector connecting the center coordinate of the left eye pupil and the center coordinate of the right eye pupil, and the vertical of the corneal reflection image of one eye of both eyes is calculated. The coordinates of the line symmetry position with respect to the bisector are calculated.
  • FIG. 16 is a diagram showing the positional relationship between the corneal reflection image and the corneal projection image
  • FIG. 16A shows a front view of both eyes in the face image when the line of sight faces the vertical direction of the imaging unit 1401 (FIG. 14).
  • FIG. 16B is a front view of both eyes in the face image when the line of sight is directed laterally with respect to the vertical direction of the imaging unit 1401.
  • a face image 1600 including both eyes, a right eye 1601, a left eye 1602, a right eye cornea 1603, a left eye cornea 1604, a right eye pupil 1605, a left eye pupil 1606, a right eye cornea reflection image 1607, and a left eye
  • a corneal reflection image 1608, a line segment 1609 connecting the right eye pupil and the left eye pupil, a perpendicular bisector 1610 of the line segment 1609, and a corneal projection image 1611 are used.
  • the light source of the irradiation unit 112 (FIG. 14) irradiates the cornea of both eyes from the front. Is projected to the inside of the face with respect to the right eye pupil 1605a, and the cornea reflection image 1608a of the left eye is projected to the inside of the face with respect to the left eye movement 1606a.
  • the line symmetry position calculation unit 1404 connects the line segment 1609a based on the right eye pupil 1605a and the left eye pupil 1606a in the face image 1600a, and calculates a perpendicular bisector 1610a of the line segment 1609a.
  • the line symmetry position calculation unit 1404 calculates a coordinate point that is in a line symmetry position with the cornea reflection image 1607a of the right eye with respect to the vertical bisector 1610a.
  • the coordinate point is defined as a corneal projection image.
  • the light source of the irradiation unit 112 irradiates the corneas of both eyes from the front, so the cornea reflection image 1607 a of the right eye and the cornea reflection of the left eye
  • the image 1608a is line-symmetric with respect to the vertical bisector 1610a. Therefore, under conditions such as the shape of the corneas of both eyes being the same, the cornea projection image 1611a and the left-eye cornea reflection image 1608a have the same coordinates.
  • the line symmetry position calculation unit 1404 performs the same processing as that described with reference to FIG. 16A even when the line of sight is directed laterally with respect to the vertical direction of the imaging unit 1401 as illustrated in FIG. 16B. Then, the cornea image 1611b is calculated.
  • the light source of the irradiation unit 112 irradiates the cornea of both eyes from the horizontal direction.
  • the left-eye cornea reflection image 1608b is not line-symmetric with respect to the perpendicular bisector 1610b. Therefore, a distance is generated between the coordinate point of the corneal projection image 1611b and the coordinate point of the corneal reflection image 1608b of the left eye, and the distance increases as the line of sight deviates from the vertical direction of the imaging unit 1401.
  • the function of the line-of-sight direction determination unit 1405 will be described based on the relationship between the line-of-sight direction described above and the distance between the cornea reflection image 1608b and the cornea projection image 1611b.
  • the coordinate point in line symmetry with the corneal reflection image 1607a of the right eye with respect to the vertical bisector 1610a is calculated as a cornea image, but the corneal reflection image 1608a of the left eye with respect to the vertical bisector 1610a.
  • the coordinate point at the line symmetry position may be calculated as a cornea image.
  • the line-of-sight direction determination unit 1405 calculates the distance between the coordinate point of the corneal projection image 1611 calculated by the line symmetry position calculation unit 1404 and the corneal reflection image 1611 and the corneal reflection image existing on the same cornea, and a predetermined threshold value. The line-of-sight direction is determined by comparison.
  • the corneal projection image of one eye and the corneal reflection image of the other eye exist at the same coordinate point or nearby coordinate points.
  • the corneal projection image of one eye and the corneal reflection image of the other eye are separated.
  • the line of sight is in the vertical direction of the imaging unit 1401 or in the vicinity of the vertical direction.
  • the line of sight is the vertical direction of the imaging unit 1401 or the vertical direction It can be determined that the horizontal direction in the vicinity is not facing.
  • the gaze direction determination unit 1405 determines the gaze direction by calculating the distance between the coordinate point of the corneal projection image 1611a and the coordinate store of the corneal reflection image 1608a and comparing it with a predetermined threshold value. To do.
  • the predetermined threshold value is caused by facial parts including the corneal shape, it must be set according to the driver's personality.
  • the line-of-sight direction is determined by calculating the distance between the coordinate point of the corneal projection image 1611a and the coordinate point of the corneal reflection image 1608a in the line-of-sight direction determining unit 1405.
  • an evaluation value calculation unit may be provided.
  • FIG. 17 is a block diagram illustrating a configuration of a line-of-sight direction determination device 1700 having an alarm device unit 1701.
  • the alarm device unit 1701 looks at the front for a long time when the alarm count N indicating the number of times it is determined that the line of sight is not facing the front exceeds a predetermined threshold. An alarm is issued assuming that it is not.
  • the alarm device that is provided in the passenger compartment of the automobile and detects the driver's line-of-sight direction and warns when the front is not turned for a long time has been described.
  • the present invention can be applied to any device as long as the electronic device has a direction determination device.
  • information presentation devices such as TVs and speakers
  • safety state monitoring devices such as surveillance cameras
  • video recording devices such as still cameras and video cameras
  • life assistance devices such as robots
  • game devices such as TV games and sensation games Application
  • the alarm device for video recording means for recording an input image, peripheral information grasping means for the robot to grasp the situation of the user or the robot, and for changing the game state. It can be realized by replacing with the state update means.
  • the line symmetry position calculation method in each of the above embodiments is merely an example, and can be replaced by various calculation methods.
  • the line symmetry evaluation value calculation method may employ other calculation methods. However, according to experiments by the present inventors and the like, good results were obtained by this method of calculating an evaluation value based on the distance from the center of the cornea reflection image corresponding to the line symmetry position.
  • the names of the gaze direction determination device and the gaze direction determination method are used.
  • the device may be a gaze detection device
  • the method may be a gaze direction detection method. .
  • each component constituting the visual line direction determining device for example, the type of the face detection unit, the face part detection method thereof, and the type of the image feature detection unit are not limited to the above-described embodiment.
  • the gaze direction determination device described above is also realized by a program for causing the gaze direction determination method of the gaze direction determination device to function.
  • This program is stored in a computer-readable recording medium.
  • the line-of-sight direction determination apparatus and line-of-sight direction determination method according to the present invention are useful as information terminals mounted on information terminals such as personal computers, office automation equipment, and mobile phones, and moving means such as automobiles, airplanes, ships, and trains. is there. Further, the present invention can be applied to uses such as monitoring and alarm devices, robots, and video / audio reproduction devices.
  • Gaze direction determination device 100, 500, 1400, 1700 Gaze direction determination device 110 Image input unit 111 Imaging unit 112 Irradiation unit 113 Synchronization unit 120 Face detection unit 130 Face component detection unit 140 Image feature detection unit 141 Pupil detection unit 142 Corneal reflection image detection unit 150 Line Symmetric position calculation unit 160 Evaluation value calculation unit 170 Gaze direction determination unit 501 Face direction calculation unit 502 Face gaze direction determination unit 600 Gaze direction detection device with automatic calibration function 610 Gaze direction calculation unit 620 Gaze detection calibration unit 630 Calibration parameter storage unit 640 Output unit 1400 Gaze direction determination device 1401 Imaging unit 1402 Pupil detection unit 1403 Cornea reflection image detection unit 1404 Axisymmetric position calculation unit 1405 Gaze direction determination unit 1501 Right eye pupil 1502 Left eye pupil 1503 Right eye eyeball 1504 Left eye eyeball 1505 Right eye Pupil's Line segment connecting the center and the pupil center of the left eye 1506 plane 1507 perpendicular 1508 perpendicular 1509 vertical bisector 1510 perpendic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Eye Examination Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　注視対象の指示及び事前の調整作業なしに、計測開始直後から判定することができ、高精度かつ正確に視線方向を判定することができる視線方向判定装置及び視線方向判定方法。視線方向判定装置（１００）は、左右の目の瞳孔の中心線に対して、左目又は右目の角膜反射像が線対称の位置にあることを判定する線対称位置判定部（１５０）と、線対称位置判定結果から、撮像部（１１１）又は略同じ位置の照射部（１１２）の設置位置を含む特定位置の視線方向を判定する視線方向判定部（１７０）とを備え、角膜反射像の線対称性を判定し、この線対称性から特定の視線方向を判定する。

Description

視線方向判定装置及び視線方向判定方法
　本発明は、被撮影者の視線方向が所定方向であることを判定する視線方向判定装置及び視線方向判定方法に関する。
　人物の視線方向を判定する視線方向判定装置においては、検出した方向を、外界の座標系で表す必要がある。
　特許文献１には、事前に特定方向を見たときの眼球の状態を検出し、その結果から、特定方向を見ているか否かを判断する視線検出装置が開示されている。特許文献１記載の装置は、ファインダ内の指標を注視し、その際の視軸と眼球軸のずれを補正する。
　特許文献２には、運転中の視線方向を長時間にわたって観測し、その分布から、視線の基準方向を規定する運転状態検出装置が開示されている。特許文献２記載の装置は、時系列データから視線の基準位置を推定する。
　このように、従来の視線方向判定には、２系統の手法が存在している。１つは、注視対象を指示もしくは検出し、注視状態を検出する（特許文献１記載の装置例）、いま１つは、長時間の視線の分布から視線方向の中心を規定する（特許文献２記載の装置例）である。
特開平４－２４２６３０号公報 特開２００５－６６０２３号公報
　しかしながら、このような従来の視線方向判定装置にあっては、以下のような課題がある。
　（１）特許文献１記載の装置では、注視対象の指示が必要であり、煩雑な作業となる。自動判定では、本当に見ているのか判定することが困難である。いずれにしても事前の計測作業が必要であることから、利便性の向上が図れない。
　（２）特許文献２記載の装置では、長時間測定したときの視線の分布が本当に正面方向になるのか保証できない。また、長時間測定した後でないと、補正できない。長時間の観測が必要である上、計測した統計結果が個人差なく一定である保証はないため、計測開始直後に判定が困難であること、精度保証が困難であるという課題があった。
　本発明は、かかる点に鑑みてなされたものであり、注視対象の指示及び事前の調整作業なしに、計測開始直後から判定することができ、高精度かつ正確に視線方向を判定することができる視線方向判定装置及び視線方向判定方法を提供することを目的とする。
　本発明の視線方向判定装置は、両目を含む顔画像を撮像する撮像部と、前記両目の角膜を光源によって照射する照射部と、前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出する瞳孔検出部と、前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出する角膜反射像検出部と、前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出する線対称位置算出部と、前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定部と、を備える構成を採る。
　本発明の視線方向判定方法は、両目を含む顔画像を撮像し、前記両目の角膜を光源によって照射し、前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出し、前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出し、前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出し、前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する。
　本発明によれば、左右の目の瞳孔の中心線に対して、前記左目又は右目の角膜反射像が線対称の位置にあることを判定し、この判定結果から特定位置の視線方向を判定することにより、視線方向判定の際に、注視対象の指示及び事前の調整作業が不要となり、利便性を向上させることができる。また、人間に共通の特徴を利用するため、判定結果の信頼性が高く、統計処理を行う手法などと比べて高精度な視線方向の判定が可能となる。同様の理由で、判定された視線方向は正確な視線方向であると保証できるため、従来例のように長時間測定する必要がない。さらに、撮像画像から直ちに判定が可能であるため、計測開始後、すぐに判定可能となる。
　以上の効果に加えて、さらに以下の効果がある。
　特定の注視対象を見なくても、自動的に検出した視線方向のずれを補正することが可能である。また、注視が不要であるため、処理を軽量化することができ、誤判定を防止することができる。これは、補正可能な機会が多くなることにつながる。さらに、１フレームでもカメラ方向を見ればよいので、高確率で補正可能という効果がある。
本発明の実施の形態１に係る視線方向判定装置の構成を示すブロック図 上記実施の形態１に係る視線方向判定装置の線方向判定方法を説明する図 上記実施の形態１に係る視線方向判定装置の線方向判定方法を説明する図 上記実施の形態１に係る視線方向判定装置の線方向判定方法を説明する図 上記実施の形態１に係る視線方向判定装置の視線方向判定アルゴリズムを説明する図 上記実施の形態１に係る視線方向判定装置の視線方向判定処理を示すフロー図 上記実施の形態１に係る視線方向判定装置に入力される入力画像の例を示す図 上記実施の形態１に係る視線方向判定装置で使用される画像特徴の例を示す図 本発明の実施の形態２に係る視線方向判定装置の構成を示すブロック図 上記実施の形態２に係る視線方向判定装置の視線方向判定処理を示すフロー図 本発明の実施の形態３に係る自動校正機能付き視線方向判定装置の構成を示すブロック図 上記実施の形態３に係る自動校正機能付き視線方向検出装置の動作を示すフロー図 上記実施の形態３に係る自動校正機能付き視線方向判定装置の視線方向のオフセットを自動的に補正可能なことを説明する図 本発明の実施の形態４に係る視線方向判定装置の構成を示すブロック図 上記実施の形態４に係る視線方向判定装置の照射部と撮像部の位置関係を示す図 上記実施の形態４に係る視線方向判定装置の角膜反射像と角膜投影像の位置関係を示す図 上記実施の形態４に係る警報装置部を有する視線方向判定装置の構成ブロック図
　以下、本発明の実施の形態について図面を参照して詳細に説明する。
　（実施の形態１）
　本発明は、照明手段を備える撮像装置で取得した顔画像から、瞳、もしくは瞳孔の中心と、照明の角膜反射像を検出し、それらの線対称性から、被験者の視線方向を判定する視線方向判定装置に関する。ここに、視線方向判定とは、被験者の視線が、特定の方向を向いているか否かを判定することを表す。但し、特定方向とは必ずしも１つである必要はなく、複数の方向であってもよい。
　本発明の実施の形態１では、照明手段を備えた撮像装置で取得した顔画像から、瞳、もしくは瞳孔の中心と、照明の角膜反射像を検出し、それらの線対称性から、被験者の視線方向を判定する、視線方向判定装置について記載する。
　図１は、本発明の実施の形態１に係る視線方向判定装置の構成を示すブロック図である。本実施の形態は、自動車の車室内に設けられ、ドライバーの視線方向を検出して、正面を長時間向かなかった場合には警告を行う警報装置に対して、本発明の視線方向判定装置を適用した例である。
　図１に示すように、視線方向判定装置１００は、例えば、カーナビやテレビ、スピーカなどの情報提示機器や、運転者支援カメラや監視カメラなどの安全状態監視機器、スチールカメラやビデオカメラなどの映像記録機器、ロボットなどの生活補助機器等の、操作者や非撮影者がどこをみているのかという情報が必要となる機器に対して適用できる。
　視線方向判定装置１００は、画像入力部１１０、顔検出部１２０、顔部品検出部１３０、画像特徴検出部１４０、線対称位置算出部１５０、評価値算出部１６０、及び視線方向判定部１７０を備えて構成される。
　画像入力部１１０は、撮像部１１１によって撮影した画像を、後述の顔検出部１２０に出力する。
　画像入力部１１０は、車のハンドルの上やダッシュボード上など、運転席の正面に設置され、運転者の撮影可能な位置に設置された撮像部１１１と、運転者の顔を照射する照射部１１２と、撮像部１１１と照射部１１２を同期させる同期部１１３とを有する。
　撮像部１１１は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを備えており、同期部１１３から入力される同期信号に合わせて、画像を取得する。
　なお、撮像した顔画像は、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるとして、以下、説明する。
　照射部１１２は、不可視であるが、撮像部１１１では感度がある近赤外線ＬＥＤを備えており、同期部１１３からの同期信号に合わせて発光する。
　同期部１１３は、撮像部１１１の露光開始から終了までに相当する時間だけ、同期信号を撮像部１１１と照射部１１２に出力する。
　顔検出部１２０は、画像入力部１１０から入力された画像から、人物の顔の画像である顔画像を検出し、顔画像を顔部品検出部１３０に出力する。
　顔部品検出部１３０は、顔検出部１２０から入力された顔画像から、目尻、目頭、瞳中心、鼻孔、口角、眉の両端などの顔部品を検出し、各顔部品の輪郭を形成する複数の点の座標を画像特徴検出部１４０に出力する。
　画像特徴検出部１４０は、顔画像から瞳孔を検出する瞳孔検出部１４１と、顔画像から、角膜上の照射部１１２の反射像を検出する角膜反射像検出部１４２とを有する。角膜反射像とは、プルキニエ像と呼ばれる、角膜表面の反射像を表す。
　瞳孔検出部１４１は、画像入力部１１０により入力された顔画像と、顔部品検出部１３０により入力された顔部品座標から、左右の目の瞳孔を検出し、左右瞳孔の中心座標を線対称位置算出部１５０に出力する。
　角膜反射像検出部１４２は、画像入力部１１０により入力された顔画像と、顔部品検出部１３０により入力された顔部品座標から、左右の目の、照射部１１２の角膜反射像を検出し、左右角膜反射像の中心座標を、線対称位置算出部１５０に出力する。
　線対称位置算出部１５０は、画像特徴検出部１４０から入力された左右の目の瞳孔中心座標と、角膜反射像中心座標から、左右片方の目の角膜反射像中心の線対称位置を算出し、線対称位置座標と、もう一方の目の角膜反射像中心座標とをそれぞれ、評価値算出部１６０に出力する。線対称とは、左右瞳孔中心を端点とする線分の垂直二等分線に関して、線対称であることを表す。
　評価値算出部１６０は、線対称位置算出部１５０から入力された投影座標と、画像特徴検出部１４０から入力された角膜反射像中心座標と線対称位置座標から、角膜反射像の線対称性を評価する線対称性評価値を算出し、視線方向判定部１７０に出力する。
　視線方向判定部１７０は、評価値算出部１６０から入力された線対称性評価値から、左右角膜反射像の線対称性を判断し、線対称性を有する場合には、被験者の視線方向が、カメラ方向を向いていると判定、また、線対称性がない場合には、カメラ方向を向いていないと判定し、判定結果を図示しない警報装置へ出力する。図示しない警報装置は、判定結果から、長時間カメラ方向を向いていない場合には、警報を発する。この警報は、警告メッセージ含む表示、音声合成ＬＳＩによる音声メッセージ、ＬＥＤ発光、スピーカ等による放音、またはこれらの組み合わせである。
　上記各部の機能は、マイクロコンピュータが、制御プログラムを実行して実現する。すなわち、視線方向判定装置１００は、制御部であるＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等、撮像装置であるカメラ、表示・警報装置である表示部を有し、この制御部が視線方向判定装置１００の各部の動作を制御する。図１の各部は、制御部が実行する視線方向判定処理を行うブロックとして明示したものである。
　以下、上述のように構成された視線方向判定装置１００の動作を説明する。
　まず、本視線方向判定方法の基本的な考え方について説明する。
　図２乃至図４は、視線方向判定装置１００の視線方向判定方法を説明する図である。
　図２Ａに示すように、投光器２０１（図１では、照射部１１２）は、顔２０２の眼球２０３を照射する。カメラ２０６（図１では、撮像部１１１）は、眼球２０３の角膜２０３ａに反射した角膜反射像２０５を取得する。図２Ｂに示すように、投光器２０１からの光照射により、眼球２０３の角膜２０３ａには、角膜反射像２０５が現れる。
　視線方向判定装置１００は、顔の左右対称性を利用し、左右の目の角膜反射像２０５を検出する。すなわち、左右の目の角膜反射像２０５の位置を算出し、得られた角膜反射像位置が、左右の目で、線対称の位置にあるか否かを判定する。
　図３に示すように、投光器２０１の角膜反射像２０５を左右の目で取得し、瞳孔２０４に対する反射像位置２０５の対称性から投光器２０１方向を見ている時を検出する。また、投光器２０１の角膜反射像位置の左右対称性を検証することで、カメラ２０６方向を見ているか否かを判定する。
　具体的には、図４Ａに示すように、カメラ２０６、投光器２０１方向を見ているときは、角膜反射像２０５の位置が、左右対称となる。また、図４Ｂに示すように、カメラ２０６・投光器２０１方向を見ていないときは、角膜反射像２０５の位置が、左右非対称となる。
　次に、視線方向判定方法の詳細について説明する。[アルゴリズム]１．瞳孔と角膜反射像を検出２．左右瞳孔の垂直二等分線に関して対称な位置に片方の反射像を投影３．投影反射像ともう一方の反射像のずれを検出４．ずれ量が閾値以下ならその時の視線方向をカメラ方向と判定
　図５は、視線方向判定アルゴリズムを説明する図であり、図５Ａは顔画像を示し、図５Ｂは顔画像と顔画像に基づいて算出された両目の瞳孔を結ぶ線分の垂直二等分線を示す。
　図５Ａに示すように、顔画像２０２から、眼球２０３が検出され、両目の瞳孔２０４及び両目の角膜反射像２０５が検出される。
　図５Ｂに示すように、本アルゴリズムは、左右瞳孔の垂直二等分線２１１に関して対称な位置に片方の反射像を投影する。一方の眼球２０３に投影（投影線２１２参照）された他方の角膜反射像２０５を、角膜投影像２１５と呼ぶ。ここでは、右目の角膜反射像２０５が左目に投影されて、左目上で、左目の角膜反射像２０５と投影された角膜投影像２１５とが近接して並ぶことになる。
　本アルゴリズムは、左目の角膜反射像２０５と投影された角膜投影像２１５とのずれを検出する。このずれ量が閾値以下ならその時の視線方向をカメラ方向と判定する。なお、本アルゴリズムの実現手段については、図６の視線方向判定処理フローにより後述する。
　このように、両目の角膜反射像の座標位置が、垂直二等分線２１１に対して線対称であるか否かを検証することによって、視線方向を判定することができる。
　図６は、視線方向判定装置１００の視線方向判定処理を示すフローチャートである。図７は、視線方向判定装置１００に入力される顔画像を示す図である。
　図６において、本プログラムの開始により、画像入力部１１０は、撮影作業を開始する。撮影作業の開始は、人手により行われてもよいし、外的な何らかの信号をトリガに視線方向判定装置１００により行われてもよい。
　ステップＳ１では、画像入力部１１０は、一定期間ごとに同期部１１３によって照射部１１２と同期の取れた撮像部１１１から、図７の顔画像３００を取得し、この顔画像３００を顔検出部１２０に出力する。
　例えば、画像入力部１１０は、ＣＭＯＳイメージセンサとレンズを備えたデジタルカメラと、近赤外線ＬＥＤを備えた投光器によって構成されるセンサが想定され、これにより投光器と同期して撮影されるＰＰＭ（Portable Pix Map file format）形式の画像等が、画像入力部１１０中に存在する画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶される。
　そして、この一時記憶されている画像が、ＰＰＭ形式で顔検出部１２０に入力される。
　このとき、照射部１１２は、撮像部１１１の露光時間だけ同期して点灯する、同期パルス駆動近赤外線ＬＥＤ投光器である。撮像に十分な光量が得られる場合は、同期パルス駆動ではなく、常時点灯であってもよい。
　ステップＳ２において、顔検出部１２０は、画像入力部１１０により入力された顔画像３００から、顔領域３０１の検出処理を行う。
　顔領域検出は、例えば、入力画像から特徴となる画像の抽出を行い、抽出した特徴となる画像と、あらかじめ用意した顔領域を表す特徴画像との比較し、比較した画像について類似度が高いものを検出する。
　類似度は、例えば、あらかじめ取得した平均顔のガボール特徴量と、入力画像をスキャンし、抽出したガボール特徴量とを照合し、その差分の絶対値の逆数を用いる。
　この場合、顔領域は、あらかじめ用意したテンプレートと比べて、図７の顔領域３０１の中で、最も相関の高い領域を画像中から探索される。
　また、顔領域３０１は、画像中から肌色領域検出を行ったり、楕円検出を行ったり、統計的パターン識別手法を用いたりすることで検出してもよい。その他、上記顔検出を行うことができる技術であれば、どのような方法であってもよい。
　ステップＳ３において、顔部品検出部１３０は、顔検出部１２０により入力された顔画像３００の顔領域３０１を探索領域とし、口角や目尻、目頭などの顔部品群３０２の検出処理を行う。
　顔部品群検出は、例えば、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の端点や鼻の穴などの２次元座標を検出する。
　また、あらかじめ複数の顔画像と、顔画像に対応する顔部品の位置との関係を学習器に学習させ、顔画像３００を学習器に入力した際に、最も尤度が高い場所を顔部品として検出してもよいし、標準的な顔部品のテンプレートを用いて顔画像３００内から顔部品を探索したりしてもよい。
　ステップＳ４において、瞳孔検出部１４１は、上記ステップＳ３で顔部品群検出によって検出された目領域の中から、図３の瞳孔３０３の中心座標を検出する。
　顔画像において瞳孔の中心座標は、例えば、上記ステップＳ３で顔部品群検出によって検出された目尻、目頭を含む目領域に対して円形分離度フィルタを適用し、最も輝度の分離度が高い円の中心の座標を瞳孔の中心座標として抽出する。
　このとき、Ｓｏｂｅｌフィルタなどを用いたエッジ検出や、大津の閾値決定法などを用いた輝度の二値化などによって検出した瞼を考慮し、上下瞼に挟まれた領域内のみを検出対象範囲とする。
　また、目尻、目頭を含む領域において、水平、垂直方向に輝度和を取り、もっとも垂直方向に取った輝度和と水平方向に取った輝度和が小さい点を瞳孔中心としてもよい。
　また、検出対象が、瞳孔ではなく、虹彩の中心や、角膜の中心であってもよい。
　その他、上記瞳孔の中心座標を検出できる技術であれば、どのような検出方法を採用してもよい。
　ステップＳ５において、角膜反射像検出部１４２は、上記ステップＳ３で顔部品群検出によって検出された目領域の中から、図７の角膜反射像３０４の中心座標を検出する。
　角膜反射像の中心座標は、例えば、上記ステップＳ４で検出された瞳孔の中心の周辺領域に対して、輝度ヒストグラムを算出し、最大輝度画素の座標の重心を、角膜反射像の中心座標として検出される。また、ヒストグラムの上位数％（例えば１％）の画素の重心を取得してもよい。
　このとき、最大輝度が、あらかじめ定められた閾値よりも小さい場合は、角膜反射像が存在しないと見なし、判定処理を中止し、上記ステップＳ１に戻る。また、最大輝度の画素数が、あらかじめ定められた閾値よりも大きい場合は、角膜反射像に照射部１１２以外の物体の反射が含まれていると見なし、処理を中止して上記ステップＳ１に戻る。
　ステップＳ６において、線対称位置算出部１５０は、画像特徴検出部１４０から入力された瞳孔３０３の中心座標と、角膜反射像３０４の中心座標とを結んだ線分の垂直二等分線を算出し、算出された垂直二等分線に対する左右一方の角膜反射像の線対称位置の中心座標を算出する。
　図８は、視線方向判定装置１００で使用される画像特徴の例を示す図であり、図８Ａは視線がカメラ２０６の方向を向いている場合の画像４１０を示し、図８Ｂは視線がカメラ２０６の方向を向いていない場合の画像４２０を示す。
　図８Ａにおいて、瞳孔４１１は図７における瞳孔３０３と同じであり、角膜反射像４１２は図７における角膜反射像３０４と同じである。
　図８において、線対称位置算出部１５０は、両目の瞳孔４１１の中心座標を結ぶ線分の垂直二等分線４１４を次式（１）に従って算出する。
Figure JPOXMLDOC01-appb-M000001
 　但し、右目瞳孔の座標を（ｘｒ，ｙｒ）、右目瞳孔の座標を（ｘｌ，ｙｌ）とする。
　次に、式（１）で表される垂直二等分線直線４１４に関して、左右一方の目の角膜反射像３０４の中心座標の線対称位置を次式（２）に従って算出する。但し、式（２）は右目の角膜反射像の中心座標の線対称位置を表した式であり、線対称位置の座標は（ｘｓ，ｙｓ）で表すものとする。
Figure JPOXMLDOC01-appb-M000002
 　但し、ａ，ｂはそれぞれ次式（３）で表されるものとする。
Figure JPOXMLDOC01-appb-M000003
 　ステップＳ７において、評価値算出部１６０は、画像特徴検出部１４０から入力された角膜反射像３０４の中心座標と、線対称位置算出部１５０から入力された線対称位置から、左右角膜反射像位置の線対称性を、次式（４）で表される線対称性評価値Ｖとして算出する。
Figure JPOXMLDOC01-appb-M000004
 　このとき、例えば、図８（ａ）の画像４１０で表されるように、視線がカメラ２０６の方向を向いている場合には、左右一方の角膜反射像の線対称位置４２４は、もう一方の角膜反射像と近い位置であるため、線対称性評価値Ｖは大きな値をとる。しかし、図８（ｂ）の画像４２０で表されるように、視線がカメラ２０６の方向を向いていない場合には、左右一方の角膜反射像の線対称位置４２２は、もう一方の角膜反射像４２１から遠い位置であるため、線対称性評価値は小さな値をとる。
　また、線対称性評価値Ｖは、必ずしも式（４）で表される値である必要はなく、左右一方の角膜反射像の線対称位置４２２と、もう一方の角膜反射像４２１が近いほど高い値を返す評価値であればよい。
　ステップＳ８において、視線方向判定部１７０は、評価値算出部１６０から入力された線対称性評価値から、視線方向が特定の方向であるか否かを判定する。例えば、線対称性評価値があらかじめ定められた閾値以上であれば、特定の方向を向いていると判定する。
　また、一定時間の評価値を記録し、その平均値が閾値以上の時、特定の方向を向いていると判定してもよい。特定の方向とは、画像入力部１１０の方向を表す。
　その他、上記視線方向判定を行うことができる技術であれば、どのような判定方法を採用してもよい。
　ステップＳ９において、図示しない警報装置は、視線方向判定部１７０において視線が正面方向を向いていないと判定された場合は、正面を向いていないと判定された回数を表す警報カウントを１増加する。このとき、Ｎが所定の閾値を超えた場合は、長時間正面を見ていないと見なして警報を発する。
　また、正面を向いていると判定された場合は、警報カウントをゼロにする。なお、警報カウントは、初期状態ではゼロである。
　ステップＳ１０において、終了判定を行う。終了判定は、人手による終了命令の入力によって行われてもよいし、外的な何らかの信号をトリガに視線方向判定装置１００により行われてもよい。
　終了判定の結果、終了する場合は、視線方向判定装置１００の視線方向判定動作を終了する。上記ステップＳ１０において終了しない場合は、上記ステップＳ１に戻る。
　以上詳細に説明したように、本実施の形態の視線方向判定装置１００は、左右の目の瞳孔の中心線に対して、左目又は右目の角膜反射像が線対称の位置にあることを判定する線対称位置判定部１５０と、線対称位置判定結果から、撮像部１１１又は略同じ位置の照射部１１２の設置位置を含む特定位置の視線方向を判定する視線方向判定部１７０とを備え、角膜反射像の線対称性を判定し、この線対称性から特定の視線方向を判定するので、注視対象の指示及び事前の調整作業なしに、計測開始直後から判定することができ、高精度かつ正確に視線方向を判定することができる。
　従来例では、瞳孔と角膜反射像の位置関係を用いる場合、計算を片目のみで行っている。また、両目を用いる場合も、単に視線の安定化にのみ使用しており、本実施の形態のように特定方向の視線検出に利用した例はない。さらに、従来例において、特定方向の視線方向を検出しようとすると、注視対象を指示もしくは検出し、かつ長時間の検出結果の統計から推定する必要がある。これでは、精度かつ正確に視線方向を判定することができる。
　これに対して、本実施の形態では、左右の目の瞳孔の中心線に対して、左目又は右目の角膜反射像が線対称の位置にあることを判定する。瞳孔や角膜反射像は、低解像度の撮影像からも安定して検出することができる特徴があり、安定して視線方向を判定することができる。また、角膜反射像の左右対称性は、個人差無く存在するので、事前の調整作業が不要であり、簡便に利用できる。さらに、１枚の画像だけでも判定が可能であるため、計測開始直後から判定可能である、一瞬だけ特定の方向を見ると言った状況でも判定が可能であるという効果も有する。また、本実施の形態では、左右の角膜反射像の線対称性を表す評価値を算出する評価値算出１６０を備え、視線方向判定部１７０は、この評価値を基に、まず左右角膜反射像の線対称性を判断し、次に特定の視線方向を判定するので、より一層精度の良い視線方向判定が可能になる。
　（実施の形態２）
　図９は、本発明の実施の形態２に係る視線方向判定装置の構成を示すブロック図である。本実施の形態の説明に当たり、図１と同一構成部分には同一番号を付して重複箇所の説明を省略する。
　本実施の形態は、自動車の車室内に設けられ、ドライバーの視線方向を検出して、正面を長時間向かなかった場合には警告を行う警報装置に対して、本発明の視線方向判定装置を適用した例である。
　また、視線方向判定装置５００は、顔がカメラと投光器の中点方向を向いている場合に、視線がカメラと投光器の中点を向いている否かを判定する場合を例に採る。
　視線方向判定装置５００は、画像入力部１１０、顔検出部１２０、顔部品検出部１３０、画像特徴検出部１４０、線対称位置算出部１５０、評価値算出部１６０、顔方向算出部５０１、及び顔視線方向判定部５０２を備えて構成される。
　顔方向算出部５０１は、顔部品検出部１３０から入力された顔部品位置から、顔方向情報を算出し、顔視線方向判定部５０２に出力する。
　顔視線方向判定部５０２は、まず、顔方向算出部５０１から入力された顔方向情報の水平成分がカメラと投光器の中間点を向いている場合は、処理を継続し、向いていない場合は、処理を終了する。次に、顔視線方向判定部５０２は、評価値算出部１６０から入力された線対称性評価値から、左右角膜反射像の線対称性を判断し、線対称性を有する場合には、被験者の視線方向が、カメラと投光器の中点方向を向いていると判定、また、線対称性がない場合には、カメラと投光器の中点方向を向いていないと判定し、判定結果を図示しない警報装置へ出力する。
　以下、上述のように構成された視線方向判定装置５００の動作を説明する。
　投光器（照射部１１２）が、カメラ（撮像部１１１）に対して水平にずれている場合の動作を示す。但し、本実施の形態におけるカメラと投光器のずれは、カメラと顔との距離に対して十分小さいものとする。
　図１０は、視線方向判定装置５００の視線方向判定処理を示すフローチャートである。図６に示すフローと同一処理を行う部分には同一ステップ番号を付して重複箇所の説明を省略する。
　ステップＳ７において、評価値算出部１６０により線対称性評価値が算出されると、ステップＳ２１に進む。
　ステップＳ２１において、顔方向算出部５０１は、顔部品検出部１３０から入力された顔部品群３０２から、顔方向情報を算出する。
　顔方向情報は、顔部品位置が三次元で入力される場合には、例えば、左右の目尻と、口角の中点がのる平面の法線ベクトルを顔方向ベクトルとして取得する。また、顔部品位置が二次元で入力される場合には、例えば、顔部品群３０２の分布から、標準的な頭部３次元モデルの姿勢を推定し、左右の目尻と、口角の中点が載る平面の法線ベクトルを顔方向ベクトルとして取得する。
　ステップＳ２２において、顔視線方向判定部５０２は、まず、顔方向算出部５０１から入力された顔方向情報から、顔方向が、カメラと投光器の中点を向いているか否かを判定する。判定方法は、例えば、あらかじめ計測したカメラの中心と、投光器の中心から、カメラの中心と、投光器の中心を結ぶベクトルを算出し、顔方向ベクトルの水平成分との内積をとる。
　内積の値が０の場合、顔方向が、カメラと投光器の中点を向いていると判定する。但し、内積の値は誤差を含んでいてもよく、必ずしも厳密に０でなくてもよい。このとき、顔方向が、カメラと投光器の中点を向いていると判定されなかった場合は、視線方向が特定の方向ではないと判定する。
　次に、顔視線方向判定部５０２は、評価値算出部１６０から入力された線対称性評価値から、視線方向が特定の方向であるか否かを判定する。例えば、線対称性評価値があらかじめ定められた閾値以上であれば、特定の方向を向いていると判定する。また、一定時間の評価値を記録し、その平均値が閾値以上の時、特定の方向を向いていると判定してもよい。特定の方向とは、例えばカメラと投光器の中点方向を表す。
　その他、上記視線方向判定を行うことができる技術であれば、どのような判定方法を採用してもよい。
　このように、本実施の形態によれば、視線方向判定装置５００は、顔方向情報を算出する顔方向算出部５０１を備え、顔視線方向判定部５０２は、まず、顔がカメラと投光器の中間点（一例に過ぎず任意位置でよい）を向いている場合は、実施の形態１と同様の視線方向判定処理を継続し、向いていない場合は、処理を終了する。これにより、視線方向だけではなく顔方向も判定動作に含めることができる。例えば、ドライバーの顔が正面を向いていることを検出することができる。ドライバーが正面を長時間向かなかった場合にこの情報を警報装置に出力し、警報装置が警報を発するなどの利用が可能になる。
　（実施の形態３）
　実施の形態３は、視線方向検出装置の検出誤差を自動的に補正する機能を有する、自動校正機能付き視線方向検出装置の適用例である。
　一般に、被験者の視線方向を画像から検出する場合、目尻や目頭、眉、鼻孔などの顔部品の位置と、瞳孔の位置を用いて視線方向を算出する。このとき、顔部品が、真値からずれて検出されたり、視線方向の算出する際に必要な眼球モデルが実際の眼球の形状に対して誤差があったりするため、検出された視線方向は、実際に被験者が見ている方向とは異なり、定量的なずれが発生する。
　この視線方向の真値とのずれを補正するために、計測前、もしくは計測中に校正作業が必要であるが、この作業は、頭部を固定して複数の点を注視するなど、被験者にとって煩雑で負荷が大きい。これは、校正の際に、被験者がどこを見ているのかを知る必要があるためである。
　実施の形態３は、この校正作業を自動的に行えるようにする。具体的には、実施の形態１，２の視線方向検出装置１００，５００によって、視線がカメラ方向を向いている時を検出し、その時の視線方向検出装置１００，５００の検出結果と比較して、そのずれを修正する。
　図１１は、本発明の実施の形態３に係る自動校正機能付き視線方向判定装置の構成を示すブロック図である。
　図１１に示すように、自動校正機能付き視線方向検出装置６００は、視線方向判定装置１００と、視線方向を顔画像から算出する視線方向算出部６１０と、視線方向算出部６１０の検出結果と真値とのずれを校正（補正）する視線検出校正部６２０と、校正結果のパラメータを記憶する校正パラメータ記憶部６３０と、視線検出の結果を出力する出力部６４０とを備えて構成される。
　本実施の形態では、実施の形態１の視線方向判定装置１００を用いているが、視線方向判定装置１００に代えて、実施の形態２の視線方向判定装置５００を用いてもよい。
　視線方向判定装置１００は、視線方向がカメラ方向を向いていることを判定し、判定結果を視線方向判定情報として取得する。また、視線方向判定装置１００の画像入力部１１０（図１参照）は、顔画像を視線方向算出部６１０に出力し、視線方向判定情報を、視線検出校正部６２０に出力する。
　視線方向算出部６１０は、視線方向判定装置１００の画像入力部１１０から入力された顔画像から視線方向を算出し、視線方向情報として、視線検出校正部６２０へ出力する。
　視線検出校正部６２０は、視線方向判定装置１００から入力された視線方向判定情報と、視線方向算出部６１０から入力された視線方向情報から、校正パラメータＰを算出し、校正パラメータを校正パラメータ記憶部６３０に入力する。また、視線検出校正部６２０は、視線方向算出部６１０から入力された視線方向情報と校正パラメータＰから、校正済み視線方向情報を取得する。校正パラメータＰについては、図１２のフローにより後述する。
　校正パラメータ記憶部６３０は、視線検出校正部６２０から入力された校正パラメータＰを記憶し、視線検出校正部６２０を経由して視線方向算出部６１０に出力する。
　出力部６４０は、視線検出校正部６２０から入力された校正済み視線方向情報を、音や映像、記号、文字などによって出力する。
　図１２は、自動校正機能付き視線方向検出装置６００の動作を示すフローチャートである。
　本プログラムがスタートすると、視線方向判定装置１００は、撮影作業を開始する。撮影作業の開始は、人手により行われてもよいし、外的な何らかの信号をトリガに視線方向判定装置１００により行われてもよい。
　ステップＳ３１において、視線方向算出部６１０は、視線方向を算出する。視線方向の算出は、視線方向情報を視線方向ベクトルＶｅとして取得する。例えば、視線検出方法は、以下の方法を採る。ａ．視線方向検出は、次のように、顔部品検出部１９０で検出した目尻及び目頭と、瞳孔検出部１４１で検出した瞳孔の中心から視線方向を算出する。ｂ．まず、目尻及び目頭の位置から、眼球の中心位置を推定する。例えば、目尻及び目頭を結ぶ線分の法線方向に、あらかじめ定められた距離だけ進んだところに眼球中心があるとみなす。ｃ．また、あらかじめ、目尻及び目頭に対する眼球中心の位置を多数の被験者に対して計測し、その平均を採るなど統計的な手法を採ってもよい。ｄ．次に、推定した眼球中心と瞳孔中心を結ぶ直線を算出する。ｅ．最後に、前記直線の方向ベクトルを算出し、これを視線方向ベクトルとして取得する。
　なお、上記視線方向算出を行うことができる技術であれば、どのような算出方法を採用してもよい。
　ステップＳ３２において、視線方向判定装置１００は、実施の形態１に示した方法で、視線方向がカメラ方向を向いているか否かを判定する。
　視線方向がカメラ方向を向いていると判定された場合は、ステップＳ３３に移行する。
　視線方向がカメラ方向を向いていないと判定された場合は、ステップＳ３５に移行する。
　ステップＳ３３において、視線検出校正部６２０は、視線方向算出の校正パラメータＰを算出する。校正パラメータＰは、例えば、上記ステップＳ３１で算出された視線方向ベクトルＶｅと、視線がカメラ方向を向いた場合の視線方向ベクトルＶｃとのなす角で表す。校正パラメータＰは、次式（５）で算出する。
Figure JPOXMLDOC01-appb-M000005
 　ステップＳ３４において、校正パラメータ記憶部６３０は、校正パラメータＰを記憶する。このとき、過去の校正パラメータＰは破棄し、最も新しい校正パラメータＰのみを記憶する。
　ステップＳ３５において、視線方向校正部６２０は、校正パラメータＰから、視線方向情報を校正し、校正済み視線方向情報として取得する。校正済み視線方向情報は、本実施の形態では、校正済み視線方向ベクトルＶｆで表現する。視線方向情報の校正は、例えば、次式（６）により算出する。
Figure JPOXMLDOC01-appb-M000006
 　但し、Ｒｏｔ（Ｐ）は、校正パラメータＰに相当する角度だけ回転させる回転行列である。
　ステップＳ３６において、出力部６４０は、補正済み視線方向情報を出力する。
　ステップＳ３７において、終了判定を行う。終了判定は、手動で行ってもよいし、何らかの自動的なトリガによってでもよい。
　終了判定の結果、終了する場合は、自動校正機能付き視線方向検出装置６００の視線検出校正動作を終了する。上記ステップＳ３７で終了しない場合は、上記ステップＳ３１に戻る。
　このように、本実施の形態によれば、視線方向の真値との定量的なずれを、リアルタイムで校正することができる。また、頭部を固定して複数の点を注視するなど、被験者にとって煩雑で負荷のかかる作業を必要としない優れた効果がある。これにより、以下の効果を得ることができる。
　（１）特定の注視対象を見なくても、自動的に補正（校正）が可能になる。このことは、注視が不要であることにつながり、処理の軽量化、誤判定防止を実現することができる。
　（２）補正可能な機会を増やすことができる。１フレームでもカメラ方向を見ればよいので、高確率で補正可能な機会が拡がる。
　図１３は、視線方向のオフセット（真値からの定量的なずれ）を自動的に補正可能なことを説明する図である。
　図１３Ａに示すように、従来の視線検出手法では、視線方向に真値からの定量的なずれが発生する。顔２０２の中心正面方向を０°とした場合、視線方向は約１０°左方向にずれている。これを補正するためには、特定の場所を「いつ」見ているのか検出する必要がある。しかし解決課題で述べたようにこの補正は困難であった。本視線方向判定装置１００では、投光器２０１の角膜反射像を左右の目で取得し、瞳孔２０４に対する反射像位置２０５の対称性から投光器方向を見ている時をリアルタイムで検出することができる。これにより、図１３Ｂに示すように、視線方向のオフセットを自動的に補正し、高精度な視線検出を実現することが可能になる。
　（実施の形態４）
　図１４は、本発明の実施の形態４に係る視線方向判定装置の構成を示すブロック図である。
　顔画像は、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるとして説明する。
　図１４に示すように、視線方向判定装置１４００は、照射部１１２と、撮像部１４０１と、瞳孔検出部１４０２と、角膜反射像検出部１４０３と、線対称位置算出部１４０４と、視線方向判定部１４０５とを備えて構成される。
　照射部１１２は、運転者の両目の角膜を光源によって照射し、撮像部１４０１は、光源によって照射された両目を含む顔画像を撮像する。
　照射部１１２は、実施の形態１において説明したとおり、光源を有する。照射部１１２は、撮像部１４０１の露光開始から終了までの間は少なくとも発光する。照射部１１２と、撮像部１４０１との位置関係については後述する。
　撮像部１４０１は、ＣＣＤやＣＭＯＳなどのイメージセンサを備えており、両目を含む顔画像を取得する。なお、撮像部１４０１は、運転者の視線が車の進行方向を向いた場合において両目の瞳孔を結ぶ線分の中心点に対して、正面上方または正面下方に設置される。すなわち、運転者の視線が車の進行方向を向いている場合、運転者の視線は撮像部１４０１の垂直方向を向いていることになる。
　瞳孔検出部１４０２は、撮像部１４０１において撮像された顔画像に基づいて瞳孔の中心座標を算出し、角膜反射像検出部１４０３は、撮像部１４０１において取得した顔画像に基づいて照射部１１２の有する光源の角膜における角膜反射像の中心座標を算出する。
　線対称位置算出部１４０４は、両目の瞳孔の中心座標と両目の角膜反射像の中心座標とに基づいて、左目の瞳孔の中心座標と右目の瞳孔の中心座標とを結ぶ線分の垂直二等分線に対する、両目のうち一方の目の角膜反射像の線対称位置の座標を算出する。
　視線方向判定部１４０５は、両目のうち他方の目の角膜反射像の中心座標と、線対称位置の座標との距離に基づいて、運転者の視線方向を判定する。
　次に、図１５を用いて、照射部１１２と撮像部１４０１との位置関係について説明する。
　図１５は、両目、照射部１１２、及び撮像部１４０１の位置関係を示す図であり、図１５Ａは両目、照射部１１２、及び撮像部１４０１の鳥瞰図を示し、図１５Ｂは両目の正面図を示し、図１５Ｃは両目、照射部１１２、撮像部１４０１の側面図を示す。なお、図１５において、撮像部１４０１は両目を撮像できる位置であり、照射部１１２は両目の角膜を光源によって照射できる位置にあることが前提である。
　図１５に示すように、右目の瞳孔１５０１、左目の瞳孔１５０２、右目の眼球１５０３、左目の眼球１５０４とした場合、右目の瞳孔１５０１の中心と左目の瞳孔１５０２の中心とを結ぶ線分１５０５が示される。また、線分１５０５を含む平面１５０６、照射部１１２から平面１５０６への垂線１５０７、撮像部１４０１から平面１５０６への垂線１５０８、平面１５０６に含まれる線分１５０５の垂直二等分線１５０９、平面１５０６に対する垂線１５０７の足１５１０、平面１５０６に対する垂線１５０８の足１５１１とする。
　図１５Ａに示すように、右目の瞳孔１５０１の中心と左目の瞳孔１５０２の中心とを結ぶ線分１５０５に対して、撮像部１４０１及び照射部１１２の向きは垂直である。
　また、図１５Ｂ．Ｃに示すように、線分１５０５を含む平面１５０６に対する撮像部１４０１の垂線１５０８の足１５１１と、平面１５０６に対する照射部１１２の垂線１５０７の足１５１０とを結ぶ線分１５０９は、線分１５０７の垂直二等分線である。
　なお、図１５Ｃに示すように、平面１５０６は右目の瞳孔１５０１に対して垂直であるとして説明したが、この限りではない。すなわち、平面１５０６は、右目の瞳孔１５０１と垂直な面に対して任意の角度を有している場合においても、垂線１５０７及び垂線１５０９との関係が上述の関係にあればよい。
　また、図１５Ａに示すように、撮像部１４０１から線分１５０５への距離は、照射部１１２から線分１５０５への距離よりも近いとして説明したが、この限りではない。すなわち、鳥瞰図において、撮像部１４０１から線分１５０５への距離は、照射部１１２から線分１５０５への距離よりも遠くてもよく、同じでもよい。
　また、右目の瞳孔１５０１の視線方向に対して、撮像部１４０１及び照射部１１２は下方に位置しているとして説明したが、撮像部１４０１及び照射部１１２の一方、若しくは両方が上方に位置していてもよい。
　以上のように、照射部１１２は、撮像部１４０１から両目の瞳孔を結ぶ線分を含む平面への垂線の足と、照射部１１２から当該平面への垂線の足とを結ぶ線分が、両目の瞳孔を結ぶ線分と直行するように設置される。
　瞳孔検出部１４０２は、撮像部１４０１において取得した顔画像から両目の瞳孔を検出し、両目の瞳孔の中心座標を算出する。具体的には、瞳孔検出部１４０２は、顔画像に含まれる両目に対して円形分離度フィルタを適用することにより、最も輝度の分離度が高い円を瞳孔として検出し、顔画像における瞳孔の中心座標を算出する。
　角膜反射像検出部１４０３は、撮像部１４０１において取得した顔画像から、照射部１１２の有する光源の角膜における角膜反射像を検出し、左右角膜反射像の中心座標を算出する。上記角膜反射像とは、角膜に光源が映った場合に角膜に生じる光源の反射像である。具体的には、角膜反射像検出部１４０３は、顔画像に対して輝度ヒストグラムを算出し、輝度が最大となる画素の重心を検出し、角膜反射像の中心座標として算出する。
　ここで、輝度が最大となる画素の重心は、輝度が最大となる画素、又は所定の値以上の輝度を有する画素を顔画像から抽出し、当該画素の座標を重心である。上記所定の値は、輝度ヒストグラムにおいて所定の値以上の輝度を有する画素の数が、所定の数以上となるように動的に決定してもよく、又は予め定められた値でもよい。
　なお、重心の算出時の座標平均は、単純平均でもよいし、輝度を重みとした重み付き平均でもよい。
　線対称位置算出部１４０４は、瞳孔検出部１４０３から両目の瞳孔の中心座標を受け、角膜反射像検出部１４０４から両目の角膜反射像の中心座標を受ける。そして、線対称位置算出部１４０４は、左目の瞳孔の中心座標と右目の瞳孔の中心座標とを結ぶ線分の垂直二等分線を算出し、両目のうち一方の目の角膜反射像の垂直二等分線に対する線対称位置の座標を算出する。
　図１６は、角膜反射像と角膜投影像の位置関係を示す図であり、図１６Ａは視線が撮像部１４０１（図１４）の垂直方向を向いた場合の顔画像における両目の正面図を示し、図１６Ｂは視線が撮像部１４０１の垂直方向に対して横方向を向いた場合の顔画像における両目の正面図を示す。
　図１６Ａに示すように、両目を含んだ顔画像１６００、右目１６０１、左目１６０２、右目の角膜１６０３、左目の角膜１６０４、右目の瞳孔１６０５、左目の瞳孔１６０６、右目の角膜反射像１６０７、左目の角膜反射像１６０８、右目の瞳孔と左目の瞳孔とを結んだ線分１６０９、線分１６０９の垂直二等分線１６１０、角膜投影像１６１１とする。
　図１６Ａに示すように、視線が撮像部１４０１（図１４）の垂直方向を向いた場合、照射部１１２（図１４）の光源は両目の角膜を正面から照射するため、右目の角膜反射像１６０７ａは右目の瞳孔１６０５ａに対して顔の内側に投影され、左目の角膜反射像１６０８ａは左目の動向１６０６ａに対して顔の内側に投影される。
　線対称位置算出部１４０４は、顔画像１６００ａにおいて、右目の瞳孔１６０５ａと左目の瞳孔１６０６ａとに基づいて線分１６０９ａを結び、線分１６０９ａの垂直二等分線１６１０ａを算出する。
　そして、線対称位置算出部１４０４は、垂直二等分線１６１０ａに対して右目の角膜反射像１６０７ａと線対称の位置にある座標点を算出する。上記座標点を角膜投影像と定義する。
　ここで、図１６Ａに示すように、視線が撮像部１４０１の垂直方向を向いた場合、照射部１１２の光源は両目の角膜を正面から照射するため、右目の角膜反射像１６０７ａと左目の角膜反射像１６０８ａとは、垂直二等分線１６１０ａに対して線対称である。従って、両目の角膜の形状が同一である等の条件の下においては、角膜投影像１６１１ａと左目の角膜反射像１６０８ａとは、同一座標となる。
　なお、線対称位置算出部１４０４は、図１６Ｂに示すように、視線が撮像部１４０１の垂直方向に対して横方向を向いた場合においても、図１６Ａを用いて説明した処理と同じ処理を行い、角膜等映像１６１１ｂを算出する。
　ここで、図１６Ｂに示すように、視線が撮像部１４０１の垂直方向の横方向を向いた場合、照射部１１２の光源は両目の角膜を横方向から照射するため、右目の角膜反射像１６０７ｂと左目の角膜反射像１６０８ｂとは、垂直二等分線１６１０ｂに対して線対称とはならない。したがって、角膜投影像１６１１ｂの座標点と左目の角膜反射像１６０８ｂの座標点との間には距離が生じ、視線が撮像部１４０１の垂直方向から外れるほど距離は大きくなる。
　以上説明した視線の方向と、角膜反射像１６０８ｂと角膜投影像１６１１ｂとの距離と、の関係に基づいて、視線方向判定部１４０５の機能を説明する。
　ここでは、垂直二等分線１６１０ａに対して右目の角膜反射像１６０７ａと線対称位置にある座標点を角膜等映像として算出したが、垂直二等分線１６１０ａに対して左目の角膜反射像１６０８ａと線対称位置にある座標点を角膜等映像として算出してもよい。この場合、後述する視線方向判定部１４０５において、角膜等映像の座標点と右目の角膜反射像の座標点との距離に基づいて、視線方向を判定することとなる。
　視線方向判定部１４０５は、線対称位置算出部１４０４において算出された角膜投影像１６１１の座標点と、角膜反射像１６１１と同一角膜に存在する角膜反射像との距離を算出し、所定の閾値と比較することにより、視線方向を判定する。
　図１６で述べたように、視線が撮像部１４０１の垂直方向を向いている場合、一方の目の角膜投影像と他方の角膜反射像とは同一座標点、若しくは近傍の座標点に存在する。
　一方、視線が撮像部１４０１の垂直方向に対して横方向を向いている場合、一方の目の角膜投影像と他方の角膜反射像とは離れる。
　したかって、顔画像において、一方の目の角膜投影像と他方の角膜反射像との距離が、所定の距離よりも小さい場合は、視線が撮像部１４０１の垂直方向、若しくは垂直方向に対して近傍の横方向を向いていると判定でき、一方の目の角膜投影像と他方の角膜反射像との距離が、所定の距離よりも大きい場合は、視線が撮像部１４０１の垂直方向、若しくは垂直方向に対して近傍の横方向を向いていないと判定できる。
　以上のような原理に基づき、視線方向判定部１４０５は、角膜投影像１６１１ａの座標点と角膜反射像１６０８ａの座標店との距離を算出し、所定の閾値と比較することによって、視線方向を判定する。
　所定の閾値は、角膜形状を含む顔部品に起因するため、運転者の個性に合わせて設定される必要がある。
　以上の説明においては、角膜投影像１６１１ａの座標点と角膜反射像１６０８ａの座標点との距離を視線方向判定部１４０５において算出することにより、視線方向を判定したが、実施の形態１において説明したように、評価値算出部を設けてもよい。
　なお、実施の形態１において説明したとおり、図１７に示すように、警報装置部１７０１を更に有する構成としてもよい。図１７は、警報装置部１７０１を有する視線方向判定装置１７００の構成を示すブロック図である。警報装置部１７０１は、視線が正面方向を向いていないと判定された場合、正面を向いていないと判定された回数を表す警報カウントＮが所定の閾値を超えた場合は、長時間正面を見ていないと見なして警報を発する。
　以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本実施の形態では、自動車の車室内に設けられ、ドライバーの視線方向を検出して、正面を長時間向かなかった場合には警告を行う警報装置について説明したが、視線方向を判定する視線方向判定装置を有する電子機器であればどのような装置にも適用できる。
　例えば、テレビ、スピーカなどの情報提示機器や、監視カメラなどの安全状態監視機器、スチールカメラやビデオカメラなどの映像記録機器、ロボットなどの生活補助機器、ＴＶゲームや体感ゲームなどの遊戯機器などに適用することも考え得る。上記機器に適用することで、従来の技術のように、個人ごとに校正をあらかじめ行ったりする必要がなく、かつ安定して視線方向の判定を行うことができるという効果を有する。
　その場合、上記各実施の形態の警報装置は、入力画像を記録するための映像記録手段や、ロボットがユーザ又はロボットなどの状況を把握するための周辺情報把握手段、ゲームの状態を変化させるための状態更新手段などに置き換えることで、実現することができる。
　また、上記各実施の形態における線対称位置算出方法は一例に過ぎず、様々な算出方法で代替可能である。また、線対称性評価値算出方法も他の算出方法を採ってもよい。但し、本発明者らの実験等によれば、線対称位置に対応する目の角膜反射像の中心との距離を基に、評価値を算出する本方法によると良好な結果が得られた。
　また、本実施の形態では、視線方向判定装置及び視線方向判定方法という名称を用いたが、これは説明の便宜上であり、装置は視線検出装置、方法は視線方向検出方法等であってもよい。
　さらに、上記視線方向判定装置を構成する各構成部、例えば顔検出部の種類、その顔部品検出方法など、さらには画像特徴検出部の種類などは前述した実施の形態に限られない。
　以上説明した視線方向判定装置は、この視線方向判定装置の視線方向判定方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
　２００８年９月２６日出願の特願２００８－２４８８７７の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
　本発明に係る視線方向判定装置及び視線方向判定方法は、パーソナルコンピュータ、ＯＡ機器、携帯電話などの情報端末や、自動車、飛行機、船、電車などの移動手段に搭載される情報提供装置として有用である。また、監視、警報装置や、ロボット、映像音響再生装置などの用途にも応用することができる。
　１００，５００，１４００，１７００　視線方向判定装置
　１１０　画像入力部
　１１１　撮像部
　１１２　照射部
　１１３　同期部
　１２０　顔検出部
　１３０　顔部品検出部
　１４０　画像特徴検出部
　１４１　瞳孔検出部
　１４２　角膜反射像検出部
　１５０　線対称位置算出部
　１６０　評価値算出部
　１７０　視線方向判定部
　５０１　顔方向算出部
　５０２　顔視線方向判定部
　６００　自動校正機能付き視線方向検出装置
　６１０　視線方向算出部
　６２０　視線検出校正部
　６３０　校正パラメータ記憶部
　６４０　出力部
　１４００　視線方向判定装置
　１４０１　撮像部
　１４０２　瞳孔検出部
　１４０３　角膜反射像検出部
　１４０４　線対称位置算出部
　１４０５　視線方向判定部
　１５０１　右目の瞳孔
　１５０２　左目の瞳孔
　１５０３　右目の眼球
　１５０４　左目の眼球
　１５０５　右目の瞳孔の中心と左目の瞳孔の中心とを結ぶ線分
　１５０６　平面
　１５０７　垂線
　１５０８　垂線
　１５０９　垂直二等分線
　１５１０　垂線の足
　１５１１　垂線の足
　１６００　顔画像
　１６０１　右目
　１６０２　左目
　１６０３　右目の角膜
　１６０４　左目の角膜
　１６０５　右目の瞳孔
　１６０６　左目の瞳孔
　１６０７　右目の角膜反射像
　１６０８　左目の角膜反射像
　１６０９　線分
　１６１０　垂直二等分線
　１６１１　角膜投影像　１７００　視線方向判定装置
　１７０１　警報装置部

Claims (7)

  1. 　両目を含む顔画像を撮像する撮像部と、
    　前記両目の角膜を光源によって照射する照射部と、
    　前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出する瞳孔検出部と、
    　前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出する角膜反射像検出部と、
    　前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出する線対称位置算出部と、
    　前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定部と、
    　を備える視線方向判定装置。
  2. 　前記撮像部から前記第１の線分を含む平面への垂線の足と、前記照射部から前記平面への垂線の足とを結ぶ第２の線分が、前記第１の線分と直行する請求項１記載の視差方向判定装置。
  3. 　警報装置を更に有し、
    　前記警報装置は、前記視線方向判定部における判定結果を受け、前記視線方向が特定の方向ではないという判定結果を受けた回数をカウントし、前記カウント数が所定の回数を超えた場合は警告を発する請求項１記載の視線方向判定装置。
  4. 　前記警報装置は、前記視線方向が前記特定の方向であるという判定結果を受けた場合、前記カウント数をゼロにする請求項３記載の視線方向判定装置。
  5. 　前記顔画像に基づいて顔方向を判定する顔方向算出部と、
    　前記顔方向算出部において前記顔方向が前記特定の方向であると判定された場合は、前記座標距離と前記所定の閾値とに基づいて、視線方向を判定する顔視線方向判定部を更に有し、
    　前記視線方向判断部は、顔の方向をパラメータにして、視線方向を判定する請求項１記載の視線方向判定装置。
  6. 　前記撮像部において取得した前記顔画像から視線方向情報を算出する視線方向算出部と、
    　前記視線方向判定部における判定結果と、前記視線方向算出情報とに基づいて、前記視線方向のずれ値を算出し、前記ずれ値に基づいて視線方向を校正する校正部と、
    　を備える請求項１記載の視線方向判定装置。
  7. 　両目を含む顔画像を撮像し、
    　前記両目の角膜を光源によって照射し、
    　前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出し、
    　前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出し、
    　前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出し、
    　前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定方法。
PCT/JP2009/004853 2008-09-26 2009-09-25 視線方向判定装置及び視線方向判定方法 Ceased WO2010035472A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010530731A JP5230748B2 (ja) 2008-09-26 2009-09-25 視線方向判定装置及び視線方向判定方法
US13/121,220 US8538044B2 (en) 2008-09-26 2009-09-25 Line-of-sight direction determination device and line-of-sight direction determination method
EP09815894.2A EP2338416B1 (en) 2008-09-26 2009-09-25 Line-of-sight direction determination device and line-of-sight direction determination method
CN2009801354621A CN102149325B (zh) 2008-09-26 2009-09-25 视线方向判定装置及视线方向判定方法
US14/027,501 US20140043459A1 (en) 2008-09-26 2013-09-16 Line-of-sight direction determination device and line-of-sight direction determination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-248877 2008-09-26
JP2008248877 2008-09-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/121,220 A-371-Of-International US8538044B2 (en) 2008-09-26 2009-09-25 Line-of-sight direction determination device and line-of-sight direction determination method
US14/027,501 Continuation US20140043459A1 (en) 2008-09-26 2013-09-16 Line-of-sight direction determination device and line-of-sight direction determination method

Publications (1)

Publication Number Publication Date
WO2010035472A1 true WO2010035472A1 (ja) 2010-04-01

Family

ID=42059485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004853 Ceased WO2010035472A1 (ja) 2008-09-26 2009-09-25 視線方向判定装置及び視線方向判定方法

Country Status (5)

Country Link
US (2) US8538044B2 (ja)
EP (1) EP2338416B1 (ja)
JP (1) JP5230748B2 (ja)
CN (1) CN102149325B (ja)
WO (1) WO2010035472A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510734A (zh) * 2010-07-20 2012-06-20 松下电器产业株式会社 瞳孔检测装置及瞳孔检测方法
CN104114079A (zh) * 2011-10-24 2014-10-22 Iriss医疗科技有限公司 用于识别眼部健康状况的系统和方法
JP2015159550A (ja) * 2015-03-19 2015-09-03 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP2017063995A (ja) * 2015-09-29 2017-04-06 株式会社トプコン 眼科装置
EP2649932A4 (en) * 2010-12-08 2017-06-14 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
WO2017195450A1 (ja) * 2016-05-10 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法
JP2018025987A (ja) * 2016-08-10 2018-02-15 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
CN109464236A (zh) * 2017-09-08 2019-03-15 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测系统
KR20190135598A (ko) * 2018-05-29 2019-12-09 상명대학교산학협력단 얼굴 대칭성 측정 장치 및 방법
WO2020065790A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 推定装置、推定方法、および記憶媒体
WO2021140579A1 (ja) * 2020-01-08 2021-07-15 三菱電機株式会社 瞳孔検出装置、視線検出装置、搭乗者監視システム及び瞳孔検出方法
WO2021171396A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
WO2021171395A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
JP2022023643A (ja) * 2020-07-27 2022-02-08 キヤノン株式会社 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム
US20220415083A1 (en) * 2021-06-29 2022-12-29 Samsung Electronics Co., Ltd. Electronic device and operating method of electronic device for correcting error during gaze direction recognition
KR102892267B1 (ko) 2023-02-14 2025-11-28 한국기술교육대학교 산학협력단 안면거울과 얼굴각도 추정에 의한 안검하수 비전장치 및 그 제어방법

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5634111B2 (ja) * 2010-04-28 2014-12-03 キヤノン株式会社 映像編集装置、映像編集方法及びプログラム
WO2011148455A1 (ja) * 2010-05-25 2011-12-01 富士通株式会社 映像処理装置、映像処理方法及び映像処理プログラム
JP5618686B2 (ja) * 2010-08-03 2014-11-05 キヤノン株式会社 視線検出装置、視線検出方法及びプログラム
JP5714951B2 (ja) * 2011-03-22 2015-05-07 パナソニック株式会社 両眼瞳孔検査装置
CN104094197B (zh) * 2012-02-06 2018-05-11 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
US9148537B1 (en) * 2012-05-18 2015-09-29 hopTo Inc. Facial cues as commands
US9395826B1 (en) 2012-05-25 2016-07-19 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
CN103054548A (zh) * 2012-07-05 2013-04-24 东北电力大学 凝视点测量装置及瞳孔、普尔钦亮斑识别方法
JP2014048936A (ja) * 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US8937552B1 (en) * 2013-01-02 2015-01-20 The Boeing Company Heads down warning system
US9730655B2 (en) * 2013-01-21 2017-08-15 Tracy J. Stark Method for improved detection of nodules in medical images
JP6157165B2 (ja) * 2013-03-22 2017-07-05 キヤノン株式会社 視線検出装置及び撮像装置
KR102037417B1 (ko) 2013-08-13 2019-10-28 삼성전자주식회사 홍채 영상 촬영 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 홍채 영상 촬영 장치
WO2015064080A1 (ja) * 2013-11-01 2015-05-07 パナソニックＩｐマネジメント株式会社 視線方向検出装置および視線方向検出方法
CN103594003B (zh) * 2013-11-13 2015-11-25 安徽三联交通应用技术股份有限公司 一种用于驾驶人的远程监控与异常预警的方法
KR101470243B1 (ko) * 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
US9189692B2 (en) * 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
TWI577327B (zh) * 2014-08-14 2017-04-11 由田新技股份有限公司 瞳孔定位方法與裝置及其電腦程式產品
KR101610496B1 (ko) * 2014-08-26 2016-04-07 현대자동차주식회사 시선 추적 방법 및 장치
KR20160025316A (ko) * 2014-08-27 2016-03-08 현대자동차주식회사 동공 검출 시스템 및 그 방법
JP6346525B2 (ja) * 2014-08-29 2018-06-20 アルプス電気株式会社 視線検出装置
JP2016106668A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3236338B1 (en) 2014-12-17 2019-12-18 Sony Corporation Information processing apparatus, information processing method and program
CN105704369B (zh) * 2016-01-20 2019-02-15 努比亚技术有限公司 一种信息处理方法及装置、电子设备
CN105913487B (zh) 2016-04-09 2018-07-06 北京航空航天大学 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
CN106123819B (zh) * 2016-06-29 2018-07-24 华中科技大学 一种注意力焦点测量方法
US9875398B1 (en) * 2016-06-30 2018-01-23 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition with two-dimensional sensing modality
US12094224B2 (en) * 2016-07-01 2024-09-17 Eyesight Mobile Technologies Ltd. System and method for driver monitoring
JP6800091B2 (ja) * 2017-06-09 2020-12-16 株式会社豊田中央研究所 視線計測装置及びプログラム
CN107323338B (zh) * 2017-07-03 2020-04-03 北京汽车研究总院有限公司 车用转向灯控制系统、控制方法及车辆
JP7180067B2 (ja) * 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
DK3480729T3 (da) * 2017-11-07 2023-04-03 Tata Consultancy Services Ltd System og fremgangsmåde til ansigtspositionssporing og alarmering af en bruger
KR102460665B1 (ko) * 2017-12-14 2022-10-31 삼성전자주식회사 응시 거리를 결정하는 방법 및 디바이스
JP6717330B2 (ja) 2018-03-15 2020-07-01 オムロン株式会社 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
JP7388349B2 (ja) * 2018-03-29 2023-11-29 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
CN108891414A (zh) * 2018-05-22 2018-11-27 通化市聚诚网络科技有限公司 一种车道变换辅助方法及装置
JP7180228B2 (ja) * 2018-09-20 2022-11-30 いすゞ自動車株式会社 車両用監視装置
JP7192872B2 (ja) 2018-10-16 2022-12-20 日本電気株式会社 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体
JP7173836B2 (ja) * 2018-11-05 2022-11-16 京セラ株式会社 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
CN113557519A (zh) * 2019-03-14 2021-10-26 日本电气株式会社 信息处理设备、信息处理系统、信息处理方法以及记录介质
TWI725441B (zh) * 2019-05-15 2021-04-21 劉恩銓 生物訊號檢測分析方法
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN111860440B (zh) * 2020-07-31 2024-08-06 广州繁星互娱信息科技有限公司 人脸特征点的位置调整方法、装置、终端及存储介质
KR102497805B1 (ko) * 2020-07-31 2023-02-10 주식회사 펫타버스 인공지능 기반 반려동물 신원확인 시스템 및 방법
CN112270283A (zh) * 2020-11-04 2021-01-26 北京百度网讯科技有限公司 异常驾驶行为确定方法、装置、设备、车辆和介质
CN112541400B (zh) * 2020-11-20 2024-06-21 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
US11762078B2 (en) * 2021-01-27 2023-09-19 Qualcomm Incorporated Line of sight determination based on direction and distance thresholds
JP7640291B2 (ja) 2021-03-08 2025-03-05 本田技研工業株式会社 較正装置及び較正方法
CN113116292B (zh) * 2021-04-22 2023-07-11 上海交通大学医学院附属第九人民医院 基于眼部外观图像的眼位测量方法、装置、终端和设备
JP2024013947A (ja) * 2022-07-21 2024-02-01 キヤノン株式会社 撮像装置、撮像装置の撮像方法およびプログラム
JP7697913B2 (ja) * 2022-07-25 2025-06-24 トヨタ自動車株式会社 視線推定装置、視線推定用コンピュータプログラム及び視線推定方法
CN118680511B (zh) * 2024-08-26 2025-03-07 宁波法里奥光学科技发展有限公司 一种人眼三维定位装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH024313A (ja) * 1988-06-13 1990-01-09 Nippon Telegr & Teleph Corp <Ntt> 注視位置検出装置
JP2002119478A (ja) * 2000-10-19 2002-04-23 Canon Inc 視線検出機能付き装置
WO2008007781A1 (en) * 2006-07-14 2008-01-17 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
JP2008126329A (ja) * 2006-11-17 2008-06-05 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3186072B2 (ja) 1991-01-08 2001-07-11 キヤノン株式会社 視線検出装置を有する機器
JPH08297019A (ja) * 1995-04-27 1996-11-12 Nissan Motor Co Ltd 車両用視線方向計測装置
US5926655A (en) * 1995-08-15 1999-07-20 Canon Kabushiki Kaisha Line of sight detection device and an apparatus having a line of sight detection device
JP2005066023A (ja) 2003-08-25 2005-03-17 Nissan Motor Co Ltd 運転者状態検出装置
JP4376685B2 (ja) * 2004-04-16 2009-12-02 本田技研工業株式会社 視線検出装置
US7580545B2 (en) * 2005-10-03 2009-08-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for determining gaze direction in a pupil detection system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH024313A (ja) * 1988-06-13 1990-01-09 Nippon Telegr & Teleph Corp <Ntt> 注視位置検出装置
JP2002119478A (ja) * 2000-10-19 2002-04-23 Canon Inc 視線検出機能付き装置
WO2008007781A1 (en) * 2006-07-14 2008-01-17 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
JP2008126329A (ja) * 2006-11-17 2008-06-05 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510734A (zh) * 2010-07-20 2012-06-20 松下电器产业株式会社 瞳孔检测装置及瞳孔检测方法
CN102510734B (zh) * 2010-07-20 2015-05-13 松下电器（美国）知识产权公司 瞳孔检测装置及瞳孔检测方法
EP2596746A4 (en) * 2010-07-20 2017-08-30 Panasonic Intellectual Property Corporation of America Pupil detection device and pupil detection method
EP2649932A4 (en) * 2010-12-08 2017-06-14 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
CN104114079A (zh) * 2011-10-24 2014-10-22 Iriss医疗科技有限公司 用于识别眼部健康状况的系统和方法
JP2014530730A (ja) * 2011-10-24 2014-11-20 アイリス・メディカル・テクノロジーズ・リミテッド 目の症状を特定するためのシステムおよび方法
JP2015159550A (ja) * 2015-03-19 2015-09-03 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP2017063995A (ja) * 2015-09-29 2017-04-06 株式会社トプコン 眼科装置
US10757337B2 (en) 2016-05-10 2020-08-25 Sony Corporation Information processing apparatus and information processing method to control exposure for imaging the eye
WO2017195450A1 (ja) * 2016-05-10 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法
JP2018025987A (ja) * 2016-08-10 2018-02-15 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
CN109464236A (zh) * 2017-09-08 2019-03-15 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测系统
KR20190135598A (ko) * 2018-05-29 2019-12-09 상명대학교산학협력단 얼굴 대칭성 측정 장치 및 방법
KR102115150B1 (ko) 2018-05-29 2020-06-08 상명대학교산학협력단 얼굴 대칭성 측정 장치 및 방법
US12125315B2 (en) 2018-09-26 2024-10-22 Nec Corporation Direction estimation device, direction estimation method, and storage medium
US12112570B2 (en) 2018-09-26 2024-10-08 Nec Corporation Direction estimation device, direction estimation method, and storage medium
US12217539B2 (en) 2018-09-26 2025-02-04 Nec Corporation Estimation device, estimation method, and storage medium
WO2020065790A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 推定装置、推定方法、および記憶媒体
JP7278425B2 (ja) 2020-01-08 2023-05-19 三菱電機株式会社 瞳孔検出装置、視線検出装置、搭乗者監視システム及び瞳孔検出方法
WO2021140579A1 (ja) * 2020-01-08 2021-07-15 三菱電機株式会社 瞳孔検出装置、視線検出装置、搭乗者監視システム及び瞳孔検出方法
JPWO2021140579A1 (ja) * 2020-01-08 2021-07-15
US12277728B2 (en) 2020-01-08 2025-04-15 Mitsubishi Electric Corporation Pupil detection device, line-of-sight detection device, occupant monitoring system, and pupil detection method
WO2021171395A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
WO2021171396A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
JP2022023643A (ja) * 2020-07-27 2022-02-08 キヤノン株式会社 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム
JP7538647B2 (ja) 2020-07-27 2024-08-22 キヤノン株式会社 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム
US20220415083A1 (en) * 2021-06-29 2022-12-29 Samsung Electronics Co., Ltd. Electronic device and operating method of electronic device for correcting error during gaze direction recognition
US12223769B2 (en) * 2021-06-29 2025-02-11 Samsung Electronics Co., Ltd. Electronic device and operating method of electronic device for correcting error during gaze direction recognition
KR102892267B1 (ko) 2023-02-14 2025-11-28 한국기술교육대학교 산학협력단 안면거울과 얼굴각도 추정에 의한 안검하수 비전장치 및 그 제어방법

Also Published As

Publication number Publication date
JP5230748B2 (ja) 2013-07-10
EP2338416A4 (en) 2018-02-14
CN102149325B (zh) 2013-01-02
US20140043459A1 (en) 2014-02-13
US8538044B2 (en) 2013-09-17
EP2338416B1 (en) 2019-02-27
US20110249868A1 (en) 2011-10-13
CN102149325A (zh) 2011-08-10
EP2338416A1 (en) 2011-06-29
JPWO2010035472A1 (ja) 2012-02-16

Similar Documents

Publication Publication Date Title
JP5230748B2 (ja) 視線方向判定装置及び視線方向判定方法
JP5137833B2 (ja) 視線方向検出装置および視線方向検出方法
US10521683B2 (en) Glare reduction
CN108621940B (zh) 车辆的显示系统及车辆的显示系统的控制方法
EP2649932A1 (en) Method for detecting point of gaze and device for detecting point of gaze
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
JPWO2018030515A1 (ja) 視線検出装置
WO2015064080A1 (ja) 視線方向検出装置および視線方向検出方法
JP6601351B2 (ja) 視線計測装置
US10997861B2 (en) Luminance control device, luminance control system, and luminance control method
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP2019098024A (ja) 画像処理装置及び画像処理方法
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
JP2005261728A (ja) 視線方向認識装置及び視線方向認識プログラム
CN109791294B (zh) 用于运行具有数据眼镜的显示系统的方法和设备
JP6906943B2 (ja) 車載器
JP2018101212A (ja) 車載器および顔正面度算出方法
CN114004889A (zh) 一种融合头部姿态的三维眼球移动方向判断方法
JP2017138645A (ja) 視線検出装置
US10572730B2 (en) Visual line measuring device and visual line measuring method
JP2005081101A (ja) 視線方向検出装置及び視線方向検出方法
WO2015080003A1 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
JP2020081756A (ja) 顔画像処理装置、画像観察システム、及び瞳孔検出システム
JP2024120464A (ja) 瞳孔検出装置及び瞳孔検出方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980135462.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09815894

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010530731

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009815894

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13121220

Country of ref document: US