WO2017092679A1 - 一种眼球跟踪的方法及装置、设备 - Google Patents

一种眼球跟踪的方法及装置、设备 Download PDF

Info

Publication number
WO2017092679A1
WO2017092679A1 PCT/CN2016/108060 CN2016108060W WO2017092679A1 WO 2017092679 A1 WO2017092679 A1 WO 2017092679A1 CN 2016108060 W CN2016108060 W CN 2016108060W WO 2017092679 A1 WO2017092679 A1 WO 2017092679A1
Authority
WO
WIPO (PCT)
Prior art keywords
eyeball
grayscale image
nth frame
facial
grayscale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/108060
Other languages
English (en)
French (fr)
Inventor
蔡子豪
冯亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to US15/780,641 priority Critical patent/US10699420B2/en
Priority to CA3025964A priority patent/CA3025964C/en
Priority to EP16869989.0A priority patent/EP3385885A4/en
Publication of WO2017092679A1 publication Critical patent/WO2017092679A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to the field of visual tracking technology, and in particular, to a method, device and device for eyeball tracking.
  • Eye tracking is an algorithm for tracking eye movements.
  • the algorithm can perform eye iris contour detection and localization for each frame of video recording, then use the optimal frame to fit and mark, and can calculate pupils. The location of the center.
  • Embodiments of the present invention provide a method, device, and device for eyeball tracking, which are used to automatically detect a starting point of an eyeball, and automatically adjust when an eyeball contour is recognized incorrectly.
  • a method for eyeball tracking provided by an embodiment of the present invention includes:
  • the facial grayscale map set includes a multi-frame facial grayscale map
  • N is a positive integer
  • the contour of the iris of the eye according to the Nth frame facial grayscale image is determined.
  • a center position of the eyeball pupil as a center position of the eyeball pupil in the grayscale image of the (N+1)th frame;
  • the performing an eyeball pupil detection on the Nth frame facial grayscale image to determine a center position of the eyeball pupil in the Nth frame facial grayscale image comprises:
  • the center position of the eyeball pupil is determined according to the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image and the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image.
  • the horizontal projection projection of the Nth frame facial grayscale image is performed to obtain a horizontal projection curve of the Nth frame facial grayscale image, including:
  • the determining, according to the horizontal projection curve of the Nth frame facial grayscale image, the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image comprising:
  • Pre-processing the horizontal projection curve of the Nth frame facial grayscale image, and correspondingly the second trough and the third trough in the horizontal projection curve of the preprocessed Nth frame facial grayscale image The coordinates in the Nth frame facial grayscale image are determined as the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image;
  • the horizontal projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the horizontal projection curve of the Nth frame facial grayscale image is greater than a second threshold.
  • the determining, according to the vertical projection curve of the Nth frame facial grayscale image, the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image including:
  • the central axis is a coordinate in the Nth frame facial grayscale image corresponding to two mutually symmetric troughs of the symmetry axis, and is determined as a coordinate of the eyeball in a horizontal direction of the Nth frame facial grayscale image ;
  • the vertical projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the vertical projection curve of the Nth frame facial grayscale image is greater than a second threshold.
  • the center of the eyeball pupil is determined according to the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image and the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image.
  • Location including:
  • centroid of the collection of the positions of the eyeball pupils is determined as the center position of the pupil of the eyeball.
  • the center of the eyeball pupil is centered to determine an eyeball window corresponding to Grayscale area, including:
  • a grayscale image region extending on the Nth frame or the N+1th frame facial grayscale image centering on a center position of the eyeball pupil is determined as a grayscale image region corresponding to the eyeball window.
  • the determining, according to the grayscale region corresponding to the eyeball window, the contour of the iris of the eyeball in the grayscale image of the Nth frame or the N+1th frame comprising:
  • the preset condition is a1+(x-1) ⁇ , and each movement distance is d, wherein a1 is a first angle threshold, x is a number of movements, and ⁇ is a second angle threshold;
  • a2 is a third angle threshold, a2 is greater than a1, and a2 is greater than ⁇ .
  • an apparatus for eyeball tracking including:
  • An acquiring unit configured to acquire a set of facial grayscale images to be detected, where the facial grayscale map set includes a multi-frame facial grayscale map;
  • a determining unit configured to determine whether the Nth frame facial grayscale image in the facial grayscale set to be detected determines an outline of the iris of the eyeball; N is a positive integer;
  • a central position determining unit configured to perform an eyeball on the Nth frame facial grayscale image if the Nth frame facial grayscale image in the facial grayscale set to be detected does not determine an outline of the eyeball iris Hole detection, determining a center position of the pupil of the eyeball in the grayscale image of the Nth frame;
  • An eyeball window determining unit configured to determine, in the Nth frame grayscale image, a grayscale image region corresponding to the eyeball window centering on a center position of the eyeball pupil;
  • the eyeball contour determining unit is configured to determine an outline of the iris of the eyeball in the grayscale image of the Nth frame according to the grayscale image region corresponding to the eyeball window.
  • the central position determining unit is further configured to: according to the Nth frame facial grayscale map The contour of the eyeball iris determines the center position of the eyeball pupil as the center position of the eyeball pupil in the grayscale image of the (N+1)th frame;
  • the eyeball window determining unit is further configured to determine, in the N+1th frame facial grayscale image, a grayscale image region corresponding to the eyeball window centering on a center position of the eyeball pupil;
  • the eyeball contour determining unit is further configured to determine an outline of the iris of the eyeball in the grayscale image of the (N+1)th frame according to the grayscale region and the preset condition corresponding to the eyeball window.
  • the central location determining unit is specifically configured to:
  • the center position of the eyeball pupil is determined according to the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image and the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image.
  • the central location determining unit is specifically configured to:
  • the N-th frame facial grayscale image with the grayscale value greater than the first threshold is horizontally integrated and projected, and the horizontal projection curve of the Nth frame facial grayscale image is acquired.
  • the central location determining unit is specifically configured to:
  • Pre-processing the horizontal projection curve of the Nth frame facial grayscale image, and correspondingly the second trough and the third trough in the horizontal projection curve of the preprocessed Nth frame facial grayscale image The coordinates in the Nth frame facial grayscale image are determined as the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image;
  • the horizontal projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the horizontal projection curve of the Nth frame facial grayscale image is greater than a second threshold.
  • the central location determining unit is specifically configured to:
  • the central axis is a coordinate in the Nth frame facial grayscale image corresponding to two mutually symmetric troughs of the symmetry axis, and is determined as a coordinate of the eyeball in a horizontal direction of the Nth frame facial grayscale image ;
  • the vertical projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the vertical projection curve of the Nth frame facial grayscale image is greater than a second threshold.
  • the central location determining unit is specifically configured to:
  • centroid of the collection of the positions of the eyeball pupils is determined as the center position of the pupil of the eyeball.
  • the eyeball window determining unit is specifically configured to:
  • a grayscale image region extending on the Nth frame or the N+1th frame facial grayscale image centering on a center position of the eyeball pupil is determined as a grayscale image region corresponding to the eyeball window.
  • the eyeball contour determining unit is specifically configured to:
  • the preset condition is a1+(x-1) ⁇ , and each movement distance is d, wherein a1 is a first angle threshold, x is a number of movements, and ⁇ is a second angle threshold;
  • the eyeball contour determining unit is further configured to stop moving in a grayscale region of the eyeball window when the moving angle is greater than or equal to a2;
  • a2 is a third angle threshold, a2 is greater than a1, and a2 is greater than ⁇ .
  • an embodiment of the present invention provides an eye tracking device, including:
  • At least one processor and,
  • the memory stores instructions executable by the at least one processor, the instructions being executed by the at least one processor to enable the at least one processor to perform the method of eye tracking in the first aspect above.
  • an embodiment of the present invention provides a non-transitory computer readable storage medium, where the non-transitory computer readable storage medium stores computer instructions for causing the computer to perform the first aspect described above The method of eye tracking in the middle.
  • an embodiment of the present invention provides a computer program product, including a computing program stored on a non-transitory computer readable storage medium, the computer program A program instruction is included that, when executed by a computer, causes the computer to perform the method of eye tracking in the first aspect above.
  • the embodiment of the present invention indicates that, by acquiring the set of facial grayscale images to be detected, determining whether the grayscale image of the Nth frame in the facial grayscale set to be detected determines the contour of the iris of the eyeball, and if not, the Nth
  • the frame grayscale image is used to detect the pupil of the eyeball, and the center position of the pupil of the eyeball in the grayscale image of the Nth frame is determined.
  • the grayscale image of the face of the Nth frame the gray position corresponding to the eyeball window is determined centering on the center position of the eyeball pupil.
  • the contour of the iris of the eyeball in the grayscale image of the Nth frame is determined according to the grayscale region corresponding to the eyeball window.
  • the contour of the iris of the eyeball can be automatically adjusted, and the pupil of the eyeball can be repositioned, thereby avoiding the situation that the tracking error of the contour of the iris of the eyeball cannot be automatically adjusted. Improves the accuracy of eye tracking, and can automatically identify the center of the eyeball to detect the pupil of the eye.
  • FIG. 1 is a schematic flowchart of a method for eyeball tracking according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a horizontal projection curve before preprocessing according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a horizontal projection curve after preprocessing according to an embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of an apparatus for eyeball tracking according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of an apparatus for eyeball tracking according to an embodiment of the present invention.
  • FIG. 1 shows a flow of an eyeball tracking provided by an embodiment of the present invention, which may be performed by a device for eyeball tracking.
  • Step 101 Acquire a set of facial grayscale images to be detected.
  • Step 102 Determine whether an Nth frame facial grayscale image in the facial grayscale set to be detected determines an outline of an eye iris.
  • Step 103 Perform eyeball pupil detection on the Nth frame facial grayscale image, and determine a center position of the eyeball pupil in the Nth frame facial grayscale image.
  • Step 104 Determine, in the Nth frame facial grayscale image, a grayscale region corresponding to the eyeball window centering on a center position of the eyeball pupil.
  • Step 105 Determine an outline of an iris of the eyeball in the grayscale image of the Nth frame according to the grayscale region corresponding to the eyeball window.
  • Step 106 The center position of the eyeball pupil determined according to the contour of the eye iris of the Nth frame facial grayscale image is taken as the center position of the eyeball pupil in the (N+1)th frame facial grayscale image.
  • Step 107 Determine, in the N+1 frame facial grayscale image, a grayscale region corresponding to the eyeball window centering on a center position of the eyeball pupil.
  • Step 108 Determine an outline of an iris of the eyeball in the grayscale image of the (N+1)th frame according to the grayscale region and the preset condition corresponding to the eyeball window.
  • the set of facial grayscales to be detected includes a multi-frame facial grayscale image. Dividing the video into pictures of one frame, and grouping the pictures of the one frame, if the pictures of the frame are all colored, it is necessary to convert the color picture of the other frame into a gray image, that is, The face grayscale image to be detected can be obtained.
  • step 102 it is determined whether the Nth frame facial grayscale image in the facial grayscale image set to be detected acquired in step 101 can determine the contour of the eyeball iris, and if the contour of the eyeball iris can be determined, the description There is no error in the eye tracking of the N frame facial grayscale image, and the eye tracking of the N+1 frame facial grayscale image can be performed. If the outline of the iris of the eyeball cannot be determined, it may be the Nth There is an error in the eyeball tracking of the frame face grayscale image, and it is necessary to re-determine the center position of the eyeball pupil of the Nth frame facial grayscale image, or the Nth frame facial grayscale image is the first frame facial grayscale image. The first frame facial grayscale image needs to determine the center position of the eyeball pupil of the first frame facial grayscale image. Where N is a positive integer.
  • step 103 if it is determined in step 102 that the Nth frame facial grayscale image in the facial grayscale image set to be detected does not determine the contour of the eyeball iris, the Nth frame facial grayscale image needs to be eyeballed.
  • the pupil detection determines the center position of the pupil of the eyeball in the grayscale image of the Nth frame.
  • the Nth frame facial grayscale image is horizontally integrated and projected, and a horizontal projection curve of the Nth frame facial grayscale image is obtained.
  • the pixels in the grayscale image of the Nth frame are larger than the first threshold, and then the grayscale image of the Nth frame whose grayscale value is greater than the first threshold is horizontally integrated and projected. , that is, the horizontal projection curve of the face gray image of the Nth frame can be obtained.
  • the first threshold can be set empirically, such as a gray value that can be set to 100. Removing the Nth frame facial grayscale image whose grayscale value is greater than the first threshold value indicates denoising the Nth frame facial grayscale image. You can get a smooth curve.
  • the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image may be determined.
  • Preprocessing the horizontal projection curve of the Nth frame facial grayscale image, and corresponding to the second trough and the third trough in the horizontal projection curve of the preprocessed Nth frame facial grayscale image The coordinates in the Nth frame facial grayscale image are determined as the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image.
  • the horizontal projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the horizontal projection curve of the Nth frame facial grayscale image is greater than the second threshold.
  • the second threshold can be set empirically, and only the peak that determines the trough to peak distance greater than the second threshold can be retained.
  • Fig. 2 is the horizontal projection curve before pretreatment
  • Fig. 3 is the horizontal projection curve after pretreatment.
  • the “+” in the figure indicates the position of the peak.
  • Fig. 3 The "+" in the middle removed a part.
  • Figure 3 shows a horizontal projection curve, with gray values representing the ordinate and abscissa representing the vertical direction of the face grayscale image, with the peak on the left side being the trough and the peak on the right side being the crest.
  • the first trough indicates where the hair is located
  • the second trough indicates where the eyebrows are located
  • the position between the second trough and the third trough indicates the eyeball to determine that the eye is at the The coordinates in the vertical direction of the N-frame facial grayscale image.
  • the vertical map of the grayscale image in the vertical direction of the grayscale image of the Nth frame is vertically integrated, and the vertical projection curve of the grayscale image of the Nth frame is obtained.
  • the abscissa of the vertical projection curve represents the coordinate in the horizontal direction of the face grayscale image, and the ordinate represents the grayscale value.
  • the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image are determined.
  • Preprocessing the vertical projection curve of the Nth frame facial grayscale image, and taking the central axis of the vertical projection curve of the Nth facial grayscale image as the symmetry axis in the vertical projection curve of the preprocessed Nth facial grayscale image The coordinates in the N-th face grayscale image corresponding to the two mutually symmetric valleys are determined as the coordinates of the eyeball in the horizontal direction of the N-th face facial grayscale image.
  • the central axis is the central axis of the vertical projection curve of the facial grayscale image of the Nth frame, and the coordinates of the two troughs on the two sides of the central axis are the horizontal coordinates of the left and right eyes, that is, It is possible to determine the coordinates of the eyeball in the horizontal direction of the face grayscale image of the Nth frame.
  • the vertical projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the vertical projection curve of the Nth frame facial grayscale image is greater than the second threshold.
  • the center position of the eyeball pupil is determined according to the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image and the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image. Selecting a pixel whose gray value is smaller than a third threshold from a region in which the eyeball is located in the vertical direction of the N-th face grayscale image and a coordinate in which the eyeball is located in the horizontal direction of the N-th face facial grayscale image, The coordinates of the pixels whose degree is less than the third threshold constitute a set of positions of the eye pupil. The center of mass of the position of the pupil of the eyeball is determined as the center position of the pupil of the eyeball. This third threshold can be set empirically.
  • the pixel whose gray value is smaller than the third threshold indicates the position where the black iris is located, and the longest strip of the pixel whose gray value is smaller than the third threshold in each row can be selected, and then the set is formed, and the center of mass of the set is the center position of the eye pupil. .
  • the first preset distance may be extended to the left and right in the horizontal direction of the Nth frame facial grayscale image centering on the center position of the eyeball pupil.
  • the second preset distance is extended up and down in the vertical direction of the Nth frame facial grayscale image.
  • the grayscale image region extended on the Nth frame facial grayscale image centering on the center position of the eyeball pupil is determined as the grayscale image region corresponding to the eyeball window.
  • the first preset distance and the second preset distance may be set according to experience.
  • a grayscale region determined after expansion can be determined as a grayscale image corresponding to the eyeball window.
  • step 105 after determining the grayscale image corresponding to the eyeball window in step 104, the center position of the eyeball pupil may be used as a starting point, and moving in the grayscale region corresponding to the eyeball window according to a preset condition, The corresponding gray value after the second movement is used as the comparison gray value. If the difference between the gray value of the comparison gray value of the Mth movement and the comparison gray value of the M-1th movement is greater than the fourth threshold, determining the point of the Mth movement as the edge of the iris of the eyeball point.
  • M is a positive integer
  • the fourth threshold can be set empirically.
  • the contour of the iris of the eye in the grayscale image of the Nth frame is determined according to the point at the edge of the iris of the eyeball.
  • the above preset condition is a1+(x-1) ⁇ , and each movement distance is d, wherein a1 is a first angle threshold, x is a number of movements, and ⁇ is a second angle threshold.
  • a1 is a first angle threshold
  • x is a number of movements
  • ⁇ is a second angle threshold.
  • the moving angle is greater than or equal to a2
  • the movement in the grayscale area of the eyeball window is stopped.
  • a2 is the third angle threshold
  • a2 is greater than a1
  • a2 is greater than ⁇ .
  • the first angle threshold, the second angle threshold, the third angle threshold, and each movement distance may be set according to experience.
  • step 106 the Nth in the set of facial grayscales to be detected is determined in step 102.
  • the frame facial grayscale image determines the outline of the eye iris, and the eye tracking of the N+1th frame facial grayscale image can be performed. Then, the center position of the eyeball pupil determined according to the contour of the eye iris of the Nth frame facial grayscale image is taken as the center position of the eyeball pupil in the N+1 frame facial grayscale image.
  • step 107 after determining the center position of the pupil of the eyeball in the grayscale image of the N+1th frame in step 106, centering on the center position of the pupil of the eyeball, in the horizontal direction of the grayscale image of the face of the N+1th frame
  • the first preset distance is extended upward and leftward
  • the second preset distance is extended upward and downward in the vertical direction of the N+1th frame grayscale image.
  • the grayscale image region extended on the N+1th frame facial grayscale image centering on the center position of the eyeball pupil is determined as the grayscale image region corresponding to the eyeball window.
  • the first preset distance is extended to the left and right in the horizontal direction of the N+1th frame, and the second preset distance is extended downward and upward respectively in the vertical direction.
  • a grayscale region determined after two expansions can be determined as a grayscale image corresponding to the eyeball window.
  • step 108 after determining the grayscale image corresponding to the eyeball window in step 107, the center position of the eyeball pupil may be used as a starting point, and moving in the grayscale region corresponding to the eyeball window according to a preset condition, The corresponding gray value after the second movement is used as the comparison gray value. If the difference between the gray value of the comparison gray value of the Mth movement and the comparison gray value of the M-1th movement is greater than the fourth threshold, determining the point of the Mth movement as the edge of the iris of the eyeball point.
  • M is a positive integer
  • the fourth threshold can be set empirically.
  • the difference in the gray value of the points of the two adjacent movements is relatively large, indicating that it is at the edge of the iris of the eye.
  • the contour of the iris of the eye in the grayscale image of the face of the N+1th frame is determined according to the point at the edge of the iris of the eyeball.
  • the above preset condition is a1+(x-1) ⁇ , and each movement distance is d, wherein a1 is a first angle threshold, x is a number of movements, and ⁇ is a second angle threshold.
  • a1 is a first angle threshold
  • x is a number of movements
  • ⁇ is a second angle threshold.
  • the moving angle is greater than or equal to a2
  • the movement in the grayscale area of the eyeball window is stopped.
  • a2 is the third angle threshold
  • a2 is greater than a1
  • a2 is greater than ⁇ .
  • the first angle threshold, the second angle threshold, the third angle threshold, and each movement distance may be set according to experience.
  • the above embodiment shows that the face to be detected is determined by acquiring the set of face grayscale images to be detected. Whether the Nth frame facial grayscale image in the grayscale image set determines the outline of the iris of the eyeball, and if not, performs eyeball pupil detection on the Nth frame facial grayscale image to determine the eyeball pupil in the Nth frame facial grayscale image The central position, in the N-th face grayscale image, centering on the center position of the eyeball pupil, determining the grayscale region corresponding to the eyeball window, and determining the Nth frame facial grayscale according to the grayscale region corresponding to the eyeball window The outline of the iris of the eyeball in the figure.
  • the contour of the iris of the eyeball can be automatically adjusted, and the pupil of the eyeball can be repositioned, thereby avoiding the situation that the tracking error of the contour of the iris of the eyeball cannot be automatically adjusted. Improves the accuracy of eye tracking, and can automatically identify the center of the eyeball to detect the pupil of the eye.
  • FIG. 4 shows a structure of an apparatus for eye tracking provided by an embodiment of the present invention, which can perform a flow of eye tracking.
  • the device specifically includes:
  • the obtaining unit 401 is configured to acquire a set of facial grayscale images to be detected, where the facial grayscale map set includes a multi-frame facial grayscale map;
  • the determining unit 402 is configured to determine whether the Nth frame facial grayscale image in the facial grayscale set to be detected determines an outline of the iris of the eyeball; N is a positive integer;
  • the central position determining unit 403 is configured to perform eyeball boring on the Nth frame facial grayscale image if the Nth frame facial grayscale image in the facial grayscale set to be detected does not determine the contour of the eyeball iris Detecting, determining a center position of the pupil of the eyeball in the grayscale image of the Nth frame;
  • An eyeball window determining unit 404 configured to determine, in the Nth frame grayscale image, a grayscale image region corresponding to the eyeball window centering on a center position of the eyeball pupil;
  • the eyeball contour determining unit 405 is configured to determine an outline of the iris of the eyeball in the grayscale image of the Nth frame according to the grayscale image region corresponding to the eyeball window.
  • the central position determining unit 403 is further configured to: according to the Nth frame facial grayscale image The contour of the eyeball iris determines the center position of the eyeball pupil as the center position of the eyeball pupil in the grayscale image of the (N+1)th frame;
  • the eyeball window determining unit 404 is further configured to use the eye in the (N+1)th frame grayscale image Centering the center of the ball pupil to determine the grayscale area corresponding to the eyeball window;
  • the eyeball contour determining unit 405 is further configured to determine an outline of the iris of the eyeball in the grayscale image of the (N+1)th frame according to the grayscale region and the preset condition corresponding to the eyeball window.
  • the central location determining unit 403 is specifically configured to:
  • the center position of the eyeball pupil is determined according to the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image and the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image.
  • the central location determining unit 403 is specifically configured to:
  • the central location determining unit 403 is specifically configured to:
  • Pre-processing the horizontal projection curve of the Nth frame facial grayscale image, and correspondingly the second trough and the third trough in the horizontal projection curve of the preprocessed Nth frame facial grayscale image The coordinates in the Nth frame facial grayscale image are determined as the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image;
  • the horizontal projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the horizontal projection curve of the Nth frame facial grayscale image is greater than a second threshold.
  • the central location determining unit 403 is specifically configured to:
  • the central axis is a coordinate in the Nth frame facial grayscale image corresponding to two mutually symmetric troughs of the symmetry axis, and is determined as a coordinate of the eyeball in a horizontal direction of the Nth frame facial grayscale image ;
  • the vertical projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the vertical projection curve of the Nth frame facial grayscale image is greater than a second threshold.
  • the central location determining unit 403 is specifically configured to:
  • centroid of the collection of the positions of the eyeball pupils is determined as the center position of the pupil of the eyeball.
  • the eyeball window determining unit 404 is specifically configured to:
  • a grayscale image region extending on the Nth frame or the N+1th frame facial grayscale image centering on a center position of the eyeball pupil is determined as a grayscale image region corresponding to the eyeball window.
  • the eyeball contour determining unit 405 is specifically configured to:
  • the preset condition is a1+(x-1) ⁇ , and each movement distance is d, wherein a1 is a first angle threshold, x is a number of movements, and ⁇ is a second angle threshold;
  • the eyeball contour determining unit 405 is further configured to stop moving in a grayscale region of the eyeball window when the moving angle is greater than or equal to a2;
  • a2 is a third angle threshold, a2 is greater than a1, and a2 is greater than ⁇ .
  • an embodiment of the present invention provides an eyeball tracking device. At least one processor; and a memory communicatively coupled to the at least one processor; the memory storing instructions executable by the at least one processor, the instructions being executed by the at least one processor such that The at least one processor is capable of performing the method of eye tracking in the above embodiments.
  • FIG. 5 is a structure of an eyeball tracking device according to an embodiment of the present invention.
  • the eyeball tracking device 500 includes a transceiver 501, a processor 502, a memory 503, and a bus system 504.
  • the memory 503 is used to store a program.
  • the program can include program code, the program code including computer operating instructions.
  • the memory 503 may be a random access memory (RAM) or a non-volatile memory, such as at least one disk storage. Only one memory is shown in the figure, of course, the memory can also be set to a plurality as needed. Memory 503 can also be a memory in processor 502.
  • the memory 503 stores the following elements, executable modules or data structures, or a subset thereof, or an extended set thereof:
  • Operation instructions include various operation instructions for implementing various operations.
  • Operating system Includes a variety of system programs for implementing various basic services and handling hardware-based tasks.
  • Processor 502 may be an integrated circuit chip with signal processing capabilities. In the implementation process, each step of the above method of eye tracking can be completed by an integrated logic circuit of hardware in the processor 502 or an instruction in the form of software.
  • the above processor 502 can be a pass A processor, digital signal processor (DSP), application specific integrated circuit (ASIC), field programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware component.
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the methods, steps, and logical block diagrams disclosed in the embodiments of the present application can be implemented or executed.
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • the steps of the method disclosed in the embodiments of the present invention may be directly implemented by the hardware decoding processor, or may be performed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a conventional storage medium such as random access memory, flash memory, read only memory, programmable read only memory or electrically erasable programmable memory, registers, and the like.
  • the storage medium is located in the memory 503, and the processor 502 reads the information in the memory 503 and performs the following steps in conjunction with its hardware:
  • the transceiver 501 is configured to acquire a facial grayscale set to be detected, where the facial grayscale set includes a multi-frame facial grayscale image;
  • the processor 502 is configured to determine whether the Nth frame facial grayscale image in the facial grayscale set to be detected determines an outline of the iris of the eyeball; N is a positive integer; if the facial grayscale to be detected If the Nth frame grayscale image in the set of images does not determine the contour of the iris of the eyeball, the pupil of the Nth frame is subjected to eye pupil detection, and the center of the pupil of the eyeball in the grayscale image of the Nth frame is determined.
  • the processor 502 is further configured to: according to the Nth frame facial grayscale map The contour of the eyeball iris determines the center position of the eyeball pupil as the center position of the eyeball pupil in the (N+1)th frame facial grayscale image; in the (N+1)th frame facial grayscale image, the pupil of the eyeball is pupild Centering on the center of the eye, determining a grayscale region corresponding to the eyeball window; determining a contour of the iris of the eyeball in the grayscale image of the (N+1)th frame according to the grayscale region and the preset condition corresponding to the eyeball window .
  • the processor 502 is specifically configured to:
  • the center position of the eyeball pupil is determined according to the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image and the coordinates of the eyeball in the horizontal direction of the Nth frame facial grayscale image.
  • the processor 502 is specifically configured to:
  • the processor 502 is specifically configured to:
  • Pre-processing the horizontal projection curve of the Nth frame facial grayscale image, and correspondingly the second trough and the third trough in the horizontal projection curve of the preprocessed Nth frame facial grayscale image The coordinates in the Nth frame facial grayscale image are determined as the coordinates of the eyeball in the vertical direction of the Nth frame facial grayscale image;
  • the horizontal projection curve of the Nth frame facial grayscale image is preprocessed to select a peak in which the distance from the trough to the peak in the horizontal projection curve of the Nth frame facial grayscale image is greater than a second threshold.
  • the processor 502 is specifically configured to:
  • the central axis is a coordinate in the Nth frame facial grayscale image corresponding to two mutually symmetric troughs of the symmetry axis, and is determined as a coordinate of the eyeball in a horizontal direction of the Nth frame facial grayscale image ;
  • the vertical projection curve of the Nth frame facial grayscale image is preprocessed to select the The distance from the trough to the peak in the vertical projection curve of the Nth frame facial grayscale image is greater than the peak value of the second threshold.
  • the processor 502 is specifically configured to:
  • centroid of the collection of the positions of the eyeball pupils is determined as the center position of the pupil of the eyeball.
  • the processor 502 is specifically configured to:
  • a grayscale image region extending on the Nth frame or the N+1th frame facial grayscale image centering on a center position of the eyeball pupil is determined as a grayscale image region corresponding to the eyeball window.
  • the processor 502 is specifically configured to:
  • the preset condition is a1+(x-1) ⁇ , and each movement distance is d, wherein a1 is a first angle threshold, x is a number of movements, and ⁇ is a second angle threshold;
  • the processor 502 is further configured to stop moving in a grayscale region of the eyeball window when the moving angle is greater than or equal to a2;
  • a2 is a third angle threshold, a2 is greater than a1, and a2 is greater than ⁇ .
  • the eye tracking device of the embodiment of the present invention exists in various forms, including but not limited to:
  • Mobile communication devices These devices are characterized by mobile communication functions and are mainly aimed at providing voice and data communication. Such devices include: smart phones (such as iPhone), multimedia phones, functional phones, and low-end phones.
  • Ultra-mobile personal computer equipment This type of equipment belongs to the category of personal computers, has computing and processing functions, and generally has mobile Internet access.
  • Such terminals include: PDAs, MIDs, and UMPC devices, such as the iPad.
  • Portable entertainment devices These devices can display and play multimedia content. Such devices include: audio, video players (such as iPod), handheld game consoles, e-books, and smart toys and portable car navigation devices.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like. .
  • the present invention provides a non-transitory computer readable storage medium storing computer instructions for causing the computer to perform the eyeball of any of the above The method of tracking.
  • the present invention also provides a computer program product comprising a computing program stored on a non-transitory computer readable storage medium, the computer program comprising program instructions, when the program instructions are executed by a computer A method of causing the computer to perform the eye tracking as described in any of the above.
  • the present application is made with reference to a method, a device (system), and a computer program according to an embodiment of the present application.
  • the flow chart and/or block diagram of the product is described. It will be understood that each flow and/or block of the flowchart illustrations and/or FIG.
  • These computer program instructions can be provided to a processor of a general purpose computer, special purpose computer, embedded processor, or other programmable data processing device to produce a machine for the execution of instructions for execution by a processor of a computer or other programmable data processing device.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

一种眼球跟踪的方法及装置、设备，该方法包括获取待检测的面部灰度图集合(101)，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓(102)，若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置(103)，在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域(104)，根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓(105)。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。

Description

一种眼球跟踪的方法及装置、设备
本申请要求在2015年12月02日提交中华人民共和国知识产权局、申请号为201510875607.9，发明名称为“一种眼球跟踪的方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及视觉跟踪技术领域，尤其涉及一种眼球跟踪的方法及装置、设备。
背景技术
眼球跟踪是跟踪眼球运动的一种算法，该算法可以对视频录像中的每一帧图片进行眼球虹膜轮廓检测和定位，然后在使用最优的框去拟合和标记出来，并且可以计算出瞳孔中心的位置。
发明内容
本发明实施例提供一种眼球跟踪的方法及装置、设备，用以实现自动检测眼球的起始点，在眼球轮廓识别错误时自动进行调整。
第一方面，本发明实施例提供的一种眼球跟踪的方法，包括：
获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
较佳地，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
较佳地，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
较佳地，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的 灰度图区域，包括：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
较佳地，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
第二方面，本发明实施例提供了一种眼球跟踪的装置，包括：
获取单元，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断单元，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
中心位置确定单元，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳 孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元还用于在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述中心位置确定单元具体用于：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
较佳地，所述中心位置确定单元具体用于：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除 灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
较佳地，所述中心位置确定单元具体用于：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，所述中心位置确定单元具体用于：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，所述中心位置确定单元具体用于：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
较佳地，所述眼球窗口确定单元具体用于：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂 直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
较佳地，所述眼球轮廓确定单元具体用于：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
所述眼球轮廓确定单元还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
第三方面，本发明实施例提供了一种眼球跟踪的设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中的眼球跟踪的方法。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述第一方面中的眼球跟踪的方法。
第五方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序 包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述第一方面中的眼球跟踪的方法。
本发明实施例表明，通过获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位，避免了出现眼球虹膜的轮廓的跟踪错误无法进行自动调整的情况。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例提供的一种眼球跟踪的方法的流程示意图；
图2为本发明实施例提供的一种预处理前的水平投影曲线示意图；
图3为本发明实施例提供的一种预处理后的水平投影曲线示意图；
图4为本发明实施例提供的一种眼球跟踪的装置的结构示意图；
图5为本发明实施例提供的一种眼球跟踪的设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施例并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构 和技术的描述，以避免不必要地混淆本发明的概念。
图1示出了本发明实施例提供的一种眼球跟踪的流程，该流程可以由眼球跟踪的装置执行。
如图1所述，该流程的具体步骤包括：
步骤101，获取待检测的面部灰度图集合。
步骤102，判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓。
步骤103，对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置。
步骤104，在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域。
步骤105，根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
步骤106，将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置。
步骤107，在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域。
步骤108，根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
在步骤101中，该待检测的面部灰度图集合中包括多帧面部灰度图。将视频切分为一帧帧的图片，将这些一帧帧的图片组成集合，如果该一帧帧的图片都是彩色的，则需要将还一帧帧的彩色图片转换为灰度图，即可以获得待检测的面部灰度图。
在步骤102中，判断步骤101中获取的待检测的面部灰度图集合中的第N帧面部灰度图是否可以确定出眼球虹膜的轮廓来，如果可以确定出眼球虹膜的轮廓，说明该第N帧面部灰度图的眼球跟踪没有出现错误，可以进行第N+1帧面部灰度图的眼球跟踪。如果不能确定出眼球虹膜的轮廓，则可能是该第N 帧面部灰度图的眼球跟踪出现错误，需要重新确定该第N帧面部灰度图的眼球瞳孔的中心位置，也可能是该第N帧面部灰度图是第1帧面部灰度图，对于第1帧面部灰度图需要确定该第1帧面部灰度图的眼球瞳孔的中心位置。其中，N为正整数。
在步骤103中，若步骤102中判断出该待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则需要对该第N帧面部灰度图进行眼球瞳孔检测，确定出该第N帧面部灰度图中眼球瞳孔的中心位置。
具体的，将该第N帧面部灰度图进行水平积分投影，获取该第N帧面部灰度图的水平投影曲线。在进行水平积分投影之前，需要去除第N帧面部灰度图中灰度值大于第一阈值的像素，然后再将去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，即可以获取该第N帧面部灰度图的水平投影曲线。该第一阈值可以根据经验进行设置，如可以设置为100的灰度值。去除灰度值大于第一阈值的第N帧面部灰度图表示对该第N帧面部灰度图进行去噪。可以得到一个平滑的曲线。
在获取水平投影曲线之后，根据该第N帧面部灰度图的水平投影曲线，可以确定眼球位于该第N帧面部灰度图的垂直方向上的坐标。对该第N帧面部灰度图的水平投影曲线进行预处理，将该预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的该第N帧面部灰度图中的坐标，确定为该眼球位于所述第N帧面部灰度图的垂直方向上的坐标。其中，对第N帧面部灰度图的水平投影曲线进行预处理为选取第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。该第二阈值可以根据经验进行设定，只有确定波谷到波峰的距离大于该第二阈值的峰值才可以保留。如图2和图3所示，图2为预处理前的水平投影曲线，图3为预处理后的水平投影曲线，图中的“+”表示峰值所在的位置，经过预处理之后，图3中的“+”去除了一部分。
举例来说，图3示出了一种水平投影曲线，灰度值表示纵坐标，横坐标表示面部灰度图的垂直方向的坐标，峰值在左侧的是波谷，峰值在右侧的是 波峰。如图3所示，第一个波谷表示头发所在的位置，第二个波谷表示眉毛所在的位置，第二个波谷和第三个波谷之间的位置表示眼球，即可以确定出该眼球位于第N帧面部灰度图的垂直方向上的坐标。
将眼球位于第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取第N帧面部灰度图的垂直投影曲线。垂直投影曲线的横坐标表示面部灰度图的水平方向上的坐标，纵坐标表示灰度值。
根据第N帧面部灰度图的垂直投影曲线，确定眼球位于第N帧面部灰度图的水平方向上的坐标。对第N帧面部灰度图的垂直投影曲线进行预处理，将预处理后的第N帧面部灰度图的垂直投影曲线中以第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的第N帧面部灰度图中的坐标，确定为眼球位于第N帧面部灰度图的水平方向上的坐标。该中轴线为该第N帧面部灰度图的垂直投影曲线的中轴线，在该中轴线两侧，相互对此的两个波谷所在的坐标，即是左右两个眼睛所在的水平坐标，即可以确定出眼球位于该第N帧面部灰度图的水平方向上的坐标。其中，对第N帧面部灰度图的垂直投影曲线进行预处理为选取第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
上述水平积分投影和垂直积分投影的过程中，由于眼球是黑色，灰度值较低，因此，可以通过查找投影曲线中波谷的方式，探测到眼睛的大概位置。但是，在实际观测中，由于背景和人脸的干扰，曲线波动一般比较大，在一个大的波谷中，实际上由很多干扰的小波谷，不利于获取眼睛的真实位置，因此，需要对上述水平积分投影曲线和垂直积分投影曲线进行预处理。
根据眼球位于所述第N帧面部灰度图的垂直方向上的坐标和眼球位于第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。从眼球位于第N帧面部灰度图的垂直方向上的坐标和眼球位于第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将灰度值小于第三阈值的像素的坐标组成眼球瞳孔的位置集合。将眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。该第三阈值可以根据经验进行设定。 灰度值小于第三阈值的像素表示黑色虹膜所在的位置，可以选取每一行中灰度值小于第三阈值的像素最长的长条，然后组成集合，该集合的质心就是眼球瞳孔的中心位置。
在步骤104中，在步骤103中确定出眼球瞳孔的中心位置之后，可以以眼球瞳孔的中心位置为中心，在第N帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧面部灰度图的垂直方向上向上下扩展第二预设距离。将以眼球瞳孔的中心位置为中心，在第N帧面部灰度图上扩展的灰度图区域，确定为眼球窗口对应的灰度图区域。该第一预设距离和该第二预设距离可以根据经验进行设置。
以眼球瞳孔的中心位置为中心，在该第N帧的水平方向上分别向左和向右扩展第一预设距离，在垂直方向上分别向下和向上扩展第二预设距离，经过两次扩展后确定出的一个灰度图区域可以确定为眼球窗口对应的灰度图。
在步骤105中，在步骤104中确定出眼球窗口对应的灰度图之后，可以以该眼球瞳孔的中心位置为出发点，根据预设条件，在眼球窗口对应的灰度图区域内移动，将每次移动后对应的灰度值作为比较灰度值。若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点。其中，M为正整数，该第四阈值可以根据经验进行设定。由于在眼球虹膜与眼球眼白的灰度值不同，因此，通过比较两次相邻移动的点的灰度值的差值变化比较大，说明处于眼球虹膜边缘位置。根据眼球虹膜边缘处的点，确定第N帧面部灰度图中的眼球虹膜的轮廓。
上述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值。当移动角度大于等于a2时，停止在眼球窗口的灰度图区域内移动。其中，a2为第三角度阈值，a2大于a1，a2大于λ。上述第一角度阈值、第二角度阈值、第三角度阈值和每次移动距离可以依据经验进行设定。
在步骤106中，在步骤102中判断出待检测的面部灰度图集合中的第N 帧面部灰度图确定出眼球虹膜的轮廓，则可以进行第N+1帧面部灰度图的眼球跟踪。然后将根据第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为第N+1帧面部灰度图中眼球瞳孔的中心位置。
在步骤107中，在步骤106中确定出第N+1帧面部灰度图中眼球瞳孔的中心位置之后，以眼球瞳孔的中心位置为中心，在第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离。将以所述眼球瞳孔的中心位置为中心，在第N+1帧面部灰度图上扩展的灰度图区域，确定为眼球窗口对应的灰度图区域。
以眼球瞳孔的中心位置为中心，在该第N+1帧的水平方向上分别向左和向右扩展第一预设距离，在垂直方向上分别向下和向上扩展第二预设距离，经过两次扩展后确定出的一个灰度图区域可以确定为眼球窗口对应的灰度图。
在步骤108中，在步骤107中确定出眼球窗口对应的灰度图之后，可以以该眼球瞳孔的中心位置为出发点，根据预设条件，在眼球窗口对应的灰度图区域内移动，将每次移动后对应的灰度值作为比较灰度值。若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点。其中，M为正整数，该第四阈值可以根据经验进行设定。由于在眼球虹膜与眼球眼白的灰度值不同，因此，通过比较两次相邻移动的点的灰度值的差值变化比较大，说明处于眼球虹膜边缘位置。根据眼球虹膜边缘处的点，确定第N+1帧面部灰度图中的眼球虹膜的轮廓。
上述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值。当移动角度大于等于a2时，停止在眼球窗口的灰度图区域内移动。其中，a2为第三角度阈值，a2大于a1，a2大于λ。上述第一角度阈值、第二角度阈值、第三角度阈值和每次移动距离可以依据经验进行设定。
上述实施例表明，通过获取待检测的面部灰度图集合，判断待检测的面 部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位，避免了出现眼球虹膜的轮廓的跟踪错误无法进行自动调整的情况。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。
基于相同的技术构思，图4示出了本发明实施例提供的一种眼球跟踪的装置的结构，该装置可以执行眼睛跟踪的流程。
如图4所示，该装置具体包括：
获取单元401，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断单元402，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
中心位置确定单元403，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元404，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元405，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
优选地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元403还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元404还用于在所述第N+1帧面部灰度图中，以所述眼 球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元405还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
优选地，所述中心位置确定单元403具体用于：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
优选地，所述中心位置确定单元403具体用于：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
优选地，所述中心位置确定单元403具体用于：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
优选地，所述中心位置确定单元403具体用于：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
优选地，所述中心位置确定单元403具体用于：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
优选地，所述眼球窗口确定单元404具体用于：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
优选地，所述眼球轮廓确定单元405具体用于：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图 中的眼球虹膜的轮廓。
优选地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
所述眼球轮廓确定单元405还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
基于相同的技术构思，本发明实施例提供一种眼球跟踪的设备。至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中的眼球跟踪的方法。
以一个处理器为例，图5为本发明实施例提供的眼球跟踪的设备的结构，该眼球跟踪的设备500包括：收发器501、处理器502、存储器503和总线系统504；
其中，存储器503，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器503可能为随机存取存储器(random access memory，简称RAM)，也可能为非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。图中仅示出了一个存储器，当然，存储器也可以根据需要，设置为多个。存储器503也可以是处理器502中的存储器。
存储器503存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：
操作指令：包括各种操作指令，用于实现各种操作。
操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
上述本发明实施例眼球跟踪的方法可以应用于处理器502中，或者说由处理器502实现。处理器502可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述眼球跟踪的方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502可以是通 用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器503，处理器502读取存储器503中的信息，结合其硬件执行以下步骤：
所述收发器501，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
所述处理器502，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
优选地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则所述处理器502还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
优选地，所述处理器502具体用于：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
优选地，所述处理器502具体用于：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
优选地，所述处理器502具体用于：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
优选地，所述处理器502具体用于：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述 第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
优选地，所述处理器502具体用于：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
优选地，所述处理器502具体用于：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
优选地，所述处理器502具体用于：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
优选地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
所述处理器502还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
本发明实施例的眼球跟踪的设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类设备包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有眼球跟踪功能的电子装置。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另外，本发明还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一项所述的眼球跟踪的方法。
另外，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项所述的眼球跟踪的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (23)

  1. 一种眼球跟踪的方法，其特征在于，包括：
    获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
    判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
    若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
    在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
    根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
  2. 如权利要求1所述的方法，其特征在于，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
    在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
    根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
  3. 如权利要求1所述的方法，其特征在于，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括：
    将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
    根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧 面部灰度图的垂直方向上的坐标；
    将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
    根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
    根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
  4. 如权利要求3所述的方法，其特征在于，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括：
    去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
  5. 如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括：
    对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
    其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
  6. 如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括：
    对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后 的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
    其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
  7. 如权利要求3所述的方法，其特征在于，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括：
    从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
    将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
  8. 如权利要求1或2所述的方法，其特征在于，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，包括：
    以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
    将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
  9. 如权利要求1或2所述的方法，其特征在于，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括：
    以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
    若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值 大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
    根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
  10. 如权利要求9所述的方法，其特征在于，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
    当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
    其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
  11. 一种眼球跟踪的装置，其特征在于，包括：
    获取单元，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
    判断单元，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
    中心位置确定单元，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
    眼球窗口确定单元，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
    眼球轮廓确定单元，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
  12. 如权利要求11所述的装置，其特征在于，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
    眼球窗口确定单元还用于在所述第N+1帧面部灰度图中，以所述眼球瞳 孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
    眼球轮廓确定单元还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
  13. 如权利要求11所述的装置，其特征在于，所述中心位置确定单元具体用于：
    将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
    根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
    将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
    根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
    根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
  14. 如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
    去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
  15. 如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
    对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
    其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
  16. 如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
    对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
    其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
  17. 如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
    从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
    将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
  18. 如权利要求11或12所述的装置，其特征在于，所述眼球窗口确定单元具体用于：
    以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
    将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
  19. 如权利要求11或12所述的装置，其特征在于，所述眼球轮廓确定 单元具体用于：
    以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
    若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
    根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
  20. 如权利要求19所述的装置，其特征在于，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
    所述眼球轮廓确定单元还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
    其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
  21. 一种眼球跟踪的设备，其特征在于，包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10任一所述眼球跟踪的方法。
  22. 一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-10任一所述眼球跟踪的方法。
  23. 一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1-10任一所述眼球跟踪的方法。
PCT/CN2016/108060 2015-12-02 2016-11-30 一种眼球跟踪的方法及装置、设备 Ceased WO2017092679A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/780,641 US10699420B2 (en) 2015-12-02 2016-11-30 Eyeball tracking method and apparatus, and device
CA3025964A CA3025964C (en) 2015-12-02 2016-11-30 Eyeball tracking method and apparatus, and device
EP16869989.0A EP3385885A4 (en) 2015-12-02 2016-11-30 Eyeball tracking method and apparatus, and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510875607.9 2015-12-02
CN201510875607.9A CN105930762A (zh) 2015-12-02 2015-12-02 一种眼球跟踪的方法及装置

Publications (1)

Publication Number Publication Date
WO2017092679A1 true WO2017092679A1 (zh) 2017-06-08

Family

ID=56839969

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/108060 Ceased WO2017092679A1 (zh) 2015-12-02 2016-11-30 一种眼球跟踪的方法及装置、设备

Country Status (6)

Country Link
US (1) US10699420B2 (zh)
EP (1) EP3385885A4 (zh)
CN (1) CN105930762A (zh)
CA (1) CA3025964C (zh)
TW (1) TWI611353B (zh)
WO (1) WO2017092679A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930762A (zh) * 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置
CN106778713B (zh) * 2017-03-01 2023-09-22 武汉虹识技术有限公司 一种动态人眼跟踪的虹膜识别装置及方法
CN107145224B (zh) * 2017-04-07 2019-10-29 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
EP3430973B1 (en) * 2017-07-19 2024-11-27 Sony Group Corporation Mobile system and method
CN108053444B (zh) * 2018-01-02 2021-03-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN108498064B (zh) * 2018-03-19 2021-06-18 中国人民解放军空军特色医学中心 数字化亮点闪烁检测系统
CN108513074B (zh) * 2018-04-13 2020-08-04 京东方科技集团股份有限公司 自拍控制方法及装置、电子设备
TWI676821B (zh) * 2018-12-11 2019-11-11 國立臺灣大學 適應性視線追蹤的校正方法
CN110119457B (zh) * 2019-05-17 2021-08-10 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110929672B (zh) * 2019-11-28 2024-03-01 联想(北京)有限公司 瞳孔定位方法和电子设备
CN111209881A (zh) * 2020-01-13 2020-05-29 深圳市雄帝科技股份有限公司 一种在图像中检测眼睛状态的方法及其系统
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN113011393B (zh) * 2021-04-25 2022-06-03 中国民用航空飞行学院 基于改进混合投影函数的人眼定位方法
CN114845005A (zh) * 2022-03-31 2022-08-02 北京航天控制仪器研究所 一种智能图像跟踪压缩存储器
CN115565224A (zh) * 2022-09-29 2023-01-03 珠海视熙科技有限公司 一种实时连续定位瞳孔中心的方法、装置、介质及设备
CN118799359A (zh) * 2024-07-01 2024-10-18 成都集思鸣智科技有限公司 眼动追踪方法、装置、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1686051A (zh) * 2005-05-08 2005-10-26 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法
CN101201893A (zh) * 2006-09-30 2008-06-18 电子科技大学中山学院 一种基于灰度信息的虹膜识别预处理方法
CN103885589A (zh) * 2014-03-06 2014-06-25 华为技术有限公司 眼动追踪方法及装置
CN105930762A (zh) * 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357831A2 (en) * 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US7593550B2 (en) * 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
GB0603411D0 (en) * 2006-02-21 2006-03-29 Xvista Ltd Method of processing an image of an eye
US7682026B2 (en) 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
WO2008091401A2 (en) * 2006-09-15 2008-07-31 Retica Systems, Inc Multimodal ocular biometric system and methods
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
US8023699B2 (en) * 2007-03-09 2011-09-20 Jiris Co., Ltd. Iris recognition system, a method thereof, and an encryption system using the same
CN100452081C (zh) * 2007-06-01 2009-01-14 华南理工大学 一种人眼定位及人眼状态识别方法
TWI335544B (en) 2007-07-31 2011-01-01 Univ Nat Taiwan Science Tech Iris recognition system
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8317325B2 (en) * 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
CN101615292B (zh) * 2009-07-24 2011-11-16 云南大学 基于灰度信息的人眼精确定位方法
CN101964111B (zh) * 2010-09-27 2011-11-30 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102456137B (zh) * 2010-10-20 2013-11-13 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
CN104050448B (zh) 2014-06-11 2017-10-17 青岛海信电器股份有限公司 一种人眼定位、人眼区域定位方法及装置
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
WO2018016837A1 (en) * 2016-07-18 2018-01-25 Samsung Electronics Co., Ltd. Method and apparatus for iris recognition
KR102707594B1 (ko) * 2016-11-11 2024-09-19 삼성전자주식회사 홍채 영역 추출 방법 및 장치
US10521661B2 (en) * 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1686051A (zh) * 2005-05-08 2005-10-26 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法
CN101201893A (zh) * 2006-09-30 2008-06-18 电子科技大学中山学院 一种基于灰度信息的虹膜识别预处理方法
CN103885589A (zh) * 2014-03-06 2014-06-25 华为技术有限公司 眼动追踪方法及装置
CN105930762A (zh) * 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3385885A4 *

Also Published As

Publication number Publication date
CA3025964A1 (en) 2017-06-08
US10699420B2 (en) 2020-06-30
TWI611353B (zh) 2018-01-11
CA3025964C (en) 2021-09-14
CN105930762A (zh) 2016-09-07
US20180365844A1 (en) 2018-12-20
TW201721516A (zh) 2017-06-16
EP3385885A4 (en) 2018-12-19
EP3385885A1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
WO2017092679A1 (zh) 一种眼球跟踪的方法及装置、设备
CN107209849B (zh) 眼睛跟踪
US10504008B1 (en) System and method for relocalization and scene recognition
US10395094B2 (en) Method and apparatus for detecting glasses in a face image
TW202011733A (zh) 對影像進行目標取樣的方法及裝置
CN103907123B (zh) 深度图像中的人的头部的检测
US11615643B2 (en) Methods, systems, and media for evaluating images
US10254831B2 (en) System and method for detecting a gaze of a viewer
US20140168367A1 (en) Calibrating visual sensors using homography operators
US9082000B2 (en) Image processing device and image processing method
US11386710B2 (en) Eye state detection method, electronic device, detecting apparatus and computer readable storage medium
US20190066311A1 (en) Object tracking
CN112307806A (zh) 头部姿态检测装置和方法
WO2023249694A1 (en) Object detection and tracking in extended reality devices
CN111738085B (zh) 实现自动驾驶同时定位与建图的系统构建方法及装置
US20170109569A1 (en) Hybrid face recognition based on 3d data
US10296802B2 (en) Image processing device, image processing method, and computer program product
CN107995442A (zh) 视频数据的处理方法、装置及计算设备
US11741620B1 (en) Plane detection using depth sensor and semantic information
CN104156689B (zh) 一种对目标对象的特征信息进行定位的方法和设备
US10013052B2 (en) Electronic device, controlling method and storage medium
US12067770B2 (en) Image processing apparatus, image processing method, and storage medium for determining a number of persons in an input image
CN111507139A (zh) 图像效果生成方法、装置和电子设备
JP2013029996A (ja) 画像処理装置
US12380730B2 (en) Authentication device, authentication method, and computer readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16869989

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016869989

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016869989

Country of ref document: EP

Effective date: 20180702

ENP Entry into the national phase

Ref document number: 3025964

Country of ref document: CA