EP3103060A1 - 2d-bildanalysator - Google Patents

2d-bildanalysator

Info

Publication number
EP3103060A1
EP3103060A1 EP15702739.2A EP15702739A EP3103060A1 EP 3103060 A1 EP3103060 A1 EP 3103060A1 EP 15702739 A EP15702739 A EP 15702739A EP 3103060 A1 EP3103060 A1 EP 3103060A1
Authority
EP
European Patent Office
Prior art keywords
image
pattern
hough
scaled
overview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15702739.2A
Other languages
English (en)
French (fr)
Inventor
Daniel KRENZER
Albrecht HESS
András KÁTAI
Christian WIEDE
Andreas Ernst
Tobias Ruf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP3103060A1 publication Critical patent/EP3103060A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/145—Square transforms, e.g. Hadamard, Walsh, Haar, Hough, Slant transforms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • Exemplary embodiments of the present invention relate to a 2D image analyzer and to a corresponding method.
  • digital image processing uses multiple scaled versions of the input image for pattern recognition.
  • An example of such a pattern recognizer is the classifier by Viola-Jones, which is trained on a specific model size.
  • the fixed model size of the classifier therefore has to be recorded in several scaling levels
  • the scaling levels are usually searched in ascending or descending order (see picture pyramid). This sequnetial execution is very poorly suited, in particular, for parallel architectures (eg FPGA).
  • the task is to enable an efficient and reliable recognition of a pattern.
  • Embodiments provide a 2D image analyzer having an image calibrator, an image generator, and a pattern finder.
  • the image calibrator is configured to receive an image having a searched pattern and to scale the received image according to a scaling factor.
  • the image generator is configured to generate a survey image having a plurality of copies of the received and scaled image, each copy scaled by a different scaling factor.
  • the pattern finder is configured to compare a predetermined pattern with the plurality of received or scaled images within the overview image, and to output information regarding a position in which a match between maximum is the searched pattern and the predetermined pattern, the position relating to a respective copy of the received and scaled image.
  • inventions of the present invention provide a bi-directional analyzer with a pattern finder, wherein the pattern finder is applied to an overview image that includes the image in which the searched pattern is contained at different scaling levels.
  • the largest match with the searched pattern is present, it is clear, on the one hand, which scaling level this match has delivered (position of the scaled image within the overview image) and, on the other hand, at which position (x, y coordinate in the image) this was (Position within the scaled image in the overview image, corrected by the scaling factor).
  • the bottom line is that it offers the advantage of being much more efficient, especially on parallel architectures such as e.g. FPGAs, the searched pattern can be detected in at least one of the scaling levels by only pattern recognition on the overview image. By knowing the scaling, the position of the desired pattern can then also be calculated in the absolute image.
  • each scaled image according to the respective scaling factor is associated with a respective position in the overview image.
  • the respective position can be calculated by an algorithm which takes into account a spacing between the scaled images in the overview image, a spacing of the scaled images from one or more of the boundaries of the overview image and / or other predefined conditions.
  • the pattern finder prepared in this way prepares for one or more local maxima in the census-transformed version of the overview image or in the version of the overview image transferred to the Hough feature space or in the gradient image Version of the overview image, or ai Wunsch transferred to a Merkmaisraum version of the Kochs tsslaves, identify a position of a local Ma ximums indicates the position of the identified predetermined pattern in the respective copy of the received and scaled image.
  • the pattern finder comprises a classification and a post-processing.
  • the classification is applied to the overview image transferred to the mark space and provides high values (local maxima) at locations where the image content matches the searched pattern.
  • Conventional methods according to the prior art can be used for the classification (eg, according to Viola-Jones).
  • the classified overview image can now be subjected to post-processing in accordance with further embodiments.
  • the classified overview image is first smoothed with a local sum filter and locally corrected the positions of the local maxima in this way.
  • a local maximum filter is applied to the score (a score is in most cases the result of a classification, ie a measure of the match of the image content with the searched pattern) to the local maximum corrected via the cumulative filter receive.
  • the result is again a classified overview image with Seores of the classifier but now locally corrected local maxima.
  • Each position of a local maximum in the overview image is assigned a corresponding scaling level according to the previous embodiments (except at the points where the scaling levels are spaced apart from one another and to the boundaries of the overview image).
  • each position in the overview image is therefore assigned an absolute position in original image coordinates (except where the scaling levels are spaced from one another and to the boundaries of the overview image). If a maximum has now been extracted within a scaling stage, its position can also be corrected once more by using the corresponding local maximum from the adjacent scaling stages and averaging over the adjacent scaling stages.
  • one embodiment includes the method of analyzing a 2D image comprising the steps of: scaling a received image having a searched pattern according to a scale factor and producing an overview image having a plurality of copies of the received and scaled image, each Grouping is scaled by a different scaling factor.
  • the overview image is converted into a feature space (eg Hough feature space) and then a classification to determine a measure of the match with a predetermined pattern (such as an eye).
  • search is made for maxima in the plurality of received and scaled images within the overview image to output information regarding a position at which a match between searched pattern and the predetermined pattern is maximum, the position being at a respective copy of the received and relates to a scaled image. If necessary, the position can be corrected using a combination of local sum and maximum filters and averaged over adjacent scaling steps.
  • the 2D bi-axis analyzer may be combined into a 2D image analysis system, the analysis system then having an evaluation device that observes and status the predetermined pattern and in particular the pupil (or, more generally, the eye region or eye of a user) determined.
  • the analysis system then having an evaluation device that observes and status the predetermined pattern and in particular the pupil (or, more generally, the eye region or eye of a user) determined.
  • the 2D image analyzer may be connected to a further processing means comprising a selectively adaptive data processor adapted to exchange a plurality of sets of data with the image analyzer and to process those data sets.
  • a further processing means comprising a selectively adaptive data processor adapted to exchange a plurality of sets of data with the image analyzer and to process those data sets.
  • the data records are processed in such a way that only plausible data records are passed on, whereby implausible parts of the data record are replaced by plausible parts.
  • the 2D image analyzer can also be connected to a 3D image analyzer, which determines an orientation of an object in space (eg, a viewing angle based on at least a first set of image data in combination with additional information) two main units, namely position calculating means for determining the position of the Pattern in three-dimensional space and an orientation calculator for
  • the 2D image analyzer may also be connected to a Hough processor, which in turn is subdivided into the following two subunits: Pre-processor configured to receive a plurality of samples, each comprising one image and the image of the respective one To rotate and / or mirror samples and to output a plurality of versions of the image of the respective sample for each sample, Hough transform means adapted to detect a predetermined searched pattern in the plurality of samples based on the plurality of versions in which a characteristic of the Hough transformation device that is dependent on the searched pattern is adaptable.
  • the processing means for postprocessing the results of the invention is adapted to analyze the detected patterns and to output a set of geometry parameters describing a position and / or a geometry of the pattern for each sample.
  • FIG. 1 is a schematic block diagram of a 2D image analyzer according to one
  • FIG. 2a is a schematic block diagram of a Hough processor with a
  • a processor and a Hough transformation device according to an embodiment
  • FIG. 2b shows a schematic block diagram of a pre-processor according to an embodiment
  • Fig. 2c is a schematic representation of FIough cores for the detection of straight lines (sections);
  • 3a is a schematic block diagram of a possible implementation of a
  • 3b shows a single cell of a delay matrix according to an embodiment
  • 4a-d a Schernatisch.es block diagram of another implementation of a Hough transformation device according to an embodiment
  • FIG. 5a shows a schematic block diagram of a stereoscopic camera arrangement with two image processors and a post-processing device, wherein each of the image processors has a Hough processor according to exemplary embodiments;
  • Fig. 5b shows an exemplary recording of an eye to illustrate a with the
  • FIG. 6-7 further illustrations for explaining additional embodiments or aspects; 8a-e are schematic representations of optical systems; and
  • 9a-9i further illustrations for explaining background knowledge for the Hough transformation device.
  • FIG. 1 shows a 2D image analyzer 700 with an image scaler 702, an image generator 704 and a pattern generator 706.
  • the image scaler 702 is configured to receive an image 710 (see Fig. 7b) having a searched pattern 71 1.
  • the received image 710 is now scaled with different scaling factors.
  • this reduction based on the image 71 0, a plurality of copies of the received and scaled image 710 ', 710 ", 710'" to 710 "'''' arise, it being noted that the number of scaling stages is not limited is.
  • the respective position of a scaled image be calculated within the overview image by an algorithm that takes into account a spacing between the scaled images in the overview image, a spacing of the scaled images to one or more of the boundaries of the oversize image and / or other predefined conditions.
  • the desired pattern 71 1 can now be detected by means of the pattern finder 706.
  • the pattern recognition is applied only once to the overview image, whereby the respective scaling stage is "coded" as location information within the overview image
  • the pattern recognition is applied only once to the overview image, whereby the respective scaling stage is "coded" as location information within the overview image
  • Advantageous is this type of processing of individual scaling stages, in particular on FPGA architectures, since here The different scaled images would each have to be held in memory and processed separately and then the results would be merged, so that the overview image would be generated once and then processed in one step FPGA architectures are optimally utilized.
  • this overview image 710 into a feature image 710a, a census transformation typically being used here.
  • this census-transformed image 710a it would also be conceivable to perform a classification in order to determine the false-color image 710b (see Fig. 7c),
  • the Hough translator 104 includes a delay filter 106 which may include at least one, but preferably a plurality, of delay elements 108a, 108b, 108c, 110a, 110b and 110c.
  • the delay elements 108a to 108c and 10a to 10c of the delay filter 106 are typically arranged as a matrix, that is, in columns 108 and HO and lines a to c, and are signal-coupled with one another. According to the perennialsbeispie!
  • At least one of the delay elements 108a to 108c or 110a to 110c has an adjustable delay time, here symbolized by the "+/-" symbol, for driving the delay elements 108a to 08c and 110a to 1.10c or to control the same, a separate control logic or an AnSteuerregister (not shown) may be provided.
  • This control logic controls the delay time of the individual delay elements 108a to 108c and 1 10a to 1 10c via optional switchable elements 109a to 109c and
  • the Hough transform means 104 may comprise an additional configuration register (not shown) for initially configuring the individual delay elements 108a-108c and 110a-110c.
  • the purpose of the pre-processor 102 is to prepare the individual samples 1 12a, 12b and 1 12c so that they can be efficiently processed by the Hough transformation device 104.
  • the pre-processor 102 receives the bi-file (s) 12a, 12b, and 12c and performs preprocessing, e.g. in the form of a rotation and / or in the form of a reflection, in order to output the multiple versions (cf., FIGS. 12a and 31a ') to the Hougl transformation device 104.
  • the output may be serial if the Hough transformer 104 has a Hough core 106, or parallel if more than one Hough core is provided.
  • the pre-processing in the pre-processor 102 which serves the purpose of detecting a plurality of similar patterns (rising and falling straight line) with a search pattern or a Hough core configuration, is explained below on the basis of the first sample 12a.
  • this sample can be rotated, eg rotated 90 °, to obtain the rotated version 1 12a '.
  • This process of rotation is provided with the reference numeral 1 14.
  • the rotation can take place either by 90 °, but also by 180 ° or 270 ° or generally by 360 ° / n, it being noted that depending on the downstream Hough transformation (see Hough transformation device 104), it can be very efficient can perform only a 90 ° turn.
  • the image 1 12a can also be mirrored to obtain the mirrored version 1 12a "The process of mirroring is designated by the reference numeral 16 1.
  • the mirror 16 corresponds to reading back the memory from the rear, both starting from the mirrored version 1 32a "as well as of the rotated version 1 12a ', a fourth version can be obtained by a rotated and mirrored version 1 12a'" by carrying out either the process 1 14 or 1 16.
  • two similar patterns eg, right half-circle and half-circle opened to the left
  • Hough-core configuration as described below.
  • the Hough transform means 104 is adapted to provide, in the version 1 12a or 1 12a '(or 1 12a "or 1 12a"') provided by the preprocessor 102, a predetermined searched pattern, such as an ellipse or to detect a segment of an ellipse, a circle or segment of a circle, or a straight line or a trench segment.
  • a predetermined searched pattern such as an ellipse or to detect a segment of an ellipse, a circle or segment of a circle, or a straight line or a trench segment.
  • the Fiheranordnvvng is configured according to the sought predetermined pattern.
  • some of the delay elements 108a to 108c and 110a to 110c are activated or bypassed, respectively.
  • a desired pattern eg angle of a straight line or radius of a circle
  • variable delay elements 108a to 108c or 110a to 10c delay elements
  • the desired characteristic that is to say, for example, the radius or the rise
  • the delay time of one of the delay elements 108a to 108c or 110a to 110c changes the overall filter characteristic of the filter 106.
  • the flexible adaptation of the filter characteristic of the filter 106 of the Hough Transformer 104 it is possible to adapt the Transformationkcrn 106 during the passage, so that, for example, dynamic image content such for small and large pupils, with the same Hough core 106 can be detected and tracked. The exact implementation of how the delay time can be adjusted is discussed in FIG. 3c.
  • all delay elements c 108a, 108b, 108c, 110a, 110b and / or 310c are preferably provided with one variable or discretely schalibaren delay time, so that during operation active between different patterns to be detected or between different forms of the patterns to be detected can be switched over and over.
  • the size of the illustrated Hough core 104 is configurable (either in operation or in advance) so that additional Hough cells may be enabled or disabled.
  • the transformation means 104 may be provided with means for adjusting the same or, to be specific, for adjusting the individual delay elements 108a-108c and 110a-110c, such as with a controller (not shown).
  • the controller is arranged, for example, in a downstream processing device and is designed to adapt the delay characteristic of the filter 106 if no pattern can be detected or if the recognition is not sufficiently good (low match of the image input). Folded with the searched patterns of existence of the searched pattern). This controller will be discussed with reference to FIG. 5a.
  • a very high frame rate of, for example, 60 FPS at a resolution of 640x480 could be achieved using a 96 MHz clock frequency because of the structure 104 described above with the plurality of columns 108 and 1 10 a parallel processing or a so-called parallel Hough transformation is possible.
  • the pre-processor 102 is designed to receive the samples 1 12 as binary edge images or also as gradient images and to carry out the rotation 114 or the reflection 1 16 on the basis of these in order to produce the four versions 1 12a, 12a ', 12a "and 1 12a '".
  • the background to this is that typically the parallel Hough transform as performed by the Hougfa transform means is limited to two or four preprocessed, e.g. offset by 90 °, versions of a picture 1 12a builds. As shown in Fig.
  • a 90 ° rotation (1 12a to 112a ') first takes place before the two versions 1 12a and 1 12a' are mirrored horizontally (compare 1 12a to 1 12a "and 1 12a ') 1 12a '").
  • the preprocessor in corresponding exemplary embodiments, has an internal or external memory which serves to hold the received image files 12.
  • the processing rotation 14 and / or mirror 16 of the pre-processor 102 depends on the downstream FIough transformer, the number of parallel harmonics (degree of parallelization) and the configuration thereof, in particular as described with reference to FIG. 2c ,
  • the pre-processor 102 may be configured to output the preprocessed video stream via the output 126 according to one of the three following constellations, depending on the degree of parallelization of the downstream Hough transcription unit 104: 100%
  • Parallelization Simultaneous output of four video streams, namely a non-rotated and non-mirrored version 1 12a, a 90 ° rotated version 1 12a ', and a mirrored version 1 12a "and 1 12a'" respectively.
  • 50% parallelization Output of two video data streams, namely non-rotated 1 12a and 90% mirrored 1 12a 'in a first step and output of the respective mirrored variants 1 12a "and 1 12a'" in a second step.
  • the pre-processor 102 may be configured to include other image processing steps, such as up-sampling. perform.
  • the pre-processor it would also be possible for the pre-processor to generate the gradient image. If the gradient image generation becomes part of the image pre-processing, the gray value image (output image) in the FPGA could be rotated.
  • Figure 2c shows two Hough Kerukonilgurationen 128 and 130, eg for two parallel 3 1x3 Hough Heme, configured to recognize a straight or straight section. Furthermore, a unit circle 132 is plotted to illustrate in which angular ranges the detection is possible. It should be noted at this point that the hauer kernel gauges 128 and 130 are each to be seen so that the white dots illustrate the delay elements.
  • the Hou gh core confi guration 128 corresponds to a so-called Type 1 Hough core, while the Hough core configuration 130 corresponds to a so-called Type 2 Hough core. As can be seen from the comparison of the two Hough core configurations 128 and 130, one represents the inverse of the other.
  • the Hough core configuration 1228 With the first Hough core configuration 128, a straight line in the region 1 between 3 ⁇ / 4 and ⁇ / 2 can be detected, while a straight line in the range 3 ⁇ / 2 and 5 ⁇ / 4 (range 2) is detectable by means of the Hough core configuration 130.
  • the Hough core configuration 128 and 130 is applied to the rotated version of the respective image. Consequently, by means of the Hough core configuration 128, the range lr between ⁇ / 4 and zero and, by means of the Hough core configuration 130, the range 2r between ⁇ and 3 ⁇ / 4 can be detected. 2015/052009
  • Hough core e.g., a Type 1 Hough core
  • only one Hough core type can be used, which is reconfigured during operation or in which the individual delay elements can be switched on or off, that of the Hough core corresponds to the inverted type.
  • Fig. 3a shows a Hough kernel 104 with m columns 108, 110, 138, 140, 141 and 143 and n rows a, b, c, d, e and f such that m x n rows are formed.
  • the column 108, 110, 138, 140, 141 and 143 of the filter represents a particular feature of the structure sought, e.g. for a certain curvature or a certain straight rise.
  • Each cell comprises a delay element which can be set with respect to delay time, wherein in this exemplary embodiment the adjustment mechanism is realized by providing in each case a switchable delay element with a bypass.
  • the cell (108a) of Fig. 3b comprises the delay element 142, a remotely operable switch 144, such as e.g. a multiplexer, and a bypass 146.
  • the remote-controllable switch 144 By means of the remote-controllable switch 144, either the line signal can be routed via the delay element 142 or fed to the node 148 without delay.
  • the node 148 is connected on the one hand to the sum element 150 for the column (for example 108), on the other hand via this node 148 also the next cell (for example 1 10a) is connected.
  • the multiplexer 1 4 is configured via a so-called configuration register 160 (see Fig. 3a). It should be noted at this point that the reference numeral 160 shown here refers only to a portion of the configuration register 160 which is coupled directly to the multiplexer 144.
  • the element of the configuration register 160 is configured to control the multiplexer 144 and receives, via a first information input 160a, configuration information that originates, for example, from a configuration matrix stored in the FPGA-internal BRAM 163.
  • This conflagration tion information can be a column-wise bit string and refers to the configuration of several of the (also during the transformation) configurable delay cells (142 + 144). Therefore, the configuration information can be further forwarded via the output 160b.
  • the configuration register 160 or the cell of the configuration register 160 receives a so-called Enabler signal via a further signal input 160c, by means of which the reconfiguration is initiated.
  • the background to this is that the reconfiguration of the hauer requires a certain amount of time, which depends on the number of delay elements or, in particular, on the size of a column. In this case, one clock cycle is assigned for each column element and it is grain red to a latency of a few clock cycles by the BRAM 163 or the configuration logic 160.
  • the overall latency for the reconfiguration is typically negligible for video-based image processing.
  • the video data streams recorded with a CMOS sensor have horizontal and vertical blanking, and the horizontal blanking or horizontal blanking time can be used for reconfiguration.
  • the size of the Hough core structure implemented in the FPGA dictates the maximum size possible for Hough core configurations. For example, if smaller configurations are used, they are vertically centered and aligned horizontally on column 1 of the Hough core structure. Unused elements of the Hough core structure are all populated with activated delay elements.
  • the evaluation of the data streams thus processed with the individual delay cells (142 + 144) takes place column by column.
  • the sum is added by columns in order to detect a local sum maximum, which indicates a recognized desired structure.
  • the summation per column 108, 110, 138, 140, 141 and 143 serves to determine a value that is representative of the degree of agreement with the sought structure for an expression of the structure assigned to the respective column.
  • comparators 108v, 110, 138v, 140v, 141v and 143v are provided per column, which are connected to the respective summation elements 150 .
  • comparators I08v, HOv, 138v. 140v, 141v, 143v of the different column 108, 1 10, 138, 140, 141 or 143 also further delay elements 153 may be provided, which serve to compare the column sums of adjacent columns.
  • the column 108, 110, 138 or 140 is always passed out of the filter with the greatest degree of agreement for a characteristic of the desired pattern.
  • the result comprises a so-called multidimensional Hough space, which contains all the relevant parameters of the desired structure, such as type of pattern (eg straight line or semicircle), degree of conformity of the pattern, extent of the structure (curvature of curve segments or slope and length of straight line segments) and Location or orientation of the searched pattern includes.
  • type of pattern eg straight line or semicircle
  • degree of conformity of the pattern e.g. straight line or semicircle
  • extent of the structure curvature of curve segments or slope and length of straight line segments
  • Location or orientation of the searched pattern includes.
  • the Hough-core cell of FIG. 3b may include an optional pipeline delay element 162, arranged, for example, at the output of the cell and configured to receive both the signal delayed by means of the delay element 142 and that by means of the bypass 146 delay delayed signal.
  • FIG. 5a shows an FPGA-implemented image processor 10a with a preprocessor 102 and a Hough transform device 104. Before the preprocessor 102, FIG Further, an input stage 12 may be implemented in the image processor 10a configured to receive image data or image sample from a camera 14a.
  • the input stage 12 may comprise, for example, an image transfer interface 12a, a segmentation and edge detector 12b and means for camera control 12c.
  • the camera control means 12c are connected to the image interface 12a and the camera 14 and serve to control factors such as gain and / or exposure.
  • the image processor 10a further includes a so-called Hough feature extractor 16 adapted to receive the multi-dimensional Hough space output by the Hough transform means 1.04 and all relevant information for pattern recognition involves analyzing and outputting a compilation of all Hough features based on the analysis result.
  • a smoothing of the Hough feature spaces takes place here, ie a spatial smoothing by means of a local filter or a thinning out of the Hough space (suppression of non-relevant information for the pattern recognition). This thinning is done taking into account the nature of the pattern and the nature of the structure so that non-maxima in the Hough probability space are masked out.
  • threshold values can also be defined for the thinning, so that, for example, minimum or maximum permissible characteristics of a structure, such as a minimum or maximum curvature or a smallest or largest increase, can be determined in advance.
  • noise suppression in the 1 lough probability space can also be carried out.
  • the analytic inverse transformation of the parameters of all remaining points in the original image area yields e.g. following Hough features: For the curved structure, position (x and y coordinates), probability of occurrence, radius and angle, which indicates in which direction the sheet is opened, can be forwarded. For a straight line, parameters such as position (x and y coordinates), probability of occurrence, angle indicating the slope of the straight line, and length of the representative straight section can be determined.
  • This thinned-out Hough-Rautn is outputted by the FIough feature extractor 16 or generally by the image processor 10a to a post-processing device 18 for further processing.
  • the processing device 18 may include a Hough feature-to-geometry converter 202.
  • This geometry converter 202 is configured to analyze one or more predefined searched patterns output by the Hough feature extractor and output the geometry describing parameters per sample.
  • the geometry converter 202 may be configured to output geometry parameters such as first diameter, second diameter, tilt and position of the center at an ellipse (pupil) or a circle based on the detected Hough features.
  • the geometry converter 202 is operable to detect and select a pupil based on 2 to 3 Hough features (eg, curvatures).
  • Criteria such as the degree of agreement with the sought-after structure or the Hough features, the curvature of the Hough features or the predetermined pattern to be detected, the location and orientation of the Hough features.
  • the selected ones Hough feature combinations are sorted, where in the first line sorting is according to the number of Hough features obtained and secondarily after May3 matching the searched structure. After sorting, the first Hough-Fcature combination is selected to fit the ellipse that most closely represents the pupil in the camera's back.
  • the post-processing device 18 comprises an optional controller 204 which is adapted to output a control signal back to the image processor 10a (see control channel 206) or, in other words, back to the Hough transform means 104 on the basis of which Filter characteristic of the filter 106 is adjustable.
  • the controller 204 is typically coupled to the geometry converter 202 to analyze the geometry parameters of the detected geometry and to track boundaries defined by the Hough kernel i such that more accurate geometry recognition is possible. This process is a successive process that starts, for example, with the last flough kernel configuration (size of the last used Hough kernel) and is updated as soon as the recognition 202 yields insufficient results.
  • the controller 204 may adjust the ellipse size, e.g. is dependent on the distance between the object to be photographed and the camera 14a when the associated person nourishes the camera 14a.
  • the filter characteristic is controlled on the basis of the last settings and on the basis of the geometry parameters of the ellipse.
  • the post-processing device 18 may comprise a selective-adaptive data processor 300.
  • the purpose of the data processor is to rework outliers and dropouts within the data series in order to smooth the data series, for example. That's why the selective-adaptive
  • Data processor 300 is configured to receive a plurality of sets of values output by geometry converter 202, each set being assigned to a respective sarnple.
  • the filter processor of data processor 300 performs a selection of values based on the multiple sets such that the data values of implausible sets (eg, outliers or dropouts) are replaced by internally-determined data values (substitute values) and the data values of the remainder Phrases continue to be used unchanged.
  • the data values of plausible sentences (containing no outliers or suspects) are forwarded and the data values of implausible sentences (containing outliers or dropouts) are represented by data values of a plausible sentence, e.g. For example, the previous data value or an averaging of several previous data values replaced.
  • the data processor can smooth over the data value of a newly received sentence if it does not meet one of the following criteria:
  • the associated size parameter or geometry parameter is a dropout when z.
  • the size of the current object is too strong
  • the current data value eg the current position value
  • An illustrative example of this is when z.
  • the current position coordinate (data value of the sentence) of an object deviates too much from the ionization coordinate previously determined by the selectively adaptive data processor.
  • the previous value is still output or at least used to smooth the current value.
  • the current values are optionally weighted more heavily than the past values. For example, using exponential smoothing, the current value can be determined by the following formula:
  • the smoothing coefficient is dynamically adjusted within defined limits to the trend of the data to be smoothed, eg reduction in rather constant value curves or increase in ascending or descending value curves. If, in the long term, there is a major jump in the geometry parameters (ellipse parameters) to be smoothed, the data processor and thus also the smoothed value curve adapt to the new value.
  • the selective-adaptive data processor 300 can also be configured by means of parameters, for example during the initialization, with the parameters behavior, x, b. maximum duration of a misfire, or maximum smoothing factor.
  • the selective adaptive data processor 300 or generally the post-processing device 118 can plausibly output values describing the position and geometry of a pattern to be recognized with high accuracy.
  • the post-processing device to an interface 1 8a, via the optional control commands can be received externally. If several data series are to be smoothed, it is conceivable to use a separate selectively adaptive data processor for each data series or to adapt the selectively adaptive data processor so that data sets of different data series can be processed per set.
  • the data processor 300 may, for. B. have two or more inputs and an output. One of the inputs (receives the data value and) is for the data series to be processed. The output is a smoothed row based on selected data. For selection, the further inputs (receive the additional values for a more accurate assessment of the data value) are used and / or the data series itself. During processing within the data processor 300, a change in the data rub takes place between the treatment of outliers and the handling of dropouts within the data series.
  • outliers In the selection, outliers (within the data series to be processed) are sorted out and replaced by other (internally determined) values.
  • Dropouts One or more additional input signals (additional values) are used to assess the quality of the data series to be processed. The assessment is based on one or more threshold values, which subdivide the data into "high” and “low” grades. Low quality data is rated as a dropout and replaced by other (internally determined) values.
  • the post-processing device 18 has an image analyzer. such as a 3-bit analyzer 400.
  • the post-processing device 18 can also be provided with a further image capture device consisting of image processor 10b and camera 14b.
  • the 3D image analyzer 400 is configured to generate at least a first set of image data, which is determined on the basis of a first image (see camera 14a), and a second set of image data, which is based on a second image (cf. Camera 14b), wherein the first and second images map a pattern from different perspectives, and to calculate an angle of view and an SD view vector, respectively.
  • the 3D image analyzer 400 includes a position calculator 404 and an alignment calculator 408.
  • the position calculator 404 is configured to determine a position of the pattern in a three-dimensional space based on the first set, the second set, and a geometric relationship between the three Perspectives and the first and the second camera 14a and 14b to calculate.
  • the alignment calculator 408 is configured to provide a 3D view vector, e.g. a viewing direction, according to which the recognized pattern is aligned in the three-dimensional space, the calculation being based on the first sentence, the second sentence and the calculated position (see position calculator 404).
  • a so-called 3 D amerasystemmodel 1 can be consulted, which has stored, for example, in a configuration file all model parameters, such as position parameters, optical parameters (see camera 14a and 14b).
  • the model stored or read in the 3D-Biidanalysator 400 includes data with regard to the camera unit, ie with respect to the camera sensor (eg pixel size, sensor size and resolution) and lenses used (eg focal length and ob] eke i nc), data or characteristics of the object to be recognized (eg, characteristics of an eye) and data relating to other relevant objects (eg, a display in the case of using the system 1000 as an input device).
  • the 3D position calculator 404 calculates the Auger position or the pupil center point on the basis of the two or more camera images (cf. FIGS. 14a and 14b) by triangulation.
  • the viewing angle calculator 408 can determine the viewing direction from two elliptical projections of the pupil to the camera sensors without calibration and without knowledge of the distance between the eyes and the camera system.
  • the viewing direction calculator 408 uses, in addition to the 3D positional parameters of the image sensors, the ellipse parameters which are determined by means of the geometry analyzer 202 and the position determined by means of the position calculator 404. From the 3D position of the pupil center and the position of the image sensors, virtual camera units are calculated by rotation of the real camera units whose optical axis extends through the 3D pupil center.
  • projections of the pupil on the virtual sensors are respectively calculated from the projections of the pupil on the real sensors, so that two virtual ellipses are created.
  • the two sensors can each be calculated two points of view of the eye on any plane parallel to the respective virtual sensor plane.
  • four view direction vectors can be calculated, ie two vectors per camera.
  • exactly one of the one camera is always approximately identical to one of the other cameras.
  • the two identical vectors indicate the searched eye direction (gaze direction), which is then output from the sight line calculator 404 via the interface 1 8a.
  • a particular advantage in this 3D calculation lies in the fact that a non-contact and complete calibration-free determination of the 3D eye position and the pupil size independently of the knowledge of the position of the eye to the camera. rnera is possible.
  • An analytical determination of the 3D eye position and SD viewing direction, including a 3D room model allows any number of cameras (greater than 1) and any camera position in 3D space.
  • the short latency with the simultaneously high frame rate enables a real-time capability of the described system 1000.
  • the so-called time regimes are also fixed, so that the time differences between successive results are constant.
  • the "3D image analyzer" which includes the method for calibration-free eye tracking, at least two camera images from different perspectives have been assumed so far.At the calculation of the viewing direction, there is a point at which exactly two possible pixels per camera are used In each case, the second vector corresponds to a mirroring of the first vector at the connecting line between the camera and the pupil center point .Thus of the two vectors which result from the other camera image, exactly one vector agrees with almost one calculated from the first camera image Vector match These matching vectors indicate the direction of view to be determined.
  • the actual sight line vector (hereinafter referred to as "vb") must be used ) to be selected.
  • 5b shows the visible part of the eyeball (bordered in green) with the pupil and the two possible viewing directions vi and v2.
  • one the white dermis around the iris
  • the two beams are projected into the camera image of the eye and run there from the pupil center to the edge of the image.
  • the ray which passes over fewer pixels belonging to the sclera, belongs to the actual line of sight vector vb.
  • the pixels of the sclera differ by their gray value from those of the iris bordering on them and those of the eyelids.
  • This method reaches its limits if the face belonging to the recorded eye is too far away from the camera (ie the angle between the optical axis of the camera and the vector perpendicular to the face plane becomes too large).
  • an evaluation of the position of the pupil center can be made within the eye opening.
  • the position of the pupil center within the visible part of the eyeball or within the eye opening can be used to select the actual line of sight vector.
  • One way to do this is to define 2 rays (starting at the pupillary center and infinitely long), one in the direction of vi and one in the direction of v2.
  • the two beams are projected into the camera image of the eye and run there from the pupil center to the edge of the image.
  • the distance between the pupil center and the edge of the eye opening (shown in green in FIG. 5b) is determined along both beams in the camera image.
  • the ray that results in the shorter distance belongs to the actual line of sight vector.
  • This method reaches its limits if the face belonging to the recorded eye is too far away from the camera (ie the angle between the optical axis of the camera and the vector perpendicular to the face plane becomes too large).
  • an evaluation of the position of the pupil center can be made to a reference pupil center.
  • the position of the pupum center point determined in the camera image within the visible part of the eyeball or within the eye opening can be used together with a reference pupil center to select the actual line of sight vector.
  • One way to do this is to define 2 rays (starting at the pupillary center and infinitely long), one in the direction of vi and one in the direction of v2.
  • the two beams are projected into the camera image of the eye and run there from the pupil center to the edge of the image.
  • the reference pupil center within the eye opening corresponds to the pupil center when the eye is looking directly toward the camera sensor center of the camera used for imaging.
  • the beam projected into the camera image, which has the smallest distance to the reference pupil center in the image belongs to the actual sight line vector.
  • To determine the reference pupil 11 There are several possibilities, some of which are described below:
  • Possibility 1 The center of the pupil center results from the determined pupil center, in the case where the eye looks directly towards the center of the camera sensor. This is the case if the pupil contour on the virtual sensor plane (see description for viewing direction calculation) describes a circle
  • option 2 The center of gravity of the area of the eye opening could be used as an estimate of the position of the reference pupil center point. This method of estimation reaches its limits when the plane in which the face lies is not parallel to the sensor plane of the camera. This constraint can be compensated if the inclination of the face plane to the camera sensor plane is known (eg, by a previously determined head position and orientation orientation) and this is used to correct the position of the estimated retraction pupil point.
  • Option 3 (general application): If the SD position of the center of the eye is available, a straight line between the 3D eye center and the virtual sensor center can be determined and its intersection with the surface of the eyeball. The reference pupil center results from the position of this intersection converted into the camera image.
  • an ASIC application-specific chip
  • the FPGAs 10a and 10b can be used instead of the FPGAs 10a and 10b, which can be realized very cost-effectively, particularly in the case of high quantities.
  • Hough processor 100 illustrated in FIG. 1 may be used in different combinations, in different combinations with features presented differently in particular with respect to FIG. 5.
  • Applications of the H ou gh processor according to FIG. 1 are, for example, microsleepwatchers or fatigue detectors as driver assistance systems in the automotive sector (or in general at safety-relevant human machine interfaces), whereby evaluation of the eyes (eg covering of the pupil as a measure of the degree of opening) and taking into account the viewpoints and the focus, a specific pattern of fatigue can be detected.
  • the Hough processor can be used on input devices or input interfaces for technical devices; Here the eye position and viewing direction are used as input parameters.
  • a concrete application here would be the support of the user when viewing screen contents, eg when highlighting certain focused areas.
  • Such applications are particularly interesting in the field of assisted iiving, in computer games, in the optimization of 3D visualization by including the line of vision, in market and media research or in ophthalmological diagnostics and therapies.
  • the implementation of the method presented above is platform-independent, so that the method presented above can also be executed on other units, such as a PC.
  • another embodiment relates to a method for Hough processing comprising the steps of processing a plurality of samples, each having an image, using a pre-processor, wherein the image of the respective sample is rotated and / or mirrored, such that a plurality of versions of the image of the respective sample are output for each sample and detecting predetermined patterns in the plurality of samples based on the plurality of versions using a Hough transform means having a delay filter having a filter characteristic, the filter characteristic of which depends is set by the selected predetermined pattern set.
  • Fig. 4a shows a processing chain 1000 of a fast 2D correlation.
  • the processing chain of the 2D correlation comprises at least the functional blocks 1 105 for 2D bending and 1 1 1 0 for the fusion.
  • the procedure for 2D bending is illustrated in FIG. 4b.
  • FIG. 4h shows examples of an overall position on templates.
  • a Hough feature can be extracted, will be apparent from Fig. 4c together with Fig. 4d.
  • FIG. 4c shows the pixel-by-pixel correlation with n templates illustrated (in this case, for example, for straight lines of different pitch) for recognizing the ellipse 1 1 15, while FIG. 4d shows the result of the pixel-by-pixel correlation, typically with a maximum search via the n result images ,
  • Each result image contains a hough feature per pixel. Hough processing in the overall context is explained below.
  • the narrative filter is replaced by fast 2D correlation.
  • the previous delay editor is able to map n characteristics of a specific pattern. These n values are stored as templates in the memory.
  • the preprocessed image (z, B. binary edge image or gradient image) is traversed pixel by pixel.
  • all stored templates are compared with the underlying image content (corresponding to a postprocessing characteristic) (the environment of the pixel position (in terms of the size of the template, so to speak) is evaluated).
  • This procedure is also referred to as correlation in digital image processing.
  • For each template therefore, one obtains a correlation value-that is, a measure of the match-with the underlying image content. These correspond, as it were, to the column sums from the previous delay filter. Now one decides (per pixel) for the template with the highest correlation value and remembers its template number (the template number describes the characteristics of the searched structure, eg slope of the straight line section).
  • the correlation of the individual templates with the image content can be carried out both in the local and in the frequency domain. This means that the input image is first correlated with all n templates. One receives n resultants. If you put these result images on top of each other (like a cuboid) you would search per pixel for the highest correlation value (over all levels), where individual levels within the cuboid stand for individual templates. The result is again a single image, which then contains a correlation measure and a tempo number per pixel - that is, one hough feature per pixel.
  • the second sleep detector is a system that consists of at least one of an image acquisition device, a lighting unit, a processing unit, and an acoustic and / or visual signaling device. By evaluating an image recorded by the user, the device is capable of detecting incoming microsleep or fatigue or distraction of the user and of warning the user.
  • the processing unit used is an embedded processor system that executes a software code on an underlying operating system.
  • the signaling device currently consists of a multi-frequency buzzer and an RGB LED.
  • the evaluation of the recorded image can take the form that in a first processing stage, face and eye detection and eye analysis are performed with a classifier. This level of processing provides initial clues for the orientation of the face, the eye positions, and the degree of lid closure.
  • An eye model used for this purpose can, for. Example, consist of: a pupil and / or iris position, a pupil and / or iris size, a description of the eyelids and the corner of the eyes. It is sufficient if at any time some of these components are found and evaluated. The one Components can also be tacked across multiple images so they do not have to be completely re-searched in each image.
  • the previously described Hough features can be used to perform face detection or eye detection or eye analysis or eye-contour analysis.
  • the 2D image analyzer described above can be used for face detection or for eye detection or eye analysis.
  • the described adaptive-selective data processor can be used for smoothing the result values or intermediate results or values profiles determined during face detection or eye detection or eye analysis or eye fine analysis.
  • a temporal evaluation of the LidscMussgtades and / or the results of the eye-fine analysis can be used to determine the microsleep or the tiredness or distraction of the user.
  • the calibration-free sighting direction described in connection with the 1 ) image analyzer can also be used to obtain better results in the determination of the microsleep or the fatigue or distraction of the user.
  • the adaptive-selective data processor can also be used.
  • the procedure for determining the eye position described in the exemplary embodiment "second scarf detector" can also be used to determine any other defined 2D position, such as a nose position or nose root position, in one
  • the Hough processor in the image input stage may include camera control equipment.
  • aspects described in connection with or as a method step also provide a description of a corresponding block or method
  • Some or all of the method steps may be performed by an apparatus (using a hardware apparatus), such as a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, some or more of the more important. Process steps are performed by such an apparatus.
  • Invention be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPRO, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical Speiehers are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
  • an exemplary embodiment of the method according to the invention is thus a computer program which has a program code for carrying out one of the methods described here when the computer program runs on a computer.
  • a further embodiment of the invention is therefore like a process data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for. Performing one of the methods described herein is recorded.
  • a further embodiment of the inventive method is thus a data stream or sequence of signals representing the computer program for performing any of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • a further exemplary embodiment comprises a colorimg.
  • a computer or programmable logic device that is configured or adapted to perform one of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver.
  • the receiver may be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or system may include a file server for transmitting the computer program to the recipient.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are performed by any hardware device. This may be a universally applicable hardware such as a Compiiter polishor (CPU) or specific to the process hardware, such as an ASIC.
  • CPU Compiiter polishor
  • the "Integrated Eyetracker” includes a collection of FPGA-optimized algorithms that are capable of extracting (elliptical) features (Hough features) from a live camera image using a parallel flough transformation
  • elliptical features Hough features
  • the calculation uses the position and shape of the ellipses in the camera images.There is no calibration of the system required for the respective user and no knowledge about the distance between the cameras and the analyzed eye.
  • the image processing algorithms used are in particular characterized in that they are optimized for processing on an FPGA (field programmable gate array).
  • the algorithms enable very fast image processing with a constant frame rate, minimal latency and minimal resource consumption in the FPGA.
  • these modules are predestined for time / latency / safety critical applications (eg driver assistance systems), medical diagnostic systems (eg perimeter) as well as applications such as human machine interfaces (eg for mobile devices) require low construction volume.
  • the overall system determines a list of multi-dimensional Hough features from two or more camera tabs in which the same eye is depicted, and calculates the position and shape of the pupillary ellipse on the basis thereof. From the parameters of these two ellipses as well as solely from the position and orientation of the cameras relative to one another, the 3D position of the pupillary midpoint as well as the 3D viewing direction and the pupil diameter can be determined completely without calibration.
  • a hardware platform we use a combination of at least two image sensors. FPGA and / or downstream. Microprocessor system (without a PC is absolutely necessary).
  • FIG. 6 shows a block diagram of the individual functional modes in the Integrated Eyctracker.
  • the block diagram shows the individual processing stages of the Integrated Eyetracker. The following is a detailed description of the modules.
  • one or more video data streams with prepared pixel data from the input are provided.
  • the parallel Hough transformation can be applied to the image content from four main directions offset by 90 ° each
  • delay elements can be switched on and off during runtime.
  • Each column of the filter stands for a certain characteristic of the sought structure (curvature or straight line increase)
  • the filter For each image pixel, the filter provides a point in the Hough space containing the following information
  • Type of pattern e.g., straight or semicircle
  • Hough feature to ellipse converter calculated ellipse, the Hough core size is tracked within defined limits around the "EP2015 / 052009
  • the gating coefficient is dynamically adjusted within defined limits to the trend of the data to be smoothed: o Reduction in the case of a rather constant value progression of the data series
  • This model can be used, among other things, to calculate the 3D line of sight (consisting of the center of the pupil and the directional vector (corrected according to the biology and physiology of the human eye))
  • the light beams that have depicted the 3D point as 2D points on the sensors are calculated from the transferred 2D coordinates for both cameras
  • the 3D position of the pupil center and the position of the image sensors are used to calculate virtual camera units whose optical axis passes through the 3 D pupil center by rotating the real camera units
  • bitfiles can be bound to an FPGA ID -> copying would then only be possible if FPGAs with the same ID are used. Proof of patent infringement by "disassembling" the FPGA bit-n-bit network
  • microsleep detector or fatigue detector as a driver assistance system in the automotive sector, by evaluating the eyes (eg, covering the pupil as a measure of the degree of opening) and taking into account the viewpoints and the focus
  • One aspect of the invention relates to an autonomous (PC-independent) system, which in particular uses FPGA-optimized algorithms, and is suitable for this purpose. Detect face in a camera live image and determine its (spatial) position.
  • the algorithms used are characterized in particular by the fact that they are optimized for processing on a FPGA (field programmable gate airay) and can do without processing recursions in comparison to the existing methods.
  • the algorithms enable very fast image processing with a constant frame rate, minimal latency and minimal resource consumption in the FPGA.
  • modules are therefore predestined for time-critical applications (eg driver assistance systems) or applications such as human machine intcrfaces (eg for mobile devices), which require a low volume of construction.
  • time-critical applications eg driver assistance systems
  • human machine intcrfaces eg for mobile devices
  • the spatial position of the user for specific points in the image can be determined with high precision, without calibration and without contact.
  • classifiers Based on the detected face position, classifiers only deliver inaccurate eye positions (the position of the eyes - in particular the pupil center - is not analytically determined (or measured) and is therefore high
  • the determined face and eye positions are only available in 2D image coordinates, not in 3D
  • the overall system determines the facial position from a cardiac image (in which a face is depicted) and, using this position, determines the positions of the pupil centers of the left and right eye. If two or more cameras with a known orientation are used, these two points can be specified for the 3-dimensional space.
  • the two determined eye positions can be further processed in systems that use the "Integrated Eyetracker".
  • FIG. 7a shows a block diagram of the individual function modules in the FPGA Facetracker 800.
  • the function modules "3D camera system model 802" and “3D position calculation” 804 are not absolutely necessary for facetracking, but are made when using a stereoscopic camera system and offsetting suitable points used on both cameras to determine spatial positions (for example, to determine the 3-D head position when calculating the 2D facial centers in both camera images).
  • the module "Feature extraction (Classification) 806" of the FPGA Facetracker builds on the feature extraction and classification of kublbeck / Ernst from Fraunhofer IIS (Er GmbH) and uses an adapted version of its classification based on Census characteristics.
  • the block diagram shows the individual processing stages of the FPGA Facetracking System. The following is a detailed description of the modules.
  • FIG. 7b shows the output image 710 (original image) and result 712 (downscaling image) of the parallel image scaler.
  • the image coordinates of the respective scaling stage are transformed into the image coordinate system of the target matrix on the basis of various criteria:
  • ⁇ Detects a face from classification results of several scaling levels, which are arranged together in a matrix.
  • the parallel face finder 808 is similar to the finder 706 of FIG. 1, with the finder 706 including a generalized functionality (recognition of other patterns, such as pupil recognition). As shown in Fig. 7c, the result of the classification (right) represents the input for the parallel face fmder.
  • the eye search described below for each eye is performed in a defined area (eye area) within the face region provided by the "Parallel Face Finder":
  • Filters are detected within the eye area probabilities for the presence of an eye (the eye is described in this image area in simplified terms as a small dark area with a bright environment)
  • the exact eye position including its probability results from a maximum search in the previously calculated probability complex rallel pupil analyzer 812 '
  • a set of filter parameters can be used when initializing the
  • the current input value is used for smoothing if it does not fall into one of the following categories:
  • the corresponding downscaling level is a nonsensical value (value found in a downscaling level that is too far away)
  • the smoothing coefficient is dynamically adjusted within defined limits to the trend of the data to be smoothed: o Reduction in the case of more or less constant value progression of the data series
  • Configuration file containing the model parameters (attitude parameters, optical parameters, etc.) of all elements of the model
  • the model includes the following elements at the present time:
  • the viewpoint of a viewer on another object in the 3D model can be calculated as well as the focused area of the viewer
  • o function ⁇ Calculation of the spatial position (3D coordinates) of a point captured by two or more cameras (eg, pupil center)
  • ⁇ Error measure describes the accuracy of the passed 2D coordinates in conjunction with the model parameters
  • the 2D beams are used to calculate the light beams for both cameras that have reproduced the 3D point as 2i) points on the sensors Light rays are described as straight lines in the 3 D of the model
  • bitfiles can be bound to an FPGA-iD - the data would only be copied if FPGAs with the same ID were used
  • second-level detector in the automotive sector by evaluating the eyes (opening degree) and the eye and head movement o Human-machine communication
  • Head and eye parameters (inter alia position)
  • an elliptical pupil projection is produced on the image sensors 802a and 802b (see FIG.
  • the center of the pupil is always imaged on both sensors 802a and 802b and thus also in the corresponding camera images as the center EP KS and E M p K2 of the ellipse.
  • Dalier can be determined by stereoscopic backprojection of these two Ellipsenrnittelans E M p KI and EP K2 using the lens model of the 3D pupil center.
  • An optional prerequisite for this is an ideally time-synchronized image acquisition so that the scenes reproduced by both cameras are identical and thus the pupil center has been recorded at the same position.
  • the back projection beam RS of the ellipse center has to be calculated, which runs along the node beam between the object and the object-side node (Hl) of the optical system (FIG. 8a),
  • RS (l) RSo + t - RS s
  • This back projection beam is defined by equation (AI). It consists of a starting point RSo and a normalized directional vector RS-, which are used in the
  • the 3D ellipse center point in the camera coordinate system can be determined from the previously determined E-hopping center line parameters Tri x ", and y", which are present in image coordinates by means of an equation
  • P B üd is the resolution of the camera image in pixels
  • S 0 f fSe is the position on the sensor at which the image is read out
  • S rcs is the resolution of the sensor
  • S xör is the pixel size of the sensor.
  • the desired pupil center is ideally the intersection of the two back propagation beams RS K1 and RS K2 .
  • Two straight lines in this constellation which neither intersect nor run parallel, are called skewed straight lines in geometry.
  • the two skewed straight lines each pass very close to the pupil center track.
  • the pupil center is at the point of their smallest distance to each other halfway between the two lines.
  • the shortest distance between two skewed straight lines is indicated by a connecting line perpendicular to both straight lines.
  • the distance perpendicular to both rear projection beams can be calculated according to equation (A4) as a cross product of their direction vectors.
  • Equation (A4) The location of the shortest link between the back projection beams is defined by Equation (A5).
  • RS kl (s), RS K2 (f) this results in a system of equations from which s, l and u can be calculated.
  • the sought pupil center P P which lies halfway between the back projection beams, thus results from equation (A6) after the onset of the values calculated for s and u.
  • the calculated pupil center is one of the two parameters that determine the eye's eye's line of sight. It is also needed to calculate the line of sight vector, which is described below.
  • the sight line vector P fi to be determined corresponds to the normal vector of the circular pupil surface and is thus determined by the orientation of the pupil in the 3-D space.
  • the position can be and orientation of the pupil.
  • the lengths of the two half-axes and the rotation angle of the projected ellipses are characteristic of the orientation of the pupil or the viewing direction relative to the camera positions.
  • An approach for calculating the viewing direction from the ellipse parameters and fixed distances in the eye tracking system between the cameras and the eye is z. As described in the patent DE 10 2004 046 617 AI. As shown in FIG.
  • this approach is based on a parallel projection, wherein the straight line defined by the sensor normal and the center point of the pupil projected onto the sensor runs through the pupil center.
  • the distances between the cameras and the eye must be known in advance and stored firmly in the eye-tracking system.
  • the model of the camera lens used in the approach presented here which describes the imaging behavior of a real objective
  • a perspective projection of the object onto the image sensor As a result, the calculation of the pupil center can be made and the distances of the cameras to the eye need not be known in advance, which is one of the significant innovations over the above-mentioned patent.
  • perspective projection the shape of the pupil ellipse imaged on the sensor does not result from the inclination of the pupil with respect to the sensor surface, unlike the image elimination.
  • the deflection ⁇ of the pupil center from the optical axis of the camera lens has, as shown in FIG 8b also shows an influence on the shape of the pupil 1 projection and thus on the ellipse parameters determined therefrom.
  • the distance between pupil and camera with several hundred millimeters is very large compared to the pupil radius, which is between 2 mm. and 8 mm. Therefore, the deviation of the pupil 1projection from an ideal ellipse shape, which arises at a tilt of the pupil with respect to the optical axis, becomes very small and can be neglected.
  • the influence of the angle ⁇ on the ellipse parameters need not be eliminated, so that the shape of the pupil projection is influenced solely by the orientation of the pupil. This is always the case when the pupil center PMP lies directly in the optical axis of the camera system. Therefore, the influence of the angle ⁇ can be eliminated by calculating the pupil projection on the sensor of a virtual camera system vK whose optical axis passes directly through the previously calculated pupil center MP, as shown in Fig. 8c.
  • the position and orientation of such a virtual camera system 804a '(vk in Fig. 8c) can be calculated from the parameters of the original camera system 804a (K in Fig.
  • the normalized normal vector vK "of the virtual camera vK is as follows:
  • Unit vector of the y-direction of the eye tracker coordinate system by the angles ⁇ ⁇ , ⁇ ⁇ and ⁇ ⁇ can the vectors V ⁇ ' . and vK y - which are the x- and y-
  • the required distance d between the main points and the distance b between the main plane 2 and the sensor plane must be known or z. B. be determined experimentally with a test setup.
  • first edge points RP.sub.y , ⁇ of the previously determined ellipse on the sensor in the original position are required.
  • Edge points K 20 of the ellipse E in the camera image, corresponding to Fig.8d E A is .Short half-axis of the ellipse
  • E h is the long semiaxis of the ellipse
  • E SM and ⁇ ⁇ ⁇ the center coordinates of the ellipse
  • E A of the rotation angle of the ellipse The position of a point RP '° in the eyetracker coordinate system can be calculated by the equations (AI 1) to (AI 4) from the parameters of the ellipse E, the sensor 5 "and the camera K, where ⁇ is the position of a boundary point RP 2D according to Fig.8d indicates on the EHipsenache.
  • the virtual node point beam and the virtual sensor plane corresponding to the x-y plane of the virtual camera vK are set equal in equation (A 16), where the parameters of their intersection result by resolving to $ z and h. With these, by equation (AI 7), the ellipse edge point can be calculated in pixel coordinates in the image of the virtual camera.
  • the parameters of the virtual ellipse vE shown in Figure 8c may be computed by using at least six virtual boundary points vRP 20 , by substituting different ⁇ into equation (Al l) can be calculated by the above-described route.
  • the shape of the virtual ellipse vE thus determined depends only on the orientation of the pupil. Moreover, its center is always in the center of the virtual sensor and, together with the sensor normal, which corresponds to the camera normal vK-, forms a straight line running along the optical axis through the pupil center ⁇ . Thus, the prerequisites are fulfilled in order to subsequently calculate the line of sight based on the approach presented in the patent DE 10 2004 046 617 A I. With this approach it is now also possible to determine the viewing direction by using the virtual camera system described above, when the pupil center is located outside the optical axis of the real camera system, which is almost always the case in real applications.
  • the previously calculated virtual ellipse vE is now assumed in the main virtual plane 1. Since the center of vE is at the center of the virtual sensor and thus in the optical axis, the 3-D ellipse center point VE 'MP corresponds to the virtual main point 1. It is also the lotus point of the pupillary center PMP in the main virtual plane 1. At the same time, only the axis sen proportions and the Roiationswinkel the ellipse ve used.
  • This Fotmparaiiieter of vE can also be used unchanged with respect to the main level 1, since the alignments of the x- and y-axis of the 2-D sensor plane to which they relate, the orientation of the 3-D-Scnsorebene correspond and thus also the orientation of the main level 1.
  • Each image of the pupil 806a in a camera image can be formed by two different orientations of the pupil.
  • two virtual intersections v S of the two possible straight lines with the main virtual plane 1 result from the results of each camera.
  • the two possible viewing directions p. , and p. 2 can be determined as follows.
  • the distance A between the known pupil center and the ellipse center vE 'MP is:
  • the angle w dijj between the two averaged vectors P KI and ° which indicate the actual viewing direction, can be calculated.
  • M> dijf the more accurate were the model parameters and ellipse centers used for previous calculations.
  • angles of view 9 B w and fair with respect to the normal position of the pupil (P ⁇ lies paraiiel to the z-axis of the eye tracker coordinate system) can be calculated using the equations
  • LoS t P MP + l - P "-.
  • the implementation of the above-presented method is platform independent, so the above-presented method can be used on various hardware platforms, e.g. a PC can be executed.
  • the aim of the present following is to develop on the basis of the parallel Hough transformation and a robust method for feature extraction. This will be done by revising the Houghcore and introducing a feature extraction method that reduces the results of the transformation and breaks them down to a few "feature vectors" per image, then implements and tests the newly developed method in a Matlab toolbox, eventually becoming an FPGA implementation of the new procedure.
  • the Hough parallel transformation uses Houghcores of different sizes, which must be configured using configuration matrices for each application.
  • the mathematical relationships and methods for creating such configuration matrices are shown below.
  • the Matlab alc config lines curvatures.m script uses these techniques to create straight-line and semicircle configuration matrices of various sizes.
  • To create the configuration matrices it is first necessary to calculate a set of curves in discrete representation and for different Houghcore sizes.
  • the requirements (educational regulations) on the group of curves have already been shown. Under In particular, straight lines and semicircles are suitable for configuring the Houghcores, taking these educational regulations into account. For the viewing direction determination
  • the increase can be tuned by the variable Y core from 0 to core he j gl .
  • the radius is missing, which is obtained by inserting (B6) in (B7) and by further transformations.
  • variable h must be from 0 to
  • variable y core which runs from 0 to core, h
  • the circle configurations always represent circular arcs around the vertex of the semicircle. Only the largest y-index of the family of curves (smallest radius) represents a complete semicircle.
  • the developed configurations can be used for the new Houghcore.
  • a major disadvantage of Holland-Neil's FPGA implementation is the rigid configuration of the Houghcores.
  • the delavlines must be parameterized before the synthesis and are then stored permanently in the hardware structures (Holland-Neil, p. 48-49). Changes during runtime (eg Houghcore size) are no longer possible. The new procedure should become more flexible at this point. The new Houghcore should be too completely reconfigured during runtime in the FPGA.
  • Previous Hou gh c ore structure consist of a delay and a bypass and it is determined before the FPGA synthesis which path is to be used.
  • this structure is extended by one multiplexer, another register for configuring the delay element (switching of the multiplexer) and a pipeline delay.
  • the configuration registers can be modified during runtime. In this way, different configuration matrices can be imported into the Hougheore.
  • the synthesis tool in the FPGA has more freedom in implementing the Houghcore design, and higher clock rates can be achieved.
  • Pipe-linedelays break through time-critical paths within FPGA structures. In Fig. 9d, the new design of the delay elements is illustrated.
  • the delay elements of the new Houghcore have a somewhat more complex structure.
  • An additional register is required for flexible configuration of the delay element and the multiplexer occupies additional logic resources (must be implemented in the FPGA in a LUT).
  • the pipeline delay is optional.
  • modifications were also made to the design of the Houghcore.
  • the new Hougheore is illustrated in Fig. 9e,
  • Each column element requires one clock cycle and there is a latency of a few clock cycles through the BRAM and configuration logic.
  • the overall latency for reconfiguration is disadvantageous, but can be accepted for video-based image processing, usually If the video streams recorded with a CMOS sensor have horizontal and vertical blanking, the reconfiguration can be done easily in the horizontal blanking time.
  • the size of the Houghcore structure implemented in the FPGA also dictates the maximum size possible for Houghcore configurations. When small configurations are used, they are vertically centered and aligned horizontally at column 1 of the Houghcore structure (see Figure 91). Unused elements of the Houghcore structure are all filled with delays. The correct alignment of smaller configurations is important for the correction of the x-coordinates (see Formulas (B l 7) to (B 1 9)).
  • the Houghcore is fed as before with a binary edge image that passes through the configured delay lines.
  • the column sums are calculated over the entire Houghcore and compared with the sum signal of the previous column, respectively. If a column returns a higher total, the sum value of the original column is overwritten.
  • the new Houghcore returns a column sum value and its associated column number. On the basis of these values, a statement can later be made about which structure was found (represented by the column number) and with which probability of occurrence it was detected (represented by the sum value).
  • the output signal of the Houghcore can also be referred to as Houghraum or Akkumulatorraum.
  • the Hough space of the parallel Hough transformation is present in the image coordinate system.
  • the feature extraction works on the records from the previous table. These data sets can be summarized in a feature vector (B! 6).
  • the feature vector can also be referred to below as a Hough feature.
  • MV iMV x , MVY VQ, MV KS, MV N> MV c i, MV A ]
  • a feature vector consists of the x and y coordinates for the found feature (MV X and MV y ), the orientation MVo, the curvature MV / cs, the frequency MV H , the houghcore size MVQ.I and the type of found Structure MVA.
  • the detailed meaning and the value range of the individual elements of the Merkmaisvektors can be seen in the following table.
  • the two elements MV 0 and M ' VKS have different meanings for straight lines and semicircles.
  • the combination of orientation and curvature strength forms the position angle of the detected straight line section in the angle! from 0 ° to 180 °.
  • the orientation addresses an angular range and the curvature strength stands for a concrete angle within this range. The larger the Houghcore (the more 11 o ugheo re- palte n are present), the more finer is the angular resolution.
  • the orientation is the position angle or the orientation of the semicircle. Semicircles can be detected by principle only in four orientations.
  • the curvature is in semicircular configurations for the radius.
  • the statement floor rounds off the fractional rational number, in the FPGA this corresponds to the simple descending of the binary decimal numbers.
  • the actual feature extraction can take place.
  • three thresholds are used in combination with a non-maximum suppression operator.
  • the non-maximum-suppression operator differs in straight lines and semicircles.
  • a minimum MV k: s and maximum curvature strength MV K are specified via the threshold values and a minimum frequency MV H ⁇ is set.
  • the non-maximum suppression operator can be considered a 3x3 local operator (see Figure 9h).
  • a valid semicircle feature (or curvature) always arises when the condition of the nms operator in (B23) is satisfied and the thresholds are exceeded according to formulas (B20) to (B22).
  • Non-maximum suppression suppresses Hough features that do not represent local Maxim a in the frequency domain of the feature vectors. This suppresses Hough features that do not contribute to the sought-after structure and are irrelevant to post-processing.
  • the feature extraction would only be parameterized via three thresholds that can be sensibly adjusted in advance. A detailed explanation of the threshold values can be found in the following table.
  • Threshold for a minimum frequency ie a column Hough Threshing value, which must not be undershot.
  • MV K, S behaves like MV KS only for a maximum curvature, top-line
  • Which nms operator to use depends on the Houghcore type as well as the angle range.
  • the angular range that a floughcore provides with straight line configurations is divided by the angular range bisector.
  • the angular range bisector can be given as a Houghcore-Spaite (decimal broken) (MV KSI IH ).
  • the mathematical relationship depending on the Houghcore size is described by formula (B24).
  • the range of the flough-fcature is based on the Houghcore-Spaite that delivered the hit (MVKS), which can be directly compared to the angular range-bisecting Houghcore-Spaite.
  • the condition can be queried via the respective nms-oprator, similar to the non-maximum suppression for curvatures (formulas (B25) to (B27)). If all conditions are fulfilled and if the threshold values according to the formulas (B20) to (B22) are additionally exceeded, the Hough feature can be adopted at position »w.5 ' 2.2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

Ein 2D-Bildanalysator umfasst einen Bildskalierer, einen Bildgenerator und einen Musterfinder. Der Bildskalierer ist ausgebildet, um ein Bild gemäß einem Skalierungsfaktor zu skalieren. Der Bildgenerator ist ausgebildet, um ein Übersichtsbild zu erzeugen, das eine Mehrzahl von Kopien des empfangenen und skalierten Bildes aufweist, wobei jede Kopie um einen unterschiedlichen Skalierungsfaktor skaliert ist. Hierbei kann die jeweilige Position durch einen Algorithmus berechenbar sein, der eine Beabstandung zwischen den skalierten Bildern in dem Übersichtsbild, eine Beabstandung der skalierten Bilder zu einer oder mehreren der Grenzen des Übersichtsbilds und/oder andere vordefinierte Bedingungen berücksichtigt. Der Musterfinder ist ausgebildet, um eine Merkmalstransformation und Klassifikation des Übersichtsbildes durchzuführen, und um eine Position auszugeben, bei der eine Übereinstimmung zwischen dem gesuchten Muster und dem vorbestimmten Muster maximal ist. Optional kann auch eine Nachverarbeitungseinrichtung zur Glättung und Positionskorrektur lokaler Maxima im klassifizierten Übersichtsbild vorgesehen sein.

Description

2D-BildanaIysator
Beschreibung
Aus führungsbeispi elc der vorliegenden Erfindung beziehen sich auf einen 2D- Bildanalysator sowie auf ein entsprechendes Verfahren.
In vielen Fällen werden in der digitalen Bildverarbeitung für die Mustererkennung mehrere skalierte Versionen des Eingangsbildes benutzt. Ein Beispiel für einen solchen Mustererkenner ist der Klassifikator nach Viola-Jones, der auf eine bestimmte Modeligröße angelernt ist.
Je nachdem, welche Entfernung nun das gesuchte Muster (z. B. Gesicht oder Auge) zum Kamerasystem hat, erfolgt eine größere oder kleinere Abbildung. Durch die fixe Modelgröße des Klassifikators muss also in mehreren Skalierungsstufen des aufgezeichneten
Bildes gesucht werden, um in einer der Skalierungsstufen eine optimale Übereinstimmung mit der Modellgröße des Klassifikators zu erhalten. Die Skalierungsstufen werden dazu im Normalfall aufsteigend oder absteigend durchsucht (vgl. Bildpyramide). Diese sequnetielle Abarbeitung ist insbesondere für parallele Architekturen (z. B, FPGA) sehr schlecht geeignet.
Deshalb besteht der Bedarf nach einem verbesserten Ansatz. Aufgabe ist es, eine effiziente und zuverlässige Erkennung eines Musters zu ermöglichen.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Weiterbildungen sind in den Unteransprüchen definiert. Ausführungsbeispiele schaffen einen 2D-Bildanalysator mit einem Bildskaiierer, einem Bildgenerator und einem Musterfinder. Der Bildskaiierer ist atisgebildet, um ein Bild zu empfangen, das ein gesuchtes Muster aufweist, und um das empfangene Bild gemäß einem Skalierungsfaktor zu skalieren. Der Bildgenerator ist ausgebildet, um ein Ubersichtsbild zu erzeugen, das eine Mehrzahl von Kopien des empfangenen und skalierten Bildes aufweist, wobei jede Kopie um einen unterschiedlichen Skalierungsfaktor skaliert ist. Der Musterfinder ist ausgebildet, um ein vorbestimmtes Muster mit der Mehrzahl von empfangenen oder skalierten Bildern innerhalb des Übersichtsbildes zu vergleichen, und um eine Information hinsichtlich einer Position auszugeben, bei der eine Übereinstimmung zwischen dem gesuchten Muster und dem vorbestimmten Muster maximal ist, wobei sich die Position auf eine jeweilige Kopie des empfangenen und skalierten Bildes bezieht.
Der Kern der vorliegenden Erfindung liegt also darin, dass sich die Erkennbarkeit von be- stimmten Mustern sich über die Bildgröße verändert. Hier wurde insbesondere erkannt, dass die sequentielle Abarbeitung unterschieldicher Skalierungsstufen sehr ineffizient sein kann. Deshalb schaffen Ausführungsbeispiele der vorliegenden Erfindung einen BiJdanaly- sator mit einem Musterfinder, wobei der Musterfinder auf ein Übersichtsbild angewendet wird, welches das Bild, in welchem das gesuchte Muster enthalten ist, in unterschiedlichen Skalierungsstufen umfasst. Durch diese unterschiedlichen Skalierungsstufen, -welche in einem Überischtsbild auf geschickte Weise angeordnet sind, kann erreicht werden, dass in nur einem Schritt mehrere bzw. alle interessierenden Skalierungsstufen auf einmal durchsucht werden können (und nicht wie üblich die Mustererkennung auf mehreren Skalierungsstufen hintereinander angewendet wird). Das geschieht, indem die Mustererkennun g nur auf dem Überischtsbild stattfindet. Dort wo im Übersichtsbild die größte Übereinstimmung mit dem gesuchten Muster vorhanden ist, ist zum einen klar, welche Skalierungsstufe diese Übereinstimmung geliefert hat (Position des skalierten Bildes innerhlab des Übersichtsbildes) und zum anderen an welcher Position (x,y Koordinate im Bild) diese lag (Position innerhalb des skalierten Bildes im Übersichtsbild, korrigiert um den Skalierungsfak- tor). Das bietet also unterm Strich den Vorteil, dass wesentlich effizienter, insbesondere auf parallelen Architekturen wie z.B. FPGAs, das gesuchte Muster in zumindest einer der Skalierungsstufen erfasst werden kann, indem lediglich die Mustererkennung auf dem Übersichtsbild erfolgt. Durch die Kenntnis der Skalierung ist dann auch in dem Absolutbild die Position des gesuchten Musters berechenbar.
Deshalb ist entsprechend weiteren Ausführungsbeispielen jedes skalierte Bild gemäß dem jeweiligen Skalierungsfaktor einer jeweiligen Position in dem Übersichtsbild zugeordnet. Hierbei kann die jeweilige Position durch einen Algorithmus berechenbar sein, der eine Beabstandung zwischen den skalierten Bildern in dem Übersichtsbild, eine Beabstandung der skalierten Bilder zu einer oder mehreren der Grenzen des Übersichtsbilds und/oder andere vordefinierte Bedingungen berücksichtigt.
Entsprechend weiteren Ausführungsbeispielen setzt auf den so vorbereiteten Übersichtsbild der Musterfinder auf, der ausgebildet ist, um ein oder mehrere lokale Maxima in der Zensus-transformierten Version des Übersichtsbilds oder in der in den Hough- Merkmalsraum überführten Version des Übersichtsbildes oder in der in das Gradientenbild überführten Version des Übersichtsbilds, oder aigemein in einen Merkmaisraum überführten Version des Über sich tsbildes , zu identifizieren, wobei eine Position eines lokalen Ma- ximums die Position des identifizierten vorbestimmten Musters in der jeweiligen Kopie des empfangenen und skalierten Bilds anzeigt.
Entsprechend weiteren Ausführungsbeispielen umfasst der Musterfinder eine Klassifikati- on und eine Nachverarbeitung. Die Klassifikation wird dabei auf das in den Markmalsraum überführte Übersichtsbild angewendet und liefert hohe Werte (lokale Maxima) an Stellen wo der Bildinhalt mit dem gesuchten Muster übereinstimmt. Zur Klassifikation können dabei übliche Verfahren nach dem Stand der Technik herangezogen werden (z. B. nach Viola-Jones).
Das klassifizierte Übersichtsbild kann nun entsprechend weiteren Ausführungen einer Nachverarbeitung unterzogen werden. Dazu wird das klassifizierte Übersichtsbild zunächst mit einem lokalen Summenfilter geglättet und auf diese Weise auch die Positione der lokalen Maxima örtlich korrigiert. Parallel dazu wird ein lokaler Maximumsfilter ange- wendet, um den Score (ein Score ist in den meisten Fällen das Ergebnis einer Klassifikation, also ein Maß für die Übereinstimmung des Bildinhaltes mit dem gesuchten Muster) zu dem, über das Summenfilter korrigierte, lokale Maximum zu erhalten. Im Ergebnis erhält man wieder ein klassifiziertes Übersichtsbild mit Seores des Klassifikators aber nun örtlich korrigierten lokalen Maxima. Jeder Position eines lokalen Maximums im Übersichtsbild ist I entsprechend den bisherigen Ausführungen eine entsprechende Skalierungsstufe zugeordnet (außer an den Stellen wo die Skalierungsstufen untereinander und zu den Grenzen des Übersichtsbildes beabstandet sind). Je nachdem wo genau innerhalb einer Skalierungsstufe das Maximum liegt kann man diese Position wieder auf das Originalbild zurückführen, indem man die entsprechende Position um den Skalienmgsfaktor der entsprechenden Sak- lierungsstufe korrigiert. Jeder Position im Übersichtsbild ist also eine absolute Position in Originalbildkoordinaten zugeordnet (außer an den Stellen wo die Skalierungsstufen untereinander und zu den Grenzen des Übersichtsbildes beabstandet sind). Ist nun ein Maximum innerhalb einer Skalierungsstufe extrahiert wurden, kann dessen Position auch noch einmal korri iert werden, indem das entsprechende lokale Maximum aus den benachbarten Skalie- rungsstufen mit herangezogen wird und eine Mittelung über die benachbarten Skalierungsstufen erfolgt.
Weitere Ausführungsbeispiele beziehen sich auf die genaue Implementierung des 21)- Bildanalysators, der entsprechend einer ersten Gruppe von Ausführungsbeispielen als eingebetteter Prozessor oder programmierbare Logik oder als kundenspezifische Einheit (ASIC) ausgeführt sein kann oder entsprechend einer zweiten Gruppe von Ausführungs- beispielen als Verfahren realisiert sein kann, welches auf einem Computer läuft (Compu- ierprogramm).
Also umfasst ein Ausführungsbeispiel das Verfahren zum Analysieren eines 2D-Bilds mit den Schritten: Skalieren eines empfangenen Bilds, das ein gesuchtes Muster aufweist, gemäß einem Skalierangsfaktor und Erzeugen eines Übersichtsbilds, das eine Mehrzahl von Kopien des empfangenen, und skalierten Bilds aufweist, wobei jede Gruppierung um einen unterschiedlichen Skalierungsfaktor skaliert ist. Als nächster Schritt erfolgt eine Überführung des Übersichtsbildes in einen Merkmalsraum (z. B. Hough Merkmalsraum) und dann eine Klassifikation um ein Maß für die Übereinstimmung mit einem vorbestimmten Muster zu ermitteln (wie z. B. ein Auge). Danach wird nach Maxima in der Mehrzahl von empfangenen und skalierten Bildern innerhalb des Übersichtsbildes gesucht, um eine Information hinsichtlich einer Position auszugeben, bei der eine Übereinstimmung zwischen gesuchtem Muster und dem vorbestimmten Muster maximal ist, wobei sich die Position auf eine jeweilige Kopie des empfangenen und skalierten Bilds bezieht. Die Position kann bei Bedarf über eine Kombination aus lokalen Summen- und Maximumsfilter korrigiert und über benachbarte Skalieruugsstufen hinweg gemittelt werden.
Entsprechend weiteren Ausführungsbeispielen kann der 2D-BiJdanalysator zu einem 2D- Bildanalysesystem kombiniert sein, wobei das Analysesystem dann eine Auswertevorrichtung aufweist, das das vorbestimmte Muster und insbesondere die Pupille (oder, allgemein, die Augenregion oder das Auge eines Nutzers) beobachtet und einen Status dazu ermittelt. Hierbei ist es insbesondere möglich, um eine ausbleibende Reaktion des Auges, wie z.B. ein nicht mehr zu öffnendes Auge, z.B. infolge eines Sekundenschlafes zu detektieren.
Entsprechend weiteren Ausführungsbeispielen kann der 2D -Bildanalysator mit einer weiteren Verarbeitungseinrichtung verbunden sein, die einen selektiv adaptiven Datenprozessor umfasst, der ausgebildet ist, um mehrere Sätze von Daten mit dem Bildanalysator auszutauschen und diese Datensätze zu bearbeiten. Hierbei werden die Datensätze insofern bear- beitet, dass nur noch plausible Datensätze weitergebeben werden, wobei unplausible Teile des Datensatzes durch plausible Teile ersetzt werden.
Entsprechend weiteren Ausführungsbeispielen kann der 2D- Bildanalysator auch mit einem 3D-Bildanalysator verbunden sein, der eine Ausrichtung eines Objekts im Raum (also z.B. einen Blickwinkel, basierend auf zumindest einem ersten Satz von Bilddaten in Kombination mit Zusatzinformationen, ermittelt. Dieser 3D-Bildanalysator umfasst zwei Haupteinheiten, nämlich eine Positionsberechnungseinrichtung zur Bestimmung der Position des Musters im dreidimensionalen Raum und eine Ausrichtungsberechnungseinrichtung zur
Bestimmung einer Achse durch eben dieses Muster.
Entsprechend weiteren Ausfuhrungsbeispielen kann der 2D-Bildanalysator auch mit einem Hough-Prozessor verbunden sein, weicher sich wiederum in folgende zwei Untereinheiten aufgliedert: Pre-Prozessor ausgebildet, um eine Mehrzahl von Samples zu empfangen, die jeweils ein Bild umfassen und um das Bild des jeweiligen Samples zu drehen und/oder zu spiegeln und um eine Mehrzahl von Versionen des Bildes des jeweiligen Samples für jedes Sample auszugeben, Hough-Transformationseinrichtung, ausgebildet um ein vorbestimm- tes gesuchtes Muster in der Mehrzahl von Samples auf der Basis der Mehrzahl von Versionen zu erfassen, wobei eine mit dem gesuchten Muster in Abhängigkeit stehende Charakteristik der Hough-Transformationseinrichtung anpassbar ist. Die Verarbeitungseinrichtung zum Nachverarbeiten der Houghergebnisse ist ausgebildet, um die erfassten Muster zu analysieren und einen Satz von Geometrieparametern auszugeben, der eine Position und/oder eine Geometrie des Musters für jedes Sample beschreibt.
Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand der beiliegenden Zeichnungen erläutert. Es zeigen: Fig. 1 ein schematisches Blockschaltbild eines 2D-Bildanalysators gemäß einem
Ausführungsbeispiel;
Fig. 2a ein schematisches Blockschaltbild eines Hough-Prozessors mit einem Pre-
Prozessor und einer Hough-Transformationseinrichtung gemäß einem Ausführungsbei- spiel;
Fig. 2b ein schematisches Blockschaltbild eines Pre-Prozessors gemäß einem Aus- führungsbeispiel; Fig. 2c eine schematische Darstellung von FIough-Kernen zur Detektion von Geraden (abschnitten);
Fig. 3a ein schematisches Blockschaltbild einer möglichen Implementierung einer
Hough-Transformationseinrichtung gemäß einem Ausfuhrungsbeispiel;
Fig. 3b einzelne Zelle einer Verzögerungsmatrix entsprechend einem Ausführungsbeispiel; Fig. 4a-d ein schernatisch.es Blockschaltbild einer weiteren Implementierung einer Hough-Transformationseinrichtung entsprechend einem Ausführungsbeispiel;
Fig. 5a ein schemalisch.es Blockschaltbild einer stereoskopischen Kameraanord- nung mit zwei Bildprozessoren und einer Nachverarbeitungseinrichtung, wobei jeder der Bild-Prozessoren einen Hough-Prozessor gemäß Ausführungsbeispielen aufweist;
Fig. 5b eine exemplarische Aufnahme eines Auges zur Illustration einer mit der
Vorrichtung aus Fig. 5a durführbaren Blickwinkeldetektion und zur Erläuterung der Blickwinkeldetektion im monoskopischen Fall;
Fig. 6-7 weitere Darstellungen zur Erläuterung von zusätzlichen Ausführungsbeispielen bzw. Aspekten; Fig. 8a-e schematische Darstellungen von optischen Sytemen; und
Fig. 9a-9i weitere Darstellungen zur Erläuterung von Hintergrundwissen für die Hough-Transformationseinrichtung.
Nachfolgend werden Ausführungsbeispiele der vorliegenden Erfindung anhand der Figuren im Detail erläutert. Es sei darauf hingewiesen, dass gleiche Elemente mit gleichen Bezugszeichen versehen sind, so dass die Beschreibung derer aufeinander angewendet werden kann bzw. austauschbar ist.
Fig. 1 zeigt einen 2D-Bildanalysator 700 mit einem Bildskalierer 702, einem Bildgenerator 704 und einem Musterfmder 706.
Der Bildskalierer 702 ist ausgebildet, um ein Bild 710 (vgl. Fig. 7b) zu empfangen, das ein gesuchtes Muster 71 1 aufweist. In dem Bildskalierer 702 wird nun das empfangene Bild 710 mit unterschiedlichen Skalierungsfaktoren skaliert. Hierbei kann beispielsweise eine Verkleinerung erfolgen, wie nachfolgend gezeigt wird. Bei dieser Verkleinerung entstehen auf Basis des Bilds 71 0 eine Vielzahl an Kopien des empfangenen und skalierten Bilds 710' , 710" , 710' " bis 710" ' " ' " " , wobei angemerkt sei, dass die Anzahl der Skalierungs- stufen nicht beschränkt ist. Diese Vielzahl an skalierten Bildern 710' bis 710" " " " ' werden mittels des Bildgenerators 704 zu einem Übersichtsbild 712 zusammengestellt, wobei das Übersichtsbild 712 die Mehrzahl von Kopien des empfangenen und skalierten Bilds 710' bis 710" ' " " " umfasst. Hierbei kann die jeweilige Position eines skalierten Bildes innerhalb des Übersichtsbildes durch einen Algorithmus berechenbar sein, der eine Beab- standung zwischen den skalierten Bildern in dem Übersichtsbild, eine Beabstandung der skalierten Bilder zu einer oder mehreren der Grenzen des Übersichisbilds und/oder andere vordefinierte Bedingungen berücksichtigt. In diesem Übersichtsbild 712 kann nun mittels des Musterfinders 706 das gesuchte Muster 71 1 delektiert werden.
Es wird also anstatt die Mustererkennung auf mehrere Skalierungsstufen hintereinander anzuwenden, die Mustererkennung nur einmal auf das Übersichtsbild angewandt, wobei die jeweilige Skalierungsstufe als Ortsinformation innerhalb des Übersichtsbildes„codiert" ist. Vorteilhaft ist diese Art der Abarbeitung einzelner Skalierungsstufen insbesondere auf FPGA Architekturen, da hier die sequntielle Bearbeitung einzelner Skalierungsstufen hintereinander relativ aufwendig wäre. Die unterschiedlich skalierten Bilder müssten jeweils im Speicher vorgehalten und separat bearbeitet werden und dann die Ergebnisse zusammengeführt werden. So wird einmal das Übersichtsbild generiert und dann in einem Schritt bearbeitet werden. Auf diese Weise können die parallelen FPGA- Architekturen optimal ausgenutzt werden.
Entsprechend weiteren Ausführungsbeispielen wäre es auch möglich, dieses Übersichtsbild 710 in ein Merkmalsbild 710a zu verwandeln, wobei typischerweise hier eine Census- Transformation zum Einsatz kommt. Ausgehend von diesem Census-transformierten Bild 710a wäre es auch denkbar, eine Klassifikation vorzunehmen, um das Falschfarbenbild 710b zu ermittein (vgl. Fig. 7c),
Optionaler Weise kann entsprechend weiteren Ausführungsbeispielen zusätzlich eine Nachverarbeitungseinrichtung (nicht dargestellt) in dem 2D-Bildanalysaior 700 vorgesehen sein (vgl. Fig 5a). Die NachveTarbeitungseinrichttmg ermöglicht eine Anwendung einer Kombination aus lokalem Summen- und Maximumfilter, um die Positionen der lokalen Maxima im klassifizierten Übersichtsbild zu korrigieren. Optional kann hierbei auch eine Mittelung der Position eines Maximum, welches in einer der Skalierungsstufen gefunden wurde, mit den entsprechenden Maxima aus den benachbarten Skalierungsstufen erfolgen. Es erfolgt also eine Mittelwertbildung über benachbarte Skalierungsstufen in dem Übersichtsbild hinweg.
Weitere Ausführungsbeispiele bzw. Varianten dieses 2D-Bildanalysators werden im Bezug auf Fig. 7a erläutert.
Fig. 2a zeigt einen Hough-Prozessor 100 mit einem Pre-Prozessor 102 und einer Hough- Transformationseinrichtung 104. Der Pre-Prozessor 1 02 stellt die erste Signalverarbei- tungsstufe dar und ist informatorisch an die Hough-Transformationseinrichtung 1 04 gekoppelt. Die Hough-Translbrmationseinrichtung 104 weist einen Verzögerungsfilter 106 auf, der mindestens ein, bevorzugt aber eine Vielzahl von Verzögerungselementen 1 08a, 1 08b, 1 08c, 1 10a, 1 1 Ob und 1 10c umfassen kann. Die Verzögerungselemente 108a bis 108c und 1 10a bis 1 0c des Verzögerungsfilters 106 sind typischerweise als Matrix, also in Spalten 108 und HO und Zeilen a bis c angeordnet und signaltechnisch miteinander gekoppelt. Entsprechend dem Ausführungsbeispie! aus Fig. 2a weist zumindest eines der Verzögerungsglieder 108a bis 1 08c bzw. 1 10a bis 1 10c eine einstellbare Verzögerungszeit auf, hier symbolisiert anhand des„+/-"-Symbols. Zur Ansteuerung der Verzögerungsei e- mente 108a bis 08c und 1 10a bis 1.10c bzw. zur Steuerung derselben kann eine separate Ansteuerlogik bzw. ein AnSteuerregister (nicht dargestellt) vorgesehen sein. Diese Steuerlogik steuert die Verzögerungszeit der einzelnen Verzögerungselemente 108a bis 108c bzw. 1 10a bis 1 10c über optionale schaltbare Elemente 109a bis 109c bzw. l i l a bis 1 1 i c, die beispielsweise einen Multiplexer und einen Bypass umfassen können. Die Hough- Transformationseinrichtung 104 kann ein zusätzliches Konfi gurationsregistcr (nicht dargestellt) zur initialen Konfiguration der einzelnen Verzögerungselemente 108a bis 1 08c und 1 1 0a bis 1 10c umfassen.
Der Pre-Prozessor 102 hat die Aufgabe, die einzelnen Samples 1 12a, 1 12b und 1 12c so aufzubereiten, dass diese durch die Hough-Transformationseinrichtung 104 effizient verarbeitet werden können. Hierzu empfangt der Pre-Prozessor 102 die Biiddatei bzw. die mehreren Samples 1 12a, 1 12b und 1 12c und führt eine Vorverarbeitung, z.B. in Form einer Drehung und/oder in Form einer Spiegelung durch, um die mehreren Versionen (vgl. 1 12a und 3 12a') an die Hougl Transformationseinrichtung 1 04 auszugeben. Die Ausgabe kann seriell erfolgen, wenn die Hough-Transformationseinrichtung 104 einen Hough-Kern 106 aufweist, oder auch parallel, wenn mehrerer Hough- erne vorgesehen sind. D.h. also, dass je nach Umsetzung die n Versionen des Bildes entweder vollständig parallel, semi-parallel (also nur zum Teil parallel) oder seriell ausgegeben und bearbeitet werden. Die Vorverarbeitung im Pre-Prozessor 102. die dem Zweck dient, mit einem Suchmuster bzw. einer Hough-Kernkonfiguration mehrere ähnliche Muster (steigende und fallende Gerade) zu detektieren, wird nachfolgend anhand des ersten Samples 1 12a erläutert.
Dieses Sample kann beispielsweise gedreht, z.B. um 90° gedreht, werden, um die gedrehte Version 1 12a' zu erhalten. Dieser Vorgang des Drehens ist mit dem Bezugszeichen 1 14 versehen. Hierbei kann die Drehung entweder um 90°, aber auch um 1 80° oder 270° bzw. allgemein um 360°/n erfolgen, wobei angemerkt sei, dass je nach nachgelagerter Hough- Transformation (vgl . Hough-Transformationseinrichtung 104) sehr effizient sein kann, nur eine 90°- Umdrehung durchzuführen. Auf diese Unteraspekte wird Bezug nehmend auf Fig. 2b und 2c eingegangen. Ferner kann das Bild 1 12a auch gespiegelt werden, um die gespiegelte Version 1 12a" zu erhalten. Der Vorgang des Spiegeins ist mit dem Bezugszeichen 1 16 versehen. Das Spiegeln 1 16 entspricht einem rückwärtigen Auslesen des Speichers. Sowohl ausgehend von der gespiegelten Version 1 32a" als auch von der gedrehten Versi- on 1 12a' kann eine vierte Version durch eine gedrehte und gespiegelte Version 1 12a' " erhalten werden, indem entweder der Vorgang 1 14 oder 1 16 durchgeführt wird. Auf Basis der Spiegelung 1 16 können dann zwei ähnliche Muster (z.B. nach, rechts geöffneter Halbkreis und nach links geöffneter Halbkreis) mit derselben Hough-Kemkonfiguration, wie nachfolgenden beschrieben, detektiert werden.
Die Hough-Transformationseinrichtung 104 ist dazu ausgebildet, um in der durch den Pre- Prozessor 102 zur Verfügung gestellten Version 1 12a bzw. 1 12a' (oder 1 12a" bzw. 1 12a"') ein vorbestimmtes gesuchtes Muster, wie z.B. eine Ellipse oder ein Segment einer Ellipse, einen Kreis oder Segment eines Kreises, oder eine Gerade bzw. ein Grabenseg- ment zu detektieren. Hierzu ist die Fiheranordnvvng entsprechend dem gesuchten vorbestimmten Muster konfiguriert. Abhängig von der jeweiligen Konfiguration werden manche der Verzögerungselemente 108a bis 108c bzw. 1 10a bis 1 10c aktiviert oder gebypassed. infolgedessen werden bei Anlegen eines Bildstreifens des zu untersuchenden Bildes 1 12a bzw. 1 12a' an die Transformationseinrichtung 1 04 durch die Verzögerungselemenie 108a bis 108c einige Pixel selektiv verzögert, was einer Zwischenspeicherang entspricht, und andere direkt zur nächsten Spalte 110 weitergeleitet. Durch diesen Vorgang werden dann gekrümmte oder schräge Geometrien„geradegebogen". Abhängig von der eingelesenen Bilddatei 1 12a bzw. 1 32a', bzw., um genau zu sein, abhängig von der von der Bildstruktur der angelegten Zeile des Bildes 1 12a bzw. 1 12a' kommt es zu hohen Spaltensummen in einer der Spalten 108 oder 1 10, während die Spaltensummen in anderen Spalten niedriger sind. Die Spaltensumme wird über den Spaitensummenausgang 108x bzw. I Ox ausgegeben, wobei hier optional ein Additionselement (nicht dargestellt) zur Bildung der Spalten- summe je Spalte 108 oder 1 10 vorgesehen sein kann. Bei einem Maximum einer der Spaltensummen kann auf das Vorhandensein einer gesuchten Bildstruktur oder eines Segments der gesuchten Bildstruktur oder zumindest auf das zugehörige Maß der Übereinstimmung mit der gesuchten Struktur geschlossen werden. Das heißt also, dass je Verarbeitungsschritt der Bildstreifen um ein Pixel bzw. um eine Spalte 108 oder 1 10 weitergeschoben wird, so dass bei jedem Verarbeitungsschritt anhand eines Ausgangshistogramms erkennbar ist, ob eine der gesuchten Strukturen detektiert ist oder nicht, oder ob die Wahrschein- üchkeit des Vorhandenseins der gesuchten Struktur entsprechend hoch ist. In anderen Woren ausgedrückt heißt das, dass das Überschreiten eines Schwellenwerts der jeweiligen Spaltensumme der Spalte 108 oder 1 10 die Detektion eines Segments der gesuchten Bildstruktur anzeigen, wobei jede Spalte 108 oder 1 10 einem gesuchten Muster bzw. einer Ausprägung eines gesuchten Musters (z.B. Winkel einer Geraden oder Radius eines Kreises) zugeordnet ist. Es sei an dieser Stelle angemerkt, dass für die jeweilige Struktur nicht nur das jeweilige Verzögerungselement 1 10a, 1 10b und 1 10c der jeweiligen Zeile 1 10 maßgeblich ist, sondern insbesondere die vorherigen Verzögerungselemente 108a, 108b und 108c in Kombination mit den nachfolgenden Verzögerun selemenien 1 10a, 1 10b und 1 10c, Entsprechend dem Stand der Technik sind derartige Strukturen bzw. Aktivierungen von Verzögerungselementen bzw. Bypass von vorneherein vorgegeben.
Über die variablen Verzögerungselemente 108a bis 108c bzw. 1 10a bis 10c (Verzöge- rangsei. emente) kann die gesuchte Ausprägung (also z.B. der Radius oder der Anstieg) im laufenden Betrieb angepasst werden. Da die einzelnen Spalten 108 und 1 10 miteinander gekoppelt sind, erfolgt bei Anpassen der Verzögerungszeit eines der Verzögerungselemente 108a bis 108c bzw. 1 10a bis 1 10c eine Veränderung der gesamten Filtercharakteristik des Filters 106. Durch die flexible Anpassung der Filtercharakteristik des Filters 106 der Hough-Transformationseinrichtung 104 ist es möglich, den Transformationskcrn 106 während der Laufeeit anzupassen, so dass beispielsweise dynamische Bildinhalte, wie z.B. für kleine und große Pupillen, mit demselben Hough-Kern 106 erfasst und getrackt werden können. Auf die genaue Implementierung, wie die Verzögerungszeit angepasst werden kann, wird in Fig. 3c eingegangen. Um nun dem Hough-Prozessor 100 bzw. der Transfor- mationseinrichtung 104 mehr Flexibilität zu ermöglichen, sind bevorzugt alle Verzöge- rungselementc 108a, 108b, 108c, 1 10a, 1 10b und/oder 3 10c (oder zumindest eine der genannten) mit einer variablen oder diskret schalibaren Verzögerungszeit ausgeführt, so dass während des Betriebes aktiv zwischen unterschiedlichen zu detektierenden Mustern bzw. zwischen unterschiedlichen Ausprägungen der zu detektierenden Muster hin- und berge- schaltet werden kann.
Entsprechend weiteren Ausführungsbeispielen ist die Größe des dargestellten Hough- Kerns 104 konfigurierbar (entweder im Betrieb oder vorab), so dass also zusätzliche Hough-Zellen aktiviert oder deaktiviert werden können.
Entsprechend weiteren Ausführangsbeispvelen kann die Transformationseinrichtung 104 mit Mitteln zur Einstellung derselben bzw., um genau zu sein, zur Einstellung der einzelnen Verzögerungselemente 108a bis 108c und 1 10a bis 1 10c, wie z.B. mit einem Controller (nicht dargestellt) verbunden sein. Der Controller ist beispielsweise in einer nachge- schalteten Verarbeitungseinrichtung angeordnet und dazu ausgebildet, um die Verzögerungscharakteristik des Filters 106 anzupassen, wenn kein Muster erkannt werden kann oder wenn die Erkennung nicht ausreichend gut ist (geringe Übereinstimmung des Bildin- faaltes mit den gesuchten Mustern es Vorhandenseins des gesuchten Musters). Auf diesem Controller wird Bezug nehmend auf Fig. 5a eingegangen.
Das oben genannte Ausführangsbei spiel hat den Vorteil, dass dieses einfach und flexibel zu realisieren ist und insbesondere auch auf einem FPGA implementiert werden kann. Hintergrund hierzu ist, dass die oben beschriebene parallele Hough-Transformation ohne Regressionen auskommt und sozusagen vollständig parallelisiert ist. Deshalb beziehen sich weitere Ausführungsbeispiele auf FPGAs, die zumindest die Hough- Transforrnationseinrichtung 104 und/oder den Pre-Prozessor 102 aufweisen. Bei einer Im- plementierung der oben beschriebenen Vorrichtung auf einem FPGA, z.B. einen XIL1NX Spartan 3A DSP, konnte eine sehr hohe Frame-Rate, von beispielsweise 60 FPS bei einer Auflösung von 640x480, unter Nutzung von einer Taktfrequenz bei 96 MHz erzielt werden, da durch die oben beschriebene Struktur 104 mit der Vielzahl der Spalten 108 und 1 10 eine parallele Verarbeitung bzw. eine sogenannte parallele Hough-Transformation möglich ist.
Fig. 2a und 2b zeigen den Pre-Prozessor 102, der zur Vorverarbeitung des Videodatenstroms 1 12 mit den Frames 1 12a, 1 12b und 1 12c dient. Der Pre-Prozessor 102 ist dazu ausgebildet, die Samples 1 12 als binäre Kantenbilder oder auch als Gradientenbilder zu empfangen und auf Basis dieser die Rotation 114 bzw. die Spiegelung 1 16 durchzuführen, um die vier Versionen 1 12a, 1 12a', 1 12a" und 1 12a'" zu erhalten. Hintergrund hierzu ist, dass typischerweise die parallele Hough-Transformation, wie sie durch die Hougfa- Transformationseinrichtung ausgeführt wird, auf zwei oder vier jeweils vorverarbeiteten, z.B. um 90° versetzten, Versionen eines Bildes 1 12a aufbaut. Wie in Fig. 2b dargestellt ist, erfolgt zuerst eine 90°-Drehung (1 12a zu 112a'), bevor die zwei Versionen 1 12a und 1 12a' horizontal gespiegelt werden (vgl. 1 12a zu 1 12a" und 1 12a' zu 1 12a'"). Um die Spiegelung 1 16 und/oder die Rotation 1 14 durchzuführen, weist der Pre-Prozessor in entsprechenden Ausführungsbeispielen einen internen oder externen Speicher auf, der dazu dient, die empfangenen Bilddateien 1 12 vorzuhalten.
Die Verarbeitung Drehen 1 14 und/oder Spiegeln 1 16 des Pre-Prozessors 102 hängt von der nachgelagerten FIough-Transformationseinrichtung, der Anzahl der parallelen Hough- erne (Parallelisieriingsgrad) und der Konfiguration derselben ab, wie insbesondere Bezug nehmend auf Fig. 2c beschrieben wird. Insofern kann der Pre-Prozessor 102 dazu ausge- bildet sein, um den vorverarbeiteten Videostrom je nach Parallelisierungsgrad der nachgelagerten Hough -Trans formati onseinri chtung 104 entsprechend einer der drei folgenden Konstellationen über den Ausgang 126 auszugeben: 100% Parallelisierung: Simultane Ausgabe von vier Videodatenströmen, nämlich einer nicht-rotierten und nicht-gespiegelten Version 1 12a, einer um 90° rotierten Version 1 12a', und jeweils eine gespiegelte Version 1 12a" und 1 12a'". 50% Parallelisierung; Ausgabe von zwei Videodatenströmen, nämlich nicht-rotiert 1 12a und um 90% gespiegelt 1 12a' in einem ersten Schritt und Ausgabe der jeweils gespiegelten Varianten 1 12a" und 1 12a' " in einem zweiten Schritt.
25% Parallelisierung: jeweils Ausgabe eines Videodatenstroms, nämlich nicht-rotiert 1 12a, um 90° rotiert 1 12a' , gespiegelt 1 12a" und gespiegelt und rotiert 1 12a'" sequenziell.
Alternativ zu obiger Variante wäre es auch denkbar, dass basierend auf der ersten Version drei weitere Versionen allein durch Drehung, also beispielsweise durch Drehung um 90°,
180° und 270°, erstellt werden, auf Basis derer die Hough-Transformation erfolgt.
Entsprechend weiteren Ausführungsbeispielen kann der Pre-Prozessor 102 dazu ausgebildet sein, auch weitere Bildverarbeitungsschritte, wie z.B. ein Up-Sampling. durchzuführen. Zusätzlich wäre es auch möglich, dass der Pre-Prozessor das Gradientenbild erzeugt. Fin¬ den Fall, dass die Gradientenbilderzeugung Teil der Bildvorverarbeitung wird, könnte das Grauwertbild (Ausgangsbild) im FPGA rotiert werden.
Fig. 2c zeigt zwei Hough-Kerukonilgurationen 128 und 130, z.B. für zwei parallele 3 1x3 1 Hough-Keme, so konfiguriert, um eine Gerade bzw. einen geraden Abschnitt zu erkennen. Des Weiteren ist ein Einheitskreis 132 aufgetragen, um zu illustrieren, in welchen Winkel - bereichen die Detektion möglich ist. Es sei an dieser Stelle angemerkt, dass die Hough- ernkonftguration 128 und 130 jeweils so zu sehen sind, dass die weißen Punkte die Verzögerungselemente illustrieren. Die Hou gh - Kernkonfi gur ati on 128 entspricht einem sogenannte Typ 1 Hough-Kern, während die Hough-Kernkonfigurati on 130 einem sogenannten Typ 2 Hough-Kern entspricht. Wie an dem Vergleich der zwei Hough- Kernkonfigurationen 128 und 130 zu erkennen ist, stellt der eine die Inverse des anderen dar. Mit der ersten Hough-Kemkonfiguration 128 kann eine Gerade in dem Bereich 1 zwischen 3π/4 und π/2 detektiert werden, während eine Gerade in dem Bereich 3π/2 und 5π/4 (Bereich 2) mittels der Hough-Kernkonfiguration 130 detektierbar ist. Um in den weiteren Bereichen eine Detektion zu ermöglichen, wird, wie oben beschrieben, die Hough- Kernkonfiguration 128 und 130 auf die rotierte Version des jeweiligen Bildes angewendet. Folglich kann dann mittels der Hough-Kernkonfiguration 128 der Bereich lr zwischen π/4 und null und mittels der Hough-Kernkonfiguration 130 der Bereich 2r zwischen π und 3π/4 erfasst werden. 2015/052009
Alternativ kann bei Einsatz nur eines Hough -Kerns (z.B. eines Typ 1 Hough-Kerns) eine Rotation des BiJdes einmal um 90°, einmal um 180° und einmal um 270° sinnvoll sein, um die oben beschrieben Varianten der Geradenausrichtung zu erfassen. Andererseits kann durch die Flexibilität bei der Konfiguration des Hough-Kerns auch nur ein Hough-Kern- Typ eingesetzt werden, der während des laufenden Betriebs so umkonfiguriert wird bzw. bei dem die einzelne Verzögerungselemente zu- oder abgeschaltet werden können, dass der Hough -Kern dem invertierten Typ entspricht. In anderen Worten ausgedrückt heißt das also, dass bei Einsatz des Pre-Prozessors 102 (im 50% Parallelisierungs-Betrieb) und der konfigurierbaren Hough-Transformationseinri chtung 104 mit nur einem Hough-Kern und mit nur einer Bildrotation die vollständige Funktionalität abbildbar ist, die sonst nur mittels zwei parallelen Hough-Kern abgedeckt werden kann, insofern wird klar, dass die jeweilige Hough-Kernkonfiguration bzw. die Wahl des Hough-Kern-Typs abhängig von dem Pre- Processing, welches durch den Pre-Prozessor 102 durchgeführt wird, ist.
Fig. 3a zeigt einen Hough-Kern 104 mit m Spalten 108, 1 10, 138, 140, 141 und 143 und n Zeilen a, b, c, d, e und f, so dass m x n Zeilen gebildet werden. Die Spalte 108, 1 10, 138, 140, 141 und 143 des Filters steht für eine bestimmte Ausprägung der gesuchten Struktur, z.B. für eine bestimmte Krümmung oder einen bestimmten geraden Anstieg.
Jede Zelle umfasst ein hinsichtlich Verzögerungszeit einstellbares Verzögerungselement, wobei in diesem Ausführungsbeispiel der Einstellmechanismus dadurch realisiert ist, dass jeweils ein schaltbares Verzögerungselement mit einem Bypass vorgesehen ist. Nachfolgend wird anhand von Fig. 3b der Aufbau aller Zelle stellvertretend erläutert. Die Zelle (108a) aus Fig. 3b umfasst das Verzögerungselement 142, einen fernbedienbaren Schalter 144, wie z.B. einen Multipiexer, und einen Bypass 146. Mittels des fernbedienbaren Schalters 144 kann entweder das Zeilensignal über das Verzögerungselement 142 geleitet werden oder unverzögert zu dem Knotenpunkt 148 geführt werden. Der Knotenpunkt 148 ist einerseits mit dem Summenelement 150 für die Spalte (z.B. 108) verbunden, wobei ande- rerseits über diesen Knotenpunkt 148 auch die nächste Zelle (z.B. 1 10a) angebunden ist.
Der Multipiexer 1 4 wird über ein sogenanntes Konfigurationsregister 160 konfiguriert (vgl. Fig. 3a). Es sei an dieser Stelle angemerkt, dass das hier dargestellte Bezugszeichen 160 sich nur auf einen Teil des Konfigurationsregisters 160 bezieht, welcher direkt mit dem Multipiexer 144 gekoppelt ist. Das Element des Konfigurationsregisters 160 ist dazu ausgebildet, den Multipiexer 144 zu steuern und erhält dazu über einen ersten Informationseingang 160a eine Konfigurationsinformation, die beispielsweise aus einer Konfigurationsmatrize stammt, welche im FPGA-internen BRAM 163 abgelegt ist. Diese Konflgura- tionsinformation kann ein spaltenweiser Bitstring sein und bezieht sich auf die Konfiguration mehrerer der (auch während der Transformation) konfigurierbaren Verzögerungs- Zellen (142+144). Deshalb kann die Konfigurationsinformation ferner über den Ausgang 160b weitergeleitet werden. Da die Umkonfiguration nicht zu jedem Zeitpunkt des Betrie- bes möglich ist, erhält das Konfigurationsregistex 160 bzw. die Zelle des Konfigurationsregisters 160 ein sogenanntes Enablersignal über einen weiteren Signaleingang 160c, mittels welchem die Umkonfiguration veranlasst wird. Hintergrund hierzu ist, dass die Rekonfigu- ration des Hough- erns eine gewisse Zeit benötigt, die von der Anzahl der Verzögerungselemente bzw. insbesondere von der Größe einer Spalte abhängig ist. Dabei ist für jedes Spaltenelement ein Taktzyklus zugeordnet und es kornrot zu einer Latenz von wenigen Taktzyklen durch den BRAM 163 bzw. die Konfigurationslogik 160. Die Gesamtlatenz zur Rekonfiguration ist für videobasierte Bildverarbeitungen typischerweise vernachlässigbar. Es sei davon ausgegangen, dass in dem vorliegenden Ausführungsbeispiel die mit einem CMOS-Sensor aufgezeichneten Videodatenströme ein horizontales und vertikales Blanking aufweisen, wobei das horizontale Blanking bzw, die horizontale Blanking-Zeit zur Rekonfiguration genutzt werden kann. Durch diesen Zusammenhang gibt die Größe der in dem FPGA implementierten Hough-Kern- Struktur die maximal mögliche Größe für Hough-Kernkonfigurationen vor. Werden beispielsweise kleinere Konfigurationen genutzt, sind diese vertikal zentriert und in horizontaler Richtung an Spalte 1 der Hough-Kern- Struktur ausgerichtet. Nicht genutzte Elemente der Hough -Kern-Struktur werden allesamt mit aktivierten Verzögerungselementen besetzt.
Die Auswertung der so mit den einzelnen Verzögerungszellen (142+144) bearbeitenden Datenströme erfolgt spaltenweise. Hierzu wird spaltenweise aufsummiert, um ein lokales Summenmaximum zu detektieren, welches eine erkannte gesuchte Struktur anzeigt. Die Summenbildung je Spalte 108, 1 10, 138, 140, 141 und 143 dient dazu, einen Wert, der repräsentativ für das Maß für die Übereinstimmung mit der gesuchten Struktur für eine der jeweiligen Spalte zugeordnete Ausprägung der Struktur zu ermitteln. , Zur Ermittlung der lokalen Maxima der Spaltensummen sind je Spalte 108, 1 10, 138. 140, 141 oder 143 soge- nannte Vergleicher 108v, 1 lOv, 138v, 140v, 141v bzw. 143v vorgesehen, die mit den jeweiligen Summengliedern 150 verbunden sind. Optional können zwischen den einzelnen Vergleichern I08v, HOv, 138v. 140v, 141v, 143v der unterschiedlichen Spalte 108, 1 10, 138. 140, 141 oder 143 auch noch weitere Verzögerungsglieder 153 vorgesehen sein, die zum Vergleich der Spaltensummen von nebeneinanderliegenden Spalten dienen. Im Detail wird bei Durchlauf des Filters immer die Spalte 108, 1 10, 138 oder 140 mit dem größten Maß der Übereinstimmung für eine Ausprägung des gesuchten Musters aus dem Filter herausgereicht. Bei Detektieren eines lokalen Maximums einer Spaltensumme (Vergleich vorherige, nachfolgende Spalte) kann auf das Vorliegen einer gesuchten Struktur geschlos- sen werden. Das Ergebnis des Vergleichs ist also einen Spaltennummer (ggf. inkl. Spaltensumme = Maß für Übereinstimmung), in welcher das lokale Maximum erkannt wurde bzw. die Ausprägung der gesuchten Struktur steht, z.B. Spalte 138. in bevorzugter Weise um- fasst das Ergebnis einen sogenannten mehrdimensionalen Hough-Raum, der alle relevanten Parameter der gesuchten Struktur, wie z.B. Art des Musters (z.B. Gerade oder Halbkreis), Maß der Übereinstimmung des Musters, Ausprägung der Struktur (Stärke der Krümmung bei Kurvensegmenten bzw. Anstieg und Länge bei Geradensegmenten) und die Lage bzw. Orientierung des gesuchten Musters umfasst. Anders ausgedrückt heißt das, dass für jeden Punkt in dem Hough-Raum die Grauwerte der korrespondierenden Strukturen im Biidbe- reich aufaddiert werden. Infolgedessen bilden sich Maxima aus, mittels welchen die gesuchte Struktur im Hough-Raum einfach lokalisiert und in den Bildbereich zurückgeführt werden kann.
Die Hough-Kern-Zelle aus Fig. 3b kann ein optionales Pipeline-Verzögerungselement 162 (Pipeline-Delay) aufweisen, das beispielsweise am Ausgang der Zelle angeordnet ist und dazu ausgebildet ist, sowohl das mittels des Verzögerungselements 142 verzögerte Signal und das mittels des Bypasses 146 nicht verzögerte Signal zu verzögern.
Wie Bezug nehmend auf Fig. 1 angedeutet, kann eine derartige Zelle auch ein V erzöge - rungseiement mit einer Variabilität aufweisen bzw. eine Vielzahl von miteinander geschalteten und gebypassten Verzögerungselementen umfassen, so dass die Verzögerungszeit in mehreren Stufen einstellbar ist. Insofern wären weitere Implementierungen über die in Fig. 3b dargestellte Implementierung der Hough-Kern-Zelle alternativ denkbar. Nachfolgend wird Bezug nehmend Fig. 5a eine Anwendung der oben beschriebenen Vorrichtung erläutert in einem Bildverarbcitungs-Systern 1000. Fig. 5a zeigt einen FPGA implementierten Bildprozessor 10a mit einem Pre-Prozessor 102 und einer Hough- Transformationseinrichtung 104. Vor dem Pre-Prozessor 102 kann ferner eine Eingangsstufe 12 in den Bildprozessor 10a implementiert sein, die dazu ausgebildet ist, um Bildda- ten oder Bildsample von einer Kamera 14a zu empfangen. Hierzu kann die Eingangsstufe 12 beispielsweise eine Bildübernahmeschnittstelle 12a, einen Segmentations- und Kantendetektor 12b und Mittel zur Kamerasteuerung 12c umfassen. Die Mittel zur Kamerasteuerung 12c sind mit der Bildschnittstelle 12a und der Kamera 14 verbunden und dienen dazu Faktoren wie Verstärkung und/oder Belichtung zu steuern.
Der Bildprozessor 10a umfasst des Weiteren einen sogenannten Hough-Feature-Extraktor 16, der dazu ausgebildet ist, den mehrdimensionalen Hough-Raum, der durch die Hough- Transformationseinrichtung 1.04 ausgegeben wird und alle relevanten Informationen für die Mustererkennung umfasst, zu analysieren und auf Basis des Analyseergebnisses eine Zusammenstellung aller Hough-Features auszugeben. Im Detail erfolgt hier eine Glättung der Hough-Feature-Räume, d.h. also eine räumliche Glättung mittels eines lokalen Filters bzw. eine Ausdünnung des Hough-Raums (Unterdrückung nicht relevanter Informationen für die Mustererkennung) . Diese Ausdünnung erfolgt unter Berücksichtigung der Art des Musters und der Ausprägung der Struktur, so dass Nicht-Maxima im Hough- Wahrscheinlichkeitsraum ausgeblendet werden. Ferner können für die Ausdünnung auch Schwellwerte definiert sein, so dass beispielsweise minimal oder maximal zulässige Ausprägungen einer Struktur, wie z.B. eine minimale oder maximale Krümmung oder ein kleinster oder größter Anstieg, im Vorfeld bestimmt werden kann. Mittels dieser schwellenbasierten Unterdrückung kann auch eine Rauschunterdrückung im 1 lough- Wahrscheinlichkeitsraum erfolgen.
Die analytische Rücktransformation der Parameter aller verbleibenden Punkte in dem Ori- ginalbildbereich ergibt z.B. folgende Hough-Features: Für die gebogene Struktur können Lage (x- und y- oordinate), Auftrittswahrscheinlichkeit, Radius und Winkel, der angibt, in welche Richtung der Bogen geöffnet ist, weitergeleitet werden. Für eine Gerade können Parameter wie Lage (x- und y-Koordinate), Auftrittswahrscheinlichkeit, Winkel der die Steigung der Gerade angibt, und Länge des repräsentativen geraden Abschnitts ermittelt werden. Dieser ausgedünnte Hough-Rautn wird durch den FIough-Feature-Extraktor 16 bzw. allgemein durch den Bildprozessor 10a zur Weiterverarbeitung an eine Nachverarbeitungseinrichtung 18 ausgegeben.
Diese Nachverarbeitungseinrichtung kann beispielsweise als eingebetteter Prozessor reali- siert sein und je nach Anwendung unterschiedliche Untereinheiten aufweisen, die nachfolgend exemplarisch erläutert werden. Die N achverarbeitungseinri chtung 18 kann einen Hough-Feature-nach-Geometrieumwandler 202 umfassen. Dieser Geometrieumwandler 202 ist dazu ausgebildet, ein oder mehrere vordefinierte gesuchte Muster, die durch den Hough-Feature-Extraktor ausgegeben werden, zu analysieren und die Geometrie beschrei- bende Parameter je Sample auszugeben. So kann der Geometrieumwandler 202 beispielsweise ausgebildet sein, auf Basis der delektierten Hough-Features Geometrieparameter, wie z.B. erster Durchmesser, zweiter Durchmesser, Kippung und Position des Mittelpunkts bei einer Ellipse (Pupille) oder eines Kreises, auszugeben. Entsprechend einem bevorzugten Ausführungsbeispiel dient der Geometrieumwandler 202 dazu, um eine Pupille anhand von 2 bis 3 Hough-Features (z.B. Krümmungen) zu detektieren und auszuwählen. Dabei fließen Kriterien, wie das Maß der Übereinstimmung mit der gesuchten Struktur bzw. der Hough-Features, die Krümmung der Hough-Features bzw. das vorbestimmte zu delektierende Muster, die Lage und Orientierung der Hough-Features ein. Die ausgewählten Hough-Feature-Kombinationen werden sortiert, wobei in der ersten Linie die Sortierung entsprechend der Anzahl der erhaltenen Hough-Features und in zweiter Linie nach dem Mai3 der Übereinstimmung mit der gesuchten Struktur erfolgt. Nach dem Sortieren wird die an der ersten Stelle stehende Hough-Fcature -Kombination ausgewählt und daraus die Ellipse gefittet, welche am ehesten die Pupille im Kamerabüd repräsentiert.
Des Weiteren umfasst die Nachverarbeitungseinrichtung 18 einen optionalen Controller 204, der dazu ausgebildet ist, ein Steuersignal zurück an den Bildprozessor 10a (vgl. Steuerkanal 206) bzw., um genau zu sein, zurück an die Hough-Transformationseinrichtung 104 auszugeben, auf Basis dessen die Filtercharakteristik des Filters 106 anpassbar ist. Zur dynamischen Anpassung des Filterkerns 106 ist der Controller 204 typischerweise mit dem Geometrieumwandler 202 verbunden, um die Geometrieparameter der erkannten Geometrie zu analysieren und um den Hough-Kern i definierten Grenzen derart nachzuführen, dass eine genauere Erkennung der Geometrie möglich ist. Dieser Vorgang ist ein sukzessi- ver Vorgang, der beispielsweise mit der letzten Flough -Ke nkonfi guration (Größe des zuletzt genutzten Hough-Kerns) beginnt und nachgeführt wird, sobald die Erkennung 202 unzureichende Ergebnisse liefert. Am oben diskutierten Beispiel der Pupillen bzw. Ellip- sendetektion kann also der Controller 204 die Ellipsengröße anpassen, die z.B. von dem Abstand zwischen dem aufzunehmenden Objekt und der Kamera 14a abhängig ist, wenn die zugehörige Person sich der Kamera 14a nährt. Die Steuerung der Filtercharakteristik erfolgt hierbei auf Basis der letzten Einstellungen und auf Basis der Geometrieparameter der Ellipse.
Entsprechend weiteren Aasführungsbeispiel en kann die Nachverarbeitwngseinrichtung 18 einen Selektiv-adaptiven Datenprozessor 300 aufweisen. Der Datenprozessor hat den Zweck Ausreißer und Aussetzer innerhalb der Datenreihe nachzubearbeiten, um so beispielsweise eine Glättung der Datenreihe durzuführen. Deshalb ist der Selektiv-adaptive
Datenprozessor 300 ausgebildet, um mehrere Sätze von Werten, die durch den Geometrieumwandler 202 ausgegeben werden, zu empfangen, wobei jeder Satz einem jeweiligen Sarnple zugewiesen ist. Der Filterprozessor des Datenprozessors 300 führt auf Basis der mehreren Sätze eine Selektion von Werten in der Art durch, dass die Datenwerte unplau- siblc Sätze (z. B. Ausreißer oder Aussetzer) durch intern ermittelte Datenwerte (Ersatzwerte) ersetzt werden und die Datenwerte der übrigen Sätze unverändert weiterverwendet werden. Im Detail werden die Datenwerte plausibler Sätze (die keine Ausreißer oder Aus- setzer enthalten) weitergeleitet und die Datenwerte unplausibler Sätze (die Ausreißer oder Aussetzer enthalten) durch Datenwerte eines plausiblen Satzes, z. B. den vorherigen Datenwert oder eine Mittelung aus mehreren vorherigen Datenwerten, ersetzt. Die sich ergebende Datenreihe aus weitergeleiteten Werten und ggf. Ersatzwerten wird dabei fortlau- fend geglättet. D.h. also, dass eine adaptive zeitliche Glättung der Datenreihe (z. B. einer ermittelten Ellipsenmittelpunktskoordinate), z. B. nach dem Prinzip der exponentiellen
Glättung. erfolgt, wobei Aussetzer oder Ausreißer (z. B. infoige Falschdetektion bei der Pupillendetektion) in der zu glättenden Datenreihe nicht zu Schwankungen der geglätteten Daten führen. Im Detail kann der Datenprozessor über den Datenwert eines neu eingegangenen Satzes glätten, wenn er nicht in eine der folgenden Kriterien fällt:
Entsprechend dem dazu gehörigen Maß der Übereinstimmung, die durch einen der
Zusatzwertes des Satzes quantifiziert ist, mit der gesuchten Struktur handelt es sieh um einen Aussetzer in der Datenreihe.
Entsprechend der zugehörigen Größenparameter oder Geometrieparameter handelt es sich um einen Aussetzer, wenn z. B. die Größe des aktuellen Objekts zu stark von der
Größe des vorherigen Objekts abweicht.
Entsprechend eines Vergleichs des aktuellen Datenwertes mit Schwell werten, die basierend auf den vorhergehenden Datenwerten ermittelt wurden, handelt es sich um einen Ausreißer, wenn der aktuelle Daten wert (z. B. der aktuelle Positionswert) nicht zwischen den Schwell werten liegt. Ein anschauliches Beispiel dafür ist, wenn z. B. die aktuelle Posi- tionskoordinate (Datenwert des Satzes) eines Objektes zu stark von der zuvor vom selektiv adaptiven Datenprozessor ermittelten i'osi ionskoordinate abweicht.
Ist eines dieser Kriterien erfüllt, wird weiterhin der vorherige Wert ausgegeben oder zumindest zur Glättung des aktuellen Werts herangezogen. Um eine möglichst geringe Ver- zögerung bei der Glättung zu erhalten, werden optional die aktuellen Werte stärker gewichtet als vergangene Werte. So kann bei Anwendung einer exponentiellen Glättung der aktuelle Wert anhand folgender Formel bestimmt werden:
Aktuell geglätteter Wert = aktueller Wert x Glättungskoeffizient + letzter geglätteter Wert x (1 - Glättungskoeffizient)
Der Glättungskoeffizient wird in definierten Grenzen dynamisch an den Trend der zu glättenden Daten angepasst, z.B. Verringerung bei eher konstanten Werteverläufen oder Erhöhung bei aufsteigenden oder abfallenden Werteverläufen. Wenn langfristig ein größerer Sprung bei den zu glättenden Geometrieparametern (Ellipsenparametern) vorkommt, passen sich der Datenprozessor und somit auch der geglättete Werteverlauf an den neuen Wert an. Grundsätzlich kann der Selektiv -adaptive Datenprozessor 300 auch mittels Parameter, z.B. bei der Initialisierung konfiguriert werden, wobei über diese Parameter das Glättungs- verhalten, x, B. maximale Dauer eines Aussetzers oder maximaler Glättungsfaktor, festgelegt werden.
So kann der Selektiv-adaptive Datenprozessor 300 oder allgemein die Nachverarbeitungs- Vorrichtung 1 8 plausible, die Position und Geometrie eines zu erkennenden Musters beschreibende Werte mit hoher Genauigkeit ausgeben. Hierzu weist die Nachverarbeitungsvorrichtung eine Schnittstelle 1 8a auf, über die optional auch Steuerbefehle von extern empfangen werden können. Sollen mehrere Datenreihen geglättet werden, ist es sowohl denkbar, für jede Datenreihe einen separaten selektiv-adaptiven Datenprozessor zu benut- zen oder den selektiv-adaptiven Datenprozessor so anzupassen, dass je Satz Datenwerte unterschiedlicher Datenreihen verarbeitete werden können.
Nachfolgend werden die oben anhand von einem konkreten Ausfuhrungsbeispiel erläuterten Eigenschaften des selektiv-adaptiven Datenprozessor 300 allgemein beschrieben:
Der Datenprozessor 300 kann z. B. zwei oder mehr Eingänge sowie einen Ausgang aufweisen. Einer der Eingänge (empfängt den Datenwert und) ist für die Datenreihe die verarbeitet werden soll. Der Ausgang ist eine geglättete Reihe basierend auf selektierten Daten. Zur Selektion werden die weiteren Eingänge (die Zusatzwerte zur genaueren Beurteilung des Datenwertes empfangen) herangezogen und/oder die Datenreihe selbst. Bei der Verar- beitung innerhalb des Datenprozessor 300 erfolgt eine Veränderung der Datenreibe, wobei zwischen der Behandlung von Ausreißern und der Behandlung von Aussetzern innerhalb der Datenreihe unterschieden wird.
Ausreißer: Bei der Selektion werden Ausreißer (innerhalb der zu verarbeitenden Datenrei- he) aussortiert und durch andere (intern ermittelte) Werte ersetzt.
Aussetzer: Zur Beurteilung der Güte der zu verarbeitenden Datenreihe werden ein oder mehrere weitere Eingangssignale (Zusatzwerte) herangezogen. Die Beurteilung erfolgt anhand eines oder mehrerer Schwcllwerte, wodurch die Daten in„hohe" und ..geringe" Güte unterteilt werden. Daten geringer Güte werden als Aussetzer bewertet und durch andere (intern ermittelte) Werte ersetzt.
Im nächsten Schritt erfolgt beispielsweise eine Glättung der Datenreihe (z.B. exponentielie Glättung einer Zeitreihe). Zur Glättung wird die von Aussetzern und Ausreißern bereinigte Datenreihe herangezogen. Die Glättung kann durch einen variablen (adaptiven) Koeffizienten erfolgen. Der GJättuiigskoeffizient wird an die Differenz des Pegels der zu verarbeitenden Daten angepasst. Entsprechend weiteren Ausführungsbeispielen ist es auch möglich, dass die Nachverarbei- tungsvorrichtung 1 8 einen Bildanalysator. wie z.B. einen 3 -Biidanalysator 400 umfasst. Im Falle eines 3D-Bildanalysators 400 kann mit der Nachverarbeitungsvorrichtung 18 auch eine weitere Bilderfassungseinrichtung, bestehend aus Bildprozessor 10b und Kamera 14b, vorgesehen sein. Also bilden die zwei Kameras 14a und 14b sowie die Bildprozessoren 10a und 10b eine stereoskopische Kameraanordming, wobei be voraigterwei se der Bildprozessor 10b identisch mit dein Bildprozessor 10a ist.
Der 3D-Bildanalysator 400 ist dazu ausgebildet, um zumindest einen ersten Satz von Bild- daten, der auf Basis eines ersten Bildes (vgl. Kamera 14a) bestimmt wird, und einen zweiten Satz von Bilddaten, der auf Basis eines zweiten Bildes (vgl. Kamera 14b) bestimmt wird, zu empfangen, wobei das erste und das zweite Bild ein Muster aus unterschiedlichen Perspektiven abbilden, und um auf Basis dessen einen Blickwinkel bzw. einen SD- Blickvektor zu berechnen. Hierzu umfasst der 3D-Bildanalysator 400 eine Positionsbe- rechnungseinrichtung 404 und eine Ausrichtungsberechnungseinnchtung 408. Die Positi- onsberechnungseinrichtung 404 ist dazu ausgebildet, um eine Position des Musters in einem dreidimensionalen Raum basierend auf dem ersten Satz, dem zweiten Satz und einer geometrischen Beziehung zwischen den Perspektiven bzw. der ersten und der zweiten Kamera 14a und 14b zu berechnen. Der Ausrichtungsberechner 408 ist dazu ausgebildet, um einen 3D-Blickvektor, z.B. eine Blickrichtung, zu berechnen, gemäß dem das erkannte Muster in dem dreidimensionalen Raum ausgerichtet ist, wobei die Berechnung auf dem ersten Satz, dem zweiten Satz und der berechneten Position (vgl. P o sitionsberechner 404) basiert. Hierzu kann beispielsweise ein sogenanntes 3 D- amerasystemmodel 1 hinzugezogen werden, das beispielsweise in einer Konfigurationsdatei alle Modellparameter, wie Lageparameter, optische Parameter (vgl. Kamera 14a und 14b) gespeichert hat.
Nachfolgend wird nun ausgehend von dem Beispiel der Pupillenerkennung die Gesamt- funktionalität des 3D-Bildanalysators 400 im Detail beschrieben. Das in dem 3D- Biidanalysator 400 gespeicherte oder eingelesene Modell umfasst Daten hinsichtlich der Kameraeinheit, d.h. hinsichtlich des Kamerasensors (z.B. Pixelgröße, Sensorgröße und Auflösung) und verwendeter Objektive (z.B. Brennweite und Ob] ekti wer ze i chnung) , Daten bzw. Charakteristiken des zu erkennenden Objekts (z.B. Charakteristika eines Auges) und Daten hinsichtlich weitere relevanter Objekte (z.B. eines Displays im Falle der Nutzung des Systems 1000 als Eingabegerät). Der 3D-Positionsberechner 404 berechnet die Augervposition bzw. den Pupiilenmitteipunkt auf Basis der zwei oder auch mehreren Kamerabilder (vgl, 14a und 14b) durch Triangulation. Hierzu bekommt er 2D-Koordinaten eines Punktes in den zwei Kamerabildern (vgl. 14 a und 14b) über die Prozesskette aus Bildprozessoren 10a und 10b, Geometrieumwand- 1er 202 und Selektiv-adaptiver Datenprozessor 300 zur Verfügung gestellt. Aus den über- gebenen 2D-Koordinaten werden mithilfe des 3 D-Kameramodells insbesondere unter Berücksichtigung der optischen Parameter für beide Kameras 10a und 10b die Lichtstrahlen berechnet, die den 3D-Punkt als 2D-Punkt auf dem Sensor abgebildet haben. Der Punkt der zwei Geraden mit dem geringsten Abstand zueinander (im Idealfall der Schnittpunkt der Geraden) wird als Position des gesuchten 3 D-Punktes angenommen. Diese 3D-Position wird zusammen mit einem Fehlermaß, das die Genauigkeit der übergebenen 2D- Koordinaten in der Verbindung mit den Modellparametern beschreibt, entweder über die Schnittstelle 18a als Ergebnis ausgegeben oder an den Blickrichtungsberechner 408 übergeben.
Auf Basis der Position im 3 D -Raum kann der Blickwinkelberechner 408 die Blickrichtung aus zwei ellipsenförmigen Projektionen der Pupille auf die Kamerasensoren ohne Kalibrierung und ohne Kenntnis Über den Abstand zwischen den Augen und Kamerasystem bestimmen. Hierzu nutzt der Blickrichtungsberechner 408 neben der 3D-Lageparameter der Bildsensoren die El 1 i p senparam eter , die mittels des Geometrieanalysators 202 ermittelt sind und die mittels des Positionsberechners 404 bestimmte Position. Aus der 3D-Position des Pupillenmittelpunkts und der Lage der Bildsensoren werden durch Drehung der realen Kameraeinheiten virtuelle Kameraeinheiten berechnet, deren optische Achse durch den 3D-Pupiilenmittelpunkt verläuft. Anschließend werden jeweils aus den Projektionen der Pupille auf den realen Sensoren Projektionen der Pupille auf die virtuellen Sensoren berechnet, so dass zwei virtuelle Ellipsen entstehen. Aus den Parametern der virtuellen Ellipse können die beiden Sensoren jeweils zwei Blickpunkte des Auges auf einer beliebigen zur jeweiligen virtuellen Sensorebene parallelen Ebene berechnet werden. Mit den vier Blickpunkten und den 3D-Pupillenmittelpunktcn lassen sich vier Blickrichtungsvektoren berechnen, also jeweils zwei Vektoren pro Kamera. Von diesen vier möglichen Blickrichtungsvektoren ist immer genau einer der einen Kamera mit einem der anderen Kamera annähernd identisch. Die beiden identischen Vektoren geben die gesuchte Blickrichtung des Auges (gaze direction) an, die dann vom Blickrichtungsberechner 404 über die Schnittstelle 1 8a ausgegeben wird.
Ein besonderer Vorteil in dieser 3D-Berechnung Hegt darin, dass eine berührungslose und vollständige kalibrierungsfreie Ermittlung der 3D- Augenposition d ckrichtung und der Pupillengröße unabhängig von der Kenntnis über die Lage des Auges zu der Ka- rnera möglich ist. Eine analytische Bestimmung der 3D~Augenposition und SD- Blickrichtung unter Einbeziehung eines 3D-Raummodells ermöglicht eine beliebige Kameraanzahl (größer 1 ) und beliebige Kameraposition im 3 D-Raum. Die kurze Latenzzeit mit der gleichzeitig hohen Frame-Rate ermöglicht eine Echtzeitfähigkeit des beschriebenen Systems 1000. Ferner sind auch die sogenannten Zeitregime fest, so dass die Zeitdifferenzen zwischen aufeinanderfolgenden Ergebnissen konstant sind.
Entsprechend einer alternativen Variante ist es auch möglich mit nur einer Kamera ebenfalls eine Blickrichtungsbestimmung durchzuführen, wie nachfolgend anhand von Fig. 5b erläutert.
In der bisherigen Beschreibung zum„3D-Bildanalysator", weiche das Verfahren zum ka- librationsfreien Eyetracking umfasst, wurden bisher mindestens 2 Kamerabilder aus unterschiedlichen Perspektiven vorausgesetzt. Bei der Berechnung der Blickrichtung gibt es eine Stelle, an der pro Kamerabüd genau 2 mögliche Bl i ckri chtungs vektoren ermittelt werden, wobei jeweils der zweite Vektor einer Spiegelung des ersten Vektors an der Verbindungslinie zwischen Kamera und Pupillenmittelpunkt entspricht. Von den beiden Vektoren, die sich aus dem anderen Kamerabild ergeben, stimmt genau ein Vektor nahezu mit einem aus dem ersten Kamerabild berechneten Vektor überein. Diese übereinstimmenden. Vektoren geben die zu ermittelnde Blickrichtung an.
Um das kalibrations freie Eyetracking auch mit einer Kamera durchführen zu können, muss von den beiden möglichen Blickrichtungsvektoren, im Folgenden als„vi" und„v2" bezeichnet, die aus dem Kamerabüd ermittelt werden, der tatsächliche Blickrichtungsvektor (im Folgenden als„vb" bezeichnet) ausgewählt werden.
Dieser Vorgang wird anhand von Fig. 5b erläutert. Fig. 5b zeigt den sichtbarer Teil des Augapfels (grün umrandet) mit der Pupille und den beiden möglichen Blickrichtungen vi und v2.
Zur Auswahl der Blickrichtung„vb" gibt es mehrere Möglichkeiten, die einzeln oder auch in Kombination genutzt werden können, um den tatsächlichen Blickrichtungsvektor auszuwählen. Einige dieser Möglichkeiten (die Auflistung ist nicht abschließend.) werden nachfolgend erläutert, wobei davon ausgegangen wird, dass vi und v2 (vgl, Fig. 5a) zum Zeitpunkt dieser Auswahl bereits ermittelt worden sind:
Entsprechend einer ersten Möglichkeit kann eine(die weiße Lederhaut um die Iris) im Kamerabüd erfolgen. Es werden 2 Strahlen (beginnen beim Pupillenmittelpunkt und sind un- endlich lang) definiert, einer in Richtung von vi und einer in Richtung von v2. Die beiden Strahlen werden in das Kamerabild des Auges projiziert und verlaufen dort jeweils vom Pupillenmittelpunkt zum Bildrand. Der Strahl, der weniger zur Sklera gehörende Pixel überstreicht, gehört zum tatsächlichen Blickrichtungsvektor vb. Die Pixel der Sklera unter- scheiden sich durch ihren Grauwert von denen der an sie grenzenden Iris und von denen der Augenlieder. Diese Methode stößt an ihre Grenzen, wenn das zum aufgenommenen Auge gehörende Gesicht zu weit von der Kamera abgewendet ist (also der Winkel zwischen optischer Achse der Kamer und dem senkrecht auf der Gesichtsebene stehenden Vektor zu groß wird).
Entsprechend einer zweiten Möglichkeit kann eine Auswertung der Lage des Pupillenmittelpunktes innerhalb der Augenöffnung erfolgen. Die Lage des Pupillenmittelpunktes innerhalb des sichtbaren Teils des Augapfels bzw. innerhalb der Augenöffnung kann zur Auswahl des tatsächlichen Blickrichtungsvektors genutzt werden. Eine Möglichkeit dazu ist, 2 Strahlen (beginnen beim Pupillenmittelpunkt und sind unendlich lang) zu definieren, einer in Richtung von vi und einer in Richtung von v2. Die beiden Strahlen werden in das Kamerabild des Auges projiziert und verlaufen dort jeweils vom Pupillenmittelpunkt zum Bildrand. Entlang beider Strahlen im Kamerabild wird jeweils die Distanz zwischen Pupillenmittelpunkt und dem Rand der Augenöffnung (in Fig.5b grün eingezeichnet) ermittelt. Der Strahl, für den sich die kürzere Distanz ergibt, gehört zum tatsächlichen Blickrichtungsvektor. Diese Methode stößt an ihre Grenzen, wenn das zum aufgenommenen Auge gehörende Gesicht zu weit von der Kamera abgewendet ist (also der Winkel zwischen optischer Achse der Kamer und dem senkrecht auf der Gesichtsebene stehenden Vektor zu groß wird).
Entsprechend einer dritten Möglichkeit kann eine Auswertung der Lage des Pupillenmittelpunktes zu einem Referenzpupillenmittelpunkt erfolgen. Die Lage des im Kamerabild ermittelten PupU enmittelpunktcs innerhalb des sichtbaren Teils des Augapfels bzw. innerhalb der Augenöffnung kann zusammen mit einem Referenzpupillenmittelpunkt zur Aus- wähl des tatsächlichen Blickrichtungsvektors genutzt werden. Eine Möglichkeit dazu ist, 2 Strahlen (beginnen beim Pupillenmittelpunkt und sind unendlich lang) zu definieren, einer in Richtung von vi und einer in Richtung von v2. Die beiden Strahlen werden in das Kamerabild des Auges projiziert und verlaufen dort jeweils vom Pupillenmittelpunkt zum Bildrand. Der Referenzpupillenmittelpunkt innerhalb der Augenöffnung entspricht dem Pupillenmittelpunkt, wenn das Auge direkt in Richtung des Kamerasensormittelpunktes der zur Bildaufnahme eingesetzten Kamera schaut. Derjenige in das Kamerabild projizierte Strahl, welcher im Bild den geringsten Abstand zum Referenzpupillenmittelpunkt hat, gehört zum tatsächlichen Blickrichtungsvektor. Zur Ermittlung des Referenzpupi 11 enmittel - unktes gibt es mehrere Möglichkeiten, von denen einige im Folgenden beschrieben, werden:
Möglichkeit 1 (spezieller Anwendungsfall): Der Rcfercnzpupillenmittelpunkt ergibt sieh aus dem ermittelten Pupillenmittelpunkt, in dem Fall, in dem das Auge direkt in Richtung des Kamerasensormittelpunktes schaut. Dies ist gegeben, wenn die Pupillenkontur auf der virtuellen Sensorebene (siehe Beschreibung zur Blickrichtungsberechnung) einen Kreis beschreibt, Möglichkeit 2 (allgemeiner Anwendungsfall): Als Schätzung der Position des Referenzpu- pillenmittelpunktes kam der Schwerpunkt der Fläche der Augenöffnung genutzt werden. Diese Methode der Schätzung stößt an ihre Grenzen, wenn die Ebene, in der das Gesicht liegt, nicht parallel zur Sensorebene der Kamera liegt. Diese Einschränkung kann kompensiert werden, wenn die Neigung der Gesichtsebene zur Kamerasensorebene bekannt ist (z. B. durch eine vorher ausgef hrte Bestimmung der Kopfposition und -ausrichtung) und diese zur Korrektur der Position des geschätzten Re fereiv/pupi Henrni Uel punktes genutzt wird.
Möglichkeit 3 (allgemeiner AnwendungsfalJ): Wenn die SD-Position des Augenmittel- punktes zur Verfügung steht, kann eine Gerade zwischen 3D-Augenmittelpunkt und virtuellem Sensormittelpunkt bestimmt werden und deren Schnittpunkt mit der Oberfläche des Augapfels. Der Referenzpupillenmittelpunkt ergibt sich aus der ins Kamerabild umgerechneten Position dieses Schnittpunktes. Entsprechend weiteren Ausfuhrungsbeispielen kann anstelle des FPGAs 10a und 10b ein ASIC (anwendungsspezifischer Chip) eingesetzt werden, der sich besonders bei hohen Stückzahlen sehr kostengünstig zu realisieren ist. In Summe lässt sich jedoch feststellen, dass unabhängig von Implementierung des Hough-Prozessors 10a und 10b ein geringer Energieverbrauch durch die sehr effiziente Verarbeitung und den damit verbundenen ge- ringen System taktbedarf erzielt werden kann.
Trotz dieser Merkmale bleibt der hier eingesetzte Ho ugh- Prozessor bzw. das auf dem Hough-Prozessor ausgeführte Verfahren sehr robust und störunanfällig. Es sei an dieser
Stelle angemerkt, dass der in Fig. 1 erläuterte Hough-Prozessor 100 in unterschiedlichen Kombinationen, in unterschiedlichen Kombinationen mit unterschiedlich insbesondere in Hinblick auf Fig. 5 vorgestellten Merkmalen eingesetzt werden kann. Anwendungen des H ou gh -Prozessors gemäß Fig. 1 sind z.B. Sekundenschlafwamer bzw. Müdi gkeitsdetektoren als Fahrassistenzsysteme im automobilen Bereich (bzw. allgemein bei sicherheitsrelevanten Menschmaschineschnittstellen), Hierbei kann durch Auswertung der Augen (z.B. Verdeckung der Pupille als Maß für den Öffnungsgrad) und unter Berück - sichtigung der Blickpunkte und des Fokus ein bestimmtes Müdigkeitsmuster detektiert werden. Weiter kann der Hough-Prozessor bei Eingabegeräten bzw. Eingabeschnittstellen für technische Geräte zum Einsatz kommen; hier werden dann Augenposition und Blickrichtung als Inputparameter genutzt. Eine konkrete Anwendung wäre hierbei die Unterstützung des Nutzers beim Anschauen von Bildschirminhalten, z.B. beim Hervorheben von bestimmten fokussierten Bereichen. Derartige Anwendungen sind im Bereich des assisted iiving, bei Computerspielen, bei Optimierung von 3D-Visualisierung durch Einbeziehung der Blickrichtung, bei Markt- und Medienidrschimg oder bei ophthalmo lo gi sehen Diagnostiken und Therapien besonders interessant. Wie oben bereits angedeutet, ist die Implementierung des oben vorgestellten Verfahrens plattformunabhängig, so dass das oben vorgestellte Verfahren auch auf anderen Einheiten, wie z.B. einem PC ausgeführt werden kann. Also bezieht sich ein weiteres Ausführungsbeispiel auf ein V erfahren für die Hough-Verarbeitung mit den Schritten Verarbeiten einer Mehrzahl von Samples, die jeweils ein Bild aufweisen, unter Verwendung eines Pre- Prozessors, wobei das Bild des jeweiligen Samples gedreht und/oder gespiegelt wird, so dass eine Mehrzahl von Versionen des Bildes des jeweiligen Samples für jedes Sample ausgegeben wird und des Erfassens vorbestimmten Musters in der Mehrzahl von Sampeln auf Basis der Mehrzahl von Versionen unter Verwendung einer Hough- Transformationseinrichtung, die einen Verzögerungsfilter mit einer Filtercharakteristik aufweist, dessen Filtercharakteristik abhängig von dem ausgewählten vorbestimmten Mustersatz eingestellt wird.
Auch wenn der obigen Ausführungen im Zusammenhang mit der anpassbaren Charakteristik immer von einer Filtercharakteristik gesprochen wurde, sei an dieser Stelle angemerkt, dass entsprechend weiteren Ausführungsbeispielen die anpassbare Charakteristik sich auch auf die Nachverarbeitungsscharakteristik (Biegungs- oder Verzerrungscharakteristik) bei einer schnellen 21) Korrelation beziehen kann. Diese Implementierung wird anhand von Fig. 4a bis Fig. 4d erläutert. Fig. 4a zeigt eine Verarbeitungskette 1 000 einer schnellen 2D Korrelation. Die Verarbeh tungskette der 2D Korrelation umfasst zumindest die Funktionsblöcke 1 105 zur 2D- Biegung und 1 1 1 0 zur Verschmelzung. Das Vorgehen bei der 2D-Biegung ist in Fig. 4b illustriert. Fig. 4h ziert exemplarische Zusammen Stellung an Templates. Wie auf Basis dieser Verarbeitungskette 1000 ein Hough-Feature extrahiert werden kann, wird anhand von Fig. 4c zusammen mit Fig. 4d deutlich. Fig. 4c zeigt die pixelweise Korrelation mit n Templates veranschaulicht (in diesem Falle beispielsweise für Geraden unterschiedlicher Steigung) zur Erkennung der Ellipse 1 1 15, während Fig. 4d das Ergebnis der pixelweisen Korrelation zeigt, wobei typischerweise über die n Ergebnisbilder noch eine Maximumsuche erfolgt. Jedes Ergebnisbild enthält pro Pixel ein Houghfeature. Nachfolgend wird diese Hough- Verarbeitung im Gesamtkontext erläutert.
Im Gegensatz zur Umsetzung mit einem Verzögerungsfilter mit anpassbarer Charakteristik (Implementierung optimiert für parallele FPGA Strukturen) würde bei der hier dargestellten Hough- Verarbeitung, welche insbesondere für eine PC-basierte Umsetzung prädestiniert ist, ein Teil der Verarbeitung durch eine andere Vorgehensweise ausgetauscht werden, Bisher war es so, dass quasi jede Spalte des Verzögerungsfilters für eine gesuchte Struktur steht (z. B. Geradenabschnitte unterschiedlicher Steigung). Beim durchlaufen des Filters ist die Spaltennummer mit dem höchsten Summenwert maßgeblich. Dabei steht die Spaltennummer für eine Ausprägung der gesuchten Struktur und der Summenwert gibt ein Maß für die Übereinstimmung mit der gesuchten Struktur an.
Bei der PC-basierten Umsetzung wird der erzö gerungsfilter durch schnelle 2D Korrelation ersetzt. Der bisherige Verzögerungsftlter ist je nach Große in der Lage n Ausprägungen eines bestimmten Musters abzubilden. Diese n Ausprägungen werden als Template im Speicher hinterlegt. Anschließend wird das vorverarbeitete Bild (z, B. binäres Kantenbild oder Gradientenbild) pixelweise durchlaufen. An jeder Pixelposition werden jeweils alle abgelegten Templates mit dem darunterliegenden Bildinhalt (entsprechend einer Nachverarbeitungscharakteristik) abgeglichen (es wird sozusagen die Umgebung der Pixelposition (in Größe des Templates) ausgewertet). Dieses Vorgehen wird in der digitalen Bildverarbeitung auch als Korrelation bezeichnet. Man erhält also für jedes Template einen Korrela- tionswert - also ein Maß für die Übereinstimmung - mit dem darunterliegenden Bildinhalt, Diese entsprechen sozusagen den Spaltensummen aus dem bisherigen Verzögerungsfilter. Nun entscheidet man sich (pro Pixel) für das Template mit dem höchsten Korrelationswert und merkt sich dessen Templatenummer (die Templatenummer beschreibt die Ausprägung der gesuchten Struktur, z. B. Steigung des Geradenabschnitts) .
Man erhält also pro Pixel einen Korrelationswert und eine Templatenummer. Dadurch lässt sich ein Houghfeature, wie es bereits erläutert, vollständig beschreiben. Es sei noch angemerkt, dass die Korrelation der einzelnen Templates mit dem Bildinhalt sowohl im Orts- als auch im Frequenzbereich durchgeführt werden kann. Das heißt, dass das Eingangsbild zunächst jeweils mit allen n Templates korreliert wird. Man erhält n Kr- gebnisbiider. Legt man diese Ergebnisbilder übereinander (wie einen Quader) wurde man pro Pixel nach dem höchsten Korrelationswert suchen (über alle Ebenen), Dabei stehen dann einzelne Ebenen innerhalb des Quaders für einzelne Templates. Als Ergebnis erhält man wieder ein einzelnes Bild, das dann pro Pixel ein Korrelationsmaß und eine Tempi a- tenummer enthält - also pro Pixel ein Houghfeature. Auch wenn obige Aspekte immer im Zusammenhang mit der„Pupillenerkennung" erläutert wurden, sind die oben beschriebenen Aspekte auch für weitere Anwendungen nutzbar. Hier ist beispielsweise die Anwendungen„Sekundenschlafwamung" zu nennen, auf die nachfolgend näher eingegangen wird. Der Sekundenschlafwarner ist ein System, dass zumindest aus einer Bilderfassungseinrichtung, einer Beleuchtungseinheit, einer Verarbeitimgsemheit und einer akustischen und/oder optischen Signalisierungseinrichtung besteht. Durch Auswertung eines vom Nutzer aufgezeichneten Bildes ist das Gerät in der Lage eintretenden Sekundenschlaf oder Müdigkeit oder Abgelenktheit des Nutzers zu erkennen und den Nutzer zu warnen.
Das kann System kann z. B. in der Form ausgestaltet sein, dass man einen CMOS Bildsensor nutzt und die Szene im Infraroten Bereich ausleuchtet. Das hat den Vorteil, dass das Gerät unabhängig vom Umgebungslicht arbeitet und insbesondere den Nutzer nicht blendet. Als Verarbeitungseinheit wird ein eingebettetes Prozessorsystem genutzt, dass einen Softwarecode auf einem darunterliegenden Betriebssystem ausführt. Die Signalisierungseinrichtung besteht derzeit aus einem Multifrequenzbuzzer und einer RGB- LED.
Die Auswertung des aufgezeichneten Bildes kann in der Form erfolgen, dass in einer ersten Verarbeitungsstufe eine Gesichts- und eine Augendetektion und Augenanalyse mit einem Klassifikator durchgeführt werden. Diese Verarbeitungsstufe liefert erste Anhaltspunkte für die Ausrichtung des Gesichtes, die Augenpositionen und den Lidschlussgrad.
Auftauend darauf kann im darauffolgenden Schritt wird eine modelibasierte Augen- fcinanalyse durchgeführt werden. Ein dazu genutztes Augenmodell kann z. B. bestehen aus: einer Pupillen- und/oder Irisposition, einer Pupillen- und/oder Irisgröße, einer Beschreibung der Augenlider und der Augeneckpunkte. Dabei ist es ausreichend, wenn zu jedem Zeitpunkt einige dieser Bestandteile gefunden und ausgewertet werden. Die einzeh nen Bestandteile können auch über mehrere Bilder hinweg getackt werden, sodass sie nicht in jedem Bild vollständig neu gesucht werden müssen.
Die zuvor beschriebenen Hough-Features können genutzt werden um die Gesichtsdetekti- on oder die Augendetektion oder die Augenanalyse oder die Augenfcinanalyse durchzuführen. Der zuvor beschriebene 2D-Bildanalysator kann zur Gesichtsdetektion oder zur Augendetektion oder zur Augenanalyse genutzt werden. Zur Glättung der bei der Gesichtsdetektion oder Augendetektion oder Augenanalyse oder Augenfeinanalyse ermittelten Ergebniswerte oder Zwischenergebnisse bzw. Werte Verläufe kann der beschriebene Adaptiv-selektive Datenprozessor genutzt werden.
Eine zeitliche Auswertung des LidscMussgtades und/oder der Ergebnisse der Augenfeinanalyse kann zur Ermittlung des Sekundenschlafs oder der Müdigkeit oder Abgelenkt- heit des Nutzers genutzt werden. Zusätzlich kann auch die im Zusammenhang mit dem 1)- Bildanalysator beschriebene kaiibrations freie Blickrichtungsbestiinmung genutzt werden um bessere Ergebnisse bei der Ermittlung des Sekundenschlafs oder der Müdigkeit oder Abgelenktheit des Nutzers zu erhalten. Zur Stabilisierung dieser Ergebnisse kann außerdem der Adaptiv-selektive Daten rozessor genutzt werden. Das im Ausführungsbeispiel „Sekundenscblafwarner" beschriebene Vorgehen zur Bestimmung der Augenposition kann auch zur Bestimmung einer beliebigen anderen Definierten 2D-Position, wie z. B. einer Nasenposition, oder Nasenwurzelposition, in einem
Gesicht genutzt werden. Bei der Nutzung eines Satzes an Informationen aus einem Bild und eines weiteren Satzes an Informationen kann diese Position auch im 3D-Raum bestimmt werde, wobei der weitere Satz an Informationen aus einem Bild einer weiteren Kamera oder durch die Auswertung von Relationen zwischen Objekten im ersten Kamerabild generiert werden kann. Entsprechend, einem Ausführungsbeispiel kann der Hough-Prozessor in der Bildeingangsstufe eine Einrichtung zur Kamerasteuerung umfassen.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben, wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfah- rens darstellen, so dass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder ein Merkmal eines Verfahrensschritts zu verstehen ist.
Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einet entsprechenden Vorrichtung dar. Einige oder alle Verfahrenssekritte können durch einen Apparat (unter Verwendung eines Hardwareapparats), wie z.B. eines Mikroprozessors, eines programmierbaren Computer oder einer elektronischen Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder meh- rere der wichtigen. Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der
Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPRO , eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speiehers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Des- halb kann das digitale Speichermedium computerlesbar sein.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computeipro- grammprodukt auf einem Computer abläuft.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten ist ein Ausführungsbeispiel des erfmdungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der er findun gs gern äßen Verfahren ist somit ein Datenträger (oder ein digitales Speichemedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum. Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Ein weiteres Ausführangsbeispvel des erflndungs emäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine V erarbe i t un gsei n ri chtun g. beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfigu- riert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtimg oder ein System, die bzw. das ausgelegt ist, um ein Computerprogra ni zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die
Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor- richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausfuhrungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren, durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Compiiterprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. Nachfolgend werden die oben beschriebenen Erfindungen bzw. die Aspekte der Erfindungen aus zwei weiteren Blickwinkeln mit anderen Worten beschrieben:
Integrated Eyetracker
Der„Integrated Eyetracker" umfasst eine Zusammenstellung an FPGA-optirniertcn Algorithmen, die dazu geeignet sind (Ellipsen-)Merkmale (Hough-Features) mittels einer parallelen Flough-Transformation aus einem Kamera-Livebild zu extrahieren. Durch Auswertung der extrahierten Merkmale kann anschließend die Pupillenellipse bestimmt werden, Bei Einsatz mehrerer Kameras mit zueinander bekannter Lage und Ausrichtung können die 3D Position des Pupillenmittelpunktes sowie die 3D Blickrichtung und der Pupillendurchmesser ermittelt werden. Zw Berechnung werden die Lage und Form der Ellipsen in den Kamerabildern herangezogen. Es ist keine Kalibration des Systems für den jeweiligen Nutzer erforderlich und keine Kenntnis über den Abstand zwischen den Kameras und dem analysierten Auge.
Die genutzten Bildverarbeitungsalgorithmen sind insbesondere dadurch gekennzeichnet, dass Sie für die Verarbeitung auf einem FPGA (field programmable gate array) optimiert sind. Die Algorithmen ermöglichen eine sehr schnelle Bildverarbeitung mit konstanter Bildwiederholrate, minimalen Latenzzeiten und minimalem Ressourcenverbrauch im FPGA. Damit sind diese Module prädestiniert für zeit-/latenz-/sicherheits kritische Anwendungen (z. B. Fahrerassistenzsysteme), medizinische Diagnosesysteme (z. B, Perimeter) sowie Anwendungen wie Human machine interfaces (z. B. für mobile devices), die ein geringes Bauvolumen erfordern. Problemstellung
Robuste Detektion von 3D-Augenpositionen und D- ί ick richtunge im 3 D-Raum in mehreren (Live-) Kamerabildern sowie Detektion der Pupiilengrößen
Sehr kurze Reaktionszeit (bzw. Verarbeitungszeit)
Kleine Bau form
- autonome Funktionsweise (Unabhängigkeit vom PC) durch integrierte Lösung
Stand der Technik
Eyetracker-Systeme
o Steffen Markert: Blickrichtungserfassung des menschlichen Auges in Echt- zeit (Diplomarbeit und Patent DE 10 2004 046 617 AI)
o Andrew T. Duchowski; Eye Tracking Methodology: Theory and Practice Parallele-Hough Transformation
o Johannes Katzmann; Eine Echtzeit-Implementierung für die Ellipsen- Hougf> ransformation (Diplomarbeit und Patent DE 10 2005 047 160 B4) o Christian Holland-Neil: Implementierung eines Pupillen-
Detektionsalgorithmus basierend auf der Flough-Transformation für Kreise (Diplomarbeit und Patent DE 10 2005 047 160 B4) Nachteile des aktuellen Standes der Technik
Eyetracker- S y steme
o Nachteile:
■ Eyetracking-Systeme erfordern im Allgemeinen eine (aufwändige)
Kalibrierung vor der Nutzung
■ Das System nach Markert (Patent DE \ 0 2004 046 617 AI ) ist kaiib- rationsfrei, funktioniert aber nur unter ganz bestimmten Voraussetzungen:
i . Abstand zwischen Kameras und Pupillenmittelpunkt müssen bekannt und im System hinterlegt sein
2, Das Verfahren funktioniert nur für den Fall, dass der 3D Pupillenmittelpunkt in den optischen Achsen der Kameras liegt " Die gesamte Verarbeitung ist für PC Hardware optimiert und somit auch deren Nachteilen unterworfen (kein festes Zeitregimc bei der
Verarbeitung möglich)
" leistungsstarke Systeme werden benötigt, da die Algorithmen einen sehr hohen Ressourcenverbrauch aufweisen
* lange Verarbeitungsdauer und damit lange Verzögerungszeit bis Er- gebnis vorliegt (z, T. abhängig von der auszuwertenden Bildgröße)
Parallele-! iough Transformation
o Nachteile:
■ Es können nur binäre Kantenbilder transformiert werden
■ Transformation liefert nur ein binäres Ergebnis bezogen auf eine Bildkoordinate (Position der Struktur wurde gefunden, aber nicht:
Trefferwahrscheinlichkeit und weitere S trukturmerkmale)
■ Keine flexible Anpassung des Transformationskernes während der Laufzeit und damit nur unzureichende Eignung für dynamische Bildinhalte (z.B. kleine und große Pupillen)
■ Keine Rekonfiguration des Transformationskernes auf andere Strukturen während der Laufzeit möglich und damit begrenzte Eignung für Objekter kennung
Umsetzung
Das Gesamtsystem ermittelt aus zwei oder mehr Kamerabi Idern in denen dasselbe Auge abgebildet ist jeweils eine Liste von mehrdimensionalen Hough-Merkmalen und berechnet jeweils auf deren Basis die Lage und Form der Pupillenellipse. Aus den Parametern dieser beiden Ellipsen sowie allein aus der Lage und Ausrichtung der Kameras zueinander kön- nen die 3D Position des Pupiilenmiitelpunktes sowie die 3D Blickrichtung und der Pupillendurchmesser vollständig kalibrai ionsfrei ermittelt werden. Als Hardwareplattform wir eine Kombination aus mindestens zwei Bildsensoren. FPGA und/oder nachgeschaltetem. Mikroprozessorsystem (ohne dass ein PC zwingend benötigt wird). „Hough preprocessing", ..Parallel hough transform",„Hough feature extractor",„Hough feaiure to ellipse converter",„Coresize control", , .Temporal smart smoothing Filter",„3D camera system model",„3D position calculation" und„3D gaze direction calculation" betreffen einzelne Funktionsmodule des integrated Eyetrackers. Sie ordnen sich in die Bild- verarbeitungskette des Integrated Eyetrackers wie folgt ein:
Fig. 6 zeigt ein Blockschaltbild der einzelnen Funktionsmodiile im Integrated Eyctracker. Das Blockschaltbild zeigt die einzelnen Verarbeitungsstufen des Integrated Eyetrackers, Irn Folgenden wird eine detaillierte Beschreibung der Module gegeben.
• „Hough preprocessing"
o Funktion
■ Aufbereitung eines Videodatenstromes für das Modul„Parallel
Hough Transform", insbesondere durch Bildrotation und Up- sampling des zu transformierenden Bildes je nach Parailelisierungs- grad des Moduls„Parallel Hough Transform" o Input
■ Binäres Kantenbild oder Gradientenbild
o Output
■ Je nach Parallelisierungsgrad des nachfolgenden Moduls ein oder mehrere Videodatenströme mit aufbereiteten Pixeldaten aus dem Input
o Detaillierte Beschreibung
■ Prinzip bedingt kann die parallele Hough-Transformation aus vier um jeweils 90° versetzten Hauptrichtungen auf den Bildinhalt angewendet werden
■ Dazu erfolgt im Preprocessing eine Bildrotation um 90°
■ Die beiden verbleibenden Richtungen werden dadurch abgedeckt, dass jeweils das rotierte und nicht rotierte Bild horizontal gespiegelt werden (durch unigekehrtes Auslesen der im Speicher abgelegten Bildmatrix)
• Je nach Parallelisierungsgrad des Moduls ergeben sich die folgenden drei Konstellationen für den Output:
• 100% Parallelisierung: simultane Ausgabe von vier Videodatenströmen: um 90° rotiert, nicht rotiert sowie jeweils gespiegelt
• 50% Parallelisierung: Ausgabe von zwei Videodatenströmen: um 90° rotiert und nicht rotiert, die Ausgabe der jeweils gespiegelten Varianten erfolgt sequentiell
• 25% Parallelisierung: Ausgabe eines Videodatenstromes: um 90° rotiert und nicht rotiert und jeweils deren gespiegelte Varianten werden sequentiell ausgegeben „Parallel hough transform"
o Funktion
■ Parallele Erkennung einfacher Muster (Geraden mit unterschiedlichen Größen und Anstiegen und Krümmungen mit verschiedenen Radien und Orientierungen) und deren Auftrittswahrscheinlichkeit in einem binären Kanten- oder Gradientenbild
Input
Für die parallele Hough Transformation aufbereitetes Kanten bzw. Gradientenbild (Output des„Hough preprocessing" Moduls)
" Mehrdimensionaler Houghraum, der alle relevanten Parameter der gesuchten Struktur enthält
Detaillierte Beschreibung
■ Verarbeitung des Input durch ein komplexes delaybasiertes lokales Filter, das eine definierte„Durchlaufrichtung" für Pixeldaten hat und durch folgende Eigenschaften geprägt ist:
• Fi Herkern mit variabler Größe bestehend aus Delayelemen- ten
• Zur adaptiven Anpassung des Filters an die gesuchten Muster können Delayelemente während der Laufzeit zu- und abgeschaltet werden.
• Jede Spalte des Filters steht für eine bestimmte Ausprägung der gesuchten Struktur (Krümmung oder Geradenanstieg)
• Summenbildung über die Fi her spalten liefert Auftrittswahrscheinlichkeiten für die Ausprägung der Struktur, die durch die jeweilige Spalte repräsentiert wird
• Beim Durchlaufen des Filters wird immer die Spalte mit der größten Auftrittswahrscheinlichkeit für eine Ausprägung des gesuchten Musters aus dem Filter herausgereicht
■ Für jedes Bildpixel liefert das Filter einen Punkt im Houghraum der die folgenden Informationen enthält;
• Art des Musters (z.B. Gerade oder Halbkreis)
• Auftrittswahrscheinlichkeit für das Muster
• Ausprägung der Struktur (Stärke der Krümmung bzw. bei Geraden: Anstieg und Länge)
• Lage bzw. Orientierung der Struktur im Bild
■ Als Transformationsergebnis entsteht ein mehrdimensionales Bild, das im folgenden als Floughraum bezeichnet wird „Houghfeature extractor"
o Funktion Extraktion von Features aus dem Houghraum, die relevante Informationen für die Mustererkennung enthalten
o fnput
Mehrdimensionaler Houghraum (Output des„Parallel hough trans- form" Moduls)
o Output
" Liste von Hough-Features die relevante Informationen für die Mustererkennung enthalten
Detaillierte Beschreibung
• Glättung der Hough-Feature-Räume (Räumliche Korrektur mittels lokaler Filterung)
* „Ausdünnen" des Houghraumes (Unterdrückung nicht relevanter Informationen für die Mustererkennung) durch eine abgewandelte „non-maximum-suppression":
• Ausblenden von für die Weiterverarbeitung nicht relevanten Punkten („Nicht-Maxima" im Hough - Wahrscheinlichkeitsraum) unter Berücksichtigung der Art des Musters und der Ausprägung der Struktur
• Weitere Ausdünnung der Houghraumpunkte mit Hilfe geeigneter Schwellen:
o Rauschunterdrückung durch Schwellwert im Hough-
Wahrscheinlichkeitsraum
o Angabe eines Intervalls für minimal und maximal zulässige Ausprägung der Struktur (z.B. minimale/maximale Krümmung bei gebogenen Strukturen oder kleinster/größter Anstieg bei Geraden) ■ Analytische Rücktransformation der Parameter aller verbleibenden Punkte in den Originaibildbereich ergibt folgende Hough-Features:
• Gebogene Strukturen mit den Parametern:
o Lage (x- und y-Bildkoordinate) o Auftrittswahrscheinlichkeit des Hough-Features o Radius des Bogens
o Winkel, der angibt, in welche Richtung der Bogen geöffnet ist
• Geraden mit den Parametern:
o Lage (x- und y-Bildkoordinate) o Auftrittswahrscheinlichkeit des Hough-Features o Winkel, der die Steigung der Geraden angibt o Länge des repräsentierten Geradenabschnittes ugh fealure to eiUpse, Converter" o Funktion
■ Auswahl der 3 bis 4 Hough-Features (Krümmungen), die im Kamerabild am wahrscheinlichsten den Pupillenrand (Ellipse) beschreiben, und Verrechnung zu einer Ellipse
o Input
■ Liste aller in einem Kamerabild detektierten Hough-Features
(Krümmungen)
o Output
■ Parameter der Ellipse, die am wahrscheinlichsten die Pupille reprä- sentiert
o Detaillierte Beschreibung
■ Aus der Liste aller Hough-Features (Krümmungen) werden Kombinationen aus 3 bis 4 Hough-Features gebildet, die auf Grund ihrer Parameter die horizontalen und vertikalen Extrempunktc eine Ellip- se beschreiben könnten
■ Dabei fließen folgende Kriterien in die Auswahl der Hough-Features ein:
• Scores (Wahrscheinlichkeiten) der Hough-Features
• Krümmung der Hough-Features
· Lage und Orientierung der Hough-Features zueinander
■ Die ausgewählten Hough-Feature Kombinationen werden sortiert:
• Primär nach der Anzahl der enthaltenen Hough-Features
• Sekundär nach der kombinierten Wahrscheinlichkeit der enthaltenen Hough-Features
■ Nach dem Sortieren wird die an erster Stelle stehende Hough-
Feature Kombination ausgewählt und daraus die Ellipse gefittet, welche am wahrscheinlichsten die Pupille im Kamerabild repräsentiert
„Coresize contra L
o Funktion
» Dynamische Anpassung des Filterkernes (Hough-Core) der Parallelen Hough-Transformation an die aktuelle Ellipsengröße
o Input
■ Zuletzt genutzte Hough-Core Größe
■ Parameter der Ellipse, welche die Pupille im entsprechenden Kamerabild repräsentiert
o Output
■ Aktualisierte Hough-Core Größe
o Detaillierte Beschreibung
■ In Abhängigkeit der Größe (Länge der Halbachsen) der vom
„Hough feature to ellipse Converter" berechneten Ellipse, wird die Hough-Core Größe in definierten Grenzen nachgeführt um die Ge- „ EP2015/052009
nauigkeit der Hough- Transformationsergebnisse bei der Detektion der Ellipsenextrempunkte zu erhöhen
„Tempora! smart smoothing lter"
o Funktion
■ Adaptive zeitliche Glättung einer Datenreihe (z. B. einer ermittelten E! 1 ipsenmittelpunktkoordinate) nach dem Prinzip der exponentiellen Glättung, wobei Aussetzer oder extreme Ausreißer in der zu glättenden Datenreihe NICHT zu Schwankungen der geglätteten Daten führen
o Input
■ Zu jedem Aufrufzeitpunkt des Moduls jeweils ein Wert der Datenreihe und die dazugehörigen Gütekriterien (z. B. Auftrittswahrscheinlichkeit einer gcfittetett Ellipse)
o Output
■ Geglätteter Datenwert (z. B. Ellipsenmittelpunktkoordinate) o Detaillierte Beschreibung
" Über einen Satz von Filterparametern kann beim Initialisieren des
Filters dessen Verhalten festgelegt werden
* Der aktuelle input- Wert wird für die Glättung verwendet, wenn er nicht in eine der folgenden Kategorien fallt:
• Entsprechend der dazugehörigen Auftrittswahrscheinlichkeit handelt es sich um einen Aussetzer in der Datenreihe
• Entsprechend der dazugehörigen Ellipsenparameter handelt es sich um einen Ausreißer
o Wenn die Größe der aktuellen Ellipse sich zu stark von der Größe der vorhergehenden Ellipse unterscheidet
o Bei einer zu großen Differenz der aktuellen Position zur letzten Position der Ellipse
■ Ist eines dieser Kxiterien erfüllt, wird weiterhin der zuvor ermittelte geglättete Wert ausgegeben, andernfalls wird der aktuelle Wert zur Glättung herangezogen
■ Um eine möglichst geringe Verzögerung bei der Glättung zu erhalten werden aktuelle Werte stärker gewichtet als vergangene:
• aktueller geglättete Wert = aktueller Wert * Glättungskoeffi- zient + letzter geglätteter Wert * (1 - Glättungskoeffi zi ent)
• der GJättungskoeffizient wird in definierten Grenzen dynamisch an den Trend der zu glättenden Daten angepasst: o Verringerung bei eher konstantem Werteverlauf der Datenreihe
o Erhöhung bei aufsteigendem oder abfallendem Werteverlauf der Datenreihe Wenn langfristig ein größerer Sprung bei den zu glättenden Ellipsenparametern vorkommt, passt sich das Filter und somit auch der geglättete Werteverlauf an den neuen Wert an
,,3D camera System mode!"
o Funktion
■ Modellierung des 3 D-Raumes in dem sich mehrere Kameras, der Nutzer (bzw. dessen Augen) und ggf. ein Bildschirm befinden o Input
■ Konfigurationsdatei, welche die Modellparameter (Lageparameter, optische Parameter, u. a.) aller Elemente des Modells beinhaltet o Output
■ Stellt ein Zahlengerüst und Funktionen für Berechnungen innerhalb dieses Modells zur Verfügung
o Detaillierte Beschreibung
■ Modellierung der räumlichen Lage (Position und Drehwinkel) aller Elemente des Modells sowie deren geometrische (z. B. Pixelgröße, Sensorgröße, Auflösung) und optische (z. B. Brennweite, Objektivverzeichnung) Eigenschaften
■ Das Modell umfasst zum jetzigen Zeitpunkt folgende Elemente:
• Kameraeinheiten, bestehend aus:
o Kamerasensoren
o Objektiven
• Augen
• Display
■ Es werden riehen den Eigenschaften aller Elemente des Modells insbesondere die nachfolgend beschriebenen Funktionen„3D position calculation" (zur Berechnung der Augenposition) und„3D gaze di- rection calculation" (zur Berechnung der Blickrichtung) zur Verfügung gestellt
■ Mit Hilfe dieses Modells kann u. a. die 3D-Blickgerade (bestehend aus Pupillenmittelpunkt und Blickrichtuiigsvektor (entsprechend der Biologie und Physiologie des menschlichen Auges korrigiert)) berechnet werden
■ Optional kann auch der Blickpunkt eines Betrachters auf einem anderen Objekt im 3D~Modell (z. B. auf einem Display) berechnet werden sowie der fokussierte Bereich des Betrachters
,,3D position calculation"
o Funktion
* Berechnung der räumlichen Position (3D-Koordinaten) eines Punktes, der von zwei oder mehr Kameras erfasst wird (z. B. Pupillenmittelpunkt) durch Triangulation o Input
■ 2D-Koordinaten eines Punktes in zwei Kamerabildcrn
o Output
■ 3 D-Koordinaten des Punktes
« Feh! ermaß: beschreibt die Genauigkeit der übergebenen 2D-
Koordinaten in Verbindung mit den Modellparametern
o Detaillierte Beschreibung
* Aus den übergebenen 2D- oordinaten werden mit Hilfe des ,.3D camera System model" (insbesondere unter Berücksichtigung der optischen Parameter) für beide Kameras die Lichtstrahlen berechnet, die den 3 D-Punkt als 2D-Punkte auf den Sensoren abgebildet haben
■ Diese Lichtstrahlen werden als Geraden im 3 D -Raum des Modells beschrieben
■ Der Punkt von dem beide Geraden den geringsten Abstand haben (im ideal fall der Schnittpunkt der Geraden) wird als Position des gesuchten 3 -Punktes angenommen gaze direction calculation"
o Funktion
» Bestimmung der Blickrichtung aus zwei ellipsenförmigen Projektionen der Pupille auf die Kamerasensoren ohne Kalibration und ohne Kenntnis über den Abstand zwischen Auge und Kamerasystem o Input
■ 3 D- Lageparameter der Büdsensoren
■ Ellipsenparameter der auf die beiden Büdsensoren projizierten Pupille
• 3D-Positionen der Ellipsenmittelpunkte auf den beiden Bildsensoren
■ 3D-Position des Pupillenmittelpunktes
o Output
■ 3D-Blickrichtung in Vektor- und Wmkeldarstellung
o Detaillierte Beschreibung
■ Aus der 3D-Position des Pupi 1 lenmittelpunktes und der Lage der Bildsensoren, werden durch Drehung der realen Kameraeinheiten virtuelle Kameraeinheiten berechnet, deren optische Achse durch den 3 D-Pupillenmittelpunkt verläuft
■ Anschließend werden jeweils aus den Projektionen der Pupille auf die realen Sensoren Projektionen der Pupille auf die virtuellen Sensoren berechnet, es entstehen sozusagen zwei virtuelle Ellipsen
■ Aus den Parametern der virtuellen Ellipsen können für beide Senso- ren jeweils zwei Blickpunkte des Auges auf einer beliebigen zur jeweiligen virtuellen Sensorebene parallelen Ebene berechnet werden • Mit den vier Blickpunkten und dem 3 D-Pupillenmittelpunkt lassen sich vier Blickrichtungsvektoren berechnen (jeweils zwei Vektoren aus den Ergebnissen jeder Kamera)
* Von diesen vier Blickrichtungsvektoren, ist immer genau einer der einen Kamera mit einem der anderen Kamera (annähernd) identisch
■ Die beiden identischen Vektoren geben die gesuchte Blickrichtung des Auges (gaze direction) an, die dann vom Modul„3D gaze direction cakulation" als Ergebnis geliefert wird 4. a) Vorteile
Berührungslose und vollständig kalibrationsfreie Ermittlung der 3 Π- Äugenpositionen, 3 D-Blickrichtung und Pupillengröße unabhängig von der Kenntnis über die Lage des Auges zu den Kameras
Analytische Bestimmung der 3D Augenposition und 3D Blickrichtung (unter Ein- beziehung eines 3 D-Raum Modells) ermöglicht eine beliebige Kameraanzahl (>2) und beliebige Kamerapositionen im 3 D -Raum
Vermessung der auf die Kamera projizierten Pupille und damit genaue Bestimmung der Pupillengröße
- Hohe Frameraten (z.B. 60 FPS @ 640x480 auf einem X1L1NX Spartan 3A DSP @ 96 MHz) und kurze Latenzzeiten durch vollständig parallele Verarbeitung ohne
Rekursionen in der Verarbeitungskette
Einsatz von FPGA-Hardware und Algorithmen, die für die parallelen FPGA- Strukturen entwickelt wurden
Einsatz der Hough- Transformation (in der beschriebenen angepassten Form für FPGA-Hardware) zur robusten Merkmal sextraktion zur Objekterkennung (hier:
Merkmale der Pupillenellipse)
Algorithmen zur Nachverarbeitung der Houghtransformationsergebnisse sind optimiert auf parallele Verarbeitung in FPGAs
Festes Zeitregime (konstante Zeitdifferenz zwischen aufeinanderfolgenden Ergeb- nissen)
Minimaler Bauraum, da vollständig auf Chip integriert
geringer Energieverbrauch
Möglichkeit zur direkten Portierung der Verarbeitung vom FPGA auf einen ASIC ~> sehr kostengünstige Lösung bei hohen Stückzahlen durch Ausnutzung von Ska- leneffekten
Umgehungsmöglichkeiten
(teilweiser) Einsatz anderer Algorithmen (bspw. anderes Objekterkennungsverfahren zur Ellipsendetektion)
Nachweismöglichkeit der Patentverletzung Augenscheinlich könnte eine Paientverletziing vorliegen, wenn es sich bei dem betreffenden Produkt um ein schnelles und ein vollständig kalibratioiisfreies Eyetra- cking- System bestehend aus FPGA und Mikroprozessor handelt.
Nachweis bei Patentverletzung durch Kopieren/Klonen des FPGA- Bitfile Netzlisten
o Wäre einfach nachweisbar bspw. mittels Checksummen
o Ferner lassen, sich Bitfiles an eine FPGA-ID binden -> das Kopieren wäre dann nur bei Verwendung von FPGAs gleicher ID möglich Nachweis bei Patentverletzung durch„Disassemblieren" des FPGA- Bitfüe Netziisten
o Anhaltspunkte für Patent Verletzungen wären unter Umständen durch disassemblieren des betreffenden F P G A - B i teil 1 es/ etzl i s te erkennbar o Der konkrete Nachweis konnte nur schwer erbracht werden
Nachweis bei Patentverletzung durch„Disassemblieren" des Prozxssorcodes
o Anhaltspunkte wären erkennbar, konkreter Nachweis nur schwer möglich
Anwendung
In einem (Live-) Kamerabilddatenstrom werden 3D-Augenposhionen und SD- Blickrichtungen delektiert, die für folgende Anwendungen genutzt werden können: o Sicherheitsrelevante Bereiche
" z. B, Sekundenschlafwarner bzw. Müdigkeitsdetektor als Fahrassistenzsystem im Automotive Bereich, durch Auswertung der Augen (z. B, Verdeckung der Pupille als Maß für den Öffnungsgrad) und unter Berücksichtigung der Blickpunkte und des Fokus
o Mensch-Maschine-Schnittstellen
* als Eingabeschnittstellen für technische Geräte (Augenpositionen und Blickrichtung können als Inputparameter genutzt werden)
■ Unterstützung des Nutzers beim Ansehauen von Bildschirminhalten (z.B. hervorheben von Bereichen, die angeschaut werden)
« z. B.
• im Bereich Assisted Living
• für Computerspiele
• Blickrichtungsgestützte Eingabe für Head. Mountcd Devices
• Optimierung von 3D- Visualisierungen durch Einbeziehen der Blickrichtung
o Markt- und Medienforschung
■ z.B. Attraktivität von Werbung bewerten durch Auswertung der räumlichen Blickrichtung und des Blickpunktes der Testperson o Ophthalmologische Diagnostik (z. B. objektive Perimetrie) und Therapie
1 P G Λ - 1 ; ac etrac kc r Ein Aspekt der Erfindung betrifft ein autonomes (PC-unabhängiges) System, das insbesondere FPGA-optimierte Algorithmen nutzt, und dazu geeignet ist ein. Gesicht in einem Kamera-Livebild zu detektieren und dessen (räumliche) Position zu ermitteln. Die genutzten Algorithmen sind insbesondere dadurch gekennzeichnet, dass Sie für die Verarbeitung auf einem FPGA (field programmable gate airay) optimiert sind und im Vergleich zu den bestehenden Verfahren ohne Rekursionen in der Verarbeitung auskommen. Die Algorithmen ermöglichen eine sehr schnelle Bildverarbeitung mit konstanter Bildwiederholrate, minimalen Latenzzeiten und minimalem Ressourcenverbrauch im FPGA. Damit sind diese Module prädestiniert für zeit~Aatenz- sicherhcitskritische Anwendungen (z.B. Fahrerassistenzsysteme) oder Anwendungen wie Human machine intcrfaces (z.B. für mobile devices), die ein geringes Bauvolumen erfordern. Darüber hinaus kann unter Einsatz einer zweiten Kamera die räumliche Position des Nutzers für bestimmte Punkte im Bild hochgenau, ka- librationsfrei und berührungslos ermittelt werden.
Problemstellung
Robuste und hardwarebasierte Gesichtsdetektion in einem (Live-) Kamerabild
Detektion von Gesichts und Augenposition im 3 D-Raum durch Verwendung eines stereoskopischen Kamerasystems
Sehr kurze Reaktionszeit (bzw. Verarbeitungszeit)
Kleine Bauform
autonome Funktionsweise (Unabhängigkeit vom PC) durch integrierte Lösung
Stand der Technik
- Literatur:
o Christian Küblbeck, Andreas Ernst: Face detection and tracking in video sequences using the modified census transformation
o Paul Viola, Michael Jones: Robust Real-time Object Detection Nachteile aktueller Facetracker Systeme
Die gesamte Verarbeitung ist für PC-Systeme (allgemeiner: general purpose pro- cessors) optimiert und somit auch deren Nachteilen unterworfen (z.B. kein festes Zeitregime bei der Verarbeitung möglich (Beispiel: in Abhängigkeit des Bildinhaltes z.B. Hintergrund dauert das Tracking unter Umständen länger))
- Sequentielle Abarbeitung; das Eingangsbild wird sukzessive in verschiedene Skalierungsstufen gebracht (bis die kleinste Skalierungsstufe erreicht ist) und jeweils mit einem mehrstufigen Klassifikator nach Gesichtern durchsucht
o Je nachdem wie viele Skalierungsstufen berechnet werden müssen bzw. wie viele Stufen des Klassifikators berechnet werden müssen schwankt die Vcr- arbeitungsdauer und damit die Verzögerungszeit bis das Ergebnis vorliegt
Um hohe Frameraten zu erreichen werden leistungsstarke Systeme benötigt (höhere Taktraten, unter Umständen Multicore-Systeme), da die bereits auf PC-Hardware optimierten Algorithmen trotzdem einen sehr hohen Ressourcenverbrauch aufweisen (insbesondere bei embedded Prozessorsystemen)
Ausgehend von der delektierten Gesichtsposition liefern Klassifikatoren nur ungenaue Augenpositionen (die Position der Augen - insbesondere der Pupillenmittel- punkt - wird nicht analytisch ermittelt (bzw. vermessen) und ist dadurch hohen
Ungenauigkciten unterworfen)
Die ermittelten Gesichts- und Augenpositionen liegen nur in 2D-Bildkoordinaten vor, nicht in 3D Umsetzung
Das Gesamtsystem ermittelt aus einem Karaerabild (in dem ein Gesicht abgebildet ist) die Gesichtsposition und ermittelt unter Nutzung dieser Position die Positionen der Pupillenmittelpunkte des linken und rechten Auges. Werden zwei oder mehr Kameras mit einer bekannten Ausrichtung zueinander verwendet, können diese beiden Punkte für den 3- dimensionaJen Raum angegeben werden. Die beiden ermittelten Augenpositionen können in Systemen, welche den„Integrated Eyetracker" nutzen, weiterverarbeitet werden.
Der„Parallel image scaler",„Parallel face finder",„Parallel eye analyzer",„Parallel pupil analyzer",„Temporal smart smoothing filier",„ 1) camera System model" und„3D Position calculation" betreffen einzelne Funktionsmodule des Gesamtsystems (FPGA- Facetracker). Sie ordnen sich in die Bildverarbeitungskette des FPGA-Facetrackers wie folgt, ein:
Fig. 7a zeigt ein Blockschaltbild der einzelnen Funktionsmodule im FPGA-Facetracker 800. Die Funktionsmodule„3D camera System model 802" und„3D position calculation" 804 sind für das Facetracking nicht zwingend erforderlich, werden aber bei Verwendung eines Stereoskopen Kamerasystems und Verrechnung geeigneter Punkte auf beiden Kameras zur Bestimmung räumlicher Positionen genutzt (beispielsweise zur Bestimmung der 3 D-Kopfposition bei Verrechung der 2D-Gesichtsmittelpunkte in beiden Kamerabildern). Das Modul„Feature extraction (Classification) 806" des FPGA-Facetrackers baut auf der Merkmaisextraktion und Klassifikation von Küblbeck/Ernst vom Fraunhofer IIS (Erlangen) auf und nutzt eine angepasste Variante ihrer Klassifikation auf Basis von Census Merkmalen.
Das Blockschaltbild zeigt die einzelnen Verarbeitungsstufen des FPGA-Facetracking Sys- tems. Im Folgenden wird eine detaillierte Beschreibung der Module gegeben.
• „Parallel image scaler 702"
o Funktion
• Parallele Berechnung der Skalicrungsstufcn des Ausgangsbildes und Anordnung der berechneten Skalierungsstufen in einer neuen Bildmatrix um den nachfolgenden Bildverarbeitungsmodulen eine simultane Analyse aller Skalierungsstufen zu ermöglichen Fig. 7b zeigt die Ausgangsbild 710 (Originalbild) und Ergebnis 712 (Downscaling-Bild) des Parallel image-scaler. o Input
■ Äusgangsbild 710 in Originalauflösung
o Output 712
■ Neue Büdmatrix die mehrere skalierte Varianten des Ausgangsbildes in einer für die nachfolgenden Facetracking-Module geeigneten Anordnung beinhaltet
o Detaillierte Beschreibung
■ Aufbau einer Bildpyramide durch parallele Berechnung der verschiedenen Skalierungsstufen des Ausgangsbildes
■ Um eine definierte Anordnung der zuvor berechneten Skalierungsstufen in der Zielmatrix gewährleisten zu können erfolgt eine Transformation der Bildkoordinaten der jeweiligen Skalierungsstufe in das Bildkoordinatensystem der Zielmatrix anhand verschiedener Kriterien:
• Definierter Mindestabstand zwischen den S kal i erungs stufen um ein übersprechen von Analyseergebnissen in benachbarte Stufen zu unterdrücken
• Definiertet Abstand zu den Rändern der Zielmatrix um die Analyse zum Teil aus dem Bild herausragender Gesichter gewährleisten zu können
„Parallel face findet 808"
o Funktion
■ Detektiert ein Gesicht aus Klassifikationsergebnissen mehrerer Skalierungsstufen, die gemeinsam in einer Matrix angeordnet sind. Der Parallel face finder 808 ist mit dem Finder 706 aus Fig. 1 vergleichbar, wobei der Finder 706 einen allegemeiner Funktionsumfang (Erkennung von weiteren Mustern, wie Pupillenerkennung) umfasst. Wie in Fig. 7c gezeigt, stellt das Ergebnis der Klassifikation (rechts) den Input für den Parallel face fmder dar.
o Input 712
■ Klassifizierte Bildmatrix die mehrere Skalierungsstufen des Ausgangsbildes enthält
o Output • Position, an der sich mit der höchsten Wahrscheinlichkeit ein Gesicht befindet (unter Berücksichtigung mehrerer Kriterien) o Detaillierte Beschreibung
■ Rauschunterdrückung zum Eingrenzen der Klassitlkationsergcbnisse
■ Räumliche Korrektur der Klassifikationsergebnisse innerhalb der Skalierungsstufen mittels einer Kombination aus lokalen Summen- und Maximumfiiter
• Orientierung an der höchsten Auftrittswahrscheinlichkeit für ein Gesicht optional an der Gesichtsgröße über alle Skaiicrungsstufen hinweg
■ Räumliche Mittelung der Ergebnispositionen über ausgewählte Skalierungsstufen hinweg
• Auswahl der in die Mittelung einbezogener Skalierungsstufen erfolgt unter Berücksichtigung der folgenden Kriterien: o Differenz der Mittelpunkte des ausgewählten Gesichts in den betrachteten Skalierungsstufen o Dynamische ermittelte Abweichung vom höchsten Ergebnis des Summenfilters
o Unterdrückung von Skalierungsstufen ohne Klassifikationsergebnis
■ Schwellwertbasierte Einstellung der Detektionsleistung des„parallel face fmder"
„Parallel eye anaiyzer 81 0"
o Funktion
■ Detektiert während der Gesichtsdetektion parallel die Position der Augen im entsprechenden Gesicht (diese ist vor allem bei nicht ideal frontal aufgenommenen und verdrehten Gesichtern wichtig) o Input
■ Bildmatrix, die mehrere Skalierungsstufen des Ausgangsbild.es enthält (aus dem„Parallel image scaier" Modul) sowie die jeweils aktuelle Position an der sich höchstwahrscheinlich das gesuchte Gesicht befindet (aus dem„Parallel face fmder" Modul) o Output
■ Position der Augen und ein dazugehöriger Wahrscheinlichkeitswert im aktuell vom„Parallel face fmder" gefundenen Gesicht o Detai llierte Beschreibung
■ Basierend auf dem herunter skalierten Ausgangsbild wird in einem definierten Bereich (Augenbereich) innerhalb der vom„Parallel face fmder" gelieferten Gesichtsregion die im folgenden beschriebene Augensuche für jedes Auge durchgeführt:
• Definieren des Augenbereichs aus empirisch ermittelten "Normalpositionen der Augen innerhalb der Gesichtsregion Mit einem speziell geformten korrelationsbasierten lokalen
Filter werden innerhalb des Augenbereichs Wahrscheinlichkeiten für das Vorhandensein eines Auges ermittelt (das Auge wird in diesem Bildbereich vereinfacht ausgedrückt als eine kleine dunkle Fläche mit heller Umgebung beschrieben) Die genaue Augenposition inklusive ihrer Wahrscheinlichkeit ergibt sieh durch eine Maximumsuche in dem zuvor berechneten Wahrscheinliehkeitsgebirge rallel pupil analyzer 812"
o Funktion.
* Detektiert ausgehend von einer zuvor ermittelten Augenposition die Position der Pupillenmittelpunkte innerhalb der detektierten Augen (dadurch erhöht sich die Genauigkeit der Augenposition, was für Vermessungen oder das Anschließende Auswerten der Pupille wichtig ist)
o Input
* Ausgangsbild in Originalauflösung sowie die ermittelten Augenpositionen und Gesichtsgröße (aus dem„Parallel eye analyzer" bzw. „Parallel face finder")
o Output
* Position der Pupille innerhalb des ausgewerteten Bildes sowie ein Status, der aussagt, ob eine Pupille gefunden wurde oder nicht o Detaillierte Beschreibung
■ Basierend auf den ermittelten Augenpositionen und der Gesichtsgröße wird ein zu bearbeitender Bildausschnitt um das Auge herum festgelegt
■ Über diese Bildmatrix hinweg wird ein Vektor aufgebaut, der die Minima der Bildspalten enthält, sowie ein Vektor, der die Minima der Bildzeilen enthält
■ Innerhalb dieser Vektoren (aus minimalen Grauwerten) wird wie nachfolgend erklärt separat der Pupü I enm ittel unkt in horizontaler und in vertikaler Richtung detektiert:
• Detektion des Minimums des jeweiligen Vektors (als Positi- on innerhalb der Pupille)
• Ausgehend von diesem Minimum innerhalb des Vektors wird in positiver und negativer Richtung die Position ermittelt, an der ein einstellbarer prozentual auf den 'Dynamikbereich aller Vektorelemente bezogener Schwellwert über- schritten wird
• Die Mittelpunkte dieser Bereiche in den Beiden Vektoren bilden zusammen den Mittelpunkt der Pupille im analysierten Bild „Temporal smart smoothing filter 814"
o Funktion
■ Adaptive zeitliche Glättung einer Datenreihe (z. B, einer ermittelten Gesichtskoordinate), wobei Aussetzer, unsinnige Werte oder extreme Ausreißer in der zu glättenden Datenreihe NICHT zu Schwankungen der geglätteten Daten führen
o Input
■ Zu jedem Aufrufzeitpunkt des Moduls jeweils ein Wert der Daten - reihe und die dazugehörigen Gütekriterien (beim Facetracking: Ge- sichtsscore und Downscalingstufe in der das Gesicht gefunden wurde)
o Output
■ Geglätteter Datenwert (z. B. Gesichtskoordinate)
o Detaillierte Beschreibung
■ Über einen Satz von Filterparametern kann beim Initialisieren des
Filters dessen Verhalten festgelegt werden
■ Der aktuelle Input- Wert wird für die Glättung verwendet, wenn er nicht in eine der folgenden Kategorien fällt:
• Entsprechend dem dazugehörigen Score handelt es sieh um einen Aussetzer in der Datenreihe
• Entsprechend der dazugehörigen Downscalingstufe handelt es sich um einen unsinnigen Wert (Wert, der in einer zu weit entfernten Downscalingstufe ermittelt wurde)
• Entsprechend der zu großen Differenz zum letzten für die Glättung verwendeten Wert handelt es sich um einen Ausreißer
■ Ist eines dieser Kriterien erfüllt, wird weiterhin der zuvor ermittelte geglättete Wert ausgegeben, andernfalls wird der aktuelle Wert zur Glättung herangezogen
■ Um eine möglichst geringe Verzögerung bei der Glättung zu erhalten werden aktuelle Werte stärker gewichtet als vergangene:
• aktueller geglättete Wert = aktueller Wert * Glättungskoeffi- zient + letzter geglätteter Wert * (1 - Glättungskoeffizient)
• der Glättungskoeffizient wird in definierten Grenzen dynamisch an den Trend der zu glättenden Daten angepasst: o Verringerung bei eher konstantem Werteverlauf der Datenreihe
o Erhöhung bei aufsteigendem oder abfallendem Werteverlauf der Datenreihe
■ Wenn langfristig ein größerer Sprung bei den zu glättenden Daten oder den dazugehörigen Downscalingstufen vorkommt, passt sieh das Filter und somit auch der geglättete Werteverlauf an den neuen Wert an
„3D camera systern model 804a"
o Funktion
■ Modellierung des 3 D-Raumes in dem sich mehrere Kameras, der Nutzer (bzw. dessen Augen) und ggf, ein Bildschirm befinden
Input
Konfigurationsdatei, welche die Modellparameter (Lageparameter, optische Parameter, u. a.) aller Elemente des Modells beinhaltet
Output
* Stellt ein Zahlengerüst und Funktionen für Berechnungen innerhalb dieses Modells zur Verfügung
Detaillierte Beschreibung
8 Modellierimg der räumlichen Lage (Position und Drehwinkel) aller Elemente des Modells sowie deren geometrische (z. B. Pixelgröße, Sensorgröße, Auflösung) und optische (z. B. Brennweite, Objektivverzeichnung) Eigenschaften
« Das Modell umfasst zum, jetzigen Zeitpunkt folgende Elemente:
• Kameraeinheiten, bestehend aus:
o Kamerasensoren
o Objektiven
• Augen
• Display
• Es werden neben den Eigenschaften aller Elemente des Modells insbesondere die nachfolgend beschriebenen Funktionen„3D position calculation" (zur Berechnung der Augenposition) und„3D gaze di- rection calculation" (zur Berechnung der Blickrichtung) zur Verfügung gestellt
■ in anderen Anwendungsfällen stehen auch folgende Funktionen zur Verfügung:
• Mit Hilfe dieses Modells kann u. a. die 3D-Blickgeradc (bestehend aus Pupillenmittelpunkt und Blickrichtungsvektor (entsprechend der Biologie und Physiologie des menschlichen Auges korrigiert)) berechnet werden
• Optional kann auch der Blickpunkt eines Betrachters auf einem anderen Objekt im 3D-Modell (z. B, auf einem Display) berechnet werden sowie der fokussierte Bereich des Betrachters
„3D position calculation 804"
o Funktion ■ Berechnung der räumlichen Position (3D-Koordinaten) eines Punktes, der von zwei oder mehr Kameras erfasst wird (z. B, Pupillenmit- telpunkt)
o Input
■ 2D- oordinaten eines Punktes in zwei amerabildern
o Output
■ 3D-Koordinaten des Punktes
■ Fehlermaß: beschreibt die Genauigkeit der übergebenen 2D- Koordinaten in Verbindung mit den Modellparametern
o Detaillierte Beschreibung
■ Aus den übergebenen 2D-Koordinaten werden mit Hilfe des ,,3D eamera System model" (insbesondere unter Berücksichtigung der optischen Parameter) für beide Kameras die Lichtstrahlen berechnet, die den 3D-Punkt als 2i)-Punkte auf den Sensoren abgebildet haben ■ Diese Lichtstrahlen werden als Geraden im 3 D- aum des Models beschrieben
■ Der Punkt von dem beide Geraden den geringsten Abstand haben (im Idealfali der Schnittpunkt der Geraden) wird als Position des gesuchten 3 D-Punktes angenommen
Vorteile
Ermittlung der Gesichtsposition und der Augenpo sitio nen in einem (Live-) Kamerabild in 2D und durch Rückrechnung in den 3D~Raum in 3D (durch Einbeziehen eines 3 D-Raum Modells)
- Die unter 3, Vorgestellten Algorithmen sind optimiert auf echtzeitfähigc und parallele Verarbeitung in FPGAs
- Hohe Frameraten (60 FPS @ 640x480 auf einem XILINX Spartan 3A DSP @ 48 MHz) und kurze Latenzzeiten durch vollständig parallele Verarbeitung ohne Rekursionen in der Verarbeitungskette -> sehr schnelle Bildverarbeitung und verzö- gerzugsarme Ausgabe der Ergebnisse
Minimaler Bauraum, da die gesamte Funktionalität mit einem Bauteil (FPGA) erreicht werden kann
geringer Energieverbrauch
Festes Zeitregime (konstante Zeitdifferenz zwischen aufeinanderfolgenden Ergeb- nissen) und damit prädestiniert für den Einsatz in sicherbeitskritischen Anwendungen
Möglichkeit zur direkten Portierung der Verarbeitung vom FPGA auf einen ASIC (application specific integrated cireuit) -> sehr kostengünstige Lösung bei hohen Stückzahlen durch Ausnutzung von Skaleneffekten
Umgehungsmöglichkeiten Einsatz anderer Algorithmen für die Gcsarotfunktionaiität oder einzelne Teilfunktionen
Nachweismöglichkeit der Patentverletzung
- Nachweis bei Patentverletzung durch Kopieren/Klonen des FPGA-
Bitfile/Netzlisten
o Wäre einfach nachweisbar bspw. mittels Checksummen
o Ferner lassen sich Bitfiles an eine FPGA-iD binden - das Kopieren wäre datin nur bei Verwendung von FPGAs gleicher ID möglich
- Nachweis bei Patentverletzung durch„Disassemblieren" des FPGA-
Bitfile/Netzlisten
o Anhaltspunkte für Patentverletzungen wären unter Umständen durch disassemblieren des betreffenden FPG A-Biteii 1 es/N etzliste erkennbar o Der konkrete Nachweis könnte nur schwer erbracht werden
Anwendung
Vorteile bei der Anwendung im Vergleich zur Softwarelösung
o autonome Funktionsweise (System on Chip)
o Möglichkeit der einfachen Überführung in einen ASIC
o platzsparende Integration in bestehende Systeme/Schaltungen
Anwendungsbereiche ähnlich denen einer Softwarelösung (In einem (Live-) Kame- rabilddatenstrom werden Gesichtspositiorv und die entsprechenden Augenpositionen detektiert, die für die unten aufgeführten Anwendungen genutzt werden können)
o Sicherheitsanwendungen
■ z.B. Sekundenschtafwarner im Automotive Bereich, durch Auswertung der Augen (Öffnungsgrad) und der Augen- und Kopfbewegung o Mensch-Maschine-Kommunikation
■ z.B. Eingabeschnittstellen für technische Geräte (Kopf- bzw. Au- genposition als Inputparameter)
o Gaze-Tracking
8 z.B. Gesichts- und Augenpositionen als Vorstufe zur Blickrichtungsbestimmung (in Kombination mit„Integrated Eyetracker") o Marketing
■ z.B. Attraktivität von Werbung bewerten durch Auswertung von
Kopf- und Augenparametern (u. a. Position)
Nachfolgend wird anhand von zwei Darstellungen, weiteres Hintergrundwissen zu den oben beschrieben Aspekten der Erfindungen offenbart. Ein ausführliches Berechnungsbeispiel für diese Blickrichtungsberechnung wird nachfolgend anhand der Fdg. 8a bis 8e beschrieben.
Berechnung des P pi 1 lenmi ttelpunktes '.
Wie bereits beschrieben, entsteht bei der Abbildung der kreisförmigen Pupille 806a durch die Kameraobjektive 808a und 808b auf den Bildsensoren 802a und 802b jeweils eine elliptische Pupillenprojektion (vgl. Fig. 8a). Der Mittelpunkt der Pupille wird auf beiden Sensoren 802a und 802b und somit auch in den entsprechenden Kamerabildern immer als Mittelpunkt E PKS und EMpK2 der Ellipse abgebildet. Dalier kann durch stereoskopische Rückprojektion dieser beiden Ellipsenrnittelpunkte EMpK I und E PK2 mit Hilfe des Objektivmodells der 3D-Pupillenmittelpunkt bestimmt werden. Optionale Voraussetzung dazu ist eine ideal erweise zeitsynchrone Bildaufnahme, damit die von beiden Kameras abgebildeten Szenen identisch sind und somit der Pupillenmittelpunkt an der gleichen Position erfasst wurde.
Zunächst muss für jede Kamera der Rückprojektionsstrahl RS des Ellipsenmittelpunktes berechnet werden, welcher entlang des Knotenpunktstrahls zwischen dem Objekt und dem objektseitigen Knotenpunkt (Hl ) des optischen System verläuft (Fig. 8a),
RS(l) = RSo + t - RSs
(A I )
Dieser Rückprojektionsstrahl wird durch Gleichung (AI) definiert. Er besteht aus einem Anfangspunkt RSo und einem normierten Richtungsvektor RS- , welche sich im genutzten
Objektivmodell (Fig. 8b) durch die Gleichungen (A2) und (A3) aus den beiden Hauptpunkten H\ und Hi des Objektivs sowie dem Ellipsenmittelpunkt EMP in der Sensorebene ergeben. Dazu müssen alle drei Punkte (Hj, H2 und EMP) im Eyetracker- Koordinatensystem vorliegen.
RSo = Hi
(AT)
(A3)
Die Hauptpunkte lassen sich mit den Gleichungen H, und H, = K 0 + (b + d) - K;, direkt aus den Objektiv- und Kameraparametern berechnen (Fig. 8b), Ko der Mittelpunkt der Kamerasensoreben ist und der Normalvektor der Kamerasensorebene. Der 3D- Ellipsenmittelpunkt im Kamerakoordinatensystem lässt sich aus den zuvor bestimmten EHipsenmittelpuriktparameteTri x„, und y„, , welche in Bildkoordinaten vorliegen, mittels Gleichung
Kamera ■5* PxCr
errechnen. Dabei ist PBüd die Auflösung des Kamerabildes in Pixeln, S0ffSe( ist die Position auf dem Sensor an der begonnen wird das Bild auszulesen, Srcs ist die Auflösung des Sensors und S xör ist die Pixelgröße des Sensors.
Der gesuchte Pupillenmittelpunkt ist im Idealfall der Schnittpunkt der beiden Rückprojek- tionsstrahlen RSK1 und RSK2 . Mit praktisch ermittelten Modellparametern und Ellipsenmittelpunkten ergibt sich allerdings schon durch minimale Messfehler kein Schnittpunkt der Geraden mehr im 3 -D -Raum. Zwei Geraden in dieser Konstellation, welche sich weder schneiden noch parallel verlaufen, werden in der Geometrie windschiefe Geraden genannt. Im Falle der Rückprojektion kann angenommen werden, dass die beiden windschiefen Ge- raden jeweils sehr nahe am Pupillenmittelpurtkt vorbei verlaufen. Dabei liegt der Pupillenmittelpunkt an der Stelle ihres geringsten Abstands zueinander auf halber Strecke zwischen den beiden Geraden.
Der kürzeste Abstand zwischen zwei windschiefen Geraden wird von einer senkrecht zu beiden Geraden stehenden Verbindungsstrecke angegeben. Der Richtungsvektor nSl
Der senkrecht auf beiden Rückprojektionsstrahlen stehenden Strecke kann entsprechend Gleichung (A4) als Kreuzprodukt ihrer Richtungsvektoren berechnet werden.
(A4) Die Lage der kürzesten Verbindungsstreckc zwischen den Rückprojektionsstrahlen wird durch Gleichung (A5) definiert. Durch Einsetzers von RSk l(s) , RSK2(f ) und ergibt sich daraus ein Gleichungssystem, aus welchem s , l und u berechnet werden können. RSKI(x) + u nSl RS
(A5)
Der gesuchte Pupillenmittelpunkt P P, welcher auf halber Strecke zwischen den Rückprojektionsstrahlen liegt, ergibt sich folglich aus Gleichung (A6) nach dem Einsetzen der für s und u berechneten Werte.
(A6) Als Indikator für die Genauigkeit des berechneten Pupillenmittelpunktes PMP kann zusätzlich die minimale Distanz dRS zwischen den Rückprojektionsstrahlen berechnet werden. Je genauer die Modellparameter und Ellipsenmittelpunkte waren, welche für die bisherigen Berechnungen genutzt wurden, desto geringer ist d«.s . d m ^ ~ \ n l \
(A7)
Der berechnete Pupillenmittelpunkt ist einer der beiden Parameter, welcher die vom Eye- tracker zu ermittelnde Blickgerade des Auges bestimmen. Außerdem wird er zur Berechnung des Blickrichtungsvektors benötigt, welche nachfolgend beschrieben wird,
Der Vorteil dieser Methode zur Berechnung des Pupillenmittelpunktes besteht darin, dass die Abstände der Kameras zum Auge nicht fest im System abgespeichert sein müssen. Dies ist z. B. bei dem in der Patentschrift DE 1 0 2004 046 617 A I beschriebenen Verfahren erforderlich.
Berechnung des Blickrichtungsvektors Der zu bestimmende Blickrichtungsvektor Pfi entspricht dem Normalvektor der kreisförmigen Pupillenfläche und ist somit durch die Ausrichtung der Pupille im 3 -D -Raum festgelegt. Aus den Ellipsenparametern, welche für jede der beiden ellipsenförmigen Projektionen der Pupille auf den Kamerasensoren bestimmt werden können, lassen sich die Lage und Ausrichtung der Pupille ermitteln. Hierbei sind die Längen der beiden Halbachsen sowie die Rotationswinkel der projizierten Ellipsen charakteristisch für die Ausrichtung der Pupille bzw. die Blickrichtung relativ zu den Kamerapositionen. Ein Ansatz zur Berechnung der Blickrichtung aus den Ellipsenparametern und fest im Eye- tracking-System abgespeicherten Abständen zwischen den Kameras und dem Auge wird z. B. in der Patentschrift DE 10 2004 046 617 AI beschrieben. Wie in Fig. 8e dargestellt, geht dieser Ansatz von einer Parallelprojektion aus, wobei die durch die Sensornormale und den Mittelpunkt der auf den Sensor projizierten Pupille definierte Gerade durch den Pupillenmittelpunkt verläuft. Dazu müssen die Abstände der Kameras zum Auge vorab bekannt und fest im Eyetracking- System abgespeichert sein.
Das bei dem hier vorgestellten Ansatzes verwendete Modell des Kameraobjektivs, welches das Abbi Idungsverhalten eines realen Objektivs beschreibt, findet hingegen eine perspekti- vische Projektion des Objekts auf den Bildsensor statt. Dadurch kann die Berechnung des Pupillenmittelpunktes erfolgen und die Abstände der Kameras zum Auge müssen nicht vorab bekannt sein, was eine der wesentlichen Neuerungen gegenüber der oben genannten Patentschrift darstellt. Durch die perspektivische Projektion ergibt sich die Form der auf dem Sensor abgebildeten Pupillenellipse allerdings im Gegensatz zur P arah elpr oj ektion nicht aliein durch die Neigung der Pupille gegenüber der Sensorfläche, Die Auslenkung δ des Pupillenmittelpunktes von der optischen Achse des Kameraobjektivs hat, wie in Fig. 8b skizziert, ebenfalls einen Einfluss auf die Form der Pupi 1 lenprojektion und somit auf die daraus ermittelten Ellipsenparameter. Im Gegensatz zur Skizze in Fig. 8b ist der Abstand zwischen Pupille und Kamera mit mehreren hundert Millimetern sehr groß gegenüber dem Pupillenradius, welcher zwischen 2 mm. und 8 mm liegt. Daher wird die Abweichung der Pupil 1 enproj ektion von einer idealen Ellipsenform, welche bei einer Neigung der Pupille gegenüber der optischen Achse entsteht, sehr gering und kann vernachlässigt werden.
Um den Blickrichtungsvektor Pn- berechnen zu können, niuss der Einfluss des Winkels δ auf die Ellipsenparameter eliminiert werden, so dass die Form der Pupillenprojektion allein durch die Ausrichtung der Pupille beeinflusst wird. Dies ist immer dann gegeben, wenn der Pupillenmittelpunkt PMP direkt in der optischen Achse des Kamerasystems liegt. Daher kann der Einfluss des Winkels δ beseitigt werden, indem die Pupillenproj ektion auf dem Sensor eines virtuellen Kamerasystems vK berechnet wird, dessen optische Achse direkt durch den zuvor berechneten Pupillenmittelpunkt MP verläuft, wie in Fig. 8c dargestellt. Die Lage und Ausrichtung eines solchen virtuellen Kamerasystems 804a' (vK. in Fig. 8c) lässt sich aus den Parametern des originalen Kamerasystems 804a (K in Fig. 8b) durch Drehung um dessen objektseitigeri Hauptpunkt Ah berechnen. Dieser entspricht dadurch gleichzeitig dem objektseitigen Hauptpunkt v/Y/ des virtuellen Kamerasystems 804a' . Somit sind die Richtungsvektoren der Knotenpunktstrahlen der abgebildeten Objekte vor und hinter dem virtuellen optischen System 808c' identisch zu denen im originalen Kamerasystem. Alle weiteren Berechnungen zur Bestimmung des Blickrichtungsvektors erfolgen im Ey etrac ker-Koordi naten System .
Der normierte Normalvektor vK„ der virtuellen Kamera vK ergibt sich folgendermaßen:
(A8)
Für das weitere Vorgehen ist es erforderlich, die Rotationwinkel um die x-Achse ( νΚθ ), um die y-Achse ( νΚφ ) und um die z-Achse ( vK ) des Eyetracker-Koordinatensystems zu berechnen um die der Einheitsvektor der z-Richtung des Eyetracker-Koordinatensystems um verschiedene Achsen des Eyetracker-Koordinatensystems gedreht werden muss um den Vektor vK- zu erhalten. Durch Drehung des Einheitsvektor der x-Richtung sowie des
Einheitsvektors der y-Richtung des Eyetracker-Koordinatensystems um die Winkel νΚθ , νΚφ und νΚψ können die Vektoren VÄ' . und vK y - berechnet werden, welche die x- und y-
Achse des virtuellen Sensors im Eyetraeker-Koordinatensystem angeben.
Um die Lage des virtuellen Kamerasystems 804a' (Fig. 8c) zu erhalten, muss dessen Ortsvektor bzw. Koordinatenursprung vKo, welcher gleichzeitig der Mittelpunkt des Bildsensors ist, mittels Gleichung (A9) so berechnet werden, dass er im Knotenpunktstrahl des Pupillenmittelpunktes PMP hegt. AL = v/i, - (d+b vK,
(A9)
Die dazu benötigte Distanz d zwischen den Hauptpunkten sowie die Entfernung b zwischen der Hauptebene 2 und der Sensorebene müssen dazu bekannt sein oder z. B. mit einem Versuchsaufbau experimentell ermittelt werden.
Weiterhin ergibt sich die Lage des bildseitigen Hauptpunktes aus Gleichung (Λ10). v//2-- vll .... d- vKt
(AiO)
Zur Berechnung der Pupillcnprojektion auf dem virtuellen Sensor 804a' werden zunächst Randpunkte RPy,} der zuvor ermittelten Ellipse auf dem Sensor in Originallage benötigt.
Diese ergeben sich ans den. Randpunkten K 20 der Ellipse E im Kamerabild, wobei entsprechend Fig.8d EA die .kurze Halbachse der Ellipse ist, Eh die lange Halbachse der Ellipse, ESM und Εν^ die Mittelpunktkoordinaten der Ellipse und EA der Rotationswinkel der Ellipse. Die Lage eines Punktes RP'° im Eyetracker-Koordinatcnsystem kann durch die Gleichungen (AI 1) bis (AI 4) aus den Parametern der Ellipse E , des Sensors 5" und der Kamera K berechnet werden, wobei ω die Eage eines Randpunktes RP2D entsprechend Fig.8d auf dem EHipsenumfang angibt.
(All) x'-c s{E + y'-sm(Ea)+E^
RP2n =
(A13)
RPw = K0+s Kx.+t K,
(AI 4)
Die Richtung eines Knotenpunktstrahls KS im originalen Kamerasystem, welcher einen Pupiilenrandpunkt als Ellipsenrandpunkt RP1"" auf dem Sensor abbildet, ist gleich der
Richtung des Knotenpunktstrahls vKS im virtuellen Kamerasystem, welcher den gleichen Pupiilenrandpunkt als Ellipsenrandpunkt RP:s auf dem virtuellen Sensor abbildet. Die Knotenpunkistrahlen der Ellipscnrandpunkte in Fig.8b und Fig.8c veranschaulichen dies. Somit haben die beiden Strahlen KS und vKS den gleichen Richtungsvektor, welcher sich aus Gleichung (AI 5) ergibt. Für den Ortsvektor vKS des virtuellen sensorseitigen Knotenpunktstrahls vKS gilt immer VKSQ = vEI2.
RPin-ll,
RPiD - H,\ (A LS)
Der virtuelle Knotenpunktslrahl und die virtuelle Sensorebene, welche der x-y-Ebene der virtuellen Kamera vK entspricht, werden in Gleichung (A 16) gleichgesetzt, wobei sich durch Auflösen nach $z und h die Parameter ihres Schnittpunktes ergeben. Mit diesen kann durch Gleichung (AI 7) der Ellipsenrandpunkt in Pixelkoordinaten im Bild der virtuellen Kamera berechnet werden.
vKS„ + r7 - vKS
(A I 6)
(A17)
Anschließend können aus mehreren virtuellen Randpunkten vRP 2 n mitteis Ellipsenfitting, z. B. mit dem„Direct ieast square Atting of ellipses" Algorithmus nach Fitzgibbon et ah, die Parameter der in Fig. 8c dargestellter» virtuellen Ellipse vE berechnet werden. Dazu werden mindestens sechs virtuelle Randpunkte vRP 20 benötigt, welche durch Einsetzen unterschiedlicher ω in Gleichung (Al l ) mit dem oben beschriebenen Weg berechnet werden können.
Die Form der so ermittelten virtuellen Ellipse vE ist nur noch von der Ausrichtung der Pupille abhängig. Außerdem liegt ihr Mittelpunkt immer im Mittelpunkt des virtuellen Sensors und bildet zusammen mit der Sensornormalen, welche der Kameranormalen vK- entspricht, eine entlang der optischen Achse verlaufende Gerade durch den Pupillenmittelpunkt Ρμρ . Somit sind die Voraussetzungen erfüllt, um aufbauend auf dem in der Patentschrift DE 10 2004 046 617 A I vorgestellten Ansatz nachfolgend die Blickrichtung zu berechnen. Dabei ist es mit diesem Ansatz nun auch möglich durch die Nutzung des oben beschriebenen virtuellen Kamerasystems die Blickrichtung zu bestimmen, wenn der Pupil- ienmittelpunkt außerhalb der optischen Achse des realen Kamerasystems liegt, was in realen Anwendungen nahezu immer der Fall ist.
Wie in Fig. 8e dargestellt, wird die zuvor berechnete virtuelle Ellipse vE nun in der virtuellen Hauptebene 1 angenommen. Da der Mittelpunkt von vE im Mittelpunkt des virtuellen Sensors und somit in der optischen Achse liegt, entspricht der 3-D-EllipsemitteJpunkt VE 'MP dem virtuellen Hauptpunkt 1 . Er ist auch gleichzeitig der Lotfußpunkt des Pupillenmittelpunktes PMP in der virtuellen Hauptebene 1. Nachfolgend werden nur noch das Ach- senverhältnis und der Roiationswinkel der Ellipse vE genutzt. Diese Fotmparaiiieter von vE können dabei auch bezogen auf die Hauptebene 1 unverändert genutzt werden, da die Ausrichtungen der x- und y-Achse der 2-D-Sensorebene, auf welche sie sich bezichen, der Ausrichtung der 3-D-Scnsorebene entsprechen und somit auch der Ausrichtung der Hauptebene 1 .
Jede Abbildung der Pupille 806a in einem Kamerabild kann durch zwei verschiedene Ausrichtungen der Pupille entstehen. Bei der Auswertung der Pupillenform ergeben sich daher, wie Fig. He zeigt, aus den Ergebnissen jeder Kamera zwei virtuelle Schnittpunkte vS der zwei möglichen Blickgeraden mit der virtuellen Hauptebene 1 . Entsprechend der geometrischen V erhältnisse in Fig. He können die beiden möglichen Blickrichtungen p. , und p. 2 folgendermaßen bestimmt werden.
Der Abstand A zwischen dem bekannten Pupillenmittelpunkt und dem Ellipsenmittelpunkt vE 'MP ist:
A = \vH - P M> P
(A18)
Daraus lässt sich r mit Gleichung AI 9 bestimmen.
(A19)
Die beiden Richtarigsvektoren r~ , sowie Ta , , weiche von vH,> aus auf vSj sowie vS? richtet sind, werden analog zu den Gleichungen
0 0
M Ψ cos(^) - sin( »)
sin(<p) cos(ö) 0 sin( 0)
M Θ 0 1 0
- ύι\(θ) 0 cos(ß)
Μβ - Μ · ΜΚ
aus VKQ, vK< , vK und vEV berechnet:
(A20)
[i ,o,o
(A21 )
Anschließend können die beiden virtuellen Schnittpunkte vS/ sowie S? und daraus die möglichen Blickrichtungen p. , sowie t. , ermittelt werden. vS, = vH, + r■ r-
(A22) vS , = vH , + r · rs
(A23)
vS^ Ph
(A24) vS, - P,
vS2 - P,
(A25) Um die tatsächliche Blickrichtung zu bestimmen, werden die möglichen Blickrichtungen der Kamera 1 (p^ sowk ) umi der Kamera 2 (j ^ sowie h Kf) benötigt. Von diesen vier Vektoren gibt jeweils einer von jeder Kamera die tatsächliche Blickrichtung an, wobei diese beiden normierten Vektoren im Idealfall identisch sind. Um sie zu identifizieren, werden für alle vier möglichen Kombinationen aus einem Vektor der einen Kamera und einem Vektor der anderen Kamera die Differenzen der jeweils ausgewählten mögliehen Blickrichtungsvektoren gebildet. Die Kombination, bei welcher sich die geringste Differenz ergibt, enthält die gesuchten Vektoren. Diese ergeben gemitte.lt den zu bestimmenden Blickriclitungsvektor P , Bei Mittelung muss von einer nahezu zeitgleichen Bildaufnahme ausgegangen werden., damit von beiden Kameras die gleiche Pupillenlage sowie die gleiche -ausrichtung und somit die gleiche Blicklichtung erfasst wurde,
Als Maß für die Genauigkeit des berechneten Blickrichtungsvektor kann zusätzlich der Winkel wdijj zwischen den beiden gemittelten Vektoren PK I und ° , welche die tatsächliche Blickrichtung angeben, berechnet werden. Je geringer M>dijf ist, desto genauer waren die Modellparameter und Ellipsenmittelpunkte, welche für die bisherigen Berechnungen genutzt wurden.
(A26)
Die Blickwinkel 9Bw und fair gegenüber der Normallage der Pupille ( P~ liegt paraiiel zur z-Achse des Eyetracker- oordinatensystems) können mit den Gleichungen
Βιν = und
berechnet werden.
Falls eine systematische Abweichung der Blickrichtung von der optischen. Achse des Auges bzw. von der PupiUennormale berücksichtigt werden soll, können die entsprechenden Winkel zu den ermittelten Blickwinkeln 0BW und ΨΒ hinzuaddiert werden. Der neue Blickriclitungsvektor muss dann mittels Gleichung aus den neuen Blickwinkeln BBW und ψβιν' und 5 = [0,0, l}r berechnet werden.
Mit dem Blickrichtungsvektor Ρ ist (neben dem Pupillemittelpunkt PMP aus Gleichung
A6) auch der zweite Parameter der vom 3D-Bildanalysator zu bestimmenden Blickgeraden (LoS) bekannt. Diese ergibt sich entsprechend folgender Gleichung LoS t) = PMP + l - P„- .
Die Implementierung des oben vorgestellten Verfahrens ist plattformunabhängig, so dass das oben vorgestellte Verfahren auf verschiedenen Hardwareplattformen, wie z.B. einem PC ausgeführt werden kann.
Entwicklung eines Verfahrens zur Überarbeitung des Verfahrens Merkmal sextraktion
Das Ziel der vorliegenden nachfolgenden Ausführungen ist es, auf Basis der parallelen Hough-Transformation und ein robustes Verfahren zur Merkmalsextraktion zu entwickeln. Dazu wird der Houghcore überarbeitet und ein Verfahren zur Merkmalsextraktion vorgestellt, das die Ergebnisse der Transformation reduziert und auf wenige„Merkmalsvektoren" pro Bild herunterbricht. Anschließend wird das neu entwickelte Verfahren in einer Matlab- Toolbox implementiert und getestet. Es wird schließlich eine FPGA- Implementierung des neuen Verfahrens vorgestellt.
Parallele Hough-Transformation für Geraden und Kreise
Die parallele Hough-Transformation nutzt Houghcores unterschiedlicher Größe, die mit Hilfe von Konfigurationsmatrizen für den jeweiligen Anwendungsfall konfiguriert werden müssen. Die mathematischen Zusammenhänge und Verfahren zur Erstellung solcher Konfigurationsmatrizen sind nachfolgend dargestellt. Das Matlab-Skript alc config lines curvatures.m greift auf diese Verfahren zurück und erstellt Konfigurationsmatrizen für Geraden und Halbkreise in verschiedenen Größen. Zur Erstellung der Konfigiirationsmatrizen ist es zunächst erforderlich Kurvenscharen in diskreter Darstellung und für unterschiedliche Houghcore-Größen zu berechnen. Die Anforderungen (Bildungsvorschriften) an die Kurvenscharen wurden bereits aufgezeigt. Unter Berücksichtigung dieser Bildungsvorschriflen sind insbesondere Geraden und Halbkreise zur Konfiguration der Houghcores geeignet. Für die Blickrichtungsbestimmung werden
Houghcores mit Konfigurationen für Halbkreise (bzw, Krümmungen) eingesetzt. Aus Gründen der Vollständigkeit werden hier auch die Konfigurationen für Geraden (bzw. Ge- radenabschnilte) hergeleitet. Die mathematischen Zusammenhänge zur Bestimmung der Kurvenscharen für Geraden sind veranschaulicht.
Ausgangspunkt für die Berechnung der Kurvenscharen für Geraden b ldet die lineare Geradengleichung in (B l ). y = m■ x + n
Die Kurvenscharen können durch Variation des Anstiegs m generiert werden. Dazu wird die Geradensteigung von 0° bis 45° in gleichgroße Intervalle zerlegt. Die Anzahl der Intervalle ist von der Houghcore-Größe abhängig und entspricht der Anzahl an Houghcore-
Zeiien. Der Anstieg kann über die Laufvariable Ycore von 0 bis corehejgl durchgestimmt werden.
(B2)
Die Funktionswerte der Kurvenscharen errechnen sich durch Variation der Laufvariablen (in (B3) durch xcorc ersetzt), deren Werte von 0 bis core width laufen.
1
J ¥ " e.orc ^ '' core
coreheie!
(B3)
Für eine diskrete Darstellung im 2D-Plot müssen die Funktionswertc auf ganze Zahlen gerundet werden. Die Berechnung der Kurvenscharen für Halbkreise orientiert sich an (Katzmann 2005, S. 37-38) und ist in Fig. 9b veranschaulicht.
Ausgangspunkt für die Berechnung der Kurvenscharen ist die Kreisgleichung in Koordinatenform, r2 = (x ^ XMf + y - yM f (B4)
Mit xM = 0 (Lage des Kre i sm i ttel p unkte s auf der y-Achse), x = xcore und umstellen nach y folgt für die Funktionswerte der Kurvenscharen (B5).
(B5)
Da und r nicht bekannt sind, müssen sie ersetzt werden. Dazu können die mathematischen
Zusammenhänge in (B6) und (B7) aus Fig. 9b hergeleitet werden. yM= h - r
(B6)
(B7)
Durch Umstellen von (B7) nach yM und der Bedingung das y immer negativ sein muss (s, Fig. 9b) erhält man (B8).
(B8)
Einsetzen von (B8) in (B5) fuhrt zu (B9).
(B9)
Aus Fig. 9b wird deutlich, dass der Houghcore mittenzentriert in der y-Achse des Kreiskoordinatensystems liegt. Die Variable xcore läuft normalerweise von 0 bis cofewjil!sj - 1 und muss somit um - ·- korrigiert werden.
(B O)
Es fehlt noch der Radius, den man durch einsetzen von (B6) in (B7) und durch weitere Umformungen erhält.
(A - r)' +
(Bl l)
(B 12)
(B 13) core hcighl
Zum Erzeugen der Kurvenscharen muss schließlich die Variable h von 0 bis
variiert werden. Dies geschieht über die Laufvariable ycore die von 0 bis core, h
r =
(B14)
Wie bereits bei den Geraden müssen die y-Werte für eine diskrete Darstellung im 2D-Plot gerundet werden. Die Kurvenscharen für Houghcores vom Typ 2 können ganz einfach über Gleichung (B 15) ermittelt werden. y 2 =coreheifil - y.
(B15)
Ausgehend von den Kurvenschareii können für alle Houghcore-Größen jeweils zwei Konfigurationen (Typ 1 und für Geraden und Kreise ermittelt werden. Die Konfigurati- onen werden dabei direkt aus den Kurvenscharen bestimmt, vgl (Katzmann 2005. S. 35- 36). Konfi gurationsmatrizen können entweder mit Nullen oder mit Einsen besetzt sein. Eine Eins steht dabei für ein genutztes Delayelement im Houghcore. Zunächst wird die Konfigurationsmatrix in den Dimensionen des Houghcores mit Nullwerten initialisiert. Danach werden folgende Schritte durchlaufen:
1 . Beginne mit der ersten Kurve der Kurvenschar und prüfe den y- ert der ersten x- Indexnummer. Ist der y-Wert größer als Null, dann besetze in der gleichen Zeile
(gleicher y-Index) an genau derselben Stelle (gleicher x-Index) das Element der Konfigurationsmatrix mit Eins.
2. Modifiziere die y-Werte mit gleichem x-lndex über alle Kurven der Kurvenschar.
Wurde im ersten Schritt das Element mit Eins besetzt, dann ziehe von allen y- Werten Eins ab. Wurde im ersten Schritt das Element nicht besetzt, dann tue nichts. 3. Durchlaufe Schritt 1 und 2 so lange, bis alle Elemente der Konfigurationsmatrix angesprochen wurden.
Die Konfigurationsprozedur ist in Fig. 9c schrittweise veranschaulicht. Abschließend möchte ich auf ein paar Eigenheiten der Houghcore-Konfigurationen eingehen. Die Konfigurationen für Geraden repräsentieren immer nur Geradenabschnitte in Abhängigkeit der Breite des Houghcores. Längere Geradenabschnitte im binären Kantenbild müssen gegebenenfalls aus mehreren delektierten Geradenabschnitten zusammengesetzt werden. Die Auflösung der Winkel (bzw. Steigung) der Geradenabschnitte ist von der Hö- he des Houghcores abhängig.
Die Konfigurationen für Kreise repräsentieren immer Kreisbögen um den Scheitelpunkt des Halbkreises herum. Nur die größte y-lndexn mmer der Kurvenschar (kleinster Radius) repräsentiert einen vollständigen Halbkreis. Die entwickelten Konfigurationen können für den neuen Houghcore genutzt werden.
Überarbeitung des Houghcores
Ein entscheidender Nachteil der FPGA-Implernentierung von Holland-Neil ist die starre Konfiguration der Houghcores. Die Delavlines müssen, vor der Synthese parametrisiert werden und sind danach fest in den Hardwarestrukturen abgelegt (Holland-Neil, S. 48-49). Änderungen während der Laufzeit (z. B. Houghcore-Größe) sind nicht mehr möglich. Das neue Verfahren soll an dieser Stelle flexibler werden. Der neue Houghcore soll sich auch während der Laufzeit im FPGA vollständig neu konfigurieren lassen. Das hat mehrere Vorteile. Zum einen müssen nicht zwei Houghcores (Typ 1 und Typ 2) parallel abgelegt werden und zum anderen können auch unterschiedliche Konfigurationen für Geraden und Halbkreise genutzt werden, Darüber hinaus lässt sich die Houghcore-Größe flexibel wäh- rend der Laufzeit ändern.
Bisherige Hou gh c ore -S truktur bestehen aus einem Delay und einem Bypass und es wird vor der FPGA-Synthese festgelegt welcher Pfad genutzt werden soll. Im Folgenden wird diese Struktur um einen Multip] ex er, ein weiteres Register zur Konfiguration des Delay- elements (Schalten des Multiplexers) und ein Pipelinedelay erweitert. Die Konfigurations- register können während der Laufzeit modifiziert werden. Auf diese Weise können unterschiedliche Konfigurationsmatrizen in den Hougheore eingespielt werden. Durch setzten der Pipelinedelays hat das Synthesetool im FPGA mehr Freiheiten bei der Implementierung des Houghcore-Designs und es können höhere Taktraten erzielt werden. Pipe- linedelays durchbrechen zeitkritische Pfade innerhalb der FPGA -Strukturen . In Fig. 9d ist das neue Design der Delayelemente veranschaulicht.
Im Vergleich zur bisherigen Umsetzung nach Katzmann und Holland-Neil sind die Delayelemente des neuen Houghcores etwas komplexer aufgebaut. Zur flexiblen Konfiguration des Delayelements wird ein zusätzliches Register benötigt und der Multiplexer belegt weitere Logikressourcen (muss im FPGA in einer LUT implementiert werden). Das Pipelinedelay ist optional. Neben der Überarbeitung der Delayelemente wurden auch Modifikationen am Design des Houghcores vorgenommen, Der neue Hougheore ist in Fig. 9e veranschaulicht,
Im Unterschied zum bisherigen Hougheore soll zunächst eine neue Notation eingeführt werden. Aufgrund des um 90° rotierten Designs in Fig. 9e werden die ursprünglich als „Zeilensummen" bezeichneten Signale des Ausgangshistogramms ab sofort„Spaltensummen" genannt. Jede Spalte des Houghcores steht somit für eine Kurve der Kurvenschar. Der neue Hougheore kann außerdem während der Laufzeit mit neuen Konfigurationsmatrizen beaufschlagt werden. Die Konfigurationsmatrizen sind im FPGA-internen BRAM. abgelegt und werden von einer Konfigurationslogik geladen. Diese lädt die Konfigurationen als spaltenweisen Bitstring in die verketteten Konfigurationsregister (s. Fig. 9d). Die Rekonfiguration des Houghcores benötigt eine gewisse Zeit und ist von der Länge der Spalten (bzw. der Anzahl der Delaylines) abhängig. Dabei benötigt jedes Spaltenelement einen Taktzyklus und es kommt eine Latenz von wenigen Taktzyklcn durch den BRAM und die Konfigurationslogik hinzu. Die Gesamtlatenz zur Rekonfiguration ist zwar nachteilig, kann jedoch für die videobasierte Bildverarbeitung in Kauf genommen werden, im Normalfall haben die mit einem CMOS-Sensor aufgezeichneten Videodatenströme ein horizontales und vertikales Blanking, Die Rekonfiguration kann somit problemlos in der horizontalen Blankingzeit stattfinden. Die Größe der im FPGA implementierten Houghcore-Struktur gibt auch die maximal mögliche Größe für Houghcore-Konfigurationen vor. Werden kleine Konfigurationen genutzt sind diese vertikal zentriert und in horizontaler Richtung an Spalte 1 der Houghcore-Struktur ausgerichtet (s. Fig. 91). icht genutzte Elemente der Houghcore-Struktur werden allesamt mit Delays besetzt. Die korrekte Ausrichtung kleinerer Konfigurationen ist für die Korrektur der x- Koordinaten (s. Formeln (B l 7) bis (B 1 9)) wichtig.
Der Houghcore wird wie bisher mit einem binären Kantenbild gespeist, das die konfigurierten Delaylines durchläuft. Mit jedem Verarbeitungsschritt werden die Spaltensummen über den gesamten Houghcore berechnet und jeweils mit dem Summensignal der vorhergehenden Spalte verglichen. Liefert eine Spalte einen höheren Summen wert, wird der Summenwert der ursprünglichen Spalte überschrieben. Als Ausgangssignai liefert der neue Houghcore einen Spaltensummenwert und die dazugehörige Spaltennummer. Auf Basis dieser Werte kann später eine Aussage darüber getroffen werden, weiche Struktur gefunden wurde (repräsentiert durch die Spaltennummer) und mit welcher Auftrittswahrscheinlichkeit diese detektiert wurde (repräsentiert durch den Summen wert). Das Ausgangssignal des Houghcores kann auch als Houghraum oder Akkumulatorraum bezeichnet werden. Im Gegensatz zur herkömmlichen Hough-Transformation liegt der Houghraum der parallelen Hough-Transformation im Bildkoordinatensystem vor. Das heißt, dass zu jeder Bi ldkoordinate ein Summenwert mit dazugehöriger Spaltennummer ausgegeben wird. Zur vollständigen Transformation des Ausgangsbildes muss jeweils ein Floughcore vom Typ 1 und Typ 2 vom nicht rotierten und rotierten Bild durchlaufen werden. Damit liegen nach der Transformation nicht nur Spaltensumme mit dazugehöriger Spaltennumme , sondern auch der Houghcore-Typ und die Ausrichtung des Ausgangsbildes (nicht rotiert oder rotiert) vor. Darüber hinaus können verschiedene Houghcore-Größen und Konfigurationen jeweils für Geraden und Halbkreise genutzt werden. Damit kann neben den genannten Ergebnissen noch der Kurventyp und die Houghcore-Größe angegeben werden. Zusammenfassend ist ein Ergebnisdatensatz des neuen Houghcores in nachfolgender Tabelle dargestellt. Bei der parallelen Hough-Transformation entsteht für jeden Bildpunkt des Ausgangsbildes ein solcher Datensatz.
Besehreibung
x-Koordinate ! Wird entsprechend der Länge der Houghcore-Struktur verzö i eert. Eine aenaue Korrektur der x-Koordinate kann erfolgen i y-Koordinate Wird entsprechend der Höhe der _Houghcore- Struktur mit
Übersicht des Ergebnisdatensatzes der für jeden Bildpunkt des Ausgangsbildes bei der parallelen Hough-Transformation mit überarbeiteter Houghcore-Struktur entsteht. Im Gegensatz zum. binären und schwellwertbasierten Ausgang des Houghcores von Katzmann und Holland-Neil erzeugt die neue Houghcore-Struktur deutlich mehr Ausgangsdaten. Da solch eine Datenmenge nur schwer zu handhaben ist, wird ein Verfahren zur Merkmalsextraktion vorgestellt, das die Ergebnisdatenmenge deutlich verringert. Typ 2 Houghcore und Bildrotation
Bei den Ausführungen zur parallelen Hough-Transformation wurde bereits die Notwendigkeit der Bildrotation und die Eigenheiten des Typ 2 Houghcores angeschnitten. Bei der parallelen Hough-Transformation muss das Ausgaiigsbild den Houghcore viermal durch- laufen. Das ist notwendig, damit Geraden und Halbkreise in unterschiedlichen Winkellagen detektiert werden können. Arbeitet man nur mit einem Typ 1 Houghcore, müsstc man das Bild in Ausgangslage und rotiert um 90°, 1 80° und 270° verarbeiten. Durch Hinzunahme des Typ 2 Houghcores entfallen die Rotation um 180° und 270°. Wird das nicht rotierte Ausgangsbild mit einem Typ 2 Houghcore verarbeitet entspricht das einer Verar- beitung des um 180° rotierten Ausgangsbildes mit einem Typ 1 Houghcorc. Ähnlich verhält es sich mit der Rotation um 270°. Diese kann durch Verarbeitung des um 90° rotierten Bildes mit einem Typ 2 Houghcore ersetzt werden. Für eine FPGA-Umsetzung wirkt sich der Wegfall zusätzlicher Rotationen positiv aus, da Bildrotationen im Normalfall nur mit Hilfe eines externen Speichers gelöst werden können. Je nach eingesetzter Hardware steht nur eine gewisse Bandbreite (maximal mögliche Datenrate) zwischen FPGA und Speicherbaustein zur Verfügung. Bei Verwendung eines Typ 2 Houghcores wird die Bandbreite des externen Speicherbausteins nur mit einer Rotation um 90° belegt. Bei der bisherigen Implementierung von Holland-Neil war es erforderlich einen Houghcore vom Typ 1 und ei- nen Floughcore vom Typ 2 im FPGA abzulegen. Mit dem überarbeiteten Houghcore- Design ist es nun auch möglich die Houghcore- Struktur einmal im FPGA abzulegen und Konfigurationen vom Typ I oder Typ 2 zu laden. Durch diese neue Funktionalität kann mit nur einem Houghcore und bei nur einer Bildrotation das Ausgangsbild vollständig transformiert werden.
Es bleibt zu berücksichtigen, dass bei der Verarbeitung mit nur einem Houghcore auch die vierfache Datenrate im Houghcore anfällt. Bei einem Videodatenstrom mit öOfps und VGA-Auflösung beträgt die Pixeldatenrate 24Mhz. In diesem Fall müsste der Houghcore mit 96Mhz betrieben werden, was für einen FPGA der Spartan 3 Generation bereits eine hohe Taktrate darstellt. Zur Optimierung des Designs sollte verstärkt mit Pipelinedelays innerhalb der Floughcorc-Struktur gearbeitet werden.
Merkmal sextraktion
Die Merkmalsextraktion arbeitet auf den Datensätzen aus vorheriger Tabelle. Diese Datensätze können in einem Merkmalsvektor (B ! 6) zu sammenge fasst werden. Der Merkmalsvektor kann im Folgenden auch als Hough-Feature bezeichnet werden.
MV=iMVx, MVY VQ, MV KS, MVN> MVc.i, MVA]
(B 16)
Ein Merkmalsvektor besteht jeweils aus x- und y-Koordinate für das gefundene Feature (MVX und MVy), der Orientierung MVo, der Krümmungsstärke MV/cs, der Häufigkeit MVH, der Houghcore-Größe MVQ.I und die Art der gefundenen Struktur MVA. Die detaillierte Bedeutung und der Wertebereich der einzelnen Elemente des Merkmaisvektors kann nachfolgender Tabelle entnommen werden.
MVx und MVy \ Beide Koordinaten laufen jeweils jijs zur Größe des Ausgangsbildes
Elemente des Houg -Merkmalsvektors, deren Bedeutung und Wertebereich»
Berechnung der Orientierung in Abhängigkeit der Bildrotation und des zur Transformation genutzten Houghcore-Typs.
Aus obigen Tabellen wird ersichtlich, dass die beiden Elemente MV0 und M'VKS bei Geraden und Halbkreisen unterschiedliche Bedeutungen haben. Bei Geraden bildet die Kombination, aus Orientierung und Krümmungsstärke den Lagewinkel des detektierten Geraden- abschniltes im Winke! von 0° bis 180°. Dabei adressiert die Orientierung einen Winkelbereich und die Krümmungsstärke steht für einen konkreten Winkel innerhalb dieses Bereiches. Je größer der Houghcore (genauer je mehr 11 o ugheo re- S pal te n vorhanden sind), desto feiner ist die Winkelauflösung. Bei Halbkreisen steht die Orientierung für den Lagewinkel bzw. die Ausrichtung des Halbkreises. Halbkreise können prinzipbedingt nur in vier Ausrichtungen detektieri werden. Die Krümmungsstärke steht bei Halbkreiskonfigurationen für den Radius.
Neben der Orientierung MV0 und der Krümmungsstärke MVKS ist bei den Koordinaten
(MVx und MVy) eine weitere Besonderheit zu beachten (s. Fig. 9g). Bei Geraden sollen die Koordinaten immer den Mittelpunkt und bei Halbkreisen bzw. Krümmungen immer den Scheitelpunkt repräsentieren. Mit dieser Vorgabe kann die y-Koordinate entsprechend der implementierten Houghcore-Struktur korrigiert werden und ist unabhängig von der Größe der zur Transformation genutzten Konfiguration (s. Fig. 9f). Ähnlich einem lokalen Filter wird die y- Koordinate vertikal zentriert angegeben. Für die x-Koordinate wird ein Zusammenhang über die Houghcore-Spalte hergestellt, die den Treffer geliefert hat (im Merkmalsvektor ist die Houghcore-Spalte unter der Bezeichnung MVKS abgelegt), in Abhängigkeit des Houghcore-Typs und der Bildrotation körmen Berechnungsvorschriften für drei verschiedene Fälle angegeben werden. Für einen Houghcore vom Typ I wird jeweils für das nichtrotierte und das rotierte Ausgangsbild auf Formel (B 1 7) zurückgegriffen. Liegt ein Houghcore vom Typ 2 vor muss in Abhängigkeit der Bildrotation auf Formel (B 18) bzw. Formel (B 1 ) zurückgegriffen werden.
MVr = MVX + floor
(B 1 7)
MV. = Bildbreite MV + floor
(B 1 8)
MV. = BiMhmüe, .,.,„„ - j MV t
(B 1 )
Mit der Anweisung floor wird die gebrochen rationale Zahl abgerundet, im FPGA entspricht das dem einfachen Absehneiden der binären Nac hkommastell en . Nachdem die Orientierung bestimmt und die Koordinaten des Hough-Features korrigiert wurden, kann die eigentliche Merkmalsextraktion erfolgen. Zur Merkmalsextraktion werden drei Schwellwerte in Kombination mit einem non- maximumsuppression Operator genutzt. Der non-maximum-suppression Operator unterscheidet sich bei Geraden und Halbkreisen. Über die Schwellwerte wird eine minimale MVk:s und maximale Krümmungsstärke MVK vorgegeben und eine minimale Häufigkeit MVH ^ festgelegt. Der non-maximum-suppression Operator kann als lokaler Operator der Größe 3x3 betrachtet werden (s. Fig. 9h). Ein gültiges Merkmal für Halbkreise (bzw. Krümmungen) entsteht immer genau dann, wenn die Bedingung des nms-Operators in (B23) erfüllt ist und die Schwellwerte gemäß Formeln (B20) bis (B22) überschritten werden.
(B20)
MV* , > MVK.
(B21 )
MV' > MV,
(B22)
MV" A MV" ^ M " MV" MV" MV" MV" MV" MV,
(B23)
Durch die non-maximum-suppression werden Hough-Features unterdrückt, die keine lokalen Maxim a im Häufigkeitsraum der Merkmalsvektoren darstellen. Auf diese Weise werden Hough- Features unterdrückt, die keinen Beitrag zur gesuchten Struktur liefern und für die Nach Verarbeitung irrelevant sind. Die Merkmalsextraktion wi d nur noch über drei Schwellen parametrisiert, die im Vorfeld sinnvoll eingestellt werden können. Eine detaillierte Erläuterung der Schwellwerte ist nachfolgender Tabelle zu entnehmen.
Schwcllwert Schreibung j Vergleichbarer Parameter des Verfahrens nach Katzrnann
MV, Schwellwert für eine minimale Häufigkeit, also einen Spalten- Hough-Thres summenwert, der nicht unterschritten werden darf.
MVK Schwellwert für eine m in imale Krümmung des Hough-Features. ! Bottom-Line
Bei Houghcores m it Gerad en ko n fi g u rat i o rt bezieht sich die
I Schwelle auf den vom Hougheore delektierten Winkelbereich. MV K, S, Verhält sich wie MV KS nur für eine maximale Krümmung, Top-Line
Detaillierte Beschreibung der drei Scrr ellwcTte zur Extraktion von Hough- Features aus dem tloughraum. Im Vergleich zum Verfahren nach Katzmann sind Parameter mit ähnlicher Funktion angegeben. Für Geraden kann ebenfalls ein non-maximum-suppression Operator der Größe 3x3 (s. Fig. 9h) hergeleitet werden. Dabei sind einige Besonderheiten zu beachten. Anders als bei den Krümmungen werden die gesuchten Strukturen bei den Geradenabschnitten nicht auf ein entstehen fortlaufend mehrere axima entlang des binären Kantenveriaufes. Die non- maximumsuppression kann somit an das Verfahren im Canny- Kantendetektionsalgorithmus angelehnt werden. Je nach Houghcore-Typ und detektiertem Winkelbereich können drei Fälle unterschieden werden (s. Fig. 91 in Kombination mit obiger Tabelle). Die Fallunterscheidivng gilt sowohl für rotierte als auch nicht rotierte Aus- gangsbiider, da die Rücktransformation rotierter Koordinaten erst nach der non-maximum- suppression erfolgt. Welcher nms-Operator zu verwenden ist hängt neben dem Houghcore- Typ auch vom Winkelbereich ab. Der Winkelbereich, den ein Floughcore mit Konfigurationen für Geraden liefert wird durch die Winkelbereichshalbierende geteilt. Die Winkelbereichshalbierende kann als Houghcore-Spaite (dezimal gebrochen) angegeben werden ( MVKSI IH ). Den mathematischen Zusammenhang in Abhängigkeit der Houghcore-Größe beschreibt Formel (B24). In welchem Winkelbereich das Flough-Fcature liegt richtet sich nach der Houghcore-Spaite, die den Treffer geliefert hat (MVKS), welche direkt mit der Winkelbereichshalbierenden Houghcore-Spaite verglichen werden kann.
(B24)
Hat man sich für einen Operator entschieden kann ähnlich der non-maximum-suppression für Krümmungen die Bedingung über den jeweiligen nms-Oprator abgefragt werden (Formeln (B25) bis (B27)). Sind alle Bedingungen erfüllt und werden zusätzlich die Schwel 1- werte gemäß den Formeln (B20) bis (B22) überschritten, kann das Hough-Feature an Position »w.5'2.2 übernommen werden.
Houghcore-Typ [ Winkelbereich nms-Operator Bedingung
Bereich l a A MFK < MVK;
Bereich ί b 7 MV KS > MV . Bereich 2a 2 A 1 VKS <
Bereich 2b 2 B 3 MVKS >
Entscheidung für einen nms-Operator in Abhängigkeit des Houghcorc-Typs und des Winkelbereichs, in dem. der Treffer aufgetreten ist.
(B27)
Den Abschluss der Merkmalsextraktion bildet die Rückrotation der x- und y-Koordinaten notierter Hough-Features, Für die Nachverarbeitung sollten diese wieder im Bildkoordinatensystem vorliegen. Die Rücktramformation ist unabhängig vom Kurventyp (egal ob Geraden oder Krümmungen) immer dann auszuführen, wenn das rotierte Ausgangsbild verarbeitet wird, In den Formeln (B28) und (B29) ist der mathematische Zusammenhang beschrieben, Mit Bildbreite ist die Breite des nicht rotierten Ausgangsbildes gemeint.
(B28)
MVX = Bildbreite - MV ym
(B29)
Mit Hüte der Merkmalsextraktion ist es möglich die Ergebnisdaten der parallelen Hough- Transformation bis au f wenige Punkte zu reduzieren. Diese können dann als Merkmalsvektor an die Nachverarbeitung übergeben werden.
Die oben beschriebenen Ausführungsbeispieie stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispieie hierin präsentiert wurden, beschränkt sei.

Claims

P at ersten Sprüche
2D-Bildanalysator (700), mit folgenden Merkmalen: einen Bildskalierer (702), der ausgebildet ist, um ein Bild (710) zu empfangen, das ein gesuchtes Muster (711) aufweist, und um das empfangene Bild (710) gemäß einem Skalierungsfaktor zu skalieren: einen Bildgenerator (704), der ausgebildet ist, um ein Übersichtsbild (712) zu erzeugen, das eine Mehrzahl von Kopien des empfangenen und skalierten Bildes (710' -710" "" ' ") aufweist, wobei jede Kopie um einen unterschiedlichen Skalierungsfaktor skaliert ist; und einen Musterfinder (706), der ausgebildet ist, um ein vorbestimmtes Muster mit der Mehrzahl von empfangenen oder skalierten Bildern (710' -710" " " " ') innerhalb des Übersichtsbildes (712) zu vergleichen, und um eine Information hinsichtlich einer Position auszugeben, bei der eine Übereinstimmung zwischen dem gesuchten Muster und dem vorbestimmten Muster maximal ist, wobei sich die Position auf eine jeweilige Kopie des empfangenen und skalierten Bildes (710'-710" "" "') bezieht,
2D-Bildanalysator (700) gemäß Anspruch 1 , wobei jedes skalierte Bild (710) gemäß dem jeweiligen Skalierungsfaktor einer jeweiligen Position in dem Übersichtsbild (712) zugeordnet ist.
2D-Bildanalysator (700) gemäß Ansprach 1 oder 2, wobei die jeweilige Position durch einen Algorithmus berechenbar ist, der eine Beabstandung zwischen den skalierten Bildern (710^710" " " " ') in dem Übersichtsbild (712), eine Beabstandung der skalierten Bilder (710'-710" "" " ') zu einer oder mehreren der Grenzen des Ubersichtsbildes (712) und/oder andere vordefinierte Bedingungen berücksichtigt.
2D-Bildanalysator (700) gemäß einem der Ansprüche 1 bis 3. bei dem der Muster- f Inder (706) einen Merkmalstransfb rmator zum Transformieren von ein oder mehreren Merkmalen und einen Klassifizierer aufweist, der ausgebildet ist, um Muster in dem Ubersichtsbild (712) zu klassifizieren oder um Muster in dem Übersieht«- bild (712), welches mittels des Merkmalsttansformators in einen Merkmalsraum überführt ist, zu klassifizieren.
5. 2D-Bildanalysator (700) gemäß Anspruch 4, bei dem der Merkmalstransformator ausgebildet ist, um Merkmale zu extrahieren, wobei die Merkmalstransformation auf einem Hough-Algorithmus, Census-Algorithmus, Gradienten-Algorithmus, I ii s- togramm-basierten Algorithmus und/oder orreiations-basierten Algorithmus basiert.
6. 2D-Bildanalysator (700) gemäß Anspruch 4 oder 5, wobei der Klassifizierer ausgebildet ist, um die Klassifizierung basierend auf einer Census-transformierten Version des Übersichtsbildes (712) oder auf Basis einer in einen Merkmalsraum überführten Version des Übersichtsbildes (712) oder auf Basis einer in ein Gradientenbild überführten Version des Übersichtsbildes (712) durchzuführen.
7. 2D-Bildanalysator (700) gemäß Anspruch 6, wobei der Musterfinder (706) ausgebildet ist, um ein oder mehrere lokale Maxima in der Census- t ansfo mi erten Version des Über-sichtsbildes oder in der in den Merkmalsraum überführten Version des Übersichtsbildes (712) oder in der in das Gradientenbild überführten Version des Übersichtsbildes (712) zu identifizieren, wobei eine Position eines lokalen Maximums die Position des identifizierten vorbestimmten Musters in der jeweiligen Kopie des empfangenen und skalierten Bildes (710' -710" " "' ") anzeigt.
8. 2D-BiIdanalysator (700) gemäß Anspruch 6 oder 7, wobei der Musterfmder (706) ein Summen-Alter und/ oder ein Maximalfilter aufweist, der zum Glätten der Position des identifizierten vorbestimmten Musters in den jeweiligen Kopien des empfangenen und skalierten Bildes (710'-710" " " " ') und/oder zur Glättung und Posi- tionskorrigieren der lokalen Maxima in dem klassifizierten Übersichtsbild (702) ausgebildet ist.
9. 2D-Bildanalysator (700) gemäß einem, der Ansprüche 4 bis 8, wobei der Musterfmder (706) die Merkmalstransformation und Klassifizierung für jedes empfangene und skalierte Bild (710'-710" " " " ') durchführt, um die Position des lokalen Maximums, die die Position des identifizierten vorbestimmten Musters in der jeweiligen Kopie des empfangenen und skalierten Bildes (710'-710" " " " ') anzeigt, auf Basis einer Mittel wertbildung zu ermitteln.
10. 2D-Bildanalysator (700) gemäß einem der Anspräche 4 bis 9, wobei sich die Position des identifizierten vorbestimmten Musters auf einen Referenzpunkt eines Gesichts, eines Auges oder allgemein auf das gesuchte Objekt bezieht,
1 1 . 2D-Bildanalysator (700) gemäß einem der Ansprüche 1 bis 10, wobei der 2D- Bildanaiysator (700) in einem eingebetteten Prozessor, einem programmierbaren
Logik-hauelement oder völlig kundenspezifischen Chips implementiert ist.
12. 2D-BiIdanalysator (700) gemäß einem der Ansprüche 1 bis 1 1 , wobei der 21)- Bildanalysator (700) mit einer Verarbeitungseinheit verbunden ist, die einen Selek- tiv-adaptiven Datenprozessor aufweist, das ausgebildet ist, um mehrere Sätze von Werten zu empfangen, wobei jeder Satz einem jeweiligen Sample zugewiesen ist, und das einen Filterprozessor umfasst, wobei der Filterprozessor ausgebildet ist. um basierend auf den empfangenen Sätzen plausible Sätze auszugeben, und so dass ein unplausibler Satz durch einen plausiblen Satz ersetzt wird.
13. 2D-BiIdanalysator (700) gemäß einem der Ansprüche 1 bis 12, wobei der 2D- Bildanaiysator (700) mit einer Verarbeitungseinheit verbunden ist, die einen D- Bildanalysator (700) aufweist, der ausgebildet ist, um zumindest einen ersten Satz von Bilddaten, der auf Basis eines ersten Bildes ( 10) bestimmt wird, und einen weiteren Satz von Bildinformationen, die auf Basis des ersten Bildes (710) oder eines weiteren Bildes (710) bestimmt wird, zu empfangen, wobei das erste Bild (710) ein Muster eines dreidimensionalen Objekts aus einer ersten Perspektive in eine erste Bildebene abbildet und wobei der weitere Satz eine Relativinformation umfasst, welche eine Relati beziehung zwischen einem Punkt des dreidimensionalen Objekts und der ersten Bildebene beschreibt, wobei der 3D-Bildanalysator folgende Merkmale umfasst; eine Positionsberechnungseinrichtung, die ausgebildet ist, um eine Position des Musters in einem, dreidimensionalen Raum basierend auf dem ersten Satz, einem weiteren Satz, der auf Basis des weiteren Bildes (71 0) bestimmt wird, und einer geometrischen Beziehung zwischen den Perspektiven des ersten und des weiteren Bildes (710) zu berechnen oder um die Position des Musters in dem dreidimensionalen Raum basierend auf dem ersten Satz und einer statistisch ermittelten Bezie- hung zwischen mindestens zwei charakteristischen Merkmalen in dem ersten Bild (71 0) zueinander zu berechnen; und eine Ausrichtungsberechnungseinrichtung, die ausgebildet ist, um zwei mögliche 3 D-Blickvektoren zu berechnen und aus den zwei mögliche 3D-Blickvektoren den
3D-BHckvektor zu ermitteln, gemäß dem das Muster in dem dreidimensionalen Raum ausgerichtet ist, wobei die Berechnung und Ermittlung auf dem ersten Satz, dem weiteren Satz und auf der berechneten Position des Musters basiert.
2D-Bildanalysesystem, das den 2D-Bildanalysator (700) gemäß Anspruch 10 aufweist, wobei der 2D-Bildanalysator (700) mit einem Bildanalysesystem zum Erfassen und/oder Verfolgen einer Pupille verbunden ist, das einen ersten Hough-Pfad für eine erste Kamera und eine Verarbeitungseinheit zum Nachverarbeiten der ersten Hough-Pfad-Ergebnisse aufweist, wobei der erste Hough-Pfad einen Hough-Prozessor mit folgenden Merkmalen um- fasst: einen Pre-Prozessor (102), der ausgebildet ist, um eine Mehrzahl von Samples ( 1 12a, 1 12b, 1 12c) zu empfangen, die jeweils ein Bild (710) umfassen, und um das Bild (710) des jeweiligen Samples (1 12a, 1 12b, 1 12c) zu drehen und/oder zu spiegeln und um eine Mehrzahl von Versionen (1 12a\ 1 12a", 1 12a' " , 1 12a" ") des Bildes (710) des jeweiligen Samples (U2a, 1 12h, 1 12c) für jedes Sample (1 12a, 1 12b, 1 1.2c) auszugeben; und eine Hough-Transformationseinrichtung (104), die ausgebildet ist, um ein vorbestimmtes gesuchtes Muster in der Mehrzahl von Samples (1 12a, 1 12b, 1 12c) auf der Basis der Mehrzahl von Versionen (1 12a' , 1 12a" , 1 12a" ' , 1 12a" ") zu erfassen, wobei eine mit dem gesuchten Muster in Abhängigkeit stehende Charakteristik der Hough-Transformationseinrichtung ( 1 04) anpassbar ist. wobei die Verarbeitungseinheit eine Einrichtung zum Analysieren der erfassten Muster und zum Ausgeben eines Satzes von Geometrieparametern aufweist, der eine Position und/oder eine Geometrie des Musters für jedes Sample beschreibt,
2D-Bildanalysesystcm, das den 2D-Bildanaiysator (700) gemäß Anspruch 10 und eine Aus Wertevorrichtung aufweist, wobei die Auswertevorrichtung ausgebildet ist, um eine ausbleibende Reaktion des Auges zu detektieren. Verfahren zum Analysieren eines 2D-Bi)des (710), mit folgenden Schritten;
Skalieren eines empfangen Bildes (710), das ein gesuchtes Muster aufweist, gemäß einem Skalierungsfaktor;
Erzeugen eines Übersiehtshildes (712), das eine Mehrzahl von Kopien des empfangenen und skalierten Bildes (710'-710"" "" ') aufweist, wobei jede Kopie um einen unterschiedlichen Skalierungsfaktor skaliert ist: und
Vergleichen eines vorbestimmten Muster mit der Mehrzahl von Mustern der Mehrzahl von empfangenen und skalierten Bildern (710'-710" " ""') innerhalb des Übersichtsbilds (712), und Ausgeben einer Information hinsichtlich einer Position auszugeben, bei der eine Übereinstimmung zwischen dem gesuchten Muster und dem vorbestiramten Muster maximal ist, wobei sich die Position auf eine jeweilige Kopie des empfangenen und skalierten Bildes (710'-7104"""") bezieht.
Computerlesbares digitales Speichermedium, auf dem ein Computerprogramm gespeichert ist mit einem Programmcode zum Durchführen, wenn dasselbe auf einem Computer, einem eingebetteten Prozessor, einem programmierbaren Logikbauelement oder einem kundenspezifischen Chip läuft, des Verfahrens gemäß Anspruch 16.
EP15702739.2A 2014-02-04 2015-01-30 2d-bildanalysator Withdrawn EP3103060A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014201997 2014-02-04
PCT/EP2015/052009 WO2015117906A1 (de) 2014-02-04 2015-01-30 2d-bildanalysator

Publications (1)

Publication Number Publication Date
EP3103060A1 true EP3103060A1 (de) 2016-12-14

Family

ID=52434840

Family Applications (4)

Application Number Title Priority Date Filing Date
EP15701822.7A Ceased EP3103058A1 (de) 2014-02-04 2015-01-30 Hough-prozessor
EP15702739.2A Withdrawn EP3103060A1 (de) 2014-02-04 2015-01-30 2d-bildanalysator
EP15701823.5A Withdrawn EP3103059A1 (de) 2014-02-04 2015-01-30 3d-bildanalysator zur blickrichtungsbestimmung
EP21203252.8A Withdrawn EP3968288A2 (de) 2014-02-04 2015-01-30 3d-bildanalysator zur blickrichtungsbestimmung

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP15701822.7A Ceased EP3103058A1 (de) 2014-02-04 2015-01-30 Hough-prozessor

Family Applications After (2)

Application Number Title Priority Date Filing Date
EP15701823.5A Withdrawn EP3103059A1 (de) 2014-02-04 2015-01-30 3d-bildanalysator zur blickrichtungsbestimmung
EP21203252.8A Withdrawn EP3968288A2 (de) 2014-02-04 2015-01-30 3d-bildanalysator zur blickrichtungsbestimmung

Country Status (6)

Country Link
US (3) US10192135B2 (de)
EP (4) EP3103058A1 (de)
JP (3) JP6268303B2 (de)
KR (2) KR101858491B1 (de)
CN (3) CN106258010B (de)
WO (4) WO2015117904A1 (de)

Families Citing this family (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022664A1 (en) 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
WO2013173728A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
JP6268303B2 (ja) * 2014-02-04 2018-01-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ２ｄ画像分析装置
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
US10445573B2 (en) * 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
US10318067B2 (en) * 2014-07-11 2019-06-11 Hewlett-Packard Development Company, L.P. Corner generation in a projector display area
US20180227735A1 (en) * 2014-08-25 2018-08-09 Phyziio, Inc. Proximity-Based Attribution of Rewards
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
KR20160094190A (ko) * 2015-01-30 2016-08-09 한국전자통신연구원 시선 추적 장치 및 방법
JP6444233B2 (ja) * 2015-03-24 2018-12-26 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking
CN105511093B (zh) * 2015-06-18 2018-02-09 广州优视网络科技有限公司 3d成像方法及装置
US9798950B2 (en) * 2015-07-09 2017-10-24 Olympus Corporation Feature amount generation device, feature amount generation method, and non-transitory medium saving program
EP3734661A3 (de) 2015-07-23 2021-03-03 Artilux Inc. Hocheffizienter sensor mit breitem spektrum
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US9954016B2 (en) 2015-08-04 2018-04-24 Artilux Corporation Germanium-silicon light sensing apparatus
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10616149B2 (en) * 2015-08-10 2020-04-07 The Rocket Science Group Llc Optimizing evaluation of effectiveness for multiple versions of electronic messages
CN115824395B (zh) 2015-08-27 2023-08-15 光程研创股份有限公司 宽频谱光学传感器
JP6634765B2 (ja) * 2015-09-30 2020-01-22 株式会社ニデック 眼科装置、および眼科装置制御プログラム
EP3360023A4 (de) * 2015-10-09 2018-10-10 SZ DJI Technology Co., Ltd. Fahrzeugpositionierung auf basis von ausgeprägten merkmalen
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
CN106200905B (zh) * 2016-06-27 2019-03-29 联想(北京)有限公司 信息处理方法及电子设备
JP2019531560A (ja) 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
WO2018016209A1 (ja) * 2016-07-20 2018-01-25 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
GB2552511A (en) * 2016-07-26 2018-01-31 Canon Kk Dynamic parametrization of video content analytics systems
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
WO2018031678A1 (en) 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
JP6587254B2 (ja) * 2016-09-16 2019-10-09 株式会社東海理化電機製作所 輝度制御装置、輝度制御システム及び輝度制御方法
EP3305176A1 (de) * 2016-10-04 2018-04-11 Essilor International Verfahren zur bestimmung eines geometrischen parameters eines auges einer person
US11361003B2 (en) * 2016-10-26 2022-06-14 salesforcecom, inc. Data clustering and visualization with determined group number
CN110178104A (zh) 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
JP7076447B2 (ja) * 2016-11-24 2022-05-27 ユニヴァーシティ オブ ワシントン ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
JP6900609B2 (ja) * 2016-12-06 2021-07-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 広角画像を修正するシステム及び方法
DE102016224886B3 (de) * 2016-12-13 2018-05-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche
US20200125167A1 (en) * 2016-12-30 2020-04-23 Tobii Ab Eye/Gaze Tracking System and Method
US10282592B2 (en) * 2017-01-12 2019-05-07 Icatch Technology Inc. Face detecting method and face detecting system
DE102017103721B4 (de) * 2017-02-23 2022-07-21 Karl Storz Se & Co. Kg Vorrichtung zur Erfassung eines Stereobilds mit einer rotierbaren Blickrichtungseinrichtung
KR101880751B1 (ko) * 2017-03-21 2018-07-20 주식회사 모픽 무안경 입체영상시청을 위해 사용자 단말과 렌티큘러 렌즈 간 정렬 오차를 줄이기 위한 방법 및 이를 수행하는 사용자 단말
JP7003455B2 (ja) * 2017-06-15 2022-01-20 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
US10430695B2 (en) 2017-06-16 2019-10-01 Nauto, Inc. System and method for contextualized vehicle operation determination
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
EP3420887B1 (de) * 2017-06-30 2025-01-29 Essilor International Verfahren zur bestimmung der position des augenrotationszentrums des auges eines patienten und zugehörige vorrichtung
EP3430973B1 (de) * 2017-07-19 2024-11-27 Sony Group Corporation Mobiles system und verfahren
JP2019017800A (ja) * 2017-07-19 2019-02-07 富士通株式会社 コンピュータプログラム、情報処理装置及び情報処理方法
KR101963392B1 (ko) * 2017-08-16 2019-03-28 한국과학기술연구원 무안경식 3차원 영상표시장치의 동적 최대 시역 형성 방법
WO2019039997A1 (en) * 2017-08-25 2019-02-28 Maker Trading Pte Ltd GENERAL SYSTEM FOR MONOCULAR ARTIFICIAL VISION AND METHOD FOR IDENTIFYING LOCATIONS OF TARGET ELEMENTS
US10460458B1 (en) * 2017-09-14 2019-10-29 United States Of America As Represented By The Secretary Of The Air Force Method for registration of partially-overlapped aerial imagery using a reduced search space methodology with hybrid similarity measures
CN107818305B (zh) * 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
EP3486834B1 (de) * 2017-11-16 2025-09-24 Smart Eye AB Detektion einer position eines auges
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
KR102444666B1 (ko) * 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
CN108334810B (zh) * 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
JP7109193B2 (ja) * 2018-01-05 2022-07-29 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法
CN108875526B (zh) * 2018-01-05 2020-12-25 北京旷视科技有限公司 视线检测的方法、装置、系统及计算机存储介质
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
US10706300B2 (en) * 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
CN111868929B (zh) 2018-02-23 2021-08-03 奥特逻科公司 光检测装置及其光检测方法
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
WO2019185150A1 (en) * 2018-03-29 2019-10-03 Tobii Ab Determining a gaze direction using depth information
CN112236686B (zh) 2018-04-08 2022-01-07 奥特逻科公司 光探测装置
CN108667686B (zh) * 2018-04-11 2021-10-22 国电南瑞科技股份有限公司 一种网络报文时延测量的可信度评估方法
WO2019199035A1 (ko) * 2018-04-11 2019-10-17 주식회사 비주얼캠프 시선 추적 시스템 및 방법
KR20190118965A (ko) * 2018-04-11 2019-10-21 주식회사 비주얼캠프 시선 추적 시스템 및 방법
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
CN108876733B (zh) * 2018-05-30 2021-11-09 上海联影医疗科技股份有限公司 一种图像增强方法、装置、设备和存储介质
US10410372B1 (en) * 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
US10803618B2 (en) * 2018-06-28 2020-10-13 Intel Corporation Multiple subject attention tracking
CN109213031A (zh) * 2018-08-13 2019-01-15 祝爱莲 窗体加固控制平台
KR102521408B1 (ko) * 2018-08-27 2023-04-14 삼성전자주식회사 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법
AU2019327554A1 (en) * 2018-08-30 2021-03-18 Splashlight Holding Llc Technologies for enabling analytics of computing events based on augmented canonicalization of classified images
CN109376595B (zh) * 2018-09-14 2023-06-23 杭州宇泛智能科技有限公司 基于人眼注意力的单目rgb摄像头活体检测方法及系统
JP7099925B2 (ja) * 2018-09-27 2022-07-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6934001B2 (ja) * 2018-09-27 2021-09-08 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN110966923B (zh) * 2018-09-29 2021-08-31 深圳市掌网科技股份有限公司 室内三维扫描与危险排除系统
US11144779B2 (en) * 2018-10-16 2021-10-12 International Business Machines Corporation Real-time micro air-quality indexing
CN109492120B (zh) * 2018-10-31 2020-07-03 四川大学 模型训练方法、检索方法、装置、电子设备及存储介质
JP7001042B2 (ja) * 2018-11-08 2022-01-19 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム
JP7057483B2 (ja) * 2018-12-14 2022-04-20 株式会社Ｊｖｃケンウッド 評価装置、評価方法、及び評価プログラム
CN111479104A (zh) * 2018-12-21 2020-07-31 托比股份公司 用于计算视线会聚距离的方法
US11113842B2 (en) * 2018-12-24 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus with gaze estimation
CN109784226B (zh) * 2018-12-28 2020-12-15 深圳云天励飞技术有限公司 人脸抓拍方法及相关装置
US11049289B2 (en) * 2019-01-10 2021-06-29 General Electric Company Systems and methods to semi-automatically segment a 3D medical image using a real-time edge-aware brush
US10825137B2 (en) * 2019-01-15 2020-11-03 Datalogic IP Tech, S.r.l. Systems and methods for pre-localization of regions of interest for optical character recognition, and devices therefor
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
US11068052B2 (en) * 2019-03-15 2021-07-20 Microsoft Technology Licensing, Llc Holographic image generated based on eye position
DE102019107853B4 (de) * 2019-03-27 2020-11-19 Schölly Fiberoptic GmbH Verfahren zur Inbetriebnahme einer Kamerasteuerungseinheit (CCU)
EP3948402B1 (de) 2019-04-01 2023-12-06 Evolution Optiks Limited System und verfahren zur pupillenverfolgung und digitale anzeigevorrichtung sowie system zur wiedergabe digitaler bilder und dieses verwendendes verfahren
US11644897B2 (en) 2019-04-01 2023-05-09 Evolution Optiks Limited User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same
US11218668B2 (en) * 2019-05-09 2022-01-04 Present Communications, Inc. Video conferencing method
US20210011550A1 (en) * 2019-06-14 2021-01-14 Tobii Ab Machine learning based gaze estimation with confidence
CN110718067A (zh) * 2019-09-23 2020-01-21 浙江大华技术股份有限公司 违规行为告警方法及相关装置
US11080892B2 (en) * 2019-10-07 2021-08-03 The Boeing Company Computer-implemented methods and system for localizing an object
US11688199B2 (en) * 2019-11-13 2023-06-27 Samsung Electronics Co., Ltd. Method and apparatus for face detection using adaptive threshold
CN113208591B (zh) * 2020-01-21 2023-01-06 魔门塔(苏州)科技有限公司 一种眼睛开闭距离的确定方法及装置
EP4113968B1 (de) * 2020-02-28 2025-02-19 NEC Corporation Bilderfassungsvorrichtung, bilderfassungsverfahren und bilderfassungsprogram
CN113448428B (zh) * 2020-03-24 2023-04-25 中移(成都)信息通信科技有限公司 一种视线焦点的预测方法、装置、设备及计算机存储介质
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
CN111768433B (zh) * 2020-06-30 2024-05-24 杭州海康威视数字技术股份有限公司 一种移动目标追踪的实现方法、装置及电子设备
US11676255B2 (en) * 2020-08-14 2023-06-13 Optos Plc Image correction for ophthalmic images
CN111985384B (zh) * 2020-08-14 2024-09-24 深圳地平线机器人科技有限公司 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
EP4208772B1 (de) * 2020-09-04 2026-01-21 Telefonaktiebolaget LM Ericsson (publ) Computersoftwaremodulanordnung, schaltungsanordnung, anordnung und verfahren für eine verbesserte benutzerschnittstelle
US10909167B1 (en) * 2020-09-17 2021-02-02 Pure Memories Ltd Systems and methods for organizing an image gallery
CN112633313B (zh) * 2020-10-13 2021-12-03 北京匠数科技有限公司 一种网络终端的不良信息识别方法及局域网终端设备
CN112255882A (zh) * 2020-10-23 2021-01-22 泉芯集成电路制造(济南)有限公司 集成电路版图微缩方法
CN112650461B (zh) * 2020-12-15 2021-07-13 广州舒勇五金制品有限公司 一种基于相对位置的展示系统
US12095975B2 (en) 2020-12-23 2024-09-17 Meta Platforms Technologies, Llc Reverse pass-through glasses for augmented reality and virtual reality devices
US12131416B2 (en) * 2020-12-23 2024-10-29 Meta Platforms Technologies, Llc Pixel-aligned volumetric avatars
US11417024B2 (en) 2021-01-14 2022-08-16 Momentick Ltd. Systems and methods for hue based encoding of a digital image
TW202229978A (zh) 2021-01-27 2022-08-01 美商菲絲博克科技有限公司 用於擴增實境和虛擬實境裝置的反向透視眼鏡
KR20220115001A (ko) * 2021-02-09 2022-08-17 현대모비스 주식회사 스마트 디바이스 스위블을 이용한 차량 제어 장치 및 그 방법
US20220270116A1 (en) * 2021-02-24 2022-08-25 Neil Fleischer Methods to identify critical customer experience incidents using remotely captured eye-tracking recording combined with automatic facial emotion detection via mobile phone or webcams.
JP7570513B2 (ja) * 2021-06-11 2024-10-21 三菱電機株式会社 視線検出装置
JP7678713B2 (ja) * 2021-06-11 2025-05-16 キヤノン株式会社 撮像装置および方法
US11914915B2 (en) * 2021-07-30 2024-02-27 Taiwan Semiconductor Manufacturing Company, Ltd. Near eye display apparatus
TWI782709B (zh) * 2021-09-16 2022-11-01 財團法人金屬工業研究發展中心 手術機械臂控制系統以及手術機械臂控制方法
GB2628281A (en) * 2022-01-07 2024-09-18 Jumio Corp Biometric authentication using head-mounted devices
CN114387442B (zh) * 2022-01-12 2025-03-18 南京农业大学 一种多维空间中的直线、平面和超平面的快速检测方法
US11887151B2 (en) * 2022-02-14 2024-01-30 Korea Advanced Institute Of Science And Technology Method and apparatus for providing advertisement disclosure for identifying advertisements in 3-dimensional space
EP4250247A1 (de) * 2022-03-22 2023-09-27 e.solutions GmbH Verfahren und vorrichtung zur bestimmung einer blickrichtung eines benutzers
US12106479B2 (en) * 2022-03-22 2024-10-01 T-Jet Meds Corporation Limited Ultrasound image recognition system and data output module
CN114442814B (zh) * 2022-03-31 2022-09-16 灯影科技有限公司 一种云桌面的展示方法、装置、设备及存储介质
CN114794992B (zh) * 2022-06-07 2024-01-09 深圳甲壳虫智能有限公司 充电座、机器人的回充方法和扫地机器人
CN117788361B (zh) * 2022-09-22 2026-04-14 南京博视医疗科技有限公司 一种瞳孔定位方法及装置
US12340594B2 (en) * 2023-02-01 2025-06-24 Verizon Patent And Licensing Inc. Systems and methods for determining road object importance based on forward facing and driver facing video data
US12437562B2 (en) 2023-02-21 2025-10-07 Bank Of America Corporation System and method for increasing a resolution of a three-dimension (3D) image
CN116386103B (zh) * 2023-02-22 2025-12-09 武汉大学 人眼视线落点估计方法、系统、电子设备
CN115936037B (zh) * 2023-02-22 2023-05-30 青岛创新奇智科技集团股份有限公司 二维码的解码方法及装置
CN116523831B (zh) * 2023-03-13 2023-09-19 深圳市柯达科电子科技有限公司 一种曲面背光源的组装成型工艺控制方法
CN116109643B (zh) * 2023-04-13 2023-08-04 深圳市明源云科技有限公司 市场布局数据采集方法、设备及计算机可读存储介质
KR102883239B1 (ko) * 2023-05-16 2025-11-07 성균관대학교산학협력단 얼굴 인식과 마우스 제어 기반의 비접촉식 입력 방법 및 상기 방법을 수행하는 장치

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
JP3163215B2 (ja) * 1994-03-07 2001-05-08 日本電信電話株式会社 直線抽出ハフ変換画像処理装置
JP4675492B2 (ja) * 2001-03-22 2011-04-20 本田技研工業株式会社 顔画像を使用した個人認証装置
JP4128001B2 (ja) * 2001-11-19 2008-07-30 グローリー株式会社 歪み画像の対応付け方法、装置およびプログラム
JP4275345B2 (ja) 2002-01-30 2009-06-10 株式会社日立製作所 パターン検査方法及びパターン検査装置
CN2586213Y (zh) * 2002-12-24 2003-11-12 合肥工业大学 实时实现Hough变换的光学装置
US7164807B2 (en) 2003-04-24 2007-01-16 Eastman Kodak Company Method and system for automatically reducing aliasing artifacts
JP4324417B2 (ja) * 2003-07-18 2009-09-02 富士重工業株式会社 画像処理装置および画像処理方法
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
DE102004046617A1 (de) 2004-09-22 2006-04-06 Eldith Gmbh Vorrichtung und Verfahren zur berührungslosen Bestimmung der Blickrichtung
US8995715B2 (en) * 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
JP4682372B2 (ja) * 2005-03-31 2011-05-11 株式会社国際電気通信基礎技術研究所 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム
US7406212B2 (en) 2005-06-02 2008-07-29 Motorola, Inc. Method and system for parallel processing of Hough transform computations
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー／エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
DE102005047160B4 (de) * 2005-09-30 2007-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Ermitteln einer Information über eine Form und/oder eine Lage einer Ellipse in einem graphischen Bild
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US8180159B2 (en) * 2007-06-06 2012-05-15 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP5558081B2 (ja) * 2009-11-24 2014-07-23 株式会社エヌテック 画像形成状態検査方法、画像形成状態検査装置及び画像形成状態検査用プログラム
US8670019B2 (en) * 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
JP2013024910A (ja) * 2011-07-15 2013-02-04 Canon Inc 観察用光学機器
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8798363B2 (en) 2011-09-30 2014-08-05 Ebay Inc. Extraction of image feature data from images
CN103297767B (zh) * 2012-02-28 2016-03-16 三星电子（中国）研发中心 一种适用于多核嵌入式平台的jpeg图像解码方法及解码器
US9308439B2 (en) * 2012-04-10 2016-04-12 Bally Gaming, Inc. Controlling three-dimensional presentation of wagering game content
CN102662476B (zh) * 2012-04-20 2015-01-21 天津大学 一种视线估计方法
US11093702B2 (en) * 2012-06-22 2021-08-17 Microsoft Technology Licensing, Llc Checking and/or completion for data grids
EP2709060B1 (de) * 2012-09-17 2020-02-26 Apple Inc. Verfahren und Vorrichtung zur Bestimmung eines Blickpunkts auf ein dreidimensionales Objekt
CN103019507B (zh) * 2012-11-16 2015-03-25 福州瑞芯微电子有限公司 一种基于人脸跟踪改变视点角度显示三维图形的方法
CN103136525B (zh) * 2013-02-28 2016-01-20 中国科学院光电技术研究所 一种利用广义Hough变换的异型扩展目标高精度定位方法
KR101789903B1 (ko) 2013-05-08 2017-10-25 코니카 미놀타 가부시키가이샤 발광 패턴을 갖는 유기 일렉트로루미네센스 소자의 제조 방법
KR20150006993A (ko) * 2013-07-10 2015-01-20 삼성전자주식회사 디스플레이 장치 및 이의 디스플레이 방법
US9619884B2 (en) 2013-10-03 2017-04-11 Amlogic Co., Limited 2D to 3D image conversion device and method
JP6268303B2 (ja) 2014-02-04 2018-01-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ２ｄ画像分析装置
EP3119286B1 (de) * 2014-03-19 2024-05-01 Intuitive Surgical Operations, Inc. Medizinische vorrichtungen und systeme unter verwendung von blickverfolgung
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHARLES DUBOUT: "Object Classification and Detection in High Dimensional Feature Space", PHD THESIS AT THE ÉCOLE PLYTECHNIQUE FÉDÉRALE DE LAUSANNE, SWITZERLAND, 17 December 2013 (2013-12-17), Switzerland, pages 1 - 128, XP055263147, Retrieved from the Internet <URL:http://publications.idiap.ch/downloads/papers/2013/Dubout_THESIS_2013.pdf> [retrieved on 20160406] *
FORREST IANDOLA ET AL: "DenseNet: Implementing Efficient ConvNet Descriptor Pyramids", 7 April 2014 (2014-04-07), XP055263218, Retrieved from the Internet <URL:http://arxiv.org/pdf/1404.1869.pdf> [retrieved on 20160406] *
PETER HUSAR ET AL: "Autonomes, kalibrationsfreies und echtzeitfähiges System zur Blickrichtungsverfolgung eines Fahrers", KONFERENZ: VDE-KONGRESS 2010 - E-MOBILITY: TECHNOLOGIEN - INFRASTRUKTUR - MÄRKTE, 8 November 2010 (2010-11-08), XP055713293, Retrieved from the Internet <URL:https://www.vde-verlag.de/proceedings-de/453304068.html> [retrieved on 20200709] *
See also references of WO2015117906A1 *

Also Published As

Publication number Publication date
JP6268303B2 (ja) 2018-01-24
CN106133750A (zh) 2016-11-16
US10192135B2 (en) 2019-01-29
WO2015117905A1 (de) 2015-08-13
JP2017509967A (ja) 2017-04-06
WO2015117907A3 (de) 2015-10-01
US10074031B2 (en) 2018-09-11
KR101858491B1 (ko) 2018-05-16
WO2015117904A1 (de) 2015-08-13
EP3968288A2 (de) 2022-03-16
KR101991496B1 (ko) 2019-06-20
WO2015117907A2 (de) 2015-08-13
US20170032214A1 (en) 2017-02-02
KR20160119176A (ko) 2016-10-12
EP3103058A1 (de) 2016-12-14
US20160335475A1 (en) 2016-11-17
JP2017508207A (ja) 2017-03-23
CN106104573A (zh) 2016-11-09
WO2015117906A1 (de) 2015-08-13
JP6483715B2 (ja) 2019-03-13
EP3103059A1 (de) 2016-12-14
US10592768B2 (en) 2020-03-17
KR20160119146A (ko) 2016-10-12
CN106258010B (zh) 2019-11-22
US20160342856A1 (en) 2016-11-24
CN106133750B (zh) 2020-08-28
CN106258010A (zh) 2016-12-28
JP2017514193A (ja) 2017-06-01
JP6248208B2 (ja) 2017-12-13

Similar Documents

Publication Publication Date Title
EP3103060A1 (de) 2d-bildanalysator
EP3657236B1 (de) Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
DE19953835C1 (de) Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
EP3959497B1 (de) Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
EP3924710B1 (de) Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
DE602004011933T2 (de) Automatische bestimmung der optimalen betrachtungsrichtung bei herzaufnahmen
DE112009000099T5 (de) Bildsignaturen zur Verwendung in einer bewegungsbasierten dreidimensionalen Rekonstruktion
DE102004049676A1 (de) Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
DE102014100352A1 (de) Fahrerblickdetektionssystem
DE112019006107B4 (de) Authoring-Vorrichtung, Authoring-Verfahren und Authoring-Programm
DE112020006467T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerlesbares aufzeichnungsmedium
EP0993657A1 (de) Verfahren und vorrichtung zum erfassen einer reflektierenden fläche eines menschen
DE102018121317A1 (de) Verfahren und Vorrichtung zur Schätzung einer durch eine Freiraumgeste vermittelten Richtungsinformation zur Bestimmung einer Benutzereingabe an einer Mensch-Maschine-Schnittstelle
DE102014108924B4 (de) Ein halbüberwachtes Verfahren zum Trainiern eines Hilfsmodells zur Erkennung und Erfassung von Mehrfachmustern
WO2003025843A2 (de) Modellbasierte objektklassifikation und zielerkennung
WO2017186225A1 (de) Bewegungsanalysesystem und ein dieses umfassendes bewegungsverfolgungssystem von bewegten oder sich bewegenden, sich thermisch von ihrer umgebung abhebenden objekten
DE102010054168B4 (de) Verfahren, Vorrichtung und Programm zur Bestimmung der torsionalen Komponente der Augenposition
DE102014107185A1 (de) Verfahren zur Bereitstellung eines dreidimensionalen Topographiemodells, Verfahren zur Betrachtung einer Topographiedarstellung eines Topographiemodells, Visualisierungsvorrichtung und Mikroskopiersystem
DE102021129171B3 (de) Verfahren, system und computerprogramm zur virtuellen voraussage eines realen sitzes eines realen brillengestells am kopf einer person mit individueller kopfgeometrie
DE102013221545A1 (de) Verfahren und Vorrichtung zur medizinischen Bilderfassung
Crawford-Hines et al. Neural nets in boundary tracing tasks
DE112023000942T5 (de) Verfahren und mobiles Gerät zur Bestimmung eines Sichtpunktes einer Person
DE102024109180A1 (de) One-shot-pifu-registrierung
DE102024210382A1 (de) Computerimplementiertes Verfahren zu einer Rekonstruktion einer Kreisform eines kreisförmigen Objekts im dreidimensionalen Raum und Vorrichtungen dazu
DE102023136115A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Bilddaten einer medizinischen Bildgebungseinrichtung sowie Verfahren zum Trainieren einer Künstliche-Intelligenz-Entität

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20160729

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200720

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20220919