WO2000013143A1 - Verfahren und vorrichtung zur erfassung von objektfarben - Google Patents

Verfahren und vorrichtung zur erfassung von objektfarben Download PDF

Info

Publication number
WO2000013143A1
WO2000013143A1 PCT/EP1999/006240 EP9906240W WO0013143A1 WO 2000013143 A1 WO2000013143 A1 WO 2000013143A1 EP 9906240 W EP9906240 W EP 9906240W WO 0013143 A1 WO0013143 A1 WO 0013143A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
fuzzy
segmentation
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP1999/006240
Other languages
English (en)
French (fr)
Inventor
Andreas Hub
Peter Fromherz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Original Assignee
Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Max Planck Gesellschaft zur Foerderung der Wissenschaften eV filed Critical Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority to EP99944512A priority Critical patent/EP1105843B1/de
Priority to DE59903570T priority patent/DE59903570D1/de
Priority to AU57406/99A priority patent/AU5740699A/en
Publication of WO2000013143A1 publication Critical patent/WO2000013143A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the invention relates to methods for optical object detection, in particular for detecting object and segment colors (hereinafter briefly: object colors), but also for detecting geometric object properties, such as e.g. the size, position and distance of objects in an image scene, and devices for applying the methods.
  • object colors is generally understood to mean the determination of the perception of object colors and thus the determination of a color specification (e.g. specification of a color perception class) for a detected object, which an observer of the object in the current scene calls for visual identification to describe its color perception would or how they can be objectively determined in other psycho-physical experiments (eg post-mixing of colors, detection, experimental compensation experiments).
  • the human visual system is set up to let the observer become aware of the properties of individual objects or segments in the visual field in a fraction of a second.
  • the viewed objects are identified by information about the color, size and distance and the like. detected, which in particular enables safe movement in space.
  • Visual object recognition is carried out by capturing object or segment boundaries and assigning object colors, which are assigned a specific name based on experience. The perception of object colors and boundaries are reciprocal. The exact relationships with regard to the functioning of this interaction in the human brain are only partially understood. In case of disturbances in the visual system (e.g. blindness or color blindness), the object recognition is impaired in whole or in part, which results, for example, in orientation problems.
  • GPS system Global Positioning System
  • Personal Guidance System a satellite-guided guidance system called “Personal Guidance System” was developed, with which people with visual impairments can use an electronic compass to find important places such as e.g. Have the bus stop or phone booths located.
  • object detection There is no object detection with this system. It can only be used for objects that are stored in the system-internal topographies.
  • the GPS system can be used for special applications, e.g. in public urban space, limited and not usable, for example, in narrow, closed rooms with numerous, possibly moving objects.
  • the human or visual color perception in relation to a certain area in the visual field depends on the one hand on purely local properties of this area (mainly on the local reflectance and on the spectral energy distribution of the lighting or, in the case of self-illuminators, on the radiation emitted) .
  • human color perception is also influenced by the surroundings of the dependent area. For example, everything can be influenced by changing the environment, the perceived color, which is shown, for example, in the simultaneous color contrast or in the color induction and in an extreme form in the so-called land effect.
  • the environmental influence on the perceived colors of a certain area decreases with increasing distance. The immediate surroundings are therefore of particular importance for color perception.
  • the surrounding colors are not taken into account, so that the color perception is generally given in a falsified manner.
  • the color recognition device must be brought close to the object to be measured.
  • the measurements only relate to the implemented types of light, so that the local color measurement is already subject to severe restrictions.
  • a point measurement precludes the distinction between object and lighting color, unless one of the two is known.
  • the device cannot deliver correct results due to its design.
  • the object of the invention is also to provide devices for implementing such methods.
  • the method according to the invention comprises, in particular, data or image recording, image segmentation in which a specific object or image segment is delimited from neighboring objects on the basis of an image parameter which is essentially unchangeable for this object, and a classification of the object color by assigning color parameters of the segmented object to a specific color value in a color space.
  • the image acquisition is preferably carried out with an image acquisition device that is set up to represent an object arrangement in a scene and to provide complete image data (brightness and / or 'color values) of the recorded image, preferably in digitized form.
  • the preferred parameter for image segmentation is the color tone.
  • the object classification is preferably carried out using methods of fuzzy logic, such as fuzzy clustering and / or fuzzy control.
  • segment reduction which is aimed at simplifying the complexity of the scene.
  • the pixels that belong to the detected object or image segment and form a complex segment geometry depending on the case are replaced by a group of pixels that form a segment surface in the form of a regular, straight or slightly curved basic shape (e.g. rectangle, circle, ellipse) or the like) form.
  • the reduced image segment is preferably chosen such that it completely covers the original segment. For example, it is provided that the object or image segment initially captured is reduced by completely surrounding it with a rectangular frame and the pixels enclosed by the frame being captured as the reduced image segment.
  • segment reduction represents an unexpected and important advantage for the following object classification. It was found that the result of the color recognition according to the invention is not influenced by the segment reduction or is negligibly influenced by the respective application.
  • segment reduction simplifies the fuzzy control procedure carried out as part of the object classification, to which the number of fuzzy control Processes to be processed decisions is reduced to an acceptable number in practice.
  • a device detects a data or image recording device, e.g. a digital camera, a segmentation device, a classification device and an output device.
  • the device forms an auxiliary device for the visually impaired or blind, which is set up for detecting objects, for determining their size, distance and color and for audible or tactile output of these sizes.
  • Optical object detection here means the detection of color perception, size, position and / or distance from the viewer or from the image recording device for an object in an imaged scene.
  • An object is a section (segment) that can be distinguished from the surroundings in the two-dimensional image on the basis of a certain image parameter.
  • Preferred applications of the invention are in the field of creating visual aids and measuring devices for printing, food and chemical technology, and in the graphics and design sector.
  • object detection according to the invention as a visual aid, in addition to the classification of the object color mentioned, a classification of geometric object parameters or an object recognition (e.g. font recognition) is also carried out.
  • the output device is preferably provided by a loudspeaker. The visual aid in particular allows orientation and safe movement in space.
  • the invention has the following advantages.
  • the system according to the invention reproducibly creates a connection between physical (photometric) measurement quantities and human color perception.
  • it is not the color features of individual pixels, but whole image segments and the color characteristics of the surroundings of the image segments, which are important for color perception.
  • a segmentation method and elements of fuzzy logic input and output variables for fuzzy inference, operators and rules are selected in a way that is optimally adapted to the human color perception of unknown objects in real scenes (e.g. living space in daily surroundings)
  • the invention has a wide range of applications and is particularly well applicable for applications in everyday situations.
  • a color recognition device is created which, in addition to the photometric measurement data, also allows properties of the neurology, physiology and psychology of vision as well as linguistic, semantic and cultural aspects of color perception to be taken into account.
  • a reliable visual aid for blind or color-deficient people is created, with which objects located away from the viewer can be reliably detected and classified. It is possible to integrate the color perception as well as the size, position and distance determination in one device.
  • the detection of both the color perception information and the distance information simultaneously implemented for the first time with the invention represents an important advantage of the invention in visual aid applications. The detection of relatively complex real scenes, even in small, closed rooms with a large number of objects, is possible.
  • the device according to the invention can be constructed from components which are commercially available, so that the system can be produced inexpensively.
  • the device according to the invention can be miniaturized, for example a visual aid worn up to the height of a pair of glasses, the output device being implemented as an earphone.
  • the invention is applicable in color research (development of color spaces and perception models) and for special ones Applications can be optimally adapted using the fuzzy logic methods.
  • the use of the invention as a visual aid for the first time offers those affected the opportunity to find their way around the room with the help of a single device.
  • the color information enables orientation and thus safe movement in space.
  • the detection of color perception according to the invention has a high degree of stability in that any image situation in the natural environment can be reliably evaluated on the basis of decision rules that have been determined on simple test objects.
  • F g. 1 shows a flow diagram to illustrate the method according to the invention
  • 7 shows a three-dimensional RGB color space with eight hyperspheres and associated cluster centers
  • 8 is a graphic illustration of individual rule sets of a fuzzy inference
  • Fig. 9 is a block diagram of an inventive device.
  • a method according to the invention captures the steps of data acquisition 20, segmentation 30, color classification 40 and result output 50.
  • the result of the classification may be returned simultaneously before or simultaneously with the result output Data acquisition 20 or segmentation 30, in order, if necessary, to focus on a specific object or to change the segmentation.
  • step segment reduction 30a should be provided.
  • the segment reduction 30a has advantages for the later application of the decision rules for fuzzy inference (reduction of the rule number), but is not a mandatory feature of the invention. Details of steps 20 to 40 are shown in FIGS. 2 to 4.
  • the data acquisition 20 (or image acquisition) initially comprises a system comparison 21 in which an image recording device (for example a digital camera or scanner) is prepared for the following image recording 22.
  • the system balance 21 includes, for example in the case of commercially available cameras, an automatic white balance (adjustment to the type of light used - WO 00/13143 ⁇ rL PCT / EP99 / 06240
  • the system adjustment 21 can, however, use specially adapted algorithms or calibrations in order to adapt the image recording to low-contrast scenes or to image scenes with extreme lighting.
  • a distance measurement can also be carried out during system adjustment 21.
  • an in-camera autofocus system based on contrast relationships or a laser-based distance measurement is used for precision measurements.
  • the image data generation 23 follows by forming a data record which contains the red, green and blue values (R, G, B values) of each pixel of the digital color image, each of which can take discrete values between a minimum and a maximum value.
  • the image data thus comprise three color planes with the R, G, B values of each pixel.
  • the number of pixels of a digital image recorded with a camera is, for example, 740 • 568 pixels.
  • the digitization depth is e.g. 24 bits (8 bits per color channel), which corresponds to around 16.7 million colors. However, parameters of digital image processing such as the number of pixels or the digitization depth can be varied depending on the application.
  • a color transformation 31 of the individual R, G and B planes of the Color image in a color space adapted to the further segmentation (see below).
  • the color transformation 31 is an application-dependent, optional step which, however, is preferably implemented as a visual aid in the implementation of the invention for the following reasons.
  • a look at the individual R, G and B planes of a color image shows that the RGB color space is only suitable to a limited extent for the customary language characterization of colors and for image segmentation. For example, the perceived color can only be deduced from the R, G and B components of an object under well-defined conditions. Since the information contained in the RGB image completely characterizes the objects in terms of color and (apart from the dimensional reduction in 2D images) also geometry, the goal of color transformation 31 is to transmit this information to an optimal evaluable parameter space (color space) .
  • the color transformation 31 of the RGB values can, for example, comprise a linear transformation, for example into CIE-XYZ values or into color values that correspond to the cone signals in the eye (LMS signals), or non-linear transformations into color spaces that correspond to human perception and the usual color description the color perception are better adapted.
  • a linear transformation for example into CIE-XYZ values or into color values that correspond to the cone signals in the eye (LMS signals), or non-linear transformations into color spaces that correspond to human perception and the usual color description the color perception are better adapted.
  • color spaces include, for example, the HSL space (Hue Saturation Brightness or Hue Saturation Lightness space), an HSV space, the CIE-L * a * b * - or CIE-L * h from C * ab - Room, the CIE L * u * v * room or the like
  • the color transformation 31 can also in the most recently developed color perception spaces (corresponding to the so-called "color appearance” models, such as the CIE-CAM '97 according to RWG Hunt, or the RLAB space according to MD Fairchild) with dimensions such as "B ⁇ ghtness", “Lightness ",” Colorfullness ",” Chroma “,” Hue “, or” Saturation "(see also Mark D.
  • a parameter selection 32 takes place in the target color space, in which a dimension or parameter of the target color space is selected which is almost constant within an object or segment and changes as much as possible at object boundaries. This parameter selection 32 is therefore application-dependent, depending on the target color space selected.
  • the segmentation 30 is preferably carried out with a color transformation 31 from the RGB image into the HSV or L * h from C * ab space, the H value (color tone or Hue value) being selected as the preferred parameter.
  • the H value is sufficiently constant within a monochrome object in a three-dimensional scene.
  • the segmentation is therefore preferably carried out in the color plane, in which the objects or background areas can be separated from one another particularly effectively.
  • the start pixel 33 is selected first.
  • a specific pixel of the scene in the color tone plane is selected as the start pixel for the further segmentation.
  • a typical choice is, for example, a pixel n in the center of the image or in a previously determined area. This previously determined area is characterized, for example, by special image features which allow an object to be distinguished from the respective surroundings, for example on the basis of the color tone, the contrast, the brightness or the like.
  • the segmentation can also be modified in such a way that it does not select a specific object, but rather segments the entire image.
  • the complete digital image is divided into relevant segments as follows. The image is completely segmented into an object to be determined (a coherent pixel area) and its surrounding segments as well as any holes.
  • fuzzy Control classification method calculates the perceived color. Then, if necessary, each further segment is evaluated and classified in relation to all other segments, for example using the fuzzy control method, as explained below.
  • the pixels adjacent to the start pixel are first detected, the H value of which shows a difference from the H value of the start pixel that is smaller than a predetermined threshold value.
  • the adjacent pixels of the neighboring pixels of the start pixel determined in the first threshold value comparison step are then examined to determine whether the H value lies within a predetermined H interval around the H value of the start pixel.
  • segment growth 34 generally match well with boundaries or segment boundaries of the background. It has also been shown that reflections of the light source (often white) are not selected or segmented with this segment growth, even if they are within the object under consideration. This is a particular advantage of the method according to the invention, since the classification of color perception, regardless of reflections, has proven to be advantageous in many cases, since reflections have a negative effect on the averaging or integration over the object surface. Although there are restrictions on the output of the object extension, these are generally of little importance in practical applications as a visual aid, which may depend on the image content in individual cases. In the following assessment 35, the determined segment or object is assessed in relation to its geometric properties.
  • the selected object does not meet certain boundary conditions that are defined beforehand, e.g. B. if the entire image content or only e pixels is selected, there is the possibility of returning to the parameter selection 32 and / or to the start pixel selection 33. These steps can be repeated with the segmentation growth 34 and an assessment 35 until a sufficiently determined result is present. A limit determination 36 then takes place.
  • the outer or inner border of the grown object is determined as a data record. The object segmentation thus includes the determination of all pixels within the border.
  • FIG. 5 shows, by way of example, a limit 51 of the area of the same color formed by the figure when a traffic light 50 is shown (in the original template: red color of the traffic light man).
  • the segmentation method presented here is advantageously also suitable for the two-dimensional images of real complex scenes with three-dimensional objects. If the scenes considered in the color tone level do not provide any information about the object boundaries, then information from other levels of the respective color space or even from other color spaces must be consulted. For this purpose, a return from the assessment step 35 to the color transformation 31 can be implemented, for example.
  • the object segmentation according to FIG. 3 is not a mandatory feature of the method according to the invention.
  • the segmentation can be completely omitted or replaced by another segmentation process in which objects and segment boundaries are not based on the color but with others Features are recognized (eg segmentation by observing time-dependent changes in position of objects or the camera or by using edge detection algorithms (e.g. gradient method)).
  • edge detection algorithms e.g. gradient method
  • information about the object speed, direction of movement, acceleration and the like could then be provided as a result.
  • segment reduction 30a optionally takes place (see also FIG. 1).
  • segment reduction 30a the pixels belonging to the segment determined within the border are replaced by a larger number of pixels, which includes the pixels belonging to the segment and further pixels to form a simplified segment area.
  • the irregular image segment 61 initially illustrated in FIG. 6 is replaced by the reduced image segment 62.
  • the reduced image segment 62 is, for example, as shown, a rectangle with side lengths that correspond to the maximum dimensions of the original image segment m two in a perpendicular direction.
  • a reduced image segment 63 can also be formed in the form of an ellipse. After all the pixels belonging to the reduced image segment have been determined, the reduced image segment is assigned an average color value which corresponds to the average over all color values in the originally segmented area.
  • the classification 40 of the object color (see FIG. 1) is explained below with reference to the flowchart according to FIG. 4 and the representation of the cluster centers in the RGB color space according to FIG. 6.
  • Methods of fuzzy logic are used for color classification. This includes in particular the simple cluster assignment referred to below as fuzzy clustering and the more complex cluster assignment referred to below as fuzzy control.
  • the starting point of the classification is the fuzzy cluster mg.
  • the combination with fuzzy control or the iterative, repeated processing of both procedures (to create subclasses of superordinate main classes) can be implemented optionally to improve the procedure. According to an embodiment of the invention, however, fuzzy control, which enables more precise color perception information, is implemented all and without the previous fuzzy clustering, which enables faster color perception information, but with a coarser classification.
  • fuzzy clustering predetermined reference color spaces are divided into fuzzy hyperspheres, in the centers of which are the most important representatives of a perception class. This relates, for example, to color, brightness or saturation classes or to the eleven color classes determined by Berlin and Kay with regard to the naming of colors.
  • a segmented object is then assigned a color feature by its position in relation to the hyperspheres or the cluster centers.
  • fuzzy control classification this assignment is also made taking into account other complex features of the scene, such as the color values of surrounding objects, contrast relationships to other image segments, dependencies on the lighting and the like.
  • the mathematical foundations for the methods fuzzy clustering and fuzzy control are known per se and are described, for example, in the books by H.
  • Kiendl Fuzzy Control method-oriented, Oldenbourg Verlag, 1997)
  • H.R. Tizhoosh Fuzzy image processing, introduction to theory and practice
  • Springer Verlag 1998
  • L.A. Zadeh Fuzzy sets", in: "Information and Control” 8, 1965, 338-353).
  • neural fuzzy systems can be implemented according to the invention, which are capable of learning and according to appropriate tramming _
  • fuzzy control classification allows any number of case distinctions using the "IF-THEN rules" explained below.
  • fuzzy control processes allow a simulation of the visual perception process analogous to the brain, whereby the processing takes place in different stages, which take place in the brain of the retina, the so-called lateral knee bumps, the primarily visual cortex, higher cortex levels, with modules for form, Color and movement and the like can be assigned. There is a constant exchange of information with access and feedback to the different processing levels between these structures or with the fuzzy control process between the feature dimensions.
  • fuzzy clustering 41 proceeds as follows. After, as described above, for segmenting the digital image of a video camera using the color tone plane, the area is expanded by one start pixel in the direction of all adjacent pixels until a predetermined color tone difference threshold value is exceeded, and thus a certain image area assigned to an object or segment is defined , the pixels of this segmented and possibly reduced image area are viewed in RGB space. With RGB averaging 42, all RGB values belonging to the image area are averaged and combined to form a triple of RGB values. This triple of average RGB values has a specific position in the RGB color space, which is divided into eight object color classes (hyperspheres) as follows. 7 shows an example of the RGB color space with the eight object color classes black, white, red, green, yellow, blue, cyan and violet.
  • the cluster centers are located at the corners of a throwing egg (RGB cube).
  • RGB cube a throwing egg
  • the RGB triple with the values (0/0/0) belongs 100% to the color class "black”.
  • an affiliation value is determined, which describes the affiliation of a particular triple to a color class with a% specification.
  • the membership values ⁇ are determined in fuzzy cluster mg under the secondary condition that the membership values of a triple add up to 1 in relation to all color classes. However, consideration of such a secondary condition is not absolutely necessary.
  • the membership values ⁇ are calculated, for example, according to the so-called “fuzzy-c-means” algorithm (FCM), which allows a fuzzy classification (see RH Tizhoosh in “Fuzzy Image Processing. Introduction to Theory and Practice", Springer Verlag 1998, p 106 ff.).
  • FCM fuzzy-c-means algorithm
  • the FCM procedure is limited to spherical hyperspheres.
  • other fuzzy clustering methods can be provided, the spheres of which comprise more complicated forms. This is an advantage because human color perception cannot be completely described with spherical hyperspheres.
  • a further improvement in the color perception information is achieved by implementing the fuzzy control classification (see below).
  • an RGB triple can have the following membership values for a specific object: black: 0.1, white: 0.2, red: 0.5, green: 0.0, yellow: 0.1, blue: 0.0 , Cyan: 0.0, violet: 0.1.
  • the maximum associated value ⁇ max (44) is determined.
  • This result is then prepared with the data output 45a for further processing.
  • the color class with the second largest degree of membership ⁇ is additionally output if the difference between the first (largest) and second (second largest) degree of membership is less than a predetermined threshold value. The result output was then, for example, "red and white".
  • the fuzzy cluster mg is followed by the further classification by fuzzy control 46, as will be explained in detail below.
  • the class or cluster assignment described here is based on the exemplary reference to RGB space.
  • the choice of color space used for fuzzy clustering can be modified depending on the application. The same applies to the exact position of the cluster centers (centers of the hyperspheres or color classes) in the color space. It is preferably provided to specify the location of the cluster centers on the basis of expert knowledge or to determine them using examples.
  • the exact shape of the hyperspheres in the color space must be chosen depending on the application. It is possible to adapt the fuzzy clustering to the specific application of perception by adding further dimensions or by moving the cluster centers and by using different cluster algorithms in the space of the hyperspheres. It can also iteratively based on speedsob j ects with defined colors be challenged. The number of hyperspheres can be increased or decreased compared to the example value 8.
  • fuzzy control classification 46 as with fuzzy clustering 41, the color values of the selected or segmented object are affected.
  • additional parameters are determined which are to be taken into account in the later regulation or assignment of color clusters.
  • additional parameters include, for example, the ambient colors (47a) (the entire image is segmented for this), the lighting (47b), position parameters (47c), additional expert knowledge (47d) and the like.
  • the lighting parameters (47b) include the type of lighting (spot lighting) , homogeneous lighting, multiple light sources or the like), color values of the lighting and the lighting direction.
  • the position parameters can relate to the geometric arrangement of the objects or change information or the like.
  • the additional expert knowledge can, for example, be extracted from the distribution of the color values or recorded via additional devices and relates, for example, to surface properties of the object under consideration (roughness, gloss) or the like.
  • the additional parameters (47) have been determined, the actual regulation / classification of the fuzzy Control.
  • fuzzy inference 48 the desired color features of a segmented object are calculated using "IF-THEN" rules (decision rules) of a fuzzy controller.
  • the object has a distance of x meters and is y centimeters high and z wide, etc.
  • test series can be carried out with normal-sighted test subjects.
  • the expert knowledge can be implemented in the form of fuzzy rules (possibly iteratively) for use in fuzzy inference 48.
  • the fuzzy inference 48 is explained in detail below with a multiplicity of decision decisions based on the previously determined object and ambient colors (step 47a). An image evaluation with segmentation and segment reduction and direct application of the fuzzy control method (without the fuzzy clustering method) is assumed.
  • fuzzy inference 48 the previously determined (measured) color parameter values of the reduced segment (for example segment 62 in FIG. 6) and the environment (see reference numeral 64 in FIG. 6) are evaluated using a large number of previously determined and stored decision-making rules.
  • the decision on deciding is a set of rules that was generated as follows through a series of experiments with human observers.
  • the decision on the decision is made by means of test series in which test subjects display synthetic color images on a monitor with a middle segment (e.g. 62 in FIG. 6) and an environment (64 in FIG. 6) with different color features (preset color parameter values, e.g. . L, a, b values) and indicate the subjective color perception.
  • the color characteristics of the image and the details of the test person are entered as input sizes or output sizes on the basis of named input or output terms used for the decision on decision.
  • An input term is a fuzzy set, the elements of which consist of color parameter values and associated values, each of which characterize the belonging of the color parameter values to the term.
  • An output term is a fuzzy set, the elements of which include color perception values (eg red in%) and corresponding membership values in relation to the term.
  • FIG. 8 shows a graphical representation of the assignment of output variables in accordance with the color perceptions given in the right column to specific combinations of input variables.
  • the input values are for the segment in the middle (center) for the L value of term 4 and for the a- (abscissa) values e term between term 4 and term 9 and for the b-ordmate values em value between term 4 and term 8.
  • at least one test person states their color perception.
  • a set of rules sufficient for reliable color detection can include around 10,000 to 100,000 or even more individual decision-making rules, but these cannot be listed in detail here.
  • Each decision rule is formed according to the above-mentioned scheme and in the simplest case includes an implication with two AND-linked input variables.
  • the input variables include, for example, the color characteristics of the (reduced) segment and the environment with the L, a and b variables in the L * a * b * color space mentioned above.
  • the brightness (L) or color (a, b) features can be described by fuzzy sets (membership distributions, reception terms).
  • fuzzy inference 48 after the measurement (possibly with classification) of the color features (color parameter values) of the segment and the environment, an initial term assignment is carried out.
  • the value range of each color parameter value is covered by a group of input terms, which can at least partially overlap.
  • the membership functions of the respective input terms have, for example, the shape of a triangular function.
  • fuzzy inference 48 For example, a color image with a centrally arranged segment and a colored environment is considered. Six input terms are used for the L input sizes and eleven input terms (fuzzy sets) for the a and b input sizes. The aim of fuzzy inference 48 is now to assign the segment an affiliation value to a specific (color) perception class in accordance with human color perception. assignment. This color perception class is selected from the eleven possible output variables using the operators explained below, for which two output terms are used in each case. The number of terms used can be changed depending on the application.
  • an aggregation step is first carried out on the basis of a minimum operator.
  • the result of the aggregation step is therefore a pure number.
  • the output variable "white” has two overlapping fuzzy sets (output terms 0 and 1).
  • the minimum operator forms the minimum from the elements of term 0 and the degree of fulfillment of the rule premise (0.3) (this clearly means that the term 0 is cut off at the height 0.3).
  • the result of this step is a fuzzy set, which in particular em an element of a color perception tion output size and a membership value corresponding to the minimum operator of the implication layer.
  • an accumulation step is first carried out with a maximum operator.
  • a new union set is formed from all fuzzy sets that have followed from the implication steps, in which the maximum of the individual sets is used.
  • the result is again a fuzzy set.
  • a numerical result e.g. of a degree of accessibility between 0 and 1 for the initial size "white” defuzzification step, in which the focus of the resulting fuzzy set is formed according to the focus method.
  • the focus method is described, for example, by H. R. Tizhoosh et al. (see above).
  • the output variable with the greatest degree of membership is given as the result, e.g. "Green”. If the degrees of affiliation are close to each other, it can also be provided that two color values with the largest and the second largest degree of affiliation are specified as the output variable, e.g. "green-yellow”.
  • the result of fuzzy inference 48 is prepared for further processing at data output 45b.
  • fuzzy inference used is the so-called Mamdani inference. He- According to the method, color perceptions can also be simulated with other fuzzy inferences and defuzzification methods.
  • Step 49 indicated in FIG. 4 denotes a further modification of the method according to the invention by combining the fuzzy methods with neural networks (neural fuzzy systems), as a result of which the system is able to learn. It can be provided that the neural network is additionally installed immediately after the data acquisition (image acquisition) or after the segmentation, in order to be able to distinguish between learned and non-learned bid data sets.
  • results 45b or 50 takes place depending on the application in the form of a data, as a display or as an announcement, or by mechanical means that can be felt by the user.
  • a text-to-speech converter is preferably used in order to make the determined color perception audible with a headphone or loudspeaker, so that the person concerned receives information about the color, size, position and / or distance of the objects in the visual field .
  • the naming of colors is preferably done to classes of color names that are used in most cultures and e.g. by B. Berlin, P. Kay et al. ("Basic Color Terms.: Their Universality and Evolution", Berkeley, CA; Umversity of California Press) and I.C.
  • a device comprises a data acquisition device 1 (for example camera, scanner or spectroscopic arrangement), a data acquisition unit 2 in which the RGB image is determined, a transformation and arithmetic unit 3, in which the transformation of the RGB image takes place in a suitable target color space, a segmentation unit 4 for determining the image area, for which the color perception is subsequently to be determined in the fuzzy unit 5.
  • the fuzzy unit is connected to a data output 6 (for example in the form of a display, printer and / or audio device).
  • Components 2, 3, 4 and 5 of the device according to the invention are preferably embodied integrated in a microcomputer.
  • the transformation and arithmetic unit 3 is preferably connected to a display unit 3a which is set up to display the image of the recorded scene in the color tone plane.
  • the display unit 3a is either an additional monitor or integrated in the output unit 6.
  • the color perception system according to the invention can be modified as follows.
  • fuzzy control it can be provided that the individual pixels are not regarded as triples, but generally as feature vectors which, in addition to the three color parameters, contain further, higher dimensions, such as perception parameters (for example gloss, surface properties and the like).
  • perception parameters for example gloss, surface properties and the like.
  • any new perception effect can be taken into account by increasing the number of "IF-THEN rules", the linguistic terms (perception terms) and / or the number of parameters or various fuzzy control methods in the vectors introduced in fuzzy control without the original ones Parameters are lost and the precision achieved until then decreases.
  • IF-THEN rules the linguistic terms (perception terms) and / or the number of parameters or various fuzzy control methods in the vectors introduced in fuzzy control without the original ones Parameters are lost and the precision achieved until then decreases.
  • the image recording instead of the two-dimensional image recording, a three-dimensional image scanning or, analogously to human perception, the image recording with two cameras of different positions (paralax) can be provided.
  • the depth information is taken into account during object detection.
  • additional information on the objects under consideration such as "left”, “right”, “top”, “bottom”, “center”, or information on lighting (direction, etc.), object dimensions, distances or areas of Objects are output.
  • the color recognition according to the invention can be combined with a character recognition, e.g. using the "Corel OCR-Trace” program.
  • a character recognition e.g. using the "Corel OCR-Trace” program.
  • voice output of recorded words in an image scene e.g. signs or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Ein Verfahren zur Objekterfassung umfasst die Schritte: Daten- oder Bildaufnahme, bei der aus einer Abbildung einer Szene Bilddaten ermittelt werden, und Farbklassifizierung für mindestens ein vorbestimmtes Objekt der Szene zur Ermittlung einer wahrgenommenen Objektfarbe, wobei ein für das gesamte Objekt im wesentlichen konstanter, mittlerer Farbparameter mit einer Fuzzy-Control-Klassifizierung aller zum Objekt gehörenden Bildpunkte einer Farbklasse unter einer Vielzahl von Farbklassen in einem vorbestimmten Farbraum zugeordnet wird, wobei die zugeordnete Farbklasse der Objektfarbe der visuellen Farbwahrnehmung des Objekts in der Szene entspricht. Es wird auch eine Sehhilfevorrichtung zur Implementierung des Verfahrens beschrieben.

Description

Verfahren und Vorrichtung zur Erfassung von Objektfarben
Beschreibung
Die Erfindung betrifft Verfahren zur optischen Objekterfassung, insbesondere zur Erfassung von Objekt- und Segmentfarben (im folgenden kurz: Objektfarben), aber auch zur Erfassung geometrischer Objekteigenschaften, wie z.B. die Größe, Position und Entfernung von Objekten in einer Bildszene, und Vorrichtungen zur Anwendung der Verfahren. Unter Erfassung von Objektfarben wird allgemein die Ermittlung der Wahrnehmung von Objektfarben und somit die Ermittlung einer Farbangabe (z. B. Angabe einer Farbwahrnehmungsklasse) zu einem erfaßten Objekt verstanden, die ein Beobachter des Objekts in der aktuellen Szene bei visueller Betrachtung zur Bezeichnung seiner Farbwahrnehmung nennen würde oder wie sie in anderen psycho-physischen Experimenten objektiv bestimmt werden können (z.B. Nachmischen von Farben, Detektion, experimentelle Kompensationsexperimente) .
Das menschliche visuelle System ist dazu eingerichtet, in Bruchteilen von Sekunden beim Beobachter Eigenschaften einzelner Objekte oder Segmente im Gesichtsfeld bewußt werden zu lassen. Die betrachteten Objekte werden durch Informationen über die Farbe, Größe und Entfernung und dgl . erfaßt, wodurch insbesondere ein sicheres Bewegen im Raum ermöglicht wird. Die visuelle Objekterkennung erfolgt durch eine Erfassung von Objekt- oder Segmentgrenzen und eine Zuordnung von Objektfarben, denen auf der Grundlage der Erfahrung eine bestimmte Bezeichnung zugeordnet wird. Die Wahrnehmung von Objektfarben und -grenzen stehen in gegenseitiger Wechselwirkung. Die exakten Zusammenhänge bezüglich der Funktionsweise dieser Wechselwirkung im menschlichen Gehirn sind erst teilweise verstanden. Im Falle von Störungen im visuellen System (z.B. bei Blindheit oder Farbenblindheit) wird die Obηekterkennung ganz oder teilweise beeinträchtigt, woraus sich z.B. Orientierungsprobleme ergeben.
Es sind verschiedene Systeme bekannt, um blinden oder sehschwachen Personen die Erkennung von Gegenstanden oder deren Betrachtung zu ermöglichen oder zu erleichtern. Auf der Grundlage des Global Positioning System (GPS-System) wurde ein "Personal Guidance System" genanntes, satellitengesteuertes Leitsystem entwickelt, mit dem sich Personen mit Sehstorungen mit Hilfe eines elektronischen Kompaß wichtige Orte wie z.B. Bushaltestelle oder Telefonzellen orten lassen können. Bei diesem System erfolgt keine Obiekterkennung. Es ist nur für Objekte anwendbar, die in den systeminternen Topografien gespeichert sind. Damit ist das GPS-System auf spezielle Anwendungen, z.B. im öffentlichem stadtischen Raum, beschrankt und beispielsweise in engen, geschlossenen Räumen mit zahlreichen, ggf. beweglichen Gegenstanden nicht nutzbar.
Es ist ferner ein als Sehhilfe für Personen mit reduzierter Sehleistung, kommerziell angebotenes Farberkennungsgerat bekannt ("Color Test 150", Anbieter Care Tee Deutschland GmbH), bei dem mit einem Sensor punktweise eine Farbmessung erfolgt, deren Ergebnisse (Farbton, Helligkeit und Sättigung des vermessenen Punktes) über einen Lautsprecher ausgegeben werden. Die lokale Farbmessung mit einem einzigen Sensor besitzt die folgenden Nachteile.
Die menschliche oder visuelle Farbwahrnehmung in Bezug auf einen bestimmten Bereich im Gesichtsfeld (Punkt, Obηekt, Segment) ist einerseits von rein lokalen Eigenschaften dieses Bereichs abhangig (hauptsächlich vom lokalen Reflexionsgrad und von der spektralen Energieverteilung der Beleuchtung bzw. bei Selbstleuchtern von der ausgesandten Strahlung) . Andererseits ist die menschliche Farbwahrnehmung auch von der Umgebung des betrach- teten Bereiches abhangig. So laßt sich z.B. allem durch Änderung der Umgebung die wahrgenommene Farbe beeinflussen, was sich beispielsweise beim simultanen Farbkontrast bzw. bei der Farbinduktion und in extremer Form beim sogenannten Land-Effekt zeigt. Der Umgebungseinfluß auf die wahrgenommenen Farben eines bestimmten Bereiches nimmt mit zunehmenden Abstand ab. Die unmittelbare Umgebung ist somit von besonderer Bedeutung für die Farbwahrnehmung. In welcher Weise die Gradienten, die durch die Form von Objekten oder durch Inhomogenitäten der Beleuchtung hervorgerufen werden, sich auf die Farbwahrnehmung auswirken, ist bislang nur teilweise geklart. So ist beispielsweise die Farbkonstanzleistung des Gehirns (Invarianz der wahrgenommenen Objektfarbe bezüglich Beleuchtungsanderungen) erst zum Teil verstanden (siehe Publikation „Computational modeis of color constancy" A. C. Huribert in „Perceptual Constancy", Hrsg. V. Walsh et al . , Cambridge Umversity Press, Cambridge, 1998).
Beim lokal messenden Farberkennungsgerat werden die Umgebungsfarben nicht berücksichtigt, so daß die Farbwahrnehmung im allgemeinen verfälscht angegeben wird.
Außerdem muß das Farberkennungsgerat in die Nahe des zu messenden Objektes gebracht werden. Die Messungen beziehen sich nur auf die implementierten Lichtarten, so daß bereits die lokale Farbmessung starken Einschränkungen unterworfen ist. So schließt eine Punktmessung aus, daß zwischen Objekt- und Beleuchtungsfarbe unterschieden werden kann, sofern nicht eines von beiden bekannt ist. Für Farbwahrnehmungen, die stark von der Umgebung abhangen, wie z.B. "Braun" oder "Grau", kann das Gerat bauartbedingt keine richtigen Ergebnisse liefern.
Weitere Nachteile des herkömmlichen Farberkennungsgerates bestehen darin, daß keine Angaben über geometrische Objekteigenschaften wie z.B. die Objektgroße oder die Entfernung bestimmter Objekt im Raum geliefert können. Außerdem ist es nicht mog- lieh, Farben des Hintergrundes (z.B. des Himmels bzw. von Hintergrundsegmenten) zu vermessen.
Das Interesse an einer Farberkennung, mit der die menschliche Farbwahrnehmung simuliert wird, ist nicht auf das Gebiet der Sehhilfen beschränkt. Es besteht vielmehr auch im Bereich der Druck-, Lebensmittel- und Chemieindustrie sowie im Graphik- und Designbereich ein Bedarf an möglichst objektiven Mitteln zur Objekterfassung, insbesondere zur Erfassung der Farbwahrnehmung von farbigen Produkten.
In der Publikation von Q. Chen et al . in „Proc. of IEEE Intern. Conference on Computer Vision,, Cambridge, MA, USA, 1995, Seite 591 ff., ist ein Verfahren zum Erkennen menschlicher Gesichter in Bildern auf der Grundlage der Erfassung der Gesichtsfarbe bekannt. Dabei wird einzelnen Bildpixeln unter Verwendung einer Fuzzy-Klassifizierung jeweils eine Farbe zugeordnet und diese Farbe in Bezug auf die Zugehörigkeit zu bestimmten Gesichtsfarben untersucht. Die pixelweise Klassifizierung erlaubt allgemein keine Rückschlüsse auf die durch einen Beobachter wahrge- nommmene Farbe. Nur in Kombination mit anderen Eingangsinformationen (geometrische Informationen oder Informationen aus Vergleichsbeispielen) wäre eine Zuordnung zu Wahrnehmungsklassen möglich. Dies kann für spezielle Objekte mit bekannten charakteristischen Eigenschaften sinnvoll sein, besitzt aber in Anbetracht der praktisch unendlichen Zahl von Objekten und Betrachtungsbedingungen eine ungenügende Leistungsfähigkeit. Dies gilt insbesondere bei der Anwendung als Sehhilfe, bei der im allgemeinen keine Zusatzinformationen über Objekte im Sehfeld gegeben sind. Die Technik gemäß Q. Chen et al. ist für eine allgemein anwendbare Farberkennung mit Simulierung der menschlichen Farbwahrnehmung somit ungeeignet.
Ein weiteres Farbklassifikationsverfahren ist aus der Publikation von K.-H. Franke et al . in „Mustererkennung 1994", 16. DAGM-Symposium, Wien, Springer-Verlag, Seite 624 ff., bekannt, das speziell auf die Erkennung von Mikrodefekten auf Halblei- teroberflachen zugeschnitten ist. Dieses Verfahren ist im wesentlichen durch dieselben Beschrankungen nachteilig, die oben unter Bezug auf die Gesichtserkennung genannt wurden. So erfolgt eine Farbauswertung an Einzelpixeln unter der Vorgabe vorbestimmter Modellfarben. Eine Aussage über eine menschliche Farbwahrnehmung ist damit bestenfalls für die bekannten Halb- leiterstrukturen und deren bekannte Fehler möglich. Schon beim Auftreten neuer (unbekannter) Fehler wurde dieses herkömmliche Verfahren versagen.
Es ist die Aufgabe der Erfindung, verbesserte Verfahren zur optischen Ob ekterfassung anzugeben, die insbesondere eine Farbangabe zu einem erfaßten Objekt ermöglichen, die möglichst genau und reproduzierbar an die menschliche Farbwahrnehmung angepaßt ist und die einen erweiterten Anwendungsbereich in Bezug auf erfaßbare Objekte und/oder die technischen Anwendungsmog- lichkeiten besitzen. Die Aufgabe der Erfindung ist es auch, Vorrichtungen zur Implementierung derartiger Verfahren anzugeben .
Diese Aufgabe wird durch ein Verfahren bzw. eine Vorrichtung mit den Merkmalen gemäß Anspruch 1 bzw. 15 gelost. Ausfuhrungs- formen und Verwendungen der Erfindung ergeben sich aus den abhangigen Ansprüchen.
Das erfmdungsgemaße Verfahren umfaßt insbesondere eine Datenoder Bildaufnahme, eine Bildsegmentierung, bei der ein bestimmtes Objekt oder Bildsegment aufgrund eines für dieses Objekt im wesentlichen unveränderlichen Bildparameters von benachbarten Objekten abgegrenzt wird, und eine Klassifizierung der Objektfarbe durch Zuordnen von Farbparametern des segmentierten Objekts zu einem bestimmten Farbwert in einem Farbraum. Die Bildaufnahme erfolgt vorzugsweise mit einer Bildaufnahmeeinπch- tung, die zur Abbildung einer Objektanordnung in einer Szene und zur Bereitstellung vollständiger Bilddaten (Helligkeitsund/oder 'Farbwerte) des aufgenommenen Bildes, vorzugsweise in digitalisierter Form, eingerichtet ist. Der zur Bildsegmentierung bevorzugt herangezogene Bildparameter ist der Farbton. Die Objektklassifizierung erfolgt vorzugsweise unter Verwendung von Methoden der Fuzzy-Logik, wie z.B. Fuzzy-Clustering und/oder Fuzzy-Control .
Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt nach der Bildsegmentierung eine Segmentreduzierung, die auf eine Vereinfachung der Komplexität der Szene gerichtet ist. Bei der Segmentreduzierung werden die Bildpunkte, die zu dem erfaßten Objekt oder Bildsegment gehören und eine fallabhängig komplizierte Segmentgeometrie bilden, durch eine Gruppe von Bildpunkten ersetzt, die eine Segmentfläche in Gestalt einer regelmäßigen, geradlinig oder schwach gekrümmten Grundform, (z.B. Rechteck, Kreis, Ellipse oder dergleichen) bilden. Das reduzierte Bildsegment wird vorzugsweise derart gewählt, daß es vollständig das ursprungliche Segment abdeckt. Beispielsweise ist vorgesehen, daß das zunächst erfaßte Objekt oder Bildsegment reduziert wird, indem es vollständig von einem rechteckigen Rahmen umgeben und die vom Rahmen eingefaßten Bildpunkte als das reduzierte Bildsegment erfaßt werden. Zur Ermittlung eines für das reduzierte Bildsegment charakteristischen Bildparameters wird über alle Farbwerte gemittelt, die den segmen- tierten Bereich, also im zunächst nicht reduzierten Bildsegment, auftreten. Die Segmentreduzierung stellt einen unerwarteten und für die folgende Objektklassifizierung wichtigen Vorteil dar. Es wurde festgestellt, daß das Ergebnis der erfindungsgemäßen Farberkennung durch die Segmentreduzierung nicht oder im Rahmen der jeweiligen Anwendung vernachlässigbar gering beeinflußt wird. Außerdem vereinfacht die Segmentreduzierung das im Rahmen der Objektklassifizierung durchgeführte Fuzzy- Control-Verfahren, dem die Zahl der für das Fuzzy-Control- Verfahren abzuarbeitenden Entscheidungen auf eine m der Praxis annehmbare Zahl reduziert wird.
Eine erfmdungsgemaße Vorrichtung erfaßt eine Daten- oder Bild- aufnahmeemrichtung, z.B. eine Digitalkamera, eine Segmentierungseinrichtung, eine Klassifizierungseinrichtung und eine Ausgabeeinrichtung. Gemäß einer bevorzugten Anwendung der Erfindung bildet die Vorrichtung ein Hilfsgerat für Sehschwache oder Blinde, das zur Erfassung von Objekten, zur Bestimmung von deren Große, Entfernung und Farbe und zur hörbaren oder tastbaren Ausgabe dieser Großen eingerichtet ist.
Unter optischer Objekterfassung wird hier die Erfassung der Farbwahrnehmung, Große, Position und/oder Entfernung vom Betrachter bzw. von der Bildaufnahmeemπchtung für ein Objekt in einer abgebildeten Szene verstanden. Ein Objekt ist ein im zweidimensionalen Bild aufgrund eines bestimmten Bildparameters von der Umgebung unterscheidbarer Ausschnitt (Segment) .
Bevorzugte Anwendungen der Erfindung liegen im Bereich der Erstellung von Sehhilfen und von Meßgeraten für die Druck-, Lebensmittel- und Chemietechnik sowie im Graphik- und Designbe- reich. Bei der erfmdungsgemaß Objekterfassung als Sehhilfe wird neben der genannten Klassifizierung der Objektfarbe auch eine Klassifizierung geometrischer Objektparameter oder eine Objekterkennung (z.B. Schrifterkennung) vorgenommen. Die Ausgabeeinrichtung ist für sehbehinderte Personen vorzugsweise durch einen Lautsprecher gegeben. Die Sehhilfe erlaubt insbesondere die Orientierung und ein sicheres Bewegen im Raum.
Die Erfindung besitzt die folgenden Vorteile. Mit dem erfin- dungsgemaßen System wird reproduzierbar ein Zusammenhang zwischen physikalischen (photometrischen) Meßgroßen und der menschlichen Farbwahrnehmung hergestellt. Dabei werden vorteil- hafterweise nicht die Farbmerkmale einzelner Bildpunkte, son- dern ganzer Bildsegmente und die Farbmerkmale des Umfeldes der Bildsegmente erfaßt, die für die Farbwahrnehmung von Bedeutung sind. Erstmalig werden ein Segmentierungsverfahren und Elemente der Fuzzy-Logik (Eingangs- und Ausgangsgroßen für die Fuzzy- Inferenz, Operatoren und Regeln) n einer optimal an die menschliche Farbwahrnehmung von unbekannten Objekten in realen Szenen (z.B. Lebensraum in täglicher Umgebung) angepaßten Weise gewählt
Die Erfindung besitzt einen breiten Anwendungsbereich und ist insbesondere gut für Applikationen bei Alltagssituat onen anwendbar. Es wird eine Farberkennungsemrichtung geschaffen, die neben den photometrischen Meßdaten auch erlaubt, Eigenschaften der Neurologie, Physiologie und Psychologie des Sehens sowie linguistische, semantische und kulturelle Aspekte der Farbwahrnehmung zu berücksichtigen. Es wird eine zuverlässige Sehhilfe für Blinde oder Farbfehlsichtige geschaffen, mit der auch vom Betrachter entfernt angeordnete Objekte sicher erfaßt und klassifiziert werden können. Es ist möglich, sowohl die Farbwahrnehmung als auch die Großen-, Positions- und Entfernungsbestimmung m einem Gerat zu integrieren. Die mit der Erfindung erstmalig simultan implementierte Erfassung sowohl der Farbwahrneh- mungsmformation als auch der Entfernungsinformation stellt einen wichtigen Vorteil der Erfindung bei Sehhilfeanwendungen dar. Es ist die Erfassung verhältnismäßig komplexer realer Szenen, auch m kleinen, geschlossenen Räumen mit einer Vielzahl von Objekten möglich. Die erfmdungsgemaße Vorrichtung kann aus an s ch, kommerziell verfugbaren Komponenten aufgebaut sein, so daß das System kostengünstig hergestellt werden kann. Die er- f dungsgemaße Vorrichtung laßt sich miniaturisieren, so z.B. bis hm zum Aufbau einer w e e ne Brille getragenen Sehhilfe, wobei die Ausgabeeinrichtung als Ohrhörer implementiert wird. Die Erfindung ist in der Farbforschung (Entwicklung von Far- braumen und Wahrnehmungsmodellen) anwendbar und für spezielle Anwendungen bei Verwendung der Fuzzy-Logik-Methoden optimal adaptierbar .
Im Gegensatz zu herkömmlichen Techniken bietet die Anwendung der Erfindung als Sehhilfe erstmalig die Möglichkeit für die Betroffenen, sich mit Hilfe eines einzigen Gerätes im Raum orientieren zu können. Über die Farbinformation wird die Orientierung und damit e n sicheres Bewegen im Raum ermöglicht. Die erfmdungsgemaße Erfassung der Farbwahrnehmung besitzt eine hohe Stabilität dahingehend, daß auf der Grundlage von Ent- scheidungsregeln, die an einfachen Testobjekten ermittelt wurden, beliebige Bildsituationen der natürlichen Umwelt zuverlässig ausgewertet werden können.
Weitere Vorteile und Einzelheiten der Erfindung werden im folgenden unter Bezug auf die beigefugten Figuren beschrieben. Es zeigen
F g. 1 ein Flußdiagramm zur Illustration des erf dungsgema- ßen Verfahrens,
Fig. 2 ein Flußdiagramm des Ablaufs einer Daten- oder Bilderfassung,
Fig. 3 ein Flußdiagramm des Ablaufs einer Segmentierung,
Fig. 4 ein Flußdiagramm zur Illustration von Fuzzy-Methoden,
Fig. 5 ein Bildbeisp el zur Illustration der Segmentierung,
Fig. 6 ein Bildbeispiel zur Illustration der Segmentreduzierung,
Fig. 7 einen dreidimensionalen RGB-Farbraum mit acht Hy- perspharen und zugehörigen Cluster-Zentren, Fig. 8 eine graphische Illustration einzelner Regelsatze einer Fuzzy-Inferenz, und
Fig. 9 eine Blockdarstellung einer erf dungsgemaßen Vorrichtung .
Die Erfindung wird im folgenden am Beispiel eines Systems zur Objekterfassung beschrieben, das als Sehhilfe eingerichtet ist. Bei anderen Anwendungen der Erfindung werden die erläuterten Verfahrensweisen analog implementiert, wobei jedoch ggf. Modifizierungen m Bezug auf die Datenerfassung und die Ergebnisausgabe erfolgen.
Entsprechend der Ubersichtsdarstellung gemäß Fig. 1 erfaßt e erfmdungsge aßes Verfahren die Schritte Datenerfassung 20, Segmentierung 30, Farbklassifizierung 40 und Ergebnisausgabe 50. Vor Beendigung des Verfahrens (Ende 60) erfolgt e nach dem Klassifizierungsergebnis ggf. zeitgleich vor oder simultan zur Ergebnisausgabe em Rucksprung zur Datenerfassung 20 oder Segmentierung 30, um ggf. eine Fokussierung auf em bestimmtes Objekt oder eine veränderte Segmentierung vorzunehmen. Nach der Segmentierung 30 sollte der Schritt Segmentreduzierung 30a vorgesehen sein. D e Segmentreduzierung 30a besitzt Vorteile für die spatere Anwendung der Entscheidungsregeln bei der Fuzzy- Inferenz (Reduzierung der Regelzahl), stellt jedoch kein zwingendes Merkmal der Erfindung dar. Einzelheiten der Schritte 20 bis 40 sind in den Figuren 2 bis 4 dargestellt.
Die Datenerfassung 20 (oder Bilderfassung) umfaßt gemäß Fig. 2 zunächst einen Systemabgleich 21, bei dem eine Bildaufnahmeeinrichtung (z.B. Digitalkamera oder Scanner) zur folgenden Bildaufnahme 22 vorbereitet wird. Der Systemabgleich 21 umfaßt beispielsweise bei kommerziell verfugbaren Kameras einen automatischen Weißabgleich (Abstimmung auf d e verwendete Lichtart - WO 00/13143 ι rL PCT/EP99/06240
z.B. Kunst- oder Tageslicht, wobei beispielsweise der hellste Bildpunkt als weiß bzw. als Farbe der Lichtquelle interpretiert wird) oder eine automatische Belichtungsmessung in Kombination mit einer Verstarkungssteuerung (z.B. Abstimmung unter der Voraussetzung, daß dem hellsten Bildpunkt die größtmöglichen Farbwerte zugewiesen werden) . Mit derartigen Formen des Systemab- gleichs ist in der Regel eine ausreichende Reproduktion der Farben der aufgenommenen Szene möglich. Der Systemabgleich 21 kann jedoch speziell angepaßte Algorithmen oder Kalibrierungen verwenden, um die Bildaufnahme auf konstrastarme Szenen oder auf Bildszenen mit extremer Beleuchtung abzustimmen.
Beim Systemabgleich 21 kann auch eine Entfernungsmessung durchgeführt werden. Hierzu wird beispielsweise ein kamerainternes, auf Kontrastbeziehungen basierendes Autofocus-System oder auch für Prazisionsmessungen eine laser-basierte Entfernungsmessung verwendet .
Nach der eigentlichen Bildaufnahme 22 zur Erstellung eines digitalen Farbbildes (Belichtungs- oder Scan-Vorgang) folgt die Bilddatenerzeugung 23 durch Bildung eines Datensatzes, der die Rot-, Grün- und Blauwerte (R-, G-, B-Werte) jedes Pixels des digitalen Farbbildes, die jeweils diskrete Werte zwischen einem minimalen und einem maximalen Wert annehmen können, umfaßt. Die Bilddaten umfassen somit drei Farbebenen mit den R-, G-, B- Werten eines jeden Pixels. Die Pixelzahl eines mit einer Kamera aufgenommenen Digitalb ldes betragt beispielsweise 740 • 568 Pixel. Die Digitalisierungstiefe betragt z.B. 24 Bit (8 Bit pro Farbkanal), was rund 16,7 Millionen Farben entspricht. Parameter der digitalen Bildverarbeitung wie beispielsweise die Pixelzahl oder die Digitalisierungstiefe können jedoch anwen- dungsabhangig variiert werden.
Bei der Segmentierung 30 erfolgt gemäß Fig. 3 zunächst eine Farbtransformation 31 von den einzelnen R-, G- und B-Ebenen des Farbbildes in einen an die weitere Segmentierung (s. unten) angepaßten Farbraum. D e Farbtransformation 31 ist anwendungsab- hangig em fakultativer Schritt, der jedoch aus den folgenden Gründen bei der Implementierung der Erfindung als Sehhilfe bevorzugt realisiert wird.
Die Betrachtung der einzelnen R-, G- und B-Ebenen eines Farbbildes zeigt, daß der RGB-Farbraum nur beschrankt zur sprachüblichen Charakterisierung von Farben und zur Bildsegmentierung geeignet ist. So kann beispielsweise aus den R-, G- und B- Anteilen eines Objekts nur unter wohldefmierten Bedingungen auf die wahrgenommene Farbe ruckgeschlossen werden. Da die im RGB-Bild enthaltenen Informationen die Objekte in Bezug auf die Farbe und (abgesehen von der Dimensionsreduzierung bei 2D- Bildern) auch Geometrie vollständig charakterisieren, besteht das Ziel der Farbtransformation 31 darin, diese Informationen einen optimalen auswertbaren Parameterraum (Farbraum) zu übertragen .
Die Farbtransformation 31 der RGB-Werte kann beispielsweise eine lineare Transformation z.B. in CIE-XYZ-Werte oder in Farbwerte, die den Zapfensignalen im Auge entsprechen (LMS-Signale) oder nichtlineare Transformationen in Farbraume umfassen, die der menschlichen Wahrnehmung und der üblichen farblichen Beschreibung der Farbwahrnehmung besser angepaßt sind. Diese Farbraume umfassen beispielsweise den HSL-Raum (Farbton- Sattigung-Helligkeit oder Hue-Saturation-Lightness-Raum) , einen HSV-Raum, den CIE-L*a*b*- oder CIE-L*habC*ab -Raum, den CIE- L*u*v*-Raum oder dgl . Die Farbtransformation 31 kann auch in jungst entwickelte Farbwahrnehmungsraume (entsprechend den sog. "Color Appearance"-Modellen, wie das CIE-CAM '97 nach R.W.G. Hunt, oder den RLAB-Raum nach M. D. Fairchild) mit Dimensionen wie "Bπghtness" , "Lightness", "Colorfullness" , "Chroma", "Hue", oder "Saturation" fuhren (s. hierzu auch Mark D. Fairchild "Color Appearance Models", Edison-Wesley, 1998). Nach der Farbtransformation 31 erfolgt im Zielfarbraum eine Parameterwahl 32, bei der eine Dimension oder em Parameter des Zielfarbraumes ausgewählt wird, der innerhalb eines Objekts oder Segments nahezu konstant ist und sich an Objektgrenzen möglichst stark ändert. Diese Parameterwahl 32 erfolgt somit anwendungsabhangig je nach gewähltem Zielfarbraum.
Die Segmentierung 30 erfolgt vorzugsweise mit einer Farbtransformation 31 vom RGB-Bild in den HSV- oder L*habC*ab-Raum, wobei als bevorzugter Parameter der H-Wert (Farbton oder Hue-Wert) gewählt wird. Der H-Wert zeigt sich innerhalb eines einfarbigen Objekts in einer dreidimensionalen Szene ausreichend konstant. Die Segmentierung erfolgt daher vorzugsweise in der Farbton- Ebene, in der sich die Objekte bzw. Hintergrundbereiche besonders effektiv voneinander trennen lassen.
Im weiteren Verfahren erfolgt zunächst die Startpixelwahl 33. E bestimmtes Pixel der Szene in der Farbton-Ebene wird als Startpixel für die weitere Segmentierung ausgewählt. Eine typische Wahl ist beispielsweise em Pixel n der Bildmitte oder in einem vorher ermittelten Bereich. Dieser vorher ermittelte Bereich zeichnet sich beispielsweise durch besondere Bildmerkmale aus, die eine Unterscheidung eines Objekts von der jeweiligen Umgebung z.B. aufgrund des Farbtons, des Kontrasts, der Helligkeit oder dergleichen erlauben. Die Segmentierung kann auch dahingehend modifiziert sein, daß nicht em bestimmtes Objekt ausgewählt wird, sondern daß das gesamte Bild segmentiert wird. Das komplette Digitalbild wird wie folgt in relevante Segmente eingeteilt. Das Bild wird vollständig in em zu bestimmendes Objekt (eine zusammenhangende Pixelflache) und dessen Umgebungssegmente sowie eventuelle Locher segmentiert. Mittels Ge- wichtung der Umgebungssegmente und Locher (hier gehen die Entfernung, Große, Position und Kontrast usw. bezüglich des zu bestimmenden Objektes em) wird unter Verwendung von Fuzzy- Control-Klassiflzierungsverfahren die wahrgenommene Farbe berechnet. Anschließend erfolgt ggf. die Bewertung und Klassifizierung jedes weiteren Segments in Bezug auf alle anderen Segmente z.B. mit dem Fuzzy-Control-Verfahren, wie es unten erläutert wird.
Beim nachfolgenden Segmentwachstum 34 werden zuerst die an das Startpixel angrenzenden Pixel erfaßt, deren H-Wert eine Differenz vom H-Wert des Startpixels zeigt, die kleiner als em vorbestimmter Schwellwert ist. Anschließend werden die angrenzenden Pixel der beim ersten Schwellwertvergleichsschritt ermittelten Nachbarpixel des Startpixels untersucht, ob der H-Wert innerhalb eines vorbestimmten H-Intervalls um den H-Wert des Startpixels liegen. Durch diese Schwellwertvergleichsschritte erfolgt ausgehend vom Startpixel das Wachstum einer Pixelgruppe bis an die Grenzen des entsprechenden Objekts, in dessen Abbil- dungsbereich der Startpixel liegt, da an den Grenzen die H- Werte starker als die zugelassene Toleranz (H-Intervall) veränderlich sind.
Es wurde festgestellt, daß die beim Segmentwachstum 34 ausgewählten Bereiche in der Regel gut mit Grenzen oder Segmentgrenzen des Hintergrundes übereinstimmen. Außerdem hat sich gezeigt, daß be diesem Segmentwachstum Reflexe der Lichtquelle (häufig weiß) nicht mit ausgewählt oder segmentiert werden, selbst wenn sie innerhalb des betrachteten Objektes liegen. Dies ist em besonderer Vorteil des erfmdungsge aßen Verfahrens, da sich die Klassifizierung der Farbwahrnehmung unabhängig von Reflexen in vielen Fallen als vorteilhaft erweist, da sich Reflexe nachteilig auf die Mittelwertbildung bzw. Integration über die Objektflache auswirken. Es ergeben sich zwar Einschränkungen bei der Ausgabe der Objektausdehnung, die bei praktischen Anwendungen als Sehhilfe jedoch in der Regel von geringer Bedeutung sind, was im Einzelfall vom Bildinhalt abhangen kann. Bei der folgenden Beurteilung 35 wird das ermittelte Segment oder Objekt Bezug auf seine geometrischen Eigenschaften bewertet. Falls em ausgewähltes Objekt bestimmten Randbedingungen nicht genügt, die zuvor festgelegt werden, z. B. wenn der gesamte Bildmhalt oder nur e Pixel ausgewählt ist, so besteht die Möglichkeit eines Rucksprungs zur Parameterwahl 32 und/oder zur Startpixelwahl 33. Diese Schritte können mit dem Segmentierungswachstum 34 und einer Beurteilung 35 so oft wiederholt werden, bis em ausreichend bestimmtes Ergebnis vorliegt. Anschließend erfolgt eine Grenzermittlung 36. Dabei wird die äußere bzw. innere Umrandung des gewachsenen Objekts als Datensatz ermittelt. Die Objektsegmentierung umfaßt somit die Ermittlung aller Bildpunkte innerhalb der Umrandung.
Figur 5 zeigt beispielhaft eine bei Abbildung einer Ampel 50 (in der Originalvorlage : rote Farbe des Ampelmannchens) ermittelte Grenze 51 des durch die Figur gebildeten Bereiches gleichen Farbtons .
Das hier vorgestellte Segmentierungsverfahren eignet s ch vorteilhafterweise auch für die zweidimensionalen Bilder von realen komplexen Szenen mit dreidimensionalen Objekten. Falls die betrachteten Szenen in der Farb-tonebene keine Informationen über die Objektgrenzen liefern, so müssen Informationen aus anderen Ebenen des jeweiligen Farbraumes oder sogar aus anderen Farbraumen hinzugezogen werden. Hierzu ist beispielsweise e Rucksprung vom Beurteilungsschritt 35 zur Farbtransformation 31 implementierbar .
Die Objektsegmentierung gemäß Fig. 3 ist kein zwingendes Merkmal des erfmdungsgemaßen Verfahrens . Anwendungsabhangig kann die Segmentierung vollständig unterlassen oder durch einen anderen Segmentierungsvorgang ersetzt werden, bei dem Objekte und Segmentgrenzen nicht aufgrund der Farbe sondern mit anderen Merkmalen erkannt werden (z.B. Segmentierung durch Beobachtung zeitabhängiger Positionsanderungen von Objekten oder der Kamera oder durch Verwendung von Kanten-Detektionsalgoπthmen (z. B. Gradientenverfahren) ) . Bei der Segmentierung konnten dann auch Angaben über die Objektgeschwindigkeit, Bewegungsrichtung, Beschleunigung und dergleichen als Ergebnis geliefert werden. Nach der Grenzermittlung 36 erfolgt fakultativ die Segmentreduzierung 30a (siehe auch Figur 1) . Bei der Segmentreduzierung 30a werden die innerhalb der Umrandung ermittelten, zum Segment gehörigen Bildpunkte durch eine größere Bildpunktmenge ersetzt, die d e zum Segment gehörigen Bildpunkte und weitere Bildpunkte zur Bildung einer vereinfachten Segmentflache umfaßt. Beispielsweise wird im Rahmen der Segmentreduzierung 30a das in Figur 6 illustrierte, zunächst ermittelte unregelmäßige Bildsegment 61 durch das reduzierte Bildsegment 62 ersetzt. Das reduzierte Bildsegment 62 ist beispielsweise, wie dargestellt, em Rechteck mit Seitenlangen, die den maximalen Ausdehnungen des ursprünglichen Bildsegments m zwei zu einer senkrecht stehenden Richtungen entsprechen. Alternativ kann z.B. auch em reduziertes Bildsegment 63 in Form einer Ellipse gebildet werden. Nach Ermittlung aller zum reduzierten Bildsegment gehörigen Bildpunkte wird dem reduzierten Bildsegment em mittlerer Farbwert zugeordnet, der dem Mittelwert über sämtliche Farbwerte im ursprünglich segmentierten Bereich entspricht.
Im folgenden wird die Klassifizierung 40 der Objektfarbe (s. Fig. 1) unter Bezugnahme auf das Flußdiagramm gemäß Fig. 4 und die Darstellung der Cluster-Zentren im RGB-Farbraum gemäß Fig. 6 erläutert. Zur Farbklassifizierung werden Methoden der Fuzzy- Logik verwendet. Hierzu zahlen insbesondere die im folgenden als Fuzzy-Clustermg bezeichnete einfache Cluster-Zuordnung und die im folgenden Fuzzy-Control bezeichnete komplexere Cluster- Zuordnung . Ausgangspunkt der Klassifizierung ist das Fuzzy-Clustermg. Die Kombination mit Fuzzy-Control oder die iterative, wiederholte Abarbeitung beider Verfahrensweisen (zur Erzeugung von Unterklassen übergeordneter Hauptklassen) sind fakultativ zur Verbesserung des Verfahrens realisierbar. Gemäß einer Ausfuhrungsform der Erfindung ist jedoch auch Fuzzy-Control, das genauere Farbwahrnehmungsangaben ermöglicht, alle e und ohne das vorherige Fuzzy-Clustermg implementiert, was zwar schneller Farbwahrnehmungsangaben ermöglicht, dies jedoch mit einer gröberen Einteilung .
Beim Fuzzy-Clustermg werden vorbestimmte Bezugs-Farbraume in unscharfe Hyperspharen eingeteilt, in deren Zentren jeweils die wichtigsten Repräsentanten einer Wahrnehmungsklasse liegen. Dies bezieht sich beispielsweise auf Farbton-, Helligkeits- oder Sattigungsklassen oder auf die von Berlin und Kay ermittelten elf Farbklassen bezüglich der Benennung von Farben. Einem segmentierten Objekt wird dann em Farbmerkmal durch dessen Lage in Bezug auf die Hyperspharen bzw. die Cluster-Zentren zugeordnet. Bei der Fuzzy-Control-Klassiflzierung erfolgt diese Zuordnung zusätzlich unter Berücksichtigung von weiteren, komplexen Merkmalen der Szene, wie z.B. den Farbwerten von Umgebungsobjekten, Kontrastbeziehungen zu anderen Bildsegmenten, Abhängigkeiten von der Beleuchtung und dgl . Die mathematischen Grundlagen zu den Verfahren Fuzzy-Clustermg und Fuzzy-Control sind an sich bekannt und werden beispielsweise in den Buchern von H. Kiendl ("Fuzzy Control methodenorientiert", Oldenbourg Verlag, 1997), H.R. Tizhoosh ("Fuzzy Bildverarbeitung, Einfuhrung in Theorie und Praxis"), Springer Verlag, 1998, und L.A. Zadeh ("Fuzzy sets", in: "Information and Control" 8, 1965, 338-353) beschrieben.
Zusatzlich zu Fuzzy-Clustermg und Fuzzy-Control können erfm- dungsgemaß sogenannte neuronale Fuzzy-Systeme implementiert werden, die lernfahig sind und nach entsprechenden Trammgs- _
Vorgängen Bildszenen verarbeiten können, die nicht vorher gelernte Bilddatensätze beinhalten. Der besondere Vorteil der Fuzzy-Control-Klassifizierung besteht darin, daß anwendungsabhängig eine beliebige Genauigkeit allein durch die Anzahl der berücksichtigten Regeln erzielt werden kann, ohne den bereits erzielten Präzisionsgrad zu verringern. Die Fuzzy-Control- Klassifizierung erlaubt beliebig viele Fallunterscheidungen unter Verwendung der unten erläuterten "WENN-DANN-Regeln" . Außerdem erlauben Fuzzy-Control-Verfahren eine Simulation des visuellen Wahrnehmungsprozesses analog zum Gehirn, wobei die Verarbeitung in verschiedenen Stufen erfolgt, die im Gehirn der Retina, den sogenannten seitlichen Kniehöckern, dem primär visuellen Cortex, höheren Cortex-Ebenen, mit Modulen für Form, Farbe und Bewegung und dgl . zugeordnet werden können. Zwischen diesen Strukturen bzw. beim Fuzzy-Control-Verfahren zwischen den Merkmalsdimensionen besteht ein ständiger Informationsaustausch mit Zugriffen und Rückkopplungen zu den verschiedenen Verarbeitungsstufen .
Gemäß Fig. 4 wird beim Fuzzy-Clustering 41 wie folgt vorgegangen. Nachdem wie oben beschrieben zur Segmentierung des digitalen Bildes einer Videokamera unter Verwendung der Farbtonebene die Fläche um einen Startpixel in Richtung aller angrenzenden Pixel ausgedehnt wird, bis ein vorbestimmter Farbtondifferenz- Schwellwert überschritten ist, und damit ein bestimmter, einem Objekt oder Segment zugeordneter Bildbereich festgelegt ist, werden die Bildpunkte dieses segmentierten und ggf. reduzierten Bildbereiches im RGB-Raum betrachtet. Bei der RGB-Mittlung 42 werden alle zum Bildbereich gehörenden RGB-Werte gemittelt und zu einem Tripel aus RGB-Werten zusammengefaßt. Dieses Tripel mittlerer RGB-Werte besitzt eine bestimmte Position im RGB- Farbraum, der wie folgt in acht Objektfarbklassen (Hyperspharen eingeteilt ist) . Fig. 7 zeigt beispielhaft den RGB-Farbraum mit den acht Objektfarbklassen Schwarz, Weiß, Rot, Grün, Gelb, Blau, Cyan und Violett. Die Cluster-Zentren finden sich an den Ecken eines Wurfeis (RGB-Wurfel) . Bei dem in Fig. 7 gezeigten RGB-Wurfel gehört z.B. das RGB-Tripel mit den Werten (0/0/0) zu 100 % zur Farbklasse "Schwarz". Dementsprechend wird e Zugehorigkeits- wert ermittelt, der die Zugehörigkeit eines bestimmten Tripels zu einer Farbklasse mit einer %-Angabe beschreibt. Der Zugeho- rigkeitswert μ für das Tripel (0/0/0) betragt beispielsweise für die Klasse "Schwarz" μ=l und für alle anderen Farbklassen μ=0. Die Zugehorigkeitswerte μ werden beim Fuzzy-Clustermg unter der Nebenbedingung ermittelt, daß sich die Zugehorigkeitswerte eines Tripels in Bezug auf alle Farbklassen zu 1 addieren. Die Berücksichtigung einer solchen Nebenbedingung ist jedoch nicht zwingend erforderlich. Die Zugehorigkeitswerte μ werden beispielsweise nach dem sogenannten "Fuzzy-c-Means"- Algoπthmus (FCM) berechnet, der eine unscharfe Klassifizierung erlaubt (s. R.H. Tizhoosh in "Fuzzy-Bildverarbeitung . Einführung in Theorie und Praxis", Springer Verlag 1998, S. 106 ff.). Bei der Cluster-Ermittlung am RGB-Wurfel werden beispielsweise folgende relevante Parameter vorgegeben:
- Anzahl der Klassen: 8
(Schwarz, Weiß, Rot, Grün, Blau, Gelb, Cyan, Violett)
Alternativ ist eine Entwicklung auf elf Farbklassen (gegebenenfalls unter Berücksichtigung des Umfeldes mit Fuzzy-Control- Klassifizierung) möglich (Schwarz, Weiß, Rot, Grün, Blau, Gelb, Violett, Rosa, Orange, Braun, Grau) .
- Anzahl der Merkmale der einzelnen Objekte: 3
(R-, G-, B-Werte)
- Wichtungsexponent (Maß für die Unscharfe) : 2
- Initialisierungsmatπx : Einheitsmatrix
- Abbruchsschwelle: 0.001 Die Nebenbedingung, daß die Summe aller Zugehorigkeitsgrade μ=l ist, kann bei Modifizierung des Fuzzy-Clustermg-Verfahrens (z.B. Ansatz nach dem "Possiblistic c-Means"-Verfahren) fallengelassen werden.
Das FCM-Verfahren ist auf kugelförmige Hyperspharen beschrankt. Es können alternativ andere Fuzzy-Clustermg-Verfahren vorgesehen sein, deren Sphären kompliziertere Formen umfassen. Dies ist von Vorteil, da die menschliche Farbwahrnehmung nicht voll- standig mit kugelförmigen Hyperspharen beschrieben werden kann. Eine weitere Verbesserung der Farbwahrnehmungsangabe wird durch die Implementierung der Fuzzy-Control-Klassifizierung (s.u.) erreicht .
Nach der RGB-Mittlung 42 erfolgt somit die Ermittlung der Zugehorigkeitswerte μ (43). Em RGB-Tripel kann beispielsweise für em konkretes Objekt die folgenden Zugehorigkeitswerte besitzen: Schwarz: 0,1, Weiß: 0,2, Rot: 0,5, Grün: 0,0, Gelb: 0,1, Blau: 0,0, Cyan: 0,0, Violett: 0,1.
Im weiteren Verfahren erfolgt die Ermittlung des maximalen Zu- gehoπgkeitswertes μmax (44). Gemäß einer ersten Ausfuhrungsform der Erfindung wird als Ergebnis für die Objektfarbe des segmentierten Objekts der Name der Farbklasse mit dem größten Zugeho- πgkeitswert μmax angegeben. Dies ist beim o.g. Beispiel der Zu- gehorigkeitswert μ = 0,5, so daß sich die Objektfarbe "Rot" ergibt. Dieses Ergebnis wird dann mit der Datenausgabe 45a zur weiteren Verarbeitung vorbereitet. Alternativ kann vorgesehen sein, daß zusatzlich die Farbklasse mit dem zweitgrößten Zuge- horigkeitsgrad μ ausgeben wird, falls die Differenz zwischen dem ersten (größten) und zweiten (zweitgrößten) Zugehoπgkeits- grad kiemer als em vorbestimmter Schwellwert ist. Die Ergebnisausgabe wurde dann beispielsweise lauten "Rot-Weiß". Gemäß einer zweiten Ausfuhrungsform der Erfindung schließt sich an das Fuzzy-Clustermg die weitere Klassifizierung durch Fuzzy-Control 46 an, wie es unten im einzelnen erläutert wird. Die hier beschriebene Klassen- oder Clusterzuordnung erfolgt unter dem beispielhaften Bezug auf den RGB-Raum. Die Wahl des zum Fuzzy-Clustermg herangezogenen Farbraumes ist anwendungsabhan- gig modifizierbar. Entsprechendes gilt für die genaue Lage der Cluster-Zentren (Zentren der Hyperspharen oder Farbklassen) im Farbraum. Es ist vorzugsweise vorgesehen, die Lage der Cluster- Zentren auf der Grundlage von Expertenwissen vorzugeben oder anhand von Beispielen zu bestimmen. Ferner muß die exakte Form der Hyperspharen im Farbraum anwendungsabhangig gewählt werden. Es ist möglich, durch Hinzαnahme weiterer Dimensionen bzw. durch Verschieben der Cluster-Zentren und durch Verwendung verschiedener Clusteralgorithmen im Raum der Hyperspharen eine Anpassung des Fuzzy-Clustermg an die konkrete Wahrnehmungsanwendung vorzunehmen. Dabei kann auch iterativ anhand von Bezugsobjekten mit definierten Farben vorgegangen werden. Die Zahl der Hyperspharen laßt sich gegenüber dem Beispielwert 8 erhohen oder erniedrigen.
Bei der folgenden Fuzzy-Control-Klassifizierung 46 werden wie beim Fuzzy-Clustermg 41 αie Farbwerte des auswählten oder segmentierten Objekts betracntet. Im Rahmen der Schritte 47a, 47b, 47c ... werden Zusatzparameter ermittelt, d e bei der spateren Regelung oder Zuordnung von Farb-Clustern berücksichtigt werden sollen. Zu diesen Zusatzparametern zahlen beispielsweise die Umgebungsfarben (47a) (hierzu wird das gesamte Bild segmentiert) , die Beleuchtung (47b), Positionsparameter (47c), zusatzliches Expertenwissen (47d) und dgl. Zu den Beleuchtungsparametern (47b) zahlen beispielsweise die Beleuchtungsart (Spotbeleuchtung, homogene Beleuchtung, mehrere Lichtquellen o. dgl.), Farbwerte der Beleuchtung und die Beleuchtungsrichtung. Die Positionsparameter können sich auf die geometrische Anordnung der Objekte oder Abs andsmformationen oder dgl. beziehen. Das zusätzliche Expertenwissen kann beispielsweise aus der Verteilung der Farbwerte extrahiert oder über zusätzliche Gerate erfaßt werden und betrifft z.B. Oberflacheneigenschaften der betrachteten Objekt (Rauheit, Glanz) oder dgl.. Nach der Ermittlung der Zusatzparameter (47) folgt die eigentliche Regelung/ Klassifizierung des Fuzzy-Control. Bei der Fuzzy-Inferenz 48 werden die gewünschten Farbmerkmale eines segmentierten Objekts mit Hilfe von "WENN-DANN"-Regeln (Entscheidungsregeln) eines Fuzzy-Reglers berechnet.
Die Implementierung der "WENN-DANN-Regeln" erfolgt beispielsweise gemäß folgendem Schema (sog. Fuzzy-In erenz ) :
NENN Farbwerte des ausgewählten Objektes = (xι/x2/χ3) und Kontrastbeziehungen zum Umfeld = ... (z.B. Farbwerte des ersten angrenzenden Objektes
(yι/y2/y3 ) und Werte der Beleuchtung = ... und
DANN wird das ausgewählte Objekt mit der Farbwahrnehmung
(z.B. Blau, Hell, gesattigt usw.) wahrgenommen und besitzt das Objekt einen Abstand von x Metern und ist y Zentimeter hoch und z breit, usw.
Entscheidungsregeln, die ausschließlich auf die L,a,b-Werte des Objektes (Center) und seines Umfeldes bezogen sind, können beispielsweise diese Form besitzen (zur Erläuterung des Term- Begπffes siehe unten) :
WENN L- -Umfeld = = Term 1 und a- -Umfeld = = Term 2 und b- -Umfeld = = Term 5 und L- -Center = = Term 4 und a- -Center = = Term 5 und b-Center = Term 8
Dann Weiss = Term 1
Bei derartigen Schemata können alle Informationen bekannter Wahrnehmungsmodelle und auch zeitliche Objektanderungen berücksichtigt werden.
Zur Ermittlung des Expertenwissens bzw. der Entscheidungsregeln (Schritt 47d) können Testreihen mit normalsichtigen Versuchspersonen durchgeführt werden. Das Expertenwissen kann in Form von Fuzzy-Regeln (ggf. iterativ) zur Verwendung in der Fuzzy-Inferenz 48 implementiert werden. Im folgenden wird die Fuzzy-Inferenz 48 mit einer Vielzahl von Entseheidungsregeln auf der Grundlage der zuvor bestimmten Objekt- und Umgebungsfarben (Schritt 47a) im einzelnen erläutert. Dabei wird von einer Bildauswertung mit Segmentierung und Segmentreduzierung und direkter Anwendung des Fuzzy-Control-Verfahrens (ohne das Fuzzy-Clustermg-Verfahren) ausgegangen.
Bei der Fuzzy-Inferenz 48 werαen die vorab ermittelten (gemessenen) Farbparameterwerte des reduzierten Segments (zum Beispiel Segment 62 in Figur 6) und des Umfeldes (siehe Bezugszeichen 64 in Figur 6) mit einer Vielzahl vorab ermittelter und gespeicherter Entseheidungsregeln ausgewertet. Die Entseheidungsregeln bilden einen Regelsatz, der wie folgt durch Versuchsreihen mit menschlichen Beobachtern erzeugt worden ist.
Die Ermittlung der Entseheidungsregeln erfolgt durch Versuchsreihen, bei denen Versuchspersonen auf einem Monitor synthetische Farbbilder mit einem mittleren Segment (z. B. 62 in Figur 6) und einem Umfeld (64 in Fig. 6) mit verschiedenen Farbmerkmalen (voreingestellte Farbparameterwerte, z. B. L,a,b-Werte) betrachten und jeweils die subjektive Farbwahrnehmung angeben. Die Farbmerkmale des Bildes und die Angabe der Versuchsperson werden als Eingangsgroßen bzw. Ausgangsgroßen auf der Basis so- genannter Eingangs- bzw. Ausgangs-Terme für die Entseheidungsregeln verwendet. Em Emgangs-Term ist eine Fuzzy-Menge, deren Elemente aus Farbparameterwerten und Zugehoπgkeitswerten bestehen, die jeweils die Zugehörigkeit der Farbparameterwerte zum Term charakterisieren. Em Ausgangs-Term ist eine Fuzzy- Menge, deren Elemente Farbwahrnehmungswerte (z.B. Rotanteil in %) und entsprechende Zugehorigkeitswerte in Bezug auf den Term umfassen.
Eine Gruppe von Entseheidungsregeln ist in Figur 8 illustriert. Figur 8 zeigt eine graphische Darstellung der Zuordnung von Ausgangsgroßen entsprechend den in der rechten Spalte angegebenen Farbwahrnehmungen zu bestimmten Kombinationen von Eingangsgroßen. Die Eingangsgroßen sind für das Segment in der Mitte (Center) für den L-Wert der Term 4 und für die a- (Abszisse) - Werte e Term zwischen Term 4 und Term 9 und für die b- Ordmate-Werte em Wert zwischen Term 4 und Term 8. Für das Umfeld gelten als Eingangsgrößen für a: Term 5, für b: Term 7 und für L: Term 3. Je nach Einstellung der a- und b-Werte des Segments gibt mindestens e ne Versuchsperson ihre Farbwahrnehmung an. Beispielsweise wird für a = 6 und b = 7 für das Segment in der Mitte „braun" wahrgenommen, wahrend sich für a = 9 und b = 4 eine Farbwahrnehmung „rosa" ergibt. Nach diesem Schema werden sämtliche, für eine konkrete Anwendung in Frage kommenden Ein- gangs-Term-Kombmationen (Reizkombination) für Versuchszwecke am Monitor dargestellt und die entsprechenden Entseheidungsregeln als Implikationen entsprechend dem obigen Schema aufgenommen und gespeichert. Jede vorgegebene Reizkombination fuhrt für ede Farbwahrnehmungsklasse zu jeweils einer neuen Entschei- dungsregel. Beim dargestellten Beispiel ergeben sich für jede Reizkombination 11 Entseheidungsregeln, deren Konklusionen für die wahrgenommene Farbwahrnehmungsklasse beispielsweise (Ausgangs-) Term 1 und für alle nicht wahrgenommenen Farbwahrneh- mungsklassen (Ausgangs- ) Term 0 lauten. Entsprechendes ist auch für andere Bildmerkmale (Kontrastbeziehungen oder dergleichen) möglich .
Ein für eine zuverlässige Farberkennung ausreichender Regelsatz kann rund 10.000 bis 100.000 oder auch mehr einzelne Entseheidungsregeln umfassen, die hier jedoch nicht im einzelnen aufgeführt werden können. Jede Entscheidungsregel ist entsprechend dem oben genannten Schema gebildet und umfaßt im einfachsten Fall eine Implikation mit zwei UND-verknupften Eingangsgroßen. Die Eingangsgroßen umfassen beispielsweise die Farbmerkmale des (reduzierten) Segments und des Umfeldes mit den L-, a- und b- Variablen im oben genannten L*a*b*-Farbraum. Dabei können die Helligkeits- (L) bzw. Färb- (a-, b-) Merkmale durch Fuzzy- Mengen (Zugehorigkeitsverteilungen, Emgangs-Terme) beschrieben werden .
Im Rahmen der Fuzzy-Inferenz 48 erfolgt nach der Messung (ggf. mit Klassifizierung) der Farbmerkmale (Farbparameterwerte) des Segments und des Umfeldes zunächst eine Emgangs-Term- Zuordnung. Der Wertebereich jedes Farbparameterwertes wird durch eine Gruppe von Emgangs-Termen überdeckt, die sich zumindest teilweise überlappen können. Die Zugehorigkeitsfunktio- nen der jeweiligen Emgangs-Terme besitzen beispielsweise die Gestalt einer Dreiecksfunktion. Für einen konkret gemessenen Farbparameterwert ergeben sich bei einfach überlappenden Termen zwei verschiedene Zugehorigkeitswerte zu zwei benachbarten Emgangs-Termen .
Es wird beispielsweise em Farbbild mit einem mittig angeordneten Segment und einem farbigen Umfeld betrachtet. Für die L- Emgangsgroßen werden sechs Emgangs-Terme und für die a- und b-Emgangsgroßen jeweils elf Emgangs-Terme ( Fuzzy-Mengen) verwendet. Das Ziel der Fuzzy-Inferenz 48 besteht nun darin, dem Segment einen Zugehorigkeitswert zu einer bestimmten (Färb-) wahrnehmungsklasse entsprechend der menschlichen Farbwahrneh- mung zuzuordnen. Diese Farbwahrnehmungsklasse wird unter Anwendung der unten erläuterten Operatoren aus elf möglichen Ausgangsgroßen ausgewählt, für die jeweils zwei Ausgangs-Terme verwendet werden. Die Zahl der verwendeten Terme kann anwen- dungsabhangig verändert werden.
Bei einem einfachen Segment-Umfeld-Reiz werden insgesamt sechs Eingangsgroßen (drei Merkmale für das Segment und drei Merkmale für das Umfeld) ausgewertet. Beim folgenden Beispiel werden jedoch aus Ubersichtlichkeitsgrunden nur zwei Eingangsgrößen (a, b) und eine Ausgangsgroße („weiss") betrachtet. Eine Entscheidungsregel soll z.B. heißen:
„ WENN a = Term 1 und b = Term 2, DANN „weiss" = Term 0". Der a-Wert (z.B.: 20) hat die Zugehörigkeit μ (a = 20) = 0.5 zum Emgangs-Term 1, wahrend der b-Wert (z.B.: 10) eine Zugehörigkeit μ (b = 10) = 0.3 zum Emgangs-Term 2 besitzt. Bei diesem Beispiel werden die Zugehörigkeiten zu weiteren Termen der Einfachheit halber nicht betrachtet.
Zur Auswertung der Entscheidungsregel erfolgt zunächst em Ag- gregationsschritt auf der Basis eines Minimum-Operators. Das „ und" wird als Minimum interpretiert, das bei der beispielhaft angegebenen Entscheidungsregel mit Mm (0.5 und 0.3) = 0.3 gegeben ist. Das Ergebnis des Aggregationsschrittes ist somit eine reine Zahl .
Es schließt sich der Implikationsschπtt an, der wiederum auf der Basis eines Minimum-Operators erfolgt. Die Ausgangsgroße „weiss" hat zwei überlappende Fuzzy-Mengen (Ausgangs-Term 0 und 1) . Der Minimum-Operator bildet aus den Elementen des Termes 0 und dem Erfullungsgrad der Regelpramisse (0.3) jeweils das Minimum (anschaulich bedeutet dies, daß der Term 0 auf der Hohe 0.3 abgeschnitten wird). Das Ergebnis dieses Schrittes ist eine Fuzzy-Menge, die insbesondere em Element einer Farbwahrneh- mungs-Ausgangsgroße und einen Zugehorigkeitswert entsprechend dem Minimum-Operator des Implikationsschπttes umfaßt.
Auf diese Weise (Aggregations- und Implikationsschritte) werden sämtliche Entseheidungsregeln durchgearbeitet, so daß sich eine Vielzahl von Fuzzy-Mengen entsprechend der Anzahl von Entseheidungsregeln ergeben. Im weiteren Verlauf der Fuzzy-Inferenz 48 werden diese Fuzzy-Mengen noch weiterverrechnet.
Hierzu erfolgt zunächst em Akkumulationsschritt mit einem Maximum-Operator. Bei diesem Schritt wird aus allen Fuzzy-Mengen, die aus den Implikationsschπtten gefolgt sind, eine neue Vereinigungsmenge gebildet, in dem das Maximum der Einzelmengen verwendet wird. Das Ergebnis ist wiederum eine Fuzzy-Menge.
Schließlich folgt zur Ermittlung eines zahlenmäßigen Ergebnisses, z.B. eines Zugehoπgkeitsgrades zwischen 0 und 1 für die Ausgangsgroße „weiss" em Defuzzyflzierungs-Schπtt, bei dem nach der Schwerpunktmethode der Schwerpunkt der resultierenden Fuzzy-Menge gebildet wird. Die Schwerpunktmethode wird beispielsweise von H. R. Tizhoosh et al . (siehe oben) beschrieben.
Zur Ergebnisausgabe wird die Ausgangsgroße mit dem größten Zu- gehorigkeitsgrad als Ergebnis angegeben, z.B. „grün". Falls die Zugehorigkeitsgrade nahe beieinander liegen, kann auch vorgesehen sein, daß als Ausgangsgroße zwei Farbwert mit dem größten und dem zweitgrößten Zugehoπgkeitsgrad angegeben werden, z.B. „grun-gelb" . Das Ergebnis der Fuzzy-In erenz 48 wird bei der Datenausgabe 45b zur weiteren Verarbeitung vorbereitet.
Es können auch andere Operatoren und Defuzzyflzierungsmethoden verwendet werden. Die Regelsatze müssen dann ggf. entsprechend angepaßt werden. Die beschriebene Methode besitzt jedoch den Vorteil einer hohen Robustheit und Leistungsfähigkeit. Die verwendete Fuzzy-Inferenz ist die sogenannte Mamdani-Inferenz . Er- fmsungsgemaß können auch mit anderen Fuzzy-Inferenzen und Defuzzyflzierungsmethoden Farbwahrnehmungen simuliert werden.
Der in Fig. 4 angegebene Schritt 49 bezeichnet eine weitere Modifizierung des erfmdungsgemaßen Verfahrens durch die Kombination der Fuzzy-Methoden mit neuronalen Netzwerken (neuronale Fuzzy-Systeme) , wodurch eine Lernfähigkeit des Systems erzielt wird. Es kann vorgesehen sein, daß das neuronale Netz zusätzlich unmittelbar nach der Datenerfassung (Bilderfassung) oder nach der Segmentierung eingebaut wird, um gelernte und nicht gelernte Biddatensatze unterscheiden zu können.
Die Ergebnisausgabe 45b bzw. 50 (s. Fig. 1) erfolgt anwendungs- abhangig m Datenform, als Anzeige oder als Ansage, oder mit mechanischen, durch den Nutzer fühlbaren Mitteln. Im medizinischen Bereich erfolgt vorzugsweise der Einsatz eines Text- Sprach-Konverters, um die ermittelte Farbwahrnehmung mit einem Kopfhörer oder Lautsprecher hörbar zu machen, so daß die betroffene Person Informationen über die Farbe, Große, Position und/oder Entfernung der im Gesichtsfeld befindlichen Objekte erhalt. Die Benennung von Farben erfolgt vorzugsweise zu Klassen von Farbnamen, die in den meisten Kulturen verwendet werden und z.B. von B. Berlin, P. Kay et al. ("Basic Color Terms . : Their Universality and Evolution", Berkeley, CA; Umversity of California Press) und I.C. McManus ( "Half-a-Million Basic Color Words - Berlin and Kay and the Usage of Color Words in Litera- ture and Science", Perception 1997, VL 26 (N3), 367-370) beschrieben sind. Die Ergebnisausgabe kann auch mit einer mechanische wirksamen Orientierungshilfe implementiert werden, wie sie in "Bild der Wissenschaft" (8/1998, S. 10) beschrieben ist.
Eine erfmdungsgemaße Vorrichtung umfaßt gemäß der m Fig. 9 dargestellten Ausfuhrungsform eine Datenauf ahmee richtung 1 (z.B. Kamera, Scanner oder spektroskopische Anordnung), eine Datenerfassungs-Einheit 2, in der das RGB-Bild bestimmt w rd, eine Transformations- und Recheneinheit 3, in der die Transformation des RGB-Bildes in einem geeigneten Zielfarbraum erfolgt, eine Segmentierungs-Einheit 4 zur Ermittlung des Bildbereiches, für den nachfolgend in der Fuzzy-Einheit 5 die Farbwahrnehmung ermittelt werden soll. Zur Ergebnisausgabe ist die Fuzzy- Einheit mit einer Datenausgabe 6 (z.B. in Form eines Displays, Druckers und/oder Audiogerätes) verbunden. Die Komponenten 2, 3, 4 und 5 der erfindungsgemäßen Vorrichtung sind vorzugsweise in einen als Mikrocomputer integriert ausgeführt. Die Transformations- und Recheneinheit 3 ist bei technischen-industriellen Anwendungen vorzugsweise mit einer Anzeigeeinheit 3a verbunden, die zur Darstellung des Bildes der aufgenommenen Szene in der Farbtonebene eingerichtet ist. Die Anzeigeeinheit 3a ist entweder ein Zusatzmonitor oder in die Ausgabeeinheit 6 integriert.
Das erfindungsgemäße Farbwahrnehmungssystem kann wie folgt modifiziert werden. Es kann vorgesehen sein, beim Fuzzy-Control die einzelnen Pixel nicht als Tripel, sondern allgemein als Merkmalsvektoren zu betrachten, die neben den drei Farbparametern weitere, höhere Dimensionen, wie z.B. Wahrnehmungsparameter (z.B. Glanz, Oberflächeneigenschaften und dgl.) enthalten. Diese Fähigkeit zur Verallgemeinerung bzw. zur Einführung weiterer Parameter stellt einen besonderen Vorteil der Erfindung dar. Herkömmliche Analysen von Bildszenen in angepaßten Wahrnehmungsräumen sind häufig an einen bestimmten Effekt bei der Bildwahrnehmung angepaßt und nur beschränkt modifizierbar. Erfindungsgemäß kann hingegen jeder neue Wahrnehmungseffekt durch Erhöhung der Anzahl der "WENN-DANN-Regeln" , der linguistischen Terme (Wahrnehmungsbenennungen) und/oder der Parameterzahl oder verschiedene Fuzzy-Regelungsverfahren in den beim Fuzzy-Control eingeführten Vektoren berücksichtigt werden, ohne daß die ursprünglichen Parameter verloren gehen und die bis dahin erreichte Präzision abnimmt. Wegen der bevorzugten Anwendung als Sehhilfe wurde oben bei der Bildaufnahmeeinrichtung auf eine farbige Bildaufnahme auf der Basis von RGB-Arrays Bezug genommen. Die menschliche Retina enthält drei Zapfenarten mit jeweils breitbandigen, sich überlappenden Spektren. Bei nicht-medizinischen Anwendungen kann jedoch ein Interesse bestehen, eine höhere Spektral-Auflösung einzuführen, so daß statt einer RGB-Bildaufnahme eine Bildaufnahme mit Spektren-Arrays mit einer größeren Anzahl spektraler Empfindlichkeitsmaxima durchgeführt wird. Ferner kann statt der zweidimensionalen Bildaufnahme eine dreidimensionale Bildabtastung oder analog zur menschlichen Wahrnehmung die Bildaufnahme mit zwei Kameras unterschiedlicher Positionen (Paralaxe) vorgesehen sein. Dadurch wird bei der Objekterfassung die Tiefeninformation berücksichtigt. Bei der sprachkonvertierten Ergebnisausgabe können Zusatzinformationen zu den betrachteten Objekten, wie z.B. "links", "rechts", "oben", "unten", "Mitte", oder Informationen zur Beleuchtung (Richtung etc.), zu Objektmaßen, Entfernungen oder Flächenanteilen von Objekten ausgegeben werden .
Die erfindungsgemäße Farberkennung kann mit einer Schrifterkennung kombiniert werden, z.B. unter Verwendung des Programms "Corel OCR-Trace". In diesem Fall erfolgt neben der Farbwahr- nehmungsausgabe auch eine Sprachausgabe erfaßter Worte in einer Bildszene (z.B. Schilder o. dgl.).

Claims

Patentansprüche
1. Verfahren zur Objekterfassung, mit den Schritten:
Daten- oder Bildaufnahme, bei der aus einer Abbildung einer Szene Bilddaten ermittelt werden, und Farbklassifizierung für mindestens ein vorbestimmtes Objekt der Szene zur Ermittlung einer wahrgenommenen Objektfarbe, wobei ein für das gesamte Objekt im wesentlichen konstanter, mittlerer Farbparameter mit einer Fuzzy-Control-Klassifizierung aller zum Objekt gehörenden Bildpunkte einer Farbklasse unter einer Vielzahl von Farbklassen in einem vorbestimmten Farbraum zugeordnet wird, wobei die zugeordnete Farbklasse der Objektfarbe der visuellen Farbwahrnehmung des Objekts in der Szene entspricht.
2. Verfahren gemäß Anspruch 1, bei dem zur Ermittlung des Objekts nach der Bildaufnahme eine Bildsegmentierung durchgeführt wird, bei der ausgehend von einem vorbestimmten Startpixel alle Bilddaten zu einem Objekt zusammengefaßt werden, die sich in Bezug auf ein vorbestimmtes Farbmerkmal weniger als ein definierter Schwellwert von dem Farbmerkmal des Startpixels unterscheiden.
3. Verfahren gemäß Anspruch 2, bei dem die Bilddaten nach der Bildaufnahme in einen für die Segmentierung angepaßten Farbraum transformiert werden.
4. Verfahren gemäß Anspruch 3, bei dem die Bilddaten nach der Bildaufnahme R-G-B-Daten umfassen, die zur Segmentierung in einen vorbestimmten Farbraum transformiert werden, wobei das zur Segmentierung betrachtete Farbmerkmal ein in diesem Farbraum gegebener Parameter ist, der über die Fläche des betrachteten Objekts im wesentlichen unveränderlich ist.
5. Verfahren gemäß Anspruch 4, bei dem die Transformation in den HSL- oder L*habC*ab-Raum erfolgt und das zur Segmentierung betrachtete Farbmerkmal der Farbton-Parameter des HSL- oder L*habC*ab-Raumes ist.
6. Verfahren gemäß Anspruch 4 oder 5, bei dem, falls mit der Bildsegmentierung mit einem Farbmerkmal das betrachtete Objekt nicht abgegrenzt werden kann, weitere Farbmerkmale oder Bildmerkmale wie z. B. Kanten berücksichtigt werden.
7. Verfahren gemäß Anspruch 6, bei dem die weiteren Farbmerkmale die Helligkeit und/oder die Farbsättigung umfassen .
8. Verfahren gemäß Anspruch 2, bei dem nach der Bildsegmentierung eine Segmentreduzierung zur Vereinfachung der geometrischen Gestalt des im Ergebnis der Bildsegmentierung ermittelten Objekts erfolgt.
9. Verfahren gemäß Anspruch 1, bei der der mittlere Farbparameter des Objekts vor der Klassifizierung einem Fuzzy- Clustering-Verfahren unterzogen wird.
10. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei zur Fuzzy-Control-Klassifizierung zur Ermittlung der Farbklasse des betrachteten Objekts weitere Farbeigenschaften oder geometrische Eigenschaften des Bildes berücksichtigt werden.
11. Verfahren gemäß Anspruch 10, wobei zur Fuzzy-Control- Klassifizierung zur Ermittlung der Farbklasse des be- trachteten Objekts die Farbeigenschaften des Umfeldes des Objekts berücksichtigt werden.
12. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem nach der Klassifizierung der Objektfarbe eine Ergebnisausgabe zur Darstellung der ermittelten Farbklasse auf einer Anzeige oder in Audio-Form erfolgt.
13. Verfahren gemäß einem der vorhergehenden Ansprüche, das als Sehhilfe für Personen mit einer Sehbehinderung oder Blinde verwendet wird.
14. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem zusätzlich zur Klassifizierung der Objektfarbe auch geometrische Eigenschaften mindestens eines Objekts der abgebildeten Szene erfaßt werden.
15. Vorrichtung zur Objekterfassung, die eine Bildaufnahmeeinrichtung (1) zur Bildaufnahme einer Szene, eine Daten- erfassungs-Einheit (2) zur Erzeugung von Bilddaten, eine Transformations- und Recheneinheit (3), eine Fuzzy- Recheneinheit (5) zur Ermittlung einer Farbklasse aus den Bilddaten und eine Datenausgabe (6) umfaßt.
16. Vorrichtung gemäß Anspruch 15, bei der eine Segmentierungseinheit (4) zur Auswahl eines vorbestimmten Objektes der Szene vorgesehen ist, das in der Fuzzy-Recheneinheit (5) einer Farbklassifizierung unterzogen wird.
17. Verwendung einer Vorrichtung gemäß Anspruch 15 oder 16 als Sehhilfe für Personen mit einer Sehbehinderung oder Blinde.
8. Verwendung einer Vorrichtung gemäß einem Ansprüche 15 oder 16 zur Realisierung des Verfahrens gemäß einem der Ansprüche 1 bis 14.
PCT/EP1999/006240 1998-08-26 1999-08-25 Verfahren und vorrichtung zur erfassung von objektfarben Ceased WO2000013143A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP99944512A EP1105843B1 (de) 1998-08-26 1999-08-25 Verfahren und vorrichtung zur erfassung von objektfarben
DE59903570T DE59903570D1 (de) 1998-08-26 1999-08-25 Verfahren und vorrichtung zur erfassung von objektfarben
AU57406/99A AU5740699A (en) 1998-08-26 1999-08-25 Method and device for detecting colours of an object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19838806A DE19838806A1 (de) 1998-08-26 1998-08-26 Verfahren und Vorrichtung zur Erfassung von Objektfarben
DE19838806.3 1998-08-26

Publications (1)

Publication Number Publication Date
WO2000013143A1 true WO2000013143A1 (de) 2000-03-09

Family

ID=7878791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1999/006240 Ceased WO2000013143A1 (de) 1998-08-26 1999-08-25 Verfahren und vorrichtung zur erfassung von objektfarben

Country Status (4)

Country Link
EP (1) EP1105843B1 (de)
AU (1) AU5740699A (de)
DE (2) DE19838806A1 (de)
WO (1) WO2000013143A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10157921A1 (de) * 2001-11-26 2003-06-12 Andreas Hub Tragbare Videokamera
US7916152B2 (en) 2002-11-01 2011-03-29 Tenebraex Corporaton Technique for enabling color blind persons to distinguish between various colors
CN114046882A (zh) * 2021-12-07 2022-02-15 亮风台（上海）信息科技有限公司 一种获取光学设备的颜色测试信息的方法与设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10109019B4 (de) * 2001-02-23 2004-06-17 Hans-Wilhelm Dr. Warnecke Verfahren zur Bestimmung von Anteilen biologischer Strukturen
DE10234085B4 (de) 2002-07-26 2012-10-18 Koenig & Bauer Aktiengesellschaft Verfahren zur Analyse von Farbabweichungen von Bildern mit einem Bildsensor
DE10249512B4 (de) * 2002-10-23 2005-04-07 Donnelly Hohe Gmbh & Co. Kg Fahrzeug mit einer Einrichtung zur Erkennung des aktuellen Ampelsignals
DE10328322A1 (de) * 2003-06-24 2005-01-27 Massen Machine Vision Systems Gmbh Überwachung des Farbeindrucks von mehrfarbig gemusterten Produkten
ATE430544T1 (de) * 2003-12-03 2009-05-15 Tenebraex Corp System und verfahren zur identifizierung mindestens einer farbe für einen anwender
DE102007014474B4 (de) 2007-03-22 2022-12-29 Byk-Gardner Gmbh Verfahren und Vorrichtung zur quantitativen Bestimmung von Oberflächeneigenschaften
EP2701138A1 (de) 2012-08-22 2014-02-26 Technische Hochshule Mittelhessen Sensor basierte interaktive Sehhilfe
CN107491714B (zh) * 2016-06-13 2022-04-05 中科晶锐(苏州)科技有限公司 智能机器人及其目标物体识别方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0806863A2 (de) * 1996-05-08 1997-11-12 Xerox Corporation Bildklassifikationssystem mit Fuzzy-Logik

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0806863A2 (de) * 1996-05-08 1997-11-12 Xerox Corporation Bildklassifikationssystem mit Fuzzy-Logik

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENITEZ-DIAZ D ET AL: "NEURAL-LIKE NETWORK MODEL FOR COLOR IMAGES ANALYSIS SYSTEMS", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON NEURAL NETWORKS (ICNN),US,NEW YORK, IEEE, pages 1415-1420, XP000503856, ISBN: 0-7803-1902-8 *
CARTOSIO F ET AL: "A FUZZY DATA-FUSION APPROACH TO SEGMENTATION OF COLOUR IMAGES", PROCEEDINGS OF THE ASILOMAR CONFERENCE ON SIGNALS, SYSTEMS AND COMPUTERS,US,NEW YORK, IEEE, vol. CONF. 22, pages 310-314, XP000130270 *
MOGHADDAMZADEH A ET AL: "A FUZZY TECHNIQUE FOR IMAGE SEGMENTATION OF COLOR IMAGES", PROCEEDINGS OF THE CONFERENCE ON FUZZY SYSTEMS,US,NEW YORK, IEEE, vol. CONF. 3, pages 83-88, XP000529241, ISBN: 0-7803-1897-8 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10157921A1 (de) * 2001-11-26 2003-06-12 Andreas Hub Tragbare Videokamera
DE10157921B4 (de) * 2001-11-26 2004-06-24 Hub, Andreas, Dr. Tragbare Videokamera
US7916152B2 (en) 2002-11-01 2011-03-29 Tenebraex Corporaton Technique for enabling color blind persons to distinguish between various colors
CN114046882A (zh) * 2021-12-07 2022-02-15 亮风台（上海）信息科技有限公司 一种获取光学设备的颜色测试信息的方法与设备

Also Published As

Publication number Publication date
DE19838806A1 (de) 2000-03-02
AU5740699A (en) 2000-03-21
DE59903570D1 (de) 2003-01-09
EP1105843B1 (de) 2002-11-27
EP1105843A1 (de) 2001-06-13

Similar Documents

Publication Publication Date Title
DE10314071B3 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
DE69906403T2 (de) Verfahren und Gerät zum Detektieren eines gesichtsähnlichen Gebiets
DE102013017395B3 (de) Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken
DE60215063T2 (de) System und verfahren zur ermittlung von bildähnlichkeiten
DE69625116T2 (de) Einstellvorrichtung für automatischen Weißabgleich
DE19914518B4 (de) Verfahren und Vorrichtung zur Hautfarbenkorrektur und Farbbildkorrektur und computerlesbares Speichermedium dafür
DE69620302T2 (de) Verfahren und Vorrichtung zur Verbesserung eines digitalen Bildes
DE69828909T2 (de) Neue perzeptive lokale gradientenbasierte gratbestimmung
DE69829177T2 (de) Verfahren zur bildverarbeitung
DE69938173T2 (de) Automatische voreingestellte teilnehmerpositionsbestimmung für videokonferenzsysteme
DE4002298C2 (de) Verfahren und Vorrichtung zur automatischen Korrektur von Farbstichen bei der elektronischen Bildverarbeitung
DE102004051159A1 (de) Gesichts-Identifizierungsvorrichtung, Gesicht-Identifizierungsverfahren und Gesicht-Identifizierungsprogramm
DE69933331T2 (de) Quantisierungserfahren für Farben, wobei ein Farbton-, Min-, Max-, Differenz-Farbraum benutzt wird
EP4046595B1 (de) Verfahren zur festlegung einer zahnfarbe
DE69322095T2 (de) Verfahren und gerät zur identifizierung eines objekts mittels eine geordneten folge von grenz-pixel-parametern
EP1105843B1 (de) Verfahren und vorrichtung zur erfassung von objektfarben
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
DE19928231C2 (de) Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
DE10017551A1 (de) Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens
DE19754909C2 (de) Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes
DE102005049017B4 (de) Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum
DE102004021047B3 (de) Verfahren zum Vergleich eines Bildes mit mindestens einem Referenzbild
EP2399241B1 (de) Verfahren zur entropie-basierten bestimmung von objektrandkurven
DE102021130505B4 (de) Verfahren zur Bestimmung einer Beleuchtungsfarbe, Bildverarbeitungsvorrichtung und Aufnahmesystem
EP1716542B1 (de) Verfahren und vorrichtung zum ermitteln einer ziel-haarfarbe für eine ursprungs-haarfarbe eines haarbereichs in einem digitalen bild nach erfolgter haarfarbveränderung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AL AM AT AU AZ BA BB BG BR BY CA CH CN CU CZ DK EE ES FI GB GE GH GM HU ID IL IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT UA UG US UZ VN YU ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SL SZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 1999944512

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1999944512

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1999944512

Country of ref document: EP