EP3807838A2 - Materialprüfung von optischen prüflingen - Google Patents

Materialprüfung von optischen prüflingen

Info

Publication number
EP3807838A2
EP3807838A2 EP19729717.9A EP19729717A EP3807838A2 EP 3807838 A2 EP3807838 A2 EP 3807838A2 EP 19729717 A EP19729717 A EP 19729717A EP 3807838 A2 EP3807838 A2 EP 3807838A2
Authority
EP
European Patent Office
Prior art keywords
images
optical
defects
variable
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19729717.9A
Other languages
English (en)
French (fr)
Inventor
Lars STOPPE
Niklas Mevenkamp
Alexander Freytag
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jenoptik AG
Carl Zeiss Jena GmbH
Original Assignee
VEB Carl Zeiss Jena GmbH
Carl Zeiss Jena GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VEB Carl Zeiss Jena GmbH, Carl Zeiss Jena GmbH filed Critical VEB Carl Zeiss Jena GmbH
Publication of EP3807838A2 publication Critical patent/EP3807838A2/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0221—Testing optical properties by determining the optical axis or position of lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0278—Detecting defects of the object to be tested, e.g. scratches or dust
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • Various embodiments of the invention generally relate to techniques for material testing optical specimens. Various embodiments of the invention relate in particular to techniques for material testing optical ones
  • defects can occur in the manufacture of optical elements - for example lenses.
  • defects include: scratches; inclusions; Material defects; matt surfaces; Schlieren; flaking; Drilling faults;
  • optical elements are used as test objects in a manual
  • SFS also has certain disadvantages and limitations. For example, it can often be complicated and time-consuming to obtain a sufficiently large number of images to carry out a reconstruction of the test object. Appropriate techniques can also be time consuming and prone to errors.
  • Imaging system comprises, for each of at least one pose of the test object in relation to the imaging system: in each case actuation of the optical imaging system for capturing at least two images of the test object by means of variable-angle lighting and / or variable-angle detection.
  • the procedure also includes, for each of the
  • the result image shows a digital one
  • the method further includes performing a material test based on the at least one result image that was generated based on the at least two images in the at least one pose.
  • Carrying out the material test serves to assess the quality of the test object.
  • the compliance with an optical standard can be checked, for example, on the basis of the detected defects.
  • KNNs trained artificial neural network
  • the entire optical effect of the optical test object can be assessed without resolving the influence of individual defects on the overall optical effect.
  • Such an algorithm with machine learning can therefore receive the at least one result image as input. As an output, the machine learning algorithm
  • the quality value could e.g. be binary, i.e. indicate "pass” or "fail” in connection with the fulfillment or non-fulfillment of a standard. Finer-resolution quality values would also be conceivable, for example quality values which show the deviation from the norm
  • the algorithms described here with artificial intelligence or with machine learning can include at least one element from the group: a parametric mapping, a generative model, a
  • Anomaly detector and a KNN.
  • KNN examples include a deep KNN (DNN, Deep Neural Network), a time-delayed KNN, a folding KNN (CNN,
  • LSTM Long short-term memory
  • the captured images can also be called raw images.
  • the optical device under test can be selected from the following group:
  • the optical device under test can therefore be set up to deflect light, for example to refract or focus it.
  • the optical test specimen can be made of glass or a polymer, for example.
  • the optical test specimen can be at least partially transparent to visible light or infrared light or ultraviolet light.
  • the optical device under test can have an optical effect, i.e. Break light.
  • the pose of the test object in relation to the imaging system can, for example, be a position and / or an orientation of the test object in one by the imaging system designate the defined reference coordinate system. For example, that
  • the pose of the test specimen can be changed, for example, by rotating the test specimen or by translating it.
  • test object can be used with different parameters
  • Illumination geometries are illuminated.
  • the test object could be illuminated from different directions of illumination.
  • An image of the at least two images can then be acquired when the test specimen is illuminated with the corresponding illumination geometry.
  • An exemplary implementation of the variable-angle lighting is described, for example, in: US 2017/276 923 A1.
  • An appropriately trained could be used for variable-angle lighting
  • Lighting module can be used.
  • a lighting module can be used which has a multiplicity of light sources. The different light sources can be controlled separately. Then, depending on which is activated
  • Light source or activated light sources a different lighting geometry can be implemented. If two pictures with different
  • Illumination geometries are associated, recorded, the digital contrast can be determined from a distance between the positions of the images of the test object in the two images.
  • Another implementation for the lighting module comprises a light source and a mirror arrangement, for example a DMD (digital micromirror device).
  • DMD digital micromirror device
  • a different lighting geometry can then be activated depending on the position of the different mirrors.
  • Illumination geometries are associated, recorded, the digital contrast can be determined from a distance between the positions of the images of the test object.
  • a suitably designed detection optics can be provided for the angle-variable detection.
  • the detection optics can be set up to image the
  • An adjustable filter element which is arranged in a beam path of the detection optics that defines the image, can continue to be provided.
  • a controller can be set up to control the adjustable filter element, to filter the spectrum of the beam path with different filter patterns, in order to enable angle-variable detection in this way.
  • the controller can in particular be set up to capture images associated with different filter patterns.
  • Different filter elements can be used, for example a filter wheel or a DMD or a liquid crystal filter or a movable filter plate or an amplitude filter element.
  • the detection can be limited to certain angles of the light incident on the detector from the test specimen.
  • Examples of the angle-variable detection are therefore based on an amplitude filtering of the imaging spectrum in or near a pupil plane of the detection optics of the optical device. This corresponds to the filtering of certain angles with which rays strike a sensor surface of the detector; i.e. individual beams are selectively transmitted according to their angle to the sensor surface. Different filter patterns are used; for each filter pattern, an associated image is captured by a detector. In the various described herein
  • each filter pattern can define at least one translucent area which is surrounded by a non-translucent area.
  • the translucent area could be spaced from the optical axis of a beam path defined by the detection optics, i.e.
  • the translucent area is linear, i.e. that the corresponding filter pattern defines a line. Then only rays with angles in a narrowly limited angular range are let through.
  • the filter patterns used can be converted into one another, for example, by translation along a vector.
  • Filter pattern which has an off-axis, linear translucent area - a defocused test piece is shown shifted. If two images associated with different filter patterns are acquired, the digital contrast can be determined from a distance between the positions of the images of the test object. Appropriate digital contrasts can thus be generated by suitable processing of the various images, which were recorded by means of the variable-angle lighting and / or the variable-angle detection.
  • the digital contrast can be selected from the following group, for example: virtual dark field; digital
  • phase gradient contrast For example, using the techniques described in US 2017/276 923 A1, it may be possible to determine the phase gradient contrast. This means that opposite edges of the test object as a phase object can have different signs of the contrast.
  • An - optionally quantitative - phase contrast could be determined, for example, by means of the so-called quantitative difference phase contrast technique.
  • QDPC quantitative differential phase contrast technique
  • a phase contrast as described in German patent application DE 10 2017 108 873.3, can also be obtained by appropriately using a transfer function when processing the images to generate the result image with the digital contrast.
  • the transfer function can be a
  • the transfer function can be suitable for predicting the at least one image for a specific lighting geometry and a specific test object.
  • the transfer function can have a real-valued part and / or an imaginary part.
  • the real-valued portion of the transfer function can correspond to a decrease in the intensity of the light as it passes through the test specimen.
  • An amplitude object typically has significant attenuation of the light.
  • the imaginary part of the transfer function can denote a shift in the phase of the light passing through the device under test.
  • a phase object typically has a significant shift in the phase of the light. It can be different Techniques for determining the transfer function can be used. In one example, the transfer function could be determined based on an Abbe technique.
  • a reference transfer function could be determined using an Abbe technique.
  • the device under test can be separated into different spatial frequency components. Then an overlay of an infinite number of harmonic grids can model the test object.
  • the light source can also be broken down into the sum of different point light sources. Another example concerns
  • TCC transmission cross-coefficient matrix
  • the frequencies that the optics transmit are limited to the area in which the TCC assumes values other than 0.
  • a system with a high coherence factor or coherence parameter consequently has a larger area with TCC F 0 and is capable of higher ones
  • the TCC typically contains all of the information in the optical system, and the TCC often also takes complex pupils such as e.g. B. in the Zernike phase contrast or triggered by aberrations.
  • the TCC can enable the optical transmission function to be separated from the object transmission function. In some examples it would also be possible that the
  • Transfer function is specified and no determination as TCC or according to Abbe has to be made.
  • An exemplary technique is in Tian, Waller regarding Eq. 13 described. It shows how, based on a Tichonov regularization, a result image by means of an inverse Fourier transformation and based on the transfer function H * and also based on the Spatial frequency space representation of a combination I DPC of two images of the
  • DUT can be determined with different lighting geometries:
  • I DPC describes the spectral decomposition of a combination of two images IT and IB, which have different lighting geometries that are related to each other
  • the lighting geometry does not have to be strictly semicircular.
  • four LEDs could be used, which are arranged on a semicircle.
  • Illumination directions are used, such as individual light emitting diodes. Furthermore, in Eq. 2 normalization to 1 instead of I T + I B , or to another value. Instead of offsetting IT and IB, others could
  • an absorption component in particular, can be reduced on the basis of a real-value component of the transfer function.
  • I DPC is proportional to the local increase in phase shift due to the device under test.
  • Phase shift can be caused by a change in the thickness of the test object or the topography of the test object and / or by a change in the optical properties.
  • two images I DPC 1 and I DPC , 2 can be determined, one with a pair of semicircular lighting geometries that are arranged up-down in a lateral plane perpendicular to the beam path ⁇ I DPC, 1), and one with a pair of semicircular ones Illumination geometries, which are arranged left-right in the lateral plane ⁇ I DPC, 2 ) ⁇
  • both I DPC 1 and I DPC , 2 can be used to determine the Result image are taken into account, see summation index j in Eq. 1.
  • a virtual dark field can be generated by suitable processing of the images.
  • the virtual dark field is calculated, for example, as component by component
  • Lighting geometries can calculate the results of this calculation
  • variable-angle lighting and / or the variable-angle detection By using the variable-angle lighting and / or the variable-angle detection, it is therefore possible to provide the result image with a tailored contrast. This enables the defects to be made particularly visible. This enables the material testing to be carried out particularly reliably and robustly.
  • variable-angle lighting and / or the variable-angle detection can be used particularly quickly, so that the measuring time per test specimen can be reduced.
  • the material inspection is carried out fully automatically or semi-automatically. It could therefore be possible to carry out the material test automatically. Then, for example, the quality of the optical test objects could be evaluated automatically. In particular, the test object could also be classified according to a reference, such as an ISO standard, etc. For example, it would be possible to use a KNN, which - through suitable training or
  • the reference measurement data can, for example, show images captured by means of variable-angle lighting and can be annotated with the corresponding categories “pass” and “fail”. In such a scenario, it may be unnecessary to identify and / or segment individual defects or to determine the influence of individual defects on the optical effect of the test object.
  • performing the material check includes that
  • the defect detection algorithm can be designed to provide - in addition to the mere detection of defects - additional information about detected defects.
  • the additional information can describe properties of defects in qualitative and / or quantitative terms. For example, a location and / or shape and / or size of detected defects could be determined. Such additional information can be stored in an error card.
  • the defect detection algorithm can generally be different
  • Defect detection algorithm uses one or more of the following techniques: machine learning; Threshold value formation, for example directly or on filtered data or by means of differential imaging using reference images; statistical analysis;
  • the defect detection algorithm can use a trained KNN, for example. There would be the option, for example, of the detected defects automatically to be divided into different classes using machine learning. It can be assigned to different defect classes. The size of the defects could be quantified using segmentation, for example. The result image can be segmented accordingly. For example, when evaluating the defects using machine learning techniques, the classification of the respective defect in relation to predefined defect classes, as well as the associated one
  • Segmentation of the respective result image with regard to the position of the defect can be determined.
  • Defect detection algorithm also recognizes defects that belong to defect classes that are unknown a priori, for example, an anomaly detector can be used.
  • An anomaly detector can detect any deviations from a specification. The anomaly detector can thus detect defects, even if they are not associated with previously known or trained defect classes. Examples include "support vector machines", Bayesian networks, etc.
  • the classes and sizes of the defects can be used to test whether a suitable standard has been met.
  • an error map that is generated by the defect detection algorithm can be compared with a reference error map that maps the standard. For example, could - based on such
  • Comparison - determine whether the test object is within or outside a tolerance. It could also be determined that a check for compliance with the appropriate standard is possible at all: if, for example, an uncertainty in connection with the defect detection algorithm is too great, the
  • Anomaly detector is used, which determines whether defects or generally structures are present in the images for which no automatic checking is provided, for example because the associated defect classes are unknown.
  • Another option involves replacing the manual visual inspection with a semi-automated visual inspection. This can be done by displaying the result image with the digital contrast on a screen to a user. The latter can carry out a comparison with the standard and, for example, perform a quality value of the material test depending on the comparison.
  • one or more of the unprocessed raw images can be taken into account directly when carrying out the material test. This means that it may be possible to supplement the use of result images with the use of raw images.
  • a defect detection algorithm could not only receive result images of the angle-variable lighting as input, but also raw images. For example, images that were captured using bright field lighting could be taken into account. As an alternative or in addition, images could also be taken into account that were recorded during dark field illumination.
  • raw images can be obtained with even greater accuracy.
  • a computing unit is set up to control an optical imaging system in order to use each of at least one pose of an optical test specimen in relation to the
  • Imaging system each have at least two images of the test specimen using at least one of variable-angle lighting and variable-angle detection.
  • Computing unit is also set up for each of the at least one pose: each processing of the corresponding at least two images to generate one
  • the computing unit is also set up to use one based on the at least one result image that was generated based on the at least two images in the at least one pose of the test object
  • the computing unit could include a graphics card with a large number of parallel processing pipelines, for example in contrast to a “central processing unit”, CPU.
  • effects can be achieved that are comparable to the effects that can be achieved for a method for material testing as described above.
  • FIG. 1 schematically illustrates an optical imaging system according to various examples.
  • FIG. 2 schematically illustrates a controller for an optical imaging system according to various examples.
  • FIG. 3 schematically illustrates an optical lighting module
  • FIG. 4 schematically illustrates an illumination geometry of the angle variable
  • FIG. 5 schematically illustrates an optical detection system of an optical imaging system according to various examples, the optical detection system being used for the variable angle
  • FIG. 6 schematically illustrates filter patterns of the detection optics according to various examples.
  • FIG. 7 is a flow diagram of an example method.
  • FIG. 8 is a flow diagram of an exemplary method, wherein FIG. Illustrated 8 aspects related to image capture.
  • FIG. 9 is a flow diagram of an exemplary method, wherein FIG. Illustrated 9 aspects related to image evaluation.
  • FIG. 10 is a flow diagram of an exemplary method, wherein FIG. Illustrated 10 aspects related to material testing.
  • FIG. 11 schematically illustrates an image acquisition and image evaluation for generating result images with digital contrast according to various examples, as well as a material test.
  • FIG. 12 schematically illustrates an optical imaging system according to various examples.
  • FIG. 13 schematically illustrates an optical imaging system according to various examples.
  • FIG. 14 schematically illustrates an imaging optical system according to various examples.
  • FIG. 15 schematically illustrates an optical imaging system according to various examples.
  • FIG. 16 schematically illustrates an optical imaging system according to various examples.
  • FIG. 17 schematically illustrates an imaging optical system according to various examples.
  • connections and couplings between functional units and elements shown in the figures can also be implemented as an indirect connection or coupling.
  • a connection or coupling can be implemented wired or wireless.
  • Functional units can be implemented as hardware, software or a combination of hardware and software.
  • FIG. 1 illustrates an exemplary optical imaging system 100 (hereinafter also referred to as optical device 100).
  • optical device 100 for example, the optical
  • Device 100 implement a light microscope, for example in transmitted light geometry.
  • the optical device 100 it may be possible to display small structures of a test specimen or sample object fixed by a sample holder 113 in enlarged form.
  • a detection optics 112 is set up to generate an image of the test object on a detector 114.
  • the detector 114 can then be set up to acquire one or more images of the test object. Viewing through an eyepiece is also possible.
  • a lighting module 111 is set up to the test specimen, which is on the
  • Sample holder 113 is fixed to illuminate.
  • this lighting could be implemented using Köhler's lighting.
  • a condenser lens and a condenser aperture diaphragm are used. This leads to a particularly homogeneous intensity distribution of the light used for lighting in the plane of the test object.
  • partially incoherent lighting can be implemented.
  • the lighting module 111 could also be set up to illuminate the test object in dark field geometry.
  • a controller 115 is provided to control the various components 111-114 of the optical device 100.
  • the controller 115 could be set up to control a motor of the sample holder 113 by one
  • controller 115 could be implemented as a microprocessor or microcontroller.
  • the controller 115 could comprise an FPGA or ASIC, for example.
  • FIG. 2 illustrates aspects relating to the controller 115.
  • the controller 115 comprises a computing unit 501, for example a microprocessor, an FPGA or an ASIC.
  • the computing unit 501 can also be a PC with a central computing unit and / or a computing unit which is designed for parallel processing, for example a graphics card.
  • the controller 115 also includes a memory 502, for example a non-volatile memory. It is possible that program code is stored in the memory 502. The program code can be loaded and executed by the computing unit 501.
  • the computing unit 501 can then be set up, based on the program code, for material testing techniques optical test specimen, to control the optical device for performing an angle-variable illumination or angle-variable detection, etc.
  • the lighting module 111 is therefore set up to one
  • Lighting module 111 different lighting geometries of the
  • Illumination of the device under test can be implemented.
  • the different illumination geometries can correspond to illumination of the test object from at least partially different directions of illumination.
  • Lighting module 111 comprise a plurality of adjustable lighting elements which are set up to modify or emit light locally.
  • the controller 115 can control the lighting module 111 or the lighting elements in order to implement a specific lighting geometry.
  • FIG. 3 illustrates others
  • FIG. 3 illustrates aspects related to the lighting module 111
  • Lighting module 111 is set up for variable-angle lighting. In FIG.
  • the lighting module 111 has a multiplicity of adjustable lighting elements 121 in a matrix structure.
  • the matrix structure is oriented in a plane perpendicular to the beam path of the light (lateral plane;
  • the adjustable lighting elements 121 could be implemented as light sources, for example as light emitting diodes. Then it would be possible, for example, that different light-emitting diodes with different light intensities light Emit lighting of the test object. This enables an illumination geometry to be implemented. In another implementation, that could be implemented as light sources, for example as light emitting diodes. Then it would be possible, for example, that different light-emitting diodes with different light intensities light Emit lighting of the test object. This enables an illumination geometry to be implemented. In another implementation, that could
  • Illumination module 111 can be implemented as a spatial light modulator (Engl., SLM).
  • SLM spatial light modulator
  • the SLM can intervene in a spatially resolved manner
  • FIG. 4 illustrates aspects related to an exemplary lighting geometry 300.
  • the light intensity 301 provided for the various adjustable ones
  • the illumination geometry 300 is dependent on the position along the axis XX 'and is therefore variable in angle. By selecting elements 121 more or less distant, the strength of the angle variable can be changed
  • Lighting can be varied. By varying the direction between the
  • Orientation of the angle-variable lighting can be changed.
  • the imaging position of the optical test object varies depending on the illumination geometry 300. This change in the imaging position can be used to generate the digital contrast.
  • variable-angle detection can also be used in a further example.
  • the detection optics 112 is set up accordingly.
  • FIG. 5 illustrates aspects related to the detection optics 112.
  • FIG. 5 illustrates an embodiment of the detection optics 112 for angle-variable detection.
  • FIG. 5 illustrates an exemplary implementation of the detection optics 112 with an adjustable one
  • the filter element 119 is arranged in the region of a conjugate plane of the beam path 135, that is to say close to or at a pupil plane of the beam path 135.
  • the (spatial frequency) spectrum of the beam path 135 is therefore filtered. In the spatial area, this corresponds to the selection of different angles 138, 139, under which the light falls along corresponding beams 131, 132 from the test specimen 150 onto the sensor surface 211.
  • the filter element 119 also forms one
  • the beam path 135 is implemented by lenses 202, 203.
  • the beams 131, 132 of the beam path 135 are shown starting from a test specimen 150 arranged in a defocused manner through the detection optics 112 to the detector 114, that is to say in particular a sensor surface 211 of the detector 114.
  • the rays 131 correspond to a filter pattern 380 which has a first translucent area 381 with a
  • Translucent area 382 defined in the X direction.
  • the device under test 150 is arranged out of focus and has a focus position 181 which is not equal to zero. Therefore, the rays fall on the at different angles 138, 139
  • the images 151, 152 of the test object 150 caused by the rays 131, 132 are positioned on the sensor surface 211 at a distance 182 from one another.
  • the distance 182 depends on the focus position 181:
  • NA denotes a correction value of the oblique angle of incidence 138, 139.
  • NA can be determined empirically or by beam path calculation, for example. The equation shown is an approximation. In some examples, it may also be possible for the angle of incidence 138, 139 to be dependent on the
  • Focus position 181 i.e. to be taken into account by Dz. This dependency can be system-specific.
  • FIG. 5 is a one-dimensional representation of filter patterns 380-1, 380-2. In some examples, however, filter patterns could also be used, the one
  • FIG. 6 illustrates aspects related to example filter patterns 351, 352.
  • the filter pattern 351 defines one line and the filter pattern 352 defines another line.
  • the filter pattern 351 can be converted into the filter pattern 352 by translation along the vector 350.
  • the lines of the filter patterns 351, 352 are parallel to one another along their entire lengths. Generally it would be it is also possible that lines are used which run parallel to one another only along part of their lengths, for example along at least 50% of their lengths or along at least 80% of their lengths. That way, a more flexible choice of
  • Filter patterns 351, 352 can be guaranteed.
  • the lines of the filter patterns 351, 352 are arranged off-axis with respect to the optical axis 130. This can maximize the length of vector 350; whereby the distance 182 of the images 151, 152 can be maximized. This allows the strength of the angle-variable detection to be adjusted.
  • Orientation of the angle variable detection can be changed.
  • FIG. 7 illustrates a flow diagram of an example method.
  • the method of FIG. 7 are executed by the controller 115
  • the computing unit 501 could load program code from the memory 502 and then the method according to FIG. 7 perform.
  • the image is captured in block 1001.
  • an optical imaging system such as optical device 100 of FIG. 1, can be controlled to capture one or more images.
  • the optical imaging system for capturing at least two images of an optical test specimen can be controlled by means of at least one of angle-variable illumination and angle-variable detection.
  • variable angle lighting can use several variables
  • Illumination geometries include, each having at least one
  • Illumination geometry is associated with one of the at least two images. Different lighting geometries can be implemented, for example, by activating different light sources.
  • the angle-variable detection can be done by filtering a spectrum of a
  • Beam path by providing appropriate filters near or in the
  • Pupil level of a detection optics of the optical imaging system is Pupil level of a detection optics of the optical imaging system.
  • a variation in the strength and / or orientation of the variable-angle lighting can be achieved by varying the light sources used or the ones used
  • Illumination geometries take place. Accordingly, the strength and / or orientation of the angle-variable detection can be varied by varying the filter pattern used.
  • the strength and / or the orientation of the variable-angle illumination and / or the variable-angle detection are varied, the strength and / or direction of a subsequently determined digital contrast can vary. By varying the direction of the digital contrast, certain defects can be made particularly visible.
  • the image evaluation takes place in block 1002. This may include processing the at least two images captured in block 1001 to produce a digital contrast result image.
  • the digital contrast can be selected, for example, from the following group: phase contrast; Phasengradientenkontrast; and virtual
  • a material test is then carried out in block 1003.
  • the material test can generally serve to assess the quality of the optical test object.
  • the material test can also be carried out automatically in block 1003.
  • a figure of merit can be determined, such as using a KNN or other machine learning algorithm.
  • the KNN can receive one or more of the result images from block 1002 as an input card.
  • the KNN can provide the quality value as an output.
  • the quality value could, for example, specify whether the test object is "within a standard", "outside a standard” or - optionally - "indefinite".
  • performing the material test can also be used to detect individual defects in the optical test object, for example using a defect detection algorithm for the automated detection of defects.
  • Blocks 1001-1003 do not have to be processed sequentially; it would rather be e.g. it is possible to start image evaluation 1002 and possibly material testing in blocks 1002, 1003 already during the image acquisition from block 1001.
  • FIG. 8 is a flow diagram of an example method.
  • FIG. 8 shows an exemplary implementation of block 1001 from FIG. 7. This means that FIG. 8 shows details of the implementation of image acquisition.
  • an orientation and / or a Z position and / or an XY position of the optical test specimen is set. This means that the test subject's pose is adjusted. This could be done, for example, by controlling a motorized sample holder 113 by the controller 115 (see FIG. 1). For example, the sample holder could rotate the optical specimen for orientation
  • the sample holder 113 it would be possible for the sample holder 113 to move the optical test specimen along the beam path by the Z position - ie the focus position.
  • the XY position - that is, the position perpendicular to the beam path - to be set.
  • the user is asked via a human-machine interface to set a certain pose of the test object.
  • test object remains stationary, but the detection optics are shifted relative to the test object (camera defocus).
  • Expansion compared to the field of view of the optical imaging system includes the use of so-called "sliding windows".
  • sliding windows images - for example of result images and / or raw images - can be processed, even if these images do not completely fit into a memory of the corresponding computing unit, for example into a level 1 or level 2 memory of the computing unit. Then it may be necessary to first save the corresponding image in an external RAM block and then to load and process individual pieces of the images according to the sliding windows.
  • successive sliding windows of a sequence of sliding windows to contain an overlap area which reproduces the same area of the test object. It would therefore be possible to evaluate sequentially overlapping areas of an image - for example using an algorithm with machine learning then combine the results of this evaluation into an overall result, for example in order to obtain the error map as described here.
  • Image edges each individual image from the camera can be transferred directly to the KNN as input.
  • the acquisition of raw images and the generation of result images and (ii) the performance of the material test based on an algorithm with machine learning can be carried out at least partially in parallel, for example for different poses of the test object in relation to the imaging system and / or different sliding windows of a corresponding sequence. This allows the total time for image acquisition and evaluation in
  • orientation of the optical test specimen can be particularly helpful when certain regions of the optical test specimen are only visible under a certain orientation; this would be conceivable, for example, for partially mirrored surfaces, etc. Some defects can only be found under a certain one
  • Imaging modalities In general, the most varied
  • Imaging modalities can be set, such as: color of the light used;
  • Polarization of the light used Polarization of the light used; Strength of the angle variable lighting and / or angle variable detection; Orientation of the variable-angle lighting and / or variable-angle detection.
  • Such a variation of the imaging modality can achieve that certain defects can be made particularly well visible, i.e. have a high contrast. For example, certain defects could only be visible with a certain orientation and strength of the variable-angle lighting and / or variable-angle detection. Accordingly, it would be possible for certain defects in the optical test specimen to be visible only with a specific color or polarization of the light used.
  • Block 1013 then records at least two images with variable-angle lighting and / or variable-angle detection.
  • the one or more imaging modalities set in block 1012 are used.
  • the poses of the optical device under test set in block 1011 are used for the optical imaging system.
  • the angle of illumination or the angle of detection for the different images is varied according to the set modality.
  • two line patterns 351, 352 could be used; these have the same orientation (in the X direction) and also the same strength of the angle-variable detection (same distance from the main optical axis).
  • block 1014 it is checked whether a further variation of the one or more imaging modalities should take place for the currently valid pose. If this is the case, block 1012 is executed again and the corresponding variation of the one or more imaging modalities is carried out. Then - for the newly set one or more imaging modalities - again in a further iteration of block 1013, at least two images by means of angle-variable illumination and / or
  • angle-variable detection detected For example, in a further iteration compared to the line patterns 351, 352 from FIG. 6 line patterns rotated by 90 ° in the XY plane are used - this would correspond to a variation in the orientation of the angle-variable detection.
  • the strength of the angle-variable detection could be achieved, for example, by shifting the translucent areas of the line patterns 351, 362 along the X axis.
  • block 1015 is executed. In block 1015 it is checked whether a further pose should be set. If this is the case, block 1011 is executed again.
  • FIG. 9 is a flow diagram of an example method.
  • FIG. 9 relates to techniques which are used in connection with the image evaluation according to block 1002 from FIG. 7
  • a current pose is selected from one or more predetermined poses for which images have been captured. For example, all of the poses shown in block 1011 of FIG. 8 have been activated, stored in a list and
  • An imaging modality is then selected in block 1022.
  • all of the one or more imaging modalities described in block 1012 of FIG. 8, are stored in a list, and are then selected in sequence in various iterations from block 1022.
  • the respective at least two images which in block 1013 from FIG. 8 combined for the currently selected pose and for which one or more imaging modalities have been recorded.
  • a respective result image is obtained in this way.
  • the result image has a digital contrast.
  • the result image can have different digital contrasts.
  • pairs of images can be recorded, for example, each with complementary, linear ones
  • Illumination directions are associated (this would correspond, for example, to the activation of all light sources 121 which are on a column or in a row of the matrix of the
  • Illumination module 111 from FIG. 3 are arranged). Accordingly, one of the line-shaped filter patterns 351, 352 from FIG. 6 can be used, which can then be rotated by 90 ° in the XY plane.
  • a difference could then be formed, e.g. according to
  • left and right denote the images, which are each associated with a left or right-oriented semicircular lighting geometry or filter pattern and where praise and praise denote the images which are each associated with an upward or downward oriented semicircular lighting geometry or filter pattern.
  • Filter patterns can be determined during the variable-angle detection.
  • block 1025 it is then checked in block 1025 whether further images have been acquired for a further pose and, if necessary, a further iteration of block 1021 is carried out. If no more pose for selection image evaluation is complete. Then all images were processed and the corresponding result images are available.
  • the material test can then be carried out. Corresponding examples are shown in FIG. 10 shown.
  • FIG. 10 illustrates an example method.
  • the method according to FIG. 10 illustrates an exemplary implementation of the material test according to block 1003 from FIG. 7th
  • a defect detection algorithm for the automatic detection of defects is applied to the available result images.
  • Defect detection algorithm considers relationships between the result images. This can correspond to a coherent evaluation of the registered result images. This enables 3-D defects to be recognized. To the
  • defects can be recognized that have an extent across several result images.
  • extensive defects can be detected, for example, in the Z direction (XY plane). If block 1031 is not executed, it would be possible to
  • Defect detection algorithm to apply for each of the result images. This means that the defect detection algorithm can be executed multiple times and receives one result image as input for each execution.
  • Defect detection algorithm can be particularly simple.
  • the defect detection algorithm can issue an error card for each execution. If the defect detection algorithm is executed several times for different result images, several error cards are obtained. The error cards mark defects in the respective result picture
  • Block 1033 is again an optional block. In particular, block 1033
  • the defects marked by the error cards can be registered on a global coordinate system. Such can be of different
  • Defect detection algorithm are recognized, related to each other. In this way, a global fault map can be obtained in which defects are marked in the entire area of the optical test specimen.
  • Error cards such as a global error card, with one or more reference error cards.
  • Reference error cards can be derived from an industry standard, for example.
  • Reference error cards can, for example, indicate tolerances for certain defects.
  • a quality value of the material test can be determined depending on the comparison. For example, it could be checked whether the identified defects remain within a tolerance range specified by the reference error card. It can So - in connection with the determination of the quality value - the test object is assigned to one of several predefined result classes - eg “in tolerance” / “out of tolerance” with regard to a suitable standard or other specifications.
  • the output can also be "undetermined”: a manual visual inspection can then be suggested. This corresponds to a "red-yellow-green” principle.
  • uncertainty related to the comparison can occur for several reasons. For example, a
  • Anomaly detector used in connection with the defect detection algorithm indicate that there are unknown defects, e.g. from an algorithm trained with different defect classes - e.g. a KNN - cannot be recognized.
  • the quality value can indicate, for example, whether the optical test specimen fulfills a certain industrial standard or not.
  • block 1034 can take on different forms.
  • the defect detection algorithm in block 1032 is based on a plurality of result images, all of which are based on a common global defect cards.
  • the comparison in block 1034 could be between a single global error map generated by the corresponding one
  • Defect detection algorithm is obtained, and the reference error map can be performed.
  • these multiple error maps could each be compared to the reference error map or compared to multiple corresponding reference error maps.
  • a relative arrangement of the various error cards could be taken into account by registering in block 1033 accordingly.
  • the error maps in the various examples described herein may have different information content.
  • defect card As a general rule: different information about the defects detected by the defect detection algorithm can be stored in the defect card.
  • Defect detection algorithm for a detected defect is a corresponding one
  • defect classes include: scratches; inclusions; Material defects; matt surfaces;
  • defect classes are: dirt; dig; holes; cracks; splashes;
  • (///) Another example of additional information that can be determined and output by the defect detection algorithm is the influence of the respective defect on the optical effect of the test object. For example, it may happen that some defects - even though they are comparatively large from a geometric point of view - have only a minor influence on the optical effect of the test object. On the other hand, in some scenarios, even small defects can have a major impact on the optical effect of the test object.
  • the influence of the defect on the optical effect could describe a change in the optical effect qualitatively or quantitatively.
  • the change in focal length for a lens implementing the device under test could be specified with regard to the sign of the change and optionally the magnitude of the change.
  • Defect detection algorithm can be determined and output is an aggregated influence of all detected defects on the optical effect of the test object. This is based on the knowledge that it may sometimes be possible for two separate defects to intensify or weaken in total, depending on the type and arrangement of the defects.
  • Defect detection algorithm output error card can contain different additional information about the defects in different examples.
  • the comparison in block 1034 can take on different configurations.
  • the reference error map could, for example, specify a maximum extent of defects and / or a maximum density of defects - regardless of the classification of the defect.
  • the reference defect map could, for example, specify a maximum number of defects of a certain defect class.
  • the reference error map can map these number of stages.
  • these step numbers are defined over the edge length of the defect area, for example as a square. This allows a direct relationship between segmentation through the defect detection algorithm - that is, the number of pixels assigned to the defect - and the number of stages over the imaging scale.
  • Defect classes the length and width can also be determined. This can include adapting algorithmic pattern shapes to the segmentation;
  • the size of the scratches can be determined by means of
  • Image processing methods - e.g. skeleton, medial axis transformation - can be determined.
  • the position and extent of the defect in relation to the test area can be determined, in particular in the case of edge protrusions and layer offset. This can be done by means of an algorithm which detects the surroundings of the defect, for example the exact position of the edge of the test object.
  • Another criterion that can be represented by the reference defect map and the defect map is the accumulation of defects in a certain percentage of the test area. This can correspond to a maximum density of defects.
  • Defect detection algorithm can be used.
  • the defect detection algorithm in an implementation it would be possible for the defect detection algorithm to include a trained KNN.
  • the defect detection algorithm could include a convolution network.
  • the KNN can be set up to act as an input card for a
  • a KNN typically includes an input layer, one or more hidden layers, and an output layer.
  • the output layer can comprise one or more neurons.
  • a position and / or a classification of detected defects can be indicated in this way.
  • the KNN could be set up to provide an output card - which then implements the error card or from which the error card can be derived - which indicates a position and a classification of the detected defects.
  • Network can correspond to different entries in the output card.
  • Examples include a threshold analysis of the digital contrast of the result images and a statistical analysis of the digital contrast. For example could be assumed that defects have a particularly strong digital contrast; in this way, the defects can be segmented using the threshold value analysis. From the form of the segmentation, for example, an assignment to the predefined defect classes could then take place as a classification. For example, statistical analysis could be used to determine a density of defects or an average distance between defects.
  • FIG. 11 illustrates aspects related to techniques for material testing.
  • Raw data 800 are obtained from image capture 1001. This raw data corresponds to images 890, which at
  • test specimen 150 different modalities and / or different poses of the test specimen 150 with respect to the optical device 100 were detected.
  • Z-stacks 801 of images 890 are acquired, each for different wavelengths 802-1, 802-2.
  • Illumination geometry in the case of variable-angle illumination or the filter pattern in the case of variable-angle detection can be varied. For example, are in the example of FIG. 11 for a wavelength 802-1, 802-2, three images each with the same Z position (same stack position in the Z stack 801), at different angles of the
  • variable-angle lighting / variable-angle detection
  • XY stacks could also be detected.
  • Result data 891 are now obtained from raw data 800.
  • the result images 891 are formed by the appropriate combination of the different images 890 of the
  • Images 890 are combined that have the same pose and the same imaging modality.
  • the uppermost images which correspond to the wavelength 802-1
  • the uppermost images are combined with one another in order to obtain a corresponding result image 891.
  • a Z stack 801 of result images 891 is thereby obtained, in each case for each imaging modality 802-1, 802-2.
  • the defect detection algorithm is then applied, 1032. This results in a Z stack 801 of error cards 895 which in each case marks the defects 901-903 in different Z planes.
  • FIG. 11 also illustrates that a KNN 950 can be used as a defect detection algorithm in block 1032.
  • the KNN 950 comprises an input layer (far left) with several neurons, hidden intermediate layers and an output layer (far right) with several neurons.
  • sliding windows are used to display the information
  • the KNN 950 can be trained in block 1052.
  • To train the KNN 950 reference measurements for a large number of optical test objects and manual annotation of visible defects can be carried out by experts in block 1051.
  • Semi-automated machine learning would also be conceivable. Training links the different layers, i.e. e.g. appropriate weights, etc.
  • the various defects 901 -903 are then measured in block 1061. This can correspond to a segmentation of the marked defects 901 -903 in the different result images 891.
  • Defects 901-903 are also classified. For example, in the scenario of FIG. 11 the different defects 901 -903 different
  • Defect classes assigned (illustrated by the different filling).
  • the defects 901-903, which are marked in the error cards 895, can also be registered on a global coordinate system, ie a relative positioning of the various defects 901-903 with respect to one another or with respect to a reference point can be determined.
  • reference data can be taken into account in block 1062, which are obtained, for example, by a calibration measurement with a reference sample 910.
  • the reference data can determine the absolute size and / or relative positioning of the different defects 901-903 to one another
  • the processed error cards 895 can then be compared in block 1034 with a reference error card 896, which in the example of FIG. 11 from one
  • a quality value can be determined in block 1035, which in the example of FIG.
  • the KNN 950 is trained on the basis of
  • Reference measurements In general, it would be possible, as an alternative or in addition to such reference measurements, for a repeated or continuous re-training of the KNNs 950 - or generally for defect detection algorithms that use machine learning - to be carried out. It is possible, for example, that the output of KNNs 950 or the result of the material test are checked repeatedly in the ongoing test process and new reference measurements are generated from them. This can be automated or at least partially monitored. With these newly generated
  • Reference measurements can be re-trained regularly or for certain events (new standard introduced, change of measurement setup, change of the test object). That the KNN can generally be re-trained on the basis of a result of the material test. This can create a continuous
  • Refinement or improvement of the detection accuracy of the KNN can be achieved.
  • one of the following two goals (or both) can be achieved: (/) Improvement of the metric applied to the KNN, eg accuracy of the Segmentation, defect detection rate, number of false positive / false negative
  • FIG. 12 illustrates aspects related to the optical device 100.
  • the optical device 100 comprises an illumination module 111, which is set up for variable-angle illumination of an optical test object 150.
  • Sample holder 113 can adjust the pose of the specimen 150 in relation to the optical
  • Vary device 100 by rotation.
  • the imaging takes place in transmitted light geometry.
  • FIG. 13 illustrates aspects related to the imaging optical system.
  • FIG. 13 illustrates a further exemplary implementation of the imaging system 100.
  • the optical device 100 according to FIG. 13 basically corresponds to the optical device 100 according to FIG. 12 furnished. In FIG. 13 takes place
  • the lighting module 111 has a central recess through which light reflected on the test specimen 150 can reach the detector 114.
  • FIG. 14 illustrates aspects related to imaging optical system 100
  • Example of FIG. 14 basically corresponds to the example of FIG. 13.
  • a beam splitter 111 -5 is used to implement the incident light geometry.
  • FIG. 15 illustrates aspects related to the imaging optical system 100.
  • the example of FIG. 15 basically the example of FIG. 14.
  • the lighting module 111-1 is set up for imaging in incident light geometry; while the lighting module 111-2 is set up for imaging in transmitted light geometry.
  • FIG. 16 illustrates aspects related to the imaging optical system.
  • the example of FIG. 16 basically corresponds to the example of FIG. 15. In the example of FIG.
  • the lighting modules 111 -1, 111 -2 are not implemented by an array of light-emitting diodes; but by means of micromirror devices or DMDs 111-1B, 111-2B, in each case in combination with a single light source 111-1A, 111-2A.
  • FIG. 17 illustrates aspects related to the imaging optical system 100.
  • the lighting module 111 is not set up for variable-angle lighting and only comprises a single light source 111 -9.
  • the sample holder 113 is in turn set up for rotation and Z displacement of the optical test specimen 150.
  • the detection optics 112 is set up for angle-variable detection.
  • Different filter patterns 380-1, 380-2 in the area of a pupil plane can be used to filter the spectrum of the beam path.
  • the various examples described herein may use a correction lens.
  • the correction lens can be any suitable lens.
  • the correction lens can be any suitable lens.
  • the beam path of the light from the illumination module 111 to the detector 114 may be arranged before or after the optical test specimen 150.
  • the correction lens it may be possible to compensate for an optical effect of the optical test specimen 150, which can implement a lens, for example.
  • the correction lens can have an optical effect that is complementary to the optical test specimen. This makes it possible to correct falsifications due to the refractive power of the optical specimen 15. This makes it possible to reduce falsifications in the images and result images due to the optical effect of the test object.
  • (i) and (ii) are performed by separate algorithms.
  • a defect detection algorithm could first be used to perform (i); then (ii) subsequently one
  • Output of the defect detection algorithm can be compared with a reference error card. Based on the comparison, for example on the basis of a discrepancy between an error card as the output of the defect detection algorithm and the reference error card, (iii) the compliance with the standard can then be checked. In other words, the comparison, for example on the basis of a discrepancy between an error card as the output of the defect detection algorithm and the reference error card, (iii) the compliance with the standard can then be checked.
  • Such a KNN can receive one or more of the result images as an input card and have an output card with two or three neurons that correspond to “in tolerance”, “outside tolerance” and optionally “indefinitely”.
  • the techniques described herein can be integrated into a production process. For example, an optical imaging system, as described above, could be populated with an optical device under test by a robot arm; then the techniques described herein can be carried out.
  • Adjust the focus position of the optical test object Z-stacks of images can be captured.
  • the pose of the specimen can be varied with respect to the imaging optical system.
  • material testing can be automated.
  • Algorithms with machine learning can be used, for example as a defect detection algorithm or in another form.
  • an image field of the algorithm can be expanded with machine learning, for example by a parallel atrous convolution and a normal convolution. In this way, size-limited inputs from machine learning algorithms can be adapted to the comparatively extensive raw images and / or
  • the machine learning algorithm input would include a sequence of sliding windows. Different windows of the sequence can represent different areas of the at least one result image, with or without overlap. It is then possible that the algorithm output from a combination of results of a sequence of
  • Results is determined.
  • the sequence of results can correspond to the sequence of sliding windows. Such a technique makes it possible to expand the image field of the algorithm.
  • a CNN with the name "U-net” can be used as an example for a KNN, see Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation.” International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. Such a CNN U-net can be used by using skip connections
  • each raw image and / or each result image with digital contrast could be viewed as a separate channel.
  • Such a multi-modal input can be different from a conventional "3-channel red / green-blue" input:
  • the goal is the common processing of all Available image information, ie result images and / or raw images.
  • Such collaborative processing can be done, for example, by direct
  • Concatenation of all channels can be achieved.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

Die Erfindung betrifft Techniken zur Materialprüfung von optischen Prüflingen (150), etwa von Linsen. Dabei wird eine winkelvariable Beleuchtung - mittels eines geeigneten Beleuchtungsmoduls (111) - und/oder eine winkelvariable Detektion verwendet, um einen digitalen Kontrast zu erhalten. Der digitale Kontrast kann z.B. ein digitaler Phasenkontrast sein. Es ist möglich, einen Defekterkennungsalgorithmus zur automatisierten Materialprüfung basierend auf einem Ergebnisbild mit digitalem Kontrast anzuwenden. Es kann z.B. ein künstliches neuronales Netzwerk verwendet werden.

Description

Beschreibung
Materialprüfung von optischen Prüflingen
TECHNISCHES GEBIET
Verschiedene Ausführungsformen der Erfindung betreffen im Allgemeinen Techniken zur Materialprüfung von optischen Prüflingen. Verschiedene Ausführungsformen der Erfindung betreffen insbesondere Techniken zur Materialprüfung von optischen
Prüflingen unter Verwendung von winkelvariabler Beleuchtung und/oder winkelvariabler Detektion.
HINTERGRUND
Bei der Herstellung von optischen Elementen - beispielsweise von Linsen - können verschiedene Defekte auftreten. Beispiele für Defekte umfassen: Kratzer; Einschlüsse; Materialfehler; matte Oberflächen; Schlieren; Abplatzungen; Bohrungsfehler;
Optikversatz; und Dreh riefen.
Herkömmlicherweise werden optische Elemente als Prüflinge einer manuellen
Sichtprüfung durch Experten unterzogen. Dabei werden typischerweise spezielle Lampen eingesetzt, um die Defekte sichtbar zu machen. Eine weitere Technik ist die sogenannte„shape from shading“ Technik zur Rekonstruktion der Oberflächen im Reflexionsmodus. Die„shape from shading“(SFS) Technik ist etwa beschrieben in Prados, Emmanuel, and Olivier Faugeras. "Shape from shading." Handbook of mathematical models in Computer Vision (2006): 375-388.
Jedoch weisen solche Referenztechniken bestimmte Nachteile und Einschränkungen auf. Beispielsweise kann die manuelle Sichtprüfung vergleichsweise aufwendig sein. Außerdem kann das Erhalten eines quantitativen Gütewerts nicht oder nur
eingeschränkt möglich sein. Auch SFS weist bestimmte Nachteile und Einschränkungen auf. Beispielsweise kann es oftmals kompliziert und aufwendig sein, eine genügend große Anzahl von Bildern zu erhalten, um ein Rekonstruktion des Prüflings durchzuführen. Außerdem können entsprechende Techniken zeitintensiv und fehleranfällig sein.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Deshalb besteht ein Bedarf für verbesserte Techniken zur Materialprüfung von optischen Prüflingen. Insbesondere besteht ein Bedarf für Techniken, die zumindest einige der oben genannten Einschränkungen und Nachteile beheben oder lindern.
Diese Aufgabe wird von den Merkmalen der unabhängigen Patentansprüche gelöst. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
Ein Verfahren zur Materialprüfung von optischen Prüflingen mit einem optischen
Abbildungssystem umfasst, bei jeder von mindestens einer Pose des Prüflings in Bezug auf das Abbildungssystem: jeweils Ansteuern des optischen Abbildungssystems zum Erfassen von mindestens zwei Bildern des Prüflings mittels winkelvariabler Beleuchtung und/oder winkelvariabler Detektion. Das Verfahren umfasst auch, für jede der
mindestens einen Pose: jeweils Verarbeiten der entsprechenden mindestens zwei Bilder zum Erzeugen eines Ergebnisbilds. Das Ergebnisbild weist einen digitalen
Kontrast auf. Das Verfahren umfasst ferner Durchführen einer Materialprüfung, basierend auf dem mindestens einen Ergebnisbild, welches basierend auf den mindestens zwei Bildern bei der mindestens einen Pose erzeugt wurde.
Dabei dient das Durchführen der Materialprüfung der Bewertung der Güte des Prüflings. Optional wäre es möglich, im Rahmen der Materialprüfung einen oder mehrere Defekte des Prüflings zu erkennen. Dann kann anhand der erkannten Defekte beispielsweise die Erfüllung einer optischen Norm überprüft werden. In anderen Beispielen kann auch darauf verzichtet werden, individuelle Defekte zu erkennen: vielmehr kann es - beispielsweise durch einen Algorithmus mit maschinellem Lernen so wie etwa ein geeignetes, trainiertes künstliches neuronales Netzwerk (KNNs) - möglich sein, direkt die Erfüllung der optischen Norm zu überprüfen, d.h. ohne individuelle Defekte zu identifizieren. In diesem Zusammenhang kann also beispielsweise die gesamte optische Wirkung des optischen Prüflings bewertet werden, ohne den Einfluss einzelner Defekte auf die gesamte optische Wirkung aufzulösen. Ein solcher Algorithmus mit maschinellem Lernen kann also das mindestens eine Ergebnisbild als Eingabe empfangen. Als Ausgabe kann der Algorithmus mit maschinellem Lernen
beispielsweise einen Gütewert des Prüflings bereitstellen. Der Gütewert könnte z.B. binär ausgebildet sein, d.h.„pass“ oder„fail“ im Zusammenhang mit dem Erfüllen oder Nicht-Erfüllen einer Norm indizieren. Es wären auch feiner aufgelöste Gütewerte denkbar, beispielsweise Gütewerte, welche die Abweichung von der Norm
quantifizieren, oder Gütewerte, die zusätzlich zu„pass“ und„fail“ noch eine manuelle Sichtprüfung durch„unbestimmt“ verlangen. Dies kann auch als„rot-gelb-grün“ Prinzip bezeichnet werden.
Als allgemeine Regel können die hierin beschriebenen Algorithmen mit künstlicher Intelligenz bzw. mit maschinellem Lernen zumindest ein Element aus der Gruppe umfassen: eine parametrische Abbildung, ein generatives Modell, einen
Anomaliedetektor, und ein KNN. Beispiele für ein KNN umfassen ein tiefes KNN (DNN, Deep Neural Network), ein zeitverzögertes KNN, ein faltendes KNN (CNN,
Convolutional Neural Network), ein rekurrentes KNN (RNN, Recurrent Neural Network), ein Long short-term memory (LSTM)-Netz, und ein generatives Modell.
Die erfassten Bilder können auch als Rohbilder bezeichnet werden.
Beispielsweise kann der optische Prüfling aus folgender Gruppe ausgewählt sein:
Linse; Filter; Spiegel; Prisma; etc. Der optische Prüfling kann also eingerichtet sein, um Licht abzulenken, beispielsweise zu brechen oder zu fokussieren. Der optische Prüfling kann zum Beispiel aus Glas oder einem Polymer hergestellt sein. Der optische Prüfling kann zumindest teilweise transparent für sichtbares Licht oder Infrarotlicht oder ultraviolettes Licht sein. Der optische Prüfling kann eine optische Wirkung aufweisen, d.h. Licht brechen.
Die Pose des Prüflings in Bezug auf das Abbildungssystem kann beispielsweise eine Position und/oder eine Orientierung des Prüflings in einem durch das Abbildungssystem definierten Referenzkoordinatensystem bezeichnen. Beispielsweise könnte das
Referenzkoordinatensystem im Zusammenhang mit einem Objektiv oder einem
Detektor des Abbildungssystems bestimmt sein. Die Pose des Prüflings kann zum Beispiel dadurch verändert werden, dass der Prüfling gedreht oder durch Translation verschoben wird.
Bei der winkelvariablen Beleuchtung kann der Prüfling mit unterschiedlichen
Beleuchtungsgeometrien beleuchtet werden. Beispielsweise könnte der Prüfling aus verschiedenen Beleuchtungsrichtungen beleuchtet werden. Dann kann jeweils ein Bild der mindestens zwei Bilder bei Beleuchtung des Prüflings mit der entsprechenden Beleuchtungsgeometrie erfasst werden. Eine beispielhafte Implementierung der winkelvariablen Beleuchtung ist zum Beispiel beschrieben in: US 2017/276 923 A1. Zur winkelvariablen Beleuchtung könnte ein entsprechend ausgebildetes
Beleuchtungsmodul verwendet werden. Zum Beispiel kann ein Beleuchtungsmodul verwendet werden, welches eine Vielzahl von Lichtquellen aufweist. Die verschiedenen Lichtquellen können getrennt ansteuerbar sein. Dann kann, je nach aktivierter
Lichtquelle oder aktivierten Lichtquellen, eine unterschiedliche Beleuchtungsgeometrie implementiert werden. Wenn zwei Bilder, die mit unterschiedlichen
Beleuchtungsgeometrien assoziiert sind, erfasst werden, kann aus einem Abstand der Positionen der Abbildungen des Prüflings in den beiden Bildern der digitale Kontrast bestimmt werden. Eine weitere Implementierung für das Beleuchtungsmodul umfasst eine Lichtquelle und eine Spiegelanordnung, beispielsweise ein DMD (englisch: digital micromirror device). Dann kann je nach Stellung der verschiedenen Spiegel eine unterschiedliche Beleuchtungsgeometrie aktiviert werden. Durch die Verwendung unterschiedlicher Beleuchtungsgeometrien, wird ein Abbild des Prüflings in der
Detektorebene verschoben. Wenn zwei Bilder, die mit unterschiedlichen
Beleuchtungsgeometrien assoziiert sind, erfasst werden, kann aus einem Abstand der Positionen der Abbildungen des Prüflings der digitale Kontrast bestimmt werden.
Bei der winkelvariablen Detektion kann eine geeignet ausgebildete Detektionsoptik vorgesehen sein. Die Detektionsoptik kann eingerichtet sein, um ein Abbild des
Prüflings auf einem Detektor zu erzeugen. Ein einstellbares Filterelement, das in einem das Abbild definierenden Strahlengang der Detektionsoptik angeordnet ist, kann weiterhin vorgesehen sein. Eine Steuerung kann eingerichtet sein, um das einstellbare Filterelement anzusteuern, um das Spektrum des Strahlengangs mit unterschiedlichen Filtermustern zu filtern, um derart eine winkelvariable Detektion zu ermöglichen. Die Steuerung kann insbesondere eingerichtet sein, um mit unterschiedlichen Filtermustern assoziierte Bilder zu erfassen. Dabei können unterschiedliche Filterelemente verwendet werden, beispielsweise ein Filterrad oder ein DMD oder ein Flüssigkristallfilter oder eine bewegbare Filterplatte oder ein Amplitudenfilterelement. Durch das Filtern des
Spektrums des Strahlengangs kann die Detektion auf bestimmte Winkel des vom Prüfling auf den Detektor einfallenden Lichts beschränkt werden. Verschiedene
Beispiele der winkelvariablen Detektion beruhen also auf einer Amplitudenfilterung des Abbildungsspektrums in oder nahe bei einer Pupillenebene der Detektionsoptik der optischen Vorrichtung. Dies entspricht der Filterung bestimmter Winkel, mit denen Strahlen auf eine Sensorfläche des Detektors auftreffen; d.h. es werden selektiv einzelne Strahlen gemäß ihres Winkels zur Sensorfläche durchgelassen. Es werden unterschiedliche Filtermuster verwendet; für jedes Filtermuster wird ein zugehöriges Bild durch einen Detektor erfasst. In den verschiedenen hierin beschriebenen
Beispielen können unterschiedliche Filtermuster verwendet werden. Beispielsweise kann es möglich sein, dass jedes Filtermuster mindestens einen lichtdurchlässigen Bereich definiert, der umgeben von einem nicht-lichtdurchlässigen Bereich ist. Zum Beispiel könnte der lichtdurchlässige Bereich beabstandet von der optischen Achse eines durch die Detektionsoptik definierten Strahlengangs angeordnet sein, d.h.
außeraxial angeordnet sein. In manchen Beispielen ist es möglich, dass der
lichtdurchlässige Bereich linienförmig ausgebildet ist, d.h. dass das entsprechende Filtermuster eine Linie definiert. Dann werden nur Strahlen mit Winkeln in einem eng begrenzten Winkelbereich durchgelassen. Die verwendeten Filtermuster können beispielsweise durch Translation entlang eines Vektors ineinander überführt werden.
Bei der Verwendung eines geeigneten Filtermusters - beispielsweise eines
Filtermusters, das einen außeraxial angeordneten, linienförmigen lichtdurchlässigen Bereich aufweist - wird ein defokussiert angeordneter Prüfling verschoben dargestellt. Wenn zwei Bilder, die mit unterschiedlichen Filtermustern assoziiert sind, erfasst werden, kann aus einem Abstand der Positionen der Abbildungen des Prüflings der digitale Kontrast bestimmt werden. Durch geeignetes Verarbeiten der verschiedenen Bilder, die mittels der winkelvariablen Beleuchtung und/oder der winkelvariablen Detektion erfasst wurden, können also entsprechende digitale Kontraste erzeugt werden. Der digitale Kontrast kann etwa aus folgender Gruppe ausgewählt sein: virtuelles Dunkelfeld; digitaler
Phasengradientenkontrast; und digitaler Phasenkontrast.
Beispielsweise kann es mittels der in US 2017/276 923 A1 beschriebenen Techniken möglich sein, den Phasengradientenkontrast zu bestimmen. Dies bedeutet, dass gegenüberliegende Kanten des Prüflings als Phasenobjekt unterschiedliche Vorzeichen des Kontrasts aufweisen können.
Ein - optional quantitativer - Phasenkontrast könnte beispielsweise mittels der sogenannten quantitativen Differenz-Phasenkontrasttechnik bestimmt werden. Hier kann die sogenannte quantitative Differenz Phasenkontrast Technik (engl quantitative differential phase contrast, QDPC) angewendet werden; siehe beispielsweise L. Tian und L. Waller:„Quantitative differential phase contrast imaging in an LED array microscope“, Optics Express 23 (2015), 11394.
Ein Phasenkontrast kann auch, wie in der deutschen Patentanmeldung DE 10 2017 108 873.3 beschrieben, durch das geeignete Verwenden einer Übertragungsfunktion beim Verarbeiten der Bilder zum Erzeugen des Ergebnisbilds mit dem digitalen Kontrast erhalten werden. Beispielsweise kann die Übertragungsfunktion eine
Objektübertragungsfunktion und/oder eine Optikübertragungsfunktion des
Abbildungssystems bezeichnen. Die Übertragungsfunktion kann geeignet sein, um bei einer bestimmten Beleuchtungsgeometrie und einem bestimmten Prüfling das mindestens eine Bild vorherzusagen. Beispielsweise kann die Übertragungsfunktion einen reellwertigen Anteil aufweisen und/oder einen imaginären Anteil aufweisen. Dabei kann der reellwertige Anteil der Übertragungsfunktion einer Abnahme der Intensität des Lichts bei Durchlaufen des Prüflings entsprechen. Ein Amplitudenobjekt weist typischerweise eine signifikante Dämpfung des Lichts auf. Entsprechend kann der imaginäre Anteil der Übertragungsfunktion eine Verschiebung der Phase des den Prüfling durchlaufenden Lichts bezeichnen. Ein Phasenobjekt weist typischerweise eine signifikante Verschiebung der Phase des Lichts auf. Dabei können unterschiedliche Techniken zum Bestimmen der Übertragungsfunktion verwendet werden. In einem Beispiel könnte die Übertragungsfunktion auf Grundlage einer Technik nach Abbe bestimmt werden. Mittels einer Technik nach Abbe könnte eine Referenz- Übertragungsfunktion bestimmt werden. Dabei kann der Prüfling in unterschiedliche Ortsfrequenzanteile separiert werden. Dann kann eine Überlagerung unendlich vieler harmonischer Gitter den Prüfling modellieren. Auch die Lichtquelle kann zerlegt werden in die Summe verschiedener Punktlichtquellen. Ein weiteres Beispiel betrifft die
Bestimmung der Optikübertragungsfunktion, welche das Abbild des Prüflings für eine bestimmte Beleuchtungsgeometrie beschreibt, basierend auf einer Technik gemäß Hopkins, siehe H.H. Hopkins„On the Diffraction Theory of Optical Images“,
Proceedings of the Royal Society A: Mathematical, Physical Engineering Sciences 217 (1953) 408-432. Daraus kann die Transmissions-Kreuzkoeffizientenmatrix (engl transmission cross-coefficient matrix, TCC) bestimmt werden, die manchmal auch als partiell-kohärente Objektübertragungsfunktion bezeichnet wird. Der TCC kann als Referenz-Übertragungsfunktion dienen. Der TCC entspricht in etwa der
Übertragungsfunktion der partiell kohärenten Abbildung und enthält die Eigenschaften des optischen Systems sowie der Beleuchtungsgeometrie. Die Frequenzen, die die Optik übertragen, beschränken sich auf das Gebiet, in dem der TCC Werte ungleich 0 annimmt. Ein System mit hohem Kohärenzfaktor bzw. Kohärenzparameter hat demzufolge ein größeres Gebiet mit TCC F 0 und ist in der Lage, höhere
Ortsfrequenzen abzubilden. Im TCC steckt typischerweise die gesamte Information des optischen Systems und die TCC berücksichtigt oftmals auch komplexwertige Pupillen wie z. B. beim Zernike-Phasenkontrast oder ausgelöst durch Aberrationen. Die TCC kann eine Trennung der Optikübertragungsfunktion von der Objektübertragungsfunktion ermöglichen. In manchen Beispielen wäre es auch möglich, dass die
Übertragungsfunktion vorgegeben ist und keine Bestimmung als TCC oder nach Abbe erfolgen muss.
Je nach verwendeter Übertragungsfunktion können unterschiedliche Techniken zum Bestimmen des Ergebnisbilds verwendet werden. Eine beispielhafte Technik ist in Tian, Waller in Bezug auf Gl. 13 beschrieben. Dort ist dargestellt, wie basierend auf einer Tichonov Regularisierung ein Ergebnisbild mittels inverses Fourier-Transformation und basierend auf der Übertragungsfunktion H* und ferner basierend auf der Ortsfrequenzraum-Repräsentation einer Kombination IDPC von zwei Bildern des
Prüflings bei unterschiedlichen Beleuchtungsgeometrien bestimmt werden kann:
Dabei beschreibt IDPC die spektrale Zerlegung einer Kombination von zwei Bildern IT und IB, die bei unterschiedlichen Beleuchtungsgeometrien, die zueinander
komplementäre Halbkreise beleuchten, erfasst wurden: lT ~lB
DPC — (2)
Dies sind Beispiele. Im Allgemeinen muss die Beleuchtungsgeometrie beispielsweise nicht streng halbkreis-förmig sein. Z.B. könnten vier Leuchtdioden verwendet werden, die auf einem Halbkreis angeordnet sind. Z.B. könnten also definierte
Beleuchtungsrichtungen verwendet werden, also etwa einzelne Leuchtdioden. Ferner könnte in Gl. 2 auch die Normalisierung auf 1 erfolgen, anstatt auf IT + IB, oder auf einen anderen Wert. Statt einer Verrechnung von IT und IB könnten in anderen
Beispielen auch die Rohdaten selbst verwendet werden, also z.B. IDPC = IT oder IDPC = IB . Durch die Bildung eines entsprechenden Quotienten in Gl. 2 können andernfalls störende Einflüsse wie sonstige Stoffeigenschaften, Farbe, etc. reduziert werden. Durch die Bildung der Differenz kann insbesondere ein Absorptionsanteil aufgrund eines reellwertigen Anteils der Übertragungsfunktion reduziert werden. IDPC ist proportional zum lokalen Anstieg der Phasenverschiebung aufgrund des Prüflings. Die
Phasenverschiebung kann durch eine Änderung der Dicke des Prüflings bzw. der Topographie des Prüflings verursacht sein und/oder durch eine Änderung der optischen Eigenschaften.
Z.B. können zwei Bilder IDPC l sowie IDPC,2 bestimmt werden, einmal mit einem Paar von halbkreisförmigen Beleuchtungsgeometrien, die oben-unten in einer lateralen Ebene senkrecht zum Strahlengang angeordnet sind {IDPC, 1), und einmal mit einem Paar von halbkreisförmigen Beleuchtungsgeometrien, die links-rechts in der lateralen Ebene angeordnet sind {IDPC, 2)· Dann kann sowohl IDPC l, als auch IDPC,2 beim Bestimmen des Ergebnisbilds berücksichtigt werden, siehe Summationsindex j in Gl. 1. Solche
Techniken beruhen auf bestimmten Annahmen und Vereinfachungen, beispielsweise im Falle der o.g. Formulierung einer schwachen Objektnäherung (engl weak object approximation) und der TCC. In anderen Beispielen können aber andere Näherungen und Formalismen verwendet werden. Beispielsweise könnte eine andere Invertierung anstelle der Tichonov-Regularisierung verwendet werden, beispielsweise eine direkte Integration oder eine anderweitig ausgebildete Fourier-Filterung. Auch in solchen Abwandlungen können die grundlegenden Eigenschaften der Übertragungsfunktion, wie in den verschiedenen Beispielen hierin beschrieben, erhalten bleiben.
Ein virtuelles Dunkelfeld kann durch geeignete Verarbeitung der Bilder erzeugt werden. Das virtuelle Dunkelfeld berechnet sich beispielsweise als komponentenweiser
Absolutbetrag der Differenz zwischen jedem erfassten Rohbild und dem
entsprechenden Mittelwert des Rohbilds. Im Falle mehrerer verschiedener
Beleuchtungsgeometrien können die Ergebnisse dieser Berechnung
komponentenweise addiert werden. Die Formel lautet: wobei < . > den Mittelwert über alle Pixel des Bildes bezeichnet und Ij das j-te erfasste
Bild.
Durch die Verwendung der winkelvariablen Beleuchtung und/oder der winkelvariablen Detektion ist es also möglich, das Ergebnisbild mit einem maßgeschneiderten Kontrast bereitzustellen. Dadurch können die Defekte besonders gut sichtbar gemacht werden. Dadurch kann die Materialprüfung besonders zuverlässig und robust durchgeführt werden. Außerdem können die winkelvariable Beleuchtung und/oder die winkelvariable Detektion besonders zügig eingesetzt werden, sodass die Messzeitdauer pro Prüfling reduziert werden kann.
Es ist möglich, dass die Materialprüfung vollautomatisch oder teilautomatisch erfolgt. Es könnte also möglich sein, die Materialprüfung automatisiert durchzuführen. Dann könnte beispielsweise die Güte der optischen Prüflinge automatisch bewertet werden. Insbesondere könnte auch eine Klassifikation des Prüflings gemäß einer Referenz - wie beispielsweise einer ISO-Norm etc. - durchgeführt werden. Beispielsweise wäre es also möglich, ein KNN zu verwenden, welches - durch geeignetes Training bzw.
maschinelles Lernen anhand von Referenz-Messdaten - direkt die Erfüllung der Norm als entsprechenden Gütewert indiziert. Die Referenz-Messdaten können beispielsweise mittels winkelvariabler Beleuchtung erfasste Bilder zeigen und mit entsprechenden Kategorien„pass“ und„fail“ annotiert sein. In einem solchen Szenario kann es entbehrlich sein, einzelne Defekte zu erkennen und/oder zu segmentieren oder den Einfluss einzelner Defekte auf die optische Wirkung des Prüflings zu bestimmen.
Vielmehr kann eine Gesamtbewertung des aggregierten Einflusses aller Defekte auf die optische Wirkung erfolgen.
In einem weiteren Beispiel wäre es aber auch möglich, dass einzelne Defekte erkannt werden. So umfasst in einem Beispiel das Durchführen der Materialprüfung das
Anwenden eines Defekterkennungsalgorithmus zur automatisierten Erkennung von Defekten.
Der Defekterkennungsalgorithmus kann ausgebildet sein, um - neben der bloßen Erkennung von Defekten - auch Zusatzinformation zu erkannten Defekten bereit zu stellen. Die Zusatzinformation kann Eigenschaften von Defekten in qualitativer und/oder quantitativer Hinsicht beschreiben. Z.B. könnte eine Lage und/oder Form und/oder Größe von erkannten Defekten bestimmt werden. Solche Zusatzinformationen können in einer Fehlerkarte hinterlegt werden.
Dabei kann der Defekterkennungsalgorithmus im Allgemeinen unterschiedliche
Techniken einsetzen. Beispielsweise wäre es möglich, dass der
Defekterkennungsalgorithmus ein oder mehrere der folgenden Techniken verwendet: maschinelles Lernen; Schwellenwertbildung, etwa direkt oder auf gefilterten Daten oder mittels Differenzbildgebung anhand von Referenzbildern; statistische Analysen;
Korrelationsbildung. Der Defekterkennungsalgorithmus kann etwa ein trainiertes KNN verwenden. Es bestünde beispielsweise die Option, die erkannten Defekte automatisch mittels maschinellem Lernen in verschiedene Klassen zu unterteilen. Dabei kann also eine Zuordnung in unterschiedliche Defektklassen erfolgen. Es könnte etwa mittels einer Segmentierung die Größe der Defekte quantifiziert werden. Das Ergebnisbild kann entsprechend segmentiert werden. Beispielsweise kann bei der Auswertung der Defekte mittels Techniken des maschinellen Lernens die Klassifikation des jeweiligen Defekts in Bezug auf vordefinierte Defektklassen, wie auch die zugehörige
Segmentierung des jeweiligen Ergebnisbilds hinsichtlich der Position des Defekts ermittelt werden.
Aufgrund der großen Anzahl möglicher Defektklassen kann es möglich sein, dass nicht alle Defektklassen a-priori bekannt sind. Um zu ermöglichen, dass der
Defekterkennungsalgorithmus auch Defekte erkennt, die zu a-priori unbekannten Defektklassen zugehörig sind, kann beispielsweise ein Anomaliedetektor verwendet werden. Ein Anomaliedetektor kann beliebige Abweichungen von einer Vorgabe erkennen. Der Anomaliedetektor kann damit Defekte erkennen, auch wenn diese nicht vorher bekannten bzw. trainierten Defektklassen zugehörig sind. Beispiele umfassen „Support vector machines“, Bayes‘sche Netze, etc.
Dann kann anhand der Klassen und Größen der Defekte eine Prüfung etwa hinsichtlich der Erfüllung einer geeigneten Norm erfolgen. Dazu kann eine Fehlerkarte, die vom Defekterkennungsalgorithmus erstellt wird, mit einer Referenz-Fehlerkarte verglichen werden, welche die Norm abbildet. Z.B. könnte - basierend auf einem solchen
Vergleich - ermittelt werden, ob der Prüfling innerhalb oder außerhalb einer Toleranz liegt. Es könnte auch ermittelt werden, dass die Überprüfung auf Erfüllung der geeigneten Norm überhaupt möglich ist: wenn beispielsweise eine Unsicherheit im Zusammenhang mit dem Defekterkennungsalgorithmus zu groß ist, kann die
Überprüfung auf Erfüllung der Norm nicht oder nur eingeschränkt möglich sein, weil die assoziierte Fehlerkarte ungenau ist. Es ist also möglich, dass die Materialprüfung nur teilweise vollautomatisch abläuft, d.h. dass das Ergebnis der automatischen Prüfung zusätzlich zu den Ereignissen“Prüfling in Toleranz” (bzw.„pass“) und“Prüfling außer Toleranz” (bzw.„fail“) ein drittes Ereignis sein kann:“unbestimmt”. Dies kann auch als „rot-gelb-grün“ Prinzip bezeichnet werden. Für den Fall„unbestimmt“ könnte eine nachfolgende manuelle oder halbautomatisierte Sichtprüfung vorschlagen werden. Dies könnte z.B. realisiert werden, indem das Prüfverfahren Prüflinge mit Defekten, die Größen bzw. Stufenzahlen gemäß Norm aufweisen, welche nahe der Toleranzgrenze liegen, als“unbestimmt” bewertet. Eine andere Möglichkeit wäre, dass ein
Anomaliedetektor verwendet wird, der feststellt, ob Defekte oder allgemein Strukturen in den Bildern vorhanden sind, für die keine automatische Prüfung vorgesehen ist, etwa weil die zugehörigen Defektklassen unbekannt sind.
Eine weitere Option umfasst das Ersetzen der manuellen Sichtprüfung durch eine halbautomatisierte Sichtprüfung. Dies kann erfolgen, indem das Ergebnisbild mit dem digitalen Kontrast auf einem Bildschirm einem Benutzer angezeigt wird. Dieser kann einen Vergleich mit der Norm durchführen und etwa einen Gütewert der Materialprüfung in Abhängigkeit von dem Vergleichen ausführen.
Daraus ist ersichtlich, dass eine große Bandbreite an Möglichkeiten besteht, die
Materialprüfung unter Berücksichtigung von Ergebnisbildern mit digitalem Kontrast zu implementieren. Es gibt beispielsweise eine große Bandbreite von verwendbaren Defekterkennungsalgorithmen.
Je nach Defekterkennungsalgorithmus kann es im Allgemeinen auch möglich sein, dass beim Durchführen der Materialprüfung auch eines oder mehrere der unverarbeiteten Rohbilder direkt berücksichtigt werden. Dies bedeutet, dass es möglich sein kann, die Verwendung von Ergebnisbildern durch die Verwendung von Rohbildern zu ergänzen. Z.B. könnte ein Defekterkennungsalgorithmus als Eingabe nicht nur Ergebnisbilder der winkelvariablen Beleuchtung erhalten, sondern auch Rohbilder. Beispielsweise könnten Bilder, die bei Verwendung einer Hellfeldbeleuchtung erfasst wurden, berücksichtigt werden. Es könnten alternativ oder zusätzlich auch Bilder berücksichtigt werden, die bei einer Dunkelfeldbeleuchtung erfasst wurden. Durch die Berücksichtigung von
Rohbildern kann - je nach verwendetem Defekterkennungsalgorithmus - eine noch höhere Genauigkeit erzielt werden.
Eine Recheneinheit ist eingerichtet, ein optisches Abbildungssystem anzusteuern, um bei jeder von mindestens einer Pose eines optischen Prüflings in Bezug auf das
Abbildungssystem jeweils mindestens zwei Bilder des Prüflings mittels zumindest einem von winkelvariabler Beleuchtung und winkelvariabler Detektion zu erfassen. Die
Recheneinheit ist auch eingerichtet, für jede der mindestens einen Pose: jeweils Verarbeiten der entsprechenden mindestens zwei Bilder zum Erzeugen eines
Ergebnisbilds mit digitalem Kontrast. Die Recheneinheit ist auch eingerichtet, um basierend auf dem mindestens einen Ergebnisbild, das basierend auf den mindestens zwei Bildern bei der mindestens einen Pose des Prüflings erzeugt wurde, eine
Materialprüfung zur Erkennung von Defekten des Prüflings durchzuführen.
Beispielsweise könnte die Recheneinheit eine Grafikkarte mit einer großen Anzahl parallelen Verarbeitungspipelines umfassen, etwa im Gegensatz zu einer„Central Processing Unit“, CPU.
Für eine solche Recheneinheit können Effekte erzielt werden, die vergleichbar sind mit den Effekten, die für ein Verfahren zur Materialprüfung wie oben stehend beschrieben erzielt werden können.
Die oben dargelegten Merkmale und Merkmale die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
KURZE BESCHREIBUNG DER FIGUREN
FIG. 1 illustriert schematisch ein optisches Abbildungssystem gemäß verschiedener Beispiele.
FIG. 2 illustriert schematisch eine Steuerung für ein optisches Abbildungssystem gemäß verschiedener Beispiele.
FIG. 3 illustriert schematisch ein Beleuchtungsmodul eines optischen
Abbildungssystems gemäß verschiedener Beispiele, wobei das Beleuchtungsmodul zur winkelvariablen Beleuchtung eingerichtet ist. FIG. 4 illustriert schematisch eine Beleuchtungsgeometrie der winkelvariablen
Beleuchtung gemäß verschiedener Beispiele.
FIG. 5 illustriert schematisch eine Detektionsoptik eines optischen Abbildungssystems gemäß verschiedener Beispiele, wobei die Detektionsoptik zur winkelvariablen
Detektion eingerichtet ist.
FIG. 6 illustriert schematisch Filtermuster der Detektionsoptik gemäß verschiedener Beispiele.
FIG. 7 ist ein Flussdiagramm eines beispielhaften Verfahrens.
FIG. 8 ist ein Flussdiagramm eines beispielhaften Verfahrens, wobei FIG. 8 Aspekte in Bezug auf eine Bilderfassung illustriert.
FIG. 9 ist ein Flussdiagramm eines beispielhaften Verfahrens, wobei FIG. 9 Aspekte in Bezug auf eine Bildauswertung illustriert.
FIG. 10 ist ein Flussdiagramm eines beispielhaften Verfahrens, wobei FIG. 10 Aspekte in Bezug auf eine Materialprüfung illustriert.
FIG. 11 illustriert schematisch eine Bilderfassung und Bildauswertung zur Erzeugung von Ergebnisbildern mit digitalem Kontrast gemäß verschiedener Beispiele, sowie eine Materialprüfung.
FIG. 12 illustriert schematisch ein optisches Abbildungssystem gemäß verschiedener Beispiele.
FIG. 13 illustriert schematisch ein optisches Abbildungssystem gemäß verschiedener Beispiele.
FIG. 14 illustriert schematisch ein optisches Abbildungssystem gemäß verschiedener Beispiele. FIG. 15 illustriert schematisch ein optisches Abbildungssystem gemäß verschiedener Beispiele.
FIG. 16 illustriert schematisch ein optisches Abbildungssystem gemäß verschiedener Beispiele.
FIG. 17 illustriert schematisch ein optisches Abbildungssystem gemäß verschiedener Beispiele.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt.
Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
FIG. 1 illustriert ein beispielhaftes optisches Abbildungssystem 100 (nachfolgend auch als optische Vorrichtung 100 bezeichnet). Beispielsweise könnte die optische
Vorrichtung 100 gemäß dem Beispiel der FIG. 1 ein Lichtmikroskop implementieren, beispielsweise in Durchlichtgeometrie. Mittels der optischen Vorrichtung 100 kann es möglich sein, kleine Strukturen eines von einem Probenhalter 113 fixierten Prüflings bzw. Probenobjekts vergrößert darzustellen. Eine Detektionsoptik 112 ist eingerichtet, um ein Abbild des Prüflings auf einem Detektor 114 zu erzeugen. Der Detektor 114 kann dann eingerichtet sein, um ein oder mehrere Bilder des Prüflings zu erfassen. Auch eine Betrachtung durch ein Okular ist möglich.
Ein Beleuchtungsmodul 111 ist eingerichtet, um den Prüfling, das auf dem
Probenhaltern 113 fixiert ist, zu beleuchten. Beispielsweise könnte diese Beleuchtung mittels der Köhler‘schen Beleuchtung implementiert werden. Dabei werden eine Kondensorlinse und eine Kondensor-Aperturblende verwendet. Dies führt zu einer besonders homogenen Intensitätsverteilung des zur Beleuchtung verwendeten Lichts in der Ebene des Prüflings. Beispielsweise kann eine partiell inkohärente Beleuchtung implementiert werden. Das Beleuchtungsmodul 111 könnte auch eingerichtet sein, um den Prüfling in Dunkelfeldgeometrie zu beleuchten.
Eine Steuerung 115 ist vorgesehen, um die verschiedenen Komponenten 111 -114 der optischen Vorrichtung 100 anzusteuern. Beispielsweise könnte die Steuerung 115 eingerichtet sein, um einen Motor des Probenhalters 113 anzusteuern, um eine
Autofokus-Anwendung zu implementieren. Beispielsweise könnten die Steuerung 115 als Mikroprozessor oder Mikrocontroller implementiert sein. Alternativ oder zusätzlich könnte die Steuerung 115 beispielsweise einen FPGA oder ASIC umfassen.
FIG. 2 illustriert Aspekte in Bezug auf die Steuerung 115. Die Steuerung 115 umfasst eine Recheneinheit 501 , beispielsweise einen Mikroprozessor, einen FPGA oder einen ASIC. Die Recheneinheit 501 kann auch einen PC mit einer zentralen Recheneinheit und/oder einer Recheneinheit, die für parallele Prozessierung ausgebildet ist, also etwa eine Grafikkarte. Außerdem umfasst die Steuerung 115 auch einen Speicher 502, beispielsweise einen nicht flüchtigen Speicher. Es ist möglich, dass Programm-Code in dem Speicher 502 abgespeichert ist. Der Programm-Code kann von der Recheneinheit 501 geladen und ausgeführt werden. Dann kann die Recheneinheit 501 eingerichtet sein, basierend auf dem Programm-Code Techniken zur Materialprüfung eines optischen Prüflings, zur Ansteuerung der optischen Vorrichtung zur Durchführung einer winkelvariablen Beleuchtung oder winkelvariablen Detektion, etc. durchzuführen.
In einem Beispiel ist das Beleuchtungsmodul 111 also eingerichtet, um eine
winkelvariable Beleuchtung zu ermöglichen. Dies bedeutet, dass mittels des
Beleuchtungsmoduls 111 unterschiedliche Beleuchtungsgeometrien des zur
Beleuchtung des Prüflings verwendeten Lichts implementiert werden können. Die unterschiedlichen Beleuchtungsgeometrien können einer Beleuchtung des Prüflings aus zumindest teilweise verschiedenen Beleuchtungsrichtungen entsprechen.
Dabei sind in den verschiedenen hierin beschriebenen Beispielen unterschiedliche Hardware-Implementierungen möglich, um die unterschiedlichen
Beleuchtungsgeometrien bereitzustellen. Beispielsweise könnte das
Beleuchtungsmodul 111 mehrere einstellbare Beleuchtungselemente umfassen, die eingerichtet sind, um lokal Licht zu modifizieren oder auszusenden. Die Steuerung 115 kann das Beleuchtungsmodul 111 bzw. die Beleuchtungselemente zum Implementieren einer bestimmten Beleuchtungsgeometrie ansteuern. FIG. 3 illustriert weitere
diesbezügliche Beispiele.
FIG. 3 illustriert Aspekte in Bezug auf das Beleuchtungsmodul 111. Das
Beleuchtungsmodul 111 ist dabei zur winkelvariablen Beleuchtung eingerichtet. In FIG.
3 ist dargestellt, dass das Beleuchtungsmodul 111 eine Vielzahl von einstellbaren Beleuchtungselementen 121 in einer Matrixstruktur aufweist. Die Matrixstruktur ist dabei in einer Ebene senkrecht zum Strahlengang des Lichts orientiert (laterale Ebene;
Ortsraumkoordinaten x, y).
Anstatt einer Matrixstruktur wäre es in anderen Beispielen auch möglich, andere geometrische Anordnungen der einstellbaren Elemente zu verwenden, beispielsweise ringförmig, halbkreisförmig etc.
In einem Beispiel könnten die einstellbaren Beleuchtungselemente 121 als Lichtquellen, beispielsweise als Leuchtdioden, implementiert sein. Dann wäre es zum Beispiel möglich, dass unterschiedliche Leuchtdioden mit unterschiedlicher Lichtstärke Licht zur Beleuchtung des Prüflings emittieren. Dadurch kann eine Beleuchtungsgeometrie implementiert werden. In einer weiteren Implementierung könnte das
Beleuchtungsmodul 111 als räumlicher Lichtmodulator (Engl., spatial light modulator, SLM) implementiert sein. Der SLM kann ortsaufgelöst einen Eingriff in eine
Kondensorpupille nehmen, was eine direkte Auswirkung auf die Bildgebung haben kann. Es wäre auch möglich, einen DMD zu verwenden.
FIG. 4 illustriert Aspekte in Bezug auf eine beispielhafte Beleuchtungsgeometrie 300. In FIG. 4 ist die bereitgestellte Lichtstärke 301 für die verschiedenen einstellbaren
Elemente 121 des Beleuchtungsmoduls 111 entlang der Achse X-X' aus FIG. 3 dargestellt. Die Beleuchtungsgeometrie 300 weist eine Abhängigkeit von der Position entlang der Achse X-X‘ auf und ist daher winkelvariabel. Durch Auswahl von weiter oder weniger weit entfernten Elementen 121 kann die Stärke der winkelvariablen
Beleuchtung variiert werden. Durch Variation der Richtung zwischen den
unterschiedlichen Beleuchtungsgeometrien aktivierten Elementen 121 kann die
Orientierung der winkelvariablen Beleuchtung verändert werden.
Je nach Beleuchtungsgeometrie 300 variiert die Abbildungsposition des optischen Prüflings. Diese Veränderung der Abbildungsposition kann ausgenutzt werden, um den digitalen Kontrast zu erzeugen.
Neben solchen Techniken der winkelvariablen Beleuchtung kann in einem weiteren Beispiel auch eine winkelvariable Detektion verwendet werden. Bei der winkelvariablen Detektion ist die Detektionsoptik 112 entsprechend eingerichtet. Entsprechende
Beispiele sind im Zusammenhang mit FIG. 5 dargestellt.
FIG. 5 illustriert Aspekte in Bezug auf die Detektionsoptik 112. FIG. 5 illustriert eine Ausbildung der Detektionsoptik 112 zur winkelvariablen Detektion. FIG. 5 illustriert eine beispielhafte Implementierung der Detektionsoptik 112 mit einem einstellbaren
Filterelement 119. Das Filterelement 119 ist im Bereich einer konjugierten Ebene des Strahlengangs 135 angeordnet, das heißt nahe oder bei einer Pupillenebene des Strahlengangs 135. Deshalb erfolgt eine Filterung des (Ortsfrequenz-)Spektrums des Strahlengangs 135. Im Ortsraum entspricht dies der Selektion unterschiedlicher Winkel 138, 139, unter denen das Licht entlang entsprechender Strahlen 131 , 132 vom Prüfling 150 auf die Sensorfläche 211 einfällt. Das Filterelement 119 bildet auch eine
Aperturblende aus. Der Strahlengang 135 wird durch Linsen 202, 203 implementiert.
In FIG. 5 sind die Strahlen 131 , 132 des Strahlengangs 135 ausgehend von einem defokussiert angeordneten Prüfling 150 durch die Detektionsoptik 112 hin zu dem Detektor 114, das heißt insbesondere einer Sensorfläche 211 des Detektors 114, dargestellt. Die Strahlen 131 (gestrichelte Linien in FIG. 5) entsprechen dabei einem Filtermuster 380, das einen ersten lichtdurchlässigen Bereich 381 mit einer
Ausdehnung in X-Richtung definiert; während die Strahlen 132 (gestrichelt-gepunktete Linien in FIG. 5) einem Filtermuster 380-2 entsprechen, das einen zweiten
Lichtdurchlässigen Bereich 382 mit Ausdehnung in X-Richtung definiert. Der Prüfling 150 ist defokussiert angeordnet und weist eine Fokusposition 181 auf, die ungleich null ist. Deshalb fallen die Strahlen unter unterschiedlichen Winkeln 138, 139 auf die
Sensorfläche 211 ein (winkelvariable Detektion). Außerdem sind die Abbilder 151 , 152 des Prüflings 150 zueinander beanstandet.
Aufgrund einer Fokusposition 181 , die ungleich null ist, - d.h. einer Beabstandung der Position des Prüflings 150 entlang der optischen Achse 130 von der Fokusebene 201 der Detektionsoptik 112 -, sind die durch die Strahlen 131 , 132 bewirkten Abbildungen 151 , 152 des Prüflings 150 auf der Sensorfläche 211 um einen Abstand 182 zueinander beabstandet positioniert. Dabei hängt der Abstand 182 ab von der Fokusposition 181 :
wobei Az die Fokusposition 181 bezeichnet, Ax den Abstand 182 bezeichnet, 0P den Durchmesser der Aperturblende bezeichnet, Ak die Länge der Entfernung der lichtdurchlässigen Bereiche der Filtermuster 380-1 , 380-2, m die Vergrößerung der Detektionsoptik 112 bezeichnet und NA einen Korrekturwert aufgrund des schrägen Einfallswinkels 138, 139 bezeichnet. NA kann beispielsweise empirisch oder durch Strahlengangberechnung bestimmt werden. Die dargestellte Gleichung ist eine Näherung. In manchen Beispielen kann es möglich sein, ferner eine Abhängigkeit des Einfallswinkel 138, 139 in Abhängigkeit der
Fokusposition 181 , d.h. von Dz zu berücksichtigen. Diese Abhängigkeit kann System- spezifisch sein.
Aufgrund der Abhängigkeit der Fokusposition Dz vom Abstand Dc kann durch
Verarbeitung entsprechender Bilder - die mit den unterschiedlichen Filtermustern 380- 1 , 380-2 erfasst werden - ein digitaler Kontrast erzeugt werden. Dabei kann etwa ausgenutzt werden, dass ein optischer Prüfling typischerweise eine signifikante
Ausdehnung in Z-Richtung aufweist und daher in Z-Richtung ausgedehnte Kanten - etwa von Defekten -, durch das Vorliegen des Abstands Dc in den Bildern, sichtbar gemacht werden können.
Grundsätzlich kann es in verschiedenen Beispielen erstrebenswert sein, besonders dünne lichtdurchlässige Bereiche 381 , 382 - d.h. eine geringe Ausdehnung in X- Richtung - zu definieren. Dies kann eine besonders große Genauigkeit beim Bestimmen des Abstands 182 und damit der Fokusposition 182 ermöglichen. Andererseits wird durch eine geringe Ausdehnung der lichtdurchlässigen Bereiche in X-Richtung die Intensität auf der Sensorfläche 211 herabgesetzt. Deshalb kann eine Abwägung getroffen werden zwischen Intensität einerseits und Genauigkeit andererseits. Aus FIG. 5 ist ersichtlich, dass die 0. -Ordnung der des vom Prüfling 150 gebeugten Lichts nicht detektiert wird; damit ist die Intensität vergleichsweise gering.
FIG. 5 ist eine eindimensionale Darstellung der Filtermuster 380-1 , 380-2. In manchen Beispielen könnten aber auch Filtermuster verwendet werden, die eine
zweidimensionale Ausdehnung aufweisen, d.h. eine Ausdehnung in der XY-Ebene.
FIG. 6 illustriert Aspekte in Bezug auf beispielhafte Filtermuster 351 , 352. In dem Beispiel der FIG. 6 definiert das Filtermuster 351 eine Linie und das Filtermuster 352 definiert eine weitere Linie. Das Filtermuster 351 kann durch Translation entlang des Vektors 350 in das Filtermuster 352 überführt werden. Die Linien der Filtermuster 351 , 352 sind entlang ihrer gesamten Längen parallel zueinander. Im Allgemeinen wäre es auch möglich, dass Linien verwendet werden, die nur entlang eines Teils ihrer Längen parallel zueinander verlaufen, beispielsweise entlang zumindest 50 % ihrer Längen oder entlang zumindest 80 % ihrer Längen. Derart kann eine flexiblere Wahl von
Filtermustern 351 , 352 gewährleistet werden.
Aus FIG. 6 ist ersichtlich, dass die Linien der Filtermuster 351 , 352 außeraxial in Bezug auf die optische Achse 130 angeordnet sind. Dadurch kann die Länge des Vektors 350 maximiert werden; wodurch der Abstand 182 der Abbildungen 151 , 152 maximiert werden kann. Dadurch kann die Stärke der winkelvariablen Detektion angepasst werden.
Durch die Verwendung der Filtermuster 351 , 352, die durch Translation entlang des Vektors 350 ineinander überführt werden können, kann eine eindimensionale
Beabstandung der Abbildungen 151 , 152 erzielt werden. Der Abstand 182 ist dann parallel zum Vektor 350 angeordnet. Durch Rotation der Filtermuster kann die
Orientierung der winkelvariablen Detektion verändert werden.
FIG. 7 illustriert ein Flussdiagramm eines beispielhaften Verfahrens. Zum Beispiel könnte das Verfahren gemäß FIG. 7 von der Steuerung 115 ausgeführt werden
(vergleiche FIG. 2). Beispielsweise könnte die Recheneinheit 501 Programmcode aus dem Speicher 502 laden und daraufhin das Verfahren nach FIG. 7 durchführen.
In Block 1001 erfolgt die Bilderfassung. Beispielsweise könnte in Block 1001 ein optisches Abbildungssystem, wie die optische Vorrichtung 100 aus FIG. 1 , angesteuert werden, um ein oder mehrere Bilder zu erfassen.
Insbesondere kann in Block 1001 das optische Abbildungssystem zum Erfassen von mindestens zwei Bildern eines optischen Prüflings mittels zumindest einem von winkelvariabler Beleuchtung und winkelvariabler Detektion angesteuert werden.
Die winkelvariable Beleuchtung kann die Verwendung von mehreren
Beleuchtungsgeometrien umfassen, wobei jeweils mindestens eine
Beleuchtungsgeometrie mit einem der mindestens zwei Bilder assoziiert ist. Unterschiedliche Beleuchtungsgeometrien können beispielsweise durch die Aktivierung unterschiedlicher Lichtquellen implementiert werden.
Die winkelvariable Detektion kann durch Filterung eines Spektrums eines
Strahlengangs durch Vorsehen entsprechender Filter nahe bei oder in der
Pupillenebene einer Detektionsoptik des optischen Abbildungssystems erfolgen.
Eine Variation der Stärke und/oder Orientierung der winkelvariablen Beleuchtung kann durch Variation der verwendeten Lichtquellen bzw. der verwendeten
Beleuchtungsgeometrien erfolgen. Entsprechend kann eine Variation der Stärke und/oder Orientierung der winkelvariablen Detektion durch eine Variation der verwendeten Filtermuster erfolgen.
Wenn die Stärke und/oder die Orientierung der winkelvariablen Beleuchtung und/oder der winkelvariablen Detektion variiert werden, kann dadurch die Stärke und/oder Richtung eines nachfolgend bestimmten digitalen Kontrasts variieren. Durch die Variation der Richtung des digitalen Kontrasts können bestimmte Defekte besonders gut sichtbar gemacht werden.
In Block 1002 erfolgt die Bildauswertung. Dies kann das Verarbeiten der in Block 1001 erfassten mindestens zwei Bilder zum Erzeugen eines Ergebnisbilds mit digitalem Kontrast umfassen. Der digitale Kontrast kann beispielsweise ausgewählt sein aus folgender Gruppe: Phasenkontrast; Phasengradientenkontrast; und virtuelles
Dunkelfeld.
In Block 1003 erfolgt dann das Durchführen einer Materialprüfung. Die Materialprüfung kann im Allgemeinen der Gütebewertung des optischen Prüflings dienen.
Dabei können unterschiedliche Techniken zum Durchführen der Materialprüfung in Block 1003 angewendet werden. In einem einfachen Beispiel wäre es zum Beispiel möglich, dass das Ergebnisbild mit dem digitalen Kontrast einem Benutzer angezeigt wird; dann kann der Benutzer Defekte manuell identifizieren. Die Materialprüfung kann in Block 1003 auch automatisiert durchgeführt werden. Z.B. kann ein Gütewert bestimmt werden, etwa unter Verwendung eines KNNs oder einem anderen Algorithmus mit maschinellem Lernen. Das KNN kann als Eingangskarte ein oder mehrere der Ergebnisbilder aus Block 1002 empfangen. Das KNN kann als Ausgabe den Gütewert bereitstellen. Der Gütewert könnte z.B. spezifizieren, ob der Prüfling„innerhalb einer Norm“,„außerhalb einer Norm“ oder - optional -„unbestimmt“ ist.
In spezifischen Implementierung kann das Durchführen der Materialprüfung auch zur Erkennung einzelner Defekten des optischen Prüflings dienen, zum Beispiel unter Anwendung eines Defekterkennungsalgorithmus zur automatisierten Erkennung von Defekten.
Die Blöcke 1001 - 1003 müssen nicht strengt sequentiell abgearbeitet werden; es wäre vielmehr z.B. möglich, bereits während der Bilderfassung aus Block 1001 mit der Bildauswertung 1002 und möglicherweise der Materialprüfung in Blöcken 1002, 1003 zu beginnen.
FIG. 8 ist ein Flussdiagramm eines beispielhaften Verfahrens. Insbesondere illustriert FIG. 8 eine beispielhafte Implementierung von Block 1001 aus FIG. 7. Dies bedeutet, dass FIG. 8 Details zur Implementierung der Bilderfassung zeigt.
In Block 1011 wird eine Orientierung und/oder eine Z-Position und/oder eine XY- Position des optischen Prüflings eingestellt. Das bedeutet, dass die Pose des Prüflings eingestellt wird. Dies könnte beispielsweise durch Ansteuern eines motorisierten Probenhalters 113 durch die Steuerung 115 erfolgen (vergleiche FIG. 1 ). Zum Beispiel könnte der Probenhalter den optischen Prüfling rotieren, um die Orientierung
einzustellen. Beispielsweise wäre es möglich, dass der Probenhalter 113 den optischen Prüfling entlang des Strahlengangs verschiebt, um die Z-Position - d.h. die Fokuslage - einstellt. In einer weiteren Variante wäre es möglich, dass die XY-Position - das heißt die Position senkrecht zum Strahlengang - eingestellt wird. In einem weiteren Beispiel wird der Benutzer über eine Mensch-Maschine-Schnittsteile aufgefordert, eine bestimmte Pose des Prüflings hündisch einzustellen.
In einem weiteren Beispiel verbleibt der Prüfling ortsfest, aber die Detektionsoptik wird gegenüber dem Prüfling verschoben (Kamera-Defokus).
Solche Techniken, wie sie im Zusammenhang mit Block 1011 beschrieben werden, sind insbesondere dann hilfreich, wenn der optische Prüfling eine große Ausdehnung im Vergleich zum Sichtfeld des optischen Abbildungssystems aufweist. Dann kann nämlich mittels dem Einstellen der Z-Position - etwa durch Innenfokussierung oder Kamera- Defokus - jeweils eine unterschiedliche Ebene des optischen Prüflings scharf auf den Detektor 114 abgebildet werden. Dadurch kann eine Volumenprüfung des optischen Prüflings durch Erhalten eines Stapels an Bildern für unterschiedliche Z-Positionen (sogenannte Z-Stapel) ermöglicht werden. Entsprechendes gilt auch für das Einstellen der XY-Position, manchmal auch als "stitching" bezeichnet. Dadurch können
unterschiedliche laterale Positionen des optischen Prüflings in das Sichtfeld des optischen Abbildungssystems gebracht werden. Dadurch kann ein Stapel von Bildern erhalten werden, der unterschiedlichen lateralen Positionen des optischen Prüflings entspricht (sogenannte XY-Stapel).
Ein weiteres Beispiel zur Verarbeitung eines optischen Prüflings mit großer
Ausdehnung im Vergleich zum Sichtfeld des optischen Abbildungssystems umfasst die Verwendung von sog.„gleitenden Fenstern“ (engl „sliding window). Mittels gleitender Fenster kann eine Verarbeitung von Bildern - etwa von Ergebnisbildern und/oder von Rohbildern - erfolgen, auch wenn diese Bilder nicht komplett in einen Speicher der entsprechenden Recheneinheit passen, etwa in einen Level 1 oder Level 2 Speicher der Recheneinheit. Dann kann es erforderlich sein, das entsprechende Bild zunächst in einem externen RAM-Block zwischen zu speichern und anschließend einzelne Stücke der Bilder - gemäß der gleitenden Fenster - zu laden und zu verarbeiten. Dabei ist es grundsätzlich möglich, dass aufeinanderfolgende gleitende Fenster einer Sequenz von gleitenden Fenstern einen Überlappbereich beinhalten, der denselben Bereich des Prüflings abbildet. Es wäre also möglich, sequentiell überlappende Bereiche eines Bilds - z.B. mittels eines Algorithmus mit maschinellem Lernen - auszuwerten und anschließend die Ergebnisse dieser Auswertung zu einem Gesamtergebnis zu kombinieren, etwa um die Fehlerkarte zu erhalten wie hierin beschrieben.
Dabei ist es grundsätzlich möglich, einen solchen Ansatz mit gleitenden Fenstern zu kombinieren mit einer Technik, die XY-Stapel von Bildern verwendet, um derart beispielsweise die Bildaufnahme und Auswertung direkt ineinander zu verschränken: statt also erst einen gesamten XY-Stapel aufzunehmen und diesen dann dem KNN - oder im Allgemeinen einem Algorithmus mit maschinellem Lernen - als Eingabe bereitzustellen, kann bei Aufnahme eines XY-Stapels (z.B. mit Überlapp an den
Bildkanten) jedes Einzelbild von der Kamera also direkt als Eingabe an das KNN übergeben werden. Als allgemeine Regel kann also (i) das Erfassen von Rohbildern und das Erzeugen von Ergebnisbildern und (ii) das Durchführen der Materialprüfung basierend auf einem Algorithmus mit maschinellem Lernen zumindest teilweise parallel durchgeführt werden, etwa für unterschiedliche Posen des Prüflings in Bezug auf das Abbildungssystem und/oder unterschiedliche gleitende Fenster einer entsprechenden Sequenz. Hierdurch kann die Gesamtzeit für Bildaufnahme und Auswertung im
Vergleich zu Referenzimplementierungen deutlich verringert werden.
Das Einstellen der Orientierung des optischen Prüflings kann insbesondere dann hilfreich sein, wenn bestimmte Regionen des optischen Prüflings nur unter einer bestimmten Orientierung sichtbar sind; dies wäre zum Beispiel bei teilverspiegelten Oberflächen etc. denkbar. Manche Defekte können nur unter einer bestimmten
Orientierung sichtbar sein.
Durch die verschiedenen im Zusammenhang mit Block 1011 beschriebenen Techniken zur Anordnung des optischen Prüflings in Bezug auf das optische Abbildungssystem kann also im Allgemeinen die Pose des optischen Prüflings in Bezug auf das optische Abbildungssystem variiert werden.
Anschließend erfolgt in Block 1012 das Einstellen von ein oder mehreren
Bildgebungsmodalitäten. Dabei können im Allgemeinen unterschiedlichste
Bildgebungsmodalitäten eingestellt werden, etwa: Farbe des verwendeten Lichts;
Polarisation des verwendeten Lichts; Stärke der winkelvariablen Beleuchtung und/oder winkelvariablen Detektion; Orientierung der winkelvariablen Beleuchtung und/oder winkelvariabler Detektion.
Durch solche Variation der Bildgebungsmodalität kann erreicht werden, dass bestimmte Defekte besonders gut sichtbar gemacht werden können, d.h. einen hohen Kontrast aufweisen. Beispielsweise könnten bestimmte Defekte nur bei einer bestimmten Orientierung und Stärke der winkelvariablen Beleuchtung und/oder winkelvariablen Detektion sichtbar sein. Entsprechend wäre es möglich, dass bestimmte Defekte des optischen Prüflings nur bei einer bestimmten Farbe oder Polarisation des verwendeten Lichts sichtbar sind.
Anschließend erfolgt in Block 1013 das Erfassen von mindestens zwei Bildern mit winkelvariabler Beleuchtung und/oder winkelvariabler Detektion. Dabei werden die in Block 1012 eingestellten ein oder mehreren Bildgebungsmodalitäten verwendet.
Außerdem werden die in Block 1011 eingestellten Posen des optischen Prüflings zum optischen Abbildungssystem verwendet.
Beim Erfassen der verschiedenen Bilder in einer Iteration von Block 1013 wird der Winkel der Beleuchtung bzw. der Winkel der Detektion für die verschiedenen Bilder variiert, gemäß der eingestellten Modalität. Z.B. könnten zwei Linienmuster 351 , 352 (vgl. FIG. 6) verwendet werden; diese weisen dieselbe Orientierung (in X-Richtung) auf und auch dieselbe Stärke der winkelvariablen Detektion (gleicher Abstand zur optischen Hauptachse).
In Block 1014 wird überprüft, ob für die gegenwärtig gültige Pose eine weitere Variation der ein oder mehreren Bildgebungsmodalitäten erfolgen soll. Ist dies der Fall, so wird Block 1012 erneut ausgeführt, und die entsprechende Variation der ein oder mehreren Bildgebungsmodalitäten ausgeführt. Dann werden - für die neu eingestellten ein oder mehreren Bildgebungsmodalitäten - wiederum in einer weiteren Iteration von Block 1013 mindestens zwei Bilder mittels winkelvariabler Beleuchtung und/oder
winkelvariabler Detektion erfasst. Z.B. könnten bei einer weiteren Iteration gegenüber den Linienmustern 351 , 352 aus FIG. 6 um 90° in der XY-Ebene gedrehte Linienmuster verwendet werden - diese entspräche einer Variation der Orientierung der winkelvariablen Detektion. Die Stärke der winkelvariablen Detektion könnte z.B. durch verschieben der lichtdurchlässigen Bereiche der Linienmuster 351 , 362 entlang der X- Achse erzielt werden.
Wird schließlich in Block 1014 festgestellt, dass für die aktuelle Pose keine weitere Variation der ein oder mehreren Bildgebungsmodalitäten erfolgen soll, so wird Block 1015 ausgeführt. In Block 1015 wird überprüft, ob eine weitere Pose eingestellt werden soll. Ist dies der Fall, so wird Block 1011 erneut ausgeführt.
Andernfalls ist die Bilderfassung abgeschlossen. Anschließend erfolgt die
Bildauswertung in Block 1002 (vergleiche FIG. 7).
FIG. 9 ist ein Flussdiagramm eines beispielhaften Verfahrens. FIG. 9 betrifft Techniken, die im Zusammenhang mit der Bildauswertung gemäß Block 1002 aus FIG. 7
ausgeführt werden können.
Zunächst wird in Block 1021 eine aktuelle Pose aus ein oder mehreren vorgegebenen Posen, für die Bilder erfasst wurden, selektiert. Zum Beispiel können alle Posen, die in Block 1011 aus FIG. 8 aktiviert wurden, in einer Liste hinterlegt werden und
anschließend iterativ in Block 1021 selektiert werden.
Anschließend wird in Block 1022 eine Bildgebungsmodalität selektiert. Beispielsweise könnten wiederum alle ein oder mehreren Bildgebungsmodalitäten, die in Block 1012 aus FIG. 8 dargestellt wurden, in einer Liste hinterlegt werden, und dann der Reihe nach in verschiedenen Iterationen von Block 1022 selektiert werden.
In Block 1023 werden dann die jeweiligen mindestens zwei Bilder, die in Block 1013 aus FIG. 8 für die momentan selektierte Pose und für die momentan selektierte eine oder mehreren Bildgebungsmodalitäten erfasst wurden, kombiniert. Dadurch wird ein jeweiliges Ergebnisbild erhalten. Das Ergebnisbild weist einen digitalen Kontrast auf.
Je nach Art des kombinierten Blocks 1023 kann das Ergebnisbild unterschiedliche digitale Kontraste aufweisen. In einem Beispiel der winkelvariablen Beleuchtung können z.B. jeweils Paare von Bildern erfasst werden, die jeweils mit komplementären, linienförmigen
Beleuchtungsrichtungen assoziiert sind (dies entspräche etwa der Aktivierung aller Lichtquellen 121 , die auf einer Spalte bzw. in einer Zeile der Matrix des
Beleuchtungsmoduls 111 aus FIG. 3 angeordnet sind). Entsprechend könnte - bei der winkelvariablen Detektion - auch eines der linienförmigen Filtermuster 351 , 352 aus FIG. 6 verwendet werden, die dann in der XY-Ebene um 90° gedreht werden können.
Es könnte dann eine Differenzbildung erfolgen, z.B. gemäß
wobei llinks und Irechts die Bilder bezeichnen, die jeweils mit einer links oder rechts orientierten halbkreisförmigen Beleuchtungsgeometrie bzw. Filtermuster assoziiert sind und wobei loben und lunten die Bilder bezeichnen, die jeweils mit einer oben oder unten orientierten halbkreisförmigen Beleuchtungsgeometrie bzw. Filtermuster assoziiert sind. Dadurch kann ein Phasengradientenkontrast für die Ergebnisbilder erzeugt werden.
Entsprechend können auch unterschiedliche Ergebnisbilder für verschiedene
Filtermuster bei der winkelvariablen Detektion bestimmt werden.
Anschließend wird in Block 1024 überprüft, ob für die aktuelle selektierte Pose ein oder mehrere weitere Bildgebungsmodalitäten zu Selektionen einer weiteren Iteration von Block 1022 vorhanden sind.
Falls dies nicht der Fall wird, wird anschließend in Block 1025 überprüft, ob weitere Bilder für eine weitere Pose erfasst wurden und gegebenenfalls wird eine weitere Iteration von Block 1021 ausgeführt. Wenn keine weitere Pose mehr zur Selektion vorhanden ist, ist die Bildauswertung abgeschlossen. Dann wurden alle Bilder verarbeitet und es liegen entsprechende Ergebnisbilder vor.
Anschließend kann die Materialprüfung erfolgen. Entsprechende Beispiele sind in FIG. 10 dargestellt.
FIG. 10 illustriert ein beispielhaftes Verfahren. Das Verfahren gemäß FIG. 10 illustriert eine beispielhafte Implementierung der Materialprüfung gemäß Block 1003 aus FIG. 7.
Zunächst erfolgt in - optionalem - Block 1031 das Registrieren alle Ergebnisbilder - die aus den mehreren Iterationen von Block 1023 erhalten wurden - auf ein globales Koordinatensystem. Unterschiedliche Ergebnisbilder entsprechen dabei
unterschiedlichen Posen (vergleiche Block 1021 aus FIG. 9). Deshalb bilden
unterschiedliche Ergebnisbilder auch unterschiedliche Bereiche des optischen Prüflings und/oder Perspektiven auf den optischen Prüflings ab. Dies kann durch das
Registrieren der Ergebnisbilder auf ein gemeinsames Koordinatensystem in Block 1031 berücksichtigt werden.
In Block 1032 wird ein Defekterkennungsalgorithmus zur automatisierten Erkennung von Defekten auf die verfügbaren Ergebnisbilder angewendet. Optional wäre es auch möglich, den Defekterkennungsalgorithmus auf die verfügbaren Rohbilder anzuwenden.
Für den Fall, dass Block 1031 durchgeführt wurde, kann der
Defekterkennungsalgorithmus kombiniert auf die registrierten Ergebnisbilder
angewendet werden. Dies bedeutet, dass die registrierten Ergebnisbilder gesammelt an den Defekterkennungsalgorithmus übergeben werden können und der
Defekterkennungsalgorithmus Zusammenhänge zwischen den Ergebnisbildern berücksichtigt. Dies kann einer zusammenhängenden Auswertung der registrierten Ergebnisbilder entsprechen. Dadurch können 3-D Defekte erkannt werden. Zum
Beispiel können derart Defekte erkannt werden, die eine Ausdehnung quer über mehrere Ergebnisbilder aufweisen. Bei einem Z-Stapel (XY-Stapel) von Ergebnisbildern können zum Beispiel in Z-Richtung (XY-Ebene) ausgedehnte Defekte erkannt werden. Wenn Block 1031 nicht ausgeführt wird, wäre es möglich, den
Defekterkennungsalgorithmus jeweils für jedes der Ergebnisbilder anzuwenden. Dies bedeutet, dass der Defekterkennungsalgorithmus mehrfach ausgeführt werden kann und pro Ausführung jeweils ein Ergebnisbild als Eingabe erhält. Der
Defekterkennungsalgorithmus muss dann nicht ausgebildet sein, um Zusammenhänge zwischen den Ergebnisbildern zu berücksichtigen. Dies entspricht einer
unzusammenhängenden Auswertung der Ergebnisbilder. Dann kann der
Defekterkennungsalgorithmus besonders einfach ausgebildet werden.
Beispielsweise kann der Defekterkennungsalgorithmus, pro Ausführung, jeweils eine Fehlerkarte ausgeben. Wenn der Defekterkennungsalgorithmus mehrfach für unterschiedliche Ergebnisbilder ausgeführt wird, so werden mehrere Fehlerkarten erhalten. Die Fehlerkarten markieren Defekte im vom jeweiligen Ergebnisbild
abgebildeten Bereich des optischen Prüflings.
Block 1033 ist wiederum ein optionaler Block. Insbesondere kann Block 1033
ausgeführt werden, wenn Block 1031 nicht ausgeführt wurde.
Im Block 1033 können die von den Fehlerkarten markierten Defekte auf ein globales Koordinatensystem registriert werden. Derart können von unterschiedlichen
Ergebnisbildern abgebildete Defekte, die von der jeweiligen Ausführung des
Defekterkennungsalgorithmus erkannt werden, miteinander in Bezug gesetzt werden. Derart kann eine globale Fehlerkarte erhalten werden, in der Defekte im gesamten Bereich des optischen Prüflings markiert sind.
Anschließend erfolgt in Block 1034 das Vergleichen von ein oder mehreren
Fehlerkarten, etwa einer globalen Fehlerkarte, mit ein oder mehreren Referenz- Fehlerkarten. Referenz-Fehlerkarten können zum Beispiel aus einer Industrienorm abgeleitet werden. Referenz-Fehlerkarten können beispielsweise Toleranzen für bestimmte Defekte indizieren. Zum Beispiel kann im Zusammenhang mit Block 1034 ein Gütewert der Materialprüfung in Abhängigkeit von dem Vergleichen bestimmt werden. Beispielsweise könnte überprüft werden, ob die erkannten Defekte innerhalb eines durch die Referenz-Fehlerkarte spezifizierten Toleranzbereichs verbleiben. Es kann also - im Zusammenhang mit der Bestimmung des Gütewerts - eine Zuordnung des Prüflings in eine von mehreren vordefinierten Ergebnisklassen - z.B.“in Toleranz” / “außer Toleranz” hinsichtlich einer geeigneten Norm oder anderer Vorgaben - erfolgen.
Bei Bestehen einer Unsicherheit im Zusammenhang mit dem Vergleich zwischen der Fehlerkarte und der Referenz-Fehlerkarte, kann auch eine Ausgabe„unbestimmt“ erfolgen: dann kann eine manuelle Sichtprüfung vorgeschlagen werden. Dies entspricht einem„rot-gelb-grün“-Prinzip. Eine solche Unsicherheit im Zusammenhang mit dem Vergleich kann aus mehreren Gründen auftreten. Beispielsweise könnte ein
Anomaliedetektor, der im Zusammenhang mit dem Defekterkennungsalgorithmus verwendet wird, indizieren, dass unbekannte Defekte vorliegen, die etwa von einem mit unterschiedlichen Defektklassen trainierten Algorithmus - wie z.B. einem KNN - nicht erkannt werden.
In Block 1035 kann dann in Abhängigkeit vom Vergleichen aus Block 1034 der
Gütewert indiziert werden. Der Gütewert kann zum Beispiel indizieren, ob der optische Prüfling eine bestimmte Industrienorm erfüllt oder nicht erfüllt. Es könnte auch eine quantitativere Aussage, beispielsweise hinsichtlich der Anzahl, Größe oder Streuung von Defekten, durch den Gütewert abgebildet werden.
Je nach verfügbaren Fehlerkarten, kann Block 1034 unterschiedliche Ausbildungen annehmen. Wird zum Beispiel der Defekterkennungsalgorithmus in Block 1032 auf eine Vielzahl von Ergebnisbildern, die allesamt auf ein gemeinsames globales
Koordinatensystem registriert sind, angewendet, so könnte der Vergleich in Block 1034 zwischen einer einzigen globalen Fehlerkarte, die vom entsprechenden
Defekterkennungsalgorithmus erhalten wird, und der Referenz-Fehlerkarte durchgeführt werden. Werden jedoch viele verschiedene Fehlerkarten durch mehrere Ausführungen des Defekterkennungsalgorithmus in Block 1032 angewendet, so könnten diese mehreren Fehlerkarten jeweils mit der Referenz-Fehlerkarte verglichen werden oder mit mehreren entsprechenden Referenz-Fehlerkarten verglichen werden. Dabei könnte eine relative Anordnung der verschiedenen Fehlerkarten, durch ein entsprechendes Registrieren in Block 1033, berücksichtigt werden. Als allgemeine Regel können die Fehlerkarten in den verschiedenen hierin beschriebenen Beispielen unterschiedlichen Informationsgehalt aufweisen.
Als allgemeine Regel: es können unterschiedliche Informationen zu den durch den Defekterkennungsalgorithmus erkannten Defekten in der Fehlerkarte hinterlegt sein.
(/) Beispielsweise wäre es möglich, dass ein Defekterkennungsalgorithmus für einen erkannten Defekt eine entsprechende Segmentierung des jeweiligen Ergebnisbilds bereitstellt. Es wäre also möglich, dass die Fehlerkarte eine Position des Defekts - bzw. im Allgemeinen die Lage, Orientierung und/oder Form - durch die Segmentierung markiert.
(//) Alternativ oder zusätzlich wäre es auch möglich, dass der
Defekterkennungsalgorithmus für einen erkannten Defekt eine entsprechende
Klassifikation des jeweiligen Defekts in Bezug auf vordefinierte Defektklassen
bereitstellt. Auch diese Information kann in der Fehlerkarte hinterlegt sein. Beispiele für Defektklassen umfassen: Kratzer; Einschlüsse; Materialfehler; matte Oberflächen;
Schlieren; Abplatzungen; Bohrungsfehler; Optikversatz; und Drehriefen. Weitere
Beispiele für Defektklassen sind: Schmutz; Aussprünge; Löcher; Risse; Spritzer;
Sprühpunkte; Rückstände; Flecken; Fehlstellen; Belag verschoben; Farbfehler;
Ablaufspur; Glasfehler; Blasen; Hauer; doppelter Belag.
(///) Ein weiteres Beispiel für Zusatzinformation, die vom Defekterkennungsalgorithmus ermittelt und ausgegeben werden kann, ist ein Einfluss des jeweiligen Defekts auf die optische Wirkung des Prüflings. Z.B. kann es Vorkommen, dass manche Defekte - obschon sie etwa geometrisch vergleichsweise groß sind - nur einen geringen Einfluss auf die optische Wirkung des Prüflings aufweisen. Andererseits können in manchen Szenarien auch kleine Defekte einen großen Einfluss auf die optische Wirkung des Prüflings aufweisen. Beispielsweise könnte der Einfluss des Defekts auf die optische Wirkung eine Veränderung der optischen Wirkung qualitativ oder auch quantitativ beschreiben. Z.B. könnte die Veränderung der Brennweite für eine den Prüfling implementierende Linse hinsichtlich des Vorzeichens der Veränderung und optional der Stärke der Veränderung angegeben werden. (/V) Noch ein weiteres Beispiel für Zusatzinformation, die vom
Defekterkennungsalgorithmus ermittelt und ausgegeben werden kann, ist ein aggregierter Einfluss aller erkannten Defekte auf die optische Wirkung des Prüflings. Dem liegt die Erkenntnis zugrunde, dass es manchmal möglich sein kann, dass sich zwei getrennte Defekte in Summe verstärken oder abschwächen, je nach Art und Anordnung der Defekte.
Aus obenstehenden Punkten (/) - (/V) ist ersichtlich, dass die vom
Defekterkennungsalgorithmus ausgegebene Fehlerkarte in verschiedenen Beispielen unterschiedliche Zusatzinformation zu den Defekten beinhalten kann.
Je nach Informationsgehalt einer Fehlerkarte, kann das Vergleichen in Block 1034 unterschiedliche Ausgestaltungen annehmen. Die Referenz-Fehlerkarte könnte in einer einfachen Information beispielsweise eine maximale Ausdehnung von Defekten und/oder eine maximale Dichte von Defekten - unabhängig von der Klassifikation des Defekts - spezifizieren. In einer weiteren Ausbildung könnte die Referenz-Fehlerkarte zum Beispiel eine maximale Anzahl von Defekten einer bestimmten Defektklasse spezifizieren. Solche und weitere Beispiele können miteinander kombiniert werden.
In Normen werden typischerweise gewisse Stufenzahlen spezifiziert. Beispielsweise kann die Referenz-Fehlerkarte diese Stufenzahlen abbilden. In einem einfachen Fall sind diese Stufenzahlen über die Kantenlänge der Fehlerfläche - etwa als Quadrat aufgefasst - definiert. Dies erlaubt eine direkte Relation zwischen Segmentierung durch den Defekterkennungsalgorithmus - also der Anzahl zum Defekt zugeordneter Pixel - und Stufenzahl über den Abbildungsmaßstab.
Insbesondere bei Kratzern, aber im Allgemeinen auch bei Defekten anderer
Defektklassen, kann außerdem die Länge und Breite bestimmt werden. Dies kann das Anpassen von algorithmischen Musterformen an die Segmentierung umfassen;
alternativ oder zusätzlich kann die Größe der Kratzer mittels
Bildverarbeitungsmethoden - z.B. Skeleton, mediale Achsentransformation - bestimmt werden. Insbesondere bei Randaussprüngen und Schichtversatz kann die Lage und Ausdehnung des Defekts in Bezug auf die Prüffläche bestimmt werden. Dies kann mittels eines Algorithmus erfolgen, welche die Umgebung des Defekts, z.B. genaue Lage des Randes des Prüflings, erfasst.
Ein weiteres Kriterium, das durch die Referenz-Fehlerkarte und die Fehlerkarte abgebildet werden kann, ist die Häufung von Defekten in einem gewissen Prozentsatz der Prüffläche. Dies kann einer maximalen Dichte von Defekten entsprechen.
Als weitere allgemeine Regel kann in den verschiedenen hierin beschriebenen
Beispielen je nach Implementierung ein unterschiedlicher Typ von
Defekterkennungsalgorithmus eingesetzt werden. Beispielsweise wäre es in einer Implementierung möglich, dass der Defekterkennungsalgorithmus ein trainiertes KNN umfasst. Beispielsweise könnte der Defekterkennungsalgorithmus ein Faltungsnetzwerk umfassen. Das KNN kann eingerichtet sein, um als Eingabekarte für eine
Eingabeschicht (engl input layer) ein oder mehrere Ergebnisbilder zu erhalten.
Typischerweise umfasst ein KNN eine Eingangsschicht, eine oder mehrere versteckte Zwischenschichten (engl hidden layers) und eine Ausgabeschicht (engl output layer). Die Ausgabeschicht kann ein oder mehrere Neuronen umfassen. Je nach Aktivität der verschiedenen Neuronen kann derart eine Position und/oder eine Klassifikation von erkannten Defekten indiziert werden. Beispielsweise könnte das KNN eingerichtet sein, um eine Ausgangskarte - die dann die Fehlerkarte implementiert oder aus der die Fehlerkarte abgeleitet werden kann - bereitzustellen, welche eine Position und eine Klassifikation der erkannten Defekte indiziert. Unterschiedliche Neuronen des
Netzwerks können unterschiedlichen Einträgen in der Ausgabekarte entsprechen.
Dabei ist in den verschiedenen hierin beschriebenen Beispielen der
Defekterkennungsalgorithmus jedoch nicht auf die Verwendung eines KNN s
eingeschränkt. In weiteren Beispielen wäre es möglich, dass - alternativ oder zusätzlich zu einem KNN - auch andere Typen von Defekterkennungsalgorithmen eingesetzt werden. Beispiele umfassen etwa eine Schwellenwertanalyse des digitalen Kontrasts der Ergebnisbilder und eine statistische Analyse des digitalen Kontrasts. Beispielsweise könnte davon ausgegangen werden, dass Defekte einen besonders starken digitalen Kontrast aufweisen; derart kann mittels der Schwellenwertanalyse eine Segmentierung der Defekte durchgeführt werden. Aus der Form der Segmentierung könnte dann zum Beispiel eine Zuordnung zu den vordefinierten Defektklassen als Klassifikation stattfinden. Eine statistische Analyse könnte zum Beispiel verwendet werden, um eine Dichte von Defekten bzw. einen mittleren Abstand zwischen Defekten zu bestimmen.
FIG. 11 illustriert Aspekte in Bezug auf Techniken zur Materialprüfung.
Zunächst erfolgt die Bilderfassung in Block 1001. Aus der Bilderfassung 1001 werden Rohdaten 800 erhalten. Diese Rohdaten entsprechen Bildern 890, die bei
unterschiedlichen Modalitäten und/oder unterschiedlichen Posen des Prüflings 150 in Bezug auf die optische Vorrichtung 100 erfasst wurden.
Beispielsweise könnten in dem Beispiel der FIG. 11 mehrere Z-Stapel 801 von Bildern 890 erfasst werden, jeweils für unterschiedliche Wellenlängen 802-1 , 802-2. Z.B. kann von Z-Stapel 801 zu Z-Stapel 801 (bei gleicher Wellenlänge 802-1 , 802-2) die
Beleuchtungsgeometrie bei der winkelvariablen Beleuchtung oder das Filtermuster bei der winkelvariablen Detektion variiert werden. Z.B. werden im Beispiel der FIG. 11 für eine Wellenlänge 802-1 , 802-2 jeweils drei Bilder bei gleicher Z-Position (gleiche Stapelposition im Z-Stapel 801 ) erfasst, bei unterschiedlichen Winkel der
winkelvariablen Beleuchtung / winkelvariablen Detektion.
Alternativ oder zusätzlich zur Erfassung von Z-Stapeln 801 könnten auch XY-Stapel erfasst werden.
Dann erfolgt die Bildauswertung 1002 bzw. Bildverarbeitung. Zusätzlich zu den
Rohdaten 800 werden nunmehr Ergebnisbilder 891 erhalten. Die Ergebnisbilder 891 werden durch die geeignete Kombination der unterschiedlichen Bilder 890 der
Rohdaten 800 erhalten. Dabei werden solche Bilder 890 kombiniert, die die gleiche Pose und die gleiche Bildgebungsmodalität aufweisen. Z.B. könnten im Beispiel der FIG. 11 für die erste Reihe von Z-Stapeln 801 , die der Wellenlänge 802-1 entsprechen, jeweils die obersten Bilder (alle bei derselben Z-Position) miteinander kombiniert werden, um ein entsprechendes Ergebnisbild 891 zu erhalten. Dadurch wird ein Z- Stapel 801 von Ergebnisbildern 891 erhalten, jeweils für jede Bildgebungsmodalität 802-1 , 802-2.
Anschließend wird der Defekterkennungsalgorithmus angewendet, 1032. Dadurch wird ein Z-Stapel 801 von Fehlerkarten 895 erhalten, der jeweils in unterschiedlichen Z- Ebenen die Defekte 901 -903 markiert.
In FIG. 11 ist auch illustriert, dass ein KNN 950 als Defekterkennungsalgorithmus in Block 1032 verwendet werden kann. In FIG. 11 ist dargestellt, dass das KNN 950 eine Eingabeschicht (ganz links) mit mehreren Neuronen, versteckte Zwischenschichten und eine Ausgabeschicht (ganz rechts) mit mehreren Neuronen umfasst.
Beim Anwenden des Defekterkennungsalgorithmus in Block 1032 könnten
beispielsweise gleitende Fenster eingesetzt werden, um die Information der
Ergebnisbilder 891 dem Defekterkennungsalgorithmus sequentiell zuzuführen. Dadurch kann es möglich sein, das Bildfeld des Defekterkennungsalgorithmus zu erweitern. Insbesondere kann eine Anzahl von Pixeln des Ergebnisbilds 891 dann größer sein als eine Anzahl von Neuronen des KNN in der Eingangsschicht.
Das KNN 950 kann trainiert werden, in Block 1052. Zum Trainieren des KNNs 950 können Referenzmessungen für eine große Anzahl von optischen Prüflingen und eine manuelle Annotation sichtbarer Defekte durch Experten in Block 1051 erfolgen. Auch teilautomatisiertes maschinelles Lernen wäre denkbar. Durch das Trainieren werden die Verkettungen der verschiedenen Schichten gesetzt, d.h. z.B. entsprechende Gewichte, etc.
Anschließend erfolgt eine Vermessung der verschiedenen Defekte 901 -903, im Block 1061. Dies kann einer Segmentierung der markierten Defekte 901 -903 in den verschiedenen Ergebnisbildern 891 entsprechen.
Außerdem erfolgt eine Klassifikation der Defekte 901 -903. Beispielsweise sind in dem Szenario der FIG. 11 die unterschiedlichen Defekte 901 -903 unterschiedlichen
Defektklassen zugeordnet (durch die unterschiedliche Füllung illustriert). Die Defekte 901 -903, die in den Fehlerkarten 895 markiert sind, können auch auf ein globales Koordinatensystem registriert werden, d.h. es kann eine relative Positionierung der verschiedenen Defekte 901-903 zueinander bzw. in Bezug auf einen Referenzpunkt bestimmt werden. Dazu können in Block 1062 Referenzdaten berücksichtigt werden, die zum Beispiel durch eine Kalibrationsmessung mit einer Referenzprobe 910 erhalten werden. Die Referenzdaten können eine Bestimmung der absoluten Größe und/oder relativen Positionierung der unterschiedlichen Defekte 901-903 zueinander
ermöglichen.
Dann kann in Block 1034 das Vergleichen der prozessierten Fehlerkarten 895 mit einer Referenz-Fehlerkarte 896 erfolgen, die im Beispiel der FIG. 11 aus einem
Industriestandard abgeleitet wird.
Schließlich kann in Block 1035 ein Gütewert bestimmt werden, der im Beispiel der FIG.
11 einer Erfüllung oder nicht-Erfüllung der Industrienorm entspricht. Dies kann der Ermittlung einer Güte des Prüflings 150 entsprechen.
Im Beispiel der FIG. 11 erfolgt ein Trainieren des KNNs 950 auf Grundlage von
Referenzmessungen. Im Allgemeinen wäre es möglich, dass alternativ oder zusätzlich zu solchen Referenzmessungen ein wiederholtes bzw. kontinuierliches Re-Training des KNNs 950 - oder im Allgemeinen von Defekterkennungsalgorithmen, die maschinelles Lernen einsetzen - durchgeführt wird. Möglich ist z.B., dass im laufenden Prüfprozess die Ausgaben des KNNs 950 bzw. das Ergebnis der Materialprüfung wiederholt kontrolliert und daraus neue Referenzmessungen generiert werden. Dies kann automatisiert oder zumindest teilüberwacht erfolgen. Mit diesen neu genierten
Referenzmessungen kann regelmäßig oder zu bestimmten Ereignissen (neue Norm eingeführt, Änderung des Messaufbaus, Änderung des Prüflings) ein Re-Training stattfinden. D.h. es kann im Allgemeinen ein Re-Training des KNNs auf Basis eins Ergebnisses der Materialprüfung erfolgen. Dadurch kann eine kontinuierliche
Verfeinerung bzw. Verbesserung der Erkennungsgenauigkeit des KNNs erreicht werden. Insbesondere kann eines der beiden folgenden Ziele (oder beide) erreicht werden: (/) Verbesserung der an das KNN angelegten Metrik, z.B. Genauigkeit der Segmentierung, Defekterkennungsrate, Anzahl falsch-positive / falsch-negative
Entscheidungen, etc.; und/oder (//) Anlernen neu aufgetretener Defektklassen oder Anpassung auf anderweitige Änderungen im Prüfprozess, z.B. betreffend den Prüfling, die Bilddaten, oder die Referenz-Fehlerkarte bzw. die verwendete Norm, etc.
FIG. 12 illustriert Aspekte in Bezug auf die optische Vorrichtung 100. Im Beispiel der FIG. 12 umfasst die optische Vorrichtung 100 ein Beleuchtungsmodul 111 , das zur winkelvariablen Beleuchtung eines optischen Prüflings 150 eingerichtet ist. Der
Probenhalter 113 kann die Pose des Prüflings 150 in Bezug auf die optische
Vorrichtung 100 durch Rotation variieren. Im Beispiel der FIG. 12 erfolgt die Bildgebung in Durchlichtgeometrie.
FIG. 13 illustriert Aspekte in Bezug auf das optische Abbildungssystem. FIG. 13 illustriert eine weitere beispielhafte Implementierung des Abbildungssystems 100. Dabei ist die optische Vorrichtung 100 gemäß FIG. 13 grundsätzlich entsprechend der optischen Vorrichtung 100 gemäß FIG. 12 eingerichtet. In FIG. 13 erfolgt die
Bildgebung jedoch in Auflichtgeometrie. Dazu weist das Beleuchtungsmodul 111 eine zentrale Aussparung auf, durch die am Prüfling 150 reflektiertes Licht zum Detektor 114 gelangen kann.
FIG. 14 illustriert Aspekte in Bezug auf das optische Abbildungssystem 100. Das
Beispiel der FIG. 14 entspricht grundsätzlich dem Beispiel der FIG. 13. Im Beispiel der FIG. 14 wird - anstatt einer zentralen Aussparung des Beleuchtungsmoduls 111— jedoch ein Strahlteiler 111 -5 zur Implementierung der Auflichtgeometrie verwendet.
FIG. 15 illustriert Aspekte in Bezug auf das optische Abbildungssystem 100. Dabei entspricht das Beispiel der FIG. 15 grundsätzlich dem Beispiel der FIG. 14. Im Beispiel der FIG. 15 sind jedoch mehrere Beleuchtungsmodule 111 -1 , 111 -2, die jeweils zur winkelvariablen Beleuchtung eingerichtet sind. Das Beleuchtungsmodul 111 -1 ist dabei zur Bildgebung in Auflichtgeometrie eingerichtet; während das Beleuchtungsmodul 111 - 2 zur Bildgebung in Durchlichtgeometrie eingerichtet ist. FIG. 16 illustriert Aspekte in Bezug auf das optische Abbildungssystem. Das Beispiel der FIG. 16 entspricht dabei grundsätzlich dem Beispiel der FIG. 15. Im Beispiel der FIG. 16 sind die Beleuchtungsmodule 111 -1 , 111 -2 jedoch nicht durch ein Array von Leuchtdioden implementiert; sondern durch Mikrospiegelvorrichtungen bzw. DMDs 111 - 1 B, 111 -2B, jeweils in Kombination mit einer einzelnen Lichtquelle 111 -1A, 111 -2A.
FIG. 17 illustriert Aspekte in Bezug auf das optische Abbildungssystem 100. Im Beispiel der FIG. 17 ist das Beleuchtungsmodul 111 nicht zur winkelvariablen Beleuchtung eingerichtet und umfasst lediglich eine einzelne Lichtquelle 111 -9. Der Probenhalter 113 ist wiederum zur Rotation und Z-Verschiebung des optischen Prüflings 150 eingerichtet. Die Detektionsoptik 112 ist zur winkelvariablen Detektion eingerichtet. Dazu können unterschiedliche Filtermuster 380-1 , 380-2 im Bereich einer Pupillenebene zur Filterung des Spektrums des Strahlengangs verwendet werden.
Als Allgemeine Regel kann in den verschiedenen hierin beschriebenen Beispielen vorgesehen sein, eine Korrekturlinse zu verwenden. Die Korrekturlinse kann im
Strahlengang des Lichts vom Beleuchtungsmodul 111 zum Detektor 114 vor oder nach dem optischen Prüfling 150 angeordnet sein. Mittels der Korrekturlinse kann es möglich sein, eine optische Wirkung des optischen Prüflings 150 - der zum Beispiel eine Linse implementieren kann - zu kompensieren. Dazu kann die Korrekturlinse eine zum optischen Prüfling komplementäre optische Wirkung aufweisen. Dadurch ist es möglich, Verfälschungen aufgrund der Brechkraft des optischen Prüflings 15 zu korrigieren. Dies ermöglicht es, Verfälschungen in den Bildern und Ergebnisbildern aufgrund der optischen Wirkung des Prüflings zu reduzieren.
Zusammenfassend wurden voranstehend Techniken beschrieben, mittels welcher eine vollautomatisierte Materialprüfung durch Gütebewertung von optischen Prüflingen ermöglicht wird. Eine Klassifikation im Zusammenhang mit einer Industrienorm wird ermöglicht. Die hierin beschriebenen Techniken ermöglichen eine besonders hohe Sensitivität der Materialprüfung, durch die Verwendung eines maßgeschneiderten digitalen Kontrasts. Dies wiederum ermöglicht einen geringeren Produktionsausschuss, da gewisse Toleranzen bei der Prüfung vergleichsweise gering dimensioniert werden können. Außerdem kann die Materialprüfung mit einer hohen Geschwindigkeit durchgeführt werden.
Beispielsweise wurden Techniken beschrieben, die einen Prüfprozess wie folgt ermöglichen: (/) Anwenden eines Defekterkennungsalgorithmus zur Quantifizierung von Merkmalen einzelner Defekte, also beispielsweise Lage, Form, Größe, und/oder optische Wirkung der Defekte; (ii) Quantifizierung des Gesamteinflusses aller Fehler auf die optische Wirkung, d.h. der aggregierte Einfluss aller erkannten Effekte auf die optische Wirkung kann bestimmt werden; (iii) Zuordnung des Prüflings in eine von mehreren vordefinierten Ergebnisklassen - z.B.“in Toleranz” /“außerhalb Toleranz” hinsichtlich einer geeigneten Norm oder anderer Vorgaben. Das bedeutet, es kann ein Gütewert bestimmt werden. Z.B. kann diese Zuordnung des Prüflings auf eine
Fehlerkarte zurückgreifen, in der die Informationen aus (/) und (ii) hinterlegt sind. (/V) Optional Darstellung des Ergebnisbilds am Monitor, z.B. zusammen mit einer
Indizierung von Defekten basierend auf einer Fehlerkarte des
Defekterkennungsalgorithmus.
In manchen Beispielen ist es möglich, dass (i) und (ii) durch separate Algorithmen durchgeführt werden. Beispielsweise könnte zuerst ein Defekterkennungsalgorithmus zur Durchführung von (i) angewendet werden; dann könnte (ii) nachfolgend eine
Ausgabe des Defekterkennungsalgorithmus mit einer Referenz-Fehlerkarte verglichen werden. Anhand des Vergleichs, beispielsweise anhand einer Abweichung zwischen einer Fehlerkarte als Ausgabe des Defekterkennungsalgorithmus und der Referenz- Fehlerkarte, kann dann (iii) die Erfüllung der Norm überprüft werden. In anderen
Beispielen wäre es aber auch möglich, dass (i) und (ii) kombiniert durch ein KNN oder andere Techniken des maschinellen Lernens abgebildet werden; Information über einzelne Defekte, etwa eine entsprechende Segmentierung, kann in solchen
Implementierungen entbehrlich sein. Manchmal kann es sogar möglich sein, dass (i), (ii) und (iii) kombiniert durch ein gemeinsames KNN oder andere Techniken des
maschinellen Lernens implementiert werden; ein solchen KNN kann als Eingangskarte ein oder mehrere der Ergebnisbilder erhalten und eine Ausgabekarte mit zwei oder drei Neuronen aufweisen, die„in der Toleranz“,„außerhalb der Toleranz“ und optional „unbestimmt“ entsprechen. Die hierin beschriebenen Techniken sind in einen Produktionsprozess integrierbar. Zum Beispiel könnte ein optisches Abbildungssystem, wie voranstehend beschrieben, von einem Roboterarm mit einem optischen Prüfling bestückt werden; dann können die hierin beschriebenen Techniken ausgeführt werden.
Mittels der hierin beschriebenen Techniken ist es auch möglich, Defekte mit variabler Z- Position innerhalb des optischen Prüflings zu erkennen. Dies kann durch eine
Einstellung der Fokusposition des optischen Prüflings erfolgen. Z-Stapel von Bildern können erfasst werden. Im Allgemeinen kann die Pose des optischen Prüflings in Bezug auf das optische Abbildungssystem variiert werden.
Wie voranstehend beschrieben, kann die Materialprüfung automatisiert erfolgen. Dabei können Algorithmen mit maschinellem Lernen verwendet werden, beispielsweise als Defekterkennungsalgorithmus oder auch in anderer Form.
In diesem Zusammenhang können vorbekannte Referenzimplementierungen von Algorithmen mit maschinellem Lernen verwendet werden. Dabei kann es möglich sein, solche Referenzimplementierungen von Algorithmen des maschinellen Lernens anzupassen, um mittels winkelvariabler Beleuchtung und/oder winkelvariabler Detektion erfasste Rohbilder und/oder entsprechende Ergebnisbilder, die aus den Rohbildern erhalten werden, besonders gut zu verarbeiten. Nachfolgend werden einige
entsprechende Beispiele genannt.
Zum Beispiel wäre es möglich eine Normalisierung der Rohbilder und/oder der
Ergebnisbilder vorzunehmen. Solche Techniken der Normalisierung beruhen auf der Erkenntnis, dass - je nach Implementierung der winkelvariablen Beleuchtung und der Verarbeitung der Rohbilder - unterschiedliche digitale Kontraste in den Ergebnisbildern beinhaltet sein können. Je nach digitalem Kontrast, kann die Signalhöhe von
Bildpunktwerten stark variieren. Es wurde auch festgestellt, dass unterschiedliche Stellen der Prüflinge aufgrund von Materialeigenschaften des Prüflings stark
unterschiedliche Signalhöhen der Bildpunktwerte aufweisen können. Beispiele für Techniken der Normalisierung umfassen Instanz- oder Batchnormalisierung. In einem weiteren Beispiel kann ein Bildfeld des Algorithmus mit maschinellem Lernen erweitert werden, etwa durch eine parallele Atrous-Faltung und eine normale Faltung. Derart können größenbegrenzte Eingaben von Algorithmen zum maschinellen Lernen angepasst werden auf die vergleichsweise umfangreichen Rohbilder und/oder
Ergebnisbilder. Entsprechende Techniken sind beispielsweise beschrieben in Chen, Liang-Chieh, et al. "Deeplab: Semantic image Segmentation with deep convolutional nets, atrous convolution, and fully connected crfs." IEEE transactions on pattern analysis and machine intelligence 40.4 (2018): 834-848.
In einem weiteren Beispiel ist es möglich, dass die Eingabe des Algorithmus mit maschinellem Lernen eine Sequenz von gleitenden Fenstern umfasst. Dabei können unterschiedliche Fenster der Sequenz verschiedene Bereiche des mindestens einen Ergebnisbilds abbilden, mit oder ohne Überlapp. Es ist dann möglich, dass die Ausgabe des Algorithmus aus einer Kombination von Ergebnissen einer Sequenz von
Ergebnissen bestimmt wird. Dabei kann die Sequenz von Ergebnissen der Sequenz von gleitenden Fenstern entsprechen. Eine solche Technik ermöglicht es, das Bildfeld des Algorithmus zu erweitern.
Als Beispiel für ein KNN kann etwa ein CNN mit dem Namen„U-net“ verwendet werden, siehe Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image Segmentation." International Conference on Medical image computing and computer-assisted Intervention. Springer, Cham, 2015. Ein solcher CNN U-net kann durch Verwendung von Skip-Verbindungen (engl skip
Connections) modifiziert werden, um mittels Segmentierung eine hohe örtliche
Auflösung der Modellvorhersagen zu wahren. Solche Techniken sind z.B. beschrieben in Isola, Phillip, et al. "Image-to-image translation with conditional adversarial networks." arXiv preprint (2017).
In einem Beispiel kann es möglich sein, multi-modale Eingaben in einen Algorithmus zum maschinellen Lernen vorzusehen. Beispielsweise könnte jedes Rohbild und/oder jedes Ergebnisbild mit digitalem Kontrast als separater Kanal aufgefasst werden. Eine solche multi-modale Eingabe kann verschieden zu einer herkömmlichen„3-Kanal- rot/grün-blau“ Eingabe sein: Ziel ist die gemeinschaftliche Verarbeitung aller zur Verfügung stehenden Bildinformationen, d.h. Ergebnisbilder und/oder Rohbilder. Eine solche gemeinschaftliche Verarbeitung kann beispielsweise durch direkte
Konkatenation aller Kanäle erreicht werden. Es wäre alternativ oder zusätzlich auch möglich, eine Konkatenation der Ergebnisse einer für jeden Kanal individuell lernbaren Vorverarbeitung zu berücksichtigen. Das bedeutet, dass in einem solchen Fall in den ersten Schichten des KNNs für jeden Kanal eine spezifische Vorverarbeitung stattfinden kann, bevor die Konkatenation der Kanäle durchgeführt wird
Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen. Beispielsweise wurden voranstehend Techniken beschrieben, die auf der Verwendung eines KNN als Defekterkennungsalgorithmus beruhen. Im Allgemeinen können auch andere Typen von Defekterkennungsalgorithmen verwendet werden, insbesondere können Defekterkennungsalgorithmen verwendet werden, die im Allgemeinen auf Techniken des maschinellen Lernens beruhen. Die im Zusammenhang mit der
Verwendung eines KNNs beschriebenen Techniken, können auch auf andere Arten von Techniken des maschinellen Lernens angewendet werden.
Ferner wurden voranstehend Techniken beschrieben, welche ein KNN verwenden. Im Allgemeinen können auch andere Algorithmen mit maschinellem Lernen verwendet werden, z.B. eine parametrische Abbildung oder ein generatives Modell.

Claims

Patentansprüche
1. Verfahren zur Materialprüfung von optischen Prüflingen (150) mit einem optischen Abbildungssystem (100), wobei das Verfahren umfasst:
- bei jeder von mindestens einer Pose des Prüflings (150) in Bezug auf das Abbildungssystem (100): jeweils Ansteuern des optischen Abbildungssystems (100) zum Erfassen (1001 ) von mindestens zwei Bildern (890, 800) des Prüflings (150) mittels zumindest einem von winkelvariabler Beleuchtung und winkelvariabler Detektion,
- für jede der mindestens einen Pose: jeweils Verarbeiten (1002) der
entsprechenden mindestens zwei Bilder zum Erzeugen eines Ergebnisbilds (891 ) mit digitalem Kontrast, und
- basierend auf dem mindestens einen Ergebnisbild (891 ), das basierend auf den mindestens zwei Bildern (890, 800) bei der mindestens einen Pose erzeugt wurde: Durchführen einer Materialprüfung des Prüflings (150).
2. Verfahren nach Anspruch 1 ,
wobei das Durchführen der Materialprüfung das Anwenden eines
Defekterkennungsalgorithmus zur automatisierten Erkennung von Defekten (901 -903) umfasst.
3. Verfahren nach Anspruch 2,
wobei der Defekterkennungsalgorithmus für einen erkannten Defekt (901 -903) zumindest eines von einer entsprechende Segmentierung des jeweiligen Ergebnisbilds (891 ) und einer entsprechenden Klassifikation des jeweiligen Defekts (901 -903) in Bezug auf vordefinierte Defektklassen bereitstellt.
4. Verfahren nach Anspruch 2 oder 3,
wobei der Defekterkennungsalgorithmus für einen erkannten Defekt (901 -903) einen entsprechenden Einfluss des jeweiligen Defekts (901 -903) auf eine optische Wirkung des Prüflings (150) bestimmt.
5. Verfahren nach einem der Ansprüche 2-4 wobei der Defekterkennungsalgorithmus für mehrere erkannte Defekte (901 -903) einen aggregierten Einfluss auf die optische Wirkung des Prüflings (150) bestimmt.
6. Verfahren nach einem der Ansprüche 2-5,
wobei der Defekterkennungsalgorithmus ein trainiertes künstliches neuronales Netzwerk (950) umfasst, welches eingerichtet ist, um als Eingabekarte ein oder mehrere des mindestens einen Ergebnisbilds (891 ) zu erhalten.
7. Verfahren nach Anspruch 6,
wobei das künstliche neuronale Netzwerk (950) eingerichtet ist, um eine
Ausgabekarte bereit zu stellen, welche eine Position und eine Klassifikation der erkannten Defekte indiziert.
8. Verfahren nach Anspruch 6 oder 7, das weiterhin umfasst:
- Durchführen eines Re-Trainings des künstlichen neuronalen Netzwerks (950) basierend auf einem Ergebnis der Materialprüfung.
9. Verfahren nach einem der Ansprüche 2-8,
wobei der Defekterkennungsalgorithmus zumindest eines von einer
Schwellenwertanalyse des digitalen Kontrasts des mindestens einen Ergebnisbilds (891 ) und einer statistischen Analyse des digitalen Kontrasts umfasst.
10. Verfahren nach einem der Ansprüche 2-6,
wobei der Defekterkennungsalgorithmus einen Anomaliedetektor umfasst, der Defekte (901 -903) a-priori unbekannter Defektklassen erkennt.
11. Verfahren nach einem der Ansprüche 2-10,
wobei die erkannten Defekte in mindestens einer Fehlerkarte (895) markiert werden, wobei das Verfahren weiterhin umfasst:
- Vergleichen der mindestens einen Fehlerkarte (895) mit einer Referenz-Fehlerkarte, und
- Bestimmen eines Gütewerts der Materialprüfung in Abhängigkeit von dem Vergleichen.
12. Verfahren nach Anspruch 11 ,
wobei die mindestens eine Pose mehrere Posen umfasst, die mit mehreren Ergebnisbildern (891 ) assoziiert sind,
wobei der Defekterkennungsalgorithmus jeweils für jedes der mehreren
Ergebnisbilder (891 ) angewendet wird, um eine jeweilige Fehlerkarte (895) zu erhalten, wobei das Verfahren weiterhin umfasst:
- Registrieren von in den Fehlerkarten (895) markierten Defekten (901 -903) auf ein globales Koordinatensystem,
wobei die registrierten Fehlerkarten (895) mit der Referenz-Fehlerkarte (896) verglichen werden.
13. Verfahren nach Anspruch 11 ,
wobei die mindestens eine Pose mehrere Posen umfasst, die mit mehreren Ergebnisbildern (891 ) assoziiert sind,
wobei das Verfahren weiterhin umfasst:
- Registrieren der mehreren Ergebnisbilder (891 ) auf ein globales
Koordinatensystem,
wobei der Defekterkennungsalgorithmus zusammenhängend auf die registrierten Ergebnisbilder (891 ) zum Erkennen von 3-D Defekten (901 -903) angewendet wird.
14. Verfahren nach einem der voranstehenden Ansprüche,
wobei das Durchführen der Materialprüfung das Anwenden eines Algorithmus mit maschinellem Lernen umfasst,
wobei der Algorithmus mit maschinellem Lernen eingerichtet ist, um als Eingabe das mindestens eine Ergebnisbild zu empfangen und als Ausgabe einen Gütewert des Prüflings bereit zu stellen.
15. Verfahren nach Anspruch 14,
wobei die Eingabe des Algorithmus mit maschinellem Lernen eine Sequenz von gleitenden Fenstern umfasst, wobei die gleitenden Fenster der Sequenz von gleitenden Fenstern unterschiedliche Bereiche des mindestens einen Ergebnisbilds abbilden, wobei die Ausgabe des Algorithmus mit maschinellem Lernen basierend auf einer Kombination von Ergebnissen einer Sequenz von Ergebnissen des Algorithmus mit maschinellem Lernen bestimmt wird,
wobei die Sequenz von Ergebnissen der Sequenz von gleitenden Fenstern entspricht.
16. Verfahren nach einem der voranstehenden Ansprüche, das weiterhin umfasst:
- bei jeder der mindestens einen Pose: Variieren von mindestens einer
Bildgebungsmodalität (802-1 , 802-2) beim Erfassen der mindestens zwei Bilder,
wobei die mindestens eine Bildgebungsmodalität ausgewählt ist aus folgender Gruppe: Farbe des verwendeten Lichts; Polarisation des verwendeten Lichts; Stärke der zumindest einen von winkelvariabler Beleuchtung und winkelvariabler Detektion; Orientierung der zumindest einen von winkelvariabler Beleuchtung und winkelvariabler Detektion.
17. Verfahren nach einem der voranstehenden Ansprüche,
wobei der digitale Kontrast ausgewählt ist aus der Gruppe: virtuelles Dunkelfeld; digitaler Phasengradientenkontrast; und digitaler Phasenkontrast.
18. Verfahren nach einem der voranstehenden Ansprüche,
wobei das optische Abbildungssystem (100) weiterhin Korrekturlinse umfasst, die eine zu einer optischen Wirkung des Prüflings (150) komplementäre optische Wirkung aufweist.
19. Verfahren nach einem der voranstehenden Ansprüche,
wobei die mindestens eine Pose mehrere Posen umfasst,
wobei die mehreren Posen einen z-Stapel und/oder einen xy-Stapel definieren.
20. Recheneinheit (115, 501 ), die eingerichtet ist, um:
- ein optisches Abbildungssystem (100) anzusteuern, um bei jeder von mindestens einer Pose eines optischen Prüflings (150) in Bezug auf das
Abbildungssystem (100) jeweils mindestens zwei Bildern (890, 800) des Prüflings (150) mittels zumindest einem von winkelvariabler Beleuchtung und winkelvariabler Detektion zu erfassen,
- für jede der mindestens einen Pose: jeweils Verarbeiten der entsprechenden mindestens zwei Bilder zum Erzeugen eines Ergebnisbilds (891 ) mit digitalem Kontrast, und
- basierend auf dem mindestens einen Ergebnisbild (891 ), das basierend auf den mindestens zwei Bildern (890, 800) bei der mindestens einen Pose erzeugt wurde: Durchführen einer Materialprüfung des Prüflings (150).
21. Recheneinheit nach Anspruch 13,
wobei die Recheneinheit eingerichtet ist, um das Verfahren nach einem der Ansprüche 1-19 auszuführen.
EP19729717.9A 2018-06-12 2019-06-06 Materialprüfung von optischen prüflingen Pending EP3807838A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018114005.3A DE102018114005A1 (de) 2018-06-12 2018-06-12 Materialprüfung von optischen Prüflingen
PCT/EP2019/064759 WO2019238518A2 (de) 2018-06-12 2019-06-06 Materialprüfung von optischen prüflingen

Publications (1)

Publication Number Publication Date
EP3807838A2 true EP3807838A2 (de) 2021-04-21

Family

ID=66821241

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19729717.9A Pending EP3807838A2 (de) 2018-06-12 2019-06-06 Materialprüfung von optischen prüflingen

Country Status (5)

Country Link
US (1) US11790510B2 (de)
EP (1) EP3807838A2 (de)
CN (1) CN112243519B (de)
DE (1) DE102018114005A1 (de)
WO (1) WO2019238518A2 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4066001B1 (de) 2019-11-30 2026-03-04 Intrinsic Innovation LLC Systeme und verfahren zur transparenten objektsegmentierung unter verwendung von polarisationshinweisen
US11734814B2 (en) * 2019-12-12 2023-08-22 Ricoh Company, Ltd. Enhanced print defect detection
FR3108176B1 (fr) * 2020-03-10 2022-09-02 Data Pixel Dispositif de détection de défauts de surface sur au moins une face terminale d’au moins une fibre optique.
DE102020112496A1 (de) * 2020-05-08 2021-11-11 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zur Inspektion der Oberfläche eines optischen Elements
US11900581B2 (en) 2020-09-22 2024-02-13 Future Dial, Inc. Cosmetic inspection system
US11836912B2 (en) * 2020-09-22 2023-12-05 Future Dial, Inc. Grading cosmetic appearance of a test object based on multi-region determination of cosmetic defects
CN114648480B (zh) * 2020-12-17 2025-09-05 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置及系统
DE102021110149A1 (de) 2021-04-21 2022-10-27 Genesys Elektronik Gmbh Prüfvorrichtung zum Kontrollieren von Bauteiloberflächen und Verfahren dafür
DE102021210572B4 (de) 2021-09-23 2024-11-28 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Prüfen eines Prüflings
FR3128527B1 (fr) * 2021-10-21 2023-11-17 Fogale Nanotech Procédé de caractérisation fonctionnelle d’objectifs optiques
CN114061909B (zh) * 2021-10-29 2024-07-12 歌尔光学科技有限公司 用于测试光机模组的连接装置和光机模组的测试系统
EP4449087B1 (de) * 2021-12-16 2026-04-15 Alcon Inc. Verfahren und system zur inspektion einer ophthalmischen linse in einem automatisierten linsenherstellungsverfahren
EP4343302A1 (de) * 2022-09-26 2024-03-27 Essilor International Computerimplementiertes verfahren zur bestimmung einer lokalisierung mindestens eines defekts in einer geprüften ophthalmischen linse
TWI833471B (zh) * 2022-11-29 2024-02-21 孟申機械工廠股份有限公司 瑕疵檢測方法及其裝置
DE102023204481A1 (de) 2023-05-12 2024-07-25 Carl Zeiss Smt Gmbh Verfahren zur automatisierten Defektcharakterisierung von optischen Elementen
US11971482B1 (en) * 2023-08-18 2024-04-30 Mloptic Corp. Six-dimensional optical position sensor
DE102023128512A1 (de) * 2023-10-18 2025-04-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Herstellung eines Kraftfahrzeugs
US20250156522A1 (en) * 2023-11-14 2025-05-15 Via Science, Inc. Certifying camera images

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500732A (en) * 1994-06-10 1996-03-19 Johnson & Johnson Vision Products, Inc. Lens inspection system and method
DE19739250C2 (de) * 1996-09-13 2003-01-02 Fraunhofer Ges Forschung Optische Erfassung von Freiformflächen
DE19914115A1 (de) * 1998-04-20 1999-11-04 Gfai Ges Zur Foerderung Angewa Verfahren und System zur Fehleranalyse bei polykristallinen Wafern, Solarzellen und Solarmodulen, insbesondere zur Bestimmung der prozeß- und strukturbedingten mechanischen Spannungen
EP1148333A1 (de) * 2000-02-05 2001-10-24 YXLON International X-Ray GmbH Verfahren zur automatischen Gussfehlererkennung in einem Prüfling
US20020106134A1 (en) * 2000-09-22 2002-08-08 Dundon Thomas A. Multiple-orientation image defect detection and correction
DE102008060621B3 (de) * 2008-12-05 2010-08-12 Carl Zeiss Ag Optische Anordnung zum berührungslosen Messen oder Prüfen einer Körperoberfläche
DE102011079382B4 (de) * 2011-07-19 2020-11-12 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zum Analysieren und zum Beseitigen eines Defekts einer EUV Maske
DE102013003900A1 (de) 2012-03-28 2013-10-02 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zur Bildaufnahme mit einem Lichtmikroskop
JP6164212B2 (ja) * 2012-05-16 2017-07-19 ソニー株式会社 撮像光学系、撮像装置
JP6408259B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
DE102014112242A1 (de) 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
US10504218B2 (en) 2015-04-21 2019-12-10 United Technologies Corporation Method and system for automated inspection utilizing a multi-modal database
DE102015208084A1 (de) 2015-04-30 2016-11-03 Carl Zeiss Microscopy Gmbh Verfahren zum Generieren eines Kontrastbildes einer Objektbeschaffenheit und diesbezügliche Vorrichtungen
DE102015208087A1 (de) 2015-04-30 2016-11-03 Carl Zeiss Microscopy Gmbh Verfahren zum Generieren eines reflektionsreduzierten Kontrastbildes und diesbezügliche Vorrichtungen
DE102015009728B4 (de) 2015-07-31 2018-10-25 Airbus Defence and Space GmbH Probabilistische Fehlererkennung in verlegten Faserbändchen
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
US10176588B2 (en) * 2015-09-14 2019-01-08 Sightline Innovation Inc. System and method for specular surface inspection
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
DE102015218917B4 (de) 2015-09-30 2020-06-25 Carl Zeiss Smt Gmbh Verfahren zur Ermittlung einer Position eines Strukturelements auf einer Maske und Mikroskop zur Durchführung des Verfahrens
CN108463838A (zh) * 2015-11-16 2018-08-28 物化股份有限公司 增材制造过程中的差错检测
DE102015122712B4 (de) 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
FR3047451B1 (fr) * 2016-02-09 2019-03-22 Sncf Reseau Procede, dispositif et systeme de detection de defaut(s) d’un pantographe d’un vehicule en mouvement sur une voie ferree
US11210777B2 (en) * 2016-04-28 2021-12-28 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
WO2017200524A1 (en) 2016-05-16 2017-11-23 United Technologies Corporation Deep convolutional neural networks for crack detection from image data
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US11047806B2 (en) * 2016-11-30 2021-06-29 Kla-Tencor Corporation Defect discovery and recipe optimization for inspection of three-dimensional semiconductor structures
DE102016226206A1 (de) 2016-12-23 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Erfassen von Messbildern eines Messobjekts
DE102017108873A1 (de) 2017-04-26 2018-10-31 Carl Zeiss Microscopy Gmbh Phasenkontrast-Bildgebung mit Übertragungsfunktion
US20190318469A1 (en) * 2018-04-17 2019-10-17 Coherent AI LLC Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns

Also Published As

Publication number Publication date
WO2019238518A2 (de) 2019-12-19
US20210279858A1 (en) 2021-09-09
WO2019238518A3 (de) 2020-03-12
US11790510B2 (en) 2023-10-17
DE102018114005A1 (de) 2019-12-12
CN112243519A (zh) 2021-01-19
CN112243519B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
WO2019238518A2 (de) Materialprüfung von optischen prüflingen
EP1488377B1 (de) Verfahren zur selbstüberwachung eines mikroskopsystems, mikroskopsystem und software zur selbstüberwachung
DE102019114012A1 (de) Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse
EP3186672A2 (de) Phasenkontrast-bildgebung
EP3608831A1 (de) Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopbasierten anwendungstechnologie
EP3195250B1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
EP3602163B1 (de) Strukturierte beleuchtung mit optimierter beleuchtungsgeometrie
DE102014206309A1 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
DE102021205541A1 (de) Verfahren zur Bestimmung einer Abbildungsqualität eines optischen Systems bei Beleuchtung mit Beleuchtungslicht innerhalb einer zu vermessenden Eintrittspupille
DE102021100444A1 (de) Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
EP3071928B1 (de) Bildaufnahmesimulation in einem koordinatenmessgerät
DE102022121543A1 (de) Mikroskopiesystem und Verfahren zur Qualitätsüberprüfung eines maschinell gelernten Bildverarbeitungsmodells
DE102019208114B4 (de) Vorrichtung und Verfahren zur 3D Vermessung von Objektkoordinaten
DE102015210619A1 (de) Dreidimensional-Formmessapparatur, Messdaten-Verarbeitungseinheit, Messdaten-Verarbeitungsverfahren und Computerprogramm
DE102021101439A1 (de) Mikroskopiesystem und verfahren zur rotationsüberprüfung einer mikroskopkamera
WO2021008927A1 (de) Verfahren zur untersuchung von substanzen, computerprogrammprodukt zur verwendung in diesem verfahren, sowie mobiles elektronisches gerät
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
WO2019007698A1 (de) Digitale bestimmung der fokusposition
DE10250503A1 (de) Mikroskopsystem und Verfahren zur Detektion und Kompensation von Veränderungen eines aufgenommenen Bildinhalts
EP4477995B1 (de) Verfahren und vorrichtung zur berührungslosen vermessung von objekten
DE102024131391A1 (de) Verfahren zum Trainieren eines Bildverarbeitungssystems mit einem Maschinenlernmodell zum Ausführen einer virtuellen Mehrwinkel-Rekonstruktion von mit einem Lichtblattmikroskop aufgenommenen Bild-Stapeln
DE102022130975A1 (de) Lokalisierung von verschmutzungen in mikroskopiesystemen
DE102024111857A1 (de) Verfahren und Vorrichtung zum Bestimmen einer aktuellen Kalibrierung und/oder Überprüfen einer initialen Kalibrierung eines Kamerasystems eines Mikroskops
EP4231233A1 (de) Computerimplementiertes verfahren für die schädigungserkennung in einem körper, trainiertes neuronales netz für die schädigungserkennung sowie prüfsystem
DE102022128078A1 (de) Verfahren und vorrichtung zur mikroskopie

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201209

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240510