EP3771564B1 - Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts - Google Patents

Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts

Info

Publication number
EP3771564B1
EP3771564B1 EP20188815.3A EP20188815A EP3771564B1 EP 3771564 B1 EP3771564 B1 EP 3771564B1 EP 20188815 A EP20188815 A EP 20188815A EP 3771564 B1 EP3771564 B1 EP 3771564B1
Authority
EP
European Patent Office
Prior art keywords
image
print
delta
raster cell
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP20188815.3A
Other languages
English (en)
French (fr)
Other versions
EP3771564A1 (de
Inventor
Dr. Lucas FRANEK
Dr. Ralf GRIESER
Christoph Schultheiss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bundesdruckerei GmbH
Original Assignee
Bundesdruckerei GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bundesdruckerei GmbH filed Critical Bundesdruckerei GmbH
Publication of EP3771564A1 publication Critical patent/EP3771564A1/de
Application granted granted Critical
Publication of EP3771564B1 publication Critical patent/EP3771564B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41F—PRINTING MACHINES OR PRESSES
    • B41F33/00—Indicating, counting, warning, control or safety devices
    • B41F33/0036—Devices for scanning or checking the printed matter for quality control

Definitions

  • the present invention relates to the field of optical inspection of a printed image of a printed object.
  • print images are inspected for printing errors.
  • Optical inspection systems are typically used to assess the print image of a printed object, for example, for quality control of printing processes.
  • Existing methods and systems are often based on differential image techniques. Their results depend heavily on manual parameterization and sometimes lead to pseudo-errors.
  • the printed matter DE 10 2017 116 882 A1 relates to a print inspection device for optically inspecting a print image of a printed object, wherein a target print object is assigned to the printed object.
  • the print inspection device comprises an image camera for optically capturing the printed object and a processor for further processing the captured print object.
  • WO 2004/056570 A1 discloses a method and apparatus for real-time control of printed images.
  • the invention solves this problem by detecting anomalies in the printed image, measuring defect sizes, and classifying the defects.
  • the invention enables customer-specific defect detection in the printed image by means of machine-based Learning.
  • This task is solved, in particular, by a multi-layer architecture that enables customized detection of printing defects. These multiple layers include color calibration, determination of the defect pattern from a calibrated Delta E image, customized classification using machine learning, and detection of different defect grades.
  • defect classes can be efficiently trained using boundary patterns.
  • the invention relates to a print inspection device for the optical inspection of a print image of a printed object, wherein a target print image is assigned to the printed object, comprising: a processor that is designed and configured to determine a plurality of raster cell images for the printed image and the target print image, respectively, based on a subdivision of the printed image and the target print image into raster cells; to determine a Delta-E raster cell image for each raster cell based on a color difference between a raster cell image of the printed image and a raster cell image of the target print image; to determine for each pixel of the Delta-E cell image whether a pixel defect is present based on a pixel-specific threshold function, wherein the pixel-specific threshold function is based on prior training of a database of Delta-E cell images with associated manually specified ground truth cell images; to combine the previously determined pixel defects in the respective Delta-E cell images to form a defect image that provides an overview of the pixel defects of the printed image
  • Such a print inspection device offers the user an efficient optical inspection of a printed image. Due to the prior training, the optical inspection relies less heavily on manual parameterization than is the case with previous devices, resulting in fewer falsely detected print defects; in particular, pseudo-print defects are recognized as such.
  • the print inspection device detects anomalies in the printed image and provides the user with a means of measuring defect sizes and classifying them.
  • the print inspection device enables customer-specific defect detection in the printed image using machine learning.
  • the print image represents the actual print image of a printed object to be inspected, which may be printed on a substrate.
  • the target print image may be, for example, a vector font, a vector graphic, or a digital image, and may be known in advance, for example, from a prepress stage.
  • the grid can be equidistant, but it can also be composed of any number of polygons. Furthermore, individual cells within the grid can be deactivated. This provides the advantage of allowing very flexible adjustment of regions where testing is not desired.
  • the grid cells overlap, allowing local alignment to be performed for each cell. This has the advantage that in cases of film tension that is not optimally adjusted, lamination distortion, or similar situations, local alignment can better align the actual print image with the target print image.
  • the processor is configured to determine the plurality of raster cell images based on color-calibrated and aligned print images and target print images.
  • the processor is configured to determine the plurality of raster cell images for a respective color channel of a plurality of color channels of a color space.
  • the processor is configured to determine the Delta-E raster cell image based on a Euclidean distance in the color space between the raster cell image of the print image and the corresponding raster cell image of the target print image.
  • the prior training of the database of Delta-E cell images with associated ground-truth cell images is carried out based on neural networks (NN), support vector machines (SVM) and/or multi-layer perceptron (MLP) methods.
  • NN neural networks
  • SVM support vector machines
  • MLP multi-layer perceptron
  • the pixel-specific threshold function specifies a fragment in the Delta-E raster cell image that is based on an irregularity in an alignment of the print image with respect to the target print image as not being a pixel defect.
  • the print inspection device is error-tolerant with regard to incorrect positioning of the print image relative to the target print image, which may be caused, for example, by the print image not being positioned precisely, e.g., by incorrect positioning of the recording camera or a crooked feed when reading or scanning the print image.
  • the pixel-specific threshold function specifies a contiguous region of pixels in the Delta-E raster cell image that exceeds a predetermined size as a pixel defect.
  • both the training of the database of Delta-E cell images with associated ground-truth cell images and the user-specific classification of the defect image are based on the same training process.
  • a user is presented with various print images along with corresponding target print images.
  • the user identifies defects in the print images based on their subjective impression and marks them (labeling process).
  • labeling process Based on the same training process, both raster cell images, which display a small section of the image, and the defect image, which represents the entire image area, can be classified. This simplifies the classification process.
  • the print inspection device is less complex.
  • the training process is based on a classification of a database of print images against associated target value print images based on a subjective error detection of a user.
  • the pixel-specific threshold function assigns a binary value of 0 or 1 to each gray value of the Delta-E raster cell image.
  • the threshold function can efficiently distinguish areas with a high confidence level from areas with a low confidence level and can easily represent them in the form of a threshold.
  • the pixel-specific threshold function comprises a logistic function, e.g., a sigmoid function or a step function with respect to the gray values of the Delta-E raster cell image.
  • the defect classification is based on the following features: an area of connected components of the Delta-E cell image, an inner radius of the connected components of the Delta-E cell image, a correlation between the actual print image and the target print image, and a contrast between background and foreground with respect to the Delta-E cell image.
  • an area of connected components of the Delta-E cell image an inner radius of the connected components of the Delta-E cell image
  • a correlation between the actual print image and the target print image a contrast between background and foreground with respect to the Delta-E cell image.
  • the number of defect pixels per row is additionally considered as a feature.
  • columns are considered for vertical streakiness.
  • the print inspection device comprises a camera configured to optically record the print object in order to obtain the print image.
  • the camera can easily provide the print image.
  • the print image can be provided via a scanner or reader.
  • the processor is designed to output a printing error when printing the print image with a color printer as an inspection result, wherein the printing error occurs in the form of a color dot or color stripe that is based on a malfunction of a color channel of the color printer.
  • the invention relates to a method for optically inspecting a print image of a printed object, wherein a target print image is assigned to the printed object, comprising the following steps: determining a respective plurality of raster cell images for the printed image and the target print image based on a subdivision of the printed image and the target print image into raster cells; determining a Delta-E raster cell image for each raster cell based on a color difference between a raster cell image of the printed image and a raster cell image of the target print image; determining for each pixel of the Delta-E cell image, based on a pixel-specific threshold function, whether a pixel defect is present, wherein the pixel-specific threshold function is based on prior training of a database of Delta-E cell images with associated manually specified ground truth cell images; combining the previously determined pixel defects in the respective Delta-E cell images to form a defect image that provides an overview of the pixel defects of the printed image; and outputting an inspection result
  • Such a method offers the user an efficient optical inspection of a printed image. Due to the prior training, the optical inspection relies less heavily on manual parameterization than was previously the case, resulting in fewer falsely detected printing defects; in particular, pseudo-printing defects are recognized as such.
  • the print inspection device can be programmed to execute the program code or parts of the program code.
  • the invention can be implemented in hardware and software.
  • Fig. 1 shows a schematic diagram of a print inspection device 100 for optically inspecting a print image 120 of a printed object according to one embodiment.
  • a target print image 121 which represents the ideal image of the printed object, is assigned to the printed object.
  • the print inspection device 100 comprises a processor 110, which is configured to determine a plurality of raster cell images 111 for the print image 120 and the target print image 121, respectively, based on a subdivision of the print image 120 and the target print image 121 into raster cells 130.
  • the processor 110 is further configured to determine a Delta-E raster cell image 112 for each raster cell 130 based on a color difference between a raster cell image of the print image 120 and a raster cell image of the target print image 121.
  • the processor 110 is further configured to determine, for each pixel of the Delta-E raster cell image 112, whether a pixel defect 113 is present based on a pixel-specific threshold function 140.
  • the pixel-specific threshold function 140 is based on a prior training 150 of a database 160 of Delta-E raster cell images with associated manually specified ground-truth cell images.
  • the processor 110 is further configured to combine the previously determined pixel defects 113 in the respective Delta-E raster cell images 112 into a defect image 114, which provides an overview of the pixel defects 113 of the printed image 120, and to output an inspection result 116 based on a user-specific classification 115 of the defect image 114.
  • a processor is a programmable computing unit, i.e., a machine or electronic circuit that controls other machines or electrical circuits according to instructions provided, thereby executing an algorithm or process, which usually involves data processing.
  • the processor can be, for example, a microcontroller or a digital signal processor or a CPU, for example, in an embedded system.
  • the term processor is used here to mean This refers to both the component, i.e., the semiconductor chip, and the data-processing logic unit.
  • the term processor also encompasses one or more processor cores, which are now included in many processor chips, with each core representing a (largely) independent logic unit.
  • Ground truth is a term used in statistics and machine learning. It means that machine learning results are checked for accuracy against the real world. The term originates from meteorology, where "ground truth” refers to information obtained on-site. The term implies a kind of reality check for machine learning algorithms.
  • Delta E is a measure of the perceived color difference, which is ideally "equally spaced” for all colors present. The delta symbolizes the difference. This allows for quantification of work dealing with colors.
  • the L*a*b* color space (also known as CIELAB) describes all perceivable colors. It uses a three-dimensional color space in which the brightness value L* is perpendicular to the color plane (a*, b*).
  • the most important properties of the L*a*b* color model include device independence and perceptual relevance. This means that colors are defined as they are perceived by a standard observer under standard lighting conditions, regardless of the method of their production or reproduction technology.
  • the color model is standardized in EN ISO 11664-4 "Colorimetry -- Part 4: CIE 1976 L*a*b* Color space.”
  • the color difference is usually expressed as Delta E.
  • the term color distance is preferred over color difference. Compared to color difference, it represents the quantified form. Every color that actually occurs, including every color emitted or measured by a device, can be assigned a color location in three-dimensional space.
  • the value of Delta E between the color locations (L*, a*, b*) p and (L*, a*, b*) q is calculated as a Euclidean distance according to EN ISO 11664-4.
  • the grid 130 can be rectangular or square, i.e., a grid with rectangular or square grid elements.
  • any other grid shape can be used, e.g., hexagonal, triangular, etc.
  • the processor 110 is configured to determine the plurality of raster cell images 111 based on color-calibrated 255 and aligned 256 print images 120 and target print images 121.
  • the goal of color calibration 255 is to measure and/or adjust the color behavior of a device (input or output) in a known state.
  • Calibration refers to establishing a known relationship to a standard color space.
  • Input data can come from device sources such as digital cameras, image scanners, or other measurement devices. These inputs can be specified either in monochrome or in multidimensional color—most commonly in the three-channel RGB (red/green/blue) model.
  • Processor 110 can determine the orientation of the print image relative to the target print image and rotate the print image based on the orientation. This provides the advantage of allowing the orientation of the print image relative to the target print image or the masking template to be corrected.
  • the processor 110 may be configured in one embodiment to determine the plurality of raster cell images 111 for a respective color channel of a plurality of color channels 246 of a color space 247, such as Figure 2 shown.
  • the processor 110 may be configured to determine the Delta-E raster cell image 112 based on a Euclidean distance in the color space between the raster cell image 111 of the print image 120 and the corresponding raster cell image 111 of the target print image 121.
  • Every color that actually occurs can be assigned a color location in three-dimensional space.
  • the prior training 150 of the database 160 of Delta-E cell images with associated ground-truth cell images is performed based on neural networks (NN), support vector machines (SVM) and/or multi-layer perceptron (MLP) methods.
  • NN neural networks
  • SVM support vector machines
  • MLP multi-layer perceptron
  • Ns artificial neural networks
  • the topology of a network i.e., the assignment of connections to nodes, must be well thought out depending on its task.
  • the training phase follows, in which the network "learns.”
  • a neural network learns through the following methods: developing new connections, deleting existing connections, changing the weights (the weights from neuron to neuron), adjusting the thresholds of the neurons (if they have thresholds), adding or deleting neurons, and modifying the activation, propagation, or output functions. Furthermore, the learning behavior changes when the activation function of the neurons or the learning rate of the network is changed.
  • a network "learns” primarily by modifying the weights of the neurons. This enables NNs to learn complex nonlinear functions using a "learning" algorithm that attempts to determine all the parameters of the function from existing input and desired output values using iterative or recursive procedures.
  • a support vector machine serves as a classifier and regressor.
  • a support vector machine divides a set of objects into classes such that the widest possible area remains free of objects around the class boundaries.
  • the starting point for building a support vector machine is a set of training objects, each of which has a known class.
  • Each object is represented by a vector in a vector space.
  • the task of the support vector machine is to fit a hyperplane into this space, which acts as a dividing surface and divides the training objects into two classes. The distance between the vectors closest to the hyperplane is maximized. This wide, empty boundary should later ensure that even objects that do not exactly correspond to the training objects are classified as reliably as possible.
  • the perceptron is a simplified artificial neural network. In its basic form (simple perceptron), it consists of a single artificial neuron with adjustable weights and a threshold. Today, this term refers to various combinations of the original model, distinguishing between single-layer and multi -layer perceptrons ( MLPs).
  • Perceptron networks convert an input vector into an output vector, thus representing a simple associative memory.
  • the pixel-specific threshold function 140 specifies a fragment 224, 611 (such as in Figure 2 or Figure 6 shown) in the Delta-E raster cell image 112, which is based on an irregularity in the alignment of the print image 120 with respect to the target print image 121, as not a pixel defect 113. This can prevent misalignments of the print image with respect to the target print image 121 from being determined as printing errors or defects.
  • Such fragments usually appear in the form of lines or hatching, especially in places where the print image 120 is slightly shifted with respect to the target print image 121.
  • the pixel-specific threshold function 140 specifies a contiguous area 214, 610 of pixels in the Delta-E raster cell image 112 (e.g., as shown in Figure 2 or Figure 6 This allows misprints, which usually cover a certain area, to be recognized as printing errors or defects.
  • both the training 150 of the database 160 of Delta-E cell images with associated ground-truth cell images and the user-specific classification 115 of the defect image 114 are based on the same training process 150.
  • a training process for example, a user is presented with various print images with associated target print images. The user identifies defects in the print images based on their subjective impression and marks them (labeling process). The defects marked by the user During the training phase, print images and corresponding (actual) print images are learned using a machine learning method such as NN, MLP, or SVM. This enables the machine learning method to classify new images for printing defects based on the learned pattern.
  • the training process 150 is based on a classification of a database of print images (see e.g. 401, 411, 421 in Figure 4 ) compared to the corresponding setpoint print images (see e.g. 402, 412, 422 in Figure 4 ) based on a user's subjective error detection, as described above.
  • the pixel-specific threshold function 140, 505 assigns a threshold value in the range from 0 to 1 to each color value of the Delta-E raster cell image 112.
  • the pixel-specific threshold function 140, 505 can comprise, for example, a logistic function, e.g., a sigmoid function or a step function with respect to the gray values of the Delta-E raster cell image 503.
  • the classification 115 may be based on the following features: an area of connected components of the Delta-E raster cell image 503 (see Figure 5 ), an inner radius of the connected components of the Delta-E raster cell image 503, a correlation between the actual print image and the target print image, a contrast of the Delta-E raster cell image 503, in particular a color difference between background and foreground.
  • the print inspection device 100 may further comprise a camera configured to optically capture the printed object to obtain the printed image.
  • the print inspection device 100 may comprise a scanner or a reader to scan or read the printed image.
  • the processor 110 is configured to output as inspection result 116 a printing error when printing the print image 120 with a color printer, wherein the printing error occurs in the form of a color dot or color stripe, which is due to a malfunction of a color channel 246 (see Fig. 2 ) of the color printer.
  • Fig. 2 shows an architectural diagram of a print inspection device 200 for optically inspecting a print image 250 of a printed object according to an embodiment.
  • the print inspection device 200 is a specific embodiment of the above-mentioned Figure 1 described print inspection device 100.
  • An input image 250 corresponds to the print image 120 from Figure 1
  • the input image 250 is assigned to a target print image 241 of a model 240, which corresponds to the ideal image of the print object, i.e., the image without printing defects.
  • a color calibration step 255 the input image 250 and the target print image 241 are color calibrated.
  • the goal of color calibration 255 is to adapt the color behavior of the input image 250 to the color behavior of the target print image 241.
  • Calibration refers to establishing a known relationship to a standard color space.
  • Inputs are the input image 250 and the target print image 241. These inputs can be specified either monochrome or in multidimensional color - most commonly in the three-channel RGB (red/green/blue) model.
  • a color-calibrated input image 251 is generated, e.g., with white balance, as in Fig. 2
  • the target print image 241 can also be displayed as a color-calibrated target print image.
  • the target print image 241, or the color-calibrated target print image and the color-calibrated (actual) print image 251 are aligned 256.
  • the images are shifted or rotated relative to each other so that both images are ultimately aligned on top of each other. This means that the processor 110 converts the position data of both images accordingly so that the position data are aligned.
  • a target print image 242 and an actual print image 252 are available, which are aligned relative to each other or to each other.
  • Both images are then split into respective color channels 246 in the existing color space 247, e.g. RGB, so that an actual print image 253 and a corresponding target print image are generated for each color channel 246.
  • existing color space 247 e.g. RGB
  • a grid 244 or raster is placed over the print image 253 and the associated target print image 242 in order to divide the print image 253 and the associated target print image 242 into a plurality of raster cell images 254, each of which represents a partial section of the respective print image.
  • the grid size is predefined or freely selectable.
  • a local position correction 245 can be performed via the grid layer.
  • Each cell or raster cell of the grid 244 is treated in the print inspection device 200 as an independent layer 210, 220, 230, in Figure 2 The three layers 210, 220, 230 are shown as examples.
  • a Delta E raster cell image 201 is determined based on a comparison between the model and the image.
  • the Delta E raster cell image 215 of a first layer 210 can be determined based on a Euclidean distance in the color space between the raster cell image 214 of the print image 253 and the corresponding raster cell image 213 of the target print image 242.
  • Delta E is calculated as the Euclidean distance between the color locations (L*, a*, b*), and (L*, a*, b*) 2 .
  • the Delta-E raster cell image 225 of a second layer 220 can be determined, for example, based on the Euclidean distance in the color space between the raster cell image 224 of the print image 253 and the corresponding raster cell image 223 of the target print image 242.
  • the Delta-E raster cell image 235 of an nth layer 230 can be determined, for example, based on the Euclidean distance in the color space between the raster cell image 234 of the print image 253 and the corresponding raster cell image 233 of the target print image 242.
  • a database is trained using an activation function 202 per pixel.
  • a classification in a classification layer 203 of a training database e.g. the training database 160 with Delta-E and ground-truth images, as in Figure 1 described to detect an error or no error.
  • connected components in the Delta E grid cell image 201 are detected and classified as faulty or non-faulty. For example, a connected component 216 of the Delta E grid cell image 215 of the first layer 210 is classified as non-faulty, and a connected component 217 of the Delta E grid cell image 215 of the first layer 210 is classified as faulty.
  • a connected component 226 of the Delta E raster cell image 225 is classified as non-erroneous and a connected component 227 of the Delta E raster cell image 225 is classified as non-erroneous.
  • a connected component 236 of the Delta E raster cell image 235 is classified as non-erroneous and a connected component 237 of the Delta E raster cell image 235 is classified as erroneous.
  • a pixel-specific threshold function can classify, for example, a fragment 224 in the Delta-E raster cell image 201, which is based on an irregularity in an alignment of the print image 250 with respect to the target print image 242, as not being a pixel defect. This can prevent misalignments of the print image 250 with respect to the target print image 242 from being determined as a printing error or defect. Such fragments usually occur in the form of lines or hatching, especially in places where the print image 120 is slightly is shifted relative to the target print image 121.
  • the pixel-specific threshold function can classify a contiguous area 214 of pixels in the Delta-E raster cell image 215 that exceeds a predetermined size or extent as a pixel defect. This allows misprints, which usually occupy a certain area, to be identified as printing errors or defects.
  • a user is presented with various print images along with corresponding target print images. Based on their subjective impression, the user identifies errors in the print images and marks them (labeling process).
  • the print images marked by the user, along with the corresponding (actual) print images, are learned during the training phase using a machine learning method such as NN, MLP, or SVM. This enables the machine learning method to classify new images for printing errors based on the learned pattern.
  • the activation function 202 also referred to as a pixel-specific threshold function, can be based on the following features: an area of connected components of the Delta-E raster cell image 215, 225, 235, an inner radius of the connected components of the Delta-E raster cell image 215, 225, 235, a correlation between color channels 246 of the Delta-E raster cell image 215, 225, 235, a contrast of the Delta-E raster cell image 215, 225, 235, in particular a color difference between background and foreground.
  • the number of defect pixels per row is additionally considered as a feature. Analogously, columns are considered for vertical streakiness.
  • a defect image 204 is generated, which gives the viewer an overview of printing defects in the printed image.
  • both the training of the classification layer 203 with activation function using a database and the customer-specific classification 205 of the defect image 204 are based on the same training process 150, as described above, for example, Figure 1 described.
  • a training process for example, a user is presented with various print images with corresponding target print images. Based on their subjective impression, the user identifies errors in the print images and marks them (labeling process). The print images marked by the user with the corresponding (actual) print images are learned in the training phase using a machine learning method, such as NN, MLP, or SVM. This enables the machine learning method to classify new images for print errors based on the learned pattern, so that the print inspection device 200 has a higher error detection rate.
  • a machine learning method such as NN, MLP, or SVM.
  • the print inspection device 200 was tested with various data sets of portrait images.
  • a first data set contained 72 portrait images, of which 64 images had color dots within the portrait and 8 images were free of printing defects.
  • a second data set contained 600 portrait images, of which 480 images had color dots within the portrait, 117 images had streaks, and only 3 images were free of printing defects. Each image had only one printing defect, in one color channel. In the test data set, the printing defects were varied across the individual color channels.
  • the color dots had areas of 0.4 mm 2 , 0.5 mm 2 , and 0.6 mm 2 .
  • Minor defects, ie, printing defects with an area of 0.4 mm 2 were detected with a detection rate of 85.53%, and critical defects, ie, printing defects with an area of 0.5 mm 2 and 0.6 mm 2 , were detected with a detection rate of 98.39%.
  • Fig. 3 shows two printed images 301, 302 of a female person, each of which contains a printing error caused by a printer.
  • printing errors at locations 312 and 313, i.e., light horizontal stripes in the facial area were detected by manual inspection.
  • Second-class printing defects are classified as second-class printing defects, which are caused by a printer malfunction and manifest as colored dots or streaks. In this case, either a color channel is missing entirely or a color channel prints when it shouldn't.
  • This class of defects can be specified more precisely.
  • Second-class printing defects differ from printing defects. a first class, which are anomalies such as scratches, dirt, etc. Printing errors of this first class cannot be further specified.
  • First-class printing errors can be detected using statistical anomaly detection, while second-class printing errors can be used to train a classifier, as described above for the Figures 1 and 2 described, which can then detect these defects.
  • Fig. 4 shows three example series of grid cell images, each with input 401, 411, 421, model 402, 412, 422 or target value and manually specified ground truth 403, 413, 423.
  • the model 402 which represents the target value for the raster cell image
  • the ground-truth raster cell image 403 the printing error in the actual raster cell image 401, i.e., the dot- or circular-shaped area that occupies the entire center of the image 401, is very pronounced and can therefore be easily identified manually by a user.
  • the user can then mark or label the ground-truth raster cell image 403.
  • White areas in the ground-truth raster cell image 403 represent areas with a high confidence level, while black areas represent those with a low confidence level.
  • the confidence level in the ground-truth grid cell image 403 is scaled from 0 to 240, where 0 represents the black area with a low confidence level and 240 represents the white area with a high confidence level. Even if no gray areas are visible in the ground-truth grid cell image 403, the user can also label confidence levels between 0 and 240 (i.e., shades of gray from dark gray to light gray).
  • the printing error in the actual raster cell image 411 i.e., the dot- or circular area that occupies the entire center of the image 411, is only slightly pronounced and can therefore be manually detected by the user only with difficulty after intensive inspection. After careful inspection, the user can mark or label.
  • the ground-truth raster cell image 413 corresponds approximately to the ground-truth raster cell image 403 from the first series, i.e., despite the poorer input data 411, the result is the same.
  • the printing error in the actual raster cell image 421, i.e., the dot- or circular-shaped area that occupies the entire center of the image 421, is also only slightly pronounced and can therefore be manually detected by the user only with difficulty after intensive inspection.
  • the second series exhibits a light gray error in a light gray image
  • the third series exhibits a dark gray error in a dark gray image.
  • the user must inspect the image closely to subsequently label the ground-truth raster cell image 423.
  • the ground-truth grid cell image 423 roughly corresponds to the ground-truth grid cell image 403 from the first series, i.e., despite the poorer input data 421, the result is the same.
  • Fig. 5 shows a schematic diagram of pixel-wise training 500 of a Delta E raster cell image according to one embodiment.
  • the Delta E raster cell image 503 is determined, as described above for the Figures 1 and 2
  • the ground-truth grid cell image 504, which results from a previous labeling process as described above, Figure 4 is used together with the Delta E grid cell image 503 as input variables for training 507 in order to train a threshold function 505 on the basis of which an optimal threshold 506 can be determined.
  • Brightness values from 0 to approximately 25 are weighted with the threshold value 1, which corresponds to a high confidence level.
  • Brightness values from approximately 30 to 50 are weighted with the threshold value 0, which corresponds to a low confidence level.
  • the threshold decreases monotonically from 1 to 0.
  • Such values correspond to a medium confidence level, which is located in the border area between an area that is recognized as a printing error and an area that is not recognized as a printing error.
  • the optimal threshold value 506 is therefore in the range between 25 and 30, e.g. 27 or 28.
  • Fig. 6 shows an exemplary image sequence of a target print image 601, a real print image 602 and an associated defect image 603.
  • the target print image 601 represents a portrait of a female person.
  • a colored spot or dot can be seen on the person's right cheek, which represents a printing error.
  • the corresponding defect image 603 which, for example, corresponds to the Figure 1 described defect pattern 114 or the one to Figure 2
  • two different types of printing errors can be identified. Firstly, the aforementioned colored spot or dot 610 is recognized as a printing error. Secondly, lines or hatching 611 in the hairline area are recognized as printing errors, which may have occurred due to an inaccurate alignment of the two images 601, 602.
  • the lines or hatchings 611 can be excluded as printing errors, so that only the colored spot or dot 610 is recognized as a printing error.
  • Fig. 7 shows a schematic diagram of a training 700 of the classification layer for generating a defect classifier according to an embodiment.
  • real defects 701 are shown, while on the right side, pseudo-defects 702 are illustrated.
  • the real defects 701 are colored spots or dots, while the pseudo-defects 702 are lines or hatchings, which usually arise due to a misalignment of the actual image to the target image.
  • the defect classifier is determined using methods described above, such as NN, MLP, SVM, etc., which can distinguish between the two types of defects 701 and 702. With this defect classifier 704, it is then possible to identify only the spots 610 in the defect image 603 of the Figure 6 to be classified as a printing error, but not the stripes 611 or hatching.
  • Fig. 8 shows a schematic diagram of a method 800 for optically inspecting a printed image of a printed object according to an embodiment.
  • a target print image 121 is assigned to the print object.
  • the method carries out the steps of the processor 110, which are described above for Figure 1 and Figure 2 were described in more detail.
  • the method 800 comprises determining 801 a respective plurality of raster cell images 111 for the print image 120 and the target print image 121 based on a subdivision of the print image and the target print image into raster cells 130, as described above for the Figures 1 and 2 described.
  • the method 800 includes determining 802 a Delta-E raster cell image 112 for each raster cell 130 based on a color distance between a raster cell image 111 of the print image 120 and a raster cell image 111 of the target print image 121, such as described above for the Figures 1 and 2 described
  • the method 800 comprises determining 803 for each pixel of the Delta-E raster cell image 112, based on a pixel-specific threshold function 140, whether a pixel defect 113 is present, wherein the pixel-specific threshold function 140 is based on a previous training 150 of a database 160 of Delta-E raster cell images with associated manually specified ground-truth raster cell images, such as described above for the Figures 1 and 2 described.
  • the method comprises assembling 804 the previously determined pixel defects 113 in the respective Delta-E raster cell images 112 to form a defect image 114, which provides an overview of the pixel defects 113 of the printed image 120, as described above for example in relation to the Figures 1 and 2 described.
  • the method 800 comprises outputting 805 an inspection result 116 based on a user-specific classification 115 of the defect image 114, such as described above for the Figures 1 and 2 described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

  • Die vorliegende Erfindung betrifft das Gebiet der optischen Inspektion eines Druckbildes eines Druckobjekts.
  • Nach dem Druck werden Druckbilder auf Druckfehler geprüft. Zur Beurteilung eines Druckbildes eines Druckobjekts, beispielsweise zur Qualitätskontrolle von Druckprozessen, werden typischerweise Systeme zur optischen Inspektion eingesetzt. Bestehende Verfahren und Systeme beruhen häufig auf Differenzbildverfahren. Ihre Ergebnisse hängen stark von der manuellen Parametrisierung ab und führen zum Teil zu Pseudofehlern.
  • Die Druckschrift DE 10 2017 116 882 A1 betrifft eine Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckobjekt zugeordnet ist. Die Druckinspektionsvorrichtung umfasst eine Bildkamera zum optischen Aufnehmen des Druckobjekts und einen Prozessor zur Weiterverarbeitung des aufgenommenen Druckobjekts.
  • Die Offenlegungsschrift WO 2004/056570 A1 offenbart ein Verfahren und eine Vorrichtung zur Echtzeitkontrolle von Druckbildern.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zur optischen Inspektion eines Druckbildes eines Druckobjekts zu schaffen.
  • Insbesondere ist es eine Aufgabe der Erfindung, ein Konzept zur optischen Inspektion von Druckbildern zu schaffen, das weniger stark von der manuellen Parametrisierung abhängig ist und zu weniger Druckfehlern, insbesondere Pseudo-Druckfehlern führt als herkömmliche Verfahren.
  • Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Zeichnungen.
  • Die Erfindung löst diese Aufgabe durch das Erkennen von Anomalien im Druckbild, Vermessen von Fehlergrößen und Klassifikation der Fehler. Insbesondere ermöglicht die Erfindung eine kundenspezifische Fehlerdetektion im Druckbild mittels maschinellem Lernen. Die Aufgabe wird insbesondere durch eine Architektur mit mehreren Schichten gelöst, welche eine kundenspezifische Erkennung von Druckfehlern ermöglicht. Die mehreren Schichten umfassen Farb-Kalibrierung, Bestimmung des Defektbildes aus einem kalibrierten Delta E Bild, kundenspezifische Klassifikation durch maschinelles Lernen sowie Erkennung unterschiedlicher Defektgrade.
  • Damit verbunden sind die technischen Vorteile einer Reduktion von Parametern durch Verwendung des Farbabstandes und von maschinellem Lernen zum Training von kundenspezifischen Anforderungen. Die Fehlerklassen können effizient durch Grenzmuster trainiert werden.
  • Gemäß einem ersten Aspekt betrifft die Erfindung eine Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild zugeordnet ist, mit: einem Prozessor, der ausgebildet und konfiguriert ist, für das Druckbild und das Soll-Druckbild jeweils eine Mehrzahl von Rasterzellenbildern basierend auf einer Unterteilung des Druckbilds und des Soll-Druckbilds in Rasterzellen zu bestimmen; für jede Rasterzelle ein Delta-E Rasterzellenbild basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes und einem Rasterzellenbild des Soll-Druckbildes zu bestimmen; für jedes Pixel des Delta-E Zellenbildes basierend auf einer pixelspezifischen Schwellenwertfunktion zu bestimmen ob ein Pixeldefekt vorliegt, wobei die pixelspezifische Schwellenwertfunktion auf einem vorherigen Training einer Datenbasis von Delta-E Zellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; die zuvor bestimmten Pixeldefekte in den jeweiligen Delta-E Zellenbildern zu einem Defektbild zusammenzusetzen, welches einen Überblick über die Pixeldefekte des Druckbildes gibt; und ein Inspektionsergebnis basierend auf einer benutzerspezifischen Klassifikation des Defektbildes auszugeben.
  • Eine solche Druckinspektionsvorrichtung bietet dem Benutzer eine effiziente optische Inspektion eines Druckbildes eines Druckobjekts. Aufgrund des vorhergehenden Trainings hängt die optische Inspektion dabei weniger stark von der manuellen Parametrisierung ab als es bei bisherigen Vorrichtungen der Fall ist und es kommt zu weniger falsch erkannten Druckfehlern, insbesondere werden Pseudo-Druckfehler als solche erkannt.
  • Die Druckinspektionsvorrichtung erkennt Anomalien im Druckbild und gibt dem Benutzer ein Mittel zum Vermessen von Fehlergrößen und Klassifikation der Fehler zur Hand. Insbesondere ermöglicht die Druckinspektionsvorrichtung eine kundenspezifische Fehlerdetektion im Druckbild mittels maschinellem Lernen.
  • Das Druckbild bildet ein zu inspizierendes Ist-Druckbild eines Druckobjekts, welches auf einem Substrat aufgedruckt sein kann. Das Soll-Druckbild kann beispielsweise als Vektorfont oder als Vektorgrafik oder als digitales Bild vorliegen, und kann beispielsweise aus einer Druckvorstufe vorbekannt sein.
  • Das Raster kann ein äquidistantes Raster sein, es kann aber auch aus beliebigen Polygonen zusammengesetzt sein. Ferner können einzelne Zellen im Raster deaktiviert sein. Dadurch wird der Vorteil erzielt, dass Regionen in denen eine Prüfung nicht erwünscht ist, sehr flexibel angepasst werden können.
  • Die Rasterzellen des Rasters überlagern sich und pro Zelle kann eine lokale Ausrichtung durchgeführt werden. Dadurch wird der Vorteil erzielt, dass im Falle von nicht optimal gespannter Folie, im Falle von Laminationsverzug oder in ähnlichen Situationen durch eine lokale Ausrichtung Ist-Druckbild und Soll-Druckbild lokal besser zur Deckung gebracht werden können.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Mehrzahl von Rasterzellenbildern basierend auf farbkalibrierten und aufeinander ausgerichteten Druckbildern und Soll-Druckbildern zu bestimmen.
  • Damit wird der technische Vorteil erzielt, dass es zu weniger falsch erkannten Druckfehlern kommt, da ein Farbabstand zwischen farbkalibrierten Bildern genauer bestimmt werden kann. Ferner führt die gegenseitige Ausrichtung der Bilder aufeinander dazu, dass es zu weniger Streifen bzw. Schraffuren im Defektbild kommt, welche aus einer Fehlausrichtung zueinander entstehen.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Mehrzahl von Rasterzellenbildern für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen eines Farbraumes zu bestimmen.
  • Damit wird der technische Vorteil erzielt, dass es zu weniger falsch erkannten Druckfehlern kommt, da ein auftretender Druckfehler aufgrund eines Farbkanaldefektes des Druckers im entsprechenden Farbkanal leichter erkennbar ist.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, das Delta-E Rasterzellenbild basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild des Druckbildes und dem entsprechenden Rasterzellenbild des Soll-Druckbildes zu bestimmen.
  • Damit wird der technische Vorteil erzielt, dass die Euklidische Distanz sich für die jeweiligen Rasterzellenbilder genauer bestimmen lässt als im Bild mit Originalgröße. Es kommt somit zu weniger falsch erkannten Druckfehlern. Das Inspektionsergebnis der Druckinspektionsvorrichtung ist genauer.
  • Gemäß einer Ausführungsform erfolgt das vorhergehende Training der Datenbasis von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren.
  • Damit wird der technische Vorteil erzielt, dass derartige maschinelle Lernverfahren einen guten Lernerfolg bieten und außerdem skalierbar sind, d.h. je nachdem mit welcher Komplexität das Netz modelliert wird, desto genauer wird das Inspektionsergebnis.
  • Gemäß einer Ausführungsform spezifiziert die pixelspezifische Schwellenwertfunktion ein Fragment in dem Delta-E Rasterzellenbild, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes in Bezug auf das Soll-Druckbild basiert, als keinen Pixelfehler.
  • Damit wird der technische Vorteil erzielt, dass die Druckinspektionsvorrichtung fehlertolerant gegenüber Fehlpositionierungen des Druckbildes gegenüber dem Soll-Druckbild ist, welche beispielsweise dadurch verursacht werden, dass das Druckbild nicht genau positioniert ist, z.B. durch eine Fehlpositionierung der aufnehmenden Kamera oder einem schiefen Einzug beim Einlesen oder Einscannen des Druckbildes.
  • Gemäß einer Ausführungsform spezifiziert die pixelspezifische Schwellenwertfunktion einen zusammenhängenden Bereich von Pixeln in dem Delta-E Rasterzellenbild, der eine vorgegebene Größe überschreitet, als Pixelfehler.
  • Damit wird der technische Vorteil erzielt, dass Druckfehler, welche auf Fehldrucken basieren, z.B. Punkten, Farbklecksen oder anderen Unregelmäßigkeiten genau erkannt werden können.
  • Gemäß einer Ausführungsform basieren sowohl das Training der Datenbasis von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation des Defektbildes auf demselben Trainingsvorgang.
  • In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Basierend auf dem gleichen Trainingsvorgang können somit sowohl Rasterzellenbilder, die einen kleinen Ausschnitt des Bildes anzeigen, als auch das Defektbild, welches den gesamten Bereich des Bildes darstellt, klassifiziert werden. Dies vereinfacht die Ausführung der Klassifikation. Die Druckinspektionsvorrichtung ist weniger komplex.
  • Gemäß einer Ausführungsform beruht der Trainingsvorgang auf einer Klassifikation einer Datenbasis von Druckbildern gegenüber zugehörigen Sollwert-Druckbildern basierend auf einer subjektiven Fehlererkennung eines Benutzers.
  • Damit wird der technische Vorteil erzielt, dass menschliches Expertenwissen in die Klassifikation miteinbezogen werden kann, welches die Fehlererkennungsquote steigert.
  • Gemäß einer Ausführungsform ordnet die pixelspezifische Schwellenwertfunktion jedem Grauwert des Delta-E Rasterzellenbildes einen Binärwert 0 oder 1 zu.
  • Damit wird der technische Vorteil erzielt, dass die Schwellenwertfunktion Bereiche mit hohem Vertrauenslevel von Bereichen mit niedrigem Vertrauenslevel effizient unterscheiden kann und leicht in Form einer Schwelle darstellen kann.
  • Gemäß einer Ausführungsform umfasst die pixelspezifische Schwellenwertfunktion eine logistische Funktion, z.B. eine Sigmoid-Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes.
  • Damit wird der technische Vorteil erzielt, dass eine logistische Funktion oder eine Stufenfunktion gut dazu geeignet ist, um Farbübergänge, wie sie bei Druckfehlern auftreten, abzubilden und darzustellen.
  • Gemäß einer Ausführungsform basiert die Defektklassifikation auf folgenden Merkmalen: einer Fläche von zusammenhängenden Komponenten des Delta-E Zellenbildes, einem Innenradius der zusammenhängenden Komponenten des Delta-E Zellenbildes, einer Korrelation zwischen dem Ist-Druckbild und dem Soll-Druckbild, einem Kontrast zwischen Hintergrund und Vordergrund in Bezug auf das Delta-E Zellenbild. Zur Feststellung der Streifigkeit in horizontaler Richtung wird zusätzlich als Merkmal die Anzahl der Defektpixel pro Zeile in Betracht gezogen. Analog werden für die vertikale Streifigkeit Spalten betrachtet.
  • Damit wird der technische Vorteil erzielt, dass anhand dieser Merkmale zusammenhängende Komponenten im Delta-E Zellenbild leicht und automatisiert erkannt werden können, welche auf einen Druckfehler hindeuten. Damit kann die Inspektion auf zuverlässige Weise Druckfehler erkennen und von Artefakten aufgrund Fehlpositionierung der Druckbilder unterscheiden.
  • Gemäß einer Ausführungsform umfasst die Druckinspektionsvorrichtung eine Kamera, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten.
  • Damit wird der technische Vorteil erzielt, dass die Kamera das Druckbild leicht bereitstellen kann. Alternativ kann das Druckbild über einen Scanner oder ein Lesegerät bereitgestellt werden.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, als Inspektionsergebnis einen Druckfehler beim Druck des Druckbildes mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals des Farbdruckers basiert.
  • Damit wird der technische Vorteil erzielt, dass eine Fehlfunktion des Farbdruckers leicht erkannt werden kann. Nach einer Reparatur oder Auswechslung des Druckers werden wieder fehlerfreie Druckbilder erzeugt.
  • Gemäß einem zweiten Aspekt betrifft die Erfindung ein Verfahren zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild zugeordnet ist, mit folgenden Schritten: Bestimmen einer jeweiligen Mehrzahl von Rasterzellenbildern für das Druckbild und das Soll-Druckbild basierend auf einer Unterteilung des Druckbilds und des Soll-Druckbilds in Rasterzellen; Bestimmen eines Delta-E Rasterzellenbilds für jede Rasterzelle basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes und einem Rasterzellenbild des Soll-Druckbildes; Bestimmen für jedes Pixel des Delta-E Zellenbildes, basierend auf einer pixelspezifischen Schwellenwertfunktion, ob ein Pixeldefekt vorliegt, wobei die pixelspezifische Schwellenwertfunktion auf einem vorherigen Training einer Datenbasis von Delta-E Zellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; Zusammensetzen der zuvor bestimmten Pixeldefekte in den jeweiligen Delta-E Zellenbildern zu einem Defektbild, welches einen Überblick über die Pixeldefekte des Druckbildes gibt; und Ausgeben eines Inspektionsergebnisses basierend auf einer benutzerspezifischen Klassifikation des Defektbildes.
  • Ein solches Verfahren bietet dem Benutzer eine effiziente optische Inspektion eines Druckbildes eines Druckobjekts. Aufgrund des vorhergehenden Trainings hängt die optische Inspektion dabei weniger stark von der manuellen Parametrisierung ab als es bisher der Fall war und es kommt zu weniger falsch erkannten Druckfehlern, insbesondere werden Pseudo-Druckfehler als solche erkannt.
  • Offenbart wird hier ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß dem zweiten Aspekt der
  • Erfindung. Dadurch wird der Vorteil erreicht, dass das Verfahren automatisiert ausgeführt werden kann.
  • Die Druckinspektionsvorrichtung kann programmtechnisch eingerichtet sein, um den Programmcode oder Teile des Programmcodes auszuführen.
  • Die Erfindung kann in Hardware und Software realisiert werden.
  • Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
    • Fig. 1
    ein schematisches Diagramm einer Druckinspektionsvorrichtung 100 zur optischen Inspektion eines Druckbildes 120 eines Druckobjekts gemäß einer Ausführungsform;
    Fig. 2
    ein Architekturdiagramm einer Druckinspektionsvorrichtung 200 zur optischen Inspektion eines Druckbildes 250 eines Druckobjekts gemäß einer Ausführungsform;
    Fig. 3
    Druckbilder 301, 302 einer Person, bei denen jeweils ein durch einen Drucker verursachten Druckfehler auftritt;
    Fig. 4
    drei beispielhafte Serien von Rasterzellenbildern, jeweils mit Eingang 401, 411, 421, Modell 402, 412, 422 bzw. Sollwert und manuell spezifiziertem Ground-Truth 403, 413, 423;
    Fig. 5
    ein schematisches Diagramm eines pixelbezogenen Trainings 500 eines Delta E Rasterzellenbildes gemäß einer Ausführungsform;
    Fig. 6
    eine beispielhafte Bildsequenz eines Soll-Druckbildes 601, eines realen Druckbildes 602 und eines zugehörigen Defektbildes 603;
    Fig. 7
    ein schematisches Diagramm eines Trainings 700 der Klassifikationsschicht zum Erzeugen eines Defekt-Klassifikators gemäß einer Ausführungsform; und
    Fig. 8
    ein schematisches Diagramm eines Verfahrens 800 zur optischen Inspektion eines Druckbildes eines Druckobjekts gemäß einer Ausführungsform.
  • Fig. 1 zeigt ein schematisches Diagramm einer Druckinspektionsvorrichtung 100 zur optischen Inspektion eines Druckbildes 120 eines Druckobjekts gemäß einer Ausführungsform. Dem Druckobjekt ist ein Soll-Druckbild 121 zugeordnet, welches die ideale Abbildung des Druckobjekts darstellt.
  • Die Druckinspektionsvorrichtung 100 umfasst einen Prozessor 110, der ausgebildet ist, für das Druckbild 120 und das Soll-Druckbild 121 jeweils eine Mehrzahl von Rasterzellenbildern 111 basierend auf einer Unterteilung des Druckbildes 120 und des Soll-Druckbilds 121 in Rasterzellen 130 zu bestimmen. Der Prozessor 110 ist ferner ausgebildet, für jede Rasterzelle 130 ein Delta-E Rasterzellenbild 112 basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes 120 und einem Rasterzellenbild des Soll-Druckbildes 121 zu bestimmen. Der Prozessor 110 ist ferner ausgebildet, für jedes Pixel des Delta-E Rasterzellenbildes 112 basierend auf einer pixelspezifischen Schwellenwertfunktion 140 zu bestimmen ob ein Pixeldefekt 113 vorliegt. Dabei beruht die pixelspezifische Schwellenwertfunktion 140 auf einem vorherigen Training 150 einer Datenbasis 160 von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern. Der Prozessor 110 ist ferner ausgebildet, die zuvor bestimmten Pixeldefekte 113 in den jeweiligen Delta-E Rasterzellenbildern 112 zu einem Defektbild 114 zusammenzusetzen, welches einen Überblick über die Pixeldefekte 113 des Druckbildes 120 gibt, und ein Inspektionsergebnis 116 basierend auf einer benutzerspezifischen Klassifikation 115 des Defektbildes 114 auszugeben.
  • Ein Prozessor, wie in dieser Offenbarung beschrieben, ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Maschinen oder elektrische Schaltungen steuert und dabei einen Algorithmus oder Prozess ausführt, was meist Datenverarbeitung beinhaltet. Der Prozessor kann z.B. ein Mikrocontroller oder ein digitaler Signalprozessor oder eine CPU, beispielsweise in einem eingebetteten System sein. Unter dem Begriff Prozessor wird hier sowohl das Bauteil verstanden, d.h. der Halbleiter-Chip als auch die datenverarbeitende Logik-Einheit. Der Begriff Prozessor umfasst auch einen oder eine Mehrzahl von Prozessorkernen, die heutzutage in vielen Prozessor-Chips enthalten sind, wobei jeder Kern für sich eine (weitgehend) eigenständige Logik-Einheit darstellt.
  • Ground-Truth ist ein Begriff, der in der Statistik und im maschinellen Lernen verwendet wird. Dies bedeutet, dass die Ergebnisse des maschinellen Lernens auf ihre Richtigkeit im Vergleich zur realen Welt überprüft werden. Der Begriff stammt aus der Meteorologie, wobei sich "Grundwahrheit" auf Informationen bezieht, die vor Ort erhalten wurden. Der Begriff impliziert eine Art Realitätsprüfung für maschinelle Lernalgorithmen.
  • Delta E, oft als dE oder ΔE geschrieben, ist ein Maß für den empfundenen Farbabstand, das möglichst für alle auftretenden Farben "gleichabständig" ist. Das Delta steht hierbei als Zeichen der Differenz. Damit können Arbeiten, die sich mit Farben befassen, quantifiziert werden.
  • Der L*a*b*-Farbraum (auch: CIELAB) beschreibt alle wahrnehmbaren Farben. Er nutzt einen dreidimensionalen Farbenraum, bei dem der Helligkeitswert L* senkrecht auf der Farbebene (a*, b*) steht. Zu den wichtigsten Eigenschaften des L*a*b*-Farbmodells zählen die Geräteunabhängigkeit und die Wahrnehmungsbezogenheit, das heißt: Farben werden unabhängig von der Art ihrer Erzeugung oder Wiedergabetechnik so definiert, wie sie von einem Normalbeobachter bei einer Standard-Lichtbedingung wahrgenommen werden. Das Farbmodell ist in der EN ISO 11664-4 "Colorimetry -- Part 4: CIE 1976 L*a*b* Colour space" genormt.
  • Der Farbabstand wird normalerweise als Delta E angegeben. In EN ISO 11664-4 wird der Begriff Farbabstand gegenüber dem Begriff Farbdifferenz bevorzugt. Gegenüber Farbunterschied steht er für die quantifizierte Form. Jeder real auftretenden Farbe, auch jeder von einem Gerät abgegebenen oder gemessenen Farbe, lässt sich in einem dreidimensionalen Raum ein Farbort zuordnen. Der Wert von Delta E zwischen den Farborten (L*, a*, b*)p und (L*, a*, b*)q wird nach EN ISO 11664-4 als euklidischer Abstand berechnet.
  • Das Raster 130 kann ein rechteckförmiges oder quadratisches Raster sein, d.h. ein Raster mit rechteckförmigen oder quadratischen Gitterelementen. Alternativ kann jede andere Gitterform genutzt werden, z.B. Hexagon, dreieckförmig, etc.
  • Der Prozessor 110 ist in einer Ausführungsform ausgebildet, die Mehrzahl von Rasterzellenbildern 111 basierend auf farbkalibrierten 255 und aufeinander ausgerichteten 256 Druckbildern 120 und Soll-Druckbildern 121 zu bestimmen.
  • Das Ziel der Farbkalibrierung 255 besteht darin, das Farbverhalten eines Geräts (Eingabe oder Ausgabe) in einem bekannten Zustand zu messen und / oder anzupassen. Die Kalibrierung bezieht sich auf das Herstellen einer bekannten Beziehung zu einem Standardfarbraum. Eingabedaten können von Gerätequellen wie Digitalkameras, Bildscannern oder anderen Messgeräten stammen. Diese Eingänge können entweder monochrom oder in mehrdimensionaler Farbe angegeben werden - am häufigsten im dreikanaligen RGB (Rot/Grün/Blau)-Modell.
  • Der Prozessor 110 kann eine Ausrichtung des Druckbildes relativ zum Soll-Druckbild bestimmen und das Druckbild auf Basis der Ausrichtung drehen. Dadurch wird der Vorteil erreicht, dass eine Ausrichtung des Druckbildes bezüglich des Soll-Druckbildes bzw. der Maskierungsschablone korrigiert werden kann.
  • Der Prozessor 110 kann in einer Ausführungsform ausgebildet sein, die Mehrzahl von Rasterzellenbildern 111 für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen 246 eines Farbraumes 247 zu bestimmen, wie z.B. zu Figur 2 gezeigt.
  • Der Prozessor 110 kann in einer Ausführungsform ausgebildet sein, das Delta-E Rasterzellenbild 112 basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 111 des Druckbildes 120 und dem entsprechenden Rasterzellenbild 111 des Soll-Druckbildes 121 zu bestimmen.
  • Jeder real auftretenden Farbe, auch jeder von einem Gerät abgegebenen oder gemessenen Farbe, lässt sich in einem dreidimensionalen Raum ein Farbort zuordnen. Der Wert von Delta E zwischen den Farborten (L*, a*, b*), und (L*, a*, b*)2 wird nach EN ISO 11664-4 als euklidischer Abstand berechnet: Δ E ab ∗ = L 2 ∗ − L 1 ∗ 2 + a 2 ∗ − a 1 ∗ 2 + b 2 ∗ − b 1 ∗ 2 .
  • In einer Ausführungsform erfolgt das vorhergehende Training 150 der Datenbasis 160 von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren.
  • (Künstliche) neuronale Netze (NNs) basieren meist auf der Vernetzung vieler Neuronen. Die Topologie eines Netzes, d.h. die Zuordnung von Verbindungen zu Knoten muss abhängig von seiner Aufgabe gut durchdacht sein. Nach der Konstruktion eines Netzes folgt die Trainingsphase, in der das Netz "lernt". Ein neuronales Netz durch folgende Methoden lernen: Entwicklung neuer Verbindungen, Löschen existierender Verbindungen, Ändern der Gewichtung (der Gewichte von Neuron zu Neuron), Anpassen der Schwellenwerte der Neuronen, sofern diese Schwellenwerte besitzen, Hinzufügen oder Löschen von Neuronen, Modifikation von Aktivierungs-, Propagierungs- oder Ausgabefunktion. Außerdem verändert sich das Lernverhalten bei Veränderung der Aktivierungsfunktion der Neuronen oder der Lernrate des Netzes. Praktisch gesehen "lernt" ein Netz hauptsächlich durch Modifikation der Gewichte der Neuronen. Dadurch sind NNs in der Lage, komplizierte nichtlineare Funktionen über einen "Lern"-Algorithmus, der durch iterative oder rekursive Vorgehensweise aus vorhandenen Ein- und gewünschten Ausgangswerten alle Parameter der Funktion zu bestimmen versucht, zu erlernen.
  • Eine Support Vector Machine (SVM) dient als Klassifikator und Regressor. Eine Support Vector Machine unterteilt eine Menge von Objekten so in Klassen, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Ausgangsbasis für den Bau einer Support Vector Machine ist eine Menge von Trainingsobjekten, für die jeweils bekannt ist, welcher Klasse sie zugehören. Jedes Objekt wird durch einen Vektor in einem Vektorraum repräsentiert. Aufgabe der Support Vector Machine ist es, in diesen Raum eine Hyperebene einzupassen, die als Trennfläche fungiert und die Trainingsobjekte in zwei Klassen teilt. Der Abstand derjenigen Vektoren, die der Hyperebene am nächsten liegen, wird dabei maximiert. Dieser breite, leere Rand soll später dafür sorgen, dass auch Objekte, die nicht genau den Trainingsobjekten entsprechen, möglichst zuverlässig klassifiziert werden.
  • Das Perzeptron ist ein vereinfachtes künstliches neuronales Netz. Es besteht in der Grundversion (einfaches Perzeptron) aus einem einzelnen künstlichen Neuron mit anpassbaren Gewichtungen und einem Schwellenwert. Unter diesem Begriff werden heute verschiedene Kombinationen des ursprünglichen Modells verstanden, dabei wird zwischen einlagigen und mehrlagigen Perzeptronen (engl. multi-layer perceptron, MLP) unterschieden. Perzeptron-Netze wandeln einen Eingabevektor in einen Ausgabevektor um und stellen damit einen einfachen Assoziativspeicher dar.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 spezifiziert die pixelspezifische Schwellenwertfunktion 140 ein Fragment 224, 611 (wie z.B. in Figur 2 oder Figur 6 dargestellt) in dem Delta-E Rasterzellenbild 112, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes 120 in Bezug auf das Soll-Druckbild 121 basiert, als keinen Pixeldefekt 113. Damit kann vermieden werden, dass Fehlausrichtungen des Druckbildes in Bezug auf das Soll-Druckbild 121 als Druckfehler bzw. Defekt bestimmt werden. Solche Fragmente treten meist in Form von Linien oder Schraffuren auf, insbesondere an Stellen, an denen das Druckbild 120 leicht verschoben ist in Bezug auf das Soll-Druckbild 121.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 spezifiziert die pixelspezifische Schwellenwertfunktion 140 einen zusammenhängenden Bereich 214, 610 von Pixeln in dem Delta-E Rasterzellenbild 112 (z.B. wie in Figur 2 oder Figur 6 dargestellt). Damit werden Fehldruckstellen, die meist eine gewisse Fläche einnehmen, als Druckfehler bzw. Defekte erkannt.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 basiert sowohl das Training 150 der Datenbasis 160 von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation 115 des Defektbildes 114 auf demselben Trainingsvorgang 150. In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 beruht der Trainingsvorgang 150 auf einer Klassifikation einer Datenbasis von Druckbildern (siehe z.B. 401, 411, 421 in Figur 4) gegenüber zugehörigen Sollwert-Druckbildern (siehe z.B. 402, 412, 422 in Figur 4) basierend auf einer subjektiven Fehlererkennung eines Benutzers, wie oben beschrieben.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 ordnet die pixelspezifische Schwellenwertfunktion 140, 505 (siehe auch Figur 5) jedem Farbwert des Delta-E Rasterzellenbildes 112 einen Schwellenwert im Bereich von 0 bis 1 zu. Die pixelspezifische Schwellenwertfunktion 140, 505 kann z.B. eine logistische Funktion, z.B. eine Sigmoid-Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes 503 umfassen.
  • Insbesondere kann die Klassifikation 115 auf folgenden Merkmalen basieren: einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 503 (siehe Figur 5), einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 503, einer Korrelation zwischen Ist-Druckbild und Soll-Druckbild, einem Kontrast des Delta-E Rasterzellenbildes 503, insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund.
  • Die Druckinspektionsvorrichtung 100 kann ferner eine Kamera umfassen, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten. Alternativ kann die Druckinspektionsvorrichtung 100 einen Scanner oder ein Lesegerät umfassen, um das Druckbild einzuscannen oder einzulesen.
  • In einer Ausführungsform ist der Prozessor 110 ausgebildet, als Inspektionsergebnis 116 einen Druckfehler beim Druck des Druckbildes 120 mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals 246 (siehe Fig. 2) des Farbdruckers basiert.
  • Fig. 2 zeigt ein Architekturdiagramm einer Druckinspektionsvorrichtung 200 zur optischen Inspektion eines Druckbildes 250 eines Druckobjekts gemäß einer Ausführungsform. Die Druckinspektionsvorrichtung 200 ist eine spezielle Ausführungsform der oben zu Figur 1 beschriebenen Druckinspektionsvorrichtung 100.
  • Ein Eingangsbild 250 entspricht dem Druckbild 120 aus Figur 1. Das Eingangsbild 250 ist einem Soll-Druckbild 241 eines Modells 240 zugeordnet, welches dem idealen Bild des Druckobjekts entspricht, d.h. dem Bild ohne Druckfehler. In einer Farbkalibrierungsstufe 255 werden Eingangsbild 250 und Soll-Druckbild 241 farblich kalibriert.
  • Wie bereits oben zu Figur 1 beschrieben, besteht das Ziel der Farbkalibrierung 255 darin, das Farbverhalten des Eingangsbildes 250 an das Farbverhalten des Soll-Druckbildes 241 anzupassen. Die Kalibrierung bezieht sich auf das Herstellen einer bekannten Beziehung zu einem Standardfarbraum. Eingänge sind das Eingangsbild 250 und das Soll-Druckbild 241. Diese Eingänge können entweder monochrom oder in mehrdimensionaler Farbe angegeben werden - am häufigsten im dreikanaligen RGB (Rot/Grün/Blau)-Modell. Nach der Farbkalibrierung 255 wird ein farbkalibriertes Eingangsbild 251 erzeugt, z.B. mit Weiß-Abgleich, wie in Fig. 2 dargestellt. Auch das Soll-Druckbild 241 kann als farbkalibriertes Soll-Druckbild dargestellt werden.
  • Nach der Farbkalibrierung 255 werden Soll-Druckbild 241 bzw. farbkalibriertes Soll-Druckbild und farbkalibriertes (Ist)-Druckbild 251 aufeinander ausgerichtet 256. Dabei werden die Bilder zueinander verschoben bzw. gedreht, so dass beide Bilder schließlich aufeinander aufliegend ausgerichtet sind. D.h. der Prozessor 110 rechnet die Positionsdaten beider Bilder entsprechend um, so dass die Positionsdaten aufeinander ausgerichtet sind. Nach der Ausrichtung 256 liegen ein Soll-Druckbild 242 und ein Ist-Druckbild 252 vor, die zueinander bzw. aufeinander ausgerichtet sind.
  • Beide Bilder (Soll-Druckbild 242 und ein Ist-Druckbild 252) werden dann im vorliegenden Farbraum 247, z.B. RGB, in jeweilige Farbkanäle 246 aufgespalten, so dass ein Ist-Druckbild 253 und ein entsprechendes Soll-Druckbild pro Farbkanal 246 erzeugt wird.
  • Über das Druckbild 253 und das zugehörige Soll-Druckbild 242 wird ein Gitter 244 bzw. Raster gelegt, um das Druckbild 253 und das zugehörige Soll-Druckbild 242 in eine Mehrzahl von Rasterzellenbildern 254 aufzuteilen, welche jeweils Teilausschnitte des jeweiligen Druckbildes darstellen. Die Gittergröße ist vorgegeben oder frei wählbar. Über die Gitterschicht kann eine lokale Positionskorrektur 245 vorgenommen werden. Jede Zelle bzw. Rasterzelle des Gitters 244 wird in der Druckinspektionsvorrichtung 200 als eigenständige Schicht 210, 220, 230 behandelt, in Figur 2 sind beispielhaft die drei Schichten 210, 220, 230 dargestellt.
  • Für jede Schicht 210, 220, 230 wird ein Delta E Rasterzellenbild 201 bestimmt anhand eines Vergleichs zwischen Modell und Bild. So kann das Delta-E Rasterzellenbild 215 einer ersten Schicht 210 z.B. basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 214 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 213 des Soll-Druckbildes 242 bestimmt werden. Das Delta E Rasterzellenbild 201 bzw. 215 kann beispielsweise nach der folgenden Formel bestimmt werden: Δ E ab ∗ = L 2 ∗ − L 1 ∗ 2 + a 2 ∗ − a 1 ∗ 2 + b 2 ∗ − b 1 ∗ 2 .
  • Dabei wird der Wert von Delta E als euklidischer Abstand zwischen den Farborten (L*, a*, b*), und (L*, a*, b*)2 berechnet.
  • Entsprechend kann das Delta-E Rasterzellenbild 225 einer zweiten Schicht 220 z.B. basierend auf der Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 224 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 223 des Soll-Druckbildes 242 bestimmt werden. Entsprechend kann das Delta-E Rasterzellenbild 235 einer n-ten Schicht 230 z.B. basierend auf der Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 234 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 233 des Soll-Druckbildes 242 bestimmt werden.
  • Für jede Schicht 210, 220, 230 wird eine Datenbasis anhand einer Aktivierungsfunktion 202 pro Pixel trainiert. Die Aktivierungsfunktion 202 kann z.B. auf dem folgenden Zusammenhang basieren: P p l = D = 1 1 + e p i − μ σ wobei pl eine Wahrscheinlichkeitsgröße angibt, µ deren Mittelwert und σ deren Varianz. Die Wahrscheinlichkeitsverteilung ist folglich durch eine Sigmoidfunktion charakterisiert.
  • Es folgt eine Klassifikation in einer Klassifikationsschicht 203 einer Trainingsdatenbank, z.B. der Trainingsdatenbank 160 mit Delta-E und Ground-Truth Bildern, wie in Figur 1 beschrieben, um eine Detektion auf einen Fehler bzw. auf keinen Fehler vorzunehmen.
  • Für jede Schicht 210, 220, 230 werden so Zusammenhangskomponenten im Delta E Rasterzellenbild 201 detektiert und als fehlerhaft oder nicht fehlerhaft klassifiziert. So wird z.B. eine Zusammenhangskomponente 216 des Delta E Rasterzellenbilds 215 der ersten Schicht 210 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 217 des Delta E Rasterzellenbildes 215 der ersten Schicht 210 als fehlerhaft klassifiziert.
  • Für die zweite Schicht 220 wird eine Zusammenhangskomponente 226 des Delta E Rasterzellenbildes 225 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 227 des Delta E Rasterzellenbildes 225 als nicht fehlerhaft klassifiziert.
  • Für die n-te Schicht 230 wird eine Zusammenhangskomponente 236 des Delta E Rasterzellenbilds 235 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 237 des Delta E Rasterzellenbildes 235 als fehlerhaft klassifiziert.
  • Wie oben zu Figur 1 beschrieben, kann eine pixelspezifische Schwellenwertfunktion so z.B. ein Fragment 224 in dem Delta-E Rasterzellenbild 201, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes 250 in Bezug auf das Soll-Druckbild 242 basiert, als keinen Pixeldefekt klassifizieren. Damit kann vermieden werden, dass Fehlausrichtungen des Druckbildes 250 in Bezug auf das Soll-Druckbild 242 als Druckfehler bzw. Defekt bestimmt werden. Solche Fragmente treten meist in Form von Linien oder Schraffuren auf, insbesondere an Stellen, an denen das Druckbild 120 leicht verschoben ist in Bezug auf das Soll-Druckbild 121. Ferner kann die pixelspezifische Schwellenwertfunktion einen zusammenhängenden Bereich 214 von Pixeln in dem Delta-E Rasterzellenbild 215, der eine vorgegebene Größe bzw. Ausdehnung überschreitet, als Pixeldefekt klassifizieren. Damit werden Fehldruckstellen, die meist eine gewisse Fläche einnehmen, als Druckfehler bzw. Defekte erkannt.
  • Beim Training werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren.
  • Die Aktivierungsfunktion 202, auch als pixelspezifische Schwellenwertfunktion bezeichnet, kann dabei auf folgenden Merkmalen basieren: einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 215, 225, 235, einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 215, 225, 235, einer Korrelation zwischen Farbkanälen 246 des Delta-E Rasterzellenbildes 215, 225, 235, einem Kontrast des Delta-E Rasterzellenbildes 215, 225, 235, insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund. Zur Feststellung der Streifigkeit in horizontaler Richtung wird zusätzlich als Merkmal die Anzahl der Defektpixel pro Zeile in Betracht gezogen. Analog werden für die vertikale Streifigkeit Spalten betrachtet.
  • Aus den so bestimmten Defekten 212, 232 bzw. Nicht-Defekten 211, 221, 222, 231 wird ein Fehlerbild 204 erzeugt, welches dem Betrachter einen Überblick über Druckfehler im Druckbild gibt.
  • Schließlich folgt eine kundenspezifische Klassifizierung, in der aus dem Fehlerbild 204 ein Inspektionsergebnis 206 abgeleitet wird.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 200 basiert sowohl das Training der Klassifizierungsschicht 203 mit Aktivierungsfunktion anhand einer Datenbasis als auch die kundenspezifische Klassifizierung 205 des Defektbildes 204 auf demselben Trainingsvorgang 150, wie z.B. oben zu Figur 1 beschrieben. In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren, so dass die Druckinspektionsvorrichtung 200 eine höhere Fehlererkennungsrate aufweist.
  • Die Druckinspektionsvorrichtung 200 wurde mit verschiedenen Datensätzen von Portrait-Bildern getestet. Ein erster Datensatz wies 72 Portrait-Bildern auf, wobei 64 Bilder Farbpunkte innerhalb des Portraits hatten und 8 Bilder frei von Druckfehlern waren. Ein zweiter Datensatz wies 600 Portrait-Bilder auf, wobei 480 Bilder Farbpunkte innerhalb des Portraits hatten, 117 Bilder Streifen hatten und nur 3 Bilder frei von Druckfehlern waren. Jedes Bild hatte dabei nur einen Druckfehler und zwar in einem Farbkanal. Im Testdatensatz wurden die Druckfehler über die einzelnen Farbkanäle variiert.
  • Die Farbpunkte hatten bei beiden Datensätzen dabei Flächen von 0,4 mm2, 0,5 mm2 und 0,6 mm2. Dabei wurden Nebenfehler, d.h. Druckfehler der Fläche 0,4 mm2, mit einer Detektionsrate von 85,53 % erkannt und kritische Fehler, d.h. Druckfehler der Flächen 0,5 mm2 und 0,6 mm2, mit einer Detektionsrate von 98,39 % erkannt.
  • Fig. 3 zeigt zwei Druckbilder 301, 302 einer weiblichen Person, bei denen jeweils ein durch einen Drucker verursachter Druckfehler auftritt. In dem Druckbild 301 ist ein Druckfehler an der Stelle 311, d.h. im Bereich der rechten Wange, durch manuelle Inspektion erkannt worden. In dem Druckbild 302 sind Druckfehler an den Stellen 312 und 313, d.h. helle horizontal verlaufende Streifen im Gesichtsbereich, durch manuelle Inspektion erkannt worden.
  • Bei den Druckfehlern handelt es sich jeweils um Druckfehler einer zweiten Klasse, welche aufgrund eines Fehlverhaltens des Druckers entstehen und sich als farbige Punkte oder Streifen bemerkbar machen. In diesem Fall fehlt entweder ein Farbkanal ganz oder ein Farbkanal druckt obwohl er nicht drucken sollte. Diese Klasse von Defekten kann genauer spezifiziert werden. Druckfehler der zweiten Klasse unterscheiden sich von Druckfehlern einer ersten Klasse, bei denen es sich um Anomalien handelt, wie z.B. Kratzer, Schmutz, etc. Druckfehler dieser ersten Klasse können nicht weiter spezifiziert werden.
  • Druckfehler der ersten Klasse können mittels statistischer Anomalie-Detektion erkannt werden, während Druckfehler der zweiten Klasse dazu genutzt werden können, um einen Klassifikator zu trainieren, wie oben zu den Figuren 1 und 2 beschrieben, der diese Defekte dann detektieren kann.
  • Fig. 4 zeigt drei beispielhafte Serien von Rasterzellenbildern, jeweils mit Eingang 401, 411, 421, Modell 402, 412, 422 bzw. Sollwert und manuell spezifiziertem Ground-Truth 403, 413, 423.
  • In der ersten Serie mit dem Ist-Rasterzellenbild 401, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 402, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 403, ist der Druckfehler im Ist-Rasterzellenbild 401, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 401 einnimmt, sehr ausgeprägt und kann daher manuell von einem Benutzer leicht erkannt werden. Der Benutzer kann damit das Ground-Truth Rasterzellenbild 403 kennzeichnen bzw. labeln. Weiße Flächen im Ground-Truth Rasterzellenbild 403 stellen Flächen mit hohem Vertrauenslevel dar, während schwarze Flächen solche mit niedrigem Vertrauenslevel darstellen. Der Vertrauenslevel im Ground-Truth Rasterzellenbild 403 ist skaliert von 0 bis 240, wobei 0 den schwarzen Bereich mit niedrigem Vertrauenslevel und 240 den weißen Bereich mit hohem Vertrauenslevel darstellt. Auch wenn im Ground-Truth Rasterzellenbild 403 keine grauen Bereiche erkennbar sind, kann der Benutzer auch Vertrauenslevel zwischen 0 und 240 (d.h. Grau-Abstufungen von dunkelgrau bis hellgrau) labeln.
  • In der zweiten Serie mit dem Ist-Rasterzellenbild 411, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 412, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 413, ist der Druckfehler im Ist-Rasterzellenbild 411, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 411 einnimmt, nur wenig ausgeprägt und kann daher manuell von dem Benutzer nur schwer nach intensiver Prüfung erkannt werden. Nach genauer Inspektion des Benutzers kann er damit das Ground-Truth Rasterzellenbild 413 kennzeichnen bzw. labeln. Aufgrund der sorgfältigen Prüfung des Benutzers entspricht das Ground-Truth Rasterzellenbild 413 in etwa dem das Ground-Truth Rasterzellenbild 403 aus der ersten Serie, d.h. trotz der schlechteren Eingangsdaten 411, ist das Ergebnis das gleiche.
  • In der dritten Serie mit dem Ist-Rasterzellenbild 421, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 422, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 423, ist der Druckfehler im Ist-Rasterzellenbild 421, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 421 einnimmt, auch nur wenig ausgeprägt und kann daher manuell von dem Benutzer nur schwer nach intensiver Prüfung erkannt werden. Während die zweite Serie einen Hellgraufehler in einem Hellgraubild aufweist, weist die dritte Serie einen Dunkelgraufehler in einem Dunkelgraubild auf. Auch hier muss der Benutzer das Bild genau inspizieren, um danach das Ground-Truth Rasterzellenbild 423 labeln zu können. Auch hier entspricht das Ground-Truth Rasterzellenbild 423 aufgrund der sorgfältigen Prüfung des Benutzers in etwa dem Ground-Truth Rasterzellenbild 403 aus der ersten Serie, d.h. trotz der schlechteren Eingangsdaten 421, ist das Ergebnis das gleiche.
  • Fig. 5 zeigt ein schematisches Diagramm eines pixelbezogenen Trainings 500 eines Delta E Rasterzellenbildes gemäß einer Ausführungsform.
  • Aus dem Eingangsbild, d.h. dem Ist-Rasterzellenbild 502, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, und dem Modell 501, welches den Sollwert für das Rasterzellenbild darstellt, wird das Delta E Rasterzellenbild 503 bestimmt, wie oben zu den Figuren 1 und 2 beschrieben. Das Ground-Truth Rasterzellenbild 504, welches aus einem vorherigen Labeling-Prozess wie oben zu Figur 4 beschrieben ist, zur Verfügung steht, wird zusammen mit dem Delta E Rasterzellenbild 503 als Eingangsgrößen für das Training 507 genutzt, um eine Schwellenwertfunktion 505 zu trainieren, auf Basis welcher eine optimale Schwelle 506 bestimmt werden kann.
  • Dabei wird eine Helligkeitsskala im Delta E Rasterzellenbild 503, welche von 0 (schwarz) bis 48 (weiß) reicht in Form einer Schwellenwertfunktion 505 dargestellt. Helligkeitswerte von 0 bis etwa 25 werden mit dem Schwellenwert 1 gewichtet, was einem hohen Vertrauenslevel entspricht. Helligkeitswerte von etwa 30 bis 50 werden mit dem Schwellenwert 0 gewichtet, was einem niedrigen Vertrauenslevel entspricht. Dazwischen, d.h. von etwa 25 bis etwa 30 fällt die Schwelle monoton von 1 auf 0. Solche Werte entsprechen einem mittlerem Vertrauenslevel, welcher sich im Grenzbereich zwischen einem Bereich, der als Druckfehler und einem Bereich der als kein Druckfehler erkannt wird, einstellt.
  • Der optimale Schwellenwert 506 liegt somit im Bereich zwischen 25 bis 30, z.B. bei 27 oder 28.
  • Fig. 6 zeigt eine beispielhafte Bildsequenz eines Soll-Druckbildes 601, eines realen Druckbildes 602 und eines zugehörigen Defektbildes 603.
  • Das Soll-Druckbild 601 stellt ein Portrait einer weiblichen Person dar. Im realen Druckbild 602 ist auf der rechten Wange der Person ein farblicher Fleck bzw. Punkt zu erkennen, der einen Druckfehler darstellt. Im zugehörigen Defektbild 603, das beispielsweise dem zu Figur 1 beschriebenen Defektbild 114 entspricht oder auch dem zu Figur 2 beschriebenen Fehlerbild 204, sind zwei verschiedene Arten von Druckfehlern zu erkennen. Zum einen wird der oben besagte farbliche Fleck bzw. Punkt 610 als Druckfehler erkannt, zum anderen werden Striche bzw. Schraffierungen 611 im Bereich des Haaransatzes als Druckfehler erkannt, welche aufgrund einer nicht exakten Ausrichtung der beiden Bilder 601, 602 zueinander entstanden sein können.
  • Mit Hilfe der oben zu den Figuren 1 und 2 beschriebenen kundenspezifischen Klassifizierung 115, 205 können die Striche bzw. Schraffierungen 611 als Druckfehler ausgeschlossen werden, so dass nur der farbliche Fleck bzw. Punkt 610 als Druckfehler erkannt wird.
  • Fig. 7 zeigt ein schematisches Diagramm eines Trainings 700 der Klassifikationsschicht zum Erzeugen eines Defekt-Klassifikators gemäß einer Ausführungsform.
  • Links in der Figur sind reale Defekte 701 dargestellt, während auf der rechten Seite Pseudo-Defekte 702 illustriert sind. Bei den realen Defekten 701 handelt es sich um farbliche Flecken oder Punkte, während es sich bei den Pseudo-Defekten 702 um Striche oder Schraffuren handelt, welche üblicherweise aufgrund einer Fehlausrichtung von Ist-Bild zu Soll-Bild entstehen. Beim Training der Klassifikationsschicht 703, z.B. mit den oben zu Figur 2 beschriebenen Verfahren wie NN, MLP, SVM, etc. wird der Defekt-Klassifikator bestimmt, welcher eine Unterscheidung der beiden Arten von Defekten 701 und 702 bewirken kann. Mit diesem Defekt-Klassifikator 704 ist es dann möglich, nur die Flecken 610 im Defektbild 603 der Figur 6 als Druckfehler zu klassifizieren, nicht jedoch die Streifen 611 bzw. Schraffuren.
  • Fig. 8 zeigt ein schematisches Diagramm eines Verfahrens 800 zur optischen Inspektion eines Druckbildes eines Druckobjekts gemäß einer Ausführungsform. Wie oben zu Figur 1 beschrieben, ist dem Druckobjekt ein Soll-Druckbild 121 zugeordnet. Das Verfahren führt die Schritte des Prozessors 110 aus, welche oben zu Figur 1 und Figur 2 näher beschrieben wurden.
  • Das Verfahren 800 umfasst ein Bestimmen 801 einer jeweiligen Mehrzahl von Rasterzellenbildern 111 für das Druckbild 120 und das Soll-Druckbild 121 basierend auf einer Unterteilung des Druckbildes und des Soll-Druckbilds in Rasterzellen 130, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
  • Das Verfahren 800 umfasst ein Bestimmen 802 eines Delta-E Rasterzellenbildes 112 für jede Rasterzelle 130 basierend auf einem Farbabstand zwischen einem Rasterzellenbild 111 des Druckbildes 120 und einem Rasterzellenbild 111 des Soll-Druckbildes 121, wie z.B. oben zu den Figuren 1 und 2 beschrieben
  • Das Verfahren 800 umfasst ein Bestimmen 803 für jedes Pixel des Delta-E Rasterzellenbildes 112, basierend auf einer pixelspezifischen Schwellenwertfunktion 140, ob ein Pixeldefekt 113 vorliegt, wobei die pixelspezifische Schwellenwertfunktion 140 auf einem vorherigen Training 150 einer Datenbasis 160 von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Rasterzellenbildern beruht, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
  • Das Verfahren umfasst ein Zusammensetzen 804 der zuvor bestimmten Pixeldefekte 113 in den jeweiligen Delta-E Rasterzellenbildern 112 zu einem Defektbild 114, welches einen Überblick über die Pixeldefekte 113 des Druckbildes 120 gibt, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
  • Ferner umfasst das Verfahren 800 ein Ausgeben 805 eines Inspektionsergebnisses 116 basierend auf einer benutzerspezifischen Klassifikation 115 des Defektbildes 114, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
    • BEZUGSZEICHENLISTE
    • 100
    Druckinspektionsvorrichtung
    110
    Prozessor
    111
    Rasterzellenbilder
    112
    Delta-E Rasterzellenbilder
    113
    Pixeldefekte
    114
    Defektbild
    115
    (kundenspezifische) Klassifikation
    116
    Inspektionsergebnis
    120
    Druckbild
    121
    Soll-Druckbild
    130
    Raster
    140
    Schwellenwertfunktion
    150
    Training
    160
    Datenbasis mit Delta-E Bildern und Ground-Truth Bildern
    170
    Benutzer
    200
    Druckinspektionsvorrichtung
    201
    Delta E Rasterzellenbild
    202
    Aktivierungsfunktion pro Pixel
    203
    Klassifizierungsschicht
    204
    Fehlerbild
    205
    kundenspezifische Klassifizierung
    206
    Inspektionsergebnis
    210
    erste Schicht
    211
    erster Zweig der ersten Schicht mit keinem Defekt
    212
    zweiter Zweig der ersten Schicht mit Defekt
    213
    Rasterzellenbild des Soll-Druckbildes (erste Schicht)
    214
    Rasterzellenbild des (Ist)-Druckbildes (erste Schicht)
    215
    Delta E Rasterzellenbild (erste Schicht)
    216
    Zusammenhangskomponente
    217
    Zusammenhangskomponente
    220
    zweite Schicht
    221
    erster Zweig der zweiten Schicht mit keinem Defekt
    222
    zweiter Zweig der zweiten Schicht mit keinem Defekt
    223
    Rasterzellenbild des Soll-Druckbildes (zweite Schicht)
    224
    Rasterzellenbild des (Ist)-Druckbildes (zweite Schicht)
    225
    Delta E Rasterzellenbild (zweite Schicht)
    226
    Zusammenhangskomponente
    227
    Zusammenhangskomponente
    230
    n-te Schicht
    231
    erster Zweig der n-ten Schicht mit keinem Defekt
    232
    zweiter Zweig der n-ten Schicht mit Defekt
    233
    Rasterzellenbild des Soll-Druckbildes (n-te Schicht)
    234
    Rasterzellenbild des (Ist)-Druckbildes (n-te Schicht)
    235
    Delta E Rasterzellenbild (n-te Schicht)
    236
    Zusammenhangskomponente
    237
    Zusammenhangskomponente
    240
    Modell
    241
    Soll-Druckbild
    242
    Soll-Druckbild nach Farbkalibrierung
    243
    Unterteilung des Soll-Druckbildes in Rasterzellen
    244
    Gitter bzw. Raster
    245
    Gitterschicht, lokale Positionskorrektur
    246
    Farbkanäle
    247
    Farbraum, hier RGB
    250
    Eingangsbild bzw. (Ist) Druckbild
    251
    Eingangsbild nach Weiss-Abgleich
    252
    Eingangsbild nach Ausrichtung gegenüber Soll-Druckbild
    253
    Eingangsbild nach Farbkanalaufspaltung
    254
    Eingangsbild nach Gitterzellenaufspaltung
    255
    Farbkalibrierung
    256
    Ausrichtung (Eingangsbild bzgl. Soll-Druckbild)
    301
    erstes Bild
    302
    zweites Bild
    311
    Stelle mit Druckfehler im ersten Bild
    312
    Stelle mit Druckfehler im zweiten Bild
    313
    Stelle mit Druckfehler im zweiten Bild
    401
    Ist-Rasterzellenbild der ersten Serie
    402
    Modell der ersten Serie
    403
    Ground-Truth Rasterzellenbild der ersten Serie
    411
    Ist-Rasterzellenbild der zweiten Serie
    412
    Modell der zweiten Serie
    413
    Ground-Truth Rasterzellenbild der zweiten Serie
    421
    Ist-Rasterzellenbild der dritten Serie
    422
    Modell der dritten Serie
    423
    Ground-Truth Rasterzellenbild der dritten Serie
    500
    Training eines Delta E Rasterzellenbildes
    501
    Modell, d.h. Sollwert Rasterzellenbild
    502
    Eingang, d.h. Istwert Rasterzellenbild
    503
    Delta E Rasterzellenbild
    504
    Ground-Truth Rasterzellenbild
    505
    Schwellenwertfunktion
    506
    optimale Schwelle
    507
    Training
    601
    Soll-Druckbild
    602
    (Ist)-Druckbild
    603
    Defektbild bzw. Fehlerbild
    610
    Druckfehler als farblicher Fleck bzw. Punkt
    611
    Druckfehler als Striche bzw. Schraffierungen
    700
    Training der Klassifikationsschicht
    701
    Reale Defekte
    702
    Pseudo-Defekte
    703
    Klassifikationsschicht
    704
    Defekt-Klassifikator
    800
    Verfahren zur optischen Inspektion eines Druckbildes
    801
    erster Verfahrensschritt
    802
    zweiter Verfahrensschritt
    803
    dritter Verfahrensschritt
    804
    vierter Verfahrensschritt
    805
    fünfter Verfahrensschritt

Claims (15)

  1. Druckinspektionsvorrichtung (100, 200) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit:
    einem Prozessor (110), der ausgebildet und konfiguriert ist,
    für das Druckbild (120) und das Soll-Druckbild (121) jeweils eine Mehrzahl von Rasterzellenbildern (111) basierend auf einer Unterteilung des Druckbilds (120) und des Soll-Druckbilds (121) in Rasterzellen (130) zu bestimmen;
    für jede Rasterzelle (130) ein Delta-E Rasterzellenbild (112) basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes (120) und einem Rasterzellenbild des Soll-Druckbildes (121) zu bestimmen;
    für jedes Pixel des Delta-E Rasterzellenbildes (112) basierend auf einer pixelspezifischen Schwellenwertfunktion (140) zu bestimmen ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht;
    die zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114) zusammenzusetzen, welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; und
    ein Inspektionsergebnis (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114) auszugeben.
  2. Druckinspektionsvorrichtung (100, 200) nach Anspruch 1,
    wobei der Prozessor (110) ausgebildet ist, die Mehrzahl von Rasterzellenbildern (111) basierend auf farbkalibrierten (255) und aufeinander ausgerichteten (256) Druckbildern (120) und Soll-Druckbildern (121) zu bestimmen.
  3. Druckinspektionsvorrichtung (100, 200) nach Anspruch 1 oder 2,
    wobei der Prozessor (110) ausgebildet ist, die Mehrzahl von Rasterzellenbildern (111) für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen (246) eines Farbraumes (247) zu bestimmen.
  4. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei der Prozessor (110) ausgebildet ist, das Delta-E Rasterzellenbild (112) basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild (111) des Druckbildes (120) und dem entsprechenden Rasterzellenbild (111) des Soll-Druckbildes (121) zu bestimmen.
  5. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei das vorhergehende Training (150) der Datenbasis (160) von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren erfolgt.
  6. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei die pixelspezifische Schwellenwertfunktion (140) ein Fragment (224, 611) in dem Delta-E Rasterzellenbild (112), welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes (120) in Bezug auf das Soll-Druckbild (121) basiert, als keinen Pixeldefekt (113) spezifiziert.
  7. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei die pixelspezifische Schwellenwertfunktion (140) einen zusammenhängenden Bereich (214, 610) von Pixeln in dem Delta-E Rasterzellenbild (112), der eine vorgegebene Größe überschreitet, als Pixeldefekt (113) spezifiziert.
  8. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei sowohl das Training (150) der Datenbasis (160) von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation (115) des Defektbildes (114) auf demselben Trainingsvorgang (150) basieren.
  9. Druckinspektionsvorrichtung (100, 200) nach Anspruch 8,
    wobei der Trainingsvorgang (150) auf einer Klassifikation einer Datenbasis von Druckbildern (401, 411, 421) gegenüber zugehörigen Sollwert-Druckbildern (402, 412, 422) basierend auf einer subjektiven Fehlererkennung eines Benutzers beruht.
  10. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei die pixelspezifische Schwellenwertfunktion (140, 505) jedem Grauwert des Delta-E Rasterzellenbildes (112) einen Binärwert 0 oder 1 zuordnet.
  11. Druckinspektionsvorrichtung (100, 200) nach Anspruch 10,
    wobei die pixelspezifische Schwellenwertfunktion (140, 505) eine logistische Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes (503) umfasst.
  12. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche, wobei die Klassifikation (115) des Defektbildes (114) auf folgenden Merkmalen basiert:
    einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes (503),
    einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes (503),
    einer Korrelation zwischen Ist-Druckbild (120) und Soll-Druckbild (121),
    einem Kontrast des Delta-E Rasterzellenbildes (503), insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund.
  13. Druckinspektionsvorrichtung nach einem der vorstehenden Ansprüche, mit:
    einer Kamera, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten.
  14. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei der Prozessor (110) ausgebildet ist, als Inspektionsergebnis (116) einen Druckfehler beim Druck des Druckbildes (120) mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals (246) des Farbdruckers basiert.
  15. Verfahren (800) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit folgenden Schritten:
    Bestimmen (801) einer jeweiligen Mehrzahl von Rasterzellenbildern (111) für das Druckbild (120) und das Soll-Druckbild (121) basierend auf einer Unterteilung des Druckbildes und des Soll-Druckbilds in Rasterzellen (130);
    Bestimmen (802) eines Delta-E Rasterzellenbildes (112) für jede Rasterzelle (130) basierend auf einem Farbabstand zwischen einem Rasterzellenbild (111) des Druckbildes (120) und einem Rasterzellenbild (111) des Soll-Druckbildes (121);
    Bestimmen (803) für jedes Pixel des Delta-E Rasterzellenbildes (112), basierend auf einer pixelspezifischen Schwellenwertfunktion (140), ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Rasterzellenbildern beruht;
    Zusammensetzen (804) der zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114), welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; und
    Ausgeben (805) eines Inspektionsergebnisses (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114).
EP20188815.3A 2019-08-02 2020-07-31 Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts Active EP3771564B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019120938.2A DE102019120938B4 (de) 2019-08-02 2019-08-02 Druckinspektionsvorrichtung und Verfahren zur optischen Inspektion eines Druckbildes eines Druckobjekts

Publications (2)

Publication Number Publication Date
EP3771564A1 EP3771564A1 (de) 2021-02-03
EP3771564B1 true EP3771564B1 (de) 2025-09-03

Family

ID=71899531

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20188815.3A Active EP3771564B1 (de) 2019-08-02 2020-07-31 Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts

Country Status (2)

Country Link
EP (1) EP3771564B1 (de)
DE (1) DE102019120938B4 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6024018A (en) 1997-04-03 2000-02-15 Intex Israel Technologies Corp., Ltd On press color control system
EP1384580A1 (de) * 2002-07-27 2004-01-28 serv-o-tec Druck- und Papierverarbeitungsmaschinen GmbH Verfahren sowie Vorrichtung zur Einstellung der Register einer Druckmaschine
DE10261221A1 (de) * 2002-12-20 2004-07-15 Océ Document Technologies GmbH Verfahren und Vorrichtung zur Echtzeitkontrolle von Druckbildern
DE10314071B3 (de) 2003-03-28 2004-09-30 Koenig & Bauer Ag Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
JP6487866B2 (ja) 2016-03-09 2019-03-20 富士フイルム株式会社 印刷結果検査装置、方法およびプログラム
DE102017116882B4 (de) 2017-07-26 2020-01-09 Bundesdruckerei Gmbh Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts

Also Published As

Publication number Publication date
DE102019120938A1 (de) 2021-02-04
DE102019120938B4 (de) 2023-12-21
EP3771564A1 (de) 2021-02-03

Similar Documents

Publication Publication Date Title
DE10314071B3 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
DE69403574T2 (de) Automatische Inspektion von Druckplatten oder Zylindern
DE69125700T2 (de) Benutzeraktive verminderung von farbgleichgewichtsfehlern
EP3948688B1 (de) Training für künstliche neuronale netzwerke mit besserer ausnutzung der lern-datensätze
EP2787485B1 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
DE10221318A1 (de) Verfahren zur Farbvariationskorrektur und Defekterkennung für Wafer
DE102020102853A1 (de) Fehlerprüfvorrichtung und -verfahren
EP1578609B1 (de) Verfahren und vorrichtung zur echzeitkontrolle von druckbildern
EP3771564B1 (de) Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts
EP3948649B1 (de) Maskierung von in einem bild enthaltenen objekten
EP4432137B1 (de) Verfahren zum betreiben einer kabelverarbeitungsvorrichtung, kabelverarbeitungsvorrichtung, auswerte und/oder steuereinrichtung für eine kabelverarbeitungsvorrichtung und maschinenlesbarer programmcode
EP3435056B1 (de) Druckinspektionsvorrichtung zur optischen inspektion eines druckbildes eines druckobjekts
EP1139285B1 (de) Verfahren und Vorrichtung zur Prüfung bzw. Untersuchung von Gegenständen
DE102021130505B4 (de) Verfahren zur Bestimmung einer Beleuchtungsfarbe, Bildverarbeitungsvorrichtung und Aufnahmesystem
DE102008033171A1 (de) Verfahren und Vorrichtung zur Inline-Qualitätssicherung an Druckmaschinen
DE102024117721B3 (de) Arbeits- und Trainings-Verfahren für ein künstliches neuronales Generatornetzwerk für das Bestimmen eines Untersuchungsbereiches einer Materialoberfläche
EP1741060A2 (de) Verfahren zum vergleich eines bildes mit mindestens einem referenzbild
EP4205091B1 (de) Vorrichtung zum erzeugen einer digitalen kennung von einem mindestens ein druckbild aufweisenden exemplar eines druckerzeugnisses, smartphone oder tablet mit dieser vorrichtung und verfahren zur verwendung dieser vorrichtung
EP4205027B1 (de) Verfahren zur bestimmung der speicherfunktionalität einer speicherfolie für röntgenbilder
DE202004020463U1 (de) Systeme zur Beurteilung einer Qualität einer von einer Druckmaschine produzierten Drucksache
DE102022212818A1 (de) Verfahren zum Erzeugen von zusätzlichen Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Erkennen von Anomalien in Bilddaten
DE19917899A1 (de) Verfahren zur Fehlererkennung und Fehlerbewertung
DE69708455T2 (de) Vorrichtung und Verfahren für optische Zeichenablesung
EP4604055A1 (de) Verfahren und prüfsystem zum erkennen von fehlstellen in linienförmigen elementen
DE102021204343A1 (de) Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210730

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220202

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20250319

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020011790

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20251203

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20251204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20251203

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20260103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20260105

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250903