WO2019229151A2 - Verfahren zum scannen von teilbereichen einer probe mittels eines rastermikroskops, computerprogrammprodukt, computerlesbares medium und system zum scannen von teilbereichen einer probe mittels eines rastermikroskops - Google Patents

Verfahren zum scannen von teilbereichen einer probe mittels eines rastermikroskops, computerprogrammprodukt, computerlesbares medium und system zum scannen von teilbereichen einer probe mittels eines rastermikroskops Download PDF

Info

Publication number
WO2019229151A2
WO2019229151A2 PCT/EP2019/064023 EP2019064023W WO2019229151A2 WO 2019229151 A2 WO2019229151 A2 WO 2019229151A2 EP 2019064023 W EP2019064023 W EP 2019064023W WO 2019229151 A2 WO2019229151 A2 WO 2019229151A2
Authority
WO
WIPO (PCT)
Prior art keywords
sample
portions
machine learning
learning system
scanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2019/064023
Other languages
English (en)
French (fr)
Other versions
WO2019229151A3 (de
Inventor
Daniel Haase
Manuel AMTHOR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to US17/059,343 priority Critical patent/US12235428B2/en
Publication of WO2019229151A2 publication Critical patent/WO2019229151A2/de
Publication of WO2019229151A3 publication Critical patent/WO2019229151A3/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/226—Image reconstruction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube

Definitions

  • the invention relates to a plurality of methods for scanning portions of a sample by means of a scanning microscope, a plurality of computer program products, a plurality of computer readable media, a plurality of systems for scanning portions of a sample by means of a scanning microscope, a plurality of methods for detecting portions of a sample by means of a microscope and a plurality of systems for detecting of subregions of a sample.
  • FIG. 7 shows such a line-by-line complete scan of a sample T comprising four elements 5'-8 'with the sample T on a support according to the prior art.
  • the complete scan of the sample T then gives an overall picture of the sample.
  • the spacing of the line-shaped subareas is exaggerated in FIG. 7 for reasons of illustration. The distance of the lines is in reality significantly less or almost zero, since the sample T is completely scanned.
  • a scan pattern specifies which portions of the sample are scanned, and the complete image is subsequently reconstructed from the data of the scanned portions of the sample (so-called “compressed sensing”). This increases the
  • Disclosure of the invention is based on the object, a method or a
  • Device or show a system by means of which or for a scanning microscope to be automatically scanned portions of the sample can be determined and the overall image of the sample from the scanned portions of the sample can be reconstructed.
  • the object is achieved by a first method for scanning partial regions of a sample by means of a scanning microscope, in particular by means of a laser scanning microscope or by means of a scanning electron microscope, and for reconstructing an overall image of the sample from data of the scanned partial regions of the sample comprising the steps of: determining, by means of a machine, the partial regions of the sample which are scanned by the scanning microscope, in particular the partial regions of the sample and the sequence of scanning of the partial regions of the sample
  • unsupervised learning in particular based on an auto-encoder, and / or encouraging learning to better determine the portions of the sample being scanned by the scanning microscope; - Scanning the specific portions of the sample by means of the scanning microscope; and - reconstructing the overall image of the sample from the data of the scanned portions of the sample, wherein non-scanned portions of the sample are estimated using the data of the scanned portions of the sample.
  • An advantage of this is that the portions of the sample scanned by the scanning microscope are automatically determined by a trained machine learning system.
  • the trained machine learning system produces particularly efficient scan patterns, i. which parts of the sample are scanned are quickly and technically easily determined. For example, the extra-efficient scanning patterns may require a very precise or accurate scan time
  • the object is also achieved by a second method for scanning
  • Subareas of a sample by means of a scanning microscope in particular by means of a laser scanning microscope or by means of a scanning electron microscope, and to
  • Reconstructing an overall image of the sample from data of the scanned portions of the sample comprising the steps of: determining the portions of the sample which are scanned by the scanning microscope, in particular the portions of the sample and the order of the sample Scanning the portions of the sample; - Scanning the portions of the sample by means of the scanning microscope; Inputting the data of the scanned portions into a machine learning system; and - reconstructing the overall image of the sample from the data of the scanned portions of the sample by means of the machine learning system, wherein non-scanned portions of the sample are estimated by the machine learning system using the data of the scanned portions of the sample, the machine learning system using supervised learning, unmonitored learning, in particular based on an auto-encoder, and / or reinforcing learning for improved reconstruction of the reconstructed overall image of the sample from the data of the scanned portions of the sample.
  • the overall image of the sample is automatically reconstructed using a trained machine learning system.
  • the trained machine learning system quickly and technically determines the reconstructed overall picture.
  • the reconstructed overall image is determined very precisely by the machine learning system, i. corresponds as well as possible to a total scan or complete scan of the sample. In this method, after the training that has taken place, no human or manual intervention by a user or human is needed.
  • the object is also achieved by a computer program product having instructions readable by a processor of a computer which, when used by the computer Processor, cause the processor to perform the above method.
  • the object is also achieved by a computer-readable medium on which the computer program product is stored.
  • the object is also achieved by a system for scanning partial regions of a sample by means of a scanning microscope, in particular by means of a laser scanning microscope or by means of a scanning electron microscope, and to reconstruct an overall image of the sample from data of the scanned portions of the sample for estimating non-scanned portions of the sample by means of the data of the scanned portions of the sample, the system comprising a machine learning system using supervised learning, unsupervised learning,
  • An advantage of this is that the portions of the sample scanned by the scanning microscope can be automatically determined by a trained machine learning system.
  • the trained machine learning system becomes particularly efficient
  • Scan pattern i. which parts of the sample are scanned are quickly and technically easily determined.
  • the particularly efficient scanning patterns may require a very short time required for scanning, due to a particularly accurate reconstruction of the overall image of the sample, a particularly small one
  • the object is also achieved by a system for scanning partial regions of a sample by means of a scanning microscope, in particular by means of a laser scanning device.
  • Microscope or by means of a scanning electron microscope, and for reconstructing an overall image of the sample of data of the scanned portions of the sample in particular a system having the features of the above system, the system comprising a machine learning system, by means of supervised learning, unmonitored
  • Learning in particular on the basis of an auto-encoder, and / or reinforcing learning is carried out to: - Reconstruct the overall image of the sample from the data of the scanned portions of the sample by means of the machine learning system, wherein non-scanned portions of the sample using the data of scanned portions of the sample are estimated by the machine learning system.
  • the system automatically reconstructs the overall image of the sample using a trained machine learning system.
  • the trained machine learning system quickly and technically determines the reconstructed overall picture.
  • the reconstructed overall image is determined very precisely by the machine learning system, i. corresponds as well as possible to a total scan or a complete scan of the sample. In this system, after the training has taken place, no human or manual intervention by a user or people is needed.
  • Another advantage is that entire images are reconstructed, which have a particularly high quality or accuracy.
  • the method further comprises the following steps for training the machine learning system by means of reinforcing learning:
  • An optimal scanning pattern can be, in particular, a scanning pattern which, when scanning for the shortest possible time with the lowest possible radiation exposure of the sample during scanning, enables the most accurate or precise reconstruction of the overall image of the sample.
  • reinforcement learning also called reinforcement learning
  • the variation of the subregions may be performed by means of a scanning microscope or may be performed by simulating the scanning of subregions based on an overall image.
  • the method further comprises the step of: inputting information about the sample, e.g. the number of elements of the sample, the size of the elements of the sample and / or the nature of the sample, and / or the scanning microscope and / or the intended use of the reconstructed whole image in the machine learning system for the improved determination of the partial regions of the sample scanned using a scanning microscope.
  • information about the sample e.g. the number of elements of the sample, the size of the elements of the sample and / or the nature of the sample, and / or the scanning microscope and / or the intended use of the reconstructed whole image
  • the machine learning system may be due to the entered
  • the machine learning system does not have to rely on completely unknown scanned data of the subregions that are used for
  • the learning system can assume that the data of the subareas does not consist of completely random information or data.
  • Portions of the sample input an overview image of the sample into the machine learning system for improved determination of the portions scanned by the scanning microscope. This allows the machine learning system to identify portions of the sample that have a particularly high density of information (e.g., edges of elements, portions where elements are present, etc.) prior to determining the portions. Thus, an even more efficient scanning pattern by the machine
  • the method further comprises the steps of training the machine learning system by unsupervised learning: inputting unreconstructed whole images of samples into the machine
  • the method further comprises the following steps for training the machine learning system for improved
  • Reconstructing the reconstructed whole image from the data of the scanned portions of the sample by supervised learning inputting data from scanned portions, in particular simulated scanned portions, of the sample as training data into the machine learning system; and comparing the overall image of the sample reconstructed from the training data by the machine learning system with an unreconstructed whole image of the sample to train the machine learning system to more efficiently reconstruct the overall image from the data of the scanned portions of the sample.
  • the machine learning system can be quickly and technically easily reconstructed for improved reconstruction, e.g. a precise or precise reconstruction of the overall picture to be trained.
  • partial regions of the overall image are first of all independently reconstructed from the data of the scanned partial regions of the sample, and the partial regions are subsequently assembled into a reconstructed overall image.
  • This can parallelize the reconstruction of the overall image in a computer, i. on multiple processors, be distributed.
  • the overall picture can be reconstructed faster and / or through more complex calculations in the same time.
  • the machine learning system is or is at the same time improved in an optimization process
  • optimization of the scan pattern ie which subregions of the sample or which subregions in which order scanning is performed, and reconstruction of the overall image of the sample is determined to be a particularly optimal scan pattern, as the overall image reconstruction mode and the scan pattern interact.
  • the determination of the scan pattern is influenced by the performance of the method for reconstructing the overall image. For example, with a high performance of the reconstruction of the overall image, ie from a few data from scanned sections, a precise or exact overall image of the sample can be reconstructed, a scan pattern can be determined, the sub-areas with a particularly small area and / or with a particularly low execution time scans the scan. Consequently, the machine learning system trained thereby can efficiently generate an overall image of the sample of data of portions of the sample.
  • the machine learning system is trained in an optimization process at the same time for the improved determination of the partial regions of the sample, which are scanned by the scanning microscope, and for improved reconstruction of the overall image of the sample from the scanned partial regions of the sample.
  • the advantage of this is that by simultaneously optimizing the scan pattern, i. Which
  • Parts of the sample are scanned in which order, and the reconstruction of the overall image of the sample is determined a particularly optimal scan pattern, since the way the reconstruction of the overall image and the scan pattern influence each other.
  • the system is designed, first
  • the reconstruction of the entire image can be parallelized in a computer or be, ie on several processors, be distributed or be.
  • the overall picture can be reconstructed faster and / or through more complex calculations in the same time.
  • An efficient / optimal scanning pattern or efficient / optimal determination of the subareas scanned by the scanning microscope is to be understood in particular as a scanning pattern or a determination of subareas to be scanned which, if the radiation exposure is as low as possible, have the smallest possible area Sample that is being scanned, and / or reconstructed as accurate as possible overall image of the sample from the scanned portions at the fastest possible execution of the scan.
  • the most accurate overall image of the sample contains essentially no reconstruction artifacts, has a particularly high resolution and / or if possible corresponds to an image of the sample which is obtained by a complete scan of the sample.
  • supervised learning may be used to train the machine learning system. This means that an overview image of the sample and / or information about the type or the state of the sample (manual or automated) are fed into the machine learning system together with a predetermined (in particular unreconstructed) overall image in the machine learning system.
  • the scan pattern is determined as optimally as possible and a reconstruction of the overall image of the sample from the scanned portions of the sample is optimized.
  • the index of structural similarity (SSIM) between the reconstructed overall image and a non-reconstructed overall image can be calculated and determined as a quality measure or value for the accuracy or accuracy the similarity or match between the reconstructed overall image and the actual overall image of the sample is used.
  • PSNR peak signal-to-noise ratio
  • Property eg scan time, reconstruction quality of the overall image, radiation exposure of the Sample during scanning
  • another property eg, radiation exposure of the sample during scanning, reconstruction quality of the sample
  • Accordance with an image of a sample obtained by fully scanning the sample is optimized for a given maximum scan time and / or maximum radiation exposure.
  • all parameters of determining the scan pattern and reconstructing the overall image of the sample can be simultaneously or simultaneously trained in the context of an end-to-end learning principle.
  • influencing the reconstruction of the overall image by the scanning pattern or determining the scanning pattern and influencing the scanning pattern determination by the reconstruction of the overall image can be achieved, for example, by:
  • the scan pattern can be interpreted as an intermediate representation (intermediate layer) and a single neural network can be present (which includes both the scanning pattern determination and the reconstruction of the entire image in a single neural network), the parameters thereof by means of backpropagation simultaneously and in be optimized for a common loss function.
  • a single neural network which includes both the scanning pattern determination and the reconstruction of the entire image in a single neural network, the parameters thereof by means of backpropagation simultaneously and in be optimized for a common loss function.
  • Scanning pattern determination is achieved, and the reconstruction of the overall image of the sample improved or reduced reconstruction error.
  • the joint optimization can be trained by supervised learning, unsupervised learning and / or encouraging learning.
  • Weight sharing there may be a neural network for determining the scan pattern (s) of the sample to be scanned and a neural network for the reconstruction of the overall image of the sample.
  • These two neural networks can share certain parameters (weights) or part of the parameters (weight) and thus also mutually support / exchange.
  • Another possibility of simultaneously optimizing or training the machine learning system with regard to the scanning patterns or subareas of the sample to be scanned and with regard to the reconstruction of the overall image of the sample is to make the joint optimization iterative.
  • a part determining the scan pattern or reconstructing the entire image of the sample
  • the other part is optimized on the basis of the given part.
  • This process can be repeated several times, in particular, this process can be repeated sufficiently often until a certain predetermined criterion is reached (e.g., a predetermined number of repetitions or iterations, a maximum scan time, a maximum scan area of the sample, a maximum
  • This procedure describes a semi-simultaneous optimization of the parameters of both parts (determining the scan pattern and reconstructing the overall image of the sample), which is also to be understood as a type of simultaneous or simultaneous optimization, and an expectation-maximization algorithm or an estimation -Maximization algorithm is similar.
  • the estimation of the non-scanned portions of the sample may be performed by calculating estimates or the like.
  • Another object of the present invention is to provide a method or a device or a system by means of which or for a microscope
  • the overall image of the sample can be reconstructed from the acquired partial regions of the sample.
  • this object is achieved by a method for detecting partial regions of a sample by means of a microscope, in particular by means of a wide-field microscope, the method comprising the following steps: determining the partial regions of the sample that are detected by the microscope, in particular of the partial regions the sample and the order of detection of the partial regions of the sample, by means of a machine
  • unsupervised learning in particular based on an auto-encoder, and / or reinforcing learning to better determine the portions of the sample detected by the microscope; and - detecting the particular portions of the sample by means of the microscope.
  • An advantage of this is that the portions of the sample that are detected by the microscope are automatically determined by a trained machine learning system.
  • particularly efficient acquisition patterns i. which parts of the sample are recorded are quickly and technically easily determined.
  • the particularly efficient detection patterns can be characterized, for example, by a short time required for the detection by a particularly low radiation exposure of the sample during the detection of the partial areas or similar properties. In this method, after the training that has taken place, no human or manual intervention by a user or human is needed.
  • this object is also achieved by a method for detecting partial regions of a sample by means of a microscope, in particular by means of a wide field microscope, and for reconstructing an overall image of the sample from data of the detected partial regions of the sample, in particular a method according to the two paragraphs described above
  • Method comprising the following steps: determining the
  • Portions of the sample that are detected by the microscope in particular the Portions of the sample and the order of detecting the portions of the sample; - Detecting the portions of the sample by means of the microscope; - inputting the data of the acquired sections into a machine learning system; and - reconstructing the
  • the overall image of the sample is automatically reconstructed using a trained machine learning system.
  • the trained machine learning system quickly and technically determines the reconstructed overall picture.
  • the reconstructed overall image is determined very precisely by the machine learning system, i. corresponds as well as possible to a complete detection or a complete detection of the sample. In this method, after the training that has taken place, no human or manual intervention by a user or human is needed.
  • the object is also achieved by a computer program product having instructions readable by a processor of a computer which, when executed by the processor, cause the processor to execute one of the above-mentioned methods.
  • the object is also achieved by a computer-readable medium on which the computer program product is stored.
  • the object is also achieved by a system for detecting partial regions of a sample by means of a microscope, in particular by means of a wide-field microscope, the system comprising a machine learning system, which by means of supervised learning, unsupervised learning, in particular based on an auto-encoder, and / or is trained to perform the following: determining the
  • Portions of the sample that are detected by the microscope in particular the Partial sections of the sample and the order of detection of the partial regions of the sample, by means of the machine learning system.
  • An advantage of this is that the portions of the sample that are detected by the microscope can be determined automatically by means of a trained machine learning system.
  • particularly efficient acquisition patterns i. which parts of the sample are recorded are quickly and technically easily determined.
  • the particularly efficient detection patterns can be characterized, for example, by a short time required for the detection by a particularly low radiation exposure of the sample during the detection of the partial areas or similar properties. In this system, after the training is no human or
  • the object is also achieved by a system for detecting partial regions of a sample by means of a microscope, in particular by means of a wide field microscope, and for reconstructing an overall image of the sample from data of the acquired partial regions of the sample, in particular a system such as two paragraphs described above the system includes a machine learning system that uses supervised learning,
  • unmonitored learning in particular based on an auto-encoder, and / or reinforcing learning is performed to: - Reconstruct the overall image of the sample from the data of the detected portions of the sample by means of the machine learning system, wherein unrecognized portions of the sample by means of the data the detected portions of the sample are estimated by the machine learning system.
  • the system automatically reconstructs the overall image of the sample using a trained machine learning system.
  • the trained machine learning system quickly and technically determines the reconstructed overall picture.
  • the reconstructed overall image is determined very precisely by the machine learning system, ie corresponds as well as possible to an overall detection or a complete detection of the sample. In this system, after the training has taken place, no human or manual intervention by a user or people is needed.
  • Another advantage is that entire images are reconstructed, which have a particularly high quality or accuracy.
  • the method further comprises the following step: reconstructing the overall image of the sample from the data of the detected partial areas of the sample, wherein non-detected partial areas of the sample are estimated by means of the data of the detected partial areas of the sample.
  • the method further comprises the following steps for training the machine
  • Learning system by means of reinforcing learning: inputting one or more quality measures, for example the total time required for acquiring the partial regions and / or the total radiation exposure of the sample when detecting the partial regions of the sample and / or the quality of the reconstructed overall image of the sample into the mechanical learning system; and varying the portions of the sample that are detected and / or the order of detecting the portions of the sample to achieve the best possible quality measure or optimally sized dimensions.
  • quality measures for example the total time required for acquiring the partial regions and / or the total radiation exposure of the sample when detecting the partial regions of the sample and / or the quality of the reconstructed overall image of the sample into the mechanical learning system; and varying the portions of the sample that are detected and / or the order of detecting the portions of the sample to achieve the best possible quality measure or optimally sized dimensions.
  • An optimal detection pattern can be, in particular, a detection pattern which, with a low time duration for detection with the lowest possible radiation exposure of the sample during detection, enables the most accurate or precise reconstruction of the overall image of the sample.
  • reinforcement learning also called reinforcement learning
  • a reward or punishment can be awarded at each step with regard to the quality measure to be minimized or maximized (duration of acquisition, radiation exposure, quality or exactness of the reconstruction of the overall image), in particular automatically
  • the varying of the partial regions can be carried out by means of a microscope, in particular by means of a wide field microscope, or can be carried out by simulation of the detection of partial regions on the basis of an overall image.
  • an overview image of the sample is incorporated in the sample before the partial regions of the sample are detected
  • the machine learning system for improved determination of the partitions that are detected by the microscope entered.
  • the machine learning system may include portions of the sample having a particularly high information density (e.g.
  • Edges of elements, subareas in which elements are present, etc.) already exist identify the partitions. Thus, an even more efficient acquisition pattern can be determined by the machine learning system.
  • the method further comprises the following step: reconstructing the overall image of the sample from the data of the acquired portions of the sample and the overview image.
  • the overall image may be based on a combination of the data of the detected portions and the
  • An advantage of this is that a particularly precise overall picture can be reconstructed. For example, if the overview image has a low resolution and the detected partial regions have a higher resolution, an overall image can be reconstructed by means of the acquired partial regions and the overview image, which represents a more precise image of the sample than on the basis of the detected partial regions alone.
  • the overview image comprises a reconstructed overall image of the sample, in particular the overview image is a reconstructed overall image of the sample.
  • the number of iterations can be two, three or more. In this way, a particularly precise or correct overall image of the sample can be reconstructed.
  • the renewed step of reconstructing the overall image in addition to the detected subregions, the previously reconstructed overall image (generated during a previous iteration) can also be included in the reconstruction of the overall image.
  • the method further comprises the following steps for training the machine
  • the method further comprises the following steps for training the machine
  • the machine learning system can be quickly and technically easily reconstructed for improved reconstruction, e.g. a precise or precise reconstruction of the overall picture to be trained.
  • the machine learning system is or is trained in an optimization process at the same time for improved determination of the partial regions of the sample which are detected by the microscope and for improved reconstructing of the reconstructed overall image from the detected partial regions of the sample.
  • Sequence can be detected, and the reconstruction of the overall image of the sample a particularly optimal detection pattern is determined, since the way the reconstruction of the overall image and the detection pattern influence each other.
  • the determination of the detection pattern is influenced. For example, with a high performance of the reconstruction of the overall image, ie from a few data of detected subdomains, a precise or exact overall image of the sample can be reconstructed, a detection pattern can be determined, the sub-areas with a particularly small area and / or with a particularly short duration of execution recorded. Consequently, the system or the trained machine learning system particularly efficient in creating an overall image of the sample of data from subregions of the sample.
  • the system for reconstructing an entire image of the sample is one of data acquired
  • Formed portions of the sample wherein the system for estimating non-detected portions of the sample is formed by means of the data of the detected portions of the sample.
  • the machine learning system is also improved in an optimization process
  • Determining the portions of the sample that are detected by the microscope and training to better reconstruct the overall image of the sample from the detected portions of the sample is achieved.
  • the advantage of this is that the simultaneous optimization of the acquisition pattern, i. which partial regions of the sample are detected in which order, and the reconstruction of the overall image of the sample is determined as a particularly optimal detection pattern, since the manner of reconstructing the overall image and the detection pattern influence each other.
  • the determination of the detection pattern is influenced by the performance of the step for reconstructing the overall image. For example, with high performance, the reconstruction of the overall image, i. from just a few dates of recorded
  • Subareas a precise or exact overall image of the sample can be reconstructed, a detection pattern can be determined, which detects subregions with a particularly small area and / or with a particularly low execution time of the detection. Consequently, the system or the trained machine learning system can be particularly efficient
  • an efficient / optimal detection pattern or efficient / optimal determination of the subregions, which are detected by the microscope, in particular by the wide-field microscope, is in particular a detection pattern or a determination of to be detected
  • An as accurate as possible overall image of the sample contains essentially no reconstruction artifacts, has a particularly high Resolution on and / or corresponds as possible to an image of the sample, which is obtained by a complete detection of the sample. This can in particular a
  • supervised learning can be used to train the machine learning system. This means that an overview image of the sample and / or information about the type or the state of the sample (manual or automated) are fed into the machine learning system together with a predetermined (in particular unreconstructed) overall image in the machine learning system. The machine learning system is now trained on the input data to reconstruct an overall picture that is as accurate as possible
  • the acquisition pattern is determined as optimally as possible and a reconstruction of the
  • the index of structural similarity (SSIM) between the reconstructed overall image and a non-reconstructed overall image can be calculated and determined as a quality measure or value for the accuracy or accuracy the similarity or match between the reconstructed overall image and the actual overall image of the sample is used.
  • PSNR peak signal-to-noise ratio
  • Property e.g., acquisition time, reconstruction quality of the overall image
  • Radiation exposure of the sample during detection taking into account another property (e.g., radiation exposure of the sample during acquisition,
  • Reconstruction quality of the overall image, acquisition time are optimized.
  • the machine learning system will rely on the highest possible reconstruction quality of the overall image, i. as exact as possible match with an image of a sample, which was obtained by fully detecting the sample, optimized for a given maximum acquisition time and / or predetermined maximum radiation exposure.
  • all the parameters of determining the detection pattern and reconstructing the overall image of the sample can be simultaneously or simultaneously trained in the context of an end-to-end learning principle in the reconstruction of the overall image.
  • Detection pattern determination by the reconstruction of the overall image can be achieved in the case of deep learning / neural networks, for example by:
  • the acquisition pattern can be interpreted as intermediate representation (intermediate layer) and there may be a single neural network or
  • a neural network for determining the detection pattern (s) of the sample and a neural network for reconstructing the overall image of the sample.
  • These two neural networks can share certain parameters (weights) or part of the parameters (weight) and thus also mutually support / exchange.
  • Another possibility of simultaneously optimizing or training the machine learning system with regard to the detection pattern or subregions of the sample to be detected and with regard to the reconstruction of the overall image of the sample is to make the joint optimization iterative.
  • a part determining the Acquisition pattern or reconstruction of the overall image of the sample
  • the other part is optimized on the basis of the given part.
  • This process can be repeated several times, in particular, this process can be repeated sufficiently often until a certain predetermined criterion is reached (eg a predetermined number of repetitions or iterations, a maximum acquisition time, a maximum area of the sample to be detected, a maximum radiation exposure of Sample and / or a minimum reconstruction quality of the overall image of the sample and / or spatial resolution of the reconstructed overall image of the sample and / or stagnation is reached, ie in the case of several consecutive repetitions or iterations
  • a certain predetermined criterion eg a predetermined number of repetitions or iterations, a maximum acquisition time, a maximum area of the sample to be detected, a maximum radiation exposure of Sample and / or a minimum reconstruction quality of the overall image of the sample and / or spatial resolution of the reconstructed overall image of the sample and / or stagnation is reached, ie in the case of several consecutive repetitions or iterations
  • This procedure describes a semi-simultaneous optimization of the parameters of both parts (determining the detection pattern and reconstructing the overall image of the sample), which is also to be understood as a kind of concurrent or simultaneous optimization, and an expectation-maximization algorithm or an estimation -Maximization algorithm is similar.
  • the estimation of the non-detected portions of the sample may be performed by calculating estimates or the like.
  • FIG. 1 shows a sample comprising four elements, wherein the sample is on a support
  • Fig. 2 is a schematic representation of an embodiment of the
  • FIG. 3 shows a first scanning pattern of the sample from FIG. 1 according to an embodiment of the method according to the invention
  • FIG. 4 shows a second scanning pattern of the sample from FIG. 1 according to an embodiment of the method according to the invention
  • FIG. 5 shows a third scanning pattern of the sample from FIG. 1 according to an embodiment of the method according to the invention
  • FIG. 6 shows a fourth scanning pattern of the sample from FIG. 1 according to an embodiment of the method according to the invention
  • Fig. 7 is a pointwise complete scanning of a sample comprising four
  • Fig. 8 is a schematic representation of another embodiment of the
  • FIG. 9 shows a fifth detection pattern of the sample of FIG. 1 according to FIG.
  • FIG. 10 shows a sixth detection pattern of the sample of FIG. 1 according to FIG.
  • FIG. 11 shows a seventh detection pattern of the sample of FIG. 1 according to FIG.
  • Fig. 1 shows a sample 1 comprising four elements 5-8 with the sample 1 on a support.
  • the sample 1 may comprise living elements, eg cells, the four Elements 5-8 each represent a cell. It is also conceivable that the sample 1 is inanimate, ie the sample 1 in Fig. 1, for example, has four iron splinters.
  • the sample 1 or partial areas 10-15 of the sample 1 is determined by means of a scanning microscope, e.g. Scanned or scanned a laser scanning microscope (LSM) or a Scanning Electron Microscope (SEM).
  • a scanning microscope e.g. Scanned or scanned a laser scanning microscope (LSM) or a Scanning Electron Microscope (SEM).
  • the sample 1 is usually not completely scanned or scanned, but only partial areas 10-15 of the sample 1 are scanned by means of the scanning microscope.
  • the portions 10-15 of the sample 1 may be punctiform or planar.
  • the portions 10-15 of the sample 1 may be continuous or they may be spaced from one another.
  • the sample 1 is scanned in three room dimensions. In this case, the sample 1 can not be completely scanned in one or more spatial dimensions, but only partially or in partial regions of the sample 1 can be scanned. It is also conceivable that a sample 1 in two spatial dimensions over time, i. is scanned several times at different times or continuously. Subareas can do this
  • sample 1 is not scanned continuously or quasi-continuously in time dimension, but only at times or time periods determined by the machine learning system.
  • the data 25 of the scanning microscope scanned portions 10-15 of the sample 1 are then used to reconstruct an overall image 40 of the sample 1 from these.
  • the non- Scanned portions 10-15 of the sample 1 from the scanned portions 10-15 estimated or calculated.
  • an overall image 40 of the sample 1 can be produced in a particularly short time since not the entire sample 1 or the entire carrier is scanned, but only a part or partial regions thereof.
  • the system 20 comprises a trained machine learning system 30, which determines the partial areas 10-15 of the sample 1 to be scanned and the data 25 of the scanned partial areas 10 -15 an overall image 40 of sample 1 reconstructed.
  • the portions 10-15 of the sample 1 being scanned, i. the scan pattern are determined by a machine learning system 30.
  • the order of the subregions 10-15 that are scanned is also determined by the machine learning system 30.
  • the machine learning system 30 may or may not be trained by reinforcing learning, supervised learning, and / or unsupervised learning to optimally determine the portions 10-15 of the sample 1 being scanned.
  • the optimal determination of the subregions 10-15 to be scanned can be carried out with the aim of the shortest possible time required for scanning the subareas 10-15, the lowest possible radiation exposure of the sample 1, the best possible reconstruction, etc. That the properties mentioned are each the size to be optimized.
  • a reward and / or punishment is given by the machine learning system at each step of performing the determination of the portions to be scanned 10-15 and how high is the reward or punishment.
  • the scan of a larger partial area 10-15 takes longer than the scan of a smaller partial area 10-15 of the sample 1, so that in the latter case a time penalty, ie a punishment, whereby the height of the punishment of the step depends on the area of the partial area 10. 15, is added.
  • a time penalty ie a punishment
  • punishment may be added. Even with prolonged irradiation, a punishment can be added.
  • the quality of reconstruction of the reconstructed overall image 40 ie how well this reconstructed overall image 40 agrees with an unreconstructed overall image 40, which was created, for example, by complete screening or a complete scan of the sample 1, can be a quality measure.
  • the machine learning system 30 attempts to determine an optimal scanning pattern, based on training data from samples 1, respectively. a scan pattern in which the quality measure as low as possible (for example, the shortest possible time) or as high as possible (for example, the highest possible
  • a predetermined value of a second size e.g. the required time or the maximum total area which the sections to be scanned may have in total as a limiting factor, since otherwise e.g. the entire sample 1 is scanned, since then the reconstruction quality is greatest or best.
  • Another way to train the machine learning system 30 to more efficiently determine the portions of scans 10-15 of the sample 1 to be scanned, as well as their order, is supervised learning.
  • a training set ⁇ (xi, yi), (x 2 , y 2 ), (X3, y ß ), .. ⁇ , where x n information about the sample 1 includes and the associated y n are the scanning patterns assigned by the human expert or the sections 10-15 to be scanned and their order.
  • the scan pattern which is specified by the expert, can originate from a fixed selection of scan patterns (classification problem) or, for example, be indicated as a binary image.
  • x can e.g. an overview image of the sample 1 (for example, created by an overview camera or a fast, coarse scan of the sample 1), information on the nature and / or condition of the sample 1 (animated, inanimate, etc.), this information manually in the machine
  • the machine learning system 30 learns an image from x n to y n from the training data or the training set, in order subsequently to determine a scan pattern or the subareas 10-15 of a (more or less unknown) sample 1 for unknown x, the machine learning system 30 maps the x as well as possible to the actual y.
  • the machine learning system 30 is trained to obtain as good an efficient scanning pattern as possible in an unknown sample 1, i. which
  • a third way of training the machine learning system 30 is this
  • the machine learning system 30 entered.
  • the machine learning system 30 is trained on the overall images 40.
  • the machine learning system 30 can conclude which subareas 10-15 of the overall image 40 of the sample 1 and thus which subregions 10-15 of the sample 1 itself are particularly important particularly high information density (eg includes an edge of an element 5-8 of sample 1). From this derives the machine learning system 30, which
  • Scan pattern is particularly optimal or efficient.
  • Training goal here is thus, sub-areas 10-15 with the highest possible
  • the machine learning system 30 is trained in one of these ways by means of training data. Subsequently, when a sample 1 is to be scanned, the machine learning system 30 determines which portions 10-15 of the sample 1 are scanned in which order by the scanning microscope. Here, information about the sample 1, e.g. how many elements 5-8 sample 1 comprises, how large are elements 5-8 of sample 1, whether elements 5-8 of sample 1 move, etc., and / or via the scanning microscope, e.g. Which
  • Subregion 10-15 of a given area, etc., and / or beyond the purpose for which the created overall image 40 is needed e.g. whether the overall image 40 is needed to recognize details of the elements 5-8 of the sample 1, whether the overall image 40 is needed to track motions of elements 5-8 of the sample 1, whether the overall image 40 determines the number of elements 5- 8 of the sample 1, etc., are input to the machine learning system 30.
  • the determining of the partial regions may include partial regions in one of the three spatial dimensions and / or partial regions in the time dimension (i.e., time points and / or time periods). These subareas are each determined by the machine learning system.
  • Deep learning can be applied or used.
  • so-called Deep-Q-Learning can be used in strengthening the machine training system.
  • CNNs Convolutional Neural Networks
  • unsupervised learning can be used in particular a so-called deep auto-encoder.
  • the quality of the scan pattern or of the subareas 10-15 of the sample 1 to be scanned, which are determined by the machine learning system 30, can also be used, for example
  • Reconstruction quality i. the quality of the reconstructed overall image 40.
  • the reconstructed overall image 40 of the sample 1 is viewed by a human or analyzed to have a desired resolution of the elements 5-8 of the sample 1 and / or to be free of reconstruction artifacts.
  • the reconstructed overall image 40 is used to track the location of elements 5-8 of the sample 1 over time, it may be checked whether the overall image 40 has such a high quality or resolution that tracking the location of the Elements 5-8 is readily possible.
  • the overall image 40 may also be scanned and / or reconstructed depending on whether or how it is subsequently further processed or postprocessed manually or automatically. If postprocessing imposes certain conditions on the overall image 40, e.g. requires a certain resolution (in terms of time and / or space), the machine learning system can accordingly determine the subareas to be scanned and / or reconstruct the overall image accordingly.
  • Et al The following information may be input to the machine learning system 30 for training the machine learning system and / or determining the portions to be scanned and / or reconstructing the overall image of the sample from the scanned portions, either manually by a human or automated by other devices:
  • Rastermikroskops for example, the recording speed of a scanning pattern depending on the hardware components of the scanning microscope (in laser scanning microscopes sinusoidal movements are usually very fast executable).
  • Information about the sample eg whether the elements 5-8 of the sample 1 are regularly or irregularly arranged, if the sample 1 has a certain biological cell type (then a scanning pattern with the typical density of the sample 1, that of the position and size of the corresponding cells) and / or information via location-dependent / local patterns of the sample 1 (this can save time during scanning of the sample 1 and the background of the sample 1 can be particularly well suppressed).
  • sample 1 e.g. whether the overall image 40 of the sample 1 is used for navigating and / or orienting (then a fast detail overall image 40 may be preferred), whether elements 5-8 of the sample 1 should be tracked and / or counted over time (then overall images 40 with small details of elements 5-8 may be preferred), whether only certain regions of sample 1 are of interest, etc.
  • the scan pattern (s) 10-15 of the sample 1, which are determined by the machine learning system 30, may include i.a. regular (e.g., sinusoidal,
  • stochastic eg dots, stripes, trajectories
  • adaptive eg search and refinement, based on the data 25 of the already scanned subregions 10-15 of the sample 1 and / or from the already reconstructed part the overall image 40 of the sample 1 to be further scanned portions 10-15 be determined.
  • the overall image 40 of the sample 1 is reconstructed by means of a machine learning system 30.
  • the overall image 40 of the sample 1 corresponds to the image that the scanning microscope would receive or generate when the sample 1 is scanned completely or essentially 100%.
  • the machine learning system 30 for reconstructing the overall image 40 of the sample 1 may be the same machine learning system 30 used to determine which one to scan
  • the machine learning system 30 may be trained to reconstruct the overall image 40 of the sample 1 using supervised learning, unsupervised learning, and / or reinforcement learning.
  • an overview image of the sample 1 and / or information about the structure or the pattern of the sample 1 can be entered into the machine learning system 30.
  • training data in the form of data 25 from scanned portions 10-15 of the sample 1 are input to the machine learning system 30.
  • the scanned portions 10-15 may be simulated data 25 generated based on an unreconstructed overall image 40, or real
  • a complete image 40 is input to the machine learning system 30. Based on the training data, the machine learning system 30 learns how to reconstruct from the data 25 of the subareas 10-15 of the sample 1 an optimally optimal overall image 40 of the sample 1, since the unreconstructed overall image 40 is also targeted into the machine
  • An optimal overall image 40 of the sample 1 has no reconstruction artifacts, i. no reconstructed elements or sub-elements of the sample 1 at locations where not actually an element of the sample 1 is present, has the highest possible resolution and corresponds substantially to an overall image 40 of the sample 1, which is created by complete scan of the sample.
  • the models for reconstructing the overall image 40 used by the machine learning system 30 may be generic (i.e., based on merged data 25 of FIG.
  • the methods used to train the machine learning system 30 for improved reconstruction may be classical methods, such as dictionary learning, principal component analysis (PCA), and / or deep learning methods, such as picture-on-picture networks, in which the Data 25 of the scanned portions 10-15 are imaged directly onto the reconstructed overall image 40, or decoder networks for a one-dimensional signal which receives as input the data 25 of the scanned portions 10-15 along the scanner trajectory and the one-dimensional signal to the unconstructed one Overall image 40 images, be. It is possible that the machine learning system 30 directly reconstructs the overall image 40, or that partial regions of the overall image 40 are reconstructed independently of each other and then the overall image 40 is assembled from the subregions. This allows a parallelization of the reconstruction of the overall image 40.
  • classical methods such as dictionary learning, principal component analysis (PCA), and / or deep learning methods, such as picture-on-picture networks, in which the Data 25 of the scanned portions 10-15 are imaged directly onto the reconstructed overall image 40, or decoder networks for a one-dimensional signal which
  • Reconstruction of the overall image 40 is performed from the scanned portions 10-15, but this in one process, i. each dependent on each other, is performed.
  • the determination of the scan pattern is influenced by the performance or quality of the reconstruction of the overall image 40.
  • the optimization of the determination of the scan pattern thus depends on the reconstruction of the overall image 40 from the scanned portions 10-15 of the sample 1 and the
  • the machine learning system 30 may be trained in simultaneously optimizing the subregions 10-15 and the reconstruction of the overall image 40 by inputting only unconstructed overall images 40 and a quality measure to be optimized and the machine learning system 30 inputting the optimal scanning pattern in consideration of the reconstruction of the overall image 40 and vice versa.
  • the result of the machine learning system 30 with respect to separate learning processes or separate optimizations, once for the determination of the partial areas 10-15 and once for the reconstruction of the overall image 40 of the sample 1 from the Scanned portions 10-15 improved.
  • the machine learning system 30 may be e.g. be implemented on a computer by software.
  • the machine learning system 30 may be implemented on a graphics card.
  • FIGS. 3-6 show various scan patterns or partial areas 10-15 of the sample 1 which are scanned by the scanning microscope, the scan patterns or partial areas 10-15 being determined or calculated by the machine learning system 30.
  • FIG. 3 shows a first scanning pattern of the sample 1 from FIG. 1 according to an embodiment of the method according to the invention.
  • this scan pattern only a portion 10-15 of the sample 1 or the carrier is scanned. Subareas 10-15 are contiguous.
  • the sample 1 is traversed in interconnected spaced-apart lines. For example, such a scan pattern is determined by the machine learning system 30.
  • FIG. 4 shows a second scanning pattern of the sample 1 from FIG. 1 according to an embodiment of the method according to the invention.
  • the black squares show the portions 10-15 of the sample 1 determined by the machine learning system 30 of FIG. 4
  • Scanned or scanned For example, such a scan pattern is determined by the machine learning system 30.
  • FIG. 5 shows a third scanning pattern of the sample 1 from FIG. 1 according to an embodiment of the method according to the invention.
  • an adaptive scan pattern is shown, wherein the adaptive scan pattern is linear and, when changing from the background to an element 5-8, further examines the element 5-8, in particular its edges, by the line of the raster pattern repeatedly over the edge of element 5-8. and drive away.
  • trained machine learning system 30 for example, such a scan pattern is determined.
  • FIG. 6 shows a fourth scanning pattern of the sample 1 from FIG. 1 according to an embodiment of the method according to the invention.
  • the machine learning system 30 has determined that it is most efficient (with regard to the scanning process and / or with respect to the reconstruction of the overall image 40 of the sample 1) to scan the sample 1 or the carrier with the sample 1 in sinusoidal lines as a scanning pattern.
  • FIG. 8 shows a schematic representation of a further embodiment of the invention
  • System 60 for detecting partial areas 50-55 by means of a microscope, in particular by means of a wide field microscope.
  • the system 60 includes a trained machine learning system 30 configured to determine the portions 50-55 of the sample 1 that are detected. In addition, it is possible that the system 60 additionally reconstructs an overall image 40 of the sample 1 from the data 65 of the acquired subregions 50-55.
  • the portions 50-55 of the sample 1 that are detected i. the detection pattern are determined by a machine learning system 30.
  • the order of the subregions 50-55 that are detected is also determined by the machine learning system 30.
  • the partial regions 50-55 are detected by means of a wide field microscope.
  • Wide-field microscope does not scan or scans individual points of sample 1 (like a scanning microscope).
  • partial areas 50-55 are respectively illuminated or irradiated and the respective partial area 50-55 is detected by the wide-field microscope.
  • the sample 1 is not illuminated or irradiated as a whole, but only partial regions 50-55 of the sample 1.
  • Far-field microscope can be configured similarly to the above-described method for detecting partial regions 50-55 of the sample 1 by means of a scanning microscope. Of the difference is that no scanning of partial areas 50-55 takes place, but partial areas 50-55 of the sample 1 are recorded or recorded by means of a wide field microscope.
  • an overall image 40 of the sample 1 may be detected in low resolution, subsequently for the high-resolution partial regions 50-55 to be detected by the machine learning system 30, and finally for a high-resolution overall image 40 of the sample 1 from the detected regions 50-55 and the overall image 40 is reconstructed by the machine learning system 30.
  • the reconstruction may be performed by the machine learning system 30.
  • FIG. 9 shows a fifth detection pattern of the sample 1 of FIG. 1 according to FIG.
  • the machine learning system 30 determines which portions 50-55 of the sample 1 and in which order they are detected. From the acquired partial regions 50-55 of the sample 1, an overall image 40 of the sample 1 is reconstructed. The reconstruction may be performed by the machine learning system 30.
  • FIG. 10 shows a sixth detection pattern of the sample 1 of FIG. 1 according to FIG.
  • the overview image can have a low degree of detail or a low resolution.
  • the machine learning system 30 determines the partial regions 50-55 of the sample 1 to be detected.
  • the specific portions 50-55 of the sample 1 are detected.
  • the partial regions 50-55 detected by the microscope then each have a higher resolution (than the overview image).
  • the overview image may be recorded with a different dye than the later-detected partial regions 50-55.
  • the detected subregions 50-55 form the overall image 40, which was not necessarily reconstructed, but in the simplest case only from the acquired subregions 50-55
  • Fig. 1 shows a seventh detection pattern of the sample 1 of Fig. 1 according to a
  • the next portion 50-55 of the sample 1 to be detected by means of the wide-field microscope can be read by the machine learning system 30 on the basis of the acquired information of the portion 50-55 received immediately before or immediately before
  • Sub-areas 50-55 and the resulting results determines the next to be detected sub-area 50-55.
  • an edge of an element of the sample 1 can be detected or scanned by the detected partial regions 50-55.
  • the arrows in Fig. 10 show the
  • partial regions of the overall image 40 can be reconstructed essentially independently of one another from the data 65 of the acquired partial regions 50-55 of the sample 1, and then the partial regions to be assembled into a reconstructed overall image 40.
  • the system or the method can be designed in such a way that, in addition to the detected subregions, the overview image is taken into account when the overall image is reconstructed.
  • the unrecorded subregions of the sample can thus be estimated on the basis of the detected subregions and on the basis of the overview image.
  • reconstructed overall image can be used as an overview image for a re-run of the process. This can also be repeated. This means that the process will run more than twice.
  • the system can therefore also be designed to execute the method several times iteratively, wherein the reconstructed overall image is used or entered in one run of the method as an overview image in the next run of the method.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Es wird ein Verfahren zum Scannen von Teilbereichen (10-15) einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, aufgezeigt, wobei das Verfahren folgende Schritte umfasst:-Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der Reihenfolge des Scannens der Teilbereiche (10-15) der Probe, mittels eines maschinellen Lernsystems(30), wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, trainiert ist; -Scannen der bestimmten Teilbereiche (10-15) der Probe mittels des Rastermikroskops; und -Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe, wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe abgeschätzt werden.

Description

Verfahren zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, Computerproqrammprodukt, computerlesbares Medium und System zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops
Beschreibung
Die Erfindung betrifft mehrere Verfahren zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, mehrere Computerprogrammprodukte, mehrere computerlesbares Medien, mehrere Systeme zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, mehrere Verfahren zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops und mehrere Systeme zum Erfassen von Teilbereichen einer Probe.
Stand der Technik
Bei bisher bekannten Mikroskopsystemen, deren Bildgebung auf dem Abrastern (auch Abtasten bzw. Scannen genannt) einer Probe T beruht, z.B. ein Laser-Scanning-Mikroskop (LSM) oder ein Rasterelektronenmikroskop (engl scanning electron microscope, SEM), wird ein Bild erzeugt, indem ein Probenbereich punktweise (oder z.B. auch linienweise) vollständig abgerastert bzw. abgescannt wird. Fig. 7 zeigt solch eine linienweise vollständige Abrasterung bzw. ein vollständiges Scannen einer Probe T umfassend vier Elemente 5‘-8‘, wobei sich die Probe T auf einem Träger befindet, gemäß dem Stand der Technik. Der vollständige Scan der Probe T ergibt dann ein Gesamtbild der Probe. Der Abstand der linienförmigen Teilbereiche ist in Fig. 7 aus Darstellungsgründen übertrieben dargestellt. Der Abstand der Linien ist in der Realität deutlich geringer bzw. nahezu Null, da die Probe T vollständig gescannt wird.
Eine andere Möglichkeit ist, dass ein Gesamtbild eine Probe mittels des Mikroskops erzeugt wird, indem eine Probe nicht komplett, sondern dünn (engl sparse) abgerastert bzw.
gescannt wird, d.h. ein Scanmuster vorgibt, welche Teilbereiche der Probe gescannt werden, und das vollständige Bild anschließend aus den Daten der gescannten Teilbereiche der Probe rekonstruiert wird (sogenanntes„Compressed Sensing“). Dies erhöht die
Aufnahmegeschwindigkeit und reduziert die Belastung der Probe mittels Strahlung. Wie geeignet ein Scanmuster ist, hängt stark vom jeweiligen Mikroskopsystem, von dem Verwendungszweck des Gesamtbilds, der Probe, usw. ab. Zudem ist es wichtig, dass das Scanmuster eine gute bzw. zutreffende Rekonstruktion des Gesamtbilds der Probe ermöglicht, d.h. dass das rekonstruierte Gesamtbild möglichst gut einem vollständig gescannten Gesamtbild der Probe entspricht. Es gibt daher üblicherweise kein
allgemeingültiges„bestes Scan-Muster“, sondern dieses wird im Optimalfall immer an die Gegebenheiten angepasst.
Die Rekonstruktion eines Gesamtbilds der Probe aus den dünn abgetasteten Datenpunkten ist im Allgemeinen ein unterbestimmtes Problem, d.h. es existieren mehrere plausible Lösungen. Mathematisch wird dieses Problem beispielsweise mittels Regularisierung umgangen, also indem weitere Nebenbedingungen an die Lösung gestellt werden.
Die Lösung beider Probleme (Bestimmung des Scanmuster und Rekonstruktion des
Gesamtbilds der Probe) ist jeweils eine komplexe Aufgabe und im Allgemeinen stark von den jeweiligen Gegebenheiten (Mikroskop, Probe, Verwendungszweck des Gesamtbilds, ...) abhängig. Es ist anzunehmen, dass ein Anwender nach einer gewissen Lernphase in der Lage ist, aus den Gegebenheiten auf gute Scanmuster zu schließen bzw. diese zu bestimmen. Gleichermaßen kann ein mit Probe und Mikroskop vertrauter Anwender oftmals sehr gut fehlende Teile eines Gesamtbilds der Probe aus dem jeweiligen Kontext bzw. den gescannten Teilbereichen„erahnen“. Oftmals wird die Rekonstruktion des Gesamtbilds mittels klassischer Optimierung durchgeführt.
Nachteilig hieran ist, dass die Bestimmung des Scanmusters bzw. der zu scannenden Teilbereiche der Probe sowie die Rekonstruktion des Gesamtbilds manuell vorgenommen wird und man Personen bzw. Anwender mit entsprechend großer Erfahrung hierfür braucht. Daher ist das Bestimmen der Scanmuster bzw. die Rekonstruktion des Gesamtbilds der Probe sehr zeitaufwendig und kann nicht automatisiert durchgeführt werden. Bei der klassischen Optimierung der Rekonstruktion des Gesamtbilds ist nachteilig, dass keine Kontextinformationen einfließen und somit das Gesamtbild nicht optimal rekonstruiert wird.
Offenbarung der Erfindung Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, ein Verfahren bzw. eine
Vorrichtung bzw. ein System aufzuzeigen, mittels dem bzw. der für ein Rastermikroskop automatisiert zu scannende Teilbereiche der Probe bestimmt werden können sowie das Gesamtbild der Probe aus den gescannten Teilbereichen der Probe rekonstruiert werden kann.
Diese Aufgabe wird jeweils durch ein Verfahren nach Anspruch 1 , ein Verfahren nach Anspruch 6, ein Computerprogrammprodukt nach Anspruch 10, ein computerlesbares Medium nach Anspruch 1 1 , ein System nach Anspruch 12 und ein System nach Anspruch 13 gelöst.
Insbesondere wird die Aufgabe durch ein erstes Verfahren zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning- Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Scannens der Teilbereiche der Probe, mittels eines maschinellen
Lernsystems, wobei das maschinelle Lernsystem mittels überwachtem Lernen,
unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, trainiert ist; - Scannen der bestimmten Teilbereiche der Probe mittels des Rastermikroskops; und - Rekonstruieren des Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe, wobei nicht-gescannte Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe abgeschätzt werden.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Rastermikroskop gescannt werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden. Durch das trainierte maschinelle Lernsystem werden besonders effiziente Scanmuster, d.h. welche Teilbereiche der Probe gescannt werden, schnell und technisch einfach bestimmt. Die besonders effizienten Scanmuster können sich beispielsweise durch eine geringe Zeit, die für das Scannen benötigt wird, durch eine besonders präzise bzw. zutreffende
Rekonstruktion des Gesamtbilds der Probe, eine besonders geringe Strahlenbelastung der Probe während des Scannens der Teilbereiche oder ähnliche Eigenschaften auszeichnen. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Insbesondere wird die Aufgabe auch durch ein zweites Verfahren zum Scannen von
Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser- Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum
Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe, insbesondere wie vorstehend beschrieben, gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Scannens der Teilbereiche der Probe; - Scannen der Teilbereiche der Probe mittels des Rastermikroskops; - Eingeben der Daten der gescannten Teilbereiche in ein maschinelles Lernsystem; und - Rekonstruieren des Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht- gescannte Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden, wobei das maschinelle Lernsystem mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe trainiert ist.
Ein Vorteil hiervon ist, dass das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert wird. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einem Gesamtscan bzw. vollständigem Scan der Probe. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird die Aufgabe auch durch ein Computerprogrammprodukt gelöst, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das obengenannte Verfahren auszuführen.
Insbesondere wird die Aufgabe auch durch ein computerlesbares Medium gelöst, auf dem das Computerprogrammprodukt gespeichert ist.
Insbesondere wird die Aufgabe auch durch ein System zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning- Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe gelöst, wobei das System zum Abschätzen nicht-gescannter Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe ausgebildet ist, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen,
insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Scannens der Teilbereiche der Probe, mittels des maschinellen
Lernsystems.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Rastermikroskop gescannt werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden können. Durch das trainierte maschinelle Lernsystem werden besonders effiziente
Scanmuster, d.h. welche Teilbereiche der Probe gescannt werden, schnell und technisch einfach bestimmt. Die besonders effizienten Scanmuster können sich beispielsweise durch eine geringe Zeit, die für das Scannen benötigt wird, durch eine besonders präzise bzw. zutreffende Rekonstruktion des Gesamtbilds der Probe, eine besonders geringe
Strahlenbelastung der Probe während des Scannens der Teilbereiche oder ähnliche
Eigenschaften auszeichnen. Bei diesem System wird nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass das System Gesamtbilder rekonstruiert, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Insbesondere wird die Aufgabe auch durch ein System zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning- Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe, insbesondere ein System mit den Merkmalen des obengenannten System, gelöst, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen, unüberwachtem
Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Rekonstruieren des Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht-gescannte Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden.
Ein Vorteil hiervon ist, dass das System das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einem Gesamtscan bzw. einem vollständigem Scan der Probe. Es wird bei diesem System nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems mittels bestärkendem Lernen:
Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Scannen der Teilbereiche und/oder der Gesamtstrahlenbelastung der Probe beim Scannen der Teilbereiche der Probe und/oder der Qualität des rekonstruierten Gesamtbilds der Probe, in das maschinelle Lernsystem; und Variieren der Teilbereiche der Probe, die gescannt werden, und/oder der Reihenfolge des Scannens der Teilbereiche der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße. Vorteilhaft hieran ist, dass das maschinelle Lernsystem schnell und technisch einfach mittels
bestärkendem Lernen trainiert wird, um ein möglichst optimales Scanmuster zu bestimmen. Ein optimales Scanmuster kann insbesondere ein Scanmuster sein, das bei niedriger Zeitdauer zum Scannen mit möglichst geringer Strahlenbelastung der Probe beim Scannen eine möglichst exakte bzw. präzise Rekonstruktion des Gesamtbilds der Probe ermöglicht. Insbesondere kann bei dem bestärkendem Lernen (auch Reinforcement Learning genannt) bei jedem Schritt eine Belohnung oder Bestrafung hinsichtlich des zu minimierenden bzw. zu maximierenden Gütemaßes (Zeitdauer des Scans, Strahlenbelastung, Qualität bzw. Exaktheit der Rekonstruktion des Gesamtbilds), insbesondere automatisiert, vergeben werden. Das Variieren der Teilbereiche kann mittels eines Rastermikroskops durchgeführt werden oder kann durch Simulation des Scannens von Teilbereichen auf Grundlage eines Gesamtbilds durchgeführt werden.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgenden Schritt: Eingeben von Informationen über die Probe, z.B. die Anzahl der Elemente der Probe, die Größe der Elemente der Probe und/oder die Art der Probe, und/oder über das Rastermikroskop und/oder über den Nutzungszweck des rekonstruierten Gesamtbilds in das maschinelle Lernsystem zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden. Durch das Eingeben der Informationen können die Teilbereiche, die vom Rastermikroskop gescannt werden, noch besser bzw. effizienter bestimmt werden. Das maschinelle Lernsystem kann aufgrund der eingegebenen
Informationen (sogenannte Kontextinformationen) die Teilbereiche besser bestimmen.
Insbesondere muss durch das Eingeben der Informationen das maschinelle Lernsystem nicht von vollständig unbekannten gescannten Daten der Teilbereiche, die zum
Rekonstruieren des Gesamtbilds verwendet werden, ausgehen. Das maschinelle
Lernsystem kann insbesondere davon ausgehen, dass die Daten der Teilbereiche nicht aus vollständig zufälligen Informationen bzw. Daten besteht.
Gemäß einer Ausführungsform des ersten Verfahrens wird vor dem Scannen der
Teilbereiche der Probe ein Übersichtsbild der Probe in das maschinelle Lernsystem zum verbesserten Bestimmen der Teilbereiche, die von dem Rastermikroskop gescannt werden, eingegeben. Hierdurch kann das maschinelle Lernsystem Teilbereiche der Probe, die eine besonders hohe Informationsdichte aufweisen (z.B. Rändern von Elementen, Teilbereiche, in denen Elemente vorhanden sind etc.) bereits vor dem Bestimmen der Teilbereiche identifizieren. Somit kann ein noch effizienteres Scanmuster durch das maschinelle
Lernsystem bestimmt werden.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems mittels unüberwachtem Lernen: Eingeben von nicht-rekonstruierten Gesamtbildern von Proben in das maschinelle
Lernsystem; und Bestimmen der Teilbereiche der Probe, die eine besonders hohe
Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten
Gesamtbilds mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden. Vorteilhaft hieran ist, dass keine gescannten Teilbereiche der Probe in das maschinelle Lernsystem zum Trainieren eingegeben werden müssen. Es werden lediglich gescannte Gesamtbilder der Probe in das maschinelle Lernsystem eingegeben, das, z.B. mittels eines Autoencoders, trainiert wird, ein möglichst effizientes Scanmuster zu bestimmen. Vorteilhaft hieran ist, dass wenig bis kein externes Wissen bzw. Expertenwissen zum Trainieren des maschinellen Lernsystems benötigt wird.
Gemäß einer Ausführungsform des zweiten Verfahrens umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems zum verbesserten
Rekonstruieren des rekonstruierten Gesamtbilds aus den Daten der gescannten Teilbereiche der Probe mittels überwachtem Lernen: Eingeben von Daten von gescannten Teilbereichen, insbesondere simulierten gescannten Teilbereichen, der Probe als Trainingsdaten in das maschinelle Lernsystem; und Vergleichen des mittels des maschinellen Lernsystems aus den Trainingsdaten rekonstruierten Gesamtbilds der Probe mit einem nicht-rekonstruierten Gesamtbild der Probe zum Trainieren des maschinellen Lernsystems zum verbesserten Rekonstruieren des Gesamtbilds aus den Daten der gescannten Teilbereiche der Probe. Durch dieses überwachte Lernen kann das maschinelle Lernsystem schnell und technisch einfach zum verbesserten Rekonstruieren, d.h. einem möglichst exakten bzw. präzisen Rekonstruieren des Gesamtbilds, trainiert werden.
Gemäß einer Ausführungsform des zweiten Verfahrens werden zunächst Teilregionen des Gesamtbilds im Wesentlichen unabhängig voneinander aus den Daten der gescannten Teilbereiche der Probe rekonstruiert, und anschließend werden die Teilbereiche zu einem rekonstruierten Gesamtbild zusammengesetzt. Hierdurch kann die Rekonstruktion des Gesamtbilds in einem Computer parallelisiert, d.h. auf mehrere Prozessoren, verteilt werden. Somit kann das Gesamtbild schneller und/oder durch aufwändigere Rechnungen in der gleichen Zeit rekonstruiert werden.
Gemäß einer Ausführungsform des ersten bzw. des zweiten Verfahrens ist oder wird das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten
Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds aus den gescannten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige
Optimierung des Scanmusters, d.h. welche Teilbereiche der Probe bzw. welche Teilbereiche in welcher Reihenfolge gescannt werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Scanmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Scanmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Verfahrens zum Rekonstruieren des Gesamtbilds die Bestimmung des Scanmuster beeinflusst wird. Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des Gesamtbilds, d.h. aus bereits wenigen Daten von gescannten Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Scanmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer des Scans scannt. Folglich kann das hierdurch trainierte maschinelle Lernsystem besonders effizient ein Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Gemäß einer Ausführungsform des Systems ist das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des Gesamtbilds der Probe aus den gescannten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige Optimierung des Scanmuster, d.h. welche
Teilbereiche der Probe in welcher Reihenfolge gescannt werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Scanmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Scanmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Schritts zum
Rekonstruieren des Gesamtbilds die Bestimmung des Scanmuster beeinflusst wird.
Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des
Gesamtbilds, d.h. aus bereits wenigen Daten von gescannten Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Scanmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer des Scans scannt. Folglich kann das System bzw. das trainierte maschinelle Lernsystem besonders effizient ein Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Gemäß einer Ausführungsform des Systems ist das System ausgebildet, zunächst
Teilregionen des Gesamtbilds im Wesentlichen unabhängig voneinander aus den Daten der gescannten Teilbereiche der Probe zu rekonstruieren, und anschließend die Teilbereiche zu einem rekonstruierten Gesamtbild zusammenzusetzen. Hierdurch kann in dem System die Rekonstruktion des Gesamtbilds in einem Computer parallelisiert werden bzw. sein, d.h. auf mehrere Prozessoren, verteilt werden bzw. sein. Somit kann das Gesamtbild schneller und/oder durch aufwändigere Rechnungen in der gleichen Zeit rekonstruiert werden.
Unter einem effizienten/optimalen Scanmuster bzw. effizienten/optimaler Bestimmung der Teilbereiche, die vom Rastermikroskop gescannt werden, ist insbesondere ein Scanmuster bzw. eine Bestimmung von zu scannenden Teilbereichen zu verstehen, das bzw. die bei möglichst geringer Strahlenbelastung, bei möglichst geringer Fläche der Probe, die gescannt wird, und/oder bei möglichst schneller Ausführung des Scannens ein möglichst zutreffendes Gesamtbild der Probe aus den gescannten Teilbereichen rekonstruiert. Ein möglichst zutreffendes Gesamtbild der Probe enthält im Wesentlichen keine Rekonstruktionsartefakte, weist eine besonders hohe Auflösung auf und/oder entspricht möglichst einem Bild der Probe, das durch einen vollständigen Scan der Probe gewonnen wird. Hierbei kann insbesondere ein überwachtes Lernen zum Trainieren des maschinellen Lernsystems verwendet werden. Dies bedeutet, dass ein Übersichtsbild der Probe und/oder Informationen über die Art oder den Zustand der Probe (manuell oder automatisiert) in das maschinelle Lernsystem zusammen mit einem vorgegebenen (insbesondere nicht-rekonstruierten) Gesamtbild in das maschinelle Lernsystem eingegeben werden. Das maschinelle
Lernsystem wird nun darauf trainiert aus den Eingangsdaten ein Gesamtbild zu
rekonstruieren, das möglichst exakt dem vorgegebenen Gesamtbild entspricht, wobei zugleich, d.h. in einem Optimierungsprozess, das Scanmuster möglichst optimal bestimmt wird und ein Rekonstruieren des Gesamtbilds der Probe aus den gescannten Teilbereichen der Probe optimiert wird.
Wie exakt bzw. zutreffend das rekonstruierte Gesamtbild einem bzw. dem tatsächlichen Gesamtbild entspricht kann auf verschiedene Weisen bestimmt werden. Beispielsweise kann der Index struktureller Ähnlichkeit (englisch structural similarity, SSIM) zwischen dem rekonstruierten Gesamtbild und einem nicht-rekonstruierten Gesamtbild (das z.B. aus einem vollständigen Scan der Probe bestimmt wurde) berechnet bzw. bestimmt werden und als Gütemaß bzw. Wert für die Exaktheit bzw. die Ähnlichkeit bzw. die Übereinstimmung zwischen dem rekonstruierten Gesamtbild und dem tatsächlichen Gesamtbild der Probe verwendet werden. Eine weitere Möglichkeit hierfür ist das Spitzen-Signal-Rausch-Verhältnis (englisch Peak signal-to-noise ratio, PSNR).
Beim Trainieren des maschinellen Lernsystems kann insbesondere eine bestimmte
Eigenschaft (z.B. Scanzeit, Rekonstruktionsqualität des Gesamtbilds, Strahlenbelastung der Probe während des Scannens) unter Berücksichtigung einer anderen Eigenschaft (z.B. Strahlenbelastung der Probe während des Scannens, Rekonstruktionsqualität des
Gesamtbilds, Scanzeit) optimiert werden. Z.B. wird das maschinelle Lernsystem auf eine möglichst hohe Rekonstruktionsqualität des Gesamtbilds, d.h. möglichst exakte
Übereinstimmung mit einem Bild einer Probe, das durch vollständiges Scannen der Probe gewonnen wurde, bei vorgegebener maximaler Scanzeit und/oder vorgegebener maximaler Strahlenbelastung optimiert.
Beim gemeinsamen Optimieren des Bestimmens des Scanmusters bzw. der zu scannenden Teilbereiche der Probe und des Rekonstruieren des Gesamtbilds der Probe bzw. beim zugleich stattfindenden Optimieren des Bestimmens des Scanmusters und der
Rekonstruktion des Gesamtbilds können insbesondere alle Parameter des Bestimmens des Scanmusters und des Rekonstruierens des Gesamtbilds der Probe im Rahmen eines End- to-End-Lernprinzips simultan bzw. zugleich trainiert werden.
Die Beeinflussung der Rekonstruktion des Gesamtbilds durch das Scanmuster bzw. des Bestimmens des Scanmusters und die Beeinflussung der Scanmusterbestimmung durch die Rekonstruktion des Gesamtbilds kann im Falle von Deep-Learning/neuronalen Netzen beispielsweise erreicht werden durch:
- Backpropagation bzw. Fehlerrückführung
Hierbei kann das Scanmuster als Zwischenrepräsentation (Zwischenschicht) interpretiert werden und es kann ein einzelnes neuronales Netz vorhanden sein bzw. entworfen werden (das sowohl die Scanmusterbestimmung als auch die Rekonstruktion des Gesamtbilds in einem einzigen neuronalen Netz umfasst), dessen Parameter mittels Backpropagation simultan und in einer gemeinsamen Loss-Funktion optimiert werden. Vorteil hierbei ist, dass der Fehler, welcher durch die Rekonstruktion des Gesamtbilds der Probe in das Netz zurückgegeben wird, auch den Teil des neuronalen Netzes, welcher für die
Scanmusterbestimmung zuständig ist, erreicht und die Rekonstruktion des Gesamtbilds der Probe verbessert bzw. Rekonstruktionsfehler vermindert. Die gemeinsame Optimierung kann mittels überwachtem Lernen, unüberwachtem Lernen und/oder bestärkendem Lernen trainiert werden.
- Weight-Sharing Hierbei kann es ein neuronales Netz für das Bestimmen des Scanmusters bzw. der zu scannenden Teilbereiche der Probe und ein neuronales Netz für die Rekonstruktion des Gesamtbilds der Probe geben. Diese beiden neuronalen Netze können sich bestimmte Parameter (Gewichte) bzw. einen Teil der Parameter (Gewicht) teilen und sich somit auch gegenseitig unterstützen/austauschen.
Eine weitere Möglichkeit des gleichzeitigen Optimierens bzw. Trainierens des maschinellen Lernsystems hinsichtlich der Scanmuster bzw. zu scannenden Teilbereiche der Probe und hinsichtlich der Rekonstruktion des Gesamtbilds der Probe ist, die gemeinsame Optimierung iterativ zu gestalten. Hierbei wird schrittweise immer ein Teil (Bestimmen des Scanmusters oder Rekonstruieren des Gesamtbilds der Probe) als gegeben angenommen und der andere Teil auf Grundlage des gegebenen Teils optimiert. Anschließend folgt der Wechsel, bei welchem der zuvor optimierte Teil als gegeben angenommen wird und der erste Teil optimiert wird. Dieser Prozess kann mehrmals wiederholt werden, insbesondere kann dieser Prozess hinreichend oft wiederholt werden, bis ein bestimmtes vorgegebenes Kriterium erreicht ist (z.B. eine vorgegebene Anzahl an Wiederholungen bzw. Iterationen, eine maximale Scanzeit, eine maximal zu scannende Fläche der Probe, eine maximale
Strahlenbelastung der Probe und/oder eine Mindestrekonstruktionsqualität des Gesamtbilds der Probe und/oder räumliche bzw. zeitliche Auflösung des rekonstruierten Gesamtbilds der Probe und/oder eine Stagnation erreicht ist, d.h. bei mehreren aufeinanderfolgenden Wiederholungen bzw. Iterationen die Veränderungen unterhalb eines vorgegebenen
Mindestwerts liegen). Dieses Vorgehen beschreibt eine semi-simultane Optimierung der Parameter beider Teile (Bestimmen des Scanmusters und Rekonstruieren des Gesamtbilds der Probe), die auch eine Art des zeitgleichen bzw. simultanen Optimierens zu verstehen ist, und die einem Expectation-Maximization-Algorithmus bzw. einem Estimation-Maximization- Algorithmus ähnlich ist.
Das Abschätzen der nicht-gescannten Teilbereiche der Probe kann insbesondere durch Berechnen von Schätzwerten bzw. Werten oder ähnlichem durchgeführt werden.
Einer weiteren vorliegenden Erfindung liegt die Aufgabe zu Grunde, ein Verfahren bzw. eine Vorrichtung bzw. ein System aufzuzeigen, mittels dem bzw. der für ein Mikroskop
automatisiert zu erfassende Teilbereiche der Probe bestimmt werden können. Zudem kann das Gesamtbild der Probe aus den erfassten Teilbereichen der Probe rekonstruiert werden kann.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 16, ein Verfahren nach Anspruch 23, ein Computerprogrammprodukt nach Anspruch 26, ein computerlesbares Medium nach Anspruch 27, ein System nach Anspruch 28 und ein System nach Anspruch 30 gelöst.
Insbesondere wird diese Aufgabe durch ein Verfahren zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeld-Mikroskops, gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Erfassens der Teilbereiche der Probe, mittels eines maschinellen
Lernsystems, wobei das maschinelle Lernsystem mittels überwachtem Lernen,
unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, trainiert ist; und - Erfassen der bestimmten Teilbereiche der Probe mittels des Mikroskops.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Mikroskop erfasst werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden. Durch das trainierte maschinelle Lernsystem werden besonders effiziente Erfassungsmuster, d.h. welche Teilbereiche der Probe erfasst werden, schnell und technisch einfach bestimmt. Die besonders effizienten Erfassungsmuster können sich beispielsweise durch eine geringe Zeit, die für das Erfassen benötigt wird, durch eine besonders geringe Strahlenbelastung der Probe während des Erfassens der Teilbereiche oder ähnliche Eigenschaften auszeichnen. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird diese Aufgabe auch durch ein Verfahren zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der erfassten Teilbereiche der Probe, insbesondere ein Verfahren gemäß dem zwei Absätze zuvor beschriebenen
Verfahren, gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der
Teilbereiche der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Erfassens der Teilbereiche der Probe; - Erfassen der Teilbereiche der Probe mittels des Mikroskops; - Eingeben der Daten der erfassten Teilbereiche in ein maschinelles Lernsystem; und - Rekonstruieren des
Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht-erfasste Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden, wobei das maschinelle Lernsystem mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe trainiert ist.
Ein Vorteil hiervon ist, dass das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert wird. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einer Gesamterfassung bzw. einer vollständigem Erfassung der Probe. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird die Aufgabe auch durch ein Computerprogrammprodukt gelöst, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, eines der obengenannten Verfahren auszuführen.
Insbesondere wird die Aufgabe auch durch ein computerlesbares Medium gelöst, auf dem das Computerprogrammprodukt gespeichert ist.
Insbesondere wird die Aufgabe auch durch ein System zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, gelöst, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Bestimmen der
Teilbereiche der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Erfassens der Teilbereiche der Probe, mittels des maschinellen Lernsystems.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Mikroskop erfasst werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden können. Durch das trainierte maschinelle Lernsystem werden besonders effiziente Erfassungsmuster, d.h. welche Teilbereiche der Probe erfasst werden, schnell und technisch einfach bestimmt. Die besonders effizienten Erfassungsmuster können sich beispielsweise durch eine geringe Zeit, die für das Erfassen benötigt wird, durch eine besonders geringe Strahlenbelastung der Probe während des Erfassens der Teilbereiche oder ähnliche Eigenschaften auszeichnen. Bei diesem System wird nach dem stattgefundenen Training kein menschlicher bzw.
manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird die Aufgabe auch durch ein System zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der erfassten Teilbereichen der Probe, insbesondere ein System wie zwei Absätze zuvor beschrieben, gelöst, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen,
unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Rekonstruieren des Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht-erfasste Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden.
Ein Vorteil hiervon ist, dass das System das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einer Gesamterfassung bzw. einer vollständiger Erfassung der Probe. Es wird bei diesem System nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen. Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgenden Schritt: Rekonstruieren des Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe, wobei nicht-erfasste Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe abgeschätzt werden.
Vorteilhaft hieran ist, dass eine besonders präzise bzw. zutreffende Rekonstruktion des Gesamtbilds der Probe erreicht wird.
Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen
Lernsystems mittels bestärkendem Lernen: Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Erfassen der Teilbereiche und/oder der Gesamtstrahlenbelastung der Probe beim Erfassen der Teilbereiche der Probe und/oder der Qualität des rekonstruierten Gesamtbilds der Probe, in das maschinelle Lernsystem; und Variieren der Teilbereiche der Probe, die erfasste werden, und/oder der Reihenfolge des Erfassens der Teilbereiche der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße. Vorteilhaft hieran ist, dass das maschinelle Lernsystem schnell und technisch einfach mittels bestärkendem Lernen trainiert wird, um ein möglichst optimales Erfassungsmuster zu bestimmen. Ein optimales Erfassungsmuster kann insbesondere ein Erfassungsmuster sein, das bei niedriger Zeitdauer zum Erfassen mit möglichst geringer Strahlenbelastung der Probe beim Erfassen eine möglichst exakte bzw. präzise Rekonstruktion des Gesamtbilds der Probe ermöglicht. Insbesondere kann bei dem bestärkendem Lernen (auch Reinforcement Learning genannt) bei jedem Schritt eine Belohnung oder Bestrafung hinsichtlich des zu minimierenden bzw. zu maximierenden Gütemaßes (Zeitdauer der Erfassung, Strahlenbelastung, Qualität bzw. Exaktheit der Rekonstruktion des Gesamtbilds), insbesondere automatisiert, vergeben werden. Das Variieren der Teilbereiche kann mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, durchgeführt werden oder kann durch Simulation des Erfassens von Teilbereichen auf Grundlage eines Gesamtbilds durch geführt werden.
Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen wird vor dem Erfassen der Teilbereiche der Probe ein Übersichtsbild der Probe in das
maschinelle Lernsystem zum verbesserten Bestimmen der Teilbereiche, die von dem Mikroskop erfasst werden, eingegeben. Hierdurch kann das maschinelle Lernsystem Teilbereiche der Probe, die eine besonders hohe Informationsdichte aufweisen (z.B.
Rändern von Elementen, Teilbereiche, in denen Elemente vorhanden sind etc.) bereits vor dem Bestimmen der Teilbereiche identifizieren. Somit kann ein noch effizienteres Erfassungsmuster durch das maschinelle Lernsystem bestimmt werden.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgenden Schritt: Rekonstruieren des Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe und dem Übersichtsbild. Mit anderen Worten kann das Gesamtbild auf Grundlage einer Kombination der Daten der erfassten Teilbereiche und dem
Übersichtsbild rekonstruiert werden. Vorteilhaft hieran ist, dass ein besonders präzises Gesamtbild rekonstruiert werden kann. Beispielsweise kann, wenn das Übersichtsbild eine niedrige Auflösung aufweist und die erfassten Teilbereiche eine höhere Auflösung aufweisen, ein Gesamtbild mittels der erfassten Teilbereiche und des Übersichtsbilds rekonstruiert werden, das ein präziseres Abbild der Probe darstellt, als auf Grundlage der erfassten Teilbereiche alleine.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Übersichtsbild ein rekonstruiertes Gesamtbild der Probe umfasst, insbesondere ist das Übersichtsbild ein rekonstruiertes Gesamtbild der Probe. Vorteilhaft hieran ist, dass das Verfahren iterativ angewendet werden kann. Dies bedeutet, dass nach einem ersten Durchlaufen des
Bestimmens der Teilbereiche, des Erfassens der Teilbereiche und des Rekonstruierens des Gesamtbilds das rekonstruierte Gesamtbild als Übersichtsbild in das maschinelle
Lernsystem eingegeben wird und erneut zu erfassende Teilbereiche bestimmt werden, die bestimmten Teilbereiche durch das Mikroskop erfasst werden und anschließend ein
Gesamtbild rekonstruiert wird. Die Anzahl an Iterationen kann zwei, drei oder mehr betragen. Auf diese Weise kann ein besonders präzises bzw. zutreffendes Gesamtbild der Probe rekonstruiert werden. Beim erneuten Schritt des Rekonstruierens des Gesamtbilds kann neben den erfassten Teilbereichen auch das zuvor (bei einer vorhergehenden Iteration erzeugte) rekonstruierte Gesamtbild in die Rekonstruktion des Gesamtbilds einfließen.
Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen
Lernsystems mittels unüberwachtem Lernen: Eingeben von nicht-rekonstruierten
Gesamtbildern von Proben in das maschinelle Lernsystem; und Bestimmen der Teilbereiche der Probe, die eine besonders hohe Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten Gesamtbilds mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden. Vorteilhaft hieran ist, dass keine erfassten Teilbereiche der Probe in das maschinelle Lernsystem zum Trainieren eingegeben werden müssen. Es werden lediglich erfasste Gesamtbilder der Probe in das maschinelle Lernsystem eingegeben, das, z.B. mittels eines Autoencoders, trainiert wird, ein möglichst effizientes Erfassungsmuster zu bestimmen. Vorteilhaft hieran ist, dass wenig bis kein externes Wissen bzw. Expertenwissen zum Trainieren des maschinellen Lernsystems benötigt wird.
Gemäß einer Ausführungsform des zweiten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen
Lernsystems zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds aus den Daten der erfassten Teilbereiche der Probe mittels überwachtem Lernen: Eingeben von Daten von erfassten Teilbereichen, insbesondere simulierten erfassten Teilbereichen, der Probe als Trainingsdaten in das maschinelle Lernsystem; und Vergleichen des mittels des maschinellen Lernsystems aus den Trainingsdaten rekonstruierten Gesamtbilds der Probe mit einem nicht-rekonstruierten Gesamtbild der Probe zum Trainieren des maschinellen Lernsystems zum verbesserten Rekonstruieren des Gesamtbilds aus den Daten der erfassten Teilbereiche der Probe. Durch dieses überwachte Lernen kann das maschinelle Lernsystem schnell und technisch einfach zum verbesserten Rekonstruieren, d.h. einem möglichst exakten bzw. präzisen Rekonstruieren des Gesamtbilds, trainiert werden.
Gemäß einer Ausführungsform des zweiten Verfahrens zum Erfassen von Teilbereichen ist oder wird das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds aus den erfassten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige
Optimierung des Erfassungsmusters, d.h. welche Teilbereiche der Probe in welcher
Reihenfolge erfasst werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Erfassungsmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Erfassungsmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Schritts zum Rekonstruieren des
Gesamtbilds die Bestimmung des Erfassungsmusters beeinflusst wird. Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des Gesamtbilds, d.h. aus bereits wenigen Daten von erfassten Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Erfassungsmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer der Erfassung erfasst. Folglich kann das System bzw. das trainierte maschinelle Lernsystem besonders effizient ein Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Gemäß einer Ausführungsform des ersten Systems zum Erfassen von Teilbereichen ist das System zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der erfassten
Teilbereiche der Probe ausgebildet, wobei das System zum Abschätzen nicht-erfasster Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe ausgebildet ist. Ein Vorteil hiervon ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Gemäß einer Ausführungsform des zweiten Systems zum Erfassen von Teilbereichen ist das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten
Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des Gesamtbilds der Probe aus den erfassten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige Optimierung des Erfassungsmuster, d.h. welche Teilbereiche der Probe in welcher Reihenfolge erfasst werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Erfassungsmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Erfassungsmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Schritts zum Rekonstruieren des Gesamtbilds die Bestimmung des Erfassungsmusters beeinflusst wird. Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des Gesamtbilds, d.h. aus bereits wenigen Daten von erfassten
Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Erfassungsmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer der Erfassung erfasst. Folglich kann das System bzw. das trainierte maschinelle Lernsystem besonders effizient ein
Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Unter einem effizienten/optimalen Erfassungsmuster bzw. effizienten/optimaler Bestimmung der Teilbereiche, die vom Mikroskop, insbesondere vom Weitfeldmikroskop, erfasst werden, ist insbesondere ein Erfassungsmuster bzw. eine Bestimmung von zu erfassenden
Teilbereichen zu verstehen, das bzw. die bei möglichst geringer Strahlenbelastung, bei möglichst geringer Fläche der Probe, die erfasst wird, und/oder bei möglichst schneller Ausführung des Erfassens ein möglichst zutreffendes Gesamtbild der Probe aus den erfassten Teilbereichen rekonstruiert. Ein möglichst zutreffendes Gesamtbild der Probe enthält im Wesentlichen keine Rekonstruktionsartefakte, weist eine besonders hohe Auflösung auf und/oder entspricht möglichst einem Bild der Probe, das durch eine vollständige Erfassung der Probe gewonnen wird. Hierbei kann insbesondere ein
überwachtes Lernen zum Trainieren des maschinellen Lernsystems verwendet werden. Dies bedeutet, dass ein Übersichtsbild der Probe und/oder Informationen über die Art oder den Zustand der Probe (manuell oder automatisiert) in das maschinelle Lernsystem zusammen mit einem vorgegebenen (insbesondere nicht-rekonstruierten) Gesamtbild in das maschinelle Lernsystem eingegeben werden. Das maschinelle Lernsystem wird nun darauf trainiert aus den Eingangsdaten ein Gesamtbild zu rekonstruieren, das möglichst exakt dem
vorgegebenen Gesamtbild entspricht, wobei zugleich, d.h. in einem Optimierungsprozess, das Erfassungsmuster möglichst optimal bestimmt wird und ein Rekonstruieren des
Gesamtbilds der Probe aus den erfassten Teilbereichen der Probe optimiert wird.
Wie exakt bzw. zutreffend das rekonstruierte Gesamtbild einem bzw. dem tatsächlichen Gesamtbild entspricht kann auf verschiedene Weisen bestimmt werden. Beispielsweise kann der Index struktureller Ähnlichkeit (englisch structural similarity, SSIM) zwischen dem rekonstruierten Gesamtbild und einem nicht-rekonstruierten Gesamtbild (das z.B. aus einer vollständiger Erfassung der Probe bestimmt wurde) berechnet bzw. bestimmt werden und als Gütemaß bzw. Wert für die Exaktheit bzw. die Ähnlichkeit bzw. die Übereinstimmung zwischen dem rekonstruierten Gesamtbild und dem tatsächlichen Gesamtbild der Probe verwendet werden. Eine weitere Möglichkeit hierfür ist das Spitzen-Signal-Rausch-Verhältnis (englisch Peak signal-to-noise ratio, PSNR).
Beim Trainieren des maschinellen Lernsystems kann insbesondere eine bestimmte
Eigenschaft (z.B. Erfassungszeit, Rekonstruktionsqualität des Gesamtbilds,
Strahlenbelastung der Probe während des Erfassens) unter Berücksichtigung einer anderen Eigenschaft (z.B. Strahlenbelastung der Probe während des Erfassens,
Rekonstruktionsqualität des Gesamtbilds, Erfassungszeit) optimiert werden. Z.B. wird das maschinelle Lernsystem auf eine möglichst hohe Rekonstruktionsqualität des Gesamtbilds, d.h. möglichst exakte Übereinstimmung mit einem Bild einer Probe, das durch vollständiges Erfassen der Probe gewonnen wurde, bei vorgegebener maximaler Erfassungszeit und/oder vorgegebener maximaler Strahlenbelastung optimiert.
Beim gemeinsamen Optimieren des Bestimmens des Erfassungsmusters bzw. der zu erfassenden Teilbereiche der Probe und des Rekonstruieren des Gesamtbilds der Probe bzw. beim zugleich stattfindenden Optimieren des Bestimmens des Erfassungsmusters und der Rekonstruktion des Gesamtbilds können insbesondere alle Parameter des Bestimmens des Erfassungsmusters und des Rekonstruierens des Gesamtbilds der Probe im Rahmen eines End-to-End-Lernprinzips simultan bzw. zugleich trainiert werden.
Die Beeinflussung der Rekonstruktion des Gesamtbilds durch das Erfassungsmuster bzw. des Bestimmens des Erfassungsmusters und die Beeinflussung der
Erfassungsmusterbestimmung durch die Rekonstruktion des Gesamtbilds kann im Falle von Deep-Learning/neuronalen Netzen beispielsweise erreicht werden durch:
- Backpropagation bzw. Fehlerrückführung
Hierbei kann das Erfassungsmuster als Zwischenrepräsentation (Zwischenschicht) interpretiert werden und es kann ein einzelnes neuronales Netz vorhanden sein bzw.
entworfen werden (das sowohl die Erfassungsmusterbestimmung als auch die
Rekonstruktion des Gesamtbilds in einem einzigen neuronalen Netz umfasst), dessen Parameter mittels Backpropagation simultan und in einer gemeinsamen Loss-Funktion optimiert werden. Vorteil hierbei ist, dass der Fehler, welcher durch die Rekonstruktion des Gesamtbilds der Probe in das Netz zurückgegeben wird, auch den Teil des neuronalen Netzes, welcher für die Erfassungsmusterbestimmung zuständig ist, erreicht und die Rekonstruktion des Gesamtbilds der Probe verbessert bzw. Rekonstruktionsfehler vermindert. Die gemeinsame Optimierung kann mittels überwachtem Lernen,
unüberwachtem Lernen und/oder bestärkendem Lernen trainiert werden.
- Weight-Sharing
Hierbei kann es ein neuronales Netz für das Bestimmen des Erfassungsmusters bzw. der zu erfassenden Teilbereiche der Probe und ein neuronales Netz für die Rekonstruktion des Gesamtbilds der Probe geben. Diese beiden neuronalen Netze können sich bestimmte Parameter (Gewichte) bzw. einen Teil der Parameter (Gewicht) teilen und sich somit auch gegenseitig unterstützen/austauschen.
Eine weitere Möglichkeit des gleichzeitigen Optimierens bzw. Trainierens des maschinellen Lernsystems hinsichtlich der Erfassungsmuster bzw. zu erfassenden Teilbereiche der Probe und hinsichtlich der Rekonstruktion des Gesamtbilds der Probe ist, die gemeinsame Optimierung iterativ zu gestalten. Hierbei wird schrittweise immer ein Teil (Bestimmen des Erfassungsmusters oder Rekonstruieren des Gesamtbilds der Probe) als gegeben angenommen und der andere Teil auf Grundlage des gegebenen Teils optimiert.
Anschließend folgt der Wechsel, bei welchem der zuvor optimierte Teil als gegeben angenommen wird und der erste Teil optimiert wird. Dieser Prozess kann mehrmals wiederholt werden, insbesondere kann dieser Prozess hinreichend oft wiederholt werden, bis ein bestimmtes vorgegebenes Kriterium erreicht ist (z.B. eine vorgegebene Anzahl an Wiederholungen bzw. Iterationen, eine maximale Erfassungszeit, eine maximal zu erfassende Fläche der Probe, eine maximale Strahlenbelastung der Probe und/oder eine Mindestrekonstruktionsqualität des Gesamtbilds der Probe und/oder räumliche bzw. zeitliche Auflösung des rekonstruierten Gesamtbilds der Probe und/oder eine Stagnation erreicht ist, d.h. bei mehreren aufeinanderfolgenden Wiederholungen bzw. Iterationen die
Veränderungen unterhalb eines vorgegebenen Mindestwerts liegen). Dieses Vorgehen beschreibt eine semi-simultane Optimierung der Parameter beider Teile (Bestimmen des Erfassungsmusters und Rekonstruieren des Gesamtbilds der Probe), die auch eine Art des zeitgleichen bzw. simultanen Optimierens zu verstehen ist, und die einem Expectation- Maximization-Algorithmus bzw. einem Estimation-Maximization-Algorithmus ähnlich ist.
Das Abschätzen der nicht-erfassten Teilbereiche der Probe kann insbesondere durch Berechnen von Schätzwerten bzw. Werten oder ähnlichem durchgeführt werden.
Bevorzugte Ausführungsformen ergeben sich aus den Unteransprüchen. Nachfolgend wird die Erfindung anhand von Zeichnungen von Ausführungsbeispielen näher erläutert. Hierbei zeigen
Fig. 1 eine Probe umfassend vier Elemente, wobei sich die Probe auf einem Träger befindet;
Fig. 2 eine schematische Darstellung einer Ausführungsform des
erfindungsgemäßen Systems;
Fig. 3 ein erstes Scanmuster der Probe aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens; Fig. 4 ein zweites Scanmuster der Probe aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 5 ein drittes Scanmuster der Probe aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 6 ein viertes Scanmuster der Probe aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 7 eine punktweise vollständiges Abscannen einer Probe umfassend vier
Elemente, wobei sich die Probe auf einem Träger befindet, gemäß dem Stand der Technik;
Fig. 8 eine schematische Darstellung einer weiteren Ausführungsform des
erfindungsgemäßen Systems;
Fig. 9 ein fünftes Erfassungsmuster der Probe aus Fig. 1 gemäß einer
Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 10 ein sechstes Erfassungsmuster der Probe aus Fig. 1 gemäß einer
Ausführungsform des erfindungsgemäßen Verfahrens; und
Fig. 1 1 ein siebtes Erfassungsmuster der Probe aus Fig. 1 gemäß einer
Ausführungsform des erfindungsgemäßen Verfahrens.
Bei der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
Fig. 1 zeigt eine Probe 1 umfassend vier Elemente 5-8, wobei sich die Probe 1 auf einem Träger befindet. Die Probe 1 kann lebende Elemente, z.B. Zellen, umfassen, wobei die vier Elemente 5-8 jeweils eine Zelle darstellen. Auch vorstellbar ist, dass die Probe 1 unbelebt ist, d.h. die Probe 1 in Fig. 1 weist z.B. vier Eisensplitter auf.
Die Probe 1 bzw. Teilbereiche 10-15 der Probe 1 wird mittels eines Rastermikroskops, z.B. einem Laser-Scan-Mikroskop (LSM) oder einem Rasterelektronenmikroskop (engl. Scanning electron microscope, SEM) abgetastet bzw. gerastert bzw. gescannt.
Die Probe 1 wird jedoch üblicherweise nicht vollständig gescannt bzw. gerastert, sondern es werden lediglich Teilbereiche 10-15 der Probe 1 mittels des Rastermikroskops gescannt. Die Teilbereiche 10-15 der Probe 1 können punktförmig oder flächig sein. Die Teilbereiche 10-15 der Probe 1 können zusammenhängend sein oder sie können beabstandet zueinander sein.
Vorstellbar ist auch, dass die Probe 1 in drei Raumdimensionen gescannt wird. Hierbei kann die Probe 1 in einer oder mehreren Raumdimensionen nicht vollständig gescannt, sondern nur teilweise bzw. in Teilbereichen der Probe 1 gescannt werden. Auch ist denkbar, dass eine Probe 1 in zwei Raumdimensionen über die Zeit, d.h. mehrmals zu verschiedenen Zeitpunkten oder zeitlich kontinuierlich, gescannt wird. Teilbereiche hierbei können
Teilbereiche in einer oder zwei Raumdimensionen sein, und/ooder die Probe 1 wird in der Zeitdimension nur in Teilbereichen, d.h. zu bestimmten Zeitpunkten oder zu bestimmten Zeitperioden, gescannt. Somit findet beispielsweise kein kontinuierliches Scannen der Probe 1 statt, so dass die Probe 1 in zeitlicher Hinsicht nur in Teilbereichen gescannt wird. Diese Zeitpunkte bzw. Zeitperioden werden von dem trainierten maschinellen Lernsystem bestimmt.
Gleiches gilt für ein vierdimensionales Scannen der Probe 1 , in drei Raumdimensionen und in der Zeitdimension. Auch hierbei kann die Probe in einer oder mehreren der Dimensionen nur in Teilbereichen abgetastet bzw. gescannt werden. Beispielsweise wird die Probe 1 in zeitlicher Dimension nicht kontinuierlich oder quasi-kontinuierlich gescannt, sondern nur zu von dem maschinellen Lernsystem bestimmten Zeitpunkten bzw. Zeitperioden.
Die Daten 25 der von dem Rastermikroskop gescannten Teilbereiche 10-15 der Probe 1 werden anschließend verwendet, um aus diesen ein Gesamtbild 40 der Probe 1 zu rekonstruieren. Beim Rekonstruieren des Gesamtbilds 40 der Probe 1 werden die nicht- gescannten Teilbereiche 10-15 der Probe 1 aus den gescannten Teilbereichen 10-15 abgeschätzt bzw. berechnet. Somit wird aus den gescannten Teilbereichen 10-15 der Probe 1 auf die nicht-gescannten Teilbereiche 10-15 der Probe 1 geschlossen (sogenanntes compressed sensing).
Durch dieses compressed sensing kann in besonders kurzer Zeit ein Gesamtbild 40 der Probe 1 erstellt werden, da nicht die gesamte Probe 1 bzw. der gesamte Träger abgescannt wird, sondern nur ein Teil bzw. Teilbereiche hiervon.
Fig. 2 zeigt eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems 20. Das System 20 umfasst ein trainiertes maschinelles Lernsystem 30, das zum Bestimmen der Teilbereiche 10-15 der Probe 1 , die gescannt werden, bestimmt und aus den Daten 25 der gescannten Teilbereiche 10-15 ein Gesamtbild 40 der Probe 1 rekonstruiert.
Die Teilbereiche 10-15 der Probe 1 , die gescannt werden, d.h. das Scanmuster, werden mittels eines maschinellen Lernsystems 30 bestimmt. Auch die Reihenfolge der Teilbereiche 10-15, die gescannt werden, wird von dem maschinellen Lernsystem 30 bestimmt.
Das maschinelle Lernsystem 30 kann durch bestärkendes Lernen bzw. verstärkendes Lernen (Reinforcement Learning), überwachtes Lernen und/oder unüberwachtem Lernen trainiert sein oder werden, um die Teilbereiche 10-15 der Probe 1 , die gescannt werden, möglichst optimal zu bestimmen. Die optimale Bestimmung der zu scannenden Teilbereiche 10-15 kann mit dem Ziel einer möglichst geringen Zeit, die für das Scannen der Teilbereiche 10-15 benötigt wird, einer möglichst geringen Strahlenbelastung der Probe 1 , einer möglichst guten Rekonstruktion etc. durchgeführt werden. D.h. die genannten Eigenschaften sind jeweils die zu optimierende Größe.
Bei einem bestärkendem Lernen zum verbesserten Bestimmen bzw. möglichst optimalen Bestimmen der zu scannenden Teilbereiche 10-15 der Probe 1 werden von einem
menschlichen Experten ein oder mehrere Gütemaße in das maschinelle Lernsystem 30 eingegeben. Zudem wird in das maschinelle Lernsystem 30 eingegeben, dass bei jedem Schritt der Durchführung der Bestimmung der zu scannenden Teilbereiche 10-15 durch das maschinelle Lernsystem eine Belohnung und/oder eine Bestrafung vergeben werden und wie hoch die Belohnung bzw. Bestrafung ist. Beispielsweise braucht der Scan eines größeren Teilbereichs 10-15 länger als der Scan eines kleineren Teilbereichs 10-15 der Probe 1 , so dass bei letzterem ein Zeitmalus, d.h. eine Bestrafung, wobei die Höhe der Bestrafung des Schritts abhängig von der Fläche des Teilbereichs 10-15, hinzugefügt wird. Als weiteres Beispiel kann bei Bestrahlung einer größeren Fläche, da dies die Strahlenbelastung der Probe 1 erhöht, eine Bestrafung hinzugefügt werden. Auch bei längerer Bestrahlung kann eine Bestrafung hinzugefügt werden. Auch die Rekonstruktionsqualität des rekonstruierten Gesamtbilds 40, d.h. wie gut dieses rekonstruierte Gesamtbild 40 mit einem nicht- rekonstruierten Gesamtbild 40, das z.B. durch vollständige Rasterung bzw. einem vollständigen Scan der Probe 1 erstellt wurde, übereinstimmt, kann ein Gütemaß sein.
Durch simuliertes oder tatsächliches Scannen mittels eine Rastermikroskops versucht das maschinelle Lernsystem 30 auf Grundlage von Trainingsdaten von Proben 1 jeweils ein optimales Scanmuster zu bestimmen, d.h. ein Scanmuster, bei dem das Gütemaß möglichst gering (z.B. möglichst geringe Zeit) oder möglichst hoch (z.B. möglichst hohe
Rekonstruktionsqualität) ist. Hierbei wirkt ein vorgegebener Wert einer zweiten Größe z.B. die benötigte Zeit oder die maximale Gesamtfläche, die die zu scannenden Teilbereiche 10- 15 insgesamt aufweisen dürfen, als begrenzender Faktor, da ansonsten z.B. die gesamte Probe 1 gescannt wird, da dann die Rekonstruktionsqualität am größten bzw. am besten ist.
Möglich ist auch, dass bereits grob abgerasterte Proben 1 bzw. grob gescannte Proben 1 als Trainingsdaten in das maschinelle Lernsystem 30 eingegeben werden und das maschinelle Lernsystem 30 ein möglichst effizientes Scanmuster bestimmen soll.
Eine weitere Möglichkeit, das maschinelle Lernsystem 30 zum verbesserten Bestimmen der zu scannenden Teilbereiche 10-15 der Probe 1 sowie derer Reihenfolge zu trainieren, ist überwachtes Lernen. Hierbei wird von einem Menschen bzw. erfahrenen Anwender eine Trainingsmenge {(xi, yi), (x2, y2), (X3, yß),..}, wobei xn Informationen über die Probe 1 beinhaltet und das dazugehörige yn das vom menschlichen Experten jeweils zugeordnete Scanmuster bzw. die zu scannenden Teilbereiche 10-15 und deren Reihenfolge darstellen, vorgegeben. Das Scanmuster, das von dem Experten vorgegeben wird, kann aus einer fest vorgegeben Auswahl an Scanmustern entstammen (Klassifikationsproblem) oder z.B. als Binärbild angegeben sein.
x kann z.B. ein Übersichtsbild der Probe 1 (z.B. durch eine Übersichtskamera oder einen schnellen, groben Scan der Probe 1 erstellt), Angaben über die Art und/oder Zustand der Probe 1 (belebt, unbelebt etc.), wobei diese Angaben manuell in das maschinelle
Lernsystem 30 eingegeben werden können oder automatisiert bestimmt wurden, Art und Zustand des Rastermikroskops (z.B. die Hardwareausstattung) und/oder Informationen über den Verwendungszweck des rekonstruierten Gesamtbilds 40 der Probe 1 , d.h. welche Bildeigenschaften des Gesamtbilds 40 relevant sind, umfassen.
Das maschinelle Lernsystem 30 lernt aus den Trainingsdaten bzw. der Trainingsmenge eine Abbildung von xn nach yn, um anschließend für unbekannte x ein Scanmuster bzw. die zu scannenden Teilbereiche 10-15 einer (mehr oder minder unbekannten) Probe 1 derart zu bestimmen, dass das maschinelle Lernsystem 30 x möglichst gut auf das tatsächliche y abbildet.
Nach diesem überwachten Lernen ist das maschinelle Lernsystem 30 trainiert, um bei einer unbekannten Probe 1 ein möglichst gutes bzw. effizientes Scanmuster, d.h. welche
Teilbereiche 10-15 der Probe 1 in welcher Reihenfolge gescannt werden, zu bestimmen.
Eine dritte Möglichkeit des Trainierens des maschinellen Lernsystems 30 ist das
unüberwachte Lernen. Hierbei werden nur Gesamtbilder 40 der Probe 1 , insbesondere nicht- rekonstruierte Gesamtbilder 40 der Probe 1 , als Trainingsdaten in das maschinelle
Lernsystem 30 eingegeben. Beispielsweise mittels Autoencoder wird das maschinelle Lernsystem 30 auf den Gesamtbildern 40 trainiert. Aus dem sogenannten Bottleneck des Autoencoders, insbesondere der dünnsten Schicht eines Deep Autoencoders, kann das maschinelle Lernsystem 30 schließen, welche Teilbereiche 10-15 des Gesamtbilds 40 der Probe 1 und somit welche Teilbereiche 10-15 der Probe 1 selbst besonders wichtig sind bzw. eine besonders hohe Informationsdichte (z.B. einen Rand eines Elements 5-8 der Probe 1 beinhaltet) aufweisen. Hieraus leitet das maschinelle Lernsystem 30 ab, welches
Scanmuster besonders optimal bzw. effizient ist. Insbesondere lernt das maschinelle
Lernsystem 30 die Teilbereiche 10-15 der Probe 1 zu bestimmen, die eine hohe Informationsdichte aufweisen. Bei unbekannten Proben bestimmt das maschinelle
Lernsystem 30 somit die Teilbereiche 10-15 der Probe 1 , die besonders hilfreich bei der Rekonstruktion des Gesamtbilds 40 der Probe 1 sind, da diese Teilbereiche 10-15 eine besonders hohe Informationsdichte aufweisen (z.B. einen Rand eines Elements 5-8 der Probe 1 ). Trainingsziel hierbei ist somit, Teilbereiche 10-15 mit möglichst hoher
Informationsdichte zu bestimmen.
Das maschinelle Lernsystem 30 wird auf eine dieser Weisen mittels Trainingsdaten trainiert. Anschließend bestimmt das maschinelle Lernsystem 30, wenn eine Probe 1 zu scannen ist, welche Teilbereiche 10-15 der Probe 1 in welcher Reihenfolge von dem Rastermikroskop gescannt werden. Hierbei können Informationen über die Probe 1 , z.B. wie viele Elemente 5- 8 die Probe 1 umfasst, wie groß die Elemente 5-8 der Probe 1 sind, ob sich die Elemente 5-8 der Probe 1 bewegen etc., und/oder über das Rastermikroskop, z.B. welche
Strahlenbelastung das Rastermikroskop verursacht, wie lange das Scannen eines
Teilbereichs 10-15 einer vorgegebenen Fläche dauert etc., und/oder über den Zweck, für den das erstellte Gesamtbild 40, benötigt wird, z.B. ob das Gesamtbild 40 zum Erkennen von Details der Elemente 5-8 der Probe 1 benötigt wird, ob das Gesamtbild 40 zum Verfolgen von Bewegungen von Elementen 5-8 der Probe 1 benötigt wird, ob das Gesamtbild 40 zum Bestimmen der Anzahl der Elemente 5-8 der Probe 1 benötigt wird, etc., in das maschinelle Lernsystem 30 eingegeben werden.
Das Bestimmen der Teilbereiche kann Teilbereiche in einer der drei Raumdimension und/oder Teilbereiche in der Zeitdimension (d.h. Zeitpunkte und/oder Zeitperioden) umfassen. Diese Teilbereiche werden jeweils von dem maschinellen Lernsystem bestimmt.
Bei jedem der drei angegebenen Trainingsarten des maschinellen Lernsystems 30 kann sogenanntes Deep Learning angewandt bzw. verwendet werden. Insbesondere kann beim bestärkenden Lernen des maschinellen Trainingssystems sogenanntes Deep-Q-Learning verwendet werden. Beim überwachten Lernen kann insbesondere ein oder mehrere sogenannte Convolutional Neural Networks (CNNs) verwendet werden. Beim
unüberwachten Lernen kann insbesondere ein sogenannter Deep Autoencoder verwendet werden. Die Güte des Scanmusters bzw. der zu scannenden Teilbereiche 10-15 der Probe 1 , die von dem maschinellen Lernsystem 30 bestimmt werden, kann z.B. auch die
Rekonstruktionsqualität, d.h. die Qualität des rekonstruierten Gesamtbilds 40, umfassen. Beispielsweise wird das rekonstruierte Gesamtbild 40 der Probe 1 von einem Menschen angeschaut bzw. analysiert, ob es eine gewünschte Auflösung der Elemente 5-8 der Probe 1 aufweist und/oder ob es frei von Rekonstruktionsartefakten ist. Alternativ oder zusätzlich kann, wenn das rekonstruierte Gesamtbild 40 zum Verfolgen des Orts von Elementen 5-8 der Probe 1 über die Zeit verwendet wird, geprüft werden, ob das Gesamtbild 40 eine derart hohe Qualität bzw. Auflösung aufweist, dass die Verfolgung des Orts der Elemente 5-8 ohne weiteres möglich ist.
Das Gesamtbild 40 kann auch abhängig davon gescannt und/oder rekonstruiert werden, ob bzw. wie es danach manuell oder automatisiert weiterverarbeitet bzw. nachverarbeitet wird. Wenn die Nachverarbeitung bestimmte Bedingungen an das Gesamtbild 40 stellt, z.B. eine bestimmte Auflösung (in zeitlicher und/oder räumlicher Hinsicht) benötigt, kann das maschinelle Lernsystem die zu scannenden Teilbereiche entsprechend bestimmen und/oder das Gesamtbild entsprechend rekonstruieren.
U.a. folgende Informationen können in das maschinelle Lernsystem 30 zum Trainieren des maschinellen Lernsystem und/oder zum Bestimmen der zu scannenden Teilbereiche und/oder zum Rekonstruieren des Gesamtbilds der Probe aus den gescannten Teilbereichen eingegeben werden, entweder manuell von einem Menschen oder automatisiert von weiteren Vorrichtungen:
- Bauform, Gerätespezifikation, technische Möglichkeiten des verwendeten
Rastermikroskops, beispielsweise die Aufnahmegeschwindigkeit eines Scanmusters abhängig von den Hardwarekomponenten des Rastermikroskops (bei Laser-Scanning- Mikroskopen sind Sinusbewegungen üblicherweise besonders schnell ausführbar).
- Informationen über die Probe 1 , z.B. ob die Elemente 5-8 der Probe 1 regelmäßig oder unregelmäßig angeordnet sind, ob die Probe 1 einen bestimmten biologischen Zelltyp aufweist (dann kann ein Scanmuster mit der typischen Dichte der Probe 1 gewählt werden, das der Position und Größe der entsprechenden Zellen entspricht) und/oder Informationen über ortsabhängige/lokale Muster der Probe 1 (hierdurch kann Zeit beim Scannen der Probe 1 gespart werden sowie der Hintergrund der Probe 1 besonders gut unterdrückt werden).
- Verwendungszweck der Probe 1 , z.B. ob das Gesamtbild 40 der Probe 1 zum Navigieren und/oder Orientieren verwendet wird (dann kann ein schnelles detailarmes Gesamtbild 40 bevorzugt werden), ob Elemente 5-8 der Probe 1 über die Zeit verfolgt und/oder gezählt bzw. beobachtet werden sollen (dann können Gesamtbilder 40 mit geringen Details der Elemente 5-8 bevorzugt werden), ob nur bestimmte Bereiche der Probe 1 interessant sind, etc.
Das Scanmuster bzw. die zu scannenden Teilbereiche 10-15 der Probe 1 , die von dem maschinellen Lernsystem 30 bestimmt werden, können u.a. regulär (z.B. Sinusform,
Punktform, Streifenform, Schleifenform), stochastisch (z.B. Punkte, Streifen, Trajektorien) und/oder adaptiv (z.B. Suchen und Verfeinern, wobei basierend auf den Daten 25 der bereits gescannten Teilbereiche 10-15 der Probe 1 und/oder aus dem bereits rekonstruierten Teil des Gesamtbilds 40 der Probe 1 die weiter zu scannenden Teilbereiche 10-15 bestimmt werden) sein.
Aus den Daten 25, die das Rastermikroskop von bzw. aus den gescannten Teilbereichen 10- 15 der Probe 1 empfängt, wird das Gesamtbild 40 der Probe 1 mittels eines maschinellen Lernsystems 30 rekonstruiert. Das Gesamtbild 40 der Probe 1 entspricht dem Bild, das das Rastermikroskop empfangen bzw. erzeugen würde, wenn die Probe 1 komplett bzw. im Wesentlichen zu 100% gescannt wird.
Das maschinelle Lernsystem 30 zum Rekonstruieren des Gesamtbilds 40 der Probe 1 kann dasselbe maschinelle Lernsystem 30 sein, das zum Bestimmen der zu scannenden
Teilbereiche 10-15 der Probe 1 verwendet wurde.
Das maschinelle Lernsystem 30 kann zum Rekonstruieren des Gesamtbilds 40 der Probe 1 mittels überwachtem Lernen, unüberwachtem Lernen und/oder Reinforcement Learning trainiert werden bzw. sein. Beim Rekonstruieren des Gesamtbilds 40 mittels des maschinellen Lernsystems 30 können ein Übersichtsbild der Probe 1 und/oder Informationen über die Struktur bzw. das Muster der Probe 1 in das maschinelle Lernsystem 30 eingegeben werden.
Beim überwachten Lernen zum verbesserten Rekonstruieren des Gesamtbilds 40 der Probe 1 aus gescannten Teilbereichen 10-15 der Probe 1 werden Trainingsdaten in Form von Daten 25 von gescannten Teilbereichen 10-15 der Probe 1 in das maschinelle Lernsystem 30 eingegeben. Die gescannten Teilbereiche 10-15 können simulierte Daten 25 sein, die auf Grundlage eines nicht-rekonstruierten Gesamtbilds 40 erzeugt werden, oder echte
Aufnahmedaten eines Rastermikroskops sein. Zudem wird ein vollständiges Bild bzw. ein Gesamtbild 40 in das maschinelle Lernsystem 30 eingegeben. Das maschinelle Lernsystem 30 lernt anhand der Trainingsdaten, wie aus den Daten 25 der Teilbereiche 10-15 der Probe 1 ein möglichst optimales Gesamtbild 40 der Probe 1 rekonstruiert werden kann, da das nicht-rekonstruierte Gesamtbild 40 als Ziel bzw. Ideal ebenfalls in das maschinelle
Lernsystem 30 eingegeben wird. Ein möglichst optimales Gesamtbild 40 der Probe 1 weist keine Rekonstruktionsartefakte auf, d.h. keine rekonstruierten Elemente bzw. Teilelemente der Probe 1 an Stellen, an denen nicht tatsächlich ein Element der Probe 1 vorhanden ist, weist eine möglichst hohe Auflösung auf und entspricht im Wesentlichen einem Gesamtbild 40 der Probe 1 , das durch vollständigen Scan der Probe erstellt wird.
Die Modelle zum Rekonstruieren des Gesamtbilds 40, die von dem maschinellen Lernsystem 30 verwendet werden, können generisch sein (d.h. auf vermischten Daten 25 von
Teilbereichen 10-15 trainiert werden bzw. sein) oder auf speziellen Daten 25 trainiert sein bzw. werden, z.B. auf konkreten Proben 1 und/oder Probenarten und/oder Mikroskoptypen und/oder Verwendungszwecken des Gesamtbilds 40 etc.
Die beim Trainieren des maschinellen Lernsystem 30 zur verbesserten Rekonstruktion verwendeten Verfahren können insbesondere klassische Verfahren, wie z.B. Dictionary- Learning, Hauptkomponentenanalyse (PCA), und/oder Deep-Learning-Verfahren, wie z.B. Bild-auf-Bild-Netzwerke, bei denen die Daten 25 der gescannten Teilbereiche 10-15 direkt auf das rekonstruierte Gesamtbild 40 abgebildet werden, oder Decoder Netzwerke für ein eindimensionales Signal, welches als Eingabe die Daten 25 der gescannten Teilbereiche 10- 15 entlang der Scannertrajektorie bekommt und das eindimensionale Signal auf das nicht- rekonstruierte Gesamtbild 40 abbildet, sein. Möglich ist, dass das maschinelle Lernsystem 30 das Gesamtbild 40 direkt rekonstruiert, oder dass Teilregionen des Gesamtbilds 40 unabhängig voneinander rekonstruiert werden und anschließend das Gesamtbild 40 aus den Teilregionen zusammengesetzt wird. Dies erlaubt eine Parallelisierung der Rekonstruktion des Gesamtbilds 40.
Möglich ist auch, dass die Optimierung des Scanmusters, d.h. welche Teilbereiche 10-15 der Probe 1 in welche Reihenfolge diese gescannt werden, nicht unabhängig von der
Rekonstruktion des Gesamtbilds 40 aus den gescannten Teilbereichen 10-15 durchgeführt wird, sondern dies in einem Vorgang, d.h. jeweils voneinander abhängig, durchgeführt wird. Dies bedeutet, dass ein maschinelles Lernsystem 30 in einem Vorgang bzw. Prozess gleichzeitig darauf trainiert ist bzw. wird, die Teilbereiche 10-15, die gescannt werden, möglichst effizient zu bestimmen und die Rekonstruktion des Gesamtbilds 40 aus den gescannten Teilbereichen 10-15 möglichst effizient durchzuführen. Die Bestimmung des Scanmusters wird hierbei durch die Leistungsfähigkeit bzw. Qualität der Rekonstruktion des Gesamtbilds 40 beeinflusst wird.
Die Optimierung der Bestimmung des Scanmusters hängt somit von der Rekonstruktion des Gesamtbilds 40 aus den gescannten Teilbereichen 10-15 der Probe 1 ab und die
Optimierung der Rekonstruktion des Gesamtbilds 40 hängt von dem Bestimmen des
Scanmusters ab.
Hierbei können alle drei zuvor genannten Arten des Trainings des maschinellen Lernsystems 30 eingesetzt werden (überwachtes Lernen, unüberwachtes Lernen, bestärkendes Lernen).
Insbesondere kann das maschinelle Lernsystem 30 beim gleichzeitigen Optimieren der Teilbereiche 10-15 und der Rekonstruktion des Gesamtbilds 40 trainiert werden, indem lediglich jeweils nicht-rekonstruierte Gesamtbilder 40 und ein zu optimierendes Gütemaß eingegeben werden und das maschinelle Lernsystem 30 das optimale Scanmuster unter Berücksichtigung der Rekonstruktion des Gesamtbilds 40 und umgekehrt bestimmt.
Hierdurch wird das Ergebnis des maschinellen Lernsystems 30 gegenüber separaten Lernprozessen bzw. separaten Optimierungen, einmal für das Bestimmen der Teilbereiche 10-15 und einmal für die Rekonstruktion des Gesamtbilds 40 der Probe 1 aus den gescannten Teilbereichen 10-15, verbessert. Dies bedeutet insbesondere, dass gegenüber der voneinander unabhängigen Bestimmen der Teilbereiche 10-15 der Probe 1 und des Rekonstruieren des Gesamtbilds 40 bei einem gemeinsamen Bestimmen der Teilbereiche 10-15 und der Rekonstruktion des Gesamtbilds 40 z.B. weniger Scanzeit benötigt wird, eine geringe Fläche gescannt werden muss, eine geringere Strahlenbelastung der Probe vorhanden ist und/oder ein exakteres Gesamtbild 40 der Probe erstellt werden kann.
Das maschinelle Lernsystem 30 kann z.B. auf einem Computer softwaremäßig implementiert sein bzw. werden. Insbesondere kann das maschinelle Lernsystem 30 auf einer Grafikkarte ausgeführt werden bzw. implementiert sein.
Fig. 3-6 zeigen verschiedene Scanmuster bzw. Teilbereiche 10-15 der Probe 1 , die von dem Rastermikroskop gescannt werden, wobei die Scanmuster bzw. Teilbereiche 10-15 von dem maschinellen Lernsystem 30 bestimmt bzw. berechnet wurden.
Fig. 3 zeigt ein erstes Scanmuster der Probe 1 aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. Bei diesem Scanmuster wird nur ein Teilbereich 10-15 der Probe 1 bzw. des Trägers gescannt. Die Teilbereiche 10-15 sind zusammenhängend. Die Probe 1 wird in miteinander verbundenen zueinander beabstandeten Linien abgefahren. Durch das maschinelle Lernsystem 30 wird beispielsweise ein solches Scanmuster bestimmt.
Fig. 4 zeigt ein zweites Scanmuster der Probe 1 aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. Die schwarzen Vierecke zeigen die Teilbereiche 10-15 der Probe 1 , die vom maschinellen Lernsystem 30 bestimmt wurden, von dem
Rastermikroskop gescannt bzw. abgetastet zu werden. Durch das maschinelle Lernsystem 30 wird beispielsweise ein solches Scanmuster bestimmt.
Fig. 5 zeigt ein drittes Scanmuster der Probe 1 aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. In Fig. 4 wird ein adaptives Scanmuster gezeigt, wobei das adaptive Scanmuster linienförmig ist und bei einem Wechsel vom Hintergrund zu einem Element 5-8, das Element 5-8, insbesondere dessen Ränder, näher untersucht, indem die Linie des Rastermusters bzw. Scanmusters mehrfach über den Rand des Elements 5-8 hin- und herfährt. Durch das trainierte maschinelle Lernsystem 30 wird beispielsweise ein solches Scanmuster bestimmt.
Fig. 6 zeigt ein viertes Scanmuster der Probe 1 aus Fig. 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. Das maschinelle Lernsystem 30 hat bestimmt, dass es am effizientesten ist (hinsichtlich des Scanvorgangs und/oder hinsichtlich der Rekonstruktion des Gesamtbilds 40 der Probe 1 ), die Probe 1 bzw. den Träger mit der Probe 1 in sinusförmigen Linien als Scanmuster abzufahren.
Fig. 8 zeigt eine schematische Darstellung einer weiteren Ausführungsform des
erfindungsgemäßen Systems 60 zum Erfassen von Teilbereichen 50-55 mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops.
Das System 60 umfasst ein trainiertes maschinelles Lernsystem 30, das zum Bestimmen der Teilbereiche 50-55 der Probe 1 , die erfasst werden, ausgebildet ist. Zudem ist es möglich, dass das System 60 zusätzlich aus den Daten 65 der erfassten Teilbereiche 50-55 ein Gesamtbild 40 der Probe 1 rekonstruiert.
Die Teilbereiche 50-55 der Probe 1 , die erfasst werden, d.h. das Erfassungsmuster, werden mittels eines maschinellen Lernsystems 30 bestimmt. Auch die Reihenfolge der Teilbereiche 50-55, die erfasst werden, wird von dem maschinellen Lernsystem 30 bestimmt.
Die Teilbereiche 50-55 werden mittels eines Weitfeldmikroskops erfasst. Ein
Weitfeldmikroskop rastert nicht bzw. scannt nicht einzelne Punkte der Probe 1 (wie ein Rastermikroskop) ab. Bei dem Weitfeldmikroskop werden Teilbereiche 50-55 jeweils beleuchtet bzw. bestrahlt und der jeweilige Teilbereich 50-55 von dem Weitfeldmikroskop erfasst. Typischerweise wird jedoch nicht die Probe 1 als Ganze beleuchtet bzw. bestrahlt, sondern nur Teilbereiche 50-55 der Probe 1.
Das Verfahren zum Erfassen von Teilbereichen 50-55 der Probe 1 mittels eines
Weitfeldmikroskops kann ähnlich wie das oben beschriebene Verfahren zum Erfassen von Teilbereichen 50-55 der Probe 1 mittels eines Rastermikroskops ausgestaltet sein. Der Unterschied ist, dass kein Scannen von Teilbereichen 50-55 stattfindet, sondern mittels eines Weitfeldmikroskops Teilbereiche 50-55 der Probe 1 erfasst bzw. aufgenommen werden.
Es ist auch möglich, dass ein Gesamtbild 40 der Probe 1 in niedriger Auflösung erfasst wird, anschließend von dem maschinellen Lernsystem 30 bestimmte Teilbereiche 50-55 mit hoher Auflösung erfasst werden und schließlich ein hochauflösendes Gesamtbild 40 der Probe 1 aus den erfassten Teilbereichen 50-55 und dem Gesamtbild 40 mittels des maschinellen Lernsystems 30 rekonstruiert wird. Die Rekonstruktion kann mittels des maschinellen Lernsystems 30 durchgeführt werden.
Fig. 9 zeigt ein fünftes Erfassungsmuster der Probe 1 aus Fig. 1 gemäß einer
Ausführungsform des erfindungsgemäßen Verfahrens.
Hierbei werden nur Teilbereiche 50-55 der Probe 1 mittels des Weitfeldmikroskops erfasst. Das maschinelle Lernsystem 30 bestimmt, welche Teilbereiche 50-55 der Probe 1 und in welcher Reihenfolge diese erfasst werden. Aus den erfassten Teilbereichen 50-55 der Probe 1 wird ein Gesamtbild 40 der Probe 1 rekonstruiert. Die Rekonstruktion kann mittels des maschinellen Lernsystems 30 durchgeführt werden.
Fig. 10 zeigt ein sechstes Erfassungsmuster der Probe 1 aus Fig. 1 gemäß einer
Ausführungsform des erfindungsgemäßen Verfahrens.
Hier wird zuerst ein schnelles Übersichtsbild (das beispielsweise mittels eines
Rastermikroskops, insbesondere eines Laser-Scanning-Mikroskops, oder mittels einer Übersichtskamera oder mittels eines Weitfeldmikroskops aufgenommen wurde) in das maschinelle Lernsystem 30 eingegeben. Das Übersichtsbild kann einen niedrigen Detailgrad bzw. eine niedrige Auflösung aufweisen. Auf Basis des Übersichtsbilds bestimmt das maschinelle Lernsystem 30 die zu erfassenden Teilbereiche 50-55 der Probe 1.
Anschließend werden die bestimmten Teilbereiche 50-55 der Probe 1 erfasst. Die vom Mikroskop erfassten Teilbereiche 50-55 weisen dann jeweils eine höhere Auflösung (als das Übersichtsbild) auf. Alternativ oder zusätzlich kann das Übersichtsbild mit einem anderen Farbstoff aufgenommen sein als die später erfassten Teilbereiche 50-55. Die erfassten Teilbereiche 50-55 bilden das Gesamtbild 40, welches nicht zwingend rekonstruiert wurde, sondern im einfachsten Fall nur aus den erfassten Teilbereichen 50-55
zusammengesetzt wird. In Fig. 10 werden alle relevanten Informationen von Elementen der Probe 1 durch die vom Mikroskop erfassten Teilbereiche 50-55 erfasst. Nur die vom maschinellen Lernsystem 30 bestimmten relevanten Teilbereiche 50-55 der Probe 1 werden mit hohem Detailgrad erfasst.
Fig. 1 1 zeigt ein siebtes Erfassungsmuster der Probe 1 aus Fig. 1 gemäß einer
Ausführungsform des erfindungsgemäßen Verfahrens.
Der nächste zu erfassende Teilbereich 50-55 der Probe 1 mittels des Weitfeldmikroskops kann von dem maschinellen Lernsystem 30 auf Grundlage der erfassten Informationen des unmittelbar zuvor aufgenommen Teilbereichs 50-55 oder der unmittelbar zuvor
aufgenommenen Teilbereiche 50-55 bestimmt werden. Dies ist besonders geeignet für ein bestärkendes Lernverfahren, welches aus bereits durchgeführten Erfassungen von
Teilbereichen 50-55 und daraus resultierenden Ergebnissen (erfasste Teilbereiche 50-55) den nächsten zu erfassenden Teilbereich 50-55 bestimmt.
Beispielsweise kann hierbei ein Rand eines Elements der Probe 1 durch die erfassten Teilbereiche 50-55 erkannt bzw. abgetastet werden. Die Pfeile in Fig. 10 zeigen die
Reihenfolge der Erfassung der Teilbereiche 50-55 durch das Weitfeldmikroskop an. Die Bereiche bzw. der Rand des Elements der Probe 1 zwischen den erfassten Teilbereichen 50-55 kann mittels des maschinellen Lernsystems 30 rekonstruiert werden. Es ist auch möglich, dass aus den erfassten Teilbereichen 50-55 das Gesamtbild 40 der Probe 1 rekonstruiert wird.
Es ist möglich, dass zunächst Teilregionen des Gesamtbilds 40 im Wesentlichen unabhängig voneinander aus den Daten 65 der erfassten Teilbereiche 50-55 der Probe 1 rekonstruiert werden, und anschließend die Teilregionen zu einem rekonstruierten Gesamtbild 40 zusammengesetzt werden. Das System bzw. das Verfahren kann derart ausgebildet sein, dass beim Rekonstruieren des Gesamtbilds neben den erfassten Teilbereichen auch das Übersichtsbild berücksichtigt wird. Die nicht erfassten Teilbereiche der Probe können somit auf Grundlage der erfassten Teilbereiche und auf Grundlage des Übersichtsbilds abgeschätzt werden.
Es ist möglich, dass das Verfahren iterativ durchgeführt. Hierbei kann das zuvor
rekonstruierte Gesamtbild als Übersichtsbild für einen erneuten Durchlauf des Verfahrens verwendet werden. Dies kann auch wiederholt werden. Dies bedeutet, dass das Verfahren mehr als zweimal durchlaufen wird. Das System kann somit auch dazu ausgebildet sein, das Verfahren mehrmals iterativ durchzuführen, wobei das rekonstruierte Gesamtbild in einem Durchlauf des Verfahrens als Übersichtsbild im nächsten Durchlauf des Verfahrens verwendet bzw. eingegeben wird.
Bezugszeichenliste
1 , r Probe
5-8, 5‘-8‘ Elemente
10-15, 10‘ gescannte Teilbereiche der Probe
20 System zum Scannen von Teilbereichen einer Probe mittels eines
Rastermikroskops
25 Daten der gescannten Teilbereiche
30 maschinelles Lernsystem
40 rekonstruiertes Gesamtbild
50-55 erfasste Teilbereiche der Probe
60 System zum Erfassen von Teilbereichen einer Probe mittels eines
Weitfeldmikroskops
65 Daten der erfassten Teilbereiche

Claims

Ansprüche
1. Verfahren zum Scannen von Teilbereichen (10-15) einer Probe mittels eines
Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines
Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe,
wobei das Verfahren folgende Schritte umfasst:
- Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der
Reihenfolge des Scannens der Teilbereiche (10-15) der Probe, mittels eines maschinellen Lernsystems (30), wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, trainiert ist;
- Scannen der bestimmten Teilbereiche (10-15) der Probe mittels des
Rastermikroskops; und
- Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe,
wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe abgeschätzt werden.
2. Verfahren nach Anspruch 1 , wobei das Verfahren ferner folgende Schritte zum
Trainieren des maschinellen Lernsystems (30) mittels bestärkendem Lernen umfasst: Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Scannen der Teilbereiche (10-15) und/oder der Gesamtstrahlenbelastung der Probe beim Scannen der Teilbereiche (10-15) der Probe und/oder der Qualität des rekonstruierten Gesamtbilds (40) der Probe, in das maschinelle Lernsystem (30); und Variieren der Teilbereiche (10-15) der Probe, die gescannt werden, und/oder der Reihenfolge des Scannens der Teilbereiche (10-15) der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße.
3. Verfahren nach Anspruch 1 oder 2, ferner folgenden Schritt umfassend:
Eingeben von Informationen über die Probe, z.B. die Anzahl der Elemente (5-8) der Probe, die Größe der Elemente (5-8) der Probe und/oder die Art der Probe, und/oder über das Rastermikroskop und/oder über den Nutzungszweck des rekonstruierten Gesamtbilds (40) in das maschinelle Lernsystem (30) zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei
vor dem Scannen der Teilbereiche (10-15) der Probe ein Übersichtsbild der Probe in das maschinelle Lernsystem (30) zum verbesserten Bestimmen der Teilbereiche (10- 15), die von dem Rastermikroskop gescannt werden, eingegeben wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) mittels unüberwachtem Lernen umfasst:
Eingeben von nicht-rekonstruierten Gesamtbildern (40) von Proben in das
maschinelle Lernsystem (30); und
Bestimmen der Teilbereiche (10-15) der Probe, die eine besonders hohe
Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten Gesamtbilds (40) mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden.
6. Verfahren zum Scannen von Teilbereichen (10-15) einer Probe mittels eines
Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines
Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, insbesondere nach einem der vorhergehenden Ansprüche,
wobei das Verfahren folgende Schritte umfasst:
- Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der
Reihenfolge des Scannens der Teilbereiche (10-15) der Probe;
- Scannen der Teilbereiche (10-15) der Probe mittels des Rastermikroskops;
- Eingeben der Daten (25) der gescannten Teilbereiche (10-15) in ein maschinelles Lernsystem (30); und
- Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe mittels des maschinellen Lernsystems (30), wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe durch das maschinelle Lernsystem (30) abgeschätzt werden,
wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen,
unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten
Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe trainiert ist.
7. Verfahren nach Anspruch 6, wobei das Verfahren ferner folgende Schritte zum
Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe mittels überwachtem Lernen umfasst:
Eingeben von Daten (25) von gescannten Teilbereichen (10-15), insbesondere simulierten gescannten Teilbereichen (10-15), der Probe als Trainingsdaten in das maschinelle Lernsystem (30); und
Vergleichen des mittels des maschinellen Lernsystems (30) aus den Trainingsdaten rekonstruierten Gesamtbilds (40) der Probe mit einem nicht-rekonstruierten
Gesamtbild (40) der Probe zum Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des Gesamtbilds (40) aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe.
8. Verfahren nach Anspruch 6 oder 7, wobei
zunächst Teilregionen des Gesamtbilds (40) im Wesentlichen unabhängig
voneinander aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe rekonstruiert werden, und anschließend die Teilbereiche (10-15) zu einem
rekonstruierten Gesamtbild (40) zusammengesetzt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, insbesondere nach einem der Ansprüche 6-8, wobei
das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem
Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den gescannten Teilbereichen (10-15) der Probe trainiert ist oder wird.
10. Computerprogrammprodukt, das von einem Prozessor eines Computers lesbare
Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
1 1. Computerlesbares Medium, auf dem das Computerprogrammprodukt nach Anspruch 10 gespeichert ist.
12. System (20) zum Scannen von Teilbereichen (10-15) einer Probe mittels eines
Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines
Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, wobei das System (20) zum Abschätzen nicht-gescannter Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe ausgebildet ist,
wobei das System (20) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen:
- Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der
Reihenfolge des Scannens der Teilbereiche (10-15) der Probe, mittels des
maschinellen Lernsystems (30).
13. System (20) zum Scannen von Teilbereichen (10-15) einer Probe mittels eines
Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines
Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, insbesondere nach Anspruch 12,
wobei
das System (20) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen:
- Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe mittels des maschinellen Lernsystems (30), wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe durch das maschinelle Lernsystem (30) abgeschätzt werden.
14. System (20) nach Anspruch 12 oder 13, wobei
das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des Gesamtbilds (40) der Probe aus den gescannten Teilbereichen (10-15) der Probe trainiert ist.
15. System (20) nach einem der Ansprüche 12-14, wobei
das System (20) ausgebildet ist, zunächst Teilregionen des Gesamtbilds (40) im Wesentlichen unabhängig voneinander aus den Daten (25) der gescannten
Teilbereiche (10-15) der Probe zu rekonstruieren, und anschließend die Teilbereiche (10-15) zu einem rekonstruierten Gesamtbild (40) zusammenzusetzen.
16. Verfahren zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeld-Mikroskops,
wobei das Verfahren folgende Schritte umfasst:
- Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche (10-15, 50-55) der Probe und der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe, mittels eines maschinellen Lernsystems (30), wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, trainiert ist; und
- Erfassen der bestimmten Teilbereiche (10-15, 50-55) der Probe mittels des
Mikroskops.
17. Verfahren nach Anspruch 16, wobei das Verfahren ferner folgenden Schritt umfasst:- Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe,
wobei nicht-erfasste Teilbereiche (10-15, 50-55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe abgeschätzt werden.
18. Verfahren nach Anspruch 16 oder 17, wobei
das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) mittels bestärkendem Lernen umfasst:
Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Erfassen der Teilbereiche (10-15, 50-55) und/oder der
Gesamtstrahlenbelastung der Probe beim Erfassen der Teilbereiche (10-15, 50-55) der Probe und/oder der Qualität des rekonstruierten Gesamtbilds (40) der Probe, in das maschinelle Lernsystem (30); und
Variieren der Teilbereiche (10-15, 50-55) der Probe, die erfasst werden, und/oder der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße.
19. Verfahren nach einem der Ansprüche 16-18, wobei
vor dem Erfassen der Teilbereiche (10-15, 50-55) der Probe ein Übersichtsbild der Probe in das maschinelle Lernsystem (30) zum verbesserten Bestimmen der
Teilbereiche (10-15, 50-55), die von dem Mikroskop erfasst werden, eingegeben wird.
20. Verfahren nach Anspruch 19, wobei das Verfahren ferner folgenden Schritt umfasst:
Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe und dem Übersichtsbild.
21. Verfahren nach Anspruch 19 oder 20, wobei
das Übersichtsbild ein rekonstruiertes Gesamtbild der Probe umfasst, insbesondere ein rekonstruiertes Gesamtbild der Probe ist.
22. Verfahren nach einem der Ansprüche 16-21 , wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) mittels unüberwachtem Lernen umfasst:
Eingeben von nicht-rekonstruierten Gesamtbildern (40) von Proben in das
maschinelle Lernsystem (30); und
Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die eine besonders hohe Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten Gesamtbilds (40) mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden.
23. Verfahren zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25, 65) der erfassten Teilbereiche (10- 15, 50-55) der Probe, insbesondere nach einem der Ansprüche 16-22,
wobei das Verfahren folgende Schritte umfasst:
- Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche (10-15, 50-55) der Probe und der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe;
- Erfassen der Teilbereiche (10-15, 50-55) der Probe mittels des Mikroskops; - Eingeben der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) in ein maschinelles Lernsystem (30); und
- Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe mittels des maschinellen
Lernsystems (30),
wobei nicht-erfasste Teilbereiche (10-15, 50-55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe durch das maschinelle
Lernsystem (30) abgeschätzt werden,
wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen,
unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10- 15, 50-55) der Probe trainiert ist.
24. Verfahren nach Anspruch 23, wobei das Verfahren ferner folgende Schritte zum
Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe mittels überwachtem Lernen umfasst:
Eingeben von Daten (25, 65) von erfassten Teilbereichen (10-15, 50-55), insbesondere simulierten erfassten Teilbereichen (10-15, 50-55), der Probe als Trainingsdaten in das maschinelle Lernsystem (30); und
Vergleichen des mittels des maschinellen Lernsystems (30) aus den Trainingsdaten rekonstruierten Gesamtbilds (40) der Probe mit einem nicht-rekonstruierten
Gesamtbild (40) der Probe zum Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des Gesamtbilds (40) aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe.
25. Verfahren nach einem der Ansprüche 16-24, insbesondere nach Anspruch 23 oder 24, wobei
das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den erfassten Teilbereichen (10-15, 50-55) der Probe trainiert ist oder wird.
26. Computerprogrammprodukt, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das Verfahren nach einem der Ansprüche 16-25
auszuführen.
27. Computerlesbares Medium, auf dem das Computerprogrammprodukt nach Anspruch 26 gespeichert ist.
28. System (20, 60) zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops,
wobei das System (20, 60) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen:
- Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche (10-15, 50-55) der Probe und der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe, mittels des maschinellen Lernsystems (30).
29. System (20, 60) nach Anspruch 28, wobei
das System (20, 60) zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25, 65) der erfassten Teilbereichen (10-15, 50-55) der Probe ausgebildet ist, wobei das System (20, 60) zum Abschätzen nicht-erfasster Teilbereiche (10-15, 50- 55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe ausgebildet ist.
30. System (20, 60) zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum
Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25, 65) der erfassten Teilbereichen (10-15, 50-55) der Probe, insbesondere nach Anspruch 28 oder Anspruch 29,
wobei
das System (20, 60) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen:
- Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe mittels des maschinellen
Lernsystems (30), wobei nicht-erfasste Teilbereiche (10-15, 50-55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe durch das maschinelle
Lernsystem (30) abgeschätzt werden.
31. System (20, 60) nach einem der Ansprüche 28-30, wobei
das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des Gesamtbilds (40) der Probe aus den erfassten Teilbereichen (10-15, 50-55) der Probe trainiert ist.
PCT/EP2019/064023 2018-05-30 2019-05-29 Verfahren zum scannen von teilbereichen einer probe mittels eines rastermikroskops, computerprogrammprodukt, computerlesbares medium und system zum scannen von teilbereichen einer probe mittels eines rastermikroskops Ceased WO2019229151A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/059,343 US12235428B2 (en) 2018-05-30 2019-05-29 Method, computer program product, computer-readable medium and system for scanning partial regions of a sample using a scanning microscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018113014 2018-05-30
DE102018113014.7 2018-05-30

Publications (2)

Publication Number Publication Date
WO2019229151A2 true WO2019229151A2 (de) 2019-12-05
WO2019229151A3 WO2019229151A3 (de) 2020-01-23

Family

ID=66690366

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/064023 Ceased WO2019229151A2 (de) 2018-05-30 2019-05-29 Verfahren zum scannen von teilbereichen einer probe mittels eines rastermikroskops, computerprogrammprodukt, computerlesbares medium und system zum scannen von teilbereichen einer probe mittels eines rastermikroskops

Country Status (3)

Country Link
US (1) US12235428B2 (de)
DE (1) DE102019114459A1 (de)
WO (1) WO2019229151A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4446911A1 (de) 2023-04-11 2024-10-16 Abberior Instruments GmbH Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt
DE102023109109A1 (de) 2023-04-11 2024-10-17 Abberior Instruments Gmbh Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3598474A1 (de) 2018-07-19 2020-01-22 FEI Company Adaptive probenbilderfassung mit einem künstlichen neuronalen netz
EP3948923A4 (de) * 2019-03-28 2022-12-21 Massachusetts Institute of Technology System und verfahren für lerngesteuerte elektronenmikroskopie
JPWO2021095256A1 (de) * 2019-11-15 2021-05-20
DE102020122980A1 (de) 2020-09-02 2022-03-03 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum überwachen eines lernprozesses eines maschinenlernmodells
CN113917678A (zh) * 2021-10-20 2022-01-11 宁波力显智能科技有限公司 超快速大视场超分辨率荧光显微成像系统及成像方法
DE102022200557A1 (de) 2022-01-18 2023-07-20 Carl Zeiss Microscopy Gmbh Verfahren zur komprimierten Erfassung und Verarbeitung von Bilddaten
US20250246398A1 (en) * 2022-06-14 2025-07-31 Hitachi High-Tech Corporation Charged particle beam device and method for outputting image data of interest
DE102023100439A1 (de) 2023-01-10 2024-07-11 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Berechnen eines Ergebnisbildes durch ein ordinales Klassifikationsmodell
DE102023123555A1 (de) * 2023-08-31 2025-03-06 Carl Zeiss Microscopy Gmbh Verfahren zum Erzeugen eines Bilds einer Probe

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8869702B2 (en) 2011-01-14 2014-10-28 Pcp Tactical, Llc Variable inside shoulder polymer cartridge
JP2014048325A (ja) * 2012-08-29 2014-03-17 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
CN105407819A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 用于自动化非侵入细胞活性追踪的设备、方法和系统
EP2958130A1 (de) 2014-06-18 2015-12-23 Fei Company Mathematische Bildrekonstruktion in einem Abtastmikroskop
DE102015114015A1 (de) * 2015-08-24 2017-03-02 Carl Zeiss Ag Maschinelles lernen
US9569736B1 (en) * 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US10082551B2 (en) 2015-10-19 2018-09-25 Ecole Polytechnique Federale De Lausanne (Epfl) Learning-based subsampling
US11056314B2 (en) * 2015-10-22 2021-07-06 Northwestern University Method for acquiring intentionally limited data and the machine learning approach to reconstruct it
US9939381B1 (en) * 2017-04-07 2018-04-10 Vidrio Technologies, Llc Automated scanning path planner with path calibration for high frame rate multi photon laser scanning microscope with wide field of view
US11120968B2 (en) * 2017-10-25 2021-09-14 Northwestern University High speed/low dose multi-objective autonomous scanning materials imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4446911A1 (de) 2023-04-11 2024-10-16 Abberior Instruments GmbH Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt
DE102023109109A1 (de) 2023-04-11 2024-10-17 Abberior Instruments Gmbh Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt
DE102023109107A1 (de) 2023-04-11 2024-10-17 Abberior Instruments Gmbh Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt

Also Published As

Publication number Publication date
US12235428B2 (en) 2025-02-25
WO2019229151A3 (de) 2020-01-23
US20210239952A1 (en) 2021-08-05
DE102019114459A1 (de) 2019-12-05

Similar Documents

Publication Publication Date Title
WO2019229151A2 (de) Verfahren zum scannen von teilbereichen einer probe mittels eines rastermikroskops, computerprogrammprodukt, computerlesbares medium und system zum scannen von teilbereichen einer probe mittels eines rastermikroskops
EP3785177B1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE102004004528A1 (de) Verfahren, Vorrichtung und Programm zur Verarbeitung eines Stereobildes
DE102013223803A1 (de) Verfahren und Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug
EP3407299B1 (de) Verfahren und vorrichtung zur findung einer positionierung und zur datenfusion
DE69330708T2 (de) Texterkennung unter Verwendung zwei-dimensionaler stochastischer Modelle
DE112019007393T5 (de) Verfahren und System zum Trainieren eines Modells zur Bilderzeugung
DE112017005640T5 (de) Informationsverarbeitungsvorrichtung und Informationsverarbeitungsverfahren
DE102018220941A1 (de) Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten
DE69517249T2 (de) Anordnung zur segmentierung eines diskreten datensatzes
DE112022004085T5 (de) Verfahren und Vorrichtung zum Erzeugen synthetischer Trainingsdaten für ein Ultraschallsensormodell
DE102020205962B3 (de) Vorrichtung und Verfahren zum Betreiben eines Prüfstands
DE102022201679A1 (de) Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes
DE102021212483A1 (de) Datenverarbeitungsvorrichtung sowie Verfahren und Programm zum tiefen Lernen eines neuronalen Netzwerkes
DE60133694T2 (de) Bildverarbeitungsvorrichtung und -verfahren, Aufzeichnungsmedium und Bildgebungsgerät
DE102022208384A1 (de) Verfahren zum Ermitteln eines Qualitätszustands eines Prüfobjekts
DE102018221617A1 (de) Verfahren zur Bestimmung einer Relativbewegung mittels einer digitalen Bilderfolge
DE10307331B4 (de) Bildgebendes Verfahren zur rechnergestützten Auswertung computer-tomographischer Messungen durch direkte iterative Rekonstruktion
DE112022001991T5 (de) Tumorzelen-isolinien
EP2244225A1 (de) Verfahren zum optischen Scannen eines Objektes sowie Vorrichtung
DE102019217951A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Domänendistanz zwischen mindestens zwei Datendomänen
DE102019131452A1 (de) Computerimplementiertes Verfahren zur Segmentierung von Messdaten aus einer Messung eines Objekts
DE102020205964B3 (de) Vorrichtung und Verfahren zum Betreiben eines Prüfstands
DE102024117721B3 (de) Arbeits- und Trainings-Verfahren für ein künstliches neuronales Generatornetzwerk für das Bestimmen eines Untersuchungsbereiches einer Materialoberfläche
DE102022206892A1 (de) Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19728025

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19728025

Country of ref document: EP

Kind code of ref document: A2

WWG Wipo information: grant in national office

Ref document number: 17059343

Country of ref document: US