WO2017191121A1 - Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen - Google Patents

Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen Download PDF

Info

Publication number
WO2017191121A1
WO2017191121A1 PCT/EP2017/060390 EP2017060390W WO2017191121A1 WO 2017191121 A1 WO2017191121 A1 WO 2017191121A1 EP 2017060390 W EP2017060390 W EP 2017060390W WO 2017191121 A1 WO2017191121 A1 WO 2017191121A1
Authority
WO
WIPO (PCT)
Prior art keywords
point light
light sources
microscope according
sample
localization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/060390
Other languages
English (en)
French (fr)
Inventor
Florian Fahrbach
Frank Sieckmann
Christian Schumann
Oliver SCHLICKER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Priority to EP17721132.3A priority Critical patent/EP3452856A1/de
Priority to US16/098,472 priority patent/US11067781B2/en
Publication of WO2017191121A1 publication Critical patent/WO2017191121A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/113—Fluorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging

Definitions

  • the present invention relates to a microscope and a method for locating fluorescent molecules in three spatial dimensions.
  • TIR illumination TIR stands for Total Internal Reflection
  • Localization with light sheet illumination improves the signal-to-background ratio and allows localization even in thick samples. Without further aids, however, it is not possible to localize precisely along the detection axis (z-axis) within the illuminated layer.
  • the light field technology significantly increases the depth of field of the detection lens while maintaining the light efficiency of the optical system (as opposed to reducing the numerical aperture), and therefore using high numerical aperture objectives detects molecules from a larger area along the optical axis and with comparatively higher precision can be located.
  • the light field technology also allows the localization of along the detection axis (ie the z-axis) directly behind each other molecules.
  • Other technologies such as those using cylindrical lenses and similar optical elements, do not permit localization of molecules directly one behind the other, and when the images of two molecules are superimposed, they often can not be precisely and robustly located. Therefore, it is indispensable to have the number of simultaneously emitting
  • PIV Particle Imaging Velocimetry
  • the light field technology was used in conjunction with PIV (Particle Imaging Velocimetry) to localize particle flows.
  • PIV Particle Imaging Velocimetry
  • the outstanding suitability of Light-Field technology for the localization of particles has been demonstrated.
  • PIV particles are imaged in a few centimeters large sample volumes whose size is well above ⁇ or the resolution limit of a microscope.
  • the precision of the localization does not exceed the diffraction limit.
  • the localization is via scattered light and no selection of the particles is made, i. It is detected by all particles in the illuminated volume scattered light. Since no single molecules are located, the use of dark states (eg, triplet states) or similar metastable excited states of fluorescent molecules is out of the question.
  • PIV does not image individual molecules but microscopic particles.
  • the object of the present invention is therefore to provide a microscope and a method which ensures the localization of individual molecules or generally point light sources in three spatial dimensions.
  • the invention provides a microscope, comprising an illumination optics for fluorescence excitation of point light sources of a sample, a detection optics and a camera with a spatially resolving sensor, wherein the density of the emitting
  • the invention provides a microscope for the ideally over-resolved localization of single molecules or generally point light sources in three
  • Illumination optics at least one light sheet, with which the sample is illuminated from at least one direction and the means for subdividing the detection aperture comprises a microlens array.
  • the combination of light field camera and light sheet illumination provided thereby for the microscope according to the invention results in a light field localization technique, which is explained in more detail below.
  • Point light source necessary, which are mapped by different microlenses on the sensor. Typically, however, each point light source is imaged by multiple microlenses, resulting in an overlap of image areas of different point light sources. On the sensor, each point light source occupies an area corresponding to the area
  • Point light sources so can cover.
  • An essential aspect of the invention is thus to limit the density of the point light sources in each individual recorded image.
  • the localization of point light sources in a three-dimensional volume is thus ensured by the fact that their number is kept low to the
  • the least possible overlap of image areas of different point light sources can be achieved by the following measures:
  • Fluorophores in the sample are kept sufficiently low, such as in Ca 2+ imaging individual gCamP-labeled neurons with genetically encoded Ca 2+ probes or in the imaging of the blood flow of the staining of a subset of blood cells.
  • switchable fluorophores in the case of a relatively high density of fluorophores in the sample, with a sufficiently small subgroup in each for each image
  • Fluorescence emission excitable molecular state is brought ("turned on"), for example, by photoactivation, transient binding o. ⁇ ., Or a sufficiently large subgroup is brought into a state not fluorescent excitable state ("off");
  • the density of the fluorophores themselves in the sample is too high, but for each image a sufficiently small subset of point light sources is excited to emit fluorescent light, such as by structured illumination.
  • the requirement established in the context of the invention for a low density of point light sources can be met in different ways.
  • the point light sources can be switchable fluorophores, such as dye molecules or fluorescent proteins, or quantum dots.
  • the activation of the fluorophores may e.g. about the weak and / or short-term
  • PAM Radiation of light by achieving a conformity difference are caused (PALM, STORM).
  • the activation may e.g. also by a chemical
  • Conformation change can be effected, which causes the point light source is set in a stimulated at the intended excitation wavelength for fluorescence emission state.
  • the wavelength used for the circuit is usually different from the wavelength that can be used to excite the fluorescence emission.
  • molecules to be imaged can also be converted into the on state by a chemical bond (PAINT).
  • PAINT chemical bond
  • GSD microscopy the ground state of the fluorescence excitation is depopulated by the molecules are converted into a metastable dark state from which they are no longer excitable.
  • a method of RESOLFT microscopy can be used in which a light-induced circuit of the
  • Point light sources is used to ensure that only a subset of the
  • Emit fluorescence In principle, it is also possible to use a non-optical measure, namely to chemically pay attention to a low density when coloring the sample.
  • An alternative is to use so-called "brainbow" organisms stained with a particular fluorescent protein, with each molecule emitting in each of several spectral bands, so that one set of appropriate spectral filters can hide each of the molecules ,
  • the illumination, switching in the on, off or a dark state, fluorescence excitation of the point light sources can be done via the detection objective (epifluorescence), via a condenser placed opposite the detection objective or, in a particularly advantageous manner, from the side with the light sheet (SPIM).
  • the thickness of the light sheet is ideally adjusted so that the entire area is to be located out of the, is illuminated for each shot of a camera image.
  • the area to be localized is typically the area within the depth of field of the
  • Detection optics with depth of field in the context of this figure, e.g. the area along the optical axis within which the diameter of the image of a point light source is not more than a multiple, e.g. of the double, the diameter is in focus. At the same time, the lighting along the optical axis of the
  • Detection optics as far as possible be restricted to this area.
  • the illumination of a layer in the sample from the side is particularly advantageous.
  • Illumination optics for activating the point light sources provides a coherent or incoherent structured illumination.
  • Camera sensor is detected. By structuring the lighting should a
  • Subset / subset of located in the depth of field of the detection optics point light sources illuminated and possibly excited.
  • This patterning can be achieved by interference of several of e.g. two or three beams are propagated, which propagate at an angle to each other through the sample volume.
  • the sample can also be scanned with a focused beam.
  • the propagation direction of the rays may advantageously lie in the plane of the light sheet, which in turn coincides with the
  • Focus plane of the detection optics coincides, or within the depth of field of the detection optics or within the range along the optical axis in which a localization is possible, is located. If the propagation directions of the rays lie in one plane, these include e.g. 180 ° for two beams and 120 ° for three beams. Preferably, the phase of at least one sub-beam can be varied so that the illumination pattern shifts by a fraction of the period. However, through the (mutual)
  • the simplification of the localization due to the fact that there is less overlapping and overlapping of the images from different point sources on the sensor.
  • the number of raw images needed for a complete image of a plane should be minimized, e.g. on 9.
  • the excitation and on / off switching of these point light sources can be done by PALM, STORM, PAINT, GSD or similar methods and these methods can be used with the structured illumination discussed above be combined.
  • the microlenses of the microlens array are larger than the spacing of the pixels on the camera sensor.
  • the size of the microlenses of the microlens array is advantageously matched to the image-side aperture of the detection optics such that the images of the microlenses illuminate the camera sensor substantially completely.
  • the images of the microlenses on the camera sensor cover a maximum of an area that corresponds to the size of the microlens and it ideally comes to any
  • the microlens array comprises groups of microlenses of the same or different focal lengths, and the centers of the microlenses of the microlens array are preferably arranged on a two-dimensional Bravais lattice.
  • the reconstruction of images takes place via an iterative algorithm as described, for example, in EP 2 244 484 A1, which allows about 200 levels to be resolved within the depth of field, wherein each of the images has a number of pixels which is approximately one quarter of the number of pixels of the camera sensor.
  • the special feature of the microscopy according to the invention is the reconstruction, which provides to search for matches between the images of the individual microlenses, which is particularly well represented for isolated particles.
  • the microlens array may be located in or near a sample conjugate plane or in or near a plane conjugate to the pupil. It can be designed together with the camera sensor as a light field camera and then in a common
  • housing be housed.
  • this forms together with an upstream lens, which is preferably a
  • Tubus lens acts, and the aperture for the microlens array is sufficient to form a telescope to Galilei or Kepler.
  • the microscope according to the invention comprises a post-processing device for
  • the triangulation preferably comprises an iterative maximum likelihood method, the diffractive optical properties of
  • Microlens arrays as means for subdividing the detection aperture into individual ones
  • the iterative algorithm is preferably designed to determine matches between the images of the individual microlenses and to deduce the position of the point light source associated with the images.
  • the algorithm is designed in such a way that it works analogously to the triangulation with the parallax, which results from the fact that different microlenses the individual
  • Detection volume ie, a region about an axis, on the microlens associated region of the sensor behind the microlens.
  • Point light source can thus be determined as the intersection of the at least two axes.
  • matching structures in the images are determined via different microlenses.
  • point light sources a distinction is hardly possible and it must be used either on the arrangement of multiple Punklichtánn or on a priori information.
  • a database contains the sensor raw images of one point light source per image.
  • the raw images cover point light sources at positions that are distributed over the entire object volume.
  • the reconstruction of the position of a point light source then takes place via a comparison of that of the object
  • the method according to the invention for localizing point light sources of a sample in three spatial dimensions is based on the microscope according to the invention.
  • a rapid recording of a time series and a temporal and / or spatial correlation of the time-dependent signal belonging to individual subvolumes are carried out.
  • a detectable 3D localization volume can be increased by displacing the sample along the optical axis of the detection optics.
  • a detectable 3D localization volume can be expanded by displacing the sample along the optical axis of the detection optics.
  • the correlation algorithm is used to calculate calculated 3D localization points in which the correlation algorithm is used to superimpose calculated 3D localization points of different planes along the optical axis of the detection optics such that a cleanly defined and / or in the z direction enlarged 3D
  • a detectable 3D localization volume can be increased by displacement of the sample perpendicular to the optical axis of the detection optics.
  • a particularly rapid recording of a time series and temporal and / or spatial correlation of the individual subvolumes belonging time-dependent Signals provided, such as fluorescence correlation spectroscopy (FCS), Image
  • ICS Correlation Spectroscopy
  • STICS Spatiotemporal Image Correlation Spectroscopy
  • Fluorescence signal measured with high temporal dynamics. This signal is then time correlated with itself (autocorrelated) or time correlated in time with the signals from other object points (ICS, STICS) or fluorophores (FCCS).
  • ICS object points
  • FCCS fluorophores
  • the use of the localization method according to the invention for 3D fluorescence correlation spectroscopy (FCS) and for single-molecule tracking is particularly suitable.
  • FIG. 1 shows a first embodiment of the microscope according to the invention for 3D localization by means of EPI fluorescence excitation
  • FIG. 2 shows a second embodiment of the light field microscope according to the invention for SD localization by means of light sheet illumination
  • FIG. 3 is an illustration of point light sources through a plurality of microlenses of the
  • the first embodiment of a microscope shown in FIG. 1, has illumination optics, not shown, for fluorescence excitation of point light sources of a sample.
  • Illumination optics are designed for EPI fluorescence excitation.
  • the microscope of FIG. 1 comprises a detection optics with a detection objective 10.
  • a dichroic mirror 11 In the beam path, a dichroic mirror 11, a tube lens 12 and a camera comprising a sensor 13 follow the detection objective.
  • a means for subdividing the detection aperture in the form of a microlens array 14 is provided.
  • microlenses of the microlens array 14 are larger than the pitch of the pixels on the camera sensor 13 and the size of the microlenses of the microlens array 14 is on the image-side aperture of the detection optics matched such that the images of the lens pupil imaged by the microlenses substantially fully illuminate the camera sensor 13.
  • the microlens array 14 comprises microlenses of the same focal length.
  • a microlens array 14a may be used which comprises groups of different focal lengths. Further, the centers of the microlenses of the microlens array 14, 14a
  • microlens array 14, 14a in or near a sample conjugate plane or in or near a plane conjugate to the pupil.
  • the illumination source and / or a fluorophore in the sample are designed to activate only a subset of the point light sources.
  • the detection optics means for subdividing the detection aperture into individual subapertures in the form of microlens array 14, 14a ensures that the images that are spatially separated from the individual subapertures on the camera sensor 13, an object volume of different
  • the lighting is based on the principle of epifluorescence excitation.
  • the excitation, switching and other rays for exciting and influencing the fluorescence emission of the point light sources (20) is coupled via a dichroic mirror, which is mounted between the lens 10 and the tube lens 12. It is also possible a transmitted light illumination by a condenser 10 opposed to the object.
  • the second embodiment of the light field microscope shown in Fig. 2 differs from the first embodiment of the light field microscope shown in that the 3D localization based on a light sheet illumination (30) for fluorescence excitation of point light sources of a sample, and that the microscope of Fig. 2 does not require the dichroic mirror 13 of the microscope of Fig. 1.
  • band-pass filters are typically used so that only the fluorescent light of the molecules to be localized penetrates as far as the sensor.
  • the illumination source and / or a fluorophore in the sample is designed to activate only a subset of the point light sources.
  • FIG. 3 shows by way of example how each point light source is imaged by a plurality of microlenses of the microlens array 14, 14a, which results in an overlap of image areas of different point light sources 42, 44.
  • each point light source occupies an area on the sensor which corresponds to the multiple of the resolution-limited imaging of the point light source.
  • point light sources from other planes are also projected onto a 2D surface perpendicular to the optical axis of the detection optics.
  • the images 46, 48 - preferably individual - different point light sources, so can partially cover.
  • Fig. 3 it is apparent that in order to minimize the at least one point light source two clearly assignable images are required, which were recorded by different microlenses.
  • the optimal density can be further limited. If the density of the point light sources is too high, an unambiguous assignment is not possible. If it is too small, information may be given away or more individual images may have to be taken for the final image. For every position in the sample, there is therefore a clear distribution of images of this sample behind the microlenses. Higher numbers than two images help to examine the measured patterns for plausibility. For example, a ring of lenses will produce images of a sample. In individual images, overlaying images of other point light sources may occur. If overlaps never occur, or only in a few images, then the number of point light sources can be increased, if desired.
  • Reference numeral 50 identifies the image fields of the microlenses on the sensor.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die Erfindung betrifft ein Mikroskop, aufweisend eine Beleuchtungsoptik zur Fluoreszenzanregung von Punktlichtquellen einer Probe, eine Detektionsoptik und eine Kamera mit einem Sensor, wobei die Dichte der Punktlichtquellen zur Minimierung der Überdeckung hintereinander oder nahe nebeneinander liegender Punktlichtquellen in jedem von der Kamera aufgenommenen Bild gering gehalten, und wobei im Strahlengang der Detektionsoptik ein Mittel zur Unterteilung der Detektionsapertur in einzelne Teilaperturen vorgesehen ist, so dass die Bilder, die von den einzelnen Teilaperturen auf dem Kamerasensor erzeugt werden, ein Objektvolumen aus unterschiedlichen Raumrichtungen abbilden.

Description

Mikroskop und Verfahren zum Lokalisieren fluoreszenter Moleküle in drei
Raumdimensionen
Die vorliegende Erfindung betrifft ein Mikroskop und ein Verfahren zum Lokalisieren fluoreszenter Moleküle in drei Raumdimensionen.
Für Lokalisationstechniken mit Weitfeld / EPI-Fluoreszenzanregung ist eine dünne Probe erforderlich und es können nur die Fluorophore im Bereich einer dünnen Schicht um die Fokusebenen des Detektionsobjektivs lokalisiert werden. Dieser Bereich ist typischerweise sehr schmal, da die Schärfentiefe der zur Lokalisation verwendeten Objektive sehr klein ist.
Um die Fluoreszenz-Anregung auf einen dünnen Bereich zu beschränken, wird auch TIR- Beleuchtung (TIR steht für Total Internal Reflection) genutzt.
Eine Lokalisation mit Lichtblatt-Beleuchtung verbessert das Signal-zu-Hintergrund-Verhältnis und ermöglicht die Lokalisation auch in dicken Proben. Ohne weitere Hilfsmittel kann jedoch innerhalb der beleuchteten Schicht nicht präzise entlang der Detektionsachse (z-Achse) lokalisiert werden.
Die Nutzung von Zylinderlinsen oder anderen optischen Elementen die eine z-Abhängigkeit der Form oder Orientierung der Punktbildfunktion (PSF) im Detektionsstrahlengang bewirken, erlauben es nicht die z-Position gleichzeitig mit hoher Präzision und über einen großen Bereich zu detektieren. Aufgrund der Verwendung solcher, die PSF verformender Elemente kann ferner zusätzlich zur Lokalisation keine aberrationsfreie herkömmliche Abbildung erzeugt werden. Diese kann jedoch wünschenswert sein, um einen Kontext für die Lokalisation in Form einer Abbildung der Umgebung herzustellen.
Die Lichtfeld-Technologie erhöht die Schärfentiefe des Detektionsobjektivs signifikant unter Beibehaltung der Lichteffizienz des optischen Systems (im Gegensatz zu einer Reduktion der numerischen Apertur), weshalb mittels Objektiven mit hoher numerischer Apertur Moleküle aus einem größeren Bereich entlang der optischen Achse detektiert und mit vergleichsweise höherer Präzision lokalisiert werden können.
Die Lichtfeld-Technologie erlaubt außerdem die Lokalisation von entlang der Detektions- Achse (also der z-Achse) direkt hintereinander liegenden Molekülen. Andere Technologien, wie etwa solche unter Verwendung von Zylinderlinsen und ähnlichen optischen Elementen erlauben keine Lokalisation von direkt hintereinander liegenden Molekülen, und wenn sich die Bilder von zwei Molekülen überlagern, können diese häufig nicht präzise und robust lokalisiert werden. Daher ist es unabdingbar, die Anzahl gleichzeitig emittierender
Fluoreszenzmoleküle gering zu halten. Dies hat zur Folge, dass in jedem Bild nur wenige Moleküle lokalisiert werden können. Zur hinreichend genauen Bestimmung der Struktur muss jedoch eine ausreichende hohe Anzahl von Molekülen lokalisiert werden. Daher muss eine entsprechend hohe Anzahl von Einzelbildern (mehrere 1000 sind üblich) erfasst werden und die Aufnahme der Daten, die ein möglichst vollständiges Bild der Struktur ergeben dauert sehr lange. Dieses Problem tritt für dicke, dreidimensionale Proben aufgrund der erhöhten Anzahl potentiell emittierender Moleküle in verstärktem Maße auf, wobei gleichzeitig die Wahrscheinlichkeit zunimmt, dass sich die Bilder von zwei Molekülen überlagern, die deshalb nicht sauber lokalisiert werden können.
Es ist bekannt, dass in der Lokalisationsmikroskopie versucht wird, die Fluorophore auch entlang der Detektionsachse zu lokalisieren indem eine Optik in den Detektionsstrahlengang gebracht wird, deren Ziel es ist die PSF der Abbildung derart zu verändern, dass ein messbares Merkmal entlang der z-Achse variiert. Zum Beispiel kann eine Zylinderlinse eingebracht werden, die zu einer astigmatischen PSF führt, wobei das Verhältnis der Halbachsen der PSF nun Aufschluss über den z-Defokus gibt. Alternativ sind auch spiral- und doppel-spiralförmige PSFs verwendet worden um eine Lokalisation entlang der optischen Achse zu erzielen.
Die Lichtfeld-Technologie wurde in Verbindung mit PIV (Particle Imaging Velocimetry) genutzt um Partikelströme zu lokalisieren. Dabei hat sich die herausragende Eignung der Light-Field Technologie für die Lokalisation von Partikeln gezeigt. Bei PIV werden Partikel in einige Zentimeter großen Probenvolumina abgebildet, deren Größe deutlich über Ιμιτι bzw. der Auflösungsgrenze eines Mikroskops liegen. Dabei übertrifft die Präzision der Lokalisation nicht die Beugungsgrenze. Die Lokalisation erfolgt über gestreutes Licht und es wird keine Selektion der Partikel vorgenommen, d.h. es wird von allen Partikeln im beleuchteten Volumen gestreutes Licht detektiert. Da keine einzelnen Moleküle lokalisiert werden kommt die Nutzung von 'Dunkelzuständen (z. B. Triplett-Zustände) oder ähnlichen metastabilen angeregten Zuständen von Fluoreszenzmolekülen nicht in Frage. Wie schon erwähnt werden bei PIV keine einzelnen Moleküle abgebildet, sondern mikroskopische Partikel.
Folgende Druckschriften sind zum vorstehend angeführten Stand der Technik zu nennen:
• EP 2 244 484 AI
• US 725,567 A
• DE 10 2008 009 216 AI
• Cella Zanacchi, F. et al. Live-cell 3D super-resolution imaging in thick biological
samples. Nat. Methods 8, 1047-1049 (2011).
• Menzel et al 2014, Using a novel light field measurement System to simultaneously measure 3D-3C velocity fields and 3d surface profiles, Fachtagung "Lasermethoden in der Strömungsmesstechnik", 9. - 11. September 2014
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, ein Mikroskop und ein Verfahren zu schaffen, das die Lokalisation von einzelnen Molekülen oder allgemein Punktlichtquellen in drei Raumdimensionen gewährleistet.
Gelöst wird diese Aufgabe hinsichtlich des Mikroskops durch die Merkmale des Anspruchs 1 und hinsichtlich des Verfahrens durch die Merkmale des Anspruchs 15. Vorteilhafte Weiterbildungen des Mikroskops und des Verfahrens sind in den jeweiligen
Unteransprüchen angegeben.
Demnach schafft die Erfindung ein Mikroskop, aufweisend eine Beleuchtungsoptik zur Fluoreszenzanregung von Punktlichtquellen einer Probe, eine Detektionsoptik und eine Kamera mit einem ortsauflösenden Sensor, wobei die Dichte der emittierenden
Punktlichtquellen zur Minimierung der Überdeckung hintereinander oder nahe
nebeneinander liegender Punktlichtquellen in jedem von der Kamera aufgenommenen Bild gering gehalten, und wobei im Strahlengang der Detektionsoptik ein Mittel zur Unterteilung der Detektionsapertur in einzelne Teilaperturen vorgesehen ist, so dass die Bilder, die von den einzelnen Teilaperturen auf dem Kamerasensor erzeugt werden, ein Objektvolumen aus unterschiedlichen Raumrichtungen abbilden.
Mit anderen Worten schafft die Erfindung ein Mikroskop zur idealerweise überaufgelösten Lokalisation von einzelnen Molekülen oder allgemein Punktlichtquellen in drei
Raumdimensionen.
Gemäß einer besonders vorteilhaften Weiterbildung der Erfindung umfasst die
Beleuchtungsoptik mindestens ein Lichtblatt, mit dem die Probe aus mindestens einer Richtung beleuchtet wird und das Mittel zur Unterteilung der Detektionsapertur weist ein Mikrolinsenarray auf. Die dadurch für das erfindungsgemäße Mikroskop bereitgestellte Kombination aus Lichtfeldkamera und Lichtblattbeleuchtung resultiert in einer Lichtfeld- Lokalisationstechnik, die im Folgenden näher erläutert ist.
Um eine Punktlichtquelle in 3D zu lokalisieren sind mindestens zwei Bilder der
Punktlichtquelle nötig, die durch verschiedene Mikrolinsen auf den Sensor abgebildet werden. Typischerweise wird jedoch jede Punktlichtquelle durch mehrere Mikrolinsen abgebildet, was eine Überlappung von Bildbereichen verschiedener Punktlichtquellen zur Folge hat. Auf dem Sensor nimmt also jede Punktlichtquelle eine Fläche ein, die dem
Vielfachen der Fläche einer auflösungsbegrenzten Abbildung der Punktlichtquelle auf einem Sensor entspricht. Darüber hinaus werden auch noch Punktlichtquellen aus anderen Ebenen senkrecht zur optischen Achse auf eine 2D-Fläche projiziert. Die Bilder einzelner
Punktlichtquellen, können sich also überdecken. Ein wesentlicher Aspekt der Erfindung besteht also darin, die Dichte der Punktlichtquellen in jedem einzelnen aufgenommenen Bild einzuschränken. Die Lokalisation von Punktlichtquellen in einem dreidimensionalen Volumen wird demnach dadurch gewährleistet, dass deren Zahl gering gehalten wird, um die
Überlappung von Bilderreichen verschiedener Punktlichtquellen minimal zu halten.
Eine möglichst geringe Überlappung von Bildbereichen verschiedener Punktlichtquellen kann durch folgende Maßnahmen erreicht werden:
- durch vereinzelte Markierung, sog.„Sparse Labeling", demnach die„Dichte" der
Fluorophore in der Probe ist ausreichend gering gehalten wird, etwa bei Ca2+-Bildgebung einzelner mit gCamP markierter Neuronen mit genetisch codierten Ca2+-Sonden oder bei der Bildgebung des Blutflusses der Einfärbung einer Teilgruppe der Blutzellen.
- durch schaltbare Fluorophore im Falle einer relativ hohen Dichte der Fluorophore in der Probe, wobei für jedes Bild eine ausreichend kleine Untergruppe in einen zur
Fluoreszenzemission anregbaren molekularen Zustand gebracht („angeschaltet") wird, z. B. durch Photoaktivierung, transiente Bindung o. ä., bzw. eine ausreichend große Untergruppe in einen zur Fluoreszenzemission nicht anregbaren Zustand gebracht („ausgeschaltet") wird;
- durch selektive Beleuchtung: die Dichte der Fluorophore selbst in der Probe ist zwar zu hoch, wobei jedoch für jedes Bild eine ausreichend kleine Untergruppe von Punktlichtquellen zur Fluoreszenzlicht-Abgabe angeregt wird, wie etwa durch eine strukturierte Beleuchtung.
Der im Rahmen der Erfindung aufgestellten Forderung nach einer geringen Dichte der Punktlichtquellen kann in unterschiedlicher Weise entsprochen werden. Zu diesem Zweck kann es beispielsweise vorgesehen sein, dass die Punktlichtquellen schaltbare Fluorophore, wie etwa Farbstoff-Moleküle oder fluoreszente Proteine, oder Quantenpunkte sind können. Die Aktivierung der Fluorophore kann z.B. über das schwache und/oder kurzzeitige
Einstrahlen von Licht durch Erzielung eines Konformitätsunterschieds bewirkt werden (PALM, STORM). Die Aktivierung kann z.B. auch durch eine chemische
Konformationsänderung bewirkt werden, die dazu führt, dass die Punktlichtquelle in einen bei der vorgesehenen Anregungswellenlänge zur Fluoreszenzemission anregbaren Zustand versetzt wird. Die zur Schaltung verwendete Wellenlänge unterscheidet sich üblicherweise von der zur Anregung der Fluoreszenzemission nutzbaren Wellenlänge. Alternativ können abzubildende Moleküle auch durch eine chemische Bindung in den An-Zustand übergehen (PAINT). Bei GSD-Mikroskopie wird der Grundzustand der Fluoreszenzanregung entvölkert indem die Moleküle in einen metastabilen Dunkel-Zustand überführt werden aus dem heraus sie nicht mehr anregbar sind. Allgemein kann ein Verfahren der RESOLFT- Mikroskopie verwendet werden, bei dem eine lichtinduzierte Schaltung der
Punktlichtquellen wird, um Sicherzustellen dass nur eine Teilmenge der im
Detektionsvolumen bzw. in der Probe vorhandenen Punktlichtquellen gleichzeitig
Fluoreszenz emittieren. Grundsätzlich ist auch eine nichtoptische Maßnahme einsetzbar, nämlich dass man chemisch bei der Färbung der Probe schon auf eine geringe Dichte achtet. Eine Alternative besteht im Einsatz sogenannter„Brainbow"-Organismen, die mit einem besonderen fluoreszenten Protein gefärbt sind, wobei die einzelnen Moleküle in jeweils einem von mehreren Spektralbanden emittieren. Auf diese Weise können mit einem Satz geeigneter spektraler Filter je ein Teil der Moleküle ausgeblendet werden.
Es soll an dieser Stelle zu bemerken, dass das Ziel der 3D-Lokalisation von Punktlichtquellen nicht notwendigerweise mit optischer Überauflösung erreicht werden muss, also nicht unterhalb von ca. 0.6λ/ΝΑ.
Die Beleuchtung, Schaltung in den An-, Aus- oder einen Dunkelzustand, Fluoreszenzanregung der Punktlichtquellen können über das Detektionsobjektiv erfolgen (Epifluoreszenz), über einen dem Detektionsobjektiv gegenüber gestellten Kondensor oder auch in besonders vorteilhafter Weise von der Seite mit dem Lichtblatt (SPIM). Dabei wird die Dicke des Lichtblatts idealerweise so eingestellt, dass der gesamte Bereich aus dem lokalisiert werden soll, auch für jede Aufnahme eines Kamerabildes beleuchtet wird. Der Bereich aus dem lokalisiert werden soll ist typischerweise der Bereich innerhalb der Schärfentiefe der
Detektionsoptik wobei Schärfentiefe im Rahmen dieser Abbildung z.B. den Bereich entlang der optischen Achse bezeichnet innerhalb dessen der Durchmesser des Abbildes einer Punktlichtquelle nicht oberhalb eines vielfachen, z.B. des doppelten, des Durchmessers im Fokus liegt. Gleichzeitig soll die Beleuchtung entlang der optischen Achse der
Detektionsoptik so weit wie möglich auf diesen Bereich eingeschränkt werden. Zum Zweck dieser Einschränkung, insbesondere entlang der Detektionsachse, ist die Beleuchtung einer Schicht in der Probe von der Seite (SPIM) besonders vorteilhaft.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, die
Beleuchtungsoptik zur Aktivierung der Punktlichtquellen eine kohärente oder inkohärente strukturierte Beleuchtung bereitstellt.
Sind die Punktlichtquellen nicht schaltbar, dann kann mit Hilfe der strukturierten
Beleuchtung eine Untermenge dazu gebracht werden, Licht abzugeben, das vom
Kamerasensor detektiert wird. Durch eine Strukturierung der Beleuchtung soll eine
Untergruppe/Teilmenge der sich im Bereich der Tiefenschärfe der Detektionsoptik befindlichen Punktlichtquellen beleuchtet und ggf. angeregt werden. Diese Strukturierung kann durch Interferenz mehrerer von z.B. zwei oder drei Strahlen erreicht werden, die unter einem Winkel zueinander durch das Probenvolumen propagieren. Alternativ kann die Probe auch mit einem fokussierten Strahl abgerastert werden. Die Ausbreitungsrichtung der Strahlen kann vorteilhaft in der Ebene des Lichtblatts liegen, die wiederum mit der
Fokusebene der Detektionsoptik übereinstimmt, bzw. innerhalb der Schärfentiefe der Detektionsoptik bzw. innerhalb des Bereichs entlang deren optischer Achse, in dem eine Lokalisation möglich ist, liegt. Liegen die Ausbreitungsrichtungen der Strahlen in einer Ebene, so schließen diese z.B. 180° bei zwei Strahlen und 120° bei drei Strahlen ein. Bevorzugt kann die Phase mindestens eines Teilstrahls so variiert werden, dass sich das Beleuchtungsmuster um einen Bruchteil der Periode verschiebt. Allerdings kann durch die (gegenseitige)
Verkippung einzelner Strahlen gegen die Lichtblattebene auch entlang der Detektionsachse eine Strukturierung der Beleuchtung erreicht werden. Insgesamt ist das Ziel der
strukturierten Beleuchtung die Erleichterung der Lokalisation dadurch, dass es zu weniger Überschneidungen und Überdeckungen der Bilder von unterschiedlichen Punktquellen auf dem Sensor kommt. Gleichzeitig soll die Zahl der für ein vollständiges Bild einer Ebene notwendigen Rohbilder minimiert werden, z.B. auf 9.
Handelt es sich bei den Punktlichtquellen um schaltbare, fluoreszente Farbstoffe / Moleküle, kann die Anregung und An- bzw.- Aus-Schaltung dieser Punktlichtquellen mittels PALM, STORM, PAINT, GSD oder ähnliche Methoden erfolgen und diese Methoden können mit der vorstehend erläuterten strukturierten Beleuchtung kombiniert werden. Vorteilhafterweise sind die Mikrolinsen des Mikrolinsenarrays größer als der Abstand der Pixel auf dem Kamerasensor. Die Größe der Mikrolinsen des Mikrolinsenarrays ist vorteilhafterweise auf die bildseitige Apertur der Detektionsoptik derart abgestimmt ist, dass die Bilder der Mikrolinsen den Kamerasensor im Wesentlichen vollständig ausleuchten. Die Bilder der Mikrolinsen auf dem Kamerasensor bedecken dabei maximal einen Bereich, der der Größe der Mikrolinse entspricht und es kommt idealerweise zu keinerlei
Überschneidungen der einzelnen Bilder der Mikrolinsen untereinander.
Vorteilhafterweise umfasst das Mikrolinsenarray Gruppen von Mikrolinsen gleicher oder unterschiedlicher Brennweiten und die Zentren der Mikrolinsen des Mikrolinsen-Arrays sind vorzugsweise auf einem zweidimensionalen Bravais-Gitter angeordnet. Die Rekonstruktion von Bildern erfolgt dabei über einen iterativen Algorithmus wie beispielsweise in der EP 2 244 484 AI beschrieben, der es erlaubt, etwa 200 Ebenen innerhalb der Schärfentiefe aufzulösen, wobei jedes der Bilder eine Pixelanzahl aufweist, die etwa die bis zu einem Viertel der Pixelzahl des Kamerasensors entspricht. Das Besondere der erfindungsgemäßen Mikroskopie besteht in der Rekonstruktion, die es vorsieht, zwischen den Bildern der einzelnen Mikrolinsen Übereinstimmungen zu suchen, was besonders gut für isolierte Partikel darstellbar ist.
Das Mikrolinsenarray kann in oder nahe einer zur Probe konjugierten Ebene oder in oder nahe einer zur Pupille konjugierten Ebene angeordnet sein. Es kann zusammen mit dem Kamerasensor als Lichtfeldkamera ausgeführt sein und dann in einem gemeinsamen
Gehäuse untergebracht sein. In einer vorteilhaften Anordnung des Mikrolinsenarrays bildet dieses zusammen mit einer vorgeschalteten Linse, bei der es sich bevorzugt um eine
Tubuslinse handelt, und deren Apertur für das Mikrolinsenarray ausreicht, ein Teleskop nach Galilei oder Kepler bildet.
Das erfindungsgemäße Mikroskop umfasst eine Post-Processing-Einrichtung zur
Rekonstruktion der Lokalisation einzelner Punktlichtquellen bzw. Moleküle einer Probe in drei Raumdimensionen durch einen auf Triangulation basierenden iterativen Algorithmus zur Erzeugung eines 3D-Bilds vorgesehen ist, wobei die Triangulation bevorzugt ein iteratives Maximum-Likelihood-Verfahren umfasst, das beugungsoptische Eigenschaften der
Detektionsoptik berücksichtigt. Bei der erfindungsgemäßen Verwendung eines
Mikrolinsenarrays als Mittel zur Unterteilung der Detektionsapertur in einzelne
Teilaperturen ist der iterative Algorithmus bevorzugt dazu ausgelegt ist, Übereinstimmungen zwischen den Bildern der einzelnen Mikrolinsen zu ermitteln und daraus auf die Position der zu den Bildern gehörigen Punktlichtquelle zu schließen.
Der Algorithmus ist derart gestaltet, dass er analog zur Triangulation mit der Parallaxe arbeitet, die dadurch entsteht, dass verschiedene Mikrolinsen die einzelnen
Punktlichtquellen aus leicht unterschiedlichen Richtungen betrachten. Die Position des Bildes einer Punktlichtquelle hinter einer Mikrolinse und der Abstand der Mikrolinse zur optischen Achse geben Auskunft über den Grad der Verkippung der zugehörigen PSF im Objekt. Jede Mikrolinse bildet Punktlichtquellen, die 'innerhalb eines zur jeweiligen
Mikrolinse zugeordneten Subaperturkonus bzw. dessen beugungsbedingten
Detektionsvolumens, also eines Bereichs um eine Achse liegen, auf den der Mikrolinse zugehörigen Bereich des Sensors hinter der Mikrolinse ab. Die Position einer
Punktlichtquelle lässt sich also als Schnittpunkt der mindestens zwei Achsen ermitteln.
Typischerweise werden übereinstimmende Strukturen in den Bildern über verschiedene Mikrolinsen ermittelt. Bei Punktlichtquellen ist eine Unterscheidung kaum möglich und es muss entweder auf die Anordnung von mehreren Punklichtquellen oder auf a-priori- Information zurückgegriffen werden.
Alternativ ist auch folgender Ansatz möglich: Eine Datenbank enthält die Sensor-Roh-Bilder von jeweils einer Punktlichtquelle pro Bild. Die Rohbilder decken dabei Punktlichtquellen an Positionen ab, die über das gesamte Objektvolumen verteilt sind. Die Rekonstruktion der Position einer Punktlichtquelle findet dann über einen Vergleich des vom Objekt
aufgenommen Rohbildes mit einer Überlagerung der Bilder aus der Rohbild-Datenbank (mit variabler„Helligkeit") statt und es wird diejenige Überlagerung der Rohbilder gesucht, die dem aufgenommenen Bild am besten entspricht.
Das erfindungsgemäße Verfahren zum Lokalisieren von Punktlichtquellen einer Probe in drei Raumdimensionen basiert auf dem erfindungsgemäßen Mikroskop.
Vorteilhafterweise werden bei dem erfindungsgemäßen Verfahren eine vor allem schnelle Aufnahme einer Zeitserie und eine zeitliche und/oder räumliche Korrelation der zu einzelnen Subvolumina gehörigen zeitabhängigen Signals vorgenommen.
Ferner kann ein erfassbares 3D-Lokalisationsvolumen durch Verschiebung der Probe entlang der optischen Achse der Detektionsoptik vergrößert werden. Alternativ oder zusätzlich kann ein erfassbares 3D-Lokalisations-Volumens durch Verschiebung der Probe entlang der optischen Achse der Detektionsoptik erweitert wird.
Gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird der Korrelations-Algorithmus dazu eingesetzt, berechnete 3D-Lokalisierungspunkte bei dem der Korrelations-Algorithmus dazu eingesetzt wird, berechnete 3D-Lokalisierungspunkte verschiedener Ebenen entlang der optischen Achse der Detektionsoptik derart zu überlagern, dass ein sauber definiertes und/oder in z-Richtung vergrößertes 3D
Lokalisations-Volumen entsteht. Alternativ wird der Korrelations-Algorithmus
vorteilhafterweise dazu eingesetzt, berechnete 3D-Lokalisierungspunkte verschiedener Ebenen senkrecht zur optischen Achse derart zu überlagern, dass ein senkrecht zur optischen Achse vergrößertes 3D-Lokalisations-Volumen entsteht. Außerdem kann vorteilhafterweise ein erfassbares 3D-Lokalisations-Volumens durch Verschiebung der Probe senkrecht zur optischen Achse der Detektionsoptik vergrößert werden.
Vorteilhafterweise ist ferner eine vor allem schnelle Aufnahme einer Zeitserie und zeitliche und/oder räumliche Korrelation der zu einzelnen Subvolumina gehörigen zeitabhängigen Signale vorgesehen, wie z.B. bei Fluoreszenzkorrelationsspektroskopie (FCS), Image
Correlation Spectroscopy (ICS), oder Spatiotemporal Image Correlation Spectroscopy (STICS). Bei FCS oder ICS bzw. STICS, wird für einen oder mehrere Punkte im Objekt das
Fluoreszenzsignal mit hoher zeitlicher Dynamik gemessen. Dieses Signal wird dann mit sich selbst zeitlich korreliert (Autokorreliert) oder mit den Signalen von anderen Objektpunkten (ICS, STICS) oder Fluorophoren (FCCS) zeitlich kreuzkorreliert.
Gemäß einer weiteren vorteilhaften Weiterbildung der Erfindung ist es vorgesehen, die Bilder der einzelnen Teilaperturen durch eine geeignete Methode zur Inversion der
Abbildungseigenschaften (sog. Multiview-Deconvolution) miteinander zu verrechnen.
Neben der Möglichkeit der erfindungsgemäß„überauflösenden" Lokalisations-Mikroskopie bietet sich insbesondere die Verwendung des erfindungsgemäßen Lokalisationsverfahrens für die 3D-Fluoreszenzkorrelationsspektroskopie (FCS) und für das Einzelmolekül-Tracking an.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in
vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die dem Patentanspruch 1 nachgeordneten Patentansprüche und andererseits auf die nachfolgende Erläuterung der bevorzugten Ausführungsbeispiele der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung der bevorzugten Ausführungsbeispiele der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigen
Fig. 1 eine erste Ausführungsform des erfindungsgemäßen Mikroskops zur 3D-Lokalisation mittels EPI-Fluoreszenzanregung,
Fig. 2 eine zweite Ausführungsform des erfindungsgemäßen Lichtfeldmikroskops zur SD- Lokalisation mittels Lichtblattbeleuchtung, und
Fig. 3 eine Abbildung von Punktlichtquellen durch mehrere Mikrolinsen des
Mikrolinsenarrays des Mikroskops von Fig. 1 und 2.
Die in Fig. 1 gezeigte erste Ausführungsform eines Mikroskops weist eine nicht gezeigte Beleuchtungsoptik zur Fluoreszenzanregung von Punktlichtquellen einer Probe. Die
Beleuchtungsoptik ist zur EPI-Fluoreszenzanregung ausgelegt.
Ferner umfasst das Mikroskop von Fig. 1 eine Detektionsoptik mit einem Detektionsobjektiv 10. Im Strahlengang folgt auf das Detektionsobjektiv ein dichroitischer Spiegel 11, eine Tubuslinse 12 und eine Kamera, die einen Sensor 13 umfasst. Zwischen der Tubuslinse 12 und dem Kamerasensor 13 ist im ein Mittel zur Unterteilung der Detektionsapertur in Gestalt eines Mikrolinsenarrays 14 vorgesehen ist.
Die Mikrolinsen des Mikrolinsenarrays 14 sind größer als der Abstand der Pixel auf dem Kamerasensor 13 und die Größe der Mikrolinsen des Mikrolinsenarrays 14 ist auf die bildseitige Apertur der Detektionsoptik derart abgestimmt, dass die Bilder der durch die Mikrolinsen abgebildeten Objektivpupille den Kamerasensor 13 im Wesentlichen vollständig ausleuchten.
Das Mikrolinsenarray 14 umfasst Mikrolinsen derselben Brennweite. Alternativ kann ein Mikrolinsenarray 14a zum Einsatz kommen, das Gruppen unterschiedlicher Brennweiten umfasst. Ferner sind die Zentren der Mikrolinsen des Mikrolinsen-Arrays 14, 14a
vorzugsweise auf einem zweidimensionalen Bravais-Gitter angeordnet. Außerdem kann bevorzugt vorgesehen sein, das Mikrolinsenarray 14, 14a in oder nahe einer zur Probe konjugierten Ebene oder in oder nahe einer zur Pupille konjugierten Ebene anzuordnen.
Bei dem in Fig. 1 gezeigten Mikroskop sind die Beleuchtungsquelle und/oder ein Fluorophor in der Probe dazu ausgelegt, lediglich eine Teilmenge der Punktlichtquellen zu aktivieren. Mit dem im Strahlengang der Detektionsoptik angeordneten Mittel zur Unterteilung der Detektionsapertur in einzelne Teilaperturen in Gestalt des Mikrolinsenarrays 14, 14a wird erreicht, dass die Bilder, die von den einzelnen Teilaperturen auf dem Kamerasensor 13 räumlich separiert abgebildet werden, ein Objektvolumen aus unterschiedlichen
Raumrichtungen abbilden.
Die Beleuchtung erfolgt nach dem Prinzip der Epifluoreszenzanregung. Die Anregungs-, Schalt- und sonstige Strahlen zur Anregung und Beeinflussung der Fluoreszenzemission der Punktlichtquellen (20) wird über einen dichroitischen Spiegel eingekoppelt, der zwischen Objektiv 10 und Tubuslinse 12 angebracht wird. Möglich ist auch eine Durchlichtbeleuchtung durch einen dem Objekt 10 gegenübergestellten Kondensor.
Die in Fig. 2 gezeigte zweite Ausführungsform des Lichtfeldmikroskops unterscheidet sich von der ersten Ausführungsform des in Fig. 1 gezeigten Lichtfeldmikroskops dadurch, dass die 3D-Lokalisation auf Grundlage einer Lichtblattbeleuchtung (30) zur Fluoreszenzanregung von Punktlichtquellen einer Probe erfolgt, und dass das Mikroskop von Fig. 2 nicht den dichroitischen Spiegel 13 des Mikroskops von Fig. 1 benötigt. Sowohl im Mikroskop nach Fig. 1 als auch Fig. 2 werden aber typsicherweise Bandpassfilter (nicht dargestellt) verwendet damit nur das Fluoreszenzlicht der zu lokalisierenden Moleküle bis zum Sensor vordringt. Bestandteile des Mikroskops von Fig. 2, die denjenigen des Mikroskops von Fig. 1
entsprechen sind mit denselben Bezugszeichen bezeichnet.
Auch bei dem Mikroskop von Fig. 2 ist die Beleuchtungsquelle und/oder ein Fluorophor in der Probe dazu ausgelegt, lediglich eine Teilmenge der Punktlichtquellen zu aktivieren. Mit dem im Strahlengang der Detektionsoptik angeordneten Mittel zur Unterteilung der Detektionsapertur in einzelne Teilaperturen in Gestalt des Mikrolinsenarrays 14, 14a wird erreicht, dass die Bilder, die von den einzelnen Teilaperturen auf dem Kamerasensor 13 räumlich separiert abgebildet werden, ein (gemeinsames) Objektvolumen aus
unterschiedlichen Raumrichtungen abbilden. In Fig. 3 ist beispielhaft dargestellt, wie jede Punktlichtquelle durch mehrere Mikrolinsen des Mikrolinsenarrays 14, 14a abgebildet wird, was eine Überlappung von Bildbereichen verschiedener Punktlichtquellen 42, 44 zur Folge hat. Auf dem Sensor nimmt also jede Punktlichtquelle eine Fläche ein, die dem Vielfachen der auflösungsbegrenzten Abbildung der Punktlichtquelle entspricht. Darüber hinaus werden auch noch Punktlichtquellen aus anderen Ebenen senkrecht zur optischen Achse der Detektionsoptik auf eine 2D-Fläche projiziert. Die Bilder 46, 48 - vorzugsweise einzelner - verschiedener Punktlichtquellen, können sich also teilweise überdecken. Ein wesentlicher Aspekt der Erfindung besteht nun darin, die Dichte der Punktlichtquellen in jedem einzelnen aufgenommenen Bild
einzuschränken. Die Lokalisation von Punktlichtquellen in einem dreidimensionalen Volumen wird demnach dadurch gewährleistet, dass deren Zahl gering gehalten wird, um die
Überlappung von Bildbereichen verschiedener Punktlichtquellen minimal zu halten.
Aus Fig. 3 geht hervor, dass zur Minimierung der mindestens von einer Punktlichtquelle zwei eindeutig zuordenbare Bilder benötigt werden, die durch verschiedene Mikrolinsen aufgenommen wurden. Die optimale Dichte lässt sich weiter einschränken. Ist die Dichte der Punktlichtquellen zu hoch, ist eine eindeutige Zuordnung nicht möglich. Ist sie zu gering, wird unter Umständen Information verschenkt bzw. es müssen für das finale Bild mehr Einzelbilder aufgenommen werden. Für jede Position in der Probe gibt es also eine eindeutige Verteilung von Bildern dieser Probe hinter den Mikrolinsen. Eine höhere Zahl als zwei Bilder hilft dabei, die gemessenen Muster auf Plausibilität zu untersuchen. Zum Beispiel wird ein Ring von Linsen Bilder einer Probe erzeugen. In einzelnen Bildern kann es zur Überlagerung mit den Bildern anderer Punktlichtquellen kommen. Kommt es niemals oder nur bei einigen wenigen Bildern zu Überlappungen, dann kann die Zahl der Punktlichtquellen erhöht werden, falls dies erwünscht ist. Mit dem Bezugszeichen 50 sind die Bildfelder der Mikrolinsen auf dem Sensor gekennzeichnet.
Abschließend sei ganz besonders darauf hingewiesen, dass die voranstehend erörterten Ausführungsbeispiele lediglich zur Beschreibung der beanspruchten Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken. Insbesondere sind sämtliche, in dieser Beschreibung enthaltenen Merkmale und/oder deren Funktionen, Wirkungen und Eigenschaften für sich gesehen und/oder in Kombination miteinander als hierin offenbart anzusehen, die ein auf dem vorliegenden Gebiet tätiger Fachmann ggf. unter Hinzuziehung seines Fachwissens einzeln oder in Kombination zur Lösung der objektiven Aufgabe oder damit zusammenhängenden Problemstellungen vorsehen würde.

Claims

PATENTANSPRÜCHE
1. Mikroskop, aufweisend eine Beleuchtungsoptik zur Fluoreszenzanregung von
Punktlichtquellen einer Probe, eine Detektionsoptik und eine Kamera mit einem Sensor,
- wobei die Dichte der Punktlichtquellen zur Minimierung der Überdeckung hintereinander oder nahe nebeneinander liegender Punktlichtquellen in jedem von der Kamera aufgenommenen Bild gering gehalten, und
- wobei im Strahlengang der Detektionsoptik ein Mittel zur Unterteilung der Detektionsapertur in einzelne Teilaperturen vorgesehen ist, so dass die Bilder, die von den einzelnen Teilaperturen auf dem Kamerasensor erzeugt werden, ein Objektvolumen aus unterschiedlichen Raumrichtungen abbilden.
2. Mikroskop nach Anspruch 1, wobei die Beleuchtungsoptik mindestens ein Lichtblatt umfasst, mit dem die Probe aus mindestens einer Richtung beleuchtet wird.
3. Mikroskop nach Anspruch 1 oder 2, wobei das Mittel zur Unterteilung der
Detektionsapertur ein Mikrolinsenarray aufweist.
4. Mikroskop nach einem der Ansprüche 1 bis 3, wobei dann, wenn Punktlichtquellen schaltbare, Fluorophore, wie etwa Farbstoff-Moleküle oder fluoreszente Proteine sind, deren Schaltung auf optischem Wege erfolgt.
5. Mikroskop nach einem der Ansprüche 1 bis 4, wobei die Beleuchtungsoptik zur Aktivierung der Punktlichtquellen eine kohärente oder inkohärente strukturierte Beleuchtung bereitstellt.
6. Mikroskop nach Anspruch 5, wobei zur Strukturierung der Beleuchtung eine
Interferenz mehrerer, bevorzugt von zwei oder drei Strahlen erfolgt, die sich unter einem Winkel zueinander durch das Probenvolumen ausbreiten.
7. Mikroskop nach Anspruch 3, wobei die Mikrolinsen des Mikrolinsenarrays größer sind als der Abstand der Pixel auf dem Kamerasensor.
8. Mikroskop nach Anspruch 3 oder 7, wobei die Größe der Mikrolinsen des
Mikrolinsenarrays auf die bildseitige Apertur der Detektionsoptik derart abgestimmt ist, dass die Bilder der Mikrolinsen den Kamerasensor im Wesentlichen vollständig ausleuchten.
9. Mikroskop nach Anspruch 3, 7 oder 8, wobei das Mikrolinsenarray Gruppen von Mikrolinsen gleicher oder unterschiedlicher Brennweiten umfasst, und wobei die Zentren der Mikrolinsen des Mikrolinsen-Arrays vorzugsweise auf einem
zweidimensionalen Bravais-Gitter angeordnet sind.
10. Mikroskop nach einem der Ansprüche 3 oder 7 bis 9, wobei das IVlikrolinsenarray in oder nahe einer zur Probe konjugierten Ebene oder in oder nahe einer zur Pupille konjugierten Ebene angeordnet ist.
11. Mikroskop nach einem der Ansprüche 3 oder 7 bis 9, wobei das Mikrolinsenarray zusammen mit einer vorgeschalteten Linse, bei der es sich bevorzugt um eine Tubuslinse handelt, und deren Apertur für das Mikrolinsenarray ausreicht, ein Teleskop nach Galilei oder Kepler bildet.
12. Mikroskop nach einem der Ansprüche 3 oder 7 bis 11, wobei das Mikrolinsenarray und der Kamerasensor als Lichtfeldkamera ausgeführt und vorzugsweise in einem eigenen Gehäuse untergebracht sind.
13. Mikroskop nach einem der Ansprüche 1 bis 12, wobei eine Post-Processing- Einrichtung zur Rekonstruktion der Lokalisation einzelner Punktlichtquellen bzw. Moleküle einer Probe in drei Raumdimensionen durch einen auf Triangulation basierenden iterativen Algorithmus zur Erzeugung eines 3D-Bilds vorgesehen ist, wobei die Triangulation bevorzugt ein iteratives Maximum-Likelihood-Verfahren umfasst, das beugungsoptische Eigenschaften der Detektionsoptik berücksichtigt.
14. Mikroskop nach Anspruch 13, wobei der iterative Algorithmus dazu ausgelegt ist, Übereinstimmungen zwischen den Bildern der einzelnen Mikrolinsen zu ermitteln und daraus auf die Position der zu den Bildern gehörigen Punktlichtquelle zu schließen.
15. Verfahren zum Lokalisieren von Punktlichtquellen in einer Probe in drei
Raumdimensionen mittels des Mikroskops nach einem der Ansprüche 1 bis 14.
16. Verfahren nach Anspruch 15, bei dem eine vor allem schnelle Aufnahme einer
Zeitserie und eine zeitliche und/oder räumliche Korrelation der zu einzelnen
Subvolumina gehörigen zeitabhängigen Signale vorgenommen werden.
17. Verfahren nach Anspruch 15 oder 16, bei dem ein erfassbares 3D- Lokalisationsvolumen durch Verschiebung der Probe entlang der optischen Achse der Detektionsoptik erweitert wird.
18. Verfahren nach einem der Ansprüche 15 bis 17, bei dem der Korrelations- Algorithmus dazu eingesetzt wird, berechnete 3D-Lokalisierungspunkte
verschiedener Ebenen entlang der optischen Achse der Detektionsoptik derart zu überlagern, dass ein sauber definiertes und/oder in z-Richtung vergrößertes 3D Lokalisations-Volumen entsteht.
19. Verfahren nach einem der Ansprüche 15 bis 18, bei dem der Korrelations- Algorithmus dazu eingesetzt wird, berechnete 3D-Lokalisierungspunkte
verschiedener Ebenen senkrecht zur optischen Achse derart zu überlagern, dass ein senkrecht zur optischen Achse vergrößertes 3D-Lokalisations-Volumen entsteht.
20. Verfahren nach einem der Ansprüche 15 bis 19, bei dem ein erfassbares 3D- Lokalisations-Volumens durch Verschiebung der Probe senkrecht zur optischen Achse der Detektionsoptik vergrößert wird.
21. Verfahren nach einem der Ansprüche 15 bis 20, bei dem eine vor allem schnelle Aufnahme einer Zeitserie und zeitliche und/oder räumliche Korrelation der zu einzelnen Subvolumina gehörigen zeitabhängigen Signals (z.B. wie bei FCS, ICS, STICS, ...) vorgesehen ist.
22. Verfahren nach einem der Ansprüche 15 bis 21, bei dem die Bilder der einzelnen Teilaperturen zur Inversion der Abbildungseigenschaften miteinander verrechnet werden.
PCT/EP2017/060390 2016-05-03 2017-05-02 Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen Ceased WO2017191121A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17721132.3A EP3452856A1 (de) 2016-05-03 2017-05-02 Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen
US16/098,472 US11067781B2 (en) 2016-05-03 2017-05-02 Microscope and method for localizing fluorescent molecules in three spatial dimensions

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102016108259 2016-05-03
DE102016108259.7 2016-05-03
DE102016123387 2016-12-02
DE102016123387.0 2016-12-02

Publications (1)

Publication Number Publication Date
WO2017191121A1 true WO2017191121A1 (de) 2017-11-09

Family

ID=58668890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/060390 Ceased WO2017191121A1 (de) 2016-05-03 2017-05-02 Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen

Country Status (3)

Country Link
US (1) US11067781B2 (de)
EP (1) EP3452856A1 (de)
WO (1) WO2017191121A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022128078A1 (de) * 2022-10-25 2024-04-25 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur mikroskopie

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024097096A (ja) * 2021-04-28 2024-07-18 バイオニクス株式会社 光学測定装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US725567A (en) 1902-09-25 1903-04-14 Frederic E Ives Parallax stereogram and process of making same.
WO2008092074A1 (en) * 2007-01-25 2008-07-31 Adobe Systems, Incorporated Light field microscope with lenslet array
DE102008009216A1 (de) 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
EP2244484A1 (de) 2009-04-22 2010-10-27 Raytrix GmbH Digitales Bildgebungssystem zum Synthetisieren eines Bildes unter Verwendung der mit einer plenoptischen Kamera aufgezeichneten Daten
DE102009043744A1 (de) * 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Verfahren und Mikroskop zur dreidimensional auflösungsgesteigerten Mikroskopie
WO2016020684A1 (en) * 2014-08-05 2016-02-11 Imperial Innovations Limited Multiplexed optical tomography
WO2017013054A1 (de) * 2015-07-17 2017-01-26 Leica Microsystems Cms Gmbh Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658443B2 (en) * 2013-03-15 2017-05-23 The Board Of Trustees Of The Leland Stanford Junior University Optics apparatus with detection of light rays received at different angles for output indicative of aliased views
DE102014102215A1 (de) * 2014-02-20 2015-08-20 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur Lichtblattmikroskopie
US9952422B2 (en) * 2016-01-14 2018-04-24 University Of Vienna Enhancing the resolution of three dimensional video images formed using a light field microscope
US10509215B2 (en) * 2016-03-14 2019-12-17 Olympus Corporation Light-field microscope

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US725567A (en) 1902-09-25 1903-04-14 Frederic E Ives Parallax stereogram and process of making same.
WO2008092074A1 (en) * 2007-01-25 2008-07-31 Adobe Systems, Incorporated Light field microscope with lenslet array
DE102008009216A1 (de) 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
EP2244484A1 (de) 2009-04-22 2010-10-27 Raytrix GmbH Digitales Bildgebungssystem zum Synthetisieren eines Bildes unter Verwendung der mit einer plenoptischen Kamera aufgezeichneten Daten
DE102009043744A1 (de) * 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Verfahren und Mikroskop zur dreidimensional auflösungsgesteigerten Mikroskopie
WO2016020684A1 (en) * 2014-08-05 2016-02-11 Imperial Innovations Limited Multiplexed optical tomography
WO2017013054A1 (de) * 2015-07-17 2017-01-26 Leica Microsystems Cms Gmbh Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CELLA ZANACCHI, F. ET AL.: "Live-cell 3D super-resolution imaging in thick biological samples", NAT. METHODS, vol. 8, 2011, pages 1047 - 1049
MENZEL ET AL.: "Using a novel light field measurement system to simultaneously measure 3D-3C velocity fields and 3d surface profiles", LASERMETHODEN IN DER STRÖMUNGSMESSTECHNIK, 9 September 2014 (2014-09-09)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022128078A1 (de) * 2022-10-25 2024-04-25 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur mikroskopie

Also Published As

Publication number Publication date
US11067781B2 (en) 2021-07-20
US20190250390A1 (en) 2019-08-15
EP3452856A1 (de) 2019-03-13

Similar Documents

Publication Publication Date Title
EP2516993B1 (de) Hochauflösendes mikroskop und verfahren zur zwei- oder dreidimensionalen positionsbestimmung von objekten
EP2641078B1 (de) Tiefenauflösungsgesteigerte mikroskopie
EP3667391B1 (de) Mikroskopisches verfahren und mikroskop mit gesteigerter auflösung
EP2887117B1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
DE10257237B4 (de) Anordnung zur optischen Erfassung von in einer Probe angeregter und/oder rückgestreuter Lichtstrahlung
EP3304167B1 (de) Anordnung und verfahren zur lichtblattmikroskopie
EP1248132B1 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
EP3058414B1 (de) Scanmikroskop und verfahren zum bestimmung der punkt-spreiz-funktion (psf) eines scanmikroskops
EP2137488A2 (de) Verfahren und anordnung zur optischen abbildung mit tiefendiskriminierung
DE102020209889A1 (de) Mikroskop und Verfahren zur mikroskopischen Bildaufnahme mit variabler Beleuchtung
DE102020127385B3 (de) Verfahren und Vorrichtung zur lichtmikroskopischen Multiskalen-Aufnahme biologischer Proben
DE102008054317A1 (de) Kombinationsmikroskopie
DE102009060490A1 (de) Hochauflösendes Mikroskop und Bildteileranordnung
DE102006031177A1 (de) Verfahren und Vorrichtung zur Erzeugung eines Bildes einer dünnen Schicht eines Objekts
EP1420281A2 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
DE102013103971A1 (de) Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
EP4189358B1 (de) Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laserscanning-mikroskop
EP1496386A2 (de) Anordnung zur optischen Erfassung von in einer Probe angeregter oder rückgestreuter Lichtstrahlung mit Doppelobjektivanordnung
DE102021123130A1 (de) Vorrichtung und verfahren zur lichtfeldmikroskopie
WO2020114930A1 (de) Verfahren und vorrichtung zum nachweis von fluoreszenzsignalen in einer dreidimensionalen region einer probe
EP2803978A1 (de) Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
DE102022119304B4 (de) Verfahren, vorrichtung und computerprogramm zur lokalisierung vereinzelter emitter in einer probe
DE102022119327B4 (de) Verfahren, vorrichtung und computerprogramm zur lokalisierung vereinzelter emitter in einer probe
DE19830596B4 (de) Wellenfeldmikroskop, Wellenfeldmikroskopieverfahren, auch zur DNA-Sequenzierung, und Kalibrierverfahren für die Wellenfeldmikroskopie
DE10118463A1 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17721132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017721132

Country of ref document: EP

Effective date: 20181203

WWW Wipo information: withdrawn in national office

Ref document number: 2017721132

Country of ref document: EP